Barokowy dwór zbudowano na przełomie XVII i XVIII wieku, a w 1791 został on przebudowany i otoczony parkiem. Później właścicielem był major von Arnstead, a od 1831 Fridrich Leopold Stollberg zu Stollberg. W 1843 pałac nabył Alois Dionizy Otto, a później niejaki Walter z Nysy, który przebudował pałac do dzisiejszego kształtu. Zadłużenie właściciela sprawiły, że Karczów wystawiono na licytację i w 1890 kupił go Friedrich von Wichelhaus, właściciel sąsiedniego Naroku.

Od 1927 pałac znalazł się w rękach Berdanrda von Wichelhaus, najmłodszego z rodu. Zła sytuacja gospodarcza sprawiła, że w zarządzaniu pomagała mu spółka Schlesische Provinziale Landschaft. Po jego tragicznej śmierci w 1941 dobrami administrowała żona Rosemarie wraz z innymi członkami rodziny. W 1945 właściciele opuścili wieś, a pałac przejęła spółdzielnia rolnica, później PGR, a następnie Dyrekcja Zakładu Unasienniania Zwierząt. W latach 70. przeprowadziła adaptację piwnic i pierwszego piętra. W 1998 obiekt przekazano Politechnice Opolskiej.