Prawdopodobnie w połowie XIV stulecia na terenie grodu zbudował on potężną, otoczoną murem kamienną wieżę mieszkalną (niektórzy jako datę powstania budowli podają ostatnią dekadę XIII wieku). Z czasem zamek uległ sukcesywnej rozbudowie. Podejmowali ją kolejni przedstawiciele rodziny: Gunczel oraz Nickel, bracia von Swein, a później m.in. kolejny Gunczel, urodzony w 1456 i żyjący 110 lat Burgmann (który zmarł nie ze starości ale na zwyczajną grypę), a także niemal równie długowieczny Johann (1510-1606). Renesansowa przebudowa skupiła się na założeniu nowego dziedzińca oraz sanacji gotyckich budynków, w których przekształcono wnętrza mieszkalne, m.in. zaopatrując je w większe otwory okienne. Kolejna poważna rozbudowa zamku, która rozmyła jego dotychczasowy charakter i nadała mu piętno zamku-rezydencji, przeprowadzona została przez Johanna Sigismunda von Schweinichen w pierwszej i drugiej tercji XVII wieku. Johann Sigismund (Jan Zygmunt), wieloletni turysta po krajach Europy, podczas swojego pobytu w Italii poddał się urokowi sztuki włoskiej i być może właśnie stamtąd sprowadził architekta, aby ten zrealizował jego estetyczne ambicje. Przy okazji warto wspomnieć, że Johann był owocem makabrycznego według dzisiejszych standardów związku 81-letniego Johanna von Schweinichen i Katarzyny von Sommerfeld, która w chwili ślubu liczyła sobie...15 wiosen.