30 października 1655 r. najeźdźcy pod wodzą gen. Duglasa weszli do zamku, zajmując go podstępem bez jednego strzału. Według swego zwyczaju Szwedzi zaraz po zajęciu fortecy wywieźli do Szwecji przebogate zapewne wyposażenie wnętrz wraz z biblioteką i rodzinnym archiwum. Nie uszkodzili jednak, co często się im przypisuje, murów zamkowych.

Około 1760 r. generał wojsk litewskich Jan Michał Pac dokonał nieznacznego remontu południowej, mieszkalnej części zamku oraz założył aleję lipową wzdłuż drogi do Iwanisk. Mieszkał w Krzyżtoporze do wybuchu w 1768 r. konfederacji barskiej, której uczestnicy na zaproszenie właściciela i marszałka konfederacji, znaleźli w zamku schronienie. Kiedy jednak Pac po upadku stronnictwa w 1770 r. pośpiesznie wyjechał do Francji, okazało się, że wskutek walk rezydencja była już tylko piękną, acz niezamieszkaną ruiną.

Po ucieczce Paca centrum dóbr przesunęło się do Planty i majątek plantowski wraz z Ujazdem zakupił w 1782 r. dla swego synowca biskup krakowski Kajetan Sołtyk.

W 1815 r. zamek stał się własnością Łempickich, którzy zamieszkali w Plancie i, choć byli bardzo zamożni, nie zamierzali restaurować obiektu, traktując ruiny jako romantyczną atrakcję.

dodane na fotoforum:

• Zamki polskie
• Pałace,zamki
• pałace i zamki