Po tych wydarzeniach zamek opustoszał. Po raz ostatni działa zamkowe wystrzeliły w 1787 r. na wiwat wjeżdżającego do miasta króla Stanisława Augusta Poniatowskiego. Od tego czasu mury średniowiecznej warowni służy okolicznym mieszkańcom jako źródło materiałów budulcowych. W latach I wojny światowej ruiny wykorzystywane były przez wojska rosyjskie. Wtedy to w wyniku austriackiego ostrzału artyleryjskiego zostają poważnie uszkodzone wieże. W okresie międzywojennym drobne prace konserwatorskie nie były w stanie zatrzymać niszczenia zamku. W czasie II wojny światowej zagrożeniem dla zamku była eksploatacja kamienia z Góry Zamkowej dla pozyskania budulca dróg w Generalnym Gubernatorstwie Eksploatację wstrzymano co uchroniło zamkowe mury przed zawaleniem . Po II wojnie światowej następuje odbudowa ruin zamku (między innymi w latach 1948 -1949 – baszty, 1959 - 1960 mury), a zamek zostaje wpisany do rejestru zabytków kategorii pierwszej.