W 1616 r. zamek wraz z częścią miasta spłonął. Warownię na własny koszt odbudował starosta będziński Andrzej Dębiński – podstoli krakowski. Jednak już w czasie tzw. potopu szwedzkiego w latach 1655–556 zamek znów został spalony i częściowo zburzony przez wojska Hartfelda, Montecuculliego i Sporka.