Na terenie, gdzie obecnie znajduje się budynek muzeum, w okresie IX-XIII wiek znajdowały się drewniano-ziemne umocnienia podgrodzia Okół, a od XIV wieku mur obronny miasta. Pozostałości umocnień zachowały się w podziemiach Muzeum i w północno-wschodniej części ogrodu.