Zamek miał strzec szlaku łączącego Czechy z Polską przez przełęcz Lubawską. W XIII wieku kasztelanami na zamku byli: Tader od 1230 roku, Jaksa od 1242 a od 1248 roku Petrico de Swyn (Piotr ze Świn), któremu Bolko I przekazał zamek na własność. Świny pozostawały w rękach rodu Świnków aż do 1713 roku. W początku XIV wieku wznieśli oni zachowaną do dziś wieżę mieszkalną, a zbudowane wtedy

Zdobienia sklepienia niszy okiennej, fot. ZeroJeden, V 2005
mury otoczyły zamkowy dziedziniec. Wieża posiada cztery kondygnacje nad powierzchnią dziedzińca oraz głębokie lochy. Na parterze znajdowała się sala rycerska, której resztki wystroju można zobaczyć w niszach okiennych, zachowany jest także gotycki portal przy wejściu. Na przełomie XIV i XV wieku zamek został rozbudowany o nowe skrzydło mieszkalne przy wieży.