Na Górze Trzykrzyskiej, zwanej również Łysą, wznosił się w średniowieczu Krzywy Zamek. W 1390 roku został on zajęty i spalony przez Zakon Krzyżacki. Zamek nie został w poźniejszych latach odbudowany lecz na jego miejscu pojawił się pomnik Trzech Krzyży.
Źródła historyczne podają, że trzy drewniane krzyże stały na Łysej Górze już w 1636 roku. Krzyże te, według legendy, miały upamiętniać męczeńską śmierć trzech franciszkanów. Inne źródła donoszą, że krzyże zostały postawione by upamiętniać nadanie Praw Magdeburskich miastu.