Pierwotna warownia powstała w XI wieku – był to obiekt drewniany o wałach ziemno-drewnianych otoczonych fosą. Zamek murowany rozpoczęto budować po 1352 lub po 1370 roku na polecenie litewskiego księcia Lubarta (syna Giedymina).

Wzorem dla niego były warownie krzyżackie. Chcąc zbliżyć się do ideału odbył podróż do Malborka, którego twierdza uchodziła za niemożliwą do zdobycia. Powstałą fortecę zwano od tej pory zamkiem Lubarta.