Po przejęciu zamku przez Prusaków, w roku 1774 zaczęto przebudowywać Zamek Wysoki na koszary, co doprowadziło do ogromnych zniszczeń. Wyburzono prawie wszystkie gotyckie sklepienia i przebudowano okna. Zamurowano krużganki i wybudowano nową bramę od strony miasta. Wielki Refektarz przeznaczono na ujeżdżalnię koni. W Pałacu Wielkich Mistrzów urządzono fabrykę tkanin i mieszkania dla robotników. Dokonano rozbiórki wielu bram i murów na budulec. Szczególnie wielkie straty zamek poniósł w latach 1801-1804 gdy na rozkaz Fryderyka Wilhelma III zamek zaczęto przebudowywać na wielkie magazyny wojskowe. Wykuto nowe okna, otynkowano zamek wysoki oraz wyburzono średniowieczne sklepienia wprowadzając zamiast tego drewniane stropy.