Główną atrakcją turystyczną Dowspudy są ruiny neogotyckiego pałacu Paców, wybudowanego w latach 1820-1827 staraniem Ludwika Michała Paca, generała wojsk polskich i napoleońskich.
Pałac w stylu angielskiego neogotyku został zaprojektowany przez włoskiego architekta Piotra Bosio. Budowę rozpoczęto w 1820, a po przerwie, od roku 1823 kontynuowano pod kierunkiem innego włoskiego architekta Henryka Marconiego.
Za udział w powstaniu listopadowym dobra Paca zostały skonfiskowane przez Rosjan.
Do dziś pozostała tylko brama, jedna z czterech wież zwana bocianią i trochę murów.