Królikarnia zawdzięcza swoją nazwę czasom saskim, kiedy urządzono tu zwierzyniec i modnym wówczas zwyczajem polowano na króliki.
Pałac zbudowany został w latach 80-tych XVIII wieku przez Karola Thomatisa hrabiego de Valery, według projektu Dominika Merliniego.
Pierwszy właściciel Królikarni, mediolańczyk, "direktor spektaklów" na dworze Stanisława Augusta, znany był z zamiłowania do gry w karty. "Dopasował do niej umiejętnie cały swój tryb życia: od południa jeździł z wizytami, zjadał obiady proszone, a całe noce grywał..."
Organizował też wystawne przyjęcia. Pożyczał pieniądze królowi na rachunek i z tych należności wyrobił sobie u króla pensję dożywotnią