Początkowo zbudowana w tym miejscu rezydencja była niewielka, gdyż Augustyn Locci, nadworny architekt króla, otrzymał za zadanie wzniesienie jedynie parterowego dworu o układzie typowym dla zabudowy Rzeczpospolitej. Jednakże sukcesy militarne i wzrost znaczenia monarchy w następnych latach wpłynęły na znaczne poszerzenie pierwotnego projektu. Wielka rozbudowa prowadzona była w latach 1677-1696. Po jej zakończeniu budowla połączyła w sobie elementy dworu szlacheckiego, włoskiej willi ogrodowej i francuskiego pałacu w stylu Ludwika XIV.