W 1844 r. Andrzej Koelichen kupił od hr Tadeusza Antoniego Mostowskiego posiadłość Włochy.
Koelichen był przemysłowcem pochodzącym z rodziny dawnych osadników holenderskich, który zajął się eksploatacją gliny na wielką skalę.
Gdy zmarł w 1861 r., zostawił rodzinie spory majątek, a dwaj jego synowie: Karol Emil i Edward zostali w testamencie obdarowani majątkiem z Włoch – pierwszy otrzymał pałac i park, drugi – cegielnie.
To w tym czasie powstał dzisiejszy pałac wg proj. Aleksandra Zabienowskiego.
Właściciela włochowskiego pałacu Karola Koelichena dwukrotnie aresztowano podczas powstania styczniowego, podejrzewając o narodowe spiski.
Koelichenowie chętnie udostępniali swój pałacyk różnym instytucjom.
W 1933 r. w jednej z sal odbyło się (zanim wybudowano kościół) nabożeństwo ewangelicko-augsburskie.
Od połowy 1936 r. w pałacyku mieściła się redakcja „Przeglądu Podmiejskiego” – oficjalnego organu Stowarzyszenia Właścicieli Nieruchomości
10.09.1936 r. w pałacyku otwarto Bibliotekę Stowarzyszenia Właścicieli Nieruchomości
Po wojnie ponownie otwarta 30.09.1947 r. nosząc już nazwę: Biblioteka Miejska im. Stefana Żeromskiego
Na początku II WŚ przez kilka miesięcy w pałacyku mieścił szpital.
Rodzina Koelichenów wyprowadziła się z pałacu w 1964 r.
W latach 1965-66 nastąpił remont i rozbudowa budynku.
Gruntownie wyremontowany w latach 2000-2001 dziś nadal pełni funkcję biblioteki
W 1906 r. w pałacu mieszkał malarz i grafik Ferdynand Ruszczyc. W tym okresie powstało kilka grafik przedstawiających wnętrza i otoczenie pałacu.