Pałac Odrowążów i Chlewickich w zabytkowym, krajobrazowym parku skryty, należy do jednych z najstarszych rezydencji ziemiańskich w Polsce.
W swojej historii Chlewiska pozostawały własnością sześciu wielkich rodów. Listę właścicieli Chlewisk otwiera ród Duninów herbu Łabędź. Pierwszym właścicielem Chlewisk był Piotr Dunin ze Skrzynna, starosta kraśnicki, wrocławski i kaliski, który zgodnie z ówczesnym zwyczajem w 1121r wybudował kościół, a następnie w 1135r w północno-zachodniej części wsi, na wzgórzu o stromych zboczach (usypanym według legendy przez jeńców tatarskich) została wzniesiona przez niego zachodnia część zamku.
Kolejnymi właścicielami Chlewisk (na pewno już od 1360 roku) zostali Odrowążowie, ród rycerski, który przybył do Polski w XI wieku z terenów czesko-morawskich i w ciągu XI-XIII wieku, uzyskał duże znaczenie i wszedł w posiadanie rozległych dóbr na terenie Małopolskim. Można powiedzieć, że ród Odrowążów to matka rodów rycerskich czasów średniowiecza.
Szydłowiec i Chlewiska należały do Dobiesława Odrowąża. Jego potomkowie Jakub, Mikołaj i Piotr od nazwy siedziby rodowej przyjęli nazwisko Chlewiccy. W uznaniu za ich zasługi, król Kazimierz Wielki przeniósł dobra Chlewickich na prawa magdeburskie. Wtedy też powstało kolejne skrzydło zamku, który stał się siedzibą rodu.
Na kamiennej tablicy, znajdującej się na jednej z przypór podpierających budowlę widnieje napis informujący, że w 1605 roku pałac był przebudowany przez Wawrzyńca Chlewickiego.
Syn Wawrzyńca, Mikołaj, kasztelan małogoski jest piękną, lecz mało znaną postacią w historii Polski XVII wieku. Był on zaangażowany w działalność polityczną w czasach Władysława IV i Jana Kazimierza. Uczestniczył w bitwie pod Beresteczkiem. Przez Jana Kazimierza wprowadzony został do senatu. Był wierny królowi w najtrudniejszych chwilach potopu szwedzkiego, w czasie wyprawy władcy na Śląsk był dowódcą jego eskorty.
Chlewiccy władali Chlewiskami najpóźniej do połowy XVIII wieku.
Kolejnymi właścicielami stali się Józef (kasztelan radomski) i Aleksander Potkański. W 1801 roku Chlewiska przeszły w ręce Stanisława Sołtyka, posła na sejm Księstwa Warszawskiego i marszałka sejmu 1811 roku oraz działacza Towarzystwa Patriotycznego. Po wybuchu Powstania Listopadowego posiadłość po ojcu przejął syn Roman Sołtyk – człowiek honoru i wielkich cnót, generał, uczestnik kampanii napoleońskiej oraz Powstania Listopadowego, towarzysz broni Ks. Józefa Poniatowskiego, ranny pod Lipskiem w 1813 roku. To właśnie on walnie przyczynił się do detronizacji cara Mikołaja I w 1830 roku. Po klęsce powstania udał się na emigrację do Francji, a Chlewiska uległy prawdopodobnie konfiskacie – tak podają jedne źródła, natomiast inne informują, że w 1867 roku właścicielami Chlewisk byli nadal Sołtykowie –Marceli i Zofia.
W 1896 roku dobra nabył hrabia Ludwik Kazimierz Plater, a po nim odziedziczył jego syn Konstanty. To dzięki Ludwikowi, który był pasjonatem postępu technicznego, Chlewiska przeżywały swój rozkwit gospodarczy.
Wielkie rody szlacheckie, które na przestrzeni wieków władały Chlewiskami: Duninowie, Odrowążowie, Chlewiccy, Potkańscy, Sołtykowie i Platerowie przyczynili się do promocji historycznej tych ziem, a tym samym pozostawili następnym pokoleniom bezcenną spuściznę dziejową, której jesteśmy spadkobiercami. Rolą tych rodów w historii Chlewisk było pomnażanie skarbów kultury narodowej. Zaliczamy do nich: Świątynię Chlewicką, prezbiterium tej świątyni, wiekowy dzwon, pałac Odrowążów - Chlewickich w parku skryty, wielki piec hutniczy – ku podziwowi całej Europy szczęśliwie zachowany, teksty przemówień Sołtyka w wysokiej izbie wypowiedziane z wiarą w zmartwychwstanie najjaśniejszej Rzeczpospolitej. Wszystkie one są cząstką naszej narodowej kultury.
Wśród właścicieli Chlewisk na przestrzeni wieków nie spotkamy przykładów zdrady lub zaprzaństwa. Wręcz przeciwnie w każdym pokoleniu można spotkać przykłady wzruszającej pracy dla dobra ojczyzny, poświęcenia w imię najświętszej sprawy. Wiele miejscowości w Polsce może Chlewiskom zazdrościć.
Pałac na przestrzeni wieków był wiele razy przebudowywany i remontowany. Obecnie pałac składa się z dwóch budowli murowanych, które łączą się ze sobą pod kątem prostym. Budynek główny jest podpiwniczony, zwrócony fasadą na wschód, wzniesiony na planie kwadratu.
W dwóch pomieszczeniach w przyziemiach budynku głównego, występuje sklepienie kolebkowo-krzyżowe. Tu również zachował się renesansowy kamienny portal. Są to najstarsze zachowane (wraz z piwnicami) komnaty zamkowe z XII wieku.
O gotyckim charakterze dawnego zamku świadczą pozostałości piwnic i lochów. W stromym północnym zboczu wzgórza są widoczne zręby murów starej lodowni, zbudowanej na planie kwadratu, częściowo przesklepionej cegłą.
Pałac jest usytuowany w pobliżu stawów, w starannie utrzymanym parku krajobrazowym, zajmującym około 8ha powierzchni. Znajdują się w nim egzotyczne gatunki drzew: tulipanowce, dąb błotny, pomniki przyrody: cisy pospolite, dąb szypułkowy, lipa szerokolistna itd.
Od roku 1999 Pałac jest własnością firmy Manor House i funkcjonuje jako Zespół Pałacowo –Parkowy ośrodek wypoczynkowo szkoleniowy.