W początkach XII wieku ród Duninów herbu Łabędź wzniósł w Chlewiskach na wzgórzu wśród bagnistych terenów zachodnią część zamku. Następnymi właścicielami Chlewisk od 1360 roku zostali Odrowążowie - ród rycerski. W 1605 roku kolejny spadkobierca rodu Wawrzyniec Odrowąż Chlewicki dobudował wschodnie skrzydło. Chlewiccy władali Chlewiskami do połowy XVIII wieku.
Kolejnymi właścicielami były rody szlacheckie Potkańskich, Sołtyków i Platerów.
W 1999 roku spółka Manor House z Radomska wchodzi w posiadanie Pałacu Odrowążów i za jej sprawą po generalnych remontach obiekt staje się ośrodkiem wypoczynkowo - szkoleniowym.

Szczegóły historii można przeczytać w zakładce "Dzieje Pałacu"