A reneszánsz kastély alapjait valószínűleg még 1630 táján rakta le Zichy Pál, azonban csak 1659-ben fejezte be a felépítését I. Zichy István gróf, amikor a királytól engedélyt kapott arra, hogy Csicsón várat építhessen. Erődítmény típusú kastély épült fel, várfallal és négy négyzet alakú sarokbástyával, bezárva így a szabályos négyzet alakú díszudvart. A várfalak mellett három oldalról gazdasági épületek sorakoztak. Az udvar közepén emeletes palotaépület állt négyszintes megfigyelőtoronnyal és egy sarki nyolcszögű, hagymatetős toronnyal – ezeket árkádos folyosó kötötte össze.
A földszinten raktárhelyiségek, az emeleten pedig lakóhelyiségek voltak. 1764-ben a kastélyt árvíz rongálta meg, később pedig tűzvész is. 1776-ban úgy alakították át az épületet, hogy a belső palotát és a várfal déli részét lebontották, s így keletkezett a díszudvar. A volt erőd nyugati része és a gazdasági épületek fölé emeletet építettek, itt voltak az uraságok lakóhelyiségei. Átalakították a kastély másik két földszintes szárnyát is, s az épület minden homlokzatát egységesen késő barokk stílusúra formálták át.
V. Zichy István (1754–1841), a nemzetség csicsói ágának megalapítója úgy határozott, hogy itt telepszik le. Az épületet a 19. század elején klasszicista stílusban alakította át. Fiával, VII. Zichy Istvánnal a nemzetségnek ez az ága fiágon kihalt, s az ő leánya, Teréz férjhez ment gróf Waldstein Wartenberg Jánoshoz (1809–1876), az épület talán leghíresebb lakójához. A kastély és a kastély körüli park a falu dísze.