A kastély a település központjában fekszik, a katolikus templom és a városháza szomszédságában. A birtok a 17. század végén került Esterházy Károly egri püspök tulajdonába. A püspök halála után bátyjának Eszterházy Ferenc főkancellárnak és horvát bánnak leszármazottaira szállt az uradalom, akik 1824-ben eladták herceg Liechtenstein Alajosnak. 1848-ban még a hercegi családot említették az uradalom tulajdonosaként. Később, a 19. század végén gróf Zichy Ernő vásárolta meg a birtokot. A Zichy család nevéhez fűződik a kastély eklektikus (neobarokk) stílusú átalakítása is a XX. század első negyedében.
A kastélyt a II. világháború után, 1948-ban államosították. 1955. szeptember 25-én, Bartók Béla halálának 10. évfordulóján az épületben nyitották meg a Kultúrházat. A kastély napjainkban is a Bartók Béla Művelődési Ház és Könyvtárnak ad otthont, így a történelmi hagyományokkal rendelkező műemléképület a kulturális élet központjává vált Ácson.