A háromemeletes, szabadon álló barokk középület (két udvarral) műemléki védelem alatt áll.
A jelenlegi Központi Városháza volt eredetileg az Invalidusok-háza, mely Széchenyi György esztergomi érsek alapítványából épült. A négyudvarosra tervezett, hatalmas épületkomplexum a török háborúban rokkanttá vált 4000 katonának nyújtott volna otthont, ám a palota Károly körút felöli szárnyának teljes kiépítését az akkor még meglévő pesti városfal akadályozta. II. József az invalidusokat átköltöztette Nagyszombatba, és 1783-ban gránátos-kaszárnyává alakították, az alapító III. Károlyról Károly-kaszárnya néven. 1894-ben a kaszárnyát megvásárolta a főváros és Hegedűs Ármin tervei alapján átalakították városházává.
A hosszú főhomlokzat jelenlegi formájában meglehetősen egyszerű. A középső kapu eredetileg a hajdani kápolnába vezetett, felette a földgömböt tartó Atlasz áll. A szélső hármas kapuzatok feletti domborművek közül a Szervita tér felőliek III. Károly tengeri utazásaira, a déli kapuk felett lévők pedig Savoyai Jenő Győzelmeire emlékeztetnek. A Buda címerpajzsát tartó, sisakos, dárdás istennő Budapest egyik jelképe lett.