Kaštieľ nachádzajúci sa v Žarnovici predstavuje objekt z prelomu 15. a 16. storočia, ktorý bol podľa historických prameňov postavený okolo roku 1490 Filipom Doczym, najprv ako opevnená kúria, neskôr prestavaná na trojpodlažný kaštieľ. Niektoré zdroje uvádzajú ako pôvodnú stavbu gotický hrad, archívne listiny a ani archeologické výskumy doteraz žiadnu pevnostnú stavbu zo skoršieho obdobia nepotvrdili. Doczyovská stavba z roku 1490 je typom neskorogotických zámkov bez veže s viacpodlažným palácom, dnes nazývaná kaštieľ.

V Žarnovickom kaštieli sa roku 1575 konala porada siedmich banských miest, kde bolo dohodnuté vyslať do Viedne delegáciu so žiadosťou o pomoc od cisára proti Turkom. Roku 1647 napadli Turci Žarnovicu, mesto podpálili a vtedajšieho hradného pána Žigmunda Doczyho popravili. Keď v roku 1664 Turci vyplienili Novú Baňu, stala sa Žarnovica načas župným  sídlom. V kaštieli v roku 1666 zasadalo predstavenstvo Tekovskej župy. V roku 1676 končí takmer 200-ročné panstvo rodiny Doczyovcov a ich majetok prechádza do vlastníctva štátu. Kaštieľ bol prestavaný v 2. pol. 19. storočia po požiari v roku 1848, kedy Žarnovica vyhorela. V 1. polovici 20. storočia bol adaptovaný na kancelársku budovu.

Počas SNP dňa 29. 8. 1944 prichádza do Žarnovice trnavská posádka s 2000 vojakmi, ktorá prechodne sídlila v kaštieli. Na počesť  tejto udalosti je na fasáde pri vstupe do objektu umiestnená pamätná tabuľa.

V roku 1966 n. p. Preglejka Žarnovica realizoval generálnu opravu objektu – výmenu okien, dverí, podláh, malieb interiéru. Oprava fasád realizovaná nebola.

Dlhodobo nevyužívaný objekt zmenil niekoľkokrát vlastníka. V rokoch 2011 a 2012 bolo predchádzajúcim vlastníkom zrealizované len statické zabezpečenie oporného múra.