Kaštieľ nachádzajúci sa v Žarnovici predstavuje objekt z prelomu 15. a 16. storočia, ktorý bol podľa historických prameňov postavený v roku 1490 Filipom Doczym zrejme na staršom základe opevneného hradu. Menovaný získal hrad v Žarnovici darom ako odmenu za službu vo vojsku Mateja Korvína, za hrdinstvo v boji pri likvidovaní zvyškov husitských vojsk na Slovensku. Bol to zrejme pôvodne stredoveký gotický hrad, ktorý slúžil ako predpevnosť hradu Revište. Doczyovská stavba z roku 1490 je typom neskorogotických zámkov bez veže s viacpodlažným palácom, dnes nazývaná kaštieľ.

V Žarnovickom kaštieli sa roku 1575 konala porada siedmich banských miest, kde bolo dohodnuté vyslať do Viedne delegáciu so žiadosťou o pomoc od cisára proti Turkom. Roku 1647 napadli Turci Žarnovicu, mesto podpálili a vtedajšieho hradného pána Žigmunda Doczyho popravili. Keď v roku 1664 Turci vyplienili Novú Baňu, stala sa Žarnovica načas župným  sídlom. V kaštieli v roku 1666 zasadalo predstavenstvo Tekovskej župy. V roku 1676 končí takmer 200-ročné panstvo rodiny Doczyovcov a ich majetok prechádza do vlastníctva štátu. Kaštieľ bol prestavaný v 2. pol. 19. storočia po požiari v roku 1848, kedy Žarnovica vyhorela. V 1. polovici 20. storočia bol adaptovaný na kancelársku budovu.

Počas SNP dňa 29. 8. 1944 prichádza do Žarnovice trnavská posádka s 2000 vojakmi, ktorá prechodne sídlila v kaštieli. Na počesť  tejto udalosti je na fasáde pri vstupe do objektu umiestnená pamätná tabuľa.

V roku 1966 n. p. Preglejka Žarnovica realizoval generálnu opravu objektu – výmenu okien, dverí, podláh, malieb interiéru. Oprava fasád realizovaná nebola.

Dlhodobo nevyužívaný objekt zmenil niekoľkokrát vlastníka. V rokoch 2011 a 2012 bolo predchádzajúcim vlastníkom zrealizované len statické zabezpečenie oporného múra.