Najvýznamnejšia pamiatka mesta Žiar nad Hronom v stredoveku slúžila ako pevnosť.

Pôvodné menšie stredoveké opevnené sídlo vo Sv. Kríži bolo okolo roku 1631 prestavané na Biskupský kaštieľ arcibiskupom Petrom Pázmáňom a stalo sa sídlom biskupov. Počas tureckého nebezpečenstva dal ostrihomský arcibiskup Juraj Lipaj okolo kaštieľa vybudovať opevnenie s baštami. Kaštieľ bol v polovici 17. storočia významnou pevnosťou na ceste hore Pohroním. Kaštieľ dlho slúžil ako letné sídlo ostrihomských arcibiskupov a neskôr banskobystrických biskupov. Od roku 1851 tu pôsobil a v roku 1869 i zomrel Dr. Štefan Moyses, prvý tajomník Matice slovenskej. Súčasťou kaštieľa bolo aj cenné zariadenie, kaplnka, knižnica, archív a zaujímavé obrazy.

Od roku 1918 sa často striedali užívatelia kaštieľa, čo spôsobilo, že sa väčšina cenností zničila. Po roku 1950 tu sídlila ekonomická škola. Od roku 2018 je kaštieľ vo vlastníctve mesta Žiar nad Hronom, ktoré má za cieľ záchranu pamiatky.