Počiatky osídlenia návršia na hornom konci dnešného zvolenského námestia spadajú do 13. storočia. Na nádvorí dnešného zámku boli odkryté pozostatky trojloďového románskeho kostola sv. Mikuláša. Podľa historických prameňov je možné predpokladať, že kostol bol súčasťou kráľovskej kúrie. Jej pozostatkom sú zvyšky stavby s rozmermi takmer 10 × 10 m odkryté na severnej strane kostola.

Výstavbu mestského hradu (tzv. zvolenského zámku) môžeme dať do súvisu s úpadkom významu starého Zvolenského (Pustého) hradu, ktorý prestal vyhovovať nárokom panovníckeho dvora. Ľudovít z Anjou situáciu riešil výstavbou novej rezidencie na nízkom návrší nad riekou Slatina v blízkosti stredovekého mesta. Aktuálne potreby panovníckeho dvora vystihuje poloha novej kráľovskej rezidencie a jej celkové architektonické stvárnenie. Pravidelná stavba s jednoposchodovými krídlami zoskupenými okolo ústredného nádvoria mala v prvom rade obytnú a reprezentatívnu funkciu. Z rozložitej hmoty paláca vystupovali dve veže a honosná stavba hradnej kaplnky. Suterény a prízemie hradného paláca slúžili prevažne hospodárskym a skladovacím účelom. Obytné a reprezentačné priestory hradu boli sústredené na prvom poschodí a osvetlené boli radom veľkých pravouhlých okien.

Na sklonku stredoveku hrad získal do zálohu Ján Turzo z Betlanoviec, s ktorým sa spája modernizácia vnútorných priestorov paláca a predovšetkým výstavba nového opevnenia zosilneného polvalcovými baštami a bránovou vežou. Prelomovým obdobím v dejinách zvolenského hradu boli roky nasledujúce po porážke uhorských vojsk pri Moháči. Ťaženie osmanských vojsk do severných častí krajiny spôsobilo, že Zvolen sa stal jedným zo strategických miest na prístupe k banským mestám. Táto situácia si vyžiadala adaptáciu pôvodného „kráľovského domu“ na protitureckú pevnosť. Pri radikálnej prestavbe realizovanej pod vedením talianskych majstrov boli zbúrané obe stredoveké veže.  Nahradili ich dve obranné podlažia s početnými strieľňami pre zbrane, nárožnými vežičkami a strechou ukrytou za atikou. Súčasne s adaptáciou hradného paláca bolo realizované zdokonalenie vonkajšieho opevnenia zamerané na vybudovanie postov pre palné zbrane. Opevňovacie práce zavŕšila po polovici 16. storočia výstavba vonkajších priekop s palisádami a predovšetkým vybudovanie mohutného delostreleckého bastiónu. Ďalšie zemné bastióny zosilnili hradné opevnenie v priebehu 17. storočia. Po zániku pevnostnej funkcie hradu boli realizované utilitárne úpravy interiérov, v rámci ktorých okrem iného vznikol kazetový strop zdobený portrétmi uhorských panovníkov. Najväčší zásah znamenala radikálna klasicistická prestavba kaplnky v roku 1784, ktorá úplne potlačila jej stredovekú podobu. V priebehu 19. storočia hrad prevažne pustol. Na sklonku 19. storočia sa uskutočnila prestavba atikových múrov, ktoré nahradili nepôvodné lastovičie chvosty. V roku 1956 sa začala 13 rokov trvajúca rekonštrukcia hradu pre potreby Slovenskej národnej galérie. Obnova vrátila hradu goticko-renesančný výraz s reštaurovanými výzdobami fasád.