Založenie hradu v priebehu druhej polovice 13. storočia sa pripisuje ostrihomskému arcibiskupovi, ktorý v roku 1260 získal obec Breznica, čím vyvolal dlhodobý spor s jej pôvodným vlastníkom, svätobeňadickým opátstvom. V roku 1311 sa hradu na desať rokov zmocnil Matúš Čák, ale po jeho smrti sa vrátil späť do rúk arcibiskupa. Čákov záujem o hrad neprekvapuje, lebo jeho výhodná poloha umožňovala kontrolu údolia Hrona, kadiaľ viedla významná komunikácia, predovšetkým do banských oblastí. Spory arcibiskupa s uvedeným opátstvom zrejme pretrvávali, a tak možno vysvetliť poškodenie hradu, ktorý sa v roku 1411 uvádza ako castrum fractum, teda poškodený hrad. Okolo polovice 15. storočia ho načas obsadili

Jiskrove oddiely a v roku 1471, v čase sprisahania proti Matejovi Korvínovi, zasa vojsko poľského kráľa Kazimíra. S potlačením povstania sa hrad dostal do kráľovských rúk, ale zdá sa, že vplyvom vojnových udalostí jeho význam poklesol, pretože v roku 1475 sa spomína len ako tvrdza – fortalitium. Úplný zánik hradu možno predpokladať už na sklonku stredoveku, pretože pri plánovaní protitureckej obrany sa na sneme v roku 1564 ako jedno z navrhovaných strážnych miest uvádza len miesto starého hradu nad Breznicou.

Areál pomerne rozsiahleho hradu zaberal pretiahnutý a pôdorysne rozčesnutý vrcholový hrebeň a pozostával z dvoch hlavných častí. Na najvyššie položenom juhovýchodnom ukončení hrebeňa sa nachádzalo pôvodné hradné jadro s rozmermi približne 50 x 30 m. Viditeľné drobné a nesúvislé zvyšky nadzemných múrov však bez archeologického výskumu neumožňujú s istotou určiť jeho rozvrh. Zreteľný je iba pozostatok pravidelne tvarovanej stavby. Prístup do jadra bol od severozápadu cez šijovú priekopu, ktorá ho oddeľuje od veľkého predhradia. To zaberalo celú zvyšnú plochu vrcholového hrebeňa v dĺžke takmer 130 m a podľa zozbieranej keramiky bolo intenzívne osídlené v 15. storočí.

Súčasťou predhradia bola i časť opevneného úzkeho výbežku smerom na juhozápad. zakončená murovanou, pravdepodobne vežovou stavbou. Jazyk však mierne klesal ďalej a bol ohradený na spôsob vysunutého opevnenia. Na jednej strane ho pravdepodobne dokonca chránila priekopa vytvorená valom v svahu. Nešlo však o bežné opevnenie s cieľom zadržať nepriateľa vo väčšej vzdialenosti od hradu, ale koniec tohto výbežku predstavoval strážnu polohu s dobrým výhľadom do údolia Hrona a na Hronský Beňadik. Iné strážne miesto bolo situované v polohe Sokolia skala približne 200 m juhovýchodne od hradu a umožňovalo pozorovať pohyb v Chválenskej doline. Predpokladaná strážna veža využila vrchol skalného výbežku, ktorý je od prístupovej západnej strany dodnes chránený zreteľnou priekopou.

Ilustrácie a náčrty hradov, autor Peter Gutek.