Els inicis de la Fortalesa de Golubac estan envoltats de misteri. En època romana, la Taula de Peutinger registra un fort ací anomenat Cupae; les inscripcions i les restes d'antigues fortificacions dins el recinte confirmen la presència d'un assentament, potser una d'aquestes colònies romanes, a vegades anomenades columbari.[6][7] Fins a l'arribada dels eslaus i els àvars de Pannònia a mitjan segle VI, era un lloc fronterer de l'Imperi Romà d'Orient i, com a tal, a la primera línia del camí de les invasions bàrbares del Nord; aleshores, es trobava a la zona disputada entre els serbis, els magiars i els romans d'Orient,[4][7] i es desconeix quins van ser els primers a començar a aixecar les fortificacions i construir aquesta fortalesa, així com el nombre de torres originàries. Tot el que se sap de les excavacions arqueològiques és que els fonaments d'una capella ortodoxa sèrbia van servir de base per a una torre: les inscripcions indiquen que podria haver estat construïda per iniciativa d'un joupan autòcton. Les dates de construcció també en romanen incertes, tot i que se sol acceptar que la fortalesa actual data del començament del segle xiv.[2][3][5]
El primer esment de Golubac data del 1335, quan el castell estava ocupat per una guarnició hongaresa i era un important lloc militar del Banat de Kičevo. Els banats eren marques sèrbies o croates, vassalls del Regne d'Hongria a les seues fronteres meridionals, però en diverses ocasions les de l'Est, inclosa Kičevo (en hongarés Kucsó), van reintegrar la Sèrbia medieval, més en concret la Voivodina de Braničevo. Així, entre el 1345 i el 1355, el tsar serbi Esteve Uros IVvisità Golubac, que aleshores formava part de Sèrbia, i el comandament del qual havia confiat al castellà ortodox Toma de Seceni (en hongarés Szécsény Tamás), també voivoda de Transsilvània i, com a tal, vassall del rei d'Hongria, per tant, el millor acord possible.[7]
Després de la mort de Dushan, la Casa de Rastislalic guanyà influència a Braničevo, fins i tot aconseguiren la independència explotant el marge de maniobra d'aquesta marca de protecció. Segons les cròniques sèrbies, el Kniaz Lazar Hrebeljanovic de Sèrbia va deposar l'últim joupan i ban Rastislalić (Radič Branković) el 1379, i donà els pobles dels voltants a monestirs ortodoxos de Valàquia, aleshores el principal bastió de Sèrbia contra els otomans. En el moment de la batalla de Kosovo Polje, al 1389, Golubac era una ciutadella sèrbia. No se sap pas quan canvià de mans, tot i que una font situa aquest fet després del 1382.[7] Després d'aquesta batalla, la fortalesa va caure en mans del sultà Baiazet I, i aquesta fou la seua primera conquesta per part de l'Imperi Otomà.
El 1391, Golubac va canviar de propietari dues vegades. El palatí hongarés de Timişoara, Péter Perényi, se'n va apoderar, però poc després la va haver de retornar als turcs.[6] Després va tornar al Regne d'Hongria i, el 1403, als serbis de nou quan el rei Segimon d'Hongria la va convertir en un feu personal del dèspota serbi Stefan Lazarević, que, per resistir els turcs, s'havia reconegut com a vassall de la Corona Hongaresa. El maig del 1426, a Tata, Hongria, en presència de Segimon, aquest nomenà Đurađ Branković successor de Stefan Lazarević amb la condició que Golubac, Belgrad i el Banat de Mèsia tornassen a la Corona Hongaresa a la mort de Stefan.[8][9] Quan va morir, el 1427, Segimon es va assegurar que el Pacte de Tata es complís. Belgrad i el Banat de Mèsia canviaren de mans pacíficament, però el comandant de Golubac, el voivoda Đeremiđa, exigí una compensació de 12.000 ducats per la pèrdua del càrrec.[8] Segimon s'hi va negar i Đeremiđa, decebut, jurà lleialtat als turcs: la fortalesa es va convertir en residència d'un paixà.
Malgrat la lleialtat de Đeremiđa, el sultà Murat II hagué de llançar el seu exèrcit contra Sèrbia, els altres joupans, voivodes i bans serbis continuaven acostant-se a Hongria per escapar del control otomà. Un regiment turc arribà a Golubac i va devastar els assentaments serbis, valaquis i hongaresos del Banat de Braničevo.[8] En resposta, el mateix Đurađ marxà cap a Golubac; va prometre l'amnistia a Đeremiđ i li demanà que tornàs la fortalesa. Però el voivoda no acceptà. Va atacar el dèspota mentre Đurađ i la seua escorta intentaven assaltar les muralles.[8] Aquestes complicacions degudes a la intransigència de Segimon dugueren al 1428 a la batalla de Golubac.[6]
L'abril del 1428, Segimon va reunir un exèrcit comandat pel voivoda Dan II,[10] i va assetjar els turcs a Golubac.[6] També havia armat una flotilla hongaresovalàquia de bolozans per bombardejar el fort des del riu;[8] un dels bolozans comandat per Țițela (o Cicelle) Răzguni, esposa del joupan del Comtat de Temes Ștefan Răzguni.[6] Murad va enviar un exèrcit en ajuda dels assetjats i va reunir la plaça a finals de maig.[8] Segimon, rebutjant una batalla campal, preparà els termes d'un tractat a principis de juny,[8] però quan part de l'exèrcit hongarés havia arribat a l'altra riba (sud) del riu, el general otomà Sinan Bei va atacar la rereguarda,[8] i feu presoners (inclòs el cavaller polonés Zawisza el Negre) per traure'n un rescat, i massacrà els supervivents sense rang.[6] Segimon, a punt de ser envoltat per la resta del seu exèrcit,[8] va deure la seua salvació a la intervenció de Cicelle Răzguni.[6][11][12]
En els combats subsegüents, Stefan Razguni va morir, i el sud i l'est de Sèrbia, inclòs el monestir de Daljsa, a prop de Golubac, restà devastat. Per haver defensat el cristianisme contra els turcs, Segimon (sobirà catòlic) va veure canviar la seua imatge en aquesta regió ortodoxa: ja no s'anomenava "emperador pagà", sinó, com es pot llegir en les memòries d'un monjo de Daljša, "el nostre emperador".[8]
L'Imperi otomà va mantenir el control de Golubac durant tota la seua ocupació del Despotat de Sèrbia. Després d'anys de lluita, que acabaren amb l'expulsió dels otomans del despotat per l'exèrcit hongarés, la Pau de Szeged restaurà el poder dels dèspotes serbis a finals de l'estiu del 1444. Després de llargues negociacions, la redistribució de districtes ratificà la pertinença de la Fortalesa de Golubac al Despotat serbi.[13] Tanmateix, els turcs la van recuperar després de la mort de Đurađ Branković el 1456. El 1458, Maties Corví recuperà la fortalesa,[14] però la va haver de retornar a Mehmet II el mateix any.[15]
La lluita entre hongaresos i turcs es va reprendre els 1481–1482. A la tardor del 1481, mentre Golubac era otomà, el joupan del Comtat de Temes, Paul el Kniaz (en romanés Pavel Cneazu, en hongarés Pál Kinizsi) va dirigir una expedició contra els turcs.[16] El 2 de novembre del 1481[16] va dirigir el seu exèrcit de 32.000 soldats cap al sud, fins al Danubi,[6] i va arribar fins a Kruševac.[16] A Golubac, va matar o fer presoners mil genets turcs, va enfonsar 24 vaixells i va fer decapitar a les portes de la ciutat el bei Alexander Mikhailović (en turc İskender Mihaloğlu),[16] paixà de Smederevo i general otomà.[6] Els turcs van haver d'abandonar el lloc, però l'atac de Pavel Cneazu no va tenir resultat, ja que els turcs, tot i que havien perdut molts soldats i vaixells, continuaven sent amos de la regió: aviat van recuperar Golubac i n'ampliaren les fortificacions.[16] Del 1482 al 1688, Golubac va romandre otomà i es va construir una mesquita dins la fortalesa per a la guarnició.
Golubac va passar sota domini austríac dues vegades, del 1688 al 1690 i del 1718 al 1739. Els rebels serbis en van prendre el control durant la Krajina de Koča entre els 1788 i 1791, i de nou entre els 1804 i 1813, durant la Primera Aixecament serbi. La fortalesa va tornar a l'Imperi otomà fins al 1867, quan va ser lliurada, juntament amb Kalemegdan i altres ciutats sèrbies, al kniaz Miquel III Obrenović.
Des de la fi del segle xix fins a mitjan segle xx, uns tàvecs d'origen asiàtic introduïts accidentalment a l'àrea pul·lulen per la regió. Particularment nocius per al bestiar, van delmar ramats sencers i búfals fins que el bestiar finalment va desenvolupar anticossos.[6][11][12] Després de la Primera Guerra Mundial, es va construir una carretera que passava per les dues portes fortificades del castell. Aquesta carretera segueix la ruta més curta de Sèrbia a Bulgària. Del 1964 al 1972, es va construir una presa hidroelèctrica a les gorges de les Portes de Ferro, que elevà significativament el nivell del riu: el peu dels turons, la torre núm. 10 i una de les portes ara està inundada.[6]
L'any 2000, la vegetació va envair les ruïnes, i algunes parts de la fortalesa es feren inaccessibles. A la primavera del 2005 es va dur a terme un projecte per rehabilitar-la, però com que Sèrbia encara no havia estat admesa a la Unió Europea per la seua actuació en les guerres de Iugoslàvia, hi mancaven fons. Es van retirar els arbusts i se'n repararen alguns monuments, com la font del fossat construïda en homenatge al cavaller Zawisza el Negre. Els murs, les torres i els esglaons de pedra estaven en bon estat, però els terres i les escales de fusta s'havien podrit, cosa que feia inaccessibles els pisos superiors. Golubac continua sent una atracció popular, perquè hi passa una carretera important i perquè és a prop de les Portes de Ferro i de Lepenski Vir.
La fortalesa fou restaurada entre el 2014 i el 2019.