Hrad je najvyššie položenou stavbou mesta a je považovaný za ´mocnosť najvyššej triedy´. Keďže sa týči vysoko nad mestom aj nad okolitým morom a je dobre viditeľný, stalo sa Vieste v priebehu storočí významnou námornou križovatkou a dôležitým mestom na Gargáne. Hrad slúžil jednak ako obranná pevnosť, a jednak ako miesto, kde sa stretávala politická a kultúrna spoločnosť.
Ako ukazujú archeologické výskumy, územie Vieste bolo obývané už v 5. storočí n. l., z ktorého pochádzajú keramické úlomky. Zo stredoveku pochádza len málo pohrebných artefaktov, ktoré dokumentujú, že na tomto území sa nachádzalo helénske pohrebisko. Predpokladá sa, že v rímskom období stála vo Vieste strážna veža, ktorá slúžila aj ako maják. Prvé opevnenie bolo vystavané pravdepodobne počas posledných dvoch storočí 1. tisícročia, kedy sa Saracéni nachádzali na celom území Apúlie.
Je ale tiež možné, že prvé základy opevnenia položili Byzantínci, ktorí dali na hraniciach Apúlie, vtedajšej Daunie, vystavať obrannú líniu veží a hradov chrániacu ich územia pred inváziami zo severu. Túto domnienku potvrdzuje aj fakt, že v čase rozmachu Byzantskej ríše stál na čele mesta ´turmarca´, bojovník, ktorý bol správcom a zároveň sudcom.
Zmienku o hrade nájdeme aj na pergamene, ktorý pochádza z roku 1059, kedy bol uzavretý mier v Melfi. Tento pergamen bol vyhotovený pri príležitosti vysvätenia Opátstva Sv. Márie z Caleny v Peschici.
V druhej polovici roku 1000, Normandovia, ktorí dominovali na tomto území, oceňovali strategickú polohu mesta a vybudovali novú, mohutnejšiu obrannú pevnosť.
V roku 1177 Vieste navštívil pápež Alexander III., ktorý si kvôli bezpečnosti ako miesto pobytu zvolil práve hrad. Pápež mal z prístavu vyplávať do Benátok, aby podpísal mier s Fridricom Barbarossom, avšak kvôli zlým poveternostným podmienkam na mesiac ´uviazol´ vo Vieste.
V roku 1223 v dôsledku zemetrasenia hrad utrpel takmer také škody ako o sedemnásť rokov neskôr po vpáde Benátčanov, spojencov pápeža, ktorý bol naplánovaný ako odveta proti Fridrichovi II. Svevskému za jeho pokusy obsadiť Rím. Fridrich II. bol do Vieste vyslaný ako ´strážca opevnení´, zásobil bašty zbraňami a potravinami. Aby zabezpečil ochranu územia, ktoré dnes poznáme ako provinciu Foggie, dal vystavať nové hradby na miestach, kde už opevnenia stáli. Tie mali zabrániť vonkajším vpádom a zároveň chrániť územie pred nepokojmi na polostrove. Tak Vieste spolu s ostatnými opevneniami v Apúlii vytvorili rozsiahlu obrannú líniu. Mnohí historici sa zhodujú v tvrdení, že hrad bol vybudovaný až v tomto období, s úplnou istotou sa to však nedá potvrdiť.
V období, kedy mestu vládli Svevovia a rod D´Anžu, malo Vieste významnú lodenicu a vojenské výcvikové centrum na boje proti pirátom. V tomto období bolo mesto dokonca sídlom dôležitých funkcií, sudcu vo veciach občianskoprávnych a dozorcu, ktorého úlohou bolo rozhodovať o územných právach na pobrežie, a to v obdobiach vojny aj mieru.
V roku 1349 Vieste opäť zasiahlo silné zemetrasenie, ktoré poškodilo hrad a vyžiadalo si aj mnohé obete na životoch.
V roku 1442 prichádza do Vieste Alfonz I. Aragónsky aby sám viedol námornú bitku proti D´Anžuovcom o následníctvo na trón Neapolu a mal tak pod kontrolou nepriateľské lode plaviace sa na Jadranskom mori. Pri tejto príležitosti dal zariadiť hrad a priznal mestu mnohé privilégiá.
V roku 1480, keď Turci ovládli celé Stredomorie, Vieste zasiahol rýchly úpadok a v auguste toho istého roku bolo mesto vyplienené. Aj keď hrad tiež utŕžil škody, pod velením Antonia Miroballa dokázal čeliť vpádu a Turkom sa tak nepodarilo dobyť ho. Na pozvanie Miroballa do Vieste prichádza kráľ Ferdinand Aragónsky, ktorý sa po vzhliadnutí toľkých škôd sám angažuje do obnovy hradu, okrem iného aj silnej obrannej veže Sv. Františka.
Dobytie Vieste a Otranta znepokojilo španielskeho kráľa natoľko, že hneď nariadil posilniť všetky predsunuté hliadky na pobreží. Do Apúlie prichádza miestokráľ Don Pedro Alvarez z Toleda na obhliadku všetkých pevností. Práce na hrade a celom opevnení tak vo Vieste prebiehali v rokoch 1543-44.
V roku 1554 v dňoch 18.-24. júla hrad odolával tureckému nájazdu pod velením Draguta, nakoniec však toľký nápor nevydržal, turkom sa podarilo mesto dobyť a nakoniec podpáliť. Miestokráľ, kardinál Pedro Pacheco Seguntino, ho dal preto ihneď zrenovovať.
V roku 1559 vtedajší miestokráľ Don Pedro Afan z Ribera dal posilniť a prispôsobiť opevnenie novej vojenskej technike použitia pušného prachu a strelných zbraní. Tak pôvodné tri hradné bašty, jednu valcovitú a dve hranaté, nahradili bašty v tvare kopije na lepšiu manipuláciu s delami. V tom istom roku na mieste, kde sa nachádza kostol Sv. Kríža bola postavená obranná veža s vodnou priekopou a vyzbrojená delami mieriacimi na severozápad.
Vážnej udalosti čelil hrad v noci z 31. mája 1646, keď sa v dôsledku ďalšieho zemetrasenia zrútili z útesu dve bašty a veľká časť kasárne. Toto zemetrasenie si vyžiadalo mnoho obetí, medzi inými prišiel o život aj veliteľ hliadok Don Fernandez Cobos de la Cueva. V rokoch 1670-77 však prebiehala rekonštrukcia, vybudované boli obytné aj služobné priestory, ako ja východná bašta.
Od začiatku 18. storočia hrad podstúpil mnoho posilňujúcich a údržbových rekonštrukcií, v jeho priestoroch sídlili mnohé inštitúcie, od Národnej hliadky (Guardia Nazionale), ktorá tu sídlila od krvipreliatia z 27. júla 1861, aby tak chránila mesto pred takzvanými lupičmi; sídlila tu námorná hliadka, ktorá sledovala pohyby vetra a dávala tak signáli o blížiacej sa búrke alebo víchrici; slúžil tiež na obytné účely a v poslednom období tu sídli radar vojenského námorníctva.
Už niekoľko rokov sú časti hradu vyhradené na rôzne kultúrne predstavenia a výstavy a sú sprístupnené verejnosti za doprovodu sprievodcu.