Die Festung der Anjou und Aragonesen („Castello Angioino-Aragonese“) erstreckt sich über ein Areal von 14.000 m² und überragt die mittelalterliche Altstadt von Gaeta. Der Komplex besteht aus zwei Bauten, die in verschiedenen Epochen errichtet wurden, aber eng miteinander verbunden sind. Westwärts liegt die Festung des Hauses Anjou, die heute Sitz der „Università degli Studi di Cassino e del Lazio meridionale“ (Universität von Cassino und Südlatium) ist, während ostwärts die Festung des Hauses Aragon die „Scuola Nautica della Guardia di Finanza“ (Nautischen Schule der Finanzpolizei) beherbergt. Ein erstes „Castrum“ war schon im 6.-7. Jh. erbaut worden, um die Stadt vor den Einfällen der Goten und später der Langobarden zu verteidigen.

Friedrich II., der während seiner Aufenthalte in Gaeta die strategische Bedeutung des Ortes für das Königreich Sizilien erkannt hatte, lies zwischen 1223 und 1227 die Burg befestigen. Schon 1230 wurde diese Anlage allerdings während eines Aufstandes von Anhänger der päpstlichen Partei zerstört. Unter Karl von Anjou, erbaute man ab 1279 die Festung des Hauses Anjou („Castello Angioino“), die ein viereckiger Grundriss mit zwei hohen kegelstumpfförmigen Türmen kennzeichnet.

Alfons von Aragon erweiterte und befestigte die Burg, als er um 1430 sein Hauptquartier hierher verlegte. Damals entstanden auch der Thronsaal, Wohnungen und die Münzstätte des Königreichs Neapel. Auch Karl V. von Habsburg ließ das Gebäude in den ersten Jahrzehnten des 16. Jh. mit dem Bau von neuen Türmen und Bastionen weiter befestigen.

Gaeta und seine Burg blieben von Anfang des 16. Jh. bis Anfang des 18. Jh. unter der spanischen Herrschaft. Als Karl III. von Bourbon 1734 neuer König von Neapel wurde, veranlasste er Restaurierungsarbeiten der Festung. Im Laufe des 19. Jh. wurde Gaeta mehrmals belagert. Historisch besonders bedeutend sind die Belagerungen von 1806 durch die französischen Truppen, von 1815 während des österreichisch-neapolitanischen Krieges und von 1860 während der Kämpfe, die zur Italienischen Einheit führten.

Der aragonesische Flügel hat einen rechteckigen Grundriss und drei zylinderförmigen Ecktürmen; bis Ende des Zweiten Weltkriegs war er Sitz des Schüler-Bataillon der Carabinieri („Battaglione Allievi Carabinieri“), während er heute die Nautische Schule der Finanzpolizei („Scuola Nautica della Guardia di Finanza“) beherbergt.

Der Flügel des Hauses Anjou wurde von 1881 bis Juni 1990 als Militärgefängnis für Kriegsdienstverweigerer, politische Häftlinge und für von Militärbehörden Verurteilte benutzt. Nach dem Zweiten Weltkrieg wurden hier die Nazi-Offiziere Walter Reder, Verantwortlicher des Massakers von Marzabotto, und Herbert Kappler, federführend beim Massenmord in den Fosse Ardeatine in Rom, eingesperrt.

Außerdem sind im Anjou-Trakt noch verschiedene Räumlichkeiten der Restaurierungsarbeiten aus der Zeit der Bourbonen erhalten: die königliche Kapelle und der Innengarten, der durch Königin Maria Sofia angelegt wurde. Die letzten Herrscher des Königreiches von Neapel Franz I. und seine Frau Maria Sofia, die hier ab November 1860 von den Piemontesen belagert wurden, mussten im Februar 1861 endgültig über das Meer fliehen, um nach Rom zu gelangen. Die Struktur steht jetzt der Universität von Cassino und Südlatium („Università degli Studi di Cassino e del Lazio meridionale“) zur Verfügung, um hier Hochschulausbildung, Konferenzen, Seminare und kulturelle Veranstaltungen abzuhalten.