Именно здесь, согласно Виргилию, причалил корабль Энея, бежавшего из Трои. Во время путешествия скончалась любимая жрица Энея - Каэта, которая была погребена на этой земле, и именно ее имя сохранилось в веках.
Город Гаэта является типично средневековым, с переулками, пешеходными дорожками, большим замком, норманскими колокольнями. О cредневековье здесь напоминают и многочисленные церкви (собор Sanrissima Annunziata, San Giovanni a Mare, церковь Sorresca, San Domenico, Santa Lucia, San Francesco и Santa Caterina d'Alessandria). Особенно красив собор Sanrissima Annunziata, построенный на пожертвования местных жителей в 1321 году и прославившейся своей часовней, носящей название "Золотой грот".
Украшением города является Кафедральный Собор - жемчужина готики, построенный по велению Фердинанда Бурбона, и старинный военный форт, защищающий вход в бухту. На горе Орландо находится одно из святых мест - Расколотая Гора (Монтанья Спакката). Когда Иисус Христос испустил дух, то в разных частях света многие горы раскололись. Так гора Орландо раскололась на три галереи, в одной из которых находится Святилище. Каменные ступени ведут к часовне XV века, построенной на глыбе, которая застряла в месте раскола горы. Рядом с часовней сохранился отпечаток руки человека, оставленный в момент, когда порода горы была еще мягкой. У входа есть углубление (ложа), где жил Святой Франческо Нери. К этому месту устремляются многочисленные паломники.
Долгая история города прослеживается в многочисленных архитектурных памятниках разных эпох, среди которых - мавзолей Мунация Планко, монументальный ансамбль "Благовещение", замок Лонгобардов, вблизи которого находится могила Цицерона, и др.