Intorno alla metà del XIII secolo ebbe inizio la costruzione della rocca, si pensa che avvenne sui resti di una fortificazione romana.
Il podestà di Verona Mastino della Scala ordinò questo progetto, che doveva fungere da zona di difesa e controllo portuale, poichè Sirmione trovandosi in una posizione di confine era più esposta ad aggressioni.
Nel 1405 Sirmione passò sotto il controllo della Repubblica di Venezia e durante questo periodo iniziò un'opera di rafforzamento delle strutture difensive.
Fino al XVI secolo il primato di postazione difensiva appartene a Sirmione, poi la fortezza di Peschiera del Garda venne modernizzata e la sostituì.
Ad oggi troviamo questa suggestiva e ben conservata rocca all'ingresso del centro storico di Sirmione ed al suo interno possiamo vedere il lapidario romano e medievale che è stato allestito, una breve mostra delle informazioni più importanti sulla rocca, i camminamenti di ronda delle mura e si può anche giungere fino alla torre più alta della fortezza.
Una leggenda dice che tanto tempo fa nel castello viveva una vita serena un ragazzo di nome Edengardo con la sua innamorata Arice, fino a quando il loro amore venne interrotto da una tragedia: una notte di tempesta un cavaliere veneto, Elalberto, chiese riparo, la coppia lo ospitò, ma questo cavaliere sbalordito dalla bellezza della fanciulla, durante la notte la raggiunse.
Arice iniziò a gridare spaventata e Elalberto la pugnalò, intanto Ebengardo corse nella stanza della sua innamorata, che trovo senza vita, e preso dalla rabbia prese il pugnale dal petto di Arice e uccise Elalberto.Ancora oggi nelle notti di tempesta, si può vedere l'anima di Ebengardo che vaga per il castello alla ricerca di Arice.