Il nome deriva da "Kale Polis", imposto dai colonizzatori Greci, che significa "città bella".
Durante il 265 a.C. fu conquistata dai Romani che migliorarono i sistemi di comunicazione della città e ampliarono le attività portuali, trasformando la città in un centro militare.
Nel 450 venne occupata dai Barbari che saccheggiarono la città, poi durante il 500 fu dominata per 42 anni dai Bizantini.
Nel 542 d.C. venne interamente ricostruita dall'Impero Romano, potenziandola anche di apparti difensivi, divenne così uno dei centri navali e militari più importanti dello Ionio.
Durante il XI secolo Gallipoli ed il Salento vennero occupate dai Normanni, poi assediate dal re Carlo I d'Angiò e dal 1268 in poi ci furono varie dominazioni di breve periodo.
Quando passò sotto il dominio Spagnolo diventò sempre più ricca e importante e quando entrò a far parte del Regno di Napoli ci furono una serie di miglioramenti, di cui il più importante fu la costruzione del porto.
Con l'Unità d'Italia divenne capoluogo di circondario, insieme a Lecce e Taranto.
Ad oggi è una delle città turistiche più importanti del Salento ed è anche un importante centro di storia, cultura ed arte del Barocco.