La Fortezza occupa uno dei bastioni, fortificato anche verso l’interno della città.
Conserva al suo interno il maggior residuo della cerchia muraria Medievale: il Cassero con la Porta di Santa Lucia.
Sul portone d’ingresso della Fortezza è lo stemma mediceo con un’iscrizione che ricorda il granduca Ferdinando I, sotto il quale fu completata la costruzione (1593).
All’interno una rampa cordonata porta alla piazza d’armi con un pozzo con stemma mediceo e cisterna per la raccolta delle acque.
Il Cassero si distingue nettamente dal resto delle costruzioni sia per la tecnica edilizia si per lo slancio verticale tipico delle mura di difesa precedenti l’introduzione della polvere da sparo.
In origine si trattava di una porta con antiporto affiancata da una poderosa torre. Il riuso mediceo ne ha alterato profondamente l’aspetto: gli edifici medievali sono infatti in parte interrati nel terrapieno del bastione mentre la torre è stata abbassata e la porta chiusa e coperta.
​All’esterno dell’arco della porta si segnala la balsana senese e un’iscrizione che data la costruzione al 1345.