L’edificio, in cui risiedevano i magistrati della città, fu edificato nella seconda metà del XIII secolo e nel secolo successivo incorporò la vicina torre della famiglia Da Biserno, nobile stirpe maremmana.
​Sulla facciata al cento spicca lo stemma dei Medici, che nel 1555 inglobarono questo territorio nel Granducato di Toscana, e sulla sinistra un bassorilievo di Urbano da Cortona del XV secolo. All’interno due lapidi commemorative ricordano Giuseppe Garibaldi, cittadino onorario della città. Attualmente l’atrio del Palazzo Comunale ospita Icaro, scultura donata dal maestro Igor Mitoraj. L’ufficio del Sindaco si trova nella Cappella dei Priori, affrescata nel 1525.