Il Palazzo comunale è il risultato di numerose trasformazioni, di accrescimenti e di modifiche delle costruzioni sorte attorno ad un primo nucleo costituito da una casa-torre e case adiacenti che il Comune comprò nel 1287 da Francesco, figlio del celebre Accursio, e da un altro comproprietario. Il Comune, arrivato a disporre in breve tempo di tutte le case dell’isolato, dopo averle abbattute, eccetto la casa-torre di Accursio, costruì un edificio con un vasto ambiente voltato e con un portico verso piazza. Sulla facciata, nel 1300, fu posta la statua in rame di papa Bonifacio VIII, sbalzata da Manno Orefice. Dal 1336 il palazzo divenne la residenza degli Anziani Consoli che fino a quel momento avevano avuto sede presso i palazzi Re Enzo e Podestà. Anni dopo, nel 1350, sotto il dominio dei Visconti, vi si insediarono il Capitano e il Vicario: a ricordo di quel periodo rimane, tra le varie finestre del fronte meridionale, una elaborata bifora in cotto. Ulteriori acquisizioni di case permisero estesi ampliamenti. Venne edificata nel 1352 all’estremo spigolo a nord-ovest una torre, chiamata il Torrone, e nel 1359 fu acquistata la Torre dei Lapi, sorta sul fianco dell’antica Porta nuova.