Esso è il secondo edificio pubblico fiorentino, sia per importanza, che per mole: la sua torre merlata fu a lungo la più alta di Firenze. Il palazzo fu costruito tra il 1255 ed il 1261 per ospitare il Podestà, magistratura annuale ricoperta da un imparziale forestiero, ed il Capitano del Popolo, garante dei rapporti tra la vecchia aristocrazia ghibellina e la nuova borghesia guelfa.

Nel 1564 la costruzione divenne la sede del Capitano di Giustizia, detto Bargello. Da allora fino al 1865 il palazzo ospitò le prigioni.

Con l'unità D'Italia il Bargello è diventato museo nazionale.