Il palazzo è databile al XIII sec. ma la targa dice che nel 759 qui l'ultimo re Longobardo, Desiderio, fece costruire una sua reggia; poi l'epigrafe menziona un Ugo Brogi come proprietario all'inizio del XVII sec. e un omonimo discendente -forse il nipote- come restauratore del palazzo nel 1647; i Brogi ereditarono nel 1649 nome e sostanze dei Venerosi Pesciolini, famiglia più antica ed illustre.