Nel 1487 Niccolò di Manno Bufalini ricevette da Città di Castello un fortilizio da ultimare per la difesa dei territori altotiberini. La ristrutturazione già avviata dall’architetto romano Mariano Savelli, fu completata da Giovanni e Camillo Vitelli. Nel XVI secolo con Giulio e Ventura Bufalini l’edificio fu trasformato in una dimora signorile grazie all’architetto fiorentino Giovanni di Alesso detto Nanni Unghero e ai cicli di affreschi e grottesche eseguiti da Cristoforo Gherardi di Sansepolcro. Qui visse Francesca Turrini Bufalini (1553-1641), moglie del Colonnello pontificio Giulio Bufalini, donna e poetessa di grande personalità. Alla fine del XVII secolo la Famiglia Bufalini trasformò il giardino con preziosi roseti, gallerie di verde, fontane, nicchie ornate di mosaici e un ampio labirinto di bosso.
Il Castello è stato acquisito dallo Stato nel 1989 e sottoposto a consistenti interventi di restauro.