L’antica fattoria di Poggitazzi è situata in posizione dominante nel caratteristico territorio delle Balze, lungo un percorso di origine etrusca che attraversa il Valdarno. I primi insediamenti risalgono all’epoca longobarda ed avevano scopo difensivo-militare. L’antica fortificazione ghibellina appartenne alla famiglia dei Pazzi, finché nel 1288 Uberto de’ Pazzi lo cedette ai Fiorentini di parte guelfa che la ricostruirono, ampliarono e la affidarono a Maffeo di Francesco da Sommaja, notaio fiorentino, dalla cui attività deriva il cognome "de’ Libri" attribuito alla sua famiglia e lo stemma gentilizio (tre libri rilegati e chiodati in campo chiaro). Dal 1300 la famiglia Libri realizza ampliamenti e ristrutturazioni e completa la cappella dedicata a S. Antonio Abate sul piazzale a sud rispetto a tutto l’insediamento; su un lato si legge ancora la lapide posta nel 1489 per un restauro compiuto da Paolo di Maffeo de’ Libri. La famiglia Libri si è tramandata nei secoli la proprietà e la cura della "Casa e Palazzo di Poggitazzi" come nel ‘500 si indicava il complesso della villa e fattoria, lasciando con i suoi membri traccia nella vita culturale e amministrativa di Firenze.

Il nucleo centrale della tenuta è costituito attualmente da tre corpi principali collegati tra loro da sotterranei e, all’esterno, da cortili e corridoi delimitanti anche i due giardini: uno piu grande ed antico, ripristinato con i materiali originari, ed uno più recente, di impianto ottocentesco. Probabilmente il corpo di fabbrica nord-occidentale, il più recente di tutto il nucleo, fu riedificato agli inizi del ‘700, secondo la tipologia della villa toscana di quell’epoca, che a sua volta deriva dai canoni architettonici codificatisi tra il ‘500 e il ‘600. Ulteriori ampliamenti ed abbellimenti come soffitti a cassettoni ed affreschi vengono aggiunti nella seconda metà dell’ottocento quando la proprietà di Poggitazzi viene portata in dote da Melania Libri Graziani per le nozze con Giovanni Magherini, ed è in questo periodo che viene riordinata e riqualificata l’ attività agricola soprattutto per la produzione di vino e olio.