Il castello si erge in una posizione dominante su una collina alta 236 metri da cui si può vedere Monteriggioni. È ancora circondato da una robusta cinta muraria con bastioni cilindrici e angolari, su cui corre una rampa che conduce all'area davanti al portale di accesso al cortile.

Si tratta di un elaborato cortile centrale con archi sovrapposti, risultato della ristrutturazione del XVI secolo, così come il portale che consente l'ingresso e la chiesa in mattoni situata accanto alla fortezza.

La sua esistenza risale all'XI secolo, quando vi era un castello con la corte dei Longobardi, costruito a breve distanza dal vicino castello di Monteriggioni per controllare la vicina Via Francigena. Passò ai vescovi di Siena e poi ai monaci dell'Abbadia a Isola durante il XII secolo. Fu distrutto dai fiorentini nel 1158, ma l'insediamento fu ricostruito. Nel 1265, proprio accanto all'attuale Via Cassia, fu fondato un ospedale da Ghinibaldo dei Saracini, dal quale deriva il nome della località.

Ghinibaldo era il marito di Sapìa, menzionata da Dante (Purgatorio – Canto Tredicesimo). Da lì, lei avrebbe osservato la sconfitta dei suoi concittadini durante la battaglia di Colle di Val d’Elsa. I Saracini detenevano diritti feudali sul castello e ricevevano grandi profitti dal commercio, che reinvestivano nell'acquisto di numerose fattorie circostanti. Il castello fu successivamente ceduto al Comune di Siena, che nel 1271 inviò un giudice dipendente dal suo Podestà, e l’ospedale dei Ghinibaldi fu incorporato nella giurisdizione del grande Ospedale di Santa Maria della Scala a Siena. Nel XVI secolo, il castello passò alla famiglia Piccolomini.

L'attuale edificio, organizzato attorno a un bellissimo cortile centrale, è composto da elementi di diversi periodi, con una predominanza di strutture derivanti da una ristrutturazione del XV secolo. Sebbene sia stato rimaneggiato più volte, rivela chiaramente le sue origini medievali nella struttura massiccia e compatta che circonda il cortile, rinnovata nel XVI secolo, nella muratura e nel disegno di molte aperture. La piccola chiesa esterna sembra essere stata chiamata “Chiesa di San Ruffiniano” e contiene al suo interno una targa in marmo che faceva parte del complesso ospedaliero del XIII secolo situato sulla Via Cassia.

Dagli stessi documenti, si evince che la colonna di pietra che divide la bifora (finestra doppia) del campanile apparteneva anch'essa a questo complesso. All'interno, c'è un rilievo spettacolare e alquanto macabro che raffigura 4 angeli e una ragazza. Risale al XIX o inizio XX secolo, e il suo significato è ancora sconosciuto. Si trova dietro l'altare della cappella, che non è accessibile. Oggi, il castello è dismesso e abbandonato.