La posizione del paese e del castello di Ferrazzano rievoca dal punto di vista urbanistico il modello altomedievale, con la piazza posta al centro che fungeva da perno per gli scambi commerciali, per le riunioni e per ogni altra attività tipica della vita del luogo.

Il castello ha una pianta a forma poligonale irregolare.
Le mura perimetrali sono state costruite adattandole alle caratteristiche morfologiche del luogo.

Per accedere al castello di Ferrazzano si percorrere un ponte stabile, che sostituisce l'antico ponte levatoio del castello.

Il castello presenta una muratura non omogenea, che supporre che il materiale utilizzato provenga da altre strutture.

Sul portale di ingresso è ben visibile un balconcino, ai lati si trovano due finestre di differente grandezza.
Il portale termina in un arco a tutto sesto, al di sopra del quale è ben visibile una lapide, ai cui lati si trovano due sottili colonnine ugualmente di pietra.

Il castello presenta, sui due lati, due torrioni di forma circolare e di differente grandezza, chiaro riferimento all'architettura medievale militare.

Entrambi i torrioni hanno delle finestre e quello più grande conserva ancora la porticina che permette di accedervi.

Oltre ai torrioni si notano anche due piccole torri squadrate, sul lato sud - ovest.

Il castello è ancora strutturato all'esterno come una tipica fortezza medievale, mentre all'interno si presenta come una residenza signorile, un tempo elegante e raffinata.

Il cortile fungeva da raccordo per le stanze del piano terra, adibite a magazzini e scuderia, e ospitava la cisterna per la raccolta delle acque.
Il pianterreno era destinato ai servizi mentre una scala guidava al piano superiore, destinato alla residenza del signore.