Il castello è stato costruito su una precedente fortezza, distrutta dal terremoto del 1456: lo studio dei resti di elementi architettonici visibili in alcune parti del muro ha fatto ipotizzare che sulla stessa area sorgesse un'altra dimora feudale di periodo normanno, costruita intorno all'anno 1000. 

Non sono stati trovati documenti anteriori al 1400, quindi non si hanno notizie sul castello medievale, mentre le fonti datano la fondazione del castello attuale tra il1494 e 1505.
In quegli anni si è segnato il radicale passaggio dall'austera fortezza medievale all'attuale residenza signorile fortificata.
Una lapide posta all'ingresso del castello porta inciso il nome di Gerolamo Carafa, promotore di questa sostanziale trasformazione.

Scipione De Curtis nel 1619 si adoperò per realizzare delle opere di consolidamento su tutto il manufatto, in particolare sui torrioni.
Alle insurrezioni popolari del 1646 e del 1713 seguirono altre ristrutturazioni, finanziate sempre dai De Curtis.
L'attuale conformazione del castello si deve attribuire ai lavori di ristrutturazione effettuati dopo il terremoto del 1805.
Delle modifiche apportate al castello, grande importanza riveste la trasformazione del ponte da levatoio in stabile.
Il castello di Ferrazzano è dunque la sintesi dei mutamenti nel corso dei secoli, pur conservando l'originaria struttura cinquecentesca.