Nel 1345 la famiglia d’Evoli si impossessò di tutto il territorio di Castropignano, incluso il castello, e lo mantenne fino alla eversione della feudalità.

Nel 1396 Andrea d’Evoli, successore di Giovanni, perse il feudo poiché considerato un ribelle dalle autorità del tempo. I d’Evoli riuscirono a riavere la proprietà grazie ad Antonio d’Evoli, che riconquistò la fiducia del sovrano Alfonso D’Aragona.

Il personaggio più noto della famiglia fu Vincenzo d’Evoli, al quale si deve la costruzione della chiesa di Santa Maria delle Grazie in Castropignano. Con molta probabilità il corpo del duca è ancora oggi sepolto sotto l’altare della chiesa.

Tra le leggende legate al castello se ne ricorda una, che attribuisce alla fortezza 365 stanze da letto: ogni notte i proprietari dormivano in una stanza diversa.

L’altra è legata alla storia di Fata, una graziosa pastorella di Castropignano che, per sfuggire alle avances del Duca d’Evoli, preferì gettarsi dal dirupo piuttosto che capitolare. Il mistero avvolge questo evento: il corpo di Fata non fu mai ritrovato.