L'esistenza di un castello precedente è provata, oltre che dalla tradizione orale (la gente del luogo chiama il palazzo baronale "castello"), da alcuni elementi strutturali tipici dell'architettura difensiva: il muro a scarpa, tipico espediente medievale, le feritoie, le finestre interne, che affacciano sul cortile e un arco che fa da tramite tra il castello e le abitazioni di fronte.

Da confermare l'ipotesi che questo arco aggettante sia parte del ponte levatoio, citato in un documento del 1590.

Su questo manoscritto, custodito fino alla seconda guerra mondiale nel convento francescano dei Frati Minori di Gesù e Maria, apprendiamo infatti che al palazzo si accedeva per mezzo di una "sciulia", cioè di una rampa, che precedeva il ponte levatoio e che tutto il palazzo era circondato da un fossato.

Il manoscritto descrive anche il cortile che conserva la sua funzione .
All'interno del palazzo c'erano merli in pietra e merloni, che non si ritrovano più all'estremità delle mura.

Il documento tramanda anche l'esistenza di una "sala del trono", simbolo indiscusso del potere feudale, e di una torre adibita a residenza per il feudatario.
Attualmente al castello si accede attraverso una scalinata, che immette nel cortile.

Caratteristico è il loggiato, che affaccia sulla piazza principale del paese e dal quale si scorge il mare.
Il palazzo si eleva su tre piani, i cui interni sono stati oggetto di numerose trasformazioni anche se si conservano alcuni caratteristici corridoi stretti e bui, che ricordano i vecchi interni del castello.