Dei quattro torrioni esistenti tre sono rotondi, il quarto è quadrato e più massiccio ed assume la funzione di mastio.

L'edificio presenta delle visibili anomalie. Il torrione cilindrico orientale si sviluppa in modo sproporzionato; l'androne posto sul lato sud-est è collocato in maniera asimmetrica ed è spostato verso il torrione; il torrione cilindrico meridionale non è allineato a quello occidentale, per cui risulta spostato anche il fronte sud-ovest, che non è rettilineo; l'inclinazione del lato nord-ovest è diversa rispetto a tutte le altre murature del castello.

La struttura originaria del X secolo doveva essere a pianta più o meno quadrangolare, senza torri agli spigoli e difese particolari. Con molta probabilità la costruzione difensiva consisteva semplicemente in una torre quadrata con cinta muraria. 
I successivi ampliamenti dotarono l'edificio di ponte levatoio e fossato, e di muraglioni larghi anche due metri con feritoie e merli.

Intorno alla metà del XIV secolo furono aggiunte le due torri cilindriche, dalle quali si aprivano i due camminamenti volti a difendere il fossato. All'interno dei camminamenti sono state ricavate dodici feritoie per permettere l'uso di armi da getto, di balestre, frecce ed archibugi.

Nel 1500, sotto il contado dei Pandone, venne aggiunto il loggiato, al quale si accede da una scala aerea esterna. Tale corpo risponde esclusivamente ad esigenze estetiche e di godimento del paesaggio circostante e non ha scopo difensivo.

Il mastio è diviso in tre piani sovrapposti comunicanti tra loro tramite botole e scale levatoie.

Il pianterreno accoglie la sala d'armi e i locali destinati al corpo di guardia, oltre ad un ampio locale con le pareti variamente incise, che probabilmente fungeva da prigione.

Il primo piano, piano nobile della fortezza, era abitato dal padrone e dalla sua corte e, all'occorrenza, era utilizzato come sala di giustizia; l'ultimo piano sottotetto era invece adibito a postazione di vedetta e di difesa.

Dal loggiato è visibile una torre di avvistamento situata a ridosso della montagna.

Di notevole interesse sono gli affreschi e gli stemmi che decorano il piano nobile del mastio: la maggior parte di questi furono voluti da Enrico Pandone che, prediligendo gli animali e in particolare la razza equina, volle come tema centrale degli affreschi proprio i cavalli, rappresentati a grandezza naturale.

La tecnica utilizzata per questi affreschi è quasi unica: su un veloce disegno preparatorio, veniva stuccata in altorilievo la sagoma del cavallo per esaltarne l'effetto volumetrico, e poi la stessa veniva dipinta ad affresco. Ogni cavallo è caratterizzato e riconoscibile dalla propria sella e da eleganti bardature, contrassegnate dallo stemma di Enrico Pandone. Ciascun animale è inoltre individuato da precise annotazioni circa la razza, l'età e il nome.

Oltre per il loro interesse artistico, l'importanza degli affreschi è dovuta al fatto che questi permettono di conoscere i rapporti interpersonali intessuti dal conte Enrico: tra i cavalli spicca quello nominato San Giorgio, donato nell'ottobre 1522 da Enrico all'imperatore Carlo V.

Interessante è anche la cosiddetta "sala del teatrino", creata al primo piano sullo spigolo settentrionale: alla fine del 1700 in questa sala fu tagliata una parete per realizzare una finta bocca di palcoscenico e un falso sipario di stucco; due putti dorati furono posti ai limiti di questo sipario, nell'atto di reggere un velo gonfiato dal vento.