Il castello Caldora è a pianta pentagonale, con un corpo centrale delimitato agli angoli da cinque torri, tre delle quali ancora visibili. 

Il castello è chiuso da spesse mura di cinta, che rendono l’edificio una vera e propria fortezza.

La facciata principale è rivolta verso l’abitato ed è delimitata da due torri circolari; presenta la tipica merlatura ed è movimentata da una loggia composta da quattro finestre, mentre la facciata rivolta a valle è stata oggetto di ristrutturazioni che ne hanno modificato l’aspetto.

Anche le torri circolari presentano delle finestre, che evidentemente un tempo dovevano essere feritoie utilizzate per la difesa da attacchi nemici.

Per entrare nel castello si doveva attraversare un ponte levatoio; al di là del ponte una porta che affacciava sul cortile veniva chiusa grazie a delle catene, situate su delle guide ricavate negli stipiti.

Oggi l’accesso al castello Caldora è consentito da un ponte di pietra, che ha sostituito il ponte levatoio, percorrendo il quale si può ammirare una torretta situata sulla sinistra del castello.

Al termine del ponte vi è un arco in pietra che preannuncia l’ingresso al castello, che all’interno è costituito da vari ambienti situati su diversi piani.

Al pianterreno un tempo erano sistemate le scuderie e gli alloggi dei soldati del corpo di guardia; la prigione e le stanze in cui si effettuavano le torture ai prigionieri erano sistemate nei sotterranei. 

Al primo piano si trovava la sala di rappresentanza, quella per i banchetti, le stanze di disimpegno e altri ambienti, insieme alla cappella privata. Al secondo piano si trovavano le camere e i servizi.

Il castello visse il periodo di massimo splendore quando vi dimorarono i Caldora, abbellito e arricchito di arazzi orientali, tappeti e suppellettili d’oro e argento, che impreziosivano i mobili di legno pregiato.