L'edificio ha le caratteristiche di una fortezza, che denunciano una lontana origine medievale: è costruito interamente in pietra e presenta alte mura di cinta, che nei tempi passati avevano funzione di difesa dagli attacchi nemici.

Il palazzo è a pianta irregolare, si innalza su due piani ed è costituito da vari blocchi: tale struttura composita indica chiaramente più periodi di costruzione dell'edificio, le cui parti probabilmente sono state aggiunte in diversi momenti per diverse funzioni.

Il palazzo presenta due ingressi: quello di destra, affiancato da uno stemma, conduce a una stradina che porta alla zona posteriore dell'edificio.

Attraverso l'ingresso di sinistra si accede all'interno del palazzo, dove si incontra subito un piccolo giardino pensile; un'altra area verde è posta dietro il palazzo e ad essa si accede tramite alcune stanze del primo piano.

L'interno di Palazzo Colaneri, attualmente disabitato, è stato radicalmente trasformato fino a perdere i caratteri residenziali. 

Fino a pochi anni fa infatti è stato adibito a carcere, come è possibile notare dalla suddivisione degli ambienti e dalle inferriate ancora presenti, pertanto non presenta la tipica successione di saloni di un palazzo, né elementi d'arredo o decorativi che ricordino il suo passato di dimora signorile.