Secondo una prima ipotesi il palazzo baronale sarebbe stato edificato durante la dominazione normanna, intorno ai secoli XI e XII.
Questa ipotesi risulta avvalorata da una serie di elementi importanti.
Innanzitutto, grazie a un registro dei Baroni tenuto da Guglielmo il Buono, morto nel 1189, è possibile risalire al nome del primo feudatario, che dimorò nel palazzo, un certo Domenico Amerio, contemporaneo di Roberto di Bassavilla, conte di Loretello, oggi Rotello.
Interessante è poi la presenza, nelle sale del palazzo, di archi gotici, risalenti all'epoca della presunta costruzione del palazzo.

Una seconda ipotesi vuole che il palazzo baronale sia stato edificato nel secolo XV sui resti di una chiesa; di qui la presenza di quattro archi gotici, riutilizzati nell'impianto del "castello".

Come tutti i castelli edificati sotto la dominazione longobarda e soprattutto normanna, anche a S. Martino in Pensilis è evidente l'accostamento di chiesa, castello e borgo, a testimonianza di un sistema feudale di signorie locali.