Il 3 ottobre 1273 nel castello, governato da Roberto di Cosenza, alloggiò il re Carlo I d'Angiò, che scelse Venafro come tappa del proprio viaggio. La presenza di Carlo I fa ritenere che l'edificio in quegli anni fosse adeguatamente attrezzato per dare ospitalità anche a personaggi illustri.

Nel 1766 l'edificio ospitò Ferdinando IV di Borbone. Successivi episodi testimoniano però che a distanza di qualche anno, con la totale sprovincializzazione della nobiltà meridionale, il castello perdette del tutto e definitivamente la sua utilizzazione a residenza signorile. 
A dimostrazione di ciò sappiamo che dopo pochi anni, nel 1770, re Ferdinando, trovatosi di nuovo a Venafro per una battuta di caccia, andò ad abitare nella casa dei baroni Coppa e non nel castello.

Il castello Pandone è legato ad una triste storia d'amore.
Nel 1711 Giovanni di Capua, erede del castello dal 1707, decise di celebrare qui le nozze con la sua fidanzata Vittoria Piccolomini. Purtroppo la giovane sposa non arrivò mai a Venafro: Giovanni di Capua, infatti, assalito da una febbre letale, morì il giorno prima dell'arrivo della sua amata, il 5 gennaio del 1711.