Parece pois que o seu papel quedou
relegado a actos simbólicos
como a toma de posesión dos novos herdeiros ao cumprir o morgado, onde
o Alcalde da vila entregaba ao novo herdeiro dos Sarmiento as varas de xustiza
e as chaves do castelo. Os Sarmiento residían habitualmente no Castelo
de Mucientes, en Valladolid, e cun castelo sen acabar, preferiron construír
un palacio actualmente desaparecido e que estivo situado xunto á Praza
Maior de Ribadavia
Na actualidade destacan a súa entrada principal cos escudos dos Sarmiento
e Fajardo, así como os enterramento antropoides e a necrópole
de pedra de entre os séculos IX a XII.
As revoltas Irmandiñas contra
a opresión señorial (1467-1469) deberon de impulsar a construción
do castelo dentro do recinto que tempo atrás pasara a ser titularidade
dos Sarmiento. A inscrición existente sobre a porta principal data
de 1472, se ben nunca foi rematado e non existe constancia de que chegara
a estar habitado. Non obstante, levantáronse estruturas importantes
con proxección de gran residencia, como os grandes ventanais da fachada
sur e unha impresionante cheminea.