Parece pues que su papel quedó relegado a actos simbólicos como la toma de posesión de los nuevos herederos al cumplir el mayorazgo, donde el Alcalde de la villa entregaba al nuevo heredero de los Sarmiento las villa entregaba al nuevo heredero de los Sarmiento las varas de justicia y las llaves del castillo. Los Sarmiento residían habitualmente en el Castillo de Mucientes, en Valladolid, y con un castillo inacabado, prefirieron construir un palacio actualmente desaparecido y que estuvo ubicado junto a la plaza Mayor de Rivadavia.

En la actualidad, destacan su entrada principal con los escudos de los Sarmiento y Fajardo, y los enterramientos antropoides y la necrópolis de piedra de entre los siglos IX a XII.