O primeiro perímetro murado está datado entre os séculos XII e XIII. Das 5 portas do recinto, só se conservan 3, unha delas é por onde se fai a entrada e saída de visitas.

Na zona máis elevada do recinto atopáronse tumbas antropomorfas escavadas na rocha que deberon de estar baixo unha capela que foi trasladada para construír o castelo.

As crónicas mencionan a importancia do barrio xudeu dentro deste perímetro, que participou activamente contra o asedio inglés de 1386 e que foi duramente castigado nas represalias conseguintes. A destrución da documentación municipal anterior ao século XVI non permitiu obter máis información.

A ladeira do recinto que descende cara o río foi a horta do castelo, onde os traballos recentes de escavación atoparon cisternas para o almacenamento de auga. Durante a década de 1960 estes terreos foron convertidos en parque público con instalacións deportivas. Un proxecto de 1987 converte este mesmo parque no Auditorio onde se celebra, entre outras actividades, a Mostra Internacional de Teatro de Ribadavia.