A ocupação da região mantém-se ao longo do período medieval, destacando-se o morro do Castelo de Matos. Marca forte na paisagem e da identidade de Baião pois foi o local escolhido pelo senhor deste território para a construção do castelo que em meados do séc. XI comandava os destinos da Terra de Bayam. Tratava-se de uma fortificação em madeira, destruída pelo fogo, nas cinzas da qual se encontrou a espora de um cavaleiro, exemplar único do período da reconquista cristã conhecido até então em todo o território nacional.