Durante a ocupação romana deste território as populações habitavam já preferencialmente nas vertentes e nos vales dos principais cursos de água, com destaque naturalmente para os de Ovil e Douro.
Esta estratégia de ocupação mantém-se para o período medieval, destacando-se o morro do Castelo de Matos. Marca forte na paisagem e da identidade de Baião pois foi o local escolhido pelo senhor para a construção do castelo que em meados do séc. XI comandava os destinos da Terra de Bayam. Tratava-se de uma fortificação em madeira, destruída pelo fogo, nas cinzas da qual se encontrou a espora de um cavaleiro, exemplar único do período da reconquista cristã conhecido até então em todo o território nacional.
Este local foi também ocupado durante a pré-história recente, pelas populações da idade do Bronze. Sob os vestígios medievais encontram-se vestígios de um piso de cabana e outros materiais arqueológicos com destaque para o molde em cerâmica da fundição de uma espada, à guarda do núcleo de arqueologia do museu municipal de Baião.
