Localizado en un valle entre dos sierras, el municipio integra a su vez varias localidades y se encuentra en una de las regiones portuguesas con mayor número de vestigios arqueológicos.
En sus proximidades ha sido localizado un significativo conjunto de castros de la Edad del Hierro (Castro do Poio, Castro de Lesenho y Alto do Castro). Los romanos dejaron numerosas evidencias a su paso por la región, testimoniadas en hallazgos arqueológicos y en el origen de algunas poblaciones, como es el caso de Boticas. A pesar de su antigüedad, las primeras referencias escritas de Covas do Barroso las encontramos a partir del siglo XII, concretamente en las Inquirições Gerais de Afonso III.
La Iglesia de Santa María, cuya construcción data del siglo XIII se encuentra hoy muy remodelada. Su interior cuenta con pinturas murales del siglo XVIII, con el sepulcro de Don Afonso Anes Barroso (1459) y con la imagen gótica de Santa María esculpida en piedra. Junto con el crucero del pueblo, el templo ha sido declarado Bien de Interés Público.
La riqueza patrimonial de la localidad se advierte también en otros elementos arquitectónicos como La Capilla de Nuestra Señora de la Salud (Capela de Nossa Senhora da Saúde), del año 1692 y la de San José-Romaínho, del siglo XVII.
Destacan también los santuarios, fuentes, almazaras de aceite y molinos de la localidad, así como el calvario, el horno comunitario y las tradicionales viviendas de granito.