Non se coñece a data exacta da construción desta fortaleza, pero a mención histórica máis antiga que se coñece sobre ela é unha carta de doazón datada o 25 de marzo de 1181 na localidade zamorana de Villalpando. Mediante este documento, un fidalgo chamado Nuño Peláez e a súa muller Aldara cederon un coto que comprendía este castelo á orde monástico-militar de Santiago, fundada só once anos antes.

Foi a primeira posesión realmente fortificada coa que contou esta orde en Galicia. Poucos anos despois da doazón, entre 1198 e 1199, o rei Alfonso IX confiscou o castelo e o seu coto por motivos que se descoñecen, pero a Orde de Santiago recuperouno cara a 1220. Entre os séculos XIV e XV, Carbedo e as demais fortalezas que tiña esta congregación en Galicia pasaron a depender de encoméndaa da Barra, situada no actual municipio ourensán de Coles.

A fortaleza de Carbedo e as milicias armadas que residían nela estiveron ao mando de alcaides que representaban á Orde de Santiago. En documentos dos séculos XV e XVI consérvanse os nomes dalgúns deles, como Juan de Montalvo, Pedro Vidal, Nuño de Moseyro, Alonso López, Maçia de Monseiro, Álvaro Pérez e Pedro Guillén. Ademais de ofrecer protección militar ao coto da Orde de Santiago no Caurel e aos seus habitantes, o castelo de Carbedo permitía controlar un roteiro comercial que pasaba polas concas dos ríos Lor e Selmo, unindo o oriente da actual provincia de Lugo e a zona sudoccidental de León.

Debido ao valor estratéxico da súa posición, non sería raro que este lugar fose utilizado como atalaia antes do século XII, mesmo na época romana. No o século XV, despois da guerra irmandiña, a fortaleza de Carbedo espertou a cobiza do conde de Lemos Pedro Álvarez Osorio, que a ocupou durante un tempo e cobrou os tributos do coto. As queixas que dirixiron por este motivo á autoridade real a Orde de Santiago e os veciños quedaron recollidas nunha cédula redactada en 1480. Destaca especialmente a calidade da construción da porta principal, superior á do resto do edificio, fabricado con bloques de lousa e cal. Ao cruzar esta porta entrábase nun patio de armas onde había un alxibe no que se almacenaba a auga. Neste espazo achábase ademais unha construción sinxela -probablemente de madeira- que servía de caballeriza.

Desde o patio de armas accedíase ás diferentes dependencias do castelo, como a cociña, o forno, a capela e unha habitación na que residía o alcaide. A torre da homenaxe -non moi alta pero si moi forte- era de planta cadrada e tiña dous pisos de madeira. Entre 1508 e 1515 engadíuselle á fortaleza un torreón circular de tres pisos. No máis baixo había unha mazmorra e nos outros, uns aposentos para durmir feitos de madeira e barro. Nos informes menciónanse algunhas das armas que había no castelo, como ballestas e un canón de tipo falconete. As últimas obras que se fixeron en Carbedo foron pouco antes de 1558. En 1582 o baluarte xa levaba un ano abandonado e caendo na ruína.

Os veciños da zona, segundo os documentos, aproveitaron pedras, xanelas e mobles do castelo para arranxar as súas propias vivendas. A xuízo do historiador, cando estaba íntegro, o castelo debía de ofrecer un aspecto moi similar ao das fortalezas dos Ancares - Doiras, Doncos e Torés- e ás do Bierzo, como as de Corullón, Cornatel e Sarracín.

Un documento datado o 7 de abril de 1326 indica que o fidalgo García Rodríguez de Valcárcel levantara nesa época un baluarte nas proximidades de Esperante desde o que chegou a controlar unha boa parte das posesións da Orde de Santiago en Ou Courel. Máis tarde accedeu a devolver os seus bens á congregación e derrubar a fortaleza que construíra.

Considérase que na contorna de Carbedo e Esperante pode haber dúas localizacións para a desaparecida fortificación que fixo levantar García Rodríguez de Valcárcel. Unha delas sería o castro de Torre Cabreira ou do monte Cido, nunha cota máis alta que o castelo de Carbedo. A outra sería o castro da Devesa do Rei. En ambos os lugares hai restos de edificacións cuadrangulares de gran tamaño.