Un premier bâtiment, le logis nord, flanqué d'une tour d'escalier, fut édifié à la fin du XV siècle ou au tout début du XVI.
D'importants
travaux d'agrandissement sont entrepris dans la deuxième moitié du XVI
siècle ou au début du XVII : construction d'une tour carrée couronnée de mâchicoulis ;
édification d'un second logis (aile sud) ; mise en place de bâtiments à
l'est clôturant l'accès de la demeure ; organisation d'un jardin est.
D'importantes destructions ont eu lieu après 1824.
Au XVIII siècle, sur la carte de cassini, il y est inscrit sous le nom de « Chané la Rivière », sur des
cartes géographiques de 1820, on le retrouve sous le nom de « Chanay la Cypière », sur le cadastre napoléonien de 1823 on le retrouve sous le vocable de « Chanet », tout comme aujourd’hui. Sans oublier quelques documents du XX siècle, comme cette carte postale, qui le mentionnent sous le nom de « Chanay la Plaine »
Le château de Chanet est représentatif de ces repaires périgourdins auxquels leurs mâchicoulis ostensibles et leurs échauguettes archaïques ont longtemps valu d’être attribués en bloc au 15ième siècle. De fait, ces manoirs fortifiés furent le plus souvent édifiés durant le règne d’Henri IV (1589 - 1610).
Le plan cadastral Napoléonien, attribue à l'édifice un volume circulaire hors œuvre qui doit correspondre à une ancienne tour d’escalier.
L’une de ses portes hautes dont la présence suppose une galerie extérieure reste cependant fidèle aux formes gothiques de même que sa serrure originelle encore attachée à une lourde porte cloutée.
Le front d’entrée, surmonté par une chapelle qui assurait la protection sacrée, est en cela conforme aux habitudes de l’époque. Le décor peint sur plafond qui en subsiste n’en constitue pas le moindre intérêt. Il semble que son établissement ainsi que celui du corps de bâtiment assurant la jonction de la tour maîtresse et de l’ancien logis aient constitué la phase finale de constitution et, peut-être, d’unification du manoir. Cet accès pourrait d’ailleurs avoir remplacé un accès antérieur comme le laisse supposer l’emplacement incongru d’une canonnière, retaillée lors de l’édification de la tour maîtresse dans la masse des maçonneries du logis primitif.