La construction de la tour débute au 12e siècle (époque romane) sur le point haut du village. Au 13e, la tour devient le donjon du château ; c'est le seul donjon connu dont le maitre d'½uvre a réalisé, en partant d'une tour carrée, un chemin de ronde octogonal en s'appuyant sur des arcs en plein cintre (roman) reposant par des culots à deux pans sur les contreforts d'un côté et de l'autre sur des sifflets d'angles sur les arêtes de la tour.
« Le donjon de Clansayes est un ouvrage tout à fait exceptionnel, à la fois par le raffinement de sa conception technique et par le soin apporté à son exécution : le plan carré traditionnel a été flanqué de quatre gros contreforts médians, qui servent de support, au deux tiers de la hauteur de la tour, à un chemin de ronde de plan octogonal, sur mâchicoulis. »
(Michel Colardelle conservateur général du patrimoine 2004).
Ce procédé ne fut jamais copié, ce donjon est unique.
Sa hauteur est de 15 m l'épaisseur des murs de 1,60 m et l'intérieur laisse un espace de 4,20 m par 4,20 m.
La porte était, en hauteur, sur la face sud à 1,50 m du sol et sans recul possible.
Le 1er niveau percé de plus de 30 meurtrières permettait un feu aveugle mais nourri en cas d'assaut.
Le 2e niveau, côté sud, comporte un coussiège, banc en pierre intégré dans une embrasure couverte d'une voûte plein cintre avec deux minuscules fenêtres et, côté est, un évier-latrine qui permettait l'évacuation, à l'extérieur, des eaux sales.
Le 3e niveau éclairé par une meurtrière et l'ouverture donnant accès au chemin de ronde, possède une magnifique cheminée en pierre semi-sphérique et un four à pain. La citerne se trouve dans le contrefort ouest qui est creux, on pouvait puiser l'eau par une ouverture sur le chemin de ronde. Ce dernier est équipé de conduits percés en diagonale dans les angles, permettant d'avertir à l'intérieur de l'arrivée de groupes suspects, un même système existe, vertical, pour les communications d'étage à étage.
Le 4e niveau est la plateforme de défense jadis crénelée, on y accède par un étroit escalier bâti dans l'épaisseur du mur.
En 1233 le donjon et le château sont cités dans le cartulaire (recueil d'acte) de Saint-Paul-Trois-Châteaux.
Bertrand Adhémar de Clansayes donne à garder à Pierre Truchier la tour et le château, le 10 août 1468.
En 1555 Gaucher Adhémar dans son inventaire cite une tour à quatre étages à Clansayes.
En 1686, le comte de Grignan, François Adhémar de Monteil, seigneur de Clansayes, déclare posséder une tour lui servant de prison.
Le donjon résiste aux tremblements de terre de 1772-1773, mais pas à la Révolution qui décide de le raser comme symbole de la féodalité.
En 1793, un arrêté du district de Montélimar, du 1er nivôse an II (21 décembre 1793), ordonna la démolition de la tour aux frais de la république, mais les démolisseurs, après avoir abattu les voûtes intérieures et le chemin de ronde côté ouest, reculèrent devant la solidité de l'édifice.
En 1853, à l'initiative du curé Monnier, les Clansayais vont chercher 12 tonnes de pierre à Saint-Restitut et les portent à Aiguebelle où deux moines sculptent les éléments, en deux mois.
Les paroissiens les ramènent et les montent eux-mêmes et « à 4 heures quand on posa la tête de la vierge, sur le petite route blanche, en bas, les voitures s'arrêtaient en entendant ce chant qui montait aux cieux ».
La porte actuelle est percée au niveau du sol et l'oratoire de Notre-Dame-de-la-Tour est bénit en 1858 par Monseigneur Lyonnet l'évêque de Valence et de Saint-Paul.
Au début du 20e siècle l'oratoire sera abandonné et l'autel en bois descendu dans l'église.
Le donjon est inscrit le 13 juillet 1926 à l'inventaire supplémentaire des monuments historiques (pas classé à cause de la Vierge).
Son classement aux monuments historiques sera obtenu (avec la Vierge) en février 2007.