La fondation de la forteresse de Talmont remonte au XIe siècle : Guillaume le Chauve, reçoit en fief un territoire côtier marqué par les invasions Normandes. Cette région est alors sous l’autorité du comte de Poitou et duc d’Aquitaine, Guillaume V.
Grâce aux recherches archéologiques, on peut identifier les premières constructions en pierre du château et les dater de 1020.
Guillaume le Chauve, premier seigneur de Talmont, entame la construction d’une église en pierre vers 1020, puis d’un clocher-porche, autour desquelles une enceinte en bois puis très rapidement en pierre, épouse la forme d’un rocher entouré d’eau. Ce site, bordé par deux rivières, la Sauvagère et le Payré, est totalement isolé deux fois par jour lors des marées hautes. En effet, la mer, aujourd’hui située à 6km au Sud, baignait alors le pied du château. Cette proximité permet d’ailleurs à Guillaume d’utiliser des galets pour construire sa forteresse ; la plupart des châteaux étant en bois, il peut ainsi asseoir son prestige en élevant murailles et bâtiments en pierres. Son fils, Guillaume le Jeune, poursuit son œuvre en érigeant un imposant donjon.
Le château domine l’estuaire du Payré et un important port, le plus grand entre Nantes et Bordeaux. La ville de Talmont profite donc du commerce maritime et se développe rapidement, au Nord de la forteresse.
Guillaume le Chauve y fonde l’abbaye de Sainte-Croix ; de grandes halles abritent foires et marchés où producteurs de vins et de sel affluent. Guillaume le Jeune, second seigneur de Talmont, ne manquera pas de mettre en scène ce dynamisme en construisant une salle d’apparat située dans le donjon et offrant une vue imprenable sur la ville, à travers trois grandes baies.
La tour principale est en partie détruite par un violent incendie : en effet, Guillaume de Lezay, alors seigneur de Talmont, se révolte contre le roi de France récemment marié à Aliénor, duchesse d’Aquitaine. Aujourd’hui encore, des pierres rougies par la chaleur témoignent de cet épisode de l’histoire du château.
A la mort de Guillaume de Lezay, la forteresse devient propriété des Mauléon, famille dont l’influence grandit grâce à d’avantageuses alliances.
Raoul III, s’attache à Richard, duc d’Aquitaine, et est nommé sénéchal de Poitou en 1199. A sa mort, suivant le droit de viage, c’est son frère, Guillaume, qui hérite de ses biens et poursuit la consolidation du pouvoir de la famille de Mauléon.
Savary de Mauléon, reçoit le château de Talmont. Homme fort du Poitou, proche de Jean sans Terre et nommé plusieurs fois sénéchal, il se dote du titre prestigieux des premiers seigneurs de Talmont, devenant ainsi Prince (princeps Thaleamundi). La forteresse est alors métamorphosée en un château dont l’apparence menaçante et majestueuse marque la puissance de son propriétaire.
Pourtant, l’indépendance et la force des Mauléon est mise à mal dès la mort de Savary, par l’intervention du roi de France, Louis IX, qui prend possession du Talmondais en 1233. L’influence française grandit et, dès 1242, la conquête du Poitou par les Capétiens est achevée.
Au milieu du XIIIe siècle, le château de Talmont devient propriété des vicomtes de Thouars, famille la plus influente du Poitou dotée de nombreuses châtellenies. Située en périphérie de zones de conflits et en proie à l’ensablement, la forteresse perd de son intérêt stratégique et est utilisée comme résidence secondaire. Par mariages, Talmont passe entre les mains de la famille d’Amboise puis des La Tremoille, au XVe siècle. Ce sont eux qui sont à l’origine de l’aménagement d’un nouveau logis, à l’extérieur de la haute cour.
Dès le début du XVIe siècle, la Réforme atteint le Poitou ; Talmont devient rapidement place forte protestante et un temple est construit. Malgré la conversion au catholicisme de Claude de La Trémoille, le conflit perdure, exacerbé par l’implication des Anglais aux côtés des protestants. Afin d’éviter que ces derniers ne prennent pied en Bas-Poitou, Louis XIII ordonne le démantèlement de plusieurs places fortes, dont celle de Talmont. En 1628, de larges pans des murailles extérieures et intérieures, les parties hautes de la tour maîtresse et des logis sont détruits par le prince de la Trémoille, en échange d’un paiement de cent mil livres.
Le château, en ruine, n’est plus utilisé si ce n’est comme carrière, par les habitants de la ville. Son dernier seigneur, Antoine-Philippe de la Trémoille, monte à l’échafaud en 1794.
Racheté par la municipalité en 1920 et classé aux Monuments Historiques en 2009, il est depuis mis en valeur par des campagnes de restaurations et de fouilles et une riche programmation culturelle.