Vers 1562, Charles de la Forest de Vaudoré, un seigneur protestant de la Brossardière, fait ériger une sorte de grange pour que ses coreligionnaires disposent d'un lieu de culte. L'emplacement du temple est sujet, encore aujourd'hui, à débats. Cependant, l'hypothèse la plus probable semble toutefois qu'il était situé en haut de la colline, à côté des habitations qui perdurent encore aujourd'hui.

​

C'est dans ce même temple que, le 13 août 1595, durant le prêche, un massacre a eu lieu. Alors que les guerres de religions françaises viennent tout juste de se terminer, une troupe de 45 hommes d'armes font irruption au milieu des fidèles et laissent derrière eux 31 morts et 33 blessés.

​

Le temple protestant a été détruit avant 1687, mais il nous est toutefois impossible de déterminer une date exacte de démolition. En effet, l'abbé Huet et les auteurs qui lui sont postérieurs qui ont écrit à propos de la Chapelle de la Brossardière s'accordent à dire que le seigneur protestant s'est converti au catholicisme en 1632. Regrettant sa précédente confession, il aurait fait abattre le temple cette même année, et construire, à quelques mètres de lui, une première chapelle mariale. Cependant, les archives viennent les contredire : le 6 août 1669, un arrêt royal cite le temple et interdit d'y faire le culte. Ce dernier existait donc toujours, 33 ans après.

​

Le temple, la maison et le terrain furent saisis par le roi, en août 1684, et confiés à l'hôpital général de Fontenay-le-Comte. Puis, le 4 juillet 1687, l'abbé Normandin, prieur curé de la Tardière, rachète la Brossardière. La chapelle n'est alors pas encore mentionnée dans l'acte notarié, nous supposons donc qu'elle n'existait pas encore. La chapelle primitive (correspondant à l'emplacement actuel du chœur) est donc l'œuvre de ce curé, qui remonte probablement à 1687/1688, à ses frais, ou sur les revenus de la paroisse. La chapelle est cependant rapidement jugée trop petite, puisqu'en 1695, une deuxième partie est déjà en cours de construction.

​

La famille d'Artaguette se positionne alors comme donatrice pour la chapelle sur plusieurs générations, et achètent les terres de la Brossardière, en devenant ainsi les seigneurs. Ainsi, en août 1758, le curé de la Tardière leur fait savoir qu'il lui est désormais impossible d'assurer la messe dans la chapelle,  vu son état de dégradation. Des restaurations ont alors lieu.

​

En 1791, l'ensemble du site vu vendu comme bien national à un certain Baudet de la Tardière. Les guerres de Vendée et les colonnes infernales n'ont pas épargné le sanctuaire en 1793, puisque dans l'opuscule de Jean Huet sur la Brossardière on peut lire ceci: "la chapelle fut entièrement découverte, tout y fut brûlé et les murs calcinés tombèrent en ruine". En dépit des persécutions, les fidèles continuèrent à y venir en secret, vénérer une petit statuette de faïence.

​

En 1824, par acte notarié, Etienne-Marie Giraud, propriétaire de l'époque donne ce qui reste de la chapelle à la communes de la Tardière. Le Conseil de Fabrique de la paroisse se chargera alors de mener à bien les restaurations. A partir de 1836, l'Abbé Girond, qui vient d'être nommé curé de la Tardière, s'attachera à établir la coutumes des neuvaines. Durant les neuf jours qui suivent le 15 août et le 8 septembre, les foules se pressent vers l'humble sanctuaire.  Certaines journées on vu près de 3000 personnes affluer pour le pèlerinage de la Brossardière.

​

​