Une église primitive gallo-romaine fut construite sur l'emplacement d'un temple païen, édifié à la gloire des Nymphes. Son existence est mentionnée dans une charte du chapitre de Saint-Géry de Cambrai daté de 1125. Les chrétiens démolirent ce temple pour le remplacer par une chapelle en l’honneur de la Vierge, un des premiers sanctuaires élevé dans nos régions. Ce ne fut qu’au XVème siècle que cette chapelle fut remplacée par une magnifique église qui était, disaient certains historiens, parmi les plus belles des environs.
L'édifice actuel, en forme de croix latine, est édifié sur les ruines de cette église primitive comme en témoignent les restes d'un ancien portail de style ogival et un pavement de carreaux rouges du XVème siècle découvert lors de travaux. Le dallage comprend de nombreuses pierres tombales du XVIIème siècle. La nef fut ajoutée au XVème, le chevet plat vers 1600. Le clocher plus récent date de 1783. Son autel et son mobilier sont du XVIIIème siècle. Un pèlerinage annuel est rendu chaque lundi de Pentecôte à Notre Dame de Quartes qui est invoquée pour les fièvres et maladies. Les futures mamans venaient solliciter une heureuse délivrance et la bénédiction de leur famille.