La légende dit que des femmes venues en bateau de Palestine avec leur frère, sont à l'origine de l'abbaye de Saint Victor.
La navette, en forme de bateau, rappelle cette légende.
Des le 4ème siècle, un culte s'organise autour de la tombe d'un martyr qu'on dit être Saint Victor.
La première église est construite vers la fin du Xe siècle mais est endommagée par les sarrasins .
En 977, des moines s'y installent.
En 1020, le moine Isarn entreprend les grands travaux et il fait construire la première église.
De la fin du XIIe siècle jusqu'à la fin du XIIIe siècle, l'abbaye est entièrement reconstruite selon le style roman.
Urbain V, ancien abbé de Saint Victor et pape en Avignon, fait fortifier le monastère.
De le XIe siècle jusqu'au XVIIIe siècle, l'abbaye de Saint-Victor est très importante.
A la Révolution, l'église est transformée l'église en dépôt à fourrage, prison et caserne, ce qui évitera sa démolition ; elle sera rendue au culte sous le Premier Empire et restaurée au XIXe siècle.