La famille Potet est originaire de Bourgogne. Un Nicolas Potet a été notaire royal à Louhans en 1577. Plusieurs Potet ont occupé des charges d'officier royal au XVIIe siècle : Anne-Bernard Potet, conseiller au parlement de Bourgogne et son frère Philibert Potet, maître des requêtes. Jean-Baptiste Potet, fils de Philibert et décédé le 15 décembre 1692, a été conseiller du Grand Conseil et marquis de Bantanges ; il s'est porté acquéreur de la seigneurie de Saint-Germain-du-Plain.
Les Potet se sont alliés aux familles Baudéan de Parabère, Veyle, Guyet, Quarré et Mercier.