Les d’Agay sont une famille de noblesse franc-comtoise dont la filiation suivie remonte à Hugues d’Agay de Poligny, seigneur de la Tour de l’Aubespin, conseiller de Philippe le Bon anobli en 1467. La famille porte « d’or au lion de gueules armé et rampant au chef diminué d’azur ». Les membres de la famille se partagent entre le service des armées et l’exercice de charges au parlement ou la Cour des comptes de Franche-Comté, avec plusieurs chanoines dans les chapitres locaux. Au début du XVIIe siècle, Bonaventure d’Agay est gouverneur du château de Grimont-sur-Poligny. Son fils Étienne d’Agay est auditeur des armées du roi d’Espagne en Bourgogne et procureur général au parlement de Franche-Comté. L’ascension de la famille se manifeste particulièrement au milieu du XVIIIe siècle. Fils d’Antoine Philibert d’Agay, président à mortier au parlement de Franche-Comté, François Marie Bruno d’Agay (1722-1805), est avocat général au parlement de Besançon, puis maître des requêtes à Paris, président du Grand Conseil, et intendant de Bretagne, puis de Picardie (1771-1790) ; il obtient l’érection de la terre de Mutigney en comté en 1766. Son frère cadet, Jean-Gabriel d’Agay (1731-1788), est chanoine honoraire du chapitre de Saint-Claude, abbé commendataire de Boscodon et de Sorèze, évêque titulaire de Canope, puis évêque d’Elne-Perpignan (1783-1788). Fils de François Marie Bruno d’Agay, Philippe Charles Bruno d’Agay de Mutigney (1754-1818) est avocat général au parlement de Besançon, maître des requêtes et conseiller d’État honoraire en 1814. De son mariage avec Catherine Geneviève Philippine Jourdan de Launay (1769-1802), fille du dernier gouverneur de la Bastille, sont issus Victor Marie d’Agay de Mutigney (1797-1820), qui meurt sans postérité, et Marie Camille d’Agay de Mutigney (1799-1830) qui épouse Anne Nicolas Guillemeau de Saint-Souplet (1787-1877) et recueille l’héritage familial des d’Agay et des Jourdan de Launay. La famille d’Agay est alliée à de nombreuses familles de Franche-Comté (Boitouset d’Épenoy, de Cize, Froissard de Broissia, Mercier de Myon), d’Île-de-France (Le Bas du Plessis), de Normandie (Jourdan de Launey). Sa succession s’est transmise dans les familles Guillemeau de Saint-Souplet, Taupinard de Tillière, de Sesmaisons et de Lespinay.
La famille d’Agay est alliée à la famille Jourdan de Launey.