D’origine parisienne, la famille de Fraguier remonte au XIIIe siècle : Jehan Frager, bourgeois de Paris, est cité dans un acte de 1261. Un Fraguier fut premier auditeur en la Chambre des comptes en 1418, un autre en 1501. À la fin du XVI siècle, cette famille se partagea en deux branches : la branche dite de Franche-Comté qui, en réalité ne cessa de résider à Paris qu’au milieu du XVIIIe siècle, après la nomination de Louis de La Tour-Fraguier comme gouverneur de Besançon en 1733, et s’éteignit sans descendance mâle au début du XIXe siècle, et la branche d’Ile-de-France.