Médecin réputé, conventionnel puis député et maire de Lyon à partir de 1792, Louis Vitet (1736-1809) a épousé Marguerite Faulin. Leur fils Pierre-Jean épouse Amélie Arnaudtizon ; ils ont deux enfants : Ludovic, et Amélie, qui devient Madame Eugène Aubry.
Ludovic Vitet (1802-1873), petit-fils de Louis Vitet, normalien et journaliste (il débute dans Le Globe), est le premier inspecteur des Monuments historiques. Nommé par Guizot en 1830, il laisse son poste à Mérimée en 1834 pour se consacrer à la politique, notamment comme député de Bolbec (Seine-Maritime), mais il continue de suivre de près avec Mérimée les monuments historiques. Outre de nombreux articles dans le Journal des savants, la Revue des Deux-Mondes, la Revue contemporaine, on lui doit un Rapport au ministre de l’Intérieur sur les monuments, les bibliothèques, etc. de l’Oise, de l’Aisne (1831), une Histoire de Dieppe (1838), une Monographie de Notre-Dame de Noyon (1845) et une Histoire financière du gouvernement de Juillet (1848).
Fils d’Amélie Vitet et d’Eugène Aubry et neveu de Ludovic Vitet, Eugène Aubry-Vitet (1845-1930), archiviste-paléographe, homme de confiance du comte de Paris et écrivain, eut des relations suivies avec tout le Gotha et les milieux économiques (sa femme étant née Darblay) et politiques français, de 1870 environ à sa mort. Une de ses filles, Jeanne (1874-1966), épouse le comte Carl Costa de Beauregard (1867-1915).
Ludovic Vitet est membre de la famille Vitet.