La famille de Vielcastel est originaire du Quercy et tire sans doute son nom du château de Vielcastel situé sur le territoire de la commune de Cazals, non loin de Gourdon, dans l’actuel département du Lot. Selon la tradition, des Vielcastel ont participé aux croisades. Sous la Révolution, leurs biens sont un moment confisqués. C’est au XIXe siècle que les Vielcastel s’illustrent, à la cour de l’impératrice Joséphine, à Malmaison et à Navarre, puis dans l’administration préfectorale, enfin dans la diplomatie et le monde des lettres :
- Charles, baron de Vielcastel (1766-1821) fut sous-préfet de Sceaux (1818) ;
- Théodore, baron de Vielcastel, fut sous-préfet de Sceaux (en 1815 et 1821), sous-préfet de Nogent-sur-Seine (1818), sous-préfet de Neufchâtel (1824) et sous-préfet de Dieppe (1825) ;
- Horace, comte de Vielcastel (1798-1864) entre dans l’administration des Beaux-Arts en 1853. Bras droit de Nieuwerkerke, il est secrétaire général du Louvre. Il a écrit nombre d’articles et d’ouvrages ( Les Français peints par eux-mêmes ; Marie-Antoinette et la Révolution ; Gérard de Stolberg) mais s’est surtout fait remarquer par ses Mémoires posthumes dans lesquelles il égratigne bon nombre de ses contemporains d’une plume féroce.
Les Vielcastel étaient alliés aux Saunhac de Belcastel et aux Lasteyrie du Saillant.