Originaire de Sauve en Languedoc, la famille Greffulhe quitte la France au moment de la Révocation de l’Édit de Nantes. Réfugiée à Genève, elle s’installe ensuite à Amsterdam, où elle fonde une maison de commerce sous la raison sociale J. J. Greffulhe et Cie.
En mai 1789, Louis Greffulhe (1741-1810) vient à Paris, et associé à Jacques-Marc Montz, sous la raison sociale Greffulhe, Montz et C°, reprend la suite des affaires de la banque Girardot et Haller, fondée au début du siècle et à laquelle avait été associé Necker. La banque est dissoute en 1793 et Louis Greffulhe part en Angleterre fonder une nouvelle maison de banque à Londres.
La famille Greffulhe revient en France sous l'Empire. Jean-Louis (1774-1820), fils de Louis Greffulhe, se rallie aux Bourbons en 1815. Il acquiert des biens dans le département de Seine-et-Marne et en particulier le château de Bois-Boudran. Il fait partie en 1816 du groupe de banquiers français associés à Baring et Hope pour les emprunts de libération du territoire. En mai 1818, il reçoit le titre de comte et est nommé pair de France par Louis XVIII en décembre de la même année.
Marié au printemps 1810 à Célestine Gabrielle de Vintimille du Luc (1787-1862), Jean-Louis Greffulhe a deux fils : Charles (1814-1888) qui hérite de ses affaires et de la propriété de Bois-Boudran et qui se porte acquéreur vers 1867 des hôtels situés aux n° 8 et 10 de la rue d'Astorg, et Henri (1815-1879).
Charles Greffulhe épouse le 29 avril 1846 Félicité Pauline de La Rochefoucauld (1824-1911). Ils ont trois enfants : Henri (1848-1932) ; Jeanne (1850-1891) qui épouse Auguste, duc d'Arenberg ; Louise (1852-1932) mariée à Robert des Acres de l'Aigle, marquis de L'Aigle. Henri épouse en 1878 Élisabeth, princesse de Caraman-Chimay (1860-1952), qui règne pendant plus d’un demi-siècle sur le Tout-Paris artistique, scientifique, politique et mondain. Leur fille unique Élaine (1882-1958) épouse Armand de Gramont (1879-1962).
Élaine Greffulhe est membre de la famille Greffulhe.