Originaire du Charollais en Bourgogne, la famille Barthelot se fixe durant le XVIe siècle sur le domaine et fief de Rambuteau dans la localité d'Ozolles (dép. Saône-et-Loire).
L'un des membres les plus connus de cette famille au XVIe siècle est Claude Barthelot de Rambuteau, procureur du roi en 1537, dont les descendants seront lieutenants royaux à Mâcon, conseillers au Parlement de Bourgogne et officiers aux armées.
En 1722, Claude de Barthelot, marquis de Rambuteau et lieutenant de la ville de Mâcon, épouse Marguerite de Rotrou (1700-1775), par ailleurs il fait construire sur les fondations de l'ancien château de Rambuteau une nouvelle demeure.
Après le premier Empire, le château de Rambuteau est restauré et son parc aménagé sous la direction de Claude-Philibert Barthelot (1781-1869), petit-fils des précédents, marié en 1808 à Marie-Adelaïde-Charlotte de Narbonne Lara (1790-1856), petite-fille naturelle de Louis XV, dont il aura deux filles. Ce dernier fut nommé en 1809 chambellan de Napoléon Ier, puis comte de l'Empire en 1810. Destitué après Waterloo, il se retire en Saône-et-Loire ; il est élu député en 1827, préfet de Paris entre 1833 et 1848, conseiller d'État et pair de France en 1835.
En 1835, Amable-Françoise Barthelot, seconde fille du précédent, épouse Jean-Jacques-Louis Lombard de Buffières (1800-1875), dont le fils cadet, Philibert-Marie-Edouard Lombard de Buffières (1838-1912), préfet du Pas-de-Calais et de Haute-Garonne, relève le titre de comte de Rambuteau. Il sera sans postérité. Son petit-neveu, Amalric-Philibert-Emmanuel Lombard de Buffières (1890-1944) devient comte de Rambuteau, et épouse en 1921 Amélie de Mac Mahon de Magenta, fille de la princesse Marguerite d'Orléans (1869-1940) et du duc Patrice de Mac Mahon (1855-1927), dont il eut quatre enfants ; Françoise, Philibert, Henri et Maurice. Ce dernier épouse Yolande de Mitry. Ils eurent six enfants, dont l'actuel comte de Rambuteau.