Originaire de la vicomté de Turenne, la famille de La Tourrette d'Ambert est attestée, selon certaines généalogies familiales, depuis le XIe siècle. Elle a changé plusieurs fois de nom : d'abord de Curemonte, puis de Curemonte d'Ambert, d'Ambert de La Tourrette (suite à l'achat du fief de La Tourrette en 1607), enfin de La Tourrette d'Ambert (suite à la création du marquisat de La Tourrette en 1745).
Au XVIIIe siècle, Jean-Joseph d'Ambert de La Tourrette (1720-1788), sous-lieutenant dans les gardes françaises, épouse Marie-Charlotte de Jouglens et obtient en 1745 l'érection en marquisat de la seigneurie de Bétaille (département du Lot), où se trouve le château familial de La Tourrette.
La famille de La Tourrette d'Ambert s'éteint vers 1970.