La famille Hélie émerge à Ayen (Corrèze) au XIe siècle, puis à Ségur (Corrèze) dans la seconde moitié du XIIe siècle. Ses membres portent alors le nom d’Hélie d’Ayen ou d’Hélie de Ségur, mais ne sont que de simples chevaliers gravitant autour de ces châteaux dans l’entourage des vicomtes de Limoges qui en sont seigneurs. Dans le même temps, la branche des Hélie de Col(l)onges se fixe à Chabrignac (Corrèze). Entre le milieu du XIIe et le milieu du XIIIe siècle, les Hélie de Ségur s’installent à Pompadour, où ils appartiennent à la cour du château des Lastours : ils prennent le nom d’Hélie de Pompadour. Dans les derniers siècles du Moyen Âge, ils se rendent progressivement maîtres de la seigneurie de Pompadour, par mariages, en copiant les armes des Lastours (« d’azur à trois tours d’argent ») et en récupérant les droits des Pierre-Buffière en 1298. Geoffroi Hélie est dit « damoiseau de Pompadour » en 1335 ; Ramnulphe s’intitule « seigneur de Pompadour » au milieu du XIVe siècle ; Jean abandonne le patronyme Hélie au milieu du XVe siècle. La famille donne plusieurs prélats : Geoffroi III de Pompadour (1430-1513), évêque d’Angoulême puis de Périgueux et enfin du Puy-en-Velay, grand aumônier de France, président de la cour des comptes de Paris ; Antoine de Pompadour (…-1496), évêque de Condom, frère du précédent ; Geoffroi IV de Pompadour (1496-1552), évêque de Périgueux, neveu des précédents. Antoine de Pompadour se fait céder en 1508-1513 la puissante vicomté de Comborn à Orgnac-sur-Vézère (Corrèze) par le dernier vicomte, son cousin issu de germain et son créancier : les maîtres de Pompadour arborent désormais le titre de vicomte de Comborn. Au cours des XVe-XVIe siècles, époque de l’apogée de leur maison, les Hélie de Pompadour font considérablement agrandir leur château de Pompadour. La terre de Pompadour est érigée en marquisat en 1613. Au XVIIe siècle, plusieurs membres de la famille sont lieutenants généraux du roi en Limousin. Celle-ci s’éteint au début du XVIIIe siècle. L’héritage, comprenant le château, les terres et le titre, fait l’objet d’une longue bataille judiciaire entre le prince de Conti et le marquis de La Vallière ; aucun des deux n’obtient finalement gain de cause, car Louis XV met la main sur le château au nom de la Couronne en 1745 et en fait aussitôt don à sa favorite, Jeanne-Antoinette Poisson (1721-1764) épouse Le Normant d’Étiolles, qui prend dès lors le titre de marquise de Pompadour.