La famille de Villèle est originaire du Lauragais (Castelnaudary) : elle a été anoblie par par la charge de secrétaire du roi au XVIIe siècle. À la révolution, deux de ses membres, les frères Joseph (1773-1854) et Jean-Baptiste (1780-1848), émigrent à La Réunion. Le premier retourne par la suite en France pour devenir président du conseil des rois Louis XVIII et Charles X. Jean-Baptiste en revanche reste sur l'île et, par son mariage avec Gertrude Thérèse Panon-Desbassayns, fonde une lignée de riches propriétaires terriens dont la fortune est basée sur l'esclavage (le musée de Villèle à La Réunion témoigne de cette époque).