Originaire du Vivarais, la famille de Tournon serait attestée depuis 1188, date de l’hommage lige rendu par Odon de Tournon à Philippe Auguste. Les domaines des seigneurs de Tournon s’étendent aux XIIe-XIIIe siècles à la terre de Saint-Victor dans le haut Vivarais, par le double mariage de deux seigneurs de Tournon avec des filles de la maison de Sabran. Au XIVe siècle, Guidon de Tournon adhère à l’appel du roi Philippe le Bel excommunié par Boniface VIII et combat lors de la guerre de Flandre.
Cette maison se divise en deux branches à partir des XVIe-XVIIe siècles : la branche aînée des Tournon et la branche cadette des Tournon de Meyres en Vivarais, dont descendent les Tournon-Simiane en Provence, alliés entre autres aux Ligniville (Lorraine), aux Bouillon, aux Soubise-Rohan et aux Condé.
La famille de Tournon compte plusieurs hommes d’Église, dont le plus connu est le cardinal François de Tournon (1489-1562), archevêque d’Embrun (1517), de Bourges (1525), d’Auch (1537) et de Lyon (1551).