La famille Liberge est originaire de Normandie, elle est mentionnée dans les grand rôles de l’Échiquier de Normandie en 1180 à Caen puis au début du XVe siècle en la paroisse Saint-Germain de Lisieux. Dès la fin du XVIe siècle, les Liberge usent de qualificatifs nobles et exercent les charges de vicomtes de Plasnes et d’Échanfray à Notre-Dame-du-Hamel ainsi que de Montreuil et Bernay.
Au XVIIe siècle, Emery Liberge est lieutenant général du bailli de Mauny en la vicomté de Plasnes en 1609-1627, enquêteur et commissaire examinateur pour le roi en la vicomté d’Orbec, prévôt la charité de Sainte-Croix de Bernay en 1623 ; il épouse avant 1607 Charlotte de Monteilles († après 1622).
Leur fils François II Liberge (vers 1612-1661) est anobli par lettres patentes données en septembre 1649 et achète après 1652 le plein fief de haubert de Granchain. Il est vicomte baillivial et juge criminel ès vicomtés de Plasnes et d’Échanfray jusqu’à 1653, frère servant en la charité de Sainte-Croix de Bernay en 1653-1654, procureur de François Feydeau de Brou († en 1666), abbé de Notre-Dame de Bernay puis du prieuré Saint-Nicolas de Maupas à Capelle-les-Grands, le 9 mai 1650. Écuyer, licencié ès-lois, il exerce la charge de sénéchal de la baronnie de Bernay le 12 octobre 1652. Il épouse en 1646 Marie-Magdeleine II de Hanivel de Saint-Laurent.
François III de Liberge (ap. 1649-1694), chevalier, seigneur et patron de Granchain, conseiller du roi, lieutenant civil et criminel et vicomte de Beaumont-le-Roger de 1663 à 1692 au moins, fait construire sur le territoire de Bernay un moulin banal qui conservera le nom de Moulin de Granchain jusqu'à la fin du XIXe siècle. Il épouse en 1680 à Bernay, noble damoiselle Marie Dupuis.
Au XVIIIe siècle, la famille Liberge de Granchain se distingue particulièrement par l'un ses représentants, l'amiral Guillaume Jacques Constant de Liberge de Granchain (1744-1805). Fils de François Guillaume de Liberge (1708 -1766), écuyer, seigneur et patron de Granchain, et de Marie Anne Émilie de Mauduit de Carentonne-Sémerville, Guillaume de Liberge de Granchain, dit Granchain-Sémerville, fait une carrière à la fois d'officier dans la Marine royale et de scientifique. Il entre à 13 ans dans la marine, participe au voyage scientifique de la frégate La Flore en 1771-1772 comme astronome-géographe adjoint, prend part à la guerre d'indépendance des États-Unis de 1778 à 1781, fait en 1784 le relevé géodésique des côtes de Terre-Neuve et ramène La Fayette d'Amérique sur la frégate La Nymphe. Membre de l'Académie royale de marine en 1771, il est aussi chargé en 1790-1791 de la direction des Ports et Arsenaux de France
Granchain-Sémerville épouse en 1782 sa cousine germaine Marie Françoise Amélie de Mauduit de Carentonne-Sémerville (1763 - 29 novembre 1812) et fait construire entre 1783 et 1785, par l'architecte Jacques Fresnel, le château de Granchain, à l'emplacement d'un vieux manoir mentionné depuis 1119. Descendants de Liberge de Granchain, les Deshayes de Forval puis les La Barre de Nanteuil sont propriétaires du château jusqu'en 1920, époque où il passe à la famille d'un industriel, Victor du Lac de Fugères. Le château est revendu en 1966 à l'OHT (Œuvre de l'Hospitalité du Travail) et est inscrit à l'Inventaire général du patrimoine culturel.