La famille de La Croix paraît originaire de Paris et de la région parisienne, plus particulièrement des environs de Brégy et de Torcy, seigneuries qui semblent provenir du côté maternel de la famille, c’est-à-dire de Marie Aubéry qui épouse Jean Ier de La Croix avant 1568. Jean Ier de La Croix, exerce plusieurs charges importantes : contrôleur ordinaire des guerres, il est également secrétaire du roi et maître ordinaire de la Chambre des comptes. Ils ont trois enfants : un fils, Jean II de La Croix, conseiller du roi, maître ordinaire de la Chambre des comptes, et deux filles, Marie et Madeleine, toutes deux religieuses à Port-Royal : dès les premières décennies du XVIIe siècle, les liens de la famille avec les milieux jansénistes sont importants. Vers 1610, Jean II épouse Anne Catherine Du Tremblay, dont il a huit enfants vivants : Jean III, mort jeune sans postérité en 1640, Claude, à son tour conseiller du roi, auditeur en la Chambre des comptes, maître d’hôtel ordinaire du roi, mais aussi Marie, Nicolas, François, Anne, Catherine et Élisabeth.
La famille commence à être mieux connue à partir du fils de Claude, Jean IV (1656-1716). En 1689, celui-ci épouse Marie Marguerite Goy, dont la famille est doublement célèbre. Tout d’abord, elle est, elle aussi, très liée aux milieux jansénistes. Le frère de Marie Marguerite, Jean-Baptiste Goy, est le premier curé de la paroisse Sainte-Marguerite, dans le XIe arrondissement de Paris (prise de possession en 1713). D’autre part, il s’agit d’une famille d’artistes. Claude Goy, père de Marie Marguerite, est peintre du roi. Son frère Jean-Baptiste, le curé, est aussi sculpteur : on lui doit probablement les deux sculptures encore aujourd’hui situées aux pignons du transept de Sainte-Marguerite, la Vierge à l’Enfant et les Pèlerins d’Emmaüs. C’est donc tout naturellement qu’elle épouse, en 1675, Charles Errard, peintre du roi, déjà très âgé (fils de Charles Errard l’Ancien, peintre du roi Louis XIII, qui travaille pour Louis XIV dès les années 1640). Veuve, sans enfants connus, en 1689, elle se remarie avec Jean de La Croix. Lui-même reprend les charges en vigueur dans sa famille. Conseiller du roi en la Chambre des comptes, il est également maître d’hôtel de la jeune duchesse de Bourgogne. La famille reste très liée aux milieux jansénistes : sa sœur Marie Anne, à peine plus âgée que lui, est religieuse. Son frère Anne Jacques, de dix ans son cadet, est prêtre, grand vicaire et prévôt de l’Église d’Arras, puis archidiacre de Paris.
La génération suivante est la mieux connue. César Marie (1690-1747), qui épouse Geneviève Élisabeth Lévy, est avocat au parlement en 1715, commissaire de la Marine à Brest en 1716, maître ordinaire de la Chambre des comptes, enfin maître d’hôtel de la reine Marie Leszczynska. Mais surtout, en 1738, il est nommé intendant de la Martinique, île pour laquelle il s’embarque avec sa femme, laissant ses jeunes enfants à la garde de membres de sa famille : à sa sœur Marie Adélaïde Renée, mariée à Abraham Charles Chassepot de Beaumont, à ses belles-sœurs Marie Anne et Nicole Élisabeth Lévy, mariées l’une à Pierre Poterat, l’autre à Augustin Guillier. Outre César Marie et Marie Adélaïde, manifestement la plus jeune, la fratrie compte trois autres garçons. Le premier, Claude Cardin, est prêtre, en cohérence avec la tradition janséniste de la famille. Armand Jacques Nicolas, d’abord page de la duchesse de Bourgogne, est ensuite mousquetaire et capitaine de cavalerie, tandis que le plus jeune, Anne Jacques (sans doute nommé ainsi en hommage à son oncle l’archidiacre), est enseigne de vaisseau.
César Marie et Geneviève Élisabeth Lévy ont quatre enfants. L’aîné, César Jacques, reprend les charges familiales de maître ordinaire de la Chambre des comptes et de conseiller du roi, mais il est aussi commissaire de la Marine à Rochefort, activité probablement en lien avec le fait que son père avait été intendant de la Martinique. Le cadet, Louis, est enseigne puis capitaine de vaisseau, et commissaire général de la Marine à la Martinique en 1768. Il épouse à Saint-Domingue Marie Françoise Charlotte Alexandre d’Hanache, dont il est très vite veuf. Il livre alors une bataille juridique interminable (près de 20 ans) pour rentrer en possession d’une partie de la succession de son beau-père. Enfin, les deux sœurs, Marie Jeanne Élisabeth et Adélaïde Geneviève, sont mariées l’une à Jean François de Laugier, capitaine des carabiniers, de bonne noblesse de Haute-Provence, l’autre à Denis Louis d’Hozier, fils du célèbre généalogiste du roi et lui-même juge d’armes de France.