La famille bourguignonne Joly était connue à Nuits dès le début du xive siècle. Elle se scinda en deux branches à la fin du xvie siècle : les Joly de Fleury et les Joly de Blaisy (marquis en 1695). Les Joly de Fleury s’installèrent à Paris au début du xviie siècle et gravirent tous les échelons de la carrière parlementaire jusqu’à la charge de procureur général au Parlement de Paris.