Le 28 mars 1856, au congrès des sociétés savantes des départements, Philippe de Chennevières propose d’initier un «inventaires des curiosités de la France », un travail collaboratif auquel chacun apporterait sa pierre : l’inventaire des collections d’oeuvres d’art d’un musée ou d’une église, qui aboutirait à la publication d’un recueil. Devenu Directeur des Beaux-arts, Chennevières reprend le projet en 1874 en proposant au ministre de l’Instruction publique et des Beaux-arts la publication d’un "inventaire général des richesses d'art de la France", dont la direction serait assurée par une commission. Une fois celle-ci mise en place, une circulaire est adressée aux conservateurs de musées, de bibliothèques et de palais, aux archivistes (20 mai 1874), une autre aux préfets (18 novembre 1874). Puis un questionnaire est adressé aux mêmes, ainsi qu’aux sociétés savantes. Puis le 14 août 1876 une nouvelle circulaire est envoyée aux préfets (signée par le ministre Waddington) afin de solliciter leur soutien dans les contacts avec institutions et personnnalités locales ainsi que dans la collecte des informations. La commission commence à siéger le 22 avril 1874. Une nouvelle formation plus développée de la commission de l’inventaire est définitivement constituée par décret du maréchal Mac-Mahon le 9 juin 1877. Dans sa première version la commission est présidée par le marquis de Chennevières, directeur des Beaux-arts ; le vice-président étant M. Reiset, directeur des musées nationaux; le sercétaire, M. Lafenestre, chef de bureau à la Direction des Beaux-arts. Au cours des années suivantes, on assistera, au gré des réorganisations de l'administration des Beaux-arts, à de nouvelles évolutions dans la conformation de la commisison chargée de suivre l'inventaire.
Cette instance était un service extérieur rattaché à la Direction des Beaux-arts ; le service chargé plus spécifiquement de centraliser les documents envoyés au ministère et de publier l'inventaire fut successivement rattaché au bureau du musée, des souscriptions et de l'inventaire des richesses de la France (vers 1880) ; au bureau de l'enseignement (vers 1881) ; puis au bureau de l'enseignement et des manufactures nationales (vers 1895).
Les premiers volumes paraissent en 1876, une dizaine en 15 ans. Puis fin 1891, suite à un rapport d’Antonin Proust sur le budget des Beaux-arts, la commission du budget 1892 de l’Assemblée nationale propose de réduire de 10.000 francs le crédit affecté à la publication de l’inventaire. Les motifs invoqués sont la lenteur de la publication (11 volumes sortis en 1891), les nombreuses erreurs historiques et scientifiques qui lui seraient imputées, et le fait que l’organisation de cet inventaire ne cadrerait pas avec la loi sur les monuments historiques du 30 mars 1887. En 1893 les crédits alloués à la publication sont supprimés : le paiement des auteurs et de l’éditeur cesse. Suite aux réclamations de l’éditeur et des auteurs, on cherche une solution. Le 28 février 1894 le sénateur Bardoux rédige un rapport au ministre dans lequel il propose d’achever la publication, mais en la limitant à dix nouveaux volumes (dont les huit déjà en cours). Un arrêté du 19 juin 1895 institue une commission chargée de sélectionner les manuscrits (en trop grand nombre) qui seront retenus pour les 10 volumes destinés à clore l’inventaire. Cette commission portera à partir de l’année suivante le nom de «commission de liquidation de l’inventaire général des richesses de la France ». Les moyens mis à disposition sont cependant insuffisants et suite à un refus d’augmentation des crédits en 1906, la publication est de nouveau interrompue. En 1907 le Parlement accorde une augmentation permettant la reprise du projet éditorial. A ce moment-là 17 volumes ont déjà été publiés. Une commission chargée d’évaluer les manuscrits à publier dans les derniers volumes est reconstituée. En 1910 paraît le tome IV des monuments civils de province. Celui-ci n’ayant pas pris en compte les statues et monuments érigés depuis 1884, il est décidé de publier un supplément au tome IV intégrant les notices de tous les monuments érigés de 1884 au 31 décembre 1911.
Au total, 22 volumes (répartis en cinq parties) seront publiés entre 1876 et 1913.