Dès 1914, un petit territoire d'Alsace-Lorraine reconquis, la partie occidentale de l’arrondissement actuel de Thann, dans le département du Haut-Rhin, est rattaché à la France. En vertu du décret du 2 décembre 1913 sur le service des armées en campagne, plaçant l’administration civile des territoires ennemis occupés sous l’autorité du directeur des étapes et des services, cette région reste soumise à l’autorité militaire jusqu’à la fin des hostilités.
Parallèlement, une conférence d’Alsace-Lorraine, instituée en février 1915 à Paris, est chargée de préparer le retour à la France de la totalité des provinces annexées.
À l’été 1917, dans un contexte de crise politico-militaire et de redéfinition des buts de guerre, la Conférence d’Alsace-Lorraine, organisme consultatif dont l'assise est jugée trop étroite, n’est pas en mesure de prendre en charge la réorganisation du territoire alsacien reconquis en 1914 et la préparation concrète de la réintégration des territoires encore allemands.
Comme il n’est pas possible de traiter l’Alsace-Lorraine comme un pays ennemi, le décret du 5 juin 1917 retire l’administration civile de l’Alsace-Lorraine à l'armée pour la placer sous l’autorité directe du ministre de la Guerre (cabinet du sous-secrétaire d’État de l’Administration générale). En conséquence de ce décret, est créé à partir du 1er juillet 1917, auprès du sous-secrétaire d’État de l’Administration générale du ministère de la Guerre, un Service d’Alsace-Lorraine pour préparer l’administration de l’Alsace reconquise (commandant André Laurent-Atthalin) et pour administrer les vallées vosgiennes (Thann, Masevaux et Dannemarie) réoccupées depuis 1914, avec le concours d’une mission militaire administrative en Alsace (commandant Henry Poulet).
Le Service d’Alsace-Lorraine est chargé de toutes les affaires relatives à l’administration des territoires d’Alsace occupés par les troupes françaises et à ses habitants, ou concernant le régime général de l’Alsace-Lorraine ; il a un rôle de proposition auprès du ministre des Affaires étrangères pour les questions à aborder au traité de paix.
Pour préparer le futur statut de l’Alsace-Lorraine, le Service d’Alsace-Lorraine reçoit le concours de cinq puis six sections d’études créées par décision du 22 août 1917 :
Chaque section comprend des membres de la Conférence d’Alsace-Lorraine, qui est elle-même rattachée au Service d'Alsace-Lorraine et dont les travaux servent de base, des fonctionnaires des ministères intéressés, des juristes alsaciens et des officiers en charge des territoires.
Durant sa courte existence, le Service d’Alsace-Lorraine change à plusieurs reprises d’autorité hiérarchique. Il passe au cabinet militaire du ministre de la Guerre (instruction ministérielle du 17 septembre 1917), puis est rattaché au cabinet civil du ministre (arrêté du 21 novembre 1917) et enfin à l’état-major de l’armée (EMA) (arrêté du 23 juin 1918).
A partir du 15 juillet 1918, le général Vidalon, sous-chef d’état-major général, est le chef des services d’Alsace-Lorraine à l’EMA, divisés en trois sections :
À l’approche de la fin de la guerre et dans la perspective d’une issue victorieuse, un décret du 15 septembre 1918 réorganise l'administration d'Alsace-Lorraine en fusionnant les divers services existants tant au ministère de la Guerre qu'au ministère de l'Intérieur en un Service général d'Alsace-Lorraine, sous l'autorité de la présidence du Conseil.