--- title: "ICML 2026 | 南大SAME稳住MoE，缓解多模态持续微调双重遗忘" source_url: "https://mp.weixin.qq.com/s/uJqE_5Acw9war3laNVFGcw" source: wechat ingested: 2026-07-05T04:04:24Z sha256: 6c8700f253088ed5af358570cbea40cf730c4c4d869d693f77997a87c194f268 vxc: 64 stars: 4 _provider: deepseek --- # ICML 2026 | 南大SAME稳住MoE，缓解多模态持续微调双重遗忘 --- source: wechat source_url: https://mp.weixin.qq.com/s/uJqE_5Acw9war3laNVFGcw ingested: 2026-07-05 source_published: 2026年7月1日 14:21 --- # ICML 2026 | 南大SAME稳住MoE，缓解多模态持续微调双重遗忘 多模态大语言模型（MLLM）通过指令微调获得了强大的视觉-语言理解能力，但真实部署场景中，模型往往需要持续学习新的任务、领域和回答格式，这使多模态持续指令微调（Multimodal Continual Instruction Tuning，MCIT）成为重要问题。 近年来，MoE 与 LoRA 结合的稀疏专家结构被用于 MCIT，希望通过专家路由实现任务专门化。 然而，本文发现 MoE-based MCIT 中存在两个核心漂移问题： 第一是路由漂移，即旧任务样本在后续训练后会被路由到不同专家； 第二是专家漂移，即即使路由恢复，专家本身的功能也可能被新任务覆盖。 为此，本文提出 SAME，即 Stabilized Mixture-of-Experts。SAME 从三个方面稳定 MoE 持续学习过程： * 使用谱感知路由（Spectral-aware Routing）约束路由器更新，减少旧样本被重新分配到错误专家； * 使用曲率感知缩放（Curvature-aware Scaling）基于历史输入协方差调节专家更新，降低专家功能被覆盖的风险； * 使用自适应专家激活（Adaptive Expert Activation）在当前任务训练时冻结部分“当前任务不常用但历史重要”的专家，减少冗余计算和跨任务干扰。 实验表明，SAME 在 TriGap、CoIN 和 UCIT 三个 MCIT 基准上均取得领先性能，同时提升训练效率。 论文标题： SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning 论文作者： Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou 收录会议： ICML 2026 论文地址： https://arxiv.org/abs/2602.01990 代码链接： https://github.com/LAMDA-CL/Prism 引言 MLLM 通常由视觉编码器、多模态投影器和大语言模型组成，并通过多模态指令数据训练，使模型能够处理视觉问答、OCR、定位、图像描述、科学推理等多种任务。 传统训练通常假设所有任务数据一次性可得，但真实应用更接近一个持续过程：新任务、新领域、新指令格式不断到来，模型需要在学习新能力的同时保留旧能力。 在 MCIT 中，参数高效微调是常见选择。LoRA 只更新少量低秩参数，MoE 则通过多个专家和路由器实现条件计算。 看起来，MoE 很适合持续学习：不同任务可以激活不同专家，从而降低冲突。但本文通过诊断实验发现，MoE 并不能天然避免遗忘。 首先是路由漂移。以 Task 1 测试样本为例，模型在学习后续任务后，路由器对同一批旧样本的专家激活分布会逐渐改变。也就是说，旧任务样本原本依赖的专家组合不再稳定。 〓 图一：随着训练推进，Task 1 样本的专家激活分布逐渐偏离原始状态，体现路由漂移。 其次是专家漂移。论文进一步固定后续阶段的专家，只在 Task 1 数据上重新训练路由器。即便在这种有利设置下，Task 1 准确率也无法恢复到最初水平，说明遗忘并不只是“路由错了”，而是专家功能本身已经被新任务更新破坏。 〓 图二：重新训练路由器后，旧任务准确率仍随任务推进下降，说明专家本身发生功能漂移。 基于上述观察，本文提出 SAME。其核心思想是：既要稳定输入到专家的路由路径，也要限制专家在历史重要方向上的破坏性更新，还要避免当前任务无关专家被无意义扰动。 本文贡献可以总结如下： * 系统识别 MoE-based MCIT 中的路由漂移与专家漂移问题。 * 提出谱感知路由，在历史输入协方差诱导的子空间中约束路由器更新。 * 提出曲率感知专家缩放，用历史输入几何限制专家功能漂移。 * 提出自适应专家激活，训练中临时冻结低利用但历史重要的专家，兼顾稳定性与效率。 * 构建新的 TriGap 基准，并在 TriGap、CoIN 和 UCIT 上验证 SAME 的领先性能。 SAME 〓 图三：SAME 整体框架。方法围绕 MoE 中的路由器和专家展开：谱感知路由稳定专家选择，曲率感知缩放约束专家更新，自适应专家激活在训练阶段冻结部分专家。 2.1 问题设定 在 MCIT 中，模型依次接收任务序列 。每个样本包含图像 、指令  和目标回答 。 视觉编码器先提取图像特征 ，多模态投影器将视觉特征映射到语言模型空间得到 ，文本指令则通过 tokenizer 和 embedding 层得到 。随后二者拼接为多模态输入： 模型以自回归方式生成回答： 对于 MoE-LoRA，SAME 关注的是语言模型 FFN 层中的专家化 LoRA 模块。 给定某一层的隐藏状态 ，路由器为不同专家分配权重，模型只激活部分专家参与当前 token 的更新。 这样的稀疏专家机制本来希望实现任务专门化：不同任务用不同专家，减少互相干扰。 但在持续学习中，路由器和专家都会被新任务反复更新，导致两个问题同时发生：旧任务输入可能被路由到不同专家，旧专家也可能在新任务训练中被改写。SAME 的三个模块分别对应这两个漂移来源以及训练效率问题。 2.2 谱感知路由 路由漂移的根源在于：新任务训练更新了路由器权重，使旧任务输入在专家空间中的分配发生变化。 SAME 并不直接存储旧任务样本，而是为每个含 MoE 的层维护路由器输入的历史协方差，用它刻画“哪些隐藏状态方向在已见任务中经常出现、因而对历史路由行为重要”： 其中  来自当前任务， 表示当前任务样本量， 是累计样本量。这个递推形式允许模型在不回放旧数据的情况下，将历史任务的输入几何压缩进协方差统计中。 由于完整协方差矩阵存储开销大，SAME 只保留主要特征方向。具体地，模型对  做 SVD： 并根据奇异值能量将其分解为两个子空间： 其中  由累计奇异值能量阈值  决定，只保留解释主要输入能量的方向。 表示当前和历史输入分布中的高能方向，更新时需要谨慎地按谱信息调节； 表示近似低能或近零方差方向，对旧任务输入的响应更弱。 SAME 将路由器梯度分解到这两个子空间： 在  子空间内，SAME 还会根据奇异值大小进行缩放。论文使用滑动窗口平均  平滑局部谱信息，并令缩放系数与  相关，使不同方向上的更新幅度不再相同。 直观上，高能方向更可能影响历史输入，更新需要更加保守；低能方向则可承担更多新任务适应。 最终更新为： 这里的关键在于，SAME 不让路由器在所有方向上无差别更新，而是在谱分解后的子空间中进行有尺度的更新。这样既能让路由器学习当前任务，又能减少对历史输入分布的破坏，从而降低旧样本被错误重路由的概率。 2.3 曲率感知缩放 谱感知路由只能稳定“选择哪个专家”，但如果专家本身已经被新任务覆盖，正确路由也无法恢复旧能力。因此，SAME 进一步约束专家漂移。 在不存储旧数据的前提下，SAME 使用历史输入协方差  近似历史输入几何。 对于 LoRA 专家权重 ，一次更新  会改变专家在输入  上的输出 。如果这个变化发生在历史任务频繁访问的输入方向上，就容易破坏旧能力。 因此，SAME 将专家功能退化定义为历史输入分布上的期望输出变化： 这个量越大，说明专家在旧任务常见方向上的输出变化越大，也就越可能破坏旧能力。SAME 并不完全禁止专家更新，而是允许在一定容忍范围内学习新任务： 这个目标可以理解为“有预算的稳定性约束”：当专家更新对历史功能的影响小于阈值  时，模型仍可自由适应新任务；只有当影响超过预算时，才增加惩罚。 由此可以得到一个由历史输入协方差诱导的 Riemannian 缩放更新： 直观理解是：如果某些输入方向在历史任务中经常出现，专家更新就不应在这些方向上产生过大变化；相反，在历史不敏感方向上可以保持更强可塑性。 实际实现中，SAME 利用低秩 SVD 分解和阻尼伪逆近似 ： 其中  是阻尼项，用于避免近奇异方向导致数值不稳定。这样，SAME 能够在大模型中实现低开销的专家预条件更新，而不需要显式保存旧任务样本。 2.4 自适应专家激活 传统 MoE 在 token 级别激活专家，但持续学习中，一个任务的更新可能散落到许多专家上，导致更多专家被反复扰动。 即便某些专家对当前任务贡献很小，只要偶尔被路由到，它们也可能被新任务梯度改写。 SAME 提出任务级自适应专家激活：在训练当前任务时，临时冻结一部分专家，跳过它们的前向和反向传播；这些专家会在后续任务和推理阶段重新激活。 SAME 冻结专家的标准同时考虑两个因素： * 当前任务利用率 ：专家  在当前任务中是否经常被路由器激活。 * 历史重要性 ：专家  是否承载了历史任务的重要功能。 当前任务利用率通过路由权重的运行均值计算： 历史重要性则通过 AGOP 思想构造轻量代理，用路由权重加权的输入能量估计： 将两者归一化后，SAME定义专家激活分数： 若 ，说明该专家对当前任务贡献较小，但对历史任务较重要，训练当前任务时应暂时冻结它。 这一策略把“低当前利用率”和“高历史重要性”两个信号结合起来，避免简单冻结活跃度低的专家，因为某些低活跃专家可能只是当前任务不用，但对旧任务非常关键。 需要强调的是，自适应专家激活只发生在训练阶段。推理时，所有专家仍可被路由器选择，因此不会因为冻结策略永久减少模型容量。 它的作用更像是在当前任务训练期间加一层保护罩，让旧专家不被无意义地扰动，同时减少反向传播的计算和显存开销。 实验 3.1 实验设置 本文在三个 MCIT 基准上评估 SAME： * CoIN：包含 ScienceQA、TextVQA、ImageNet、GQA、VizWiz、REC、VQAv2、OCR-VQA 八个顺序任务。 * UCIT：包含 ArxivQA、CLEVR-Math、IconQA、ImageNet-R、VizWiz-Caption、Flickr30k 六个任务。 * TriGap：本文新构建的长序列基准，包含 PMCVQA、DocVQA、ChartQA、IconQA、InfographicVQA、ArxivQA、Roadside、ChemVQA、FloodNetVQA 和 CLEVR 十个任务，总训练样本超过 250K。 TriGap 强调三类差距：更长任务序列和更多指令格式，跨科学、文档、图表、遥感等领域的域差距，以及 10K 到 40K 不等的数据规模差距。 该基准用于更真实地检验模型在长序列、异质任务和不均衡数据流中的稳定性。 实验使用 LLaVA-v1.5-7B 作为基础 MLLM，使用 CLIP-L/14-336 提取视觉特征，只在语言模型 FFN 层插入 LoRA 模块，LoRA rank设为 8。 所有任务训练 1 个 epoch，batch size 为 6，学习率为 ，并使用 8 张 NVIDIA RTX 5090 GPU。 3.2 主结果 在 TriGap 上，SAME 取得 46.53% 的平均准确率，高于 MoE-LoRA 的 44.45%，提升 2.08 个百分点。 尤其在 DocVQA、ChartQA、IconQA、InfographicVQA 和 ChemVQA 等需要不同视觉理解和推理能力的任务上，SAME 取得明显优势。 在 CoIN 上，SAME 平均准确率达到 66.82%，超过最强基线 HiDe-LLaVA 的 63.95%。在 ScienceQA、TextVQA 和 REC 等容易受格式或任务分布影响的任务上，SAME 同样表现突出。 在 UCIT 上，SAME 达到 67.12% 的平均准确率，超过 ModalPrompt 的65.52%。 其中 ImageNet-R 达到 83.83%，ArxivQA 达到 91.40%，IconQA 达到 65.27%，CLEVR 达到 53.50%，说明方法不仅能提升旧任务保持能力，也能在异质多模态任务中保持较好的泛化。 〓 图四：SAME 在 TriGap 和 CoIN benchmark 上的主结果。 〓 图五：SAME 在 UCIT benchmark 上的主结果。 综合来看，SAME 的优势来自三个模块的互补：谱感知路由降低旧样本被错误分配的概率，曲率感知缩放保护历史专家功能，自适应专家激活减少无意义专家更新和跨任务干扰。 3.3 路由稳定性分析 为了验证谱感知路由是否缓解路由漂移，论文在训练过程中持续记录 Task 1 测试样本的路由分布。 具体做法是：训练完 Task 1 后保存 Task 1 测试样本的专家激活分布，随后每完成一个新任务，就再次把同一批 Task 1 样本输入模型，比较当前路由分布与最初 Task 1 路由分布的重叠程度。 结果显示，不使用谱感知路由时，随着任务推进，Task 1 样本的专家分布持续偏移；使用谱感知路由后，分布偏移显著减小，旧任务样本能更稳定地访问兼容专家。 这说明 SAME 不是只在最终准确率上取得提升，而是在 MoE 内部真正保持了更一致的专家选择路径。 〓 图六：谱感知路由降低旧任务样本在后续阶段的专家分布漂移。 从图中可以看到，未约束路由器时，Task 1 样本在后续任务上的专家权重会越来越偏离初始分布，说明路由器逐渐“忘记”了旧输入应该交给哪些专家。 加入谱感知路由后，各阶段的分布重叠明显更高，说明基于协方差子空间的更新约束能够把旧任务样本固定在更接近原来的专家组合上。 3.4 专家漂移分析 为了单独分析专家漂移，论文在启用谱感知路由的基础上，仅开关曲率感知缩放。训练到每个阶段后，固定专家快照，只在 Task 1 上重新训练路由器，然后评估 Task 1 准确率。 这样可以尽量排除路由错误的影响，剩余性能下降主要来自专家功能变化。 〓 图七：曲率感知缩放提升旧任务重路由后的恢复能力，说明它有效抑制了专家功能漂移。 结果显示，加入曲率感知缩放后，Task 1 准确率在后续任务中下降更慢，尤其在 Task 5 到 Task 8 等累计干扰更强的阶段保持更高性能。 这说明基于历史输入几何的 Riemannian 缩放能够减少专家在旧任务重要方向上的破坏性更新。 这一实验的意义在于，它把“路由错了”和“专家坏了”拆开。 即便重新训练路由器，让旧任务样本尽量重新找到合适专家，普通专家更新后的模型仍难以恢复旧性能；而 SAME 的曲率感知缩放让专家快照在后期仍保留更多 Task 1 功能，因此重路由后能恢复到更高准确率。 3.5 训练效率分析 自适应专家激活不仅提升稳定性，还带来训练效率收益。由于部分专家在当前任务训练中被临时冻结，它们不需要参与前向和反向传播，因此可以节省训练时间和显存。 〓 图八：自适应专家激活带来的训练时间和 GPU 显存节省。 实验显示，自适应专家激活平均每个任务减少 32.1 分钟训练时间，并平均降低 2.3K MiB/GPU 显存占用。 在 Task 4 和 Task 8 上，训练时间分别减少 50 分钟和 58 分钟，说明随着任务序列变长，专家冻结机制的效率收益更加明显。 从各任务曲线看，显存节省相对稳定，大多落在约 1.9K 到 2.7K MiB/GPU 之间；训练时间节省则和任务阶段、专家选择稀疏性有关。 后期任务中，模型已经积累了更多历史重要专家，自适应冻结能跳过更多不该被当前任务扰动的专家，因此节省更明显。 这个结果也说明 SAME 不是以显著增加计算为代价换取稳定性，反而能在训练阶段降低开销。 3.6 格式诱导遗忘 MCIT 中的遗忘不仅体现在语义能力上，也可能体现在回答格式上。论文以 CoIN 中的 ScienceQA 为例分析 MoELoRA 基线。 ScienceQA 要求答案以大写选项形式输出，例如 “A”；但在学习 TextVQA 后，模型会倾向输出小写答案，例如 “a”。这类答案语义上正确，但会因为格式不匹配被判错。 〓 图九：SAME 缓解 ScienceQA 中的格式诱导遗忘，避免基线模型出现反复下降和反弹。 〓 图十：ScienceQA 中语义正确但大小写格式错误的比例。Task 2 后，基线有 70.6% 的语义正确预测因小写格式被判错，而 SAME 显著降低了该问题。 基线模型在 Task 2 后 ScienceQA 准确率急剧下降，随后在 ImageNet 任务后又部分反弹。 论文指出，这种“下降-反弹”并不一定意味着语义能力恢复，而可能是后续任务的标注格式重新把模型推向大写输出。SAME 通过限制专家漂移和冻结部分历史重要专家，更好地保持了旧任务的输出格式。 这组分析很有价值，因为它说明 MCIT 遗忘并不总是“模型不会做题了”。有时模型仍知道正确答案，却忘记了旧任务要求的输出协议。 对于真实指令系统，这类格式漂移同样严重：用户或评测器可能要求固定选项、JSON 格式、坐标格式或大小写规范。 SAME 能降低这种格式诱导遗忘，说明其稳定化机制保护的是任务行为，而不只是抽象语义能力。 3.7 定性结果 论文还展示了早期任务样本在持续训练前后的预测变化。对于一个 GQA 样本，模型在 Task 4 后正确回答 “Lady”。 训练到 Task 8 后，基线模型漂移为 “man”，而 SAME 仍保持 “Lady”，说明其能更好地保留旧任务的语义判断和回答习惯。 〓 图十一：SAME 在长序列训练后更好地保持旧任务预测稳定性。 定性结果与前面的格式遗忘分析互相补充：SAME 既能保留旧任务的输出格式，也能保留旧任务的视觉语义判断。 在例子中，基线模型后期把图中人物性别判断从 “Lady” 漂移成 “man”，说明跨任务训练改变了其视觉问答行为；SAME 则保持了训练到 Task 8 后的预测一致性。 3.8 TriGap基准的补充意义 除了方法本身，论文新构建的 TriGap 也值得关注。现有 CoIN 和 UCIT 通常任务序列较短，任务域差异和数据规模差异有限，难以充分暴露长序列 MCIT 中的稳定性问题。 TriGap 从三个角度拉大难度： * 任务数扩展到 10 个，覆盖文档、图表、信息图、化学、遥感、科学问答等异质领域； * 每个任务数据规模从 10K 到 40K 不等，更接近真实非均匀数据流； * 并且任务采用不同指令格式，考察模型在持续学习中的格式保持能力。 在 TriGap 上，SAME 虽然不是每个单项任务都第一，但在平均准确率上达到最佳，这说明它的收益主要体现在长序列、多领域和不均衡任务下的整体稳定性。 对于 MCIT 研究来说，TriGap 提供了一个比短序列基准更能放大路由漂移和专家漂移的测试环境。 总结 SAME 指出，在 MoE-based 多模态持续指令微调中，遗忘不仅来自参数共享，还来自路由器和专家之间的动态失配。 路由漂移会让旧任务输入被分配到错误专家，专家漂移则会让原本负责旧任务的专家失去功能。 针对这两个问题，SAME 分别通过谱感知路由和曲率感知缩放进行稳定化，并通过自适应专家激活减少冗余更新和训练开销。 实验结果表明，SAME 在长任务序列、强领域差异和格式敏感任务中都具有更强的稳定性，是一个面向真实 MCIT 场景的有效 MoE 持续学习框架。 **更多阅读** []()[]()[]() **# 投 稿 通 道#** **  让你的文字被更多人看到 ** 如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？**答案就是：你不认识的人。** 总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。  PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是**最新论文解读** ，也可以是**学术热点剖析** 、**科研心得** 或**竞赛经验讲解** 等。我们的目的只有一个，让知识真正流动起来。 📝 **稿件基本要求：** • 文章确系个人**原创作品** ，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注  • 稿件建议以 **markdown**  格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题 • PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供**业内具有竞争力稿酬** ，具体依据文章阅读量和文章质量阶梯制结算 📬 **投稿通道：** • 投稿邮箱：hr@paperweekly.site  • 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者 • 您也可以直接添加小编微信（**pwbot02** ）快速投稿，备注：姓名-投稿 **△长按添加PaperWeekly小编** 🔍 现在，在**「知乎」** 也能找到我们了 进入知乎首页搜索**「PaperWeekly」** 点击**「关注」** 订阅我们的专栏吧 ·