--- title: "CVPR 2026 | 只改少量关键方向，模型就能连续适应？南大GOLD来了" source_url: "https://mp.weixin.qq.com/s/WhrwcGyzcyh554KZAJQFKA" source: wechat ingested: 2026-07-05T04:04:22Z sha256: 00b0d42af6e381106f898333d52b778e2a3dde5df70a3de25a5a5d219a433d67 vxc: 64 stars: 4 _provider: deepseek --- # CVPR 2026 | 只改少量关键方向，模型就能连续适应？南大GOLD来了 --- source: wechat source_url: https://mp.weixin.qq.com/s/WhrwcGyzcyh554KZAJQFKA ingested: 2026-07-05 source_published: 2026年7月2日 22:04 --- # CVPR 2026 | 只改少量关键方向，模型就能连续适应？南大GOLD来了 上线后的视觉模型，面对的从来不是一个静态测试集，而是一条持续变化的数据流。 自动驾驶摄像头会从白天驶入黑夜，从晴天进入雨雾；视频分析系统会不断遇到新的光照、视角和场景；医学影像模型也可能因为采集协议、设备型号或人群分布变化而遭遇域偏移。 对于真实部署环境中的视觉模型来说，分布变化不是例外，而是常态。 这正是 Continual Test-Time Adaptation（CTTA）试图解决的问题：模型已经在源域完成训练，部署后无法再访问源数据，只能接收无标签的目标域数据流，并且每个样本通常只会按顺序经过一次。 模型需要一边推理、一边适应新的分布，同时还不能因为适应过程中的噪声和漂移把自己“改坏”。 然而，在线适应天然存在一个矛盾：如果更新得太少，模型很难跟上持续变化的测试分布；如果更新得太多，推理成本会迅速上升，伪标签噪声会被不断放大，参数也可能在长程数据流中逐渐漂移，最终导致性能塌陷。 换言之，CTTA 的核心难点并不只是“如何适应”，而是“应该在哪里适应、适应多少、以及如何避免越改越差”。 本文从一个更直接的问题切入：如果完整特征空间既庞大又危险，那么是否存在一块更小、更关键、也更稳定的适应空间？ 我们发现，连续测试时适应并不一定需要在整个高维特征空间中反复调整；真正有效的更新方向，可能集中在一块由预训练分类器决定的低秩子空间中。 我们将其称为 golden subspace，并进一步提出 Guided Online Low-rank Directional adaptation（GOLD），通过在线维护这一“黄金子空间”，让模型在部署阶段以更轻量的方式完成连续适应。 大量分类与分割实验表明，GOLD 在效率、稳定性和整体性能之间取得了更好的平衡，为真实场景中的视觉模型部署提供了一种更高效、更稳健的测试时自适应方案。 论文标题： The Golden Subspace: Where Efficiency Meets Generalization in Continual Test-Time Adaptation 论文作者： Guannan Lai, Da-Wei Zhou, Zhenguo Li, Han-Jia Ye 作者单位： Nanjing University；Hong Kong University of Science and Technology；Frontier Robotics 录用会议： CVPR 2026 论文地址： https://arxiv.org/abs/2603.21928 代码地址： https://github.com/AIGNLAI/GOLD  引言 视觉模型在实验室中通常面对的是固定测试集，但在真实部署中，它们遇到的是一条持续变化的数据流。 自动驾驶系统会经历白天、黑夜、雨雾、逆光等复杂环境变化；安防与视频分析模型会遇到新的摄像头、视角、场景和人群分布；医学影像模型也可能因为扫描设备、采集协议或患者群体变化而产生域偏移。 对于这些长期运行的视觉系统而言，模型能力不能只停留在训练完成的那一刻，而需要在部署过程中持续适应环境变化。 这类问题与持续学习密切相关：模型需要在不断变化的数据分布中保持可用性，既要吸收新环境中的信息，又不能因为更新过程破坏已有能力。 不同的是，在真实测试阶段，模型往往无法访问源域训练数据，也拿不到目标域标签，只能依赖连续到来的无标签样本进行在线调整。 测试时适应（Test-Time Adaptation, TTA）正是围绕这一问题展开：模型在测试阶段利用无标签目标数据修正自身状态，从而缓解训练分布与测试分布之间的偏移。 进一步地，Continual Test-Time Adaptation（CTTA）将 TTA 放到更加真实也更加困难的连续非平稳场景中：数据分布持续变化，样本按顺序到达，模型每一次适应都会影响后续状态。 因此，CTTA 不是一次性的微调问题，而是一个在线闭环过程。 当前 batch 中不可靠的伪标签，可能改变后续特征空间；一次错误更新，可能在下一段域偏移中被继续放大；为了追求短期性能而更新大量参数，也可能带来计算开销、参数漂移和长期泛化下降。 现有 CTTA 方法通常依赖熵最小化、自训练、一致性约束、BN 统计更新或教师-学生框架。 它们能够在一定程度上提升短期适应能力，但在动态部署环境中仍面临两个关键代价：一是在线更新带来的计算与内存开销，难以满足实时推理需求；二是伪标签噪声与参数漂移会在长程数据流中不断累积，最终导致模型性能退化。 换句话说，CTTA 的核心矛盾并不只是“是否更新模型”，而是“应该在哪里更新、更新多少，以及如何保证更新不会越走越偏”。 这也是 GOLD 重新审视适应空间的出发点：如果完整特征空间过于庞大、昂贵且容易引入噪声，那么是否存在一块更小、更关键、更稳定的子空间，使模型只在真正有效的方向上完成连续适应？ 黄金子空间 本文的核心洞察是：在高维特征空间中，并不是所有方向都会同等影响模型输出。对于一个已经训练好的视觉模型来说，真正能够有效改变分类结果的方向，其实受到分类器权重空间的强约束。 作者从一个单步适应的理想化场景出发。假设特征提取器已经冻结，分类器权重为 W，当前 batch 的特征为 F。 如果希望模型输出产生一个目标修正 ΔY，那么在最小范数意义下，所需的特征修正可以写成： 这个公式的意义并不只是数学推导。它说明：如果目标是“用尽可能小的特征变化修正模型输出”，那么最优更新不会散落在整个高维特征空间中，而会落在由分类器权重诱导出的一个低秩子空间里。 作者将这块最小而有效的适应空间称为 Golden Subspace，即黄金子空间。 直观来看，分类器就像一个“读出器”：它并不会对所有特征方向同样敏感，而只会重点读取其中与类别判别相关的方向。 既然如此，与其在完整特征空间里做大范围扰动，不如只沿着分类器真正关心的方向做小幅调整。这样既可以影响输出，又能避免在无关方向上引入不必要的噪声。 这一步把 CTTA 的问题重新表述为：模型在测试时并不一定需要更新更多参数，而是需要找到一块足够小、足够稳定、同时又足够表达目标域变化的适应子空间。 黄金子空间的动态更新 不过，如果只用源模型的分类器权重来确定子空间，得到的仍然主要是源域中的判别几何。 对于 CTTA 来说，这显然还不够。部署后的目标域分布会随着数据流不断变化，天气、光照、场景、类别比例和噪声类型都可能发生漂移。 因此，黄金子空间不能只是源模型训练结束时的一次性结果，它也需要随着目标数据流在线更新。 一种直接做法是更新分类器权重，让分类器本身吸收目标域信息。但这并不理想。 分类器位于特征到输出的最后映射层，它直接决定类别之间的判别边界；一旦在无标签目标流上直接更新，就很容易受到伪标签错误和短期分布偏差影响。 对于连续测试流来说，一次错误更新不只是影响当前 batch，还可能改变后续样本的伪标签分配，形成“错误伪标签—错误更新—更错误伪标签”的累积链条。 GOLD 因此选择了一种更稳妥的替代方案：不直接反向训练分类器，而是用 Average Gradient Outer Product（AGOP）来估计当前目标域中真正重要的判别方向。 这一设计受到 Science 2024 论文《Mechanism for feature learning in neural networks and backpropagation-free machine learning models》的启发。 该工作指出，AGOP 可以作为刻画神经网络特征学习机制的统一数学量。它通过统计输入—输出梯度的外积平均，反映模型输出对不同输入方向的敏感程度。 直观地说，如果某些方向上的微小特征变化会显著改变模型输出，那么这些方向就更可能承载当前任务真正依赖的判别信息。 这一点正好可以用来动态估计黄金子空间。 论文已经证明，理想的黄金子空间与分类器权重的行空间相关；而在在线目标域中，AGOP 可以近似刻画模型输出对不同特征方向的敏感性，因此可以用来估计当前分布下哪些方向最值得被保留和更新。 这样，方法既不需要访问源数据，也不需要用无标签目标样本去反向训练分类器，却能让子空间逐步吸收目标域信息。 我们发现：AGOP 估计出的子空间会随着测试过程快速靠近真实黄金子空间，并最终稳定在很高的相似度；同时，AGOP 的谱能量高度集中，前 64–128 个特征向量即可捕获超过 99% 的能量。 这说明 GOLD 中的“低秩”并不是人为压缩，而是 CTTA 适应问题本身就具有的结构：真正需要被更新的方向，只占完整特征空间中的很小一部分。 〓 图2. AGOP 对黄金子空间的在线估计与低秩谱能量集中现象。 GOLD 基于上述观察，论文提出 Guided Online Low-rank Directional adaptation（GOLD）。它不是对整个网络做大规模更新，而是在一个低秩、动态维护的方向集合里完成轻量化适应。 GOLD 的流程可以概括为两个交替阶段。 第一阶段是 Adapt。模型先用冻结的 backbone 提取特征，再将特征投影到当前黄金子空间中。 GOLD 不在完整高维特征上引入自由更新，而是学习一个紧凑的 scaling vector，对投影后的低维坐标做重标定，再以残差形式映射回原始特征空间。 这样做的好处是：当 scaling vector 接近单位向量时，模型几乎保持原始行为；当目标域需要调整时，模型只在少量关键方向上做可控修正。 第二阶段是 Update。GOLD 从当前 batch 中筛选高置信样本，用 AGOP 更新子空间估计；同时使用自训练损失和基于源域类别原型的对比损失来更新 scaling vector。 源域样本在部署时不可访问，但类原型可以在部署前预先提取并固定保存，作为语义锚点来约束适应过程，避免特征空间漂移过大。 这套设计的本质是：把可塑性放在低秩适应器里，把稳定性留给冻结的 backbone、固定分类器权重和源原型锚点。它允许模型对目标域变化做出响应，但不让每一步伪标签噪声都直接写进全模型参数。 〓 图3. GOLD 框架：Adapt 阶段做低秩子空间重标定，Update 阶段用 AGOP 在线维护黄金子空间。 实验 5.1 图像分类实验 本文参考 CTTA 的 Benchmark，分类部分覆盖 CIFAR10-C、CIFAR100-C 和 ImageNet-C，设置为在线 CTTA：模型按顺序接收目标数据流，每个样本只观察一次，不能回看历史目标样本，也不能访问源数据。 在主表中，指标是在线分类错误率（越低越好）。 GOLD 在三个数据集的平均错误率上都取得最优或最强结果，相较表中最强基线 OBAO，GOLD 将 CIFAR100-C 平均错误率从 29.5 降至 28.6；在 CIFAR10-C 上从 14.6 降至 14.1；在 ImageNet-C 上从 59.6 降至 59.3。 〓 表1 不同方法不同数据集错误率 更重要的是效率。GOLD 的平均运行时间约为 0.25 秒，接近最快的 SANTA，但性能明显更强。这说明低秩适应并不只是“省参数”，而是把在线优化预算集中在了更有效的方向上。 〓 图4. 不同 CTTA 方法在多个 benchmark 上的每 batch 处理时间。 消融实验也支持这一点。仅使用初始子空间已经能带来明显提升，加入 AGOP 在线更新后，子空间可以跟随目标域变化继续改进；再结合原型对比损失，模型在长程适应中获得更稳定的语义结构。 换句话说，黄金子空间不是一个静态技巧，而是一个可在线维护的适应几何。 5.2 图像分割实验 论文进一步在 CarlaTTA 语义分割 benchmark 上进行实验。这个场景更接近自动驾驶部署：环境会从白天变夜晚、晴天变雾天或雨天，甚至从城市道路切换到高速场景，既有协变量偏移，也可能有类别分布偏移。 结果显示，GOLD 在 day2night、clear2fog 和 highway 三个序列上取得最高 mIoU。 其中 highway 是更困难的场景变化，因为它不仅改变视觉外观，也改变道路与场景类别分布；GOLD 在该序列上达到 34.5，超过 CoTTA 的 33.8。 〓 表2. CarlaTTA 语义分割 mIoU（%），数值越高越好。 〓 图5. CarlaTTA 上的语义分割可视化对比。白框区域展示 GOLD 相比其他方法恢复出的细节。 总结 本文认为 CTTA 的关键不是“让模型在测试时改更多参数”，而是“找到一块最值得改、也最不容易把模型改坏的低秩空间”。 论文通过单步最小范数适应，刻画了由分类器权重诱导的低秩有效适应空间，并将其定义为黄金子空间，并进一步用 AGOP 在无标签目标数据流中在线维护该子空间。 方法上，GOLD 只学习轻量 scaling vector，并在低秩投影空间内做残差式特征重标定，从而把适应能力、计算效率和长期稳定性放到同一套框架中。 对于持续测试时适应这一方向，GOLD 提供了一个清晰的研究信号：未来的在线适应方法，可能不必继续在“更新多少参数”上内卷，而应更关注“更新空间的几何结构是否正确”。 **参考文献** [1] Radhakrishnan et al. Mechanism for feature learning in neural networks and backpropagation-free machine learning models. Science, 2024.  [2] Wang et al. Continual Test-Time Domain Adaptation. CVPR 2022. [3] Döbler et al. Robust Mean Teacher for Continual and Gradual Test-Time Adaptation. CVPR 2023. [4] Chakrabarty et al. SANTA: Source Anchoring Network and Target Alignment for Continual Test Time Adaptation. TMLR 2023. **更多阅读** []()[]()[]() **# 投 稿 通 道#** **  让你的文字被更多人看到 ** 如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？**答案就是：你不认识的人。** 总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。  PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是**最新论文解读** ，也可以是**学术热点剖析** 、**科研心得** 或**竞赛经验讲解** 等。我们的目的只有一个，让知识真正流动起来。 📝 **稿件基本要求：** • 文章确系个人**原创作品** ，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注  • 稿件建议以 **markdown**  格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题 • PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供**业内具有竞争力稿酬** ，具体依据文章阅读量和文章质量阶梯制结算 📬 **投稿通道：** • 投稿邮箱：hr@paperweekly.site  • 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者 • 您也可以直接添加小编微信（**pwbot02** ）快速投稿，备注：姓名-投稿 **△长按添加PaperWeekly小编** 🔍 现在，在**「知乎」** 也能找到我们了 进入知乎首页搜索**「PaperWeekly」** 点击**「关注」** 订阅我们的专栏吧 ·