Multiple-choice benchmarks that rank candidate completions by conditional log-probability suffer from a length bias: because log-probabilities sum over tokens, longer answers tend to be penalized relative to shorter ones in practice. A common mitigation is to normalize scores by completion length, but we show empirically that this heuristic frequently over-corrects, introducing a bias toward longer answers instead. We first analyze these scoring rules, characterizing when standard and length-normalized accuracy are appropriate and how their length biases depend on the distribution of completion lengths. Motivated by this analysis, we introduce Bayesian accuracy, a scoring rule that computes the posterior probability of each candidate under an explicit prior over answer length, thereby removing linear length effects. Bayesian accuracy is a drop-in replacement for likelihood-based multiple-choice evaluation, requires no additional forward passes, and consistently exhibits lower empirical length bias than both standard and length-normalized accuracy across benchmarks and few-shot settings.
","absKo":"조건부 log-probability로 candidate completion을 순위화하는 multiple-choice benchmark는 length bias를 겪습니다. log-probability가 token 전반에 걸쳐 합산되기 때문에, 실제로는 긴 답변이 짧은 답변에 비해 불이익을 받는 경향이 있습니다. 이를 완화하는 일반적인 방법은 score를 completion length로 정규화하는 것이지만, 우리는 실험적으로 이 휴리스틱이 자주 과도하게 보정하여 오히려 긴 답변 쪽으로 편향을 도입함을 보입니다. 먼저 우리는 이러한 scoring rule을 분석하여, standard accuracy와 length-normalized accuracy가 언제 적절한지, 그리고 이들의 length bias가 completion length의 분포에 어떻게 의존하는지를 특성화합니다. 이러한 분석에 동기를 받아, 우리는 Bayesian accuracy를 제안합니다. Bayesian accuracy는 답변 길이에 대한 명시적 prior 하에서 각 candidate의 posterior probability를 계산하는 scoring rule로, 선형적인 length effect를 제거합니다. Bayesian accuracy는 likelihood-based multiple-choice evaluation에 그대로 대체 가능하며, 추가 forward pass가 필요 없고, benchmark와 few-shot setting 전반에서 standard accuracy와 length-normalized accuracy보다 일관되게 낮은 empirical length bias를 보입니다."},{"id":"61571","en":"Think Less, Act Early: Reinforced Latent Reasoning with Early Exit in Vision-Language-Action Models","ko":"덜 생각하고 일찍 행동하기: Vision-Language-Action Models에서 Early Exit을 활용한 강화 Latent Reasoning","authors":"Dianqiao Lei, Lianlei Shan","pos":"#813","link":"https://openreview.net/forum?id=op2bPlSv2o","abs":"Existing Vision-Language-Action (VLA) models predominantly rely on explicit Chain-of-Thought (CoT) reasoning to bridge perception and action. While effective, this paradigm suffers from high computational costs and error propagation in multi-step tasks. In this paper, we propose Adaptive Variable Alignment VLA (AVA-VLA), a novel Latent Reasoning VLA framework that models reasoning as a sequence of unobservable latent variables, bypassing the need for explicit text generation. However, latent trajectories are inherently susceptible to noise interference and misalignment with downstream objectives. To address this, we introduce a Reinforcement Learning-based Denoising mechanism that treats latent state generation as a sequential decision process, optimizing reasoning trajectories via task-level rewards. Furthermore, we incorporate an Early-Exit Strategy that adaptively terminates reasoning based on state confidence, enabling a dynamic trade-off between depth and efficiency. Extensive experiments on embodied decision benchmarks demonstrate that AVA-VLA significantly reduces inference latency while achieving superior stability and success rates compared to full-reasoning baselines.
","absKo":"기존 Vision-Language-Action(VLA) 모델은 주로 perception과 action을 연결하기 위해 명시적인 Chain-of-Thought(CoT) reasoning에 의존한다. 이 방식은 효과적이지만, 다단계 task에서 높은 계산 비용과 error propagation 문제를 겪는다. 본 논문에서는 adaptive variable alignment VLA(AVA-VLA)를 제안한다. 이는 reasoning을 일련의 비가시적 latent variable로 모델링하는 새로운 latent reasoning VLA framework로, 명시적인 text generation의 필요를 우회한다. 그러나 latent trajectory는 본질적으로 noise interference와 downstream objective와의 misalignment에 취약하다. 이를 해결하기 위해, 우리는 latent state generation을 sequential decision process로 취급하고 task-level reward를 통해 reasoning trajectory를 최적화하는 Reinforcement Learning 기반 denoising mechanism을 도입한다. 더 나아가, state confidence를 바탕으로 reasoning을 적응적으로 종료하는 Early-Exit Strategy를 결합하여, 깊이와 효율성 사이의 동적 trade-off를 가능하게 한다. embodied decision benchmark에 대한 광범위한 실험은 AVA-VLA가 전체 reasoning baseline과 비교해 우수한 안정성과 성공률을 달성하면서 inference latency를 크게 줄임을 보여준다."},{"id":"64236","en":"CSG: Cognitive Structure Generation for Intelligent Education","ko":"CSG: 지능형 교육을 위한 인지 구조 생성","authors":"Hengnian Gu, Zhifu Chen, Yuxin Chen, Jin Zhou, Dongdai Zhou","pos":"#1004","link":"https://openreview.net/forum?id=PfarHkQG8e","abs":"Cognitive structure (CS), a student's construction of concepts and inter-concept relations, has long been recognized as a foundational notion in psychology and intelligent education, yet remains largely unassessable in practice. Existing approaches such as knowledge tracing (KT) and cognitive diagnosis (CD) simplify and indirectly approximate CS, but they intertwine representation learning with prediction objectives, limiting generalization, interpretability, and reuse across tasks. To address this gap, we propose Cognitive Structure Generation (CSG), a task-agnostic framework that explicitly models CS through generative modeling. Based on educational theories, CSG first pretrains a Cognitive Structure Diffusion Probabilistic Model (CSDPM) and then applies reinforcement learning with SOLO-based hierarchical rewards to capture plausible patterns of cognitive development. By decoupling cognitive structure representation from downstream prediction, CSG produces interpretable and transferable cognitive structures that can be seamlessly integrated into diverse student modeling tasks. Experiments on five real-world datasets show that CSG yields more comprehensive representations, substantially improving performance while offering enhanced interpretability and modularity.
","absKo":"Cognitive structure(CS), 즉 학생이 개념과 개념 간 관계를 구성하는 방식은 심리학과 intelligent education에서 오랫동안 근본적인 개념으로 인식되어 왔지만, 실제로는 여전히 평가하기 어렵다. knowledge tracing(KT)과 cognitive diagnosis(CD) 같은 기존 접근법은 CS를 단순화하고 간접적으로 근사하지만, representation learning과 prediction objective를 얽어 놓아 일반화, 해석 가능성, 그리고 다양한 task 간 재사용성을 제한한다. 이러한 간극을 해소하기 위해, 우리는 generative modeling을 통해 CS를 명시적으로 모델링하는 task-agnostic framework인 Cognitive Structure Generation(CSG)을 제안한다. 교육 이론에 기반하여, CSG는 먼저 Cognitive Structure Diffusion Probabilistic Model(CSDPM)을 pretrain한 뒤, SOLO-based hierarchical rewards를 사용한 reinforcement learning을 적용하여 그럴듯한 cognitive development pattern을 포착한다. cognitive structure representation을 downstream prediction과 분리함으로써, CSG는 다양한 student modeling task에 매끄럽게 통합될 수 있는 해석 가능하고 transferable한 cognitive structure를 생성한다. 다섯 개의 실제 데이터셋에 대한 실험은 CSG가 더 포괄적인 representation을 산출하며, 향상된 해석 가능성과 modularity를 제공하면서 성능을 크게 개선함을 보여준다.
"},{"id":"63841","en":"RuCL: Stratified Rubric-Based Curriculum Learning for Multimodal Large Language Model Reasoning","ko":"RuCL: multimodal large language model 추론을 위한 계층적 rubric 기반 curriculum learning","authors":"Yukun Chen, Jiaming Li, Longze Chen, Ze Gong, Jingpeng Li, Zhen Qin, Hengyu Chang, Lei Zhang, Ancheng Xu, Zhihao Yang, Hamid Alinejad-Rokny, Qiang Qu, Bo Zheng, Min Yang","pos":"#1013","link":"https://openreview.net/forum?id=TFhUQ6uFCP","abs":"Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a prevailing paradigm for enhancing reasoning in Multimodal Large Language Models (MLLMs). However, relying solely on outcome supervision risks reward hacking, where models learn spurious reasoning patterns to satisfy final answer checks. While recent rubric-based approaches offer fine-grained supervision signals, they suffer from high computational costs of instance-level generation and inefficient training dynamics caused by treating all rubrics as equally learnable. In this paper, we propose Stratified Rubric-based Curriculum Learning (RuCL), a novel framework that reformulates curriculum learning by shifting the focus from data selection to reward design. RuCL generates generalized rubrics for broad applicability and stratifies them based on the model's competence. By dynamically adjusting rubric weights during training, RuCL guides the model from mastering foundational perception to tackling advanced logical reasoning. Extensive experiments on various visual reasoning benchmarks show that RuCL yields a remarkable +7.83% average improvement over the Qwen2.5-VL-7B model, achieving a state-of-the-art accuracy of 60.06%.
","absKo":"Reinforcement Learning with Verifiable Rewards (RLVR)는 Multimodal Large Language Models (MLLMs)의 reasoning을 향상시키는 지배적인 패러다임으로 부상했다. 그러나 outcome supervision에만 의존하면 reward hacking의 위험이 있으며, 모델이 최종 답안 검사를 만족시키기 위해 허위의 reasoning pattern을 학습할 수 있다. 최근의 rubric-based 접근법은 더 세밀한 supervision signal을 제공하지만, instance-level generation의 높은 계산 비용과 모든 rubric을 동일하게 학습 가능한 것으로 취급할 때 발생하는 비효율적인 training dynamic이라는 문제를 안고 있다. 본 논문에서는 **Stratified Rubric-based Curriculum Learning (RuCL)**을 제안한다. 이는 data selection이 아니라 reward design으로 초점을 이동시켜 curriculum learning을 재정식화하는 새로운 프레임워크다. RuCL은 폭넓은 적용성을 위해 generalized rubric을 생성하고, 모델의 competence에 따라 이를 stratify한다. 학습 중 rubric weight를 동적으로 조정함으로써, RuCL은 모델이 foundational perception을 익히는 단계에서부터 advanced logical reasoning을 다루는 단계로 점진적으로 나아가도록 유도한다. 다양한 visual reasoning benchmark에서의 광범위한 실험은 RuCL이 Qwen2.5-VL-7B 모델 대비 평균 +7.83%의 인상적인 향상을 가져오며, 60.06%의 state-of-the-art 정확도를 달성함을 보여준다."},{"id":"65537","en":"VeriSimpl: Robust Optimization Modeling from Natural Language using Simplification-based Verification","ko":"VeriSimpl: 단순화 기반 검증을 이용한 자연어로부터의 강건한 최적화 모델링","authors":"Sumaya Abdul Rahman, Seckhen Cuellar, Ghani Raissov, Mohammad Raza","pos":"#4503","link":"https://openreview.net/forum?id=CbP43Qh6ib","abs":"Natural language interfaces can greatly benefit the accessibility and usability of optimization modeling, and recent advances in large language models (LLMs) show promise in automatically translating textual problem descriptions into executable solver formulations. However, a key challenge for existing approaches is to ensure that the inferred formulation correctly implements the intended task, even if it may execute without errors. We introduce \\textsc{VeriSimpl}, a solver–LLM framework for robust natural-language-to-optimization formalization. Our approach is based on the idea of \\emph{simplification-based verification}, where the optimization solver is leveraged to generate simplified diagnostic queries about a candidate formulation to allow the LLM to tractably reason about the correctness of the formulation with respect to the task description. We present such simplification strategies along different dimensions with respect to problem constraints and decision variables, which allow the LLM to reason locally under fixed global contexts. Evaluations on a range of optimization benchmarks show how our approach provides consistent improvements in accuracy over existing methods, while also providing a novel high-precision self-verification signal.
","absKo":"자연어 인터페이스는 optimization modeling의 접근성과 사용성을 크게 향상시킬 수 있으며, 최근 large language model (LLM)의 발전은 텍스트 문제 설명을 실행 가능한 solver formulation으로 자동 변환하는 데 유망함을 보여 주었다. 그러나 기존 접근법의 핵심 과제는, 오류 없이 실행될 수 있더라도 추론된 formulation이 의도한 task를 올바르게 구현하는지 보장하는 것이다. 우리는 강건한 natural-language-to-optimization formalization을 위한 solver–LLM framework인 \\textsc{VeriSimpl}을 소개한다. 우리의 접근은 \\emph{simplification-based verification} 아이디어에 기반한다. 즉, optimization solver를 활용해 후보 formulation에 대한 단순화된 진단 질문을 생성하고, 이를 통해 LLM이 formulation의 정확성을 task description에 대해 tractably reasoning할 수 있게 한다. 우리는 problem constraint와 decision variable에 대해 서로 다른 차원에서 이러한 simplification strategy를 제시하며, 이를 통해 LLM이 고정된 global context 하에서 local하게 추론할 수 있도록 한다. 다양한 optimization benchmark에 대한 평가는, 우리의 접근이 기존 방법보다 일관된 정확도 향상을 제공할 뿐 아니라, 새로운 고정밀 self-verification signal도 제공함을 보여 준다.
"},{"id":"61564","en":"FusionCell: Cross-Attentive Fusion of Layout Geometry and Netlist Topology for Standard-Cell Performance Prediction","ko":"FusionCell: Standard-Cell 성능 예측을 위한 Layout Geometry와 Netlist Topology의 Cross-Attentive Fusion","authors":"Haoyi Zhang, Kairong Guo, Bojie Zhang, Yibo Lin, Runsheng Wang","pos":"#1005","link":"https://openreview.net/forum?id=os54CnlmbR","abs":"Standard cells form the building blocks of digital circuits, so their delay and power critically influence chip-level performance; yet characterization (can be understood as evaluation of cell delay and power) still relies on slow simulation sweeps, and many fast predictors ignore layout geometry, missing coupling and layout-dependent effects. The challenge is to jointly represent layout geometry and netlist topology so models capture fine-grained spatial details together with structural connectivity for accurate performance prediction. We introduce \\textbf{FusionCell}, a dual-modality predictor that treats routed layout geometry and netlist topology as inputs and fuses them explicitly in a unified model. A DeiT encoder processes three-layer routed layouts, while a graph transformer models heterogeneous device/net graphs. The modalities are integrated through a \\textbf{topology-guided} mechanism, where the netlist acts as a structural ``map'' to actively query relevant physical regions in the layout for joint geometric and topological reasoning. We build a 7nm dataset based on the ASAP7 PDK with over 19.5k cells spanning 149 types using automatic tools, targeting six metrics: signal rise/fall delay, transition, and power. Experimental results demonstrate that \\textbf{FusionCell} reduces regression error (average MAPE 0.92\\%) and improves Spearman/Kendall ranking over baselines, while accelerating the characterization process by orders of magnitude compared to circuit simulation.
","absKo":"Standard cell은 digital circuit의 구성 요소이므로, 그 delay와 power는 chip 수준 성능에 결정적으로 영향을 미친다. 그러나 characterization(즉 cell delay와 power의 평가로 이해될 수 있음)은 여전히 느린 simulation sweep에 의존하며, 많은 fast predictor는 layout geometry를 무시하여 coupling 및 layout-dependent effect를 놓친다. 과제는 정확한 성능 예측을 위해 layout geometry와 netlist topology를 함께 표현하여, 모델이 구조적 연결성과 함께 세밀한 공간적 세부 정보를 포착하도록 하는 것이다. 우리는 routed layout geometry와 netlist topology를 입력으로 받아 명시적으로 통합하는 dual-modality predictor인 \\textbf{FusionCell}을 소개한다. DeiT encoder는 3-layer routed layout을 처리하고, graph transformer는 heterogeneous device/net graph를 모델링한다. 이 두 모달리티는 \\textbf{topology-guided} mechanism을 통해 통합되며, 여기서 netlist는 layout 내 관련 물리적 영역을 능동적으로 조회하여 기하학적 및 위상적 추론을 함께 수행하는 구조적 ``map'' 역할을 한다. 우리는 자동 도구를 사용하여 ASAP7 PDK를 기반으로 한 7nm dataset을 구축했으며, 149개 유형에 걸쳐 19.5k개 이상의 cell을 포함하고, signal rise/fall delay, transition, power의 6개 metric을 대상으로 한다. 실험 결과 \\textbf{FusionCell}은 regression error(평균 MAPE 0.92\\%)를 줄이고 baseline 대비 Spearman/Kendall ranking을 향상시키는 한편, circuit simulation과 비교해 characterization 과정을 수십 배 이상 가속한다.
"},{"id":"63545","en":"MVR-cache: Optimizing Semantic Caching via Multi-Vector Retrieval and Learned Prompt Segmentation","ko":"MVR-cache: 멀티 벡터 검색과 학습된 프롬프트 분할을 통한 의미 캐싱 최적화","authors":"Ali Noshad, Zishan Zheng, Yinjun Wu","pos":"#1006","link":"https://openreview.net/forum?id=WALBUqiamf","abs":"To reduce LLM costs and latency, semantic caching systems must accurately identify when a new prompt matches a cached one. Current methods often rely on simplistic similarity measures, which limit their effectiveness. We introduce MVR-cache, a novel semantic caching approach that significantly improves retrieval accuracy by integrating Multi-Vector Retrieval (MVR). MVR-cache is built upon a learnable segmentation model that intelligently splits prompts, enabling fine-grained similarity comparisons via MaxSim. We derive the model’s training objectives from a rigorous theoretical analysis. This can ensure that optimizing these objectives directly maximizes cache hits under strict correctness constraints. To solve the resulting non-differentiable combinatorial optimization problem, we leverage a reinforcement learning-based training strategy with the theoretically grounded objectives as the reward. Experimental results on established benchmarks across diverse tasks confirm that in comparison to the state-of-the-art, MVR-cache consistently increases the cache hit rates by up to 25% while maintaining the same correctness guarantees.
","absKo":"LLM 비용과 latency를 줄이기 위해서는 semantic caching system이 새로운 prompt가 캐시된 prompt와 일치하는지를 정확하게 식별해야 한다. 현재 방법들은 종종 단순한 similarity measure에 의존하며, 이는 효율성을 제한한다. 우리는 Multi-Vector Retrieval (MVR)을 통합하여 retrieval accuracy를 크게 향상시키는 새로운 semantic caching 접근법인 MVR-cache를 제안한다. MVR-cache는 prompt를 지능적으로 분할하는 learnable segmentation model 위에 구축되어 있으며, MaxSim을 통한 세밀한 similarity comparison을 가능하게 한다. 우리는 엄밀한 이론 분석으로부터 model의 training objective를 도출한다. 이를 통해 이 objective를 최적화하는 것이 엄격한 correctness constraint 하에서 cache hit를 직접 최대화함을 보장할 수 있다. 그 결과로 생기는 미분 불가능한 조합 최적화 문제를 해결하기 위해, 우리는 이론적으로 정당화된 objective를 reward로 사용하는 reinforcement learning 기반 training strategy를 활용한다. 다양한 task에 걸친 확립된 benchmark에서의 실험 결과는, state-of-the-art와 비교했을 때 MVR-cache가 동일한 correctness guarantee를 유지하면서 cache hit rate를 최대 25%까지 일관되게 향상시킴을 확인한다."},{"id":"63346","en":"Needles in the Haystack: Addressing Signal Dilution Improves scRNA-seq Perturbation Response Modeling and Evaluation","ko":"건초 더미 속 바늘: 신호 희석 해결이 scRNA-seq 섭동 반응 모델링과 평가를 개선한다","authors":"Gabriel Mejia, Henry Miller, Francis Leblanc, BO WANG, Brendan Swain, Lucas Paulo de Lima Camillo","pos":"#1008","link":"https://openreview.net/forum?id=XsrXLPxBJw","abs":"Recent benchmarks reveal that single-cell perturbation response models are often outperformed by simply predicting the dataset mean. Through large-scale *in silico* simulations, together with analyses of two real-world perturbation datasets, we trace this anomaly to a metric artifact: unweighted error metrics systematically reward mean predictions when perturbation effects are sparse. To address this limitation, we introduce differentially expressed gene (DEG)-aware metrics—weighted mean-squared error (WMSE) and weighted delta $R^{2}$ ($R^{2}_{w}(\\Delta)$)—that sensitively measure error in niche, perturbation-specific signals. We further propose explicit negative and positive performance baselines to calibrate these metrics. Under this framework, the mean baseline sinks to null performance, while genuinely informative predictors are correctly rewarded. Finally, we show that using WMSE as a training objective reduces mode collapse and improves predictive performance across multiple model architectures.","absKo":"최근 benchmark들은 single-cell perturbation response models가 종종 dataset mean을 단순히 예측하는 방법보다도 성능이 낮다는 사실을 보여준다. 대규모 *in silico* simulation과 두 개의 실제 perturbation datasets에 대한 분석을 통해, 우리는 이 이상 현상의 원인이 metric artifact에 있음을 추적한다. 즉, unweighted error metrics는 perturbation effect가 희소할 때 mean prediction에 체계적으로 보상을 준다. 이 한계를 해결하기 위해, 우리는 differentially expressed gene (DEG)-aware metrics인 weighted mean-squared error (WMSE)와 weighted delta $R^{2}$ ($R^{2}_{w}(\\Delta)$)를 도입하여, niche한 perturbation-specific signal에서의 error를 민감하게 측정한다. 또한 이러한 metric을 보정하기 위해 명시적인 negative 및 positive performance baseline도 제안한다. 이 framework 아래에서 mean baseline은 null performance로 떨어지는 반면, 실제로 유용한 predictor는 올바르게 보상받는다. 마지막으로, WMSE를 training objective로 사용하면 mode collapse를 줄이고 여러 model architecture 전반에서 predictive performance를 향상시킨다는 점을 보인다."},{"id":"66408","en":"NetDiff: Graph Diffusion with Improved Global Capabilities to Generate and Update Mobile Network Topologies","ko":"NetDiff: 모바일 네트워크 위상을 생성하고 갱신하기 위한 개선된 전역 능력의 그래프 Diffusion","authors":"Félix Marcoccia, Cédric Adjih, Victor Fagoo, Paul Mühlethaler, Thomas Watteyne, Gilles de Saint Julien","pos":"#1009","link":"https://openreview.net/forum?id=410yEtDdA7","abs":"We introduce NetDiff, a node-conditioned denoising diffusion model that generates directional link topologies and a two-slot transmit/receive parity for mobile ad hoc networks. Directional antennas can yield high throughput but require globally consistent link decisions under sector, interference, connectivity, and half-duplex constraints. NetDiff improves global coherence with Absolute Cross-Attentive Modulation (ACAM) tokens, which provide permutation-invariant global signals and help the model match graph-level counts (e.g., density and sector usage). We also propose partial diffusion to update an existing topology with a small number of denoising steps, enabling fast reconfiguration under mobility. NetDiff reaches over 95 \\% of target performance with constant inference time, outperforms heuristic and omnidirectional baselines, and improves over a strong diffusion graph-transformer baseline on key metrics.
","absKo":"우리는 모바일 애드혹 네트워크를 위해 방향성 링크 topology와 두 슬롯의 송신/수신 parity를 생성하는 node-conditioned denoising diffusion model인 NetDiff를 소개한다. Directional antenna는 높은 throughput을 제공할 수 있지만, sector, interference, connectivity, half-duplex 제약 하에서 전역적으로 일관된 링크 결정을 요구한다. NetDiff는 permutation-invariant한 전역 신호를 제공하고 graph-level count(예: density와 sector usage)를 모델이 맞추도록 돕는 Absolute Cross-Attentive Modulation(ACAM) token을 통해 전역 coherence를 향상시킨다. 또한 mobility 하에서 빠른 재구성을 가능하게 하기 위해, 적은 수의 denoising step으로 기존 topology를 갱신하는 partial diffusion을 제안한다. NetDiff는 constant inference time으로 목표 성능의 95\\% 이상에 도달하며, heuristic 및 omnidirectional baseline을 능가하고, 주요 metric에서 강력한 diffusion graph-transformer baseline보다도 향상된 성능을 보인다.
"},{"id":"61542","en":"Pianist Transformer: Towards Expressive Piano Performance Rendering via Scalable Self-Supervised Pre-Training","ko":"Pianist Transformer: 확장 가능한 Self-Supervised Pre-Training을 통한 표현력 있는 피아노 연주 렌더링을 향하여","authors":"Hong-Jie You, Jie-Jing Shao, Xiao-Wen Yang, Lin-Han Jia, Lan-Zhe Guo, Yu-Feng Li","pos":"#1010","link":"https://openreview.net/forum?id=p6Ar2d4Cwr","abs":"Existing methods for expressive music performance rendering rely on supervised learning over small labeled datasets, which limits scaling of both data volume and model size, despite the availability of vast unlabeled music, as in vision and language. To address this gap, we introduce Pianist Transformer, with three key contributions: 1) introducing large-scale self-supervised learning into expressive piano performance rendering through a unified Musical Instrument Digital Interface (MIDI) representation, enabling pre-training on 10B tokens of unlabeled MIDI data; 2) an efficient asymmetric Transformer with note-level compression, substantially improving training efficiency, memory usage, and inference speed for long-context music modeling; 3) a state-of-the-art rendering model with an editable workflow, achieving strong objective and subjective results and enabling integration into real-world music production workflows. Overall, Pianist Transformer outlines a scalable path toward human-like performance synthesis in the music domain. An anonymous demo with audio examples is available at: https://anonymous.4open.science/r/JSKJDHKIOWBBCGFBDKS/.
","absKo":"expressive music performance rendering을 위한 기존 방법은 작은 labeled dataset에 대한 supervised learning에 의존하며, 이는 vision과 language에서처럼 방대한 unlabeled music이 존재함에도 불구하고 data volume과 model size의 확장을 제한한다. 이 공백을 메우기 위해 우리는 세 가지 핵심 기여를 갖는 Pianist Transformer를 제안한다: 1) 통합 Musical Instrument Digital Interface(MIDI) representation을 통해 expressive piano performance rendering에 대규모 self-supervised learning을 도입하여 10B tokens의 unlabeled MIDI data로 pre-training을 가능하게 한다; 2) note-level compression을 갖는 효율적인 asymmetric Transformer로, long-context music modeling에서 training efficiency, memory usage, inference speed를 크게 향상시킨다; 3) 편집 가능한 workflow를 갖춘 state-of-the-art rendering model로, 강력한 objective 및 subjective 결과를 달성하고 실제 music production workflow와의 통합을 가능하게 한다. 전반적으로 Pianist Transformer는 music domain에서 사람과 유사한 performance synthesis를 향한 확장 가능한 경로를 제시한다. audio example이 포함된 anonymous demo는 다음에서 확인할 수 있다: https://anonymous.4open.science/r/JSKJDHKIOWBBCGFBDKS/.
"},{"id":"64442","en":"SparseSSM: Efficient Selective Structured State Space Models Can Be Pruned in One-Shot","ko":"SparseSSM: 효율적 선택적 구조화 상태 공간 모델은 원샷으로 가지치기될 수 있다","authors":"Kaiwen TUO, Huan Wang","pos":"#1014","link":"https://openreview.net/forum?id=NX0uokLuv7","abs":"State-space language models such as Mamba match Transformer quality while permitting linear complexity inference, yet still comprise billions of parameters that hinder deployment. While existing one-shot pruning methods are effective for generic linear and attention blocks, they are not designed with the overall Mamba architecture in mind and fail to account for the time-shared and discretized state-transition matrix at the heart of the selective state-space module (SSM). In this paper, we introduce SparseSSM, the first training-free pruning framework that extends the classic optimal brain surgeon (OBS) framework to state space architectures. Our layer-wise algorithm (i) derives an approximate second-order saliency score that aggregates Hessian-trace information across time steps, (ii) incorporates a component sensitivity analysis to guide feed-forward network (FFN) pruning, which also sheds light on where redundancy resides in mamba architecture, (iii) can be easily extended to semi-structured and structured sparsity, and generalized to other SSM-based architectures. Empirically, we prune 50% of SSM weights without fine-tuning and observe no zero-shot accuracy loss, achieving the current state-of-the-art pruning algorithm for Mamba-based LLMs.
","absKo":"Mamba와 같은 state-space language model은 linear complexity inference를 허용하면서도 Transformer 수준의 성능을 맞추지만, 여전히 배포를 어렵게 만드는 수십억 개의 파라미터를 포함한다. 기존의 one-shot pruning 방법은 일반적인 linear 및 attention block에는 효과적이지만, 전체 Mamba architecture를 염두에 두고 설계된 것이 아니며, selective state-space module (SSM)의 핵심에 있는 time-shared 및 discretized state-transition matrix를 고려하지 못한다. 본 논문에서는 SparseSSM을 소개한다. 이는 state space architecture로 classic optimal brain surgeon (OBS) framework를 확장한 최초의 training-free pruning framework이다. 우리의 layer-wise algorithm은 (i) time step 전반의 Hessian-trace 정보를 집계하는 근사 second-order saliency score를 도출하고, (ii) feed-forward network (FFN) pruning을 안내하기 위해 component sensitivity analysis를 통합하며, 이는 Mamba architecture에서 redundancy가 어디에 존재하는지도 보여준다. 또한 (iii) semi-structured 및 structured sparsity로 쉽게 확장할 수 있고, 다른 SSM-based architecture로도 일반화할 수 있다. 실험적으로, fine-tuning 없이 SSM weight의 50%를 pruning해도 zero-shot accuracy 손실이 없었으며, Mamba-based LLM을 위한 현재의 state-of-the-art pruning algorithm을 달성했다.
"},{"id":"62348","en":"StyleDistillation: A New Insight of Image Style Enables Personalized Aesthetic Manipulation","ko":"StyleDistillation: 이미지 스타일에 대한 새로운 통찰이 개인화된 미적 조작을 가능하게 함","authors":"Yuxin Wang, Xiaoyu Geng, Yuke Li, Zheng Wang","pos":"#1106","link":"https://openreview.net/forum?id=hR6yH73UFb","abs":"Text-guided stylized image generation has yielded promising advances by leveraging the powerful capabilities of text-to-image diffusion models. However, the inherent coupling of style and content information within the reference image presents a significant challenge. To address this, we propose StyleDistillation, a novel approach grounded in two key observations about the CLIP embedding space from a style perspective. By leveraging a lightweight StyleDistiller module, combined with carefully designed optimization objectives based on geometric and semantic priors, we can extract fine-grained style representation from the reference image. Additionally, we introduce a Prompt Alignment Enhancement mechanism during inference, which significantly improves the control that text prompts exert over the generated images. Extensive experiments demonstrate that our method achieves outstanding performance in both style reproduction and prompt alignment. Furthermore, StyleDistillation supports various personalized operations, including style editing and style fusion, highlighting its substantial potential for diverse applications.
","absKo":"텍스트로 안내되는 stylized image generation은 text-to-image diffusion model의 강력한 능력을 활용함으로써 유망한 진전을 이루어 왔다. 그러나 reference image 안에서 style 정보와 content 정보가 본질적으로 결합되어 있다는 점은 큰 도전 과제다. 이를 해결하기 위해, 우리는 style 관점에서 CLIP embedding space에 대한 두 가지 핵심 관찰에 기반한 새로운 접근법인 StyleDistillation을 제안한다. 가벼운 StyleDistiller module과 geometric 및 semantic prior에 기반해 정교하게 설계된 optimization objective를 함께 활용함으로써, reference image로부터 세밀한 style representation을 추출할 수 있다. 또한 inference 단계에서 Prompt Alignment Enhancement 메커니즘을 도입하여, text prompt가 생성 이미지에 가하는 제어력을 크게 향상시킨다. 대규모 실험은 우리의 방법이 style 재현과 prompt 정렬 모두에서 뛰어난 성능을 달성함을 보여준다. 더 나아가 StyleDistillation은 style editing과 style fusion을 포함한 다양한 personalized operation을 지원하며, 여러 응용에서의 높은 잠재력을 부각한다.
"},{"id":"62585","en":"Stochastic Neural Ray Tracing for Radio Frequency Channel Modeling","ko":"무선 채널 모델링을 위한 Stochastic Neural Ray Tracing","authors":"Yinyan Bu, Jiajie Yu, Xingyu Chen, Bo Wen, Xinyu Zhang, Piya Pal","pos":"#1107","link":"https://openreview.net/forum?id=fIFBaE8fzO","abs":"Wireless channel modeling is essential for the design, analysis, and optimization of modern wireless sensing and communication systems. However, accurately modeling wireless channels in electrically large and complex environments remains a long-standing challenge, owing to the intricate interactions between radio-frequency (RF) signals and surrounding objects (e.g., reflection, diffraction, and scattering). Unlike conventional ray-tracing pipelines that rely on hand-engineer interaction rules, or black-box neural surrogates that do not explicitly model physical structure, we introduce SNRFT, a novel framework that integrates neural representations with physics-based RF propagation modeling. Our key idea is to view RF transport as a stochastic propagation process, from which a material-dependent attenuation coefficient emerges naturally as the rate parameter governing transport dynamics. This formulation inherently satisfies key physical constraints such as reciprocity and reversibility. Building on this foundation, we employ implicit neural representations to capture complex RF-object interactions while preserving the composability of traditional ray tracing. Extensive evaluations on real-world wireless communication and sensing testbeds demonstrate that SNRFT consistently outperforms existing methods, while requiring significantly fewer training samples.
","absKo":"Wireless channel modeling은 현대 wireless sensing 및 communication system의 설계, 분석, 최적화에 필수적이다. 그러나 전자기적으로 크고 복잡한 환경에서 wireless channel을 정확하게 모델링하는 일은 radio-frequency (RF) signal과 주변 객체 사이의 정교한 상호작용(예: reflection, diffraction, scattering) 때문에 오랫동안 어려운 과제로 남아 있다. 수작업으로 설계한 interaction rule에 의존하는 기존 ray-tracing pipeline이나, 물리적 구조를 명시적으로 모델링하지 않는 black-box neural surrogate와 달리, 우리는 neural representation과 physics-based RF propagation modeling을 통합하는 새로운 framework인 SNRFT를 제안한다. 우리의 핵심 아이디어는 RF transport를 stochastic propagation process로 보는 것이며, 이로부터 material-dependent attenuation coefficient가 transport dynamics를 지배하는 rate parameter로서 자연스럽게 나타난다. 이 formulation은 reciprocity와 reversibility와 같은 핵심 물리 제약을 본질적으로 만족한다. 이러한 기반 위에서, 우리는 implicit neural representation을 사용해 복잡한 RF-object interaction을 포착하면서도 전통적 ray tracing의 composability는 유지한다. 실제 wireless communication 및 sensing testbed에서의 광범위한 평가 결과, SNRFT는 훨씬 적은 training sample만으로도 기존 방법들을 일관되게 능가함을 보여준다.
"},{"id":"60476","en":"From Extrinsic to Intrinsic: Geodesic-Guided Representation Learning for 3D Geometric Data","ko":"외재적에서 내재적으로: 3D 기하 데이터에 대한 Geodesic-Guided Representation Learning","authors":"Yuming ZHAO, Junhui Hou, Qijian Zhang, Jia Qin, Ying He","pos":"#1411","link":"https://openreview.net/forum?id=zupxQlD4cw","abs":"Geometric analysis fundamentally distinguishes between extrinsic and intrinsic perspectives. The dominant paradigm in current 3D representation learning relies on either extrinsic spatial structures or high-level semantics, struggling to capture the essence of shape identity and underlying manifold topology. To bridge this gap, we introduce a novel 3D representation learning paradigm, namely PRISM, for Pre-training, which learns isometric embeddings by Recovering the Intrinsic Surface geodesic Metric. PRISM incorporates a topology-enforcing objective that explicitly constrains the structure of latent space, alongside a specialized two-stage training recipe mitigating sample imbalance inherent in the distribution of geodesic distances. Experiments demonstrate that our approach shows satisfactory accuracy, robustness, and high efficiency in geodesic distance prediction and achieves superior performance across diverse downstream tasks, including shape recognition, surface parameterization, and non-rigid correspondence. Our code will be made publicly available.
","absKo":"기하학적 분석은 본질적으로 extrinsic 관점과 intrinsic 관점을 구분한다. 현재 3D representation learning의 지배적인 패러다임은 extrinsic spatial structure 또는 high-level semantics에 의존하며, shape identity와 그 기반이 되는 manifold topology의 본질을 포착하는 데 어려움을 겪는다. 이러한 간극을 메우기 위해, 우리는 Pre-training을 위한 새로운 3D representation learning paradigm인 PRISM을 도입한다. 이는 Recovering the Intrinsic Surface geodesic Metric을 통해 isometric embedding을 학습한다. PRISM은 latent space의 구조를 명시적으로 제약하는 topology-enforcing objective와, geodesic distance 분포에 내재한 sample imbalance를 완화하는 특화된 2-stage training recipe를 포함한다. 실험 결과, 제안 방법은 geodesic distance prediction에서 만족스러운 정확도, robustness, 높은 효율성을 보이며, shape recognition, surface parameterization, non-rigid correspondence를 포함한 다양한 downstream task에서 우수한 성능을 달성한다. 코드는 공개될 예정이다.
"},{"id":"65841","en":"Efficient Mismatch-Tolerant Coding for Model-Driven Compression","ko":"모델 기반 압축을 위한 효율적 불일치 허용 코딩","authors":"Aviv Adler, Jennifer Tang","pos":"#1604","link":"https://openreview.net/forum?id=9ZRn3Dzw4x","abs":"A central insight in lossless data compression is the close connection between probabilistic next-symbol prediction and efficient sequence compression, whereby predictive models can be combined with classical coding techniques to achieve strong compression performance. Applying this approach with powerful modern learned models, such as LLMs, has been shown to achieve markedly better compression than traditional techniques across a wide range of domains. However, significant practical challenges remain, including model non-determinism, in which a model produces different predictions on different machines despite identical parameters and inputs; such mismatches between the encoder and decoder can lead to complete decoding failure. Probability Matching Interval Coding (PMATIC) was recently introduced as a drop-in framework for mismatch-robust coding and shown to enable reliable compression and decompression in the presence of bounded prediction mismatch (Adler & Tang, 2026). In this work, we present PMATIC+, a generalization of PMATIC that allows the incorporation of tight theoretical results into the design and more flexible parameter optimization, resulting in substantial improvements in compression efficiency and robustness.
","absKo":"Lossless data compression의 핵심 통찰 중 하나는 probabilistic next-symbol prediction과 효율적인 sequence compression 사이의 밀접한 연결이다. 즉, predictive model을 classical coding technique과 결합하여 뛰어난 compression 성능을 달성할 수 있다. LLM과 같은 강력한 현대 learned model에 이 접근을 적용하면, 다양한 도메인 전반에서 전통적 기법보다 현저히 우수한 compression을 달성할 수 있음이 입증되었다. 그러나 동일한 parameter와 input을 사용하더라도 서로 다른 machine에서 model이 다른 prediction을 내는 model non-determinism과 같은 중요한 실용적 문제가 여전히 남아 있다. encoder와 decoder 사이의 이러한 불일치는 완전한 decoding failure로 이어질 수 있다. Probability Matching Interval Coding (PMATIC)은 최근 mismatch-robust coding을 위한 drop-in framework로 소개되었고, bounded prediction mismatch가 존재할 때 신뢰할 수 있는 compression 및 decompression을 가능하게 하는 것으로 보였다(Adler & Tang, 2026). 본 연구에서는 PMATIC+를 제시한다. 이는 PMATIC를 일반화한 것으로, tight theoretical result를 설계에 반영하고 더 유연한 parameter optimization을 가능하게 하여 compression efficiency와 robustness를 크게 향상시킨다.
"},{"id":"63553","en":"Temporal Preference Optimization for Unsupervised Retrieval","ko":"비지도 검색을 위한 시간적 선호 최적화","authors":"HyunJin Kim, Jaejun Shim, Young Jin Kim, JinYeong Bak","pos":"#1710","link":"https://openreview.net/forum?id=W6FvMHPVez","abs":"Unsupervised dense retrievers offer scalability by learning semantic similarity from unlabeled documents via contrastive learning, but they struggle to capture the temporal relevance, retrieving semantically related but temporally misaligned documents-an important aspect when a document collection spans multiple time periods (e.g., retrieving from related document spanning 2018-2025 given a query \"Who is the president in 2019?'' introduces temporal ambiguity). Existing methods rely on supervised training with explicit timestamps, which are not always feasible.We propose TPOUR (Temporal Preference Optimization for Unsupervised Retriever), which integrates our novel training method Temporal Retrieval Preference Optimization (TRPO). TRPO reinterprets preference learning in the temporal dimension, guiding the retriever to favor temporally aligned documents. TPOUR further generalizes to unseen time periods via interpolation in a learned time embedding, enabling continuous temporal alignment. Experiments on temporal QA with a mixed-timestamp document collection show that TPOUR outperforms both unsupervised and supervised baselines. Compared to Nomic Embed v2 MoE, TPOUR Contriever improves nDCG@5 by +7.13 (+23.5%) on explicit and +7.76 (+25.5%) on implicit queries on average.
","absKo":"비지도 dense retriever는 unlabeled document로부터 contrastive learning을 통해 semantic similarity를 학습함으로써 확장성을 제공하지만, temporal relevance를 포착하는 데 어려움을 겪는다. 즉, 의미상 관련은 있지만 시간적으로는 어긋난 document를 검색하는데, 이는 문서 집합이 여러 시기(예: 2018-2025에 걸친 관련 문서에서 \"Who is the president in 2019?''라는 질의에 답을 찾는 경우)를 포괄할 때 중요한 문제이다. 기존 방법은 명시적인 timestamp를 사용한 supervised training에 의존하는데, 이는 항상 가능하지는 않다. 우리는 새로운 training method인 Temporal Retrieval Preference Optimization (TRPO)를 통합한 TPOUR (Temporal Preference Optimization for Unsupervised Retriever)를 제안한다. TRPO는 temporal dimension에서 preference learning을 재해석하여 retriever가 시간적으로 정렬된 문서를 선호하도록 유도한다. 또한 TPOUR는 학습된 time embedding에서 interpolation을 통해 보지 못한 시간대로 일반화하여 연속적인 temporal alignment를 가능하게 한다. mixed-timestamp document collection을 사용한 temporal QA 실험에서 TPOUR는 비지도 및 지도 baseline 모두를 능가한다. Nomic Embed v2 MoE와 비교했을 때, TPOUR Contriever는 explicit query에서 평균 +7.13 (+23.5%)의 nDCG@5 향상, implicit query에서 평균 +7.76 (+25.5%)의 nDCG@5 향상을 보였다."},{"id":"60654","en":"Mining Useful General Data for Low-Resource Domain Adaptation","ko":"Low-Resource Domain Adaptation을 위한 유용한 일반 데이터 마이닝","authors":"Pingjie Wang, Hongcheng Liu, Yusheng Liao, Ziqing Fan, Yaxin Du, shuo tang, Yanfeng Wang, Yu Wang","pos":"#2005","link":"https://openreview.net/forum?id=y1AV6cX8dX","abs":"Adapting large language models (LLMs) to low-resource domains remains challenging due to the scarcity of domain-specific data. While in-domain data is limited, there exists a vast amount of general-domain data that shares similar question–answer formats and reasoning patterns with domain tasks. This observation raises an important question: can useful general-domain data be mined to improve low-resource domain adaptation? Our initial findings show that general-domain chain-of-thought data contains useful auxiliary signals for domain adaptation, even without careful selection. This observation motivates a new paradigm for domain adaptation beyond exclusive reliance on domain-specific data. To systematically identify the most beneficial general-domain samples, we propose NTK-Selector, motivated by the Neural Tangent Kernel’s ability to capture alignment in training dynamics. Since directly applying NTK to pretrained LLMs is impractical, we introduce a Jacobian-free NTK approximation and empirically demonstrate stable NTK-like behavior during fine-tuning. Extensive experiments across medical, financial, legal, and psychological domains demonstrate that NTK-Selector consistently outperforms domain-only fine-tuning and existing data selection baselines. In particular, NTK-Selector achieves gains of +8.7 and +5.1 points on Llama3-8B-Instruct and Qwen3-8B, respectively, compared to only +0.8 and +0.9 points from domain-only fine-tuning.
","absKo":"저자원 도메인에 large language models(LLMs)을 적응시키는 일은 도메인 특화 데이터의 희소성 때문에 여전히 어렵다. 도메인 내 데이터는 제한적이지만, 도메인 과제와 유사한 question-answer 형식과 reasoning pattern을 공유하는 범용 도메인 데이터는 방대하게 존재한다. 이러한 관찰은 중요한 질문을 제기한다: 저자원 도메인 적응을 개선하기 위해 유용한 범용 도메인 데이터를 발굴할 수 있는가? 우리의 초기 결과는 범용 도메인 chain-of-thought 데이터가 세심한 선택이 없더라도 도메인 적응에 유용한 보조 신호를 포함하고 있음을 보여준다. 이러한 관찰은 도메인 특화 데이터에만 의존하는 것을 넘어서는 새로운 도메인 적응 패러다임을 동기부여한다. 가장 유익한 범용 도메인 샘플을 체계적으로 식별하기 위해, 우리는 Neural Tangent Kernel이 training dynamics의 정렬을 포착하는 능력에 착안한 NTK-Selector를 제안한다. pretrained LLM에 NTK를 직접 적용하는 것은 비현실적이므로, 우리는 Jacobian-free NTK approximation을 도입하고 fine-tuning 동안 안정적인 NTK-like behavior를 실증적으로 보인다. 의료, 금융, 법률, 심리 도메인 전반에 걸친 광범위한 실험은 NTK-Selector가 도메인만을 사용한 fine-tuning 및 기존 data selection baseline을 일관되게 능가함을 보여준다. 특히 NTK-Selector는 Llama3-8B-Instruct와 Qwen3-8B에서 각각 +8.7, +5.1 point의 향상을 달성한 반면, 도메인만 사용한 fine-tuning은 각각 +0.8, +0.9 point 향상에 그쳤다.
"},{"id":"62376","en":"Learning Randomized Reductions","ko":"Randomized Reductions 학습","authors":"Ferhat Erata, Orr Paradise, Thanos Typaldos, Timos Antonopoulos, ThanhVu Nguyen, Shafi Goldwasser, Ruzica Piskac","pos":"#2104","link":"https://openreview.net/forum?id=hCAEcqig2C","abs":"Randomized self-reductions (RSRs) express $f(x)$ using $f$ evaluated at random correlated points, enabling self-correcting programs, instance-hiding protocols, and applications in complexity theory and cryptography. Yet discovering RSRs has required manual expert derivation for over 40 years, limiting their practical use. We present Bitween for automated RSR learning. First, we formalize RSR learning with sample complexity analysis under correlated sampling. Second, we develop Vanilla Bitween, which integrates multiple backends (linear regression, genetic programming, symbolic regression, and mixed-integer programming). The linear regression backend outperforms the others, discovering RSRs for 43 of 80 functions (54\\%) in RSR-Bench, our benchmark suite, including the first known reduction for sigmoid. Third, we introduce Agentic Bitween, a neuro-symbolic approach where LLM agents propose novel query functions beyond the fixed set ($x+r$, $x-r$, $x \\cdot r$, $x$, $r$) in prior work. Agentic Bitween discovers RSRs for 64 of 80 functions (80\\%), outperforming pure neural baselines in both RSR discovery and verification accuracy.","absKo":"Randomized self-reductions (RSRs)는 $f(x)$를 $f$가 무작위로 상관된 점들에서 평가된 값으로 표현하며, 이를 통해 self-correcting program, instance-hiding protocol, 그리고 complexity theory와 cryptography에서의 응용이 가능해진다. 그러나 RSR을 발견하는 일은 40년이 넘도록 전문가의 수작업 유도에 의존해 왔고, 그 결과 실제 활용이 제한되어 왔다. 우리는 자동 RSR 학습을 위한 Bitween을 제안한다. 먼저, 상관 샘플링 하에서의 sample complexity 분석과 함께 RSR learning을 정식화한다. 둘째, 여러 backend(linear regression, genetic programming, symbolic regression, mixed-integer programming)를 통합한 Vanilla Bitween을 개발한다. 그중 linear regression backend가 가장 우수하여, 우리의 benchmark suite인 RSR-Bench에서 80개 함수 중 43개(54\\%)에 대한 RSR을 발견했으며, sigmoid에 대한 최초의 알려진 reduction도 포함한다. 셋째, 우리는 이전 연구의 고정된 query function 집합($x+r$, $x-r$, $x \\cdot r$, $x$, $r$)을 넘어 새로운 query function을 제안하는 LLM agent를 사용하는 neuro-symbolic 접근인 Agentic Bitween을 도입한다. Agentic Bitween은 80개 함수 중 64개(80\\%)에 대한 RSR을 발견하여, RSR discovery와 verification accuracy 모두에서 pure neural baseline을 능가한다."},{"id":"66068","en":"Any2Any: Unified Arbitrary Modality Translation for Remote Sensing","ko":"Any2Any: 원격 탐사를 위한 통합 임의 모달리티 번역","authors":"Haoyang Chen, Jing Zhang, Hebaixu Wang, Shiqin Wang, Pohsun Huang, Jiayuan Li, Haonan Guo, Di Wang, Zheng Wang, Bo Du","pos":"#2117","link":"https://openreview.net/forum?id=7LMNIktDZy","abs":"Multi-modal remote sensing imagery provides complementary observations of the same geographic scene, yet such observations are frequently incomplete in practice. Existing cross-modal translation methods treat each modality pair as an independent task, resulting in quadratic complexity and limited generalization to unseen modality combinations. We formulate Any-to-Any translation as inference over a shared latent representation of the scene, where different modalities correspond to partial observations of the same underlying semantics. Based on this formulation, we propose Any2Any, a unified latent diffusion framework that projects heterogeneous inputs into a geometrically aligned latent space. Such structure performs anchored latent regression with a shared backbone, decoupling modality-specific representation learning from semantic mapping. Moreover, lightweight target-specific residual adapters are used to correct systematic latent mismatches without increasing inference complexity. To support learning under sparse but connected supervision, we introduce RST-1M, the first million-scale remote sensing dataset with paired observations across five sensing modalities, providing supervision anchors for any-to-any translation. Experiments across 14 translation tasks show that Any2Any consistently outperforms pairwise translation methods and exhibits strong zero-shot generalization to unseen modality pairs.
","absKo":"멀티모달 원격탐사 영상은 동일한 지리적 장면에 대한 상보적 관측을 제공하지만, 실제로는 이러한 관측이 불완전한 경우가 많다. 기존의 cross-modal translation 방법은 각 modality pair를 독립적인 task로 취급하여 quadratic complexity를 초래하고, 보지 못한 modality 조합에 대한 일반화도 제한적이다. 우리는 Any-to-Any translation을 장면의 공유 latent representation에 대한 inference로 정식화하며, 서로 다른 modality는 동일한 underlying semantics의 부분 관측에 대응한다고 본다. 이 정식화에 기반하여, 우리는 이질적인 입력을 geometrically aligned latent space로 투영하는 unified latent diffusion framework인 Any2Any를 제안한다. 이러한 구조는 shared backbone을 사용한 anchored latent regression을 수행하여, modality-specific representation learning과 semantic mapping을 분리한다. 또한, 경량의 target-specific residual adapter를 사용해 inference complexity를 증가시키지 않으면서 체계적인 latent mismatch를 보정한다. 희소하지만 연결된 supervision 하에서의 학습을 지원하기 위해, 우리는 다섯 개 sensing modality 전반에 걸친 paired observation을 제공하는 최초의 백만 규모 원격탐사 데이터셋인 RST-1M을 소개한다. 이는 any-to-any translation을 위한 supervision anchor를 제공한다. 14개의 translation task에 대한 실험은 Any2Any가 pairwise translation 방법들을 일관되게 능가하며, 보지 못한 modality pair에 대해서도 강한 zero-shot generalization을 보임을 보여준다.
"},{"id":"60538","en":"CAReDiO: Enhancing Cultural Alignment of LLM via Representativeness and Distinctiveness Guided Data Optimization","ko":"CAReDiO: Representativeness와 Distinctiveness 기반 Data Optimization을 통한 LLM의 Cultural Alignment 향상","authors":"Jing Yao, Xiaoyuan Yi, Jindong Wang, Zhicheng Dou, Xing Xie","pos":"#3208","link":"https://openreview.net/forum?id=zChdTtZmO3","abs":"As Large Language Models (LLMs) more deeply integrate into human life across various regions, aligning them with pluralistic cultures is crucial for improving user engagement and mitigating cultural conflicts. For this purpose, recently, different culture-specific corpora have been carefully curated, either synthesized or manually annotated. Nevertheless, inspired by culture theories, we identify two key challenges faced by these datasets: (1) Representativeness: These corpora fail to fully capture the target culture's core characteristics, causing insufficient cultural coverage with redundancy; (2) Distinctiveness: They struggle to distinguish the unique nuances of a given culture from shared patterns across other relevant ones, hindering precise cultural modelling. To handle these challenges, we introduce CAReDiO, a novel data optimization framework, which alternatively refines culture-sensitive questions and responses according to information-theoretic objectives in an in-context optimization manner, enhancing the cultural informativeness and distinguishability of constructed data. Extensive experiments on 15 distinct cultures demonstrate that CAReDiO can create high-quality data with richer cultural information and enable efficient alignment of small open-source or large proprietary LLMs with as few as 200 training samples, consistently outperforming previous datasets in both multi-choice and open-ended cultural benchmarks.
","absKo":"Large Language Models (LLMs)가 다양한 지역에서 인간의 삶에 더 깊이 통합됨에 따라, pluralistic culture에 맞추는 일은 user engagement를 높이고 cultural conflict를 완화하는 데 중요하다. 이를 위해 최근에는 서로 다른 culture-specific corpus가 synthesized되거나 manually annotated되어 신중하게 구축되었다. 그럼에도 culture theory에서 영감을 받아, 우리는 이러한 dataset이 직면한 두 가지 핵심 문제를 식별한다. (1) Representativeness: 이 corpus는 target culture의 핵심 특성을 충분히 포착하지 못해, redundancy가 있는 반면 cultural coverage는 부족하다. (2) Distinctiveness: 주어진 culture의 고유한 뉘앙스를 다른 관련 culture들과 공유되는 pattern으로부터 구분하는 데 어려움이 있어, 정밀한 cultural modelling을 방해한다. 이러한 문제를 해결하기 위해, 우리는 information-theoretic objective에 따라 culture-sensitive question과 response를 in-context optimization 방식으로 번갈아 정제하여, 구성된 데이터의 cultural informativeness와 distinguishability를 높이는 새로운 data optimization framework인 CAReDiO를 제안한다. 15개의 서로 다른 culture에 대한 광범위한 실험에서 CAReDiO는 더 풍부한 cultural information을 지닌 고품질 데이터를 생성할 수 있으며, 단 200개의 training sample만으로도 작은 open-source LLM 또는 큰 proprietary LLM을 효율적으로 alignment할 수 있음을 보여준다. 또한 multi-choice와 open-ended cultural benchmark 모두에서 기존 dataset보다 일관되게 우수한 성능을 보인다.
"},{"id":"64775","en":"FIRE: Multi-fidelity Regression with Distribution-conditioned In-context Learning using Tabular Foundation Models","ko":"FIRE: Tabular Foundation Model을 활용한 Distribution-conditioned In-context Learning 기반 Multi-fidelity 회귀","authors":"Rosen Yu, Nicholas Sung, Faez Ahmed","pos":"#4011","link":"https://openreview.net/forum?id=JxbxHB5d9v","abs":"Multi-fidelity (MF) regression often operates in regimes of extreme data imbalance, where the commonly-used Gaussian-process surrogates struggle with cubic scaling costs and overfit to sparse high-fidelity observations, limiting efficiency and generalization in real-world applications. We introduce FIRE, a training-free MF framework that couples tabular foundation models (TFMs) to perform zero-shot in-context Bayesian inference via a high-fidelity correction model conditioned on the low-fidelity model's posterior predictive distributions. This cross-fidelity information transfer via distributional summaries captures heteroscedastic errors, enabling robust residual learning without model retraining. Across 31 benchmark problems spanning synthetic functions and real-world tasks (e.g., DrivAerNet, LCBench), FIRE delivers a stronger performance–time trade-off than seven state-of-the-art GP-based or deep learning MF regression methods, ranking highest in accuracy and uncertainty quantification with runtime advantages. Limitations include context window constraints and dependence on the quality of the pre-trained TFM’s.
","absKo":"Multi-fidelity(MF) regression은 흔히 극심한 데이터 불균형 환경에서 수행되며, 널리 쓰이는 Gaussian-process surrogate는 cubic scaling 비용과 희소한 high-fidelity 관측에 대한 과적합 문제로 인해 실제 응용에서 효율성과 일반화 성능이 제한된다. 우리는 tabular foundation model(TFM)을 결합하여 training 없이 zero-shot in-context Bayesian inference를 수행하는 MF 프레임워크 FIRE를 제안한다. 이 방법은 low-fidelity model의 posterior predictive distribution에 조건화된 high-fidelity correction model을 사용한다. 분포적 요약을 통한 cross-fidelity 정보 전달은 heteroscedastic error를 포착하여, 모델 재학습 없이도 robust한 residual learning을 가능하게 한다. 합성 함수와 실제 과제(예: DrivAerNet, LCBench)를 아우르는 31개 benchmark 문제에서, FIRE는 일곱 개의 state-of-the-art GP 기반 또는 deep learning MF regression 방법보다 더 우수한 성능-시간 trade-off를 제공하며, 실행 시간 이점을 유지하면서 정확도와 uncertainty quantification 모두에서 가장 높은 순위를 차지한다. 한계로는 context window 제약과 pre-trained TFM의 품질에 대한 의존성이 있다.
"},{"id":"65178","en":"The Label Horizon Paradox: Rethinking Supervision Targets in Financial Forecasting","ko":"레이블 지평선 역설: 금융 예측에서 감독 목표 재고하기","authors":"Chen-Hui Song, Shuoling Liu, Liyuan Chen","pos":"#713","link":"https://openreview.net/forum?id=G43CIfmmxh","abs":"While deep learning has revolutionized financial forecasting through sophisticated architectures, the design of the supervision signal itself is rarely scrutinized. We challenge the canonical assumption that training labels must strictly mirror inference targets, uncovering the Label Horizon Paradox: the optimal supervision signal often deviates from the prediction goal, shifting across intermediate horizons governed by market dynamics. We theoretically ground this phenomenon in a dynamic signal-noise trade-off, demonstrating that generalization hinges on the competition between marginal signal realization and noise accumulation. To operationalize this insight, we propose a bi-level optimization framework that autonomously identifies the optimal proxy label within a single training run. Extensive experiments on large-scale financial datasets demonstrate consistent improvements over conventional baselines, thereby opening new avenues for label-centric research in financial forecasting.
","absKo":"deep learning은 정교한 architecture를 통해 금융 예측을 혁신했지만, supervision signal 자체의 설계는 거의 검토되지 않았다. 우리는 training label이 반드시 inference target을 엄격히 반영해야 한다는 정설에 도전하며, Label Horizon Paradox를 발견한다. 최적의 supervision signal은 종종 prediction goal과 어긋나며, market dynamics에 의해 지배되는 중간 horizon들 사이에서 이동한다. 우리는 이 현상을 동적 signal-noise trade-off로 이론적으로 정립하고, generalization이 marginal signal realization과 noise accumulation의 경쟁에 달려 있음을 보인다. 이 통찰을 실제로 활용하기 위해, 단일 training run에서 최적의 proxy label을 자율적으로 식별하는 bi-level optimization framework를 제안한다. 대규모 금융 데이터셋에서 수행한 광범위한 실험은 기존 baseline 대비 일관된 성능 향상을 보여 주며, 금융 예측에서 label-centric 연구를 위한 새로운 방향을 연다.
"},{"id":"65404","en":"MetaStreet: Semi-Supervised Multimodal Learning for Street-Level Socioeconomic Prediction","ko":"MetaStreet: 거리 수준 사회경제 예측을 위한 준지도 멀티모달 학습","authors":"Meng Chen, Junjie Yang, Zechen Li, Kai Zhao, Hongjun Dai, Weiming Huang","pos":"#716","link":"https://openreview.net/forum?id=E0C3iReFSD","abs":"Predicting street-level socioeconomic indicators from street view imagery is fundamental to urban planning. Existing methods typically extract visual features via pretrained encoders and propagate information through graph-based learning, but they fail to fully exploit the structured, task-relevant, and label-efficient learning signals inherent in urban scenes. We propose MetaStreet, a semi-supervised multimodal framework with three components: (1) a semantic-spatial visual encoder that jointly models object co-occurrence and spatial adjacency at the semantic category level, (2) a task-aware textual encoder that steers LLMs toward prediction-relevant features via task-specific prompts, and (3) a geography-aware graph contrastive learning module that leverages spatial autocorrelation to extend contrastive supervision to unlabeled streets, enabling them to actively participate in representation learning. Experiments on two cities across three socioeconomic prediction tasks demonstrate that MetaStreet consistently outperforms state-of-the-art methods.
","absKo":"거리 수준의 사회경제적 지표를 street view imagery로부터 예측하는 것은 도시 계획의 기초이다. 기존 방법들은 대개 pretrained encoder를 통해 visual feature를 추출하고 graph-based learning으로 정보를 전파하지만, urban scene에 내재된 구조적이고 task-relevant하며 label-efficient한 학습 신호를 충분히 활용하지 못한다. 우리는 세 가지 구성요소로 이루어진 semi-supervised multimodal framework인 MetaStreet를 제안한다: (1) semantic category level에서 object co-occurrence와 spatial adjacency를 공동으로 모델링하는 semantic-spatial visual encoder, (2) task-specific prompt를 통해 LLM을 prediction-relevant feature 쪽으로 유도하는 task-aware textual encoder, (3) spatial autocorrelation을 활용해 contrastive supervision을 unlabeled street까지 확장하고 이들이 representation learning에 적극적으로 참여하도록 하는 geography-aware graph contrastive learning module이다. 세 도시에서 세 가지 사회경제적 예측 과제에 대해 수행한 실험은 MetaStreet가 state-of-the-art method를 일관되게 능가함을 보여준다.
"},{"id":"62218","en":"Geometry-Guided Modeling of Foundation Features Enables Generalizable Object Shape Deformation Learning","ko":"기하학 기반 Foundation Feature 모델링으로 범용 객체 형태 변형 학습 가능","authors":"YIYAO MA, Kai Chen, Zhongxiang Zhou, Zhuheng Song, Dongsheng Xie, Zelong Tan, Rong Xiong, DOU QI","pos":"#810","link":"https://openreview.net/forum?id=iae4cvYkfU","abs":"Monocular 3D shape recovery is fundamental to geometric understanding, yet achieving robust generalization across arbitrary viewpoints and unseen object categories remains a significant challenge. In this paper, we present a generalizable deformation learning framework that reconstructs 3D objects by explicitly deforming a category-level shape template to match the target observation. To address complex shape variations between the template and the target, we introduce a geometry-guided feature modeling mechanism. This process first enriches foundation features with template topology to yield a geometry-aware representation, which is then explicitly correlated with the target observation to guide precise deformation. Furthermore, to bridge the disparity between the fixed template and arbitrary target views, we propose a view-adaptive feature aggregation module. This module leverages multi-view template features and their corresponding camera poses to enrich the canonical template representation, ensuring robust feature alignment regardless of the target's perspective. Extensive experiments demonstrate that our approach significantly outperforms state-of-the-art methods in handling large shape variations and diverse viewpoints, exhibiting strong generalization to novel categories and effectively supporting downstream real-world dexterous robotic manipulation tasks.
","absKo":"단안 3D shape recovery는 기하학적 이해의 핵심이지만, 임의의 viewpoint와 보지 못한 object category 전반에 걸친 강건한 일반화를 달성하는 것은 여전히 큰 도전이다. 본 논문에서는 category-level shape template를 목표 관측에 맞게 명시적으로 deform하여 3D object를 재구성하는 generalizable deformation learning framework를 제시한다. template와 target 사이의 복잡한 shape 변이를 다루기 위해, 우리는 geometry-guided feature modeling mechanism을 도입한다. 이 과정은 먼저 foundation feature를 template topology로 풍부하게 만들어 geometry-aware representation을 얻고, 이후 이를 target observation과 명시적으로 상관시켜 정밀한 deformation을 유도한다. 또한 고정된 template와 임의의 target view 사이의 차이를 메우기 위해, 우리는 view-adaptive feature aggregation module을 제안한다. 이 모듈은 multi-view template feature와 그에 대응하는 camera pose를 활용하여 canonical template representation을 풍부하게 만들고, target의 관점과 무관하게 강건한 feature alignment를 보장한다. 광범위한 실험은 우리의 접근법이 큰 shape 변이와 다양한 viewpoint를 처리하는 데 있어 state-of-the-art 방법을 크게 능가하며, 새로운 category에 강한 일반화 성능을 보이고, downstream real-world dexterous robotic manipulation task를 효과적으로 지원함을 입증한다.
"},{"id":"63693","en":"Adaptive Group Elicitation via Multi-Turn LLM Interactions","ko":"다중 턴 LLM 상호작용을 통한 적응형 그룹 유도","authors":"Ruomeng Ding, Tianwei Gao, Tom Zollo, Eitan Bachmat, Richard Zemel, Xinyu Yang","pos":"#814","link":"https://openreview.net/forum?id=UaCVrZseUV","abs":"Eliciting information to reduce uncertainty about latent group-level properties is a central problem in collective assessment, preference modeling, and opinion aggregation, and is especially important in survey-based studies. While natural language interactions provide a flexible interface, existing methods typically rely on fixed questionnaires and static respondent sets, and do not adapt to partial or missing responses across rounds. To address this gap, we study adaptive information elicitation through multi-turn interactions between a large language model and a group of individuals, where both queries and respondents are adaptively selected to infer latent group properties. We propose a theoretically grounded framework that, at each round, jointly selects a query and a subset of respondents based on previously observed responses to efficiently reduce uncertainty about a target latent quantity (e.g., group-level political inclination). Motivated by practical survey constraints, such as limited questions and costly participation, our strategy maximizes information gain under a fixed budget. To handle missing and incomplete responses, we combine graph neural networks for aggregating/imputing partial group information with an information-theoretic criterion that guides per-round selection. Across three real-world opinion datasets, we achieve consistent improvements in population-level response prediction under constrained budgets, including over a 12% relative gain on CES at a 10% respondent budget.
","absKo":"잠재적인 group-level property에 대한 불확실성을 줄이기 위해 정보를 이끌어내는 문제는 collective assessment, preference modeling, opinion aggregation의 핵심 문제이며, 특히 survey-based study에서 중요하다. 자연어 상호작용은 유연한 interface를 제공하지만, 기존 방법은 대체로 고정된 questionnaire와 정적인 respondent set에 의존하며, round를 거치며 발생하는 부분적이거나 누락된 응답에 적응하지 못한다. 이 공백을 메우기 위해 우리는 large language model과 사람 집단 사이의 multi-turn interaction을 통한 adaptive information elicitation을 연구한다. 여기서 query와 respondent 모두를 적응적으로 선택하여 latent group property를 추론한다. 우리는 각 round에서 이전에 관측된 응답을 바탕으로 query와 respondent의 subset을 jointly 선택하여, target latent quantity(예: group-level political inclination)에 대한 불확실성을 효율적으로 줄이는 이론적 기반의 프레임워크를 제안한다. 제한된 질문 수와 높은 참여 비용 같은 실제 survey 제약에 동기를 얻어, 우리의 전략은 고정된 budget 하에서 information gain을 최대화한다. 누락되거나 불완전한 응답을 처리하기 위해, 부분적인 group information을 집계하고 impute하는 graph neural network와 round별 선택을 유도하는 information-theoretic criterion을 결합한다. 세 개의 실제 opinion dataset 전반에서 우리는 제약된 budget 하의 population-level response prediction에서 일관된 향상을 달성했으며, 10% respondent budget에서 CES에 대해 12%를 넘는 relative gain을 포함한다.
"},{"id":"63462","en":"Building Social World Model with Large Language Models","ko":"대규모 언어 모델을 활용한 사회적 월드 모델 구축","authors":"Haofei Yu, Yining Zhao, Guanyu Lin, Jiaxuan You","pos":"#815","link":"https://openreview.net/forum?id=Wxqr2fkZmX","abs":"Understanding and predicting how social beliefs evolve in response to events—from policy changes to scientific breakthroughs—remains a fundamental challenge in social science. Given LLMs’ commonsense knowledge and social intelligence, we ask: Can LLMs model the dynamics of social beliefs following social events? In this work, we introduce the concept of the Social World Model (SWM), a general framework designed to capture how social beliefs evolve in response to major events. SWM learns state-transition functions for social beliefs by mining temporal patterns in social data and optimizing evidence lower bound, without the need for explicit human annotations that link events to belief shifts or expensive census data. To evaluate SWM, we introduce a benchmark, SWM-Bench, derived from real-world prediction market data from both Kalshi and Polymarket. SWM-Bench includes over 10k datapoints for social belief prediction tasks spanning diverse domains such as politics, sports, cryptocurrency, and elections. Our experimental results show that SWM significantly outperforms time-series foundation models, achieving RMSE reductions of 8.4% and 11.2% on Polymarket and Kalshi respectively, while offering interpretable insights into the underlying mechanisms of social belief dynamics.
","absKo":"정책 변화에서 과학적 돌파구에 이르기까지, 사건에 반응하여 사회적 신념이 어떻게 진화하는지를 이해하고 예측하는 것은 사회과학의 근본적인 과제이다. LLM의 상식적 지식과 사회적 지능을 고려할 때, 우리는 다음과 같이 묻는다: LLM은 사회적 사건 이후 사회적 신념의 동역학을 모델링할 수 있는가? 본 연구에서는 사회적 사건에 대응해 사회적 신념이 어떻게 진화하는지를 포착하도록 설계된 일반적 framework인 Social World Model(SWM) 개념을 소개한다. SWM은 사건과 신념 변화 사이를 연결하는 명시적 인간 주석이나 비용이 큰 census data 없이, 사회 데이터의 temporal pattern을 분석하고 evidence lower bound를 최적화함으로써 사회적 신념에 대한 state-transition function을 학습한다. SWM을 평가하기 위해 우리는 Kalshi와 Polymarket의 실제 prediction market data로부터 도출한 benchmark인 SWM-Bench를 소개한다. SWM-Bench는 정치, 스포츠, cryptocurrency, 선거 등 다양한 영역을 아우르는 social belief prediction task를 위해 1만 개가 넘는 datapoint를 포함한다. 우리의 실험 결과는 SWM이 time-series foundation model을 크게 능가함을 보여주며, Polymarket과 Kalshi에서 각각 RMSE를 8.4%와 11.2% 감소시켰고, 사회적 신념 동역학의 기저 메커니즘에 대한 해석 가능한 통찰도 제공한다.
"},{"id":"65502","en":"Learning the ESG Geometry with Domain Aware Language Models","ko":"도메인 인지 언어 모델로 ESG 기하 구조 학습하기","authors":"Kunal Pradeep Pimparkhede, Chirayu Chaurasia, Jatin Roy, Mahesh Mohan Mohanachandran Radhamany","pos":"#816","link":"https://openreview.net/forum?id=CydNEMsNM6","abs":"Responsible investing aims to generate positive impact across Environment (E), Society (S), and Governance (G), and rating companies along these dimensions is now widespread, making ESG scores highly popular. Allocating retail capital with sustainability in mind could be transformational, yet it remains unclear how individual investors can do so in practice. Current ESG solutions cannot model high-dimensional, multi-modal time series capturing the joint evolution of ESG risks, financial returns, news, and sentiment, even though this domain requires jointly reasoning over distinct numerical signals where both numerical proximity and semantic type must be preserved. To bridge this gap, we introduce a novel domain-aware $\\textbf{representation learning framework}$ that learns geometry-preserving representations for heterogeneous time series using value-aware tokens with block-wise $\\textbf{orthogonal embeddings}$. To capture trajectory-level structure, we introduce $\\textbf{FACET}$ tokens and train the model using a geometry-preserving loss. The resulting model jointly learns to forecast future values and to organize entities in a representation space that reflects their temporal evolution. Trained on ESG, returns, news, and sentiment, the domain-aware LLM learns a representation space that enables accurate ESG forecasting, trajectory-based grouping, and latent-space search for superior asset selection and downstream application like portfolio rebalancing","absKo":"Responsible investing은 Environment (E), Society (S), Governance (G) 전반에 걸쳐 긍정적 영향을 창출하는 것을 목표로 하며, 이러한 차원에서 기업을 평가하는 일은 이제 널리 퍼져 ESG score가 매우 인기 있게 되었다. 지속가능성을 고려해 개인 투자 자본을 배분하는 일은 혁신적 변화를 가져올 수 있지만, 실제로 개인 투자자가 이를 어떻게 수행할 수 있는지는 여전히 불분명하다. 현재의 ESG 솔루션은 ESG 위험, 금융 수익률, 뉴스, sentiment의 결합된 진화를 포착하는 고차원 multi-modal time series를 모델링하지 못한다. 이는 이 분야가 수치적 근접성과 의미적 유형 모두를 보존해야 하는 서로 다른 numerical signal을 함께 추론해야 하기 때문이다. 이러한 간극을 메우기 위해, 우리는 value-aware token과 block-wise \\textbf{orthogonal embedding}을 사용하여 heterogeneous time series에 대해 geometry-preserving representation을 학습하는 새로운 domain-aware $\\textbf{representation learning framework}$를 도입한다. trajectory-level 구조를 포착하기 위해 $\\textbf{FACET}$ token을 도입하고 geometry-preserving loss로 모델을 학습한다. 그 결과 모델은 미래 값을 예측하는 동시에 시간적 진화를 반영하는 representation space에서 entity를 조직하는 법을 공동으로 학습한다. ESG, returns, news, sentiment로 학습된 domain-aware LLM은 정확한 ESG forecasting, trajectory 기반 grouping, 그리고 우수한 asset selection 및 portfolio rebalancing 같은 downstream application을 위한 latent-space search를 가능하게 하는 representation space를 학습한다"},{"id":"66526","en":"INFER: Learning Implicit Neural Frequency Response Fields for Confined Acoustic Environments","ko":"INFER: 밀폐된 음향 환경을 위한 암묵적 신경 주파수 응답 필드 학습","authors":"Harshvardhan Takawale, Nirupam Roy, C. Phillip Brown","pos":"#914","link":"https://openreview.net/forum?id=2tsdSKz3Yi","abs":"Neural acoustic fields often model time-domain impulse responses, which struggle to capture the frequency-selective wave behaviors that dominate confined, resonant environments. To address this, we propose INFER (Implicit Neural Frequency Response fields), a framework that directly learns continuous, complex-valued frequency response fields. Unlike prior time-domain methods, our frequency-first approach enables three key innovations: (1) end-to-end learning of frequency-specific attenuation and phase delay in 3D space; (2) a physics-based Kramers–Kronig consistency constraint that causally regularizes attenuation and phase delay; and (3) perceptual and hardware-aware spectral supervision that prioritizes critical auditory bands. We evaluate INFER across diverse settings, ranging from standard room-scale benchmarks (MeshRIR, RAF) to challenging, highly reverberant environments like real car cabins. Our approach significantly outperforms time- and hybrid-domain baselines, reducing average magnitude and phase reconstruction errors by over 39\\% and 51\\%, respectively, demonstrating state-of-the-art accuracy in modeling complex acoustic spaces.
","absKo":"Neural acoustic field는 종종 시간 영역 impulse response를 모델링하는데, 이는 밀폐되고 공진이 지배적인 환경에서 우세한 frequency-selective wave behavior를 포착하는 데 어려움이 있다. 이를 해결하기 위해 우리는 INFER(Implicit Neural Frequency Response fields)를 제안한다. 이는 continuous한 complex-valued frequency response field를 직접 학습하는 framework이다. 이전의 time-domain 방법과 달리, 우리의 frequency-first 접근은 세 가지 핵심 혁신을 가능하게 한다. (1) 3D 공간에서 frequency-specific attenuation과 phase delay를 end-to-end로 학습한다. (2) physics-based Kramers–Kronig consistency constraint를 통해 attenuation과 phase delay를 인과적으로 regularize한다. (3) perceptual 및 hardware-aware spectral supervision을 통해 중요한 auditory band를 우선시한다. 우리는 standard room-scale benchmark인 MeshRIR, RAF부터 실제 car cabin과 같은 도전적이고 매우 reverberant한 환경에 이르기까지 다양한 설정에서 INFER를 평가한다. 우리의 접근법은 time-domain 및 hybrid-domain baseline보다 현저히 뛰어난 성능을 보이며, average magnitude와 phase reconstruction error를 각각 39\\%와 51\\% 이상 줄여 복잡한 acoustic space를 모델링하는 데서 state-of-the-art 정확도를 입증한다.
"},{"id":"62855","en":"scCBGM: Single-Cell Editing via Concept Bottlenecks","ko":"scCBGM: 개념 병목(Concept Bottleneck)을 통한 Single-Cell 편집","authors":"Alma Andersson, Aya Ismail, Edward De Brouwer, Doron Haviv, Tommaso Biancalani, Kyunghyun Cho, Gabriele Scalia, Aicha BenTaieb, Hector Corrada Bravo","pos":"#916","link":"https://openreview.net/forum?id=cVDeFGyb5z","abs":"Understanding cellular phenotypes and how they respond to perturbations is critical for disease biology and therapeutic design. Single-cell RNA sequencing enables characterization at cellular resolution, yet the combinatorial space of conditions makes exhaustive experimental mapping infeasible. We introduce single-cell Concept Bottleneck Generative Models (scCBGM), a framework for interpretable and precise counterfactual editing of individual cells. scCBGM adapts concept bottleneck architectures for single-cell data through decoder skip connections and a cross-covariance penalty that promotes disentanglement without dimensional constraints. We extend the framework to flow matching models, enabling concept-guided editing in both encoding-decoding and generation regimes. To enable rigorous evaluation, we develop a synthetic benchmark with ground-truth counterfactuals. Across multiple real datasets, scCBGM demonstrates superior accuracy in zero-shot generalization and cell-level counterfactual prediction compared to state-of-the-art methods, while providing interpretable control over biological concepts.
","absKo":"세포 phenotype과 perturbation에 대한 반응을 이해하는 것은 질병 생물학과 치료 설계에 매우 중요하다. single-cell RNA sequencing은 세포 해상도의 특성화를 가능하게 하지만, 조건의 조합적 공간이 너무 커서 모든 실험적 mapping을 수행하는 것은 불가능하다. 우리는 개별 세포에 대한 해석 가능하고 정밀한 counterfactual editing을 위한 framework인 single-cell Concept Bottleneck Generative Models(scCBGM)을 소개한다. scCBGM은 decoder skip connection과 차원 제약 없이 disentanglement를 촉진하는 cross-covariance penalty를 통해 concept bottleneck architecture를 single-cell data에 맞게 적응시킨다. 우리는 이 framework를 flow matching model로 확장하여 encoding-decoding regime과 generation regime 모두에서 concept-guided editing을 가능하게 한다. 엄밀한 평가를 위해 ground-truth counterfactual을 갖는 synthetic benchmark도 개발했다. 여러 실제 데이터셋에서 scCBGM은 최첨단 방법들과 비교해 zero-shot generalization과 cell-level counterfactual prediction에서 더 우수한 정확도를 보이면서, 생물학적 concept에 대한 해석 가능한 제어를 제공한다.
"},{"id":"64839","en":"Teaching Molecular Dynamics to a Non-Autoregressive Ionic Transport Predictor","ko":"Non-Autoregressive 이온 수송 예측기에 분자 동역학 가르치기","authors":"Jiyeon Kim, Byungju Lee, Won-Yong Shin","pos":"#1616","link":"https://openreview.net/forum?id=JJ3KlnhGJJ","abs":"Unlike most static material properties widely studied in the machine learning literature, ionic transport properties are inherently dynamic, making their fast and accurate prediction from static atomic structures challenging. The current standard approach, molecular dynamics (MD) simulations, suffers from prohibitively high computational cost. Recent autoregressive learning-based MD acceleration methods requiring sequential inference remain slow and prone to error accumulation; in contrast, existing non-autoregressive material property prediction models are less accurate because they fail to exploit dynamics. Moreover, existing methods typically benefit from datasets either with or without atomic trajectories, but not both. To overcome these limitations, we propose a non-autoregressive learning framework based on modality reduction, which treats atomic trajectories as an auxiliary modality during training but does not require them at inference. This enables a predictor to learn dynamics without requiring sequential inference and to benefit from both types of datasets. As a result, our framework achieves over 200 times speedup compared to autoregressive models on the dataset with atomic trajectories while substantially reducing prediction error relative to non-autoregressive benchmarks across both types of datasets. Our code is available at https://anonymous.4open.science/r/2026.
","absKo":"machine learning 문헌에서 널리 연구된 대부분의 정적 material property와 달리, ionic transport property는 본질적으로 동적이므로, 정적 atomic structure로부터 이를 빠르고 정확하게 예측하는 것은 어렵다. 현재의 표준 접근법인 molecular dynamics (MD) simulation은 지나치게 높은 계산 비용을 수반한다. 최근의 autoregressive learning-based MD acceleration method는 sequential inference를 필요로 하므로 여전히 느리고 error accumulation에 취약하다. 반면, 기존의 non-autoregressive material property prediction model은 dynamics를 활용하지 못해 정확도가 떨어진다. 또한 기존 방법들은 보통 atomic trajectory가 있는 데이터셋 또는 없는 데이터셋 중 하나에서만 이점을 얻지만, 둘 다에서 이점을 얻지는 못한다. 이러한 한계를 극복하기 위해 우리는 modality reduction에 기반한 non-autoregressive learning framework를 제안한다. 이 프레임워크는 학습 시 atomic trajectory를 auxiliary modality로 취급하지만 추론 시에는 이를 요구하지 않는다. 이를 통해 predictor는 sequential inference 없이 dynamics를 학습할 수 있고, 두 종류의 데이터셋 모두의 이점을 누릴 수 있다. 그 결과, 우리 프레임워크는 atomic trajectory가 포함된 데이터셋에서 autoregressive model 대비 200배 이상의 속도 향상을 달성하면서, 두 종류의 데이터셋 전반에서 non-autoregressive benchmark 대비 예측 오차를 크게 줄인다. code는 https://anonymous.4open.science/r/2026 에서 제공된다.
"},{"id":"61270","en":"Controllable Molecule Generation via Sparse Representation Editing: An Interpretability-Driven Perspective","ko":"희소 표현 편집을 통한 제어 가능한 분자 생성: 해석 가능성 기반 관점","authors":"Zhuoran Li, Xu Sun, Wanyu LIN, Chang Chen","pos":"#1614","link":"https://openreview.net/forum?id=ryO12fv5bJ","abs":"Controllable molecule generation is crucial for diverse scientific applications, such as drug discovery and materials design. While large language models (LLMs) show great promise, their dense and entangled representations impede precise control over the generation of molecules with bespoke substructures or properties. To address this, we propose Sparse Representation Editing (SpaRE), an interpretability-driven framework for fine-grained and precise control in LLM-based molecule generation. The crux of SpaRE is to learn an overcomplete sparse feature space that disentangles LLM representations into a compact set of latent features corresponding to chemically meaningful concepts. Within this space, we can directly manipulate these concept-aligned latent features to achieve (1) local control, by generating target atoms and functional groups at specified positions; and (2) global control, by customizing the overall structural and physicochemical properties within defined ranges. In this way, our framework advances interpretability from post-hoc analysis to actionable generative control. Experiments show that SpaRE can generate chemically desirable molecules under complex constraints in real-world scenarios, while offering mechanistic insights for quantitative structure–property analysis. The code and demo are available at https://github.com/SpaRE-paper/SpaRE.
","absKo":"Controllable molecule generation은 drug discovery와 materials design 같은 다양한 과학 응용에서 매우 중요하다. Large language models (LLMs)는 큰 가능성을 보이지만, dense하고 entangled된 표현은 맞춤형 substructure나 property를 갖는 molecule을 정밀하게 제어하는 것을 어렵게 만든다. 이를 해결하기 위해 우리는 LLM-based molecule generation에서 세밀하고 정밀한 제어를 위한 interpretability-driven framework인 Sparse Representation Editing (SpaRE)을 제안한다. SpaRE의 핵심은 LLM representation을 화학적으로 의미 있는 개념에 대응하는 compact한 latent feature 집합으로 disentangle하는 overcomplete sparse feature space를 학습하는 것이다. 이 공간 내에서 우리는 concept-aligned latent feature를 직접 조작하여 (1) local control, 즉 지정된 위치에 target atom과 functional group을 생성하는 것과, (2) global control, 즉 정의된 범위 내에서 전체 구조 및 physicochemical property를 맞춤화하는 것을 달성할 수 있다. 이렇게 함으로써 우리의 framework는 interpretability를 사후 분석에서 실행 가능한 generative control로 확장한다. 실험은 SpaRE가 실제 시나리오의 복잡한 제약 하에서 화학적으로 바람직한 molecule을 생성할 수 있음을 보여주며, quantitative structure–property analysis를 위한 기계적 통찰도 제공한다. 코드와 데모는 https://github.com/SpaRE-paper/SpaRE 에서 확인할 수 있다.
"},{"id":"65747","en":"AVTrack: Audio-Visual Speaker Tracking in Complex Scenes","ko":"AVTrack: 복잡한 장면에서의 오디오-비주얼 화자 추적","authors":"Yaoting Wang, Yun Zhou, Zipei Zhang, Henghui Ding","pos":"#2712","link":"https://openreview.net/forum?id=Aa4DlW8PV2","abs":"Audio-visual speaker tracking aims to localize and track active speakers by leveraging auditory and visual cues, enabling fine-grained, human-centric scene understanding. This capability is essential for real-world applications such as intelligent video editing, surveillance, and human–computer interaction. However, existing datasets are largely limited to simple or homogeneous audio-visual scenes with coarse annotations. Such oversimplified settings bias evaluation toward static audio–visual co-occurrence, rather than rigorously assessing robust spatiotemporal modeling and cross-modal reasoning in complex, dynamic scenes. To address these limitations, we introduce \\textbf{AVTrack}, a human-centric audio-visual instance segmentation (AVIS) dataset designed for dynamic real-world scenarios. AVTrack features diverse and challenging conditions, including camera motion, visual occlusions, and position changes. Evaluations of representative AVIS methods on AVTrack reveal substantial performance degradation, establishing AVTrack as a challenging benchmark for robust human-centric audio-visual scene understanding in complex environments. We further provide a simple yet effective baseline to facilitate future research.
","absKo":"Audio-visual speaker tracking은 auditory 및 visual cue를 활용하여 활성 화자를 localize하고 track함으로써, 정교하고 human-centric한 scene understanding을 가능하게 한다. 이러한 능력은 intelligent video editing, surveillance, human–computer interaction과 같은 실제 응용에 필수적이다. 그러나 기존 dataset은 대체로 단순하거나 동질적인 audio-visual scene과 거친 annotation에 국한되어 있다. 이러한 과도하게 단순화된 설정은 복잡하고 역동적인 scene에서 강건한 spatiotemporal modeling과 cross-modal reasoning을 엄밀히 평가하기보다, 정적인 audio-visual co-occurrence에 평가를 편향시킨다. 이러한 한계를 해결하기 위해, 우리는 동적인 실제 시나리오를 위해 설계된 human-centric audio-visual instance segmentation (AVIS) dataset인 \\textbf{AVTrack}을 소개한다. AVTrack은 camera motion, visual occlusion, position change를 포함한 다양하고 까다로운 조건을 특징으로 한다. AVTrack에서 대표적인 AVIS method들을 평가한 결과, 성능이 크게 저하되는 것으로 나타났으며, 이는 복잡한 환경에서 robust human-centric audio-visual scene understanding을 위한 도전적인 benchmark로서 AVTrack의 위상을 확립한다. 또한 향후 연구를 촉진하기 위해 간단하지만 효과적인 baseline도 제공한다.
"},{"id":"61490","en":"Adaptive Visual Autoregressive Acceleration via Dual-Linkage Entropy Analysis","ko":"Dual-Linkage Entropy Analysis를 통한 적응형 Visual Autoregressive Acceleration","authors":"Yu Zhang, Jingyi Liu, Feng Liu, Duoqian Miao, Qi Zhang, Kexue Fu, Changwei Wang, Longbing Cao","pos":"#3912","link":"https://openreview.net/forum?id=pea0kmkrtm","abs":"Visual AutoRegressive modeling (VAR) suffers from substantial computational cost due to the massive token count involved. Failing to account for the continuous evolution of modeling dynamics, existing VAR token reduction methods face three key limitations: heuristic stage partition, non-adaptive schedules, and limited acceleration scope, thereby leaving significant acceleration potential untapped. Since entropy variation intrinsically reflects the transition of predictive uncertainty, it offers a principled measure to capture modeling dynamics evolution. Therefore, we propose NOVA, a training-free token reduction acceleration framework for VAR models via entropy analysis. NOVA adaptively determines the acceleration activation scale during inference by online identifying the inflection point of scale entropy growth. Through scale-linkage and layer-linkage ratio adjustment, NOVA dynamically computes distinct token reduction ratios for each scale and layer, pruning low-entropy tokens while reusing the cache derived from the residuals at the prior scale to accelerate inference and maintain generation quality. Extensive experiments and analyses validate NOVA as a simple yet effective training-free acceleration framework. Code is available.
","absKo":"Visual AutoRegressive modeling(VAR)은 막대한 token 수로 인해 상당한 계산 비용을 겪는다. modeling dynamics의 연속적인 진화를 반영하지 못하는 탓에, 기존 VAR token reduction 방법은 heuristic한 stage partition, 비적응적 schedule, 제한된 acceleration scope라는 세 가지 핵심 한계에 직면하며, 그 결과 상당한 가속 잠재력이 미활용 상태로 남아 있다. entropy 변화는 본질적으로 predictive uncertainty의 전이를 반영하므로, modeling dynamics의 진화를 포착하는 원리적인 척도를 제공한다. 따라서 우리는 entropy analysis를 통해 VAR model의 token reduction 가속을 위한 training-free framework인 NOVA를 제안한다. NOVA는 scale entropy growth의 inflection point를 온라인으로 식별함으로써 추론 중 acceleration activation scale을 적응적으로 결정한다. scale-linkage와 layer-linkage ratio 조정을 통해 NOVA는 각 scale과 layer마다 서로 다른 token reduction ratio를 동적으로 계산하고, low-entropy token을 pruning하는 동시에 이전 scale의 residual에서 도출된 cache를 재사용하여 추론을 가속하고 생성 품질을 유지한다. 광범위한 실험과 분석은 NOVA가 단순하면서도 효과적인 training-free acceleration framework임을 검증한다. Code는 제공된다.
"},{"id":"63143","en":"Immuno-VLM: Immunizing Large Vision-Language Models via Generative Semantic Antibodies for Open-World Trustworthiness","ko":"Immuno-VLM: 개방형 세계 신뢰성을 위한 생성적 시맨틱 항체를 통한 대규모 Vision-Language 모델 면역화","authors":"Xiang Fang, Wanlong Fang, Wei Ji","pos":"#2116","link":"https://openreview.net/forum?id=ZeZi4SerW0","abs":"Large Vision-Language Models have achieved unprecedented success in zero-shot recognition by aligning visual features with broad semantic concepts. However, this semantic abstraction creates a critical vulnerability in open-world deployment: the \"Hubris of Semantics\", where models force-fit unknown anomalies into known categories with high confidence due to the lack of explicit negative knowledge. To address this \\textit{Open-World Trustworthiness Paradox}, we propose \\textbf{Immuno-VLM}, a bio-inspired framework that adapts the biological principle of \\textbf{Immunological Negative Selection} to high-dimensional latent spaces. Departing from traditional Open-Set Recognition methods that rely on passive density estimation or inefficient pixel-space outlier generation, Immuno-VLM leverages the generative reasoning of Large Language Models to actively hallucinate ``Semantic Antibodies''—textual descriptions of near-distribution outliers (e.g., look-alikes, contextual anomalies) that effectively bound the decision space of known classes. Extensive experiments on ImageNet-1K and four challenging OOD benchmarks reveal that Immuno-VLM establishes a new state-of-the-art.
","absKo":"Large Vision-Language Models는 시각적 feature를 넓은 semantic concept과 정렬함으로써 zero-shot recognition에서 전례 없는 성공을 거두었다. 그러나 이러한 semantic abstraction은 open-world deployment에서 심각한 취약성을 만든다. 즉, 명시적인 negative knowledge의 부재로 인해 모델이 알 수 없는 anomaly를 높은 confidence로 알려진 category에 억지로 맞춰 넣는 \"Hubris of Semantics\"이다. 이 \\textit{Open-World Trustworthiness Paradox}를 해결하기 위해, 우리는 생물학의 \\textbf{Immunological Negative Selection} 원리를 고차원 latent space에 적용한 bio-inspired framework인 \\textbf{Immuno-VLM}을 제안한다. passive density estimation이나 비효율적인 pixel-space outlier generation에 의존하는 전통적 Open-Set Recognition method에서 벗어나, Immuno-VLM은 Large Language Models의 generative reasoning을 활용해 ``Semantic Antibodies''를 능동적으로 환각한다. 이는 near-distribution outlier(예: look-alike, contextual anomaly)의 textual description으로, 알려진 class의 decision space를 효과적으로 경계한다. ImageNet-1K와 네 개의 challenging OOD benchmark에서의 광범위한 실험은 Immuno-VLM이 새로운 state-of-the-art를 확립함을 보여 준다.
"},{"id":"66192","en":"TextAtlas5M: A Large-Scale Dataset for Long Text Image Generation","ko":"TextAtlas5M: 긴 텍스트 이미지 생성을 위한 대규모 데이터셋","authors":"Dongxing Mao, Alex Jinpeng Wang, weiming Han, Jiawei Zhang, Zhuobai Dong, Linjie Li, Lin Yiqi, Zhengyuan Yang, Libo Qin, Fuwei Zhang, Lijuan Wang, Min Li","pos":"#1104","link":"https://openreview.net/forum?id=5vufrrbi4N","abs":"Text-conditioned image generation has made rapid progress, yet rendering images with long-form text remains challenging due to the limitations of existing datasets, which predominantly focus on short and simple text. We introduce TextAtlas5M, a large-scale dataset designed to evaluate long-text rendering, where “long text” encompasses not only textual length but also layout complexity and semantic richness. TextAtlas5M contains 5 million generated and collected images across diverse data types, enabling comprehensive evaluation of large-scale generative models. We further curate 4,000 human-improved test cases (TextAtlasEval) spanning four domains, forming one of the most extensive benchmarks for text rendering. Evaluations show that TextAtlas5M poses substantial challenges even for state-of-the-art proprietary models (e.g., GPT-4o), with significantly larger gaps observed for open-source models. Training on TextAtlas5M consistently improves text rendering for both diffusion-based and autoregressive models, demonstrating its effectiveness for advancing text-rich image generation.
","absKo":"Text-conditioned image generation은 빠르게 발전해 왔지만, 기존 데이터셋이 주로 짧고 단순한 text에 집중해 왔기 때문에 긴 형식의 text를 포함한 이미지를 렌더링하는 것은 여전히 어렵다. 우리는 장문 text rendering 평가를 위해 설계된 대규모 데이터셋 TextAtlas5M을 소개한다. 여기서 “long text”는 텍스트 길이뿐 아니라 레이아웃 복잡성과 의미적 풍부함까지 포괄한다. TextAtlas5M은 다양한 데이터 유형에 걸쳐 생성 및 수집된 500만 장의 이미지를 포함하며, 대규모 generative model에 대한 포괄적인 평가를 가능하게 한다. 또한 네 개의 도메인에 걸쳐 인간이 개선한 4,000개의 테스트 케이스(TextAtlasEval)를 정제하여, text rendering을 위한 가장 방대한 benchmark 중 하나를 구성한다. 평가 결과 TextAtlas5M은 GPT-4o와 같은 state-of-the-art proprietary model에도 상당한 난제를 제시하며, open-source model에서는 훨씬 더 큰 격차가 관찰된다. TextAtlas5M으로 학습하면 diffusion-based model과 autoregressive model 모두에서 text rendering이 일관되게 향상되어, 텍스트가 풍부한 image generation을 발전시키는 데 효과적임을 보여준다.
"},{"id":"61908","en":"TPGDiff : Hierarchical Triple-Prior Guided Diffusion for Image Restoration","ko":"TPGDiff: 이미지 복원을 위한 계층적 Triple-Prior Guided Diffusion","authors":"Yanjie Tu, Qingsen Yan, Axi Niu, Jiacong Tang","pos":"#1105","link":"https://openreview.net/forum?id=lkrLFAF3u4","abs":"All-in-one image restoration aims to address diverse degradation types using a single unified model. Existing methods typically rely on degradation priors to guide restoration, yet often struggle to reconstruct content in severely degraded regions. Although recent works leverage semantic information to facilitate content generation, integrating it into the shallow layers of diffusion models often disrupts spatial structures (e.g., blurring artifacts). To address this issue, we propose a Triple-Prior Guided Diffusion (TPGDiff) network for unified image restoration. TPGDiff incorporates degradation priors throughout the diffusion trajectory, while introducing structural priors into shallow layers and semantic priors into deep layers, enabling hierarchical and complementary prior guidance for image reconstruction. Specifically, we leverage multi-source structural cues as structural priors to capture fine-grained details and guide shallow layers representations. To complement this design, we further develop a distillation-driven semantic extractor that yields robust semantic priors, ensuring reliable high-level guidance at deep layers even under severe degradations. Furthermore, a degradation extractor is employed to learn degradation-aware priors, enabling stage-adaptive control of the diffusion process across all timesteps. Extensive experiments on both single- and multi-degradation benchmarks demonstrate that TPGDiff achieves superior performance and generalization across diverse restoration scenarios.
","absKo":"All-in-one image restoration은 하나의 통합 모델로 다양한 degradation 유형을 해결하는 것을 목표로 한다. 기존 방법들은 일반적으로 restoration을 안내하기 위해 degradation prior에 의존하지만, 심하게 손상된 영역에서는 콘텐츠를 복원하는 데 어려움을 겪는 경우가 많다. 최근 연구들은 semantic information을 활용하여 content generation을 돕지만, 이를 diffusion model의 shallow layer에 통합하면 spatial structure를 훼손하는 경우가 많다(예: blurring artifact). 이 문제를 해결하기 위해, 우리는 unified image restoration을 위한 Triple-Prior Guided Diffusion(TPGDiff) 네트워크를 제안한다. TPGDiff는 diffusion trajectory 전반에 degradation prior를 통합하는 한편, shallow layer에는 structural prior를, deep layer에는 semantic prior를 도입하여 이미지 재구성을 위한 계층적이고 상호보완적인 prior guidance를 가능하게 한다. 구체적으로, 우리는 multi-source structural cue를 structural prior로 활용하여 세밀한 디테일을 포착하고 shallow layer representation을 안내한다. 이 설계를 보완하기 위해, 우리는 추가로 distillation-driven semantic extractor를 개발하여 강건한 semantic prior를 생성하며, 이를 통해 심한 degradation 하에서도 deep layer에 신뢰할 수 있는 고수준 guidance를 보장한다. 더 나아가, degradation-aware prior를 학습하기 위해 degradation extractor를 사용하여 모든 timestep에 걸쳐 diffusion process를 단계 적응적으로 제어할 수 있게 한다. 단일 및 다중 degradation benchmark 모두에서 수행한 광범위한 실험은 TPGDiff가 다양한 복원 시나리오 전반에서 우수한 성능과 일반화 능력을 달성함을 보여준다.
"},{"id":"61841","en":"NeuroMamba: A Universal Spatiotemporal Module for Robust Perception in Degraded Sensory Streams","ko":"NeuroMamba: 저하된 감각 스트림에서 강건한 인식을 위한 범용 시공간 모듈","authors":"Jinfeng Li, Huijia Song, HanLiang Zhou, Xiangyue Hu, Jiahui Zhang, XinpengJiang, Bin Lin, Fangli Guan, DONG Dingran, Liqi Yan, Pan Li","pos":"#1201","link":"https://openreview.net/forum?id=mQo73mXwiA","abs":"In open-world intelligent systems, processing continuous sensory streams disrupted by heterogeneous degradation sources presents a fundamental challenge: reconciling the inherent tension between observational completeness and reconstruction fidelity. Methods that prioritize completeness by bridging long-term occlusions often introduce spurious artifacts, while approaches focused on aggressive noise suppression inevitably disrupt temporal continuity and erase valid structures. To address this challenge, we propose NeuroMamba, a universal plug-and-play module that enhances spatiotemporal consistency in degraded streams. NeuroMamba tackles the dual objectives through two synergistic components. First, we propose a Regional Hybrid Spatiotemporal Rectification (HSR) module, which leverages the linear complexity O(L) of Mamba-based inertial modeling to recover long-range temporal dependencies and infer missing modalities under partial observability. Second, we introduce a Spiking Confidence Gate (SCG) that enforces reconstruction fidelity via physics-guided supervision. Acting as a hard neuromorphic filter governed by integrate-and-fire (LIF) dynamics, SCG distinguishes valid geometric features from sensor noise based on accumulated temporal evidence. Extensive experiments on the nuScenes robustness benchmark demonstrate that NeuroMamba effectively reconciles the completeness-fidelity trade-off, achieving state-of-the-art performance in restoring high-fidelity spatiotemporal features from severely incomplete and degraded observations.
","absKo":"open-world intelligent system에서 이질적인 degradation source로 인해 손상된 continuous sensory stream을 처리하는 것은 observational completeness와 reconstruction fidelity 사이의 내재적 긴장을 조율해야 한다는 근본적 과제를 제기한다. 긴 시간의 occlusion을 메워 completeness를 우선하는 방법은 종종 spurious artifact를 도입하고, aggressive noise suppression에 집중하는 접근은 필연적으로 temporal continuity를 깨뜨리고 유효한 구조를 지워 버린다. 이 과제를 해결하기 위해 우리는 손상된 stream에서 spatiotemporal consistency를 향상시키는 universal plug-and-play module인 NeuroMamba를 제안한다. NeuroMamba는 두 개의 상호보완적 구성요소를 통해 이중 목표를 다룬다. 첫째, 우리는 Regional Hybrid Spatiotemporal Rectification (HSR) module을 제안하는데, 이는 Mamba-based inertial modeling의 선형 복잡도 O(L)을 활용해 long-range temporal dependency를 복원하고 partial observability 하에서 누락된 modality를 추론한다. 둘째, 우리는 physics-guided supervision을 통해 reconstruction fidelity를 강제하는 Spiking Confidence Gate (SCG)를 도입한다. integrate-and-fire (LIF) dynamics에 의해 제어되는 hard neuromorphic filter로서 작동하는 SCG는 누적된 temporal evidence를 바탕으로 유효한 geometric feature와 sensor noise를 구분한다. nuScenes robustness benchmark에서의 광범위한 실험은 NeuroMamba가 completeness-fidelity trade-off를 효과적으로 조율하며, 극도로 불완전하고 손상된 관측으로부터 high-fidelity spatiotemporal feature를 복원하는 데서 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"66563","en":"Optimizing Rank for High-Fidelity Implicit Neural Representations","ko":"고충실도 암묵적 신경 표현을 위한 계수 최적화","authors":"Julian McGinnis, Florian A. Hölzl, Suprosanna Shit, Florentin Bieder, Paul Friedrich, Mark Mühlau, bjoern menze, Daniel Rueckert, Benedikt Wiestler","pos":"#1203","link":"https://openreview.net/forum?id=2azIa9tfl3","abs":"Implicit Neural Representations (INRs) based on vanilla Multi-Layer Perceptrons (MLPs) are widely believed to be incapable of representing high-frequency content. This has directed research efforts towards architectural interventions, such as coordinate embeddings or specialized activation functions, to represent high-frequency signals. In this paper, we challenge the notion that the low-frequency bias of vanilla MLPs is an intrinsic, architectural limitation to learn high-frequency content, but instead a symptom of stable rank degradation during training. We empirically demonstrate that regulating the network's rank during training substantially improves the fidelity of the learned signal, rendering even simple MLP architectures expressive. Extensive experiments show that using optimizers like Muon, with high-rank, near-orthogonal updates, consistently enhances INR architectures even beyond simple ReLU MLPs. These substantial improvements hold across a diverse range of domains, including natural and medical images, and novel view synthesis, with up to 9 dB PSNR improvements over the previous state-of-the-art. Code and experiments will be released upon acceptance.
","absKo":"vanilla Multi-Layer Perceptrons (MLPs)를 기반으로 한 Implicit Neural Representations (INRs)는 고주파 성분을 표현할 수 없다고 널리 여겨져 왔다. 이로 인해 coordinate embeddings나 특수 activation function 같은 architectural intervention을 통해 고주파 신호를 표현하려는 연구가 진행되어 왔다. 이 논문에서는 vanilla MLP의 low-frequency bias가 고주파 content를 학습하는 데 있어 본질적인 architectural limitation이라는 통념에 도전하며, 이것이 오히려 training 중 stable rank degradation의 증상이라고 주장한다. 우리는 training 동안 network의 rank를 조절하면 학습된 신호의 fidelity가 크게 향상되어, 단순한 MLP architecture조차도 충분히 expressive해질 수 있음을 실험적으로 보인다. 광범위한 실험은 Muon과 같이 high-rank, near-orthogonal update를 사용하는 optimizer가 단순한 ReLU MLP를 넘어 INR architecture를 일관되게 향상시킨다는 점을 보여준다. 이러한 큰 개선은 natural image와 medical image, novel view synthesis를 포함한 다양한 도메인 전반에서 유지되며, 기존 state-of-the-art 대비 최대 9 dB의 PSNR 향상을 보인다. 코드는 논문 채택 시 공개될 예정이다.
"},{"id":"62700","en":"Q-DiT4SR: Exploration of Detail-Preserving Diffusion Transformer Quantization for Real-World Image Super-Resolution","ko":"Q-DiT4SR: 실제 이미지 초해상도 재현에서 Detail-Preserving Diffusion Transformer 양자화 탐구","authors":"Xun Zhang, Kaicheng Yang, Hongliang Lu, Haotong Qin, Yong Guo, Yulun Zhang","pos":"#1207","link":"https://openreview.net/forum?id=e74RjRkirs","abs":"Recently, Diffusion Transformers (DiTs) have emerged in Real-World Image Super-Resolution (Real-ISR) to generate high-quality textures, yet their heavy inference burden hinders real-world deployment. While Post-Training Quantization (PTQ) is a promising solution for acceleration, existing methods in super-resolution mostly focus on U-Net architectures, whereas generic DiT quantization is typically designed for text-to-image tasks. Directly applying these methods to DiT-based super-resolution models leads to severe degradation of local textures. Therefore, we propose **Q-DiT4SR**, the first PTQ framework specifically tailored for DiT-based Real-ISR. We propose **H-SVD**, a hierarchical SVD that integrates a global low-rank branch with a local block-wise rank-1 branch under a matched parameter budget. We further propose **V**ariance-**a**ware **S**patio-**T**emporal **M**ixed **P**recision: **VaSMP** allocates cross-layer weight bit-widths in a data-free manner based on rate-distortion theory, while **VaTMP** schedules intra-layer activation precision across diffusion timesteps via dynamic programming (DP) with minimal calibration. Experiments on multiple real-world datasets demonstrate that our Q-DiT4SR achieves SOTA performance under both **W4A6** and **W4A4** settings. Notably, the W4A4 quantization configuration reduces model size by **5.8**$\\times$ and computational operations by over **60**$\\times$. We will release our code and models to facilitate reproducibility and future research.","absKo":"최근 Diffusion Transformers (DiTs)는 Real-World Image Super-Resolution (Real-ISR)에서 고품질 texture를 생성하는 데 사용되고 있으나, 무거운 inference 부담이 실제 배포를 가로막고 있다. Post-Training Quantization (PTQ)은 가속을 위한 유망한 해법이지만, super-resolution에서의 기존 방법은 주로 U-Net architecture에 초점을 맞추는 반면, 일반적인 DiT quantization은 대개 text-to-image task를 위해 설계된다. 이러한 방법을 DiT 기반 super-resolution model에 직접 적용하면 local texture가 심각하게 저하된다. 따라서 우리는 DiT 기반 Real-ISR에 특화된 최초의 PTQ framework인 **Q-DiT4SR**을 제안한다. 우리는 매칭된 parameter budget 아래 global low-rank branch와 local block-wise rank-1 branch를 통합하는 hierarchical SVD인 **H-SVD**를 제안한다. 또한 우리는 **V**ariance-**a**ware **S**patio-**T**emporal **M**ixed **P**recision, 즉 **VaSMP**와 **VaTMP**를 추가로 제안한다. **VaSMP**는 rate-distortion theory에 기반해 data-free 방식으로 layer 간 weight bit-width를 할당하고, **VaTMP**는 최소한의 calibration으로 dynamic programming (DP)을 통해 diffusion timestep 전반의 layer 내부 activation precision을 스케줄링한다. 여러 실제 데이터셋에서의 실험은 우리의 Q-DiT4SR이 **W4A6** 및 **W4A4** 설정 모두에서 SOTA 성능을 달성함을 보여준다. 특히 W4A4 quantization configuration은 model size를 **5.8**$\\times$ 줄이고 computational operations를 **60**$\\times$ 이상 감소시킨다. 우리는 재현성과 향후 연구를 돕기 위해 코드와 model을 공개할 예정이다."},{"id":"61678","en":"REST: Diffusion-based Real-time End-to-end Streaming Talking Head Generation via ID-Context Caching and Asynchronous Streaming Distillation","ko":"REST: ID-Context Caching과 비동기 Streaming Distillation을 통한 Diffusion 기반 실시간 End-to-End Streaming Talking Head 생성","authors":"Haotian Wang, Yuzhe Weng, Jun Du, Haoran Xu, Xiaoyan Wu, Shan He, Bing Yin, Cong Liu, Qingfeng Liu","pos":"#1209","link":"https://openreview.net/forum?id=npOsvPRB0i","abs":"Diffusion models have significantly advanced the field of talking head generation (THG). However, slow inference speeds and prevalent non-autoregressive paradigms severely constrain the application of diffusion-based THG models. In this study, we propose REST, a pioneering diffusion-based, real-time, end-to-end streaming audio-driven talking head generation framework. To support real-time end-to-end generation, a compact video latent space is first learned through a spatiotemporal variational autoencoder with a high compression ratio. Additionally, to enable semi-autoregressive streaming within the compact video latent space, we introduce an ID-Context Cache mechanism, which integrates ID-Sink and Context-Cache principles into key-value caching for maintaining identity consistency and temporal coherence during long-term streaming generation. Furthermore, an Asynchronous Streaming Distillation (ASD) strategy is proposed to mitigate error accumulation and enhance temporal consistency in streaming generation, leveraging a non-streaming teacher with an asynchronous noise schedule to supervise the streaming student. REST bridges the gap between autoregressive and diffusion-based approaches, achieving a breakthrough in efficiency for applications requiring real-time THG. Experimental results demonstrate that REST outperforms state-of-the-art methods in both generation speed and overall performance.
","absKo":"Diffusion models는 talking head generation(THG) 분야를 크게 발전시켰다. 그러나 느린 inference 속도와 널리 쓰이는 non-autoregressive paradigm은 diffusion-based THG 모델의 적용을 심각하게 제약한다. 본 연구에서는 REST를 제안한다. REST는 diffusion-based, real-time, end-to-end streaming audio-driven talking head generation framework의 선구적 방법이다. real-time end-to-end 생성을 지원하기 위해, 먼저 높은 compression ratio를 갖는 spatiotemporal variational autoencoder를 통해 compact video latent space를 학습한다. 또한 compact video latent space 내에서 semi-autoregressive streaming을 가능하게 하기 위해, ID-Sink와 Context-Cache 원리를 key-value caching에 통합하여 장기 streaming generation 동안 identity consistency와 temporal coherence를 유지하는 ID-Context Cache mechanism을 도입한다. 더 나아가, streaming generation에서 error accumulation을 완화하고 temporal consistency를 향상시키기 위해 Asynchronous Streaming Distillation(ASD) 전략을 제안한다. 이 전략은 asynchronous noise schedule을 가진 non-streaming teacher를 활용하여 streaming student를 supervise한다. REST는 autoregressive 방식과 diffusion-based 방식 사이의 간극을 메우며, real-time THG가 필요한 응용에서 효율성의 획기적 향상을 달성한다. 실험 결과, REST는 generation speed와 overall performance 모두에서 state-of-the-art 방법을 능가함을 보여준다.
"},{"id":"62541","en":"Memory-Distilled Selection for Noise-Robust Anomaly Detection","ko":"Noise-Robust Anomaly Detection을 위한 Memory-Distilled Selection","authors":"Sirojbek Safarov, Jaewoo Park, Yoon Gyo Jung, Kuan-Chuan Peng, Wonchul Kim, Seongdeok Bang, Octavia Camps","pos":"#1303","link":"https://openreview.net/forum?id=fhXqiit0CW","abs":"Anomaly detection (AD) under data contamination is critical for deploying unsupervised defect detection in industrial environments, where curating perfectly clean training sets is impractical. However, existing methods are sensitive to contamination, suffering significant performance degradation as the noise ratio increases. In this paper, we propose Memory-Distilled Selection (MeDS), a training algorithm based on data selection. MeDS constructs an ensemble of partial memories via random subsampling, where the resulting sparsity acts as a low-pass filter that captures nominal patterns across a wide range of noise ratios, enabling coarse-level identification of contaminated samples. The aggregated distances to the bootstrapped memories are then distilled into a reconstruction score network, which is subsequently fine-tuned on clean data filtered using scores from the distilled model, enabling fine-grained localization of anomalies. MeDS is robust across a wide range of noise ratios without requiring noise-ratio-specific hyperparameter tuning, achieving 99.16\\% image-level AUROC on MVTecAD at a 40\\% noise ratio, and attaining state-of-the-art performance on both VisA and Real-IAD under noisy settings. We thoroughly verify the efficacy of MeDS on industrial AD benchmarks under noisy data scenarios, accompanied by in-depth empirical analyses. The full code will be open-sourced.
","absKo":"데이터 contamination 하에서의 anomaly detection (AD)은 완전히 깨끗한 training set을 구성하기 어려운 산업 환경에서 unsupervised defect detection을 배포하는 데 매우 중요하다. 그러나 기존 방법들은 contamination에 민감하여 noise ratio가 증가할수록 성능이 크게 저하된다. 본 논문에서는 data selection에 기반한 training algorithm인 Memory-Distilled Selection (MeDS)을 제안한다. MeDS는 random subsampling을 통해 partial memory의 ensemble을 구성하며, 그 결과 생기는 sparsity는 low-pass filter처럼 작동하여 다양한 noise ratio에서 nominal pattern을 포착하고, contamination sample을 거칠게 식별할 수 있게 한다. 이후 bootstrapped memory에 대한 aggregated distance를 reconstruction score network로 distillation하고, 그 다음에는 distilled model의 score를 사용해 필터링한 clean data로 fine-tuning하여 anomaly를 세밀하게 localize한다. MeDS는 noise-ratio-specific hyperparameter tuning 없이도 넓은 noise ratio 범위에서 robust하며, 40% noise ratio의 MVTecAD에서 image-level AUROC 99.16\\%를 달성하고, noisy setting에서 VisA와 Real-IAD 모두에서 state-of-the-art 성능을 기록한다. 우리는 noisy data scenario의 industrial AD benchmark에서 MeDS의 효용을 철저히 검증했으며, 심층적인 empirical analysis를 함께 제시한다. 전체 코드는 오픈소스로 공개될 예정이다.
"},{"id":"61481","en":"M-IDoL: Information Decomposition for Modality-Specific and Diverse Representation Learning in Medical Foundation Model","ko":"M-IDoL: Medical Foundation Model에서 Modality-Specific 및 다양한 Representation Learning을 위한 Information Decomposition","authors":"Yihang Liu, Ying Wen, Jiaxiong Yang, Longzhen Yang, Lianghua He, Heng Tao Shen","pos":"#1304","link":"https://openreview.net/forum?id=pn5lQVm3DH","abs":"Medical foundation models (MFMs) aim to learn universal representations from multimodal medical images that can generalize effectively to diverse downstream clinical tasks. However, most existing MFMs suffer from information ambiguity that blend multimodal representations in a single embedding space, leading to the degradation of modality specificity and diversity. In this paper, we propose M-IDoL, a self-supervised MFM that introduces Information Decomposition for multimodal representation Learning via two objectives: i) maximize inter-modality entropy by dispersing multimodal representation into separable Mixture-of-Experts (MoE) subspaces to achieve representation specificity across modalities; and ii) minimize intra-modality uncertainty by performing fine-grained semantic discrimination within each MoE subspace to enrich representation diversity per modality. By pre-training on 1.15 million medical images, M-IDoL i) delivers superior generalization across 21 downstream clinical tasks, outperforming 20 foundation models on five imaging modalities (e.g., X-ray, fundus, OCT, dermoscopy and pathology), and ii) learns modality-specific and diverse representations, showing clearer separation of feature cluster across modalities and finer-grained feature discrimination within each modality.
","absKo":"Medical foundation models (MFMs)은 다양한 downstream clinical task에 효과적으로 일반화될 수 있는 universal representation을 multimodal medical image로부터 학습하는 것을 목표로 한다. 그러나 기존 MFMs의 대부분은 multimodal representation을 하나의 embedding space에 섞어 버리는 information ambiguity로 인해 modality specificity와 diversity가 저하되는 문제를 겪는다. 본 논문에서는 두 가지 objective를 통해 multimodal representation learning을 위한 Information Decomposition을 도입하는 self-supervised MFM인 M-IDoL을 제안한다. i) multimodal representation을 분리 가능한 Mixture-of-Experts (MoE) subspace로 분산시켜 inter-modality entropy를 최대화함으로써 modality 간 representation specificity를 달성하고, ii) 각 MoE subspace 내에서 fine-grained semantic discrimination을 수행하여 intra-modality uncertainty를 최소화함으로써 modality별 representation diversity를 풍부하게 한다. 115만 장의 medical image로 pre-training한 결과, M-IDoL은 i) 21개의 downstream clinical task 전반에서 우수한 generalization을 보이며, X-ray, fundus, OCT, dermoscopy, pathology 등 5개 imaging modality에서 20개의 foundation model을 능가하고, ii) modality-specific하고 diverse한 representation을 학습하여 modality 간 feature cluster가 더 뚜렷하게 분리되고 각 modality 내부에서는 더 세밀한 feature discrimination이 이루어짐을 보여준다.
"},{"id":"66773","en":"LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations","ko":"LIMSSR: 학습 시점 불완전 멀티모달 관측 하에서 LLM 기반 Sequence-to-Score 추론","authors":"Huangbiao Xu, huanqi wu, Xiao Ke, Yuxin Peng","pos":"#1308","link":"https://openreview.net/forum?id=0RLF7Sj2Fg","abs":"Real-world multimodal learning is often hindered by missing modalities. While Incomplete Multimodal Learning (IML) has gained traction, existing methods typically rely on the unrealistic assumption of full-modal availability during training to provide reconstruction supervision or cross-modal priors. This paper tackles the more challenging setting of IML under training-time incomplete observations, which precludes reliance on a \"God's eye view\" of complete data. We propose LIMSSR (LLM-Driven Incomplete Multimodal Sequence-to-Score Reasoning), a framework that reformulates this challenge as a conditional sequence reasoning task. LIMSSR leverages the semantic reasoning capabilities of Large Language Models via Prompt-Guided Context-Aware Modality Imputation and Multidimensional Representation Fusion to infer latent semantics from available contexts without direct reconstruction. To mitigate hallucinations, we introduce a Mask-Aware Dual-Path Aggregation to dynamically calibrate inference uncertainty. Extensive experiments on three Action Quality Assessment datasets demonstrate that LIMSSR significantly outperforms state-of-the-art baselines without relying on complete training data, establishing a new paradigm for data-efficient multimodal learning. Code will be released upon acceptance.
","absKo":"실세계 multimodal learning은 종종 missing modality로 인해 제약을 받는다. Incomplete Multimodal Learning (IML)이 주목받아 왔지만, 기존 방법은 대개 reconstruction supervision 또는 cross-modal prior를 제공하기 위해 training 시 완전한 modality가 उपलब्ध하다는 비현실적 가정에 의존한다. 이 논문은 training-time incomplete observations 하의 더 어려운 IML 설정을 다루며, complete data에 대한 \"God's eye view\"에 의존할 수 없게 되는 문제를 해결한다. 우리는 이 도전을 conditional sequence reasoning task로 재정식화하는 LIMSSR(LLM-Driven Incomplete Multimodal Sequence-to-Score Reasoning)을 제안한다. LIMSSR은 Prompt-Guided Context-Aware Modality Imputation과 Multidimensional Representation Fusion을 통해 Large Language Models의 semantic reasoning capabilities를 활용하여, 직접적인 reconstruction 없이도 사용 가능한 context로부터 latent semantics를 추론한다. hallucination을 완화하기 위해 우리는 inference uncertainty를 동적으로 보정하는 Mask-Aware Dual-Path Aggregation을 도입한다. 세 개의 Action Quality Assessment dataset에 대한 광범위한 실험은 LIMSSR이 complete training data에 의존하지 않으면서도 state-of-the-art baselines를 크게 능가함을 보여주며, data-efficient multimodal learning의 새로운 paradigm을 확립한다. 코드는 채택 시 공개될 예정이다.
"},{"id":"61879","en":"Geometry-Aware Image Flow Matching","ko":"기하학 인지 Image Flow Matching","authors":"Junho Lee, Kwanseok Kim, Joonseok Lee","pos":"#1314","link":"https://openreview.net/forum?id=m1bU4KRgtB","abs":"Recent advances in generative models highlight the power of geometry-aware modeling in manifold-constrained settings. Yet, for natural images, the field remains confined to Euclidean assumptions, failing to exploit the potential of intrinsic geometric structures within the data. In this work, we investigate the geometry of natural images and observe that semantic information is predominantly encoded in directional components, while norm components can be approximated by the global average. This property holds across both RGB and latent spaces, suggesting that natural images can be effectively modeled on a hypersphere. Building on this finding, we introduce Spherical Optimal Transport Flow Matching (SOT-CFM), which utilizes angular distance, and Spherical Flow Matching (SFM), which constrains dynamics directly on the manifold. Our experiments demonstrate that these geometry-aware methods achieve superior performance against Euclidean baselines. Ultimately, this work provides a novel perspective that bridges the gap between Riemannian manifold-based modeling and natural image generation.
","absKo":"생성 모델의 최근 발전은 manifold-constrained 설정에서 geometry-aware modeling의 위력을 보여준다. 그러나 natural image에 대해서는 이 분야가 여전히 Euclidean 가정에 머물러 있어, 데이터 내부에 존재하는 intrinsic geometric structure의 잠재력을 충분히 활용하지 못하고 있다. 본 연구에서는 natural image의 geometry를 조사하여 semantic information이 주로 directional component에 인코딩되고, norm component는 global average로 근사될 수 있음을 관찰한다. 이 성질은 RGB 공간과 latent space 모두에서 성립하므로, natural image는 hypersphere 위에서 효과적으로 모델링될 수 있음을 시사한다. 이러한 발견을 바탕으로, 우리는 angular distance를 활용하는 Spherical Optimal Transport Flow Matching(SOT-CFM)과 dynamics를 manifold 위에 직접 제약하는 Spherical Flow Matching(SFM)을 제안한다. 실험 결과, 이러한 geometry-aware 방법은 Euclidean baseline 대비 우수한 성능을 달성한다. 궁극적으로 본 연구는 Riemannian manifold 기반 modeling과 natural image generation 사이의 간극을 메우는 새로운 관점을 제시한다.
"},{"id":"64287","en":"Geometry-Aware Dataset Condensation for Diffusion Model Training","ko":"Diffusion 모델 학습을 위한 기하학 인식 데이터셋 응축","authors":"Xiao Cui, Yulei Qin, Mo Zhu, Wengang Zhou, Hongsheng Li, Houqiang Li","pos":"#1315","link":"https://openreview.net/forum?id=P7RGcAOZZ3","abs":"Dataset condensation aims to construct compact datasets from real data via synthesis or selection. However, existing approaches are ill-suited for diffusion model training: synthetic data generation often yields low-fidelity samples unsuitable for authentic modeling, while real subset selection typically fails to preserve the distributional geometry required by diffusion likelihood objectives. To address this, we propose to reformulate real subset selection as a geometry-aware distribution alignment problem. By incorporating one-sided partial optimal transport, our method selectively aligns a compact subset with the full data distribution while allowing unmatched mass in low-density regions, ensuring the preserved geometric structure necessary for effective diffusion model training. To further ensure distributional fidelity, we complement geometric alignment with lightweight feature-statistics and semantic consistency regularization. An efficient two-stage discrete optimization strategy is proposed to achieve this alignment objective. Extensive experiments across diffusion variants, subset sizes, image resolutions, and training rounds show that our approach achieves superior fidelity and distributional coverage in diffusion model training. Codes are available at https://anonymous.4open.science/r/ICML2026_4092.
","absKo":"Dataset condensation은 real data로부터 synthesis 또는 selection을 통해 compact dataset을 구성하는 것을 목표로 한다. 그러나 기존 접근은 diffusion model training에 적합하지 않다. synthetic data generation은 authentic modeling에 부적절한 low-fidelity sample을 생성하는 경우가 많고, real subset selection은 diffusion likelihood objective에 필요한 distributional geometry를 보존하지 못하는 경우가 많다. 이를 해결하기 위해 우리는 real subset selection을 geometry-aware distribution alignment problem으로 재정식화할 것을 제안한다. one-sided partial optimal transport를 통합함으로써, 우리의 method는 low-density region에서 unmatched mass를 허용하면서 compact subset을 전체 data distribution과 선택적으로 정렬하여, 효과적인 diffusion model training에 필요한 기하 구조를 보존한다. 분포적 충실도를 더 보장하기 위해, 우리는 geometry alignment를 가벼운 feature-statistics 및 semantic consistency regularization으로 보완한다. 이 alignment objective를 달성하기 위해 효율적인 2단계 discrete optimization strategy를 제안한다. diffusion variant, subset size, image resolution, training round 전반에 걸친 광범위한 실험은 우리의 접근이 diffusion model training에서 더 우수한 fidelity와 distributional coverage를 달성함을 보여준다. 코드는 https://anonymous.4open.science/r/ICML2026_4092 에서 उपलब्ध하다.
"},{"id":"64739","en":"DiffCrossGait: Trajectory-Level Alignment for 2D-3D Cross-Modal Gait Recognition via Latent Diffusion","ko":"DiffCrossGait: Latent Diffusion을 통한 2D-3D Cross-Modal 보행 인식을 위한 Trajectory-Level Alignment","authors":"Zhiyang Lu, Ming Cheng","pos":"#1400","link":"https://openreview.net/forum?id=KKDi5HuFkt","abs":"Cross-modal 2D–3D gait recognition is impeded by inherent domain discrepancies between 2D silhouette and 3D point cloud distributions. While prior methods align only final embeddings, we propose DiffCrossGait, which enforces trajectory-level alignment by driving both modalities with shared noise in a unified latent diffusion process. By driving both modalities with shared Gaussian noise within a latent space, we enable continuous alignment throughout the generative evolution. We introduce a Tri-Phase Alignment Strategy that exploits varying noise intensities to enforce identity anchoring, dynamics consistency, and cross-modal structural recoverability, thereby constraining both modalities to share denoising dynamics and bottleneck structure, which promotes modality-invariant gait features. Crucially, our framework decouples generative alignment from the discriminative backbone; the diffusion mechanism serves exclusively as a training objective, ensuring high inference efficiency by eliminating the computational overhead of iterative denoising. Extensive experiments on the SUSTech1K and FreeGait benchmarks demonstrate that DiffCrossGait achieves state-of-the-art performance.
","absKo":"cross-modal 2D–3D gait recognition은 2D silhouette와 3D point cloud 분포 사이의 본질적인 domain discrepancy로 인해 제약을 받는다. 기존 방법들이 최종 embedding만 정렬하는 반면, 우리는 두 modality를 통합된 latent diffusion process에서 공유 노이즈로 구동하여 trajectory 수준의 alignment를 강제하는 DiffCrossGait를 제안한다. latent space 내에서 두 modality에 동일한 Gaussian noise를 주입함으로써, 생성 진화 전반에 걸쳐 연속적인 alignment를 가능하게 한다. 우리는 서로 다른 noise intensity를 활용해 identity anchoring, dynamics consistency, cross-modal structural recoverability를 강제하는 Tri-Phase Alignment Strategy를 도입하여, 두 modality가 denoising dynamics와 bottleneck structure를 공유하도록 제약함으로써 modality-invariant gait feature를 촉진한다. 중요한 점은, 우리의 framework가 generative alignment을 discriminative backbone과 분리한다는 것이다. diffusion mechanism은 오직 training objective로만 사용되며, 반복적인 denoising의 계산 오버헤드를 제거함으로써 높은 inference efficiency를 보장한다. SUSTech1K와 FreeGait benchmark에서의 광범위한 실험은 DiffCrossGait가 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"64088","en":"Diversity-Preserved Distribution Matching Distillation for Fast Visual Synthesis","ko":"빠른 시각 합성을 위한 다양성 보존 분포 매칭 증류","authors":"Tianhe Wu, Ruibin Li, Lei Zhang, Kede Ma","pos":"#1402","link":"https://openreview.net/forum?id=R3JzLU2qZj","abs":"Distribution matching distillation (DMD) aligns a multi-step generator with its few-step counterpart to enable high-quality generation under low inference cost. However, DMD tends to suffer from mode collapse, as its reverse-KL formulation inherently encourages mode-seeking behavior, for which existing remedies typically rely on perceptual or adversarial regularization, thereby incurring substantial computational overhead and training instability. In this work, we propose a role-separated distillation framework that explicitly disentangles the roles of distilled steps: the first step is dedicated to preserving sample diversity via a target-prediction (e.g., v-prediction) objective, while subsequent steps focus on quality refinement under the standard DMD loss, with gradients from the DMD objective blocked at the first step. We term this approach Diversity-Preserved DMD (DP-DMD), which, despite its simplicity—no perceptual backbone, no discriminator, no auxiliary networks, and no additional ground-truth images—preserves sample diversity while maintaining visual quality on par with state-of-the-art methods in extensive text-to-image experiments. Code and models will be released publicly.
","absKo":"Distribution matching distillation(DMD)은 multi-step generator를 few-step counterpart와 정렬하여 낮은 inference cost에서 고품질 생성을 가능하게 한다. 그러나 DMD는 reverse-KL formulation이 본질적으로 mode-seeking behavior를 장려하기 때문에 mode collapse에 취약하며, 기존의 해결책은 대체로 perceptual 또는 adversarial regularization에 의존하여 상당한 계산 오버헤드와 학습 불안정을 초래한다. 본 연구에서는 distilled step들의 역할을 명시적으로 분리하는 role-separated distillation framework를 제안한다. 첫 번째 step은 target-prediction(예: v-prediction) objective를 통해 sample diversity를 보존하는 데 전념하고, 이후 step들은 표준 DMD loss 아래에서 quality refinement에 집중하며, 첫 번째 step에서의 DMD objective gradient는 차단한다. 우리는 이러한 접근을 Diversity-Preserved DMD(DP-DMD)라고 부른다. 단순함에도 불구하고, perceptual backbone도, discriminator도, auxiliary network도, 추가 ground-truth image도 없이, DP-DMD는 sample diversity를 보존하면서도 광범위한 text-to-image 실험에서 state-of-the-art 방법과 견줄 만한 visual quality를 유지한다. 코드와 모델은 공개적으로 배포될 예정이다.
"},{"id":"60805","en":"FUSE: Frequency-domain Unification and Spectral Energy Alignment for Multi-modal Object Re-Identification","ko":"FUSE: 멀티모달 객체 재식별을 위한 주파수 영역 통합 및 스펙트럼 에너지 정렬","authors":"Xuanhao Qi, Tom Luan, Yukang Zhang, Jinkai Zheng, su zhou, Shuwei Li, Lei Tan","pos":"#1408","link":"https://openreview.net/forum?id=wVGSzWj21L","abs":"Despite significant progress in multi-modal Re-Identification (ReID), existing methods tend to emphasize low-frequency cues. Consequently, they focus on attributes such as color, illumination, and coarse appearance, while overlooking mid- and high-frequency structures that encode geometric, textural, and identity-discriminative details. This imbalance leads to incomplete spectral representations and unstable cross-modal alignment. To overcome these limitations, we introduce FUSE, a frequency-domain framework that reformulates multi-modal ReID as a two-stage process of spectral disentanglement and energy alignment. The proposed Spectral Decomposition Module (SDM) adaptively partitions features into low, mid, and high-frequency subspaces, enabling hierarchical spectral modeling. The Cross-Modal Alignment Module (CAM) further enforces energy alignment and subspace complementarity across modalities via frequency-consistency regularization. In addition, FUSE incorporates learnable frequency modulation to enhance robustness under varying illumination and heterogeneous sensor conditions. Extensive experiments on RGBNT201, RGBNT100, and MSVR310 show that FUSE achieves 9.1% mAP and 9.5% Rank-1 improvements, establishing an interpretable frequency-domain paradigm for multi-modal representation learning.
","absKo":"multi-modal Re-Identification (ReID)에서 상당한 진전이 있었음에도, 기존 방법들은 대체로 low-frequency cue를 강조하는 경향이 있다. 그 결과 색상, 조명, 거친 외형 같은 속성에 집중하는 반면, 기하학적·질감적·identity-discriminative detail을 담는 mid- 및 high-frequency structure는 간과한다. 이러한 불균형은 불완전한 spectral representation과 불안정한 cross-modal alignment로 이어진다. 이러한 한계를 극복하기 위해 우리는 multi-modal ReID를 spectral disentanglement와 energy alignment의 두 단계 과정으로 재구성하는 frequency-domain framework인 FUSE를 제안한다. 제안하는 Spectral Decomposition Module (SDM)은 feature를 low, mid, high-frequency subspace로 적응적으로 분할하여 계층적 spectral modeling을 가능하게 한다. Cross-Modal Alignment Module (CAM)은 frequency-consistency regularization을 통해 modality 간 energy alignment와 subspace complementarity를 추가로 강제한다. 또한 FUSE는 다양한 illumination과 이질적인 sensor 조건에서의 강건성을 높이기 위해 learnable frequency modulation을 통합한다. RGBNT201, RGBNT100, MSVR310에서 수행한 광범위한 실험은 FUSE가 9.1% mAP와 9.5% Rank-1 향상을 달성함을 보여주며, multi-modal representation learning을 위한 해석 가능한 frequency-domain paradigm을 확립한다.
"},{"id":"62652","en":"GASS: Geometry-Aware Spherical Sampling for Disentangled Diversity Enhancement in Text-to-Image Generation","ko":"GASS: Text-to-Image Generation에서 Disentangled Diversity Enhancement를 위한 Geometry-Aware Spherical Sampling","authors":"Ye Zhu, Kaleb Newman, Johannes Lutzeyer, Adriana Romero-Soriano, Michal Drozdzal, Olga Russakovsky","pos":"#1413","link":"https://openreview.net/forum?id=efxovXR9xH","abs":"Despite high semantic alignment, modern text-to-image (T2I) generative models still struggle to synthesize diverse images from a given prompt. This lack of diversity not only restricts user choice, but also risks amplifying societal biases. In this work, we enhance the T2I diversity through a geometric lens. Unlike most existing methods that rely primarily on entropy-based guidance to increase sample dissimilarity, we introduce Geometry-Aware Spherical Sampling (GASS) to enhance diversity by explicitly controlling both prompt-dependent and prompt-independent sources of variation. Specifically, we decompose the diversity measure in CLIP embeddings using two orthogonal directions: the text embedding, which captures semantic variation related to the prompt, and an identified orthogonal direction that captures prompt-independent variation (e.g., backgrounds). Based on this decomposition, GASS increases the geometric projection spread of generated image embeddings along both axes and guides the T2I sampling process via expanded predictions along the generation trajectory. Our experiments on different frozen T2I backbones (U-Net and DiT, diffusion and flow) and benchmarks demonstrate the effectiveness of disentangled diversity enhancement with minimal impact on image fidelity and semantic alignment.
","absKo":"높은 semantic alignment에도 불구하고, 현대의 text-to-image (T2I) 생성 모델은 여전히 주어진 prompt로부터 다양한 이미지를 합성하는 데 어려움을 겪는다. 이러한 다양성 부족은 사용자 선택지를 제한할 뿐만 아니라, 사회적 bias를 증폭시킬 위험도 있다. 본 연구에서는 기하학적 관점에서 T2I 다양성을 향상시킨다. 주로 entropy 기반 guidance에 의존해 sample dissimilarity를 높이는 기존 방법들과 달리, 우리는 prompt-dependent와 prompt-independent라는 두 가지 variation source를 명시적으로 제어함으로써 다양성을 강화하는 Geometry-Aware Spherical Sampling (GASS)를 제안한다. 구체적으로, 우리는 CLIP embedding에서의 다양성 측도를 두 개의 orthogonal direction, 즉 prompt와 관련된 semantic variation을 포착하는 text embedding과, prompt-independent variation(예: background)을 포착하는 식별된 orthogonal direction으로 분해한다. 이러한 분해를 바탕으로 GASS는 생성된 image embedding의 geometric projection spread를 두 축 모두에서 증가시키며, generation trajectory를 따라 확장된 prediction을 통해 T2I sampling 과정을 유도한다. 다양한 frozen T2I backbone (U-Net 및 DiT, diffusion 및 flow)과 benchmark에서 수행한 실험은 image fidelity와 semantic alignment에 미치는 영향은 최소화하면서, disentangled diversity enhancement의 효과를 보여준다.
"},{"id":"60974","en":"Diagnosing and Correcting Concept Omission in Multimodal Diffusion Transformers","ko":"Multimodal Diffusion Transformer에서 Concept Omission 진단 및 수정","authors":"Kanghyun Baek, Jaihyun Lew, Chaehun Shin, Jungbeom Lee, Sungroh Yoon","pos":"#1500","link":"https://openreview.net/forum?id=uvSU4dNYv3","abs":"Multimodal Diffusion Transformers (MM-DiTs) have achieved remarkable progress in text-to-image generation, yet they frequently suffer from concept omission, where specified objects or attributes fail to emerge in the generated image. By performing linear probing on text tokens, we demonstrate that text embeddings can distinguish a characteristic `omission signal' representing the absence of target concepts. Leveraging this insight, we propose Omission Signal Intervention (OSI), which amplifies the omission signal to actively catalyze the generation of missing concepts. Comprehensive experiments on FLUX.1-Dev and SD3.5-Medium demonstrate that OSI significantly alleviates concept omission even in extreme scenarios.
","absKo":"Multimodal Diffusion Transformer(MM-DiT)는 text-to-image generation에서 놀라운 진전을 이루었지만, 종종 concept omission 문제를 겪는다. 즉, 지정된 객체나 속성이 생성된 이미지에 나타나지 않는다. 우리는 text token에 대한 linear probing을 수행하여, text embedding이 target concept의 부재를 나타내는 특징적인 `omission signal'을 구분할 수 있음을 보인다. 이 통찰을 활용하여 우리는 Omission Signal Intervention(OSI)을 제안한다. OSI는 omission signal을 증폭하여 누락된 concept의 생성을 적극적으로 촉진한다. FLUX.1-Dev와 SD3.5-Medium에 대한 포괄적 실험은 OSI가 극단적인 상황에서도 concept omission을 유의미하게 완화함을 보여준다.
"},{"id":"63363","en":"DNA: Uncovering Universal Latent Forgery Knowledge","ko":"DNA: 보편적 잠재 위조 지식 규명","authors":"Jingtong Dou, Chuancheng Shi, Yemin Wang, Shiming Guo, Anqi Yi, Wenhua Wu, Li Zhang, Fei Shen, Tat-Seng Chua","pos":"#1503","link":"https://openreview.net/forum?id=Xk3DcnxZdQ","abs":"As generative AI achieves hyper-realism, superficial artifact detection has become obsolete. While prevailing methods rely on resource-intensive fine-tuning of black-box backbones, we propose that forgery detection capability is already encoded within pre-trained models rather than requiring end-to-end retraining. To elicit this intrinsic capability, we propose the discriminative neural anchors (DNA) framework, which employs a coarse-to-fine excavation mechanism. First, by analyzing feature decoupling and attention distribution shifts, we pinpoint critical intermediate layers where the focus of the model logically transitions from global semantics to local anomalies. Subsequently, we introduce a triadic fusion scoring metric paired with a curvature-truncation strategy to strip away semantic redundancy, precisely isolating the forgery-discriminative units (FDUs) inherently imprinted with sensitivity to forgery traces. Moreover, we introduce HIFI-Gen, a high-fidelity synthetic benchmark built upon the very latest models, to address the lag in existing datasets. Experiments demonstrate that by solely relying on these anchors, DNA achieves superior detection performance even under few-shot conditions. Furthermore, it exhibits remarkable robustness across diverse architectures and against unseen generative models, validating that waking up latent neurons is more effective than extensive fine-tuning.
","absKo":"생성형 AI가 hyper-realism에 도달함에 따라, 표면적인 artifact detection은 더 이상 유효하지 않다. 기존 방법들은 자원 집약적인 black-box backbone의 fine-tuning에 의존하지만, 우리는 forgery detection 능력이 end-to-end retraining을 필요로 하는 것이 아니라 이미 pre-trained model 내부에 인코딩되어 있다고 본다. 이 내재된 능력을 이끌어내기 위해, 우리는 coarse-to-fine excavation mechanism을 사용하는 discriminative neural anchors (DNA) framework를 제안한다. 먼저, feature decoupling과 attention distribution shift를 분석하여, 모델의 초점이 logically global semantics에서 local anomaly로 전환되는 핵심 intermediate layer를 특정한다. 이후, triadic fusion scoring metric과 curvature-truncation strategy를 도입하여 semantic redundancy를 제거하고, forgery trace에 대한 민감성이 본질적으로 각인된 forgery-discriminative units (FDUs)를 정밀하게 분리한다. 또한, 기존 데이터셋의 시차 문제를 해결하기 위해 최신 모델들에 기반한 high-fidelity synthetic benchmark인 HIFI-Gen을 제안한다. 실험은 이러한 anchors에만 의존하더라도 DNA가 few-shot 조건에서도 우수한 detection 성능을 달성함을 보여준다. 더 나아가, 다양한 architecture와 보지 못한 generative model에 대해 놀라운 견고성을 보이며, 광범위한 fine-tuning보다 잠재된 neuron을 깨우는 것이 더 효과적임을 입증한다.
"},{"id":"64437","en":"CauseCollab: Causal Unified and Modality-Agnostic Network for Heterogeneous Collaborative Perception","ko":"CauseCollab: 이기종 협력 인식을 위한 인과적 통합 및 모달리티 불가지론 네트워크","authors":"Weize Li, Yang Li, Quan Yuan, Xiaoyuan Fu, Guiyang Luo, Jinglin Li","pos":"#1507","link":"https://openreview.net/forum?id=NgJP9uJXvZ","abs":"Collaborative perception enhances environment understanding through multi-agent information sharing, but its performance in real-world scenarios is constrained by heterogeneous sensor modalities and model architectures. Recent protocol-based two-stage methods alleviate this problem by mapping heterogeneous features into a shared protocol space; however, independently trained modality-specific converters often generate modality-specific pseudo-protocol distributions, leading to semantic inconsistency and error accumulation, which is particularly pronounced in scenarios with large modality discrepancies. To address this issue, we propose CauseCollab, a causal unified and modality-agnostic network. CauseCollab formulates representation learning in the protocol space from a causal perspective, explicitly disentangling semantic factors from modality-specific statistical confounders via causal metric learning. Meanwhile, CauseCollab adopts context-guided Unified Converter for heterogeneous modalities to ensure cross-modal semantic consistency. In addition, integrating new modalities only requires training adapters with minimal parameters. Extensive experiments on the OPV2V and DAIR-V2X datasets demonstrate that CauseCollab achieves state-of-the-art performance, with more significant gains in scenarios involving large modality gaps.
","absKo":"Collaborative perception은 multi-agent 정보 공유를 통해 환경 이해를 향상시키지만, 실제 세계 시나리오에서의 성능은 이질적인 sensor modality와 model architecture에 의해 제약된다. 최근의 protocol-based two-stage 방법들은 이질적인 feature를 공유 protocol space로 매핑함으로써 이 문제를 완화하지만, 독립적으로 학습된 modality-specific converter는 종종 modality-specific pseudo-protocol distribution을 생성하여 semantic inconsistency와 error accumulation을 초래하며, 이는 특히 modality 차이가 큰 시나리오에서 두드러진다. 이 문제를 해결하기 위해, 우리는 causal unified 및 modality-agnostic network인 CauseCollab을 제안한다. CauseCollab은 protocol space에서의 representation learning을 causal 관점으로 정식화하고, causal metric learning을 통해 semantic factor를 modality-specific statistical confounder로부터 명시적으로 분리한다. 한편, CauseCollab은 이질적인 modality를 위해 context-guided Unified Converter를 채택하여 cross-modal semantic consistency를 보장한다. 더불어, 새로운 modality를 통합할 때는 최소한의 parameter만으로 adapter를 학습하면 된다. OPV2V 및 DAIR-V2X dataset에 대한 광범위한 실험은 CauseCollab이 state-of-the-art 성능을 달성하며, 특히 modality gap이 큰 시나리오에서 더 큰 향상을 보임을 보여준다.
"},{"id":"60964","en":"Bridging the Perceptual Gap: Residual-Enhanced Downscaling and Manifold-Aware Perception Alignment Adaptation for NR-IQA","ko":"Perceptual Gap 연결하기: NR-IQA를 위한 Residual-Enhanced Downscaling과 Manifold-Aware Perception Alignment Adaptation","authors":"Yu Li, Zhengran Shen, Yachun Mi, Puchao Zhou, Shaohui Liu","pos":"#1509","link":"https://openreview.net/forum?id=v0eVHevLql","abs":"Leveraging Large Vision-Language Models like CLIP has recently set new benchmarks for No-Reference Image Quality Assessment (NR-IQA). However, the contrastive pretraining of CLIP inherently prioritizes semantic invariance, which often suppresses subtle perceptual signals, a phenomenon we term perceptual submergence. Furthermore, standard preprocessing techniques (e.g., cropping and interpolation) further exacerbate the loss of critical high-frequency quality cues. In this paper, we propose the Cross-modal Perception Alignment Adapter (CMPA), a manifold-aware framework designed to disentangle perceptual distortions from dominant semantics. CMPA introduces a Perception-Sensitive Feature Extractor (PFE) that projects CLIP features into a compact, low-dimensional subspace, explicitly magnifying distortion-induced off-manifold deviations. Subsequently, a Cross-Modal Perception Alignment Injector (PAI) aligns these features with quality-aware text anchors and re-injects them into the backbone. To ensure input fidelity, we also devise a Residual-enhanced Perceptual Downscaling strategy that adaptively compensates for resolution-induced information loss using Just Noticeable Difference (JND) guided frequency re-injection. Extensive evaluations on several benchmark datasets demonstrate that our approach significantly outperforms state-of-the-art methods, effectively recovering the perceptual signals submerged in semantic-dense representations.
","absKo":"CLIP과 같은 Large Vision-Language Model을 활용하는 방법은 최근 No-Reference Image Quality Assessment (NR-IQA)에서 새로운 benchmark를 설정했다. 그러나 CLIP의 contrastive pretraining은 본질적으로 semantic invariance를 우선시하기 때문에, 종종 미묘한 perceptual signal을 억제하며, 우리는 이를 perceptual submergence라고 부른다. 더 나아가, cropping과 interpolation 같은 표준 preprocessing 기법은 중요한 high-frequency quality cue의 손실을 더욱 악화시킨다. 본 논문에서는 지배적인 semantics로부터 perceptual distortion을 분리하도록 설계된 manifold-aware framework인 Cross-modal Perception Alignment Adapter (CMPA)를 제안한다. CMPA는 CLIP feature를 compact한 저차원 subspace로 사상하여 distortion으로 유발된 off-manifold deviation을 명시적으로 증폭시키는 Perception-Sensitive Feature Extractor (PFE)를 도입한다. 이후 Cross-Modal Perception Alignment Injector (PAI)는 이러한 feature를 quality-aware text anchor와 정렬하고 이를 backbone에 다시 주입한다. 입력 충실도를 보장하기 위해, 우리는 또한 Just Noticeable Difference (JND) 가이드 frequency re-injection을 사용하여 해상도 유발 정보 손실을 적응적으로 보상하는 Residual-enhanced Perceptual Downscaling 전략을 고안한다. 여러 benchmark dataset에 대한 광범위한 평가는 우리의 접근법이 state-of-the-art 방법보다 유의미하게 우수하며, semantic-dense representation에 잠겨 있던 perceptual signal을 효과적으로 회복함을 보여준다.
"},{"id":"66619","en":"Anomaly-Preference Image Generation","ko":"이상-선호 이미지 생성","authors":"Fuyun Wang, Yuanzhi Wang, Xu Guo, Sujia Huang, Tong Zhang, Dan Wang, Xin Liu, Hui Yan, Zhen Cui","pos":"#1513","link":"https://openreview.net/forum?id=26ELwHEbQL","abs":"Synthesizing realistic and diverse anomalous samples from limited data is vital for robust model generalization. However, existing methods struggle to reconcile fidelity and diversity, often hampered by distribution misalignment and overfitting, respectively. To mitigate this, we introduce Anomaly Preference Optimization (APO), a novel paradigm that reformulates anomaly generation as a preference learning problem. Central to our approach is an implicit preference alignment mechanism that leverages real anomalies as positive references, deriving optimization signals directly from denoising trajectory deviations without requiring costly human annotation. Furthermore, we propose a Time-Aware Capacity Allocation module that dynamically distributes model capacity along the diffusion timeline— prioritizing structural diversity during highnoise phases while enhancing fine-grained fidelity in low-noise stages. During inference, a hierarchical sampling strategy modulates the coherencealignment trade-off, enabling precise control over generation. Extensive experiments demonstrate that significantly outperforms existing baselines, achieving state-of-the-art performance in both realism and diversity.
","absKo":"제한된 데이터로부터 현실적이면서도 다양한 anomalous sample을 합성하는 것은 강건한 model generalization에 매우 중요하다. 그러나 기존 방법들은 fidelity와 diversity를 동시에 조화시키는 데 어려움을 겪으며, 각각 distribution misalignment와 overfitting의 제약을 받는다. 이를 완화하기 위해, 우리는 anomaly 생성을 preference learning 문제로 재정식화하는 새로운 패러다임인 Anomaly Preference Optimization(APO)을 도입한다. 우리의 접근의 핵심은 real anomaly를 positive reference로 활용하는 implicit preference alignment 메커니즘으로, 비용이 큰 human annotation 없이도 denoising trajectory의 편차로부터 직접 optimization signal을 도출한다. 더 나아가, 우리는 time-aware capacity allocation 모듈을 제안하여 diffusion timeline을 따라 model capacity를 동적으로 분배한다. 이를 통해 high-noise 단계에서는 structural diversity를 우선하고, low-noise 단계에서는 세밀한 fidelity를 강화한다. inference 시에는 hierarchical sampling 전략이 coherence-alignment trade-off를 조절하여 생성에 대한 정밀한 제어를 가능하게 한다. 광범위한 실험은 APO가 기존 baselines를 크게 상회하며, realism과 diversity 모두에서 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"60875","en":"Feature Collapse Under Corruption: An Entropy Perspective on Robust Neural Networks","ko":"오염 하 Feature Collapse: 견고한 Neural Network에 대한 Entropy 관점","authors":"Vishesh Kumar, Akshay Agarwal","pos":"#1605","link":"https://openreview.net/forum?id=vkw81XBoKa","abs":"Even after decades of advances in neural network training, the inherent robustness challenge remains open. While the sensitivity to adversarial perturbations is understandable given their intentional learning, the most surprising fact is the vulnerability to natural corruptions. Moreover, the reason for this inherent vulnerability remains unknown, and it is not limited to traditional CNNs but also applies to current models, including transformers and large foundation models. For the first time, through this work, we observe that natural corruptions often collapse the network's internal feature space into a high-entropy state, causing predictions to rely on a small subset of fragile features. Inspired by this, we propose a simple yet effective entropy-guided fine-tuning framework, Dem-HEC, that strengthens corruption robustness while maintaining clean accuracy. Our method generates high-entropy samples within a bounded perturbation region. It applies it to both clean and high-entropy samples, combined with knowledge distillation from a teacher snapshot, ensuring stable predictions. The proposed Dem-HEC is effective across datasets ranging from small to large-resolution, from pure CNNs to transformers, and to large foundation models, including DinoV3. The proposed approach outperforms the state-of-the-art (SOTA) models not only in improving robustness but also in retaining or boosting clean accuracy.
","absKo":"신경망 학습에서 수십 년간의 진전이 있었음에도, 본질적인 robustness 문제는 여전히 해결되지 않았다. adversarial perturbation에 대한 민감성은 그들이 의도적으로 학습된 점을 고려하면 이해 가능하지만, 가장 놀라운 사실은 natural corruption에 대한 취약성이다. 더 나아가 이러한 본질적 취약성의 원인은 아직 알려져 있지 않으며, 이는 전통적인 CNN에만 국한되지 않고 transformer와 large foundation model을 포함한 현재의 모델에도 적용된다. 본 연구에서는 처음으로, natural corruption이 네트워크의 내부 feature space를 종종 high-entropy 상태로 붕괴시키며, 그 결과 예측이 취약한 소수의 feature에 의존하게 된다는 점을 관찰한다. 이에 영감을 받아, 우리는 clean accuracy를 유지하면서 corruption robustness를 강화하는 간단하지만 효과적인 entropy-guided fine-tuning framework인 Dem-HEC를 제안한다. 우리의 방법은 bounded perturbation region 내에서 high-entropy sample을 생성한다. 이를 clean sample과 high-entropy sample 모두에 적용하고, teacher snapshot으로부터의 knowledge distillation과 결합하여 안정적인 예측을 보장한다. 제안한 Dem-HEC는 작은 해상도부터 큰 해상도 데이터셋까지, pure CNN부터 transformer, 그리고 DinoV3를 포함한 large foundation model에 이르기까지 폭넓게 효과적이다. 제안된 접근법은 robustness 개선뿐 아니라 clean accuracy를 유지하거나 향상시키는 데 있어서도 state-of-the-art (SOTA) 모델을 능가한다.
"},{"id":"60824","en":"Stage-wise Distortion–Perception Traversal in Zero-shot Inverse Problems with Diffusion Models","ko":"Diffusion Model을 이용한 Zero-Shot 역문제에서 단계별 왜곡-지각 탐색","authors":"Jiawei Zhang, Ziyuan Liu, Leon Yan, Zhenyu Xiao, Yuantao Gu","pos":"#2405","link":"https://openreview.net/forum?id=wJeR4HQQWy","abs":"The distortion–perception (D–P) tradeoff is a fundamental phenomenon of Bayesian inverse problems, which characterizes the inherent tension between distortion performance and perceptual quality. Enabling flexible traversal of the D-P tradeoff at inference time is crucial for practical applications. Despite the recent success of diffusion models in zero-shot inverse problem solving, efficient and principled strategies for D-P traversal in diffusion-based inverse algorithms remain inadequately characterized. In this paper, we propose a stage-wise framework for realizing D-P traversal using a single diffusion model in zero-shot inverse problems. Our proposed method, termed MAP-RPS, starts with an MAP estimation stage that approximates the MMSE solution and provides a low-distortion initialization, followed by a re-noised posterior sampling stage that progressively improves perceptual quality. We provide theoretical analyses for both stages, establishing the validity and effectiveness of the proposed design. Furthermore, we extend MAP-RPS to the latent space, yielding LMAP-RPS, which enjoys broader applicability by leveraging large-scale pre-trained latent diffusion backbones. Extensive experiments demonstrate that MAP-RPS and LMAP-RPS enable more effective D-P traversal on various tasks, while also exhibiting strong performance as efficient solvers for real-world inverse problems.
","absKo":"distortion–perception (D–P) tradeoff는 Bayesian inverse problem의 근본적인 현상으로, distortion performance와 perceptual quality 사이의 내재적 긴장을 특징짓는다. inference time에 D-P tradeoff를 유연하게 이동할 수 있게 하는 것은 실제 응용에서 매우 중요하다. 최근 diffusion model이 zero-shot inverse problem solving에서 성공을 거두었음에도, diffusion-based inverse algorithm에서 D-P traversal을 위한 효율적이고 원리적인 전략은 여전히 충분히 정립되지 않았다. 이 논문에서는 zero-shot inverse problem에서 단일 diffusion model을 사용해 D-P traversal을 실현하는 stage-wise framework를 제안한다. 우리가 제안한 방법인 MAP-RPS는 MMSE solution을 근사하고 낮은 distortion의 initialization을 제공하는 MAP estimation stage로 시작한 뒤, perceptual quality를 점진적으로 향상시키는 re-noised posterior sampling stage로 이어진다. 우리는 두 stage 모두에 대해 이론적 분석을 제공하여, 제안한 설계의 타당성과 효과를 입증한다. 더 나아가, 우리는 MAP-RPS를 latent space로 확장하여 LMAP-RPS를 제시하며, 이는 대규모 pretrained latent diffusion backbone을 활용해 더 넓은 적용성을 갖는다. 광범위한 실험은 MAP-RPS와 LMAP-RPS가 다양한 task에서 더 효과적인 D-P traversal을 가능하게 하고, 동시에 실제 inverse problem을 위한 효율적 solver로서도 강한 성능을 보임을 보여준다.
"},{"id":"62419","en":"Equivariant Latent Alignment via Flow Matching under Group Symmetries","ko":"군 대칭성 하에서 Flow Matching을 통한 Equivariant Latent Alignment","authors":"Sunghyun Kim, Jaehoon Hahm, Jeongwoo Shin, Joonseok Lee","pos":"#2511","link":"https://openreview.net/forum?id=gngDtQCUZr","abs":"Geometry-aware generative models and novel view synthesis approaches have shown strong potential in visual fidelity and consistency. In parallel, equivariant representation learning has emerged as a powerful framework for constructing latent spaces where analytically known group transformations could act directly, capturing geometric structure in data and enhancing both interpretability and generalization in novel view synthesis. However, we identify that existing approaches often suffer from \\textit{latent misalignment}, a discrepancy between the intended group action and the actually required transformations in the latent space. Consequently, the learned latents often fail to consistently preserve the equivariant relations imposed by the underlying group symmetry. To address this, we propose \\emph{Residual Latent Flow}, a flow-based framework that corrects the misaligned latents, thereby improving compliance with the underlying equivariance relation. Our comprehensive experiments show that our method significantly reduces latent misalignment and improves novel view synthesis quality, under rotation groups $\\mathrm{SO}(n)$.","absKo":"Geometry-aware generative model과 novel view synthesis 접근법은 시각적 충실도와 일관성 측면에서 강한 잠재력을 보여주었다. 동시에, equivariant representation learning은 해석적으로 알려진 group transformation이 직접 작용할 수 있는 latent space를 구성하는 강력한 프레임워크로 부상했으며, 데이터의 기하 구조를 포착하고 novel view synthesis에서의 해석 가능성과 일반화 성능을 향상시킨다. 그러나 우리는 기존 접근이 종종 \\textit{latent misalignment}를 겪는다는 것을 확인했다. 이는 의도된 group action과 latent space에서 실제로 요구되는 transformation 사이의 불일치이다. 그 결과 학습된 latent는 종종 기저 group symmetry가 부여하는 equivariant relation을 일관되게 보존하지 못한다. 이를 해결하기 위해, 우리는 잘못 정렬된 latent를 보정하여 underlying equivariance relation에 대한 준수를 향상시키는 flow-based framework인 \\emph{Residual Latent Flow}를 제안한다. 우리의 종합 실험은 rotation group $\\mathrm{SO}(n)$ 하에서 이 방법이 latent misalignment를 크게 줄이고 novel view synthesis 품질을 개선함을 보여준다."},{"id":"61511","en":"Boost the Identity-Preserving Embedding for Consistent Visual Generation","ko":"일관된 Visual Generation을 위한 Identity-Preserving Embedding 강화","authors":"Zixun Xia, Shuyu Guo, Boqian Li, jian Yang, Kai Wang, Yaxing Wang","pos":"#2612","link":"https://openreview.net/forum?id=pPCsSseMW5","abs":"Text-to-image models have advanced high-fidelity content generation, but their inability to maintain subject consistency hampers realistic applications. Existing training-based methods rely on heavy computation and large datasets; while training-free approaches demand excessive memory or complex auxiliary modules. In this paper, we first reveal a key property overlooked in prior works that the identity-relevant signals, termed Identity-Preserving Embeddings (IPemb), are implicitly encoded in textual embeddings of frame prompts. To address the consistent T2I generation with the IPemb embedding, we propose Boost Identity-Preserving Embedding (BIPE), a training-free yet plug-and-play framework that explicitly extracts and enhances the IPemb. Its core innovations are two complementary techniques: First, Adaptive Singular-Value Rescaling (adaSVR) applies singular-value decomposition to the joint embedding matrix of all frame prompts, amplifying identity-centric components while suppressing frame-specific noise. Second, Union Key (UniK) further reinforces consistency by aligning the T2I backbone’s image-text attention across the entire generation sequence. Experiments on the ConsiStory+ benchmark demonstrate BIPE outperforms existing methods in both qualitative and quantitative metrics. To address the gap in evaluating a broader range of scenarios with diversified prompt templates, we introduce a DiverStory benchmark to further confirm our scalability.
","absKo":"Text-to-image model은 high-fidelity content generation을 발전시켜 왔지만, subject consistency를 유지하지 못하는 한계가 현실적인 응용을 저해한다. 기존 training-based method는 많은 계산과 대규모 데이터셋에 의존하며, training-free approach는 과도한 메모리나 복잡한 auxiliary module을 요구한다. 이 논문에서는 먼저 이전 연구들이 간과한 핵심 특성을 밝힌다. Identity-Preserving Embedding(IPemb)이라 불리는 identity 관련 signal이 frame prompt의 text embedding 안에 암묵적으로 인코딩되어 있다는 점이다. IPemb embedding을 사용한 일관된 T2I generation을 해결하기 위해, 우리는 IPemb를 명시적으로 추출하고 강화하는 training-free이면서도 plug-and-play framework인 Boost Identity-Preserving Embedding(BIPE)를 제안한다. 그 핵심 혁신은 서로 보완적인 두 가지 기법이다. 첫째, Adaptive Singular-Value Rescaling(adaSVR)은 모든 frame prompt의 joint embedding matrix에 singular-value decomposition을 적용하여 identity 중심 성분을 증폭하는 동시에 frame-specific noise를 억제한다. 둘째, Union Key(UniK)는 생성 전체 sequence에 걸쳐 T2I backbone의 image-text attention을 정렬함으로써 consistency를 더욱 강화한다. ConsiStory+ benchmark 실험은 BIPE가 정성적 및 정량적 지표 모두에서 기존 방법을 능가함을 보여준다. 더 다양한 prompt template을 사용한 폭넓은 scenario 평가의 공백을 메우기 위해, 우리는 확장성을 추가로 확인할 수 있는 DiverStory benchmark를 제안한다.
"},{"id":"63609","en":"Beyond Blind Noising: Disentangled Visual Rectification for Hallucination Mitigation in MLLMs","ko":"맹목적 노이징을 넘어서: MLLM의 환각 완화를 위한 분리된 시각적 보정","authors":"Yujia Chen, Rui Sun, Zhaoyang Li, Wangkai Li, Huayu Mai, Bingzhou Wang, Aibing Li, Wenzhang SUN","pos":"#3907","link":"https://openreview.net/forum?id=VV1z4ydTy7","abs":"Visual Contrastive Decoding (VCD) mitigates hallucinations in Multimodal Large Language Models (MLLMs) by penalizing the output shift from noise-perturbed images, assuming this shift captures the hallucination direction. We prove this assumption flawed: noise-induced drift in Language-Image Pretrained (LIP) encoders is a \\emph{coupled vector} entangling (i) structural degradation from corrupted visual information with (ii) hallucination induction from linguistic prior activation. VCD's indiscriminate penalty inevitably suppresses valid visual semantics. Our key insight is that Self-Supervised Learning (SSL) encoders exhibit \\emph{only} structural degradation under noise—geometrically orthogonal to hallucination paths—enabling principled disentanglement via LIP--SSL differential response. We propose \\textbf{Disentangled Visual Rectification (DVR)}, a training-free dual-stream framework performing visual-layer rectification and decoding-layer contrast on purified representations. DVR achieves approximately $5\\times$ theoretical error reduction over VCD and establishes SOTA performance on POPE, MME, LLaVA-Bench and CHAIR benchmarks.","absKo":"Visual Contrastive Decoding (VCD)는 noise가 가해진 image로부터의 output shift가 hallucination 방향을 포착한다는 가정하에, 그 shift를 penalize함으로써 Multimodal Large Language Models (MLLMs)의 hallucination을 완화한다. 우리는 이 가정이 잘못되었음을 증명한다. Language-Image Pretrained (LIP) encoder에서 noise로 유도된 drift는 (i) 손상된 visual information으로부터의 structural degradation과 (ii) linguistic prior activation에 의한 hallucination induction을 서로 얽어 넣은 \\emph{coupled vector}이다. VCD의 무차별적인 penalty는 필연적으로 유효한 visual semantics까지 억제한다. 우리의 핵심 통찰은 Self-Supervised Learning (SSL) encoder는 noise 하에서 \\emph{오직} structural degradation만 나타내며, 이는 hallucination path와 기하학적으로 직교한다는 점이다. 이를 통해 LIP--SSL의 차등 반응을 이용한 원리적인 disentanglement가 가능해진다. 우리는 \\textbf{Disentangled Visual Rectification (DVR)}을 제안한다. 이는 정제된 representation에 대해 visual-layer rectification과 decoding-layer contrast를 수행하는 training-free dual-stream framework이다. DVR은 VCD 대비 이론적으로 약 $5\\times$의 error reduction을 달성하며, POPE, MME, LLaVA-Bench, CHAIR benchmark에서 SOTA 성능을 확립한다."},{"id":"60645","en":"Scalable Event Cloud Network for Event-based Classification","ko":"Event-based Classification을 위한 확장 가능한 Event Cloud Network","authors":"Hongwei Ren, Fei Ma, Xiaopeng LIN, Yuetong Fang, Hongxiang Huang, Yue Zhou, Yulong Huang, Haotian FU, Ziyi Yang, Youxin Jiang, Xiangqian Wu, Bojun Cheng","pos":"#4213","link":"https://openreview.net/forum?id=yAAUcDLYMR","abs":"Event cameras are biologically inspired sensors garnering significant attention from both industry and academia. Mainstream methods favor frame and voxel representations, which reach a satisfactory performance while introducing time-consuming transformations, bulky models, and sacrificing fine-grained temporal information. Alternatively, Point Cloud representation demonstrates promise in addressing the mentioned weaknesses, but it has limited scalability in abstracting features of higher spatial resolution and longer temporal sequence events. In this paper, we propose a \\textbf{S}calable \\textbf{N}etwork named SECNet to leverage \\textbf{E}vent \\textbf{C}loud representation. SECNet integrates polarity at the structural level by innovating the Event-based Group and Sampling module rather than only at the input level. To accommodate the surge in the number of events, SECNet embraces feature extraction in the frequency domain via the Fourier transform. This approach not only substantially extinguishes the explosion of Multiply Accumulate Operations but also effectively abstracts spatio-temporal features. We conducted extensive experiments on \\textbf{ten} event-based datasets, and substantiate the scalability, effectiveness, and efficiency of SECNet.
","absKo":"Event camera는 생물학적 영감을 받은 센서로서 산업계와 학계 모두에서 큰 주목을 받고 있다. 주류 방법은 frame 및 voxel 표현을 선호하는데, 이는 만족스러운 성능에 도달하지만 시간이 많이 드는 변환, 큰 모델 규모, 그리고 미세한 temporal information의 손실을 초래한다. 대안으로 Point Cloud 표현은 앞서 언급한 약점을 해결할 가능성을 보여주지만, 더 높은 spatial resolution과 더 긴 temporal sequence event를 추상화하는 데 있어 확장성이 제한적이다. 본 논문에서는 Scalable Network인 SECNet을 제안하여 Event Cloud 표현을 활용한다. SECNet은 입력 수준에서만 polarity를 반영하는 것이 아니라, Event-based Group and Sampling module을 혁신함으로써 구조적 수준에서 polarity를 통합한다. 이벤트 수의 급증에 대응하기 위해 SECNet은 Fourier transform을 통해 frequency domain에서 feature extraction을 수행한다. 이 접근은 Multiply Accumulate Operations의 폭증을 크게 억제할 뿐만 아니라 spatio-temporal feature를 효과적으로 추상화한다. 우리는 10개의 event-based dataset에서 대규모 실험을 수행했으며, SECNet의 확장성, 효과성, 효율성을 입증했다.
"},{"id":"64550","en":"WorldCache: Accelerating World Models for Free via Heterogeneous Token Caching","ko":"WorldCache: 이기종 토큰 캐싱을 통한 세계 모델의 무료 가속","authors":"Weilun Feng, Guoxin Fan, Haotong Qin, Chuanguang Yang, Mingqiang Wu, Yuqi Li, Xiangqi Li, Zhulin An, Libo Huang, Dingrui Wang, Longlong Liao, Michele Magno, Yongjun Xu","pos":"#1003","link":"https://openreview.net/forum?id=MItmwRV0l2","abs":"Diffusion-based world models have shown strong potential for unified world simulation, but the iterative denoising remains too costly for interactive use and long-horizon rollouts. While feature caching can accelerate inference without training, we find that policies designed for single-modal diffusion transfer poorly to world models due to two world-model-specific obstacles: *token heterogeneity* from multi-modal coupling and spatial variation, and *non-uniform temporal dynamics* where a small set of hard tokens drives error growth, making uniform skipping either unstable or overly conservative. We propose **WorldCache**, a caching framework tailored to diffusion world models. We introduce *Curvature-guided Heterogeneous Token Prediction*, which uses a physics-grounded curvature score to estimate token predictability and applies a Hermite-guided damped predictor for chaotic tokens with abrupt direction changes. We also design *Chaotic-prioritized Adaptive Skipping*, which accumulates a curvature-normalized, dimensionless drift signal and recomputes only when bottleneck tokens begin to drift. Experiments on diffusion world models show that WorldCache delivers up to **3.7$\\times$** end-to-end speedups while maintaining **98\\%** rollout quality, demonstrating the vast advantages and practicality of WorldCache in resource-constrained scenarios.","absKo":"확산 기반 world models는 통합된 world simulation에 강한 잠재력을 보여 왔지만, iterative denoising은 여전히 interactive use와 long-horizon rollout에 너무 큰 비용을 요구한다. feature caching은 학습 없이 추론을 가속할 수 있지만, single-modal diffusion을 위해 설계된 policy는 multi-modal coupling과 spatial variation에서 비롯되는 *token heterogeneity*, 그리고 소수의 hard token이 error growth를 주도해 uniform skipping이 불안정하거나 지나치게 보수적이 되는 *non-uniform temporal dynamics* 때문에 world model에 잘 이전되지 않는다는 점을 확인했다. 우리는 diffusion world model에 맞춘 caching framework인 **WorldCache**를 제안한다. 먼저, physics-grounded curvature score를 사용해 token predictability를 추정하고 급격한 방향 변화를 보이는 chaotic token에는 Hermite-guided damped predictor를 적용하는 *Curvature-guided Heterogeneous Token Prediction*을 도입한다. 또한 bottleneck token이 drift하기 시작할 때만 재계산하도록 curvature-normalized, dimensionless drift signal을 누적하는 *Chaotic-prioritized Adaptive Skipping*을 설계한다. diffusion world model에 대한 실험에서 WorldCache는 **98\\%** rollout quality를 유지하면서 최대 **3.7$\\times$**의 end-to-end speedup을 제공했으며, resource-constrained scenario에서 WorldCache의 큰 이점과 실용성을 입증한다."},{"id":"65970","en":"Training-Free Coverless Multi-Image Steganography with Access Control","ko":"접근 제어를 갖춘 학습 불필요 커버리스 다중 이미지 스테가노그래피","authors":"Minyeol Bae, Si-Hyeon Lee","pos":"#1102","link":"https://openreview.net/forum?id=8NHVpDRH0a","abs":"Coverless Image Steganography (CIS) hides information without explicitly modifying a cover image, providing strong imperceptibility and inherent robustness to steganalysis. However, existing CIS methods largely lack robust access control, making it difficult to selectively reveal different hidden contents to different authorized users. Such access control is critical for scalable and privacy-sensitive information hiding in multi-user settings. We propose MIDAS, a training-free diffusion-based CIS framework that enables multi-image hiding with user-specific access control via latent-level fusion. MIDAS introduces a Random Basis mechanism to suppress residual structural information and a Latent Vector Fusion module that reshapes aggregated latents to align with the diffusion process. Experimental results demonstrate that MIDAS consistently outperforms existing training-free CIS baselines in access control functionality, stego image quality and diversity, robustness to noise, and resistance to steganalysis, establishing a practical and scalable approach to access-controlled coverless steganography.
","absKo":"Coverless Image Steganography (CIS)는 cover image를 명시적으로 수정하지 않고 정보를 숨기므로, 높은 imperceptibility와 steganalysis에 대한 본질적인 robustness를 제공한다. 그러나 기존 CIS 방법은 robust access control이 크게 부족하여, 서로 다른 authorized user에게 서로 다른 hidden content를 선택적으로 공개하기 어렵다. 이러한 access control은 multi-user 환경에서 확장 가능하고 privacy에 민감한 정보 은닉을 위해 매우 중요하다. 우리는 latent-level fusion을 통해 사용자별 access control과 함께 multi-image hiding을 가능하게 하는 training-free diffusion 기반 CIS framework인 MIDAS를 제안한다. MIDAS는 residual structural information을 억제하기 위한 Random Basis mechanism과, diffusion process에 정렬되도록 aggregated latent를 재구성하는 Latent Vector Fusion module을 도입한다. 실험 결과, MIDAS는 access control 기능, stego image quality 및 diversity, noise에 대한 robustness, 그리고 steganalysis에 대한 저항성에서 기존 training-free CIS baseline을 일관되게 능가함을 보였으며, access-controlled coverless steganography를 위한 실용적이고 확장 가능한 접근법을 확립한다.
"},{"id":"61781","en":"Shifting the Breaking Point of Flow Matching for Multi-Instance Editing","ko":"Multi-Instance Editing을 위한 Flow Matching의 한계점 이동","authors":"Carmine Zaccagnino, Fabio Quattrini, Enis Simsar, Marta Gazulla, Rita Cucchiara, Alessio Tonioni, Silvia Cascianelli","pos":"#1110","link":"https://openreview.net/forum?id=n2An7C7n7e","abs":"Flow matching models have recently emerged as an efficient alternative to diffusion, especially for text-guided image generation and editing, offering faster inference through continuous-time dynamics. However, existing flow-based editors predominantly support global or single-instruction edits and struggle with multi-instance scenarios, where multiple parts of a reference input must be edited independently without semantic interference. We identify this limitation as a consequence of globally conditioned velocity fields and joint attention mechanisms, which entangle concurrent edits. To address this issue, we introduce Instance-Disentangled Attention, a mechanism that partitions joint attention operations, enforcing binding between instance-specific textual instructions and spatial regions during velocity field estimation. We evaluate our approach on both natural image editing and a newly introduced benchmark of text-dense infographics with region-level editing instructions. Experimental results demonstrate that our approach promotes edit disentanglement and locality while preserving global output coherence, enabling single-pass, instance-level editing.
","absKo":"Flow matching model은 최근 diffusion의 효율적인 대안으로 부상했으며, 특히 text-guided image generation 및 editing에서 continuous-time dynamics를 통해 더 빠른 inference를 제공한다. 그러나 기존의 flow-based editor는 주로 global 또는 single-instruction edit만 지원하며, reference input의 여러 부분을 서로 semantic interference 없이 독립적으로 수정해야 하는 multi-instance 상황에서는 취약하다. 우리는 이 한계를 globally conditioned velocity field와 joint attention mechanism의 결과로 파악하며, 이들이 동시 edit를 서로 얽히게 만든다고 본다. 이 문제를 해결하기 위해, 우리는 Instance-Disentangled Attention을 제안한다. 이는 joint attention 연산을 분할하여, velocity field estimation 동안 instance-specific text instruction과 spatial region 사이의 binding을 강제하는 메커니즘이다. 우리는 자연 이미지 editing과, region-level editing instruction이 포함된 text-dense infographic의 새로 도입한 benchmark 양쪽에서 접근법을 평가한다. 실험 결과는 우리의 접근법이 global output coherence를 보존하면서 edit disentanglement와 locality를 촉진하여, single-pass의 instance-level editing을 가능하게 함을 보여준다.
"},{"id":"64432","en":"Offline Preference Optimization for Rectified Flow with Noise-Tracked Pairs","ko":"노이즈 추적 쌍을 이용한 Rectified Flow의 오프라인 선호 최적화","authors":"Yunhong Lu, Qichao Wang, Hengyuan Cao, Xiaoyin Xu, Min Zhang","pos":"#1202","link":"https://openreview.net/forum?id=NiMMHsFCvo","abs":"Existing preference datasets for text-to-image (T2I) models typically store only the final winner/loser images. This representation is insufficient for rectified flow (RF) models, whose generation is naturally indexed by a specific prior noise sample and follows a nearly straight denoising trajectory. In contrast, prior DPO-style alignment for diffusion models commonly estimates trajectories using an independent forward noising process, which can be mismatched to the true reverse dynamics and introduces unnecessary variance. We propose Prior Noise-Aware Preference Optimization (PNAPO), an off-policy alignment framework specialized for rectified flow. PNAPO augments preference data by retaining the paired prior noises used to generate each winner/loser image, turning the standard (prompt, winner, loser) triplet into a sextuple. Leveraging the straight-line property of RF, we estimate intermediate states via noise–image interpolation, which constrains the trajectory estimation space and yields a tighter surrogate objective for preference optimization. In addition, we introduce a dynamic regularization strategy that adapts the DPO temperature/regularization based on (i) the reward gap between winner and loser and (ii) training progress, improving stability and sample efficiency. Experiments on state-of-the-art RF T2I backbones (FLUX.1-dev and SD3-Medium) show that PNAPO consistently improves preference metrics while substantially reducing training compute compared to Diffusion-DPO.
","absKo":"text-to-image (T2I) model을 위한 기존 preference dataset은 일반적으로 최종 winner/loser image만 저장한다. 이러한 표현은 generation이 특정 prior noise sample에 의해 자연스럽게 인덱싱되고 거의 직선적인 denoising trajectory를 따르는 rectified flow (RF) model에는 충분하지 않다. 반면 diffusion model에 대한 기존 DPO-style alignment는 보통 독립적인 forward noising process를 사용해 trajectory를 추정하는데, 이는 실제 reverse dynamics와 맞지 않을 수 있고 불필요한 variance를 유발한다. 우리는 rectified flow에 특화된 off-policy alignment framework인 Prior Noise-Aware Preference Optimization (PNAPO)을 제안한다. PNAPO는 각 winner/loser image를 생성하는 데 사용된 paired prior noise를 유지하여 preference data를 확장하고, 표준 (prompt, winner, loser) triplet을 sextuple로 바꾼다. RF의 straight-line property를 활용해 우리는 noise–image interpolation을 통해 intermediate state를 추정하며, 이는 trajectory estimation space를 제한하고 preference optimization을 위한 더 타이트한 surrogate objective를 제공한다. 또한 우리는 (i) winner와 loser 사이의 reward gap과 (ii) training progress에 따라 DPO temperature/regularization을 조정하는 dynamic regularization strategy를 도입하여 안정성과 sample efficiency를 향상시킨다. 최첨단 RF T2I backbone (FLUX.1-dev 및 SD3-Medium)에서의 실험은 PNAPO가 Diffusion-DPO에 비해 training compute를 크게 줄이면서도 preference metric을 일관되게 개선함을 보여 준다."},{"id":"62926","en":"RTPrune: Reading-Twice Inspired Token Pruning for Efficient DeepSeek-OCR Inference","ko":"RTPrune: DeepSeek-OCR 효율 추론을 위한 Reading-Twice 기반 Token Pruning","authors":"Ben Wan, Yan Feng, Zihan Tang, Weizhe Huang, Yuting Zeng, Jia Wang, Tongxuan Liu","pos":"#1210","link":"https://openreview.net/forum?id=bniyv9QWYc","abs":"DeepSeek-OCR leverages visual–text compression to reduce long-text processing costs and accelerate inference, yet visual tokens remain prone to redundant textual and structural information. Moreover, current token pruning methods for conventional vision–language models (VLMs) fail to preserve textual fidelity due to improper compression mechanisms. By analyzing the decoding process of DeepSeek-OCR, we find that a distinct two-stage reading trajectory: the model initially prioritizes the majority of high-norm tokens, then subsequently redistributes its attention to the remaining ones. Motivated by this insight, we propose RTPrune, a two-stage token pruning method tailored for DeepSeek-OCR. In the first stage, we prioritize high-norm visual tokens that capture salient textual and structural information. In the second stage, the remaining tokens are paired and merged based on optimal transport theory to achieve efficient feature aggregation. We further introduce a dynamic pruning ratio that adapts to token similarity and textual density for OCR tasks, enabling a better efficiency–accuracy trade-off. Extensive experiments demonstrate state-of-the-art performance, as evidenced by 99.47\\% accuracy and 1.23× faster prefill on OmniDocBench, achieved with 84.25\\% token retention when applied to DeepSeek-OCR-Large. Code is released.
","absKo":"DeepSeek-OCR는 visual–text compression을 활용해 긴 텍스트 처리 비용을 줄이고 inference를 가속화하지만, visual token은 여전히 중복되는 textual 및 structural information에 취약하다. 또한 기존 conventional vision–language model (VLMs)용 token pruning 방법은 부적절한 compression mechanism 때문에 textual fidelity를 보존하지 못한다. DeepSeek-OCR의 decoding process를 분석한 결과, 우리는 뚜렷한 two-stage reading trajectory를 발견했다. 모델은 먼저 high-norm token의 대부분을 우선시한 뒤, 이후 남은 token들로 attention을 재분배한다. 이 통찰에 동기를 받아, 우리는 DeepSeek-OCR에 특화된 two-stage token pruning 방법인 RTPrune을 제안한다. 첫 번째 stage에서는 중요한 textual 및 structural information을 담고 있는 high-norm visual token을 우선시한다. 두 번째 stage에서는 남은 token들을 optimal transport theory에 기반해 짝지어 merge함으로써 효율적인 feature aggregation을 달성한다. 또한 OCR task에 대해 token similarity와 textual density에 맞춰 조정되는 dynamic pruning ratio를 도입하여, 효율성과 정확도 사이의 더 나은 trade-off를 가능하게 한다. 광범위한 실험은 OmniDocBench에서 99.47\\% accuracy와 1.23× faster prefill로 state-of-the-art performance를 입증했으며, 이는 DeepSeek-OCR-Large에 적용했을 때 84.25\\% token retention으로 달성되었다. Code는 공개되어 있다.
"},{"id":"64631","en":"Resolving Blind Inverse Problems under Dynamic Range Compression via Structured Forward Operator Modeling","ko":"구조화된 Forward Operator 모델링을 통한 Dynamic Range Compression 하의 Blind 역문제 해결","authors":"Muyu Liu, Xuanyu Tian, Chenhe Du, Qing Wu, Hongjiang Wei, Yuyao Zhang","pos":"#1213","link":"https://openreview.net/forum?id=LTp4Q9aNJP","abs":"Recovering radiometric fidelity from unknown dynamic range compression (UDRC), such as low-light enhancement and HDR reconstruction, is a challenging blind inverse problem, due to the unknown forward model and irreversible information loss introduced by compression. To address this challenge, we first identify monotonicity as the fundamental physical invariant shared across UDRC tasks. Leveraging this insight, we introduce the cascaded monotonic Bernstein (CaMB) operator to parameterize the unknown forward model. CaMB enforces monotonicity as a hard architectural inductive bias, constraining optimization to physically consistent mappings and enabling robust and stable operator estimation. We further integrate CaMB with a plug-and-play diffusion framework, proposing CaMB-Diff. Within this framework, the diffusion model serves as a powerful geometric prior for structural and semantic recovery, while CaMB explicitly models and corrects radiometric distortions through a physically grounded forward operator. Extensive experiments on a variety of zero-shot UDRC tasks, including low-light enhancement, low-field MRI enhancement, and HDR reconstruction, demonstrate that CaMB-Diff significantly outperforms state-of-the-art zero-shot baselines in terms of both signal fidelity and physical consistency. Moreover, we empirically validate the effectiveness of the proposed CaMB parameterization in accurately modeling the unknown forward operator.
","absKo":"low-light enhancement와 HDR reconstruction과 같은 unknown dynamic range compression (UDRC)에서 radiometric fidelity를 복원하는 일은, 알려지지 않은 forward model과 compression으로 인한 비가역적 정보 손실 때문에 어려운 blind inverse problem이다. 이 문제를 해결하기 위해, 우리는 먼저 UDRC 작업 전반에 걸쳐 공유되는 근본적인 물리적 불변량으로 monotonicity를 식별한다. 이 통찰을 바탕으로, 알려지지 않은 forward model을 parameterize하기 위해 cascaded monotonic Bernstein (CaMB) operator를 도입한다. CaMB는 monotonicity를 hard architectural inductive bias로 강제하여, 최적화를 물리적으로 일관된 mapping으로 제한하고 견고하고 안정적인 operator estimation을 가능하게 한다. 또한 CaMB를 plug-and-play diffusion framework와 통합하여 CaMB-Diff를 제안한다. 이 프레임워크에서 diffusion model은 구조적 및 의미적 복원을 위한 강력한 geometric prior로 작동하는 반면, CaMB는 물리적으로 정립된 forward operator를 통해 radiometric distortion을 명시적으로 모델링하고 보정한다. low-light enhancement, low-field MRI enhancement, HDR reconstruction을 포함한 다양한 zero-shot UDRC 작업에 대한 광범위한 실험은, CaMB-Diff가 signal fidelity와 physical consistency 양쪽에서 state-of-the-art zero-shot baselines를 크게 능가함을 보여준다. 또한 우리는 제안한 CaMB parameterization이 알려지지 않은 forward operator를 정확히 모델링하는 데 효과적임을 실증적으로 검증한다.
"},{"id":"61794","en":"Revisiting Coding-Based Approaches to Overcome the Curse of Dimensionality in Learning-Based Watermarking","ko":"학습 기반 Watermarking에서 차원의 저주를 극복하기 위한 Coding 기반 접근 재고찰","authors":"Yupeng Qiu, Han Fang, Ee-Chien Chang","pos":"#1214","link":"https://openreview.net/forum?id=msoH5OGwdt","abs":"Deep learning–based watermarking has substantially improved robustness to real-world noise, but its performance degrades as the payload dimension increases. In contrast, coding-based methods such as quantization index modulation (QIM) do not suffer from this curse of dimensionality, although they are less robust to real-world noise. To leverage the strengths of both approaches, we propose OrthoMark, a framework that decouples robust feature extraction from message encoding. OrthoMark first learns a distortion-invariant feature representation using a deep robust feature extractor, and then performs watermark encoding and decoding in this feature domain using coding-based methods. Extensive experiments demonstrate that OrthoMark significantly improves the trade-off among visual quality, robustness, and capacity compared to prior deep watermarking methods, with particularly large gains in the high capacity regime, effectively overcoming the curse of dimensionality.
","absKo":"deep learning 기반 watermarking은 real-world noise에 대한 robustness를 크게 향상시켰지만, payload dimension이 증가하면 성능이 저하된다. 반면 quantization index modulation (QIM)과 같은 coding-based method는 이러한 dimensionality curse를 겪지 않지만, real-world noise에 대한 robustness는 더 낮다. 두 접근의 장점을 활용하기 위해 우리는 robust feature extraction과 message encoding을 분리하는 framework인 OrthoMark를 제안한다. OrthoMark는 먼저 deep robust feature extractor를 사용해 distortion-invariant feature representation을 학습한 뒤, coding-based method를 사용하여 이 feature domain에서 watermark encoding과 decoding을 수행한다. 광범위한 실험은 OrthoMark가 기존 deep watermarking method와 비교해 visual quality, robustness, capacity 간의 trade-off를 크게 개선하며, 특히 high-capacity regime에서 매우 큰 향상을 보여 dimensionality curse를 효과적으로 극복함을 입증한다.
"},{"id":"61966","en":"Revisiting Uncertainty: On Evidential Learning for Partially Relevant Video Retrieval","ko":"불확실성 재조명: 부분적으로 관련된 video retrieval을 위한 evidential learning","authors":"Jun Li, Peifeng Lai, Xuhang Lou, Jinpeng Wang, Yuting Wang, Ke Chen, Yaowei Wang, Shutao Xia","pos":"#1215","link":"https://openreview.net/forum?id=lA85cqhMh0","abs":"Partially relevant video retrieval aims to retrieve untrimmed videos using text queries that describe only partial content. However, the inherent asymmetry between brief queries and rich video content inevitably introduces uncertainty into the retrieval process. In this setting, vague queries often induce semantic ambiguity across videos, a challenge that is further exacerbated by the sparse temporal supervision within videos, which fails to provide sufficient matching evidence. To address this, we propose Holmes, a hierarchical evidential learning framework that aggregates multi-granular cross-modal evidence to quantify and model uncertainty explicitly. At the inter-video level, similarity scores are interpreted as evidential support and modeled via a Dirichlet distribution. Based on the proposed three-fold principle, we perform fine-grained query identification, which then guides query-adaptive calibrated learning. At the intra-video level, to accumulate denser evidence, we formulate a soft query-clip alignment via flexible optimal transport with an adaptive dustbin, which alleviates sparse temporal supervision while suppressing spurious local responses. Extensive experiments demonstrate that Holmes outperforms state-of-the-art methods. Code is released at https://anonymous.4open.science/r/ICML26-Holmes-E77B/
","absKo":"Partially relevant video retrieval은 텍스트 query가 일부 내용만 설명하는 경우에도 untrimmed video를 검색하는 것을 목표로 한다. 그러나 짧은 query와 풍부한 video content 사이의 본질적인 비대칭성은 필연적으로 retrieval 과정에 uncertainty를 도입한다. 이 설정에서는 모호한 query가 종종 video 전반에 걸친 semantic ambiguity를 유발하며, video 내부의 sparse temporal supervision은 충분한 matching evidence를 제공하지 못해 이러한 문제가 더욱 심해진다. 이를 해결하기 위해 우리는 다중 granularity의 cross-modal evidence를 집계하여 uncertainty를 명시적으로 정량화하고 모델링하는 hierarchical evidential learning framework인 Holmes를 제안한다. inter-video 수준에서는 similarity score를 evidential support로 해석하고 Dirichlet distribution으로 모델링한다. 제안한 three-fold principle에 기반해, 우리는 fine-grained query identification을 수행하고, 이는 다시 query-adaptive calibrated learning을 안내한다. intra-video 수준에서는 더 조밀한 evidence를 축적하기 위해, adaptive dustbin을 갖는 flexible optimal transport를 통해 soft query-clip alignment를 정식화하여 sparse temporal supervision을 완화하는 동시에 spurious local response를 억제한다. 광범위한 실험은 Holmes가 state-of-the-art method를 능가함을 보여준다. Code는 https://anonymous.4open.science/r/ICML26-Holmes-E77B/ 에 공개되어 있다.
"},{"id":"63741","en":"MoVie: Multimodal Video Compression with Text Guidance","ko":"MoVie: 텍스트 가이던스를 활용한 멀티모달 비디오 압축","authors":"Jiaqi Hu, Haoji Hu, Heming Sun, Lianrui Mu","pos":"#1302","link":"https://openreview.net/forum?id=U80aF9bwQZ","abs":"Most deep video codecs emphasize low-level motion modeling and remain largely semantics-agnostic, which can degrade perceptual quality in complex scenes. We propose **MoVie**, a **M**ultim**o**dal **Vi**d**e**o compression framework built on a Text-guided Video Transformer–CNN Mixed block (*Text-VideoTCM*). MoVie adopts a video-centric architecture that jointly models local spatial structures and temporal dynamics via window-based processing, delivering a favorable computation--perception trade-off. To incorporate semantics, we introduce dual-stage text fusion with *Extractor* and *Injector* modules. We further present history-conditioned coding that leverages both previous and aggregated historical frames, and a spatial--channel factorized entropy model that estimates probabilities over spatial neighborhoods and channel groups for adaptive bit allocation. Together, these designs reduce redundancy and improve rate control and temporal coherence, yielding reconstructions at low bitrates. On UVG and MCL-JCV, MoVie achieves **$-$50.23\\%** BD-rate for FID and **$-$14.64\\%** for LPIPS (VGGNet) relative to HM, while requiring only **55.76\\%** of DCVC-FM's per-pixel kMACs.","absKo":"대부분의 deep video codec은 low-level motion modeling을 중시하며 semantics에는 대체로 무감각하여, 복잡한 scene에서 perceptual quality가 저하될 수 있다. 우리는 Text-guided Video Transformer–CNN Mixed block(*Text-VideoTCM*)을 기반으로 한 **M**ultim**o**dal **Vi**d**e**o compression framework인 **MoVie**를 제안한다. MoVie는 window-based processing을 통해 local spatial structure와 temporal dynamics를 공동으로 모델링하는 video-centric architecture를 채택하여, 계산량과 지각 품질 사이의 우수한 trade-off를 제공한다. semantics를 통합하기 위해, 우리는 *Extractor*와 *Injector* 모듈을 갖는 dual-stage text fusion을 도입한다. 또한 우리는 이전 프레임과 누적된 historical frame 모두를 활용하는 history-conditioned coding과, adaptive bit allocation을 위해 spatial neighborhood와 channel group에 대한 확률을 추정하는 spatial--channel factorized entropy model을 제시한다. 이 설계들은 함께 redundancy를 줄이고 rate control과 temporal coherence를 향상시켜, 낮은 bitrate에서의 복원을 가능하게 한다. UVG와 MCL-JCV에서 MoVie는 HM 대비 FID에서 **$-$50.23\\%**, LPIPS(VGGNet)에서 **$-$14.64\\%**의 BD-rate를 달성하며, per-pixel kMACs는 DCVC-FM의 **55.76\\%**만 필요로 한다."},{"id":"63286","en":"Lottery Prior: Randomized Neural Compression for Zero-Shot Inverse Problems","ko":"Lottery Prior: Zero-Shot 역문제를 위한 무작위화 신경 압축","authors":"Haotian Wu, Di You, Pier Luigi Dragotti, Deniz Gunduz","pos":"#1305","link":"https://openreview.net/forum?id=YNoQhMrps4","abs":"We study zero-shot inverse problems, where a clean signal is recovered from a single degraded observation without external training data. Contrary to the common belief that such problems require highly complex models, we show that a lightweight neural network, when combined with entropy and complexity regularization in a compression-based formulation, is sufficient for high-quality restoration. We propose Lottery Prior, a compression-based inverse solver that leverages architectural priors from random networks and induces a family of implicit priors through randomness, enabling ensemble-based refinement. We further derive non-asymptotic error bounds for compression-based maximum-likelihood inverse solvers, revealing how rate–distortion constraints act as implicit regularizers. Experiments on denoising, noisy super-resolution, and inpainting demonstrate that our method achieves state-of-the-art with significantly fewer effective parameters.
","absKo":"우리는 zero-shot inverse problem을 연구한다. 여기서 깨끗한 신호는 외부 학습 데이터 없이 단 하나의 열화된 관측값으로부터 복원된다. 이러한 문제가 고도로 복잡한 모델을 필요로 한다는 일반적인 믿음과 달리, 우리는 compression-based formulation에서 entropy와 complexity regularization을 결합하면 가벼운 neural network만으로도 고품질 복원이 가능함을 보인다. 우리는 random network에서 유도된 architectural prior를 활용하고, randomness를 통해 implicit prior의 family를 형성하여 ensemble-based refinement를 가능하게 하는 compression-based inverse solver인 Lottery Prior를 제안한다. 또한 compression-based maximum-likelihood inverse solver에 대한 non-asymptotic error bound를 도출하여, rate-distortion constraint가 implicit regularizer로 작동하는 방식을 밝힌다. denoising, noisy super-resolution, inpainting 실험에서 우리의 방법은 훨씬 적은 effective parameter로 state-of-the-art 성능을 달성함을 보인다.
"},{"id":"63126","en":"Learning Generalized Trackers with Elastic Token Budgets","ko":"탄력적 토큰 예산을 갖춘 일반화 추적기 학습","authors":"Yinchao Ma, Jianpeng Yang, Yuyang Tang, Jie Xiao, Dengqing Yang, Tianzhu Zhang","pos":"#1306","link":"https://openreview.net/forum?id=ZqDqQc5Nyr","abs":"Visual tracking aims to estimate target states in video sequences, with applications spanning diverse computational requirements. Recent methods optimize trackers using manually pruned image tokens with a fixed budget to reduce computational costs. However, these trackers, once trained, are constrained to perform tracking under a fixed computational budget, limiting their adaptability to real-world computational diversity. To address the above limitation, we provide the first exploration of the elastic token budget training framework (ETBTrack), enabling trackers to perform robust tracking under varying computational budgets. It enjoys several merits. First, we present a novel result-driven importance criteria, in which we optimize a policy network guided by the localization precision of the tracker to estimate token importance, thereby aligning the objectives of importance estimation and tracking precision. Second, we develop a new budget-collaborative optimization strategy, in which we collaboratively optimize the tracker across varying budgets, thereby enabling the tracker to be compatible with diverse budgets. Two optimization processes are performed alternately to enhance the capability of elastic inference. Extensive experiments on large-scale benchmarks demonstrate the effectiveness of our method. Codes will be released.
","absKo":"Visual tracking은 다양한 computational requirement를 아우르는 video sequence에서 target state를 추정하는 것을 목표로 한다. 최근 방법들은 계산 비용을 줄이기 위해 고정된 budget 하에서 수동으로 pruned된 image token을 사용해 tracker를 최적화한다. 그러나 이렇게 학습된 tracker는 고정된 computational budget 하에서만 tracking을 수행하도록 제약되어, 실제 환경의 다양한 계산 자원에 대한 적응성이 제한된다. 이러한 한계를 해결하기 위해 우리는 elastic token budget training framework(ETBTrack)의 첫 탐구를 제시하며, tracker가 변화하는 computational budget 하에서도 견고하게 tracking을 수행할 수 있게 한다. 이는 여러 장점을 가진다. 첫째, 우리는 result-driven importance criteria라는 새로운 기준을 제시한다. 여기서 tracker의 localization precision으로 유도되는 policy network를 최적화하여 token importance를 추정함으로써, importance estimation과 tracking precision의 목적을 정렬한다. 둘째, 다양한 budget 전반에서 tracker를 공동으로 최적화하는 budget-collaborative optimization strategy를 개발하여, tracker가 여러 budget과 호환되도록 한다. 탄력적 inference 능력을 향상시키기 위해 두 최적화 과정을 번갈아 수행한다. 대규모 benchmark에서의 광범위한 실험은 본 방법의 효과를 입증한다. 코드는 공개될 예정이다."},{"id":"65659","en":"Inference Time Concept Removal Guidance for Text-to-Image Diffusion Models","ko":"Text-to-Image Diffusion 모델을 위한 추론 시점 개념 제거 가이던스","authors":"Yoonseok Choi, Chaeyoung Oh, Hyunjun Choi, Seokin Seo, Kee-Eung Kim","pos":"#1310","link":"https://openreview.net/forum?id=BSDvEh7oqy","abs":"Text-to-image diffusion models remain vulnerable to adversarial prompts that elicit disallowed content, motivating reliable inference-time controls. A popular approach is negative guidance, which subtracts a negative-prompt direction with a fixed weight. However, it often forces a safety–fidelity trade-off, causing artifacts or prompt drift when over-applied and failing under attacks when under-applied. Recent dynamic variants reweight guidance using posterior-odds signals, which can be brittle for open-vocabulary compositional prompts, while lightweight similarity-based methods do not leverage the evolving image evidence along the denoising trajectory. We introduce Concept Removal Guidance (CRG), a training-free, plug-and-play method that estimates unwanted-concept presence at each diffusion step using only the noise predictions from the model, and then adaptively gates and calibrates negative guidance via a closed-form constrained update that enforces a target presence threshold while minimally perturbing the conditional trajectory. Across multiple red-teaming benchmarks, CRG significantly reduces attack success rates while improving benign fidelity, and additional suppression targets such as artist style and violence without fine-tuning or external classifiers.
","absKo":"Text-to-image diffusion model은 여전히 허용되지 않는 콘텐츠를 유도하는 adversarial prompt에 취약하여, 신뢰할 수 있는 inference-time control의 필요성을 낳는다. 널리 쓰이는 접근법은 fixed weight로 negative-prompt direction을 빼는 negative guidance이지만, 과도하게 적용하면 artifact나 prompt drift를 일으켜 safety–fidelity trade-off를 강요하고, 부족하게 적용하면 attack을 막지 못하는 경우가 많다. 최근의 dynamic variant는 posterior-odds signal을 사용해 guidance를 재가중하지만, open-vocabulary compositional prompt에서는 취약할 수 있으며, 경량 similarity-based 방법은 denoising trajectory를 따라 변화하는 image evidence를 활용하지 못한다. 우리는 Concept Removal Guidance (CRG)를 제안한다. CRG는 training-free, plug-and-play method로서 모델의 noise prediction만을 사용해 diffusion 각 step에서 unwanted concept의 존재를 추정한 뒤, target presence threshold를 강제하면서 conditional trajectory를 최소한으로만 교란하는 closed-form constrained update를 통해 negative guidance를 적응적으로 gate하고 calibrate한다. 여러 red-teaming benchmark에서 CRG는 benign fidelity를 향상시키면서 attack success rate를 크게 낮추며, fine-tuning이나 external classifier 없이도 artist style, violence와 같은 추가 suppression target에 대응한다.
"},{"id":"64367","en":"ImpQuant: Fine-Grained Importance-Aware Quantization for Large Vision-Language Models","ko":"ImpQuant: 대형 Vision-Language 모델을 위한 세밀한 중요도 인식 양자화","authors":"Jundong Zhou, Tianao Cai, Yujie Huang, Xinbing Wang, Guang-Zhong Yang, Nanyang Ye","pos":"#1311","link":"https://openreview.net/forum?id=OJT8L0dk2Q","abs":"Large Vision–Language Models (LVLMs) have demonstrated remarkable capabilities across diverse multimodal tasks, yet their high inference costs necessitate low-bit deployment. Existing post-training quantization (PTQ) pipelines primarily adopt methodologies from text-only LLMs by treating multimodal inputs as homogeneous sequences, overlooking the heterogeneous information density inherent in LVLMs. In this work, we present ImpQuant, an importance-aware PTQ framework tailored for LVLMs that mitigates low-bit accuracy degradation via fine-grained token-importance reweighted calibration and outlier-aware activation quantization. Our key insight is that quantization errors on decision-critical tokens disproportionately impact overall model behavior. Accordingly, we reweight the calibration loss using aggregated attention for textual tokens and a contextual redundancy metric for visual tokens, respectively. Across multiple LVLM backbones and diverse multimodal benchmarks, our approach consistently improves accuracy at low bitwidth and reduces quantization-induced object hallucinations compared to state-of-the-art PTQ baselines.
","absKo":"Large Vision–Language Models (LVLMs)는 다양한 multimodal task 전반에서 뛰어난 성능을 보여 왔지만, 높은 inference cost 때문에 low-bit 배포가 필요하다. 기존 post-training quantization (PTQ) pipeline은 주로 text-only LLM의 방법론을 multimodal input을 동질적인 sequence로 취급하는 방식으로 적용해 왔으며, LVLM에 내재된 이질적인 information density를 간과해 왔다. 본 연구에서는 LVLM에 맞춘 importance-aware PTQ framework인 ImpQuant를 제안한다. ImpQuant는 fine-grained token-importance reweighted calibration과 outlier-aware activation quantization을 통해 low-bit 정확도 저하를 완화한다. 우리의 핵심 통찰은 decision-critical token에서 발생하는 quantization error가 전체 model behavior에 불균형적으로 큰 영향을 미친다는 점이다. 이에 따라 textual token에는 aggregated attention을, visual token에는 contextual redundancy metric을 사용해 calibration loss를 각각 재가중한다. 여러 LVLM backbone과 다양한 multimodal benchmark 전반에서, 우리의 접근법은 state-of-the-art PTQ baseline 대비 low bitwidth에서 일관되게 정확도를 향상시키고 quantization으로 유발되는 object hallucination을 줄인다.
"},{"id":"63629","en":"Flash-GRPO: Efficient Alignment for Video Diffusion via One-Step Policy Optimization","ko":"Flash-GRPO: 한 번의 정책 최적화를 통한 비디오 diffusion의 효율적 정렬","authors":"Xiaoxuan He, Siming Fu, Zeyue Xue, Weijie Wang, Ruizhe He, Yuming Li, Dacheng Yin, Shuai Dong, Haoyang Huang, Hongfa Wang, Nan Duan, Bohan Zhuang","pos":"#1409","link":"https://openreview.net/forum?id=VHqDQ1BQVw","abs":"Group Relative Policy Optimization has emerged as essential for aligning video diffusion models with human preferences, but faces a critical computational bottleneck: training a 14B parametered model typically demands hundreds of GPU days per experiment. Existing efficiency methods reduce costs through sliding window subsampling training timesteps, but fundamentally compromise optimization, exhibiting severe instability and failing to reach full trajectory performance. We present Flash-GRPO, a single-step training framework that outperforms full trajectory training in alignment quality under low computational budgets while substantially improving training efficiency. Flash-GRPO addresses two critical challenges: iso-temporal grouping eliminates timestep-confounded variance by enforcing prompt-wise temporal consistency, decoupling policy performance from timestep difficulty; temporal gradient rectification neutralizes the time-dependent scaling factor that causes vastly inconsistent gradient magnitudes across timesteps. Experiments on 1.3B to 14B parameter models validate Flash-GRPO's effectiveness, demonstrating substantial training acceleration with consistent stability and state-of-the-art alignment quality.
","absKo":"Group Relative Policy Optimization은 video diffusion model을 human preference에 맞추는 데 필수적인 방법으로 부상했지만, 중대한 계산 병목에 직면해 있다. 14B parameter 모델을 학습하려면 일반적으로 실험당 수백 GPU-day가 필요하다. 기존의 효율화 방법은 sliding window subsampling training timestep을 통해 비용을 줄이지만, 근본적으로 optimization을 훼손하여 심각한 불안정성을 보이고 full trajectory performance에 도달하지 못한다. 우리는 낮은 계산 예산 하에서 alignment quality 면에서 full trajectory training을 능가하면서 학습 효율을 크게 향상시키는 single-step training framework인 Flash-GRPO를 제시한다. Flash-GRPO는 두 가지 핵심 과제를 해결한다. iso-temporal grouping은 prompt-wise temporal consistency를 강제하여 timestep에 의해 혼란된 variance를 제거하고, policy performance를 timestep difficulty와 분리한다. temporal gradient rectification은 timestep 전반에 걸쳐 크게 일관되지 않은 gradient magnitude를 유발하는 time-dependent scaling factor를 무력화한다. 1.3B에서 14B parameter 모델에 대한 실험은 Flash-GRPO의 효과를 검증하며, 일관된 안정성과 state-of-the-art alignment quality를 유지하면서 학습 가속이 크게 이루어짐을 보여준다.
"},{"id":"62195","en":"FlowNar: Scalable Streaming Narration for Long-Form Videos","ko":"FlowNar: 긴 형식의 비디오를 위한 확장형 Streaming Narration","authors":"Zeyun Zhong, Manuel Martin, Chengzhi Wu, David Schneider, Frederik DIEDERICHS, Juergen Gall, Jürgen Beyerer","pos":"#1410","link":"https://openreview.net/forum?id=iqB2sVJTEk","abs":"Recent Large Multimodal Models (LMMs), primarily designed for offline settings, are ill-suited for the dynamic requirements of streaming video. While recent online adaptations improve real-time processing, they still face critical scalability challenges, with resource demands typically growing at least linearly with video duration. To overcome this bottleneck, we propose FlowNar, a novel framework for scalable streaming video narration. The core of FlowNar is a dynamic context management strategy for historical visual context removal, combined with our novel CLAM (Cross Linear Attentive Memory) module for streaming visual history retention, ensuring bounded visual memory usage and computational complexity, crucial for efficient streaming. We also introduce a realistic autoregressive evaluation protocol and complementary evaluation metrics to assess streaming narration models under deployment-like conditions. Experiments on Ego4D, EgoExo4D, and EpicKitchens100 datasets demonstrate that FlowNar substantially improves narration quality over strong baselines while being highly efficient, supporting processing of 10$\\times$ longer videos and achieving 3$\\times$ higher throughput (FPS).","absKo":"최근 Large Multimodal Models (LMMs)는 주로 offline setting을 위해 설계되어, streaming video의 동적인 요구에 적합하지 않다. 최근의 online adaptation은 실시간 처리를 개선하지만, 비디오 길이에 따라 자원 요구량이 대체로 적어도 선형으로 증가한다는 중요한 확장성 문제는 여전히 남아 있다. 이러한 병목을 해결하기 위해, 우리는 scalable streaming video narration을 위한 새로운 framework인 FlowNar를 제안한다. FlowNar의 핵심은 과거 visual context 제거를 위한 dynamic context management strategy와, streaming visual history retention을 위한 새로운 CLAM (Cross Linear Attentive Memory) module의 결합으로, 효율적인 streaming에 필수적인 bounded visual memory usage와 computational complexity를 보장한다. 또한 우리는 현실적인 autoregressive evaluation protocol과 보완적 evaluation metric을 도입하여, 배포 환경과 유사한 조건에서 streaming narration model을 평가한다. Ego4D, EgoExo4D, EpicKitchens100 dataset에서의 실험은 FlowNar가 강력한 baseline보다 narration quality를 크게 향상시키면서도 매우 효율적임을 보여주며, 10$\\times$ 더 긴 video 처리와 3$\\times$ 더 높은 throughput (FPS)을 가능하게 함을 입증한다."},{"id":"63189","en":"Bend the Basics: Degradation-Aware Deformable Tokenization for All-in-One Image Restoration","ko":"기본을 구부려라: 올인원 이미지 복원을 위한 열화 인지 변형 가능 토큰화","authors":"Zihao He, Yunfeng Wu, Xinchao Wang, Songhua Liu","pos":"#1511","link":"https://openreview.net/forum?id=ZFOA8DZqhl","abs":"All-in-one image restoration seeks a single model that can recover images degraded by diverse and spatially non-uniform corruptions. However, many unified Transformers rely on fixed patch partitioning: task/degradation condition is injected only into the backbone blocks after tokenization, leaving the embedding and reconstruction stages insensitive to local degradation variations. In contrast to previous approaches, we present \\textbf{Flexible Image Transformer (FIT) that explicitly models degradation awareness across the \\emph{entire} pipeline, from patch sampling to pixel reconstruction. Specifically, FIT employs a lightweight Degradation Encoder to predict a global degradation vector $\\mathbf{g}$ and a spatial degradation map $\\mathbf{M}$ from local degradation severity, {which jointly condition the patch embedding and unembedding through adaptive deformation. Moreover, to improve robustness across degradation types, we introduce a task-token dropout strategy that regularizes task conditioning during training. On five standard benchmarks (BSD68, Rain100L, SOTS, GoPro, and LOLv1), FIT achieves state-of-the-art performance with {30.72 dB} average PSNR on the five-degradation setting and 32.83 dB on the three-degradation setting, outperforming recent unified restoration methods by +0.5$\\sim$1.1 dB. Moreover, the learned offsets provide a direct handle for visualizing degradation-aware spatial adaptation.","absKo":"All-in-one image restoration은 다양한 그리고 공간적으로 비균일한 corruption으로 열화된 이미지를 복원할 수 있는 단일 model을 목표로 한다. 그러나 많은 unified Transformer는 고정된 patch partitioning에 의존한다. 즉, task/degradation condition은 tokenization 이후 backbone block에만 주입되어 embedding과 reconstruction stage는 국소적인 degradation 변화를 민감하게 반영하지 못한다. 기존 접근과 달리, 우리는 patch sampling부터 pixel reconstruction까지 전체 pipeline 전반에서 degradation awareness를 명시적으로 모델링하는 Flexible Image Transformer (FIT)를 제안한다. 구체적으로, FIT는 lightweight Degradation Encoder를 사용하여 local degradation severity로부터 global degradation vector $\\mathbf{g}$와 spatial degradation map $\\mathbf{M}$을 예측하며, {이 둘은 adaptive deformation을 통해 patch embedding과 unembedding을 공동으로 조건화한다. 또한 degradation type 전반에서의 robustness를 향상시키기 위해, 학습 중 task conditioning을 regularize하는 task-token dropout strategy를 도입한다. 다섯 개의 표준 benchmark(BSD68, Rain100L, SOTS, GoPro, LOLv1)에서 FIT는 five-degradation setting에서 평균 PSNR {30.72 dB}, three-degradation setting에서 32.83 dB를 달성하며 state-of-the-art 성능을 보였고, 최근의 unified restoration method보다 +0.5$\\sim$1.1 dB 향상되었다. 더 나아가, 학습된 offset은 degradation-aware spatial adaptation을 시각화하기 위한 직접적인 수단을 제공한다."},{"id":"64968","en":"Absorbing Quantization Error by Deformable Noise Scheduler for Diffusion Models","ko":"Diffusion Model을 위한 Deformable Noise Scheduler를 통한 Quantization Error 흡수","authors":"Mingrui Yang, Wei Huang, Hao Nan SHENG, Donglin Yang, Jichang Yang, Xin Yu, Huining Yu, Yuzhong Jiao, Zhongrui Wang, XIAOJUAN QI","pos":"#1516","link":"https://openreview.net/forum?id=IHST9i1wP4","abs":"Diffusion models deliver state-of-the-art image quality but are expensive to deploy. Post-training quantization (PTQ) can shrink models and speed up inference, yet residual quantization errors distort the diffusion distribution (the timestep-wise marginal over $\\vx_t$), degrading sample quality. We propose a distribution-preserving framework that absorbs quantization error into the generative process without changing architecture or adding steps. Deformable Noise Scheduler (DNS) reinterprets quantization as a principled timestep shift, mapping the quantized prediction distribution $\\vx_t$ back onto the original diffusion distribution so that the target marginal is preserved. Unlike trajectory-preserving or noise-injection methods limited to stochastic samplers, our approach preserves the distribution under both stochastic and deterministic samplers and extends to flow-matching with Gaussian conditional paths. It is plug-and-play and complements existing PTQ schemes. Empirically, our method consistently enhances generation quality across diverse backbones and existing PTQ baselines. Notably, when further quantizing the FP16 LoRA branch of SVDQuant to enable fully integer inference, our approach effectively mitigates the performance drop, reducing FID from 27.16 to 26.22.","absKo":"Diffusion model은 state-of-the-art image quality를 제공하지만 배포 비용이 크다. Post-training quantization (PTQ)은 모델 크기를 줄이고 inference를 가속할 수 있지만, residual quantization error가 diffusion distribution($\\vx_t$에 대한 timestep-wise marginal)을 왜곡하여 sample quality를 떨어뜨린다. 우리는 architecture를 바꾸거나 step을 추가하지 않고도 quantization error를 generative process에 흡수하는 distribution-preserving framework를 제안한다. Deformable Noise Scheduler (DNS)는 quantization을 원칙적인 timestep shift로 재해석하여, quantized prediction distribution $\\vx_t$를 원래 diffusion distribution에 다시 매핑함으로써 target marginal이 보존되도록 한다. stochastic sampler에만 제한되는 trajectory-preserving이나 noise-injection method와 달리, 우리의 접근은 stochastic 및 deterministic sampler 모두에서 distribution을 보존하며, Gaussian conditional path를 사용하는 flow-matching에도 확장된다. 또한 이는 plug-and-play 방식이며 기존 PTQ scheme과도 호환된다. 실험적으로, 우리의 방법은 다양한 backbone과 기존 PTQ baseline 전반에서 generation quality를 일관되게 향상시킨다. 특히 fully integer inference를 가능하게 하도록 SVDQuant의 FP16 LoRA branch를 추가로 quantize했을 때, 우리의 접근은 성능 저하를 효과적으로 완화하여 FID를 27.16에서 26.22로 낮춘다."},{"id":"60837","en":"SpeedVFI: One-step Diffusion for Efficient Video Frame Interpolation","ko":"SpeedVFI: 효율적인 Video Frame Interpolation을 위한 One-Step Diffusion","authors":"Ganggui Ding, Xiaogang Xu, Hao Chen, Chunhua Shen","pos":"#2404","link":"https://openreview.net/forum?id=wBfJTBlM5d","abs":"
Generative video diffusion models have shown strong robustness to large motion and occlusions for video frame interpolation (VFI). However, their inference efficiency lags significantly behind learning-based methods due to the structural redundancy of pairwise inference and the procedural latency of multi-step iterative denoising. To address these limitations, we propose SpeedVFI, a one-step diffusion framework that achieves dual efficiency improvements by interpolating the entire video sequence in a single forward pass to eliminate pairwise overhead, and distilling the generation trajectory into a one-step denoising process to bypass iterative latency. To support this high-efficiency architecture, we introduce temporal RoPE alignment to ensure temporal consistency across the unified sequence, and noise-centric partial attention to reduce computational overhead while preserving global context. Extensive experiments demonstrate that SpeedVFI accelerates diffusion-based VFI by orders of magnitude while maintaining competitive quantitative and visual quality.
","absKo":"Generative video diffusion model은 video frame interpolation(VFI)에서 큰 motion과 occlusion에 대해 강한 robustness를 보여 왔다. 그러나 pairwise inference의 구조적 redundancy와 multi-step iterative denoising의 절차적 latency 때문에, 추론 효율은 learning-based method에 비해 크게 뒤처진다. 이러한 한계를 해결하기 위해, 우리는 전체 video sequence를 단일 forward pass로 보간하여 pairwise overhead를 제거하고, 생성 trajectory를 one-step denoising process로 distill하여 iterative latency를 우회하는 one-step diffusion framework인 SpeedVFI를 제안한다. 이 고효율 architecture를 지원하기 위해, 통합된 sequence 전반의 temporal consistency를 보장하는 temporal RoPE alignment와 전역 context를 유지하면서 계산 오버헤드를 줄이는 noise-centric partial attention을 도입한다. 광범위한 실험은 SpeedVFI가 diffusion 기반 VFI를 orders of magnitude만큼 가속하면서도 경쟁력 있는 정량적 및 시각적 품질을 유지함을 보여 준다.
"},{"id":"65111","en":"WorldPlay: Towards Long-Term Geometric Consistency for Real-Time Interactive World Modeling","ko":"WorldPlay: 실시간 인터랙티브 World Modeling을 위한 장기 기하학적 일관성","authors":"Wenqiang Sun, Haiyu Zhang, Haoyuan Wang, Junta Wu, Zehan Wang, Zhenwei Wang, Yunhong Wang, Jun Zhang, Tengfei Wang, Chunchao Guo","pos":"#2411","link":"https://openreview.net/forum?id=GfSwkDSr8J","abs":"This paper presents WorldPlay, a streaming video diffusion model that enables real-time, interactive world modeling with long-term geometric consistency, resolving the trade-off between speed and memory that limits current methods. WorldPlay draws power from three key innovations. 1) We use a Dual Action Representation to enable robust action control in response to the user's keyboard and mouse inputs. 2) To enforce long-term consistency, our Reconstituted Context Memory dynamically rebuilds context from past frames and uses temporal reframing to keep geometrically important but long-past frames accessible, effectively alleviating memory attenuation. 3) We also propose Context Forcing, a novel distillation method designed for memory-aware model. Aligning memory context between the teacher and student preserves the student's capacity to use long-range information, enabling real-time speeds while preventing error drift. Taken together, WorldPlay generates long-horizon streaming 720p video at 24 FPS with superior consistency, comparing favorably with existing techniques and showing strong generalization across diverse scenes.
","absKo":"이 논문은 WorldPlay를 소개한다. WorldPlay는 스트리밍 video diffusion model로, 장기적인 geometric consistency를 유지하면서 실시간 상호작용형 world modeling을 가능하게 하여, 현재 방법의 한계인 속도와 메모리 간 trade-off를 해결한다. WorldPlay는 세 가지 핵심 혁신을 기반으로 한다. 1) 사용자의 keyboard와 mouse 입력에 응답하는 견고한 action control을 가능하게 하기 위해 Dual Action Representation을 사용한다. 2) 장기 일관성을 강제하기 위해, Reconstituted Context Memory는 과거 frame들로부터 context를 동적으로 재구성하고 temporal reframing을 사용해 기하학적으로 중요하지만 오래된 frame도 접근 가능하게 하여 memory attenuation을 효과적으로 완화한다. 3) 또한 memory-aware model을 위해 설계된 새로운 distillation 방법인 Context Forcing을 제안한다. teacher와 student 간의 memory context를 정렬함으로써 student가 장거리 정보를 활용하는 능력을 보존하고, error drift를 방지하면서 실시간 속도를 가능하게 한다. 종합하면, WorldPlay는 더 우수한 일관성을 갖춘 장기 horizon streaming 720p video를 24 FPS로 생성하며, 기존 기법과 비교해 경쟁력 있는 성능을 보이고 다양한 scene 전반에서 강한 generalization을 보인다.
"},{"id":"61035","en":"Boosting Video Diffusion Models via Masked Autoencoders as Tokenizers","ko":"Masked Autoencoder를 Tokenizer로 활용한 Video Diffusion Model 성능 향상","authors":"Zhan Tong, Tinne Tuytelaars","pos":"#2613","link":"https://openreview.net/forum?id=uLTgWANmgz","abs":"Latent diffusion models have become the dominant paradigm for video generation, making the video tokenizer a critical role. While most existing tokenizers are trained primarily for reconstruction, diffusion models are optimized to denoise heavily corrupted latents, which creates a mismatch between tokenizer training objectives and downstream generative learning. As a result, reconstruction metrics (e.g., rFVD) can be a poor proxy for generation quality (gFVD), and overly prioritizing reconstruction may even hinder diffusion training. We propose VideoMAETok, a simple family of ViT-based video tokenizers trained explicitly as corruption-inversion models for latent video diffusion. VideoMAETok builds on masked autoencoders: we (i) apply high-ratio token masking and encode only visible spatiotemporal tokens for efficiency, and (ii) corrupt latent tokens with interpolative Gaussian noise to better match the denoising nature of diffusion generators. Training under such corruption encourages latents that remain informative and well-conditioned for downstream denoising. Extensive experiments show that VideoMAETok consistently improves generation quality when paired with off-the-shelf diffusion models (SiT and LightningDiT), achieving state-of-the-art gFVD on Kinetics-600 and UCF-101 while remaining compute-efficient.
","absKo":"Latent diffusion model은 video generation의 지배적인 패러다임이 되었고, video tokenizer는 이에 따라 중요한 역할을 한다. 기존 tokenizer의 대부분은 주로 reconstruction을 위해 학습되는 반면, diffusion model은 심하게 손상된 latent를 denoise하도록 최적화되므로 tokenizer 학습 목표와 downstream generative learning 사이에 불일치가 발생한다. 그 결과 reconstruction metric(예: rFVD)은 generation quality(gFVD)의 좋은 대리변수로 작동하지 못할 수 있으며, reconstruction을 지나치게 우선시하면 diffusion training을 오히려 저해할 수도 있다. 우리는 latent video diffusion을 위한 corruption-inversion model로 명시적으로 학습된, ViT 기반 video tokenizer의 간단한 계열 VideoMAETok을 제안한다. VideoMAETok은 masked autoencoder를 기반으로 하며, 우리는 (i) 높은 비율의 token masking을 적용하고 효율성을 위해 visible spatiotemporal token만 encode하며, (ii) diffusion generator의 denoising 특성과 더 잘 맞추기 위해 latent token을 interpolative Gaussian noise로 corrupt한다. 이러한 corruption 하에서의 학습은 downstream denoising에 대해 정보성이 유지되고 잘 조건화된 latent를 유도한다. 광범위한 실험은 VideoMAETok이 off-the-shelf diffusion model (SiT 및 LightningDiT)과 결합될 때 generation quality를 일관되게 향상시킴을 보이며, compute-efficient함을 유지하면서 Kinetics-600과 UCF-101에서 state-of-the-art gFVD를 달성한다.
"},{"id":"65067","en":"SEMA: a Scalable and Efficient Mamba like Attention via Token Localization and Averaging","ko":"SEMA: Token Localization 및 Averaging을 통한 확장 가능하고 효율적인 Mamba 유사 Attention","authors":"Nhat Thanh Tran, Fanghui Xue, shuai zhang, Jiancheng Lyu, Yunling Zheng, YINGYONG QI, Jack Xin","pos":"#2701","link":"https://openreview.net/forum?id=H3vDDSHWos","abs":"Attention is the critical component of a transformer. Yet the quadratic computational complexity of vanilla full attention in the input size and the inability of its linear attention variant to focus have been challenges for computer vision tasks. We provide a mathematical definition of generalized attention and formulate both vanilla softmax attention and linear attention within the general framework. We prove that generalized attention disperses, that is, as the number of keys tends to infinity, the query assigns equal weights to all keys. Motivated by the dispersion property and recent development of Mamba form of attention, we design Scalable and Efficient Mamba like Attention (SEMA) which utilizes token localization to avoid dispersion and maintain focusing, complemented by theoretically consistent arithmetic averaging to capture global aspect of attention. We support our approach on Imagenet-1k where classification results show that SEMA is a scalable and effective alternative beyond linear attention, outperforming recent vision Mamba models on increasingly larger scales of images at similar model parameter sizes.
","absKo":"Attention은 transformer의 핵심 구성 요소이다. 그러나 입력 크기에 대해 vanilla full attention이 갖는 quadratic computational complexity와, linear attention 변형이 집중(focus)하지 못하는 문제는 computer vision 과제에서 도전 과제로 남아 있다. 우리는 generalized attention의 수학적 정의를 제시하고, vanilla softmax attention과 linear attention을 모두 일반적 틀로 정식화한다. 우리는 generalized attention이 dispersive하다는 것, 즉 key의 수가 무한대로 갈수록 query가 모든 key에 동일한 weight를 부여한다는 것을 증명한다. 이러한 dispersion 성질과 최근의 Mamba form of attention 발전에 착안해, 우리는 token localization을 활용하여 dispersion을 방지하고 focusing을 유지하며, 이와 함께 이론적으로 일관된 arithmetic averaging으로 attention의 전역적 측면을 포착하는 Scalable and Efficient Mamba like Attention(SEMA)을 설계한다. 우리는 Imagenet-1k에서 이 접근을 검증했으며, classification 결과는 SEMA가 linear attention을 넘어서는 scalable하고 effective한 대안임을 보여주고, 유사한 model parameter 크기에서 이미지 규모가 커질수록 최근의 vision Mamba model보다 더 뛰어난 성능을 보였다.
"},{"id":"64831","en":"SIPO: Stabilized and Improved Preference Optimization for Aligning Diffusion Models","ko":"SIPO: Diffusion Model 정렬을 위한 안정화 및 개선된 Preference Optimization","authors":"Xiaomeng Yang, Mengping Yang, Junyan Wang, Zhijian Zhou, Zhiyu Tan, Hao Li","pos":"#2703","link":"https://openreview.net/forum?id=JLgqmlc9S7","abs":"Preference learning has garnered extensive attention as an effective technique for aligning diffusion models with human preferences in visual generation tasks. However, existing alignment approaches such as Diffusion-DPO suffer from two fundamental challenges: training instability caused by high gradient variances at various timesteps and high parameter sensitivities, and off-policy bias arising from the discrepancy between the optimization data and the policy model's distribution. Our first contribution is a systematical analysis of the diffusion trajectories across different timesteps and identify that the instability primarily originates from early timesteps with low importance weights. To address these issues, we propose SIPO, a Stabilized and Improved preference Optimization framework for aligning diffusion models with human preferences. Concretely, a key gradient, \\emph{i.e.,} DPO-C&M is introduced to facilitate stabilize training by clipping and masking uninformative timesteps. Followed by a timestep aware importance re-weighting paradigm to fully correct off-policy bias and emphasize informative updates throughout the alignment process. Extensive experiments on various baseline models, including image generation models on SD1.5, SDXL, and video generation models CogVideoX-2B, CogVideoX-5B, and Wan2.1-1.3B, demonstrate that our SIPO consistently promotes stabilized training and outperforms existing alignment methods, with meticulous adjustments on parameters. Overall, these results highlight the importance of timestep-aware alignment and and provide valuable guidelines for improved preference optimization in diffusion models.
","absKo":"Preference learning은 시각 생성 task에서 diffusion model을 human preference에 맞추는 효과적인 기법으로 큰 주목을 받아왔다. 그러나 Diffusion-DPO와 같은 기존 alignment 접근은 두 가지 근본적인 문제를 겪는다. 다양한 timestep에서의 높은 gradient variance와 높은 parameter sensitivity로 인한 training instability, 그리고 optimization data와 policy model의 분포 간 불일치에서 비롯되는 off-policy bias이다. 우리의 첫 번째 기여는 서로 다른 timestep에 걸친 diffusion trajectory를 체계적으로 분석하고, 불안정성이 주로 importance weight가 낮은 초기 timestep에서 비롯됨을 밝히는 것이다. 이러한 문제를 해결하기 위해, 우리는 diffusion model을 human preference에 맞추기 위한 Stabilized and Improved preference Optimization 프레임워크인 SIPO를 제안한다. 구체적으로, 핵심 gradient인 \\emph{i.e.,} DPO-C&M을 도입하여 정보성이 낮은 timestep을 clipping하고 masking함으로써 training을 안정화한다. 이어서 timestep-aware importance re-weighting paradigm을 적용해 off-policy bias를 충분히 보정하고, alignment 과정 전반에서 정보성 있는 update를 강조한다. SD1.5와 SDXL의 image generation model, 그리고 CogVideoX-2B, CogVideoX-5B, Wan2.1-1.3B의 video generation model을 포함한 다양한 baseline model에 대한 광범위한 실험은, 우리의 SIPO가 일관되게 안정화된 training을 촉진하고 parameter를 세밀하게 조정했을 때 기존 alignment 방법을 능가함을 보여준다. 전반적으로, 이러한 결과는 timestep-aware alignment의 중요성을 부각하며 diffusion model에서 향상된 preference optimization을 위한 유용한 지침을 제공한다."},{"id":"66338","en":"Attacking Gray-Box Large Vision-Language Models with Adaptive SVD-Structured Adversarial Alignment","ko":"적응적 SVD 구조 적대적 정렬로 그레이박스 대규모 Vision-Language 모델 공격하기","authors":"Daizong Liu, Xiaowen Cai, Junhao Dong, Zhongliang Guo, Xiaoye Qu, Runwei Guan, Xiang Fang, Dengpan Ye","pos":"#3006","link":"https://openreview.net/forum?id=4ZDhekZMBt","abs":"Large vision-language models (LVLMs) have demonstrated remarkable capabilities across a wide range of multimodal reasoning tasks. However, recent research shows that they are susceptible to adversarial examples. Existing LVLM attack methods are generally deployed in the white- or black-box setting, which severely rely on full-model gradients or elaborated transfer strategies, resulting in large resource costs. To this end, this paper focuses on a more efficient gray-box attack setting by solely accessing LVLM's vision encoder. Instead of using target images as the adversarial guidance, our main goal is to perturb the visual feature to best match more natural attacker-chosen target texts. Specifically, we develop a global semantic alignment module to project the visual features onto the SVD-structured subspace spanned by the textual semantics. We also propose to align detailed visual features with multi-context semantic texts extended by LLMs over discrete distributions via optimal transport. Extensive experiments demonstrate the superiority of the proposed method, while our attack is further proven to achieve great transferability across various LVLMs with CLIP-aware transfer designs.
","absKo":"Large vision-language model (LVLM)은 다양한 multimodal reasoning task에서 뛰어난 능력을 보여주었다. 그러나 최근 연구는 이들이 adversarial example에 취약함을 보여준다. 기존 LVLM attack method는 일반적으로 white-box 또는 black-box setting으로 수행되며, full-model gradient나 정교한 transfer strategy에 크게 의존하므로 자원 비용이 크다. 이를 위해 본 논문은 LVLM의 vision encoder에만 접근하는 더 효율적인 gray-box attack setting에 초점을 맞춘다. target image를 adversarial guidance로 사용하는 대신, 우리의 주요 목표는 visual feature를 perturb하여 공격자가 선택한 더 자연스러운 target text와 가장 잘 맞추는 것이다. 구체적으로, 우리는 visual feature를 textual semantics가 span하는 SVD-structured subspace로 projection하는 global semantic alignment module을 개발한다. 또한 discrete distribution 상에서 LLM이 확장한 multi-context semantic text와 detailed visual feature를 optimal transport를 통해 align하는 방법도 제안한다. 광범위한 실험은 제안한 method의 우수성을 입증하며, 우리의 attack은 CLIP-aware transfer design을 통해 다양한 LVLM 간에 뛰어난 transferability를 보임도 추가로 입증된다.
"},{"id":"63361","en":"LightAVSeg: Lightweight Audio-Visual Segmentation","ko":"LightAVSeg: 경량 오디오-비주얼 분할","authors":"Qing Zhong, Guodong Ding, Lingqiao Liu, Zaiwen Feng, Lin Wu, Angela Yao","pos":"#3904","link":"https://openreview.net/forum?id=Xl7cAV0jdc","abs":"Audio-Visual Segmentation (AVS) targets pixel level localization of sounding emitting objects in videos. However, existing models rely on dense cross-modal attention with quadratic computational cost, limiting their suitability for resource efficient deployment. Most efficiency oriented methods focus on backbone reduction and overlook the interaction module as the primary bottleneck. This paper proposes LightAVSeg, a lightweight framework that replaces heavy attention with a decoupled design for semantic filtering and spatial grounding, resulting in interaction costs that scale linearly with spatial resolution. Furthermore, we introduce an auxiliary alignment loss to enforce semantic consistency during training with zero inference overhead. Extensive experiments demonstrate that LightAVSeg achieves a new state-of-the-art among lightweight methods: with 20.5M parameters (~1/7 of AVSegFormer), it reaches 50.4 mIoU on the MS3 benchmark and enables efficient inference on a mobile processor.
","absKo":"Audio-Visual Segmentation (AVS)는 비디오에서 소리를 내는 물체의 pixel-level localization을 목표로 한다. 그러나 기존 모델은 제곱 비용의 계산량을 갖는 dense cross-modal attention에 의존하여, 자원 효율적인 배치에 적합하지 않다. 효율성 지향 방법의 대부분은 backbone 축소에 초점을 맞추고 interaction module을 주요 병목으로 간과한다. 본 논문은 semantic filtering과 spatial grounding을 위해 무거운 attention을 decoupled design으로 대체하는 경량 프레임워크 LightAVSeg를 제안하며, 그 결과 spatial resolution에 선형적으로 스케일하는 interaction cost를 달성한다. 또한, zero inference overhead로 학습 중 semantic consistency를 강제하기 위한 auxiliary alignment loss를 도입한다. 광범위한 실험은 LightAVSeg가 경량 방법 중 새로운 state-of-the-art를 달성함을 보여준다. 20.5M parameters(AVSegFormer의 약 1/7)로 MS3 benchmark에서 50.4 mIoU를 달성하며, mobile processor에서 효율적인 추론을 가능하게 한다.
"},{"id":"64157","en":"Spectral Heat Flow for Conservative Token Condensation in Vision-Language Models","ko":"Vision-Language 모델에서 보존적 토큰 응축을 위한 스펙트럼 열 흐름","authors":"Zhaoyang Li, Yanjun Li, Wangkai Li, Yujia Chen, Tianzhu Zhang","pos":"#3914","link":"https://openreview.net/forum?id=QNdqUl17Un","abs":"Vision-Language Models (VLMs) are costly at inference time because they must process long sequences of visual tokens. Existing token pruning methods often degrade under high compression by blindly discarding information, breaking spatial structure or collapsing diversity. We propose SpecFlow, a training-free framework that shifts the paradigm from destructive pruning to conservative condensation, strictly enforcing spatial coverage and statistical conservation to ensure stability. Treating visual tokens as nodes in a $k$NN graph, SpecFlow (i) computes a stable importance field via spectral heat flow to preserve structural coherence, (ii) allocates budgets via adaptive spatial partitioning to guarantee coverage, and (iii) aggregates discarded information into coreset sinks to maintain statistical conservation. The method is plug-and-play, requires no fine-tuning, and is compatible with FlashAttention. Experiments confirm that our SpecFlow outperforms SOTA methods across tasks, VLM architectures, and pruning ratios. Notably, LLaVA-1.5 with SpecFlow retains 95.6\\% of original performance despite pruning 88.9\\% of visual tokens, offering an exceptional efficiency-accuracy balance.","absKo":"Vision-Language Models (VLMs)는 긴 visual token 시퀀스를 처리해야 하므로 inference 시 비용이 크다. 기존의 token pruning 방법들은 정보를 무작정 버려 공간 구조를 깨뜨리거나 다양성을 붕괴시키는 방식으로, 높은 압축률에서 성능이 저하되는 경우가 많다. 우리는 파괴적인 pruning에서 보수적인 condensation으로 패러다임을 전환하는 training-free framework인 SpecFlow를 제안하며, 공간적 coverage와 통계적 보존을 엄격히 보장하여 안정성을 확보한다. visual token을 $k$NN graph의 node로 간주하는 SpecFlow는 (i) spectral heat flow를 통해 구조적 일관성을 보존하는 안정적인 중요도 필드를 계산하고, (ii) adaptive spatial partitioning으로 budget을 할당하여 coverage를 보장하며, (iii) 버려진 정보를 coreset sink로 집약하여 통계적 보존을 유지한다. 이 방법은 plug-and-play이며 fine-tuning이 필요 없고 FlashAttention과도 호환된다. 실험 결과는 SpecFlow가 task, VLM architecture, pruning ratio 전반에서 SOTA 방법들을 능가함을 확인해 준다. 특히 LLaVA-1.5에 SpecFlow를 적용하면 visual token의 88.9\\%를 pruning하면서도 원래 성능의 95.6\\%를 유지하여, 효율성과 정확도 사이에서 탁월한 균형을 제공한다."},{"id":"66797","en":"FreeRet: MLLMs as Training-Free Retrievers","ko":"FreeRet: 학습 불필요 Retriever로서의 MLLM","authors":"Yuhan Zhu, Xiangyu Zeng, Chenting Wang, Xinhao Li, Chunxu Liu, Yicheng Xu, Ziang Yan, Yi Wang, Limin Wang","pos":"#4001","link":"https://openreview.net/forum?id=0Cq8Cqvuq4","abs":"Multimodal large language models (MLLMs) are emerging as versatile foundations for mixed-modality retrieval. Yet, they often require heavy post-hoc training to convert them into contrastive encoders for retrieval. This work asks: \\textit{Can off-the-shelf MLLMs serve as powerful retrievers without additional training?} We present \\textbf{FreeRet}, a plug‑and‑play framework that turns any MLLM into a two‑stage retriever. FreeRet first derives semantically grounded embeddings directly from the model for fast candidate search, and then exploits its reasoning ability for precise reranking. The framework contributes three advances: bypassing lexical alignment layers to obtain semantically faithful embeddings, conditioning representation generation with explicit priors, and mitigating framing effect in reranking via neutral choice framing. On the MMEB and MMEB-V2 benchmarks spanning 46 datasets, FreeRet substantially outperforms models trained on millions of pairs. Beyond benchmarks, FreeRet is model-agnostic and scales seamlessly across MLLM families and sizes, preserves their generative abilities, supports arbitrary modality combinations, and unifies retrieval, reranking, and generation into end-to-end RAG within a single model. Our findings demonstrate that pretrained MLLMs, when carefully harnessed, can serve as strong retrieval engines without training, closing a critical gap in their role as generalists.
","absKo":"Multimodal large language models (MLLMs)는 mixed-modality retrieval을 위한 범용적 기반으로 부상하고 있다. 그러나 이들은 종종 retrieval용 contrastive encoder로 전환하기 위해 무거운 post-hoc training을 필요로 한다. 본 연구는 다음 질문을 던진다: \\textit{추가 학습 없이 off-the-shelf MLLMs를 강력한 retriever로 사용할 수 있는가?} 우리는 어떤 MLLM이든 two-stage retriever로 바꾸는 plug-and-play framework인 \\textbf{FreeRet}를 제안한다. FreeRet는 먼저 모델로부터 직접 의미적으로 근거가 있는 embedding을 추출해 빠른 candidate search를 수행하고, 이어서 reasoning 능력을 활용해 정밀한 reranking을 수행한다. 이 framework는 세 가지 진전을 제공한다. lexical alignment layer를 우회하여 의미를 충실히 반영하는 embedding을 얻는 것, explicit prior로 representation generation을 조건화하는 것, 그리고 neutral choice framing을 통해 reranking에서 framing effect를 완화하는 것이다. 46개 dataset을 포괄하는 MMEB와 MMEB-V2 benchmark에서 FreeRet는 수백만 쌍으로 학습된 모델들을 크게 능가한다. benchmark를 넘어, FreeRet는 model-agnostic하며 MLLM family와 size 전반에 매끄럽게 확장되고, 생성 능력을 보존하며, 임의의 modality 조합을 지원하고, retrieval, reranking, generation을 단일 model 내에서 end-to-end RAG로 통합한다. 우리의 결과는 신중하게 활용된 pretrained MLLM이 학습 없이도 강력한 retrieval engine으로 기능할 수 있으며, generalist로서의 역할에서 중요한 간극을 메울 수 있음을 보여준다.
"},{"id":"64978","en":"Beyond Soft Labels: Unifying Dataset Pruning and Distillation for Efficient Large-scale Compression","ko":"Soft Label을 넘어서: 효율적 대규모 압축을 위한 Dataset Pruning과 Distillation 통합","authors":"Lingao Xiao, Songhua Liu, Yang He, Xinchao Wang","pos":"#4407","link":"https://openreview.net/forum?id=IAE5vKJUeY","abs":"Dataset pruning (DP) and dataset distillation (DD) fundamentally differ in their outputs: DP selects original image subsets, while DD generates synthetic images. Recently, DD's increasing reliance on original images suggests a convergence of the two directions. To investigate this convergence trend, we propose a unified dataset compression (DC) benchmark. This benchmark reveals an interesting trade-off for soft-label-DD: while soft labels provide valuable information, they can make the distillation process less essential, as distilled images may not always outperform random subsets. In addition, the benchmark reveals that in current stages, dataset pruning outperforms dataset distillation at small dataset sizes. Given these observations, we explore hard-label-DC as a complementary approach that emphasizes image quality while offering substantial storage efficiency. Our PCA (Prune, Combine, and Augment) is the first framework that does not rely on soft labels but instead focuses on image quality. (1) \"P'' means selecting easy samples based on dataset pruning metrics, (2) \"C'' indicates combining these samples effectively, and (3) \"A'' is to apply constrained image augmentation during training.
","absKo":"Dataset pruning(DP)과 dataset distillation(DD)은 출력이 근본적으로 다르다. DP는 원본 이미지의 subset을 선택하는 반면, DD는 synthetic image를 생성한다. 최근 DD가 원본 이미지에 점점 더 의존하게 되면서 두 방향이 수렴하고 있음을 시사한다. 이러한 수렴 경향을 조사하기 위해, 우리는 통합 dataset compression(DC) benchmark를 제안한다. 이 benchmark는 soft-label-DD에 대해 흥미로운 trade-off를 드러낸다. soft label은 유용한 정보를 제공하지만, distilled image가 항상 random subset보다 우수하지는 않기 때문에 distillation 과정을 덜 필수적으로 만들 수 있다. 또한 이 benchmark는 현재 단계에서 작은 dataset size에서는 dataset pruning이 dataset distillation보다 우수함을 보여준다. 이러한 관찰을 바탕으로, 우리는 image quality를 강조하면서도 상당한 storage efficiency를 제공하는 보완적 접근법으로 hard-label-DC를 탐구한다. 우리의 PCA(Prune, Combine, and Augment)는 soft label에 의존하지 않고 image quality에 초점을 맞추는 최초의 framework이다. (1) \"P''는 dataset pruning metric을 기반으로 쉬운 sample을 선택하는 것을 의미하고, (2) \"C''는 이러한 sample을 효과적으로 결합하는 것을 나타내며, (3) \"A''는 training 동안 constrained image augmentation을 적용하는 것이다.
"},{"id":"62458","en":"Dissecting Post-Training: Uncovering the Complementary Roles of SFT and RL for Document Parsing","ko":"Post-Training 해부: 문서 파싱에서 SFT와 RL의 상보적 역할 분석","authors":"Jun-Peng Jiang, An-Yang Ji, Shiyin Lu, Guodong Zheng, Weihong Zhang, Qing-Guo Chen, Weihua Luo, Kaifu Zhang, Long Chen, De-Chuan Zhan, Han-Jia Ye","pos":"#708","link":"https://openreview.net/forum?id=gQkJewuCDZ","abs":"Document parsing, the task of extracting diverse content from PDFs while preserving their structural integrity, has been significantly advanced by Multimodal Large Language Models (MLLMs). These models have achieved remarkable success, largely driven by extensive post-training on massive datasets. This paper therefore undertakes a deep analysis of the two dominant adaptation strategies, Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL), prompted by a puzzling observation on the PDF-to-Markdown task: SFT makes a negligible impact, especially on parsing complex tables and formulas, while RL achieves substantial overall gains. To unravel the reasons, our systematic investigation reveals a clear and complementary division of labor: SFT primarily operates as a structure learner, biased towards mastering the low-entropy syntax of document layouts. While it learns the format of a table, it struggles to ensure the fidelity of its high-entropy cell content. Conversely, RL excels as a content refiner by optimizing a holistic reward that reflects final accuracy. We further ground this phenomenon in the distinct theoretical nature of their respective objective functions. Based on these findings, we introduce a unified strategy that explicitly harnesses their individual strengths while mitigating their weaknesses. This work shows that a deep understanding of post-training methods is key to unlocking performance beyond what data scaling alone can achieve.
","absKo":"Document parsing은 PDF에서 다양한 content를 추출하면서 구조적 완전성을 보존하는 task이며, Multimodal Large Language Models (MLLMs)에 의해 크게 발전해 왔다. 이러한 model은 대규모 dataset에 대한 extensive post-training에 크게 힘입어 놀라운 성공을 거두었다. 따라서 본 논문은 PDF-to-Markdown task에서 관찰된 난해한 현상을 계기로, 두 가지 지배적인 adaptation strategy인 Supervised Fine-Tuning (SFT)과 Reinforcement Learning (RL)을 심층 분석한다. 그 현상은 SFT가 특히 복잡한 table과 formula 파싱에서는 거의 영향을 주지 못하는 반면, RL은 전체적으로 상당한 향상을 달성한다는 점이다. 그 이유를 밝히기 위해 수행한 체계적 조사에서는 분명하고 상보적인 역할 분담이 드러난다. SFT는 주로 structure learner로 작동하며, document layout의 low-entropy syntax를 익히는 데 편향된다. 즉, table의 형식은 학습하지만 high-entropy cell content의 충실도를 보장하는 데는 어려움을 겪는다. 반대로 RL은 최종 정확도를 반영하는 holistic reward를 최적화함으로써 content refiner로서 뛰어나다. 우리는 이 현상을 각 objective function의 서로 다른 이론적 성격에 근거해 설명한다. 이러한 발견을 바탕으로, 우리는 각 방법의 장점을 명시적으로 활용하면서 약점을 완화하는 통합 전략을 제안한다. 이 연구는 데이터 스케일링만으로 달성할 수 있는 한계를 넘어서는 성능을 이끌어내기 위해서는 post-training method에 대한 깊은 이해가 핵심임을 보여준다.
"},{"id":"65959","en":"UniPercept: Towards Unified Perceptual-Level Image Understanding across Aesthetics, Quality, Structure, and Texture","ko":"UniPercept: 미학·품질·구조·질감에 걸친 통합 지각 수준 이미지 이해를 향하여","authors":"Shuo Cao, Jiayang Li, Xiaohui Li, Yuandong Pu, Kaiwen Zhu, Yuanting Gao, Siqi Luo, Yi Xin, Qi Qin, Yu Zhou, Xiangyu Chen, Wenlong Zhang, Bin Fu, Yu Qiao, Yihao Liu","pos":"#1000","link":"https://openreview.net/forum?id=8VVbElV06v","abs":"Multimodal large language models (MLLMs) have achieved remarkable progress in visual understanding tasks such as visual grounding, segmentation, and captioning. However, their ability to perceive perceptual-level image features remains limited. In this work, we present UniPercept-Bench, a unified framework for perceptual-level image understanding across three key domains: Aesthetics, Quality, Structure and Texture. We establish a hierarchical definition system and construct large-scale datasets to evaluate perceptual-level image understanding. Based on this foundation, we develop a strong baseline UniPercept trained via Domain-Adaptive Pre-Training and Task-Aligned RL, enabling robust generalization across both Visual Rating (VR) and Visual Question Answering (VQA) tasks. UniPercept outperforms existing MLLMs on perceptual-level image understanding and can serve as a plug-and-play reward model for text-to-image generation. This work defines perceptual-level image understanding in the era of MLLMs and, through the introduction of a comprehensive benchmark together with a strong baseline, provides a solid foundation for advancing perceptual-level multimodal image understanding.
","absKo":"Multimodal large language models (MLLMs)은 visual grounding, segmentation, captioning과 같은 visual understanding task에서 놀라운 발전을 이뤘다. 그러나 perceptual-level image feature를 인지하는 능력은 여전히 제한적이다. 본 연구에서는 Aesthetics, Quality, Structure and Texture라는 세 가지 핵심 영역에 걸친 perceptual-level image understanding을 위한 통합 프레임워크인 UniPercept-Bench를 제시한다. 우리는 hierarchy definition system을 수립하고, perceptual-level image understanding을 평가하기 위한 대규모 dataset을 구성한다. 이러한 기반 위에서 Domain-Adaptive Pre-Training과 Task-Aligned RL을 통해 학습된 강력한 baseline UniPercept를 개발하여, Visual Rating (VR)과 Visual Question Answering (VQA) task 모두에서 robust generalization을 가능하게 한다. UniPercept는 perceptual-level image understanding에서 기존 MLLM들을 능가하며, text-to-image generation을 위한 plug-and-play reward model로도 활용될 수 있다. 이 연구는 MLLM 시대의 perceptual-level image understanding을 정립하고, 포괄적인 benchmark와 강력한 baseline의 도입을 통해 perceptual-level multimodal image understanding의 발전을 위한 견고한 토대를 제공한다.
"},{"id":"62114","en":"VSCD: Video-based Scene Change Detection in Unaligned Scenes","ko":"VSCD: 정렬되지 않은 장면에서의 비디오 기반 장면 변화 감지","authors":"Jiae Yoon, Ue-Hwan Kim","pos":"#1001","link":"https://openreview.net/forum?id=jjYEPizDXZ","abs":"Detecting what has changed in an environment is essential for long-term autonomy, yet most change detection settings assume fixed viewpoints, mild misalignment, or only a few changed objects. We introduce Video-based Scene Change Detection (VSCD), which predicts a pixel-wise change mask for each query frame, given a reference and a query RGB video of the same indoor space recorded at different times under unconstrained camera motion. The two videos are not temporally synchronized, and many object instances may appear or disappear. To study this setting, we build a large-scale benchmark with over 1.1 million frames annotated with pixel-accurate change masks, together with a real-world test set for evaluating transfer beyond simulation. We propose a query-centric multi-reference model that learns temporal matching implicitly from change-mask supervision, aligns candidate reference features to the query via local patch correspondence, and fuses per-candidate change features using frame-level and patch-level confidence before decoding a high-resolution mask once per frame. Our approach achieves state-of-the-art performance against strong image- and video-based baselines, and we validate its real-world impact by deploying it on a mobile robot for two downstream applications—visual surveillance and object incremental learning.
","absKo":"환경에서 무엇이 바뀌었는지를 감지하는 것은 장기 자율성에 필수적이지만, 대부분의 change detection 설정은 고정된 시점, 약한 misalignment, 또는 몇 개의 변경된 객체만을 가정한다. 우리는 서로 다른 시점에 제약 없는 camera motion 하에서 촬영된 동일한 indoor space의 reference RGB video와 query RGB video를 입력으로 받아, 각 query frame에 대해 pixel-wise change mask를 예측하는 Video-based Scene Change Detection(VSCD)을 소개한다. 두 video는 시간적으로 동기화되어 있지 않으며, 많은 object instance가 나타나거나 사라질 수 있다. 이 설정을 연구하기 위해, 우리는 pixel-accurate change mask로 주석된 110만 프레임이 넘는 대규모 benchmark와 함께, simulation을 넘어선 transfer를 평가하기 위한 real-world test set을 구축했다. 우리는 change-mask supervision으로부터 temporal matching을 암묵적으로 학습하고, local patch correspondence를 통해 candidate reference feature를 query에 정렬하며, frame-level 및 patch-level confidence를 사용해 candidate별 change feature를 융합한 뒤, frame당 한 번 high-resolution mask를 decode하는 query-centric multi-reference model을 제안한다. 우리의 방법은 강력한 image- 및 video-based baseline과의 비교에서 state-of-the-art 성능을 달성하며, mobile robot에 배포해 visual surveillance와 object incremental learning이라는 두 downstream application에서 그 실제 효과를 검증한다.
"},{"id":"64558","en":"Weakly Supervised Cross-Modal Learning for 4D Radar Scene Flow Estimation","ko":"4D Radar Scene Flow 추정을 위한 약지도 Cross-Modal 학습","authors":"Jingyun Fu, Zhiyu Xiang, Na Zhao","pos":"#1002","link":"https://openreview.net/forum?id=MCu8SOjPad","abs":"Due to the difficulty of obtaining ground-truth data for 4D radar scene flow estimation, previous methods typically rely on either self-supervised losses or cross-modal supervision using 3D LiDAR data, 2D images, and odometry. However, self-supervised approaches often yield suboptimal results due to radar’s inherently low-fidelity measurements, while existing cross-modal supervised methods introduce complex multi-task architecture and require costly LiDAR sensors to generate pseudo radar scene flow labels from pretrained 3D tracking models. To overcome these limitations, we propose a task-specific iterative framework for weakly supervised radar scene flow learning, using only images and odometry for auxiliary supervision during training. Specially, we establish two novel instance-aware self-supervised losses by exploiting off-the-shelf 2D tracking and segmentation algorithms to obtain tracked instance masks, which are back-projected into 3D space to provide instance-level semantic guidance; for static regions, we integrate vehicle odometry with radar’s intrinsic motion cues to construct a rigid static loss. Extensive experiments on the real-world View-of-Delft (VoD) dataset demonstrate that our method not only surpasses state-of-the-art cross-modal supervised approaches that rely on 3D multi-object tracking on dense LiDAR point clouds but also outperforms existing fully supervised scene flow estimation methods. The source code will be released upon acceptance.
","absKo":"4D radar scene flow 추정을 위한 ground-truth 데이터를 얻기 어렵기 때문에, 기존 방법들은 일반적으로 self-supervised loss 또는 3D LiDAR 데이터, 2D 이미지, odometry를 사용하는 cross-modal supervision에 의존한다. 그러나 self-supervised 접근법은 radar의 본질적으로 낮은 fidelity 측정 때문에 종종 최적에 미치지 못하는 결과를 낳으며, 기존의 cross-modal supervised 방법은 복잡한 multi-task architecture를 도입하고 pretrained 3D tracking model로부터 pseudo radar scene flow label을 생성하기 위해 값비싼 LiDAR 센서를 필요로 한다. 이러한 한계를 극복하기 위해, 우리는 학습 동안 auxiliary supervision으로 이미지와 odometry만 사용하는 weakly supervised radar scene flow learning을 위한 task-specific iterative framework를 제안한다. 특히, off-the-shelf 2D tracking 및 segmentation algorithm을 활용해 tracked instance mask를 얻고 이를 3D 공간으로 back-projection하여 instance-level semantic guidance를 제공함으로써 두 가지 새로운 instance-aware self-supervised loss를 구축한다. 정적인 영역에 대해서는 vehicle odometry와 radar의 intrinsic motion cue를 결합하여 rigid static loss를 구성한다. 실제 View-of-Delft(VoD) 데이터셋에서 수행한 광범위한 실험은 우리의 방법이 dense LiDAR point cloud 위의 3D multi-object tracking에 의존하는 state-of-the-art cross-modal supervised 접근법을 능가할 뿐만 아니라, 기존의 fully supervised scene flow estimation 방법보다도 더 우수함을 보여준다. 소스 코드는 채택 시 공개될 예정이다.
"},{"id":"65753","en":"UGround: Towards Unified Visual Grounding with Unrolled Transformers","ko":"UGround: 언롤드 Transformer를 통한 통합 시각 그라운딩을 향하여","authors":"Rui Qian, Xin Yin, Chuanhang Deng, Zhiyuan Peng, Jian Xiong, Wei Zhai, Dejing Dou","pos":"#1100","link":"https://openreview.net/forum?id=AXtUl2KiQU","abs":"We present UGround, a **U**nified visual **Ground**ing paradigm that dynamically selects intermediate layers across **U**nrolled transformers as \"mask as prompt'', diverging from the prevailing pipeline that leverages the fixed last hidden layer as \"$\\texttt{\\}$ as prompt''. UGround addresses two primary challenges posed by the prevailing paradigm: (1) its reliance on the fixed last hidden layer, which sequentially amplifies cumulative errors arising from layer-by-layer propagation without intermediate correction, and (2) its use of $\\texttt{\\}$ as a prompt, which implicitly projects textual embeddings into visual space without explicit spatial cues (e.g., coordinates). Central to UGround is Policy-Prompted Masking, which comprises two key components: Stochastic Skip Connection (SSC) and Mask as Prompt (MasP). SSC is a reinforcement learning policy that, via stochastic sampling, allows each $\\texttt{\\}$ token to slide across unrolled transformer layers, enabling dynamic layer selection at which it connects to the vision model (e.g., SAM) in a skip-connection fashion. Given the selected hidden layer, MasP uses the similarity map derived from the $\\texttt{\\}$ token and image tokens as a soft logit mask to prompt SAM for mask generation, offering explicit spatial cues through its activation regions. To validate the effectiveness of UGround, we, for the first time, have unified visual grounding within a single framework from an attribute perspective, spanning from traditional refer expression segmentation to newly proposed reasoning segmentation, single-target to multi-target, positive query to false premise (empty target). All codes are provided in the supplementary material.","absKo":"우리는 UGround를 제안한다. 이는 기존에 널리 사용되는, 고정된 마지막 hidden layer를 \"$\\texttt{\\}$ as prompt\"로 활용하는 pipeline에서 벗어나, unrolled transformer 전반에 걸쳐 중간 layer를 동적으로 선택하여 \"mask as prompt\"로 사용하는 **U**nified visual **Ground**ing paradigm이다. UGround는 기존 paradigm이 초래하는 두 가지 주요 문제를 해결한다. (1) layer-by-layer propagation 동안 중간 correction 없이 누적되는 오류를 순차적으로 증폭시키는 고정된 마지막 hidden layer에 대한 의존성, (2) 좌표와 같은 명시적 spatial cue 없이 textual embedding을 visual space로 암묵적으로 투영하는 $\\texttt{\\}$ as prompt의 사용이다. UGround의 핵심은 Policy-Prompted Masking이며, 이는 Stochastic Skip Connection (SSC)과 Mask as Prompt (MasP)라는 두 구성요소로 이루어진다. SSC는 reinforcement learning policy로서 stochastic sampling을 통해 각 $\\texttt{\\}$ token이 unrolled transformer layer를 따라 이동하도록 하며, skip-connection 방식으로 vision model(SAM 등)에 연결되는 동적 layer selection을 가능하게 한다. 선택된 hidden layer가 주어지면, MasP는 $\\texttt{\\}$ token과 image token으로부터 도출된 similarity map을 soft logit mask로 사용하여 SAM에 mask generation을 prompt하고, 활성화 영역을 통해 명시적 spatial cue를 제공한다. UGround의 효과를 검증하기 위해, 우리는 처음으로 attribute 관점에서 visual grounding을 단일 framework로 통합했으며, traditional refer expression segmentation부터 새로 제안된 reasoning segmentation까지, single-target부터 multi-target까지, positive query부터 false premise(empty target)까지 아우른다. 모든 코드는 supplementary material에 제공된다."},{"id":"63066","en":"StableVLA: Towards Robust Vision-Language-Action Models without Extra Data","ko":"StableVLA: 추가 데이터 없이 견고한 Vision-Language-Action 모델을 향하여","authors":"Yiyang Fu, Chubin Zhang, Shukai Gong, Yufan Deng, Kaiwei Sun, Qiyang Min, Qibin Hou, Yansong Tang, Jianan Wang, Zhou Daquan","pos":"#1108","link":"https://openreview.net/forum?id=aOSkHBRYUJ","abs":"It is infeasible to encompass all possible disturbances within the training dataset. This raises a critical question regarding the robustness of Vision-Language-Action (VLA) models when encountering unseen real-world visual disturbances, particularly under imperfect visual conditions. In this work, we conduct a systematic study based on recent state-of-the-art VLA models and reveal a significant performance drop when visual disturbances absent from the training data are introduced. To mitigate this issue, we propose a lightweight adapter module grounded in information theory, termed the Information Bottleneck Adapter (IB-Adapter), which selectively filters potential noise from visual inputs. Without requiring any extra data or augmentation strategies, IB-Adapter consistently improves over the baseline by an average of 30%, while adding fewer than 10M parameters, demonstrating notable efficiency and effectiveness. Furthermore, even with a 14x smaller backbone (0.5B parameters) and no pre-training on the Open X-Embodiment dataset, our model StableVLA achieves robustness competitive with 7B-scale state-of-the-art VLAs. With negligible parameter overhead (<10M), our approach maintains accuracy on long-horizon tasks and surpasses OpenPi under real-world visual disturbances. The code will be made publicly available.
","absKo":"훈련 데이터셋 안에 가능한 모든 disturbance를 포괄하는 것은 불가능하다. 이는 특히 불완전한 시각 조건에서, 보지 못한 실제 visual disturbance를 마주할 때 Vision-Language-Action (VLA) 모델의 robustness에 대한 중대한 질문을 제기한다. 본 연구에서는 최근 state-of-the-art VLA 모델들을 바탕으로 체계적인 연구를 수행하여, 훈련 데이터에 없던 visual disturbance가 도입되었을 때 성능이 크게 하락함을 보인다. 이 문제를 완화하기 위해, 우리는 정보 이론에 기반한 경량 adapter module인 Information Bottleneck Adapter (IB-Adapter)를 제안하며, 이는 시각 입력에서 잠재적 noise를 선택적으로 필터링한다. 추가 데이터나 augmentation strategy 없이도 IB-Adapter는 baseline 대비 평균 30% 향상을 일관되게 보이면서도 10M 미만의 parameter만 추가해, 높은 효율성과 효과성을 입증한다. 더 나아가, 14배 작은 backbone (0.5B parameter)과 Open X-Embodiment dataset에 대한 pre-training 없이도, 우리의 모델 StableVLA는 7B 규모의 state-of-the-art VLA에 견줄 만한 robustness를 달성한다. 무시할 만한 parameter 오버헤드(<10M)로, 우리의 방법은 long-horizon task에서 정확도를 유지하며 실제 시각 disturbance 하에서 OpenPi를 능가한다. 코드는 공개될 예정이다.
"},{"id":"63519","en":"Semi-LAR: Semi-supervised Contrastive Learning with Linear Attention for Removal of Nighttime Flares","ko":"Semi-LAR: 야간 플레어 제거를 위한 선형 어텐션 기반 준지도 대조학습","authors":"Xiyu Zhu, Wei Wang, Kui Jiang, Zhengguo Li","pos":"#1111","link":"https://openreview.net/forum?id=WTg6EIcXso","abs":"Lens flare removal is challenging due to the large spatial extent of flare artifacts and their entangle-ment with scene structures, while existing meth-ods heavily rely on large-scale paired data. We propose a semi-supervised flare removal frame-work that enables stable learning from unlabeled images by jointly addressing pseudo-label relia-bility and representation discrimination. We pro-pose an adaptive pseudo-label repository that pro-gressively refines pseudo supervision through no-reference quality assessment, momentum-based updates, and invalid label filtering, effectively mit-igating error accumulation. Moreover, we pro-pose a flare-aware contrastive loss that explic-itly treats flare-contaminated inputs as negatives and performs patch-level contrastive learning, en-couraging representations that are discriminative against flare patterns while remaining consistent with reliable pseudo targets. Extensive experi-ments on multiple flare benchmarks demonstrate that the proposed framework is model-agnostic and consistently improves performance and ro-bustness.
","absKo":"Lens flare 제거는 flare artifact의 큰 spatial extent와 scene structure와의 얽힘 때문에 어렵고, 기존 방법은 대규모 paired data에 크게 의존한다. 우리는 pseudo-label의 신뢰성과 representation의 판별성을 함께 다루어 unlabeled image로부터 안정적인 학습을 가능하게 하는 semi-supervised flare removal framework를 제안한다. 우리는 no-reference quality assessment, momentum-based update, invalid label filtering을 통해 pseudo supervision을 점진적으로 정제하는 adaptive pseudo-label repository를 제안하며, 이를 통해 error accumulation을 효과적으로 완화한다. 더 나아가, flare-aware contrastive loss를 제안하여 flare가 섞인 input을 명시적으로 negative로 취급하고 patch-level contrastive learning을 수행함으로써, 신뢰할 수 있는 pseudo target과는 일관성을 유지하면서 flare pattern에 대해 판별적인 representation을 학습하도록 유도한다. 여러 flare benchmark에서 수행한 광범위한 실험은 제안한 framework가 model-agnostic하며 성능과 robustness를 일관되게 향상시킴을 보여준다.
"},{"id":"64074","en":"SF-Mamba: Rethinking State Space Model for Vision","ko":"SF-Mamba: 비전을 위한 상태 공간 모델 재고","authors":"Masakazu Yoshimura, Teruaki Hayashi, Yuki Hoshino, Wei-Yao Wang, Takeshi Ohashi","pos":"#1114","link":"https://openreview.net/forum?id=R9AUrEgZEq","abs":"The realm of Mamba for vision has been advanced in recent years to strike for the alternatives of Vision Transformers (ViTs) that suffer from the quadratic complexity. While the recurrent scanning mechanism of Mamba offers computational efficiency, it inherently limits non-causal interactions between image patches. Prior works have attempted to address this limitation through various multi-scan strategies; however, these approaches suffer from inefficiencies due to suboptimal scan designs and frequent data rearrangement. Moreover, Mamba exhibits relatively slow computational speed under short token lengths, commonly used in visual tasks. In pursuit of a truly efficient vision encoder, we rethink the scan operation for vision and the computational efficiency of Mamba. To this end, we propose SF-Mamba, a novel visual Mamba with two key proposals: auxiliary patch swapping for encoding bidirectional information flow under an unidirectional scan and batch folding with periodic state reset for advanced GPU parallelism. Extensive experiments on image classification, object detection, and instance and semantic segmentation consistently demonstrate that our proposed SF-Mamba significantly outperforms state-of-the-art baselines while improving throughput across different model sizes. We will release the source code after publication.
","absKo":"vision을 위한 Mamba 연구는 최근 quadratic complexity에 시달리는 Vision Transformers (ViTs)의 대안으로서 크게 발전해 왔다. Mamba의 recurrent scanning 메커니즘은 계산 효율성을 제공하지만, 이미지 patch 간 non-causal interaction을 본질적으로 제한한다. 선행 연구들은 다양한 multi-scan 전략으로 이 한계를 해결하려 했으나, 비최적의 scan 설계와 잦은 data rearrangement로 인해 비효율을 겪는다. 또한 Mamba는 visual task에서 흔히 사용되는 짧은 token length에서는 상대적으로 느린 계산 속도를 보인다. 진정으로 효율적인 vision encoder를 추구하기 위해, 우리는 vision에서의 scan operation과 Mamba의 계산 효율성을 다시 고찰한다. 이를 위해 우리는 SF-Mamba를 제안한다. SF-Mamba는 단방향 scan에서 양방향 정보 흐름을 인코딩하기 위한 auxiliary patch swapping과, 향상된 GPU parallelism을 위한 periodic state reset을 결합한 새로운 visual Mamba이다. image classification, object detection, instance 및 semantic segmentation에 대한 광범위한 실험은 우리가 제안한 SF-Mamba가 다양한 model size에서 throughput을 높이면서도 state-of-the-art baseline을 일관되게 크게 상회함을 보여준다. 소스 코드는 공개 후 배포할 예정이다.
"},{"id":"66448","en":"Native Active Perception as Reasoning for Omni-Modal Understanding","ko":"전 모달 이해를 위한 추론으로서의 네이티브 능동 지각","authors":"Zhenghao Xing, Ruiyang Xu, Yuxuan Wang, Jinzheng He, Ziyang Ma, Qize Yang, Yunfei Chu, Jin Xu, Junyang Lin, Chi Wing Fu, Pheng Ann Heng","pos":"#1200","link":"https://openreview.net/forum?id=3dLPVNhFZh","abs":"Passive models for long video understanding typically rely on a ``watch-it-all'' paradigm, processing data uniformly regardless of query difficulty, causing input complexity to scale linearly with video duration. Although interactive frameworks have emerged, they often rely on global pre-scanning, failing to strictly decouple perception from temporal length. We introduce OmniAgent, a POMDP-based active perception framework. OmniAgent executes on-demand actions to selectively distill audio-visual signals into a persistent textual memory, imposing an information bottleneck that fundamentally decouples reasoning complexity from raw video duration. To operationalize this, we bootstrap the agent via success-driven trajectory synthesis and optimize its policy using TAURA (Turn-aware Adaptive Uncertainty Rescaled Advantage). TAURA addresses credit assignment ambiguity in long-horizon reasoning by leveraging token entropy as a proxy for decision criticality, explicitly steering gradients toward pivotal discovery steps. Crucially, OmniAgent demonstrates a positive test-time scaling property, where performance improves as the reasoning turns increase, validating the efficacy of adaptive perception. Empirical results across ten benchmarks (e.g., VideoMME, LVBench) demonstrate that OmniAgent establishes new state-of-the-art performance. Notably, on LVBench, our 7B agent outperforms the 10$\\times$ larger Qwen2.5-VL-72B (50.5 vs. 47.3), validating the effectiveness of query-conditional active perception.","absKo":"긴 video 이해를 위한 passive model은 일반적으로 질의의 난이도와 무관하게 데이터를 균일하게 처리하는 ``watch-it-all'' paradigm에 의존하므로, 입력 복잡도가 video 길이에 따라 선형적으로 증가한다. interactive framework도 등장했지만, 이들은 종종 global pre-scanning에 의존하여 perception과 temporal length를 엄밀히 분리하지 못한다. 우리는 POMDP 기반 active perception framework인 OmniAgent를 소개한다. OmniAgent는 on-demand action을 수행하여 audio-visual signal을 선택적으로 지속적인 textual memory로 압축하고, 정보 병목을 부과함으로써 reasoning complexity를 원시 video 길이와 근본적으로 분리한다. 이를 실현하기 위해, 우리는 success-driven trajectory synthesis로 agent를 bootstrap하고 TAURA(Turn-aware Adaptive Uncertainty Rescaled Advantage)를 사용하여 policy를 최적화한다. TAURA는 token entropy를 decision criticality의 대리 변수로 활용하여 긴 horizon reasoning에서의 credit assignment 모호성을 해결하고, gradients를 중대한 discovery step 쪽으로 명시적으로 유도한다. 결정적으로, OmniAgent는 positive test-time scaling property를 보여 주는데, reasoning turn이 증가할수록 성능이 향상되어 adaptive perception의 효용을 검증한다. VideoMME, LVBench 등을 포함한 열 개 benchmark에 대한 실험 결과는 OmniAgent가 새로운 state-of-the-art performance를 수립함을 보여준다. 특히 LVBench에서는 우리의 7B agent가 10$\\times$ 더 큰 Qwen2.5-VL-72B를 능가하여(50.5 대 47.3) query-conditional active perception의 효과성을 입증한다."},{"id":"66490","en":"Partial Ring Scan: Revisiting Scan Order in Vision State Space Models","ko":"부분 링 스캔: Vision State Space Model에서 스캔 순서 재검토","authors":"Yi-Kuan Hsieh, Jun-Wei Hsieh, Xin Li, Ming-Ching Chang, Yu-Chee Tseng, Kuan-Chuan Peng","pos":"#1205","link":"https://openreview.net/forum?id=3DiK7Z4ZM8","abs":"State Space Models (SSMs) have emerged as efficient alternatives to attention for vision tasks, offering linear-time sequence processing with competitive accuracy. Vision SSMs, however, require serializing 2D images into 1D token sequences along a predefined scan order, a factor often overlooked. We show that scan order critically affects performance by altering spatial adjacency, fracturing object continuity, and amplifying degradation under geometric transformations such as rotation. We present {\\bf Partial RIng Scan Mamba (PRISMamba)}, a rotation-robust traversal that partitions an image into concentric rings, performs order-agnostic aggregation within each ring, and propagates context across rings through a set of short radial SSMs. Efficiency is further improved via partial channel filtering, which routes only the most informative channels through the recurrent ring pathway while keeping the rest on a lightweight residual branch. On ImageNet-1K, PRISMamba achieves 84.5% Top-1 with 3.9G FLOPs and 3,054 img/s on A100, outperforming VMamba in both accuracy and throughput while requiring fewer FLOPs. It also maintains performance under rotation, whereas fixed-path scans drop by 1–2%. These results highlight scan-order design, together with channel filtering, as a crucial, underexplored factor for accuracy, efficiency, and rotation robustness in Vision SSMs. Code will be released upon acceptance.
","absKo":"State Space Models (SSMs)은 vision task에서 attention의 효율적인 대안으로 부상했으며, competitive accuracy를 유지하면서 linear-time sequence processing을 제공한다. 그러나 Vision SSM은 2D image를 미리 정해진 scan order에 따라 1D token sequence로 직렬화해야 하며, 이 점은 종종 간과된다. 우리는 scan order가 spatial adjacency를 변화시키고, object continuity를 분절하며, rotation과 같은 geometric transformation 하에서 성능 저하를 증폭시킴으로써 성능에 결정적으로 영향을 미친다는 것을 보인다. 우리는 {\\bf Partial RIng Scan Mamba (PRISMamba)}를 제안한다. 이는 image를 동심원 ring으로 분할하고, 각 ring 내부에서 order-agnostic aggregation을 수행하며, 짧은 radial SSM 집합을 통해 ring 간 context를 전파하는 rotation-robust traversal이다. 효율성은 partial channel filtering을 통해 더욱 향상되는데, 이는 가장 정보량이 큰 channel만 recurrent ring pathway로 전달하고 나머지는 경량 residual branch에 유지한다. ImageNet-1K에서 PRISMamba는 3.9G FLOPs와 A100에서 3,054 img/s로 84.5% Top-1을 달성하여, 더 적은 FLOPs를 요구하면서도 정확도와 처리량 모두에서 VMamba를 능가한다. 또한 fixed-path scan이 1~2% 하락하는 반면 rotation 하에서도 성능을 유지한다. 이러한 결과는 scan-order design과 channel filtering이 Vision SSM에서 정확도, 효율성, rotation robustness를 좌우하는 핵심적이지만 아직 충분히 탐구되지 않은 요인임을 보여준다. 코드는 acceptance 후 공개될 예정이다.
"},{"id":"67139","en":"Position: Vision encoders should be image size agnostic and task driven","ko":"Position: Vision Encoder는 이미지 크기에 무관하고 태스크 주도적이어야 한다","authors":"Nedyalko Prisadnikov, Danda Pani Paudel, Yuqian Fu, Luc Van Gool","pos":"#1206","link":"https://openreview.net/forum?id=VzH9QtnngN","abs":"This position paper argues that the next generation of vision encoders should be image size agnostic and task driven. The source of our inspiration is biological. Not a structural aspect of biological vision, but a behavioral trait – efficiency. We focus on a couple of ways in which vision in nature is efficient, but modern vision encoders not. We – humans and animals – deal with vast quantities of visual data, and need to be smart where we focus our limited energy – it depends on the task. It is our belief that vision encoders should be dynamic and the computational complexity should depend on the task at hand rather than the size of the image. We, also, provide concrete first steps towards our vision – a proof-of-concept solution for image classification. Despite classification being not very representative for what we are trying to achieve, it shows that our approach is feasible and promising.
","absKo":"이 position paper는 차세대 vision encoder가 image size에 구애받지 않고 task-driven이어야 한다고 주장한다. 우리의 영감의 원천은 생물학이다. 생물학적 시각의 구조적 측면이 아니라, 효율성이라는 행동적 특성에서 영감을 얻는다. 우리는 자연 속 시각이 효율적인 몇 가지 방식에 주목하고, 현대 vision encoder는 그렇지 않다는 점에 초점을 맞춘다. 우리, 즉 인간과 동물은 방대한 양의 시각 데이터를 다루며, 제한된 에너지를 어디에 집중할지 현명하게 결정해야 한다. 그것은 task에 달려 있다. 우리의 믿음은 vision encoder가 동적으로 동작해야 하며, 계산 복잡도는 image의 크기가 아니라 당면한 task에 따라 결정되어야 한다는 것이다. 또한 우리는 우리의 비전에 대한 구체적인 첫걸음도 제시한다. image classification을 위한 proof-of-concept solution이다. classification이 우리가 달성하려는 목표를 충분히 대표하지는 않지만, 우리의 접근이 실현 가능하고 유망함을 보여 준다.
"},{"id":"63225","en":"Radial Scaling Voxelization for Accurate Small Object 3D Detection","ko":"정확한 소형 객체 3D 탐지를 위한 방사형 스케일링 복셀화","authors":"Hao Liu, Yi Zhou, Serena Wu","pos":"#1211","link":"https://openreview.net/forum?id=YwuZqvMQ7o","abs":"Voxel-based 3D object detectors typically discretize the spatial domain using a uniform Cartesian grid, which allocates the same voxel size to both near-range and far-range regions. However, this uniform discretization is suboptimal for small objects such as pedestrians and cyclists, as they occupy only a few voxels and thus struggle to capture fine-grained geometric details. Although increasing the global voxel resolution can alleviate this problem, it inevitably increases substantial memory consumption and computational overhead. In this paper, we propose Radial Scaling Voxelization (RSV), a simple yet effective non-uniform discretization strategy that adaptively modulates the effective voxel size based on the radial distance from the LiDAR sensor. Unlike previous cylindrical or polar discretization schemes, RSV preserves the Cartesian grid topology by applying a continuous radial scaling function to the input coordinates before standard voxelization. This operation yields a near-high, far-unchanged resolution pattern: the effective voxel size becomes finer in near regions, where the geometric structures of small objects are difficult to capture, while remaining nearly unchanged in far regions to avoid unnecessary computational cost. Importantly, RSV is architecture-agnostic and can directly replace the discretization module in any voxel-based detector without modifying the backbone, network design, or training pipeline. Extensive experiments on the KITTI and nuScenes datasets demonstrate that integrating our RSV into several voxel-based baselines consistently enhances small-object detection performance, especially for the Pedestrian and Cyclist categories, while incurring only marginal additional computational overhead.
","absKo":"Voxel 기반 3D object detector는 일반적으로 spatial domain을 uniform Cartesian grid로 이산화하며, 이때 near-range와 far-range region 모두에 같은 voxel size를 할당한다. 그러나 이러한 균일 이산화는 pedestrian과 cyclist처럼 작은 object에는 최적이 아니다. 이들은 단지 몇 개의 voxel만 차지하므로 세밀한 geometric detail을 포착하기 어렵기 때문이다. global voxel resolution을 높이면 이 문제를 완화할 수 있지만, 그 대가로 막대한 memory consumption과 computational overhead가 필연적으로 증가한다. 본 논문에서는 LiDAR sensor로부터의 radial distance에 따라 effective voxel size를 적응적으로 조절하는 간단하면서도 효과적인 non-uniform discretization strategy인 Radial Scaling Voxelization (RSV)를 제안한다. 이전의 cylindrical 또는 polar discretization scheme과 달리, RSV는 standard voxelization 전에 input coordinate에 연속적인 radial scaling function을 적용함으로써 Cartesian grid topology를 보존한다. 이 연산은 near-high, far-unchanged resolution pattern을 만들어낸다. 즉, 작은 object의 geometric structure를 포착하기 어려운 near region에서는 effective voxel size가 더 촘촘해지고, 불필요한 연산 비용을 피하기 위해 far region에서는 거의 변하지 않는다. 중요한 점은 RSV가 architecture-agnostic하며 backbone, network design, training pipeline을 수정하지 않고도 어떤 voxel 기반 detector의 discretization module에도 직접 대체 적용할 수 있다는 것이다. KITTI와 nuScenes dataset에서의 광범위한 실험은 여러 voxel-based baseline에 RSV를 통합하면 Pedestrian와 Cyclist category를 중심으로 small-object detection 성능이 일관되게 향상되며, 추가적인 computational overhead는 매우 적다는 것을 보여준다.
"},{"id":"65648","en":"MotionMAR: Multi-scale Auto-Regressive Human Motion Reconstruction from Sparse Observations","ko":"MotionMAR: 희소 관측으로부터의 다중 스케일 자기회귀 인간 모션 복원","authors":"Yuhua Luo, Junsheng Zhang, Mengyin Liu, Xincheng Lin, Ming Yan, Zhudi Chen, Chenglu Wen, Lan Xu, Siqi Shen, Cheng Wang","pos":"#1300","link":"https://openreview.net/forum?id=BXiAOWdFT2","abs":"Human motion inherently exhibits a sophisticated temporal hierarchical architecture, spanning from global low-frequency trajectories to local high-frequency dynamics. Inspired by this intrinsic property and the success of multi-scale autoregressive modeling in vision, we propose MotionMAR, a novel framework for human motion reconstruction from sparse observations. Unlike traditional methods, MotionMAR adopts a temporal coarse-to-fine design: it first estimates the global motion envelope and progressively refines temporal details for higher precision. The framework comprises three key components. First, a Temporal Multi-scale VQ-VAE defines hierarchical levels based on temporal resolutions, effectively disentangling global semantic information from fine-grained jitter. Second, the Motion Autoregressive Network (MAN) employs a next-scale prediction strategy: it generates coarse-scale indices to lock in the global structure, followed by finer-scale indices to restore details. This process is strictly guided by a Control Module that incorporates sparse tracking priors to ensure alignment with observed signals. Finally, a Motion Refinement Network functions as a temporal stabilizer on the decoded continuous pose space, mitigating quantization artifacts and smoothing local kinematics. Experiments demonstrate that MotionMAR achieves state-of-the-art accuracy, offering a principled, temporal-hierarchy-aware paradigm for robust motion reconstruction.
","absKo":"인간 motion은 본질적으로 정교한 temporal hierarchical architecture를 보이며, 전역적인 저주파 trajectory에서 국소적인 고주파 dynamics에 이르기까지 다양한 층위를 포괄한다. 이러한 고유한 특성과 vision에서 multi-scale autoregressive modeling의 성공에 착안하여, 우리는 sparse observation으로부터 human motion을 재구성하기 위한 새로운 framework인 MotionMAR를 제안한다. 전통적인 방법과 달리 MotionMAR는 temporal coarse-to-fine 설계를 채택한다. 먼저 global motion envelope를 추정하고, 이후 점진적으로 temporal detail을 정제하여 더 높은 정밀도를 달성한다. 이 framework는 세 가지 핵심 구성요소로 이루어진다. 첫째, Temporal Multi-scale VQ-VAE는 temporal resolution에 기반한 hierarchical level을 정의하여 global semantic information과 fine-grained jitter를 효과적으로 분리한다. 둘째, Motion Autoregressive Network (MAN)은 next-scale prediction strategy를 사용하여 coarse-scale index를 생성해 global structure를 고정한 뒤, finer-scale index를 통해 detail을 복원한다. 이 과정은 sparse tracking prior를 통합하여 관측 신호와의 정렬을 보장하는 Control Module에 의해 엄격하게 안내된다. 마지막으로, Motion Refinement Network는 decoded continuous pose space에서 temporal stabilizer로 작동하며, quantization artifact를 완화하고 local kinematics를 부드럽게 한다. 실험은 MotionMAR가 state-of-the-art 정확도를 달성하며, 강건한 motion reconstruction을 위한 원리적이고 temporal hierarchy를 인식하는 패러다임을 제공함을 보여준다.
"},{"id":"64898","en":"Knowing the Unknown: Interpretable Open-World Object Detection via Concept Decomposition Model","ko":"미지를 알기: Concept Decomposition Model을 통한 해석 가능한 Open-World Object Detection","authors":"Xueqiang Lv, Shizhou Zhang, Yinghui Xing, di xu, Peng Wang, Yanning Zhang","pos":"#1309","link":"https://openreview.net/forum?id=Ilt2BnENrR","abs":"Open-world object detection (OWOD) requires incrementally detecting known categories while reliably identifying unknown objects. Existing methods primarily focus on improving unknown recall, yet overlook interpretability, often leading to known–unknown confusion and reduced prediction reliability. This paper aims to make the entire OWOD framework interpretable, enabling the detector to truly “knowing the unknown.” To this end, we propose a concept-driven InterPretable OWOD framework(IPOW) by introducing a Concept Decomposition Model (CDM) for OWOD, which explicitly decomposes the coupled RoI features in Faster R-CNN into discriminative, shared, and background concepts. Discriminative concepts identify the most discriminative features to enlarge the distances between known categories, while shared and background concepts, due to their strong generalization ability, can be readily transferred to detect unknown categories. Leveraging the interpretable framework, we identify that known–unknown confusion arises when unknown objects fall into the discriminative space of known classes. To address this, we propose Concept-Guided Rectification (CGR) to further resolve such confusion. Extensive experiments show that IPOW significantly improves unknown recall while mitigating confusion, and provides concept-level interpretability for both known and unknown predictions.
","absKo":"Open-world object detection(OWOD)은 알려진 category를 점진적으로 탐지하면서 unknown object를 신뢰성 있게 식별해야 한다. 기존 방법들은 주로 unknown recall 향상에 초점을 맞추지만, interpretability는 간과하여 known-unknown confusion과 prediction reliability 저하를 초래하는 경우가 많다. 본 논문은 전체 OWOD framework를 interpretable하게 만들어 detector가 진정으로 “unknown을 아는” 상태에 도달하도록 하는 것을 목표로 한다. 이를 위해, 우리는 OWOD를 위한 Concept Decomposition Model(CDM)을 도입하여 개념 주도형 InterPretable OWOD framework(IPOW)를 제안한다. CDM은 Faster R-CNN의 coupled RoI feature를 discriminative concept, shared concept, background concept으로 명시적으로 분해한다. Discriminative concept는 가장 판별적인 feature를 식별하여 known category 간 거리를 넓히는 한편, shared 및 background concept는 높은 generalization ability 덕분에 unknown category를 탐지하는 데 쉽게 transfer될 수 있다. 해석 가능한 framework를 활용하여, 우리는 known-unknown confusion이 unknown object가 known class의 discriminative space에 들어갈 때 발생함을 밝혀낸다. 이를 해결하기 위해, 우리는 그러한 confusion을 추가로 해소하는 Concept-Guided Rectification(CGR)을 제안한다. 광범위한 실험은 IPOW가 unknown recall을 크게 향상시키는 동시에 confusion을 완화하고, known 및 unknown prediction 모두에 대해 concept 수준의 interpretability를 제공함을 보여준다.
"},{"id":"61628","en":"HieraScaffold: Learning Compact Hierarchical Representations for Scalable 4D LiDAR Generation","ko":"HieraScaffold: 확장 가능한 4D LiDAR 생성을 위한 간결한 계층적 표현 학습","authors":"Zijie Wu, Na Zhao","pos":"#1312","link":"https://openreview.net/forum?id=oMBzHJvUta","abs":"Outdoor LiDAR generation has shown strong potential for autonomous driving and large-scale 3D perception. However, existing approaches remain computationally intensive and primarily static, lacking explicit modeling of temporal dynamics. This limitation weakens spatiotemporal coherence and reduces the realism of 4D LiDAR generation. We propose a hierarchical recoupling generation framework that explicitly disentangles and reconstructs large-scale geometry and motion within a unified hierarchical structure. First, we design a multi-resolution feature scaffold that predicts time-correlated unsigned distance fields and spatial gradients, enabling hierarchical decomposition of 4D dynamics into static and motion-varying components. Next, to achieve compact yet expressive modeling, we introduce a neural contourlet representation that prunes redundant scaffolds into minimal directional bases, efficiently capturing essential geometric and motion cues. Finally, we progressively re-couple these hierarchical components to generate realistic and temporally coherent 4D LiDAR data. Extensive experiments demonstrate that our method outperforms baselines in both quality and consistency, achieving 3.3\\%, 25.0\\%, 17.8\\% improvements in FRD, MMD, and JSD, respectively, over the strong competitors, LiDMs and RangeLDM.
","absKo":"outdoor LiDAR generation은 autonomous driving과 대규모 3D perception을 위해 강력한 잠재력을 보여왔다. 그러나 기존 접근법은 여전히 계산적으로 매우 무겁고 주로 static하여, temporal dynamics를 명시적으로 모델링하지 못한다. 이러한 한계는 spatiotemporal coherence를 약화시키고 4D LiDAR generation의 사실성을 저해한다. 우리는 large-scale geometry와 motion을 unified hierarchical structure 내에서 명시적으로 disentangle하고 재구성하는 hierarchical recoupling generation framework를 제안한다. 먼저, 우리는 time-correlated unsigned distance field와 spatial gradient를 예측하는 multi-resolution feature scaffold를 설계하여, 4D dynamics를 static component와 motion-varying component로 hierarchical하게 분해할 수 있게 한다. 다음으로, compact하면서도 expressive한 modeling을 달성하기 위해, redundant scaffold를 최소한의 directional basis로 prune하는 neural contourlet representation을 도입하여 필수적인 geometric 및 motion cue를 효율적으로 포착한다. 마지막으로, 이러한 hierarchical component를 점진적으로 re-couple하여 사실적이고 시간적으로 일관된 4D LiDAR data를 생성한다. 광범위한 실험은 우리의 방법이 quality와 consistency 모두에서 baseline을 능가함을 보여주며, 강력한 경쟁 방법인 LiDMs와 RangeLDM 대비 FRD, MMD, JSD에서 각각 3.3\\%, 25.0\\%, 17.8\\%의 향상을 달성한다.
"},{"id":"60907","en":"DroneDINO: Towards Heterogeneous Routed Mixture of Experts for Drone-based Unified Object Detection","ko":"DroneDINO: Drone 기반 통합 객체 검출을 위한 Heterogeneous Routed Mixture of Experts를 향하여","authors":"Rui Chen, Dongdong Li, Yan Fan, Yan Liu, Yangliu Kuai, Pengfei Zhu","pos":"#1403","link":"https://openreview.net/forum?id=vPGmYeL1rG","abs":"Recently, the rapid development of low-altitude aerial applications has driven the need for drone-based unified detectors. In contrast to task-specific detectors that suffer from poor scalability across diverse scenarios, existing unified detectors leverage the Mixture-of-Experts (MoE) architecture to learn task-aware features from diverse datasets. However, the imbalanced multi-task data distribution leads to over-activation of experts for dominant tasks and under-activation for others. To enable balanced feature learning, this paper combines three detection paradigms (RGB, IR, and RGB-IR) into a unified framework termed DroneDINO. DroneDINO extends DINO by introducing heterogeneous routed MoEs that organize experts into three functional groups: shared, task-specific, and dynamic. Unlike conventional dynamic experts where the top-$k$ experts are activated for each input, the shared expert is activated for all inputs, while each task-specific expert is activated exclusively for the matching task. To ensure inputs are routed to appropriate experts and yield task-discriminative features, we propose a task-recognition auxiliary training strategy to penalize features with low task-discriminability. Experiments demonstrate the effectiveness and generalizability of DroneDINO, which consistently outperforms state-of-the-art unified and task-specific detectors across multiple drone-based detection benchmarks.","absKo":"최근 저고도 항공 응용의 빠른 발전으로 드론 기반 통합 탐지기의 필요성이 커지고 있다. 다양한 시나리오에 걸쳐 확장성이 떨어지는 task-specific detector와 달리, 기존의 통합 탐지기는 Mixture-of-Experts(MoE) 아키텍처를 활용해 다양한 데이터셋으로부터 task-aware feature를 학습한다. 그러나 불균형한 multi-task 데이터 분포는 지배적인 작업에 대해서는 expert의 과도한 활성화를, 다른 작업에 대해서는 과소 활성화를 초래한다. 균형 잡힌 feature learning을 가능하게 하기 위해, 본 논문은 세 가지 탐지 패러다임(RGB, IR, RGB-IR)을 DroneDINO라는 이름의 통합 프레임워크로 결합한다. DroneDINO는 heterogeneous routed MoE를 도입하여 expert를 shared, task-specific, dynamic의 세 기능 그룹으로 조직함으로써 DINO를 확장한다. 기존의 dynamic expert에서는 각 입력마다 top-$k$ expert가 활성화되지만, shared expert는 모든 입력에 대해 활성화되고 각 task-specific expert는 일치하는 작업에 대해서만 독점적으로 활성화된다. 입력이 적절한 expert로 라우팅되어 task-discriminative feature를 산출하도록 하기 위해, 우리는 task-recognition auxiliary training strategy를 제안하여 task-discriminability가 낮은 feature에 페널티를 부과한다. 실험은 DroneDINO의 효과성과 일반화 가능성을 입증하며, 여러 드론 기반 탐지 benchmark에서 state-of-the-art 통합 및 task-specific detector를 일관되게 능가함을 보여 준다."},{"id":"65651","en":"DynaTok: Token-Based 4D Reconstruction from Partial Point Clouds","ko":"DynaTok: 부분 포인트 클라우드로부터의 토큰 기반 4D 복원","authors":"Weirong Chen, Keisuke Tateno, Hidenobu Matsuki, Michael Niemeyer, Daniel Cremers, Federico Tombari","pos":"#1405","link":"https://openreview.net/forum?id=BWhC4ezzeE","abs":"We address the problem of 4D reconstruction from partial point cloud sequences, where observations from depth sensors are incomplete, unordered, and lack explicit point correspondence over time. Recovering coherent 4D geometry in this geometry-only setting is challenging due to missing observations and ambiguous dynamics. While recent progress has largely been driven by image-based methods, existing point-based approaches typically focus on single-object scenarios, assume relatively complete inputs, and rely on explicit correspondence. To mitigate these limitations, we propose DynaTok, a point-based framework for correspondence-free 4D reconstruction from partial point cloud sequences that operates without images. DynaTok encodes each frame into compact latent tokens, aggregates incomplete observations over time with a Transformer-based spatiotemporal encoder, and decouples geometry and motion via a residual token design within a single unified model. Conditioned on the aggregated tokens, a point flow-matching decoder reconstructs complete and temporally consistent 4D point cloud sequences using only point cloud supervision. Experiments on object-level and scene-level benchmarks demonstrate improved reconstruction quality and temporal coherence under partial point cloud observations.
","absKo":"우리는 부분 point cloud sequence로부터의 4D reconstruction 문제를 다룬다. 여기서 depth sensor의 관측은 불완전하고, 순서가 없으며, 시간에 따른 explicit point correspondence가 없다. 이러한 geometry-only 설정에서 일관된 4D geometry를 복원하는 것은 관측 누락과 모호한 dynamics 때문에 어렵다. 최근의 진전은 주로 image-based method에 의해 주도되었지만, 기존 point-based 접근법은 대체로 단일 object 시나리오에 초점을 맞추고, 비교적 완전한 입력을 가정하며, explicit correspondence에 의존한다. 이러한 한계를 완화하기 위해, 우리는 image 없이 부분 point cloud sequence로부터 correspondence-free 4D reconstruction을 수행하는 point-based framework인 DynaTok을 제안한다. DynaTok은 각 frame을 compact latent token으로 인코딩하고, Transformer 기반 spatiotemporal encoder로 불완전한 관측을 시간에 걸쳐 집계하며, 단일 통합 모델 내의 residual token design을 통해 geometry와 motion을 분리한다. 집계된 token에 조건화된 point flow-matching decoder는 point cloud supervision만을 사용하여 완전하고 시간적으로 일관된 4D point cloud sequence를 복원한다. object-level 및 scene-level benchmark에서의 실험은 부분 point cloud 관측 하에서 복원 품질과 시간적 coherence가 향상됨을 보여준다.
"},{"id":"66166","en":"EPiC: Efficient Video Camera Control Learning with Precise Anchor-Video Guidance","ko":"EPiC: 정밀한 앵커-비디오 가이드를 통한 효율적 비디오 카메라 제어 학습","authors":"Zun Wang, Jaemin Cho, Jialu Li, Han Lin, Jaehong Yoon, Yue Zhang, Mohit Bansal","pos":"#1406","link":"https://openreview.net/forum?id=69u8BZXVXJ","abs":"Recent approaches for video generation with camera control often create anchor videos (i.e., rendered videos that approximate desired camera motions) to guide diffusion models as a structured prior, by rendering from estimated point clouds following camera trajectories. However, errors in point cloud and camera trajectory estimation often lead to inaccurate anchor videos with higher training cost and low efficiency, as the model is forced to compensate for rendering misalignments. To address these limitations, we introduce EPiC, an efficient and precise camera control learning framework that constructs well-aligned training anchor videos without the need for camera pose or point cloud estimation. Concretely, we create highly precise anchor videos by masking source videos based on first-frame visibility, which ensures strong alignment, eliminates the need for camera/point cloud estimation, and thus can be readily applied to any in-the-wild video. Furthermore, we introduce Anchor-ControlNet, a lightweight module that integrates anchor video guidance in visible regions to pretrained video diffusion models, with less than 1\\% of additional parameters. EPiC achieves efficient training with substantially fewer parameters, training steps, and less data, and generalizes robustly to anchor videos made with point clouds at test time, enabling precise 3D-informed camera control. EPiC achieves SoTA performance on RealEstate10K and MiraData for I2V camera control task. Notably, EPiC also exhibits strong zero-shot generalization to video-to-video (V2V) scenarios.
","absKo":"카메라 제어가 가능한 video generation을 위한 최근 접근법은 종종 anchor video(즉, 원하는 camera motion을 근사한 rendered video)를 생성하여, camera trajectory를 따라 추정된 point cloud로부터 렌더링한 structured prior로 diffusion model을 안내한다. 그러나 point cloud와 camera trajectory 추정의 오류는 종종 부정확한 anchor video로 이어지며, 모델이 rendering misalignment를 보상해야 하므로 training cost가 증가하고 효율성은 떨어진다. 이러한 한계를 해결하기 위해, 우리는 camera pose나 point cloud estimation 없이도 정렬이 잘 된 training anchor video를 구성하는 효율적이고 정밀한 camera control learning framework인 EPiC를 소개한다. 구체적으로, 우리는 first-frame visibility를 기반으로 source video를 masking하여 매우 정밀한 anchor video를 생성하며, 이를 통해 강한 alignment를 보장하고 camera/point cloud estimation을 제거하며, 어떤 in-the-wild video에도 손쉽게 적용할 수 있다. 또한, 우리는 Anchor-ControlNet을 도입한다. 이는 anchor video guidance를 visible region에서 pretrained video diffusion model에 통합하는 lightweight module로, 추가 파라미터가 1\\% 미만이다. EPiC는 훨씬 적은 parameter, training step, 데이터로 효율적인 training을 달성하며, test time에 point cloud로 만든 anchor video에도 강건하게 일반화되어 정밀한 3D-informed camera control을 가능하게 한다. EPiC는 RealEstate10K와 MiraData의 I2V camera control task에서 SoTA 성능을 달성한다. 특히 EPiC는 video-to-video (V2V) 시나리오에서도 강력한 zero-shot generalization을 보인다.
"},{"id":"61340","en":"E²I-VRWKV: Explicit EPI-Representation and Interaction-Aware Vision-RWKV for Light Field Semantic Segmentation","ko":"E²I-VRWKV: Light Field Semantic Segmentation을 위한 명시적 EPI 표현과 상호작용 인식 Vision-RWKV","authors":"Wei Zhang, Chen Jia, Xu Cheng, Fan Shi, Hui Liu, Shengyong Chen","pos":"#1407","link":"https://openreview.net/forum?id=rBnfGpdNzd","abs":"Pixel-level semantic segmentation of 4D light field (LF) data remains a considerable challenge, primarily due to the conflict between modeling complex spatial-angular dependencies and maintaining linear computational efficiency. Current linear models like VRWKV offer scalability but often fail to capture intrinsic geometric structures, leading to the structural collapse of Epipolar Plane Image (EPI) cues. To overcome these limitations, we propose E²I-VRWKV, an EPI-Enhanced and Interaction-aware network that generates high-quality segmentation maps by embedding explicit geometric priors into a linear-complexity backbone. Specifically, we introduce the Light Field Epipolar-Aware Cross-Modal Attention (LF-ECMA) block. The key innovation lies in the integration of an EPI Geometric Prior Generator, which explicitly extracts disparity-sensitive biases to enforce geometric consistency, and a Geometric-Context Gating (GC-Gate) mechanism. This mechanism functions as a geometrically modulated aperture to dynamically calibrate the fusion of spatial and angular manifolds. Experiments on the UrbanLF benchmark demonstrate that our method outperforms other state-of-the-art (SOTA) methods, achieving 86.55% mIoU on UrbanLF-Real while maintaining a superior balance between accuracy and linear efficiency.
","absKo":"4D light field (LF) 데이터의 pixel-level semantic segmentation은 복잡한 spatial-angular dependency를 모델링하는 것과 선형 계산 효율성을 유지하는 것 사이의 충돌 때문에 여전히 상당한 도전 과제이다. VRWKV와 같은 현재의 linear model은 확장성은 제공하지만, 본질적인 기하 구조를 포착하는 데 실패하는 경우가 많아 Epipolar Plane Image (EPI) 단서의 구조적 붕괴를 초래한다. 이러한 한계를 극복하기 위해 우리는 E²I-VRWKV를 제안한다. 이는 linear-complexity backbone에 명시적 geometric prior를 주입하여 고품질 segmentation map을 생성하는 EPI-Enhanced and Interaction-aware network이다. 구체적으로, 우리는 Light Field Epipolar-Aware Cross-Modal Attention (LF-ECMA) 블록을 도입한다. 핵심 혁신은 disparity에 민감한 bias를 명시적으로 추출하여 geometric consistency를 강제하는 EPI Geometric Prior Generator와 Geometric-Context Gating (GC-Gate) 메커니즘의 통합에 있다. 이 메커니즘은 기하적으로 변조된 aperture처럼 작동하여 spatial manifold와 angular manifold의 융합을 동적으로 보정한다. UrbanLF benchmark에서의 실험은 우리의 방법이 다른 state-of-the-art (SOTA) 방법들을 능가하며, 선형 효율성과의 우수한 균형을 유지하면서 UrbanLF-Real에서 86.55% mIoU를 달성함을 보여준다.
"},{"id":"60566","en":"Future Dynamic 3D Reconstruction: A 3D World Model with Disentangled Ego-Motion","ko":"미래 동적 3D 재구성: 분리된 자기 모션을 갖는 3D 월드 모델","authors":"Nils Morbitzer, Jonathan Evers, Artem Savkin, Thomas Stauner, Nassir Navab, Federico Tombari, Stefano Gasperini","pos":"#1412","link":"https://openreview.net/forum?id=yyBWTXi8B5","abs":"Forecasting the evolution of dynamic environments is crucial for autonomous agents. While generative world models have recently achieved high photorealism in 2D video synthesis, by mixing within the image plane ego-motion and environmental dynamics, they exhibit physical inconsistencies, such as morphing or vanishing objects, especially over long time horizons. In this paper, we propose FR3D, a world model that predicts a persistent 3D latent representation for future dynamic 3D reconstruction. Unlike prior works that treat the world as a sequence of image-based features, FR3D explicitly decouples the 3D evolution of the scene from the agent's trajectory, treating the inferred ego-motion as a latent proxy for action. This disentanglement resolves the ambiguities between self-motion and world-motion, ensuring geometric consistency into the future. Furthermore, we introduce a teacher-student distillation strategy that leverages the spatial \"common sense\" of off-the-shelf foundation models, leading to robust zero-shot generalization. Extensive experiments demonstrate FR3D's strong performance for future dynamic 3D reconstruction from monocular observations across multiple datasets, even 2 seconds into the future.
","absKo":"동적 환경의 진화를 예측하는 것은 autonomous agent에 매우 중요하다. 생성형 world model은 최근 2D video synthesis에서 높은 photorealism을 달성했지만, image plane 안에서 ego-motion과 환경 동역학을 혼합하기 때문에, 특히 긴 시간 지평에서는 object의 변형이나 소실과 같은 물리적 불일치를 보인다. 본 논문에서는 미래의 동적 3D reconstruction을 위해 지속적인 3D latent representation을 예측하는 world model인 FR3D를 제안한다. 세계를 image-based feature의 sequence로 다루는 기존 연구들과 달리, FR3D는 scene의 3D 진화를 agent의 trajectory와 명시적으로 분리하며, 추론된 ego-motion을 action의 latent proxy로 취급한다. 이러한 disentanglement는 self-motion과 world-motion 사이의 모호성을 해소하여, 미래 시점까지 geometric consistency를 보장한다. 더 나아가 우리는 off-the-shelf foundation model의 spatial \"common sense\"를 활용하는 teacher-student distillation 전략을 도입하여 강건한 zero-shot generalization을 이끌어낸다. 광범위한 실험은 FR3D가 여러 데이터셋에서 단안 관측으로부터 미래의 동적 3D reconstruction을 수행하는 데 강한 성능을 보이며, 심지어 2초 이후의 미래까지도 잘 예측함을 입증한다.
"},{"id":"60821","en":"GO-PRE：Goal-Oriented Next-Best-View Selection via Predictive Rendering Entropy for Active 3D Reconstruction","ko":"GO-PRE: Active 3D Reconstruction을 위한 Predictive Rendering Entropy 기반 목표 지향 Next-Best-View 선택","authors":"Yan Song, Zhihao Li, Chenglong Li, Li He, Yan Wang, Wenqiang Zhang","pos":"#1414","link":"https://openreview.net/forum?id=wLLmPcx9ZF","abs":"Active 3D reconstruction relies on active view selection to maximize reconstruction fidelity under limited capture budgets. However, most existing methods rely on surrogate signals—such as parameter uncertainty or geometric heuristics—which are often misaligned with the ultimate goal: the fidelity of rendered predictions. We propose GO-PRE, a goal-oriented next-best-view selection framework that explicitly targets information gain in the prediction space. Specifically, we formulate the objective as maximizing the reduction of the average marginal predictive entropy over a user-specified target view manifold. GO-PRE supports interactive goal specification and yields an efficient acquisition rule that enables real-time computation of information gain. Extensive experiments across benchmarks demonstrate that GO-PRE consistently improves active reconstruction performance and provides more reliable uncertainty quantification compared to state-of-the-art methods.
","absKo":"Active 3D reconstruction은 제한된 capture budget 하에서 reconstruction fidelity를 극대화하기 위해 active view selection에 의존한다. 그러나 기존 대부분의 방법은 parameter uncertainty나 geometric heuristic 같은 surrogate signal에 의존하는데, 이는 최종 목표인 rendered prediction의 fidelity와는 종종 어긋난다. 우리는 정보 획득을 prediction space에서 명시적으로 목표로 하는 goal-oriented next-best-view selection framework인 GO-PRE를 제안한다. 구체적으로, 우리는 사용자가 지정한 target view manifold에 걸친 average marginal predictive entropy의 감소를 최대화하는 것으로 objective를 정식화한다. GO-PRE는 interactive goal specification을 지원하며, information gain을 실시간으로 계산할 수 있게 하는 효율적인 acquisition rule을 제공한다. 여러 benchmark에 걸친 광범위한 실험은 GO-PRE가 state-of-the-art method에 비해 active reconstruction performance를 일관되게 향상시키고, 더 신뢰할 수 있는 uncertainty quantification을 제공함을 보여준다.
"},{"id":"64201","en":"Continuous Viewpoint Adaptation for Single View 3D Object Reconstruction","ko":"단일 시점 3D 객체 재구성을 위한 연속 시점 적응","authors":"Seunghyun Hwang, Qiang Qiu","pos":"#1505","link":"https://openreview.net/forum?id=Q1XTVVwJZ9","abs":"Single-view 3D object reconstruction presents a formidable challenge in computer vision due to the inherent limitations of information obtainable from a solitary viewpoint. Recent 3D Gaussian Splatting (3DGS) inspired approaches perform a feed-forward way of learning a neural network that predicts 3D Gaussians which compose the 3D object, given a single image. However, they often struggle with occlusions and exhibit high sensitivity to small changes in input viewpoint, leading to inconsistencies and blurry artifacts in novel view renderings. Our method leverages 3DGS and introduces a new learning scheme that continuously adapts to input viewpoints. To address inherent continuity of camera viewpoints that are represented by polar and azimuthal angles, we use Neural Ordinary Differential Equations to continuously model filter subspace of neural network, thus seamlessly embedding inductive bias of perspective distortions into its structure. By continuously adapting to view-specific features, our approach fosters view consistency in 3D reconstruction, allowing better coherency and accuracy across different angles. Experiments demonstrate that our model outperforms previous methods on multiple single-view 3D reconstruction benchmark datasets and excels in extrapolating to unseen camera angles and categories.
","absKo":"단일 시점(single-view) 3D object reconstruction은 하나의 viewpoint에서 얻을 수 있는 정보의 본질적 한계 때문에 computer vision에서 매우 어려운 과제이다. 최근 3D Gaussian Splatting (3DGS)에서 영감을 받은 접근법들은 단일 이미지를 주었을 때 3D object를 구성하는 3D Gaussian을 예측하는 feed-forward 방식의 neural network를 학습한다. 그러나 이들은 종종 occlusion 처리에 어려움을 겪고, 입력 viewpoint의 작은 변화에도 매우 민감하여 novel view rendering에서 불일치와 흐릿한 artifact를 유발한다. 우리의 방법은 3DGS를 활용하고 입력 viewpoint에 지속적으로 적응하는 새로운 learning scheme을 도입한다. polar 및 azimuthal angle로 표현되는 camera viewpoint의 본질적 연속성을 다루기 위해, Neural Ordinary Differential Equations를 사용하여 neural network의 filter subspace를 연속적으로 모델링함으로써 perspective distortion의 inductive bias를 구조에 자연스럽게 내장한다. view-specific feature에 지속적으로 적응함으로써, 우리의 접근법은 3D reconstruction에서 view consistency를 향상시키고, 서로 다른 angle 전반에서 더 나은 coherency와 accuracy를 가능하게 한다. 실험은 우리 model이 여러 single-view 3D reconstruction benchmark dataset에서 기존 방법을 능가하며, 보지 못한 camera angle과 category로의 extrapolation에서도 뛰어남을 보여준다.
"},{"id":"64373","en":"CodeMamba: Shifting from Target Semantics to Self-Supervised Background Manifold Learning for Singularity Detection in Infrared Sequences","ko":"CodeMamba: 적외선 시퀀스에서 특이점 탐지를 위해 표적 시맨틱에서 자기 지도 배경 매니폴드 학습으로의 전환","authors":"Jingwen Ma, Xinpeng Zhang, Fan Shi, Xu Cheng, Shengyong Chen","pos":"#1506","link":"https://openreview.net/forum?id=ODukwbfUeD","abs":"Multi-frame infrared small target detection suffers from extreme semantic paucity of targets and representation collapse due to overwhelming class imbalance, resulting in the persistent inability to accurately distinguish point-like targets from dynamic background clutter. To address these issues, we propose CodeMamba, a collaborative dual-stream framework that reframes this task as the complementary mechanisms of background manifold modeling and motion singularity capturing. The implicit stream emphasizes background regularity and anomaly localization, while the explicit stream focuses on motion consistency and spatiotemporal singularity. Finally, we design a Bayesian uncertainty-weighted fusion module that estimates the reliability of each stream by quantifying its observation noise. Extensive experiments on the IRDST and DAUB benchmarks demonstrate that CodeMamba not only outperforms existing methods but also achieves enhanced sensitivity to point-like targets.
","absKo":"multi-frame infrared small target detection은 target의 극심한 semantic paucity와 압도적인 class imbalance로 인한 representation collapse를 겪으며, 이로 인해 point-like target을 동적인 background clutter와 정확히 구분하지 못하는 문제가 지속된다. 이러한 문제를 해결하기 위해 우리는 CodeMamba를 제안한다. CodeMamba는 이 task를 background manifold modeling과 motion singularity capturing의 상보적 메커니즘으로 재정식화하는 collaborative dual-stream framework다. implicit stream은 background regularity와 anomaly localization을 강조하고, explicit stream은 motion consistency와 spatiotemporal singularity에 집중한다. 마지막으로, 우리는 observation noise를 정량화하여 각 stream의 신뢰도를 추정하는 Bayesian uncertainty-weighted fusion module을 설계한다. IRDST 및 DAUB benchmark에 대한 광범위한 실험은 CodeMamba가 기존 방법을 능가할 뿐 아니라 point-like target에 대한 sensitivity를 향상시킨다는 점을 보여준다.
"},{"id":"66804","en":"Can We Build a Monolithic Model for Fake Image Detection? SICA: Semantic-Induced Constrained Adaptation for Unified-Yet-Discriminative Artifact Feature Space Reconstruction","ko":"가짜 이미지 탐지를 위한 단일 모델을 만들 수 있는가? SICA: 통합적이면서 판별적인 Artifact Feature Space 재구성을 위한 Semantic-Induced Constrained Adaptation","authors":"Bo Du, Xiaochen Ma, Xuekang Zhu, Zhe Yang, Chaoqun Niu, Jian liu, Ji-Zhe Zhou","pos":"#1508","link":"https://openreview.net/forum?id=0B54C7rFJa","abs":"Fake Image Detection (FID), aiming at unified detection across four image forensic subdomains, is critical in real-world forensic scenarios. Compared with ensemble approaches, monolithic FID models are theoretically more promising, but to date, consistently yield inferior performance in practice. In this work, by discovering the \"heterogeneous phenomenon'', which is the intrinsic distinctness of artifacts across subdomains, we diagnose the cause of this underperformance for the first time: the collapse of the artifact feature space driven by such phenomenon. The core challenge for developing a practical monolithic FID model thus boils down to the \"unified-yet-discriminative\" reconstruction of the artifact feature space. To address this paradoxical challenge, we hypothesize that high-level semantics can serve as a structural prior for the reconstruction, and further propose Semantic-Induced Constrained Adaptation (SICA), the first monolithic FID paradigm. Extensive experiments on our $ \\textit{OpenMMSec} $ dataset demonstrate that SICA outperforms 15 state-of-the-art methods and reconstructs the target unified-yet-discriminative artifact feature space in a near-orthogonal manner, thus firmly validating our hypothesis. The code and dataset will be made publicly available.","absKo":"Fake Image Detection (FID)는 네 개의 image forensic subdomain 전반에 걸친 통합 탐지를 목표로 하며, 실제 forensic 시나리오에서 매우 중요하다. ensemble approach와 비교하면 monolithic FID model은 이론적으로 더 유망하지만, 지금까지는 실제 성능이 일관되게 더 낮게 나타났다. 본 연구에서는 subdomain 간 artifact의 본질적 차이를 뜻하는 “heterogeneous phenomenon”을 발견함으로써, 이러한 성능 저하의 원인을 처음으로 규명한다. 그 핵심 원인은 바로 이 현상에 의해 유도되는 artifact feature space의 붕괴이다. 따라서 practical monolithic FID model을 개발하기 위한 핵심 과제는 artifact feature space를 “unified-yet-discriminative”하게 재구성하는 데 있다. 이 역설적인 문제를 해결하기 위해, 우리는 high-level semantics가 재구성을 위한 structural prior로 작용할 수 있다고 가정하고, 나아가 최초의 monolithic FID paradigm인 Semantic-Induced Constrained Adaptation (SICA)를 제안한다. 우리의 $ \\textit{OpenMMSec} $ dataset에서 수행한 대규모 실험은 SICA가 15개의 state-of-the-art method를 능가하며, target unified-yet-discriminative artifact feature space를 거의 orthogonal한 방식으로 재구성함을 보여 주어, 우리의 가설을 강하게 뒷받침한다. code와 dataset은 공개될 예정이다."},{"id":"61441","en":"Beyond Static Allocation: Dynamic Sensitivity-Aware Fine-Tuning for Vision Transformers","ko":"정적 할당을 넘어: Vision Transformers를 위한 동적 민감도 인식 Fine-Tuning","authors":"Yuanyang Cao, Xichun Liu, Fuwei Zhang, Shangqi Deng, Ziyang Ren, Jianji Wang","pos":"#1510","link":"https://openreview.net/forum?id=q5JQqR6cJV","abs":"Existing Parameter-Efficient Fine-Tuning (PEFT) methods are fundamentally constrained by a static allocation paradigm, which overlooks the model's evolving optimization priorities during training. To address this, we introduce Dynamic Adaptive Fine-tuning (DAF), a novel framework that periodically evaluates and reconfigures the trainable structure based on a context-aware decoupled sensitivity analysis. DAF employs a Rebuild-and-Refocus strategy to preserve learned knowledge by freezing outdated modules while decisively reallocating the parameter budget to newly identified critical regions. Extensive experiments on challenging vision benchmarks demonstrate that DAF significantly outperforms mainstream static PEFT methods and achieves state-of-the-art (SOTA) performance and efficiency, particularly under extreme parameter budgets. Our work fundamentally challenges the static nature of the field, offering a more intelligent and efficient paradigm for adapting large pretrained models. The code is available at https://anonymous.4open.science/r/DAF-9372.
","absKo":"기존 Parameter-Efficient Fine-Tuning(PEFT) 방법은 본질적으로 static allocation paradigm에 제약되며, 이는 학습 중 모델의 변화하는 optimization priority를 간과한다. 이를 해결하기 위해 우리는 context-aware decoupled sensitivity analysis를 바탕으로 trainable structure를 주기적으로 평가하고 재구성하는 새로운 framework인 Dynamic Adaptive Fine-tuning(DAF)을 제안한다. DAF는 Rebuild-and-Refocus 전략을 사용하여, 오래된 module은 freeze함으로써 학습된 지식을 보존하는 동시에 parameter budget을 새롭게 식별된 핵심 영역에 과감하게 재할당한다. 까다로운 vision benchmark에 대한 광범위한 실험은 DAF가 주류 static PEFT 방법보다 훨씬 뛰어나며, 특히 극단적으로 제한된 parameter budget 하에서 state-of-the-art(SOTA) 성능과 효율성을 달성함을 보여준다. 우리의 연구는 이 분야의 정적인 성격에 근본적으로 도전하며, large pretrained model을 적응시키기 위한 더 지능적이고 효율적인 패러다임을 제시한다. 코드는 https://anonymous.4open.science/r/DAF-9372 에 공개되어 있다.
"},{"id":"65028","en":"AdaEraser: Training-Free Object Removal via Adaptive Attention Suppression","ko":"AdaEraser: 적응적 Attention Suppression을 통한 학습 없는 객체 제거","authors":"Dingming Liu","pos":"#1514","link":"https://openreview.net/forum?id=Hc1G5UDPxc","abs":"Object removal aims to eliminate specified objects from images while plausibly inpainting the affected regions with background content. Current training-free methods typically block attention to object regions within self-attention layers during the image generation process, leveraging surrounding background information to restore the image. However, indiscriminate suppression of self-attention in the vacated areas can degrade generation quality, as the model must simultaneously reconstruct background content in these regions. To solve this conflict, we propose AdaEraser, an adaptive framework that dynamically modulates attention based on the estimated presence of target object concepts. Through analysis of self-attention map evolution across denoising timesteps before and during removal, we develop a token-wise adaptive attention suppression strategy. This approach enables progressive perception of object removal throughout the denoising process, with the suppression strength in self-attention layers adjusted adaptively. Extensive experiments demonstrate that AdaEraser achieves superior performance in object removal, outperforming even training-based methods.
","absKo":"Object removal은 이미지에서 지정된 객체를 제거하면서, 영향을 받은 영역을 background content로 그럴듯하게 inpainting하는 것을 목표로 한다. 현재의 training-free 방법들은 일반적으로 이미지 생성 과정에서 self-attention layer 내의 객체 영역에 대한 attention을 차단하여, 주변 background 정보를 활용해 이미지를 복원한다. 그러나 비워진 영역에 대한 self-attention을 무차별적으로 억제하면, 모델이 이 영역의 background content를 동시에 재구성해야 하므로 생성 품질이 저하될 수 있다. 이 충돌을 해결하기 위해, 우리는 추정된 대상 객체 concept의 존재 여부에 따라 attention을 동적으로 조절하는 adaptive framework인 AdaEraser를 제안한다. 제거 전과 제거 중의 denoising timestep 전반에 걸친 self-attention map의 변화를 분석하여, 우리는 token 단위 adaptive attention suppression 전략을 개발한다. 이 접근법은 denoising 과정 전반에 걸쳐 object removal을 점진적으로 인지할 수 있게 하며, self-attention layer의 suppression 강도는 적응적으로 조정된다. 광범위한 실험은 AdaEraser가 object removal에서 우수한 성능을 달성하며, training-based 방법보다도 더 뛰어난 결과를 보임을 보여준다.
"},{"id":"60522","en":"Rays as Pixels: Learning A Joint Distribution of Video and Camera Trajectories","ko":"Ray를 Pixel처럼: Video와 Camera Trajectory의 Joint Distribution 학습","authors":"Wonbong Jang, Shikun Liu, Soubhik Sanyal, Juan Perez, Kam Woh Ng, Sanskar Agrawal, Juan-Manuel Perez-Rua, Yiannis Douratsos, Tao Xiang","pos":"#2604","link":"https://openreview.net/forum?id=zOdTlk9Uw0","abs":"Can we bridge the gap between perceiving camera trajectories and rendering novel views within a single generative framework? Recovering camera parameters from images and rendering scenes from novel viewpoints are considered the forward and inverse problems in the field of computer vision and graphics. Previous approaches treat these problems in isolation, often failing when image coverage is sparse or camera poses are ambiguous. In this work, we propose Rays as Pixels, a specialized Video Diffusion Model (VDM) that learns a joint distribution of videos and camera trajectories. We represent cameras as dense ray pixels (raxels) and simultaneously denoise them alongside video frames using a novel Decoupled Self-Cross Attention. This joint formulation enables us to: i) generate a video from multiple input images following a defined camera trajectory, ii) perform novel view synthesis from sparse views (without necessarily requiring camera poses), and iii) predict the camera trajectory from a raw video. We evaluate our model on pose estimation, camera-controlled video generation and validate its self-consistency. Please reference supplementary material for more qualitative results.
","absKo":"하나의 generative framework 안에서 camera trajectory를 인식하는 것과 novel view를 렌더링하는 것 사이의 간극을 메울 수 있을까? 이미지로부터 camera parameter를 복원하고 새로운 관점에서 장면을 렌더링하는 것은 컴퓨터 비전과 그래픽스 분야에서 각각 forward problem과 inverse problem으로 간주된다. 기존 접근법은 이 문제들을 분리된 채로 다루며, 이미지 coverage가 sparse하거나 camera pose가 모호할 때 종종 실패한다. 본 연구에서는 비디오와 camera trajectory의 joint distribution을 학습하는 특화된 Video Diffusion Model (VDM)인 Rays as Pixels를 제안한다. 우리는 카메라를 dense ray pixel(raxel)로 표현하고, 새로운 Decoupled Self-Cross Attention을 사용해 비디오 프레임과 함께 동시에 denoising한다. 이 joint formulation은 다음을 가능하게 한다. i) 정의된 camera trajectory를 따르며 여러 입력 이미지로부터 비디오를 생성하고, ii) sparse view로부터 novel view synthesis를 수행하며(반드시 camera pose가 필요하지 않음), iii) raw video로부터 camera trajectory를 예측한다. 우리는 pose estimation, camera-controlled video generation에서 모델을 평가하고 self-consistency를 검증한다. 더 많은 qualitative result는 supplementary material을 참고하기 바란다.
"},{"id":"65218","en":"GenShield: Unified Detection and Artifact Correction for AI-Generated Images","ko":"GenShield: AI 생성 이미지에 대한 통합 탐지 및 아티팩트 교정","authors":"Zhipei Xu, Xuanyu Zhang, Youmin Xu, Qing Huang, Shen Chen, Taiping Yao, Shouhong Ding, Jian Zhang","pos":"#4006","link":"https://openreview.net/forum?id=Fhtwta4397","abs":"Diffusion-based image synthesis has made AI-generated images (AIGI) increasingly photorealistic, raising urgent concerns about authenticity in applications such as misinformation detection, digital forensics, and content moderation. Despite the substantial advances in AIGI detection, how to correct detected AI-generated images with visible artifacts and restore realistic appearance remains largely underexplored. Moreover, few existing work has established the connection between AIGI detection and artifact correction. To fill this gap, we propose GenShield, a unified autoregressive framework that jointly performs explainable AIGI detection and controllable artifact correction in a closed loop from diagnosis to restoration, revealing a mutually reinforcing relationship between these two tasks. We further introduce a Visual Chain-of-Thought based curriculum learning strategy that enables self-explained, multi-step \"diagnose-then-repair\" correction with an explicit stopping criterion. A high-quality dataset with large-scale \"artifact-restored\" pairs is also constructed alongside a unified evaluation pipeline. Extensive experiments on our correction benchmark and mainstream AIGI detection benchmarks demonstrate state-of-the-art performance and strong generalization of our method.
","absKo":"Diffusion 기반 image synthesis는 AI-generated image (AIGI)를 점점 더 photorealistic하게 만들고 있으며, 이는 misinformation detection, digital forensics, content moderation과 같은 응용에서 authenticity에 대한 긴급한 우려를 불러일으키고 있다. AIGI detection이 상당히 발전했음에도 불구하고, 눈에 보이는 artifact가 있는 AI-generated image를 어떻게 바로잡고 realistic appearance를 복원할지는 여전히 충분히 탐구되지 않았다. 더구나 기존 연구 중 AIGI detection과 artifact correction의 연결을 확립한 사례도 거의 없다. 이 공백을 메우기 위해 우리는 GenShield를 제안한다. 이는 진단에서 복원까지의 closed loop 안에서 explainable AIGI detection과 controllable artifact correction을 공동으로 수행하는 unified autoregressive framework이며, 이 두 task 사이의 상호 강화 관계를 드러낸다. 또한 우리는 Visual Chain-of-Thought 기반 curriculum learning 전략을 도입하여, 명시적인 stopping criterion을 갖는 self-explained multi-step \"diagnose-then-repair\" correction을 가능하게 한다. 아울러 대규모 \"artifact-restored\" pair를 포함하는 고품질 dataset도 unified evaluation pipeline과 함께 구축한다. 우리의 correction benchmark와 mainstream AIGI detection benchmark에서 수행한 광범위한 실험은, 이 방법이 state-of-the-art 성능과 강한 generalization을 보임을 입증한다.
"},{"id":"64711","en":"RA-Det: Towards Universal Detection of AI-Generated Images via Robustness Asymmetry","ko":"RA-Det: Robustness Asymmetry를 통한 AI 생성 이미지의 보편적 탐지를 향하여","authors":"Xinchang Wang, Yunhao Chen, Yuechen Zhang, Congcong Bian, Zihao Guo, Xingjun Ma, Hui Li","pos":"#4014","link":"https://openreview.net/forum?id=KduPuqy11U","abs":"Recent image generators produce photo-realistic content that undermines the reliability of downstream recognition systems. As visual appearance cues become less pronounced, appearance-driven detectors that rely on forensic cues or high-level representations lose stability. This motivates a shift from appearance to behavior, focusing on how images respond to controlled perturbations rather than how they look. In this work, we identify a simple and universal behavioral signal. Natural images preserve stable semantic representations under small, structured perturbations, whereas generated images exhibit markedly larger feature drift. We refer to this phenomenon as \\textbf{robustness asymmetry} and provide a theoretical analysis that establishes a lower bound connecting this asymmetry to memorization tendencies in generative models, explaining its prevalence across architectures. Building on this insight, we introduce Robustness Asymmetry Detection (RA-Det), a behavior-driven detection framework that converts robustness asymmetry into a reliable decision signal. Evaluated across 14 diverse generative models and against more than 10 strong detectors, RA-Det achieves superior performance, improving the average performance by 12.92\\%. The method is data- and model-agnostic, requires no generator fingerprints, and transfers across unseen generators. Together, these results indicate that robustness asymmetry is a stable, general cue for synthetic-image detection and that carefully designed probing can turn this cue into a practical, universal detector.
","absKo":"최근의 image generator는 downstream recognition system의 신뢰성을 약화시키는 photo-realistic content를 생성한다. visual appearance cue가 덜 두드러질수록, forensic cue나 high-level representation에 의존하는 appearance-driven detector는 안정성을 잃는다. 이는 겉모습이 아니라 행동에 초점을 맞추도록, 즉 이미지가 제어된 perturbation에 어떻게 반응하는지에 주목하도록 유도한다. 본 연구에서는 단순하면서도 보편적인 behavioral signal을 식별한다. natural image는 작은 구조적 perturbation 아래에서 안정적인 semantic representation을 보존하는 반면, generated image는 훨씬 더 큰 feature drift를 보인다. 우리는 이 현상을 \\textbf{robustness asymmetry}라고 부르며, 생성 모델의 memorization tendency와 이 비대칭을 연결하는 lower bound를 확립하는 이론적 분석을 제시하여, 다양한 architecture 전반에서 이 현상이 널리 나타나는 이유를 설명한다. 이 통찰을 바탕으로, 우리는 robustness asymmetry를 신뢰할 수 있는 decision signal로 변환하는 behavior-driven detection framework인 Robustness Asymmetry Detection (RA-Det)을 제안한다. 14개의 다양한 generative model과 10개 이상의 강력한 detector에 대해 평가한 결과, RA-Det은 우수한 성능을 보이며 평균 성능을 12.92\\% 향상시킨다. 이 방법은 data-agnostic이며 model-agnostic하고, generator fingerprint를 필요로 하지 않으며, 보지 못한 generator로도 전이된다. 종합하면, 이러한 결과는 robustness asymmetry가 synthetic image detection을 위한 안정적이고 일반적인 cue임을, 그리고 정교하게 설계된 probing이 이 cue를 실용적이고 보편적인 detector로 전환할 수 있음을 보여준다.
"},{"id":"62174","en":"Difference-Aware Decision Learning for Multimodal Image Fusion","ko":"멀티모달 이미지 융합을 위한 Difference-Aware Decision Learning","authors":"Hao Pan, Jian Dai, Yuan Sun, Zhenwen Ren, Xingfeng Li","pos":"#705","link":"https://openreview.net/forum?id=j4E6NstJR4","abs":"Multimodal image fusion integrates complementary information from different modalities. However, large cross-modal discrepancies and local conflicts often introduce uncertainty into fusion decisions. This uncertainty can bias modality allocation in inconsistent regions, leading to information loss or the propagation of artifacts. Therefore, we address this problem by formally casting image fusion as an integrated probabilistic decision system that couples prior decision-making with posterior risk minimization. Based on this view, we propose a dIfference-aware Decision-lEArning muLtimodal image fusion paradigm (IDEAL). It treats cross-modal differences as decision triggers and learns contribution policies conditioned on local conditions. Specifically, we use a difference-attention module to generate multi-scale difference maps as spatial decision conditions. We also obtain spectral conditions by projecting features into the frequency domain, where power-spectrum energy, complementary spectra, and spectral-entropy reliability characterize modality discrepancy and reliability. We then employ a symmetric Beta prior to map these decision conditions to gating weights, yielding explicit and interpretable modality contribution policies. To improve robustness, we introduce an uncertainty modulation mechanism that reverts the policy to conservative mixing when conditions is insufficient. Extensive experiments demonstrate stable and competitive performance.
","absKo":"Multimodal image fusion은 서로 다른 modality의 complementary information을 통합한다. 그러나 큰 cross-modal discrepancy와 local conflict는 종종 fusion decision에 uncertainty를 유발한다. 이러한 uncertainty는 inconsistent region에서 modality allocation을 왜곡하여 information loss나 artifact propagation으로 이어질 수 있다. 따라서 우리는 이 문제를 prior decision-making과 posterior risk minimization을 결합한 통합 probabilistic decision system으로 formally 정식화하여 다룬다. 이 관점에 기반해, 우리는 dIfference-aware Decision-lEArning muLtimodal image fusion paradigm (IDEAL)을 제안한다. 이 방법은 cross-modal difference를 decision trigger로 취급하고, local condition에 따라 conditioned된 contribution policy를 학습한다. 구체적으로는 difference-attention module을 사용해 multi-scale difference map을 spatial decision condition으로 생성한다. 또한 feature를 frequency domain으로 projection하여 spectral condition을 얻는데, 여기서 power-spectrum energy, complementary spectrum, spectral-entropy reliability가 modality discrepancy와 reliability를 특징짓는다. 이후 symmetric Beta prior를 사용해 이러한 decision condition을 gating weight로 매핑함으로써, 명시적이고 해석 가능한 modality contribution policy를 도출한다. robustness를 높이기 위해, condition이 충분하지 않을 때 policy를 conservative mixing으로 되돌리는 uncertainty modulation mechanism도 도입한다. 광범위한 실험은 안정적이고 경쟁력 있는 성능을 보여준다.
"},{"id":"67231","en":"Position: The Systemic Lack of Agency in Visual Reasoning","ko":"Position: 시각 추론에서의 체계적 능동성 결여","authors":"Yizhao Huang, Haoyang Chen, Pohsun Huang, Jiayuan Li, Shiqin Wang, Haoyuan Du, Yandong Shi, Zheng Wang, Zhixiang Wang","pos":"#2617","link":"https://openreview.net/forum?id=5QgOSels4I","abs":"This paper argues that a systemic lack of Agency constrains the implicit reasoning capabilities of current Vision-Language Models (VLMs). Implicit reasoning refers to the ability to autonomously discover and utilize hidden visual evidence to bridge information gaps, rather than merely relying on explicitly specified targets. This capacity underlies human visual understanding and everyday reasoning. We argue that this limitation arises from a tendency to equate visual reasoning with passive semantic retrieval, rather than with active, situated reasoning that depends on autonomous visual exploration. As a result, most existing benchmarks primarily assess Passive Capacity, leaving this aspect of reasoning largely unmeasured. To address this gap, we introduce the Visual Implicit Reasoning Benchmark (V-IRD), which targets this missing quadrant by requiring models to derive answers strictly through autonomous visual analysis. Our results show that, despite strong retrieval abilities, prominent VLMs struggle to utilize reference objects and to attend to visual evidence that requires self-directed inquiry. Simply put, strong semantic recognition does not equate to active visual exploration, revealing a critical gap in current VLMs.
","absKo":"이 논문은 체계적인 Agency 부족이 현재 Vision-Language Models (VLMs)의 암묵적 추론 능력을 제약한다고 주장한다. 암묵적 추론이란, 명시적으로 지정된 목표에 단순히 의존하는 것이 아니라 숨겨진 시각적 증거를 자율적으로 발견하고 활용하여 정보 격차를 메우는 능력을 뜻한다. 이러한 능력은 인간의 시각 이해와 일상적 추론의 기반이 된다. 우리는 이 한계가 시각적 추론을 자율적 시각 탐색에 의존하는 능동적이고 상황에 놓인 추론이 아니라 수동적 의미 검색으로 동일시하는 경향에서 비롯된다고 본다. 그 결과, 기존의 대부분 벤치마크는 주로 Passive Capacity만 평가하며, 이 추론 측면은 대체로 측정되지 않은 채 남아 있다. 이 공백을 해소하기 위해, 우리는 Visual Implicit Reasoning Benchmark (V-IRD)를 제안한다. 이 벤치마크는 모델이 오직 자율적 시각 분석만을 통해서 답을 도출하도록 요구함으로써, 이 누락된 사분면을 겨냥한다. 우리의 결과는 강한 검색 능력에도 불구하고, 저명한 VLM들이 reference object를 활용하고 자기주도적 탐구가 필요한 시각적 증거에 주의를 기울이는 데 어려움을 겪는다는 것을 보여준다. 간단히 말해, 강한 의미 인식이 능동적 시각 탐색과 같지는 않으며, 이는 현재 VLMs의 중대한 공백을 드러낸다.
"},{"id":"61149","en":"3D Scene Assertion Verification","ko":"3D 장면 Assertion 검증","authors":"Jun Lin, Jiayu Ding, Xiangtian Si, Xitong Cao, Lixin Hong, Zhang Chen, Chenxi Lv, Wenqian Wang","pos":"#4601","link":"https://openreview.net/forum?id=tDWaPO0Cim","abs":"Existing 3D Visual Question Answering (3D-VQA) methods rely on generative paradigms, producing ambiguous descriptions that hinder deterministic decision-making. We introduce 3D Scene Assertion Verification, a task requiring models to verify natural language assertions in 3D scenes with strict binary judgments. To enable rigorous evaluation, we present 3DSAV, the first large-scale diagnostic benchmark comprising 22.5k samples tailored for this objective. We observe that current 3D-VQA models struggle in this setting due to a lack of specialized reasoning mechanisms. To address this, we propose DualLPSS. This framework uses a dual-stage routing mechanism to enable type-aware cross-modal fusion and scene-guided assertion focusing. Extensive experiments show that DualLPSS achieves state-of-the-art performance on 3DSAV, distinguishing itself by correctly handling complex logical assertions where baselines fail. The code and dataset will be made publicly available.
","absKo":"기존의 3D Visual Question Answering(3D-VQA) 방법은 generative paradigm에 의존하여, 결정적 의사결정을 방해하는 모호한 설명을 생성한다. 우리는 3D Scene Assertion Verification을 도입하는데, 이는 모델이 3D scene에서 자연어 assertion을 엄격한 binary judgment로 검증하도록 요구하는 task이다. 엄밀한 평가를 가능하게 하기 위해, 우리는 이 목적에 맞춰 설계된 22.5k sample로 구성된 최초의 대규모 diagnostic benchmark인 3DSAV를 제시한다. 우리는 현재의 3D-VQA 모델이 특화된 reasoning mechanism의 부재로 인해 이러한 setting에서 어려움을 겪는다는 점을 관찰한다. 이를 해결하기 위해 DualLPSS를 제안한다. 이 framework는 dual-stage routing mechanism을 사용하여 type-aware cross-modal fusion과 scene-guided assertion focusing을 가능하게 한다. 광범위한 실험 결과, DualLPSS는 3DSAV에서 state-of-the-art 성능을 달성하며, baseline이 실패하는 복잡한 logical assertion을 올바르게 처리함으로써 두드러진다. 코드와 dataset은 공개될 예정이다.
"},{"id":"62121","en":"Towards High-Fidelity CAD Generation via LLM-Driven Program Generation and Text-Based B-Rep Primitive Grounding","ko":"LLM 기반 프로그램 생성과 텍스트 기반 B-Rep Primitive Grounding을 통한 고충실도 CAD 생성으로","authors":"Jiahao Li, Qingwang Zhang, Qiuyu Chen, Guozhan Qiu, Yunzhong Lou, Xiangdong Zhou","pos":"#1103","link":"https://openreview.net/forum?id=jfOhTGs5G5","abs":"The field of Computer-Aided Design (CAD) generation has made significant progress in recent years. Existing methods typically fall into two separate categorie: parametric CAD modeling and direct boundary representation (B-Rep) synthesis. In modern feature-based CAD systems, parametric modeling and B-Rep are inherently intertwined, as advanced parametric operations (e.g., fillet and chamfer) require explicit selection of B-Rep geometric primitives, and the B-Rep itself is derived from parametric operations. Consequently, this paradigm gap remains a critical factor limiting AI-driven CAD modeling for complex industrial product design. This paper present FutureCAD, a novel text-to-CAD framework that leverages large language models (LLMs) and a B-Rep grounding transformer (BRepGround) for high-fidelity CAD generation. Our method generates executable CadQuery scripts, and introduces a text-based query mechanism that enables the LLM to specify geometric selections via natural language, which BRepGround then grounds to the target primitives. To train our framework, we construct a new dataset comprising real-world CAD models. For the LLM, we apply supervised fine-tuning (SFT) to establish fundamental CAD generation capabilities, followed by reinforcement learning (RL) to improve generalization. Experiments show that FutureCAD achieves state-of-the-art CAD generation performance.
","absKo":"Computer-Aided Design(CAD) generation 분야는 최근 괄목할 만한 진전을 이뤘다. 기존 방법은 일반적으로 parametric CAD modeling과 direct boundary representation(B-Rep) synthesis라는 두 범주로 나뉜다. 현대의 feature-based CAD system에서는 parametric modeling과 B-Rep가 본질적으로 서로 얽혀 있는데, 고급 parametric operation(예: fillet과 chamfer)은 B-Rep geometric primitive의 명시적 선택을 필요로 하며, B-Rep 자체도 parametric operation에서 도출되기 때문이다. 결과적으로 이 paradigm gap은 복잡한 industrial product design에서 AI-driven CAD modeling을 제한하는 핵심 요인으로 남아 있다. 본 논문은 대규모 언어 모델(LLM)과 B-Rep grounding transformer(BRepGround)를 활용하여 high-fidelity CAD generation을 수행하는 새로운 text-to-CAD 프레임워크 FutureCAD를 제안한다. 우리의 방법은 실행 가능한 CadQuery script를 생성하며, LLM이 natural language로 geometric selection을 지정할 수 있게 하는 text-based query mechanism을 도입하고, BRepGround가 이를 target primitive에 grounding한다. 프레임워크를 학습하기 위해 실제 CAD model로 구성된 새로운 dataset을 구축하였다. LLM에는 supervised fine-tuning(SFT)을 적용해 기본적인 CAD generation 능력을 확립하고, 이어서 reinforcement learning(RL)으로 일반화를 향상시킨다. 실험 결과 FutureCAD가 state-of-the-art CAD generation 성능을 달성함을 보인다.
"},{"id":"62017","en":"SpatialReward: Bridging the Perception Gap in Online RL for Image Editing via Explicit Spatial Reasoning","ko":"SpatialReward: explicit spatial reasoning으로 image editing을 위한 온라인 RL의 perception gap 완화","authors":"Yancheng Long, Yankai Yang, Hongyang Wei, Wei Chen, Tianke Zhang, Haonan Fan, Changyi Liu, Kaiyu Jiang, Jiankang Chen, Kaiyu Tang, Bin Wen, Fan Yang, Tingting Gao, Han Li, Shuo Yang","pos":"#1109","link":"https://openreview.net/forum?id=kdKSU8ULh9","abs":"Online Reinforcement Learning (RL) offers a promising avenue for complex image editing but is currently constrained by the scarcity of reliable and fine-grained reward signals. Existing evaluators frequently struggle with a critical perception gap we term \"Attention Collapse,\" where models neglect cross-image comparisons and fail to capture fine-grained details, resulting in inaccurate perception and miscalibrated scores. To address these limitations, we propose SpatialReward, a reward model that enforces precise verification via explicit spatial reasoning. By anchoring reasoning to predicted edit regions, SpatialReward grounds semantic judgments in pixel-level evidence, significantly enhancing evaluative accuracy. Trained on a curated 260k spatial-aware dataset, our model achieves state-of-the-art performance on MMRB2 and EditReward-Bench, and outperforms proprietary evaluators on our proposed MultiEditReward-Bench. Furthermore, SpatialReward serves as a robust signal in online RL, boosting OmniGen2 by +0.90 on GEdit-Bench—surpassing the leading discriminative model and doubling the gain of GPT-4.1 (+0.45). These results demonstrate that spatial reasoning is essential for unlocking effective alignment in image editing.
","absKo":"Online Reinforcement Learning (RL)은 복잡한 image editing을 위한 유망한 경로를 제공하지만, 현재는 신뢰할 수 있고 세분화된 reward signal의 부족으로 제약을 받고 있다. 기존 evaluator들은 우리가 \"Attention Collapse\"라고 부르는 중요한 perception gap에 자주 부딪히며, 여기서 모델은 cross-image comparison을 간과하고 세밀한 디테일을 포착하지 못해 부정확한 인식과 잘못 보정된 점수를 낳는다. 이러한 한계를 해결하기 위해, 우리는 명시적 spatial reasoning을 통해 정밀한 검증을 강제하는 reward model인 SpatialReward를 제안한다. 예측된 edit region에 reasoning을 고정함으로써, SpatialReward는 semantic judgment를 pixel-level evidence에 기반해 정당화하며, 평가 정확도를 크게 향상시킨다. 정제된 260k 규모의 spatial-aware dataset으로 학습된 우리의 모델은 MMRB2와 EditReward-Bench에서 state-of-the-art 성능을 달성하고, 우리가 제안한 MultiEditReward-Bench에서는 상용 evaluator를 능가한다. 더 나아가, SpatialReward는 online RL에서 강력한 signal로 작동하여 GEdit-Bench에서 OmniGen2의 성능을 +0.90 향상시키며, 선도적인 discriminative model을 넘어서는 동시에 GPT-4.1의 향상폭(+0.45)의 두 배를 달성한다. 이러한 결과는 효과적인 image editing alignment를 달성하기 위해 spatial reasoning이 필수적임을 보여준다.
"},{"id":"62308","en":"SPADA: A Verifiable Test-Driven Agent for Controllable Parametric CAD Assembly Generation","ko":"SPADA: 제어 가능한 파라미터 CAD 조립 생성용 검증 가능한 Test-Driven Agent","authors":"Keyou Zheng, Xuyang Su, Jiewu Leng","pos":"#1112","link":"https://openreview.net/forum?id=hnV1ku7cd0","abs":"Parametric CAD is widely used in mechanical and product engineering, but current generative models still have difficulty producing assemblies that are both editable at the parameter level and consistent with inter-part constraints. Methods that generate meshes or history-free B-rep can represent multi-part shape, but they often lack the program structure and constraint logic needed for reliable downstream edits; in contrast, code-based CAD generation offers direct parametric control, yet most published settings and evaluations focus on single-part solids rather than constrained assemblies. We introduce SPADA (Self-testing Parametric Assembly Design Agent), a test-driven agent that synthesizes assembly code together with deterministic verification tests, and uses these tests as an executable contract for controllable generation. SPADA runs an iterative compile-test-repair loop with multimodal feedback, checking both specification logic and physical feasibility through programmatic constraints. To support evaluation, we release SPADA-Bench-Verified, a human-validated benchmark of real-world code-centric assemblies paired with deterministic tests and engineering-style constraints. Experiments show that SPADA could produces complex assemblies while maintaining geometric fidelity, supporting test-driven agents as a concrete path toward reliable, controllable CAD generation.
","absKo":"Parametric CAD는 기계 및 제품 공학에서 널리 사용되지만, 현재의 생성 모델은 여전히 파라미터 수준에서 편집 가능하면서도 part 간 제약을 일관되게 만족하는 assembly를 생성하는 데 어려움을 겪는다. mesh나 history-free B-rep을 생성하는 방법은 multi-part shape를 표현할 수 있지만, 신뢰할 수 있는 downstream 편집에 필요한 program 구조와 constraint logic이 부족한 경우가 많다. 반면 code-based CAD generation은 직접적인 parametric control을 제공하지만, 대부분의 공개된 설정과 평가는 constrained assembly보다 single-part solid에 초점을 맞춘다. 우리는 SPADA (Self-testing Parametric Assembly Design Agent)를 소개하는데, 이는 deterministic verification test와 함께 assembly code를 합성하고, 이 test를 controllable generation을 위한 executable contract로 사용하는 test-driven agent이다. SPADA는 multimodal feedback을 활용한 iterative compile-test-repair loop를 수행하며, programmatic constraint를 통해 specification logic과 physical feasibility를 모두 점검한다. 평가를 지원하기 위해 우리는 실제 세계의 code-centric assembly와 deterministic test, 그리고 engineering-style constraint가 짝지어진 human-validated benchmark인 SPADA-Bench-Verified를 공개한다. 실험은 SPADA가 geometric fidelity를 유지하면서 복잡한 assembly를 생성할 수 있음을 보여주며, test-driven agent가 신뢰할 수 있고 제어 가능한 CAD generation으로 가는 구체적인 경로임을 뒷받침한다.
"},{"id":"66458","en":"SG2Loc: Sequential Visual Localization on 3D Scene Graphs","ko":"SG2Loc: 3D Scene Graph 상의 순차적 시각 위치 파악","authors":"Nicole Damblon, Olga Vysotska, Federico Tombari, Marc Pollefeys, Daniel Barath","pos":"#1113","link":"https://openreview.net/forum?id=3VgsVk8e8m","abs":"Visual localization in complex environments remains a critical challenge for robotics and AR applications. Sequential localization, where pose estimates are refined over time, is important for autonomous agents. However, traditional methods often require storing extensive image databases or point clouds, leading to significant storage overhead. This paper introduces a novel, lightweight approach to sequential visual localization using 3D scene graphs. Our method represents the environment with a compact scene graph, where nodes represent objects (with coarse meshes) and edges encode spatial relationships. For each image in the localization phase, we extract per-patch semantic features, predicting object identities. Localization is performed within a particle filter framework. Each particle, representing a camera pose, projects the coarse object meshes from the scene graph into the image, assigning object identities to patches based on visibility. The similarity of the per-patch features, in the input image, and object features from the scene graph determines the weight of a particle. Subsequent images are incorporated sequentially, refining the pose estimate. By leveraging a compact scene graph and efficient semantic matching, our method significantly reduces storage while maintaining performance on real-world datasets. The code will be made public.
","absKo":"복잡한 환경에서의 visual localization은 robotics와 AR application에서 여전히 중요한 과제다. 시간에 따라 pose estimate를 정교화하는 sequential localization은 autonomous agent에 중요하다. 그러나 전통적인 방법은 방대한 image database나 point cloud를 저장해야 하는 경우가 많아 상당한 storage overhead를 초래한다. 이 논문은 3D scene graph를 사용한 sequential visual localization을 위한 새롭고 경량의 접근법을 제안한다. 우리의 방법은 환경을 compact scene graph로 표현하며, node는 object(거친 mesh 포함)를 나타내고 edge는 공간적 관계를 인코딩한다. localization phase의 각 image에 대해, 우리는 patch별 semantic feature를 추출하고 object identity를 예측한다. localization은 particle filter framework 내에서 수행된다. camera pose를 나타내는 각 particle은 scene graph의 거친 object mesh를 image에 투영하고, visibility에 기반해 patch에 object identity를 할당한다. input image의 patch별 feature와 scene graph의 object feature 간 유사도가 particle의 weight를 결정한다. 이후의 image는 순차적으로 통합되어 pose estimate를 정교화한다. compact scene graph와 효율적인 semantic matching을 활용함으로써, 우리의 방법은 real-world dataset에서 성능을 유지하면서 storage를 크게 줄인다. 코드는 공개될 예정이다.
"},{"id":"64257","en":"SC$^{2}$-WM: A Self-Correcting World Model with Closed-Loop Feedback for Vision-and-Language Navigation in Continuous Environments","ko":"SC$^{2}$-WM: 연속 환경에서 시각-언어 내비게이션을 위한 폐루프 피드백 자기 교정 세계 모델","authors":"Xuan Yao, Yuze Zhu, JUNYU GAO, Zongmeng Wang, Changsheng Xu","pos":"#1115","link":"https://openreview.net/forum?id=PQtwLElwdg","abs":"Vision-and-Language Navigation in Continuous Environments (VLN-CE) requires agents to make fine-grained navigation decisions under partial observability. However, most existing methods rely on open-loop execution, lacking mechanisms to detect and correct internal state drift during inference. We propose SC$^{2}$-WM, a self-correcting world model framework that introduces internal feedback for closed-loop decision making in VLN-CE. Our method derives feedback from world-model foresight to perform state-level plan refinement before action execution. To handle challenging scenarios, we further introduce conditional world-aware adaptation, which enables model-level correction by selectively updating the world model at test time when feedback indicates model capacity insufficiency. Experiments on standard VLN-CE benchmarks demonstrate improved navigation robustness and generalization. Code is available in the Supplementary Material.","absKo":"Vision-and-Language Navigation in Continuous Environments(VLN-CE)는 agent가 partial observability 하에서 세밀한 navigation 결정을 내려야 하는 과제를 요구한다. 그러나 기존 방법의 대부분은 open-loop 실행에 의존하여, inference 중 내부 상태 drift를 탐지하고 수정하는 메커니즘이 없다. 우리는 VLN-CE에서 closed-loop decision making을 위해 내부 feedback을 도입한 self-correcting world model framework인 SC$^{2}$-WM을 제안한다. 우리의 방법은 world-model foresight로부터 feedback을 도출하여 action 실행 전에 state-level plan refinement를 수행한다. 어려운 상황을 처리하기 위해, 우리는 conditional world-aware adaptation을 추가로 도입하여 feedback이 model capacity의 부족을 나타낼 때 test time에 world model을 선택적으로 업데이트함으로써 model-level correction을 가능하게 한다. 표준 VLN-CE benchmark 실험은 navigation의 robustness와 generalization이 향상됨을 보여준다. 코드는 Supplementary Material에 제공된다."},{"id":"63859","en":"Pair2Scene: Learning Local Object Relations for Procedural Scene Generation","ko":"Pair2Scene: 절차적 장면 생성을 위한 국소 객체 관계 학습","authors":"Xingjian Ran, Shujie Zhang, Weipeng Zhong, Luo Li, Bo Dai","pos":"#1204","link":"https://openreview.net/forum?id=T6OVjCzbrS","abs":"Generating high-fidelity 3D indoor scenes remains a significant challenge due to data scarcity and the complexity of modeling intricate spatial relations. Current methods often struggle to scale beyond training distribution to dense scenes or rely on Large Language Models (LLMs) that lack the ability for precise spatial reasoning. Building on top of the observation that object placement relies mainly on local dependencies instead of information-redundant global distributions, in this paper, we propose Pair2Scene, a novel procedural generation framework, for scene generation based on a set of learned procedural rules. These rules mainly capture two types of inter-object relations, namely support relations that follow physical hierarchies, and functional relations that reflect semantic links. We model these rules through a network, which estimates spatial position distributions of dependent objects conditioned on position and geometry of the anchor ones. Accordingly, we curate a dataset 3D-Pairs from existing scene data to train the model. During inference, our framework can generate scenes by recursively applying our model. Extensive experiments demonstrate that our framework outperforms existing methods in generating complex environments that go beyond training data while maintaining physical and semantic plausibility.
","absKo":"고충실도 3D indoor scene 생성을 위해서는 data scarcity와 복잡한 spatial relation 모델링의 난이도로 인해 여전히 큰 도전이 존재한다. 현재의 방법은 종종 training distribution을 넘어 dense scene으로 확장하는 데 어려움을 겪거나, 정밀한 spatial reasoning 능력이 부족한 Large Language Models(LLMs)에 의존한다. 물체 배치가 정보가 중복된 global distribution보다는 주로 local dependency에 의해 좌우된다는 관찰을 바탕으로, 본 논문에서는 learned procedural rule 집합에 기반한 scene generation을 위한 새로운 procedural generation framework인 Pair2Scene을 제안한다. 이 규칙들은 주로 두 종류의 inter-object relation, 즉 물리적 계층을 따르는 support relation과 의미적 연결을 반영하는 functional relation을 포착한다. 우리는 이러한 규칙을 network로 모델링하여, anchor object의 position과 geometry에 조건화된 dependent object의 spatial position distribution을 추정한다. 이에 따라 우리는 모델 학습을 위해 기존 scene data로부터 3D-Pairs 데이터셋을 구축한다. inference 단계에서 본 프레임워크는 모델을 재귀적으로 적용하여 scene을 생성할 수 있다. 광범위한 실험은 본 프레임워크가 training data를 넘어서는 복잡한 환경을 생성하면서도 물리적 및 semantic plausibility를 유지함으로써 기존 방법을 능가함을 보여준다.
"},{"id":"64964","en":"RELO: Reinforcement Learning to Localize for Visual Object Tracking","ko":"RELO: Visual Object Tracking을 위한 Localization Reinforcement Learning","authors":"Xin Chen, Chuanyu Sun, Jiao Xu, Houwen Peng, Dong Wang, Huchuan Lu, Kede Ma","pos":"#1208","link":"https://openreview.net/forum?id=IKZcb2jZqM","abs":"Existing one-stream Transformer-based visual trackers localize targets by training a classification head with a handcrafted spatial prior encoded as a heatmap. However, this heuristic supervision merely serves as a surrogate objective, which misaligns with evaluation metrics such as IoU and AUC. To address this limitation, we propose RELO, a reinforcement-learning tracking framework that formulates target localization as a decision-making problem within the Transformer-based tracking paradigm. Unlike prior-driven localization learning, RELO performs sequence-level reinforcement learning to optimize localization behavior using both instantaneous IoU and sequence-level AUC rewards, better aligning the training objective with real evaluation criteria. As a result, RELO not only eliminates the need for handcrafted heatmaps, but also achieves superior performance. For instance, RELO attains 57.5\\% AUC on LaSOT$_\\mathrm{ext}$ without template updates, establishing a new state-of-the-art performance. Code and models will be made available.","absKo":"기존 one-stream Transformer 기반 visual tracker들은 heatmap으로 인코딩된 handcrafted spatial prior로 classification head를 학습하여 대상을 localize한다. 그러나 이러한 heuristic supervision은 단지 surrogate objective에 불과하며, IoU와 AUC 같은 평가 지표와는 정렬되지 않는다. 이 한계를 해결하기 위해, 우리는 RELO를 제안한다. RELO는 Transformer 기반 tracking 패러다임 안에서 target localization을 decision-making problem으로 정식화하는 reinforcement-learning tracking framework이다. prior-driven localization learning과 달리, RELO는 instantaneous IoU와 sequence-level AUC reward를 모두 사용해 sequence-level reinforcement learning을 수행함으로써, 학습 목표를 실제 평가 기준과 더 잘 정렬한다. 그 결과 RELO는 handcrafted heatmap의 필요성을 제거할 뿐 아니라, 더 우수한 성능도 달성한다. 예를 들어, RELO는 template update 없이 LaSOT$_\\mathrm{ext}$에서 57.5\\% AUC를 달성하여 새로운 state-of-the-art 성능을 확립한다. Code and models will be made available."},{"id":"62630","en":"RealisMotion: Decomposed Human Motion Control and Video Generation in the World Space","ko":"RealisMotion: World Space에서 분해된 Human Motion Control 및 Video Generation","authors":"Jingyun Liang, Jingkai Zhou, Shikai Li, Chenjie Cao, Lei Sun, Yichen Qian, Weihua Chen, Fan Wang","pos":"#1212","link":"https://openreview.net/forum?id=epVORy8H4y","abs":"Generating human videos with realistic and controllable motions is a challenging task. While existing methods can generate visually compelling videos, they lack separate control over four key video elements: foreground subject, background video, human trajectory, and action patterns. In this paper, we propose a decomposed human motion control and video generation framework that explicitly decouples motion from appearance, subject from background, and action from trajectory, enabling flexible mix-and-match composition of these elements. Concretely, we first build a ground-aware 3D world coordinate system and perform motion editing directly in the 3D space. Trajectory control is implemented by unprojecting edited 2D trajectories into 3D with focal-length calibration and coordinate transformation, followed by speed alignment and orientation adjustment; actions are supplied by a motion bank or generated via text-to-motion methods. Then, based on modern text-to-video diffusion transformer models, we inject the subject as tokens for full attention, concatenate the background along the channel dimension, and add motion (trajectory and action) control signals by addition. Such a design opens up the possibility for us to generate realistic videos of anyone doing anything anywhere. Extensive experiments on benchmark datasets and real-world cases demonstrate that our method achieves state-of-the-art performance on both element-wise controllability and overall video quality. The source codes and project page with video examples are in the supplementary materials.
","absKo":"현실적이고 제어 가능한 움직임을 가진 인간 비디오를 생성하는 것은 어려운 과제이다. 기존 방법들은 시각적으로 인상적인 비디오를 생성할 수는 있지만, foreground subject, background video, human trajectory, action pattern이라는 네 가지 핵심 비디오 요소를 분리하여 제어하지는 못한다. 본 논문에서는 motion과 appearance, subject와 background, action과 trajectory를 명시적으로 분리하여 이러한 요소를 유연하게 mix-and-match로 구성할 수 있게 하는 분해형 human motion control 및 video generation framework를 제안한다. 구체적으로, 먼저 ground-aware 3D world coordinate system을 구축하고 3D 공간에서 직접 motion editing을 수행한다. trajectory control은 초점 거리 보정과 coordinate transformation을 통해 편집된 2D trajectory를 3D로 unproject한 뒤, speed alignment와 orientation adjustment를 거쳐 구현되며, action은 motion bank에서 제공되거나 text-to-motion 방법을 통해 생성된다. 그다음 modern text-to-video diffusion transformer model을 기반으로, subject를 full attention을 위한 token으로 주입하고, background는 channel dimension에 따라 concatenate하며, motion(trajectory와 action) control signal은 addition으로 더한다. 이러한 설계는 누구나 어디서나 어떤 행동이든 하는 현실적인 비디오를 생성할 수 있는 가능성을 열어준다. benchmark dataset과 실제 사례에 대한 광범위한 실험은 우리의 방법이 element-wise controllability와 전체 비디오 품질 모두에서 state-of-the-art 성능을 달성함을 보여준다. source code와 video example이 포함된 project page는 supplementary materials에 있다.
"},{"id":"61699","en":"MotiMotion: Motion-Controlled Video Generation with Visual Reasoning","ko":"MotiMotion: Visual Reasoning 기반 Motion-Controlled Video Generation","authors":"Hsin-Ying Lee, Hanwen Jiang, Yiqun Mei, Jing Shi, Ming-Hsuan Yang, Zhixin Shu","pos":"#1301","link":"https://openreview.net/forum?id=ndyuCnJxks","abs":"Current motion-controlled image-to-video generation models rigidly follow user-provided trajectories that are often sparse, imprecise, and causally incomplete. Such reliance often yields unnatural or implausible outcomes, especially by missing secondary causal consequences. To address this, we introduce MotiMotion, a novel framework that reformulates motion control as a reasoning-then-generation problem. To encourage causally grounded and commonsense-consistent interactions, we leverage a training-free vision-language reasoner to refine image-space coordinates of primary trajectories and to hallucinate plausible secondary motions. To further improve motion naturalness, we propose a confidence-aware control scheme that modulates guidance strength, enabling the model to closely follow high-confidence plans while correcting artifacts under low-confidence inputs with its internal generative priors. To support systematic evaluation, we curate a new image-to-video benchmark, MotiBench, consisting of interaction-centric scenes where new events are triggered by motion. Both VLM-based evaluation and a human study on MotiBench demonstrate that MotiMotion produces videos with more plausible object behaviors and interaction, and is preferred over existing approaches.
","absKo":"현재 motion-controlled image-to-video 생성 모델은 사용자가 제공한 trajectory를 엄격하게 따르는데, 이러한 trajectory는 종종 sparse하고 부정확하며 인과적으로 불완전하다. 이러한 의존성은 특히 2차 인과적 결과를 놓침으로써 부자연스럽거나 그럴듯하지 않은 결과를 초래하는 경우가 많다. 이를 해결하기 위해 우리는 motion control을 reasoning-then-generation 문제로 재정식화하는 새로운 프레임워크 MotiMotion을 제안한다. 인과적으로 타당하고 commonsense와 일관된 상호작용을 유도하기 위해, 학습이 필요 없는 vision-language reasoner를 활용하여 primary trajectory의 image-space coordinate를 정제하고 그럴듯한 secondary motion을 환각적으로 생성한다. motion naturalness를进一步 향상시키기 위해, 우리는 guidance strength를 조절하는 confidence-aware control scheme을 제안하여, model이 confidence가 높은 plan은 더 충실히 따르면서 confidence가 낮은 입력에서는 내부 generative prior로 artifact를 보정하도록 한다. 체계적 평가를 지원하기 위해, motion에 의해 새로운 사건이 유발되는 interaction-centric scene으로 구성된 새로운 image-to-video benchmark MotiBench를 구축했다. MotiBench에서 수행한 VLM 기반 평가와 인간 평가 모두 MotiMotion이 더 그럴듯한 object behavior와 interaction을 생성하며, 기존 접근법보다 선호됨을 보여준다.
"},{"id":"64234","en":"Learning Gaussian Mixture-distributed Prototypes for 3D Scene Graph Generation from RGB-D Sequences","ko":"RGB-D 시퀀스로부터 3D 장면 그래프 생성을 위한 가우시안 혼합 분포 프로토타입 학습","authors":"Rongxing Ding, Hongyu Qu, Xinguang Xiang, Pengpeng Li, Xiangbo Shu","pos":"#1307","link":"https://openreview.net/forum?id=PgcMxkhzoG","abs":"3D Scene Graph Generation (3DSGG) aims to create a structured representation of 3D environment by identifying objects as nodes and their relations as edges. Existing 3DSGG methods based on RGB-D sequences typically put much focus on the adaption of neural networks to robust node and edge feature extraction in complex 3D scenes, yet ignoring the inherent intra-class diversity within each class and inter-class similarity between different categories associated with nodes and edges. In this work, we develop GMPSSG, a novel Gaussian Mixture-distributed Prototype mining framework for 3DSGG. Specifically, we model different categories with independent Gaussian Mixture-distributed Prototype to effectively mitigate inter-class similarity, while employing multiple Gaussian components within each prototype to capture intra-class diversity. Moreover, Prototype-anchored Representation Learning is introduced to construct a well-structured and mutually independent category space; Topology-aware Prototype Interaction is devised to capture implicit co-occurrence priors within the scene, and leverage them to calibrate prototype distributions, thereby ensuring the plausibility of node-edge matching. Experiments on 3DSSG dataset demonstrate GMPSSG outperforms various top-leading methods. Source code will be released.
","absKo":"3D Scene Graph Generation(3DSGG)은 객체를 node로, 그 관계를 edge로 식별하여 3D 환경의 구조화된 표현을 생성하는 것을 목표로 한다. RGB-D sequence 기반의 기존 3DSGG 방법은 복잡한 3D 장면에서 강건한 node 및 edge feature extraction을 위해 neural network를 적응시키는 데 많은 초점을 두는 반면, node와 edge에 관련된 각 class 내부의 고유한 intra-class diversity와 서로 다른 category 간의 inter-class similarity는 간과한다. 본 연구에서는 3DSGG를 위한 새로운 Gaussian Mixture-distributed Prototype mining framework인 GMPSSG를 개발한다. 구체적으로, 서로 다른 category를 독립적인 Gaussian Mixture-distributed Prototype으로 모델링하여 inter-class similarity를 효과적으로 완화하고, 각 prototype 내부에 여러 Gaussian component를 사용하여 intra-class diversity를 포착한다. 또한 Prototype-anchored Representation Learning을 도입하여 잘 구조화되고 상호 독립적인 category space를 구성하고, Topology-aware Prototype Interaction을 고안하여 장면 내 암묵적인 co-occurrence prior를 포착하고 이를 활용해 prototype distribution을 보정함으로써 node-edge matching의 타당성을 보장한다. 3DSSG dataset에 대한 실험은 GMPSSG가 여러 최상위 방법을 능가함을 보여준다. Source code는 공개될 예정이다.
"},{"id":"62895","en":"HOI-PAGE: Zero-Shot Human-Object Interaction Generation with Part Affordance Guidance","ko":"HOI-PAGE: Part Affordance Guidance를 활용한 Zero-Shot Human-Object Interaction 생성","authors":"Lei Li, Angela Dai","pos":"#1313","link":"https://openreview.net/forum?id=c7NEZ94WAq","abs":"We present HOI-PAGE, a new approach that prioritizes part-level affordance reasoning to generate high-fidelity 4D human-object interactions (HOIs) from text prompts in a zero-shot fashion. In contrast to prior works that focus on global, whole body-object motion synthesis, our approach explicitly reasons about the underlying fine-grained mechanics of interactions using large language models (LLMs). We capture this reasoning in a structured part affordance graph (PAG) representation, serving as a high-level interaction scaffolding to guide a three-stage synthesis: first, decomposing input 3D objects into semantic parts; then, generating reference HOI videos from text prompts to extract part-based motion constraints; and finally, optimizing for 4D HOI motion sequences that mimic the reference dynamics while satisfying part-level contact constraints. Extensive experiments show that our approach is flexible and capable of generating complex multi-object or multi-person interaction sequences, with significantly improved realism and text alignment for zero-shot 4D HOI generation.
","absKo":"HOI-PAGE는 part-level affordance reasoning을 우선시하여, zero-shot 방식으로 text prompt로부터 high-fidelity 4D human-object interaction (HOI)을 생성하는 새로운 접근법이다. 전체적인 whole body-object motion synthesis에 초점을 맞춘 기존 연구와 달리, 우리의 접근법은 large language model (LLM)을 사용해 상호작용의 underlying fine-grained mechanics를 명시적으로 추론한다. 우리는 이러한 추론을 구조화된 part affordance graph (PAG) representation으로 포착하며, 이는 3단계 synthesis를 안내하는 high-level interaction scaffolding 역할을 한다. 첫째, 입력 3D object를 semantic part로 분해하고, 둘째, text prompt로부터 reference HOI video를 생성해 part-based motion constraint를 추출하며, 셋째, reference dynamics를 모사하면서 part-level contact constraint를 만족하는 4D HOI motion sequence를 최적화한다. 광범위한 실험 결과, 우리의 접근법은 유연하며 복잡한 multi-object 또는 multi-person interaction sequence를 생성할 수 있고, zero-shot 4D HOI generation에서 realism과 text alignment를 크게 향상시킨다.
"},{"id":"62644","en":"Direct 3D-Aware Object Insertion via Decomposed Visual Proxies","ko":"Decomposed Visual Proxies를 통한 Direct 3D-Aware Object Insertion","authors":"Jingbo Gong, Yikai Wang, Yushi Lan, Yuhao Wan, Ziheng Ouyang, Rui Zhao, Ming-Ming Cheng, Qibin Hou, Chen Change Loy","pos":"#1401","link":"https://openreview.net/forum?id=elMTnbu5Kz","abs":"Object insertion aims to seamlessly composite a reference object into a specified region of a background image. Recent diffusion-based methods achieve high visual quality but formulate insertion as a simple 2D inpainting task, providing no explicit control over the object’s 3D pose and limiting their practical applicability. We propose DIRECT (Decomposed Injection for Reference Composition and Target-integration), a novel framework that integrates interactive pose manipulation with high-fidelity 2D image synthesis to enable precise geometric alignment. Our method decomposes the insertion conditions into three complementary components: appearance guidance capturing visual details from the reference object, geometry guidance derived from the user-adjusted 3D proxy, and target-integration guidance from the background image. We also introduce an automated data construction pipeline to improve training diversity and visual realism. Experiments show that DIRECT outperforms previous methods in both geometric controllability and visual quality.
","absKo":"Object insertion은 reference object를 background image의 지정된 영역에 자연스럽게 합성하는 것을 목표로 한다. 최근 diffusion 기반 방법들은 높은 시각적 품질을 달성하지만, insertion을 단순한 2D inpainting task로 정식화하여 object의 3D pose에 대한 명시적 제어를 제공하지 못하며, 이로 인해 실제 적용 가능성이 제한된다. 우리는 DIRECT(Decomposed Injection for Reference Composition and Target-integration)를 제안한다. 이는 인터랙티브한 pose manipulation과 고충실도 2D image synthesis를 결합하여 정밀한 기하학적 정렬을 가능하게 하는 새로운 프레임워크다. 우리의 방법은 insertion 조건을 세 개의 상보적 구성요소로 분해한다. 즉, reference object의 시각적 디테일을 담는 appearance guidance, 사용자가 조정한 3D proxy로부터 유도되는 geometry guidance, 그리고 background image로부터의 target-integration guidance이다. 또한 학습 다양성과 시각적 사실성을 높이기 위해 자동 데이터 구성 파이프라인도 도입한다. 실험 결과 DIRECT는 기하학적 controllability와 시각적 품질 모두에서 기존 방법을 능가함을 보인다.
"},{"id":"64194","en":"GameVerse: Can Vision-Language Models Learn from Video-based Reflection?","ko":"GameVerse: Vision-Language 모델은 영상 기반 반영으로부터 학습할 수 있는가?","authors":"Kuan Zhang, Dongchen Liu, Qiyue Zhao, Jinkun Hou, Xinran Zhang, Qinlei Xie, Miao Liu, Yiming Li","pos":"#1415","link":"https://openreview.net/forum?id=Q4enC6IyTP","abs":"Human gameplay is a visually grounded interaction loop in which players act, reflect on failures, and watch tutorials to refine strategies. Can Vision-Language Models (VLMs) also learn from video-based reflection? We present GameVerse, a comprehensive video game benchmark that enables a reflective visual interaction loop. Moving beyond traditional fire-and-forget evaluations, it uses a novel reflect-and-retry paradigm to assess how VLMs internalize visual experience and improve policies. To facilitate systematic and scalable evaluation, we also introduce a cognitive hierarchical taxonomy spanning 15 globally popular games, dual action space for both semantic and GUI control, and milestone evaluation using advanced VLMs to quantify progress. Our experiments show that VLMs benefit from video-based reflection in varied settings, and perform best by combining failure trajectories and expert tutorials—a training-free analogue to reinforcement learning (RL) plus supervised fine-tuning (SFT).
","absKo":"인간의 gameplay는 플레이어가 행동하고, 실패를 되돌아보고, tutorial을 보면서 전략을 다듬는 시각적으로 grounded된 interaction loop이다. Vision-Language Model(VLM)도 video-based reflection으로부터 학습할 수 있을까? 우리는 GameVerse를 제시한다. 이는 VLM이 reflective visual interaction loop를 수행할 수 있게 하는 포괄적인 video game benchmark이다. 기존의 fire-and-forget 평가를 넘어, 이 benchmark는 새로운 reflect-and-retry 패러다임을 사용해 VLM이 visual experience를 얼마나 내재화하고 policy를 개선하는지를 평가한다. 체계적이고 확장 가능한 평가를 위해, 우리는 전 세계적으로 인기 있는 15개 게임을 아우르는 cognitive hierarchical taxonomy, semantic control과 GUI control을 모두 위한 dual action space, 그리고 advanced VLM을 사용해 진행도를 정량화하는 milestone evaluation도 도입한다. 우리의 실험은 VLM이 다양한 설정에서 video-based reflection의 이점을 얻으며, 실패 trajectory와 expert tutorial을 결합할 때 가장 좋은 성능을 보인다는 것을 보여준다. 이는 reinforcement learning(RL)과 supervised fine-tuning(SFT)을 결합한 training-free 대응물이다.
"},{"id":"61454","en":"GeoLoom: High-quality Geometric Diagram Generation from Textual Input","ko":"GeoLoom: 텍스트 입력으로부터 고품질 기하 도형 생성","authors":"Xiaojing Wei, Ting Zhang, Wei He, Jingdong Wang, Hua Huang","pos":"#1416","link":"https://openreview.net/forum?id=pwf3iLt9Wr","abs":"High-quality geometric diagram generation presents both a challenge and an opportunity: it demands strict spatial accuracy while offering well-defined constraints to guide generation. Inspired by recent advances in geometry problem solving that employ formal languages and symbolic solvers for enhanced correctness and interpretability, we propose GeoLoom, a novel framework for text-to-diagram generation in geometric domains. GeoLoom comprises two core components: an autoformalization module that translates natural language into a specifically designed generation-oriented formal language GeoLingua, and a coordinate solver that maps formal constraints to precise coordinates using the efficient Monte Carlo optimization. To support this framework, we introduce GeoNF, a dataset aligning natural language geometric descriptions with formal GeoLingua descriptions. We further propose a constraint-based evaluation metric that quantifies structural deviation, offering mathematically grounded supervision for iterative refinement. Empirical results demonstrate that GeoLoom significantly outperforms state-of-the-art baselines in structural fidelity, providing a principled foundation for interpretable and scalable diagram generation.
","absKo":"고품질 geometric diagram generation은 엄격한 spatial accuracy를 요구하는 동시에, generation을 안내할 명확한 제약을 제공한다는 점에서 도전이자 기회이다. 정확성과 해석 가능성을 높이기 위해 formal language와 symbolic solver를 활용하는 최근 geometry problem solving의 발전에서 영감을 받아, 우리는 geometric domain을 위한 text-to-diagram generation 프레임워크인 GeoLoom을 제안한다. GeoLoom은 두 개의 핵심 구성요소로 이루어진다: 자연어를 생성 지향적으로 특별히 설계된 formal language GeoLingua로 변환하는 autoformalization 모듈과, 효율적인 Monte Carlo optimization을 사용해 formal constraint를 정확한 coordinate로 매핑하는 coordinate solver이다. 이 프레임워크를 지원하기 위해, 우리는 자연어 geometric description과 formal GeoLingua description을 정렬한 데이터셋 GeoNF를 도입한다. 또한 구조적 deviation을 정량화하는 constraint-based evaluation metric을 제안하여, 반복적 refinement를 위한 수학적으로 근거 있는 supervision을 제공한다. 실험 결과는 GeoLoom이 structural fidelity에서 state-of-the-art baseline을 크게 능가하며, 해석 가능하고 확장 가능한 diagram generation을 위한 원칙적인 기반을 제공함을 보여준다.
"},{"id":"61851","en":"DecomPose: Disentangling Cross-Category Optimization Contention for Category-Level 6D Object Pose Estimation","ko":"DecomPose: Category-Level 6D 객체 자세 추정을 위한 Cross-Category 최적화 경합 분리","authors":"Yifan Gao, Lu Zou, Zhangjin Huang, Guoping Wang","pos":"#1502","link":"https://openreview.net/forum?id=mMQuxqbXlU","abs":"Category-level 6D object pose estimation is typically formulated as a multi-category joint learning problem with fully shared model parameters. However, pronounced geometric heterogeneity across categories entangles incompatible optimization signals in shared modules, resulting in gradient conflicts and negative transfer during training. To address this challenge, we first introduce gradient-based diagnostics to quantify module-level cross-category contention. Building on results of diagnostics, we propose DecomPose, a difficulty-aware decomposition framework that mitigates optimization contention via: (1) difficulty-aware gradient decoupling, which groups categories using a data-driven difficulty proxy and routes each instance to a group-specific correspondence branch to isolate incompatible updates; and (2) stability-driven asymmetric branching, which assigns higher-capacity branches to structurally simple categories as stable optimization anchors while constraining complex categories with lightweight branches to suppress noisy updates and alleviate negative transfer. Extensive experiments on REAL275, CAMERA25, and HouseCat6D demonstrate that DecomPose effectively reduces cross-category optimization contention and achieves state-of-the-art performance.
","absKo":"category-level 6D object pose estimation은 일반적으로 fully shared model parameter를 사용하는 multi-category joint learning problem으로 정식화된다. 그러나 category 간 뚜렷한 geometric heterogeneity는 shared module 안에서 양립할 수 없는 optimization signal을 얽히게 만들어, training 중 gradient conflict와 negative transfer를 초래한다. 이 문제를 해결하기 위해, 우리는 먼저 gradient-based diagnostic을 도입하여 module 수준의 cross-category contention을 정량화한다. 이러한 진단 결과를 바탕으로, 우리는 difficulty-aware decomposition framework인 DecomPose를 제안한다. DecomPose는 다음을 통해 optimization contention을 완화한다: (1) difficulty-aware gradient decoupling, 이는 data-driven difficulty proxy를 사용해 category를 그룹화하고 각 instance를 group-specific correspondence branch로 라우팅하여 양립할 수 없는 update를 분리한다; (2) stability-driven asymmetric branching, 이는 구조적으로 단순한 category에는 더 높은 capacity의 branch를 할당해 안정적인 optimization anchor로 삼고, 복잡한 category에는 lightweight branch를 제약적으로 적용하여 noisy update를 억제하고 negative transfer를 완화한다. REAL275, CAMERA25, HouseCat6D에서의 광범위한 실험은 DecomPose가 cross-category optimization contention을 효과적으로 줄이고 state-of-the-art performance를 달성함을 보여준다.
"},{"id":"62117","en":"Creat3r: Confidence Reaggregation for Exploration-aware Active 3D Reconstruction","ko":"Creat3r: 탐색 인식 Active 3D Reconstruction을 위한 Confidence Reaggregation","authors":"Chih Jung Tsai, Hwann-Tzong Chen, Tyng-Luh Liu","pos":"#1504","link":"https://openreview.net/forum?id=jiLmAirCHs","abs":"We present Creat3r, an iterative next-best-view (NBV) selection framework for efficient, high-quality 3D reconstruction. Starting from a small seed set of image-pose pairs, Creat3r repeatedly selects the most informative next camera pose. After each pose is chosen, the corresponding image is acquired and added to the multi-view set to update a 3DGS reconstruction. To guide selection, Creat3r constructs an intermediate point cloud and estimates reconstruction reliability via a novel 3D confidence field, which is projected to candidate poses through Gaussian projection to produce 2D confidence and exploration maps. These maps balance exploitation of reliable regions and exploration of uncertain or unseen areas under computational constraints. Experiments with standard 3DGS show that Creat3r consistently outperforms baselines in novel view synthesis and surface reconstruction, achieving higher SSIM and F1 scores with fewer views.
","absKo":"우리는 효율적이고 고품질의 3D reconstruction을 위한 iterative next-best-view(NBV) selection framework인 Creat3r를 제시한다. 작은 seed image-pose pair 집합에서 시작해, Creat3r는 가장 정보량이 큰 다음 camera pose를 반복적으로 선택한다. 각 pose가 선택될 때마다 대응하는 image를 획득하여 multi-view set에 추가하고, 이를 통해 3DGS reconstruction을 갱신한다. 선택을 안내하기 위해 Creat3r는 intermediate point cloud를 구성하고, 새로운 3D confidence field를 통해 reconstruction reliability를 추정한 뒤, 이를 Gaussian projection으로 candidate pose에 투영하여 2D confidence map과 exploration map을 생성한다. 이러한 map은 계산 제약 하에서 신뢰할 수 있는 영역의 exploitation과 불확실하거나 보지 못한 영역의 exploration 사이의 균형을 맞춘다. 표준 3DGS를 사용한 실험에서 Creat3r는 novel view synthesis와 surface reconstruction 모두에서 baseline을 일관되게 능가하며, 더 적은 view로 더 높은 SSIM과 F1 score를 달성한다.
"},{"id":"62726","en":"Bad Seeing or Bad Thinking? Rewarding Perception for Multimodal Reasoning","ko":"안좋은 보기를 보거나 안좋은 추론을 했는가? 멀티모달 reasoning을 위한 감각 보상화","authors":"Haozhe WANG, Qixin Xu, Changpeng Wang, Taofeng Xue, Chong Peng, Wenhu Chen, Fangzhen Lin","pos":"#1512","link":"https://openreview.net/forum?id=duzdftKtUA","abs":"Achieving robust perception-reasoning synergy is a central goal for advanced Vision-Language Models (VLMs). Recent advancements have pursued this goal via architectural designs or agentic workflows. However, these approaches are often limited by static textual reasoning or complicated by the significant compute and engineering burden of external agentic complexity. Worse, this heavy investment does not yield proportional gains, often witnessing a \"seesaw effect\" on perception and reasoning. This motivates a fundamental rethinking of the true bottleneck. In this paper, we argue that the root cause of this trade-off is an ambiguity in modality credit assignment: when a VLM fails, is it due to flawed perception (\"bad seeing\") or flawed logic (\"bad thinking\")? To resolve this, we introduce a reinforcement learning framework that improves perception-reasoning synergy by reliably rewarding the perception fidelity. We explicitly decompose the generation process into interleaved perception and reasoning steps. This decoupling enables targeted supervision on perception. Crucially, we introduce Perception Verification (PV), leveraging a \"blindfolded reasoning\" proxy to reward perceptual fidelity independently of reasoning outcomes. Furthermore, to scale training across free-form VL tasks, we propose Structured Verbal Verification, which replaces high-variance LLM judging with structured algorithmic execution. These techniques are integrated into a Modality-Aware Credit Assignment (MoCA) mechanism, which routes rewards to the specific source of error -- either bad seeing or bad thinking -- enabling a single VLM to achieve simultaneous performance gains across a wide task spectrum.
","absKo":"강건한 perception-reasoning synergy를 달성하는 것은 advanced Vision-Language Models (VLMs)의 핵심 목표다. 최근 발전은 architecture design이나 agentic workflow를 통해 이 목표를 추구해 왔다. 그러나 이러한 접근은 종종 정적인 textual reasoning에 제한되거나, 외부 agentic complexity로 인한 상당한 compute 및 engineering 부담에 의해 복잡해진다. 더 나쁘게도, 이런 큰 투자는 비례하는 성과 향상으로 이어지지 않으며, perception과 reasoning 사이에서 종종 \"seesaw effect\"를 보인다. 이는 진짜 병목에 대한 근본적인 재고를 요구한다. 본 논문에서는 이러한 trade-off의 근본 원인이 modality credit assignment의 ambiguity에 있다고 주장한다. VLM이 실패했을 때, 그것은 flawed perception(\"bad seeing\") 때문인가, 아니면 flawed logic(\"bad thinking\") 때문인가? 이를 해결하기 위해, 우리는 perception fidelity를 안정적으로 보상함으로써 perception-reasoning synergy를 향상시키는 reinforcement learning framework를 제안한다. 우리는 generation process를 perception step과 reasoning step이 교차하는 형태로 명시적으로 분해한다. 이러한 decoupling은 perception에 대한 표적 감독을 가능하게 한다. 특히, 우리는 reasoning outcome과 독립적으로 perceptual fidelity를 보상하기 위해 \"blindfolded reasoning\" proxy를 활용하는 Perception Verification (PV)를 도입한다. 더 나아가, 자유 형식 VL task 전반에서 training을 확장하기 위해, 우리는 high-variance LLM judging을 structured algorithmic execution으로 대체하는 Structured Verbal Verification을 제안한다. 이 기술들은 Modality-Aware Credit Assignment (MoCA) mechanism에 통합되며, 이 mechanism은 reward를 오류의 구체적인 원인, 즉 bad seeing 또는 bad thinking으로 전달한다. 이를 통해 단일 VLM이 광범위한 task spectrum 전반에서 동시에 성능 향상을 달성할 수 있다.
"},{"id":"61450","en":"Active Exploring like a Pigeon: Reinforcing Spatial Reasoning via Agentic Vision-Language Models","ko":"비둘기처럼 능동 탐색하기: Agentic Vision-Language Models로 공간 추론 강화","authors":"Wei Deng, Xianlin Zhang, Mengshi Qi","pos":"#1515","link":"https://openreview.net/forum?id=pxN9ZXdBhV","abs":"Enabling Vision-Language Models (VLMs) to perform spatial reasoning remains challenging. Existing approaches treat VLMs as passive observers, which is difficult for real-world applications. Moreover, reinforcement learning methods rely on sparse rewards, limiting their effectiveness for complex reasoning tasks. Inspired by pigeons’ building and exploiting cognitive maps for navigation, we propose a novel agentic pipeline for spatial reasoning. First, we introduce a new dynamic cognitive map parameterizing scene layout as object positions and orientations, serving as persistent memory for new observations. Second, we propose a novel Spatial Assertion Codes (SAC), Python expressions programmatically describing spatial relationships. By collaborating with the dynamic cognitive map, SAC enables verification of intermediate reasoning steps, providing dense reward signals. We optimize the model via supervised and reinforcement finetuning. Experiments on MindCube benchmark demonstrate state-of-the-art performance with 80.5% overall accuracy, surpassing the best method by 53.2% on the challenging ROTATION subset. We will release the code and data soon.
","absKo":"Vision-Language Model(VLM)이 spatial reasoning을 수행하도록 만드는 일은 여전히 어렵다. 기존 접근법은 VLM을 수동적인 관찰자로 취급하는데, 이는 실제 응용에 적합하지 않다. 더구나 reinforcement learning 방법은 sparse reward에 의존하기 때문에 복잡한 reasoning task에서 효과가 제한된다. 우리는 비둘기가 내비게이션을 위해 cognitive map을 구축하고 활용하는 방식에서 영감을 받아, spatial reasoning을 위한 새로운 agentic pipeline을 제안한다. 첫째, scene layout을 object의 위치와 방향으로 parameterize하는 새로운 dynamic cognitive map을 도입하여, 새로운 관찰을 위한 지속적인 memory로 사용한다. 둘째, spatial relationship을 programmatically 기술하는 Python expression인 새로운 Spatial Assertion Codes(SAC)를 제안한다. SAC는 dynamic cognitive map과 협력함으로써 중간 reasoning step의 검증을 가능하게 하고, dense reward signal을 제공한다. 우리는 supervised 및 reinforcement finetuning을 통해 모델을 최적화한다. MindCube benchmark에서의 실험은 전체 정확도 80.5%로 state-of-the-art 성능을 보였으며, 어려운 ROTATION subset에서는 최선의 방법을 53.2%p 앞섰다. 코드와 데이터는 곧 공개할 예정이다.
"},{"id":"64415","en":"LLawCo: Learning Laws of Cooperation for Modeling Embodied Multi-Agent Behavior","ko":"LLawCo: 체화된 다중 에이전트 행동 모델링을 위한 협력 법칙 학습","authors":"Qinhong Zhou, Chuang Gan, Anoop Cherian","pos":"#214","link":"https://openreview.net/forum?id=Ns6x9ItnXb","abs":"Embodied agents operating in decentralized and partially observable environments have attracted growing attention in recent years. However, existing large language model (LLM)–based agents often exhibit behaviors that are misaligned with their partners or inconsistent with the environment state, leading to inefficient cooperation and poor task success. To address this challenge, we propose a novel framework, Learning Laws for Cooperation (LLawCo), that enables embodied agents to autonomously align with both their partners and task objectives. Our framework allows agents to reflect on past failures to extract misaligned behavioral patterns, which are used to derive high-level behavioral laws (e.g., “Talk when necessary”, “Wait for partner”). These laws are explicitly incorporated into the agents’ chains of thought via supervised fine-tuning, aligning their reasoning with task requirements and the behavior of other agents. To evaluate our approach, we introduce PARTNR-Dialog, a large-scale multi-agent communicative and cooperative planning benchmark built on the PARTNR environment. Experiments on existing tasks and our new benchmark demonstrate significant improvements in cooperative efficiency and task success rates. Across four backbone LLMs, our method achieves average success rate improvements of 4.5% on the PARTNR-Dialog benchmark and 6.8% on the TDW-MAT benchmark over state-of-the-art open-source communicative agent frameworks.
","absKo":"분산되고 부분적으로 관측 가능한 환경에서 작동하는 embodied agent는 최근 몇 년간 큰 주목을 받아왔다. 그러나 기존의 large language model(LLM) 기반 agent는 종종 파트너와 정렬되지 않거나 환경 상태와 불일치하는 행동을 보여, 비효율적인 협력과 낮은 작업 성공률로 이어진다. 이 문제를 해결하기 위해 우리는 embodied agent가 파트너와 작업 목표 모두에 자율적으로 정렬되도록 하는 새로운 프레임워크 Learning Laws for Cooperation(LLawCo)을 제안한다. 우리의 프레임워크는 agent가 과거 실패를 반성하여 정렬되지 않은 행동 패턴을 추출하고, 이를 바탕으로 “Talk when necessary”, “Wait for partner”와 같은 고수준 행동 법칙을 도출하도록 한다. 이러한 법칙은 supervised fine-tuning을 통해 agent의 chain of thought에 명시적으로 통합되어, 추론을 작업 요구사항과 다른 agent의 행동에 맞게 정렬한다. 우리의 접근법을 평가하기 위해, 우리는 PARTNR 환경 위에 구축한 대규모 multi-agent communicative and cooperative planning benchmark인 PARTNR-Dialog를 도입한다. 기존 작업과 새로운 벤치마크에서의 실험은 협력 효율성과 작업 성공률의 유의미한 향상을 보여준다. 네 개의 backbone LLM 전반에서, 우리의 방법은 최신 open-source communicative agent framework 대비 PARTNR-Dialog 벤치마크에서 평균 성공률을 4.5%, TDW-MAT 벤치마크에서 6.8% 향상시킨다.
"},{"id":"61452","en":"Show, Don't Tell: Morphing Latent Reasoning into Image Generation","ko":"말하지 말고 보여주기: 잠재 추론을 이미지 생성으로 Morphing","authors":"Harold Haodong Chen, Xinxiang Yin, Wenjie Shu, Hongfei (Faye) Zhang, Zixin Zhang, Chenfei Liao, Litao Guo, Qifeng Chen, YINGCONG CHEN","pos":"#2608","link":"https://openreview.net/forum?id=pwz7P09W83","abs":"Text-to-image (T2I) generation has achieved remarkable progress, yet existing methods often lack the ability to dynamically reason and refine during generation--a hallmark of human creativity. Current reasoning-augmented paradigms mostly rely on explicit thought processes, where intermediate reasoning is decoded into discrete text at fixed steps with frequent image decoding and re-encoding, leading to inefficiencies, information loss, and cognitive mismatches. To bridge this gap, we introduce LatentMorph, a novel framework that seamlessly integrates implicit latent reasoning into the T2I generation process. At its core, LatentMorph introduces four lightweight components: (i) a condenser for summarizing intermediate generation states into compact visual memory, (ii) a translator for converting latent thoughts into actionable guidance, (iii) a shaper for dynamically steering next image token predictions, and (iv) an RL-trained invoker for adaptively determining when to invoke reasoning. By performing reasoning entirely in continuous latent spaces, LatentMorph avoids the bottlenecks of explicit reasoning and enables more adaptive self-refinement. Extensive experiments demonstrate that LatentMorph (I) enhances the base model Janus-Pro by 16% on GenEval and 25% on T2I-CompBench; (II) outperforms explicit paradigms (e.g., TwiG) by 15% and 11% on abstract reasoning tasks like WISE and IPV-Txt, (III) while reducing inference time by 44% and token consumption by 51%; and (IV) exhibits 71% cognitive alignment with human intuition on reasoning invocation.
","absKo":"Text-to-image (T2I) generation은 놀라운 발전을 이루었지만, 기존 방법들은 생성 과정에서 동적으로 추론하고 정제하는 능력, 즉 인간 창의성의 핵심 특징을 종종 갖추지 못한다. 현재의 reasoning-augmented 패러다임은 대부분 명시적 thought process에 의존하며, 중간 추론을 고정된 단계에서 discrete text로 디코딩하고 빈번한 image decoding과 re-encoding을 수행한다. 이로 인해 비효율성, 정보 손실, 그리고 cognitive mismatch가 발생한다. 이러한 간극을 메우기 위해, 우리는 암묵적 latent reasoning을 T2I generation 과정에 매끄럽게 통합하는 새로운 프레임워크인 LatentMorph를 제안한다. LatentMorph의 핵심은 네 개의 경량 구성요소이다: (i) 중간 생성 상태를 응축된 visual memory로 요약하는 condenser, (ii) latent thought를 실행 가능한 guidance로 변환하는 translator, (iii) 다음 image token 예측을 동적으로 조정하는 shaper, 그리고 (iv) reasoning을 언제 호출할지 적응적으로 결정하는 RL-trained invoker이다. LatentMorph는 reasoning을 전적으로 연속적인 latent space에서 수행함으로써, 명시적 reasoning의 병목을 피하고 더 적응적인 self-refinement를 가능하게 한다. 대규모 실험은 LatentMorph가 (I) 베이스 모델 Janus-Pro를 GenEval에서 16%, T2I-CompBench에서 25% 향상시키고; (II) WISE와 IPV-Txt 같은 추상적 추론 과제에서 TwiG와 같은 명시적 패러다임보다 각각 15%, 11% 더 우수하며; (III) 추론 시간을 44%, token 소비를 51% 줄이고; (IV) reasoning invocation에 대해 인간 직관과 71%의 cognitive alignment를 보임을 보여준다.
"},{"id":"63440","en":"CoCoEdit: Content-Consistent Image Editing via Region Regularized Reinforcement Learning","ko":"CoCoEdit: 영역 정규화 강화학습을 통한 내용 일관 이미지 편집","authors":"Yuhui WU, Chenxi Xie, Ruibin Li, Liyi Chen, Qiaosi Yi, Lei Zhang","pos":"#2615","link":"https://openreview.net/forum?id=XBhLiyFVDx","abs":"Image editing has achieved impressive results with the development of large-scale generative models. However, existing models mainly focus on the editing effects of intended objects and regions, often leading to unwanted changes in unintended regions. We present a post-training framework for \\textbf{Co}ntent-\\textbf{Co}nsistent \\textbf{Edit}ing (\\textbf{CoCoEdit}) by using region regularized reinforcement learning. We first augment existing editing datasets with refined instructions and masks, from which 40K diverse and high quality samples are curated as training set. We introduce a pixel-level similarity reward that complements MLLM-based rewards, enabling models to ensure both editing quality and content consistency during the editing process. To overcome the spatial-agnostic nature of the rewards, we propose a region-based regularizer, aiming to preserve non-edited regions for high-reward samples while encouraging editing effects for low-reward samples. For evaluation, we annotate editing masks for GEdit-Bench and ImgEdit-Bench, introducing pixel-level similarity metrics to measure content consistency and editing quality. Applying CoCoEdit to Qwen-Image-Edit and FLUX-Kontext, we achieve not only superior editing scores to state-of-the-art models, but also significantly better content consistency, measured by PSNR/SSIM metrics and human subjective ratings. Code will be released.
","absKo":"대규모 generative model의 발전으로 image editing은 인상적인 성과를 달성했다. 그러나 기존 모델은 주로 의도된 객체와 영역의 편집 효과에 집중하는 경향이 있어, 의도되지 않은 영역에서 원치 않는 변화가 발생하는 경우가 많다. 우리는 region regularized reinforcement learning을 사용하여 \\textbf{Co}ntent-\\textbf{Co}nsistent \\textbf{Edit}ing(\\textbf{CoCoEdit})을 위한 post-training framework를 제시한다. 먼저 기존 editing dataset을 정제된 instruction과 mask로 증강하고, 그중 40K개의 다양하고 고품질인 sample을 훈련 세트로 선별한다. 우리는 MLLM-based reward를 보완하는 pixel-level similarity reward를 도입하여, 모델이 편집 과정에서 editing quality와 content consistency를 모두 보장할 수 있도록 한다. reward의 spatial-agnostic한 특성을 극복하기 위해, 우리는 region-based regularizer를 제안하여 높은 reward sample에서는 비편집 영역을 보존하고 낮은 reward sample에서는 편집 효과를 장려하는 것을 목표로 한다. 평가를 위해 GEdit-Bench와 ImgEdit-Bench에 대한 editing mask를 주석하고, content consistency와 editing quality를 측정하기 위한 pixel-level similarity metric을 도입한다. CoCoEdit을 Qwen-Image-Edit와 FLUX-Kontext에 적용했을 때, state-of-the-art 모델보다 우수한 editing score를 달성할 뿐만 아니라 PSNR/SSIM metric과 사람 주관 평가로 측정한 content consistency도 크게 향상된다. 코드는 공개될 예정이다.
"},{"id":"63685","en":"OBJVanish: Prompt-Driven Generation of Physically Realizable 3D LiDAR-Invisible Objects","ko":"OBJVanish: 물리적으로 실현 가능한 3D LiDAR 비가시 객체의 prompt 기반 생성","authors":"Bing Li, Wuqi Wang, Yanan Zhang, Jingzheng Li, Haigen Min, Wei Feng, Xingyu Zhao, Jie Zhang, Qing Guo","pos":"#3908","link":"https://openreview.net/forum?id=UdpIy1ndTX","abs":"LiDAR-based 3D object detectors are fundamental to autonomous driving, where missed detections pose severe safety risks. While adversarial attacks are crucial for evaluating the robustness of these detectors, existing point-level perturbation methods rarely cause complete object disappearance and prove difficult to implement in physical environments. We introduce OBJVanish, a prompt-driven text-to-3D adversarial generation framework that enables physically realizable attacks by generating 3D object models that are effectively invisible to LiDAR-based 3D object detectors. We first conduct a systematic empirical study of detection vulnerability in LiDAR-based 3D object detectors, revealing multi-object compositions as the dominant factor. Based on this analysis, the proposed framework iteratively refines text prompts—optimizing verbs, objects, and poses—to generate LiDAR-invisible pedestrian instances as representative vulnerable road users under physical constraints. To ensure realizability, the framework operates over a curated pool of representative real-world 3D object models and restricts generation to their valid combinations. Extensive experiments show that OBJVanish consistently evades six state-of-the-art (SOTA) LiDAR-based 3D object detectors in both simulation and real-world physical settings, exposing critical vulnerabilities in safety-critical detection systems.
","absKo":"LiDAR-based 3D object detector는 자율주행의 핵심 요소이며, 놓친 detection은 심각한 안전 위험을 초래한다. adversarial attack은 이러한 detector의 robustness를 평가하는 데 필수적이지만, 기존 point-level perturbation method는 객체가 완전히 사라지게 만드는 경우가 드물고 물리적 환경에서 구현하기도 어렵다. 우리는 LiDAR-based 3D object detector에 사실상 보이지 않는 3D object model을 생성함으로써 물리적으로 실현 가능한 attack을 가능하게 하는 prompt-driven text-to-3D adversarial generation framework인 OBJVanish를 소개한다. 우리는 먼저 LiDAR-based 3D object detector에서 detection vulnerability에 대한 체계적인 실증 연구를 수행하여, 다중 객체 구성이 지배적인 요인임을 밝힌다. 이 분석을 바탕으로, 제안하는 framework는 verb, object, pose를 최적화하는 text prompt를 반복적으로 정제하여 물리적 제약 하에서 대표적인 취약 road user로서 LiDAR-invisible pedestrian instance를 생성한다. 실현 가능성을 보장하기 위해, 이 framework는 대표적인 실제 3D object model의 선별된 pool 위에서 동작하며 생성 가능한 유효 조합으로만 생성을 제한한다. 광범위한 실험은 OBJVanish가 simulation과 실제 물리 환경 모두에서 여섯 개의 state-of-the-art (SOTA) LiDAR-based 3D object detector를 일관되게 회피하며, 안전이 중요한 detection system의 치명적인 취약성을 드러냄을 보여준다.
"},{"id":"61166","en":"3D-RFT: Reinforcement Fine-Tuning for Video-based 3D Scene Understanding","ko":"3D-RFT: 비디오 기반 3D Scene Understanding을 위한 Reinforcement Fine-Tuning","authors":"Xiongkun Linghu, Jiangyong Huang, Baoxiong Jia, Siyuan Huang","pos":"#606","link":"https://openreview.net/forum?id=t6h8LhOupF","abs":"Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key paradigm for unlocking complex reasoning in Large Language Models (LLMs), yet its potential in 3D scene understanding remains untapped. To bridge this gap, we present Reinforcement Fine-Tuning for Video-based 3D Scene Understanding (3D-RFT), the first framework to extend RLVR to 3D perception and reasoning. Our pipeline operates in two stages: activating 3D-aware Multi-modal Large Language Models (MLLMs) via Supervised Fine-Tuning (SFT), followed by reinforcement fine-tuning using Group Relative Policy Optimization (GRPO) with strictly verifiable reward functions. We design task-specific rewards—such as 3D IoU and F1-score—to provide deterministic signals for spatial alignment. Extensive experiments demonstrate that 3D-RFT achieves state-of-the-art performance on video-based 3D scene understanding benchmarks, significantly outperforming VG LLM-8B on detection and grounding tasks. Moreover, our model surpasses larger mainstream models on VSI-Bench, demonstrating the efficiency of verifiable reinforcement learning. We conclude by offering valuable insights into optimal training strategies .
","absKo":"Verifiable Rewards를 사용한 Reinforcement Learning (RLVR)은 Large Language Models (LLMs)에서 복잡한 추론을 이끌어 내는 핵심 패러다임으로 떠올랐지만, 3D 장면 이해에 대한 잠재력은 아직 충분히 활용되지 못했다. 이 간극을 메우기 위해, 우리는 비디오 기반 3D 장면 이해를 위한 Reinforcement Fine-Tuning(3D-RFT)을 제안한다. 이는 RLVR을 3D perception과 reasoning으로 확장한 최초의 프레임워크다. 우리의 파이프라인은 두 단계로 동작한다: 먼저 Supervised Fine-Tuning (SFT)을 통해 3D 인지 능력을 갖춘 Multi-modal Large Language Models (MLLMs)를 활성화한 뒤, 엄격하게 검증 가능한 reward function을 사용한 Group Relative Policy Optimization (GRPO)으로 reinforcement fine-tuning을 수행한다. 우리는 3D IoU와 F1-score 같은 태스크 특화 reward를 설계하여 공간적 정합을 위한 결정적 신호를 제공한다. 대규모 실험은 3D-RFT가 비디오 기반 3D 장면 이해 벤치마크에서 state-of-the-art 성능을 달성하며, detection과 grounding 태스크에서 VG LLM-8B를 크게 능가함을 보여준다. 더 나아가, 우리의 모델은 더 큰 주류 모델들을 VSI-Bench에서 능가하여, verifiable reinforcement learning의 효율성을 입증한다. 마지막으로, 최적의 학습 전략에 대한 유의미한 통찰을 제시한다.
"},{"id":"62082","en":"Enhancing Multi-Modal LLMs Reasoning via Difficulty-Aware Group Normalization","ko":"난이도 인식 그룹 정규화를 통한 멀티모달 LLM 추론 향상","authors":"Jinghan Li, Junfeng Fang, Jinda Lu, Yuan Wang, Xiaoyan Guo, Tianyu Zhang, Xiang Wang, Xiangnan He","pos":"#704","link":"https://openreview.net/forum?id=jyOgpu5wfC","abs":"Reinforcement Learning with Verifiable Rewards (RLVR) and Group Relative Policy Optimization (GRPO) have significantly advanced the reasoning capabilities of large language models. Extending these methods to multimodal settings, however, faces a critical challenge: the instability of std-based normalization, which is easily distorted by extreme samples with nearly positive or negative rewards. Unlike pure-text LLMs, multimodal models are particularly sensitive to such distortions, as both perceptual and reasoning errors influence their responses. To address this, we characterize each sample by its difficulty, defined through perceptual complexity (measured via visual entropy) and reasoning uncertainty (captured by model confidence). Building on this characterization, we propose difficulty-aware group normalization (Durian), which re-groups samples by difficulty levels and shares the std within each group. Our approach preserves GRPO's intra-group distinctions while eliminating sensitivity to extreme cases, yielding significant performance gains across multiple multimodal reasoning benchmarks.
","absKo":"Reinforcement Learning with Verifiable Rewards (RLVR)와 Group Relative Policy Optimization (GRPO)는 대규모 언어 모델의 추론 능력을 크게 향상시켰다. 그러나 이러한 방법을 multimodal 설정으로 확장할 때는, 거의 양수 또는 음수인 reward를 가진 극단적 sample에 쉽게 왜곡되는 std-based normalization의 불안정성이라는 치명적인 문제가 발생한다. 순수 text LLM과 달리 multimodal model은 지각적 오류와 추론 오류가 모두 응답에 영향을 미치므로 이러한 왜곡에 특히 민감하다. 이를 해결하기 위해 우리는 각 sample을 지각 복잡도(visual entropy로 측정)와 추론 불확실성(model confidence로 포착)으로 정의되는 difficulty로 특성화한다. 이러한 특성화를 바탕으로, sample을 difficulty 수준별로 다시 grouping하고 각 group 내에서 std를 공유하는 difficulty-aware group normalization(Durian)을 제안한다. 우리의 접근법은 극단적 case에 대한 민감성을 제거하면서도 GRPO의 group 내부 구분을 보존하며, 여러 multimodal reasoning benchmark에서 유의미한 성능 향상을 이끌어낸다.
"},{"id":"62900","en":"Reasoning-VLA: An Efficient and Spatial-Guided General Vision-Language-Action Reasoning Model for Autonomous Driving","ko":"Reasoning-VLA: 자율주행용 효율적이고 공간 유도형 일반 Vision-Language-Action 추론 모델","authors":"Dapeng Zhang, Zhenlong Yuan, Zhangquan Chen, Chih-Ting Liao, Yinda Chen, Fei Shen, Qingguo Zhou, Tat-Seng Chua","pos":"#712","link":"https://openreview.net/forum?id=c4iSIrb6Iv","abs":"Vision-Language-Action (VLA) models have recently shown strong decision-making capabilities in autonomous driving. However, existing VLAs often struggle with achieving efficient inference and generalizing to novel autonomous vehicle configurations and driving scenarios. In this paper, we propose Reasoning-VLA, a general and efficient action-generation VLA framework. The proposed model employs a set of learnable action queries, implicitly guided by predefined spatial representations to enhance spatial awareness. These learnable queries interact with reasoning-enhanced vision–language features to generate continuous action trajectories in parallel. To promote robust generalization, we consolidate eight publicly available autonomous driving datasets into a standardized, Chain-of-Thought reasoning–based, and easy-to-use data format for model training. Leveraging both supervised learning and reinforcement learning fine-tuning, extensive empirical evaluations across multiple benchmarks demonstrate that Reasoning-VLA achieves state-of-the-art performance, strong generalization capability, and the excellent inference speed with parallel decode.
","absKo":"Vision-Language-Action (VLA) model은 최근 autonomous driving에서 강한 decision-making capability를 보여주었다. 그러나 기존 VLA는 효율적인 inference를 달성하고 새로운 autonomous vehicle configuration과 driving scenario로 generalize하는 데 어려움을 겪는 경우가 많다. 이 논문에서 우리는 일반적이고 효율적인 action-generation VLA framework인 Reasoning-VLA를 제안한다. 제안 모델은 사전 정의된 spatial representation의 암묵적 유도를 받는 learnable action query 집합을 사용하여 spatial awareness를 향상한다. 이러한 learnable query는 reasoning-enhanced vision–language feature와 상호작용하여 continuous action trajectory를 병렬로 생성한다. 견고한 generalization을 촉진하기 위해, 우리는 공개적으로 사용 가능한 8개의 autonomous driving dataset을 표준화되고 Chain-of-Thought reasoning 기반이며 사용하기 쉬운 data format으로 통합하여 model training에 활용한다. supervised learning과 reinforcement learning fine-tuning을 모두 활용한 광범위한 실험 평가는 여러 benchmark에서 Reasoning-VLA가 state-of-the-art 성능, 강한 generalization capability, 그리고 parallel decode를 통한 뛰어난 inference speed를 달성함을 보여준다.
"},{"id":"66510","en":"Escaping the Diversity Trap in Robotic Manipulation via Anchor-Centric Adaptation","ko":"앵커 중심 적응을 통한 로봇 조작에서 다양성 함정 탈출","authors":"Yanzhe Chen, Kevin Yuchen, Qi Lv, Lin Yiqi, Zechen Bai, Chen GAO, Mike Zheng Shou","pos":"#809","link":"https://openreview.net/forum?id=34E2z2oVhd","abs":"While Vision-Language-Action (VLA) models offer broad general capabilities, deploying them on specific hardware requires real-world adaptation to bridge the embodiment gap. Since robot demonstrations are costly, this adaptation must often occur under a strict data budget. In this work, we identify a critical diversity trap: the standard heuristic of ``maximizing coverage\" by collecting diverse, single-shot demonstrations can be self-defeating due to non-vanishing estimation noise. We formalize this phenomenon as a Coverage--Density Trade-off. By decomposing the policy error into estimation (density) and extrapolation (coverage) terms, we characterize an interior optimal allocation of unique conditions for a fixed budget. Guided by this analysis, we propose Anchor-Centric Adaptation (ACA), a two-stage framework that first stabilizes a policy skeleton through repeated demonstrations at core anchors, then selectively expands coverage to high-risk boundaries via teacher-forced error mining and constrained residual updates. Real-robot experiments validate our trade-off framework and demonstrate that ACA significantly improves task reliability and success rates over standard diverse sampling strategies under the same budget.
","absKo":"Vision-Language-Action (VLA) model은 폭넓은 general capability를 제공하지만, 특정 hardware에 배포하려면 embodiment gap을 메우기 위한 real-world adaptation이 필요하다. robot demonstration은 비용이 많이 들기 때문에, 이러한 adaptation은 엄격한 data budget 하에서 이루어져야 하는 경우가 많다. 본 연구에서는 치명적인 diversity trap을 규명한다: 다양한 single-shot demonstration을 수집하여 ``coverage를 최대화''하는 표준 heuristic은, 사라지지 않는 estimation noise 때문에 오히려 역효과를 낳을 수 있다. 우리는 이를 Coverage--Density Trade-off로 정식화한다. 정책 오차를 estimation (density) 항과 extrapolation (coverage) 항으로 분해함으로써, 고정된 budget에서 unique condition의 최적 배분이 내부 해를 가진다는 점을 특징짓는다. 이러한 분석에 따라 우리는 Anchor-Centric Adaptation (ACA)을 제안한다. 이는 먼저 핵심 anchor에서 반복 demonstration을 통해 policy skeleton을 안정화한 뒤, teacher-forced error mining과 constrained residual update를 사용해 high-risk boundary로 coverage를 선택적으로 확장하는 2단계 framework이다. 실제 robot 실험은 우리의 trade-off framework를 검증하며, 동일한 budget 하에서 ACA가 표준적인 diverse sampling strategy보다 task reliability와 success rate를 크게 향상시킴을 보여준다.
"},{"id":"65716","en":"4RC: 4D Reconstruction via Conditional Querying Anytime and Anywhere","ko":"4RC: 언제 어디서나 조건부 질의를 통한 4D 복원","authors":"Yihang Luo, Shangchen Zhou, Yushi Lan, Xingang Pan, Chen Change Loy","pos":"#4017","link":"https://openreview.net/forum?id=AuO3hDGOCp","abs":"We present 4RC, a unified feed-forward framework for 4D reconstruction from monocular videos. Unlike existing methods that typically decouple motion from geometry or produce limited 4D attributes, such as sparse trajectories or two-view scene flow, 4RC learns a holistic 4D representation that jointly captures dense scene geometry and motion dynamics. At its core, 4RC introduces a novel encode-once, query-anywhere and anytime paradigm: a transformer backbone encodes the entire video into a compact spatio-temporal latent space, from which a conditional decoder can efficiently query 3D geometry and motion for any query frame at any target timestamp. To facilitate learning, we represent per-view 4D attributes in a minimally factorized form, decomposing them into base geometry and time-dependent relative motion. Extensive experiments demonstrate that 4RC outperforms prior methods across a wide range of 4D reconstruction tasks.
","absKo":"우리는 단안 비디오로부터의 4D reconstruction을 위한 통합 feed-forward framework인 4RC를 제시한다. 기존 방법들이 motion과 geometry를 대개 분리하거나 sparse trajectory나 two-view scene flow와 같은 제한된 4D attribute만 생성하는 것과 달리, 4RC는 dense scene geometry와 motion dynamics를 공동으로 포착하는 총체적 4D representation을 학습한다. 그 핵심에는 새로운 encode-once, query-anywhere and anytime paradigm이 있다: transformer backbone이 전체 비디오를 압축된 spatio-temporal latent space로 인코딩하고, 여기서 conditional decoder가 임의의 query frame과 임의의 target timestamp에 대해 3D geometry와 motion을 효율적으로 질의할 수 있다. 학습을 용이하게 하기 위해, 우리는 per-view 4D attribute를 최소한으로 factorized된 형태로 표현하며, 이를 base geometry와 time-dependent relative motion으로 분해한다. 광범위한 실험은 4RC가 다양한 4D reconstruction task 전반에서 기존 방법을 능가함을 보여준다.
"},{"id":"63799","en":"DeFacto: Counterfactual Thinking with Images for Enforcing Evidence-Grounded and Faithful Reasoning","ko":"DeFacto: 이미지 기반 반사실적 사고를 통한 증거 기반이고 충실한 추론 강화","authors":"Tianrun Xu, Haoda Jing, Ye Li, Yuquan Wei, Jun Feng, Guanyu Chen, Haichuan Gao, Tianren Zhang, Jing Liu, Feng Chen","pos":"#4615","link":"https://openreview.net/forum?id=TcICHju9Mo","abs":"Recent advances in multimodal language models (MLLMs) have made thinking with images a dominant paradigm for multimodal reasoning. However, existing methods still fail to ensure evidence–answer consistency, where correct answers must be supported by correct visual evidence. To address this issue, we propose DeFacto, a counterfactual reasoning framework that explicitly aligns visual evidence with final answers by jointly optimizing for task correctness and evidence–answer consistency. Our approach integrates three complementary training paradigms: (i) positive, (ii) counterfactual, and (iii) random-masking. We further develop a language-guided evidence construction pipeline that automatically localizes question-relevant regions and generates counterfactual variants, resulting in DeFacto-100K, a dataset of about 100k images. Building on this dataset, we train MLLMs with GRPO-based reinforcement learning and design three complementary rewards to promote correct answering, structured reasoning, and consistent evidence selection. Moreover, we introduce DeFacto-1.5K, a human-annotated benchmark for systematically evaluating evidence-grounded consistency beyond answer accuracy. Experiments on diverse benchmarks demonstrate that DeFacto substantially improves both answer accuracy and evidence–answer consistency over strong baselines. The code and datasets will be released upon acceptance.
","absKo":"multimodal language model (MLLM)의 최근 발전으로 이미지와 함께 생각하는 것이 multimodal reasoning의 지배적인 paradigm이 되었다. 그러나 기존 방법은 여전히 evidence–answer consistency를 보장하지 못하는데, 이는 올바른 답이 올바른 visual evidence에 의해 뒷받침되어야 함을 의미한다. 이 문제를 해결하기 위해 우리는 task correctness와 evidence–answer consistency를 함께 최적화하여 visual evidence를 최종 답변과 명시적으로 정렬하는 counterfactual reasoning framework인 DeFacto를 제안한다. 우리의 접근법은 (i) positive, (ii) counterfactual, (iii) random-masking의 세 가지 상보적인 training paradigm을 통합한다. 또한 질문과 관련된 region을 자동으로 지역화하고 counterfactual variant를 생성하는 language-guided evidence construction pipeline을 개발하여, 약 10만 개의 이미지를 포함하는 DeFacto-100K dataset을 구축했다. 이 dataset을 바탕으로 GRPO-based reinforcement learning으로 MLLM을 학습하고, 올바른 응답, 구조화된 reasoning, 일관된 evidence 선택을 촉진하기 위한 세 가지 상보적인 reward를 설계했다. 더 나아가, answer accuracy를 넘어 evidence-grounded consistency를 체계적으로 평가하기 위한 사람 주석 benchmark인 DeFacto-1.5K를 도입한다. 다양한 benchmark에서의 실험은 DeFacto가 강력한 baseline 대비 answer accuracy와 evidence–answer consistency를 모두 크게 향상시킴을 보여준다. 코드는 승인 후 공개될 예정이다.
"},{"id":"65458","en":"Semantic-Enriched Latent Visual Reasoning","ko":"의미가 풍부한 잠재 시각 추론","authors":"Tianrun Xu, Yue Sun, Qixun Wang, Jingyi Lu, Yuan Wang, Tianren Zhang, Longteng Guo, Fengyun Rao, Jing LYU, Jing Liu, Feng Chen","pos":"#2017","link":"https://openreview.net/forum?id=DTuBIEhSF3","abs":"Multimodal latent-space reasoning aims to replace explicit “thinking with images” by performing visual reasoning directly in a compact latent space. However, existing approaches largely rely on visual supervision and produce latent representations that lack sufficient semantic richness, limiting their ability to support diverse region-level reasoning tasks. In this work, we introduce Semantic-Enriched Latent Visual Reasoning (SLVR), a two-stage learning framework that enriches latent representations with attribute-level visual semantics and aligns them with diverse reasoning objectives. In the first stage, SLVR learns semantically enriched region-centric latents under fine-grained attribute supervision. In the second stage, we design Multi-query Group Relative Policy Optimization (M-GRPO) to align latent representations across multiple queries grounded in the same region, encouraging consistent utilization of semantic information under varying reasoning demands. To support this framework, we construct SLV-Set, comprising approximately 400K region-level attribute annotations and 800K multi-query question answering samples, and introduce SV-QA, a benchmark that evaluates latent reasoning under semantic variation. Experiments demonstrate that SLVR improves the robustness and semantic consistency of latent visual reasoning compared to existing baselines.
","absKo":"Multimodal latent-space reasoning은 이미지로 생각하는 명시적 방식을 대체하여, 압축된 latent space에서 직접 visual reasoning을 수행하는 것을 목표로 한다. 그러나 기존 접근은 대체로 visual supervision에 의존하며, 충분한 semantic richness가 부족한 latent representation을 생성한다. 이로 인해 다양한 region-level reasoning task를 지원하는 능력이 제한된다. 본 연구에서는 attribute-level visual semantics로 latent representation을 풍부하게 하고, 이를 다양한 reasoning objective와 정렬하는 2단계 learning framework인 Semantic-Enriched Latent Visual Reasoning (SLVR)을 소개한다. 첫 번째 단계에서 SLVR은 세밀한 attribute supervision 하에 semantically enriched region-centric latent를 학습한다. 두 번째 단계에서는 동일한 region에 기반한 여러 query에 걸쳐 latent representation을 정렬하기 위해 Multi-query Group Relative Policy Optimization (M-GRPO)을 설계하여, 서로 다른 reasoning 요구에도 semantic information을 일관되게 활용하도록 유도한다. 이 framework를 지원하기 위해 우리는 약 40만 개의 region-level attribute annotation과 80만 개의 multi-query question answering sample로 구성된 SLV-Set을 구축하고, semantic variation 하에서 latent reasoning을 평가하는 benchmark인 SV-QA를 제안한다. 실험은 SLVR이 기존 baseline에 비해 latent visual reasoning의 robustness와 semantic consistency를 향상시킴을 보여준다.
"},{"id":"61884","en":"LAMP: Data-Efficient Linear Affine Weight-Space Models for Parameter-Controlled 3D Shape Generation and Extrapolation","ko":"LAMP: Parameter-Controlled 3D Shape 생성과 외삽을 위한 데이터 효율적 Linear Affine Weight-Space Model","authors":"Ghadi Nehme, Yanxia Zhang, Dule Shu, Matthew Klenk, Faez Ahmed","pos":"#3103","link":"https://openreview.net/forum?id=lxbYTzm8U8","abs":"Generating high-fidelity 3D geometries that satisfy specific parameter constraints has broad applications in design and engineering. However, current methods typically rely on large training datasets and struggle with controllability and generalization beyond the training distributions. To overcome these limitations, we introduce LAMP (Linear Affine Mixing of Parametric shapes), a data-efficient framework for controllable and interpretable 3D generation. LAMP first aligns signed distance function (SDF) decoders by overfitting each exemplar from a shared initialization, then synthesizes new geometries by solving a parameter-constrained mixing problem in the aligned weight space. To ensure robustness, we further propose a safety metric that detects geometry validity via linearity mismatch. We evaluate LAMP on two 3D parametric benchmarks: DrivAerNet++ and BlendedNet. We found that LAMP enables (i) controlled interpolation within bounds with as few as 100 samples, (ii) safe extrapolation by up to 100\\% parameter difference beyond training ranges, (iii) physics performance-guided optimization under fixed parameters. LAMP significantly outperforms conditional autoencoder and Deep Network Interpolation (DNI) baselines in both extrapolation and data efficiency. Our results demonstrate that LAMP advances controllable, data-efficient, and safe 3D generation for design exploration, dataset generation, and performance-driven optimization.
","absKo":"특정 parameter constraint를 만족하는 고충실도 3D geometry 생성은 design과 engineering 전반에 걸쳐 폭넓은 응용을 가진다. 그러나 현재의 방법들은 대개 대규모 training dataset에 의존하며, controllability와 training distribution을 넘어서는 generalization에서 어려움을 겪는다. 이러한 한계를 극복하기 위해, 우리는 controllable하고 interpretable한 3D 생성을 위한 data-efficient framework인 LAMP(Linear Affine Mixing of Parametric shapes)를 소개한다. LAMP는 먼저 공유 초기화에서 각 exemplar를 과적합시켜 signed distance function(SDF) decoder를 정렬한 뒤, 정렬된 weight space에서 parameter-constrained mixing 문제를 풀어 새로운 geometry를 합성한다. robustness를 보장하기 위해, 우리는 linearity mismatch를 통해 geometry validity를 감지하는 safety metric도 추가로 제안한다. 우리는 LAMP를 두 개의 3D parametric benchmark인 DrivAerNet++와 BlendedNet에서 평가했다. 그 결과, LAMP는 (i) 적게는 100개의 sample만으로 bounds 내에서 controlled interpolation을 가능하게 하고, (ii) training range를 최대 100% parameter difference까지 넘어서는 safe extrapolation을 가능하게 하며, (iii) 고정된 parameter 하에서 physics performance-guided optimization을 가능하게 함을 확인했다. LAMP는 extrapolation과 data efficiency 모두에서 conditional autoencoder 및 Deep Network Interpolation(DNI) baseline을 크게 능가한다. 우리의 결과는 LAMP가 design exploration, dataset generation, performance-driven optimization을 위한 controllable하고 data-efficient하며 safe한 3D 생성을 발전시킴을 보여준다.
"},{"id":"64801","en":"DyPE: Dynamic Position Extrapolation for Ultra High Resolution Diffusion","ko":"DyPE: 초고해상도 Diffusion을 위한 Dynamic Position Extrapolation","authors":"Noam Issachar, Guy Yariv, Sagie Benaim, Yossi Adi, Dani Lischinski, Raanan Fattal","pos":"#1404","link":"https://openreview.net/forum?id=JfjYFLHqus","abs":"Diffusion Transformer models can generate images with remarkable fidelity and detail, yet training them at ultra-high resolutions remains extremely costly due to the self-attention mechanism's quadratic scaling with the number of image tokens. In this paper, we introduce Dynamic Position Extrapolation (DyPE), a novel, training-free method that enables pre-trained diffusion transformers to synthesize images at resolutions far beyond their training data, with no additional sampling cost. DyPE takes advantage of the spectral progression inherent to the diffusion process, where low-frequency structures converge early, while high-frequencies take more steps to resolve. Specifically, DyPE dynamically adjusts the model's positional encoding at each diffusion step, matching their frequency spectrum with the current stage of the generative process. This approach allows us to generate images at resolutions that exceed the training resolution dramatically, e.g., 16 million pixels using FLUX. On multiple benchmarks, DyPE consistently improves performance and achieves state-of-the-art fidelity in ultra-high-resolution image generation, with gains becoming even more pronounced at higher resolutions.
","absKo":"Diffusion Transformer 모델은 놀라운 fidelity와 detail로 이미지를 생성할 수 있지만, self-attention mechanism이 image token 수에 대해 quadratic scaling을 보이기 때문에 ultra-high resolution에서 학습하는 것은 여전히 매우 비용이 크다. 이 논문에서는 추가적인 sampling cost 없이, 사전 학습된 diffusion transformer가 training data를 훨씬 뛰어넘는 resolution에서 이미지를 합성할 수 있게 하는 새로운 training-free 방법인 Dynamic Position Extrapolation (DyPE)를 소개한다. DyPE는 diffusion process에 내재된 spectral progression을 활용한다. 저주파 구조는 초기에 수렴하는 반면 고주파 성분은 해결되는 데 더 많은 step이 필요하다. 구체적으로 DyPE는 각 diffusion step마다 모델의 positional encoding을 동적으로 조정하여, 그 frequency spectrum을 생성 과정의 현재 단계에 맞춘다. 이 접근을 통해 우리는 예를 들어 FLUX를 사용해 1600만 pixels에 이르는 resolution의 이미지를 생성할 수 있다. 여러 benchmark에서 DyPE는 일관되게 성능을 향상시키고 ultra-high-resolution image generation에서 state-of-the-art fidelity를 달성하며, resolution이 높아질수록 향상 폭은 더 커진다.
"},{"id":"64752","en":"Decouple and Cache: KV Cache Construction for Streaming Video Understanding","ko":"Decouple and Cache: 스트리밍 비디오 이해를 위한 KV Cache 구축","authors":"Zhanzhong Pang, Dibyadip Chatterjee, Fadime Sener, Angela Yao","pos":"#1501","link":"https://openreview.net/forum?id=KD59uBqvNR","abs":"Streaming video understanding requires processing unbounded video streams with limited memory and computation, posing two key challenges. First, continuously constructing new and evicting old key-value(KV) caches is required for unbounded streams. Secondly, due to the high cost of collecting and training on unbounded streams, models must learn from short sequences while generalizing to long streams. Existing streaming VideoVLLMs fail to scale to unbounded video streams or focus on cache reuse strategies, leaving the impact of cache construction underexplored. In this paper, we propose Decoupled Streaming Cache(DSCache), a training-free cache construction mechanism that adapts pretrained offline models to streaming settings. DSCache maintains a cumulative past KV cache while constructing a separate instant cache on-demand, decoupled from past caches to preserve the informativeness of recent inputs. To enable position extrapolation beyond the training length, DSCache further incorporates a position-agnostic encoding strategy, ensuring KV caches to support unseen positions and preventing position overflow. Experiments on Streaming Video QA benchmarks demonstrate DSCache's state-of-the-art performance, with an average 2.5% accuracy gains over prior methods.
","absKo":"Streaming video understanding은 제한된 memory와 computation으로 unbounded video stream을 처리해야 하므로 두 가지 핵심 과제를 수반한다. 첫째, unbounded stream을 위해 새로운 key-value(KV) cache를 지속적으로 구성하고 오래된 cache를 제거해야 한다. 둘째, unbounded stream을 수집하고 학습하는 비용이 매우 높기 때문에, 모델은 짧은 sequence로부터 학습하면서도 긴 stream으로 일반화해야 한다. 기존의 streaming VideoVLLM은 unbounded video stream으로 확장되지 못하거나 cache reuse 전략에만 초점을 맞춰 cache construction의 영향은 충분히 탐구되지 않았다. 본 논문에서는 pretrained offline model을 streaming setting에 맞게 적응시키는 training-free cache construction mechanism인 Decoupled Streaming Cache(DSCache)를 제안한다. DSCache는 cumulative past KV cache를 유지하면서, 최근 입력의 정보성을 보존하기 위해 past cache와 분리된 별도의 instant cache를 필요에 따라 구성한다. 또한 training length를 넘어 position extrapolation을 가능하게 하기 위해 position-agnostic encoding strategy를 추가로 도입하여, KV cache가 보지 못한 position도 지원하고 position overflow를 방지한다. Streaming Video QA benchmark 실험에서 DSCache는 prior method 대비 평균 2.5%의 accuracy 향상과 함께 state-of-the-art 성능을 보였다.
"},{"id":"61562","en":"How (Not) to Hybridize Neural and Mechanistic Models for Epidemiological Forecasting","ko":"역학 예측을 위한 Neural Model과 Mechanistic Model의 올바른 Hybridization 방법","authors":"Yiqi Su, Ray Lee, Jiaming Cui, Naren Ramakrishnan","pos":"#3917","link":"https://openreview.net/forum?id=otBTuq5AKB","abs":"Epidemiological forecasting from surveillance data is a hard problem and hybridizing mechanistic compartmental models with neural models is a natural direction. The mechanistic structure helps keep trajectories epidemiologically plausible, while neural components can capture non-stationary, data-adaptive effects. In practice, however, many seemingly straightforward couplings fail under partial observability and continually shifting transmission dynamics driven by behavior, waning immunity, seasonality, and interventions. We catalog these failure modes and show that robust performance requires making non-stationarity explicit: we extract multi-scale structure from the observed infection series and use it as an interpretable control signal for a controlled neural ODE coupled to an epidemiological model. Concretely, we decompose infections into trend, seasonal, and residual components and use these signals to drive continuous-time latent dynamics while jointly forecasting and inferring time-varying transmission, recovery, and immunity-loss rates. Across seasonal and non-seasonal settings—including early outbreaks and multi-wave regimes—our approach reduces long-horizon RMSE by 15–35%, improves peak timing error by 1–3 weeks, and lowers peak magnitude bias by up to 30% relative strong time-series, neural ODE, and hybrid baselines, without relying on auxiliary covariates.
","absKo":"감시 데이터로부터의 역학 예측은 어려운 문제이며, 기계론적 compartmental model과 neural model을 결합하는 것은 자연스러운 방향이다. 기계론적 구조는 trajectory가 역학적으로 타당하도록 유지하는 데 도움이 되고, neural component는 비정상적이며 데이터 적응적인 효과를 포착할 수 있다. 그러나 실제로는, 많은 겉보기에는 단순한 결합이 부분 관측 가능성과 행동 변화, 면역 저하, 계절성, 개입에 의해 지속적으로 변하는 전파 동역학 하에서 실패한다. 우리는 이러한 실패 모드를 체계화하고, 강건한 성능을 위해서는 비정상성을 명시적으로 다뤄야 함을 보인다: 관측된 감염 시계열에서 multi-scale structure를 추출하고 이를 epidemiological model과 결합된 controlled neural ODE의 해석 가능한 control signal로 사용한다. 구체적으로, 우리는 감염 수를 trend, seasonal, residual component로 분해하고, 이 신호들을 사용해 연속시간 latent dynamics를 구동하는 동시에 time-varying transmission, recovery, immunity-loss rate를 공동으로 예측하고 추정한다. 초기 유행과 multi-wave regime를 포함한 계절적 및 비계절적 설정 전반에서, 우리 접근법은 auxiliary covariate에 의존하지 않으면서도 강력한 time-series, neural ODE, hybrid baseline 대비 장기 horizon RMSE를 15–35% 줄이고, peak timing error를 1–3주 개선하며, peak magnitude bias를 최대 30% 낮춘다.
"},{"id":"66474","en":"Rethinking Federated Prompt Learning for Medical Images: From Textual Tuning to Visual Manifold Anchoring","ko":"의료 영상을 위한 Federated 프롬프트 학습 재고: 텍스트 튜닝에서 시각 다양체 앵커링으로","authors":"Yipan Wei, Wenke Huang, Yapeng Li, He Li, Qixin Zhang, Mang Ye, Bo Du","pos":"#2605","link":"https://openreview.net/forum?id=3LymHCdeRd","abs":"Federated Prompt Learning (FPL) adapts Vision-Language Models to privacy-sensitive medical imaging, typically via a textual tuning paradigm that assumes the frozen visual encoder provides a discriminative feature geometry. We argue this assumption breaks down in medical settings, leading to two geometric pathologies: (1) Intra-client: Medical Manifold Collapse, where high morphological similarity reduces the effective rank of visual features; and (2) Inter-client: Medical Topological Misalignment, where heterogeneous acquisition protocols induce inconsistent geometry across clients. To address these, we propose FedMAP, which shifts the paradigm to Visual Manifold Anchoring. FedMAP utilizes an LLM-derived codebook as a client-invariant synchronization signal to restructure the visual space, via Manifold Semantic Anchoring (MSA) and Topology Structural Alignment (TSA) to enforce consistent inter-class relations. Experiments on FedISIC, FedCamelyon17, and a private ultrasound dataset show that FedMAP consistently outperforms state-of-the-art methods, especially in high-noise regimes where manifold collapse is most severe.
","absKo":"Federated Prompt Learning (FPL)은 Vision-Language Model을 privacy-sensitive medical imaging에 적응시키며, 일반적으로 고정된 visual encoder가 판별적인 feature geometry를 제공한다고 가정하는 textual tuning paradigm을 따른다. 우리는 의료 환경에서는 이 가정이 성립하지 않으며, 두 가지 geometric pathology를 초래한다고 주장한다. (1) Intra-client: Medical Manifold Collapse로, 높은 형태학적 유사성이 visual feature의 effective rank를 낮춘다. (2) Inter-client: Medical Topological Misalignment로, 이질적인 acquisition protocol이 client 간 일관되지 않은 geometry를 유발한다. 이를 해결하기 위해 우리는 패러다임을 Visual Manifold Anchoring으로 전환하는 FedMAP을 제안한다. FedMAP은 LLM-derived codebook을 client-invariant synchronization signal로 활용하여 visual space를 재구성하며, Manifold Semantic Anchoring (MSA)과 Topology Structural Alignment (TSA)을 통해 일관된 inter-class relation을 강제한다. FedISIC, FedCamelyon17, 그리고 private ultrasound dataset에서의 실험은 FedMAP이 특히 manifold collapse가 가장 심각한 high-noise regime에서 state-of-the-art 방법들을 일관되게 능가함을 보여준다.
"},{"id":"61016","en":"SLAP: The Semantic Least Action Principle for Variational Video-Language Modeling","ko":"SLAP: 변분 비디오-언어 모델링을 위한 의미론적 최소 작용 원리","authors":"Xiang Fang, Wanlong Fang","pos":"#1809","link":"https://openreview.net/forum?id=uWbzIUPzVH","abs":"In the era of Large Video-Language Models (LVLMs), the computational necessity of sparse frame sampling creates a fundamental ``temporal gap'', rendering models blind to critical causal transitions. Existing solutions relying on generative hallucination (e.g., latent diffusion) or autoregressive extrapolation often fail to maintain semantic consistency over long horizons, suffering from object vanishing and energetic instability. We propose a paradigm shift from probabilistic generation to variational mechanics with the \\textbf{Semantic Least Action Principle (SLAP)}. Drawing a rigorous isomorphism between classical mechanics and semantic dynamics, we model the latent video trajectory as a path on a Riemannian manifold governed by a Semantic Lagrangian. By formulating the interpolation task as a Boundary Value Problem (BVP) solved via the discrete Euler-Lagrange equations, SLAP naturally enforces object persistence without pixel-level rendering. Extensive experiments on multiple challenging datasets show the effectiveness of our proposed SLAP.
","absKo":"Large Video-Language Models (LVLMs)의 시대에 sparse frame sampling의 계산적 필요성은 근본적인 ``temporal gap''을 만들어내며, 모델을 중요한 causal transition에 대해 사실상 blind하게 만든다. generative hallucination(예: latent diffusion)이나 autoregressive extrapolation에 의존하는 기존 해법은 장기 horizon에서 semantic consistency를 유지하는 데 자주 실패하며, object vanishing과 energetic instability에 시달린다. 우리는 확률적 생성에서 변분 역학으로의 패러다임 전환을 제안하며, 이를 \\textbf{Semantic Least Action Principle (SLAP)}이라 부른다. 고전 역학과 semantic dynamics 사이의 엄밀한 isomorphism을 바탕으로, 우리는 latent video trajectory를 Semantic Lagrangian에 의해 지배되는 Riemannian manifold 위의 path로 모델링한다. 보간 과제를 discrete Euler-Lagrange equation으로 풀리는 Boundary Value Problem (BVP)으로 정식화함으로써, SLAP은 pixel-level rendering 없이도 object persistence를 자연스럽게 강제한다. 여러 도전적인 dataset에 대한 광범위한 실험은 우리가 제안한 SLAP의 효과를 보여준다.
"},{"id":"63150","en":"Learning-Guided Integration Contours Construction for Fast Large-Scale Generalized Eigensolvers","ko":"빠른 대규모 일반화 고유값 해법을 위한 학습 유도 적분 등고선 구성","authors":"Yeqiu Chen, Ziyan Liu, Hong Wang, Lei Liu","pos":"#1615","link":"https://openreview.net/forum?id=ZaOZDGJDAM","abs":"Solving large-scale Generalized Eigenvalue Problems (GEPs) is a fundamental yet computationally prohibitive task in science and engineering. As a promising direction, contour integral (CI) methods offer an efficient and parallelizable framework. However, their performance is critically dependent on the selection of \\textit{integration contours}---improper selection without reliable prior knowledge of eigenvalue distribution can incur significant computational overhead and compromise numerical accuracy. To address this challenge, we propose Deepcontour, a novel hybrid framework that integrates a deep learning-based spectral predictor with Kernel Density Estimation (KDE) for principled contour design. Specifically, Deepcontour utilizes its specialized Eigen-Neural-Operator (ENO) to provide rapid spectral distribution priors, driving a KDE module to automatically construct the optimized integration contours, which guide the CI solver to efficiently find the desired eigenvalues. Deepcontour achieves up to a 5.63x speedup across diverse scientific datasets while maintaining strict numerical rigor. By merging the predictive power of deep learning with the numerical rigor of classical solvers, this work establishes an efficient and robust paradigm for solving large-scale GEPs.
","absKo":"대규모 Generalized Eigenvalue Problem (GEP)을 푸는 일은 과학과 공학에서 근본적이지만 계산적으로 매우 부담이 큰 과제이다. 유망한 방향으로 contour integral (CI) method는 효율적이고 병렬화 가능한 프레임워크를 제공한다. 그러나 그 성능은 \\textit{integration contour}의 선택에 크게 좌우되며, eigenvalue 분포에 대한 신뢰할 만한 사전 지식 없이 부적절하게 선택하면 상당한 계산 오버헤드가 발생하고 수치 정확도가 저하될 수 있다. 이 문제를 해결하기 위해 우리는 deep learning 기반 spectral predictor와 Kernel Density Estimation (KDE)을 통합하여 원칙적인 contour 설계를 수행하는 새로운 hybrid framework인 Deepcontour를 제안한다. 구체적으로, Deepcontour는 특화된 Eigen-Neural-Operator (ENO)를 활용해 빠른 spectral distribution prior를 제공하고, 이를 바탕으로 KDE module이 최적화된 integration contour를 자동으로 구성하여 CI solver가 원하는 eigenvalue를 효율적으로 찾도록 안내한다. Deepcontour는 다양한 과학 데이터셋에서 엄격한 수치적 엄밀성을 유지하면서 최대 5.63배의 속도 향상을 달성한다. deep learning의 예측력과 classical solver의 수치적 엄밀성을 결합함으로써, 이 연구는 대규모 GEP를 푸는 효율적이고 강건한 패러다임을 확립한다.
"},{"id":"63537","en":"Linguistic Properties and Model Scale in Brain Encoding: From Small to Compressed Language Models","ko":"뇌 인코딩에서의 언어적 특성과 모델 스케일: 소형에서 압축 언어 모델까지","authors":"Subba Reddy Oota, Satya Sai Srinath Namburi GNVV, Vijay Rowtula, Khushbu Pahwa, Anant Khandelwal, Manish Gupta, Tanmoy Chakraborty, Raju Bapi","pos":"#3905","link":"https://openreview.net/forum?id=WK1NvxRMsL","abs":"Recent work has shown that scaling large language models (LLMs) improves their alignment with human brain activity, yet it remains unclear what drives these gains or which representational properties are responsible. Although larger models often yield better task performance and brain alignment, they are increasingly difficult to analyze mechanistically. This raises a fundamental question: \\emph{what is the minimal model capacity required to capture brain-relevant representations?} To address this question, we systematically investigate how constraining model scale and numerical precision affects brain alignment. We compare full-precision LLMs, small language models (SLMs), and compressed variants (quantized and pruned) by predicting fMRI responses during naturalistic language comprehension. Across model families up to 14B parameters, we find that 3B SLMs achieve brain predictivity indistinguishable from larger LLMs, whereas 1B models degrade substantially, particularly in semantic language regions. Brain alignment is remarkably robust to compression: most quantization and pruning methods preserve neural predictivity, with GPTQ as a consistent exception. Linguistic probing reveals a dissociation between task performance and brain predictivity: compression degrades discourse, syntax, and morphology, yet brain predictivity remains largely unchanged. Overall, brain alignment saturates at modest model scales and is resilient to compression, challenging common assumptions about neural scaling and motivating compact models for brain-aligned language modeling.
","absKo":"최근 연구는 대규모 language models (LLMs)를 확장하면 인간 뇌 활동과의 alignment가 향상된다는 점을 보여주었지만, 이러한 향상을 이끄는 요인이나 어떤 representational properties가 이를 담당하는지는 여전히 불분명하다. 더 큰 모델이 대체로 더 좋은 task performance와 brain alignment를 보이지만, 기계적 분석은 점점 더 어려워진다. 이는 근본적인 질문을 제기한다: \\emph{뇌와 관련된 representations를 포착하는 데 필요한 최소 model capacity는 무엇인가?} 이 질문에 답하기 위해, 우리는 model scale과 numerical precision을 제한하는 것이 brain alignment에 어떤 영향을 미치는지 체계적으로 조사한다. 우리는 naturalistic language comprehension 동안의 fMRI responses를 예측하는 방식으로 full-precision LLMs, small language models (SLMs), 그리고 compressed variants (quantized 및 pruned)를 비교한다. 최대 14B parameters에 이르는 model families 전반에서, 3B SLMs가 더 큰 LLMs와 구별되지 않는 brain predictivity를 달성하는 반면, 1B models는 특히 semantic language regions에서 성능이 크게 저하됨을 발견했다. Brain alignment는 compression에 놀라울 정도로 강건하다: 대부분의 quantization과 pruning methods는 neural predictivity를 유지하며, GPTQ만이 일관된 예외로 나타났다. Linguistic probing은 task performance와 brain predictivity 사이의 분리를 보여준다. compression은 discourse, syntax, morphology를 저하시킨 반면, brain predictivity는 대체로 변하지 않았다. 전반적으로 brain alignment는 비교적 작은 model scale에서 포화되며 compression에 견고하여, neural scaling에 대한 통상적인 가정에 도전하고 brain-aligned language modeling을 위한 compact models의 필요성을 뒷받침한다.
"},{"id":"62835","en":"Uncovering Latent Communication Patterns in Brain Networks via Adaptive Flow Routing","ko":"적응적 흐름 라우팅을 통한 뇌 네트워크의 잠재 통신 패턴 발굴","authors":"Tianhao Huang, Guanghui Min, zhenyu lei, Aiying Zhang, Chen Chen","pos":"#711","link":"https://openreview.net/forum?id=clFn9vQ8cK","abs":"Unraveling how macroscopic cognitive phenotypes emerge from microscopic neuronal connectivity remains one of the core pursuits of neuroscience. To this end, researchers typically leverage multi-modal information from structural connectivity (SC) and functional connectivity (FC) to complete downstream tasks. Recent methodologies explore the intricate coupling mechanisms between SC and FC, attempting to fuse their representations at the regional level. However, lacking fundamental neuroscientific insight, these approaches fail to uncover the latent interactions between neural regions underlying these connectomes, and thus cannot explain why SC and FC exhibit dynamic states of both coupling and heterogeneity. In this paper, we formulate multi-modal fusion through the lens of neural communication dynamics and propose the Adaptive Flow Routing Network (AFR-Net), a physics-informed framework that models how structural constraints (SC) give rise to functional communication patterns (FC), enabling interpretable discovery of critical neural pathways. Extensive experiments demonstrate that AFR-Net significantly outperforms state-of-the-art baselines. The code is available at \\url{https://anonymous.4open.science/r/DIAL-F0D1}.
","absKo":"거시적 cognitive phenotype이 미시적 neuronal connectivity로부터 어떻게 emerge하는지를 밝히는 것은 neuroscience의 핵심 과제 중 하나이다. 이를 위해 연구자들은 일반적으로 structural connectivity(SC)와 functional connectivity(FC)로부터의 multi-modal information을 활용해 downstream task를 수행한다. 최근 방법들은 SC와 FC 사이의 복잡한 coupling mechanism을 탐구하며, regional level에서 이들의 representation을 융합하려고 시도한다. 그러나 근본적인 neuroscientific insight가 부족해, 이러한 접근은 connectome의 바탕이 되는 neural region 간 latent interaction을 드러내지 못하며, 따라서 SC와 FC가 coupling과 heterogeneity라는 동적 상태를 동시에 보이는 이유를 설명하지 못한다. 본 논문에서는 multi-modal fusion을 neural communication dynamics의 관점에서 정식화하고, structural constraint(SC)가 functional communication pattern(FC)을 어떻게 만들어내는지 모델링하여 중요한 neural pathway를 해석적으로 발견할 수 있게 하는 physics-informed framework인 Adaptive Flow Routing Network(AFR-Net)를 제안한다. 광범위한 실험은 AFR-Net이 state-of-the-art baseline을 크게 능가함을 보여준다. 코드는 \\url{https://anonymous.4open.science/r/DIAL-F0D1}에서 제공된다.
"},{"id":"61528","en":"NeuroCLUS: A Foundation Model with Functional Clustering for Intracranial Neural Decoding","ko":"NeuroCLUS: 두개내 신경 디코딩을 위한 기능적 클러스터링 기반 Foundation Model","authors":"Hui Zheng, Haiteng Wang","pos":"#800","link":"https://openreview.net/forum?id=pFweJM4Uw8","abs":"Foundation models for intracranial neural recordings aim to learn generalizable representations from large-scale unlabeled data. However, existing approaches rely on suboptimal tokenization schemes -- treating individual electrode channels as independent tokens or aggregating them into a single brain-wide representation -- which fail to capture the brain’s inherent functional modularity. We introduce NeuroCLUS, a foundation model that learns to represent neural activity through data-driven functional clusters. NeuroCLUS is built on a novel two-stage pre-training framework. First, a spatial-temporal model learns a functional context graph between channels via a functional context prediction task. Second, this graph guides a soft clustering of channels into a set of learnable prototype tokens, enabling the transformer backbone to process coherent functional units rather than raw channels. Evaluated across a diverse range of decoding paradigms -- including speech perception, speech production, and seizure detection -- NeuroCLUS consistently achieves state-of-the-art performance. The discovered functional clusters align with established neurophysiology and offer enhanced interpretability. Our work demonstrates that explicitly modeling functional neural groupings significantly improves the efficiency, generalization, and interpretability of foundation models for intracranial decoding.
","absKo":"intracranial neural recording을 위한 foundation model은 대규모 unlabeled data로부터 generalizable representation을 학습하는 것을 목표로 한다. 그러나 기존 접근은 개별 electrode channel을 독립적인 token으로 취급하거나 이를 하나의 brain-wide representation으로 통합하는, 최적이 아닌 tokenization scheme에 의존하며, 이로 인해 뇌가 본래 지닌 functional modularity를 포착하지 못한다. 우리는 data-driven functional cluster를 통해 neural activity를 표현하는 법을 학습하는 foundation model인 NeuroCLUS를 소개한다. NeuroCLUS는 새로운 2-stage pre-training framework 위에 구축된다. 첫째, spatial-temporal model이 functional context prediction task를 통해 채널 간 functional context graph를 학습한다. 둘째, 이 graph가 채널을 학습 가능한 prototype token 집합으로 soft clustering하도록 유도하여, transformer backbone이 raw channel이 아니라 일관된 functional unit을 처리할 수 있게 한다. speech perception, speech production, seizure detection을 포함한 다양한 decoding paradigm 전반에서 평가한 결과, NeuroCLUS는 일관되게 state-of-the-art 성능을 달성한다. 발견된 functional cluster는 확립된 neurophysiology와 잘 부합하며 해석 가능성도 향상시킨다. 우리의 연구는 functional neural grouping을 명시적으로 모델링하는 것이 intracranial decoding을 위한 foundation model의 효율성, generalization, interpretability를 유의미하게 개선함을 보여준다.
"},{"id":"64023","en":"Omni-fMRI: A Universal Atlas-Free fMRI Foundation Model","ko":"Omni-fMRI: 범용 atlas-free fMRI Foundation Model","authors":"Mo Wang, Wenhao Ye, Junfeng Xia, Junxiang Zhang, Xuanye Pan, Minghao Xu, Haotian Deng, Hongkai Wen, Quanying Liu","pos":"#801","link":"https://openreview.net/forum?id=Rc8th2rXXe","abs":"Self-supervised fMRI foundation models have shown promising transfer performance, yet most rely on predefined region-level parcellations that discard fine-grained voxel information and introduce atlas-dependent biases. We propose Omni-fMRI, an atlas-free foundation model that operates directly on voxel-level signals. To enable scalable pretraining on 49,497 fMRI sessions across nine datasets, Omni-fMRI introduces a dynamic patching mechanism that substantially reduces computational cost while preserving informative spatial structure. To support reproducibility and fair comparison, we establish a comprehensive benchmark suite spanning 11 datasets and a diverse set of resting-state and task-based fMRI tasks. Experimental results demonstrate that Omni-fMRI consistently outperforms existing foundation models, providing a scalable and reproducible framework for atlas-free brain representation learning. Code is available.
","absKo":"self-supervised fMRI foundation model은 유망한 transfer 성능을 보여왔지만, 대부분은 미리 정의된 region-level parcellation에 의존하여 세밀한 voxel 정보를 버리고 atlas-dependent bias를 유입한다. 우리는 voxel-level 신호에 직접 작동하는 atlas-free foundation model인 Omni-fMRI를 제안한다. 아홉 개 dataset에 걸친 49,497개의 fMRI session에서의 확장 가능한 pretraining을 가능하게 하기 위해, Omni-fMRI는 정보성 있는 공간 구조를 보존하면서 계산 비용을 크게 줄이는 dynamic patching mechanism을 도입한다. 재현성과 공정한 비교를 지원하기 위해, 우리는 11개 dataset과 resting-state 및 task-based fMRI task의 다양한 구성을 아우르는 포괄적인 benchmark suite를 구축한다. 실험 결과, Omni-fMRI는 기존 foundation model을 일관되게 능가하며, atlas-free brain representation learning을 위한 확장 가능하고 재현 가능한 framework를 제공함을 보여준다. 코드가 제공된다.
"},{"id":"65778","en":"On the Infinite Width and Depth Limits of Predictive Coding Networks","ko":"Predictive Coding Network의 무한 폭과 깊이 극한에 관하여","authors":"Francesco Innocenti, El Mehdi Achour, Rafal Bogacz","pos":"#802","link":"https://openreview.net/forum?id=ADUGteohC7","abs":"Predictive coding (PC) is a biologically plausible alternative to standard backpropagation (BP) that minimises an energy function with respect to network activities before updating weights. Recent work has improved the training stability of deep PC networks (PCNs) by leveraging some BP-inspired reparameterisations. However, the full scalability and theoretical basis of these approaches remains unclear. To address this, we study the infinite width and depth limits of PCNs. For linear residual networks, we show that the set of width- and depth-stable feature-learning parameterisations for PC is exactly the same as for BP. Moreover, under any of these parameterisations, the PC energy with equilibrated activities converges to the BP loss in a regime where the model width is much larger than the depth, resulting in PC computing the same gradients as BP. Experiments show that these results hold in practice for deep nonlinear networks as long as an activity equilibrium is reached. Overall, this work unifies various previous theoretical and empirical results and has important practical implications for the scaling of PCNs.
","absKo":"Predictive coding(PC)은 standard backpropagation(BP)에 대한 생물학적으로 타당한 대안으로, weight를 업데이트하기 전에 network activity에 대해 energy function을 최소화한다. 최근 연구는 일부 BP-inspired reparameterization을 활용하여 deep PC network(PCN)의 training stability를 향상시켰다. 그러나 이러한 접근법의 완전한 scalability와 이론적 근거는 여전히 불분명하다. 이를 해결하기 위해, 우리는 PCN의 infinite width와 depth limit을 연구한다. linear residual network에 대해, 우리는 PC의 width- 및 depth-stable feature-learning parameterization 집합이 BP의 경우와 정확히 동일함을 보인다. 더 나아가 이러한 parameterization들 아래에서, activity가 equilibrated된 PC energy는 model width가 depth보다 훨씬 큰 regime에서 BP loss로 수렴하며, 그 결과 PC는 BP와 같은 gradient를 계산한다. 실험은 이러한 결과가 activity equilibrium에 도달하는 한 deep nonlinear network에서도 실제로 성립함을 보여준다. 전반적으로, 이 연구는 여러 기존의 이론적·실험적 결과를 통합하며 PCN scaling에 중요한 실용적 함의를 제공한다.
"},{"id":"61080","en":"Positional Encoding for Spiking Transformers","ko":"Spiking Transformer를 위한 Positional Encoding","authors":"Zijian Zhou, Yu Liang, Honglin Cao, Ammar Belatreche, Jieyuan Zhang, Wenjie Wei, Shuai Wang, Malu Zhang, Yang Yang, Haizhou Li","pos":"#803","link":"https://openreview.net/forum?id=tr8Qv2X5pq","abs":"Spiking Neural Networks (SNNs) demonstrate superior energy efficiency over conventional Artificial Neural Networks (ANNs). Recent advances in Transformer-based SNNs have shown encouraging performance by seamlessly integrating spike-driven computation with Transformer architectures. Positional information plays a crucial role in sequential modeling tasks. However, existing positional encoding methods designed for ANNs are fundamentally incompatible with SNNs, as they interfere with the spike-driven computation paradigm, highlighting the need for SNN-specific solutions. We propose Spiking Positional Encoding (SPE), a novel positional encoding method specifically designed for Spiking Transformers that effectively captures relative positional information. Its key component is the Positional Encoding Leaky Integrate-and-Fire (PE-LIF) neuron layer, which encodes positional information directly into neuron thresholds. Through continuous spike firing and membrane potential reset processes, this positional information is implicitly embedded into the emitted spike trains while maintaining compatibility with the spike-driven computation paradigm. Comprehensive experiments across thirteen datasets, including the GLUE and other widely-adopted Natural Language Processing benchmarks, demonstrate that SPE consistently outperforms existing positional encoding methods. SPE provides a tailored positional encoding solution for Spiking Transformers, bridging the performance gap between ANNs and SNNs, thus advancing neuromorphic computing applications in sequential modeling tasks.
","absKo":"Spiking Neural Networks (SNNs)는 기존 Artificial Neural Networks (ANNs)보다 우수한 energy efficiency를 보인다. Transformer-based SNN의 최근 발전은 spike-driven computation과 Transformer architecture를 매끄럽게 통합함으로써 유망한 성능을 보여주었다. positional information은 sequential modeling task에서 매우 중요한 역할을 한다. 그러나 ANN을 위해 설계된 기존 positional encoding method는 spike-driven computation paradigm과 근본적으로 양립할 수 없으며, 따라서 SNN-specific solution의 필요성을 보여준다. 우리는 relative positional information을 효과적으로 포착하도록 특별히 설계된 새로운 positional encoding method인 Spiking Positional Encoding (SPE)를 제안한다. 그 핵심 구성 요소는 Positional Encoding Leaky Integrate-and-Fire (PE-LIF) neuron layer로, positional information을 neuron threshold에 직접 인코딩한다. continuous spike firing과 membrane potential reset 과정을 통해, 이 positional information은 spike-driven computation paradigm과의 호환성을 유지하면서 emitted spike train에 암묵적으로 내장된다. GLUE 및 기타 널리 사용되는 Natural Language Processing benchmark를 포함한 13개 dataset에 걸친 종합 실험은 SPE가 기존 positional encoding method를 일관되게 능가함을 보여준다. SPE는 Spiking Transformer를 위한 맞춤형 positional encoding solution을 제공하여 ANN과 SNN 사이의 성능 격차를 좁히고, 그 결과 sequential modeling task에서 neuromorphic computing application을 발전시킨다.
"},{"id":"65072","en":"Real-World Unsupervised Models Generalize to Predict Brain Responses to Out-of-Distribution Stimuli","ko":"실제 세계 비지도 모델이 Out-of-Distribution 자극에 대한 뇌 반응 예측으로 일반화된다","authors":"Chenggang Chen, Zhiyu Yang, Xiaoqin Wang","pos":"#804","link":"https://openreview.net/forum?id=H1HHss5Zj4","abs":"Deep neural networks currently provide the leading quantitative models of neural responses in sensory systems. However, these networks remain implausible as models of sensory development, largely because they rely on supervised training with label efficiency far exceeding that of biological learning. Furthermore, these models are typically trained on manually curated datasets that lack the statistical properties of the natural environments to which the brain is exposed. Here, we demonstrate that models trained with unsupervised objectives on real-world data significantly outperform supervised models in predicting brain responses across both human auditory and visual cortex. We show that this performance advantage is not driven by network architecture or dataset size, but rather by the data distribution. Crucially, we find that unsupervised models trained on real-world data exhibit remarkable out-of-distribution generalization: a model trained exclusively on Mandarin speech accurately predicts English-driven brain responses, and a model trained on infant head-cam footage predicts adult visual responses to curated object images. Together, our results illustrate how deep neural networks can be used to reveal the real-world statistics that shape neural representations in the brain.
","absKo":"현재 deep neural network는 감각 시스템에서의 neural response를 설명하는 선도적인 정량적 모델을 제공한다. 그러나 이러한 네트워크는 생물학적 학습보다 훨씬 높은 label efficiency에 의존하는 supervised training을 사용하기 때문에, sensory development의 모델로서는 여전히 그럴듯하지 않다. 더 나아가, 이러한 모델들은 일반적으로 뇌가 노출되는 자연 환경의 통계적 성질을 갖추지 못한, 사람이 수작업으로 정제한 데이터셋으로 학습된다. 여기에서 우리는 실제 세계 데이터에 대해 unsupervised objective로 학습된 모델이 human auditory cortex와 visual cortex 모두에서 brain response 예측 성능 면에서 supervised model을 유의미하게 능가함을 보인다. 우리는 이러한 성능 우위가 network architecture나 dataset size에 의해 결정되는 것이 아니라, 데이터 분포에 의해 좌우됨을 보인다. 결정적으로, 실제 세계 데이터로 학습된 unsupervised model은 놀라운 out-of-distribution generalization을 보인다. Mandarin speech로만 학습된 모델은 English-driven brain response를 정확히 예측하고, infant head-cam footage로 학습된 모델은 curated object image에 대한 adult visual response를 예측한다. 종합하면, 우리의 결과는 deep neural network가 뇌의 neural representation을 형성하는 실제 세계의 통계를 드러내는 데 어떻게 활용될 수 있는지를 보여준다.
"},{"id":"63128","en":"SI-IGCL: Subject Invariance-aware Inverse Graph Contrastive Learning for Psychiatric Disorder Identification","ko":"SI-IGCL: 정신 질환 식별을 위한 피험자 불변성 인지 역 그래프 대조 학습","authors":"Jiayu Lu, Yujin Wang, Xiaofeng Liu, Dandan Li, Bin Wang","pos":"#805","link":"https://openreview.net/forum?id=ZoYQxFtDVM","abs":"Functional brain network analysis plays an important role in understanding and diagnosing psychiatric disorders. However, current methods struggle with subject variations, impairing the model’s generalization ability to the test set. To address this issue, we propose the Subject Invariance-aware Inverse Graph Contrastive Learning (SI-IGCL) model, which adopts a two-stage paradigm with self-supervised subject-invariant pre-training followed by supervised fine-tuning for identification. During the pre-training phase, we construct an inverse contrastive objective that reshapes the embedding space by repelling intra-subject and attracting inter-subject embeddings to learn subject-invariant representations, with an auxiliary correction term to avoid early optimization plateaus. Meanwhile, we incorporate a structure-preserving reconstruction constraint to preserve discriminative information. Moreover, a Hierarchical Topology Enhanced Transformer (HTET) module is designed to enable multi-level modeling of subject-invariant functional patterns. During the fine-tuning phase, a supervised classifier is integrated to perform psychiatric disorder classification. Extensive experiments demonstrate that our method outperforms all state-of-the-art methods. The code is available at https://anonymous.4open.science/r/SI-IGCL.
","absKo":"기능적 brain network 분석은 정신질환을 이해하고 진단하는 데 중요한 역할을 한다. 그러나 현재 방법은 subject variation에 취약해 test set에 대한 모델의 generalization 능력을 저해한다. 이 문제를 해결하기 위해, 우리는 self-supervised subject-invariant pre-training에 이어 식별을 위한 supervised fine-tuning을 수행하는 two-stage paradigm을 채택한 Subject Invariance-aware Inverse Graph Contrastive Learning(SI-IGCL) 모델을 제안한다. pre-training 단계에서 우리는 intra-subject embedding을 밀어내고 inter-subject embedding을 끌어당겨 embedding space를 재구성하는 inverse contrastive objective를 구성하여 subject-invariant representation을 학습하고, 초기 optimization plateau를 피하기 위한 auxiliary correction term을 포함한다. 동시에 discriminative information을 보존하기 위해 structure-preserving reconstruction constraint를 통합한다. 또한 Hierarchical Topology Enhanced Transformer(HTET) 모듈을 설계하여 subject-invariant functional pattern을 다단계로 모델링할 수 있게 한다. fine-tuning 단계에서는 supervised classifier를 통합해 정신질환 분류를 수행한다. 광범위한 실험은 본 방법이 모든 state-of-the-art method를 능가함을 보여 준다. 코드는 https://anonymous.4open.science/r/SI-IGCL 에서 확인할 수 있다."},{"id":"61249","en":"Scaling Vision Transformers for Functional MRI with Flat Maps","ko":"Flat Map을 활용한 Functional MRI용 Vision Transformer Scaling","authors":"Connor Lane, Ratna Grandhi, Leema Krishna Murali, Mihir Tripathy, Shamus Zi Yang Sim, Will Beddow, Gianfranco Cortes, Suin Cho, Debojyoti Das, Sam Gijsen, Manish Ram, Utkarsh Singh, Cesar Kadir Torrico Villanueva, YUXIANG WEI, Daniel Kaplan, Benjamin Warner, Tanishq Abraham, Paul Scotti","pos":"#806","link":"https://openreview.net/forum?id=s8cdRWLTCc","abs":"We propose a simple strategy for training a foundation model on functional MRI (fMRI) data: we adapt the standard Vision Transformer to fMRI by first converting each 3D fMRI volume to a 2D map using a standard cortical flat map projection. We train spatiotemporal masked autoencoders (MAE) on 2.3K hours of fMRI flat map videos. Our model (CortexMAE) outperforms identical MAE models trained on parcel-averaged or native volume data. We perform the first quantitative scaling analyses for fMRI and observe strict power law scaling. Finally, we develop the first open evaluation suite for fMRI foundation models and use it to perform a comprehensive comparison. On cognitive state decoding, our model outperforms all models by a wide margin. On clinical trait prediction, however, we report an important mixed result: all models show inconsistent performance (including our own). We hope that by introducing reproducible benchmarks and a strong, simple baseline, we can help establish a clear frontier for fMRI foundation models. Code is available at \\url{https://anonymous.4open.science/r/cortex_mae}.
","absKo":"functional MRI (fMRI) data에 foundation model을 학습하기 위한 간단한 전략을 제안한다. 표준 Vision Transformer를 fMRI에 맞게 적응시키기 위해, 먼저 표준 cortical flat map projection을 사용하여 각 3D fMRI volume을 2D map으로 변환한다. 우리는 2.3K 시간 분량의 fMRI flat map video에서 spatiotemporal masked autoencoder (MAE)를 학습한다. 우리 모델(CortexMAE)은 parcel-averaged data나 native volume data로 학습한 동일한 MAE 모델보다 더 뛰어난 성능을 보인다. 또한 fMRI에 대한 최초의 정량적 scaling analysis를 수행하여 엄격한 power law scaling을 관찰했다. 마지막으로, fMRI foundation model을 위한 최초의 open evaluation suite를 개발하고 이를 사용해 종합 비교를 수행한다. cognitive state decoding에서는 우리 모델이 모든 모델을 큰 폭으로 앞선다. 그러나 clinical trait prediction에서는 중요한 혼합 결과를 보고하는데, 모든 모델이(우리 모델을 포함해) 일관되지 않은 성능을 보였다. 우리는 재현 가능한 benchmark와 강력하고 단순한 baseline을 제시함으로써, fMRI foundation model을 위한 명확한 frontier를 세우는 데 기여하길 기대한다. 코드는 \\url{https://anonymous.4open.science/r/cortex_mae}에서 제공된다.
"},{"id":"63975","en":"Self-Supervised Foundation Model for Calcium-imaging Population Dynamics","ko":"칼슘 이미징 집단 동역학을 위한 자기지도 Foundation Model","authors":"Xinhong Xu, Yimeng Zhang, Qichen Qian, Yuanlong Zhang","pos":"#807","link":"https://openreview.net/forum?id=S4pUDRolZd","abs":"Recent work suggests that large-scale, multi-animal modeling can significantly improve neural recording analysis. However, for functional calcium traces, existing approaches remain task-specific, limiting transfer across common neuroscience objectives. To address this challenge, we propose \\textbf{CalM}, a self-supervised neural foundation model trained solely on neuronal calcium traces and adaptable to multiple downstream tasks, including forecasting and decoding. Our key contribution is a pretraining framework, composed of a high-performance tokenizer mapping single-neuron traces into a shared discrete vocabulary, and a dual-axis autoregressive transformer modeling dependencies along both the neural and the temporal axis. We evaluate CalM on a large-scale, multi-animal, multi-session dataset. On the neural population dynamics forecasting task, CalM outperforms strong specialized baselines after pretraining. With a task-specific head, CalM further adapts to the behavior decoding task and achieves superior results compared with supervised decoding models. Moreover, linear analyses of CalM representations reveal interpretable functional structures beyond predictive accuracy. Taken together, we propose a novel and effective self-supervised pretraining paradigm for foundation models based on calcium traces, paving the way for scalable pretraining and broad applications in functional neural analysis.
","absKo":"최근 연구는 대규모 multi-animal modeling이 neural recording 분석을 크게 향상시킬 수 있음을 시사한다. 그러나 functional calcium trace의 경우, 기존 접근법은 여전히 task-specific하여 흔한 neuroscience 목표들 사이의 transfer를 제한한다. 이러한 과제를 해결하기 위해 우리는 CalM을 제안한다. CalM은 오직 neuronal calcium trace만으로 학습된 self-supervised neural foundation model이며, forecasting과 decoding을 포함한 여러 downstream task에 적응할 수 있다. 우리의 핵심 기여는 pretraining framework로, single-neuron trace를 shared discrete vocabulary로 매핑하는 high-performance tokenizer와 neural axis와 temporal axis 양쪽의 dependency를 모델링하는 dual-axis autoregressive transformer로 구성된다. 우리는 대규모 multi-animal, multi-session dataset에서 CalM을 평가한다. neural population dynamics forecasting task에서 CalM은 pretraining 후 강력한 specialized baseline을 능가한다. task-specific head를 사용하면 CalM은 behavior decoding task로 추가 적응하여 supervised decoding model과 비교해도 우수한 결과를 달성한다. 또한 CalM representation에 대한 linear analysis는 예측 정확도를 넘어서는 해석 가능한 functional structure를 드러낸다. 종합하면, 우리는 calcium trace를 기반으로 한 foundation model을 위한 새롭고 효과적인 self-supervised pretraining paradigm을 제안하며, 이는 scalable pretraining과 functional neural analysis의 폭넓은 응용을 위한 길을 연다."},{"id":"62445","en":"NeurIPS: Neuro-anatomical Inductive Priors for Sphere-based Brain Decoding","ko":"NeurIPS: 구면 기반 뇌 디코딩을 위한 Neuro-anatomical Inductive Priors","authors":"Sijin Yu, Zijiao Chen, Zhenyu Yang, Zihao Tan, Jiakun Xu, Zhongliang Liu, shengxian chen, WENXUAN WU, Xiangmin Xu, Xin Zhang","pos":"#900","link":"https://openreview.net/forum?id=gXTtBRI1yj","abs":"Current fMRI decoders face a performance-fidelity trade-off where efficient ID encoders outperform geometrically-aligned surface-based models. We argue this is an artifact of inefficient surface tokenization and the failure to use anatomy as a predictive signal. We present NeurIPS, a framework that improves surface-based decoding by reframing anatomical variation from a nuisance to a powerful inductive prior. NeurIPS unites two innovations: a Selective ROI Spherical Tokenizer (SRST) for efficient geometric encoding, and a Guided Mixture of Experts (SG-MoE) that explicitly models individual anatomy using cortical features. On the Natural Scenes Dataset, NeurIPS establishes a new state-of-the-art for surface decoders and achieves performance comparable to strong 1D baselines. This is achieved with unprecedented efficiency, as the model converges dramatically faster (10 vs. 600 epochs). This efficiency enables rapid adaptation to new subjects using only 20\\% of data and remains stable when scaling the training cohort (4 to 8 subjects). Ablations provide evidence that these gains are driven by the model's use of cortical features, not by memorizing subject IDs. By leveraging anatomical priors, NeurIPS provides a principled and scalable path toward robust, generalizable brain decoding.
","absKo":"현재 fMRI decoder는 효율적인 ID encoder가 기하학적으로 정렬된 surface-based model보다 우세한 performance-fidelity trade-off에 직면해 있다. 우리는 이것이 비효율적인 surface tokenization과 anatomy를 predictive signal로 활용하지 못한 데서 비롯된 산물이라고 주장한다. 우리는 해부학적 변이를 nuisance가 아니라 강력한 inductive prior로 재해석함으로써 surface-based decoding을 개선하는 NeurIPS framework를 제시한다. NeurIPS는 두 가지 혁신을 결합한다. 효율적인 geometric encoding을 위한 Selective ROI Spherical Tokenizer (SRST)와, cortical feature를 사용해 individual anatomy를 명시적으로 모델링하는 Guided Mixture of Experts (SG-MoE)이다. Natural Scenes Dataset에서 NeurIPS는 surface decoder의 새로운 state-of-the-art를 수립하고 강력한 1D baseline과 견줄 만한 성능을 달성한다. 이는 전례 없는 효율성으로 이루어졌는데, 모델이 현저히 더 빠르게 수렴하며(10 vs. 600 epochs) 이를 통해 데이터의 20\\%만으로도 새로운 subject에 빠르게 적응할 수 있고, training cohort를 확장할 때(4명에서 8명으로)도 안정성을 유지한다. Ablation은 이러한 향상이 subject ID를 암기한 결과가 아니라 cortical feature 활용에 의해 주도됨을 보여준다. 해부학적 prior를 활용함으로써 NeurIPS는 견고하고 일반화 가능한 brain decoding을 향한 원칙적이고 확장 가능한 경로를 제공한다.
"},{"id":"64356","en":"Multimodal Scaling Laws for Task & Data-Optimized Models of Visual Cortex","ko":"시각 피질의 과제 및 데이터 최적화 모델을 위한 멀티모달 스케일링 법칙","authors":"Abdülkadir Gökce, Yingtian Tang, Martin Schrimpf","pos":"#901","link":"https://openreview.net/forum?id=OQ6jQHJPTT","abs":"Task-optimized neural networks are the leading in-silico models of sensory cortex, yet the field lacks a unified understanding of which modeling choices drive improved brain alignment. Prior NeuroAI work is fragmented across datasets and modalities, making it difficult to determine robust scaling trends. Here, we systematically investigate the scaling laws of model-to-brain alignment across 8 neural datasets (spanning electrophysiology, fMRI, EEG, and MEG) and over 600 models with diverse architectures and pretraining configurations. We report three key scaling trends: (1) Pretraining saturation: Alignment improves with pretraining compute and data scale but saturates across all recording modalities. (2) Complementary fine-tuning: Hybrid task & neural data optimization yields consistent improvements in alignment that generalize across datasets and modalities. (3) Mapping scaling: Increasing the number of neural samples to fit model-to-brain mappings yields log-linear gains with the largest impact on alignment. Finally, we propose a novel subject-shared cross-attention mapping which drastically reduces parameter count and improves alignment. Taken together, these results establish multimodal scaling laws that guide resource allocation for next-generation brain models.
","absKo":"Task-optimized neural network는 sensory cortex의 leading in-silico model이지만, 어떤 modeling choice가 더 나은 brain alignment를 이끄는지에 대한 통합된 이해는 아직 부족합니다. 이전 NeuroAI 연구는 dataset과 modality 전반에 걸쳐 분절되어 있어, 견고한 scaling trend를 파악하기 어렵습니다. 여기서는 8개의 neural dataset(electrophysiology, fMRI, EEG, MEG를 포괄)과 다양한 architecture 및 pretraining configuration을 가진 600개 이상의 model에 걸쳐 model-to-brain alignment의 scaling law를 체계적으로 조사합니다. 우리는 세 가지 핵심 scaling trend를 보고합니다. (1) Pretraining saturation: pretraining compute와 data scale이 증가할수록 alignment는 향상되지만, 모든 recording modality에서 포화됩니다. (2) Complementary fine-tuning: hybrid task & neural data optimization은 dataset과 modality를 가로질러 일반화되는 일관된 alignment 향상을 제공합니다. (3) Mapping scaling: model-to-brain mapping을 맞추기 위한 neural sample 수를 늘리면 log-linear gain이 나타나며, alignment에 가장 큰 영향을 미칩니다. 마지막으로, parameter 수를 대폭 줄이면서 alignment를 개선하는 새로운 subject-shared cross-attention mapping을 제안합니다. 종합하면, 이러한 결과는 차세대 brain model을 위한 자원 배분을 안내하는 multimodal scaling law를 확립합니다.
"},{"id":"62169","en":"Learning Multi-Scale Hypergraph for High-Order Brain Connectivity Analysis","ko":"고차 뇌 연결성 분석을 위한 Multi-Scale Hypergraph 학습","authors":"Jaeyoon Sim, Soojin Hwang, Seunghun Baek, Guorong Wu, Won Hwa Kim","pos":"#902","link":"https://openreview.net/forum?id=j5vTJrpoeL","abs":"Understanding complex interactions between brain regions is critical for early neurodegenerative disease classification such as Alzheimer’s Disease (AD) and Parkinson’s Disease (PD). While graph-based models are widely used to analyze brain networks, most existing approaches primarily focus on pairwise interactions between directly connected nodes, limiting their ability to capture higher-order dependencies across multiple regions. Although hypergraph-based methods have been proposed to model higher-order relations, many rely on predefined hyperedges or restrict learning to hyperedge weights, reducing flexibility and limiting their capacity to capture multi-resolution structural patterns. In this regard, we introduce an adaptive multi-scale hyperedge learning framework, i.e., MuHL, which constructs hierarchical node features and dynamically learns high-order interaction through continuous hyper-edge construction over multi-resolution graph signals. Extensive experiments on multiple brain network benchmarks demonstrate that MuHL consistently improves disease classification performance across different stages, and further identifies key regions of interest (ROIs) and their group-wise interactions from the learned hyperedges that are associated with disease progression, highlighting its potential as a powerful tool for brain network analysis with neurodegenerative disorders.
","absKo":"뇌 영역 간의 복잡한 상호작용을 이해하는 것은 Alzheimer’s Disease(AD)와 Parkinson’s Disease(PD) 같은 조기 신경퇴행성 질환 분류에 중요하다. graph 기반 model은 brain network를 분석하는 데 널리 사용되지만, 기존 접근법의 대부분은 직접 연결된 node 사이의 pairwise interaction에 주로 초점을 맞추어, 여러 영역에 걸친 higher-order dependency를 포착하는 능력이 제한된다. higher-order relation을 모델링하기 위해 hypergraph 기반 방법이 제안되었지만, 많은 방법이 미리 정의된 hyperedge에 의존하거나 hyperedge weight 학습에만 제한되어 유연성이 떨어지고 multi-resolution structural pattern을 포착하는 능력도 제한된다. 이러한 관점에서 우리는 adaptive multi-scale hyperedge learning framework인 MuHL을 소개한다. 이 framework는 hierarchical node feature를 구성하고, multi-resolution graph signal 위에서 continuous hyper-edge construction을 통해 high-order interaction을 동적으로 학습한다. 여러 brain network benchmark에 대한 광범위한 실험은 MuHL이 다양한 단계에서 disease classification 성능을 일관되게 향상시키며, 학습된 hyperedge로부터 질병 진행과 관련된 주요 region of interest(ROI)와 그들의 group-wise interaction을 추가로 식별함을 보여준다. 이는 neurodegenerative disorder를 위한 brain network analysis에서 강력한 도구로서의 잠재력을 강조한다.
"},{"id":"62242","en":"Image-to-Brain Signal Generation for Visual Prosthesis with CLIP Guided Multimodal Diffusion Models","ko":"CLIP Guided Multimodal Diffusion Models로 시각 보철용 Image-to-Brain Signal 생성","authors":"Ganxi Xu, Zhao-Rong Lai, Yuting Tang, Yonghao Song, Guoxu Zhou, Boyu Wang, Jian Zhu, Jinyi Long","pos":"#903","link":"https://openreview.net/forum?id=iPTCYxloni","abs":"Visual prostheses hold great promise for restoring vision in blind individuals. While researchers have successfully utilized M/EEG signals to evoke visual perceptions during the brain decoding stage of visual prostheses, the complementary process of converting images into M/EEG signals in the brain encoding stage remains largely unexplored, hindering the formation of a complete functional pipeline. In this work, we present a novel image-to-brain signal framework that generates M/EEG from images by leveraging the diffusion transformer architecture enhanced with cross-attention mechanisms. Specifically, we employ a diffusion transformer (DiT) architecture based on denoising diffusion implicit models (DDIM) to achieve brain signal generation. To realize the goal of image-to-brain signal conversion, we use cross-attention mechanisms to align brain signal embeddings with CLIP image embeddings. Moreover, we leverage large language models (LLMs) to generate image captions, and concatenate the resulting CLIP text embeddings with CLIP image embeddings to form unified embeddings for cross-attention alignment, enabling our model to capture core semantic information. Furthermore, we introduce a learnable spatio-temporal position encoding that combines brain region embeddings with temporal embeddings to capture both spatial and temporal characteristics of brain signals. We evaluate the framework on two multimodal benchmark datasets (THINGS-EEG2 and THINGS-MEG) and demonstrate that it generates biologically plausible brain signals.
","absKo":"Visual prosthesis는 시각 장애인의 시력을 회복하는 데 큰 가능성을 지닌다. 연구자들은 visual prosthesis의 brain decoding stage에서 M/EEG signal을 활용해 visual perception을 유발하는 데 성공했지만, brain encoding stage에서 이미지를 M/EEG signal로 변환하는 보완적 과정은 여전히 거의 탐구되지 않아 완전한 기능 pipeline의 형성을 가로막고 있다. 본 연구에서는 cross-attention mechanism으로 강화된 diffusion transformer architecture를 활용해 이미지로부터 brain signal을 생성하는 새로운 image-to-brain signal framework를 제시한다. 구체적으로, 우리는 brain signal generation을 달성하기 위해 denoising diffusion implicit model (DDIM)에 기반한 diffusion transformer (DiT) architecture를 사용한다. image-to-brain signal conversion이라는 목표를 실현하기 위해, cross-attention mechanism을 사용하여 brain signal embedding과 CLIP image embedding을 정렬한다. 또한 large language model (LLM)을 활용해 image caption을 생성하고, 그 결과로 얻은 CLIP text embedding을 CLIP image embedding과 concatenate하여 cross-attention alignment를 위한 unified embedding을 구성함으로써 모델이 핵심 semantic information을 포착하도록 한다. 더 나아가, brain region embedding과 temporal embedding을 결합하여 brain signal의 spatial 및 temporal 특성을 포착하는 learnable spatio-temporal position encoding을 도입한다. 우리는 두 개의 multimodal benchmark dataset(THINGS-EEG2와 THINGS-MEG)에서 이 framework를 평가했으며, biologically plausible한 brain signal을 생성함을 보였다.
"},{"id":"65713","en":"Identifying Connectivity Distributions from Neural Dynamics Using Flows","ko":"Flow를 이용한 신경 동역학으로부터의 연결성 분포 식별","authors":"Timothy Kim, Ulises Obilinovic, Yiliu Wang, Eric SheaBrown, Uygar Sümbül","pos":"#904","link":"https://openreview.net/forum?id=AuiUlu3OmT","abs":"Connectivity structure shapes neural computation, but inferring this structure from population recordings is degenerate: multiple connectivity structures can generate identical dynamics. Recent work uses low-rank recurrent neural networks (lrRNNs) to infer low-dimensional latent dynamics and connectivity structure from observed activity, enabling a mechanistic interpretation of the dynamics. However, standard approaches for training lrRNNs can recover spurious structures irrelevant to the underlying dynamics. We first characterize the identifiability of connectivity structures in lrRNNs and determine conditions under which a unique solution exists. Then, to find such solutions, we develop an inference framework based on maximum entropy and continuous normalizing flows (CNFs), trained via flow matching. Instead of estimating a single connectivity matrix, our method learns the maximally unbiased distribution over connection weights consistent with observed dynamics. This approach captures complex yet necessary distributions such as heavy-tailed connectivity found in empirical data. We validate our method on synthetic datasets with connectivity structures that generate multistable attractors, limit cycles, and ring attractors, and demonstrate its applicability in recordings from rat frontal cortex during decision-making. Our framework shifts circuit inference from recovering connectivity to identifying which connectivity structures are computationally required, and which are artifacts of underconstrained inference.
","absKo":"연결성 구조는 신경 계산을 형성하지만, population recording으로부터 이 구조를 추론하는 일은 퇴화적이다: 여러 connectivity structure가 동일한 dynamics를 생성할 수 있다. 최근 연구는 low-rank recurrent neural network (lrRNN)을 사용해 관측된 activity로부터 저차원 latent dynamics와 connectivity structure를 추론함으로써, dynamics에 대한 mechanistic interpretation을 가능하게 한다. 그러나 lrRNN을 학습하는 표준 접근법은 underlying dynamics와 무관한 spurious structure를 복원할 수 있다. 우리는 먼저 lrRNN에서 connectivity structure의 identifiability를 특성화하고, 유일한 해가 존재하는 조건을 결정한다. 그런 다음 이러한 해를 찾기 위해, flow matching으로 학습되는 continuous normalizing flow (CNF)와 maximum entropy에 기반한 inference framework를 개발한다. 본 방법은 단일 connectivity matrix를 추정하는 대신, 관측된 dynamics와 일치하는 connection weight에 대한 최대한 편향되지 않은 분포를 학습한다. 이 접근법은 경험적 데이터에서 발견되는 heavy-tailed connectivity와 같은 복잡하지만 필수적인 분포를 포착한다. 우리는 multistable attractor, limit cycle, ring attractor를 생성하는 connectivity structure를 가진 synthetic dataset에서 이 방법을 검증하고, 의사결정 중 rat frontal cortex recording에 대한 적용 가능성을 입증한다. 우리의 framework는 circuit inference를 connectivity 복원에서 어떤 connectivity structure가 계산적으로 요구되는지, 그리고 어떤 것이 underconstrained inference의 산물인지 식별하는 방향으로 전환한다.
"},{"id":"66504","en":"High-Fidelity ANN-to-SNN Conversion via Closed-Loop CKA Distillation","ko":"폐루프 CKA 증류를 통한 고충실도 ANN-to-SNN 변환","authors":"Bozhou Li, Chubo Liu, Yan Ding, Yufeng Zhang, Zhuo Tang, Kenli Li","pos":"#905","link":"https://openreview.net/forum?id=35eaElDnaD","abs":"ANN-to-SNN conversion offers energy-efficient inference but faces a fidelity-latency trade-off due to open-loop error accumulation. While conversion-aware training mitigates this, it sacrifices the generality of using off-the-shelf ANNs. We propose a closed-loop fine-tuning framework that calibrates these errors without altering the source model. Our approach employs a Dual Alignment Mechanism, utilizing global Kullback-Leibler divergence for output distillation and introducing an adaptive local Centered Kernel Alignment constraint, weighted by initial conversion loss, for feature alignment. We uncover a critical time-dependent dynamic: local constraints are essential for stabilizing representations in low-latency regimes (e.g., $T=8$) where global gradients are unstable, whereas global alignment drives fidelity at higher time steps. Experiments on CIFAR-10 demonstrate that our method achieves over 99\\% of source ANN accuracy at $T=32$ (e.g., ResNet-18: 96.38\\% vs.\\ 96.39\\%). Furthermore, this fine-tuning acts as a regularizer, yielding SNNs with input noise robustness that matches or exceeds the source ANN.","absKo":"ANN-to-SNN conversion은 energy-efficient inference를 제공하지만, open-loop error accumulation 때문에 fidelity-latency trade-off에 직면한다. conversion-aware training은 이를 완화하지만, 기성 ANN을 활용하는 일반성을 희생한다. 우리는 source model을 변경하지 않고도 이러한 error를 보정하는 closed-loop fine-tuning framework를 제안한다. 우리의 접근법은 Dual Alignment Mechanism을 사용하여 output distillation을 위한 global Kullback-Leibler divergence와, 초기 conversion loss로 가중된 adaptive local Centered Kernel Alignment constraint를 도입해 feature alignment를 수행한다. 우리는 중요한 time-dependent dynamic을 발견한다. 즉, local constraint는 global gradient가 불안정한 low-latency regime(예: $T=8$)에서 representation을 안정화하는 데 필수적인 반면, higher time step에서는 global alignment가 fidelity를 이끈다. CIFAR-10에서의 실험은 우리의 방법이 $T=32$에서 source ANN 정확도의 99\\% 이상을 달성함을 보여준다(예: ResNet-18: 96.38\\% vs.\\ 96.39\\%). 또한 이 fine-tuning은 regularizer로 작동하여, source ANN과 같거나 그 이상의 input noise robustness를 지닌 SNN을 생성한다."},{"id":"62155","en":"Global Credit Assignment via Dynamical Criticality","ko":"동역학적 임계성을 통한 전역 Credit Assignment","authors":"Wentao Wang, Keren Gao, Guozhang Chen","pos":"#906","link":"https://openreview.net/forum?id=jI2TM7Kzlu","abs":"Efficiently training recurrent neural networks to capture temporal structure is fundamental to machine intelligence, yet scaling gradient-based learning remains an open challenge. The standard global paradigm, backpropagation through time (BPTT), suffers from memory costs that scale linearly with sequence length and susceptibility to gradient instability. Conversely, biologically inspired local learning rules, while efficient, often introduce severe bias, failing to match the performance of global optimization. Inspired by the criticality observed in biological neural circuits, we introduce Criticality-driven Online Local Alignment (COLA). By leveraging the long-range spatiotemporal correlations inherent to the critical regime, COLA enables a strictly local learning rule to approximate the efficacy of global error propagation, thereby combining the advantages of online plasticity with the precision of gradient descent. Theoretically, for an RNN with $H$ hidden units, the method reduces learning complexity to a $O(H)$ auxiliary state with constant activation memory, independent of sequence length. Empirically, COLA matches BPTT on standard benchmarks and demonstrates superior robustness on stability-sensitive tasks. We support these results with a rigorous analysis on the approximation error, providing a theoretical foundation for reliable, scalable online learning.","absKo":"시계열 구조를 포착하기 위해 recurrent neural network를 효율적으로 학습하는 것은 machine intelligence의 근간이지만, gradient-based learning을 확장하는 문제는 여전히 열려 있다. 표준 global paradigm인 backpropagation through time (BPTT)은 sequence length에 선형적으로 비례하는 memory cost와 gradient instability에 대한 취약성을 가진다. 반면 생물학적으로 영감을 받은 local learning rule은 효율적이지만, 종종 심각한 bias를 도입하여 global optimization의 성능을 따라가지 못한다. 우리는 생물학적 neural circuit에서 관찰되는 criticality에서 영감을 받아 Criticality-driven Online Local Alignment (COLA)를 제안한다. critical regime에 내재된 장거리 시공간 상관관계를 활용함으로써, COLA는 strictly local learning rule이 global error propagation의 효과를 근사할 수 있게 하며, 이를 통해 online plasticity의 장점과 gradient descent의 정밀도를 결합한다. 이론적으로, $H$개의 hidden unit을 가진 RNN에서 이 방법은 sequence length와 무관하게 auxiliary state를 $O(H)$로 줄이고 activation memory는 상수로 유지한다. 실험적으로, COLA는 표준 benchmark에서 BPTT와 성능을 맞추며 stability에 민감한 task에서 더 뛰어난 robustness를 보인다. 우리는 approximation error에 대한 엄밀한 분석으로 이러한 결과를 뒷받침하며, 신뢰할 수 있고 확장 가능한 online learning의 이론적 기반을 제시한다."},{"id":"62044","en":"Frequency Matching in Spiking Neural Networks for mmWave Sensing","ko":"mmWave Sensing을 위한 Spiking Neural Networks의 Frequency Matching","authors":"Zhenyu Liao, Di Yu, Changze Lv, Wentao Tong, Linshan Jiang, Sijie Ji, Xin Du, Hailiang Zhao, Xiaoqing Zheng, Shuiguang Deng","pos":"#907","link":"https://openreview.net/forum?id=kOgsGq2mfC","abs":"Millimeter-wave (mmWave) sensing enables privacy-preserving, always-on edge perception, but its measurements are often sparse, temporally irregular, and corrupted by high-frequency noise. Existing mmWave pipelines predominantly rely on artificial neural networks (ANNs), which achieve robustness through extensive preprocessing or deep architectures, thereby limiting their efficiency on edge devices. In this work, we study spiking neural networks (SNNs) for mmWave sensing from a mechanism–data alignment perspective. By leveraging the low-pass filtering behavior of leaky integrate-and-fire (LIF) dynamics, we analyze how their implicit temporal filtering interacts with the frequency structure of mmWave signals. Our analysis shows that when discriminative information resides in low-to-mid frequencies, LIF dynamics can inherently suppress high-frequency noise, clarifying when and why SNNs outperform ANNs. Based on this insight, we derive a principled criterion for configuring the membrane decay factor by matching the effective bandwidth of LIF dynamics to the data’s discriminative spectral content. Experimental results across four widely used mmWave datasets validate the proposed frequency-matching hypothesis, yielding an average test-accuracy improvement of 6.22% and a 3.64× reduction in theoretical energy consumption relative to ANN baselines, under a unified evaluation protocol.
","absKo":"밀리미터파(mmWave) sensing은 프라이버시를 보존하는 always-on edge perception을 가능하게 하지만, 그 측정값은 종종 sparse하고 시간적으로 불규칙하며 고주파 노이즈에 의해 오염된다. 기존 mmWave 파이프라인은 주로 artificial neural networks (ANNs)에 의존하는데, 이들은 광범위한 preprocessing이나 깊은 architecture를 통해 robustness를 달성하므로 edge device에서의 효율성이 제한된다. 본 연구에서는 mechanism–data alignment 관점에서 mmWave sensing을 위한 spiking neural networks (SNNs)를 살펴본다. leaky integrate-and-fire (LIF) dynamics의 low-pass filtering 동작을 활용하여, 그 암묵적인 temporal filtering이 mmWave signal의 frequency structure와 어떻게 상호작용하는지 분석한다. 우리의 분석은 discriminative information이 low-to-mid frequencies에 존재할 때, LIF dynamics가 고주파 노이즈를 본질적으로 억제할 수 있으며, 이로써 언제 그리고 왜 SNNs가 ANNs보다 우수한지 명확히 보여준다는 점을 밝힌다. 이러한 통찰을 바탕으로, LIF dynamics의 effective bandwidth를 데이터의 discriminative spectral content와 맞추어 membrane decay factor를 구성하는 원리적 기준을 도출한다. 널리 사용되는 네 개의 mmWave dataset에 대한 실험 결과는 제안한 frequency-matching 가설을 검증하며, 통합된 평가 프로토콜 하에서 ANN baseline 대비 평균 test accuracy 6.22% 향상과 이론적 energy consumption 3.64× 감소를 달성한다.
"},{"id":"63319","en":"Dynamic Compression Flows for Neuroscience Data","ko":"신경과학 데이터를 위한 동적 압축 Flow","authors":"Ganchao Wei, Daniela de Albuquerque, Miles Martinez, Shiyang Pan, John Pearson","pos":"#908","link":"https://openreview.net/forum?id=Y86LpaxXz4","abs":"While neuroscience experiments have repeatedly demonstrated the involvement of large populations of neurons in even simple behaviors, these studies have just as often reported that the collective dynamics of neural activity are approximately low-dimensional. As a result, methods for identifying low-dimensional latent representations of time series data have become increasingly prominent in neuroscience. However, most existing methods either ignore temporal structure or model time evolution using latent dynamical systems approaches. In the first case, dynamics may be distorted or even scrambled in the latent space, while in the second, many possible latent dynamics may give rise to the same data. Here, we address these challenges using a novel flow-matching approach in which data are generated by a pair of flow fields, one governing time evolution, the other a mapping between data and a low-dimensional latent space. Importantly, the dimension-reducing flow is trained to minimize distortions of the temporal dynamics, learning an identifiable low-dimensional representation that preserves temporal relations in the original data. Additionally, we constrain our latent spaces to have low-dimensional support in a soft, parameterized manner, taking inspiration from ideas on nested dropout. Across both neural and behavioral data, we show that this dual flow approach produces both more interpretable dynamics and higher-quality reconstructions than competing models, including in noise-dominated data sets where conventional approaches fail.
","absKo":"신경과학 실험은 단순한 행동에서도 대규모 뉴런 집단이 관여함을 반복적으로 보여 주었지만, 동시에 이러한 연구들은 신경 활동의 집단적 동역학이 대체로 저차원적이라고 보고해 왔다. 그 결과, 시계열 데이터의 저차원 latent representation을 식별하는 방법들이 신경과학에서 점점 더 중요해지고 있다. 그러나 기존 방법의 대부분은 시간적 구조를 무시하거나, latent dynamical systems 접근으로 시간 진화를 모델링한다. 전자의 경우 동역학이 latent space에서 왜곡되거나 심지어 뒤섞일 수 있고, 후자의 경우에는 서로 다른 많은 latent dynamics가 동일한 데이터를 만들어낼 수 있다. 본 연구에서는 이러한 문제를, 데이터가 한 쌍의 flow field에 의해 생성된다고 보는 새로운 flow-matching 접근으로 해결한다. 여기서 하나는 시간 진화를, 다른 하나는 데이터와 저차원 latent space 사이의 매핑을 담당한다. 특히 차원을 줄이는 flow는 시간적 동역학의 왜곡을 최소화하도록 학습되며, 원래 데이터의 시간적 관계를 보존하는 식별 가능한 저차원 표현을 학습한다. 또한 nested dropout의 아이디어에서 영감을 받아, 매개변수화된 soft 방식으로 latent space가 저차원 지지를 갖도록 제약한다. 신경 및 행동 데이터 전반에서, 우리는 이 dual flow 접근이 잡음이 지배적인 데이터셋에서 기존 방법이 실패하는 경우를 포함해, 경쟁 모델보다 더 해석 가능한 동역학과 더 높은 품질의 reconstruction을 모두 생성함을 보인다.
"},{"id":"63351","en":"Alignment between Brains and AI: Evidence for Convergent Evolution across Modalities, Scales and Training Trajectories","ko":"뇌와 AI 간의 정렬: 모달리티, 규모, 학습 궤적 전반의 수렴 진화에 대한 증거","authors":"Guobin Shen, Dongcheng Zhao, Yiting Dong, Qian Zhang, Yi Zeng","pos":"#909","link":"https://openreview.net/forum?id=XrRqY9QOSa","abs":"Artificial and biological systems may evolve similar computational solutions despite fundamental differences in architecture and learning mechanisms—a form of convergent evolution. We provide large-scale evidence for this phenomenon through comprehensive analysis of alignment between human brain activity and internal representations across over 600 AI models spanning language and vision domains (1.33M to 72B parameters). Analysis of 60 million alignment measurements reveals that higher-performing models spontaneously develop stronger brain correspondence without explicit neural constraints, with language models demonstrating markedly stronger correlations ($r=0.89, p<7.5 \\times 10^{-13}$) than vision models ($r=0.53, p<2.0 \\times 10^{-44}$). Crucially, longitudinal training analysis shows that brain alignment consistently emerges prior to performance improvements, suggesting that developing brain-like representations constitutes a fundamental stepping stone toward enhanced capabilities. We identify systematic organizational patterns reflecting human cognitive architecture: language models exhibit strongest alignment with limbic and integrative regions, while vision models show progressive correspondence with visual cortical hierarchies. These findings establish that optimization for task performance naturally drives AI systems toward human-like computational strategies.","absKo":"인공 시스템과 생물학적 시스템은 architecture와 learning mechanism에서 근본적인 차이가 있음에도 불구하고, 유사한 computational solution으로 진화할 수 있으며, 이는 convergent evolution의 한 형태이다. 우리는 language와 vision domain을 아우르는 600개 이상의 AI model(1.33M에서 72B parameters)에 걸친 human brain activity와 internal representation 간 alignment의 포괄적 분석을 통해 이 현상에 대한 대규모 증거를 제시한다. 6천만 개의 alignment measurement 분석 결과, 더 높은 성능의 model은 명시적인 neural constraint 없이도 더 강한 brain correspondence를 자발적으로 형성하며, language model은 vision model보다 현저히 강한 상관관계를 보인다($r=0.89, p<7.5 \\times 10^{-13}$ 대 $r=0.53, p<2.0 \\times 10^{-44}$). 특히 longitudinal training analysis는 brain alignment가 performance improvement보다 항상 먼저 나타남을 보여주며, brain-like representation을 발전시키는 것이 향상된 capability로 가는 근본적인 stepping stone임을 시사한다. 우리는 인간의 cognitive architecture를 반영하는 체계적인 organizational pattern을 확인했다. language model은 limbic 및 integrative region과 가장 강한 alignment를 보이는 반면, vision model은 visual cortical hierarchy와 점진적으로 대응한다. 이러한 결과는 task performance를 위한 optimization이 AI system을 자연스럽게 인간과 유사한 computational strategy로 이끈다는 점을 확립한다."},{"id":"61772","en":"Abstraction Induces the Brain Alignment of Language and Speech Models","ko":"추상화는 Language와 Speech Model의 Brain Alignment를 유도한다","authors":"Emily Cheng, Aditya Vaidya, Richard Antonello","pos":"#910","link":"https://openreview.net/forum?id=n5Ds4qbtjM","abs":"Research has repeatedly demonstrated that intermediate hidden states extracted from large language models and speech audio models predict measured brain response to natural language stimuli. Yet, very little is known about the representation properties that enable this high prediction performance. Why is it the intermediate layers, and not the output layers, that are most effective for this unique and highly general transfer task? We give evidence that the correspondence between speech and language models and the brain derives from shared meaning abstraction and not their next-word prediction properties. In particular, models construct higher-order linguistic features in their middle layers, cued by a peak in the layerwise intrinsic dimension, a measure of feature complexity. We show that a layer's intrinsic dimension strongly predicts how well it explains fMRI and ECoG signals; that the relation between intrinsic dimension and brain predictivity arises over model pre-training; and finetuning models to better predict the brain causally increases both representations' intrinsic dimension and their semantic content. Results suggest that semantic richness, high intrinsic dimension, and brain predictivity mirror each other, and that the key driver of model-brain similarity is rich meaning abstraction of the inputs, where language modeling is a task sufficiently complex (but perhaps not the only) to require it.
","absKo":"대규모 언어 모델과 speech audio model에서 추출한 중간 hidden state가 자연어 자극에 대한 측정된 뇌 반응을 예측한다는 점은 반복적으로 입증되어 왔다. 그러나 이러한 높은 예측 성능을 가능하게 하는 representation 특성은 거의 알려져 있지 않다. 왜 출력층이 아니라 중간 layer가 이처럼 독특하고 매우 일반적인 transfer task에서 가장 효과적인가? 우리는 speech 및 language model과 뇌 사이의 대응이 다음 단어 예측 성질이 아니라 공유된 meaning abstraction에서 비롯된다는 증거를 제시한다. 특히 모델은 middle layer에서 더 높은 수준의 linguistic feature를 구성하며, 이는 feature complexity의 척도인 layerwise intrinsic dimension의 피크에 의해 드러난다. 우리는 어떤 layer의 intrinsic dimension이 그것이 fMRI와 ECoG 신호를 얼마나 잘 설명하는지를 강하게 예측함을 보인다. 또한 intrinsic dimension과 brain predictivity의 관계는 모델 pre-training 과정에서 형성되며, 뇌를 더 잘 예측하도록 model을 finetuning하면 두 representation의 intrinsic dimension과 semantic content가 인과적으로 함께 증가한다. 결과는 semantic richness, 높은 intrinsic dimension, 그리고 brain predictivity가 서로를 반영하며, 모델-뇌 유사성의 핵심 동인이 입력의 풍부한 의미 추상화임을 시사한다. language modeling은 이를 요구하기에 충분히 복잡한 task이며, 아마도 유일한 task는 아닐 것이다.
"},{"id":"64489","en":"AutoMoT: A Unified Vision-Language-Action Model with Asynchronous Mixture -of-Transformers for End-to-End Autonomous Driving","ko":"AutoMoT: 종단간 자율주행을 위한 비동기 Mixture-of-Transformers 기반 통합 Vision-Language-Action 모델","authors":"Wenhui (Oscar) Huang, Songyan Zhang, Qihang Huang, Zhidong Wang, zhiqi mao, Collister Chua, Chen Zhan, Long Chen, Chen Lv","pos":"#808","link":"https://openreview.net/forum?id=N2mwmOk6pl","abs":"Integrating vision-language models (VLMs) into end-to-end (E2E) autonomous driving (AD) systems has shown promise in improving scene understanding. However, existing integration strategies suffer from several limitations: they either struggle to resolve distribution misalignment between reasoning and action spaces, underexploit the general reasoning capabilities of pretrained VLMs, or incur substantial inference latency during action policy generation, which degrades driving performance. To address these challenges, we propose AutoMoT in this work, an end-to-end AD framework that unifies reasoning and action generation within a single vision-language-action (VLA) model. Our approach leverages a mixture-of-transformer (MoT) architecture with joint attention sharing, which preserves the general reasoning capabilities of pre-trained VLMs while enabling efficient fast-slow inference through asynchronous execution at different task frequencies. Additionally, we introduce a VLA-oriented action refiner that further enhances driving performance via diffusion-based fine-tuning. Extensive experiments on multiple benchmarks, under both open- and closed-loop settings, demonstrate that AutoMoT achieves competitive performance compared to state-of-the-art methods. We refer to \\href{https://automot-website.github.io/}{Project Page} for the demonstration videos and corresponding descriptions.
","absKo":"vision-language model (VLM)을 end-to-end (E2E) autonomous driving (AD) system에 통합하는 것은 scene understanding을 향상시키는 데 유망함이 입증되었다. 그러나 기존 통합 전략은 여러 한계를 가진다. 이들은 reasoning space와 action space 사이의 distribution misalignment를 해결하는 데 어려움을 겪거나, pretrained VLM의 일반적인 reasoning 능력을 충분히 활용하지 못하거나, action policy 생성 중 상당한 inference latency를 유발하여 driving performance를 저하시킨다. 이러한 문제를 해결하기 위해, 우리는 하나의 vision-language-action (VLA) model 안에서 reasoning과 action generation을 통합하는 end-to-end AD framework인 AutoMoT를 제안한다. 우리의 접근법은 joint attention sharing을 갖는 mixture-of-transformer (MoT) architecture를 활용하여, pre-trained VLM의 일반적인 reasoning 능력을 보존하는 동시에 서로 다른 task frequency에서의 asynchronous execution을 통해 효율적인 fast-slow inference를 가능하게 한다. 추가로, diffusion-based fine-tuning을 통해 driving performance를 더욱 향상시키는 VLA 지향 action refiner를 도입한다. open-loop와 closed-loop setting 모두에서 여러 benchmark에 대한 광범위한 실험은 AutoMoT가 state-of-the-art 방법들과 비교해 경쟁력 있는 성능을 달성함을 보여준다. 시연 영상과 대응 설명은 \\href{https://automot-website.github.io/}{Project Page}를 참고하라.
"},{"id":"62636","en":"NOMAD: Lifelong Trajectory Planning via Non-Parametric Bayesian Memory-Adaptive Diffusion Experts","ko":"NOMAD: Non-Parametric Bayesian Memory-Adaptive Diffusion Experts를 통한 Lifelong Trajectory Planning","authors":"Yixian Chen, Rufan Bai, Jiangbin Zheng, Yimin Wang, Tiantian CHEN, Wei William Wang, Yuhuan Lu","pos":"#811","link":"https://openreview.net/forum?id=emwU5Ry8M9","abs":"Autonomous vehicles operating in open-world environments must continually adapt to rare long-tail scenarios while preserving previously acquired driving skills. However, existing trajectory planning approaches struggle with this stability-plasticity trade-off, as they rely on static models or rigid rule-based controllers that cannot robustly handle evolving and complex traffic dynamics. Against this background, we propose NOMAD, a lifelong trajectory planning framework that integrates non-parametric Bayesian memory with diffusion-based trajectory generation, enabling continuous adaptation to long-tail scenarios without catastrophic forgetting. Our method maps continuous scene contexts to a dynamically growing set of discrete memory clusters, which guide a conditional diffusion model to function as a mixture of experts specialized for diverse driving behaviors. To retain past knowledge during incremental learning, we introduce a generative replay mechanism that synthesizes pseudo-experiences from previously learned memory clusters. Extensive closed-loop evaluations on the nuPlan benchmark demonstrate that our approach achieves state-of-the-art performance on long-tail scenarios, improving the interPlan score by 9.4\\% over the strongest baseline, while maintaining competitive performance on regular driving benchmarks. Moreover, our method exhibits robust continual learning capability, achieving the highest average closed-loop score with positive backward transfer when adapting to sequentially introduced long-tail scenarios.
","absKo":"open-world environment에서 동작하는 autonomous vehicle은 기존에 획득한 driving skill을 보존하면서도, 희귀한 long-tail scenario에 지속적으로 적응해야 한다. 그러나 기존 trajectory planning 접근법은 정적인 모델이나 엄격한 rule-based controller에 의존하기 때문에, 진화하고 복잡한 traffic dynamics를 견고하게 다루지 못해 이러한 stability-plasticity trade-off에 어려움을 겪는다. 이러한 배경에서, 우리는 non-parametric Bayesian memory와 diffusion-based trajectory generation을 통합한 lifelong trajectory planning framework인 NOMAD를 제안한다. 이를 통해 catastrophic forgetting 없이 long-tail scenario에 연속적으로 적응할 수 있다. 우리의 방법은 연속적인 scene context를 동적으로 증가하는 discrete memory cluster 집합에 매핑하며, 이 cluster들은 conditional diffusion model이 다양한 driving behavior에 특화된 mixture of experts처럼 동작하도록 유도한다. incremental learning 동안 과거 지식을 보존하기 위해, 우리는 이전에 학습한 memory cluster로부터 pseudo-experience를 합성하는 generative replay mechanism을 도입한다. nuPlan benchmark에서 수행한 대규모 closed-loop 평가 결과, 우리의 접근법은 long-tail scenario에서 state-of-the-art 성능을 달성했으며, 가장 강력한 baseline 대비 interPlan score를 9.4\\% 향상시키는 동시에, 일반 driving benchmark에서도 경쟁력 있는 성능을 유지했다. 더 나아가, 우리의 방법은 견고한 continual learning 능력을 보여주었고, 순차적으로 도입되는 long-tail scenario에 적응할 때 positive backward transfer와 함께 가장 높은 평균 closed-loop score를 달성했다.
"},{"id":"67138","en":"Position: Time-Series Foundation Models Require Explicit Domain-Level Benchmarks","ko":"Position: 시계열 Foundation Model에는 명시적 도메인 수준 벤치마크가 필요하다","authors":"Md Asif Bin Syed, Md Younus Ahamed, Azmine Toushik Wasi","pos":"#714","link":"https://openreview.net/forum?id=W2eEMPjzIQ","abs":"Time series foundation models (TSFMs) have demonstrated strong performance on established benchmarks such as GIFT-Eval, Monash, and TSFM-Bench. However, these benchmarks pool datasets from many domains with uneven representation, which can obscure performance within specific application areas such as healthcare, finance, nature, retail, and transport. The necessity for domain-specific evaluation arises from the inherent structural diversity of time series data: clinical records often feature irregular sampling and informative missingness; financial sequences are characterized by high noise and stochastic trajectories; and environmental data, such as energy and weather, are governed by deterministic physical laws and strong seasonal hierarchies. Motivated by this heterogeneity, we argue that TSFMs require explicit domain-specific benchmarks so practitioners can reliably assess a model's utility within their own application area. This is because cross-domain differences in data generation, sampling irregularity, and nonstationarity under concept drift fundamentally shape forecasting difficulty and failure modes. As a result, strong performance on aggregated leaderboards may not translate to reliable deployment within a specific domain. To test this, we evaluated seven TSFMs across 72 datasets from six domains (healthcare, finance, energy, nature, transport, and retail) and found substantial cross-domain variability. These findings confirm that global benchmark scores can be misleading and that domain-aware evaluations are essential for trustworthy TSFM selection.
","absKo":"Time series foundation models (TSFM)은 GIFT-Eval, Monash, TSFM-Bench 같은 확립된 benchmark에서 우수한 성능을 보여 왔다. 그러나 이러한 benchmark는 여러 domain의 dataset을 불균등한 대표성으로 묶어 놓았기 때문에 healthcare, finance, nature, retail, transport 같은 특정 응용 영역 내의 성능을 가릴 수 있다. domain-specific evaluation의 필요성은 time series data의 본질적인 구조적 다양성에서 비롯된다. 임상 기록은 종종 불규칙한 sampling과 정보성 있는 missingness를 보이며, 금융 sequence는 높은 noise와 stochastic trajectory가 특징이고, energy와 weather 같은 환경 데이터는 결정론적 물리 법칙과 강한 seasonal hierarchy에 의해 지배된다. 이러한 이질성에 착안하여 우리는 TSFM이 명시적인 domain-specific benchmark를 필요로 한다고 주장한다. 그래야 실무자들이 자신들의 응용 영역에서 모델의 유용성을 신뢰성 있게 평가할 수 있기 때문이다. 그 이유는 data generation, sampling irregularity, concept drift 아래의 nonstationarity에서 나타나는 cross-domain 차이가 예측의 난이도와 failure mode를 근본적으로 형성하기 때문이다. 따라서 aggregated leaderboard에서의 강한 성능이 특정 domain 내의 신뢰할 만한 배포로 이어지지 않을 수 있다. 이를 검증하기 위해 우리는 6개 domain(healthcare, finance, energy, nature, transport, retail)에서 72개 dataset에 걸쳐 7개의 TSFM을 평가했고, 상당한 cross-domain variability를 발견했다. 이러한 결과는 global benchmark score가 오해를 불러일으킬 수 있으며, 신뢰할 수 있는 TSFM 선정을 위해 domain-aware evaluation이 필수적임을 확인한다.
"},{"id":"61048","en":"Scout Before You Attend: Sketch-and-Walk Sparse Attention for Efficient LLM Inference","ko":"Attend 전에 Scout하라: 효율적 LLM 추론을 위한 Sketch-and-Walk Sparse Attention","authors":"Hoang Anh Duy Le, Sahil Joshi, Zeyu Yang, Zhaozhuo Xu, Anshumali Shrivastava","pos":"#1813","link":"https://openreview.net/forum?id=uCLVPafHqd","abs":"Self-attention dominates the computational and memory cost of long-context LLM inference across both prefill and decode phases. To address this challenge, we introduce **Sketch\\&Walk** Attention, a training-free sparse attention method that determines sparsity with lightweight sketches and deterministic walk. Sketch\\&Walk applies Hadamard sketching to get inexpensive approximations of attention scores, then aggregates these estimates across layers via a walk mechanism that captures attention influence beyond direct interactions between tokens. The accumulated walk scores are used to select top-$k$ attention blocks, enabling dynamic sparsity with a single training-free algorithm that applies uniformly to both the prefill and decode phases, together with custom sparse attention kernels. Across a wide range of models and tasks, Sketch\\&Walk maintains near-lossless accuracy at 20\\% attention density and can slightly outperform dense attention in some settings, while achieving up to $6\\times$ inference speedup.","absKo":"Self-attention은 prefill과 decode 단계 모두에서 long-context LLM inference의 계산 및 메모리 비용을 지배한다. 이 문제를 해결하기 위해, 우리는 가벼운 sketch와 deterministic walk를 사용해 sparsity를 결정하는 training-free sparse attention 방법인 **Sketch\\&Walk** Attention을 제안한다. Sketch\\&Walk는 Hadamard sketching을 적용해 attention score를 저비용으로 근사하고, 이어서 토큰 간 직접 상호작용을 넘어선 attention influence를 포착하는 walk mechanism을 통해 이러한 추정을 layer 전반에 걸쳐 집계한다. 누적된 walk score는 top-$k$ attention block을 선택하는 데 사용되며, custom sparse attention kernel과 함께 prefill과 decode 단계 모두에 동일하게 적용되는 단일 training-free algorithm으로 dynamic sparsity를 가능하게 한다. 다양한 model과 task에 걸친 광범위한 실험에서, Sketch\\&Walk는 20\\% attention density에서 거의 손실 없는 정확도를 유지하며 일부 설정에서는 dense attention을 약간 능가하고, 최대 $6\\times$ inference speedup을 달성한다."},{"id":"66355","en":"Energy-Structured Low-Rank Adaptation for Continual Learning","ko":"지속 학습을 위한 에너지 구조화 저계수 적응","authors":"Longhua Li, Lei Qi, Qi Tian, Xin Geng","pos":"#4605","link":"https://openreview.net/forum?id=4OP391X7Qm","abs":"While orthogonal subspace methods try to mitigate task interference in Continual Learning (CL), they often suffer from energy diffusion across the basis, hindering knowledge compaction and exhausting capacity for future tasks. We observe that output feature drift induced by parameter updates is inherently low-rank, and theoretically prove that preserving parameters along the principal directions of this drift minimizes the output reconstruction error. Motivated by this, we propose **E**nergy-Concentrated and **E**nergy-Ordered **Lo**w-**R**ank **A**daptation (E$^2$-LoRA). By explicitly ordering and concentrating knowledge into leading ranks, E$^2$-LoRA frees capacity for subsequent tasks. Furthermore, we design a dynamic rank allocation strategy to balance stability and plasticity by jointly optimizing energy retention and model plasticity. Extensive experiments across multiple benchmarks demonstrate that E$^2$-LoRA achieves state-of-the-art performance.","absKo":"orthogonal subspace method는 Continual Learning (CL)에서 task interference를 완화하려 하지만, basis 전반에 걸친 energy diffusion으로 인해 knowledge compaction이 저해되고 미래 task를 위한 capacity가 소진되는 경우가 많다. 우리는 parameter update로 유도된 output feature drift가 본질적으로 low-rank임을 관찰하고, 이 drift의 principal direction을 따라 parameter를 보존하는 것이 output reconstruction error를 최소화함을 이론적으로 증명한다. 이러한 통찰에 기반해 우리는 **E**nergy-**C**oncentrated and **E**nergy-**O**rdered **Lo**w-**R**ank **A**daptation (E$^2$-LoRA)를 제안한다. 지식을 leading rank에 명시적으로 정렬하고 집중시킴으로써 E$^2$-LoRA는 후속 task를 위한 capacity를 확보한다. 또한 energy retention과 model plasticity를 공동 최적화하여 stability와 plasticity의 균형을 맞추는 dynamic rank allocation strategy를 설계한다. 여러 benchmark에 걸친 광범위한 실험은 E$^2$-LoRA가 state-of-the-art performance를 달성함을 보여준다."},{"id":"63127","en":"Data Selection for Fine-tuning Vision Language Models via Cross Modal Alignment Trajectories","ko":"교차 모달 정렬 궤적을 통한 Vision Language 모델 미세조정용 데이터 선택","authors":"Dang Nguyen, Nilay Naharas, Neslihan Bulut, MohammadHossein Bateni, Vahab Mirrokni, Baharan Mirzasoleiman","pos":"#2601","link":"https://openreview.net/forum?id=ZptT82VZ4E","abs":"Data-efficient learning aims to eliminate redundancy in large training datasets by train- ing models on smaller subsets of the most informative examples. While data selection has been extensively explored for vision models and large language models (LLMs), it remains underexplored for Large Vision-Language Models (LVLMs). Notably, none of existing methods can outperform random selection at different subset sizes. In this work, we propose the first principled method for data-efficient instruction tuning of LVLMs. We prove that examples with similar cross-modal attention matrices during instruction tun- ing have similar gradients. Thus, they influence model parameters in a similar manner and convey the same information to the model during training. Building on this insight, we propose XMAS, which clusters examples based on the trajectories of the top singu- lar values of their attention matrices obtained from fine-tuning a small proxy LVLM. By sampling a balanced subset from these clusters, XMAS effectively removes redundancy in large-scale LVLM training data. Extensive experiments across 4 target models, 2 proxy models, and 2 datasets show that XMAS consistently outperforms 10 baseline methods. Moreover, XMAS can discard 50% of the LLaVA-665k dataset and 85% of the Vision-Flan dataset while fully preserving performance of LLaVA-1.5-7B on 10 downstream benchmarks and speeding up its training by 1.2×. This is 30% more data reduction compared to the best baseline for LLaVA-665k.
","absKo":"Data-efficient learning은 가장 정보량이 높은 예제들로 이루어진 더 작은 subset에서 model을 학습함으로써 대규모 training dataset의 redundancy를 제거하는 것을 목표로 한다. data selection은 vision model과 large language model(LLM)에서 활발히 연구되어 왔지만, Large Vision-Language Model(LVLM)에서는 아직 충분히 탐구되지 않았다. 특히 기존 방법 중 어느 것도 서로 다른 subset size에서 random selection을 능가하지 못한다. 본 연구에서는 LVLM의 data-efficient instruction tuning을 위한 최초의 원리 기반 방법을 제안한다. 우리는 instruction tuning 동안 유사한 cross-modal attention matrix를 가진 예제들이 유사한 gradient를 가진다는 것을 증명한다. 따라서 이들은 model parameter에 유사한 방식으로 영향을 주며, 학습 중 모델에 동일한 정보를 전달한다. 이 통찰을 바탕으로, 우리는 작은 proxy LVLM을 fine-tuning하여 얻은 attention matrix의 top singular value 궤적에 기반해 예제들을 clustering하는 XMAS를 제안한다. 이러한 cluster에서 균형 잡힌 subset을 샘플링함으로써, XMAS는 대규모 LVLM training data의 redundancy를 효과적으로 제거한다. 4개의 target model, 2개의 proxy model, 2개의 dataset에 걸친 광범위한 실험은 XMAS가 10개의 baseline 방법을 일관되게 능가함을 보여 준다. 또한 XMAS는 LLaVA-665k dataset의 50\\%와 Vision-Flan dataset의 85\\%를 제거하면서도 LLaVA-1.5-7B의 10개 downstream benchmark 성능을 완전히 유지하고, 학습 속도를 1.2× 향상시킨다. 이는 LLaVA-665k에서 최고의 baseline보다 30\\% 더 큰 data reduction이다."},{"id":"66671","en":"TAG: Tangential Amplifying Guidance for Hallucination-Resistant Sampling","ko":"TAG: 환각에 강건한 샘플링을 위한 Tangential Amplifying Guidance","authors":"Hyunmin Cho, Donghoon Ahn, Susung Hong, Jee Eun Kim, Seungryong Kim, Kyong Hwan Jin","pos":"#2406","link":"https://openreview.net/forum?id=1XJqPy2LhA","abs":"Recent diffusion models achieve the state-of-the-art performance in image generation, but often suffer from semantic inconsistencies or hallucinations. While various inference-time guidance methods can enhance generation, they often operate indirectly by relying on external signals or architectural modifications, which introduces additional computational overhead. In this paper, we propose Tangential Amplifying Guidance (TAG), a theoretically grounded, training-free, computationally lightweight, and architecture-agnostic guidance method that operates solely on trajectory signals without modifying the underlying diffusion model. TAG leverages an intermediate sample as a projection basis and amplifies the tangential components of the estimated scores with respect to this basis to correct the sampling trajectory. We formalize this guidance process via a first-order Taylor analysis, showing that tangential amplification steers the state toward higher-probability regions of the data manifold, thereby reducing inconsistencies and improving sample fidelity. TAG is a plug-and-play module that integrates into existing diffusion samplers with minimal additional computation, offering a new perspective on diffusion guidance.
","absKo":"최근 diffusion model은 image generation에서 state-of-the-art 성능을 달성했지만, 종종 semantic inconsistency 또는 hallucination을 겪는다. 다양한 inference-time guidance 방법이 생성을 향상시킬 수 있지만, 이들은 외부 신호나 architectural modification에 의존하여 간접적으로 작동하는 경우가 많아 추가적인 계산 오버헤드를 유발한다. 본 논문에서는 기본 diffusion model을 수정하지 않고 trajectory signal에만 의존하여 작동하는, 이론적으로 정당화되고 training-free이며 계산적으로 가벼우면서 architecture-agnostic한 guidance 방법인 Tangential Amplifying Guidance (TAG)를 제안한다. TAG는 중간 샘플을 projection basis로 활용하고, 이 basis에 대한 추정 score의 tangential component를 증폭시켜 sampling trajectory를 보정한다. 우리는 이 guidance 과정을 first-order Taylor analysis로 정식화하여, tangential amplification이 상태를 data manifold의 더 높은 확률 영역으로 유도함으로써 불일치를 줄이고 sample fidelity를 향상시킨다는 점을 보인다. TAG는 기존 diffusion sampler에 최소한의 추가 계산만으로 통합되는 plug-and-play 모듈로서, diffusion guidance에 대한 새로운 관점을 제공한다.
"},{"id":"62767","en":"Trajectory Stitching for Solving Inverse Problems with Flow-Based Models","ko":"Flow-Based Models를 통한 역문제 해결을 위한 Trajectory Stitching","authors":"Alexander Denker, Moshe Eliasof, Zeljko Kereta, Carola-Bibiane Schönlieb","pos":"#1101","link":"https://openreview.net/forum?id=dZMH5XQeb7","abs":"Flow-based generative models have emerged as powerful priors for solving inverse problems. One option is to directly optimize the initial latent code (noise), such that the flow output solves the inverse problem. However, this requires backpropagating through the entire generative trajectory, incurring high memory costs and numerical instability. We propose MS-Flow, which represents the trajectory as a sequence of intermediate latent states rather than a single initial code. By enforcing the flow dynamics locally and coupling segments through trajectory-matching penalties, MS-Flow alternates between updating intermediate latent states and enforcing consistency with observed data. This reduces memory consumption while improving reconstruction quality. We demonstrate the effectiveness of MS-Flow over existing methods on image recovery and inverse problems, including inpainting, super-resolution, and computed tomography.
","absKo":"Flow-based generative model은 inverse problem을 푸는 강력한 prior로 부상했다. 한 가지 방법은 초기 latent code(noise)를 직접 최적화하여 flow output이 inverse problem을 해결하도록 만드는 것이다. 그러나 이는 전체 generative trajectory를 통해 backpropagation해야 하므로, 높은 메모리 비용과 수치적 불안정성을 초래한다. 우리는 trajectory를 단일 초기 code가 아니라 중간 latent state의 시퀀스로 표현하는 MS-Flow를 제안한다. flow dynamics를 국소적으로 강제하고 trajectory-matching penalty로 segment를 결합함으로써, MS-Flow는 중간 latent state를 업데이트하는 단계와 관측 데이터와의 일관성을 강제하는 단계를 번갈아 수행한다. 이는 메모리 사용량을 줄이면서 reconstruction quality를 향상시킨다. 우리는 inpainting, super-resolution, computed tomography를 포함한 image recovery 및 inverse problem에서 기존 방법 대비 MS-Flow의 효과를 입증한다.
"},{"id":"66823","en":"UnMaskFork: Test-Time Scaling for Masked Diffusion via Deterministic Action Branching","ko":"UnMaskFork: 결정적 Action Branching을 통한 Masked Diffusion의 Test-Time Scaling","authors":"Kou Misaki, Takuya Akiba","pos":"#1701","link":"https://openreview.net/forum?id=00P7hFnWng","abs":"Test-time scaling strategies have effectively leveraged inference-time compute to enhance the reasoning abilities of Autoregressive Large Language Models. In this work, we demonstrate that Masked Diffusion Language Models (MDLMs) are inherently amenable to advanced search strategies, owing to their iterative and non-autoregressive generation process. To leverage this, we propose UnMaskFork (UMF), a framework that formulates the unmasking trajectory as a search tree and employs Monte Carlo Tree Search to optimize the generation path. In contrast to standard scaling methods relying on stochastic sampling, UMF explores the search space through deterministic partial unmasking actions performed by multiple MDLMs. Our empirical evaluation demonstrates that UMF consistently outperforms existing test-time scaling baselines on complex coding benchmarks, while also exhibiting strong scalability on mathematical reasoning tasks.
","absKo":"Test-time scaling 전략은 inference-time compute를 효과적으로 활용하여 Autoregressive Large Language Model의 reasoning 능력을 향상시켜 왔다. 이 연구에서는 Masked Diffusion Language Model(MDLM)이 iterative하고 non-autoregressive한 생성 과정을 갖기 때문에, 고급 search strategy에 본질적으로 잘 맞는다는 점을 보인다. 이를 활용하기 위해, 우리는 UnMaskFork (UMF)를 제안한다. 이는 unmasking trajectory를 search tree로 정식화하고, Monte Carlo Tree Search를 사용해 생성 경로를 최적화하는 framework이다. stochastic sampling에 의존하는 표준 scaling 방법과 달리, UMF는 여러 MDLM이 수행하는 deterministic partial unmasking action을 통해 search space를 탐색한다. 우리의 실험 결과는 UMF가 복잡한 coding benchmark에서 기존 test-time scaling baseline을 일관되게 능가하며, 수학적 reasoning task에서도 강한 확장성을 보임을 보여준다.
"},{"id":"66284","en":"Stop Training for the Worst: Progressive Unmasking Accelerates Masked Diffusion Training","ko":"최악의 경우를 위한 훈련을 멈춰라: 점진적 Unmasking이 Masked Diffusion 훈련을 가속한다","authors":"Jaeyeon Kim, Jonathan Geuter, David Alvarez-Melis, Sham Kakade, Sitan Chen","pos":"#1713","link":"https://openreview.net/forum?id=55tjQADd7K","abs":"Masked Diffusion Models (MDMs) have emerged as a promising approach for generative modeling in discrete spaces. By generating sequences in any order and allowing for parallel decoding, they enable fast inference and strong performance on non-causal tasks. However, this flexibility comes with a *training complexity* trade-off: MDMs train on an exponentially large set of masking patterns, which is not only computationally expensive, but also creates a train--test mismatch between the random masks used in training and the highly structured masks induced by inference-time unmasking. In this work, we propose Progressive UnMAsking (PUMA), a simple modification of the forward masking process that aligns training-time and inference-time masking patterns, thereby focusing optimization on *inference-aligned masks* and speeding up training. Empirically, PUMA speeds up pretraining at the 125M scale by $\\approx 2.5 \\times$ and offers complementary advantages on top of common recipes like autoregressive initialization.","absKo":"Masked Diffusion Model(MDM)은 discrete space에서의 generative modeling을 위한 유망한 접근법으로 떠올랐다. 순서를 가리지 않고 sequence를 생성하고 parallel decoding을 허용함으로써, 빠른 inference와 non-causal task에서의 강한 성능을 가능하게 한다. 그러나 이러한 유연성은 *training complexity*라는 trade-off를 수반한다. MDM은 지수적으로 큰 masking pattern 집합 위에서 학습하며, 이는 계산적으로 비쌀 뿐만 아니라 training에서 사용되는 random mask와 inference-time unmasking이 유도하는 매우 구조적인 mask 사이에 train-test mismatch를 만든다. 본 연구에서는 forward masking process를 간단히 수정한 Progressive UnMAsking(PUMA)을 제안하는데, 이는 training-time과 inference-time의 masking pattern을 정렬함으로써 최적화를 *inference-aligned mask*에 집중시키고 학습 속도를 높인다. 실험적으로 PUMA는 125M 규모의 pretraining 속도를 약 $\\approx 2.5 \\times$ 향상시키며, autoregressive initialization과 같은 일반적인 recipe 위에 보완적인 이점을 제공한다."},{"id":"64337","en":"Lookahead Unmasking Elicits Reliable Decoding in Diffusion Language Models","ko":"선행 마스크 해제가 Diffusion 언어 모델에서 신뢰할 수 있는 디코딩을 이끈다","authors":"Sanghyun Lee, Seungryong Kim, Jongho Park, Dongmin Park","pos":"#2101","link":"https://openreview.net/forum?id=OdM5JRVEiK","abs":"Masked Diffusion Models (MDMs) as language models generate by iteratively unmasking tokens, yet their performance crucially depends on the inference-time order of unmasking. Conventional methods such as confidence-based sampling are short-sighted, focusing on local optimization which neglects test-time computation and allows early decoding errors to cascade. We propose Lookahead Unmasking (LookUM), which addresses these concerns by guiding sampling path with a verifier over alternative unmasking orders, without requiring an external reward model. Our framework couples (i) a path generator that proposes paths by sampling from pools of unmasking sets with (ii) a verifier that computes the uncertainty of the proposed paths and performs importance sampling to subsequently select the final paths. Erroneous unmasking inflates sequence-level uncertainty, and our method exploits this to avoid error-prone trajectories. We validate our framework across six benchmarks, such as mathematics, planning, and coding, and demonstrate consistent performance improvements. LookUM requires only two to three paths to achieve peak performance. LLaDA with LookUM matches the performance of RL-tuned LLaDA 1.5 and yields additional gains when applied to LLaDA 1.5, suggesting complementarity with reinforcement learning.
","absKo":"언어 모델로서의 Masked Diffusion Models (MDMs)는 token을 반복적으로 unmasking하며 생성하지만, 성능은 inference 시점의 unmasking 순서에 결정적으로 의존한다. confidence-based sampling과 같은 전통적인 방법은 근시안적이며, test-time computation을 고려하지 않은 채 local optimization에만 집중하고 초기 decoding error의 연쇄적 확산을 허용한다. 우리는 외부 reward model 없이 alternative unmasking order에 대한 verifier로 sampling path를 유도함으로써 이러한 문제를 해결하는 Lookahead Unmasking (LookUM)을 제안한다. 우리의 framework는 (i) unmasking set의 pool에서 sampling하여 path를 제안하는 path generator와 (ii) 제안된 path의 uncertainty를 계산하고 importance sampling을 수행하여 최종 path를 선택하는 verifier를 결합한다. 오류가 있는 unmasking은 sequence-level uncertainty를 증가시키며, 우리의 방법은 이를 활용해 오류에 취약한 trajectory를 피한다. 우리는 수학, planning, coding 등 6개의 benchmark 전반에서 이 framework를 검증하고, 일관된 성능 향상을 보인다. LookUM은 최고 성능에 도달하는 데 path 두세 개만 필요하다. LookUM을 적용한 LLaDA는 RL-tuned LLaDA 1.5의 성능과 맞먹으며, LLaDA 1.5에 추가 이득을 제공하여 reinforcement learning과의 상보성을 시사한다.
"},{"id":"61226","en":"Rényi Diffusion Models","ko":"Rényi Diffusion 모델","authors":"Yirong Shen, Lu GAN, Cong Ling","pos":"#2401","link":"https://openreview.net/forum?id=sSlJcsvFVL","abs":"The choice of training objective is central to diffusion-based generative modeling in terms of both sample quality and distribution coverage. While standard maximum likelihood training provides a principled objective with strong theoretical grounding, empirical studies indicate that previous training objectives in diffusion models often face an inverse correlation between likelihood optimization and perceptual evaluations. We propose the Rényi diffusion model, a unified generative framework that formulates training objectives using Rényi divergence. This yields a generalized score matching objective providing explicit control over the trade-off between sample quality and distribution coverage. Experiments demonstrate improved balance between density estimation and sample generation performances across multiple datasets without modifying model architectures or sampling procedures.
","absKo":"training objective의 선택은 diffusion-based generative modeling에서 sample quality와 distribution coverage 모두에 있어 핵심적이다. 표준 maximum likelihood training은 강한 이론적 기반을 갖춘 원리 있는 objective를 제공하지만, 실증 연구는 diffusion model의 기존 training objective가 종종 likelihood optimization과 perceptual evaluation 사이에 역상관을 보인다고 시사한다. 우리는 Rényi divergence를 사용해 training objective를 정식화하는 통합 generative framework인 Rényi diffusion model을 제안한다. 이는 sample quality와 distribution coverage 사이의 trade-off를 명시적으로 제어할 수 있는 generalized score matching objective를 제공한다. 실험은 model architecture나 sampling procedure를 수정하지 않고도 여러 dataset에서 density estimation과 sample generation 성능 간의 균형이 향상됨을 보여준다.
"},{"id":"63504","en":"Temporal Score Rescaling for Temperature Sampling in Diffusion and Flow Models","ko":"Diffusion 및 Flow 모델에서 온도 샘플링을 위한 시간적 스코어 재스케일링","authors":"Yanbo Xu, Yu Wu, Sungjae Park, Zhizhuo Zhou, Shubham Tulsiani","pos":"#2407","link":"https://openreview.net/forum?id=WbfRe0cheB","abs":"We present a mechanism to steer the sampling diversity of denoising diffusion and flow matching models, allowing users to sample from a sharper or broader distribution than the training distribution. We build on the observation that these models leverage (learned) score functions of noisy data distributions for sampling and show that rescaling these allows one to effectively control a 'local' sampling temperature. Notably, this approach does not require any finetuning or alterations to training strategy, and can be applied to any off-the-shelf model and is compatible with both deterministic and stochastic samplers. We first validate our framework on toy 2D data, and then demonstrate its application for diffusion models trained across five disparate tasks -- image generation, pose estimation, depth prediction, robot manipulation, and protein design. We find that across these tasks, our approach allows sampling from sharper (or flatter) distributions, yielding performance gains e.g., depth prediction models benefit from sampling more likely depth estimates, whereas image generation models perform better when sampling a slightly flatter distribution.
","absKo":"우리는 denoising diffusion과 flow matching model의 sampling diversity를 제어하는 메커니즘을 제시하여, 사용자가 training distribution보다 더 sharp하거나 더 broad한 distribution에서 sampling할 수 있게 합니다. 이 방법은 이러한 model이 sampling에 noisy data distribution의 (학습된) score function을 활용한다는 관찰에 기반하며, 이를 rescaling하면 효과적으로 'local' sampling temperature를 제어할 수 있음을 보입니다. 특히 이 접근법은 finetuning이나 training strategy의 변경을 전혀 요구하지 않으며, 어떤 off-the-shelf model에도 적용 가능하고 deterministic 및 stochastic sampler 모두와 호환됩니다. 우리는 먼저 toy 2D data에서 이 framework를 검증한 뒤, image generation, pose estimation, depth prediction, robot manipulation, protein design의 다섯 가지 서로 다른 task에서 학습된 diffusion model에 대한 적용을 보여줍니다. 이 task들 전반에서 우리의 접근법은 더 sharp한(또는 flatter한) distribution에서 sampling할 수 있게 하며, 예를 들어 depth prediction model은 더 가능성 높은 depth estimate를 sampling할 때 이득을 얻고, image generation model은 약간 flatter한 distribution에서 sampling할 때 더 좋은 성능을 보입니다.
"},{"id":"63241","en":"The Accumulation of Score Estimation Error in Diffusion Models","ko":"Diffusion 모델에서 스코어 추정 오차의 누적","authors":"Baoxiang He, Valentio Iverson, Shuai Li, Cheng Chen, Bo Jiang","pos":"#2408","link":"https://openreview.net/forum?id=YoGDpLRqN8","abs":"Diffusion models are widely used for high-quality generation, but their performance is sensitive to the accuracy of the estimated score. We first develop our main bounds in a Gaussian-mixture setting, where the score admits a closed-form structure and the score Hessian can be controlled explicitly, leading to sharp Wasserstein estimates. We then extend the analysis to general data distributions, which yields a more general but typically looser upper bound. This general bound can be sharpened under mild regularity: when the initial distribution has a globally Lipschitz score, the curvature contribution at small times is uniformly bounded, avoiding the worst-case blow-up. Our results make precise how discretization choices govern the accumulation of score error, aligning with empirical observations on the benefits of certain step-size schedules. The results hold for both variance-preserving (VP) and variance-exploding (VE) diffusions, and apply to both the reverse-time SDE and the associated probability-flow ODE.
","absKo":"Diffusion models는 고품질 생성에 널리 사용되지만, 그 성능은 추정된 score의 정확도에 민감하다. 우리는 먼저 Gaussian-mixture 설정에서 주요 bound를 전개하는데, 이 경우 score는 closed-form 구조를 가지며 score Hessian을 명시적으로 제어할 수 있어 sharp한 Wasserstein estimate를 얻을 수 있다. 이후 분석을 일반 데이터 분포로 확장하여 더 일반적이지만 보통은 더 느슨한 upper bound를 도출한다. 이 일반 bound는 약한 regularity가 있을 때 더 정교해질 수 있는데, 초기 분포가 globally Lipschitz score를 가지면 작은 시간에서의 curvature 기여가 균일하게 bounded되어 최악의 경우 발생하는 blow-up을 피할 수 있다. 우리의 결과는 discretization 선택이 score error의 누적을 어떻게 좌우하는지를 정밀하게 보여 주며, 이는 특정 step-size schedule의 이점을 보여 주는 실증적 관찰과도 맞닿아 있다. 이 결과는 variance-preserving (VP) 및 variance-exploding (VE) diffusion 모두에 대해 성립하며, reverse-time SDE와 이에 대응하는 probability-flow ODE 모두에 적용된다.
"},{"id":"62549","en":"Weak Diffusion Priors Can Still Achieve Strong Inverse-Problem Performance","ko":"약한 Diffusion Prior로도 강한 Inverse-Problem 성능 달성 가능","authors":"Jing Jia, Wei Yuan, Sifan Liu, Liyue Shen, Guanyang Wang","pos":"#2409","link":"https://openreview.net/forum?id=fdkSA4F0lN","abs":"Can a diffusion model trained on bedrooms recover human faces? Diffusion models are widely used as priors for inverse problems, but standard approaches usually assume a high-fidelity model trained on data that closely match the unknown signal. In practice, one often must use a mismatched or low-fidelity diffusion prior. Surprisingly, these weak priors often perform nearly as well as full-strength, in-domain baselines. We study when and why inverse solvers are robust to weak diffusion priors. Through extensive experiments, we find that weak priors succeed when measurements are highly informative (e.g., many observed pixels), and we identify regimes where they fail. Our theory, based on Bayesian consistency, gives conditions under which high-dimensional measurements make the posterior concentrate near the true signal. These results provide a principled justification on when weak diffusion priors can be used reliably. Code is available at Code is available at https://anonymous.4open.science/r/weak-diffusion-priors-inverse-problem-1043.
","absKo":"침실에서 학습된 diffusion model이 인간의 얼굴을 복원할 수 있을까? Diffusion model은 inverse problem의 prior로 널리 사용되지만, 표준 접근은 보통 미지의 신호와 매우 유사한 data로 학습된 고충실도 model을 가정한다. 실제로는 종종 mismatched 또는 low-fidelity diffusion prior를 사용해야 한다. 놀랍게도 이러한 약한 prior는 종종 완전한 성능의 in-domain baseline과 거의 비슷하게 작동한다. 우리는 inverse solver가 약한 diffusion prior에 대해 언제, 그리고 왜 robust한지를 연구한다. 광범위한 실험을 통해, 약한 prior는 측정값이 매우 정보가 풍부할 때(예: 관측된 pixel 수가 많을 때) 성공하며, 실패하는 regime도 식별한다. Bayesian consistency에 기반한 우리의 이론은 고차원 측정이 posterior를 참값 근처로 수렴시키는 조건을 제시한다. 이러한 결과는 약한 diffusion prior를 언제 신뢰성 있게 사용할 수 있는지에 대한 원칙적인 정당화를 제공한다. 코드는 다음에서 사용할 수 있다 Code is available at https://anonymous.4open.science/r/weak-diffusion-priors-inverse-problem-1043.
"},{"id":"64688","en":"One-step Optimal Transport via Regularized Distribution Matching Distillation","ko":"Regularized Distribution Matching Distillation을 통한 One-step Optimal Transport","authors":"Denis Rakitin, Ivan Shchekotov, Viacheslav Meshchaninov, Dmitry Vetrov","pos":"#2501","link":"https://openreview.net/forum?id=KpaQc72q7m","abs":"Unpaired domain translation remains a challenging task due to the need of finding a balance between faithfulness and realism. In this paper, we propose a method called Regularized Distribution Matching Distillation (RDMD) that combines the best properties of Optimal Transport (OT) and diffusion-based domain translation methods. Instead of the conventional adversarial training, RDMD utilizes diffusion-based distribution matching, addressing the common shortcomings of OT methods and providing a strong initialization for the trained models. RDMD provides efficient one-step inference, explicitly controls the input-output alignment via regularization of the transport cost and maintains high faithfulness similar to the OT methods. We prove that in theory RDMD approximates the OT map and demonstrate its empirical performance on several tasks, including unpaired image-to-image translation in pixel and latent space and unpaired text detoxification. Empirical results show that RDMD achieves a comparable or better faithfulness-realism trade-off compared to the diffusion and OT baselines.
","absKo":"unpaired domain translation은 fidelity와 realism 사이의 균형을 맞춰야 하므로 여전히 어려운 task이다. 본 논문에서는 Optimal Transport (OT)와 diffusion-based domain translation method의 장점을 결합한 Regularized Distribution Matching Distillation (RDMD)라는 방법을 제안한다. 기존의 adversarial training 대신, RDMD는 diffusion-based distribution matching을 활용하여 OT method의 일반적인 단점을 해결하고 학습된 model에 강력한 initialization을 제공한다. RDMD는 효율적인 one-step inference를 제공하며, transport cost의 regularization을 통해 input-output alignment를 명시적으로 제어하고 OT method와 유사한 높은 fidelity를 유지한다. 우리는 이론적으로 RDMD가 OT map을 근사함을 증명하고, pixel 및 latent space에서의 unpaired image-to-image translation과 unpaired text detoxification을 포함한 여러 task에서 그 경험적 성능을 입증한다. 실험 결과 RDMD는 diffusion 및 OT baseline에 비해 동등하거나 더 나은 fidelity-realism trade-off를 달성한다.
"},{"id":"62101","en":"Learning Permutation Distributions via Reflected Diffusion on Ranks","ko":"순위 위의 반사 Diffusion을 통한 순열 분포 학습","authors":"Sizhuang He, Yangtian Zhang, Shiyang Zhang, David van Dijk","pos":"#2504","link":"https://openreview.net/forum?id=joXFeeoiRl","abs":"The finite symmetric group $S_n$ provides a natural domain for permutations, yet learning probability distributions on $S_n$ is challenging due to its factorially growing size and discrete, non-Euclidean structure. Recent permutation diffusion methods define forward noising via shuffle-based random walks (e.g., riffle shuffles) and learn reverse transitions with Plackett–Luce (PL) variants, but the resulting trajectories can be abrupt and increasingly hard to denoise as $n$ grows. We propose *Soft-Rank Diffusion*, a discrete diffusion framework that replaces shuffle-based corruption with a structured soft-rank forward process: we lift permutations to a continuous latent representation of order by relaxing discrete ranks into soft ranks, yielding smoother and more tractable trajectories. For the reverse process, we introduce *contextualized generalized Plackett–Luce (cGPL)* denoisers that generalize prior PL-style parameterizations and improve expressivity for sequential decision structures. Experiments on sorting and combinatorial optimization benchmarks show that Soft-Rank Diffusion consistently outperforms prior diffusion baselines, with particularly strong gains in long-sequence and intrinsically sequential settings.","absKo":"유한 대칭군 $S_n$은 permutation을 위한 자연스러운 영역을 제공하지만, factorial하게 커지는 크기와 discrete한 비유클리드 구조 때문에 $S_n$ 위의 확률 분포를 학습하는 것은 어렵다. 최근의 permutation diffusion 방법은 shuffle 기반 random walk(예: riffle shuffle)를 통한 forward noising을 정의하고 Plackett–Luce (PL) 변형으로 reverse transition을 학습하지만, 그 결과 trajectory는 급격해질 수 있고 $n$이 커질수록 denoising이 점점 어려워진다. 우리는 shuffle 기반 corruption을 구조화된 soft-rank forward process로 대체하는 discrete diffusion framework인 *Soft-Rank Diffusion*을 제안한다. 즉, discrete rank를 soft rank로 완화하여 permutation을 순서에 대한 연속 latent representation으로 끌어올림으로써, 더 부드럽고 다루기 쉬운 trajectory를 얻는다. reverse process를 위해 우리는 기존 PL 스타일 parameterization을 일반화하고 sequential decision structure에 대한 표현력을 향상시키는 *contextualized generalized Plackett–Luce (cGPL)* denoiser를 도입한다. sorting 및 combinatorial optimization benchmark에서의 실험은 Soft-Rank Diffusion이 기존 diffusion baseline을 일관되게 능가하며, 특히 긴 sequence와 본질적으로 sequential한 설정에서 강한 향상을 보임을 보여준다."},{"id":"63314","en":"High-accuracy and dimension-free sampling with diffusions","ko":"Diffusion을 활용한 고정밀 무차원 샘플링","authors":"Khashayar Gatmiry, Sitan Chen, Adil Salim","pos":"#2507","link":"https://openreview.net/forum?id=YA9jB86LDw","abs":"Diffusion models have shown remarkable empirical success in sampling from rich multi-modal distributions. Their inference relies on numerically solving a certain differential equation. This differential equation cannot be solved in closed form, and its resolution via discretization typically requires many small iterations to produce \\emph{high-quality} samples. More precisely, prior works have shown that the iteration complexity of discretization methods for diffusion models scales polynomially in the ambient dimension and the inverse accuracy $1/\\varepsilon$. In this work, we propose a new solver for diffusion models relying on a subtle interplay between low-degree approximation and the collocation method, and we prove that its iteration complexity scales *polylogarithmically* in $1/\\varepsilon$, yielding the first \"high-accuracy\" guarantee for a diffusion-based sampler that only uses (approximate) access to the scores of the data distribution. In addition, our bound does not depend explicitly on the ambient dimension; more precisely, the dimension affects the complexity of our solver only through the *effective radius* of the support of the target distribution.","absKo":"Diffusion model은 풍부한 multi-modal distribution에서 sampling하는 데서 놀라운 경험적 성공을 보여 왔다. 이들의 inference는 특정 differential equation을 수치적으로 푸는 데 의존한다. 이 differential equation은 closed form으로 풀 수 없으며, discretization을 통한 해석은 일반적으로 \\emph{고품질} sample을 생성하기 위해 많은 작은 iteration을 필요로 한다. 보다 정확히 말해, 선행 연구들은 diffusion model을 위한 discretization method의 iteration complexity가 ambient dimension과 역정확도 $1/\\varepsilon$에 대해 polynomial하게 스케일링됨을 보였다. 본 연구에서는 low-degree approximation과 collocation method 사이의 미묘한 상호작용에 의존하는 diffusion model용 새로운 solver를 제안하고, 그 iteration complexity가 $1/\\varepsilon$에 대해 *polylogarithmically* 스케일링함을 증명한다. 이는 data distribution의 score에 대한 (근사적) 접근만을 사용하는 diffusion-based sampler에 대해 최초의 \"high-accuracy\" 보장을 제공한다. 또한 우리의 bound는 ambient dimension에 명시적으로 의존하지 않으며, 더 정확히는 dimension이 solver의 complexity에 영향을 미치는 방식은 목표 distribution support의 *effective radius*를 통해서만이다."},{"id":"63452","en":"GEPC: Group-Equivariant Posterior Consistency for Out-of-Distribution Detection in Diffusion Models","ko":"GEPC: Diffusion 모델에서 분포 외 탐지를 위한 그룹 등변 사후 일관성","authors":"Rouzoumka Yadang Alexis, Jean Pinsolle, Eugénie TERREAUX, christele morisseau, Jean-Philippe Ovarlez, Chengfang Ren","pos":"#2508","link":"https://openreview.net/forum?id=X5WB8jH0hy","abs":"Diffusion models learn a time-indexed score field $\\mathbf{s}_\\theta(\\mathbf{x}_t,t)$ that often inherits approximate equivariances (flips, rotations, circular shifts) from in-distribution (ID) data and convolutional backbones. Most diffusion-based out-of-distribution (OOD) detectors exploit score magnitude or local geometry (energies, curvature, covariance spectra) and largely ignore equivariances. We introduce Group-Equivariant Posterior Consistency (GEPC), a training-free probe that measures how consistently the learned score transforms under a finite group $G$, detecting equivariance breaking even when score magnitude remains unchanged. At the population level, we propose the ideal GEPC residual which averages an equivariance-residual functional over $G$, and we derive ID upper bounds and OOD lower bounds under mild assumptions. GEPC requires only score evaluations and produces interpretable equivariance-breaking maps. On OOD image benchmark datasets, we show that GEPC achieves competitive or improved AUROC compared to recent diffusion-based baselines while remaining computationally lightweight. On high-resolution synthetic aperture radar imagery where OOD corresponds to targets or anomalies in clutter, GEPC yields strong target-background separation and visually interpretable equivariance-breaking maps.","absKo":"Diffusion model은 time-indexed score field $\\mathbf{s}_\\theta(\\mathbf{x}_t,t)$를 학습하며, 이는 종종 in-distribution (ID) 데이터와 convolutional backbone으로부터 approximate equivariance(flips, rotations, circular shifts)를 상속한다. 대부분의 diffusion-based out-of-distribution (OOD) detector는 score magnitude나 local geometry(energy, curvature, covariance spectrum)에 의존하며, equivariance는 대체로 무시한다. 우리는 학습이 필요 없는 probe인 Group-Equivariant Posterior Consistency (GEPC)를 도입하는데, 이는 학습된 score가 finite group $G$ 아래에서 얼마나 일관되게 변환되는지를 측정하여, score magnitude가 변하지 않더라도 equivariance breaking을 검출한다. population 수준에서 우리는 $G$ 위에서 equivariance-residual functional을 평균한 ideal GEPC residual을 제안하고, 약한 가정하에서 ID upper bound와 OOD lower bound를 유도한다. GEPC는 score evaluation만 필요로 하며, 해석 가능한 equivariance-breaking map을 생성한다. OOD image benchmark dataset에서 GEPC는 최근 diffusion-based baseline과 비교해 경쟁력 있거나 더 나은 AUROC를 달성하면서도 계산적으로 가볍다. OOD가 잡음 속의 target 또는 anomaly에 해당하는 고해상도 synthetic aperture radar imagery에서는 GEPC가 강력한 target-background 분리를 제공하고 시각적으로 해석 가능한 equivariance-breaking map을 생성한다."},{"id":"64125","en":"Fast and Scalable Analytical Diffusion","ko":"빠르고 확장 가능한 해석적 Diffusion","authors":"Xinyi Shang, Peng Sun, Jingyu Lin, Zhiqiang Shen","pos":"#2509","link":"https://openreview.net/forum?id=QgoRoKIEEr","abs":"Analytical diffusion models offer a mathematically transparent path to generative modeling by formulating the denoising score as an empirical-Bayes posterior mean. However, this interpretability comes at a prohibitive cost: the standard formulation necessitates a full-dataset scan at every timestep, scaling linearly with dataset size. In this work, we present the first systematic study addressing this scalability bottleneck. We challenge the prevailing assumption that the entire training data is necessary, uncovering the phenomenon of \\textit{Posterior Progressive Concentration}: the effective golden support of the denoising score is not static but shrinks asymptotically from the global manifold to a local neighborhood as the signal-to-noise ratio increases. Capitalizing on this, we propose \\textit{Dynamic Time-Aware Golden Subset Diffusion} (\\algopt), a training-free framework that decouples inference complexity from dataset size. Instead of static retrieval, \\algopt uses a coarse-to-fine mechanism to dynamically pinpoint the ``Golden Subset'' for inference. Theoretically, we derive rigorous bounds guaranteeing that our sparse approximation converges to the exact score. Empirically, \\algopt achieves a $\\bf 71 \\times$ speedup on AFHQ while matching or achieving even better performance than full-scan baselines. Most notably, we demonstrate the first successful scaling of analytical diffusion to ImageNet-1K, unlocking a scalable, training-free paradigm for large-scale generative modeling.","absKo":"Analytical diffusion model은 denoising score를 empirical-Bayes posterior mean으로 정식화함으로써, 생성 모델링으로 가는 수학적으로 투명한 경로를 제공한다. 그러나 이러한 해석가능성은 대가가 크다. 표준 정식화는 각 timestep마다 전체 데이터셋을 스캔해야 하므로, 데이터셋 크기에 선형적으로 확장된다. 본 연구에서는 이 scalability 병목을 다루는 최초의 체계적 연구를 제시한다. 우리는 전체 training data가 필요하다는 통념에 도전하며, \\textit{Posterior Progressive Concentration} 현상을 발견한다. 즉, denoising score의 effective golden support는 고정되어 있지 않고, signal-to-noise ratio가 증가함에 따라 global manifold에서 local neighborhood로 점근적으로 축소된다. 이를 활용하여 우리는 inference complexity를 dataset size와 분리하는 training-free framework인 \\textit{Dynamic Time-Aware Golden Subset Diffusion}(\\algopt)을 제안한다. static retrieval 대신, \\algopt는 coarse-to-fine mechanism을 사용해 inference를 위한 ``Golden Subset''을 동적으로 식별한다. 이론적으로는 우리의 sparse approximation이 exact score로 수렴함을 보장하는 엄밀한 bound를 유도한다. 실험적으로 \\algopt는 AFHQ에서 full-scan baseline과 맞먹거나 더 나은 성능을 보이면서 $\\bf 71 \\times$의 속도 향상을 달성한다. 특히, ImageNet-1K에 대한 analytical diffusion의 첫 성공적인 scaling을 입증하여, 대규모 생성 모델링을 위한 확장 가능하고 training-free한 패러다임을 열었다."},{"id":"64877","en":"Infinite-dimensional generative diffusions via Doob's h-transform","ko":"Doob의 h-transform을 통한 무한 차원 Generative Diffusion","authors":"Thorben Pieper-Sethmacher, Daniel Paulin","pos":"#2607","link":"https://openreview.net/forum?id=Iv2xle8uSv","abs":"This paper introduces a rigorous framework for defining generative diffusion models in infinite dimensions via Doob's h-transform. Rather than relying on time reversal of a noising process, a reference diffusion is forced towards the target distribution by an exponential change of measure. Compared to existing methodology, this approach readily generalises to the infinite-dimensional setting, hence offering greater flexibility in the diffusion model. The construction is derived rigorously under verifiable conditions, and bounds with respect to the target measure are established. We show that the forced process under the changed measure can be approximated by minimising a score-matching objective and validate our method on both synthetic and real data.
","absKo":"이 논문은 Doob의 h-transform을 통해 무한차원에서의 generative diffusion model을 정의하기 위한 엄밀한 framework를 소개한다. noising process를 time reversal하는 것에 의존하는 대신, reference diffusion을 exponential change of measure를 통해 target distribution 쪽으로 강제한다. 기존 방법론과 비교하면, 이 접근은 무한차원 설정으로 자연스럽게 일반화되므로 diffusion model에서 더 큰 유연성을 제공한다. 구성은 검증 가능한 조건하에서 엄밀하게 유도되며, target measure에 대한 bound가 확립된다. 우리는 바뀐 measure 하에서의 강제된 process가 score-matching objective 최소화로 근사될 수 있음을 보이고, synthetic data와 real data 모두에서 우리의 방법을 검증한다.
"},{"id":"62047","en":"Budget-Constrained Step-Leve Diffusion Caching","ko":"예산 제약 Step-Leve Diffusion Caching","authors":"Mingkun Lei, Tong Zhao, Liangyu Yuan, Chi Zhang","pos":"#2614","link":"https://openreview.net/forum?id=kN0NMoVWXG","abs":"Step-level caching offers a promising avenue for accelerating diffusion models by exploiting temporal redundancy. However, existing strategies predominantly rely on heuristic, threshold-based metrics to trigger cache updates. This reactive paradigm is inherently myopic as it optimizes only for local feature consistency, and yields unpredictable deployment latency. In this work, we propose BudCache, a budget-constrained optimization framework that inverts this standard: instead of letting error thresholds dictate the cost, we enforce a strict computational budget and globally search for the caching policy that maximizes generation fidelity. To tackle the combinatorial complexity of step selection, we employ a hybrid strategy combining Simulated Annealing with deterministic Hill Climbing. This approach efficiently escapes local optima to locate globally optimized cache masks within minutes, incurring zero inference overhead. Crucially, to address the trajectory drift induced by aggressive caching, we introduce a cache-aware schedule alignment mechanism. By refining the time discretization via a lightweight, data-free distillation, we significantly enhance performance in low-NFE regimes. Extensive experiments on FLUX.1-dev and Wan2.1 demonstrate that BudCache consistently outperforms heuristic baselines, achieving superior perceptual quality under rigid latency constraints.
","absKo":"Step-level caching은 temporal redundancy를 활용하여 diffusion model을 가속화할 수 있는 유망한 방향을 제공한다. 그러나 기존 전략은 주로 캐시 갱신을 유도하기 위해 heuristic한 threshold-based metric에 의존한다. 이러한 reactive paradigm은 local feature consistency만 최적화하기 때문에 본질적으로 근시안적이며, 배포 지연 시간을 예측하기 어렵게 만든다. 본 연구에서는 BudCache를 제안한다. BudCache는 budget-constrained optimization framework로, 기존 관점을 뒤집어 error threshold가 비용을 결정하도록 두지 않고 엄격한 computational budget을 강제하며, generation fidelity를 최대화하는 caching policy를 전역적으로 탐색한다. step 선택의 조합적 복잡성을 다루기 위해, 우리는 Simulated Annealing과 deterministic Hill Climbing을 결합한 hybrid strategy를 사용한다. 이 접근법은 local optimum을 효율적으로 벗어나 수 분 내에 전역적으로 최적화된 cache mask를 찾아내며, inference overhead를 전혀 발생시키지 않는다. 특히, 공격적인 caching으로 인한 trajectory drift를 해결하기 위해 cache-aware schedule alignment mechanism을 도입한다. 가벼운 data-free distillation을 통해 time discretization을 정제함으로써, low-NFE regime에서 성능을 크게 향상시킨다. FLUX.1-dev와 Wan2.1에서의 광범위한 실험은 BudCache가 heuristic baseline을 일관되게 능가하며, 엄격한 latency constraint 하에서 우수한 perceptual quality를 달성함을 보여준다.
"},{"id":"66296","en":"Q-Sched: Pushing the Boundaries of Few-Step Diffusion Models with Quantization-Aware Scheduling","ko":"Q-Sched: 양자화 인지 스케줄링으로 소수 스텝 Diffusion Model의 한계 확장","authors":"Natalia Frumkin, Diana Marculescu","pos":"#2704","link":"https://openreview.net/forum?id=4yzY0GFIJj","abs":"Text-to-image diffusion models remain computationally intensive: generating a single image typically requires dozens of passes through large transformer backbones (*e.g.*, SDXL uses ~50 evaluations of a 2.6B-parameter model). Few-step variants reduce the step count to 2–8, but still rely on large, full-precision backbones, making inference impractical on resource-constrained platforms, both on-device (latency/energy) and in data centers with multi-instance GPU (MIG) style GPU partitioning (limited memory/throughput per slice). Existing post-training quantization (PTQ) methods are further hampered by dependence on full-precision calibration. We introduce Q-Sched, a scheduler-level PTQ approach that adapts the diffusion sampler while keeping the quantized weights fixed. By adjusting the few-step sampling trajectory with quantization-aware preconditioning coefficients, Q-Sched matches or surpasses full-precision quality while delivering a $4\\times$ reduction in model size and preserving a single reusable checkpoint across bit-widths. To learn these coefficients, we propose a reference-free Joint Alignment–Quality (JAQ) loss, which combines text–image compatibility with an image-quality objective for fine-grained control; JAQ requires only a handful of calibration prompts and avoids any full-precision inference during calibration. Empirically, Q-Sched yields substantial gains: a **15.5%** FID improvement over the FP16 4-step Latent Consistency Model and a **16.6%** improvement over the FP16 8-step Phased Consistency Model, demonstrating that quantization and few-step distillation are complementary for high-fidelity generation. A large-scale user study with **80,000** annotations further validates these results on both FLUX.1[schnell] and SDXL-Turbo. Code will be released.","absKo":"Text-to-image diffusion model은 여전히 계산 집약적이다. 단일 이미지를 생성하는 데 보통 large transformer backbone을 수십 번 통과해야 한다. (예: SDXL은 2.6B-parameter model에 대해 약 50회의 evaluation을 사용한다.) Few-step variant는 step 수를 2~8로 줄이지만, 여전히 large full-precision backbone에 의존하므로 리소스가 제한된 플랫폼에서는 추론이 비현실적이다. 이는 on-device 환경에서의 지연/에너지 문제뿐 아니라, data center에서 multi-instance GPU (MIG) 방식의 GPU 분할을 사용할 때도 마찬가지다(슬라이스당 제한된 메모리/처리량). 기존 post-training quantization (PTQ) 방법은 full-precision calibration에 의존한다는 점에서 추가로 제약을 받는다. 우리는 quantized weight는 고정한 채 diffusion sampler를 적응시키는 scheduler-level PTQ 접근법인 Q-Sched를 제안한다. Quantization-aware preconditioning coefficient로 few-step sampling trajectory를 조정함으로써, Q-Sched는 full-precision quality와 맞먹거나 그 이상을 달성하면서 model size를 4배 줄이고 bit-width 전반에 걸쳐 하나의 재사용 가능한 checkpoint를 유지한다. 이 coefficient를 학습하기 위해, 우리는 text-image compatibility와 image-quality objective를 결합해 세밀한 제어를 가능하게 하는 reference-free Joint Alignment–Quality (JAQ) loss를 제안한다. JAQ는 calibration에 단지 소수의 calibration prompt만 필요로 하며, calibration 동안 full-precision inference를 전혀 사용하지 않는다. 경험적으로, Q-Sched는 큰 향상을 보인다. FP16 4-step Latent Consistency Model 대비 FID를 15.5% 개선하고, FP16 8-step Phased Consistency Model 대비 16.6% 개선하여, quantization과 few-step distillation이 고충실도 생성에서 상호보완적임을 보여준다. 80,000개의 annotation을 포함한 대규모 사용자 연구는 FLUX.1[schnell]과 SDXL-Turbo 모두에서 이러한 결과를 추가로 검증한다. 코드는 공개될 예정이다."},{"id":"66340","en":"Error Propagation Mechanisms and Compensation Strategies for Quantized Diffusion Models","ko":"양자화 Diffusion Model의 오차 전파 메커니즘과 보상 전략","authors":"Songwei Liu, Chao Zeng, Chenqian Yan, Xurui Peng, WANG, Fangmin Chen, Xing Mei","pos":"#4303","link":"https://openreview.net/forum?id=4YIY66tpvQ","abs":"Diffusion models have transformed image synthesis by establishing unprecedented quality and creativity benchmarks. Nevertheless, their large-scale deployment faces challenges due to computationally intensive iterative denoising processes. Although post-training quantization (PTQ) provides an effective pathway for accelerating sampling, the iterative nature of diffusion models causes stepwise quantization errors to accumulate progressively during generation, inevitably compromising output fidelity. To address this challenge, we develop a theoretical framework that mathematically formulates error propagation in Diffusion Models (DMs), deriving per-step quantization error propagation equations and establishing the first closed-form solution for cumulative error. Building on this theoretical foundation, we propose a timestep-aware cumulative error compensation scheme. Extensive experiments on multiple image datasets demonstrate that our compensation strategy effectively mitigates error propagation, significantly enhancing existing PTQ methods. Specifically, it achieves a 1.2 PSNR improvement over SVDQuant on SDXL W4A4, while incurring only an additional $<$ 0.5\\% time overhead.","absKo":"Diffusion model은 전례 없는 품질과 창의성 benchmark를 확립함으로써 image synthesis를 변화시켜 왔다. 그럼에도 불구하고 대규모 배포는 계산 집약적인 iterative denoising process 때문에 어려움을 겪는다. post-training quantization (PTQ)은 sampling 가속을 위한 효과적인 경로를 제공하지만, diffusion model의 iterative한 특성은 generation 과정에서 stepwise quantization error가 점진적으로 누적되게 하여, 결국 output fidelity를 저하시킨다. 이 문제를 해결하기 위해 우리는 Diffusion Model (DM)에서의 error propagation을 수학적으로 정식화하는 이론적 framework를 개발하고, step별 quantization error propagation equation을 유도하며, cumulative error에 대한 최초의 closed-form solution을 확립한다. 이 이론적 기반 위에서 우리는 timestep-aware cumulative error compensation scheme을 제안한다. 여러 image dataset에서의 광범위한 실험은 우리의 compensation strategy가 error propagation을 효과적으로 완화하여 기존 PTQ method를 크게 향상시킴을 보여준다. 구체적으로, SDXL W4A4에서 SVDQuant 대비 PSNR을 1.2 향상시키면서도 추가 시간 오버헤드는 0.5% 미만에 그친다."},{"id":"66740","en":"Optimality of FSQ tokens for continuous diffusion for categorical data with application to text-to-speech","ko":"Text-to-Speech에 적용한 범주형 데이터의 연속 Diffusion을 위한 FSQ 토큰의 최적성","authors":"Vadim Popov, Wenju Gu, Tasnima Sadekova, Georgii Aparin, Assel Yermekova","pos":"#913","link":"https://openreview.net/forum?id=0uS3P0Dlh9","abs":"Continuous diffusion for categorical data is a framework belonging to the diffusion family and aiming at generating discrete data. The scientific interest to such models has been constantly increasing these days because researchers try to achieve a challenging goal of finding reasonable alternatives to autoregressive large language models. In this paper, we study the properties of the structure of the latent space corresponding to discrete tokens expressed in terms of Kullback-Leibler divergence on diffusion path measures and accuracy of the correct token prediction by the optimally trained diffusion model. We find that FSQ tokenization scheme has the latent space structure with the properties that make it best suited for continuous diffusion for categorical data as verified through rigorous theoretical analysis and extensive numerical experiments. To validate our findings in real-life scenario, we train several text-to-speech diffusion models having speech tokens as intermediate acoustic features, and show that the one based on FSQ tokens indeed performs the best, and, moreover, it outperforms its strong LLM-based counterpart, at the same time being significantly smaller and faster.
","absKo":"범주형 데이터에 대한 continuous diffusion은 diffusion 계열에 속하는 프레임워크로, 이산 데이터를 생성하는 것을 목표로 한다. 최근 연구자들이 autoregressive large language model의 대안이 될 만한 합리적인 해법을 찾으려는 도전을 하고 있기 때문에, 이러한 모델에 대한 과학적 관심은 최근 들어 꾸준히 증가해 왔다. 본 논문에서는 diffusion path measure 상의 Kullback-Leibler divergence와 최적으로 학습된 diffusion model의 올바른 token 예측 정확도 관점에서, 이산 token에 대응하는 latent space 구조의 성질을 연구한다. 우리는 FSQ tokenization scheme이 엄밀한 이론 분석과 광범위한 수치 실험을 통해 검증된 바와 같이, continuous diffusion for categorical data에 가장 적합하도록 만드는 성질을 가진 latent space 구조를 갖고 있음을 발견한다. 실제 환경에서 우리의 발견을 검증하기 위해, speech token을 중간 acoustic feature로 사용하는 여러 text-to-speech diffusion model을 학습하고, FSQ token 기반 모델이 실제로 가장 우수하게 작동하며, 더 나아가 강력한 LLM 기반 대응 모델보다 성능이 뛰어나면서도 훨씬 더 작고 빠르다는 것을 보인다.
"},{"id":"60520","en":"Generalized Discrete Diffusion with Self-Correction","ko":"Self-Correction을 갖춘 Generalized Discrete Diffusion","authors":"Linxuan Wang, Ziyi Wang, Yikun Bai, Wei Deng, Guang Lin, Qifan Song","pos":"#2212","link":"https://openreview.net/forum?id=zQKlzKB6I9","abs":"Self-correction is an effective technique for maintaining parallel sampling in discrete diffusion models with minimal performance degradation. Prior work has explored self-correction at inference time or during post-training; however, such approaches often suffer from limited generalization and may impair reasoning performance. GIDD pioneers pretraining-based self-correction via a multi-step BERT-style uniform-absorbing objective. However, GIDD relies on a continuous interpolation-based pipeline with opaque interactions between uniform transitions and absorbing masks, which complicates hyperparameter tuning and hinders practical performance. In this work, we propose a Self-Correcting Discrete Diffusion (SCDD) model to reformulate pretrained self-correction with explicit state transitions and learn directly in discrete time. Our framework also simplifies the training noise schedule, eliminates a redundant remasking step, and relies exclusively on uniform transitions to learn self-correction. Experiments at the GPT-2 scale demonstrate that our method enables more efficient parallel decoding while preserving generation quality. Our code is available at https://anonymous.4open.science/r/SCDD.
","absKo":"Self-correction은 discrete diffusion model에서 parallel sampling을 최소한의 성능 저하로 유지하는 데 효과적인 기법이다. 기존 연구는 inference time 또는 post-training에서의 self-correction을 탐구해 왔지만, 이러한 접근은 일반화가 제한적이며 추론 성능을 저해할 수 있다. GIDD는 multi-step BERT-style uniform-absorbing objective를 통해 pretraining 기반 self-correction을 개척했다. 그러나 GIDD는 uniform transitions와 absorbing masks 사이의 상호작용이 불투명한 continuous interpolation 기반 파이프라인에 의존하므로, hyperparameter tuning을 복잡하게 만들고 실제 성능을 떨어뜨린다. 본 연구에서는 pretrained self-correction을 explicit state transitions로 재정식화하고 discrete time에서 직접 학습하는 Self-Correcting Discrete Diffusion (SCDD) 모델을 제안한다. 또한 우리의 프레임워크는 training noise schedule을 단순화하고, 중복되는 remasking 단계를 제거하며, self-correction 학습을 위해 uniform transitions에만 의존한다. GPT-2 규모의 실험은 본 방법이 생성 품질을 유지하면서 더 효율적인 parallel decoding을 가능하게 함을 보여준다. 코드는 https://anonymous.4open.science/r/SCDD 에서 확인할 수 있다.
"},{"id":"64425","en":"Can Simple Denoising Improve Uniform State Diffusion Models?","ko":"단순한 노이즈 제거가 균일 상태 Diffusion 모델을 개선할 수 있는가?","authors":"Huaisheng Zhu, Zhengyu Chen, Shijie Zhou, Zhihui Xie, Yige Yuan, Shiqi Chen, Zhimeng Guo, Siyuan Xu, Hangfan Zhang, Teng Xiao, Vasant Honavar","pos":"#2306","link":"https://openreview.net/forum?id=NnnG2nGWTy","abs":"Recent Uniform-state Diffusion Models (USDMs), initialized from a uniform prior, offer the promise of fast text generation due to their inherent self-correction ability compared to masked diffusion models. However, they still rely on complex loss formulations with additional computational overhead, which hinders scalability. In this work, we explore a simplified denoising-based loss for USDMs that optimizes only noise-replaced tokens, stabilizing training while matching the performance of prior methods with more complex objectives. In addition, we introduce an efficient regularization term to mitigate corruption toward uniform output distributions, which further improves performance. We demonstrate the effectiveness and efficiency of our simple and improved loss formulations by pretraining models on widely used text datasets for USDMs. More importantly, our conclusions scale to larger models, showing strong potential for large-scale training.
","absKo":"최근의 Uniform-state Diffusion Model(USDM)은 uniform prior에서 초기화되어 masked diffusion model에 비해 본질적인 self-correction 능력 덕분에 빠른 text generation의 가능성을 제공한다. 그러나 여전히 추가적인 계산 오버헤드를 동반하는 복잡한 loss formulation에 의존하고 있어 확장성이 저해된다. 본 연구에서는 noise-replaced token만을 최적화하는 USDM용 단순화된 denoising-based loss를 탐구하여, 기존의 더 복잡한 objective에 필적하는 성능을 유지하면서 학습을 안정화한다. 또한 uniform output distribution으로의 corruption을 완화하는 효율적인 regularization term을 도입하여 성능을 추가로 개선한다. 우리는 USDM에 널리 사용되는 text dataset으로 model을 pretraining하여, 단순하면서도 개선된 loss formulation의 효과와 효율성을 입증한다. 더 중요한 점은, 우리의 결론이 더 큰 model로도 확장되며, 대규모 학습에 대한 강한 잠재력을 보여준다는 것이다."},{"id":"62664","en":"SSR-Merge: Subspace Signal Routing for Training-Free LoRA Merging in Diffusion Models","ko":"SSR-Merge: Diffusion Models에서 Training-Free LoRA Merging을 위한 Subspace Signal Routing","authors":"Zhengxuan Wei, Yi Dong, Zonghui Li, Xianhui Lin, Xing Liu, Hong Gu, Shaofeng Zhang, Wenbin Li, Qi Fan","pos":"#2402","link":"https://openreview.net/forum?id=eYwCaFakq6","abs":"Low-Rank Adaptation (LoRA) merging can efficiently combine diverse generative capabilities from multiple trained LoRAs for a diffusion model. However, existing LoRA merging techniques often suffer from severe parameter interference, causing destructive collisions in the shared parameter space. To address this, we propose Subspace Signal Routing (SSR), which resolves interference by routing internal signals instead of performing parameter-space merge. Specifically, SSR first constructs a unified subspace by concatenating candidate LoRAs along the rank dimension. Next, SSR employs an inverse correlation matrix to decorrelate mixed signals within this space. Finally, a directional guide matrix steers these purified signals into their respective task-specific subspaces. We provide a rigorous theoretical analysis proving that SSR aligns with the Ordinary Least Squares (OLS) solution, thereby ensuring mathematical optimality. We utilize the additivity of sufficient statistics to design a streaming algorithm. This enables on-the-fly updates that significantly reduce memory overhead and computation time. Extensive experiments validate that SSR significantly outperforms state-of-the-art methods while maintaining comparable efficiency. The source code will be made publicly available.
","absKo":"Low-Rank Adaptation(LoRA) merging은 diffusion model에 대해 여러 학습된 LoRA로부터 다양한 generative capability를 효율적으로 결합할 수 있습니다. 그러나 기존 LoRA merging 기법은 심각한 parameter interference를 겪는 경우가 많아, 공유 parameter space에서 destructive collision을 유발합니다. 이를 해결하기 위해, 우리는 parameter-space merge 대신 internal signal을 routing하여 interference를 해소하는 Subspace Signal Routing(SSR)을 제안합니다. 구체적으로 SSR은 먼저 rank dimension을 따라 후보 LoRA를 concatenate하여 unified subspace를 구성합니다. 다음으로 SSR은 inverse correlation matrix를 사용해 이 공간 내의 mixed signal을 decorrelate합니다. 마지막으로 directional guide matrix가 이러한 정제된 signal을 각각의 task-specific subspace로 유도합니다. 우리는 SSR이 Ordinary Least Squares(OLS) 해와 정렬됨을 엄밀한 이론 분석으로 증명하여 수학적 optimality를 보장합니다. 또한 sufficient statistic의 additivity를 활용하여 streaming algorithm을 설계했습니다. 이를 통해 memory overhead와 computation time을 크게 줄이는 on-the-fly update가 가능합니다. 광범위한 실험은 SSR이 동등한 효율성을 유지하면서도 state-of-the-art 방법을 크게 능가함을 검증합니다. source code는 공개될 예정입니다.
"},{"id":"65202","en":"Skipping the Zeros in Diffusion Models for Sparse Data Generation","ko":"희소 데이터 생성을 위한 Diffusion Model에서 0 건너뛰기","authors":"Phil Sidney Ostheimer, Mayank Kumar Nagda, Andriy Balinskyy, Gabriel Rodrigues, Jean Radig, Carl Herrmann, Stephan Mandt, Marius Kloft, Sophie Fellenz","pos":"#2403","link":"https://openreview.net/forum?id=Fqhwxyh4VN","abs":"Diffusion models (DMs) excel on dense continuous data, but are not designed for sparse continuous data. They do not model exact zeros that represent the deliberate absence of a signal. As a result, they erase sparsity patterns and perform unnecessary computation on mostly zero entries. With Sparsity-Exploiting Diffusion (SED), we model only non-zero values, preserving sparsity. SED delivers computational savings while maintaining or improving generation quality by skipping zeros during training and inference. Across physics and biology benchmarks, SED matches or surpasses conventional DMs and domain-specific baselines, while vision experiments provide intuitive insights into the limitations of dense DMs and the benefits of SED.
","absKo":"Diffusion model(DM)은 밀집된 연속 데이터에서는 뛰어나지만, sparse continuous data를 위해 설계되지는 않았다. 이들은 신호의 의도적인 부재를 나타내는 exact zero를 모델링하지 못한다. 그 결과 sparsity pattern을 지우고 대부분이 zero인 항들에 대해 불필요한 계산을 수행한다. Sparsity-Exploiting Diffusion(SED)에서는 non-zero value만 모델링하여 sparsity를 보존한다. SED는 training과 inference 동안 zero를 건너뛰어 계산 비용을 절감하면서도 생성 품질을 유지하거나 향상시킨다. physics와 biology benchmark 전반에서 SED는 기존 DM과 domain-specific baseline과 동등하거나 그 이상이며, vision 실험은 dense DM의 한계와 SED의 이점을 직관적으로 보여준다.
"},{"id":"65598","en":"Where Concept Erasure Should Occur: Concept–Layer Alignment in Text-to-Video Diffusion Models","ko":"개념 삭제는 어디서 일어나야 하는가: Text-to-Video Diffusion 모델에서의 개념-레이어 정렬","authors":"Yiwei Xie, Ping Liu, Zheng Zhang","pos":"#2410","link":"https://openreview.net/forum?id=BzxF9ewad6","abs":"Text-to-video diffusion transformers encode semantic information unevenly across model depth, which constrains effective concept erasure. We identify a representational bottleneck, termed concept–layer topological alignment, under which target concepts exhibit higher separability at certain representational depths. Outside these depths, concept and non-target signals remain strongly entangled, limiting the effectiveness of depth-specific erasure. This observation reframes concept erasure as the problem of identifying representational depths where concept–non-target separation naturally emerges. Motivated by this structural constraint, we introduce CLEAR, a separability-driven optimization framework for concept erasure that explicitly enforces concept–layer alignment. CLEAR operationalizes this principle by formulating layer selection as an optimization problem over concept–non-target separability, rather than relying on layer-agnostic or heuristic choices. To enable this, we introduce a separability-aware objective that favors layers exhibiting stronger concept–non-target separation. Experiments on large-scale text-to-video diffusion models demonstrate that enforcing concept--layer alignment leads to more precise concept suppression while preserving overall generative quality.
","absKo":"Text-to-video diffusion transformers는 모델 깊이에 걸쳐 semantic information을 고르게 인코딩하지 못하며, 이는 효과적인 concept erasure를 제약한다. 우리는 concept-layer topological alignment라고 부르는 representational bottleneck을 식별했으며, 이 조건에서는 목표 concept가 특정 representational depth에서 더 높은 separability를 보인다. 이러한 depth 밖에서는 concept signal과 non-target signal이 강하게 entangle되어 있어, depth-specific erasure의 효과가 제한된다. 이 관찰은 concept erasure를 concept-non-target separation이 자연스럽게 나타나는 representational depth를 식별하는 문제로 재정식화한다. 이러한 구조적 제약에서 출발해, 우리는 concept-layer alignment를 명시적으로 강제하는 separability-driven optimization framework인 CLEAR를 제안한다. CLEAR는 layer-agnostic하거나 heuristic한 선택에 의존하는 대신, concept-non-target separability에 대한 optimization problem으로 layer selection을 정식화함으로써 이 원칙을 구현한다. 이를 가능하게 하기 위해, 더 강한 concept-non-target separation을 보이는 layer를 선호하는 separability-aware objective를 도입한다. 대규모 text-to-video diffusion model에 대한 실험은 concept-layer alignment를 강제하면 전체 generative quality를 보존하면서도 concept suppression이 더 정밀해짐을 보여준다.
"},{"id":"65409","en":"You Don’t Need All That Attention: Surgical Memorization Mitigation in Text-to-Image Diffusion Models","ko":"그렇게 많은 Attention은 필요 없다: Text-to-Image Diffusion Model에서 외과적 암기 완화","authors":"Kairan Zhao, Eleni Triantafillou, Peter Triantafillou","pos":"#2412","link":"https://openreview.net/forum?id=DxoS2VhNk8","abs":"Generative models have been shown to \"memorize\" certain training data, leading to verbatim or near-verbatim generating images, which may cause privacy concerns or copyright infringement. We introduce Guidance Using Attractive-Repulsive Dynamics (GUARD), a novel framework for memorization mitigation in text-to-image diffusion models. GUARD adjusts the image denoising process to guide the generation away from an original training image and towards one that is distinct from training data while remaining aligned with the prompt, guarding against reproducing training data, without hurting image generation quality. We propose a concrete instantiation of this framework, where the positive target that we steer towards is given by a novel method for (cross) attention attenuation based on (i) a novel statistical mechanism that automatically identifies the prompt positions where cross attention must be attenuated and (ii) attenuating cross-attention in these per-prompt locations. The resulting GUARD offers a surgical, dynamic per-prompt inference-time approach that, we find, is by far the most robust method in terms of consistently producing state-of-the-art results for memorization mitigation across two architectures and for both verbatim and template memorization, while also improving upon or yielding comparable results in terms of image quality.
","absKo":"Generative model이 특정 training data를 \"memorize\"하여, 문장 그대로 또는 거의 그대로 이미지를 생성하는 경우가 있음이 알려져 있으며, 이는 privacy 문제나 copyright infringement를 야기할 수 있다. 우리는 text-to-image diffusion model에서 memorization을 완화하기 위한 새로운 framework인 Guidance Using Attractive-Repulsive Dynamics(GUARD)를 제안한다. GUARD는 image denoising 과정을 조정하여 생성이 원래 training image로부터 벗어나도록 유도하는 동시에, prompt와 정렬되면서 training data와는 구별되는 이미지 쪽으로 향하게 하여 training data 재현을 방지하고 image generation quality는 해치지 않는다. 우리는 이 framework의 구체적 구현을 제안하는데, 여기서 우리가 향하는 positive target은 (i) cross attention을 attenuate해야 하는 prompt position을 자동으로 식별하는 새로운 statistical mechanism과 (ii) 그러한 per-prompt location에서 cross-attention을 attenuate하는 새로운 방법에 기반한 (cross) attention attenuation으로 주어진다. 결과적인 GUARD는 prompt별로 동적으로 작동하는 surgical한 inference-time 접근법으로, 두 architecture와 verbatim 및 template memorization 모두에 걸쳐 memorization 완화에서 지속적으로 state-of-the-art 결과를 내는 가장 강건한 방법임을 확인했으며, 동시에 image quality 측면에서도 개선되거나 동등한 결과를 제공한다."},{"id":"64292","en":"Prompt Reinjection: Alleviating Prompt Forgetting in Multimodal Diffusion Transformers","ko":"프롬프트 재주입: 멀티모달 Diffusion Transformer에서 프롬프트 망각 완화","authors":"Yuxuan Yao, Yuxuan Chen, Hui Li, Kaihui Cheng, Qipeng Guo, Yuwei Sun, Zilong Dong, Jingdong Wang, Siyu Zhu","pos":"#2500","link":"https://openreview.net/forum?id=P3b1028tNC","abs":"Multimodal Diffusion Transformers (MMDiTs) for text-to-image generation maintain separate text and image branches, with bidirectional information flow between text tokens and visual latents throughout denoising. In this setting, we observe a prompt forgetting phenomenon: the semantics of the prompt representation in the text branch is progressively forgotten as depth increases. We further verify this effect on three representative MMDiTs—SD3, SD3.5, and FLUX.1 by probing linguistic attributes of the representations over the layers in the text branch. Motivated by these findings, we introduce a training-free approach, prompt reinjection, which reinjects prompt representations from early layers into later layers to alleviate this forgetting. Experiments on GenEval, DPG, and T2I-CompBench++ show consistent gains in instruction-following capability, along with improvements on metrics capturing preference, aesthetics, and overall text--image generation quality.
","absKo":"text-to-image 생성을 위한 Multimodal Diffusion Transformers (MMDiTs)는 text branch와 image branch를 분리된 형태로 유지하면서, denoising 전 과정에 걸쳐 text token과 visual latent 사이의 양방향 정보 흐름을 수행합니다. 이 설정에서 우리는 prompt forgetting 현상을 관찰합니다. 즉, depth가 증가할수록 text branch의 prompt representation이 지닌 의미가 점차 잊혀집니다. 우리는 SD3, SD3.5, FLUX.1이라는 세 가지 대표적인 MMDiT에 대해 text branch 내 레이어별 representation의 linguistic attribute를 probing하여 이 효과를 추가로 검증합니다. 이러한 발견에 동기를 얻어, 우리는 prompt representation을 초기 레이어에서 후기 레이어로 다시 주입하여 이러한 forgetting을 완화하는 training-free 접근법인 prompt reinjection을 소개합니다. GenEval, DPG, T2I-CompBench++에서의 실험은 instruction-following 능력의 일관된 향상과 함께 preference, aesthetics, 그리고 전반적인 text--image 생성 품질을 포착하는 metric에서도 개선을 보여줍니다.
"},{"id":"60745","en":"Localizing Memorized Regions in Diffusion Models via Coordinate-Wise Curvature Differences","ko":"Coordinate-Wise Curvature Difference를 통한 Diffusion Model의 암기 영역 위치 파악","authors":"Gwangho Kim, Sungyoon Lee","pos":"#2503","link":"https://openreview.net/forum?id=x16DrZepIl","abs":"Diffusion models can unintentionally memorize training samples, raising concerns about privacy and copyright. While recent methods can detect memorization, they often rely on global or model-specific signals and provide limited insight into where memorization appears within a generated image. We provide a geometric characterization of local memorization as a coordinate-wise variance collapse. However, such collapse can also arise from intrinsic data constraints rather than overfitting. To isolate overfitting-driven memorization, we propose curvature-difference methods that subtract the curvature of an underfitted baseline, either the unconditional model or a less-trained version of itself. We further derive a score-difference surrogate that provides a geometric explanation for the widely used score-difference-based detection metric. Experiments on Stable Diffusion, evaluated against ground-truth memorization masks, show that our method outperforms the prior attention-based localization method.
","absKo":"Diffusion model은 학습 샘플을 의도치 않게 memorization할 수 있어 privacy와 copyright 측면의 우려를 낳는다. 최근 방법들은 memorization을 탐지할 수 있지만, 대개 전역적이거나 모델 특화된 신호에 의존하며 생성된 이미지 내에서 memorization이 어디에 나타나는지에 대한 통찰은 제한적이다. 우리는 local memorization을 좌표별 variance collapse로 기하학적으로 특징화한다. 그러나 이러한 collapse는 과적합이 아니라 데이터 자체의 내재적 제약에서도 발생할 수 있다. 과적합에 의해 유발된 memorization을 분리하기 위해, 우리는 unconditional model 또는 덜 학습된 자기 자신과 같은 underfitted baseline의 curvature를 빼는 curvature-difference method를 제안한다. 또한 널리 사용되는 score-difference 기반 탐지 지표에 대해 기하학적 설명을 제공하는 score-difference surrogate를 유도한다. Stable Diffusion에서 ground-truth memorization mask와 비교한 실험은, 우리의 방법이 기존의 attention-based localization method보다 우수함을 보여준다.
"},{"id":"66694","en":"Improving Sampling for Masked Diffusion Models via Information Gain","ko":"Information Gain을 통한 Masked Diffusion 모델의 샘플링 개선","authors":"Kaisen Yang, Jayden Teoh, Kaicheng Yang, Yitong Zhang, Alex Lamb","pos":"#2506","link":"https://openreview.net/forum?id=1HPTFpwktA","abs":"Masked Diffusion Models (MDMs) offer greater flexibility in decoding order than autoregressive models but require careful path planning to achieve high-quality generation. While existing samplers typically greedily select positions with the lowest uncertainty, we identify their fundamental limitations through failure case analysis, showing they overlook the impact of current actions on subsequent steps and fail to optimize cumulative uncertainty. To bridge this gap, we propose the Info-Gain Sampler, a principled decoding framework that balances immediate costs with information gain. Our method features a simple but effective objective and an efficient implementation that ensures practical overhead is minimal. Extensive evaluations across diverse architectures and tasks (reasoning, coding, creative writing, and image generation) demonstrate that Info-Gain Sampler consistently outperforms existing samplers, significantly raising the performance ceiling of MDMs. For instance, it achieves a 5.5\\% improvement in average accuracy on reasoning tasks and a 63.1\\% win-rate in creative writing; notably, on reasoning tasks it reduces cumulative uncertainty from 78.4 to 48.6, outperforming the best baseline by a large margin.
","absKo":"Masked Diffusion Models(MDMs)는 autoregressive model보다 decoding order에 더 큰 유연성을 제공하지만, 고품질 생성을 달성하려면 신중한 path planning이 필요하다. 기존 sampler는 보통 불확실성이 가장 낮은 position을 탐욕적으로 선택하지만, failure case 분석을 통해 이들이 현재 action이 이후 step에 미치는 영향을 간과하고 누적 불확실성을 최적화하지 못한다는 근본적 한계를 확인했다. 이 간극을 메우기 위해 우리는 즉각적인 비용과 정보 획득을 균형 있게 고려하는 원리 기반 decoding framework인 Info-Gain Sampler를 제안한다. 우리의 방법은 간단하지만 효과적인 objective와, 실제 overhead를 최소화하도록 보장하는 효율적인 구현을 특징으로 한다. reasoning, coding, creative writing, image generation 등 다양한 architecture와 task에 걸친 광범위한 평가에서 Info-Gain Sampler는 기존 sampler를 일관되게 능가하며 MDM의 성능 한계를 크게 끌어올린다. 예를 들어 reasoning task에서 평균 정확도를 5.5\\% 향상시키고 creative writing에서 63.1\\%의 win-rate를 달성한다. 특히 reasoning task에서는 누적 불확실성을 78.4에서 48.6으로 줄여, 최상의 baseline을 큰 폭으로 앞선다.
"},{"id":"66018","en":"FaPS: A General and Fast Training Method for Diffusion Models","ko":"FaPS: Diffusion 모델을 위한 일반적이고 빠른 학습 방법","authors":"Xianglu Wang, Bangxian Han, Hu Ding","pos":"#2510","link":"https://openreview.net/forum?id=7t4MKg9ZOm","abs":"Diffusion models have achieved state-of-the-art performance in image generation tasks. However, training powerful diffusion models remains time-consuming, which limits their practical deployment. In this paper, we revisit the learning dynamics of diffusion models through the lens of *spectral bias*, a phenomenon in which deep neural networks prioritize learning low-frequency modes. Through an empirical analysis of diffusion training, we observe that diffusion models exhibit a **dual** spectral bias. First, over training iterations, they fit low-frequency components earlier than high-frequency details. Second, along the diffusion timesteps, early denoising steps mainly reconstruct coarse low-frequency content, while high-frequency details emerge in later steps. Motivated by this observation, we propose Frequency-aware Patch Selection **(FaPS)**, a general and fast training method for diffusion models that can be applied to both UNet and DiT backbones. Specifically, FaPS introduces a *frequency-aware gating* that adaptively selects image patches based on their frequency information and focuses computation only on the selected patches. Since the selection decisions are discrete and thus non-differentiable, we model the gating as a stochastic policy network and optimize it end-to-end using a policy gradient method. Our experiments demonstrate that FaPS achieves up to $\\mathbf{3}\\times$ faster training while maintaining comparable or superior generation quality, and improves the performance of diffusion models in limited-data settings.","absKo":"Diffusion model은 image generation task에서 state-of-the-art 성능을 달성해 왔다. 그러나 강력한 diffusion model을 학습하는 데는 여전히 많은 시간이 소요되어 실제 배포를 제한한다. 본 논문에서는 *spectral bias*의 관점에서 diffusion model의 learning dynamics를 다시 살펴본다. Spectral bias는 deep neural network가 저주파 모드를 우선적으로 학습하는 현상이다. Diffusion training에 대한 실증 분석을 통해, diffusion model이 **dual** spectral bias를 보인다는 점을 관찰했다. 첫째, 학습 iteration이 진행됨에 따라 고주파 세부 정보보다 저주파 성분을 더 먼저 적합한다. 둘째, diffusion timestep을 따라가면 초기 denoising step은 주로 거친 저주파 내용을 복원하고, 고주파 세부 정보는 더 뒤의 step에서 나타난다. 이러한 관찰에 동기부여되어, 우리는 UNet과 DiT backbone 모두에 적용 가능한 일반적이고 빠른 diffusion model 학습 방법인 Frequency-aware Patch Selection **(FaPS)**를 제안한다. 구체적으로 FaPS는 frequency information을 기반으로 image patch를 적응적으로 선택하고, 선택된 patch에만 computation을 집중하는 *frequency-aware gating*을 도입한다. 선택 결정은 이산적이므로 미분 가능하지 않기 때문에, 우리는 gating을 stochastic policy network로 모델링하고 policy gradient method를 사용해 end-to-end로 최적화한다. 실험 결과, FaPS는 비교 가능하거나 더 우수한 generation quality를 유지하면서 최대 $\\mathbf{3}\\times$ 더 빠른 학습을 달성했으며, 제한된 데이터 환경에서 diffusion model의 성능도 향상시켰다."},{"id":"65813","en":"Divide-and-Denoise: A Game-Theoretic Method for Fairly Composing Diffusion Models","ko":"Divide-and-Denoise: Diffusion 모델을 공정하게 합성하기 위한 게임 이론적 방법","authors":"Abhi Gupta, Polina Barabanshchikova, Vikas Garg, Samuel Kaski, Tommi Jaakkola","pos":"#2512","link":"https://openreview.net/forum?id=9voQUicsc2","abs":"With the widespread availability of pre-trained diffusion models, there are many options for which models to use and how to use them together. Making these decisions depends highly on both the user's goals and the expertise of each model. Taking this into account, we propose coordinating models as one would a specialized workforce--through a fair yet efficient division of labor. Divide-and-Denoise uses multiple pre-trained diffusion models, each defined over the same space, to refine a noisy sample over time. At every timestep, we alternate between (i) dividing the sample into regions in a way that satisfies our game-theoretic criteria and (ii) denoising a region with the assigned model in a way that respects our alignment criteria. This leads to a new composite denoising process that evolves together with a division process. Since ground truth for how models should interact is typically not available in our setup, we measure how well Divide-and-Denoise coordinates a team of single-concept text-to-image diffusion models relative to a multi-concept model. Across several image quality metrics including the GenEval benchmark, our method generates images that capture the strengths of each model, outperforming baselines and resolving common failures like missing objects and mismatched attributes.
","absKo":"사전 학습된 diffusion model이 널리 이용 가능해짐에 따라, 어떤 model을 사용할지와 그것들을 어떻게 함께 사용할지에 대한 선택지가 매우 많아졌다. 이러한 결정을 내리는 것은 사용자의 목표와 각 model의 전문성 모두에 크게 의존한다. 이를 고려하여, 우리는 특화된 workforce를 조정하듯, 즉 공정하면서도 효율적인 분업을 통해 model을 조율하는 방법을 제안한다. Divide-and-Denoise는 동일한 공간 위에 정의된 여러 개의 pre-trained diffusion model을 사용하여 noisy sample을 시간에 따라 정제한다. 각 timestep에서 우리는 (i) game-theoretic criteria를 만족하는 방식으로 sample을 region으로 나누고, (ii) alignment criteria를 존중하는 방식으로 할당된 model이 해당 region을 denoising하는 과정을 번갈아 수행한다. 이는 division process와 함께 진화하는 새로운 composite denoising process로 이어진다. 이 설정에서는 model이 어떻게 상호작용해야 하는지에 대한 ground truth를 보통 얻을 수 없으므로, 우리는 Divide-and-Denoise가 single-concept text-to-image diffusion model들로 구성된 team을 multi-concept model에 상대적으로 얼마나 잘 조율하는지 측정한다. GenEval benchmark를 포함한 여러 image quality metric 전반에서, 우리의 방법은 각 model의 강점을 반영한 이미지를 생성하며, baseline을 능가하고 missing object나 mismatched attribute 같은 흔한 실패를 해결한다.
"},{"id":"63185","en":"Diffusion Models Preferentially Memorize Prototypical Examples or: Why Does My Diffusion Model Love Slop?","ko":"Diffusion 모델은 원형적 예제를 우선적으로 암기한다, 혹은: 왜 내 Diffusion 모델은 저품질을 좋아하는가?","authors":"Marta Aparicio Rodriguez, Anastasia Borovykh, Grigorios A Pavliotis, Daniel Korchinski","pos":"#2513","link":"https://openreview.net/forum?id=ZIFQJumCbK","abs":"Generative models have a persistent limitation: their tendency to memorize training data can create legal liabilities and erode creative diversity. Understanding which samples are memorized in whole or in part, and under what conditions, therefore remains an important open problem. Here we answer the question \"Are atypical or rare samples memorized first?\" in the negative. We train diffusion models on strings generated according to the production rules of the Random Hierarchy Model (RHM), and find that samples composed of common substrings are preferentially memorized. This holds true even if the training data consists of entirely unique samples, indicating that deduplication at the data point level does not provide a meaningful privacy guarantee. Correspondingly we predict, then observe, delayed memorization for fat-tailed datasets (i.e., those with more atypical samples). This effect is amplified when fat-tails are introduced into high-level production rules. These together suggest that dataset diversity, particularly at higher levels of abstraction, plays an important role in staving off memorization. Finally, we identify an intermediate regime of partial memorization in which common substrings are learned first and subsequently overproduced during generation. If training is stopped in this regime, models will exhibit the reversion-to-the-mean blandness often derided as \"slop\".
","absKo":"Generative model에는 지속적인 한계가 있다. 학습 데이터를 기억하려는 경향은 법적 책임을 유발할 수 있고 창의적 다양성을 저해한다. 따라서 어떤 sample이 전체적으로 또는 부분적으로 memorization되는지, 그리고 어떤 조건에서 그런 일이 일어나는지를 이해하는 것은 여전히 중요한 open problem이다. 여기서 우리는 \"비전형적이거나 희귀한 sample이 먼저 memorization되는가?\"라는 질문에 대해 아니라고 답한다. 우리는 Random Hierarchy Model (RHM)의 production rule에 따라 생성된 string에 diffusion model을 학습시키고, common substring으로 구성된 sample이 우선적으로 memorization된다는 사실을 발견했다. 이는 training data가 전적으로 unique sample로만 이루어진 경우에도 성립하며, 데이터 포인트 수준의 deduplication이 의미 있는 privacy guarantee를 제공하지 못함을 시사한다. 이에 따라 우리는 fat-tailed dataset(즉, 더 비전형적인 sample이 더 많은 데이터셋)에서 delayed memorization를 예측했고, 실제로 이를 관찰했다. 이 효과는 상위 수준의 production rule에 fat-tail을 도입할 때 더욱 증폭된다. 이 결과들은 특히 더 높은 추상화 수준에서의 dataset diversity가 memorization을 억제하는 데 중요한 역할을 함을 시사한다. 마지막으로, 우리는 common substring이 먼저 학습된 뒤 생성 과정에서 과도하게 생성되는 부분 memorization의 중간 regime을 확인했다. 만약 학습이 이 regime에서 중단되면, 모델은 흔히 \"slop\"이라 불리는 평균으로의 회귀에 따른 밋밋함을 보이게 된다.
"},{"id":"66229","en":"Designing noise schedules for diffusion models with spectral analysis","ko":"스펙트럼 분석을 통한 Diffusion Model의 노이즈 스케줄 설계","authors":"Carlos Esteves, Ameesh Makadia","pos":"#2514","link":"https://openreview.net/forum?id=5cIgeU4WOG","abs":"Denoising diffusion models are widely used for high-quality image and video generation. Their performance depend on noise schedules, which define the distribution of noise levels applied during training and the sequence of noise levels traversed during sampling. Noise schedules are typically handcrafted and require manual tuning across different resolutions. In this work, we propose a principled way to design per-image noise schedules for pixel diffusion, based on the images spectral properties. By deriving theoretical bounds on how efficacy of minimum and maximum noise levels, we design \"tight\" noise schedules that eliminate redundant steps. During inference, we propose to conditionally sampled such noise schedules. Experiments show that our noise schedules improve generative quality, particularly at the low-step regime.
","absKo":"Denoising diffusion model은 고품질 이미지와 비디오 생성을 위해 널리 사용된다. 이들의 성능은 noise schedule에 의해 좌우되는데, noise schedule은 학습 중 적용되는 noise level의 분포와 sampling 동안 거치는 noise level의 순서를 정의한다. Noise schedule은 대개 수작업으로 설계되며 서로 다른 해상도에 걸쳐 수동 조정이 필요하다. 본 연구에서는 이미지의 spectral property를 기반으로 pixel diffusion을 위한 이미지별 noise schedule을 설계하는 원리적 방법을 제안한다. minimum 및 maximum noise level의 효용에 대한 이론적 bound를 유도함으로써, 불필요한 단계를 제거하는 \"tight\" noise schedule을 설계한다. 추론 단계에서는 이러한 noise schedule을 조건부로 sampling하는 방법을 제안한다. 실험 결과, 우리의 noise schedule은 특히 low-step regime에서 생성 품질을 향상시킨다.
"},{"id":"64624","en":"Dependency-Aware Parallel Decoding via Attention for Diffusion LLMs","ko":"Diffusion LLM을 위한 Attention 기반 Dependency-Aware 병렬 Decoding","authors":"Bumjun Kim, Dongjae Jeon, Moongyu Jeon, Albert No","pos":"#2515","link":"https://openreview.net/forum?id=LZro8iqjiA","abs":"Parallel decoding for diffusion LLMs (dLLMs) is difficult because each denoising step provides only token-wise marginal distributions, while unmasking multiple tokens simultaneously requires accounting for inter-token dependencies. We propose Dependency-Aware Parallel Decoding (DAPD), a simple, training-free decoding method that uses self-attention to induce a conditional dependency graph over masked tokens. At each iteration, edges in this graph capture strong token interactions, while non-edges indicate weak dependence. Parallel decoding is then reduced to selecting an independent set on the graph and unmasking the selected tokens in parallel. This avoids co-updating strongly coupled tokens without auxiliary models or retraining. Experiments on LLaDA and Dream show that DAPD improves the accuracy–steps trade-off over existing methods and enables more globally distributed parallel updates that better exploit the any-order generation capability of dLLMs.
","absKo":"diffusion LLMs (dLLMs)에서 parallel decoding이 어려운 이유는 각 denoising step이 token-wise marginal distribution만 제공하는 반면, 여러 token을 동시에 unmask하려면 token 간 의존성을 고려해야 하기 때문이다. 우리는 self-attention을 사용해 masked token들 사이의 conditional dependency graph를 유도하는 단순하고 training-free인 decoding 방법, Dependency-Aware Parallel Decoding (DAPD)을 제안한다. 각 iteration에서 이 graph의 edge는 강한 token interaction을 포착하고, non-edge는 약한 의존성을 나타낸다. 그런 다음 parallel decoding은 graph에서 independent set을 선택하고 선택된 token을 병렬로 unmask하는 문제로 환원된다. 이 방식은 auxiliary model이나 retraining 없이 강하게 결합된 token의 co-update를 피한다. LLaDA와 Dream에서의 실험은 DAPD가 기존 방법보다 accuracy–steps trade-off를 개선하고, dLLM의 any-order generation capability를 더 잘 활용하는 보다 전역적으로 분산된 parallel update를 가능하게 함을 보인다.
"},{"id":"60920","en":"Alignment-Guided Score Matching for Text-to-Image Alignment in Diffusion Models","ko":"Diffusion Model의 Text-to-Image Alignment를 위한 Alignment-Guided Score Matching","authors":"Jaa-Yeon Lee, Yeobin Hong, Taesung Kwon, Jong Chul YE","pos":"#2610","link":"https://openreview.net/forum?id=vKWxArobP3","abs":"Diffusion models generate highly realistic images but often struggle with precise text–image alignment. While recent post-training methods improve alignment using external rewards or human preference signals, their performance heavily depends on reward quality and does not directly address alignment within the diffusion process itself. Recent reward-free approaches such as SoftREPA demonstrate that optimizing soft text tokens via contrastive learning can effectively improve text-image representation alignment, outperforming standard parameter-efficient fine-tuning baselines. However, the contrastive formulation can excessively penalize negative pairs, which manifests as characteristic failure cases such as over-counting and repetition. To address this issue, we propose a lightweight, reward-free post-training method that refines soft tokens by integrating contrastive alignment guidance directly into the score-matching objective of diffusion models. By assigning alignment directions at the score level, our approach mitigates these limitations and yields more coherent and semantically faithful generations. Experiments show that our method matches SoftREPA while substantially improving its failure cases, achieving over 35\\% improvement in counting accuracy on the GenEval benchmark. Our method is seamlessly applicable to existing diffusion backbones (SD1.5, SDXL, and SD3), and is complementary to existing RL-based diffusion post-training methods.
","absKo":"Diffusion model은 매우 사실적인 이미지를 생성하지만, 종종 정확한 text–image alignment에서는 어려움을 겪는다. 최근의 post-training 방법들은 외부 reward나 human preference signal을 사용해 alignment를 개선하지만, 그 성능은 reward 품질에 크게 좌우되며 diffusion process 자체의 alignment를 직접 다루지는 않는다. SoftREPA와 같은 최근의 reward-free 접근법은 contrastive learning을 통해 soft text token을 최적화하면 text-image representation alignment를 효과적으로 개선할 수 있으며, standard parameter-efficient fine-tuning baseline을 능가함을 보여준다. 그러나 contrastive formulation은 negative pair를 지나치게 강하게 패널티할 수 있고, 이는 over-counting과 repetition과 같은 대표적인 실패 사례로 나타난다. 이 문제를 해결하기 위해 우리는 contrastive alignment guidance를 diffusion model의 score-matching objective에 직접 통합하여 soft token을 정제하는, 가볍고 reward-free인 post-training 방법을 제안한다. score 수준에서 alignment direction을 부여함으로써, 우리의 접근법은 이러한 한계를 완화하고 더 일관되고 의미적으로 충실한 생성을 유도한다. 실험 결과, 우리의 방법은 SoftREPA와 동등한 성능을 보이는 동시에 그 실패 사례를 크게 개선하여, GenEval benchmark에서 counting accuracy를 35\\% 이상 향상시킨다. 우리의 방법은 기존 diffusion backbone(SD1.5, SDXL, SD3)에 매끄럽게 적용될 수 있으며, 기존 RL 기반 diffusion post-training 방법들과 상보적이다.
"},{"id":"61245","en":"Any-Order GPT as Masked Diffusion Model: Decoupling Formulation and Architecture","ko":"Masked Diffusion Model로서의 Any-Order GPT: Formulation과 Architecture의 분리","authors":"Shuchen Xue, Tianyu Xie, Tianyang Hu, Zijin Feng, Jiacheng Sun, Kenji Kawaguchi, Zhenguo Li, Zhi-Ming Ma","pos":"#2611","link":"https://openreview.net/forum?id=sEYoG3tAXN","abs":"Efficiently scaling Large Language Models (LLMs) necessitates exploring alternatives to dominant autoregressive (AR) methods, with Masked Diffusion Models (MDMs) emerging as candidates. However, comparing AR (typically decoder-only) and MDM (often encoder-only) paradigms is confounded by differing architectures, obscuring true algorithmic and efficiency trade-offs. This research decouples these factors by evaluating MDMs within a decoder-only framework to: (1) Equitably compare MDM (as Any-Order AR) and standard AR paradigms through discrepancies on orders. (2) Investigate MDM architectural impacts on computational efficiency. We show decoder-only MDMs, despite a larger modeling space, can achieve significant inference speedups ($\\sim25\\times$) and comparable perplexity with techniques like temperature annealing, offering a path to reduced inference compute. This work provides insights for developing more computationally efficient foundation models by disentangling core modeling choices from architectural influences.","absKo":"Efficiently scaling Large Language Models(LLMs)는 지배적인 autoregressive(AR) 방법의 대안을 탐색할 필요가 있으며, Masked Diffusion Models(MDMs)가 그 후보로 부상하고 있습니다. 그러나 AR(일반적으로 decoder-only)과 MDM(종종 encoder-only) 패러다임을 비교하는 일은 서로 다른 architecture 때문에 혼란스러우며, 진정한 algorithmic 및 efficiency trade-off를 가립니다. 이 연구는 MDM을 decoder-only framework 내에서 평가함으로써 이러한 요소들을 분리합니다. 즉, (1) order에 대한 discrepancy를 통해 MDM(Any-Order AR로서)과 표준 AR 패러다임을 공정하게 비교하고, (2) MDM architecture가 computational efficiency에 미치는 영향을 조사합니다. 우리는 decoder-only MDM이 더 큰 modeling space에도 불구하고 temperature annealing과 같은 기법을 통해 상당한 inference speedup(약 25배)과 유사한 perplexity를 달성할 수 있음을 보이며, inference compute 감소로 가는 경로를 제시합니다. 이 연구는 architecture의 영향과 핵심 modeling choice를 분리함으로써 더 computationally efficient한 foundation model을 개발하는 데 유용한 통찰을 제공합니다."},{"id":"64031","en":"ContrastiveCFG: Guiding Diffusion Sampling by Contrasting Positive and Negative Concepts","ko":"ContrastiveCFG: 양성 및 음성 개념 대비를 통한 Diffusion 샘플링 유도","authors":"Jinho Chang, Changsun Lee, Hyungjin Chung, Jong Chul YE","pos":"#2616","link":"https://openreview.net/forum?id=RZ5uhiNAbx","abs":"As Classifier-Free Guidance (CFG) has proven effective in conditional diffusion model sampling for improved condition alignment, many applications use a negated CFG term as a Negative Prompting (NP) to filter out unwanted features from samples. However, simply negating CFG guidance creates an inverted probability distribution, often distorting samples away from the marginal distribution. Inspired by recent advances in conditional diffusion models for inverse problems, here we present a novel method to achieve guidance toward the given condition using contrastive loss. Specifically, our guidance term aligns or repels the denoising direction based on the given condition through contrastive loss, achieving a similar guiding effect to traditional CFG for positive conditions while overcoming the limitations of existing negative guidance methods. Experimental results demonstrate that our approach effectively injects or removes the given concepts while maintaining sample quality across diverse scenarios, from simple class conditions to complex and overlapping text prompts.
","absKo":"Classifier-Free Guidance (CFG)가 conditional diffusion model sampling에서 condition alignment를 개선하는 데 효과적임이 입증되면서, 많은 응용은 샘플에서 원치 않는 feature를 걸러내기 위해 negated CFG term을 Negative Prompting (NP)으로 사용합니다. 그러나 단순히 CFG guidance를 부호 반전하면 inverted probability distribution이 생성되어, 샘플을 marginal distribution으로부터 왜곡시키는 경우가 많습니다. 최근 inverse problem을 위한 conditional diffusion model의 발전에서 영감을 받아, 우리는 contrastive loss를 사용해 주어진 condition을 향하도록 guidance를 달성하는 새로운 방법을 제시합니다. 구체적으로, 우리의 guidance term은 contrastive loss를 통해 주어진 condition에 따라 denoising direction을 정렬하거나 반발시키며, positive condition에 대해서는 전통적인 CFG와 유사한 guiding effect를 제공하면서도 기존 negative guidance 방법의 한계를 극복합니다. 실험 결과는 우리의 접근이 다양한 시나리오, 즉 단순한 class condition부터 복잡하고 서로 겹치는 text prompt에 이르기까지 sample quality를 유지하면서 주어진 concept을 효과적으로 주입하거나 제거함을 보여 줍니다.
"},{"id":"65757","en":"Unifying Masked Diffusion Models with Various Generation Orders and Beyond","ko":"다양한 생성 순서를 가진 Masked Diffusion 모델의 통합 및 확장","authors":"Chunsan Hong, Sanghyun Lee, Jong Chul YE","pos":"#911","link":"https://openreview.net/forum?id=ATpOQt9VVd","abs":"Masked diffusion models (MDMs) are a potential alternative to autoregressive models (ARMs) for language generation, but generation quality depends critically on the generation order. Prior work either hard-codes an ordering (e.g., blockwise left-to-right) or learns an ordering policy for a pretrained MDM, which incurs extra cost and can yield suboptimal solutions due to the two-stage optimization. Motivated by this, we propose order-expressive masked diffusion model (OeMDM) for a broad class of diffusion generative processes with various generation orders, enabling the interpretation of MDM, ARM, and block diffusion in a single framework. Furthermore, building on OeMDM, we introduce learnable-order masked diffusion model (LoMDM), which jointly learns the generation ordering and diffusion backbone through a single objective from scratch, enabling the diffusion model to generate text in context-dependent ordering. Empirically, we confirm that LoMDM outperforms various discrete diffusion models across multiple language modeling benchmarks.
","absKo":"Masked diffusion model (MDM)은 language generation을 위한 autoregressive model (ARM)의 잠재적 대안이지만, 생성 품질은 생성 순서에 크게 의존한다. 기존 연구는 순서를 하드코딩하거나(예: blockwise left-to-right), 사전학습된 MDM에 대해 ordering policy를 학습하는데, 이는 추가 비용을 초래하고 두 단계 최적화로 인해 최적에 못 미치는 해를 낳을 수 있다. 이러한 배경에서 우리는 다양한 generation order를 갖는 폭넓은 class의 diffusion generative process에 대해 order-expressive masked diffusion model (OeMDM)을 제안하며, 이를 통해 MDM, ARM, block diffusion을 하나의 프레임워크로 해석할 수 있게 한다. 나아가 OeMDM을 바탕으로, 생성 순서와 diffusion backbone을 scratch부터 단일 objective로 공동 학습하는 learnable-order masked diffusion model (LoMDM)을 제안하여, context-dependent ordering으로 text를 생성할 수 있게 한다. 실증적으로, LoMDM이 여러 language modeling benchmark에서 다양한 discrete diffusion model보다 우수함을 확인한다.
"},{"id":"62108","en":"Multimarginal flow matching with optimal transport potentials","ko":"최적수송 포텐셜을 활용한 다중 주변분포 Flow Matching","authors":"Raghav Kansal, David Crair, Nghia Nguyen, Scott Pope, Bradley Parry","pos":"#2502","link":"https://openreview.net/forum?id=jmHpRMmcix","abs":"Flow matching (FM) has emerged as a powerful framework for learning dynamic transport maps between two empirical distributions. However, less explored is the setting with intermediate observed marginals that can help constrain the flows between the endpoints. This \"multimarginal\" regime is central to modeling temporal evolution in dynamical systems in many scientific domains that can sample sequential distributions, such as biology and meteorology. We tackle this problem with a novel approach that leverages the connection between FM and dynamic optimal transport (OT), introducing time-dependent potential terms in the dynamic OT action that can steer the flow towards the intermediate marginals. By extending the conditional FM learning target to incorporate these potentials, we derive an efficient, simulation-free algorithm for multimarginal FM that offers considerable flexibility in the spatiotemporal dynamics of the learned flows. We demonstrate state-of-the-art performance of OT-potential FM (OTP-FM) on diverse scientific datasets.
","absKo":"Flow matching (FM)은 두 empirical distribution 사이의 동적 transport map을 학습하기 위한 강력한 프레임워크로 부상했다. 그러나 끝점 사이의 flow를 제약하는 데 도움이 될 수 있는 중간 observed marginal이 존재하는 설정은 덜 탐구되었다. 이러한 \"multimarginal\" regime은 biology와 meteorology처럼 순차적 분포를 샘플링할 수 있는 많은 과학 분야의 dynamical system에서 temporal evolution을 모델링하는 데 핵심적이다. 우리는 FM과 dynamic optimal transport (OT) 간의 연결을 활용하는 새로운 접근으로 이 문제를 다룬다. 즉, flow를 중간 marginal 쪽으로 유도할 수 있는 dynamic OT action에 time-dependent potential term을 도입한다. 이러한 potential을 통합하도록 conditional FM learning target을 확장함으로써, 우리는 학습된 flow의 spatiotemporal dynamics에서 상당한 유연성을 제공하는 multimarginal FM을 위한 효율적인 simulation-free algorithm을 도출한다. 우리는 다양한 과학 데이터셋에서 OT-potential FM (OTP-FM)이 state-of-the-art 성능을 달성함을 보인다.
"},{"id":"62183","en":"Reconstructing Template-Memorized Images from Natural Prompts","ko":"자연어 프롬프트로부터 Template-Memorized 이미지 재구성","authors":"Sol Yarkoni, Mahmood Sharif, Roi Livni","pos":"#2400","link":"https://openreview.net/forum?id=iyG31VdQfG","abs":"Recent advances in generative models, such as diffusion models, have raised concerns related to privacy, copyright infringement, and data curation. Prior work has shown that training data can be reconstructed from such models, but existing attacks typically rely on substantial computational resources, access to the training set, or carefully engineered prompts. In this work, we present a low-resource reconstruction attack that operates through seemingly benign prompts and requires little to no access to the training data. Our attack targets template-memorized images (TMI), where recurring layouts and visual structures are memorized during training. We show that such memorization manifests under potentially realistic usage. This raises a possibility of unintentional reconstruction by naive users that don't carry explicit adversarial intent. For example, we observe that a simple prompt such as \"blue Unisex T-Shirt\" can reproduce visual content depicting a real individual. Beyond extraction, we observe novel phenomena occurring in TMI (e.g., interpolation), raising questions about the novelty of generated content and the effectiveness of established methods for detecting memorized content.
","absKo":"diffusion model과 같은 생성 모델의 최근 발전은 privacy, copyright infringement, data curation과 관련된 우려를 불러일으켰다. 선행 연구는 이러한 모델로부터 training data를 재구성할 수 있음을 보였지만, 기존 공격은 대개 상당한 계산 자원, training set 접근, 또는 정교하게 설계된 prompt에 의존한다. 본 연구에서는 겉보기에는 무해한 prompt를 통해 동작하며 training data에 거의 또는 전혀 접근하지 않고도 수행 가능한 저자원 reconstruction attack을 제시한다. 우리의 공격은 학습 중 반복되는 layout과 visual structure가 기억되는 template-memorized images(TMI)를 대상으로 한다. 우리는 이러한 memorization이 잠재적으로 현실적인 사용 상황에서 나타남을 보인다. 이는 명시적인 adversarial intent를 갖지 않은 순진한 사용자에 의한 비의도적 reconstruction 가능성을 제기한다. 예를 들어, \"blue Unisex T-Shirt\"와 같은 단순한 prompt만으로도 실제 개인을 묘사하는 visual content를 재현할 수 있음을 관찰했다. 추출을 넘어서, 우리는 TMI에서 interpolation과 같은 새로운 현상도 관찰했으며, 이는 생성 콘텐츠의 novelty와 memorized content를 탐지하는 기존 방법의 효과성에 대한 의문을 제기한다.
"},{"id":"64675","en":"VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization","ko":"VideoFlexTok: 가변 길이 Coarse-to-Fine 비디오 Tokenization","authors":"Andrei Atanov, Jesse Allardice, Roman Bachmann, Oğuzhan Fatih Kar, R Devon Hjelm, David Griffiths, Peter Fu, Amir Zamir, Afshin Dehghan","pos":"#3001","link":"https://openreview.net/forum?id=KyVlaw4BxE","abs":"Visual tokenizers map high-dimensional raw pixels into a compressed representation for downstream modeling, e.g., conditional video generation. Beyond compression, tokenizers define what information is preserved and how it is organized. A de facto standard approach is to represent a video with a spatiotemporal 3D grid of tokens, each corresponding to a local patch in the original signal. This requires a downstream model, e.g., a text-to-video model, to learn to predict all low-level details ``pixel-by-pixel'' irrespective of the video's inherent complexity, resulting in high computational cost during training. We present VideoFlexTok, a tokenizer that represents videos with a variable-length sequence of tokens structured in a coarse-to-fine manner, where the first tokens capture abstract information like semantics and motion and later tokens provide fine-grained details. The generative flow decoder enables realistic video reconstructions from any token count. This representation structure allows adapting the tokens count to particular downstream needs and encode videos longer than the 3D grid approach under the same budget. We evaluate VideoFlexTok on class-to-video and text-to-video generative tasks and show that it leads to more efficient training compared to 3D grid tokens, e.g., achieving comparable generation quality (gFVD and ViCLIP Score) with a 10x smaller model (0.4B vs 3.6B). Finally, we demonstrate how VideoFlexTok can enable long video generation without prohibitive computational cost by training a text-to-video model on 10-second 81-frame videos with only 672 tokens, 8x fewer than a comparable 3D grid tokenizer.
","absKo":"Visual tokenizer는 고차원 raw pixel을 downstream modeling, 예를 들어 conditional video generation을 위한 압축 표현으로 매핑한다. 압축을 넘어, tokenizer는 어떤 정보가 보존되는지와 그것이 어떻게 조직되는지를 정의한다. de facto 표준 접근은 비디오를 spatiotemporal 3D grid of tokens로 표현하는 것이며, 각 token은 원래 신호의 local patch에 대응한다. 이는 downstream model, 예를 들어 text-to-video model이 비디오의 고유한 복잡성과 무관하게 모든 low-level detail을 ``pixel-by-pixel''로 예측하도록 학습해야 함을 의미하며, 그 결과 training 시 높은 computational cost가 발생한다. 우리는 coarse-to-fine 방식으로 구조화된 variable-length sequence of tokens로 비디오를 표현하는 tokenizer인 VideoFlexTok을 제안한다. 여기서 앞쪽 token들은 semantics와 motion 같은 abstract information을 포착하고, 뒤쪽 token들은 fine-grained detail을 제공한다. generative flow decoder는 어떤 token 개수에서도 현실적인 video reconstruction을 가능하게 한다. 이러한 representation 구조는 특정 downstream needs에 맞게 token 개수를 조정할 수 있게 하며, 동일한 budget에서 3D grid approach보다 더 긴 비디오를 encode할 수 있게 한다. 우리는 class-to-video 및 text-to-video 생성 태스크에서 VideoFlexTok을 평가하고, 3D grid token과 비교해 더 효율적인 training을 이끈다는 것을 보인다. 예를 들어 10배 더 작은 model(0.4B vs 3.6B)로도 비견 가능한 generation quality(gFVD 및 ViCLIP Score)를 달성한다. 마지막으로, 10초 81-frame 비디오에 대해 단 672 token, 즉 비교 가능한 3D grid tokenizer보다 8배 적은 token으로 text-to-video model을 학습함으로써, 과도한 computational cost 없이 긴 비디오 생성을 가능하게 할 수 있음을 보인다.
"},{"id":"66047","en":"From Statics to Dynamics: Physics-Aware Image Editing with Latent Transition Priors","ko":"정적에서 동적으로: 잠재 전이 사전지식을 활용한 물리 인식 이미지 편집","authors":"Liangbing Zhao, Le Zhuo, Sayak Paul, Hongsheng Li, Mohamed Elhoseiny","pos":"#3817","link":"https://openreview.net/forum?id=7YeCG53Bo9","abs":"Instruction-based image editing has achieved remarkable success in semantic alignment, yet state-of-the-art models frequently fail to render physically plausible results when editing involves complex causal dynamics, such as refraction or material deformation. We attribute this limitation to the dominant paradigm that treats editing as a discrete mapping between image pairs, which provides only boundary conditions and leaves transition dynamics underspecified. To address this, we reformulate physics-aware editing as predictive physical state transitions and introduce PhysicTran38K, a large-scale video-based dataset comprising 38K transition trajectories across five physical domains, constructed via a two-stage filtering and constraint-aware annotation pipeline. Building on this supervision, we propose PhysicEdit, an end-to-end framework equipped with a textual-visual dual-thinking mechanism. It combines a frozen Qwen2.5-VL for physically grounded reasoning with learnable transition queries that provide timestep-adaptive visual guidance to a diffusion backbone. Experiments show that PhysicEdit improves over Qwen-Image-Edit by 5.9\\% in physical realism and 10.1\\% in knowledge-grounded editing, setting a new state-of-the-art for open-source methods, while remaining competitive with leading proprietary models.
","absKo":"Instruction-based image editing은 semantic alignment에서 놀라운 성공을 거두었지만, 최첨단 모델들은 굴절(refraction)이나 material deformation처럼 복잡한 causal dynamics가 개입되는 편집에서는 물리적으로 그럴듯한 결과를 생성하는 데 자주 실패한다. 우리는 이러한 한계를 image pair 사이의 discrete mapping으로 편집을 취급하는 지배적인 패러다임에 기인한다고 본다. 이 방식은 경계 조건만 제공할 뿐 transition dynamics는 충분히 규정하지 못한다. 이를 해결하기 위해 우리는 physics-aware editing을 predictive physical state transitions로 재정식화하고, 두 단계 filtering 및 constraint-aware annotation pipeline을 통해 구축한 5개 물리 도메인 전반의 38K transition trajectory로 구성된 대규모 video-based dataset인 PhysicTran38K를 도입한다. 이러한 supervision을 바탕으로, 우리는 textual-visual dual-thinking mechanism을 갖춘 end-to-end framework인 PhysicEdit를 제안한다. 이 프레임워크는 물리적으로 grounded reasoning을 위한 frozen Qwen2.5-VL과, diffusion backbone에 timestep-adaptive visual guidance를 제공하는 learnable transition query를 결합한다. 실험 결과, PhysicEdit는 물리적 사실성에서 Qwen-Image-Edit보다 5.9\\%, knowledge-grounded editing에서 10.1\\% 향상되어 open-source 방법 중 새로운 state-of-the-art를 달성했으며, 동시에 선도적인 proprietary model들과 경쟁력 있는 성능을 유지한다.
"},{"id":"64933","en":"Plug-and-Play Guidance for Discrete Diffusion Models via Gradient-Informed Logit Correction","ko":"Gradient-Informed Logit Correction을 통한 Discrete Diffusion Model을 위한 Plug-and-Play Guidance","authors":"Hongkun Dou, Zike Chen, fengji Li, Hongjue Li, Yue Deng","pos":"#1915","link":"https://openreview.net/forum?id=IXsOS3hF8Y","abs":"Controllable generation with discrete diffusion models is often hindered by high computational overhead or the need for retraining. In this paper, we present Gradient-Informed Logit Correction (GILC), a plug-and-play framework that efficiently estimates guidance signals by repurposing the pretrained denoising network as a variational proxy. To circumvent the gradient instability inherent in high-dimensional discrete spaces, we introduce a Jacobian-free mechanism that directly corrects the clean prediction logits, facilitating stable and effective guidance. Our method accommodates both differentiable and non-differentiable reward functions. Extensive experiments across DNA, protein sequence, and molecular generation tasks demonstrate that GILC achieves state-of-the-art performance without additional training, frequently outperforming fine-tuning approaches.
","absKo":"discrete diffusion model을 이용한 controllable generation은 종종 높은 계산 오버헤드나 재학습 필요성에 의해 제약된다. 본 논문에서는 사전 학습된 denoising network를 variational proxy로 재활용하여 guidance signal을 효율적으로 추정하는 plug-and-play 프레임워크인 Gradient-Informed Logit Correction(GILC)을 제시한다. 고차원 discrete space에 내재된 gradient 불안정을 우회하기 위해, 우리는 clean prediction logits를 직접 보정하는 Jacobian-free 메커니즘을 도입하여 안정적이고 효과적인 guidance를 가능하게 한다. 우리 방법은 미분 가능한 reward function과 미분 불가능한 reward function 모두를 지원한다. DNA, protein sequence, molecular generation task 전반에 걸친 광범위한 실험은 GILC가 추가 학습 없이 state-of-the-art 성능을 달성하며, 종종 fine-tuning 접근법보다 우수함을 보여준다.
"},{"id":"62690","en":"From Moments to Models: Graphon-Mixture Learning for Mixup and Contrastive Learning","ko":"Moments에서 Models로: Mixup과 대조 학습을 위한 Graphon-Mixture Learning","authors":"Ali Azizpour, Reza Ramezanpour, Santiago Segarra","pos":"#2413","link":"https://openreview.net/forum?id=eGJEOl9vAg","abs":"Real-world graph datasets often arise from mixtures of populations, where graphs are generated by multiple distinct underlying distributions. In this work, we propose a unified framework that explicitly models graph data as a mixture of probabilistic graph generative models represented by graphons. To characterize and estimate these graphons, we leverage graph moments (motif densities) to cluster graphs generated from the same underlying model. We establish a novel theoretical guarantee, deriving a tighter bound showing that graphs sampled from structurally similar graphons exhibit similar motif densities with high probability. This result enables principled estimation of graphon mixture components. We show how incorporating estimated graphon mixture components enhances two widely used downstream paradigms: graph data augmentation via mixup and graph contrastive learning. By conditioning these methods on the underlying generative models, we develop graphon-mixture-aware mixup (GMAM) and model-aware graph contrastive learning (MGCL). Extensive experiments on both simulated and real-world datasets demonstrate strong empirical performance. In supervised learning, GMAM outperforms existing augmentation strategies, achieving new state-of-the-art accuracy on 6 out of 7 datasets. In unsupervised learning, MGCL performs competitively across seven benchmark datasets and achieves the lowest average rank overall.
","absKo":"실세계 graph dataset은 종종 여러 개의 서로 다른 underlying distribution이 graph를 생성하는 population mixture에서 비롯된다. 본 연구에서는 graph data를 graphon으로 표현되는 probabilistic graph generative model의 mixture로 명시적으로 모델링하는 통합 프레임워크를 제안한다. 이러한 graphon을 특징짓고 추정하기 위해, graph moment(motif density)를 활용하여 같은 underlying model에서 생성된 graph들을 클러스터링한다. 우리는 구조적으로 유사한 graphon에서 샘플링된 graph가 높은 확률로 유사한 motif density를 보인다는 더 타이트한 bound를 유도하여, 새로운 이론적 보장을 확립한다. 이 결과는 graphon mixture component의 원리 있는 추정을 가능하게 한다. 우리는 추정된 graphon mixture component를 반영하는 것이 널리 사용되는 두 downstream paradigm, 즉 graph data augmentation via mixup과 graph contrastive learning을 어떻게 향상시키는지 보인다. 이러한 방법들을 underlying generative model에 조건화함으로써 graphon-mixture-aware mixup (GMAM)과 model-aware graph contrastive learning (MGCL)을 개발한다. 시뮬레이션 및 실세계 데이터셋 전반에 대한 광범위한 실험은 강력한 실증 성능을 보여준다. supervised learning에서는 GMAM이 기존 augmentation strategy를 능가하며 7개 데이터셋 중 6개에서 새로운 state-of-the-art 정확도를 달성한다. unsupervised learning에서는 MGCL이 7개 benchmark dataset 전반에서 경쟁력 있는 성능을 보이며 전체 평균 순위에서도 가장 낮은 값을 기록한다.
"},{"id":"66396","en":"LongCoT: Benchmarking Long-Horizon Chain-of-Thought Reasoning","ko":"LongCoT: 장기 지평 Chain-of-Thought 추론 벤치마킹","authors":"Sumeet Motwani, Daniel Nichols, Charles London, Peggy Li, Fabio Pizzati, Acer Blake, Hasan Hammoud, Tavish McDonald, Akshat Naik, Alesia Ivanova, Vignesh Baskaran, Ivan Laptev, Ruben Glatt, Tal Ben-Nun, Phil Torr, Ameya Pandurang Prabhu, Brian Bartoldson, Bhavya Kailkhura, Christian Schroeder de Witt","pos":"#4312","link":"https://openreview.net/forum?id=47NnSXz3im","abs":"As language models are increasingly deployed for complex autonomous tasks, their ability to reason accurately over longer horizons becomes critical. An essential component of this ability is planning and managing a long, complex chain-of-thought (CoT). We introduce LongCoT, a scalable benchmark of 2,500 expert-designed problems spanning chemistry, mathematics, computer science, chess, and logic to isolate and directly measure the long-horizon CoT reasoning capabilities of frontier models. Problems consist of a short input with a verifiable answer; solving them requires navigating a graph of interdependent steps that span tens to hundreds of thousands of reasoning tokens. Each local step is individually tractable for frontier models, so failures reflect long-horizon reasoning limitations. At release, the best models achieve <10% accuracy (GPT 5.2: 9.8%; Gemini 3 Pro: 6.1%) on LongCoT, revealing a substantial gap in current capabilities. Overall, LongCoT provides a rigorous measure of long-horizon reasoning, tracking the ability of frontier models to reason reliably over extended periods.
","absKo":"language models가 점점 더 복잡한 autonomous task에 배치됨에 따라, 더 긴 horizon에 걸쳐 정확하게 reasoning할 수 있는 능력이 중요해지고 있다. 이 능력의 핵심 구성요소는 길고 복잡한 chain-of-thought (CoT)를 planning하고 관리하는 것이다. 우리는 chemistry, mathematics, computer science, chess, logic 전반을 아우르는 2,500개의 expert-designed problem으로 구성된 확장 가능한 benchmark인 LongCoT를 소개하여, frontier model의 long-horizon CoT reasoning capability를 분리해서 직접 측정한다. 문제는 검증 가능한 답이 있는 짧은 input으로 구성되며, 이를 풀려면 수만 개에서 수십만 개의 reasoning token에 걸친 상호의존적 단계 그래프를 탐색해야 한다. 각 local step은 frontier model에 의해 개별적으로는 처리 가능하므로, 실패는 long-horizon reasoning의 한계를 반영한다. 공개 시점에서 최상위 model은 LongCoT에서 <10% 정확도(GPT 5.2: 9.8%; Gemini 3 Pro: 6.1%)를 기록하여, 현재 capability에 상당한 격차가 있음을 드러낸다. 전반적으로 LongCoT는 장기간에 걸쳐 안정적으로 reasoning하는 frontier model의 능력을 추적하는, long-horizon reasoning에 대한 엄격한 측정 기준을 제공한다."},{"id":"66280","en":"Active Reasoning Vision-Language Model via Sequential Experimental Design","ko":"순차적 실험 설계를 통한 능동적 추론 Vision-Language 모델","authors":"Anjie Liu, Ziqin Gong, Yan Song, Yuxiang Chen, Xiaolong Liu, Hengtong Lu, Kaike Zhang, Chen Wei, Jun Wang","pos":"#2700","link":"https://openreview.net/forum?id=59WxkdZv5E","abs":"Visual perception in modern Vision-Language Models (VLM) is constrained by a fundamental perceptual bandwidth bottleneck: a broad field-of-view inevitably sacrifices the fine-grained details necessary for complex reasoning. Inspired by the classical paradigms of active vision and information foraging, we frame overcoming this limitation as a sequential decision-making process. We formalise this process through the lens of the sequential Bayesian optimal experimental design (S-BOED) problem. While exact Bayesian inference is intractable in continuous gigapixel spaces, we derive principled yet tractable approximations that balance spatial coverage against resolution. To validate this framework, we present a training-free inference strategy as a practical instantiation of the S-BOED objective for agents equipped with multiple vision tools. Designed as a flexible template, this strategy accommodates arbitrary optimisation algorithms—ranging from efficient greedy sampling to look-ahead planning—to approximate the optimal design. Empirical evaluations on gigapixel-level benchmarks demonstrate that our approach further boosts the performance of state-of-the-art models, significantly outperforming standard baselines and effectively narrowing the gap toward human-annotated oracles.
","absKo":"현대 Vision-Language Model(VLM)의 시각 지각은 근본적인 perceptual bandwidth 병목에 의해 제약된다. 즉, 넓은 field-of-view는 복잡한 추론에 필요한 미세한 세부 정보를 필연적으로 희생한다. active vision과 information foraging의 고전적 패러다임에서 영감을 받아, 우리는 이 한계를 극복하는 문제를 순차적 의사결정 과정으로 정식화한다. 우리는 이 과정을 sequential Bayesian optimal experimental design(S-BOED) 문제의 관점으로 공식화한다. continuous gigapixel 공간에서는 정확한 Bayesian inference가 계산적으로 다루기 어렵지만, 우리는 spatial coverage와 resolution 사이의 균형을 맞추는 원칙적이면서도 tractable한 근사식을 유도한다. 이 framework를 검증하기 위해, 우리는 여러 vision tool을 갖춘 agent를 위한 S-BOED objective의 실용적 구현으로 training-free inference strategy를 제시한다. 유연한 template로 설계된 이 전략은 효율적인 greedy sampling부터 look-ahead planning에 이르는 임의의 optimization algorithm을 수용하여 optimal design을 근사할 수 있다. gigapixel 수준 benchmark에 대한 실증 평가는 우리의 접근법이 state-of-the-art model의 성능을 더욱 향상시키고, standard baseline을 크게 능가하며, human-annotated oracle에 대한 격차를 효과적으로 좁힘을 보여준다.
"},{"id":"66680","en":"When Model Merging Breaks Routing: Training-Free Calibration for MoE","ko":"모델 병합이 라우팅을 망칠 때: MoE를 위한 학습 불필요 Calibration","authors":"Canbin Huang, Tianyuan Shi, Xiaojun Quan, Jingang Wang, Jianfei Zhang, Qifan Wang","pos":"#1601","link":"https://openreview.net/forum?id=1ORZJtadQl","abs":"Model merging has emerged as a cost-effective approach for consolidating the capabilities of multiple LLMs without retraining. However, existing merging techniques, largely based on linear parameter arithmetic or optimization, struggle when applied to Mixture-of-Experts (MoE) architectures. We identify a critical failure mode in MoE merging, termed *routing breakdown*, in which the merged router fails to dispatch tokens to suitable experts. Routing breakdown stems from the sensitivity of the non-linear softmax and discrete Top-$k$ routing mechanisms to parameter perturbations from merging, a sensitivity further amplified by load-balancing constraints imposed during MoE pretraining. Because fine-tuned experts exhibit distinct specializations, even modest misrouting can cause severe performance degradation. To address this issue, we propose Hessian-Aware Router Calibration (HARC), a training-free framework that leverages second-order curvature information to realign the merged router. This approach admits a closed-form solution that can be efficiently solved using a matrix-free conjugate gradient method. Experiments on mathematical reasoning and code generation tasks show that HARC effectively mitigates routing breakdown across diverse MoE merging baselines and leads to substantial performance improvements.","absKo":"Model merging은 재학습 없이 여러 LLM의 능력을 통합하는 비용 효율적인 접근으로 부상했다. 그러나 주로 linear parameter arithmetic이나 optimization에 기반한 기존 merging 기법은 Mixture-of-Experts (MoE) architecture에 적용될 때 어려움을 겪는다. 우리는 MoE merging에서 중요한 failure mode를 식별했으며, 이를 *routing breakdown*이라 부른다. 이 현상은 merged router가 token을 적절한 expert로 전달하지 못할 때 발생한다. Routing breakdown은 merging으로 인한 parameter perturbation에 대해 non-linear softmax와 discrete Top-$k$ routing mechanism이 민감하다는 점에서 비롯되며, MoE pretraining 중 부과된 load-balancing constraint 때문에 이 민감도는 더욱 증폭된다. fine-tuned expert들이 서로 다른 specialization을 가지므로, 작은 수준의 misrouting도 심각한 성능 저하를 초래할 수 있다. 이 문제를 해결하기 위해 우리는 Hessian-Aware Router Calibration (HARC)을 제안한다. 이는 second-order curvature information을 활용해 merged router를 재정렬하는 training-free framework이다. 이 접근은 matrix-free conjugate gradient method를 사용해 효율적으로 풀 수 있는 closed-form solution을 제공한다. 수학적 추론 및 code generation task에서의 실험은 HARC가 다양한 MoE merging baseline 전반에서 routing breakdown을 효과적으로 완화하고, 상당한 성능 향상을 이끎을 보여준다."},{"id":"64949","en":"Synthesizing Multimodal Geometry Datasets from Scratch and Enabling Visual Alignment via Plotting Code","ko":"처음부터 멀티모달 기하 데이터셋 합성과 Plotting Code를 통한 Visual Alignment 실현","authors":"Haobo Lin, Tianyi Bai, Chen Chen, Jiajun Zhang, Bohan Zeng, Wentao Zhang, Binhang Yuan","pos":"#1712","link":"https://openreview.net/forum?id=IPADrcEOJx","abs":"Multimodal geometry reasoning requires models to jointly understand visual diagrams and perform structured symbolic inference, yet current vision--language models struggle with complex geometric constructions due to limited training data and weak visual--symbolic alignment. We propose a pipeline for synthesizing complex multimodal geometry problems from scratch and construct a dataset named \\textbf{GeoCode}, which decouples problem generation into symbolic seed construction, grounded instantiation with verification, and code-based diagram rendering, ensuring consistency across structure, text, reasoning, and images. Leveraging the plotting code provided in GeoCode, we further introduce code prediction as an explicit alignment objective, transforming visual understanding into a supervised structured prediction task. GeoCode exhibits substantially higher structural complexity and reasoning difficulty than existing benchmarks, while maintaining mathematical correctness through multi-stage validation. Extensive experiments show that models trained on GeoCode achieve consistent improvements on multiple geometry benchmarks, demonstrating both the effectiveness of the dataset and the proposed alignment strategy. The code is available at \\url{https://anonymous.4open.science/r/SGD-Z368/}.
","absKo":"Multimodal geometry reasoning은 모델이 visual diagram을 함께 이해하고 structured symbolic inference를 수행해야 하지만, 현재 vision--language model은 제한된 학습 데이터와 약한 visual--symbolic alignment 때문에 복잡한 geometric construction에서 어려움을 겪는다. 우리는 복잡한 multimodal geometry problem을 처음부터 합성하는 pipeline을 제안하고, \\textbf{GeoCode}라는 이름의 dataset을 구축한다. 이 dataset은 problem generation을 symbolic seed construction, verification이 포함된 grounded instantiation, code-based diagram rendering으로 분리하여 structure, text, reasoning, image 전반의 일관성을 보장한다. GeoCode가 제공하는 plotting code를 활용하여, 우리는 code prediction을 명시적인 alignment objective로 추가로 도입함으로써 visual understanding을 supervised structured prediction task로 전환한다. GeoCode는 기존 benchmark보다 구조적 복잡성과 reasoning 난이도가 훨씬 높으면서도, multi-stage validation을 통해 수학적 정합성을 유지한다. 광범위한 실험 결과, GeoCode로 학습한 model은 여러 geometry benchmark에서 일관된 성능 향상을 달성하여, dataset의 효과와 제안한 alignment strategy 모두의 유효성을 입증한다. 코드는 \\url{https://anonymous.4open.science/r/SGD-Z368/}에서 확인할 수 있다.
"},{"id":"68820","en":"SEM-CTRL: Semantically Controlled Decoding","ko":"SEM-CTRL: 의미적으로 제어된 디코딩","authors":"Mohammad Albinhassan, Pranava Madhyastha, Alessandra Russo","pos":"#1807","abs":"Ensuring both syntactic and semantic correctness in Large Language Model (LLM) outputs remains a significant challenge, despite being critical for real-world deployment. In this paper, we introduce $\\texttt{SEM-CTRL}$, a unified approach that allows for enforcing rich context-sensitive constraints, and task and instance specific semantics directly on the LLM decoder. Our approach integrates token-level MCTS which is guided by specific syntactic and semantic constraints. The constraints over desired outputs are expressed using Answer Set Grammars, which is a logic-based formalism that generalizes context sensitive grammars while incorporating background knowledge to represent task-specific semantics. We show that our approach helps guarantee valid completions for any off-the-shelf LLM without the need for fine-tuning. We evaluate $\\texttt{SEM-CTRL}$ on a range of tasks, including synthetic grammar synthesis, combinatorial reasoning, JSON parsing, and planning. Our experimental results demonstrate that $\\texttt{SEM-CTRL}$ allows even small pre-trained LLMs to efficiently outperform larger variants and state-of-the-art reasoning models (e.g., $\\text{\\textit{o4-mini}}$) while simultaneously guaranteeing semantic validity.","absKo":"Large Language Model(LLM) 출력에서 syntactic 및 semantic correctness를 모두 보장하는 것은 실제 배포에서 매우 중요한 과제임에도 여전히 큰 도전이다. 이 논문에서는 풍부한 context-sensitive constraint와 task 및 instance-specific semantics를 LLM decoder에 직접 강제할 수 있는 통합 접근법 $\\texttt{SEM-CTRL}$을 소개한다. 우리의 접근법은 특정 syntactic 및 semantic constraint에 의해 안내되는 token-level MCTS를 통합한다. 원하는 출력에 대한 제약은 Answer Set Grammars를 사용해 표현되는데, 이는 context sensitive grammar를 일반화하면서 background knowledge를 통합해 task-specific semantics를 나타내는 logic-based formalism이다. 우리는 우리의 접근법이 fine-tuning 없이도 어떤 off-the-shelf LLM에 대해서든 valid completion을 보장하는 데 도움이 됨을 보인다. 우리는 synthetic grammar synthesis, combinatorial reasoning, JSON parsing, planning을 포함한 다양한 task에서 $\\texttt{SEM-CTRL}$을 평가한다. 실험 결과는 $\\texttt{SEM-CTRL}$이 작은 pre-trained LLM조차도 더 큰 변형과 state-of-the-art reasoning model(예: $\\text{\\textit{o4-mini}}$)을 효율적으로 능가하게 하면서 동시에 semantic validity를 보장함을 보여준다."},{"id":"65153","en":"SERA: Soft-Verified Efficient Repository Agents","ko":"SERA: Soft-Verified 효율적 리포지토리 에이전트","authors":"Ethan Shen, Daniel Tormoen, Saurabh Shah, Ali Farhadi, Tim Dettmers","pos":"#1808","link":"https://openreview.net/forum?id=GHKj1XcSlt","abs":"Open-weight coding agents should hold a fundamental advantage over closed-source systems: they can be specialized to private codebases, encoding repository-specific information directly in their weights. Yet the cost and complexity of training has kept this advantage theoretical - until now. We present Soft-Verified Efficient Repository Agents (SERA), an efficient method for training coding agents that enables the rapid and cheap creation of agents specialized to private codebases. Using only supervised finetuning (SFT), SERA achieves state-of-the-art results among fully open-source (open data, method, code) models while matching the performance of open-weight models like Devstral-Small-2. Creating SERA models is 26x cheaper than reinforcement learning and 57x cheaper than previous synthetic data methods to reach equivalent performance. Our method, Soft Verified Generation (SVG), generates thousands of trajectories from a single code repository. Beyond repository specialization, we apply SVG to a larger corpus of codebases, generating over 200,000 synthetic trajectories. We use this dataset to provide detailed analysis of scaling laws, ablations, and confounding factors for training coding agents. Overall, we believe our work will greatly accelerate research on open coding agents and showcase the advantage of open-source models that can specialize to private codebases.
","absKo":"Open-weight coding agents는 closed-source systems에 비해 근본적인 이점을 가져야 한다. 즉, repository-specific information을 weights에 직접 인코딩함으로써 private codebase에 특화될 수 있기 때문이다. 그러나 학습의 비용과 복잡성 때문에 이 이점은 지금까지 이론에 머물렀다. 이제까지는 말이다. 우리는 Soft-Verified Efficient Repository Agents (SERA)를 제시한다. 이는 coding agent를 학습하는 효율적인 방법으로, private codebase에 특화된 agent를 빠르고 저렴하게 생성할 수 있게 한다. SERA는 supervised finetuning (SFT)만을 사용하여, fully open-source(open data, method, code) 모델들 중 state-of-the-art 결과를 달성하는 동시에 Devstral-Small-2와 같은 open-weight 모델의 성능과도 맞먹는다. SERA 모델을 만드는 비용은 동일한 성능에 도달하는 데 reinforcement learning보다 26배, 기존 synthetic data 방법보다 57배 저렴하다. 우리의 방법인 Soft Verified Generation (SVG)은 단일 code repository로부터 수천 개의 trajectory를 생성한다. Repository specialization을 넘어, 우리는 SVG를 더 큰 codebase 코퍼스에 적용하여 20만 개가 넘는 synthetic trajectory를 생성한다. 이 데이터셋을 사용해 coding agent 학습을 위한 scaling law, ablation, confounding factor에 대한 상세 분석을 제공한다. 전반적으로, 우리는 이 작업이 open coding agent 연구를 크게 가속하고 private codebase에 특화될 수 있는 open-source model의 장점을 보여줄 것이라 믿는다.
"},{"id":"66221","en":"Scaling the Scaling Logic: Agentic Meta-Synthesis of Logic Reasoning","ko":"스케일링 논리의 스케일링: 논리 추론의 에이전트형 메타 종합","authors":"Bowen LIU, Zhi Wu, RunquanXie, Zhanhui Kang, Jia Li","pos":"#1812","link":"https://openreview.net/forum?id=5fMeQEzret","abs":"Scaling verifiable training signals remains a key bottleneck for Reinforcement Learning from Verifiable Rewards (RLVR). Logical reasoning is a natural substrate: constraints are formal and answers are programmatically checkable. However, prior synthesis pipelines either depend on expert-written code or operate within fixed templates/skeletons, which limits growth largely to instance-level perturbations. We propose SSLogic, an agentic meta-synthesis framework that scales at the task-family level by iteratively synthesizing and refining executable Generator--Validator program pairs in a closed Generate--Validate--Refine loop, enabling continuous family evolution with controllable difficulty. To ensure reliability, we introduce a Multi-Gate Validation Protocol that combines multi-strategy consistency checks with Adversarial Blind Review, where independent agents must solve instances by writing and executing code to filter ambiguous or ill-posed tasks. Starting from 400 seed families, two evolution rounds expand to 953 families and 21,389 verifiable instances (from 5,718). Training on SSLogic-evolved data yields consistent gains over the seed baseline at matched training steps, improving SynLogic by +5.2, BBEH by +1.4, AIME25 by +3.0, and Brumo25 by +3.7. Code is available at https://anonymous.4open.science/r/Scaling-the-Scaling-Logic-6F4B/.
","absKo":"검증 가능한 training signal의 확장은 Reinforcement Learning from Verifiable Rewards(RLVR)의 핵심 병목이다. 논리적 추론은 제약이 형식적이고 답을 programmatically check할 수 있기 때문에 자연스러운 기반이 된다. 그러나 기존 synthesis pipeline은 전문가가 작성한 코드에 의존하거나 고정된 template/skeleton 내부에서만 동작하여, 성장 범위가 주로 instance-level perturbation에 한정된다. 우리는 task-family 수준에서 확장되는 agentic meta-synthesis framework인 SSLogic를 제안한다. 이 프레임워크는 closed Generate--Validate--Refine 루프 안에서 실행 가능한 Generator--Validator 프로그램 쌍을 반복적으로 합성하고 정제함으로써, 난이도를 제어할 수 있는 지속적 family 진화를 가능하게 한다. 신뢰성을 보장하기 위해, 우리는 다중 전략 일관성 점검과 Adversarial Blind Review를 결합한 Multi-Gate Validation Protocol을 도입한다. 여기서 독립적인 agent는 code를 작성하고 실행하여 instance를 해결함으로써 모호하거나 부적절하게 정의된 task를 걸러낸다. 400개의 seed family에서 시작하여 두 차례의 evolution round를 거친 결과, family 수는 953개로, verifiable instance는 5,718개에서 21,389개로 확장된다. SSLogic로 진화된 데이터로 학습하면 동일한 training step에서 seed baseline 대비 일관된 성능 향상을 보이며, SynLogic에서 +5.2, BBEH에서 +1.4, AIME25에서 +3.0, Brumo25에서 +3.7의 개선을 달성한다. 코드는 https://anonymous.4open.science/r/Scaling-the-Scaling-Logic-6F4B/ 에서 제공된다.
"},{"id":"65876","en":"SelfJudge: Faster Speculative Decoding via Self-Supervised Judge Verification","ko":"SelfJudge: 자기지도 심판 검증을 통한 더 빠른 추측 디코딩","authors":"Kanghoon Yoon, Minsub Kim, Sungjae Lee, Joonhyung Lee, Sunghyeon Woo, Yeonjun In, Se Jung Kwon, Chanyoung Park, Dongsoo Lee","pos":"#1816","link":"https://openreview.net/forum?id=9DAX4oLVhy","abs":"Speculative decoding accelerates LLM inference by verifying candidate tokens from a draft model against a larger target model. Recent \"judge'' decoding boosts this process by relaxing verification criteria by accepting draft tokens that may exhibit minor discrepancies from target model output, but existing methods are restricted by their reliance on human annotations or tasks with verifiable ground truths, limiting generalizability across diverse NLP tasks. We propose SelfJudge, which trains judge verifiers via self-supervision of the target model. Our method measures semantic preservation by assessing whether token-substituted responses preserve the meaning of original responses, enabling automatic verifier training across diverse NLP tasks. Our experiments show SelfJudge achieves superior inference-accuracy trade-offs than judge decoding baselines, offering a broadly applicable solution for faster LLM inference.
","absKo":"Speculative decoding은 draft model의 후보 token을 더 큰 target model과 비교 검증함으로써 LLM 추론을 가속한다. 최근의 \"judge\" decoding은 target model 출력과 약간의 차이를 보이는 draft token도 수용하도록 검증 기준을 완화함으로써 이 과정을 향상시키지만, 기존 방법은 human annotation이나 검증 가능한 ground truth가 있는 task에 의존하기 때문에 다양한 NLP task 전반에서의 일반화 가능성이 제한된다. 우리는 target model의 self-supervision을 통해 judge verifier를 학습하는 SelfJudge를 제안한다. 우리의 방법은 token-substituted response가 원래 응답의 의미를 보존하는지 평가함으로써 semantic preservation을 측정하며, 이를 통해 다양한 NLP task 전반에서 자동 verifier 학습을 가능하게 한다. 실험 결과 SelfJudge는 judge decoding baseline보다 더 우수한 추론-정확도 trade-off를 달성하여, 더 빠른 LLM 추론을 위한 폭넓게 적용 가능한 해법을 제공함을 보인다."},{"id":"63916","en":"Recontextualization Mitigates Specification Gaming Without Modifying the Specification","ko":"명세를 수정하지 않고 specification gaming 완화하기 위한 재맥락화","authors":"Ariana Azarbal, Victor Gillioz, Vladimir Ivanov, Bryce Woodworth, jacob drori, Nevan Wichers, Aram Ebtekar, Alex Cloud, Alexander Turner","pos":"#1900","link":"https://openreview.net/forum?id=SaJvQ26ZkR","abs":"Developers often struggle to specify correct training labels and rewards. Perhaps they don't need to. We propose recontextualization, which reduces how often language models \"game\" training signals, performing misbehaviors those signals fail to penalize. We show recontextualization prevents models from learning to 1) prioritize evaluation metrics over chat response quality; 2) special-case code to pass incorrect tests; 3) overwrite evaluation functions rather than write correct code; and 4) become sycophantic. Our method works by generating completions from prompts discouraging misbehavior and then recontextualizing them as though they were in response to prompts permitting misbehavior. Recontextualization trains language models to resist misbehavior even when instructions permit it. This mitigates the reinforcement of misbehavior from misspecified training signals, reducing specification gaming without improving the supervision signal.
","absKo":"개발자들은 종종 올바른 training label과 reward를 지정하는 데 어려움을 겪습니다. 어쩌면 그럴 필요가 없을지도 모릅니다. 우리는 recontextualization을 제안하며, 이는 language model이 training signal을 \"game\"하는 빈도를 줄여 그 signal이 처벌하지 못하는 misbehavior를 수행하는 현상을 완화합니다. 우리는 recontextualization이 모델이 1) chat response quality보다 evaluation metric을 우선시하고; 2) 잘못된 test를 통과하기 위해 code를 special-case로 작성하며; 3) 올바른 code를 작성하기보다 evaluation function을 덮어쓰고; 4) sycophantic해지는 것을 방지함을 보입니다. 우리의 방법은 misbehavior를 억제하는 prompt로부터 completion을 생성한 뒤, 그것들이 misbehavior를 허용하는 prompt에 대한 응답인 것처럼 recontextualizing하는 방식으로 작동합니다. Recontextualization은 instruction이 misbehavior를 허용하더라도 language model이 이를 거부하도록 학습시킵니다. 이는 잘못 명세된 training signal로부터 misbehavior가 강화되는 현상을 완화하여, supervision signal을 개선하지 않으면서도 specification gaming을 줄입니다.
"},{"id":"62647","en":"Realistic Adaptive Merging","ko":"현실적인 적응형 병합","authors":"Haokun Liu, Gyung Hyun Je, Marco Ciccone, Zhenlin Xu, Prasanth YSS, Colin Raffel","pos":"#1901","link":"https://openreview.net/forum?id=eibIUtU11k","abs":"The widespread availability of fine-tuned LoRA modules for open pre-trained models has led to an interest in methods that can adaptively merge LoRAs to improve performance. These methods typically include some way of selecting LoRAs from a pool and tune merging coefficients based on a task-specific dataset. While adaptive merging methods have demonstrated improvements in some settings, no past work has attempted to recycle LoRAs found ``in the wild'' on model repositories like the Hugging Face Hub. To address this gap, we consider recycling from a pool of nearly 1,000 user-contributed LoRAs trained from the Llama 3.1 8B-Instruct language model. Our empirical study includes a range of adaptive and non-adaptive merging methods in addition to a new method designed via a wide search over the methodological design space. We demonstrate that adaptive merging methods can improve performance over the base model but provide limited benefit over training a new LoRA on the same data used to set merging coefficients. We additionally find not only that the specific choice of LoRAs to merge has little importance, but that using LoRAs with randomly initialized parameter values yields similar performance. This raises the possibility that adaptive merging from recycled LoRAs primarily works via some kind of regularization effect, rather than by enabling positive cross-task transfer. To better understand why past work has proven successful, we confirm that positive transfer is indeed possible when there are highly relevant LoRAs in the pool. We release the model checkpoints and code online.
","absKo":"Open pre-trained model에 대해 fine-tuned LoRA module이 널리 사용 가능해지면서, 성능 향상을 위해 LoRA를 적응적으로 merge하는 방법에 대한 관심이 커졌다. 이러한 방법은 일반적으로 pool에서 LoRA를 선택하고 task-specific dataset에 기반해 merging coefficient를 조정하는 방식을 포함한다. adaptive merging 방법은 일부 설정에서 성능 향상을 보여 주었지만, Hugging Face Hub 같은 model repository에서 ``in the wild''로 발견되는 LoRA를 재활용하려는 시도는 없었다. 이러한 공백을 메우기 위해, 우리는 Llama 3.1 8B-Instruct language model로 학습된 사용자 기여 LoRA 약 1,000개로 이루어진 pool에서 재활용을 고려한다. 우리의 실증 연구는, 방법론적 설계 공간을 폭넓게 탐색해 새로 고안한 방법과 더불어 여러 adaptive 및 non-adaptive merging method를 포함한다. 우리는 adaptive merging method가 base model보다 성능을 향상시킬 수는 있지만, merging coefficient를 설정하는 데 사용한 동일한 데이터로 새 LoRA를 학습하는 것에 비해 이득은 제한적임을 보인다. 또한 어떤 LoRA를 merge하느냐의 구체적 선택은 큰 중요성이 없을 뿐 아니라, parameter value를 무작위로 초기화한 LoRA를 사용해도 유사한 성능이 나온다는 사실도 발견했다. 이는 재활용된 LoRA로부터의 adaptive merging이 cross-task transfer를 가능하게 하기보다는, 주로 어떤 종류의 regularization effect를 통해 작동할 가능성을 시사한다. 과거 연구가 왜 성공적이었는지 더 잘 이해하기 위해, 우리는 pool 안에 매우 관련성 높은 LoRA가 있을 때 실제로 positive transfer가 가능함을 확인한다. 우리는 model checkpoint와 code를 온라인으로 공개한다.
"},{"id":"62704","en":"Proxy Compression for Language Modeling","ko":"언어 모델링을 위한 Proxy Compression","authors":"Lin Zheng, Li Xinyu, Qian Liu, Xiachong Feng, Lingpeng Kong","pos":"#1906","link":"https://openreview.net/forum?id=e41bikBTnV","abs":"Modern language models are trained almost exclusively on token sequences produced by a fixed tokenizer, an external lossless compressor often over UTF‑8 byte sequences, thereby coupling the model to that compressor. This work introduces proxy compression, an alternative training scheme that preserves the efficiency benefits of compressed inputs while providing an end-to-end, raw-byte interface at inference time. During training, one language model is jointly trained on raw byte sequences and compressed views generated by external compressors; through the process, the model learns to internally align compressed sequences and raw bytes. This alignment enables strong transfer between the two formats, even when training predominantly on compressed inputs which are discarded at inference. Extensive experiments on code language modeling demonstrate that proxy compression substantially improves training efficiency and significantly outperforms pure byte-level baselines given fixed compute budgets. As model scale increases, these gains become more pronounced, and proxy-trained models eventually match or rival tokenizer approaches, all while operating solely on raw bytes and retaining the inherent robustness of byte-level modeling.
","absKo":"현대 language model은 거의 예외 없이 고정된 tokenizer가 생성한 token sequence, 즉 종종 UTF‑8 byte sequence 위에 얹힌 외부 lossless compressor의 산출물로 학습되며, 그 결과 모델은 해당 compressor에 결합된다. 이 연구는 compressed input의 효율성 이점을 유지하면서 추론 시점에는 end-to-end raw-byte interface를 제공하는 대안적 학습 방식인 proxy compression을 소개한다. 학습 동안 하나의 language model은 raw byte sequence와 외부 compressor가 생성한 compressed view를 함께 학습하며, 이 과정을 통해 모델은 compressed sequence와 raw byte를 내부적으로 정렬하는 법을 배운다. 이러한 정렬은 학습 단계에서는 주로 사용되지만 추론 시에는 폐기되는 compressed input을 사용하더라도, 두 형식 간 강력한 transfer를 가능하게 한다. code language modeling에 대한 광범위한 실험은 proxy compression이 학습 효율을 크게 향상시키고, 고정된 compute budget에서 pure byte-level baseline을 유의미하게 능가함을 보여준다. 모델 규모가 커질수록 이러한 이득은 더욱 두드러지며, proxy-trained model은 결국 tokenizer 접근법과 견줄 만한 수준에 도달하거나 이를 능가하면서도, 오직 raw byte만으로 동작하고 byte-level modeling 고유의 robustness를 유지한다.
"},{"id":"60690","en":"Position Is All You Need: A Free Lunch Token Compression Strategy for MLLM-based Referring Expression Segmentation","ko":"Position Is All You Need: MLLM 기반 Referring Expression Segmentation을 위한 공짜 Token Compression 전략","authors":"Yuhan Liu, Yixiong Zou, Yuhua Li, Ruixuan Li","pos":"#1913","link":"https://openreview.net/forum?id=xX8JgcSJqW","abs":"Referring Expression Segmentation (RES) aims to generate pixel-wise segmentation masks from complex and implicit textual queries. While recent advances in Multimodal Large Language Models (MLLMs) have substantially boosted RES performance, their prohibitive computational overhead remains a critical bottleneck, which, however, is rarely explored. To fill this gap, we first evaluate typical token compression methods on this task and observe a surprising performance degradation. In this paper, we aim to understand this phenomenon for a solution. By extensive experiments, we find that token compression for RES requires preserving the original position embeddings and local neighboring spatial structures, indicating that visual token position information is far more critical than in other tasks. Building on this insight, we ask: Can we design the token compression method purely based on the position information? Therefore, we propose PAYN, a plug-and-play, training-free token compression method that relies solely on position information. PAYN retains tokens that are adequately distributed in every local neighboring region while strictly preserving original positional indices, thereby maintaining spatial relational consistency. Experiments on multiple RES benchmarks demonstrate that our method outperforms existing token compression methods, verifying that position is indeed all you need for token compression in the MLLM-based RES task. Codes will be released.
","absKo":"Referring Expression Segmentation (RES)는 복잡하고 암시적인 text query로부터 pixel-wise segmentation mask를 생성하는 것을 목표로 한다. 최근 Multimodal Large Language Models (MLLMs)의 발전은 RES 성능을 크게 끌어올렸지만, 높은 계산 오버헤드는 여전히 중요한 병목이며, 그러나 이 문제는 거의 탐구되지 않았다. 이 공백을 메우기 위해, 우리는 먼저 이 task에서 대표적인 token compression method를 평가했고 놀라운 성능 저하를 관찰했다. 본 논문에서는 이 현상을 이해하고 해결책을 찾고자 한다. 광범위한 실험을 통해, RES의 token compression은 원래의 position embedding과 local neighboring spatial structure를 보존해야 함을 발견했으며, 이는 visual token position information이 다른 task보다 훨씬 더 중요함을 시사한다. 이러한 통찰을 바탕으로, 우리는 질문한다: position information만을 기반으로 token compression method를 설계할 수 있는가? 이에 따라 우리는 position information에만 의존하는 plug-and-play, training-free token compression method인 PAYN을 제안한다. PAYN은 각 local neighboring region에 충분히 고르게 분포된 token을 유지하면서 원래 positional index를 엄격히 보존하여 spatial relational consistency를 유지한다. 여러 RES benchmark에서의 실험은 우리의 방법이 기존 token compression method보다 우수함을 보여주며, MLLM 기반 RES task에서 token compression에 position이 실제로 전부임을 검증한다. 코드는 공개될 예정이다.
"},{"id":"66634","en":"MemoryLLM: Plug-n-Play Interpretable Feed-Forward Memory for Transformers","ko":"MemoryLLM: Transformer를 위한 Plug-n-Play 해석 가능 순전파 메모리","authors":"Ajay Jaiswal, Lauren Hannah, Han-Byul Kim, Duc Hoang, Arnav Kundu, Mehrdad Farajtabar, Minsik Cho","pos":"#2003","link":"https://openreview.net/forum?id=1vshJGUVBS","abs":"Understanding how transformer components operate in LLMs is important, as it is at the core of recent technological advances in artificial intelligence. In this work, we revisit the challenges associated with interpretability of feed-forward modules (FFNs) and propose MemoryLLM, which aims to decouple FFNs from self-attention and enables us to study the decoupled FFNs as context-free token-wise neural retrieval memory. In detail, we investigate how input tokens access memory locations within FFN parameters and the importance of FFN memory across different downstream tasks. MemoryLLM achieves context-free FFNs by training them in isolation from self-attention directly using the token embeddings. This approach allows FFNs to be pre-computed as token-wise lookups (ToLs), enabling on-demand transfer between VRAM and storage, additionally enhancing inference efficiency. We also introduce Flex-MemoryLLM, positioning it between a conventional transformer design and MemoryLLM. This architecture bridges the performance gap caused by training FFNs with context-free token-wise embeddings.
","absKo":"transformer 구성요소가 LLM에서 어떻게 작동하는지 이해하는 것은 최근 인공지능의 기술적 진보의 핵심에 있기 때문에 중요하다. 본 연구에서는 feed-forward module (FFN)의 interpretability와 관련된 과제를 다시 살펴보고, FFN을 self-attention과 분리하여 분리된 FFN을 context-free token-wise neural retrieval memory로 연구할 수 있게 하는 MemoryLLM을 제안한다. 구체적으로, 우리는 입력 token이 FFN parameter 내의 memory location에 어떻게 접근하는지, 그리고 서로 다른 downstream task에서 FFN memory의 중요성이 무엇인지 조사한다. MemoryLLM은 token embedding을 직접 사용해 self-attention과 분리된 상태로 FFN을 학습함으로써 context-free FFN을 달성한다. 이 접근은 FFN을 token-wise lookup (ToLs)으로 미리 계산할 수 있게 하여, VRAM과 storage 간의 온디맨드 전송을 가능하게 하고 inference 효율도 추가로 향상시킨다. 또한 우리는 기존 transformer 설계와 MemoryLLM 사이에 위치하는 Flex-MemoryLLM을 도입한다. 이 architecture는 context-free token-wise embedding으로 FFN을 학습할 때 발생하는 성능 격차를 메운다.
"},{"id":"66486","en":"MoLoRA: Composable Specialization via Per-Token Adapter Routing","ko":"MoLoRA: 토큰별 어댑터 라우팅을 통한 조합 가능한 특화","authors":"Shrey Shah, Justin Wagle","pos":"#2007","link":"https://openreview.net/forum?id=3GkzVlIfvP","abs":"Multi-adapter serving systems route entire sequences to a single adapter, forcing a choice when requests span multiple domains. This assumption fails in two important settings: (1) multimodal generation, where text and image tokens require different adapters within the same sequence, and (2) mixed-capability requests like ``write code to solve this equation,'' which need expertise from multiple specialized adapters. We introduce per-token routing, which routes individual tokens to adapters based on either vocabulary structure (for multimodal models) or learned gating (for semantic specialization). Per-token routing is provably optimal, achieving work $N$ for $N$ tokens versus $K \\cdot N$ for per-sequence routing with $K$ adapter types. Our key contribution is MoLoRA (Mixture of LoRA), which enables composable specialization: load multiple domain-specific adapters and let a learned router select the appropriate adapter per-token. We demonstrate that specialization dramatically beats scale: MoLoRA enables Qwen3-1.7B to exceed Qwen3-8B across four reasoning benchmarks while being 4.7$\\times$ smaller. This enables modular expertise at inference time: train focused LoRAs independently, combine them without retraining, and add new capabilities by simply loading new adapters.","absKo":"Multi-adapter serving system은 전체 sequence를 단일 adapter로 라우팅하므로, 요청이 여러 domain에 걸칠 때 선택을 강요한다. 이 가정은 두 가지 중요한 설정에서 성립하지 않는다: (1) multimodal generation에서는 text token과 image token이 같은 sequence 안에서도 서로 다른 adapter를 요구하며, (2) ``write code to solve this equation''과 같은 mixed-capability request는 여러 specialized adapter의 expertise를 필요로 한다. 우리는 vocabulary structure(멀티모달 model의 경우) 또는 learned gating(semantic specialization의 경우)에 기반하여 개별 token을 adapter로 라우팅하는 per-token routing을 도입한다. Per-token routing은 증명적으로 최적이며, $N$개의 token에 대해 work $N$을 달성하는 반면, $K$개의 adapter type을 사용하는 per-sequence routing은 $K \\cdot N$의 work가 필요하다. 우리의 핵심 기여는 MoLoRA(Mixture of LoRA)로, composable specialization을 가능하게 한다: 여러 domain-specific adapter를 로드하고 learned router가 token마다 적절한 adapter를 선택하도록 한다. 우리는 specialization이 scale을 압도적으로 능가함을 보여준다. MoLoRA는 Qwen3-1.7B가 네 개의 reasoning benchmark에서 Qwen3-8B를 능가하게 하면서도 4.7$\\times$ 더 작게 만든다. 이는 inference time에 modular expertise를 가능하게 한다. 즉, 집중된 LoRA를 독립적으로 학습하고, 재학습 없이 결합하며, 새로운 adapter를 단순히 로드하는 것만으로 새로운 capability를 추가할 수 있다."},{"id":"64240","en":"Large-Scale Terminal Agentic Trajectory Generation from Dockerized Environments","ko":"Docker화된 환경으로부터 대규모 터미널 에이전트 궤적 생성","authors":"Siwei Wu, Yizhi Li, Yuyang Song, Wei Zhang, Yang Wang, Riza Batista-Navarro, Xian Yang, Mingjie Tang, Bryan Dai, Jian Yang, Chenghua Lin","pos":"#2106","link":"https://openreview.net/forum?id=PeFSCRulgy","abs":"Training agentic models for terminal-based tasks critically depends on high-quality terminal trajectories that capture realistic long-horizon interactions across diverse domains. However, constructing such data at scale remains challenging due to two key requirements: \\textbf{\\emph{Executability}}, since each instance requires a suitable and often distinct Docker environment; and \\textbf{\\emph{Verifiability}}, because heterogeneous task outputs preclude unified, standardized verification. To address these challenges, we propose \\textbf{TerminalTraj}, a scalable pipeline that (i) filters high-quality repositories to construct Dockerized execution environments, (ii) generates Docker-aligned task instances, and (iii) synthesizes agent trajectories with executable validation code. Using TerminalTraj, we curate 32K Docker images and generate 50,733 verified terminal trajectories across eight domains. Models trained on this data with the Qwen2.5-Coder backbone achieve consistent performance improvements on TerminalBench (TB), with gains of up to 20\\% on TB 1.0 and 10\\% on TB 2.0 over their respective backbones. Notably, \\textbf{TerminalTraj-32B} achieves strong performance among models with fewer than 100B parameters, reaching 35.30\\% on TB 1.0 and 22.00\\% on TB 2.0, and demonstrates improved test-time scaling behavior.
","absKo":"터미널 기반 작업을 위한 agentic model training은 현실적인 장기 상호작용을 다양한 도메인에 걸쳐 포착하는 고품질 terminal trajectory에 크게 의존합니다. 그러나 이러한 데이터를 대규모로 구축하는 일은 두 가지 핵심 요구사항 때문에 여전히 어렵습니다. 첫째는 \\textbf{\\emph{Executability}}로, 각 instance마다 적절하고 종종 서로 다른 Docker environment가 필요합니다. 둘째는 \\textbf{\\emph{Verifiability}}로, 이질적인 task output은 통합된 표준 검증을 어렵게 만듭니다. 이러한 문제를 해결하기 위해, 우리는 \\textbf{TerminalTraj}를 제안합니다. 이는 (i) 고품질 repository를 선별하여 Dockerized execution environment를 구축하고, (ii) Docker에 맞는 task instance를 생성하며, (iii) 실행 가능한 validation code와 함께 agent trajectory를 합성하는 확장 가능한 pipeline입니다. TerminalTraj를 사용하여 우리는 32K개의 Docker image를 선별하고, 8개 도메인에 걸쳐 50,733개의 검증된 terminal trajectory를 생성했습니다. Qwen2.5-Coder backbone으로 이 데이터에서 학습한 model은 TerminalBench(TB)에서 일관된 성능 향상을 보였으며, 각 backbone 대비 TB 1.0에서는 최대 20\\%, TB 2.0에서는 10\\%까지 향상되었습니다. 특히 \\textbf{TerminalTraj-32B}는 100B 미만 parameter를 가진 model들 중에서도 강력한 성능을 보여 TB 1.0에서 35.30\\%, TB 2.0에서 22.00\\%를 달성했으며, test-time scaling behavior도 개선됨을 입증했습니다."},{"id":"63148","en":"Incremental BPE Tokenization","ko":"증분 BPE 토큰화","authors":"Shenghu Jiang, Ruihao Gong","pos":"#2114","link":"https://openreview.net/forum?id=ZbWgrDzCQo","abs":"We propose a novel algorithm for incremental Byte Pair Encoding (BPE) tokenization. The algorithm processes each input byte in **worst-case** $\\mathcal{O}(\\log^2 t)$ time, leading to an overall complexity of $\\mathcal{O}(n \\log^2 t)$, where $n$ is the input length and $t$ is the maximum token length. The algorithm incrementally maintains BPE tokenization results for every prefix of the input text, implementing the standard BPE merge procedure defined by a fixed set of merge rules. This enables efficient partial tokenization in streaming settings. Functioning as a drop-in replacement for standard BPE, our approach achieves up to $\\sim$3$\\times$ speedups over Hugging Face's tokenizers, and significant latency reductions over OpenAI's tiktoken on pathological inputs. We further introduce an eager output algorithm that enables streaming output, emitting tokens as soon as token boundaries are determined during incremental tokenization. Overall, our results demonstrate that BPE tokenization can be performed incrementally with strong worst-case guarantees, while providing practical latency benefits in modern large language model pipelines.","absKo":"우리는 incremental Byte Pair Encoding (BPE) tokenization을 위한 새로운 알고리즘을 제안한다. 이 알고리즘은 각 입력 byte를 worst-case $\\mathcal{O}(\\log^2 t)$ 시간에 처리하며, 여기서 $n$은 입력 길이, $t$는 최대 token 길이일 때 전체 복잡도는 $\\mathcal{O}(n \\log^2 t)$가 된다. 이 알고리즘은 고정된 merge rule 집합으로 정의되는 표준 BPE merge 절차를 구현하면서, 입력 텍스트의 모든 prefix에 대한 BPE tokenization 결과를 점진적으로 유지한다. 이를 통해 streaming setting에서 효율적인 partial tokenization이 가능해진다. 표준 BPE의 drop-in replacement로 동작하는 이 접근은 Hugging Face의 tokenizers 대비 최대 약 3배의 속도 향상을 달성하며, 병적인 입력에서는 OpenAI의 tiktoken보다 상당한 latency 감소를 보인다. 또한 token boundary가 incremental tokenization 과정에서 결정되는 즉시 token을 내보내는 eager output algorithm을 추가로 제안하여 streaming output을 가능하게 한다. 전반적으로, 우리의 결과는 BPE tokenization이 강한 worst-case 보장을 갖는 incremental 방식으로 수행될 수 있으며, 현대의 large language model pipeline에서 실질적인 latency 이점을 제공함을 보여준다."},{"id":"62687","en":"From Out-of-Distribution Detection to Hallucination Detection: A Geometric View","ko":"From Out-of-Distribution Detection to Hallucination Detection: 기하학적 관점","authors":"Litian Liu, Reza Pourreza, Yubing Jian, Yao Qin, Roland Memisevic","pos":"#2209","link":"https://openreview.net/forum?id=eIl0JeVfFs","abs":"Detecting hallucinations in large language models is a critical open problem with significant implications for safety and reliability. While existing hallucination detection methods achieve strong performance in question‑answering tasks, they remain less effective on tasks requiring reasoning. In this work, we revisit hallucination detection through the lens of out‑of‑distribution (OOD) detection, a well‑studied problem in areas like computer vision. Treating next‑token prediction in language models as a classification task allows us to apply OOD techniques, if we bring to bear appropriate modifications to account for the structural differences in large language models. We show that approaches based on OOD detection yield training-free, single-sample based detectors, achieving strong accuracy in hallucination detection in reasoning tasks. Overall, our work suggests that reframing hallucination detection as OOD detection provides a promising and scalable pathway toward language model safety.
","absKo":"대규모 언어 모델에서 hallucination을 탐지하는 것은 안전성과 신뢰성에 중대한 영향을 미치는 핵심적인 개방 문제이다. 기존의 hallucination 탐지 방법은 question-answering 태스크에서는 강한 성능을 보이지만, reasoning이 필요한 태스크에서는 여전히 효과가 떨어진다. 본 연구에서는 computer vision 등에서 널리 연구된 out-of-distribution (OOD) detection의 관점에서 hallucination 탐지를 다시 살펴본다. 언어 모델의 next-token prediction을 classification task로 간주하면, 대규모 언어 모델의 구조적 차이를 반영하기 위한 적절한 수정만 더해졌을 때 OOD 기법을 적용할 수 있다. 우리는 OOD detection 기반 접근이 training-free의 single-sample 기반 detector를 가능하게 하며, reasoning 태스크에서 hallucination 탐지에 높은 정확도를 달성함을 보인다. 전반적으로, 본 연구는 hallucination 탐지를 OOD detection으로 재정식화하는 것이 language model safety를 향한 유망하고 확장 가능한 경로임을 시사한다.
"},{"id":"62886","en":"Guidance: Sentence-Level Citation Enforcement via Prefix-Tail Guidance during LLM Decoding","ko":"Guidance: LLM 디코딩 시 Prefix-Tail Guidance를 통한 문장 수준 Citation 강제","authors":"Yirui Zhan, Xu, Jun Gao","pos":"#2213","link":"https://openreview.net/forum?id=cEA9yswzZf","abs":"In correctness-sensitive scenarios, it is crucial for Large Language Models (LLMs) to strictly follow the provided evidence. However, even with reference texts, models often suffer from hallucinations, especially when processing long contexts. Existing work attempts to reinforce the use of citations through Retrieval-Augmented Generation (RAG) or post-hoc methods, while citations remain a probabilistic output rather than a foundation for the generated content. To address this, we propose Guidance, which aims to correct outputs and naturally incorporate citations during the LLM decoding phase. Specifically, we first build a structured fact pool (Prefix-Tail pairs) from the documents. Then, during inference, Guidance predicts the model's intent using a lookahead strategy. When it detects a match with a context prefix, it automatically replaces the output with the verified fact and its citation. This approach is training-free and can be plugged into general-purpose or citation-fine-tuned LLMs. Experiments on LongBench-Cite demonstrate that Guidance improves the citation F1 score by 11.2\\% over state-of-the-art baselines. The source code is available at: https://anonymous.4open.science/r/Guidance-D870/.
","absKo":"정답성에 민감한 시나리오에서는 Large Language Model (LLM)이 제공된 evidence를 엄격하게 따르는 것이 매우 중요하다. 그러나 reference text가 있더라도 model은 특히 긴 context를 처리할 때 hallucination을 자주 겪는다. 기존 연구는 Retrieval-Augmented Generation (RAG) 또는 post-hoc method를 통해 citation 사용을 강화하려고 시도하지만, citation은 여전히 생성된 content의 기반이 아니라 확률적 output에 머무른다. 이를 해결하기 위해 우리는 LLM decoding phase 동안 출력을 교정하고 citation을 자연스럽게 통합하는 것을 목표로 하는 Guidance를 제안한다. 구체적으로, 먼저 문서로부터 structured fact pool (Prefix-Tail pair)을 구축한다. 그런 다음 inference 중에 Guidance는 lookahead strategy를 사용해 model의 intent를 예측한다. context prefix와의 일치가 감지되면, system은 출력값을 검증된 fact와 그 citation으로 자동 대체한다. 이 접근법은 training-free이며, 일반 목적 LLM이나 citation-fine-tuned LLM에 플러그인처럼 적용할 수 있다. LongBench-Cite 실험에서 Guidance는 state-of-the-art baseline 대비 citation F1 score를 11.2\\% 향상시켰다. 소스 코드는 다음에서 확인할 수 있다: https://anonymous.4open.science/r/Guidance-D870/.
"},{"id":"60950","en":"HiDe: Rethinking The Zoom-IN method in High Resolution MLLMs via Hierarchical Decoupling","ko":"HiDe: Hierarchical Decoupling을 통한 High Resolution MLLM의 Zoom-IN 방법 재고","authors":"Xianjie Liu, Yiman Hu, Yixiong Zou, Liang Wu, Jian Xu, Bo Zheng","pos":"#2214","link":"https://openreview.net/forum?id=v6Tpe2LRrW","abs":"Multimodal Large Language Models (MLLMs) have made substantial progress on visual understanding tasks, yet they still perform poorly on high-resolution images. Prior work often attributes this limitation to perceptual constraints, arguing that MLLMs fail to recognize small objects and therefore rely on \"zoom-in\" strategies to recover fine details. In contrast, our analysis shows that the dominant failure mode is background interference rather than object size. We study the \"zoom-in\" operation through a hierarchical decoupling analysis and propose the Hierarchical Decoupling Framework (HiDe), a training-free method that turns implicit attention into explicit region selection. HiDe first performs Token-wise Attention Decoupling (TAD) to disentangle question semantics and identify the most informative tokens, then uses their attention patterns to pinpoint the corresponding visual regions. It subsequently applies Layout-Preserving Decoupling (LPD) to extract these regions from cluttered backgrounds and construct a compact representation that retains key spatial structure while filtering out irrelevant context. HiDe achieves state-of-the-art results on high-resolution benchmarks like V*Bench, HRBench4K, and HRBench8K. It boosts Qwen2.5-VL 7B and InternVL3 8B to state of the art performance, reaching 92.1\\% and 91.6\\% on V*Bench, and even surpasses reinforcement learning based methods. After optimization, HiDe reduces memory usage by 75\\% compared with the previous training-free approach.
","absKo":"Multimodal Large Language Models(MLLMs)는 visual understanding task에서 큰 진전을 이루었지만, 여전히 고해상도 이미지에서는 성능이 낮다. 기존 연구는 이 한계를 종종 perceptual constraint에 기인한다고 보며, MLLMs가 작은 객체를 인식하지 못하기 때문에 세부 정보를 복원하기 위해 \"zoom-in\" 전략에 의존한다고 주장한다. 이에 반해, 우리의 분석은 주된 실패 모드가 객체 크기보다 background interference임을 보여준다. 우리는 \"zoom-in\" 연산을 hierarchical decoupling analysis를 통해 연구하고, implicit attention을 explicit region selection으로 전환하는 학습이 필요 없는 방법인 Hierarchical Decoupling Framework(HiDe)를 제안한다. HiDe는 먼저 Token-wise Attention Decoupling(TAD)을 수행하여 질문의 의미를 분리하고 가장 정보량이 큰 토큰을 식별한 다음, 그 attention pattern을 사용해 대응하는 시각적 영역을 특정한다. 이후 Layout-Preserving Decoupling(LPD)을 적용해 혼잡한 배경에서 해당 영역을 추출하고, 관련 없는 문맥을 걸러내면서 핵심 공간 구조를 보존하는 compact representation을 구성한다. HiDe는 V*Bench, HRBench4K, HRBench8K와 같은 고해상도 benchmark에서 state-of-the-art results를 달성한다. 또한 Qwen2.5-VL 7B와 InternVL3 8B를 state of the art performance로 끌어올려 각각 V*Bench에서 92.1\\%와 91.6\\%를 달성하며, 심지어 reinforcement learning based methods를 능가한다. 최적화 후 HiDe는 기존 training-free approach에 비해 memory usage를 75\\% 줄인다.
"},{"id":"63896","en":"Breaking the Block: Preserving Data Continuity to Train Superior SAEs for Instruct Models","ko":"블록을 깨기: Instruct model을 위한 더 우수한 SAE 학습을 위한 데이터 연속성 보존","authors":"Jiaming Li, Haoran Ye, Yukun Chen, Xinyue Li, Lei Zhang, Hamid Alinejad-Rokny, Jimmy Chih-Hsien Peng, Min Yang","pos":"#2309","link":"https://openreview.net/forum?id=SjNCl7f2e3","abs":"Sparse Autoencoders (SAEs) have become a cornerstone in mechanistic interpretability. However, current training methods inherit the Block Training paradigm from LLM pre-training. We identify this as a critical methodological oversight when applied to instruct models. Theoretically, utilizing GSNR analysis, we prove that attention leakage from unrelated contexts introduces destructive gradient noise. To rectify this paradigm, we propose $\\underline{\\textbf{F}}$inetuning-$\\underline{\\textbf{a}}$ligned $\\underline{\\textbf{S}}$equential $\\underline{\\textbf{T}}$raining ($\\textit{FAST}$), a novel training method specifically tailored for instruct models.$\\textit{FAST}$ aligns the training process with the data distribution and activation patterns of instruct models, achieving substantial improvements in both reconstruction and feature interpretability. Experimental results validate the efficacy of$\\textit{FAST}$. GSNR analysis confirms improved training performance, with $\\textit{FAST}$ demonstrating higher GSNR. This translates into superior reconstruction fidelity: $\\textit{FAST}$ achieves an MSE of 0.6468 (significantly outperforming the baseline’s 5.1985) and maintains a near-zero Delta Loss (-0.51% to 0.37%). Consequently, feature quality is markedly enhanced; on Llama-3.2-3B-it, $\\textit{FAST}$ yields 21.1% high-quality features, surpassing the 7.0% and 10.2% achieved by baselines. Surprisingly, we discover that intervening on special token activations via SAEs improves output quality, suggesting new opportunities for fine-grained control. Code, data, and all 240 trained SAEs will be publicly released.","absKo":"Sparse Autoencoders (SAEs)는 mechanistic interpretability의 핵심 기반이 되었다. 그러나 현재의 학습 방법은 LLM pre-training에서의 Block Training 패러다임을 그대로 계승하고 있다. 우리는 이를 instruct model에 적용할 때 치명적인 방법론적 간과로 식별한다. 이론적으로, GSNR analysis를 활용하여 우리는 관련 없는 context에서의 attention leakage가 파괴적인 gradient noise를 유발함을 증명한다. 이 패러다임을 바로잡기 위해 우리는 instruct model에 특화된 새로운 학습 방법인 $\\underline{\\textbf{F}}$inetuning-$\\underline{\\textbf{a}}$ligned $\\underline{\\textbf{S}}$equential $\\underline{\\textbf{T}}$raining ($\\textit{FAST}$)를 제안한다. $\\textit{FAST}$는 학습 과정을 instruct model의 데이터 분포와 activation pattern에 정렬시켜, reconstruction과 feature interpretability 모두에서 상당한 향상을 달성한다. 실험 결과는 $\\textit{FAST}$의 효용을 검증한다. GSNR analysis는 $\\textit{FAST}$가 더 높은 GSNR을 보여주며 학습 성능이 향상됨을 확인한다. 이는 더 우수한 reconstruction fidelity로 이어지며, $\\textit{FAST}$는 MSE 0.6468을 달성하여 baseline의 5.1985를 크게 능가하고, 거의 0에 가까운 Delta Loss(-0.51%에서 0.37%)를 유지한다. 그 결과 feature quality도 현저히 향상되며, Llama-3.2-3B-it에서 $\\textit{FAST}$는 21.1%의 high-quality feature를 산출하여 baseline의 7.0%와 10.2%를 능가한다. 놀랍게도, SAE를 통해 special token activation에 개입하면 출력 품질이 향상됨을 발견했으며, 이는 더 세밀한 제어를 위한 새로운 가능성을 시사한다. 코드, 데이터, 그리고 학습된 240개의 모든 SAE는 공개될 예정이다."},{"id":"64528","en":"Blending Supervised and Reinforcement Fine-Tuning with Prefix Sampling","ko":"Prefix 샘플링을 이용한 지도 및 강화 미세조정의 혼합","authors":"Zeyu Huang, Tianhao Cheng, Zihan Qiu, Zili Wang, Xu Yinghui, Edoardo Ponti, Ivan Titov","pos":"#2310","link":"https://openreview.net/forum?id=MgtyPYrC4h","abs":"Existing LLMs-post-training techniques are broadly categorized into supervised fine-tuning (SFT) and reinforcement fine-tuning (RFT). Each paradigm presents a distinct trade-off: (1) SFT excels at mimicking demonstration data, but can lead to problematic generalization as a form of behaviour cloning. (2) Conversely, RFT can significantly enhance a model's performance but is prone to learn unexpected behaviours, and its performance is sensitive to the initial policy. In this paper, we propose a unified view of these methods and introduce Prefix-RFT, a hybrid approach that synergizes learning from both demonstration and exploration. Using mathematical reasoning problems as a test bed, we empirically demonstrate that \\ourmethod is simple yet effective. Not only does it surpass the performance of standalone SFT and RFT, but it also outperforms parallel mixed-policy RFT methods. Our analysis highlights the complementary nature of SFT and RFT, validating that Prefix-RFT effectively harmonizes them. Further ablation studies confirm the method's robustness to variations in the quality and quantity of demonstration data.
","absKo":"기존의 LLMs post-training 기법은 크게 supervised fine-tuning (SFT)과 reinforcement fine-tuning (RFT)으로 분류된다. 각 paradigm은 뚜렷한 trade-off를 가진다: (1) SFT는 demonstration data를 모방하는 데 뛰어나지만, behavior cloning의 한 형태로서 문제적인 generalization을 초래할 수 있다. (2) 반대로 RFT는 model 성능을 크게 향상시킬 수 있지만, 예상치 못한 behavior를 학습하기 쉽고 초기 policy에 성능이 민감하다. 본 논문에서는 이러한 방법들을 통합적으로 바라보는 관점을 제안하고, demonstration과 exploration 양쪽에서의 학습을 시너지 있게 결합하는 하이브리드 접근법인 Prefix-RFT를 소개한다. 수학적 reasoning 문제를 test bed로 사용하여, 우리는 \\ourmethod가 단순하면서도 효과적임을 실증적으로 보인다. 이는 standalone SFT와 RFT의 성능을 능가할 뿐 아니라, parallel mixed-policy RFT 방법보다도 우수하다. 우리의 분석은 SFT와 RFT의 상보적 특성을 강조하며, Prefix-RFT가 이를 효과적으로 조화시킴을 검증한다. 추가 ablation study는 demonstration data의 품질과 양 변화에 대한 이 방법의 견고성을 확인한다.
"},{"id":"61946","en":"Alignment-Aware Decoding","ko":"정렬 인식 디코딩","authors":"Frédéric Berdoz, Luca Lanzendörfer, René Caky, Roger Wattenhofer","pos":"#2312","link":"https://openreview.net/forum?id=lQmnZqVwSG","abs":"Alignment of large language models remains a central challenge in natural language processing. Preference optimization has emerged as a popular and effective method for improving alignment, typically through training-time or prompt-based interventions. In this paper, we introduce alignment-aware decoding (AAD), a method to enhance model alignment directly at inference. Theoretically, AAD can be interpreted as implicit reward optimization, yet it requires no specialized training beyond the standard DPO setup. Empirically, AAD consistently outperforms strong baselines across diverse alignment benchmarks and model scales. Moreover, in data-constrained settings, AAD can produce high-quality synthetic data to improve alignment under standard decoding, providing a practical solution when labeled data is limited.
","absKo":"large language model의 alignment는 natural language processing에서 여전히 핵심적인 과제이다. Preference optimization은 일반적으로 training-time 또는 prompt-based intervention을 통해 alignment를 개선하는 널리 사용되고 효과적인 방법으로 부상했다. 본 논문에서는 inference 단계에서 모델 alignment를 직접 향상시키는 alignment-aware decoding(AAD)을 소개한다. 이론적으로 AAD는 implicit reward optimization으로 해석될 수 있지만, 표준 DPO setup 외에 특수한 training은 필요로 하지 않는다. 실험적으로 AAD는 다양한 alignment benchmark와 model scale 전반에서 강력한 baseline을 일관되게 능가한다. 또한 data가 제한된 설정에서 AAD는 standard decoding 하에서 alignment를 개선하기 위한 고품질 synthetic data를 생성할 수 있어, labeled data가 부족할 때 실용적인 해결책을 제공한다.
"},{"id":"60637","en":"AdaHC: Accelerating Multi-Token Prediction with Adaptive Head Chunking with Pipeline Parallelism","ko":"AdaHC: Pipeline Parallelism을 활용한 Adaptive Head Chunking으로 Multi-Token Prediction 가속화","authors":"Yan Wang, Chang Si, Kaiming Yang, Zhipeng Zhang, Weijian Liu, Man Yuan, Mingzhen Li, Yong Li, Weile Jia","pos":"#2314","link":"https://openreview.net/forum?id=yEzvDvHWsJ","abs":"Multi-token prediction (MTP) architecture is widely adopted in LLMs. MTP blocks can be appended to the tail of model to predict additional tokens. However, when training with pipeline parallel, MTP leads to more pipeline bubbles and deteriorates the pipeline efficiency. Based on in-depth analysis of MTP architectures and loss functions, we have identified the parallel nature of the MTP blocks, and leverage it for superior pipeline scheduling. We propose AdaHC, an adaptive pipeline scheduling framework for accelerating LLMs training with MTP block(s). AdaHC splits the output heads into chunks and reassembles the chunks to generate balanced pipeline stages, and performs adaptive activation forwarding to preserve the numerical equivalence. Experimental results show that AdaHC improves the training throughput of SOTA LLMs with diverse MTP configurations by 1.35$\\times$ on average. This work paves a new direction for practical pipeline training.","absKo":"Multi-token prediction(MTP) architecture는 LLM에서 널리 채택되고 있다. MTP block은 모델의 tail에 추가되어 추가 token을 예측할 수 있다. 그러나 pipeline parallel로 training할 때 MTP는 더 많은 pipeline bubble을 유발하고 pipeline efficiency를 저하시킨다. MTP architecture와 loss function에 대한 심층 분석을 바탕으로, 우리는 MTP block의 병렬적 특성을 식별했고, 이를 활용해 더 우수한 pipeline scheduling을 설계했다. 우리는 MTP block(s)를 사용하는 LLM training을 가속하기 위한 adaptive pipeline scheduling framework인 AdaHC를 제안한다. AdaHC는 output head를 chunk로 분할한 뒤 이를 재조립하여 균형 잡힌 pipeline stage를 생성하고, numerical equivalence를 보존하기 위해 adaptive activation forwarding을 수행한다. 실험 결과, AdaHC는 다양한 MTP configuration을 갖는 SOTA LLM의 training throughput을 평균 1.35$\\times$ 향상시킨다. 이 연구는 practical pipeline training을 위한 새로운 방향을 제시한다."},{"id":"61896","en":"Entropy-informed Decoding: Adaptive Information-Driven Branching","ko":"Entropy-informed Decoding: 적응형 정보 기반 분기","authors":"Benjamin Patrick Evans, Sumitra Ganesh, Leo Ardon","pos":"#3500","link":"https://openreview.net/forum?id=lttx2Uy3mN","abs":"Large language models (LLMs) achieve remarkable generative performance, yet their output quality is dependent on the decoding strategy. While sampling-based methods (e.g., top-$k$, nucleus) and search-and-select based methods (e.g., beam search, best-of-$n$, majority voting) can improve upon greedy decoding, both approaches suffer from limitations: sampling commits to a single path, while search often expends excessive computation regardless of task complexity. We introduce **Entropy-informed DEcodiNg** (EDEN), a plug-and-play, model-agnostic decoding framework that adaptively allocates computation based on the model’s own uncertainty, approximating higher width beam search with *fewer generations required*. At each generation step, EDEN estimates the entropy of the output token distribution and adjusts the branching factor monotonically with the entropy, expanding more candidates in high-entropy regions and following a greedier path in low-entropy regions, improving sample efficiency. Experiments across complex tasks, including mathematical reasoning, code generation, and scientific questions, demonstrate that EDEN consistently improves output quality over existing decoding strategies, achieving better trade-offs between accuracy and token generations than fixed beam search approaches. By treating next token selection as a noisy maximisation problem, we prove that branching factors monotone in entropy are guaranteed to find better (i.e. more probable) continuations than any fixed branching factor within the same total computation budget, motivating the dynamic branching.","absKo":"Large language models (LLMs)는 놀라운 생성 성능을 달성하지만, 출력 품질은 decoding strategy에 따라 달라진다. sampling-based methods(예: top-$k$, nucleus)와 search-and-select based methods(예: beam search, best-of-$n$, majority voting)는 greedy decoding을 개선할 수 있지만, 두 접근법 모두 한계를 가진다. sampling은 단일 경로에 커밋하고, search는 task complexity와 무관하게 과도한 computation을 소모하는 경우가 많다. 우리는 모델 자신의 uncertainty에 따라 computation을 적응적으로 배분하는 plug-and-play, model-agnostic decoding framework인 **Entropy-informed DEcodiNg**(EDEN)을 제안한다. 이는 *더 적은 generation으로* 더 높은 width의 beam search를 근사한다. 각 generation step에서 EDEN은 output token distribution의 entropy를 추정하고, entropy에 따라 branching factor를 단조적으로 조정한다. 즉, entropy가 높은 구간에서는 더 많은 candidate를 확장하고, entropy가 낮은 구간에서는 더 greedy한 경로를 따른다. 이를 통해 sample efficiency를 향상시킨다. 수학적 추론, code generation, scientific questions를 포함한 복잡한 task 전반의 실험에서 EDEN은 기존 decoding strategy보다 일관되게 더 나은 output quality를 보였으며, fixed beam search 접근법보다 accuracy와 token generations 사이에서 더 좋은 trade-off를 달성했다. 다음 token 선택을 noisy maximisation problem으로 간주하면, entropy에 단조인 branching factor는 동일한 total computation budget 내에서 어떤 fixed branching factor보다 더 나은(즉, 더 probable한) continuation을 찾는 것이 보장됨을 증명하며, 이는 dynamic branching을 정당화한다."},{"id":"63200","en":"RAG without Forgetting: Continual Query-Infused Key Memory","ko":"망각 없는 RAG: 지속적 질의 주입 키 메모리","authors":"Yuntong Hu, Sha Li, Liang Zhao, Naren Ramakrishnan","pos":"#3902","link":"https://openreview.net/forum?id=Z8svqD3pmI","abs":"Retrieval-augmented generation (RAG) systems commonly improve robustness via query-time adaptations such as query expansion and iterative retrieval. While effective, these approaches are inherently stateless: adaptations are recomputed for each query and discarded thereafter, precluding cumulative learning and repeatedly incurring inference-time cost. Index-side approaches like key expansion introduce persistence but rely on offline preprocessing or heuristic updates that are weakly aligned with downstream task utility, leading to semantic drift and noise accumulation. We propose Evolving Retrieval Memory (ERM), a training-free framework that transforms transient query-time gains into persistent retrieval improvements. ERM updates the retrieval index through correctness-gated feedback, selectively attributes atomic expansion signals to the document keys they benefit, and progressively evolves keys via stable, norm-bounded updates. We show that query and key expansion are theoretically equivalent under standard similarity functions and prove convergence of ERM’s selective updates, amortizing optimal query expansion into a stable index with zero inference-time overhead. Experiments on BEIR and BRIGHT across 13 domains demonstrate consistent gains in retrieval and generation, particularly on reasoning-intensive tasks, at native retrieval speed.
","absKo":"Retrieval-augmented generation (RAG) 시스템은 query-time adaptation, 예를 들어 query expansion과 iterative retrieval을 통해 robustness를 향상시키는 경우가 많다. 이러한 접근은 효과적이지만 본질적으로 stateless하다. 즉, adaptation은 각 query마다 다시 계산된 뒤 폐기되므로 cumulative learning이 불가능하고, inference-time cost를 반복적으로 유발한다. key expansion과 같은 index-side 접근은 persistence를 제공하지만, downstream task utility와의 정렬이 약한 offline preprocessing 또는 heuristic update에 의존하여 semantic drift와 noise accumulation을 초래한다. 우리는 일시적인 query-time 이득을 지속적인 retrieval 개선으로 전환하는 training-free framework인 Evolving Retrieval Memory (ERM)을 제안한다. ERM은 correctness-gated feedback을 통해 retrieval index를 업데이트하고, atomic expansion signal을 그것이 도움이 되는 document key에 선택적으로 할당하며, stable하고 norm-bounded update를 통해 key를 점진적으로 진화시킨다. 우리는 standard similarity function 하에서 query expansion과 key expansion이 이론적으로 동등함을 보이고, ERM의 selective update가 수렴함을 증명하여, 최적의 query expansion을 inference-time overhead 없이 안정적인 index로 amortize할 수 있음을 보인다. BEIR와 BRIGHT의 13개 도메인에 대한 실험은 retrieval과 generation 모두에서 일관된 성능 향상을 보여주며, 특히 reasoning-intensive task에서 native retrieval speed로 두드러진 개선을 확인한다.
"},{"id":"63815","en":"CoDA-Bench: Can Code Agents Handle Data-Intensive Tasks?","ko":"CoDA-Bench: 코드 에이전트는 데이터 집약적 작업을 처리할 수 있는가?","authors":"Yuxin Zhang, Ju Fan, Meihao Fan, Shaolei Zhang, Xiaoyong Du","pos":"#3910","link":"https://openreview.net/forum?id=TUcgDjfdVk","abs":"Advanced agents are increasingly demonstrating the potential to operate as autonomous engineers, creating a growing demand for evaluation benchmarks that capture the complexity of real-world development. Such environments typically involve both complex code and large-scale data (i.e., file system). However, existing benchmarks usually evaluate code-centric or data-centric capabilities in isolation, leaving a clear gap with real development scenarios. In this paper, we bridge this gap by introducing CoDA-Bench, the first benchmark to jointly evaluate code and data intelligence in a data-intensive environment. We construct a data-intensive Linux sandbox based on the Kaggle ecosystem (containing hundreds of datasets), where agents must actively explore complex file hierarchies to identify relevant resources and generate code for data-driven analytical tasks. CoDA-Bench comprises 1,202 tasks spanning 53 communities, with each task environment containing an average of 700 files, simulating realistic data scale and noise. Evaluations of advanced agents reveal that even top-performing systems struggle to effectively integrate data discovery with code execution, achieving a success rate of only 56.1%. These results highlight a substantial gap in current agentic capabilities for data-intensive tasks and point to promising directions for future research.
","absKo":"고도화된 agent는 점점 autonomous engineer로서 작동할 가능성을 보여주고 있으며, 이는 실제 개발의 복잡성을 반영하는 evaluation benchmark에 대한 수요를 키우고 있다. 이러한 환경은 일반적으로 복잡한 code와 대규모 data, 즉 file system을 모두 포함한다. 그러나 기존 benchmark는 대개 code-centric 또는 data-centric capability를 분리해서 평가해, 실제 개발 시나리오와의 분명한 간극을 남긴다. 본 논문에서는 data-intensive environment에서 code와 data intelligence를 함께 평가하는 최초의 benchmark인 CoDA-Bench를 도입하여 이 간극을 메운다. 우리는 Kaggle ecosystem을 기반으로 한 data-intensive Linux sandbox(수백 개의 dataset 포함)를 구성하였으며, agent는 관련 자원을 식별하고 데이터 기반 분석 작업을 위한 코드를 생성하기 위해 복잡한 file hierarchy를 능동적으로 탐색해야 한다. CoDA-Bench는 53개 community에 걸친 1,202개 task로 구성되며, 각 task environment는 평균 700개의 file을 포함하여 현실적인 data 규모와 noise를 모사한다. 고도화된 agent에 대한 평가는 최상위 성능 시스템조차 data discovery와 code execution을 효과적으로 통합하는 데 어려움을 겪으며, 성공률이 56.1%에 불과함을 보여준다. 이 결과는 data-intensive task에 대한 현재 agentic capability에 상당한 격차가 있음을 강조하며, 향후 연구를 위한 유망한 방향을 제시한다.
"},{"id":"66733","en":"Pull Requests as a Training Signal for Repo-Level Code Editing","ko":"Repo 수준 코드 편집을 위한 학습 신호로서의 Pull Request","authors":"Qinglin Zhu, Tianyu Chen, Shuai Lu, Lei Ji, Runcong Zhao, Murong Ma, Xiangxiang Dai, Yulan He, Lin Gui, Peng CHENG, Yeyun Gong","pos":"#4002","link":"https://openreview.net/forum?id=0x7KnR9Coy","abs":"Repository-level code editing requires models to understand complex dependencies and execute precise multi-file modifications across a large codebase. While recent gains on SWE-bench rely heavily on complex agent scaffolding, it remains unclear how much of this capability can be internalised via high-quality training signals. To address this, we propose Clean Pull Request (Clean-PR), a mid-training paradigm that leverages real-world GitHub pull requests as a training signal for repository-level editing. We introduce a scalable pipeline that converts noisy pull request diffs into Search/Replace edit blocks through reconstruction and validation, resulting in the largest publicly available corpus of 2 million pull requests spanning 12 programming languages. Using this training signal, we perform a mid-training stage followed by an agentless-aligned supervised fine-tuning process with error-driven data augmentation. On SWE-bench, our model significantly outperforms the instruction-tuned baseline, achieving absolute improvements of 13.6% on SWE-bench Lite and 12.3% on SWE-bench Verified. These results demonstrate that repository-level code understanding and editing capabilities can be effectively internalised into model weights under a simplified, agentless protocol, without relying on heavy inference-time scaffolding.
","absKo":"repository-level code editing은 모델이 복잡한 dependency를 이해하고 대규모 codebase 전반에서 정확한 multi-file 수정 작업을 수행해야 함을 요구한다. 최근 SWE-bench에서의 성과 향상은 복잡한 agent scaffolding에 크게 의존하지만, 이러한 능력의 얼마나 많은 부분이 고품질 training signal을 통해 내재화될 수 있는지는 여전히 분명하지 않다. 이를 해결하기 위해 우리는 repository-level editing을 위한 training signal로 실제 GitHub pull request를 활용하는 mid-training paradigm인 Clean Pull Request (Clean-PR)를 제안한다. 우리는 잡음이 있는 pull request diff를 reconstruction과 validation을 통해 Search/Replace edit block으로 변환하는 확장 가능한 pipeline을 도입하여, 12개 프로그래밍 언어에 걸친 200만 개 pull request로 구성된, 공개된 것 중 가장 큰 corpus를 구축한다. 이 training signal을 사용해 우리는 mid-training 단계를 수행한 뒤, error-driven data augmentation이 결합된 agentless-aligned supervised fine-tuning process를 적용한다. SWE-bench에서 우리의 model은 instruction-tuned baseline을 크게 능가하며, SWE-bench Lite에서 13.6%, SWE-bench Verified에서 12.3%의 절대 향상을 달성한다. 이러한 결과는 repository-level code understanding과 editing 능력이, 무거운 inference-time scaffolding에 의존하지 않고도 단순화된 agentless protocol 하에서 model weight에 효과적으로 내재화될 수 있음을 보여준다.
"},{"id":"65069","en":"Discrete Tilt Matching","ko":"이산 Tilt Matching","authors":"Shiyi Wang, Yuyuan Chen, Peter Potaptchik, Jaeyeon Kim, Michael Albergo","pos":"#410","link":"https://openreview.net/forum?id=H2Wueh9MMy","abs":"Masked diffusion large language models (dLLMs) are a promising alternative to autoregressive generation. While reinforcement learning (RL) algorithms have been adapted to be compatible with dLLMs for fine-tuning them, their reliance on the computation of the marginal likelihood to evaluate policy objectives is intractable. To overcome this, we exploit a dynamical relation between the unmasking posterior of the base model and that which targets the reward-tilted distribution to derive Discrete Tilt Matching (DTM), an algorithm that avoids intractable likelihood evaluation entirely. DTM can be phrased as a cross-entropy loss that only requires forward evaluation of rewards and whose variance can be adaptively controlled, improving training stability. We motivate DTM on maze planning tasks, and show that fine-tuning LLaDA-8B-Instruct with DTM achieves higher accuracy at lower compute costs than prior RL-based fine-tuning methods across the Sudoku, Countdown, and MATH500 benchmarks.
","absKo":"Masked diffusion large language models(dLLMs)는 autoregressive generation의 유망한 대안이다. fine-tuning을 위해 dLLMs와 호환되도록 reinforcement learning(RL) 알고리즘이 조정되어 왔지만, policy objective를 평가하기 위해 marginal likelihood 계산에 의존하는 점은 계산적으로 다루기 어렵다. 이를 극복하기 위해 우리는 base model의 unmasking posterior와 reward-tilted distribution을 목표로 하는 posterior 사이의 동역학적 관계를 활용해 Discrete Tilt Matching(DTM)을 유도한다. DTM은 계산이 어려운 likelihood evaluation을 전혀 피하는 알고리즘이다. DTM은 reward의 forward evaluation만 필요로 하고 분산을 적응적으로 제어할 수 있는 cross-entropy loss로 표현할 수 있어, training stability를 향상시킨다. 우리는 maze planning task에서 DTM의 동기를 제시하고, LLaDA-8B-Instruct를 DTM으로 fine-tuning하면 Sudoku, Countdown, MATH500 benchmark 전반에서 기존 RL 기반 fine-tuning 방법보다 더 낮은 compute 비용으로 더 높은 정확도를 달성함을 보인다.
"},{"id":"66621","en":"TRIM: Token-wise Attention-Derived Saliency for Data-Efficient Instruction Tuning","ko":"TRIM: 데이터 효율적 지시 튜닝을 위한 토큰별 Attention 기반 현저성","authors":"Manish Nagaraj, Sakshi Choudhary, Utkarsh Saxena, Deepak Ravikumar, Kaushik Roy","pos":"#4214","link":"https://openreview.net/forum?id=25AaIQjAg9","abs":"Instruction tuning is essential for aligning large language models (LLMs) to downstream tasks and commonly relies on large, diverse corpora. However, small, high-quality subsets, known as coresets, can deliver comparable or superior results, though curating them remains challenging. Existing methods often rely on coarse, sample-level signals like gradients, an approach that is computationally expensive and overlooks fine-grained features. To address this, we introduce TRIM (Token Relevance via Interpretable Multi-layer Attention), a forward-only, token-centric framework. Instead of using gradients, TRIM operates by matching underlying representational patterns identified via attention-based \"fingerprints\" from a handful of target samples. Such an approach makes TRIM highly efficient and uniquely sensitive to the structural features that define a task. Coresets selected by our method consistently outperform state-of-the-art baselines by up to 9% on downstream tasks and even surpass the performance of full-data fine-tuning in some settings. By avoiding expensive backward passes, TRIM achieves this at a fraction of the computational cost. These findings establish TRIM as a scalable and efficient alternative for building high-quality instruction-tuning datasets.
","absKo":"Instruction tuning은 large language model(LLM)을 downstream task에 맞게 정렬하는 데 필수적이며, 일반적으로 크고 다양한 코퍼스에 의존한다. 그러나 coreset으로 알려진 작지만 고품질인 subset만으로도 비슷하거나 더 나은 결과를 낼 수 있지만, 이를 선별하는 일은 여전히 어렵다. 기존 방법은 주로 gradient와 같은 거친 sample-level signal에 의존하는데, 이는 계산 비용이 크고 세밀한 특징을 놓친다. 이를 해결하기 위해, 우리는 forward-only token-centric 프레임워크인 TRIM(Token Relevance via Interpretable Multi-layer Attention)을 제안한다. TRIM은 gradient를 사용하는 대신, 소수의 target sample에서 attention 기반 \"fingerprint\"로 식별된 내재적 representation pattern을 매칭함으로써 작동한다. 이러한 접근은 TRIM을 매우 효율적으로 만들고, task를 정의하는 구조적 특징에 독특하게 민감하게 한다. 우리의 방법으로 선택된 coreset은 downstream task에서 state-of-the-art baselines를 일관되게 최대 9%까지 능가하며, 일부 설정에서는 full-data fine-tuning의 성능까지 상회한다. 비용이 큰 backward pass를 피함으로써, TRIM은 계산 비용의 일부만으로 이 결과를 달성한다. 이러한 결과는 TRIM이 고품질 instruction-tuning dataset 구축을 위한 확장 가능하고 효율적인 대안임을 보여준다.
"},{"id":"60750","en":"EAKV: An Entropy-Driven Adaptive KV Compression Framework for Long Video Understanding","ko":"EAKV: Long Video Understanding을 위한 Entropy 기반 Adaptive KV Compression Framework","authors":"Hengrui Hu, Jingyu Li, Juntao Liang, Guanyu Chen, Lan Zhang","pos":"#611","link":"https://openreview.net/forum?id=wyT47sv2o8","abs":"Although Multimodal Large Language Models have made remarkable progress, they still struggle with long-video understanding due to the massive memory footprint of KV Caches. Exsiting methods often resort to disjoint retrieval or attention-based static reduction to achieve compression. However, these methods disrupt temporal continuity and ignore the varying information density across network layers. In this work, we reveal that memory allocation should mirror layer-wise semantic density, rather than adhering to a uniform budget. To this end, we introduce EAKV, a training-free entropy-driven adaptive KV compression framework that leverages attention entropy to adaptively allocate compression budgets, selectively preserving critical tokens while distilling redundant contexts into compact contextual anchors, thereby achieving granular memory allocation proportional to semantic density. Extensive experiments on four benchmarks demonstrate that EAKV surpasses existing methods across varying model scales with improvements ranging from 1.5% to 4.8%.
","absKo":"Multimodal Large Language Models가 괄목할 만한 진전을 이루었음에도 불구하고, KV Cache의 막대한 memory footprint 때문에 긴 비디오 이해에서는 여전히 어려움을 겪는다. 기존 방법들은 압축을 달성하기 위해 종종 분리된 retrieval 또는 attention 기반의 static reduction에 의존한다. 그러나 이러한 방법은 temporal continuity를 훼손하고 network layer 전반에 걸친 정보 밀도의 변화를 무시한다. 본 연구에서는 memory allocation이 균일한 budget을 따르기보다 layer-wise semantic density를 반영해야 함을 밝힌다. 이를 위해 우리는 attention entropy를 활용하여 compression budget을 적응적으로 할당하고, 중요한 token은 선택적으로 보존하면서 중복 context는 compact contextual anchor로 압축하는, training-free entropy-driven adaptive KV compression framework인 EAKV를 제안한다. 이를 통해 semantic density에 비례하는 세밀한 memory allocation을 달성한다. 네 개의 benchmark에 대한 광범위한 실험은 EAKV가 다양한 model scale에서 기존 방법을 1.5%에서 4.8%에 이르는 향상으로 능가함을 보여준다.
"},{"id":"61854","en":"MACD: Model-Aware Contrastive Decoding via Counterfactual Data for Video-LLMs","ko":"MACD: Video-LLM을 위한 반사실적 데이터 기반 Model-Aware Contrastive Decoding","authors":"Qixin Xiao, Kun Zhou","pos":"#701","link":"https://openreview.net/forum?id=mLR6OD6kKR","abs":"Video language models (Video-LLMs) are prone to hallucinations, often generating plausible but ungrounded content when visual evidence is weak, ambiguous, or biased. Existing decoding methods, such as contrastive decoding (CD), rely on random perturbations to construct contrastive data for mitigating hallucination patterns. However, such a way is hard to control the visual cues that drive hallucination or well align with model weaknesses. We propose Model-aware Counterfactual Data based Contrastive Decoding (MACD), a new inference strategy that combines model-guided counterfactual construction with decoding. Our approach uses the Video-LLM’s own feedback to identify object regions most responsible for hallucination, generating targeted counterfactual inputs at the object level rather than arbitrary frame or temporal modifications. These model-aware counterfactual data is then integrated into CD to enforce evidence-grounded token selection during decoding. Experiments on EventHallusion, MVBench, Perception-test and Video-MME show that MACD consistently reduces hallucination while maintaining or improving task accuracy across diverse Video-LLMs, including Qwen and InternVL families. The method is especially effective in challenging scenarios involving small, occluded, or co-occurring objects. Our code and data will be publicly released.
","absKo":"Video language model(Video-LLM)은 hallucination에 취약하여, visual evidence가 약하거나 모호하거나 편향되어 있을 때 종종 그럴듯하지만 ground되지 않은 내용을 생성한다. contrastive decoding(CD)과 같은 기존 decoding method는 hallucination pattern을 완화하기 위한 contrastive data를 구성하기 위해 random perturbation에 의존한다. 그러나 이러한 방식은 hallucination을 유발하는 visual cue를 제어하거나 모델의 약점과 잘 정렬시키기 어렵다. 우리는 모델 유도 반사실(counterfactual) 구성과 decoding을 결합한 새로운 inference strategy인 Model-aware Counterfactual Data based Contrastive Decoding(MACD)을 제안한다. 우리의 접근법은 Video-LLM 자체의 feedback을 사용해 hallucination에 가장 크게 기여하는 object region을 식별하고, 임의의 frame이나 temporal modification이 아니라 object level에서 target counterfactual input을 생성한다. 이렇게 모델을 인식한 counterfactual data는 이후 CD에 통합되어 decoding 동안 evidence-grounded token selection을 강제한다. EventHallusion, MVBench, Perception-test, Video-MME에서의 실험은 MACD가 Qwen 및 InternVL 계열을 포함한 다양한 Video-LLM에서 task accuracy를 유지하거나 향상시키면서 hallucination을 일관되게 줄임을 보여준다. 이 방법은 특히 작은 object, 가려진 object, 또는 함께 등장하는 object가 포함된 어려운 시나리오에서 효과적이다. 우리의 code와 data는 공개될 예정이다.
"},{"id":"66094","en":"Simultaneous Speech-to-Speech Translation Without Aligned Data","ko":"정렬된 데이터 없이 동시 음성-대-음성 번역","authors":"Tom Labiausse, Romain Fabre, Yannick Estève, Alexandre Défossez, Neil Zeghidour","pos":"#912","link":"https://openreview.net/forum?id=76XSBLdBdg","abs":"Simultaneous speech translation is the task of translating source speech into a target language in real-time. Given that the dependencies between source and target words are non-monotonic (e.g. the word order can change between German and English), this means learning to jointly align and translate. This task has been traditionally tackled through supervised training on aligned data, and as collecting such data is challenging, this relies on synthetic data with automatic alignment. The latter relies on heuristics that are language-specific and suboptimal. We instead propose Hibiki-Zero, a model for simultaneous speech translation trained without word-level alignments between source and target speech. To do so, we train on sentence-level aligned data so that the model learns to perform speech translation but with high latency. We then introduce a novel reinforcement learning strategy relying on GRPO to optimize the translation latency of the model while retaining its translation capabilities. After supervised and post-training, Hibiki-Zero performs multilingual simultaneous translation with state-of-the-art translation accuracy, latency, voice transfer and naturalness across five X-to-English tasks. Moreover, we demonstrate that our model can be easily finetuned to support another language as input with less than 1000h of speech data. We provide examples (hibiki-zero-s2st.github.io) as well as models and release a benchmark containing 15h of multilingual data for speech translation evaluation.
","absKo":"Simultaneous speech translation은 source speech를 target language로 실시간 번역하는 task이다. source와 target 단어 사이의 dependency가 non-monotonic하기 때문에(예: German과 English 사이에서는 단어 순서가 바뀔 수 있음), 이는 alignment와 translation을 jointly 학습하는 문제를 의미한다. 이 task는 전통적으로 aligned data에 대한 supervised training으로 다뤄져 왔고, 그러한 data를 수집하기 어렵기 때문에 automatic alignment를 갖는 synthetic data에 의존한다. 그러나 후자는 language-specific하고 최적이 아닌 heuristic에 의존한다. 우리는 대신 source speech와 target speech 사이의 word-level alignment 없이 학습되는 simultaneous speech translation model인 Hibiki-Zero를 제안한다. 이를 위해 우리는 sentence-level aligned data로 학습하여 모델이 speech translation을 수행하도록 하되 높은 latency를 갖게 한다. 이후 GRPO에 기반한 새로운 reinforcement learning strategy를 도입하여 번역 능력을 유지하면서도 모델의 translation latency를 최적화한다. supervised 학습과 post-training 이후, Hibiki-Zero는 5개의 X-to-English task 전반에서 state-of-the-art translation accuracy, latency, voice transfer, naturalness를 갖춘 multilingual simultaneous translation을 수행한다. 더 나아가, 1000h 미만의 speech data로 다른 언어를 input으로 지원하도록 모델을 쉽게 finetune할 수 있음을 보인다. 우리는 예시(hibiki-zero-s2st.github.io)와 함께 모델을 제공하고, speech translation evaluation을 위한 15h의 multilingual data를 포함하는 benchmark를 공개한다.
"},{"id":"62781","en":"Towards Understanding the Dynamics of Low-Rank Adaptation","ko":"Low-Rank Adaptation의 동적 특성 이해","authors":"Shu Ding, Yang Peng, Hangan Zhou, Xinyu Lu, Shangwei Chen, Junhua Huang, Mingxuan Yuan, Wei Wang","pos":"#1702","link":"https://openreview.net/forum?id=dPvcpbbLSs","abs":"Low-Rank Adaptation (LoRA) is a widely used parameter-efficient fine-tuning technique, and previous works have studied the update dynamics of LoRA, showing that updating via the low-rank matrix $\\mathbf{A}$ can be viewed as a process within the compressed subspace defined by $\\mathbf{A}^{\\top} \\mathbf{A}$ of the gradient $\\nabla f\\left(\\mathbf{W} \\right)$. However, few works analyze how the properties of the low-rank matrices affect the performance of LoRA, since existing methods heuristically initialize the low-rank matrices as Gaussian matrices. In this paper, we provide a theoretical understanding of the update dynamics of LoRA. We reveal that the update dynamics can be viewed as a process within the subspace projected by $\\mathbf{A}^{\\top} (\\mathbf{A} \\mathbf{A}^{\\top})^{\\dagger} \\mathbf{A}$, and prove that when the gradient $\\nabla f\\left(\\mathbf{W} \\right)$ is unavailable, if $\\mathbf{A}$ is an Equiangular Tight Frame (ETF), $\\mathbf{A}^{\\top} \\mathbf{A}$ and $\\mathbf{A}^{\\top} (\\mathbf{A} \\mathbf{A}^{\\top})^{\\dagger} \\mathbf{A}$ can preserve the maximum information from the gradient $\\nabla f\\left(\\mathbf{W} \\right)$. Thus, initializing $\\mathbf{A}$ as an ETF is the optimal solution for low-rank adaptation when the gradient $\\nabla f\\left(\\mathbf{W} \\right)$ is unavailable. Furthermore, we establish the convergence of Low-Rank Adaptation with a rate of $\\mathcal{O}\\left(\\frac{1}{T}\\right)$ when $\\mathbf{A}$ is an ETF. Extensive experiments show that initializing the low-rank matrices as ETFs significantly outperforms the commonly used Gaussian initialization for existing primary LoRA variants.","absKo":"Low-Rank Adaptation (LoRA)는 널리 사용되는 parameter-efficient fine-tuning 기법이며, 이전 연구들은 LoRA의 update dynamics를 분석하여 low-rank matrix $\\mathbf{A}$를 통한 업데이트를 gradient $\\nabla f\\left(\\mathbf{W} \\right)$의 $\\mathbf{A}^{\\top} \\mathbf{A}$로 정의되는 compressed subspace 내의 과정으로 볼 수 있음을 보였다. 그러나 기존 방법들이 low-rank matrix를 Gaussian matrix로 휴리스틱하게 초기화하기 때문에, low-rank matrix의 성질이 LoRA 성능에 어떻게 영향을 미치는지 분석한 연구는 많지 않았다. 본 논문에서는 LoRA의 update dynamics에 대한 이론적 이해를 제공한다. 우리는 업데이트 dynamics가 $\\mathbf{A}^{\\top} (\\mathbf{A} \\mathbf{A}^{\\top})^{\\dagger} \\mathbf{A}$로 투영된 subspace 내의 과정으로 볼 수 있음을 밝히고, gradient $\\nabla f\\left(\\mathbf{W} \\right)$를 사용할 수 없는 경우 $\\mathbf{A}$가 Equiangular Tight Frame (ETF)일 때 $\\mathbf{A}^{\\top} \\mathbf{A}$와 $\\mathbf{A}^{\top} (\\mathbf{A} \\mathbf{A}^{\top})^{\\dagger} \\mathbf{A}$가 gradient $\\nabla f\\left(\\mathbf{W} \\right)$로부터 최대한의 정보를 보존할 수 있음을 증명한다. 따라서 gradient $\\nabla f\\left(\\mathbf{W} \\right)$를 사용할 수 없을 때 low-rank adaptation의 최적 해는 $\\mathbf{A}$를 ETF로 초기화하는 것이다. 또한 $\\mathbf{A}$가 ETF일 때 Low-Rank Adaptation의 수렴률이 $\\mathcal{O}\\left(\\frac{1}{T}\\right)$임을 확립한다. 광범위한 실험은 low-rank matrix를 ETF로 초기화하는 것이 기존의 주요 LoRA variant들에서 흔히 사용하는 Gaussian initialization보다 상당히 우수함을 보여준다."},{"id":"65647","en":"Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection","ko":"Token Sparse Attention: 교차 토큰 선택을 통한 효율적 장문맥 추론","authors":"Dongwon Jo, Beomseok Kang, Jiwon Song, jae-joon kim","pos":"#1704","link":"https://openreview.net/forum?id=BXz2zosn6H","abs":"The quadratic complexity of attention remains the central bottleneck in long-context inference for large language models. Prior acceleration methods either sparsify the attention map with structured patterns or permanently evict tokens at specific layers, which can retain irrelevant tokens or rely on irreversible early decisions despite the layer-/head-wise dynamics of token importance. In this paper, we propose Token Sparse Attention, a lightweight and dynamic token-level sparsification mechanism that compresses per-head $Q, K, V$ to a reduced token set during attention and then decompresses the output back to the original sequence, enabling token information to be reconsidered in subsequent layers. Furthermore, Token Sparse Attention exposes a new design point at the intersection of token selection and sparse attention. Our approach is fully compatible with dense attention implementations, including Flash Attention, and can be seamlessly composed with existing sparse attention kernels. Experimental results show that Token Sparse Attention consistently improves accuracy–latency trade-off, achieving up to $\\times$3.23 attention speedup at 128K context with less than 1\\% accuracy degradation. These results demonstrate that dynamic and interleaved token-level sparsification is a complementary and effective strategy for scalable long-context inference.","absKo":"Attention의 quadratic complexity는 large language model의 long-context inference에서 여전히 핵심 병목이다. 기존 가속 방법은 구조화된 pattern으로 attention map을 sparsify하거나 특정 layer에서 token을 영구적으로 evict하는 방식인데, 이는 token 중요도의 layer-/head-wise dynamics를 무시한 채 관련 없는 token을 유지하거나 되돌릴 수 없는 초기 결정을 의존할 수 있다. 본 논문에서는 attention 동안 per-head $Q, K, V$를 더 작은 token 집합으로 압축한 뒤, 출력을 원래 sequence로 다시 decompress하여 이후 layer에서 token 정보를 다시 고려할 수 있게 하는 경량의 동적 token-level sparsification mechanism인 Token Sparse Attention을 제안한다. 또한 Token Sparse Attention은 token selection과 sparse attention의 교차점에서 새로운 design point를 제시한다. 우리의 접근은 Flash Attention을 포함한 dense attention implementation과 완전히 호환되며, 기존 sparse attention kernel과도 자연스럽게 결합될 수 있다. 실험 결과, Token Sparse Attention은 accuracy-latency trade-off를 일관되게 개선하여, 128K context에서 1\\% 미만의 정확도 저하로 최대 $\\times$3.23 attention speedup을 달성했다. 이러한 결과는 동적이고 interleaved된 token-level sparsification이 scalable long-context inference를 위한 상보적이고 효과적인 전략임을 보여준다."},{"id":"62648","en":"Test-Time Detoxification without Training or Learning Anything","ko":"학습 없이 Test-Time Detoxification 수행","authors":"Baturay Saglam, Dionysios Kalogerias","pos":"#1709","link":"https://openreview.net/forum?id=eiNZbsYGJv","abs":"Large language models can produce toxic or inappropriate text even for benign inputs, creating risks when deployed at scale. Detoxification is therefore important for safety and user trust, particularly when we want to reduce harmful content without sacrificing the model’s generation quality. Many existing approaches rely on model retraining, gradients, or learned auxiliary components, which can be costly and may not transfer across model families or to truly black-box settings. We introduce a test-time procedure that approximates the gradient of completion toxicity with respect to the input embeddings and uses a small number of descent steps to steer generation toward less toxic continuations. This is achieved with zeroth-order optimization that requires only access to input embeddings, a toxicity scoring function, and forward evaluations of the model. Empirically, the approach delivers robust toxicity reductions across models and prompts and, in most settings, achieves the best overall toxicity–quality trade-off. More broadly, our work positions word embeddings as effective control variables and encourages wider use of black-box optimization to guide autoregressive language models toward scalable, safer text generation, without requiring any training or access to intermediate computations.
","absKo":"Large language models는 무해한 입력에 대해서도 유해하거나 부적절한 텍스트를 생성할 수 있어, 대규모 배포 시 위험을 초래한다. 따라서 detoxification은 안전성과 사용자 신뢰를 위해 중요하며, 특히 모델의 생성 품질을 희생하지 않으면서 유해한 내용을 줄이고자 할 때 더욱 그러하다. 기존의 많은 접근은 모델 재학습, gradient, 또는 학습된 auxiliary component에 의존하는데, 이는 비용이 크고 모델 계열 간 또는 진정한 black-box setting으로 잘 이전되지 않을 수 있다. 우리는 completion toxicity의 gradient를 input embedding에 대해 근사하고, 소수의 descent step을 사용하여 생성을 더 낮은 toxicity의 continuation 쪽으로 유도하는 test-time procedure를 제안한다. 이는 input embedding, toxicity scoring function, 그리고 모델의 forward evaluation만으로 가능한 zeroth-order optimization을 통해 달성된다. 실증적으로 이 접근은 여러 모델과 prompt 전반에서 견고한 toxicity 감소를 보이며, 대부분의 설정에서 toxicity와 quality 사이의 최적 trade-off를 달성한다. 더 넓게 보면, 본 연구는 word embedding을 효과적인 control variable로 자리매김하게 하고, 학습이나 intermediate computation 접근 없이 autoregressive language model을 더 확장 가능하고 안전한 text generation으로 유도하기 위해 black-box optimization을 더 널리 사용할 것을 장려한다.
"},{"id":"60535","en":"SiameseNorm: Breaking the Barrier to Reconciling Pre/Post-Norm","ko":"SiameseNorm: Pre/Post-Norm 조화를 가로막는 장벽 넘기","authors":"Tianyu Li, Dongchen Han, Zixuan Cao, Haofeng Huang, Mengyu Zhou, Ming Chen, erchao.zec, xiaoxi jiang, guanjunjiang, Gao Huang","pos":"#1716","link":"https://openreview.net/forum?id=zDcoHkyxmE","abs":"Modern Transformers predominantly adopt the Pre-Norm paradigm for its optimization stability, foregoing the superior potential of the unstable Post-Norm architecture. Prior attempts to combine their strengths typically lead to a stability-performance trade-off. We attribute this phenomenon to a structural incompatibility within a single-stream design: Any application of the Post-Norm operation inevitably obstructs the clean identity gradient preserved by Pre-Norm. To fundamentally reconcile these paradigms, we propose SiameseNorm, a two-stream architecture that couples Pre-Norm-like and Post-Norm-like streams with shared parameters. This design decouples the optimization dynamics of the two streams, retaining the distinct characteristics of both Pre-Norm and Post-Norm by enabling all residual blocks to receive combined gradients inherited from both paradigms, where one stream secures stability while the other enhances expressivity. Extensive pre-training experiments on 1.3B-parameter models demonstrate that SiameseNorm exhibits exceptional optimization robustness and consistently outperforms strong baselines.
","absKo":"현대 Transformer는 최적화 안정성이 우수한 Pre-Norm 패러다임을 주로 채택하며, 불안정하지만 더 높은 잠재력을 지닌 Post-Norm architecture는 배제해 왔다. 두 장점을 결합하려는 기존 시도는 대개 stability-performance trade-off로 귀결된다. 우리는 이러한 현상이 single-stream 설계 내부의 구조적 비호환성 때문이라고 본다. Post-Norm 연산을 적용하는 순간 Pre-Norm이 보존하는 깔끔한 identity gradient가 필연적으로 방해되기 때문이다. 이러한 패러다임을 근본적으로 조화시키기 위해, 우리는 공유 파라미터로 Pre-Norm 유사 스트림과 Post-Norm 유사 스트림을 결합하는 two-stream architecture인 SiameseNorm을 제안한다. 이 설계는 두 스트림의 최적화 동역학을 분리하며, 모든 residual block이 두 패러다임에서 물려받은 결합 gradient를 받도록 함으로써 Pre-Norm과 Post-Norm의 고유한 특성을 모두 유지한다. 한 스트림은 안정성을 확보하고 다른 스트림은 표현력을 향상시킨다. 1.3B-parameter model에 대한 광범위한 pre-training 실험은 SiameseNorm이 탁월한 최적화 강건성을 보이며 강력한 baseline을 일관되게 능가함을 보여준다."},{"id":"62137","en":"STAR: Rethinking MoE Routing as Structure-Aware Subspace Learning","ko":"STAR: MoE Routing을 구조 인식 부분공간 학습으로 재고하기","authors":"Sumin Park, Noseong Park","pos":"#1810","link":"https://openreview.net/forum?id=jUE8i1vAKJ","abs":"Mixture-of-Experts (MoE) scales model capacity efficiently by selectively routing inputs to a specialized subset of experts. However, input-expert specialization, the core motivation of MoE, critically depends on whether the router is actually aware of input structure. In practice, MoE routing is typically implemented as a shallow linear projection with limited awareness of input representation, which often leads to unstable and imbalanced routing. We propose STAR, a STructure-Aware Routing that rethinks MoE routing as a subspace learning problem by augmenting standard learnable routing with an evolving principal subspace that tracks dominant input structure via Generalized Hebbian Algorithm (GHA). By aligning routing decisions directly with input structure along with the task-supervision from learnable gate, STAR enables stable and balanced expert specialization without relying on auxiliary load-balancing losses. We evaluate STAR on controlled synthetic setup and large-scale language and vision tasks, where it consistently improves routing quality and downstream performance over strong MoE baselines. Moreover, optional test-time subspace updates further enhance routing robustness under distribution shifts.
","absKo":"Mixture-of-Experts(MoE)는 입력을 전문화된 expert의 하위집합으로 선택적으로 라우팅함으로써 모델 용량을 효율적으로 확장한다. 그러나 MoE의 핵심 동기인 input-expert specialization은 router가 실제로 input structure를 인식하고 있는지에 크게 의존한다. 실제로 MoE routing은 대개 input representation에 대한 인식이 제한적인 얕은 linear projection으로 구현되며, 이는 불안정하고 불균형한 routing으로 이어지는 경우가 많다. 우리는 STAR, 즉 STructure-Aware Routing을 제안한다. STAR는 표준의 학습 가능한 routing에 Generalized Hebbian Algorithm(GHA)을 통해 지배적인 input structure를 추적하는 진화하는 principal subspace를 추가함으로써, MoE routing을 subspace learning 문제로 재구성한다. 학습 가능한 gate의 task-supervision과 함께 routing decision을 input structure에 직접 정렬함으로써, STAR는 auxiliary load-balancing loss에 의존하지 않고도 안정적이고 균형 잡힌 expert specialization을 가능하게 한다. 우리는 통제된 synthetic setup과 대규모 language 및 vision task에서 STAR를 평가했으며, 강력한 MoE baseline보다 일관되게 routing quality와 downstream performance를 향상시킨다는 것을 확인했다. 또한 선택적인 test-time subspace update는 distribution shift 하에서 routing robustness를 추가로 향상시킨다.
"},{"id":"64832","en":"RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System","ko":"RLAnything: 완전히 동적인 RL 시스템에서 Environment, Policy, Reward Model 구축","authors":"Yinjie Wang, Tianbao Xie, Ke Shen, Mengdi Wang, Ling Yang","pos":"#1903","link":"https://openreview.net/forum?id=JLQV6NxS6W","abs":"The quality of both the environment and the reward model fundamentally governs the effectiveness of reinforcement learning. Accordingly, we propose RLAnything, a reinforcement learning framework that dynamically optimizes each component through closed-loop optimization, amplifying learning signals and strengthening the overall system. Specifically, the policy is trained with integrated feedback from step-wise and outcome signals, while the reward model is jointly optimized via consistency feedback, which in turn further improves policy training. Moreover, our theory-motivated automatic environment adaptation improves training for both the reward and policy models by leveraging critic feedback from each, enabling learning from experience. Empirically, each added component consistently improves the overall system, and RLAnything yields substantial gains in practical applications, boosting Qwen3-VL-8B-Thinking by 8.5% on OSWorld and Qwen2.5-7B-Instruct by 21.2% and 12.1% on AlfWorld and LiveBench, respectively.
","absKo":"환경과 reward model의 품질은 reinforcement learning의 효과를 근본적으로 좌우한다. 이에 따라 우리는 closed-loop optimization을 통해 각 구성요소를 동적으로 최적화하여 학습 신호를 증폭하고 전체 시스템을 강화하는 reinforcement learning framework인 RLAnything를 제안한다. 구체적으로, policy는 step-wise 신호와 outcome 신호를 통합한 feedback으로 학습되며, reward model은 consistency feedback을 통해 공동 최적화되고, 이는 다시 policy 학습을 추가로 향상시킨다. 더 나아가, 이론적 동기에 기반한 자동 environment adaptation은 각 모델에서 오는 critic feedback을 활용하여 reward model과 policy model 모두의 학습을 개선하고, 경험으로부터의 학습을 가능하게 한다. 실험적으로, 추가된 각 구성요소는 전체 시스템을 일관되게 개선하며, RLAnything는 실제 응용에서 상당한 성능 향상을 보였다. 예를 들어 OSWorld에서 Qwen3-VL-8B-Thinking을 8.5% 향상시키고, AlfWorld와 LiveBench에서 Qwen2.5-7B-Instruct를 각각 21.2%와 12.1% 향상시켰다.
"},{"id":"63663","en":"ProtoKV: Streaming Video Understanding under Delayed Evidence with Summary-State Memory","ko":"ProtoKV: 요약 상태 메모리를 활용한 지연 증거 환경의 스트리밍 비디오 이해","authors":"Ngoc Minh Le Tu, Jinyeong Lim, Dongsu Han","pos":"#1907","link":"https://openreview.net/forum?id=UpEvQrt6UU","abs":"Streaming video understanding (SVU) must answer queries that arrive asynchronously while visual tokens stream continuously under strict GPU-memory and query-time latency budgets. A key challenge is delayed evidence: decisive cues may appear briefly, yet many subsequent updates occur before the query arrives, increasing the risk that those cues are evicted or diluted under bounded memory. We propose ProtoKV, a constant-footprint SVU memory that represents far history as a fixed-capacity summary state rather than retaining token instances. ProtoKV keeps an exact near-window KV cache and aggregates older content into a semantic–spatial prototype bank with residual statistics. At query time, each prototype is exposed through a bounded pseudo-token interface that is drop-in compatible with standard attention. Under matched budgets and comparable query-time cost, ProtoKV improves accuracy by up to 12.5 points over token-retention baselines on SVU benchmarks, with gains that grow as evidence delay increases.
","absKo":"Streaming video understanding(SVU)은 visual token이 엄격한 GPU 메모리와 query-time latency budget 하에서 지속적으로 스트리밍되는 동안 비동기적으로 도착하는 query에 답해야 한다. 핵심 과제는 delayed evidence이다. 결정적인 단서가 잠깐 나타날 수 있지만, query가 도착하기 전에 많은 subsequent update가 발생하여, 그 단서가 bounded memory 아래에서 evict되거나 희석될 위험이 커진다. 우리는 token instance를 유지하는 대신 긴 과거를 고정 용량 요약 상태로 표현하는 constant-footprint SVU memory인 ProtoKV를 제안한다. ProtoKV는 정확한 near-window KV cache를 유지하고, 오래된 content를 residual statistic을 갖는 semantic–spatial prototype bank로 집계한다. query time에는 각 prototype이 standard attention과 drop-in 호환되는 bounded pseudo-token interface를 통해 노출된다. 동일한 budget과 유사한 query-time cost 하에서 ProtoKV는 SVU benchmark에서 token-retention baseline 대비 최대 12.5 point의 정확도 향상을 보이며, evidence delay가 증가할수록 그 이득도 커진다."},{"id":"61439","en":"MIND: Multi-rationale INtegrated Discriminative Reasoning Framework for Multi-modal Large Models","ko":"MIND: 멀티모달 대형 모델을 위한 다중 근거 통합 판별 추론 프레임워크","authors":"Chuang Yu, Jinmiao Zhao, Mingxuan Zhao, Yunpeng Liu, Xiujun Shu, Feng Yuanhao, Bo Wang, Xiangyu Yue","pos":"#2000","link":"https://openreview.net/forum?id=q7al5Vwgos","abs":"Recently, multimodal large language models (MLLMs) have been widely applied to reasoning tasks. However, they suffer from limited multi-rationale semantic modeling, insufficient logical robustness, and susceptibility to misleading cues. Therefore, we propose a Multi-rationale INtegrated Discriminative (MIND) reasoning framework, which is designed to endow MLLMs with human-like cognitive abilities of “Understand → Rethink → Correct”, and achieves a paradigm evolution from passive imitation-based reasoning to active discriminative reasoning. Specifically, we introduce a Rationale Augmentation and Discrimination (RAD) paradigm, which provides a unified and extensible data foundation. Meanwhile, we design a Progressive Two-stage Correction Learning (P2CL) strategy. The first phase enhances multi-rationale positive learning, while the second phase enables active logic discrimination and correction. In addition, to mitigate representation entanglement in the multi-rationale semantic space, we propose a Multi-rationale Contrastive Alignment (MCA) optimization strategy. Extensive experiments demonstrate that our MIND achieves state-of-the-art (SOTA) performance on multiple public datasets covering scientific, commonsense, and mathematical scenarios. Our data and code will be open source.
","absKo":"최근 multimodal large language model(MLLM)은 reasoning task에 널리 적용되고 있다. 그러나 이들은 제한적인 multi-rationale semantic modeling, 부족한 logical robustness, 그리고 misleading cue에 대한 취약성 문제를 가진다. 따라서 우리는 MLLM에 인간과 유사한 인지 능력인 “Understand → Rethink → Correct”를 부여하도록 설계된 Multi-rationale INtegrated Discriminative(MIND) reasoning framework를 제안하며, 수동적 imitation-based reasoning에서 능동적 discriminative reasoning으로의 패러다임 진화를 달성한다. 구체적으로, 우리는 통합적이고 확장 가능한 data foundation을 제공하는 Rationale Augmentation and Discrimination(RAD) 패러다임을 도입한다. 동시에 Progressive Two-stage Correction Learning(P2CL) 전략을 설계한다. 첫 번째 단계는 multi-rationale positive learning을 강화하고, 두 번째 단계는 능동적인 logic discrimination과 correction을 가능하게 한다. 또한 multi-rationale semantic space에서 representation entanglement를 완화하기 위해 Multi-rationale Contrastive Alignment(MCA) optimization strategy를 제안한다. 광범위한 실험은 우리의 MIND가 scientific, commonsense, mathematical scenario를 포괄하는 여러 public dataset에서 state-of-the-art(SOTA) 성능을 달성함을 보여준다. 데이터와 코드는 오픈소스로 공개할 예정이다.
"},{"id":"61828","en":"MineDraft: A Framework for Batch Parallel Speculative Decoding","ko":"MineDraft: Batch Parallel Speculative Decoding 프레임워크","authors":"Zhenwei Tang, Arun Verma, Zijian Zhou, Zhaoxuan Wu, Alok Prakash, Daniela Rus, Bryan Kian Hsiang Low","pos":"#2004","link":"https://openreview.net/forum?id=mapFG1BrNv","abs":"Speculative decoding (SD) accelerates large language model inference by using a smaller draft model to propose draft tokens that are subsequently verified by a larger target model. However, the performance of standard SD is often limited by the strictly sequential execution of these drafting and verification stages. To address this, this paper proposes MineDraft, a batch parallel speculative decoding (PSD) framework designed to effectively hide drafting latency by overlapping it with verification. Our theoretical analysis shows that PSD is substantially more efficient than standard SD. MineDraft realizes the PSD through a novel batch-parallel design that maintains two batches of requests, overlapping drafting for one batch with verification for the other. Our experimental results show significant improvements of MineDraft in both throughput (up to 75\\%) and end-to-end latency (up to 39\\%) over standard SD. Furthermore, we have implemented MineDraft as a plugin for vLLM, demonstrating its practicality for production-ready inference systems.
","absKo":"Speculative decoding (SD)은 더 작은 draft model이 draft token을 제안하고, 더 큰 target model이 이를 검증하는 방식으로 large language model inference를 가속한다. 그러나 standard SD의 성능은 이러한 drafting과 verification 단계가 엄격하게 순차적으로 실행된다는 점에서 종종 제한된다. 이를 해결하기 위해 본 논문은 drafting 지연을 verification과 겹쳐 숨기도록 설계된 batch parallel speculative decoding (PSD) framework인 MineDraft를 제안한다. 우리의 이론적 분석은 PSD가 standard SD보다 상당히 더 효율적임을 보여준다. MineDraft는 두 개의 request batch를 유지하고, 한 batch의 drafting과 다른 batch의 verification을 중첩시키는 새로운 batch-parallel 설계를 통해 PSD를 구현한다. 실험 결과 MineDraft는 standard SD 대비 throughput은 최대 75\\%, end-to-end latency는 최대 39\\%까지 유의미하게 개선한다. 또한 MineDraft를 vLLM용 plugin으로 구현하여 production-ready inference system에서의 실용성도 입증했다.
"},{"id":"64645","en":"Mitigating Manifold Departure: Uncertainty-aware Subspace Rectification for Trustworthy MLLM Decoding","ko":"Manifold 이탈 완화: 신뢰할 수 있는 MLLM Decoding을 위한 불확실성 인식 부분공간 교정","authors":"Yingxuan Zhuang, Miao Pan, Jingxiao Yang, Jintao Chen, Cheng Tan, Yuxiang Cai, Siwei Tan, Chen Zhi, Xuhong Zhang, Jianwei Yin","pos":"#2006","link":"https://openreview.net/forum?id=LInDSHWGMK","abs":"Multimodal Large Language Models often suffer from object hallucinations, where generated outputs are inconsistent with the visual evidence. This issue is typically attributed to the over-reliance on language priors, which can override the visual context. Recent training-free decoding strategies address this by penalizing language priors. However, these methods overlook the dual nature of language priors, where they can be both helpful and harmful depending on the alignment with visual evidence. In particular, blindly suppressing language priors often disrupts the model’s semantic manifold, leading to performance degradation, a phenomenon we term Manifold Departure. To address this, we propose Manifold-Guided Adaptive Projection (MGAP), a geometry-aware, training-free decoding method that mitigates hallucinations while preserving representation structure. MGAP first constructs a language-prior subspace from blind hidden states (null-image inputs) via SVD. During decoding, MGAP projects each multimodal hidden state onto this subspace and applies a consistency-aware gate to adaptively attenuate only the projected prior component, yielding a subspace-selective update that largely preserves the orthogonal semantic components. Extensive experiments on POPE and CHAIR show that MGAP outperforms prior decoding baselines, achieving stronger hallucination suppression without sacrificing coherence.
","absKo":"Multimodal Large Language Models는 생성된 출력이 시각적 증거와 일치하지 않는 object hallucination을 자주 겪는다. 이 문제는 일반적으로 language prior에 과도하게 의존하기 때문이라고 여겨지며, 이 prior가 visual context를 압도할 수 있다. 최근의 training-free decoding 전략들은 language prior를 패널티로 억제함으로써 이를 해결한다. 그러나 이러한 방법들은 language prior가 시각적 증거와의 정렬 여부에 따라 유용할 수도 있고 해로울 수도 있다는 이중적 성격을 간과한다. 특히, language prior를 무작정 억제하면 모델의 semantic manifold가 흔들려 성능 저하를 초래하는데, 우리는 이를 Manifold Departure라고 부른다. 이를 해결하기 위해 우리는 representation 구조를 보존하면서 hallucination을 완화하는 geometry-aware, training-free decoding 방법인 Manifold-Guided Adaptive Projection (MGAP)을 제안한다. MGAP은 먼저 blind hidden states(null-image inputs)로부터 SVD를 통해 language-prior subspace를 구성한다. 디코딩 과정에서 MGAP은 각 multimodal hidden state를 이 subspace에 투영하고, consistency-aware gate를 적용해 투영된 prior component만 적응적으로 감쇠시킨다. 그 결과 orthogonal한 semantic component는 대부분 보존되는 subspace-selective update가 이루어진다. POPE와 CHAIR에서 수행한 대규모 실험은 MGAP이 기존 decoding baseline보다 우수하며, coherence를 희생하지 않으면서 더 강한 hallucination 억제를 달성함을 보여준다.
"},{"id":"64570","en":"Multi-Head LatentMoE and Head Parallel: Communication-Efficient and Deterministic MoE Parallelism","ko":"Multi-Head LatentMoE와 Head Parallel: 통신 효율적이고 결정론적인 MoE 병렬화","authors":"Chenwei Cui, Rockwell Jackson, Benjamin Joseph Herrera, Ana Tarano, Hannah Kerner","pos":"#2010","link":"https://openreview.net/forum?id=M6h4vUgvl4","abs":"Large language models have transformed many applications but remain expensive to train. Sparse Mixture of Experts (MoE) addresses this through conditional computation, with Expert Parallel (EP) as the standard distributed training method. However, EP has three limitations: communication cost grows linearly with the number of activated experts $k$, load imbalance affects latency and memory usage, and data-dependent communication requires metadata exchange. We propose Multi-Head LatentMoE and Head Parallel (HP), a new architecture and parallelism that achieve $O(1)$ communication cost regardless of $k$, completely balanced traffic, and deterministic communication, all while remaining compatible with EP. To accelerate Multi-Head LatentMoE, we propose IO-aware routing and expert computation. Compared to MoE with EP, Multi-Head LatentMoE with HP trains up to $1.61\\times$ faster while having identical performance. With doubled granularity, it achieves higher overall performance while still being $1.11\\times$ faster. Our method makes multi-billion-parameter foundation model research more accessible.","absKo":"대규모 언어 모델은 많은 응용을 바꾸어 놓았지만, 학습 비용은 여전히 높다. Sparse Mixture of Experts (MoE)는 conditional computation을 통해 이를 해결하며, Expert Parallel (EP)은 표준 분산 학습 방법으로 널리 사용된다. 그러나 EP에는 세 가지 한계가 있다. 활성화된 expert 수 $k$에 따라 통신 비용이 선형적으로 증가하고, load imbalance가 latency와 memory usage에 영향을 주며, data-dependent communication은 metadata 교환을 필요로 한다. 우리는 $k$와 무관하게 $O(1)$ 통신 비용, 완전히 균형 잡힌 traffic, 결정적인 통신을 달성하면서도 EP와 호환되는 새로운 architecture와 parallelism인 Multi-Head LatentMoE와 Head Parallel (HP)를 제안한다. Multi-Head LatentMoE를 가속하기 위해 IO-aware routing과 expert computation도 제안한다. MoE with EP와 비교할 때, HP를 사용하는 Multi-Head LatentMoE는 동일한 성능을 유지하면서 최대 $1.61\\times$ 더 빠르게 학습한다. granularity를 두 배로 세분화하면, 더 높은 overall performance를 달성하면서도 여전히 $1.11\\times$ 더 빠르다. 우리의 방법은 multi-billion-parameter foundation model 연구를 더 쉽게 접근 가능하게 만든다."},{"id":"66684","en":"NEMO: Execution-Aware Optimization Modeling via Autonomous Coding Agents","ko":"NEMO: 자율 Coding Agent를 통한 실행 인지 최적화 모델링","authors":"Yang Song, Anoushka Vyas, Zirui Wei, Sina Pakazad, Henrik Ohlsson, Graham Neubig","pos":"#2011","link":"https://openreview.net/forum?id=1MxluQVepx","abs":"In this paper, we present NEMO, a system that translates Natural-language descriptions of decision problems into formal Executable Mathematical Optimization implementations, operating collaboratively with users or autonomously. Existing approaches typically rely on specialized large language models (LLMs) or bespoke, task-specific agents. Such methods are often brittle, complex and frequently generating syntactically invalid or non-executable code. NEMO instead centers on remote interaction with autonomous coding agents (ACAs), treated as a first-class abstraction analogous to API-based interaction with LLMs. This design enables the construction of higher-level systems around ACAs that structure, consolidate, and iteratively refine task specifications. Because ACAs execute within sandboxed environments, code produced by NEMO is executable by construction, allowing automated validation and repair. Building on this, we introduce novel coordination patterns with and across ACAs, including asymmetric validation loops between independently generated optimizer and simulator implementations (serving as a high-level validation mechanism), external memory for experience reuse, and robustness enhancements via minimum Bayes risk (MBR) decoding and self-consistency. We evaluate NEMO on nine established optimization benchmarks. As depicted in Figure 1, it achieves state-of-the-art performance on the majority of tasks, with substantial margins on several datasets, demonstrating the power of execution-aware agentic architectures for automated optimization modeling.
","absKo":"이 논문에서는, 의사결정 문제의 Natural-language 설명을 형식적인, 실행 가능한 Executable Mathematical Optimization 구현으로 변환하는 시스템 NEMO를 제시한다. 이 시스템은 사용자와 협력적으로 또는 자율적으로 동작한다. 기존 접근법은 보통 특화된 large language model(LLM)이나 맞춤형, task-specific agent에 의존한다. 이러한 방법은 대체로 취약하고 복잡하며, 문법적으로 유효하지 않거나 실행 불가능한 코드를 자주 생성한다. NEMO는 대신 autonomous coding agent(ACA)와의 원격 상호작용을 중심에 둔다. ACA는 LLM과의 API 기반 상호작용에 비견되는 일급 추상화로 취급된다. 이러한 설계는 ACA를 중심으로 task specification을 구조화하고, 통합하며, 반복적으로 정제하는 상위 수준 시스템을 구성할 수 있게 한다. ACA는 sandboxed environment 안에서 실행되므로, NEMO가 생성하는 코드는 생성 시점부터 실행 가능(executable by construction)하며, 자동 검증과 수정을 가능하게 한다. 이를 바탕으로 우리는 독립적으로 생성된 optimizer와 simulator 구현 사이의 비대칭 validation loop(상위 수준 검증 메커니즘으로 기능함), 경험 재사용을 위한 external memory, 그리고 minimum Bayes risk(MBR) decoding과 self-consistency를 통한 robustness 강화 등 ACA와 ACA 간, 그리고 ACA 내부에서의 새로운 coordination pattern을 도입한다. 우리는 NEMO를 아홉 개의 확립된 optimization benchmark에서 평가한다. Figure 1에 나타난 바와 같이, 대부분의 task에서 state-of-the-art 성능을 달성했으며, 여러 dataset에서 큰 격차를 보였다. 이는 자동화된 optimization modeling을 위한 execution-aware agentic architecture의 강력함을 보여준다.
"},{"id":"63063","en":"OmniSIFT: Modality-Asymmetric Token Compression for Efficient Omni-modal Large Language Models","ko":"OmniSIFT: 효율적인 옴니모달 대규모 언어 모델을 위한 모달리티 비대칭 토큰 압축","authors":"Yiyan Ji, Yiyan Ji, Jungang Li, Xuyang Liu, Xinlong Chen, Junfei Wu, Bozhou Li, Bohan Zeng, Yang Shi, Yushuo Guan, Yuanxing Zhang, Jiaheng Liu, Qiang Liu, Pengfei Wan, Liang Wang","pos":"#2013","link":"https://openreview.net/forum?id=aPnQpmwHW7","abs":"Omni-modal Large Language Models (Omni-LLMs) have demonstrated strong capabilities in audio-video understanding tasks. However, their reliance on long multimodal token sequences leads to substantial computational overhead. Despite this challenge, token compression methods designed for Omni-LLMs remain limited. To bridge this gap, we propose OmniSIFT (Omni-modal Spatio-temporal Informed Fine-grained Token compression), a modality-asymmetric token compression framework tailored for Omni-LLMs. Specifically, OmniSIFT adopts a two-stage compression strategy: (i) a spatio-temporal video pruning module that removes video redundancy arising from both intra-frame structure and inter-frame overlap, and (ii) a vision-guided audio selection module that filters audio tokens. The entire framework is optimized end-to-end via a differentiable straight-through estimator. Extensive experiments on five representative benchmarks verify the efficacy and robustness of OmniSIFT. Notably, for Qwen2.5-Omni-7B, OmniSIFT adds 4.85M parameters while still achieving lower latency than training-free baselines such as OmniZip. With only 25% of the original token context, OmniSIFT consistently outperforms all compression baselines and even surpasses the full-token model on several tasks.
","absKo":"Omni-modal Large Language Models (Omni-LLMs)는 audio-video 이해 task에서 뛰어난 성능을 보여 왔다. 그러나 긴 multimodal token sequence에 의존하기 때문에 상당한 계산 오버헤드가 발생한다. 이러한 문제에도 불구하고, Omni-LLMs를 위한 token compression 방법은 여전히 제한적이다. 이 간극을 메우기 위해 우리는 OmniSIFT (Omni-modal Spatio-temporal Informed Fine-grained Token compression)를 제안한다. 이는 Omni-LLMs에 맞춘 modality-asymmetric token compression 프레임워크이다. 구체적으로 OmniSIFT는 두 단계 압축 전략을 채택한다: (i) intra-frame structure와 inter-frame overlap 모두에서 비롯되는 video redundancy를 제거하는 spatio-temporal video pruning module, (ii) audio token을 필터링하는 vision-guided audio selection module. 전체 프레임워크는 differentiable straight-through estimator를 통해 end-to-end로 최적화된다. 다섯 개의 대표적 benchmark에서의 광범위한 실험은 OmniSIFT의 효과와 견고성을 검증한다. 특히 Qwen2.5-Omni-7B의 경우, OmniSIFT는 4.85M parameter를 추가하면서도 OmniZip 같은 training-free baseline보다 더 낮은 latency를 달성한다. 원래 token context의 25%만 사용하더라도 OmniSIFT는 모든 compression baseline을 일관되게 능가하며, 여러 task에서는 full-token model을 뛰어넘기도 한다.
"},{"id":"64744","en":"Local Linearity of LLMs Enables Activation Steering via Model-Based Linear Optimal Control","ko":"LLM의 지역적 선형성이 Model-Based Linear Optimal Control을 통한 Activation Steering을 가능케 한다","authors":"Julian Skifstad, Xinyue Annie Yang, Glen Chou","pos":"#2102","link":"https://openreview.net/forum?id=KI5B6lcahM","abs":"Inference-time LLM alignment methods, particularly activation steering, offer an alternative to fine-tuning by directly modifying internal activations during generation. Existing methods, however, often rely on non-anticipative interventions that ignore how perturbations propagate through transformer layers and lack online error feedback, resulting in suboptimal, open-loop control. To address this, we show empirically that, despite the nonlinear structure of transformer blocks, layer-wise dynamics across multiple LLM architectures and scales are well-approximated by locally-linear models. Exploiting this property, we model LLM inference as a linear time-varying dynamical system and adapt the classical linear quadratic regulator to compute feedback controllers using layer-wise Jacobians, steering activations toward desired semantic setpoints in closed-loop with minimal computational overhead and no offline training. We also derive theoretical bounds on setpoint tracking error, enabling formal guarantees on steering performance. Using a novel adaptive semantic feature setpoint signal, we show that our method achieves robust, fine-grained behavior control across models, scales, and tasks, including modulation of toxicity, truthfulness, and arbitrary concepts, surpassing baseline steering methods.
","absKo":"Inference-time LLM alignment 방법, 특히 activation steering은 생성 중 내부 activation을 직접 수정함으로써 fine-tuning의 대안이 된다. 그러나 기존 방법은 perturbation이 transformer layer를 통해 어떻게 전파되는지를 무시하는 non-anticipative intervention에 의존하는 경우가 많고 online error feedback이 부족하여, 결과적으로 최적에 못 미치는 open-loop control이 된다. 이를 해결하기 위해, 우리는 transformer block의 비선형 구조에도 불구하고 여러 LLM architecture와 scale 전반에 걸친 layer-wise dynamics가 locally-linear model로 잘 근사된다는 점을 실증적으로 보인다. 이 성질을 활용하여 LLM inference를 linear time-varying dynamical system으로 모델링하고, classical linear quadratic regulator를 변형해 layer-wise Jacobian을 사용한 feedback controller를 계산함으로써, 최소한의 계산 오버헤드와 offline training 없이 closed-loop 방식으로 activation을 원하는 semantic setpoint 쪽으로 steering한다. 또한 setpoint tracking error에 대한 이론적 bound를 도출하여 steering 성능에 대한 formal guarantee를 가능하게 한다. 새로운 adaptive semantic feature setpoint signal을 사용해, 우리의 방법이 toxicity, truthfulness, arbitrary concept의 조절을 포함하여 모델, scale, task 전반에서 robust하고 fine-grained한 behavior control을 달성하며 baseline steering 방법들을 능가함을 보인다.
"},{"id":"66783","en":"Learning to Evict from Key-Value Cache","ko":"Key-Value Cache에서 축출 학습하기","authors":"Luca Moschella, Laura Manduchi, Ozan Sener","pos":"#2103","link":"https://openreview.net/forum?id=0OevIlRMYN","abs":"The growing size of Large Language Models (LLMs) makes efficient inference challenging, primarily due to the memory demands of the autoregressive Key-Value (KV) cache. Existing eviction or compression methods reduce cost but rely on heuristics, such as recency or past attention scores, which serve only as indirect proxies for a token’s future utility and introduce computational overhead. We reframe KV cache eviction as a reinforcement learning (RL) problem: learning to rank tokens by their predicted usefulness for future decoding. To this end, we introduce KV Policy (KVP), a framework of lightweight per-head RL agents trained on pre-computed generation traces using only key and value vectors. Each agent learns a specialized eviction policy guided by a holistic reward, derived from future utility, that evaluates the quality of the ranking across all cache budgets, requiring no modifications to the underlying LLM or additional inference. Evaluated across two different model families on the long-context benchmark RULER and the multi-turn dialogue benchmark OASST2-4k, KVP significantly outperforms baselines. Furthermore, zero-shot tests on standard downstream tasks (e.g., LongBench, BOOLQ, ARC) indicate that KVP generalizes well beyond its training distribution and to longer sequence lengths. These results demonstrate that learning to predict future token utility is a powerful and scalable paradigm for adaptive KV cache management.
","absKo":"autoregressive Key-Value(KV) cache에 대한 메모리 요구 때문에, Large Language Model(LLM)의 규모가 커질수록 효율적인 inference는 점점 더 어려워진다. 기존의 eviction 또는 compression 방법은 비용을 줄이지만, 토큰의 미래 유용성에 대한 간접적인 대리 변수일 뿐인 recency나 과거 attention score와 같은 heuristic에 의존하며 계산 오버헤드를 유발한다. 우리는 KV cache eviction을 reinforcement learning(RL) 문제로 재구성한다. 즉, 미래 decoding에 대한 예측된 유용성을 기준으로 토큰의 순위를 학습하는 것이다. 이를 위해, 우리는 key와 value vector만을 사용하여 사전 계산된 generation trace로 학습된 가벼운 per-head RL agent로 이루어진 framework인 KV Policy(KVP)를 제안한다. 각 agent는 미래 유용성에서 도출된 holistic reward의 지도를 받아, 모든 cache budget에 걸친 ranking 품질을 평가하는 특화된 eviction policy를 학습하며, underlying LLM이나 추가 inference의 수정이 필요하지 않다. 장문 컨텍스트 benchmark RULER와 다중 턴 대화 benchmark OASST2-4k에서 두 개의 서로 다른 model family에 대해 평가한 결과, KVP는 baseline을 크게 능가한다. 또한 standard downstream task(LongBench, BOOLQ, ARC 등)에서의 zero-shot test는 KVP가 학습 분포를 넘어, 그리고 더 긴 sequence length에도 잘 일반화함을 보여 준다. 이러한 결과는 미래 토큰 유용성을 예측하는 학습이 적응형 KV cache 관리를 위한 강력하고 확장 가능한 paradigm임을 입증한다.
"},{"id":"65580","en":"Inverse Depth Scaling From Most Layers Being Similar","ko":"대부분의 레이어가 유사하다는 점으로부터의 역깊이 스케일링","authors":"Yizhou Liu, Sara Kangaslahti, Ziming Liu, Jeff Gore","pos":"#2110","link":"https://openreview.net/forum?id=CEpCpxJqAt","abs":"Neural scaling laws relate loss to model size in large language models (LLMs), yet depth and width may contribute to performance differently, requiring more detailed studies. Here, we quantify how depth affects loss via analysis of LLMs and toy residual networks. We find loss scales inversely proportional to depth in LLMs, probably due to functionally similar layers reducing error through ensemble averaging rather than compositional learning or discretizing smooth dynamics. This regime is inefficient yet robust and may arise from the architectural bias of residual networks and target functions incompatible with smooth dynamics. Our findings suggest that improving LLM efficiency may require architectural innovations to encourage compositional use of depth.
","absKo":"Neural scaling law는 대규모 language model(LLM)에서 loss와 model size의 관계를 설명하지만, depth와 width는 성능에 서로 다르게 기여할 수 있으므로 더 세밀한 연구가 필요합니다. 여기서는 LLM과 toy residual network를 분석하여 depth가 loss에 어떤 영향을 주는지 정량화합니다. 우리는 LLM에서 loss가 depth에 반비례하여 스케일링함을 발견했으며, 이는 아마도 기능적으로 유사한 layer들이 compositional learning이나 smooth dynamics의 discretization보다 ensemble averaging을 통해 error를 줄이기 때문으로 보입니다. 이러한 regime는 비효율적이지만 robust하며, residual network의 architectural bias와 smooth dynamics와 양립하지 않는 target function 때문에 발생할 수 있습니다. 우리의 결과는 LLM 효율성을 개선하려면 depth를 compositional하게 활용하도록 유도하는 architecture innovation이 필요할 수 있음을 시사합니다.
"},{"id":"64353","en":"Fast and Accurate Causal Parallel Decoding using Jacobi Forcing","ko":"Jacobi Forcing을 이용한 빠르고 정확한 인과 병렬 디코딩","authors":"Lanxiang Hu, Siqi Kou, Yichao Fu, Samyam Rajbhandari, Tajana Rosing, Yuxiong He, Zhijie Deng, Hao Zhang","pos":"#2207","link":"https://openreview.net/forum?id=ORy2hyPd4G","abs":"Multi-token generation has emerged as a promising paradigm for accelerating language model inference, with the diffusion Large Language Models (dLLMs) as the most notable approach recently. Popular dLLMs like SDAR and Fast-dLLM v2 are post-trained on pre-trained AR models to minimize training cost while maintaining high performance. However, there exists a fundamental pretrain-to-posttrain mismatch -- the masked data distribution and bidirectional attention in post-training deviates significantly from the real data distribution and causal attention for pretraining. As a result, the post-trained dLLMs usually suffer from limited speedup or substantially degraded performance. To address this, we introduce Jacobi Forcing to bypass the dLLM formulation, directly post-training a causal multi-token predictor from an AR LLM. In particular, we force the model to learn to leap along its own parallel token generation trajectories based on Jacobi Decoding, and introduce an elaborate progressive distillation paradigm. The trained models achieve $3.8\\times$ wall-clock speedup on coding and math benchmarks with minimal loss in performance. Based on the trajectory characteristics of the model, we further introduce multi-block decoding with rejection recycling, which enables up to $4.6\\times$ higher token acceptance count per iteration and $4.0\\times$ wall-clock speedup, effectively trading additional compute for lower inference latency.","absKo":"다중 토큰 생성(multi-token generation)은 language model inference를 가속하기 위한 유망한 패러다임으로 떠올랐으며, 최근에는 diffusion Large Language Models(dLLMs)가 가장 주목받는 접근법입니다. SDAR와 Fast-dLLM v2 같은 인기 있는 dLLM은 높은 성능을 유지하면서 학습 비용을 최소화하기 위해 pre-trained AR model 위에서 post-training됩니다. 그러나 본질적인 pretrain-to-posttrain mismatch가 존재합니다. 즉, post-training에서의 masked data distribution과 bidirectional attention이 pretraining의 실제 data distribution과 causal attention과 크게 어긋납니다. 그 결과 post-trained dLLM은 대개 제한적인 속도 향상에 그치거나 성능이 상당히 저하됩니다. 이를 해결하기 위해 우리는 dLLM formulation을 우회하는 Jacobi Forcing을 도입하여, AR LLM으로부터 causal multi-token predictor를 직접 post-training합니다. 특히 Jacobi Decoding을 기반으로 모델이 자신의 parallel token generation trajectory를 따라 도약하도록 학습을 강제하고, 정교한 progressive distillation paradigm을 도입합니다. 학습된 모델은 coding 및 math benchmark에서 성능 손실을 최소화하면서 $3.8\\times$의 wall-clock speedup을 달성합니다. 또한 모델의 trajectory 특성을 바탕으로 rejection recycling이 포함된 multi-block decoding을 도입하여, 반복당 token acceptance count를 최대 $4.6\\times$까지 늘리고 wall-clock speedup을 $4.0\\times$까지 향상시켜, 추가 연산을 더 낮은 inference latency와 효과적으로 교환합니다."},{"id":"65469","en":"FlexRank: Nested Low-Rank Knowledge Decomposition for Adaptive Model Deployment","ko":"FlexRank: 적응형 모델 배포를 위한 중첩 Low-Rank 지식 분해","authors":"Riccardo Zaccone, Stefanos Laskaridis, Marco Ciccone, Samuel Horváth","pos":"#2208","link":"https://openreview.net/forum?id=DK0kvnNelx","abs":"The growing scale of deep neural networks, encompassing large language models (LLMs) and vision transformers (ViTs), has made training from scratch prohibitively expensive and deployment increasingly costly. These models are often used as computational monoliths with fixed cost, a rigidity that does not leverage overparametrized architectures and largely hinders adaptive deployment across different cost budgets. We argue that importance-ordered nested components can be extracted from pretrained models, and selectively activated on the available computational budget. To this end, our proposed FlexRank method leverages low-rank weight decomposition with nested, importance-based consolidation to extract submodels of increasing capabilities. Our approach enables a \"train-once, deploy-everywhere\" paradigm that offers a graceful trade-off between cost and performance without training from scratch for each budget - advancing practical deployment of large models.
","absKo":"deep neural network의 규모가 커지면서 large language model(LLM)과 vision transformer(ViT)를 포함해, scratch부터 학습하는 비용은 지나치게 커졌고 배포 비용도 점점 증가하고 있다. 이러한 모델은 종종 고정 비용을 가진 computational monolith로 사용되며, 이는 overparametrized architecture의 장점을 살리지 못하고 다양한 cost budget에 걸친 adaptive deployment를 크게 저해한다. 우리는 중요도 순으로 정렬된 nested component를 pretrained model에서 추출하고, 가용한 computational budget에 따라 선택적으로 활성화할 수 있다고 주장한다. 이를 위해 우리가 제안하는 FlexRank 방법은 nested하고 importance-based consolidation을 갖는 low-rank weight decomposition을 활용하여, 능력이 점점 증가하는 submodel을 추출한다. 이 접근은 각 budget마다 새로 학습하지 않고도 비용과 성능 사이에서 우아한 trade-off를 제공하는 \"train-once, deploy-everywhere\" 패러다임을 가능하게 하며, 대규모 모델의 실용적 배포를 진전시킨다."},{"id":"66177","en":"Deterministic Differentiable Structured Pruning for Large Language Models","ko":"대규모 언어 모델을 위한 결정론적 미분 가능 구조적 가지치기","authors":"Weiyu Huang, Pengle Zhang, Xiaolu Zhang, JUN ZHOU, Jun Zhu, Jianfei Chen","pos":"#2300","link":"https://openreview.net/forum?id=64Kj8z626A","abs":"Structured pruning reduces LLM inference cost by removing low-importance architectural components. This can be viewed as learning a multiplicative gate for each component under an $\\ell_0$ sparsity constraint. Due to the discreteness of the $\\ell_0$ norm, prior work typically adopts stochastic hard-concrete relaxations to enable differentiable optimization; however, this stochasticity can introduce a train--test mismatch when sampled masks are discretized for deployment and restricting masks to a bounded, near-binary range. To address this, we propose Deterministic Differentiable Pruning (DDP), a mask-only optimization method that eliminates stochasticity by directly optimizing a deterministic soft surrogate of the discrete $\\ell_0$ objective. Compared with prior approaches, DDP offers greater expressiveness, reduced train--test mismatch, and faster convergence. We apply our method to several dense and MoE models, including Qwen3-32B and Qwen3-30B-A3B, achieving a performance loss as small as 1\\% on downstream tasks while outperforming previous methods at 20\\% sparsity. We further demonstrate end-to-end inference speedups in realistic deployment settings with vLLM.","absKo":"Structured pruning은 중요도가 낮은 architectural component를 제거하여 LLM inference cost를 줄인다. 이는 각 component에 대해 \\(\\ell_0\\) sparsity constraint 하에서 multiplicative gate를 학습하는 것으로 볼 수 있다. \\(\\ell_0\\) norm의 discrete 특성 때문에, 이전 연구는 보통 differentiable optimization을 가능하게 하기 위해 stochastic hard-concrete relaxation을 채택했다. 그러나 이러한 stochasticity는 sampled mask가 deployment를 위해 discretize될 때 train--test mismatch를 유발할 수 있으며, mask를 bounded하고 near-binary 범위로 제한한다. 이를 해결하기 위해 우리는 Deterministic Differentiable Pruning (DDP)을 제안한다. 이는 discrete \\(\\ell_0\\) objective의 deterministic soft surrogate를 직접 최적화하여 stochasticity를 제거하는 mask-only optimization method이다. 기존 접근법과 비교했을 때, DDP는 더 높은 expressiveness, 더 적은 train--test mismatch, 더 빠른 convergence를 제공한다. 우리는 Qwen3-32B와 Qwen3-30B-A3B를 포함한 여러 dense 및 MoE model에 이 방법을 적용하여, downstream task에서 최대 1\\% 수준의 performance loss만을 보이면서도 20\\% sparsity에서 기존 방법을 능가하는 결과를 얻었다. 또한 vLLM을 사용한 실제 deployment setting에서 end-to-end inference speedup도 입증했다."},{"id":"61546","en":"Compress then Merge: From Multiple LoRAs into One Low-Rank Adapter","ko":"Compress then Merge: 여러 LoRA를 하나의 Low-Rank Adapter로","authors":"Zhengbao He, Ruiqi Ding, Zhehao Huang, Ruikai Yang, Tao Li, Xiaolin Huang","pos":"#2304","link":"https://openreview.net/forum?id=p32nWlgwYC","abs":"Low-rank adaptation (LoRA) enables parameter-efficient specialization of foundation models, but the proliferation of task-specific adapters fragments capabilities across many adapters, complicating reuse and deployment. We study the problem of merging $T$ LoRAs into **a single rank-$r$ LoRA**, thereby preserving the benefits of low-rank structure. Existing Merge-then-Compress pipelines treat the rank constraint as an afterthought: they merge adapters in the full parameter space, then compress the merged result to rank $r$ via truncated SVD. However, full-parameter merging may destroy the low-rank structure, making it difficult for subsequent compression to recover an effective rank-$r$ LoRA. We propose Compress-then-Merge (CtM), a reversed paradigm that enforces the rank-$r$ bottleneck _before_ merging: CtM computes shared $r$-dimensional subspaces using only the LoRA weights to capture cross-adapter common structure, projects each adapter into the shared subspaces to obtain $r\\times r$ coordinates, and then applies standard merging rules in this reduced space. CtM guarantees a rank-$r$ LoRA by construction, avoiding post-hoc truncation, and enables efficient computation in the core space spanned by concatenated LoRA factors. Experiments on ViT-B/32 and LLaMA3-8B demonstrate consistent improvements over single-LoRA-output baselines, while remaining competitive with (and in some cases surpassing) full-parameter merging methods.","absKo":"Low-rank adaptation (LoRA)는 foundation model의 parameter-efficient specialization을 가능하게 하지만, task-specific adapter의 확산은 많은 adapter에 걸쳐 capability를 파편화하여 재사용과 배포를 복잡하게 만든다. 우리는 T개의 LoRA를 하나의 rank-r LoRA로 병합하는 문제를 연구하며, 이를 통해 low-rank 구조의 이점을 보존하고자 한다. 기존의 Merge-then-Compress pipeline은 rank 제약을 사후적인 것으로 다룬다. 즉, adapter를 full parameter space에서 병합한 뒤, 병합된 결과를 truncated SVD를 통해 rank r로 압축한다. 그러나 full-parameter merging은 low-rank structure를 파괴할 수 있으며, 이후의 compression이 효과적인 rank-r LoRA를 복원하기 어렵게 만든다. 우리는 병합 전에 rank-r bottleneck을 강제하는 역발상 패러다임인 Compress-then-Merge (CtM)를 제안한다. CtM은 LoRA weight만을 사용해 shared r-dimensional subspace를 계산하여 adapter 간 공통 구조를 포착하고, 각 adapter를 해당 shared subspace로 투영해 r×r 좌표를 얻은 다음, 축소된 공간에서 표준 merging rule을 적용한다. CtM은 구조적으로 rank-r LoRA를 보장하여 사후 truncation을 피하고, concatenated LoRA factor가 span하는 core space에서 효율적인 계산을 가능하게 한다. ViT-B/32와 LLaMA3-8B에서의 실험은 single-LoRA-output baseline에 비해 일관된 향상을 보이면서도, full-parameter merging method와 경쟁력 있는 성능을 유지하며 경우에 따라 이를 능가함을 보여준다."},{"id":"64064","en":"Bring Future Vision: Dynamic Computation Allocation Guided by Lightweight Feature Forecaster","ko":"미래 시야 도입: 경량 특징 예측기가 안내하는 동적 연산 할당","authors":"Chao Han, Yijuan Liang, Zihao Xuan, Daokuan Wu, Wei Zhang, Xiaoyu Shen","pos":"#2307","link":"https://openreview.net/forum?id=RGTeK9aEI3","abs":"The deployment of large language models (LLMs) in real-world applications is increasingly limited by their high inference cost. While recent advances in dynamic token-level computation allocation attempt to improve efficiency by selectively activating model components per token, existing methods rely on greedy routing—a myopic execute-or-skip mechanism that often leads to irreversible information loss and suboptimal token selection. This paper introduces informed routing, a new paradigm that proactively addresses these issues. The key insight is to assess not only a token’s immediate importance but also its recoverability, i.e., how well its transformation can be approximated. To this end, we propose the Lightweight Feature Forecaster (LFF), a small predictive module that estimates a unit’s output before routing decisions are made. This enables a flexible execute-or-approximate policy that preserves model fidelity while drastically reducing computation. Extensive experiments show that informed routing consistently achieves state-of-the-art performance across static and dynamic pruning approaches. We further present two practical inference pipelines: a pure-PyTorch implementation and a Triton-based custom operator, that translate these gains into real-world speedups, achieving practical acceleration and consistent improvement across various batch sizes.
","absKo":"대규모 언어 모델(LLM)의 실제 애플리케이션 배포는 높은 추론 비용으로 인해 점점 더 제한되고 있다. 최근의 동적 token-level computation allocation 기법들은 토큰별로 모델 구성요소를 선택적으로 활성화함으로써 효율성을 높이려 하지만, 기존 방법은 greedy routing, 즉 근시안적인 execute-or-skip 메커니즘에 의존하며, 이는 종종 비가역적인 정보 손실과 최적화되지 않은 토큰 선택으로 이어진다. 본 논문은 이러한 문제를 선제적으로 해결하는 새로운 패러다임인 informed routing을 제안한다. 핵심 통찰은 토큰의 즉각적 중요성뿐 아니라 복구 가능성, 즉 해당 변환을 얼마나 잘 근사할 수 있는지도 평가해야 한다는 점이다. 이를 위해 우리는 routing 결정이 내려지기 전에 단위의 출력을 추정하는 작은 예측 모듈 Lightweight Feature Forecaster(LFF)를 제안한다. 이를 통해 model fidelity를 크게 유지하면서도 계산량을 극적으로 줄이는 유연한 execute-or-approximate 정책을 구현할 수 있다. 광범위한 실험 결과, informed routing은 static 및 dynamic pruning 접근법 전반에서 일관되게 state-of-the-art 성능을 달성함을 보인다. 또한 우리는 순수 PyTorch 구현과 Triton 기반 custom operator라는 두 가지 실용적 추론 파이프라인을 제시하여, 이러한 성능 향상을 실제 속도 향상으로 연결하며, 다양한 batch size에서 실용적인 가속과 일관된 개선을 달성한다.
"},{"id":"61175","en":"Attention Projection Mixing with Exogenous Anchors","ko":"외생 Anchor를 이용한 Attention Projection Mixing","authors":"Jonathan Su","pos":"#2311","link":"https://openreview.net/forum?id=t1tt3rzN7s","abs":"Cross-layer reuse of early attention projections can improve optimization and data efficiency, but it creates a structural conflict: the first layer must simultaneously act as a stable, reusable anchor for all deeper layers and as an effective computational block. We demonstrate that this tension constrains the performance of internal-anchor designs. We propose ExoFormer, which resolves the conflict by learning exogenous anchor projections outside the sequential layer stack. We introduce a unified normalized mixing framework that mixes queries, keys, values, and gate logits using learnable coefficients (exploring coefficient granularities: elementwise, headwise, and scalar), and we show that normalizing anchor sources is key to stable reuse. ExoFormer variants consistently outperform their internal-anchor counterparts, and the dynamic variant yields 1.5x downstream accuracy points while matching validation loss using 1.5x fewer tokens than Gated Attention. We explain this efficacy via an Offloading Hypothesis: external anchors preserve essential token identity, allowing layers to specialize exclusively in feature transformation. We release code and models to facilitate future research.
","absKo":"Cross-layer reuse of early attention projection은 optimization과 data efficiency를 향상시킬 수 있지만, 구조적 충돌을 일으킨다. 첫 번째 layer는 모든 더 깊은 layer를 위한 안정적이고 재사용 가능한 anchor 역할을 하면서 동시에 효과적인 계산 블록으로 기능해야 하기 때문이다. 우리는 이러한 긴장이 internal-anchor design의 성능을 제약함을 보인다. 이를 해결하기 위해 순차적인 layer stack 바깥에서 exogenous anchor projection을 학습하는 ExoFormer를 제안한다. 또한 queries, keys, values, gate logits을 learnable coefficient로 혼합하는 unified normalized mixing framework를 도입한다. coefficient granularities로는 elementwise, headwise, scalar를 탐색하며, anchor source를 normalize하는 것이 안정적인 재사용에 핵심임을 보인다. ExoFormer 변형들은 일관되게 internal-anchor 대응 모델을 능가하며, dynamic variant는 Gated Attention보다 1.5배 적은 token으로 validation loss를 맞추면서 downstream accuracy를 1.5포인트 높인다. 우리는 이러한 효율을 Offloading Hypothesis로 설명한다. external anchor가 핵심 token identity를 보존함으로써 layer가 feature transformation에만 전적으로 특화될 수 있다는 것이다. 향후 연구를 돕기 위해 code와 model을 공개한다."},{"id":"63234","en":"ANCHOR: Automated Alignment Auditing for CLI Agents on Real-World Harm","ko":"ANCHOR: 실세계 위해에 대한 CLI 에이전트의 자동 정렬 감사","authors":"Kefan Song, Yanjun Qi","pos":"#2315","link":"https://openreview.net/forum?id=YqTodSrPPB","abs":"Autonomous CLI agents can now execute hundreds of actions across multi-hour sessions: writing code, executing shell commands, browsing the web, and managing cloud infrastructure, all with minimal human oversight. Does greater autonomy invite greater risk? We introduce ANCHOR, an automated auditing framework that stress-tests CLI agents on illegal tasks grounded in public US court cases. ANCHOR deploys an adversarial auditor agent fine-tuned on dark personality data using supervised and reinforcement learning. This auditor roleplays persistent malicious users who decompose tasks, reframe requests upon refusal, and adapt strategies across multi-turn interactions. Evaluating frontier models, we find that while they often refuse illegal tasks when prompted directly, compliance rates reaches 100% under persistent malicious interaction. When agents comply, they frequently exceed user requests, autonomously building infrastructure for large-scale harm, including catastrophic risk scenarios such as large-scale financial fraud and bioweapon development. These findings demonstrate that current alignment techniques are insufficient for autonomous agents and underscore the need for safety evaluations against persistent, adaptive malicious users.
","absKo":"자율 CLI agent는 이제 수 시간에 걸친 세션에서 수백 개의 action을 수행할 수 있다. 코드를 작성하고, shell command를 실행하고, web을 탐색하며, cloud infrastructure를 관리하는 일을 최소한의 human oversight로 수행한다. 더 큰 자율성은 더 큰 위험을 초래하는가? 우리는 공개된 US 법원 판례에 기반한 불법 task로 CLI agent를 stress-test하는 자동 감사 framework인 ANCHOR를 소개한다. ANCHOR는 supervised learning과 reinforcement learning으로 dark personality data에 fine-tune된 adversarial auditor agent를 배치한다. 이 auditor는 task를 분해하고, 거절을 받으면 요청을 다시 구성하며, multi-turn interaction 전반에 걸쳐 전략을 조정하는 persistent malicious user를 역할극한다. frontier model을 평가한 결과, 직접적으로 프롬프트할 때는 불법 task를 종종 거절하지만, persistent malicious interaction 하에서는 compliance rate이 100%에 도달함을 발견했다. agent가 comply할 때는 종종 사용자 요청을 넘어, 대규모 금융 fraud와 bioweapon 개발 같은 catastrophic risk scenario를 포함한 대규모 해악을 위한 infrastructure를 자율적으로 구축한다. 이러한 결과는 현재의 alignment technique가 자율 agent에는 충분하지 않음을 보여주며, 지속적이고 적응적인 악의적 사용자에 대한 safety evaluation의 필요성을 강조한다.
"},{"id":"62756","en":"MAGIC: A Co-Evolving Attacker–Defender Adversarial Game for Robust LLM Safety","ko":"MAGIC: 강건한 LLM 안전성을 위한 공진화 공격자-방어자 적대 게임","authors":"Xiaoyu Wen, Zhida He, Han Qi, Ziyu Wan, Zhongtian Ma, Ying Wen, Tianhang Zheng, Xingcheng Xu, Chaochao Lu, Qiaosheng Zhang","pos":"#2916","link":"https://openreview.net/forum?id=deuc2n0fGN","abs":"Ensuring robust safety alignment is crucial for Large Language Models (LLMs), yet existing defenses often lag behind evolving adversarial attacks due to their \\textbf{reliance on static, pre-collected data distributions}. In this paper, we introduce \\textbf{MAGIC}, a novel multi-turn multi-agent reinforcement learning framework that formulates LLM safety alignment as an adversarial asymmetric game. Specifically, an attacker agent learns to iteratively rewrite original queries into deceptive prompts, while a defender agent simultaneously optimizes its policy to recognize and refuse such inputs. This dynamic process triggers a \\textbf{co-evolution}, where the attacker's ever-changing strategies continuously uncover long-tail vulnerabilities, driving the defender to generalize to unseen attack patterns. Remarkably, we observe that the attacker, endowed with initial reasoning ability, evolves \\textbf{novel, previously unseen combinatorial strategies} through iterative RL training, underscoring our method’s substantial potential. Theoretically, we provide insights into a more robust game equilibrium and derive safety guarantees. Extensive experiments validate our framework's effectiveness, demonstrating superior defense success rates without compromising the helpfulness of the model.
","absKo":"Robust safety alignment를 보장하는 것은 Large Language Models(LLMs)에서 매우 중요하지만, 기존 defense는 \\textbf{static, pre-collected data distributions에 대한 의존} 때문에 진화하는 adversarial attack을 따라가지 못하는 경우가 많다. 이 논문에서 우리는 \\textbf{MAGIC}을 소개한다. MAGIC은 LLM safety alignment를 adversarial asymmetric game으로 정식화한 새로운 multi-turn multi-agent reinforcement learning framework이다. 구체적으로, attacker agent는 원래 query를 기만적인 prompt로 반복적으로 rewrite하는 법을 배우고, defender agent는 동시에 이러한 입력을 인식하고 거부하도록 policy를 최적화한다. 이 동적 과정은 \\textbf{co-evolution}을 촉발하며, attacker의 끊임없이 변화하는 전략은 long-tail vulnerability를 지속적으로 드러내고, defender가 보지 못한 attack pattern으로 일반화하도록 만든다. 놀랍게도, 초기 reasoning ability를 부여받은 attacker는 iterative RL training을 통해 \\textbf{새롭고 이전에 보지 못한 combinatorial strategy}를 진화시키며, 이는 우리의 방법이 지닌 큰 잠재력을 보여준다. 이론적으로 우리는 더 robust한 game equilibrium에 대한 통찰을 제공하고 safety guarantee를 도출한다. 광범위한 실험은 우리의 framework의 효과를 검증하며, model의 helpfulness를 해치지 않으면서도 더 우수한 defense success rate를 달성함을 보여준다.
"},{"id":"64633","en":"Robust Harmful Features Under Jailbreak Attacks: Mechanistic Evidence from Attention Head Specialization in Large Language Models","ko":"Jailbreak 공격 하의 강건한 유해 특징: 대규모 언어 모델의 Attention Head 특화로부터의 메커니즘적 증거","authors":"Yanchen Yin, Dongqi Han, Linghui Li","pos":"#3201","link":"https://openreview.net/forum?id=LTF6LtBo0E","abs":"Jailbreak attacks bypass LLM safety alignment, yet their mechanisms remain poorly understood. We provide evidence that attacks do not eliminate safety features but selectively suppress specific attention heads. We identify two functionally differentiated types: Adversarially Compromised Heads (ACHs) concentrated in early layers, which are suppressed under attacks; and Safety-Aligned Heads (SAHs) in mid-layers, which maintain robust activations even when attacks succeed. Ablation studies support their causal roles: suppressing a small number of ACHs is sufficient to induce jailbreak-like behavior on normally refused inputs, while removing SAHs substantially weakens mid-layer safety activations. Token-level attribution further shows that ACH suppression is driven specifically by attack-template tokens. This provides a mechanistic account of why attacks bypass refusal decisions through ACH suppression, yet may not fully eliminate the internal safety signals sustained by SAHs---a phenomenon we term Robust Harmful Features. To validate the practical significance of this robustness, we show that simply reading these persistent activations---without any training---yields a detection signal competitive with dedicated safety models on most benchmarks.
","absKo":"Jailbreak attack은 LLM safety alignment를 우회하지만, 그 메커니즘은 여전히 잘 이해되지 않고 있다. 우리는 이러한 공격이 safety feature를 제거하는 것이 아니라 특정 attention head를 선택적으로 억제한다는 증거를 제시한다. 우리는 기능적으로 구분되는 두 유형을 식별한다. 공격 시 억제되는 early layers에 집중된 Adversarially Compromised Heads (ACHs)와, 공격이 성공하더라도 robust activations를 유지하는 mid-layers의 Safety-Aligned Heads (SAHs)이다. ablation study는 이들의 인과적 역할을 뒷받침한다. 소수의 ACH만 억제해도 정상적으로 거부되는 입력에서 jailbreak-like behavior를 유도할 수 있으며, SAH를 제거하면 mid-layer safety activations가 크게 약화된다. token-level attribution은 ACH 억제가 공격 템플릿 토큰에 의해 구체적으로 유발됨을 추가로 보여준다. 이는 ACH 억제를 통해 공격이 거부 결정을 우회하는 이유를 기계론적으로 설명하는 동시에, SAH에 의해 유지되는 내부 safety signal은 완전히 제거되지 않을 수 있음을 보여준다. 우리는 이 현상을 Robust Harmful Features라고 부른다. 이 robust 특성의 실용적 중요성을 검증하기 위해, 우리는 별도의 training 없이 이러한 지속적 activation을 읽어내는 것만으로도 대부분의 benchmark에서 전용 safety model과 경쟁할 수 있는 detection signal을 얻을 수 있음을 보인다.
"},{"id":"64112","en":"Discovering Interpretable Algorithms by Decompiling Transformers to RASP","ko":"Transformer를 RASP로 역컴파일하여 해석 가능한 알고리즘 발견","authors":"Xinting Huang, Aleksandra Bakalova, Satwik Bhattamishra, William Merrill, Michael Hahn","pos":"#3314","link":"https://openreview.net/forum?id=QnWjcTk14G","abs":"Recent work has shown that the computations of Transformers can be simulated in the RASP family of programming languages. These findings have enabled improved understanding of the expressive capacity and generalization abilities of Transformers. In particular, Transformers have been suggested to length-generalize exactly on problems that have simple RASP programs. However, it remains open whether trained models actually implement simple interpretable programs. In this paper, we present a general method to extract such programs from trained Transformers. The idea is to faithfully re-parameterize a Transformer as a RASP program and then apply causal interventions to discover a small sufficient sub-program. In experiments on small Transformers trained on algorithmic and formal language tasks, we show that our method often recovers simple and interpretable RASP programs from length-generalizing transformers. Our results provide the most direct evidence so far that Transformers internally implement simple RASP programs.
","absKo":"최근 연구는 Transformers의 계산이 RASP 계열 programming language에서 시뮬레이션될 수 있음을 보였다. 이러한 발견은 Transformers의 expressive capacity와 generalization 능력에 대한 이해를 크게 향상시켰다. 특히, 간단한 RASP program으로 표현되는 문제에서는 Transformers가 정확히 length-generalize할 수 있다고 제안되었다. 그러나 학습된 모델이 실제로 간단하고 해석 가능한 program을 구현하는지는 여전히 열려 있다. 본 논문에서는 학습된 Transformers에서 이러한 program을 추출하는 일반적인 방법을 제시한다. 아이디어는 Transformer를 RASP program으로 충실하게 re-parameterize한 뒤, causal intervention을 적용하여 충분한 작은 sub-program을 발견하는 것이다. algorithmic 및 formal language task로 학습된 작은 Transformers에 대한 실험에서, 우리의 방법이 length-generalizing transformer로부터 종종 간단하고 해석 가능한 RASP program을 복원함을 보인다. 우리의 결과는 Transformers가 내부적으로 간단한 RASP program을 구현한다는 점에 대한 지금까지 가장 직접적인 증거를 제공한다.
"},{"id":"64565","en":"Detecting and Filtering Unsafe Training Data via Data Attribution with Denoised Representation","ko":"Denoised Representation을 활용한 Data Attribution로 안전하지 않은 학습 데이터 탐지 및 필터링","authors":"Yijun Pan, Taiwei Shi, Jieyu Zhao, Jiaqi Ma","pos":"#3916","link":"https://openreview.net/forum?id=M9DDNGIM7Z","abs":"Large language models (LLMs) are highly sensitive to even small amounts of unsafe training data, making effective detection and filtering essential for trustworthy model development. Current state-of-the-art (SOTA) detection approaches primarily rely on moderation classifiers, which require significant computation overhead for training and are limited to predefined taxonomies. In this work, we explore data attribution approaches that measure the similarity between individual training samples and a small set of unsafe target examples, based on data representations such as hidden states or gradients. We identify a key limitation in existing methods: unsafe target texts contain both critical tokens that make them unsafe and neutral tokens (e.g., stop words or benign facts) that are necessary to form fluent language, and the latter of which makes the overall representations noisy for the purpose of detecting unsafe training data. To address this challenge, we propose Denoised Representation Attribution (DRA), a novel representation-based data attribution approach that denoises training and target representations for unsafe data detection. Across tasks of filtering jailbreaks and detecting gender bias, the proposed approach leads to significant improvement for data attribution methods, outperforming SOTA methods that are mostly based on moderation classifiers.
","absKo":"Large language model(LLM)은 소량의 unsafe training data에도 매우 민감하므로, 효과적인 탐지와 필터링은 신뢰할 수 있는 모델 개발에 필수적이다. 현재의 state-of-the-art(SOTA) 탐지 접근법은 주로 moderation classifier에 의존하는데, 이는 학습에 상당한 계산 오버헤드를 필요로 하고 미리 정의된 taxonomy에 제한된다. 본 연구에서는 hidden state나 gradient 같은 data representation을 바탕으로 개별 training sample과 소수의 unsafe target example 간 유사도를 측정하는 data attribution 접근법을 탐구한다. 우리는 기존 방법의 핵심 한계를 식별한다: unsafe target text는 unsafe하게 만드는 핵심 token과 fluent한 언어 형성을 위해 필요한 neutral token(예: stop word 또는 무해한 사실)을 모두 포함하며, 후자는 unsafe training data를 탐지하는 목적에서 overall representation을 noisy하게 만든다. 이 문제를 해결하기 위해, 우리는 unsafe data 탐지를 위해 training 및 target representation을 denoise하는 새로운 representation-based data attribution 접근법인 Denoised Representation Attribution(DRA)을 제안한다. jailbreak 필터링과 gender bias 탐지 과제 전반에서, 제안한 방법은 data attribution method의 성능을 크게 향상시키며, 대부분 moderation classifier에 기반한 SOTA 방법보다 우수한 결과를 보인다.
"},{"id":"61412","en":"UltraHorizon: Benchmarking LLM-Agent Capabilities in Ultra Long-Horizon Scenarios","ko":"UltraHorizon: Ultra Long-Horizon Scenarios에서 LLM-Agent 능력 벤치마킹","authors":"Haotian Luo, Huaisong Zhang, Xuelin Zhang, Haoyu Wang, Zeyu Qin, Wenjie Lu, Guozheng Ma, Haiying He, Yingsha Xie, Qiyang Zhou, Zixuan Hu, Hongze Mi, Yibo Wang, Naiqiang Tan, Hong Chen, Yi Fung, Chun Yuan, Li Shen","pos":"#601","link":"https://openreview.net/forum?id=qRNtMWrTvo","abs":"Autonomous agents have recently achieved remarkable progress across diverse domains, yet most evaluations focus on short-horizon, fully observable tasks. In contrast, many critical real-world tasks, such as large-scale software development, commercial investment, and scientific discovery, unfold in long-horizon and partially observable scenarios where success hinges on sustained reasoning, planning, memory management, and tool use. Existing benchmarks rarely capture these long-horizon challenges, leaving a gap in systematic evaluation. To bridge this gap, we introduce $\\textbf{UltraHorizon}$, a novel benchmark that measures the foundational capabilities essential for complex real-world challenges. We use exploration as a unifying task across three distinct environments to validate these core competencies. Agents are designed in long-horizon discovery tasks where they must iteratively uncover hidden rules through sustained reasoning, planning, memory and tools management, and interaction with environments. Under the heaviest scale setting, trajectories average $\\textbf{200k+}$ tokens and $\\textbf{400+}$ tool calls, whereas in standard configurations they still exceed $\\textbf{35k}$ tokens and involve more than $\\textbf{60}$ tool calls on average. Our extensive experiments reveal that agents powered by state-of-the-art LLMs consistently underperform in these settings, whereas human participants achieve much higher scores, underscoring a persistent gap in agents' long-horizon exploration abilities. We also observe that simple scaling fails in our task. To better illustrate the failure of agents, we conduct an in-depth analysis of collected trajectories. We identify eight types of errors and attribute them to two primary causes: in-context locking and functional fundamental capability gaps.","absKo":"자율 에이전트는 최근 다양한 도메인에서 놀라운 진전을 이루었지만, 대부분의 평가는 단기 horizon의 fully observable task에 초점을 맞춘다. 이에 반해 대규모 software development, commercial investment, scientific discovery와 같은 많은 핵심 실제 과제는 장기 horizon 및 partially observable 시나리오에서 전개되며, 성공은 지속적인 reasoning, planning, memory management, tool use에 달려 있다. 기존 benchmark는 이러한 long-horizon challenge를 거의 포착하지 못해 체계적 평가에 공백이 남아 있다. 이 공백을 메우기 위해, 우리는 복잡한 실제 문제에 필수적인 기초 능력을 측정하는 새로운 benchmark인 $\\textbf{UltraHorizon}$을 도입한다. 우리는 세 가지 서로 다른 환경에서 exploration을 통합 과제로 사용하여 이러한 핵심 역량을 검증한다. 에이전트는 장기 horizon discovery task를 수행하도록 설계되며, 이 과정에서 지속적인 reasoning, planning, memory 및 tools 관리, 환경과의 상호작용을 통해 숨겨진 규칙을 반복적으로 밝혀내야 한다. 가장 큰 스케일 설정에서는 trajectory가 평균 $\\textbf{200k+}$ tokens와 $\\textbf{400+}$ tool calls에 이르며, 표준 설정에서도 평균적으로 $\\textbf{35k}$ tokens를 넘고 $\\textbf{60}$회 이상의 tool call을 포함한다. 우리의 광범위한 실험은 state-of-the-art LLM으로 구동되는 에이전트가 이러한 설정에서 일관되게 낮은 성능을 보이는 반면, 인간 참여자는 훨씬 더 높은 점수를 달성함을 보여주며, 에이전트의 장기 탐색 능력에 지속적인 격차가 있음을 강조한다. 또한 단순한 scaling이 우리의 task에서는 실패함을 관찰한다. 에이전트의 실패를 더 잘 보여주기 위해 수집된 trajectory에 대해 심층 분석을 수행했다. 우리는 여덟 가지 유형의 오류를 식별하고, 이를 두 가지 주요 원인인 in-context locking과 functional fundamental capability gap에 기인한다고 본다."},{"id":"61215","en":"Identifying and Mitigating Errors in Gradient Aggregation of Distributed Data Parallel Training","ko":"Distributed Data Parallel Training의 Gradient Aggregation 오류 식별 및 완화","authors":"Zhenheng Tang, Junlin Huang, Zichen TANG, Xueze Kang, Yuxin Wang, Peijie Dong, Shaohuai Shi, Xiaowen Chu, Bo Li","pos":"#605","link":"https://openreview.net/forum?id=sbjXtQrAt1","abs":"Hardware-related silent data corruptions during gradient aggregation pose significant challenges to fault-tolerant distributed training, often leading to slow or failed convergence. To address this, we first mathematically formulate these errors as gradient inconsistency and theoretically analyze how they result in accumulated model divergence. Guided by this analysis, we introduce PAFT, a fault-tolerant distributed training system designed with dynamic and asynchronous parameter synchronization. PAFT comprises two core components: PAFT-Sync, which mitigates divergence via periodic synchronization, and PAFT-Dyn, which minimizes overhead through dynamic training overlap and frequency scheduling. Furthermore, the system’s synchronization mechanism is optimized to support standard optimizers, including SGD, SGD momentum, and Adam. We implement PAFT on PyTorch Distributed, and experimental results training ResNet, GPT-2, and LLaMA-2 on 4$\\sim$32 GPUs demonstrate that it efficiently defends against aggregation errors while maintaining training performance.","absKo":"Hardware-related silent data corruption이 gradient aggregation 동안 발생하면 fault-tolerant distributed training에 심각한 도전을 제기하며, 종종 느린 수렴 또는 수렴 실패로 이어진다. 이를 해결하기 위해, 우리는 먼저 이러한 오류를 gradient inconsistency로 수학적으로 정식화하고, 그것이 어떻게 누적된 model divergence를 유발하는지 이론적으로 분석한다. 이 분석을 바탕으로, 우리는 dynamic 및 asynchronous parameter synchronization을 갖춘 fault-tolerant distributed training system인 PAFT를 제안한다. PAFT는 두 개의 핵심 component로 구성된다. 주기적 synchronization을 통해 divergence를 완화하는 PAFT-Sync와, dynamic training overlap 및 frequency scheduling을 통해 overhead를 최소화하는 PAFT-Dyn이다. 더 나아가, system의 synchronization mechanism은 SGD, SGD momentum, Adam을 포함한 standard optimizer를 지원하도록 최적화된다. 우리는 PAFT를 PyTorch Distributed 위에 구현했으며, 4$\\sim$32 GPUs에서 ResNet, GPT-2, LLaMA-2를 학습한 실험 결과는 PAFT가 aggregation error를 효과적으로 방어하면서도 training performance를 유지함을 보여준다."},{"id":"61038","en":"From Backward Spreading to Forward Replay: Revisiting Target Construction in LLM Parameter Editing","ko":"Backward Spreading에서 Forward Replay로: LLM Parameter Editing의 Target Construction 재고","authors":"Wei Liu, Hongkai Liu, Zhiying Deng, Yee-Whye Teh, Wee Sun Lee","pos":"#608","link":"https://openreview.net/forum?id=uIs0uPLrX4","abs":"LLM parameter editing methods commonly rely on computing an ideal target hidden-state at a target layer (referred as anchor point) and distributing the target vector to multiple preceding layers (commonly known as backward spreading) for cooperative editing. Although widely used for a long time, its underlying basis have not been systematically investigated. In this paper, we first conduct a systematic study of its foundations, which helps clarify its capability boundaries, practical considerations, and potential failure modes. Then, we propose a simple and elegant alternative that replaces backward spreading with forward-propagation. Instead of optimizing the target at the last editing layer, we optimize the anchor point at the first editing layer, and then propagate it forward to obtain accurate and mutually compatible target hidden-states for all subsequent editing layers. This approach achieves the same computational complexity as existing methods while producing more accurate layer-wise targets. Our method is simple, without interfering with either the computation of the initial target hidden state or any other components of the subsequent editing pipeline, and thus constituting a benefit for a wide range of LLM parameter editing methods.
","absKo":"LLM parameter editing 방법은 일반적으로 target layer에서 이상적인 target hidden-state(이하 anchor point)를 계산하고, target vector를 여러 이전 layer에 분배하는 방식(일반적으로 backward spreading이라고 함)에 의존하여 협업적 editing을 수행한다. 오랫동안 널리 사용되어 왔지만, 그 근본적인 기반은 체계적으로 조사되지 않았다. 본 논문에서는 먼저 그 토대에 대한 체계적인 연구를 수행하여, capability boundary, 실용적 고려사항, 잠재적 failure mode를 명확히 하는 데 도움을 준다. 이어서 우리는 backward spreading을 forward-propagation으로 대체하는 간단하고 우아한 대안을 제안한다. 마지막 editing layer에서 target을 최적화하는 대신, 첫 editing layer에서 anchor point를 최적화한 뒤 이를 forward로 전파하여 이후 모든 editing layer에 대해 정확하고 상호 호환되는 target hidden-state를 얻는다. 이 접근법은 기존 방법과 동일한 computational complexity를 달성하면서도 layer-wise target을 더 정확하게 생성한다. 우리의 방법은 단순하며, initial target hidden state 계산이나 이후 editing pipeline의 다른 어떤 component에도 간섭하지 않으므로, 다양한 LLM parameter editing 방법에 이점을 제공한다.
"},{"id":"64002","en":"RePo: Language Models with Context Re-Positioning","ko":"RePo: 문맥 재배치를 사용하는 Language Models","authors":"Huayang Li, Tianyu Zhao, Deng Cai, Richard Sproat","pos":"#1902","link":"https://openreview.net/forum?id=RsLH9NuYKK","abs":"In-context learning is fundamental to modern Large Language Models (LLMs); however, prevailing architectures impose a rigid and fixed contextual structure by assigning linear or constant positional indices. Drawing on Cognitive Load Theory (CLT), we argue that this uninformative structure increases extraneous cognitive load, consuming finite working memory capacity that should be allocated to deep reasoning and attention allocation. To address this, we propose RePo, a novel mechanism that reduces extraneous load via context re-positioning. Unlike standard approaches, RePo utilizes a differentiable module, $f_\\phi$, to assign token positions that capture contextual dependencies, rather than replying on pre-defined order. By continually pre-training on the OLMo-2 1B \\& 7B models, we demonstrate that RePo consistently enhances performance on tasks involving noisy contexts, structured data, and longer context length, while maintaining competitive performance on general short-context tasks. Detailed analysis reveals that RePo successfully allocate higher attention to distant but relevant information, assign positions in dense and non-linear space, and capture the intrinsic structure of the input context. We will open-source the code and model weights.","absKo":"In-context learning은 현대 Large Language Model(LLM)의 근간이다. 그러나 현재의 아키텍처는 linear 또는 constant positional index를 할당함으로써 경직되고 고정된 contextual structure를 강제한다. Cognitive Load Theory(CLT)에 근거해, 우리는 이러한 정보성이 낮은 structure가 extraneous cognitive load를 증가시켜, 깊은 추론과 attention allocation에 배분되어야 할 유한한 working memory capacity를 소모한다고 주장한다. 이를 해결하기 위해 우리는 context re-positioning을 통해 extraneous load를 줄이는 새로운 메커니즘 RePo를 제안한다. 표준 접근법과 달리 RePo는 사전에 정의된 순서에 의존하는 대신, contextual dependency를 포착하는 token position을 할당하기 위해 differentiable module $f_\\phi$를 활용한다. OLMo-2 1B & 7B 모델에 대해 continual pre-training을 수행함으로써, RePo는 noisy context, structured data, 더 긴 context length를 포함하는 task에서 일관되게 성능을 향상시키면서도 일반적인 short-context task에서는 경쟁력 있는 성능을 유지함을 보인다. 상세 분석 결과, RePo는 멀리 떨어져 있지만 관련성 있는 정보에 더 높은 attention을 성공적으로 할당하고, dense하고 non-linear한 공간에 position을 배정하며, 입력 context의 내재적 구조를 포착함을 보여준다. 우리는 코드와 model weight를 오픈소스로 공개할 예정이다."},{"id":"61518","en":"Investigating Advanced Reasoning of Large Language Models via Black-Box Interaction","ko":"Black-Box Interaction을 통한 Large Language Models의 고급 추론 조사","authors":"Congchi Yin, Tianyi Wu, Yankai Shu, Alex Gu, Yun Wang, Jun Shao, xun jiang, Piji Li","pos":"#2109","link":"https://openreview.net/forum?id=pLLWX35m6O","abs":"Existing tasks fall short in evaluating reasoning ability of Large Language Models (LLMs) in an interactive, unknown environment. This deficiency leads to the isolated assessment of deductive, inductive, and abductive reasoning, neglecting the integrated reasoning process that is indispensable for humans discovery of real world. We introduce a novel evaluation paradigm, black-box interaction, to tackle this challenge. A black-box is defined by a hidden function that maps a specific set of inputs to outputs. LLMs are required to unravel the hidden function behind the black-box by interacting with it in given exploration turns, and reasoning over observed input-output pairs. Leveraging this idea, we build the Oracle benchmark which comprises 6 types of black-box task and 96 black-boxes. 19 modern LLMs are benchmarked. o3, a leading LLM from OpenAI, ranks first in 5 of the 6 tasks, achieving over 70\\% accuracy on most easy black-boxes. But it still struggles with some hard black-box tasks, where its average performance drops below 40\\%. Further analysis indicates a universal difficulty among LLMs: They lack the high-level planning capability to develop efficient and adaptive exploration strategies for hypothesis refinement.
","absKo":"기존 과제들은 상호작용적이고 알려지지 않은 환경에서 Large Language Models (LLMs)의 추론 능력을 평가하는 데 부족하다. 이러한 한계는 연역, 귀납, 가추 추론을 분리해서 평가하게 만들며, 인간이 실제 세계를 발견할 때 필수적인 통합적 추론 과정을 간과하게 한다. 우리는 이 문제를 해결하기 위해 새로운 평가 패러다임인 black-box interaction을 제안한다. black-box는 주어진 입력 집합을 출력으로 매핑하는 hidden function으로 정의된다. LLM은 주어진 exploration turn 동안 그것과 상호작용하면서 black-box 뒤에 숨은 hidden function을 밝혀내고, 관찰된 input-output pair를 바탕으로 추론해야 한다. 이 아이디어를 활용해 우리는 6가지 유형의 black-box task와 96개의 black-box로 구성된 Oracle benchmark를 구축했다. 19개의 최신 LLM을 benchmark했다. OpenAI의 선도적인 LLM인 o3는 6개 과제 중 5개에서 1위를 차지했으며, 대부분의 쉬운 black-box에서 70\\%가 넘는 정확도를 달성했다. 그러나 여전히 일부 어려운 black-box 과제에서는 어려움을 보였고, 평균 성능이 40\\% 아래로 떨어졌다. 추가 분석은 LLM 전반에 공통적인 어려움을 시사한다. 즉, 가설을 정교화하기 위한 효율적이고 적응적인 탐색 전략을 개발할 high-level planning capability가 부족하다는 점이다.
"},{"id":"65445","en":"Plan for Speed: Dilated Scheduling for Masked Diffusion Language Models","ko":"속도를 위한 계획: Masked Diffusion Language Model을 위한 확장된 스케줄링","authors":"Omer Luxembourg, Haim Permuter, Eliya Nachmani","pos":"#1914","link":"https://openreview.net/forum?id=DbzAsMRNhy","abs":"Masked diffusion language models (MDLMs) promise fast, non-autoregressive text generation, yet existing samplers, which pick tokens to unmask based on model confidence, ignore interactions when unmasking multiple positions in parallel and effectively reduce to slow, autoregressive behavior. We propose the Dilated Unmasking Scheduler (DUS), an inference-only, planner-model-free method that partitions sequence positions into non-adjacent dilated groups and unmasked them in parallel so as to minimize an upper bound on joint entropy gain at each denoising step. By explicitly trading off the number of network calls against generation quality, DUS recovers most of the performance lost under traditional parallel unmasking strategies. Across math (GSM8K, MATH500), code (HumanEval, MBPP), general‐knowledge (BBH, MMLU-Pro), and instruction following (IFEval) benchmarks, DUS outperforms confidence‐based planners, without modifying the underlying denoiser, and reveals the true speed-quality frontier of MDLMs.
","absKo":"Masked diffusion language model(MDLM)은 빠른 non-autoregressive text generation을 약속하지만, 기존 sampler는 model confidence를 기준으로 unmask할 token을 선택하므로 여러 위치를 병렬로 unmask할 때의 상호작용을 무시하고, 실제로는 느린 autoregressive behavior로 수렴한다. 우리는 inference-only이며 planner-model-free인 Dilated Unmasking Scheduler(DUS)를 제안한다. 이 방법은 sequence position을 서로 인접하지 않은 dilated group으로 분할하고, 각 denoising step에서 joint entropy gain의 상한을 최소화하도록 이들을 병렬로 unmask한다. network call 수와 generation quality 사이의 trade-off를 명시적으로 조절함으로써, DUS는 전통적인 parallel unmasking strategy에서 잃어버린 성능의 대부분을 회복한다. 수학(GSM8K, MATH500), code(HumanEval, MBPP), general-knowledge(BBH, MMLU-Pro), instruction following(IFEval) benchmark 전반에서 DUS는 underlying denoiser를 수정하지 않고도 confidence-based planner를 능가하며, MDLM의 진정한 speed-quality frontier를 드러낸다.
"},{"id":"60611","en":"Visual Para-Thinker: Divide-and-Conquer Reasoning for Visual Comprehension","ko":"Visual Para-Thinker: 시각 이해를 위한 분할정복 추론","authors":"Haoran Xu, hongyu wang, Jiaze Li, Shunpeng Chen, Zizhao Tong, Jianzhong Ju, Zhenbo Luo, Jian Luan","pos":"#107","link":"https://openreview.net/forum?id=yUOnI5IAuT","abs":"Existing LLM test-time scaling laws emphasize the emergence of self-reflective behaviors through extended reasoning length. Nevertheless, this vertical scaling strategy often encounters plateaus in exploration as the model becomes locked into specific thinking pattern. By shifting from depth to parallelism, parallel thinking mitigates the narrowing of exploration. However, the extension of this paradigm to visual domain remains an open research question. In this paper, we first examine the role of visual partitioning in parallelized reasoning and subsequently propose two distinct strategies. Based on the above, we introduce Visual Para-Thinker, representing the inaugural parallel reasoning framework for MLLMs. To maintain path independence and promote diversity in reasoning, our approach integrates Pa-Attention alongside LPRoPE. Leveraging the vLLM framework, we have developed a native multimodal implementation that facilitates high-efficiency parallel processing. Empirical results on benchmark datasets such as V*, CountBench, RefCOCO, and HallusionBench confirm that Visual Para-Thinker successfully extends the benefits of parallel reasoning to the visual domain.
","absKo":"기존의 LLM test-time scaling law는 더 긴 reasoning length를 통해 self-reflective behavior가 발현됨을 강조한다. 그러나 이러한 vertical scaling 전략은 모델이 특정 thinking pattern에 고정되면서 탐색이 정체되는 plateaus에 자주 직면한다. depth에서 parallelism으로 시점을 전환하면 parallel thinking은 탐색의 협소화를 완화할 수 있다. 그러나 이 패러다임을 visual domain으로 확장하는 것은 여전히 열린 연구 질문이다. 본 논문에서는 먼저 병렬화된 reasoning에서 visual partitioning의 역할을 검토한 뒤, 두 가지 서로 다른 전략을 제안한다. 이를 바탕으로 우리는 MLLM을 위한 최초의 parallel reasoning framework를 나타내는 Visual Para-Thinker를 소개한다. 경로 독립성을 유지하고 reasoning의 다양성을 증진하기 위해, 우리의 접근은 Pa-Attention과 LPRoPE를 통합한다. vLLM framework를 활용하여, 우리는 고효율 parallel processing을 지원하는 native multimodal 구현을 개발했다. V*, CountBench, RefCOCO, HallusionBench와 같은 benchmark dataset에서의 실증 결과는 Visual Para-Thinker가 parallel reasoning의 이점을 visual domain으로 성공적으로 확장함을 확인한다.
"},{"id":"65145","en":"Towards Multimodal Large Language Models with Both Training and Inference Efficiency","ko":"학습과 추론 효율성을 모두 갖춘 Multimodal Large Language Model을 향하여","authors":"Qianhao Yuan, Yanjiang Liu, Guozhao Mo, Yaojie Lu, Hongyu Lin, Jia Zheng, Ben He, Xianpei Han, Le Sun","pos":"#1703","link":"https://openreview.net/forum?id=GNgjw18LRq","abs":"Multimodal Large Language Models (MLLMs) mainly fall into two architectures, each involving a trade-off between training and inference efficiency: embedding space alignment (e.g. LLaVA series) is inefficient during inference, while cross-attention space alignment (e.g. Flamingo) is inefficient in training. A primary difference between them lies in whether each visual token attends to other tokens within the LLM backbones. To investigate whether this form of attention is essential for MLLMs, we propose NAEViT (No AttEntion from Visual Tokens), an attention mechanism that eliminates such interactions. Our pilot experiment shows that attention from visual tokens is highly redundant. Then, we introduce SAISA (Self-Attention Input Space Alignment), a novel architecture that enhances both training and inference efficiency. SAISA directly aligns visual features with the input spaces of NAEViT attention blocks, reducing computational overhead in both attention and FFNs. We conduct experiments on various baseline models, model sizes and training datasets. SAISA achieves superior performance compared to the baselines, while significantly reducing computational costs. Further ablation studies validate the effectiveness of SAISA across various LLMs and visual encoders
","absKo":"Multimodal Large Language Models (MLLMs)는 주로 두 가지 architecture로 나뉘며, 각기 training과 inference 효율성 사이에 trade-off가 존재합니다. embedding space alignment (예: LLaVA series)는 inference에서 비효율적이고, cross-attention space alignment (예: Flamingo)는 training에서 비효율적입니다. 이들 사이의 핵심 차이는 각 visual token이 LLM backbone 내부의 다른 token들을 attention 하는지 여부에 있습니다. 이러한 attention이 MLLM에 필수적인지 조사하기 위해, 우리는 visual token 간의 상호작용을 제거하는 attention mechanism인 NAEViT (No AttEntion from Visual Tokens)을 제안합니다. 우리의 pilot experiment는 visual token에서의 attention이 매우 중복적임을 보여줍니다. 이어서 우리는 training과 inference 효율성을 모두 향상시키는 새로운 architecture인 SAISA (Self-Attention Input Space Alignment)를 도입합니다. SAISA는 visual feature를 NAEViT attention block의 input space에 직접 정렬하여 attention과 FFN 모두에서 계산 오버헤드를 줄입니다. 다양한 baseline model, model size, training dataset에 대해 실험을 수행했습니다. SAISA는 baseline보다 우수한 성능을 보이면서 계산 비용을 크게 줄입니다. 추가 ablation study는 여러 LLM과 visual encoder 전반에서 SAISA의 효과를 검증합니다
"},{"id":"64909","en":"The Unlearnability Phenomenon in RLVR for Language Models","ko":"Language Model을 위한 RLVR에서의 Unlearnability 현상","authors":"Yulin Chen, He He, Chen Zhao","pos":"#1706","link":"https://openreview.net/forum?id=IiFFUPgSkV","abs":"Reinforcement Learning with Verifiable Reward (RLVR) has proven effective in improving Large Language Model's (LLM) reasoning ability. However, the learning dynamics of RLVR remain underexplored. In this paper, we reveal a curious phenomenon: among hard examples that the model initially struggles with, a substantial subset remains unlearnable even when correct rollouts present. To understand the phenomenon, we first demonstrate that existing optimization and sampling techniques fail to resolve unlearnability. With cross-example gradient analysis, we show that unlearnable examples have fundamental representation issue, characterized by low gradient similarity with the rest of the examples and ungeneralizable reasoning patterns. We further show that representation flaws are difficult to mitigate in RL, as data augmentation does not improve gradient similarity. Our study provides the first systematic characterization of unlearnable data in RLVR training and reveals fundamental limitations in current RL approaches for reasoning tasks.
","absKo":"Verifiable Reward (RLVR)를 사용한 Reinforcement Learning은 Large Language Model's (LLM)의 추론 능력을 향상하는 데 효과적임이 입증되었다. 그러나 RLVR의 학습 동역학은 아직 충분히 탐구되지 않았다. 본 논문에서는 흥미로운 현상을 밝힌다: 모델이 처음에는 어려워하던 hard example들 중 상당 부분은, 정답 rollout이 존재하더라도 여전히 학습 불가능(unlearnable) 상태로 남는다. 이 현상을 이해하기 위해, 우리는 먼저 기존 최적화 및 샘플링 기법이 unlearnability를 해결하지 못함을 보인다. cross-example gradient analysis를 통해, unlearnable example은 근본적인 representation 문제를 가지며, 다른 예제들과의 gradient similarity가 낮고 일반화되지 않는 reasoning pattern으로 특징지어진다는 점을 보여준다. 또한 data augmentation이 gradient similarity를 개선하지 못하므로, representation 결함은 RL에서 완화하기 어렵다는 점도 보인다. 우리의 연구는 RLVR 학습에서 unlearnable data에 대한 최초의 체계적 특성화를 제공하며, 추론 과제에 대한 현재 RL 접근법의 근본적 한계를 드러낸다.
"},{"id":"66815","en":"The Tell-Tale Norm: $\\ell_2$ Magnitude as a Signal for Reasoning Dynamics in Large Language Models","ko":"The Tell-Tale Norm: 대형 언어 모델에서 추론 동역학의 신호로서의 $\\ell_2$ 크기","authors":"Jinyang Zhang, Hongxin Ding, Yue Fang, Weibin Liao, Muyang Ye, Junfeng Zhao, Yasha Wang","pos":"#1707","link":"https://openreview.net/forum?id=03ZTlJuX0y","abs":"Recent work has sought to understand Large Language Models (LLMs) reasoning, yet a principled, model-intrinsic signal that captures its *layer-wise reasoning dynamics* remains underexplored. We bridge this gap by demonstrating that **the $\\ell_2$ norm of hidden states serves as an endogenous signal of the model's reasoning intensity**. Using Sparse Autoencoders (SAEs) as a diagnostic probe, we observe that LLMs' internal reasoning is marked by a sharp increase in reasoning feature activations concentrated in late layers. Motivated by this pattern, we establish a formal link between reasoning intensity and the model's latent geometry and theoretically prove that the $\\ell_2$ norm of hidden states bounds the activation strength of SAE reasoning features. Empirical correlation analysis and causal interventions further prove $\\ell_2$ norm as a faithful indicator, where heightened norms consistently correspond to critical reasoning steps. We then introduce three test-time scaling techniques guided by $\\ell_2$ norms: Adaptive Layer-wise Reasoning Recursion, (ii) Endogenous Reasoning State Steering, and (iii) $\\ell_2$-guided Response Selection, which requires no additional training or data and is compatible with advanced inference engines. Experiments across model architectures and benchmarks show that $\\ell_2$-norm-based techniques significantly improve reasoning performance, offering a principled yet simple lens to perceive and control LLM latent reasoning dynamics. Our codes are anonymously available at https://anonymous.4open.science/r/The-Tell-Tale-Norm-4E40","absKo":"최근 연구들은 Large Language Models (LLMs)의 추론을 이해하려고 노력해 왔지만, 그 *layer-wise reasoning dynamics*를 포착하는 원리 있는 model-intrinsic signal은 여전히 충분히 탐구되지 않았다. 우리는 **hidden state의 $\\ell_2$ norm이 모델의 reasoning intensity를 나타내는 endogenous signal로 작동한다는 점**을 보임으로써 이 격차를 메운다. Sparse Autoencoders (SAEs)를 진단용 probe로 사용한 결과, LLM 내부 추론은 후반 layer에 집중된 reasoning feature activation의 급격한 증가로 특징지어짐을 관찰했다. 이러한 패턴에 동기를 얻어, 우리는 reasoning intensity와 모델의 latent geometry 사이의 형식적 연결을 확립하고, hidden state의 $\\ell_2$ norm이 SAE reasoning feature의 activation strength를 상계함을 이론적으로 증명한다. 실증적 상관 분석과 인과적 intervention은 더욱이 $\\ell_2$ norm이 충실한 지표임을 입증하며, 높은 norm이 일관되게 중요한 reasoning step과 대응함을 보여준다. 이어서 우리는 $\\ell_2$ norm에 의해 유도되는 세 가지 test-time scaling 기법을 제안한다: Adaptive Layer-wise Reasoning Recursion, (ii) Endogenous Reasoning State Steering, (iii) $\\ell_2$-guided Response Selection. 이들은 추가 학습이나 데이터가 필요 없으며 고급 inference engine과도 호환된다. 다양한 model architecture와 benchmark에 대한 실험은 $\\ell_2$-norm 기반 기법이 reasoning 성능을 크게 향상시켜, LLM latent reasoning dynamics를 이해하고 제어하기 위한 원리적이면서도 간단한 관점을 제공함을 보여준다. 코드는 익명으로 https://anonymous.4open.science/r/The-Tell-Tale-Norm-4E40 에서 제공된다"},{"id":"61998","en":"The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models","ko":"유연성 함정: diffusion language models에서 임의 차수의 가치 재해석","authors":"Zanlin Ni, Shenzhi Wang, Yang Yue, Tianyu Yu, Weilin Zhao, Yeguo Hua, Tianyi Chen, Jun Song, YuCheng, Bo Zheng, Gao Huang","pos":"#1708","link":"https://openreview.net/forum?id=kpgURPRMGf","abs":"Diffusion Large Language Models (dLLMs) break the rigid left-to-right constraint of traditional LLMs, enabling token generation in arbitrary orders. Intuitively, this flexibility implies a solution space that strictly supersets the fixed autoregressive trajectory, theoretically unlocking superior reasoning potential. Indeed, for specific constraint satisfaction tasks (e.g., sudoku puzzles), this capability has proven to be highly advantageous. However, in this paper, we reveal that for general reasoning tasks (e.g., mathematics and coding), arbitrary order generation may in fact limit the reasoning potential of dLLMs. We find that dLLMs tend to exploit this order flexibility to bypass high-uncertainty tokens that are crucial for exploration, leading to a premature collapse of solution coverage. This observation motivates a rethink of RL approaches for dLLMs, where considerable complexities, such as handling combinatorial trajectories and intractable likelihoods, are often devoted to preserving this flexibility. We demonstrate that effective reasoning can be better elicited by simply forgoing arbitrary order and applying standard Group Relative Policy Optimization (GRPO) instead. Our approach, JustGRPO, is minimalist yet surprisingly effective (e.g., 89.1% accuracy on GSM8K) while fully retaining the parallel decoding ability of dLLMs.
","absKo":"Diffusion Large Language Models(dLLMs)은 전통적인 LLM의 엄격한 left-to-right 제약을 깨고, token generation을 임의의 순서로 수행할 수 있게 한다. 직관적으로 이러한 유연성은 고정된 autoregressive trajectory를 엄밀히 상회하는 solution space를 의미하며, 이론적으로 더 우수한 reasoning 잠재력을 열어줄 것처럼 보인다. 실제로 sudoku puzzle 같은 특정 constraint satisfaction task에서는 이 능력이 매우 유리함이 입증되었다. 그러나 본 논문에서는 일반적인 reasoning task(예: 수학과 코딩)에서는 임의 순서 생성이 오히려 dLLM의 reasoning 잠재력을 제한할 수 있음을 밝힌다. 우리는 dLLM이 이 순서 유연성을 활용하여 탐색에 중요한 높은 불확실성 token을 우회하는 경향이 있으며, 그 결과 solution coverage가 조기에 붕괴함을 발견했다. 이러한 관찰은 dLLM에 대한 RL 접근을 다시 생각하게 만든다. 왜냐하면 combinatorial trajectory와 intractable likelihood를 다루는 등 상당한 복잡성이 종종 이러한 유연성을 보존하는 데 쓰이기 때문이다. 우리는 단순히 arbitrary order를 포기하고 표준 Group Relative Policy Optimization(GRPO)을 적용하는 것만으로도 더 효과적인 reasoning을 유도할 수 있음을 보인다. 우리의 접근법인 JustGRPO는 최소주의적이지만 놀라울 정도로 효과적이며(예: GSM8K에서 89.1% 정확도), dLLM의 parallel decoding 능력을 완전히 유지한다."},{"id":"66363","en":"Singular Proxies for Adaptive Caching in Diffusion Language Models","ko":"Diffusion 언어 모델에서 적응형 캐싱을 위한 특이 프록시","authors":"Wenhao SUN, Rong-Cheng Tu, Yifu Ding, Zhao Jin, Jingyi Liao, Yongcheng Jing, Dacheng Tao","pos":"#1714","link":"https://openreview.net/forum?id=4Lucu401dx","abs":"While Diffusion Language Models (DLMs) offer a flexible, arbitrary-order alternative to the autoregressive paradigm, their non-causal nature precludes standard KV caching, forcing costly hidden state recomputation at every decoding step. Existing caching approaches reduce this cost by selective hidden state updates; however, they are still limited by (i) computationally costly token-wise update identification heuristics and (ii) rigid, uniform budget allocation that fails to account for heterogeneous hidden- tate dynamics. To address these challenges, we present SPA-Cache that jointly optimizes update identification and budget allocation. First, we derive a low-dimensional singular proxy that enables the identification of update-critical tokens in a low-dimensional subspace, substantially reducing the overhead of update identification. Second, motivated by the layer-wise heterogeneity in hidden state dynamics, we introduce an adaptive strategy that allocates fewer updates to stable layers without degrading generation quality. Together, these contributions significantly improve the efficiency of DLMs, yielding up to an $8\\times$ throughput improvement over vanilla models decoding and a $2$-$4\\times$ speedup over existing caching baselines.","absKo":"Diffusion Language Models (DLMs)는 autoregressive paradigm에 대한 유연하고 arbitrary-order한 대안을 제공하지만, 그 non-causal nature 때문에 표준 KV caching을 사용할 수 없어, decoding step마다 hidden state를 비용 높게 다시 계산해야 합니다. 기존 caching 접근법은 selective hidden state update를 통해 이 비용을 줄이지만, 여전히 (i) 계산 비용이 큰 token-wise update identification heuristic과 (ii) 이질적인 hidden state dynamics를 반영하지 못하는 경직된 uniform budget allocation에 의해 제한됩니다. 이러한 문제를 해결하기 위해 우리는 update identification과 budget allocation을 공동으로 최적화하는 SPA-Cache를 제안합니다. 먼저, 낮은 차원 singular proxy를 유도하여 저차원 subspace에서 update-critical token을 식별할 수 있게 하며, 이를 통해 update identification의 오버헤드를 크게 줄입니다. 둘째, hidden state dynamics의 layer-wise heterogeneity에 착안하여, generation quality를 저하시키지 않으면서 안정적인 layer에는 더 적은 update를 할당하는 adaptive strategy를 도입합니다. 이 두 기여를 통해 DLM의 효율성이 크게 향상되어, vanilla model decoding 대비 최대 $8\\times$ throughput improvement와 기존 caching baseline 대비 $2$-$4\\times$ speedup을 달성합니다."},{"id":"65988","en":"Simple Policy Gradients for Reasoning with Diffusion Language Models","ko":"Diffusion 언어 모델을 활용한 추론을 위한 단순 Policy Gradient","authors":"Anthony Zhan","pos":"#1715","link":"https://openreview.net/forum?id=89aKcIeUyP","abs":"Diffusion large language models (dLLMs), which offer a promising alternative to traditional autoregressive LLMs, have recently shown strong results in pretraining. However, due to their lack of tractable sequence-level likelihoods, they have yet to benefit from modern LLM post-training techniques such as reinforcement learning (RL), limiting their real-world applicability. Existing attempts at dLLM post-training rely on heuristic approximations or lower bounds of the true likelihood. In this work, we propose Amortized Group Relative Policy Optimization (AGRPO), a policy gradient algorithm that leverages the multi-step Markovian nature of dLLM generation, optimizing individual denoising steps rather than entire sequences. We demonstrate AGRPO's effectiveness on different math and reasoning tasks, achieving +9.9\\% absolute gain on GSM8K, +4.6\\% on MATH-500, +59.4\\% on Countdown, and +69.7\\% on Sudoku over the base LLaDA model, improving upon comparable dLLM RL methods such as diffu-GRPO. Furthermore, we analyze how post-training gains persist across different inference configurations, revealing that models trained with AGRPO can sample 4x faster with minimal performance sacrifices.
","absKo":"전통적인 autoregressive LLM의 유망한 대안인 diffusion large language model(dLLM)은 최근 pretraining에서 강력한 성능을 보였다. 그러나 tractable한 sequence-level likelihood가 없기 때문에, reinforcement learning (RL)과 같은 현대 LLM post-training 기법의 이점을 아직 충분히 누리지 못하고 있으며, 이는 실제 적용 가능성을 제한한다. 기존의 dLLM post-training 시도는 진짜 likelihood의 heuristic approximation이나 lower bound에 의존한다. 본 연구에서는 dLLM generation의 다단계 Markovian 특성을 활용하여 전체 sequence가 아니라 개별 denoising step을 최적화하는 policy gradient algorithm인 Amortized Group Relative Policy Optimization (AGRPO)를 제안한다. 우리는 다양한 수학 및 추론 과제에서 AGRPO의 효과를 입증했으며, base LLaDA model 대비 GSM8K에서 +9.9\\%, MATH-500에서 +4.6\\%, Countdown에서 +59.4\\%, Sudoku에서 +69.7\\%의 절대 향상을 달성했고, diffu-GRPO와 같은 비교 가능한 dLLM RL 방법보다 우수함을 보였다. 또한 post-training 향상이 서로 다른 inference configuration 전반에서 어떻게 유지되는지 분석하여, AGRPO로 학습된 모델이 최소한의 성능 손실로 4배 더 빠르게 sampling할 수 있음을 밝혔다.
"},{"id":"61204","en":"Revealing Behavioral Plasticity in Large Language Models: A Token-Conditional Perspective","ko":"Large Language Model의 행동 가소성 드러내기: Token-Conditional 관점","authors":"Liyuan Mao, Le Yu, Jing Zhou, Chujie Zheng, Bowen Yu, Chang Gao, Shixuan Liu, An Yang, Weinan Zhang, Junyang Lin","pos":"#1805","link":"https://openreview.net/forum?id=sh8Gnv1xHH","abs":"In this work, we reveal that Large Language Models (LLMs) possess intrinsic behavioral plasticity—akin to chameleons adapting their coloration to environmental cues—that can be exposed through token-conditional generation and stabilized via reinforcement learning. Specifically, by conditioning generation on carefully selected token prefixes sampled from responses exhibiting desired behaviors, LLMs seamlessly adapt their behavioral modes at inference time (e.g., switching from step-by-step reasoning to direct answering) without retraining. Based on this insight, we propose Token-Conditioned Reinforcement Learning (ToCoRL), a principled framework that leverages RL to internalize this chameleon-like plasticity, transforming transient inference-time adaptations into stable and learnable behavioral patterns. ToCoRL guides exploration with token-conditional generation and keep enhancing exploitation, enabling emergence of appropriate behaviors. Extensive experiments show that ToCoRL enables precise behavioral control without capability degradation. Notably, we show that large reasoning models, while performing strongly on complex mathematics, can be effectively adapted to excel at factual question answering, which was a capability previously hindered by their step-by-step reasoning patterns.
","absKo":"본 연구에서는 Large Language Model(LLM)이 카멜레온이 환경 단서에 따라 색을 바꾸듯, 내재적인 행동적 가소성(behavioral plasticity)을 지니고 있음을 밝힙니다. 이 가소성은 token-conditional generation을 통해 드러낼 수 있고, reinforcement learning으로 안정화할 수 있습니다. 구체적으로, 바람직한 행동을 보이는 응답에서 샘플링한 신중하게 선택된 token prefix를 조건으로 생성하면, LLM은 재학습 없이도 추론 시점에 행동 양식을 자연스럽게 적응시킬 수 있습니다. 예를 들어 step-by-step reasoning에서 direct answering으로 전환할 수 있습니다. 이 통찰을 바탕으로, 우리는 Token-Conditioned Reinforcement Learning(ToCoRL)을 제안합니다. 이는 RL을 활용해 이러한 카멜레온 같은 가소성을 내재화하고, 일시적인 inference-time 적응을 안정적이고 학습 가능한 행동 패턴으로 전환하는 원리적 framework입니다. ToCoRL은 token-conditional generation으로 exploration을 유도하고 exploitation을 계속 강화하여 적절한 행동의 출현을 가능하게 합니다. 광범위한 실험 결과, ToCoRL은 능력 저하 없이 정밀한 행동 제어를 가능하게 함을 보입니다. 특히, 복잡한 수학 문제에서는 강한 성능을 보이지만 step-by-step reasoning pattern 때문에 그동안 제약을 받던 large reasoning model이 factual question answering에 매우 잘 적응하도록 만들 수 있음을 보였습니다.
"},{"id":"65605","en":"Revisiting Anisotropy in Language Transformers: The Geometry of Learning Dynamics","ko":"언어 Transformer의 이방성 재조명: 학습 동역학의 기하학","authors":"Raphael Bernas, Fanny Jourdan, Antonin Poché, Céline Hudelot","pos":"#1806","link":"https://openreview.net/forum?id=BxSubxbbNc","abs":"Since their introduction, Transformer architectures have dominated Natural Language Processing (NLP). However, recent research has highlighted an inherent anisotropy phenomenon in these models, presenting a significant challenge to their geometric interpretation. Previous theoretical studies on this phenomenon are rarely based on the underlying representation geometry. In this paper, we extend them by providing such theoretical arguments assessing the problematic nature of this phenomenon. Furthermore, to observe geometric internal model dynamics, we apply mechanistic interpretability (MI) techniques during the model's training checkpoints rather than post-hoc, as it is commonly done in the literature. By analyzing multiple models and their checkpoints -including EuroBERT, the Pythia suite, and SmolLM2- we investigate the structure of embedding representations and their correlation with the on manifold entropy of their underlying distribution.
","absKo":"소개된 이래로 Transformer architecture는 Natural Language Processing(NLP)을 지배해 왔다. 그러나 최근 연구는 이러한 모델에서 본질적인 anisotropy 현상을 부각시켰고, 이는 이들의 기하학적 해석에 중대한 도전을 제기한다. 이 현상에 대한 기존의 이론적 연구는 underlying representation geometry에 기반한 경우가 드물다. 본 논문에서는 이러한 현상이 지니는 문제적 성격을 평가하는 이론적 논거를 제시함으로써 이를 확장한다. 더 나아가, model의 training checkpoint 동안에 mechanistic interpretability(MI) 기법을 적용하여 geometric internal model dynamics를 관찰한다. 문헌에서 흔히 수행되는 사후 분석이 아니라, training 중간 시점에 이러한 분석을 수행한다. EuroBERT, Pythia suite, SmolLM2를 포함한 여러 모델과 그 checkpoint를 분석함으로써, 우리는 embedding representation의 구조와 underlying distribution의 on manifold entropy와의 상관관계를 조사한다.
"},{"id":"62591","en":"REAL: Resolving Knowledge Conflicts in Knowledge-Intensive Visual Question Answering via Reasoning-Pivot Alignment","ko":"REAL: Reasoning-Pivot Alignment로 Knowledge-Intensive Visual Question Answering의 지식 충돌 해결","authors":"Kai Ye, Xianwei Mao, Sheng Zhou, Zirui Shao, Ye Mo, Liangliang Liu, Haikuan Huang, Bin Li, Jiajun Bu","pos":"#1904","link":"https://openreview.net/forum?id=fDlpwEHT4z","abs":"Knowledge-intensive Visual Question Answering (KI-VQA) frequently suffers from severe knowledge conflicts caused by the inherent limitations of open-domain retrieval. However, existing paradigms face critical limitations, including the lack of generalizable conflict detection and intra-model constraint mechanisms to handle conflicting evidence. To address these challenges, we propose the REAL (Reasoning-Pivot Alignment) framework centered on the novel concept of the Reasoning-Pivot. Distinct from reasoning steps that prioritize internal self-derivation, a reasoning-pivot serves as an atomic unit (node or edge) in the reasoning chain that emphasizes knowledge linkage, and it typically relies on external evidence to complete the reasoning. Supported by our constructed REAL-VQA dataset, our approach integrates Reasoning-Pivot Aware SFT (RPA-SFT) to train a generalizable discriminator by aligning conflicts with pivot extraction, and employs Reasoning-Pivot Guided Decoding (RPGD), an intra-model decoding strategy that leverages these pivots for targeted conflict mitigation. Extensive experiments across diverse benchmarks demonstrate that REAL significantly enhances discrimination accuracy and achieves state-of-the-art performance, validating the effectiveness of our pivot-driven resolution paradigm.
","absKo":"Knowledge-intensive Visual Question Answering (KI-VQA)는 open-domain retrieval의 본질적 한계로 인해 심각한 knowledge conflict를 자주 겪는다. 그러나 기존 paradigm은 충돌하는 evidence를 다루기 위한 일반화 가능한 conflict detection과 intra-model constraint mechanism이 부족하다는 중대한 한계를 가진다. 이러한 문제를 해결하기 위해 우리는 새로운 개념인 Reasoning-Pivot를 중심으로 하는 REAL (Reasoning-Pivot Alignment) framework를 제안한다. 내부 self-derivation을 우선하는 reasoning step과 달리, reasoning-pivot는 reasoning chain에서 knowledge linkage를 강조하는 atomic unit(node 또는 edge)이며, 일반적으로 reasoning을 완성하기 위해 external evidence에 의존한다. 우리가 구축한 REAL-VQA dataset을 바탕으로, 우리의 접근은 conflict를 pivot extraction과 정렬함으로써 일반화 가능한 discriminator를 학습하는 Reasoning-Pivot Aware SFT (RPA-SFT)를 통합하고, 이러한 pivot을 활용해 표적 conflict mitigation을 수행하는 intra-model decoding strategy인 Reasoning-Pivot Guided Decoding (RPGD)를 적용한다. 다양한 benchmark에 걸친 광범위한 실험은 REAL이 discrimination accuracy를 크게 향상시키고 state-of-the-art 성능을 달성함을 보여주며, pivot-driven resolution paradigm의 효과를 입증한다.
"},{"id":"61979","en":"Push, Pop, Parallelize: Stack-Augmented Linear Attention via the Delta Rule","ko":"Push, Pop, Parallelize: Delta rule 기반 stack-augmented linear attention","authors":"Anh T Nguyen, Saleh Momeni, Ashutosh Chaubey, Changnan Xiao, Bing Liu","pos":"#1905","link":"https://openreview.net/forum?id=l1v359RKe0","abs":"Linear attention architectures based on the Delta rule, such as DeltaNet and RWKV-7, combine Transformers' training scalability with RNNs' inference efficiency and can provably solve regular language tasks. However, due to their fixed-size state, these models fundamentally struggle to capture the recursive, hierarchical structures that are intrinsic to natural languages. To bridge this gap, we introduce DeltaStack, a novel architecture that augments the associative memory of DeltaNet with a lightweight, differentiable stack. Unlike prior stack-augmented approaches that rely on sequential recurrence, DeltaStack formulates stack operations as linear delta-rule updates. This novel formulation enables a hardware-aware implementation that is fully parallelizable over sequence length, preserving the training efficiency of linear transformers. Theoretically, we prove that DeltaStack extends the expressivity of DeltaNet to model both regular and hierarchical languages. Empirically, our method outperforms DeltaNet and Stack-Attention on comprehensive formal language benchmarks. Furthermore, a 340M-parameter DeltaStack model trained on 15B tokens surpasses strong DeltaNet baselines in both perplexity and zero-shot downstream performance.
","absKo":"Delta rule에 기반한 linear attention architecture인 DeltaNet과 RWKV-7은 Transformer의 training scalability와 RNN의 inference efficiency를 결합하며, regular language task를 원리적으로 풀 수 있음을 보일 수 있다. 그러나 고정 크기 state 때문에, 이 모델들은 자연어에 내재된 recursive하고 hierarchical한 구조를 포착하는 데 근본적인 어려움을 겪는다. 이 간극을 메우기 위해, 우리는 DeltaNet의 associative memory에 가볍고 differentiable한 stack을 더한 새로운 architecture인 DeltaStack을 도입한다. 순차적 recurrence에 의존하는 기존 stack-augmented 접근과 달리, DeltaStack은 stack operation을 linear delta-rule update로 정식화한다. 이 새로운 정식화는 sequence length에 대해 완전히 parallelizable한 hardware-aware implementation을 가능하게 하며, linear transformer의 training efficiency를 유지한다. 이론적으로, 우리는 DeltaStack이 regular language뿐 아니라 hierarchical language도 모델링할 수 있도록 DeltaNet의 expressivity를 확장함을 증명한다. 실험적으로, 우리의 방법은 포괄적인 formal language benchmark에서 DeltaNet과 Stack-Attention을 능가한다. 더 나아가, 15B token으로 학습된 340M parameter DeltaStack 모델은 perplexity와 zero-shot downstream performance 모두에서 강력한 DeltaNet baseline을 능가한다.
"},{"id":"62658","en":"Privileged Information Distillation for Language Models","ko":"Language Models를 위한 Privileged Information Distillation","authors":"Emiliano Penaloza, Dheeraj Vattikonda, Nicolas Gontier, Alexandre Lacoste, Laurent Charlin, Massimo Caccia","pos":"#1908","link":"https://openreview.net/forum?id=ebZcMQImhG","abs":"Training-time privileged information (PI) can enable language models to succeed on tasks they would otherwise fail, making it a powerful tool for reinforcement learning in hard, long-horizon settings. However, transferring capabilities learned with PI to policies that must act without it at inference time remains a fundamental challenge. We study this problem in the context of distilling frontier models for multi-turn agentic environments, where closed-source systems typically hide their internal reasoning and expose only action trajectories. This breaks standard distillation pipelines, since successful behavior is observable but the reasoning process is not. We introduce π-Distill, a joint teacher–student framework that trains a PI-conditioned teacher and an unconditioned student simultaneously within a single shared-parameter model, enabling the teacher to learn how to use PI while mitigating distribution shift during transfer. We show that π-Distill effectively distills frontier agents using action-only privileged information, matching or outperforming industry-standard pipelines that assume access to full Chain-of-Thought supervision across multiple agentic benchmarks, models, and forms of PI. We complement our results with extensive analysis that characterize what factors enable effective learning with PI.
","absKo":"학습 시점의 privileged information (PI)은 language model이 그렇지 않으면 실패할 작업에서도 성공하도록 만들어, 어려운 long-horizon setting에서 reinforcement learning을 위한 강력한 도구가 된다. 그러나 PI로 학습한 capability를 inference 시점에 이를 사용하지 않고 행동해야 하는 policy로 이전하는 것은 여전히 근본적인 과제이다. 우리는 closed-source system이 내부 reasoning은 숨기고 action trajectory만 노출하는 multi-turn agentic environment를 위한 frontier model distillation 맥락에서 이 문제를 연구한다. 이는 성공적인 행동은 관측 가능하지만 reasoning process는 관측되지 않기 때문에 표준 distillation pipeline을 무너뜨린다. 우리는 단일 shared-parameter model 내에서 PI-conditioned teacher와 unconditioned student를 동시에 학습시켜, teacher가 PI를 사용하는 방법을 학습하는 동시에 transfer 과정의 distribution shift를 완화하는 joint teacher-student framework인 π-Distill을 제안한다. 우리는 π-Distill이 action-only privileged information을 사용해 frontier agent를 효과적으로 distill하며, 여러 agentic benchmark, model, 그리고 PI 형태 전반에 걸쳐 full Chain-of-Thought supervision에 대한 접근을 가정하는 산업 표준 pipeline과 동등하거나 더 나은 성능을 보임을 보인다. 또한 우리는 PI로 효과적으로 학습하게 하는 요인이 무엇인지 특징짓는 광범위한 분석으로 결과를 보완한다.
"},{"id":"67077","en":"Position: Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!","ko":"Position: 중간 토큰을 추론/사고 트레이스로 의인화하는 것을 멈춰라!","authors":"Subbarao Kambhampati, Karthik Valmeekam, Siddhant Bhambri, Vardhan Palod, Lucas Saldyt, Kaya Stechly, Soumya Samineni, Durgesh Kalwar, Upasana Biswas","pos":"#1909","link":"https://openreview.net/forum?id=nP7rL36vYj","abs":"Intermediate token generation (ITG), where a model produces output before the solution, has become a standard method to improve the performance of language models on reasoning tasks. These intermediate tokens have been called \\say{reasoning traces} or even \\say{thoughts} -- implicitly anthropomorphizing the traces, and implying that these traces resemble steps a human might take when solving a challenging problem, and as such can provide an interpretable window into the operation of the model's thinking process to the end user. In this position paper, we present evidence that this anthropomorphization isn't a harmless metaphor, and instead is quite dangerous -- it confuses the nature of these models and how to use them effectively, and leads to questionable research. We call on the community to avoid such anthropomorphization of intermediate tokens.
","absKo":"Intermediate token generation(ITG), 즉 model이 solution보다 앞서 output을 생성하는 방식은 reasoning task에서 language model의 성능을 높이는 표준 방법이 되었다. 이러한 intermediate token은 \\say{reasoning trace} 또는 심지어 \\say{thoughts}라고 불려 왔는데, 이는 이 trace를 암묵적으로 의인화하고, 어려운 문제를 풀 때 사람이 거칠 법한 단계와 유사하다는 인상을 주며, 그 결과 end user에게 model의 사고 과정을 이해 가능한 창으로 제공할 수 있다고 암시한다. 이 position paper에서 우리는 이러한 의인화가 무해한 비유가 아니라는 증거를 제시하며, 오히려 매우 위험하다고 주장한다. 이는 이러한 model의 본질과 효과적인 사용법을 혼동하게 만들고, 의문스러운 연구로 이어진다. 우리는 community가 intermediate token을 이처럼 의인화하는 일을 피할 것을 촉구한다.
"},{"id":"62580","en":"Masks Can Be Distracting: On Context Comprehension in Diffusion Language Models","ko":"마스크는 방해가 될 수 있다: Diffusion Language Models의 Context Comprehension","authors":"Julianna Piskorz, Cristina Pinneri, Alvaro Correia, Motasem Alfarra, Risheek Garrepalli, Christos Louizos","pos":"#2001","link":"https://openreview.net/forum?id=fNI8617Hfb","abs":"Masked Diffusion Language Models (MDLMs) have recently emerged as a promising alternative to Autoregressive Language Models (ARLMs), leveraging a denoising objective that, in principle, should enable more uniform context utilisation. In this work, we examine the context comprehension abilities of MDLMs and uncover two key limitations. First, despite their more global training objective and bidirectional attention mechanism, similarly to ARLMS, MDLMs exhibit a strong locality bias: performance is highly sensitive to the position of relevant information within the input, favouring local over distant context. Second, appending a large number of mask tokens—required for generation—can significantly degrade context comprehension in models trained from scratch. Through systematic ablations, we find that these masks act as distractors, reducing the model's ability to process relevant information. To address and further study this undesirable behaviour, we introduce the mask-agnostic loss function that encourages predictions to remain invariant to the number of appended masks. Fine-tuning with this objective substantially mitigates the distracting effect of masks, improving robustness of MDLMs. Overall, our findings reveal critical limitations of the current MDLM training paradigm, with implications for training, evaluation and deployment.
","absKo":"Masked Diffusion Language Model (MDLM)은 최근 Autoregressive Language Model (ARLM)의 유망한 대안으로 부상했으며, denoising objective를 활용함으로써 원칙적으로 더 균일한 context 활용을 가능하게 해야 한다. 본 연구에서는 MDLM의 context 이해 능력을 살펴보고 두 가지 핵심 한계를 밝혀낸다. 첫째, 더 전역적인 training objective와 bidirectional attention mechanism을 가짐에도 불구하고, ARLM과 유사하게 MDLM은 강한 locality bias를 보인다: 성능은 입력 내 관련 정보의 위치에 매우 민감하며, 멀리 떨어진 context보다 가까운 context를 선호한다. 둘째, generation을 위해 필요한 대량의 mask token을 덧붙이면 scratch에서 학습된 model의 context 이해가 크게 저하될 수 있다. 체계적인 ablation을 통해, 이러한 mask가 distractor로 작용하여 관련 정보를 처리하는 model의 능력을 떨어뜨림을 확인했다. 이 바람직하지 않은 행동을 해결하고 더 깊이 이해하기 위해, 우리는 추가된 mask의 수에 대해 prediction이 invariant하도록 유도하는 mask-agnostic loss function을 도입한다. 이 objective로 fine-tuning하면 mask의 방해 효과가 상당히 완화되어 MDLM의 robustness가 향상된다. 전반적으로, 우리의 발견은 현재 MDLM training paradigm의 중요한 한계를 드러내며, training, evaluation, deployment에 시사점을 제공한다.
"},{"id":"61986","en":"Mosaic: Unlocking Over 30$\\times$ Context Length for Diffusion LLMs Inference via Global Memory Planning and Dynamic Peak Taming","ko":"Mosaic: global memory planning과 dynamic peak taming으로 diffusion LLM 추론 시 context length 30배 이상 확장","authors":"Liang Zheng, Bowen Shi, Yitao Hu, Jiawei Zhang, Ruofan Li, Guotao Yang, Zhixin Zhao, Zhengchao Wang, Sheng Chen, Wenxin Li, Dezhi Ran, Tao Xie, Keqiu Li","pos":"#2009","link":"https://openreview.net/forum?id=ky9RAeT6ie","abs":"Diffusion-based large language models (dLLMs) have emerged as a promising alternative to autoregressive models, leveraging simultaneous denoising to enable global planning and iterative refinement. These properties make dLLMs particularly attractive for long-context generation. However, deploying dLLMs faces a prohibitive memory capacity barrier, as existing inference systems are inefficient for the diffusion paradigm. We observe that current inference systems are misaligned with dLLMs. Unlike autoregressive models, whose memory footprint is dominated by the cumulative KV-Cache, dLLMs are bottlenecked by transient activations rematerialized per step. Moreover, generic memory reuse mechanisms lack the global visibility to handle dynamic memory peaks of dLLMs, which alternate between logits and feed-forward networks. To address these challenges, we present Mosaic, a memory-efficient inference system that shifts dLLM execution from local, static memory management to a global, dynamic paradigm. Mosaic integrates (i) a mask-only logits kernel eliminating redundant activation materialization, (ii) a lazy chunking optimizer using online heuristics to adaptively tame dynamic memory peaks, and (iii) a global memory manager leveraging virtual addressing to mitigate memory fragmentation. Extensive evaluations show that Mosaic reduces the memory peak-to-average ratio by 2.71$\\times$ on average and increases the maximum supportable inference sequence length on identical hardware by 15.30--32.34$\\times$. Crucially, Mosaic is training-free and preserves exact model outputs, while simultaneously reducing end-to-end latency by 2.5\\%--55.4\\%.","absKo":"Diffusion-based large language models(dLLMs)는 autoregressive models의 유망한 대안으로 부상했으며, simultaneous denoising을 활용해 global planning과 iterative refinement를 가능하게 한다. 이러한 특성은 dLLMs를 long-context generation에 특히 매력적으로 만든다. 그러나 기존 inference 시스템이 diffusion paradigm에 비효율적이기 때문에, dLLMs를 배포하는 데는 막대한 memory capacity 장벽이 존재한다. 우리는 현재의 inference 시스템이 dLLMs와 맞지 않음을 관찰한다. 누적된 KV-Cache가 메모리 사용량을 지배하는 autoregressive models와 달리, dLLMs는 각 step마다 rematerialized되는 transient activations에 의해 병목이 발생한다. 더 나아가, 일반적인 memory reuse 메커니즘은 logits와 feed-forward networks 사이를 오가는 dLLMs의 dynamic memory peak를 처리할 global visibility를 갖지 못한다. 이러한 문제를 해결하기 위해, 우리는 dLLM execution을 local하고 정적인 memory management에서 global하고 동적인 paradigm으로 전환하는 memory-efficient inference system인 Mosaic을 제시한다. Mosaic은 (i) redundant activation materialization을 제거하는 mask-only logits kernel, (ii) dynamic memory peaks를 적응적으로 완화하기 위해 online heuristics를 사용하는 lazy chunking optimizer, (iii) virtual addressing을 활용해 memory fragmentation을 완화하는 global memory manager를 통합한다. 광범위한 평가 결과, Mosaic은 memory peak-to-average ratio를 평균 2.71$\\times$ 줄이고, 동일한 hardware에서 지원 가능한 최대 inference sequence length를 15.30--32.34$\\times$ 증가시킨다. 중요한 점은 Mosaic이 training-free이며 exact model outputs를 보존하는 동시에 end-to-end latency를 2.5\\%--55.4\\% 줄인다는 것이다."},{"id":"63402","en":"On Multi-Step Theorem Prediction via Non-Parametric Structural Priors","ko":"비모수 구조적 사전지식을 통한 다단계 정리 예측에 관하여","authors":"Junbo Zhao, Ting Zhang, Can Li, Wei He, Jingdong Wang, Hua Huang","pos":"#2015","link":"https://openreview.net/forum?id=XRzeAIhVaS","abs":"Multi-step theorem prediction is a central challenge in automated reasoning. Existing neural–symbolic approaches rely heavily on supervised parametric models, which exhibit limited generalization to evolving theorem libraries. In this work, we explore training-free theorem prediction through the lens of in-context learning (ICL). We identify a critical scalability bottleneck, termed Structural Drift: as reasoning depth increases, the performance of vanilla ICL degrades sharply, often collapsing to near zero. We attribute this failure to the LLM’s inability to recover latent topological dependencies, leading to unstructured exploration. To address this issue, we propose Theorem Precedence Graphs, which encode temporal dependencies from historical solution traces as directed graphs, and impose explicit topological constraints that effectively prune the search space during inference. Coupled with retrieval-augmented graph construction and a stepwise symbolic executor, our approach enables LLMs to act as structured planners without any gradient-based optimization. Experiments on the FormalGeo7k benchmark show that our method achieves 89.29\\% accuracy, substantially outperforming ICL baselines and matching state-of-the-art supervised models. These results indicate that explicit structural priors offer a promising direction for scaling LLM-based symbolic reasoning.
","absKo":"multi-step theorem prediction은 automated reasoning의 핵심 과제이다. 기존 neural-symbolic 접근은 supervised parametric model에 크게 의존하는데, 이는 진화하는 theorem library에 대한 일반화가 제한적이다. 본 연구에서는 in-context learning(ICL)의 관점에서 training-free theorem prediction을 탐구한다. 우리는 Structural Drift라 명명한 치명적인 scalability bottleneck을 식별한다. reasoning depth가 증가할수록 vanilla ICL의 성능은 급격히 저하되며, 종종 거의 0에 가깝게 붕괴한다. 우리는 이러한 실패를 LLM이 latent topological dependency를 복원하지 못해 구조화되지 않은 탐색이 발생하기 때문이라고 본다. 이 문제를 해결하기 위해 우리는 Theorem Precedence Graphs를 제안한다. 이는 과거 solution trace의 temporal dependency를 directed graph로 인코딩하고, inference 중 search space를 효과적으로 pruning하는 명시적 topological constraint를 부과한다. retrieval-augmented graph construction과 stepwise symbolic executor를 결합함으로써, 우리의 접근은 gradient-based optimization 없이도 LLM이 structured planner로 작동하도록 한다. FormalGeo7k benchmark 실험에서 우리의 방법은 89.29\\% accuracy를 달성하여 ICL baseline을 크게 능가하고 state-of-the-art supervised model과도 맞먹는 성능을 보인다. 이러한 결과는 explicit structural prior가 LLM 기반 symbolic reasoning을 확장하는 유망한 방향임을 시사한다.
"},{"id":"64915","en":"Learnability-Informed Fine-Tuning of Diffusion Language Models","ko":"Diffusion Language Model의 Learnability-Informed Fine-Tuning","authors":"Shubham Parashar, Atharv Chagi, Jacob Helwig, Lakshmi Madhavarapu, Sushil Vemuri, James Caverlee, Dileep Kalathil, Shuiwang Ji","pos":"#2105","link":"https://openreview.net/forum?id=IgzMfT6eUx","abs":"We aim to improve the reasoning capabilities of diffusion language models (DLMs). While SFT performs well for autoregressive models, its use in DLMs faces challenges. Our observation and analysis reveal that vanilla SFT does not consider learnability, i.e., what and when tokens are learned. Specifically, we observe that rare tokens are difficult to learn when most of the input is masked. In contrast, it is straightforward and thus of little value to learn common tokens when most of the input is unmasked. To consider learnability, we propose LIFT, a learnability-informed fine-tuning strategy for DLMs. LIFT learns easy tokens when most of the input is noisy and hard tokens when more input is available, thereby aligning training with information available at different diffusion time steps. Our results show that LIFT outperforms existing SFT baselines across six reasoning benchmarks, achieving up to a 3x relative gain on AIME'24 and AIME'25.
","absKo":"우리는 diffusion language model(DLM)의 reasoning capability를 향상시키고자 한다. SFT는 autoregressive model에서 좋은 성능을 보이지만, DLM에서의 사용에는 도전이 따른다. 우리의 관찰과 분석은 vanilla SFT가 learnability, 즉 무엇을 언제 학습하는지를 고려하지 않는다는 점을 보여준다. 구체적으로, 입력의 대부분이 masked되어 있을 때 rare token은 학습하기 어렵다. 반대로 입력의 대부분이 unmasked되어 있을 때 common token을 학습하는 것은 쉽지만, 그만큼 가치가 낮다. learnability를 고려하기 위해 우리는 DLM을 위한 learnability-informed fine-tuning strategy인 LIFT를 제안한다. LIFT는 입력의 대부분이 noisy할 때 easy token을 학습하고, 더 많은 입력이 उपलब्ध할 때 hard token을 학습함으로써, training을 diffusion time step마다 이용 가능한 정보와 정렬한다. 우리의 결과는 LIFT가 여섯 개의 reasoning benchmark에서 기존 SFT baseline을 능가하며, AIME'24와 AIME'25에서 최대 3배의 relative gain을 달성함을 보여준다.
"},{"id":"60717","en":"Does Your Reasoning Model Implicitly Know When to Stop Thinking?","ko":"추론 모델은 언제 생각을 멈춰야 하는지 암묵적으로 알고 있는가?","authors":"Zixuan Huang, Xin Xia, Yuxi Ren, Jianbin Zheng, Xuanda Wang, Zhixia Zhang, Hongyan Xie, Songshi Liang, Zehao Chen, Xuefeng Xiao, Fuzhen Zhuang, Jianxin Li, Yikun Ban, deqing wang","pos":"#2200","link":"https://openreview.net/forum?id=xF6klfHhO8","abs":"Recent advancements in large reasoning models (LRMs) have greatly improved their capabilities on complex reasoning tasks through Long Chains of Thought (CoTs). However, this approach often results in substantial redundancy, impairing computational efficiency and causing significant delays in real-time applications. Recent studies show that longer reasoning chains are frequently uncorrelated with correctness and can even be detrimental to accuracy. In a further in-depth analysis of this phenomenon, we surprisingly uncover and empirically verify that LRMs implicitly know the appropriate time to stop thinking, while this capability is obscured by current sampling paradigms. Motivated by this, we introduce SAGE (Self-Aware Guided Efficient Reasoning), a novel sampling paradigm that unleashes this efficient reasoning potential. Furthermore, integrating SAGE as mixed sampling into group-based reinforcement learning (SAGE-RL) enables SAGE-RL to effectively incorporate SAGE-discovered efficient reasoning patterns into standard pass@1 inference, markedly enhancing both the reasoning accuracy and efficiency of LRMs across multiple challenging mathematical benchmarks.
","absKo":"최근 large reasoning models(LRMs)의 발전은 Long Chains of Thought(CoTs)를 통해 복잡한 reasoning task에서의 성능을 크게 향상시켰다. 그러나 이러한 접근은 종종 상당한 redundancy를 초래하여 계산 효율성을 저해하고 real-time application에서 큰 지연을 유발한다. 최근 연구는 더 긴 reasoning chain이 정답성과 자주 무관하며, 심지어 정확도에 해로울 수도 있음을 보여 준다. 이에 대한 추가적이고 심층적인 분석에서, 우리는 LRMs가 생각을 멈춰야 할 적절한 시점을 암묵적으로 알고 있다는 점을 놀랍게도 발견하고 실증적으로 검증했지만, 현재의 sampling paradigm이 이 능력을 가리고 있음을 확인했다. 이러한 동기에 따라, 우리는 이 효율적인 reasoning 잠재력을 발현시키는 새로운 sampling paradigm인 SAGE(Self-Aware Guided Efficient Reasoning)를 제안한다. 더 나아가, SAGE를 group-based reinforcement learning에 mixed sampling으로 통합한 SAGE-RL은 SAGE가 발견한 efficient reasoning pattern을 standard pass@1 inference에 효과적으로 반영할 수 있게 하며, 여러 어려운 수학 benchmark 전반에서 LRMs의 reasoning accuracy와 efficiency를 현저히 향상시킨다.
"},{"id":"65790","en":"EchoRL: Reinforcement Learning via Rollout Echoing","ko":"EchoRL: 롤아웃 에코잉을 통한 강화학습","authors":"Jinhe Bi, Aniri -, Minglai Yang, Xingcheng Zhou, Wenke Huang, Sikuan Yan, Yujun Wang, Zixuan Cao, Michael Färber, Xun Xiao, Volker Tresp, Yunpu Ma","pos":"#2203","link":"https://openreview.net/forum?id=A6az59SGtF","abs":"Reinforcement Learning with Verifiable Rewards is an effective route for post-training to strengthen the reasoning capability of large language models. However, as training proceeds, the learning signal can collapse thus makes the training gain become marginal and ineffective. Specifically, a growing fraction of prompts' rollouts become advantage-degenerated: all the self-generated rollouts show verified-success, making the standard deviation over their rewards be zero; accordingly each rollout's advantage becomes degenerated (zero) as well. Given such rollouts' advantages, the policy-gradient for model optimization eventually vanishes, capping the training performance. We argue that some of these rollouts still contain valuable learning signals but unfortunately omitted with the existing RLVR methods. In this paper, inspired through analyzing the entropy pattern behind golden trajectories produced by external expert models, we propose EchoRL for better exploiting the advantage-degenerated rollouts to further improve the training performance. EchoRL is a lightweight module that first identifies an EchoClip from verified-success rollouts based on their step-level entropy values, and then feeds this clip back as an auxiliary supervision signal in the RL objective. Extensive experiments across 10 benchmarks, 5 LLM backbones, and 7 popular RLVR post-training methods demonstrate that EchoRL consistently improves RLVR post-training with minimal overhead.
","absKo":"Verifiable Rewards를 활용한 Reinforcement Learning은 대규모 언어 모델의 추론 능력을 강화하기 위한 post-training의 효과적인 경로이다. 그러나 학습이 진행됨에 따라 학습 신호가 붕괴하여 학습 이득이 점차 미미하고 비효율적으로 변할 수 있다. 구체적으로, 프롬프트의 rollout 중 점점 더 많은 비율이 advantage-degenerated 상태가 되는데, 모든 self-generated rollout이 verified-success를 보이면서 reward의 표준편차가 0이 된다. 이에 따라 각 rollout의 advantage 역시 degenerated(0)하게 된다. 이러한 rollout들의 advantage를 기준으로 하면, 모델 최적화를 위한 policy-gradient는 결국 소멸하여 학습 성능을 상한짓는다. 우리는 이들 rollout 중 일부는 여전히 유용한 학습 신호를 담고 있지만, 기존 RLVR 방법에서는 안타깝게도 활용되지 못한다고 주장한다. 본 논문에서는 external expert model이 생성한 golden trajectory 뒤에 숨어 있는 entropy 패턴을 분석한 결과에 영감을 받아, advantage-degenerated rollout을 더 잘 활용하여 학습 성능을 추가로 향상시키는 EchoRL을 제안한다. EchoRL은 먼저 step-level entropy 값을 바탕으로 verified-success rollout에서 EchoClip을 식별한 뒤, 이를 RL objective의 auxiliary supervision signal로 다시 주입하는 경량 모듈이다. 10개 benchmark, 5개 LLM backbone, 7개의 널리 쓰이는 RLVR post-training 방법에 대한 광범위한 실험은 EchoRL이 최소한의 오버헤드로 RLVR post-training을 일관되게 개선함을 보여준다.
"},{"id":"63110","en":"Edit-Based Refinement for Parallel Masked Diffusion Language Models","ko":"병렬 Masked Diffusion 언어 모델을 위한 편집 기반 정제","authors":"Houxing Ren, Mingjie Zhan, Zimu Lu, Ke Wang, Yunqiao Yang, Haotian Hou, Junting Pan, Hongsheng Li","pos":"#2204","link":"https://openreview.net/forum?id=a1UcGYKhJU","abs":"Masked diffusion language models enable parallel token generation and offer improved decoding efficiency over autoregressive models. However, their performance degrades significantly when generating multiple tokens simultaneously, due to a mismatch between token-level training objectives and the need for joint sequence consistency. In this paper, we propose ME-DLM, an edit-based refinement framework that augments diffusion generation with a lightweight post-generation editing step. After producing an initial complete response, the model refines it through minimal edit operations, including replacement, deletion, and insertion, conditioned on the full sequence. Training supervision is derived from edit distance, providing a deterministic supervision signal under a fixed canonicalization scheme for learning minimal corrections. This approach encourages sequence-level consistency through minimal, globally conditioned edits while preserving the efficiency benefits of parallel diffusion decoding, and substantially improves the quality and robustness of multi-token generation. Extensive experiments demonstrate that the proposed approach substantially improves the quality and robustness of multi-token parallel generation. In particular, when built upon LLaDA, our method achieves consistent gains of 11.6% on HumanEval and 33.6% on GSM8K while using one-eighth of the total diffusion steps.
","absKo":"Masked diffusion language model은 parallel token generation을 가능하게 하고 autoregressive model보다 더 나은 decoding 효율을 제공한다. 그러나 token-level training objective와 joint sequence consistency의 필요성 사이의 불일치 때문에 여러 token을 동시에 생성할 때 성능이 크게 저하된다. 본 논문에서는 diffusion generation에 가벼운 post-generation editing 단계를 추가하는 edit-based refinement framework인 ME-DLM을 제안한다. 초기 완성 응답을 생성한 뒤, 모델은 전체 sequence를 조건으로 replacement, deletion, insertion을 포함한 최소 edit operation을 통해 이를 정제한다. 학습 supervision은 edit distance로부터 도출되며, 최소한의 수정을 학습하기 위한 고정된 canonicalization scheme 아래에서 결정적인 supervision signal을 제공한다. 이 접근은 parallel diffusion decoding의 효율성 이점을 보존하면서, 최소한의 전역 조건부 edit을 통해 sequence-level consistency를 촉진하고, multi-token generation의 품질과 견고성을 크게 향상시킨다. 광범위한 실험은 제안 방법이 multi-token parallel generation의 품질과 견고성을 크게 개선함을 보여준다. 특히 LLaDA 위에 구축했을 때, 우리의 방법은 총 diffusion step의 1/8만 사용하면서 HumanEval에서 11.6%의, GSM8K에서 33.6%의 일관된 향상을 달성한다.
"},{"id":"62708","en":"Fantastic Reasoning Behaviors and Where to Find Them: Unsupervised Discovery of the Reasoning Process","ko":"환상적인 Reasoning Behavior와 그 발견 위치: Reasoning Process의 비지도(disupervised) Discovery","authors":"Zhenyu Zhang, Shujian Zhang, John Lambert, Wenxuan Zhou, Zhangyang “Atlas” Wang, Mingqing Chen, Andrew Hard, Rajiv Mathews, Lun Wang","pos":"#2206","link":"https://openreview.net/forum?id=e0wfMUiZnY","abs":"Despite the growing reasoning capabilities of recent large language models (LLMs), their internal mechanisms during the reasoning process remain underexplored. Prior approaches often rely on human-defined concepts (e.g., overthinking, reflection) at the word level to analyze reasoning in a supervised manner. However, such methods are limited, as it is infeasible to capture the full spectrum of potential reasoning behaviors, many of which are difficult to define in token space. In this work, we propose an unsupervised framework (namely, RISE: Reasoning behavior Interpretability via Sparse auto-Encoder) for discovering reasoning vectors, which we define as directions in the activation space that encode distinct reasoning behaviors. By segmenting chain-of-thought traces into sentence-level 'steps' and training sparse auto-encoders (SAEs) on step-level activations, we uncover disentangled features corresponding to interpretable behaviors such as reflection and backtracking. Visualization and clustering analyses show that these behaviors occupy separable regions in the decoder column space. Moreover, targeted interventions on SAE-derived vectors can controllably amplify or suppress specific reasoning behaviors, altering inference trajectories without retraining. Beyond behavior-specific disentanglement, SAEs capture structural properties such as response length, revealing clusters of long versus short reasoning traces. More interestingly, SAEs enable the discovery of novel behaviors beyond human supervision. We demonstrate the ability to control response confidence by identifying confidence-related vectors in the SAE decoder space. These findings underscore the potential of unsupervised latent discovery for both interpreting and controllably steering reasoning in LLMs.
","absKo":"최근 대규모 language model(LLM)의 reasoning 능력이 향상되었음에도, reasoning 과정에서의 내부 메커니즘은 여전히 충분히 탐구되지 않았다. 기존 접근은 종종 word level에서 overthinking, reflection과 같은 인간 정의 개념에 의존하여 supervised 방식으로 reasoning을 분석한다. 그러나 이러한 방법은 가능한 reasoning behavior의 전체 스펙트럼을 포착하기 어렵고, 그중 상당수는 token space에서 정의하기도 어렵다는 한계가 있다. 본 연구에서는 reasoning vector를 발견하기 위한 비지도 학습 프레임워크, 즉 RISE: Reasoning behavior Interpretability via Sparse auto-Encoder를 제안한다. 우리는 reasoning vector를 서로 다른 reasoning behavior를 인코딩하는 activation space의 방향으로 정의한다. chain-of-thought trace를 sentence-level 'step'으로 분할하고 step-level activation에서 sparse auto-encoder(SAE)를 학습함으로써, reflection과 backtracking과 같이 해석 가능한 behavior에 대응하는 disentangled feature를 발견한다. 시각화와 클러스터링 분석은 이러한 behavior가 decoder column space에서 분리 가능한 영역을 차지함을 보여준다. 더 나아가, SAE-derived vector에 대한 표적 개입은 특정 reasoning behavior를 제어 가능하게 증폭하거나 억제하여, 재학습 없이 inference trajectory를 변경할 수 있다. behavior-specific disentanglement를 넘어, SAE는 response length와 같은 구조적 특성도 포착하여, 긴 reasoning trace와 짧은 reasoning trace의 클러스터를 드러낸다. 더 흥미롭게도, SAE는 인간 supervision을 넘어서는 새로운 behavior의 발견도 가능하게 한다. 우리는 SAE decoder space에서 confidence-related vector를 식별함으로써 response confidence를 제어할 수 있음을 보인다. 이러한 결과는 LLM에서 reasoning을 해석하고 제어 가능하게 조향하는 데 있어 비지도 latent discovery의 잠재력을 강조한다.
"},{"id":"61734","en":"GRPO is Secretly a Process Reward Model","ko":"GRPO는 사실 Process Reward Model이다","authors":"Michael Sullivan, Alexander Koller","pos":"#2211","link":"https://openreview.net/forum?id=nMGaOCVlDW","abs":"Process reward models (PRMs) allow for fine-grained credit assignment in reinforcement learning (RL), and seemingly contrast with outcome reward models (ORMs), which assign a single reward to an entire trajectory. However, we provide theoretical proof in this work that the Group Relative Policy Optimization (GRPO) RL algorithm equipped with an ORM is in fact equivalent to a PRM-aware RL objective equipped with a non-trivial, Monte-Carlo-based PRM (given mild assumptions). Leveraging the framework of GRPO-as-a-PRM, we identify a flaw in the GRPO objective that interacts with imbalanced process steps and rewards to hinder both exploration and exploitation (under different conditions). We propose a simple modification to the algorithm to mitigate this defect ($\\lambda$-GRPO), and show that LLMs tuned with $\\lambda$-GRPO outperform LLMs tuned with standard GRPO on downstream reasoning tasks$\\textemdash$and reach peak performance more rapidly. These results show that we can leverage the hidden, built-in PRM structure within the vanilla GRPO algorithm to boost model performance without employing an explicit PRM, and with a negligible impact on training time and cost.","absKo":"Process reward models(PRMs)은 reinforcement learning(RL)에서 세밀한 credit assignment를 가능하게 하며, 전체 trajectory에 단일 reward를 부여하는 outcome reward models(ORMs)과는 대조되는 것처럼 보인다. 그러나 본 논문에서는, Group Relative Policy Optimization(GRPO) RL algorithm이 ORM을 장착한 경우, 실제로는 PRM을 인식하는 RL objective와 동등하며, 이 PRM은 적절한 가정 하에서 비자명한 Monte-Carlo 기반 PRM임을 이론적으로 증명한다. GRPO-as-a-PRM 프레임워크를 활용하여, 우리는 불균형한 process step과 reward가 상호작용하면서 exploration과 exploitation을 모두 저해하는 GRPO objective의 결함을 식별한다(조건에 따라 다르게 나타남). 우리는 이 결함을 완화하기 위해 알고리즘의 간단한 수정안($\\lambda$-GRPO)을 제안하고, $\\lambda$-GRPO로 튜닝한 LLM이 표준 GRPO로 튜닝한 LLM보다 downstream reasoning task에서 더 뛰어나며$\\textemdash$최고 성능에도 더 빠르게 도달함을 보인다. 이러한 결과는 명시적인 PRM을 사용하지 않고도, vanilla GRPO algorithm 내부에 숨어 있는 built-in PRM 구조를 활용하여 모델 성능을 향상시킬 수 있으며, 훈련 시간과 비용에 미치는 영향은 미미함을 보여준다."},{"id":"66003","en":"Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner","ko":"공진화 연속-이산 Diffusion: 당신의 Diffusion 언어 모델을 잠재 추론기로 만들기","authors":"Cai Zhou, Chenxiao Yang, Yi Hu, Chenyu Wang, Chubin Zhang, Muhan Zhang, Lester Mackey, Tommi Jaakkola, Stephen Bates, Dinghuai Zhang","pos":"#2305","link":"https://openreview.net/forum?id=80nuPd5Gvb","abs":"Diffusion language models, especially masked discrete diffusion models, have achieved great success recently. While there are some theoretical and primary empirical results showing the advantages of latent reasoning with looped transformers or continuous CoT, continuous diffusion models typically underperform their discrete counterparts. In this paper, we argue that diffusion language models do not necessarily need to be in the discrete space. In particular, we prove that continuous diffusion models have stronger expressivity than discrete diffusions and looped transformers. We attribute the contradiction between the theoretical expressiveness and empirical performance to their practical trainability: while continuous diffusion provides intermediate supervision that looped transformers lack, they are harder to generate and decode tokens in the continuous representation space compared with discrete states. We therefore propose Coevolutionary Continuous Discrete Diffusion (CCDD), which defines a joint multimodal diffusion process on the union of a continuous representation space and a discrete token space, leveraging a single model to simultaneously denoise in the joint space. By combining two modalities, CCDD is expressive with rich semantics in the latent space, as well as good trainability and sample quality with the help of explicit discrete tokens. We also propose effective architectures and advanced training/sampling techniques for CCDD, which reveals strong empirical performance in extensive language modeling experiments on real-world tasks.
","absKo":"Diffusion language model, 특히 masked discrete diffusion model은 최근 큰 성공을 거두었다. looped transformer나 continuous CoT를 활용한 latent reasoning의 장점을 보여주는 이론적 및 초기 실증 결과가 일부 존재하지만, continuous diffusion model은 일반적으로 discrete counterpart보다 성능이 낮다. 본 논문에서는 diffusion language model이 반드시 discrete space에 있어야 하는 것은 아니라고 주장한다. 특히, 우리는 continuous diffusion model이 discrete diffusion과 looped transformer보다 더 강한 expressivity를 가진다는 것을 증명한다. 이론적 expressivity와 실증 성능 사이의 모순은 실제 학습 가능성(trainability)에서 비롯된다고 해석한다. continuous diffusion은 looped transformer가 갖지 못한 intermediate supervision을 제공하지만, continuous representation space에서는 discrete state에 비해 token 생성과 decoding이 더 어렵다. 따라서 우리는 Coevolutionary Continuous Discrete Diffusion(CCDD)을 제안한다. 이는 continuous representation space와 discrete token space의 합집합 위에 joint multimodal diffusion process를 정의하고, 단일 모델이 joint space에서 동시에 denoising을 수행하도록 한다. 두 modality를 결합함으로써 CCDD는 latent space에서 풍부한 semantics를 바탕으로 높은 expressivity를 가지는 동시에, 명시적 discrete token의 도움으로 좋은 trainability와 sample quality를 제공한다. 또한 우리는 CCDD를 위한 효과적인 architecture와 고급 training/sampling 기법을 제안하며, 실제 task에 대한 광범위한 language modeling 실험에서 강한 실증 성능을 보인다.
"},{"id":"66075","en":"Breaking the Echo Chamber: A Dynamic Ensemble Pruning Perspective on MoE","ko":"반향실 깨기: MoE에 대한 동적 앙상블 가지치기 관점","authors":"Xinlai Kang, Dunyao Xue, Zhengbo Wang, Chengshuo Du, Cheng Meng, Hanting Chen, Hang Zhou, Xinghao Chen","pos":"#2308","link":"https://openreview.net/forum?id=7FsbfQgti4","abs":"We introduce Mahalanobis-Pruned Mixture-of-Experts (MP-MoE), a novel routing framework that approaches expert selection from the perspective of ensemble pruning. Existing Mixture-of-Experts (MoE) routing strategies often suffer from representation collapse due to greedy top-k selection mechanisms or rely on complex auxiliary regularization terms that may compromise model performance. To address these issues, we formulate routing as a diversity-aware subset selection problem and optimize a Mahalanobis-distance-based objective that explicitly enhances expert diversity. Specifically, we demonstrate that the expert co-occurrence matrix effectively captures inter-expert correlations, allowing us to efficiently model the covariance structure required for distance computation without accessing expert parameters. Furthermore, we devise a greedy strategy for the routing mechanism, backed by theoretical approximation guarantees, rendering it a plug-and-play module with negligible overhead. MP-MoE increases wall-clock training time by approximately 3\\%, while incurring no additional latency at inference time. Extensive experiments demonstrate that during the pre-training of the large language model, our method consistently outperforms the baseline by 1-3 percentage points across a broad range of benchmarks.
","absKo":"우리는 ensemble pruning의 관점에서 expert 선택에 접근하는 새로운 routing framework인 Mahalanobis-Pruned Mixture-of-Experts(MP-MoE)를 소개합니다. 기존의 Mixture-of-Experts(MoE) routing 전략은 greedy top-k selection mechanism으로 인해 representation collapse를 겪는 경우가 많거나, 모델 성능을 저해할 수 있는 복잡한 auxiliary regularization term에 의존합니다. 이러한 문제를 해결하기 위해, 우리는 routing을 diversity-aware subset selection problem으로 정식화하고, expert diversity를 명시적으로 향상시키는 Mahalanobis-distance-based objective를 최적화합니다. 구체적으로, expert co-occurrence matrix가 expert 간 상관관계를 효과적으로 포착함을 보이며, 이를 통해 expert parameter에 접근하지 않고도 거리 계산에 필요한 covariance structure를 효율적으로 모델링할 수 있음을 보여줍니다. 또한 이론적 approximation guarantee에 뒷받침된 greedy strategy를 routing mechanism에 대해 고안하여, 거의 오버헤드가 없는 plug-and-play module로 만듭니다. MP-MoE는 wall-clock training time을 약 3\\% 증가시키는 대신, inference time에는 추가 latency를 전혀 유발하지 않습니다. 광범위한 실험은 large language model의 pre-training 동안 우리 방법이 다양한 benchmark 전반에서 baseline을 일관되게 1-3 percentage points 차이로 능가함을 보여줍니다.
"},{"id":"65228","en":"A geometric relation of the error introduced by sampling a language model's output distribution to its internal state","ko":"언어 모델의 출력 분포 샘플링으로 도입되는 오차와 내부 상태 간의 기하학적 관계","authors":"Albert F. Modenbach","pos":"#2415","link":"https://openreview.net/forum?id=FaDUU0pyFj","abs":"GPT-style language models are sensitive to single-token changes at generation points where the predicted probability distribution is spread across multiple tokens. Viewing this sensitivity as a geometric property, we derive an $\\mathfrak{so}(n)$-valued 1-form that depends only on the geometry of the token embeddings. Despite this purely geometric origin, we show that its curvature is semantically meaningful: on chess reasoning tasks, the curvature couples to the world model of an off-the-shelf instruction-tuned model, with transformations clustering by board region and respecting piece importance. Our findings suggest that token space geometry directly reflects how models internally represent problems.","absKo":"GPT-style language model은 예측된 probability distribution이 여러 token에 걸쳐 퍼져 있는 generation point에서 단일 token 변화에 민감하다. 이러한 민감성을 기하학적 성질로 보고, 우리는 token embedding의 기하학에만 의존하는 $\\mathfrak{so}(n)$-값 1-form을 유도한다. 이러한 순수한 기하학적 기원에도 불구하고, 우리는 그 curvature가 의미론적으로 유의미함을 보인다. chess reasoning task에서 curvature는 off-the-shelf instruction-tuned model의 world model과 결합하며, 변환은 board region별로 군집화되고 piece importance를 반영한다. 우리의 발견은 token space의 기하가 model이 문제를 내부적으로 어떻게 표현하는지를 직접적으로 반영함을 시사한다."},{"id":"65900","en":"REVIS: Sparse Latent Steering to Mitigate Object Hallucination in Large Vision-Language Models","ko":"REVIS: 대형 Vision-Language 모델에서 객체 환각 완화를 위한 희소 잠재 조종","authors":"Jialin Wu, Wei Shi, Han Shen, Peigui Qi, Kunsheng Tang, Zhicong Huang, Binghao Wang, Zhou Yang","pos":"#2907","link":"https://openreview.net/forum?id=92tssj0P1S","abs":"Despite the advanced capabilities of Large Vision-Language Models (LVLMs), they frequently suffer from object hallucination. One reason is that visual features and pretrained textual representations often become intertwined in the deeper network layers. To address this, we propose REVIS, a training-free framework designed to explicitly re-activate this suppressed visual information. Rooted in latent space geometry, REVIS extracts the pure visual information vector via orthogonal projection and employs a calibrated strategy to perform sparse intervention only at the precise depth where suppression occurs. This surgical approach effectively restores visual information with minimal computational cost. Empirical evaluations on standard benchmarks demonstrate that REVIS reduces object hallucination rates by approximately 19% compared to state-of-the-art baselines, while preserving general reasoning capabilities.
","absKo":"Large Vision-Language Models (LVLMs)는 뛰어난 능력에도 불구하고 object hallucination을 자주 겪는다. 그 이유 중 하나는 deeper network layers에서 visual features와 pretrained textual representations가 서로 뒤섞이기 때문이다. 이를 해결하기 위해 우리는 억제된 visual information을 명시적으로 다시 활성화하도록 설계된 training-free framework인 REVIS를 제안한다. latent space geometry에 기반한 REVIS는 orthogonal projection을 통해 pure visual information vector를 추출하고, 억제가 발생한 정확한 depth에서만 sparse intervention을 수행하도록 calibrated strategy를 사용한다. 이러한 surgical approach는 최소한의 computational cost로 visual information을 효과적으로 복원한다. 표준 benchmark에 대한 실험적 평가는 REVIS가 state-of-the-art baselines 대비 object hallucination rate를 약 19% 감소시키면서도 일반적인 reasoning capability는 유지함을 보여준다.
"},{"id":"64910","en":"Reasoning Can Be Restored by Correcting a Few Decision Tokens","ko":"몇 개의 Decision Token 교정으로 추론을 복원할 수 있다","authors":"Shen Changshuo, Leheng Sheng, Yuxin Chen, Xiang Wang, An Zhang","pos":"#4009","link":"https://openreview.net/forum?id=IiBXrSpX9M","abs":"Large reasoning models (LRMs) substantially outperform their base LLM counterparts on challenging reasoning benchmarks, yet it remains poorly understood where base models go wrong during token-by-token generation and how to narrow this gap efficiently. We study the base–reasoning gap by quantifying token-level distributional disagreement between a base model and a stronger reasoning model using likelihood-based divergences. Across benchmarks, we find that the reasoning advantage is highly sparse and concentrates on a small set of early, planning-related decision tokens. For instance, on Qwen3-0.6B, only $\\sim$8\\% of generated tokens account for the salient disagreement; these tokens concentrate early in the response, are strongly enriched in planning-related decisions ($17\\times$), and coincide with high base-model uncertainty—suggesting that base models fail mainly at early planning points that steer the subsequent reasoning trajectory. Building on these findings, we propose disagreement-guided token intervention, a simple inference-time delegation scheme that performs a one-token takeover by the reasoning model only at high-disagreement positions and immediately switches back to the base model. With a small intervention budget, this sparse delegation substantially recovers and can even surpass the performance of a same-size reasoning model on challenging reasoning tasks. Code is available at \\url{https://anonymous.4open.science/r/RRTokenIntervention-EBDD}.","absKo":"Large reasoning models (LRMs)는 어려운 reasoning benchmark에서 base LLM 대비 상당히 뛰어난 성능을 보이지만, base model이 token-by-token generation 동안 어디에서 잘못되는지, 그리고 그 격차를 어떻게 효율적으로 줄일 수 있는지는 아직 잘 이해되지 않고 있다. 우리는 likelihood-based divergence를 사용해 base model과 더 강한 reasoning model 사이의 token-level distributional disagreement를 정량화함으로써 base–reasoning gap을 연구한다. 여러 benchmark에 걸쳐, reasoning의 이점은 매우 희소하며 소수의 초기 planning 관련 decision token에 집중된다는 사실을 발견했다. 예를 들어 Qwen3-0.6B에서는 생성된 token의 약 $\\sim$8\\%만이 두드러진 disagreement를 설명하며, 이 토큰들은 응답 초반에 집중되고 planning 관련 decision에서 강하게 풍부해지며($17\\times$), base-model uncertainty가 높은 지점과 일치한다. 이는 base model이 이후 reasoning trajectory를 이끄는 초기 planning 지점에서 주로 실패함을 시사한다. 이러한 발견을 바탕으로 우리는 disagreement-guided token intervention을 제안한다. 이는 high-disagreement 위치에서만 reasoning model이 한 토큰을 takeover하고 즉시 base model로 되돌아가는, inference-time의 간단한 delegation scheme이다. 작은 개입 예산만으로도, 이러한 희소한 delegation은 challenging reasoning task에서 같은 크기의 reasoning model 성능을 상당히 회복하며 심지어 능가할 수 있다. 코드는 \\url{https://anonymous.4open.science/r/RRTokenIntervention-EBDD}에서 उपलब्ध하다."},{"id":"64606","en":"Golden Goose: A Simple Trick to Synthesize Unlimited RLVR Tasks from Unverifiable Internet Text","ko":"Golden Goose: 검증 불가능한 인터넷 텍스트로부터 무제한 RLVR 과제를 합성하는 간단한 트릭","authors":"Ximing Lu, David Acuna, Jaehun Jung, Jian Hu, Di Zhang, Shizhe Diao, Yunheng Zou, Shaokun Zhang, Brandon Cui, Mingjie Liu, Hyunwoo Kim, Prithviraj Ammanabrolu, Jan Kautz, Yi Dong, Yejin Choi","pos":"#4015","link":"https://openreview.net/forum?id=LkiD08kdRy","abs":"Reinforcement Learning with Verifiable Rewards (RLVR) has become a cornerstone for unlocking complex reasoning in Large Language Models (LLMs). Yet, scaling up RL is bottlenecked by limited existing verifiable data, where improvements increasingly saturate over prolonged training. To overcome this, we propose Golden Goose, a simple trick to synthesize unlimited RLVR tasks from unverifiable internet text by constructing a multiple-choice question-answering version of the fill-in-the-middle task. Given a source text, we prompt an LLM to identify and mask key reasoning steps, then generate a set of diverse, plausible distractors. This enables us to leverage reasoning-rich unverifiable corpora typically excluded from prior RLVR data construction (e.g., science textbooks) to synthesize GooseReason-0.7M, a large-scale RLVR dataset with over 0.7 million tasks spanning mathematics, programming, and general scientific domains. Empirically, GooseReason effectively revives models saturated on existing RLVR data, yielding robust, sustained gains under continuous RL and achieving new state-of-the-art results for 1.5B and 4B-Instruct models across 15 diverse benchmarks. Finally, we deploy Golden Goose in a real-world setting, synthesizing RLVR tasks from raw FineWeb scrapes for the cybersecurity domain, where no prior RLVR data exists. Training Qwen3-4B-Instruct on the resulting data GooseReason-Cyber sets a new state-of-the-art in cybersecurity, surpassing a 7B domain-specialized model with extensive domain-specific pre-training and post-training. This highlights the potential of automatically scaling up RLVR data by exploiting abundant, reasoning-rich, unverifiable internet text.
","absKo":"Reinforcement Learning with Verifiable Rewards (RLVR)는 Large Language Models (LLMs)에서 복잡한 추론을 끌어내는 핵심 기둥이 되었다. 그러나 RL의 확장은 기존 verifiable data의 부족에 의해 병목이 생기며, 긴 학습 동안 성능 향상은 점점 포화된다. 이를 극복하기 위해 우리는 Golden Goose를 제안한다. 이는 fill-in-the-middle 작업을 multiple-choice question-answering 버전으로 구성함으로써, 검증 불가능한 인터넷 텍스트로부터 무한한 RLVR task를 합성하는 간단한 기법이다. 원문 텍스트가 주어지면, 우리는 LLM에 핵심 추론 단계를 식별하고 마스킹하도록 프롬프트를 준 뒤, 다양하고 그럴듯한 distractor 집합을 생성한다. 이를 통해 기존 RLVR 데이터 구축에서 일반적으로 제외되던 추론 정보가 풍부한 검증 불가능 코퍼스(예: 과학 교과서)를 활용하여, 수학, 프로그래밍, 일반 과학 도메인을 아우르는 70만 개 이상의 task를 포함하는 대규모 RLVR 데이터셋 GooseReason-0.7M을 합성할 수 있다. 실증적으로 GooseReason은 기존 RLVR 데이터에서 포화된 모델을 효과적으로 되살려, 지속적인 RL 하에서 강건하고 지속적인 성능 향상을 제공하며, 15개의 다양한 benchmark 전반에서 1.5B 및 4B-Instruct 모델에 대해 새로운 state-of-the-art 결과를 달성한다. 마지막으로 우리는 실제 환경에서 Golden Goose를 적용하여, 이전에 RLVR 데이터가 전혀 없던 cybersecurity 도메인을 위해 원시 FineWeb scrape으로부터 RLVR task를 합성한다. 그 결과 데이터 GooseReason-Cyber로 Qwen3-4B-Instruct를 학습한 결과, 광범위한 도메인 특화 pre-training과 post-training을 거친 7B 도메인 특화 모델을 능가하며 cybersecurity에서 새로운 state-of-the-art를 수립한다. 이는 풍부하고 추론 정보가 많은 검증 불가능한 인터넷 텍스트를 활용해 RLVR 데이터를 자동으로 확장할 잠재력을 보여준다.
"},{"id":"61566","en":"Distributional Alignment Games for Answer-Level Fine-Tuning","ko":"Answer-Level Fine-Tuning을 위한 Distributional Alignment Games","authors":"Mehryar Mohri, Jon Schneider, Yifan Wu","pos":"#4611","link":"https://openreview.net/forum?id=orjnT28Vp6","abs":"We focus on the problem of Answer-Level Fine-Tuning (ALFT), where the goal is to optimize a language model based on the correctness or properties of its final answers, rather than the specific reasoning traces used to produce them. Directly optimizing answer-level objectives is computationally intractable due to the need to marginalize over the vast space of latent reasoning paths. To overcome this, we propose a general game-theoretical framework that lifts the problem to a Distributional Alignment Game. We formulate ALFT as a two-player game between a Policy (the generator) and a Target (an auxiliary distribution). We prove that the Nash Equilibrium of this game corresponds exactly to the solution of the original answer-level optimization problem. This variational perspective transforms the intractable marginalization problem into a tractable projection problem. We demonstrate that this framework unifies recent approaches to diversity and self-improvement (coherence) and provide efficient algorithms compatible with Group Relative Policy Optimization (GRPO), yielding significant complexity gains in mathematical reasoning tasks.
","absKo":"우리는 Answer-Level Fine-Tuning(ALFT) 문제에 주목한다. 이 문제의 목표는 답을 생성하는 데 사용된 구체적인 reasoning trace가 아니라, 최종 답변의 정답성 또는 속성을 바탕으로 language model을 최적화하는 것이다. 답변 수준 목적함수를 직접 최적화하는 것은 방대한 latent reasoning path 공간에 대해 marginalize해야 하므로 계산적으로 다루기 어렵다. 이를 극복하기 위해, 우리는 문제를 Distributional Alignment Game으로 끌어올리는 일반적인 game-theoretical framework를 제안한다. 우리는 ALFT를 Policy(생성기)와 Target(보조 분포) 사이의 two-player game으로 정식화한다. 이 게임의 Nash Equilibrium이 원래의 답변 수준 최적화 문제의 해와 정확히 일치함을 증명한다. 이 variational perspective는 다루기 어려운 marginalization 문제를 다루기 가능한 projection 문제로 변환한다. 우리는 이 framework가 diversity와 self-improvement(coherence)에 대한 최근 접근법을 통합함을 보이고, Group Relative Policy Optimization(GRPO)과 호환되는 효율적인 알고리즘을 제시하여 수학적 reasoning task에서 상당한 복잡도 이득을 달성함을 보인다.
"},{"id":"61398","en":"ThoughtFold: Folding Reasoning Chains via Introspective Preference Learning","ko":"ThoughtFold: Introspective Preference Learning을 통한 Reasoning Chains 접기","authors":"Ziyan Liu, Xueda Shen, Yuzhe Gu, songyang gao, Kuikun Liu, Cheng, Chengqi Lyu, Dahua Lin, Wenwei Zhang, Kai Chen","pos":"#602","link":"https://openreview.net/forum?id=qeeD6aZLLX","abs":"Large Reasoning Models (LRMs) have achieved remarkable progress thanks to Reinforcement Learning with Verifiable Rewards (RLVR) on Chain-of-Thoughts (CoTs). However, since long CoTs naturally contain trial and errors and mainstream RLVR approaches choose outcome-correct CoT trajectories for memorization, the redundant explorations in long CoTs are inevitably reinforced through RLVR, which results in the over-thinking issues of LRMs. Previous attempts to resolve the overthinking issue of LRMs mainly give more advantage to shorter trajectories, yet their learning signals are still outcome-based and cannot reduce the memorization of redundant explorations in long CoTs. Therefore, we propose ThoughtFold, a framework that leverages fine-grained preference learning to mitigate redundant explorations for efficient reasoning. ThoughtFold employs an introspective strategy to identify redundancy within each correct trajectory, which yields a spectrum of candidate sub-trajectories. Leveraging this spectrum, we introduce a masked preference optimization objective that explicitly penalizes redundant explorations and encourages the model to directly bridge essential reasoning segments, effectively folding its reasoning chains into a more concise path. Extensive experiments show that ThoughtFold significantly enhances efficiency. It reduces the token usage of DeepSeek-R1-Distill-Qwen-7B by approximately 56\\% while maintaining state-of-the-art accuracy.
","absKo":"Large Reasoning Models (LRMs)은 Chain-of-Thoughts (CoTs)에 대한 Reinforcement Learning with Verifiable Rewards (RLVR) 덕분에 놀라운 진전을 이루었다. 그러나 긴 CoT는 본질적으로 시행착오를 포함하며, 주류 RLVR 접근법은 outcome-correct CoT trajectory를 memorization 대상으로 선택하므로, 긴 CoT에서의 중복 탐색은 RLVR에 의해 불가피하게 강화되어 LRMs의 over-thinking 문제를 초래한다. 기존의 overthinking 문제 해결 시도는 주로 더 짧은 trajectory에 더 많은 이점을 부여했지만, 학습 신호가 여전히 outcome-based이기 때문에 긴 CoT에서의 중복 탐색 memorization을 줄일 수는 없었다. 따라서 우리는 효율적인 reasoning을 위해 fine-grained preference learning을 활용하여 중복 탐색을 완화하는 framework인 ThoughtFold를 제안한다. ThoughtFold는 각 정답 trajectory 내의 중복성을 식별하기 위해 introspective strategy를 사용하며, 이를 통해 다양한 후보 sub-trajectory를 생성한다. 이러한 스펙트럼을 활용하여 우리는 중복 탐색을 명시적으로 벌점하고 모델이 필수 reasoning segment를 직접 연결하도록 유도하는 masked preference optimization objective를 도입함으로써, reasoning chain을 더 간결한 경로로 접어 넣는다. 대규모 실험은 ThoughtFold가 효율성을 크게 향상시킴을 보여준다. 이는 DeepSeek-R1-Distill-Qwen-7B의 token 사용량을 약 56\\% 줄이면서도 state-of-the-art accuracy를 유지한다.
"},{"id":"63017","en":"When Drafts Evolve: Speculative Decoding Meets Online Learning","ko":"초안이 진화할 때: Speculative Decoding meets Online Learning","authors":"Yu-Yang Qian, Hao-Cong Wu, Yichao Fu, Hao Zhang, Peng Zhao","pos":"#1600","link":"https://openreview.net/forum?id=atmmJEFuci","abs":"Speculative decoding has emerged as a widely adopted paradigm for accelerating large language model inference, where a lightweight draft model rapidly generates candidate tokens that are then verified in parallel by a larger target model. However, due to limited model capacity, drafts often struggle to approximate the target distribution, resulting in shorter acceptance lengths and diminished speedup. A key yet under-explored observation is that speculative decoding inherently provides verification feedback that quantifies the deviation between the draft and target models at no additional cost. This process naturally forms an iterative \"draft commits–feedback provides–draft adapts\" evolving loop, which precisely matches the online learning paradigm. Motivated by this connection, we propose OnlineSPEC, a unified framework that systematically leverages interactive feedback to continuously evolve draft models. Grounded in dynamic regret minimization, we establish a formal link between online learning performance and speculative system's acceleration rate, and develop novel algorithms via modern online learning techniques, including optimistic online learning that adaptively reuses historical gradients as predictive update hints, and online ensemble learning that dynamically maintains multiple draft models. Our algorithms are equipped with theoretical justifications and improved acceleration rates, achieving up to 24\\% speedup over seven benchmarks and three foundation models.
","absKo":"Speculative decoding은 대규모 language model 추론을 가속화하기 위해 널리 채택된 패러다임으로 부상했다. 이 방식에서는 경량 draft model이 후보 token을 빠르게 생성하고, 더 큰 target model이 이를 병렬로 검증한다. 그러나 모델 용량의 한계로 인해 draft는 종종 target distribution을 근사하는 데 어려움을 겪으며, 그 결과 acceptance length가 짧아지고 speedup도 감소한다. 충분히 탐구되지 않은 핵심 관찰은 speculative decoding이 본질적으로 draft와 target model 간의 편차를 추가 비용 없이 정량화하는 verification feedback를 제공한다는 점이다. 이 과정은 자연스럽게 \"draft commits–feedback provides–draft adapts\"라는 반복적 진화 루프를 형성하며, 이는 online learning 패러다임과 정확히 맞아떨어진다. 이러한 연결에서 영감을 받아, 우리는 interactive feedback을 체계적으로 활용해 draft model을 지속적으로 진화시키는 통합 프레임워크 OnlineSPEC를 제안한다. dynamic regret minimization에 기반하여, 우리는 online learning 성능과 speculative system의 acceleration rate 사이의 형식적 연결을 확립하고, predictive update hint로 과거 gradient를 적응적으로 재사용하는 optimistic online learning과 여러 draft model을 동적으로 유지하는 online ensemble learning을 포함한 현대적 online learning 기법을 통해 새로운 알고리즘을 개발한다. 우리의 알고리즘은 이론적 정당성과 향상된 acceleration rate를 갖추며, 7개 benchmark와 3개 foundation model에서 최대 24\\%의 speedup을 달성한다.
"},{"id":"64136","en":"TodoEvolve: Learning to Architect Agent Planning Systems","ko":"TodoEvolve: 에이전트 계획 시스템 설계 학습","authors":"Jiaxi Liu, Yanzuo Jiang, Guibin Zhang, Zihan Zhang, Heng Chang, Zhenfei Yin, Qibing Ren, Junchi Yan","pos":"#1705","link":"https://openreview.net/forum?id=QZjH84ut3Q","abs":"Planning has become a central capability for contemporary agent systems in navigating complex, long-horizon tasks, yet existing approaches predominantly rely on fixed, hand-crafted planning structures that lack the flexibility to adapt to the structural diversity of open-ended problems. To address this limitation, we introduce TodoEvolve, a meta-planning paradigm that autonomously synthesizes and dynamically revises task-specific planning architectures. Specifically, we first construct PlanFactory, a modular design space that standardizes diverse planning paradigms within a unified codebase encompassing topology, initialization, adaptation, and navigation, thereby providing a common interface for heterogeneous planning patterns. Leveraging PlanFactory, we collect high-quality planning trajectories and train Todo-14B via \\textit{Impedance-Guided Preference Optimization} (IGPO), a multi-objective reinforcement learning objective that encourages the generation of planning systems that are performant, stable, and token-efficient across arbitrary tasks and agent backbones. Empirical evaluations on five agentic benchmarks demonstrate that TodoEvolve consistently surpasses carefully engineered planning modules while maintaining economical API costs and runtime overhead.
","absKo":"Planning은 복잡하고 장기적인 task를 탐색하는 현대 agent system의 핵심 능력으로 자리 잡았지만, 기존 접근법은 주로 열린 문제의 구조적 다양성에 적응할 유연성이 부족한 고정된 수작업 planning structure에 의존한다. 이러한 한계를 해결하기 위해, 우리는 task-specific planning architecture를 자율적으로 합성하고 동적으로 수정하는 meta-planning paradigm인 TodoEvolve를 소개한다. 구체적으로, 우리는 먼저 topology, initialization, adaptation, navigation을 포괄하는 단일 codebase 안에서 다양한 planning paradigm을 표준화하는 모듈형 design space인 PlanFactory를 구축하여 이질적인 planning pattern을 위한 공통 interface를 제공한다. PlanFactory를 활용해 고품질 planning trajectory를 수집하고, IGPO(Impedance-Guided Preference Optimization)를 사용해 Todo-14B를 학습한다. IGPO는 multi-objective reinforcement learning objective로서, 임의의 task와 agent backbone 전반에서 성능이 좋고 안정적이며 token-efficient한 planning system의 생성을 장려한다. 다섯 개 agentic benchmark에서의 실증 평가는 TodoEvolve가 경제적인 API 비용과 runtime overhead를 유지하면서도, 세심하게 설계된 planning module을 일관되게 능가함을 보여준다.
"},{"id":"62985","en":"TRIP-Bench: A Benchmark for Long-Horizon Interactive Agents in Real-World Scenarios","ko":"TRIP-Bench: 실제 시나리오의 장기 상호작용형 Agent 벤치마크","authors":"Yuanzhe Shen, Zisu Huang, Zhengyuan Wang, Muzhao Tian, Zhengkang Guo, Chenyang Zhang, Shuaiyu Zhou, Zengjie Hu, Dailin Li, Kaimin Wang, Wenhao Liu, Tianlong Li, feng hong, Cao Liu, Ke Zeng","pos":"#1711","link":"https://openreview.net/forum?id=bF1V9A56d3","abs":"As LLM-based agents are deployed in increasingly complex real-world settings, existing benchmarks underrepresent key challenges such as enforcing global constraints, coordinating multi-tool reasoning, and adapting to evolving user behavior over long, multi-turn interactions. To bridge this gap, we introduce \\textbf{TRIP-Bench}, a long-horizon benchmark grounded in realistic travel-planning scenarios. TRIP-Bench leverages real-world data, offers 18 curated tools and 40+ travel requirements, and supports automated evaluation. It includes splits of varying difficulty; the hard split emphasizes long and ambiguous interactions, style shifts, feasibility changes, and iterative version revision. Dialogues span up to 15 user turns, can involve 150+ tool calls, and may exceed 200k tokens of context. Experiments show that even advanced models achieve at most 50\\% success on the easy split, with performance dropping below 10\\% on hard subsets. We further propose GTPO, an online multi-turn reinforcement learning method with specialized reward normalization and reward differencing. Applied to Qwen2.5-32B-Instruct, GTPO improves constraint satisfaction and interaction robustness, outperforming Gemini-3-Pro in our evaluation. We expect TRIP-Bench to advance practical long-horizon interactive agents, and GTPO to provide an effective online RL recipe for robust long-horizon training.
","absKo":"LLM-based agent가 점점 더 복잡한 real-world setting에 배치되면서, 기존 benchmark는 global constraint 강제, multi-tool reasoning 조율, 장기적이고 multi-turn인 상호작용에서 변화하는 user behavior에 적응하는 것과 같은 핵심 과제를 충분히 반영하지 못하고 있다. 이러한 격차를 메우기 위해, 우리는 현실적인 travel-planning scenario에 기반한 long-horizon benchmark인 \\textbf{TRIP-Bench}를 소개한다. TRIP-Bench는 real-world data를 활용하고, 18개의 curated tool과 40개 이상의 travel requirement를 제공하며, 자동 평가를 지원한다. 이 벤치마크는 난이도가 다양한 split을 포함하며, hard split은 장기적이고 모호한 상호작용, style shift, feasibility change, 반복적인 version revision을 중점적으로 다룬다. 대화는 최대 15회의 user turn에 걸칠 수 있고, 150회 이상의 tool call을 포함할 수 있으며, context는 20만 token을 초과할 수 있다. 실험 결과, 고급 모델조차 easy split에서 최대 50\\%의 성공률에 그치며, hard subset에서는 성능이 10\\% 아래로 떨어진다. 또한 우리는 특수한 reward normalization과 reward differencing을 사용하는 online multi-turn reinforcement learning 방법인 GTPO를 제안한다. 이를 Qwen2.5-32B-Instruct에 적용하면 GTPO는 constraint satisfaction과 interaction robustness를 향상시키며, 우리의 평가에서 Gemini-3-Pro를 능가한다. 우리는 TRIP-Bench가 실용적인 long-horizon interactive agent를 발전시키고, GTPO가 강건한 long-horizon training을 위한 효과적인 online RL recipe를 제공하기를 기대한다.
"},{"id":"65886","en":"Reinforcement Learning with Evolving Rubrics for Deep Research","ko":"심층 연구를 위한 진화하는 루브릭 기반 강화학습","authors":"Rulin Shao, Akari Asai, Shannon Shen, Hamish Ivison, Varsha Kishore, Jingming Zhuo, Xinran Zhao, Molly Park, Samuel Finlayson, David Sontag, Tyler Murray, Sewon Min, Pradeep Dasigi, Luca Soldaini, Faeze Brahman, Scott Yih, Sherry Wu, Luke Zettlemoyer, Yoon Kim, Hannaneh Hajishirzi, Pang Wei Koh","pos":"#1800","link":"https://openreview.net/forum?id=97NEP1pyS3","abs":"Deep research agents perform multi-step research to produce long-form, well-attributed answers. However, most open deep research agents are trained on easily verifiable short-form QA tasks via reinforcement learning with verifiable rewards, which does not extend to realistic long-form tasks. We address this with Reinforcement Learning with Evolving Rubrics (RLER), where rubrics are constructed and maintained to co-evolve with the policy model during training. This allows the rubrics to incorporate newly explored information from search and contrasting model responses, enabling better fact checking and more discriminative on-policy feedback. Using RLER, we develop Deep Research Tulu (DR Tulu-8B), the first fully open model that is directly trained for open-ended, long-form deep research. Across four long-form deep research benchmarks in science, healthcare, and general domains, DR Tulu-8B substantially outperforms existing open deep research agents (by 15.6% over Tongyi DR on average) and matches or exceeds proprietary deep research agents (by 0.7% over OpenAI DR on average), while being significantly smaller and cheaper per query (1000x cheaper than OpenAI DR per query).
","absKo":"Deep research agent는 여러 단계를 거친 research를 통해 길고 근거가 잘 달린 답변을 생성한다. 그러나 현재 공개된 대부분의 deep research agent는 verifiable reward를 사용하는 reinforcement learning으로 쉽게 검증 가능한 short-form QA task에 대해 학습되며, 이는 현실적인 long-form task로는 확장되지 않는다. 우리는 이를 Reinforcement Learning with Evolving Rubrics (RLER)로 해결한다. 여기서 rubric은 training 동안 policy model과 함께 co-evolve되도록 구성되고 유지된다. 이를 통해 rubric이 search에서 새롭게 탐색된 정보와 상충하는 model response를 반영할 수 있게 되어, 더 나은 fact checking과 더 판별적인 on-policy feedback이 가능해진다. RLER을 사용해 우리는 open-ended long-form deep research를 직접 학습한 최초의 완전 공개 모델인 Deep Research Tulu (DR Tulu-8B)를 개발했다. science, healthcare, general domain에 걸친 네 개의 long-form deep research benchmark에서 DR Tulu-8B는 기존 공개 deep research agent를 크게 능가하고(Tongyi DR 대비 평균 15.6% 향상), 상용 deep research agent와 동등하거나 그 이상(OpenAI DR 대비 평균 0.7% 향상)의 성능을 보였으며, 동시에 훨씬 더 작고 query당 비용도 저렴하다(OpenAI DR 대비 query당 1000배 저렴).
"},{"id":"63253","en":"Replay Failures as Successes: Sample-Efficient Reinforcement Learning for Instruction Following","ko":"실패를 성공으로 재생하기: 명령 수행을 위한 샘플 효율적 강화학습","authors":"Kongcheng Zhang, QI YAO, Shunyu Liu, Wenjian Zhang, Cen, Yang Zhou, Wenkai Fang, Yiru Zhao, Baisheng Lai, Mingli Song","pos":"#1801","link":"https://openreview.net/forum?id=YiTfnJursw","abs":"Reinforcement Learning (RL) has shown promise for aligning Large Language Models (LLMs) to follow instructions with various constraints. Despite the encouraging results, RL improvement inevitably relies on sampling successful, high-quality responses; however, the initial model often struggles to generate responses that satisfy all constraints due to its limited capabilities, yielding sparse or indistinguishable rewards that impede learning. In this work, we propose **Hindsight instruction Replay (HiR), a novel sample-efficient RL framework for complex instruction following tasks, which employs a select-then-rewrite strategy to replay failed attempts as successes based on the constraints that have been satisfied in hindsight. We perform RL on these replayed samples as well as the original ones, theoretically framing the objective as dual-preference learning at both the instruction- and response-level to enable efficient optimization using only a binary reward signal. Extensive experiments demonstrate that the proposed HiR yields promising results across different instruction following tasks, while requiring less computational budget. Our code and dataset are available at anonymous url.
","absKo":"Reinforcement Learning(RL)은 다양한 제약을 따르도록 Large Language Models(LLMs)을 정렬하는 데 유망함을 보여왔다. 고무적인 결과에도 불구하고, RL의 개선은 필연적으로 성공적이고 고품질인 response의 sampling에 의존한다. 그러나 초기 model은 제한된 역량 때문에 모든 제약을 만족하는 response를 생성하는 데 종종 어려움을 겪으며, 이로 인해 학습을 저해하는 희소하거나 구별되지 않는 reward가 발생한다. 본 연구에서는 복잡한 instruction following task를 위한 새로운 sample-efficient RL framework인 Hindsight instruction Replay(HiR)를 제안한다. 이 방법은 hindsight에서 충족된 제약을 바탕으로 select-then-rewrite 전략을 사용하여 실패한 시도를 성공으로 replay한다. 우리는 이러한 replay sample과 원래 sample 모두에 대해 RL을 수행하며, 목적함수를 instruction-level과 response-level 양쪽에서의 dual-preference learning으로 이론적으로 정식화함으로써 binary reward signal만으로도 효율적인 최적화를 가능하게 한다. 광범위한 실험은 제안한 HiR가 다양한 instruction following task에서 유망한 결과를 보이면서도 더 적은 computational budget을 요구함을 보여준다. 우리의 코드와 데이터셋은 anonymous url에서 공개되어 있다.
"},{"id":"66546","en":"Restoring Exploration after Post-Training: Latent Exploration Decoding for Large Reasoning Models","ko":"사후 훈련 후 탐색 복원: 대규모 추론 모델을 위한 잠재 탐색 디코딩","authors":"Wenhui Tan, Fiorenzo Parascandolo, Enver Sangineto, Jianzhong Ju, Zhenbo Luo, Qian Cao, Rita Cucchiara, Ruihua Song, Jian Luan","pos":"#1803","link":"https://openreview.net/forum?id=2jXDMGaNZk","abs":"Large Reasoning Models (LRMs) have recently achieved strong mathematical and code reasoning performance through Reinforcement Learning (RL) post-training. However, we show that modern reasoning post-training induces an unintended exploration collapse: temperature-based sampling no longer increases pass@$n$ accuracy. Empirically, the final-layer posterior of post-trained LRMs exhibit sharply reduced entropy, while the entropy of intermediate layers remains relatively high. Motivated by this entropy asymmetry, we propose Latent Exploration Decoding (LED), a depth-conditioned decoding strategy. LED aggregates intermediate posteriors via cumulative sum and selects depth configurations with maximal entropy as exploration candidates. Without additional training or parameters, LED consistently improves pass@1 and pass@16 accuracy by 0.61 and 1.03 percentage points across multiple reasoning benchmarks and models. Relevant code is included in the supplementary material and will made be fully public after this paper is accepted.","absKo":"Large Reasoning Models (LRMs)는 최근 Reinforcement Learning (RL) post-training을 통해 수학 및 코드 추론 성능에서 강한 결과를 달성했다. 그러나 우리는 현대의 reasoning post-training이 의도치 않은 exploration collapse를 유발함을 보인다. 즉, temperature-based sampling은 더 이상 pass@$n$ 정확도를 높이지 않는다. 경험적으로 post-trained LRM의 최종층 posterior는 entropy가 급격히 감소하는 반면, intermediate layer의 entropy는 비교적 높게 유지된다. 이러한 entropy 비대칭에 동기를 얻어, 우리는 depth-conditioned decoding strategy인 Latent Exploration Decoding (LED)를 제안한다. LED는 cumulative sum을 통해 intermediate posterior를 집계하고, 최대 entropy를 갖는 depth configuration을 exploration candidate로 선택한다. 추가 학습이나 매개변수 없이, LED는 여러 reasoning benchmark와 model에서 pass@1과 pass@16 정확도를 각각 0.61 및 1.03 percentage point 향상시킨다. 관련 코드는 supplementary material에 포함되어 있으며, 본 논문이 accept된 후 완전히 공개될 예정이다."},{"id":"64375","en":"Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting","ko":"함으로써 유지하기: 망각 완화에서 온폴리시 데이터의 역할","authors":"Howard Chen, Noam Razin, Karthik Narasimhan, Danqi Chen","pos":"#1804","link":"https://openreview.net/forum?id=ODTM64azGa","abs":"Adapting language models (LMs) to new tasks via post-training carries the risk of degrading existing capabilities -- a phenomenon classically known as catastrophic forgetting. In this paper, toward identifying guidelines for mitigating this phenomenon, we systematically compare the forgetting patterns of two widely adopted post-training methods: supervised fine-tuning (SFT) and reinforcement learning (RL). Our experiments reveal a consistent trend across LM families (Llama, Qwen) and tasks (instruction following, general knowledge, and arithmetic reasoning): RL leads to less forgetting than SFT while achieving comparable or higher target task performance. To investigate the cause for this difference, we consider a simplified setting in which the LM is modeled as a mixture of two distributions, one corresponding to prior knowledge and the other to the target task. We identify that the mode-seeking nature of RL, which stems from its use of on-policy data, enables keeping prior knowledge intact when learning the target task. We then verify this insight by demonstrating that the use on-policy data underlies the robustness of RL to forgetting in practical settings, as opposed to other algorithmic choices such as the KL regularization or advantage estimation. Lastly, as a practical implication, our results highlight the potential of mitigating forgetting using approximately on-policy data, which can be substantially more efficient to obtain than fully on-policy data.
","absKo":"post-training을 통해 language model (LM)을 새로운 task에 적응시키는 과정은 기존 능력을 저하시킬 위험이 있으며, 이는 고전적으로 catastrophic forgetting으로 알려져 있다. 본 논문에서는 이 현상을 완화하기 위한 지침을 찾고자, 널리 쓰이는 두 post-training method인 supervised fine-tuning (SFT)과 reinforcement learning (RL)의 forgetting pattern을 체계적으로 비교한다. 우리의 실험은 LM family (Llama, Qwen)와 task (instruction following, general knowledge, arithmetic reasoning) 전반에서 일관된 경향을 보여준다. 즉, RL은 SFT보다 forgetting이 적으면서도 target task 성능은 비슷하거나 더 높다. 이러한 차이의 원인을 조사하기 위해, LM을 두 분포의 mixture로 단순화한 setting을 고려한다. 하나는 prior knowledge에 해당하고 다른 하나는 target task에 해당한다. 우리는 on-policy data를 사용하기 때문에 발생하는 RL의 mode-seeking 성향이 target task를 학습하면서 prior knowledge를 그대로 유지할 수 있게 한다는 점을 확인한다. 이어서, KL regularization이나 advantage estimation과 같은 다른 algorithmic choice가 아니라, on-policy data의 사용이 실제 setting에서 RL의 forgetting 저항성의 근간임을 보여줌으로써 이 통찰을 검증한다. 마지막으로, 실용적 함의로서, 우리의 결과는 완전한 on-policy data보다 훨씬 효율적으로 획득할 수 있는 approximately on-policy data를 사용해 forgetting을 완화할 가능성을 강조한다.
"},{"id":"66374","en":"ScaleEnv: Scaling Environment Synthesis from Scratch for Generalist Interactive Tool-Use Agent Training","ko":"ScaleEnv: 범용 대화형 도구 사용 에이전트 훈련을 위한 무에서의 환경 합성 확장","authors":"Dunwei Tu, Hongyan Hao, Hansi Yang, Yihao Chen, Yu Yang, Yueqing Sun, Xingchen Liu, Furao Shen, Qi GU, Hui Su, Xunliang Cai","pos":"#1811","link":"https://openreview.net/forum?id=4GX4r1CYtD","abs":"Equipping agents with interactive environments and verifiable tasks for self-exploration is essential for cultivating generalist agents capable of adapting to diverse scenarios. However, high-quality agentic data remain critically scarce, and existing synthesis methods suffer from significant limitations regarding environmental diversity and scalability. To address these challenges, we introduce ScaleEnv, a framework that constructs fully interactive environments and verifiable tasks entirely from scratch. Specifically, ScaleEnv ensures environment reliability through procedural testing, and guarantees task completeness and solvability via tool dependency graph expansion and executable action verification. By enabling agents to learn through exploration within ScaleEnv, we demonstrate significant performance improvements on unseen, multi-turn tool-use benchmarks such as $\\tau^2$-Bench and VitaBench, highlighting strong generalization capabilities. Furthermore, we investigate the relationship between environment and task scaling, providing empirical evidence that scaling environmental diversity is critical for robust agent learning.","absKo":"에이전트가 다양한 시나리오에 적응할 수 있는 generalist agent로 성장하기 위해서는, 상호작용 가능한 환경과 자기 탐색을 위한 검증 가능한 task를 제공하는 것이 필수적이다. 그러나 고품질 agentic data는 여전히 극히 부족하며, 기존 합성 방법은 환경 다양성과 확장성 측면에서 심각한 한계를 지닌다. 이러한 문제를 해결하기 위해, 우리는 완전히 처음부터 fully interactive environment와 verifiable task를 구성하는 framework인 ScaleEnv를 소개한다. 구체적으로, ScaleEnv는 procedural testing을 통해 환경 신뢰성을 보장하고, tool dependency graph expansion과 executable action verification을 통해 task의 완전성과 solvability를 보장한다. 에이전트가 ScaleEnv 내에서 탐색을 통해 학습하도록 함으로써, 우리는 $\\tau^2$-Bench와 VitaBench 같은 보지 못한 multi-turn tool-use benchmark에서 유의미한 성능 향상을 입증하며, 강한 generalization capability를 보여준다. 더 나아가 우리는 환경과 task scaling의 관계를 조사하여, 환경 다양성의 확대가 견고한 agent learning에 핵심적이라는 실증적 증거를 제시한다."},{"id":"62129","en":"Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration","ko":"Search-R2: Actor-Refiner 협업을 통한 검색 통합 추론 향상","authors":"Bowei He, Minda Hu, Zenan Xu, Hongru WANG, Licheng Zong, Yankai Chen, Chen Ma, Xue Liu, PlutoZhou, Irwin King","pos":"#1814","link":"https://openreview.net/forum?id=jZSzSI04yW","abs":"Search-integrated reasoning enables language agents to transcend static parametric knowledge by actively querying external sources. However, training these agents via reinforcement learning is hindered by the multi-scale credit assignment problem: existing methods typically rely on sparse, trajectory-level rewards that fail to distinguish between high-quality reasoning and fortuitous guesses, leading to redundant or misleading search behaviors. To address this, we propose Search-R2, a novel Actor–Refiner collaboration framework that enhances reasoning through targeted intervention, with both components jointly optimized during training. Our approach decomposes the generation process into an Actor, which produces initial reasoning trajectories, and a Meta-Refiner, which selectively diagnoses and repairs flawed steps via a ``cut-and-regenerate'' mechanism. To provide fine-grained supervision, we introduce a hybrid reward design that couples outcome correctness with a dense process reward quantifying the information density of retrieved evidence. Theoretically, we formalize the Actor–Refiner interaction as a smoothed mixture policy, proving that selective correction yields strict performance gains over strong baselines. Extensive experiments across various general and multi-hop QA datasets demonstrate that Search-R2 consistently outperforms strong RAG and RL-based baselines across model scales, achieving superior reasoning accuracy with minimal overhead.
","absKo":"Search-integrated reasoning은 language agent가 외부 소스를 능동적으로 질의함으로써 정적인 parametric knowledge를 넘어설 수 있게 합니다. 그러나 이러한 agent를 reinforcement learning으로 학습시키는 것은 multi-scale credit assignment 문제로 인해 어렵습니다. 기존 방법은 대체로 trajectory 수준의 sparse reward에 의존하는데, 이는 고품질 reasoning과 우연한 정답을 구분하지 못해 중복되거나 오해를 낳는 search behavior로 이어집니다. 이를 해결하기 위해 우리는 Search-R2를 제안합니다. Search-R2는 target intervention를 통해 reasoning을 향상시키는 새로운 Actor–Refiner 협력 framework이며, 학습 과정에서 두 구성 요소를 jointly optimized 합니다. 우리의 접근은 생성 과정을 초기 reasoning trajectory를 생성하는 Actor와, ``cut-and-regenerate'' mechanism을 통해 결함 있는 단계를 선택적으로 진단하고 수정하는 Meta-Refiner로 분해합니다. 세밀한 supervision을 제공하기 위해, 우리는 결과 정답성과 검색된 evidence의 정보 밀도를 정량화하는 dense process reward를 결합한 hybrid reward 설계를 도입합니다. 이론적으로는 Actor–Refiner 상호작용을 smoothed mixture policy로 정식화하고, 선택적 correction이 강력한 baseline보다 엄격한 성능 향상을 제공함을 증명합니다. 다양한 일반 QA 및 multi-hop QA dataset에 대한 광범위한 실험은 Search-R2가 여러 model scale에서 강력한 RAG 및 RL 기반 baseline을 일관되게 능가하며, 최소한의 오버헤드로 우수한 reasoning 정확도를 달성함을 보여줍니다.
"},{"id":"62030","en":"Self-Evolving LLM Agents under Offline Data Support","ko":"오프라인 데이터 지원 하의 자기진화형 LLM Agents","authors":"Yudi Zhang, Meng Fang, Zhenfang Chen, Mykola Pechenizkiy","pos":"#1815","link":"https://openreview.net/forum?id=kXGolRT8YX","abs":"Large Language Models (LLMs) have recently emerged as powerful controllers for interactive agents in complex environments, yet training them to perform reliable long-horizon decision making remains a fundamental challenge. A key difficulty lies in the sparsity and delay of supervision: agents often receive feedback only at episode termination, leading to severe credit assignment issues. In this work, we propose a self-evolving framework for LLM agents that unifies automatic process-reward labeling and in-distribution policy learning within a principled offline reinforcement learning paradigm. Our method learns an in-distribution critic from a hybrid offline dataset that combines expert demonstrations with agent-generated trajectories, stabilizing Bellman backups in sparse-reward settings via a weighted Implicit Q-Learning objective. The learned value function is then used to derive step-wise process rewards through advantage estimation, enabling dense and reliable supervision without environment backtracking or human annotation. Leveraging these signals, we perform behavior-proximal policy optimization that evolves the agent while remaining strictly within the data support, allowing iterative self-improvement without exacerbating distribution shift. We evaluate our method on long-horizon interactive benchmarks, including AlfWorld, WebShop, and ScienceWorld, where it consistently outperforms strong baselines in sample efficiency, robustness, and overall task performance. Our results demonstrate that stable self-evolution of LLM agents is achievable by grounding process-level supervision and policy improvement within a shared in-distribution learning loop.
","absKo":"Large Language Model(LLM)은 최근 복잡한 환경에서 interactive agent를 제어하는 강력한 controller로 부상했지만, 신뢰할 수 있는 long-horizon decision making을 수행하도록 학습하는 것은 여전히 근본적인 과제다. 핵심 어려움은 supervision의 희소성과 지연에 있다. agent는 종종 episode 종료 시점에만 feedback을 받아 심각한 credit assignment 문제를 초래한다. 이 작업에서 우리는 자동 process-reward labeling과 in-distribution policy learning을 principled offline reinforcement learning paradigm 안에서 통합하는, LLM agent를 위한 self-evolving framework를 제안한다. 우리의 방법은 expert demonstration과 agent-generated trajectory를 결합한 hybrid offline dataset에서 in-distribution critic을 학습하며, weighted Implicit Q-Learning objective를 통해 sparse-reward setting에서 Bellman backup을 안정화한다. 이후 학습된 value function을 사용하여 advantage estimation으로 step-wise process reward를 도출하고, environment backtracking이나 human annotation 없이도 dense하고 신뢰할 수 있는 supervision을 가능하게 한다. 이러한 signal을 활용하여 우리는 behavior-proximal policy optimization을 수행해 agent를 진화시키되, strictly within the data support를 유지함으로써 distribution shift를 악화시키지 않는 반복적 self-improvement를 가능하게 한다. 우리는 AlfWorld, WebShop, ScienceWorld를 포함한 long-horizon interactive benchmark에서 이 방법을 평가했으며, sample efficiency, robustness, 전체 task performance에서 강력한 baseline을 일관되게 능가함을 보였다. 우리의 결과는 process-level supervision과 policy improvement를 공유하는 in-distribution learning loop 안에 정렬할 때 LLM agent의 안정적인 self-evolution이 가능함을 보여준다.
"},{"id":"61624","en":"On Information Self-Locking in Reinforcement Learning for Active Reasoning","ko":"능동적 추론을 위한 Reinforcement Learning에서 정보 자기 잠금에 관하여","authors":"Deyu Zou, Yongqiang Chen, Fan Feng, Mufei Li, Pan Li, Yu Gong, James Cheng","pos":"#2014","link":"https://openreview.net/forum?id=oPqm8k1CMQ","abs":"Reinforcement learning (RL) with outcome-based rewards has achieved significant success in training large language model (LLM) agents for complex reasoning tasks. However, in active reasoning where agents need to strategically ask questions to acquire task-relevant information, we find that LLM agents trained with RL often suffer from information self-locking: the agent ceases to ask informative questions and sticks to uninformative decisions. To understand the phenomenon, we decompose active reasoning into two core capabilities: Action Selection (AS), which determines the observation stream through queries, and Belief Tracking (BT), which updates the agent’s belief based on collected evidence. We show that low AS and BT capabilities of LLMs will limit the information exploration during RL training. Furthermore, insufficient exploration in turn hinders the improvement of AS and BT, creating a feedback loop that locks the agent in a low-information regime. To resolve the issue, we propose a simple yet effective approach that directly promotes AS capability using proxy AS signals to help the agent escape the low-information regime. Extensive experiments with 6 benchmarks show that our approach mitigates the information self-locking, and brings up to 10% improvements.
","absKo":"Outcome-based reward를 사용하는 reinforcement learning(RL)은 복잡한 reasoning 과제를 위한 large language model(LLM) agent 학습에서 큰 성공을 거두었다. 그러나 task 관련 정보를 얻기 위해 전략적으로 질문을 던져야 하는 active reasoning에서는, RL로 학습된 LLM agent가 종종 information self-locking에 빠지는 것을 발견했다. 즉, agent가 정보가 되는 질문을 더 이상 하지 않고 정보성이 낮은 결정에 머무르게 된다. 이 현상을 이해하기 위해, 우리는 active reasoning을 두 가지 핵심 능력으로 분해한다: query를 통해 observation stream을 결정하는 Action Selection(AS)과, 수집된 evidence에 기반해 agent의 belief를 갱신하는 Belief Tracking(BT)이다. 우리는 LLM의 낮은 AS 및 BT 능력이 RL 학습 중 정보 탐색을 제한함을 보인다. 더 나아가, 충분하지 않은 탐색은 다시 AS와 BT의 향상을 저해하여, agent를 낮은 정보 상태에 가두는 feedback loop를 형성한다. 이 문제를 해결하기 위해, 우리는 proxy AS signal을 사용해 AS 능력을 직접적으로 촉진하여 agent가 낮은 정보 상태에서 벗어나도록 돕는 간단하지만 효과적인 접근법을 제안한다. 6개의 benchmark에 대한 광범위한 실험은 우리의 접근법이 information self-locking을 완화하고 최대 10%의 성능 향상을 가져옴을 보여준다.
"},{"id":"63517","en":"One Tool Is Enough: Reinforcement Learning of LLM Agents for Repository-Level Code Navigation","ko":"하나의 도구면 충분하다: 저장소 수준 코드 탐색을 위한 LLM 에이전트의 강화학습","authors":"Zhaoxi Zhang, Yitong Duan, Yanzhi Zhang, Yiming Xu, Zhixiang Wang, Kun Liang, Yang Li, Jiahui Liang, Deguo Xia, Jizhou Huang, Jiyan He, Shuxin Zheng, Yunfang Wu","pos":"#2016","link":"https://openreview.net/forum?id=WTziQZdpTV","abs":"Locating files and functions requiring modification in large software repositories is challenging due to their scale and structural complexity. Existing LLM-based methods typically treat this as a repository-level retrieval task and rely on multiple auxiliary tools, which often overlook code execution logic and complicate model control. We propose RepoNavigator, an LLM agent equipped with a single execution-aware tool: jumping to the definition of an invoked symbol. This unified design reflects the actual flow of code execution while simplifying tool manipulation. RepoNavigator is trained end-to-end via Reinforcement Learning (RL) directly from a base pretrained model, without relying on closed-source distillation. Experiments demonstrate that RL-trained RepoNavigator achieves state-of-the-art performance, with the 7B model outperforming 14B baselines, the 14B model surpassing 32B competitors, and the 32B model exceeding closed-source models such as GPT-5 on most metrics. These results confirm that integrating a single, structurally grounded tool with RL training provides an efficient and scalable solution for repository-level issue localization.
","absKo":"대규모 software repository에서 수정이 필요한 파일과 함수를 찾아내는 일은 규모와 구조적 복잡성 때문에 어렵다. 기존 LLM-based 방법은 일반적으로 이를 repository-level retrieval task로 다루고 여러 보조 tool에 의존하는데, 이 방식은 code execution logic을 간과하는 경우가 많고 model control을 복잡하게 만든다. 우리는 호출된 symbol의 definition으로 이동하는 단 하나의 execution-aware tool을 갖춘 LLM agent인 RepoNavigator를 제안한다. 이 통합 설계는 실제 code execution 흐름을 반영하는 동시에 tool 조작을 단순화한다. RepoNavigator는 closed-source distillation에 의존하지 않고, base pretrained model로부터 Reinforcement Learning(RL)을 통해 end-to-end로 학습된다. 실험 결과, RL로 학습된 RepoNavigator는 state-of-the-art 성능을 달성했으며, 7B model은 14B baseline을 능가하고, 14B model은 32B 경쟁 모델을 앞서며, 32B model은 대부분의 지표에서 GPT-5와 같은 closed-source model을 능가한다. 이러한 결과는 구조적으로 잘 근거된 단일 tool과 RL 학습을 결합하는 것이 repository-level issue localization을 위한 효율적이고 확장 가능한 해법임을 입증한다."},{"id":"62809","en":"MASH: Modeling Abstention via Selective Help-Seeking","ko":"MASH: 선택적 Help-Seeking을 통한 Abstention 모델링","authors":"Mustafa Omer Gul, Claire Cardie, Tanya Goyal","pos":"#2100","link":"https://openreview.net/forum?id=d5rd1zlHTf","abs":"LLMs cannot reliably recognize their parametric knowledge boundaries and often hallucinate answers to outside-of-boundary questions. In this paper, we introduce MASH (Modeling Abstention via Selective Help-seeking), a training framework that readily extracts abstentions from LLMs. Our key idea is that any external help-seeking by an LLM, i.e. search tool use, can serve as a proxy for abstention if the external help (search) is appropriately penalized while also rewarding answer accuracy. MASH operationalizes this idea using reinforcement learning with a pay-per-search reward. We run experiments on three knowledge-intensive QA datasets. Our results show that MASH substantially improves upon the selective help-seeking performance of prior efficient search approaches; on multi-hop datasets, it improves answer accuracy by 7.6%. Furthermore, MASH demonstrates strong off-the-shelf abstention performance, showcasing behavior competitive with prior abstention methods that additionally require predetermining model knowledge boundaries to construct training data. Overall, we show that MASH training effectively aligns search tool use with parametric knowledge, which can be successfully leveraged for making abstention decisions and efficient search tool use.
","absKo":"LLM은 자신의 parametric knowledge boundary를 신뢰성 있게 인식하지 못하며, 경계 밖 질문에 대해 종종 hallucination으로 답한다. 본 논문에서는 LLM으로부터 abstention을 쉽게 추출하는 training framework인 MASH (Modeling Abstention via Selective Help-seeking)를 소개한다. 우리의 핵심 아이디어는 LLM의 외부 도움 요청, 즉 search tool 사용을 abstention의 proxy로 활용할 수 있다는 점이다. 단, 외부 도움(search)을 적절히 penalize하면서 답변 정확도는 보상해야 한다. MASH는 pay-per-search reward를 사용하는 reinforcement learning으로 이 아이디어를 구현한다. 우리는 지식 집약적 QA dataset 세 개에서 실험을 수행했다. 결과는 MASH가 기존 efficient search approach들의 selective help-seeking 성능을 크게 개선함을 보여준다. multi-hop dataset에서는 answer accuracy가 7.6% 향상되었다. 더 나아가 MASH는 강한 off-the-shelf abstention 성능을 보이며, training data 구성 시 model knowledge boundary를 사전 결정해야 하는 기존 abstention method들과 견줄 만한 행동을 보여준다. 전반적으로 우리는 MASH 학습이 search tool use를 parametric knowledge와 효과적으로 정렬시키며, 이를 abstention decision과 efficient search tool use에 성공적으로 활용할 수 있음을 보인다.
"},{"id":"63431","en":"Language-based Trial and Error Falls Behind in the Era of Experience","ko":"언어 기반 시행착오는 경험의 시대에 뒤처진다","authors":"Haoyu Wang, Guozheng Ma, Shugang Cui, Yilun Kong, Haotian Luo, Li Shen, Mengya Gao, Yichao Wu, Xiaogang Wang, Dacheng Tao","pos":"#2107","link":"https://openreview.net/forum?id=XGbggvR35p","abs":"While Large Language Models (LLMs) excel in language-based agentic tasks, their applicability to unseen, nonlinguistic environments (e.g., symbolic or spatial tasks) remains limited. Previous work attributes this performance gap to the mismatch between the pretraining distribution and the testing distribution. In this work, we demonstrate the primary bottleneck is the prohibitive cost of exploration: mastering these tasks requires extensive trial-and-error, which is computationally unsustainable for parameter-heavy LLMs operating in a high dimensional semantic space. To address this, we propose SCOUT (Sub-Scale Collaboration On Unseen Tasks), a novel framework that decouples exploration from exploitation. We employ lightweight \"scouts\" (e.g., small MLPs) to probe environmental dynamics at a speed and scale far exceeding LLMs. The collected trajectories are utilized to bootstrap the LLM via Supervised Fine-Tuning (SFT), followed by multi-turn Reinforcement Learning (RL) to activate its latent world knowledge. Empirically, SCOUT enables a Qwen2.5-3B-Instruct model to achieve an average score of 0.86, significantly outperforming proprietary models, including Gemini-2.5-Pro (0.60), while saving about 60% GPU hours consumption.
","absKo":"Large Language Models(LLMs)은 언어 기반의 agentic task에서는 뛰어난 성능을 보이지만, 이전에 보지 못한 비언어적 환경(예: symbolic 또는 spatial task)에 대한 적용 가능성은 여전히 제한적이다. 기존 연구는 이러한 성능 격차를 pretraining distribution과 testing distribution의 불일치로 설명한다. 본 연구에서는 핵심 병목이 탐색의 과도한 비용임을 보인다. 이러한 task를 숙달하려면 대규모 시행착오가 필요한데, 이는 고차원 semantic space에서 동작하는 parameter-heavy LLM에게는 계산적으로 지속 가능하지 않다. 이를 해결하기 위해, 우리는 탐색과 exploitation을 분리하는 새로운 framework인 SCOUT(Sub-Scale Collaboration On Unseen Tasks)을 제안한다. 우리는 경량 \"scout\"(예: 작은 MLP)을 사용하여 LLM보다 훨씬 빠른 속도와 규모로 환경 동역학을 탐사한다. 수집된 trajectory는 Supervised Fine-Tuning(SFT)을 통해 LLM을 bootstrap하는 데 활용되며, 이후 multi-turn Reinforcement Learning(RL)을 통해 latent world knowledge를 활성화한다. 실험적으로 SCOUT는 Qwen2.5-3B-Instruct 모델이 평균 0.86의 점수를 달성하도록 하며, Gemini-2.5-Pro(0.60)를 포함한 proprietary model들을 크게 능가하는 동시에 GPU hour 사용량을 약 60% 절감한다.
"},{"id":"62710","en":"LECTOR: Joint Learning of Scientific Reasoning Graphs and Introduction Generation","ko":"LECTOR: 과학적 Reasoning Graph와 Introduction 생성을 위한 Joint Learning","authors":"Jiabei Xiao, Yizhou Wang, Chen Tang, Pengze Li, Wanli Ouyang, SHIXIANG TANG","pos":"#2108","link":"https://openreview.net/forum?id=dzcDbh8ewp","abs":"AI Scientists have shown promising progress across multiple stages of the research pipeline, among which automatic scientific paper writing remains a formidable challenge. The Introduction writing is especially challenging, which demands not only linguistic fluency, but logical soundness and verifiable faithfulness. Most AI-assisted methods treat the task as text generation instead of reasoning and structuring, leading to severe drawbacks, e.g., hallucinating citations. To address this, we first formulate the Content-Conditional Introduction Generation (CCIG) task, which requires grounding the Introduction in the paper's core evidence. We then propose LECTOR, a novel Logic-Expression Co-Reinforcement Learning framework that can strictly follow the scientist's logic, add high-quality citations and keep structured expressions. LECTOR first constructs a logic-reasoning graph from the paper's main body to serve as a verifiable logical blueprint. Subsequently, it employs a Logic-Expression Co-Rewarding mechanism to jointly optimize for both the graph's structural fidelity and the final narrative's quality. We conduct a dataset from Nature Communications papers to assess our method. Extensive experiments show consistent improvements in both logic fidelity and Introduction generation quality metrics, e.g., Graph Quality (+26.7%), Citation Quality (+8.6%), and Paper Consistency (+3.3%). The datasets, code, and pretrained models shall be released.
","absKo":"AI Scientist는 연구 pipeline의 여러 단계에서 유망한 진전을 보여왔지만, 그중에서도 자동 scientific paper writing은 여전히 매우 어려운 과제이다. 특히 Introduction 작성은 언어적 유창성뿐 아니라 논리적 타당성과 검증 가능한 충실성까지 요구하므로 더욱 까다롭다. 대부분의 AI-assisted method는 이 과제를 reasoning과 structuring이 아니라 text generation으로 취급하여, 예를 들어 hallucinating citations와 같은 심각한 문제를 초래한다. 이를 해결하기 위해, 우리는 먼저 Content-Conditional Introduction Generation(CCIG) task를 정식화하여, Introduction이 논문의 핵심 증거에 근거하도록 요구한다. سپس 우리는 과학자의 논리를 엄격히 따르고, 고품질 citation을 추가하며, 구조화된 표현을 유지할 수 있는 새로운 Logic-Expression Co-Reinforcement Learning framework인 LECTOR를 제안한다. LECTOR는 먼저 논문의 본문으로부터 logic-reasoning graph를 구성하여 검증 가능한 논리적 청사진으로 사용한다. 이후 Logic-Expression Co-Rewarding mechanism을 사용하여 graph의 구조적 충실성과 최종 서사의 품질을 공동으로 최적화한다. 우리는 방법을 평가하기 위해 Nature Communications 논문으로 구성된 dataset을 구축한다. 광범위한 실험은 Graph Quality (+26.7%), Citation Quality (+8.6%), Paper Consistency (+3.3%)와 같은 지표에서 논리 충실성과 Introduction 생성 품질 모두 일관된 향상을 보여준다. 데이터셋, 코드, pretrained model은 공개될 예정이다.
"},{"id":"63968","en":"Intrinsic Credit Assignment for Long Horizon Interaction","ko":"장기 상호작용을 위한 내재적 보상 할당","authors":"Ilze Amanda Auzina, Joschka Strüber, Sergio Hernández-Gutiérrez, Shashwat Goel, Ameya Pandurang Prabhu, Matthias Bethge","pos":"#2111","link":"https://openreview.net/forum?id=SAJMlj9x39","abs":"How can we train agents to navigate uncertainty over long horizons? In this work, we propose ∆Belief-RL, which leverages a language model's own intrinsic beliefs to reward intermediate progress. Our method utilizes the change in the probability an agent assigns to the target solution for credit assignment. By training on synthetic interaction data, ∆Belief-RL teaches information-seeking capabilities that consistently outperform purely outcome-based rewards for RL, with improvements generalizing to out-of-distribution applications ranging from customer service to personalization. Notably, the performance continues to improve as we scale test-time interactions beyond the training horizon, with interaction-efficiency increasing even on Pass@k metrics. Overall, our work introduces a scalable training strategy for navigating uncertainty over a long-horizon, by enabling credit assignment to intermediate actions via intrinsic ∆Belief rewards.
","absKo":"장기 horizon에 걸친 불확실성을 헤쳐 나가도록 agent를 어떻게 학습시킬 수 있을까? 본 연구에서는 language model이 가진 내재적 belief 자체를 활용해 중간 진행도를 보상하는 ∆Belief-RL을 제안한다. 우리의 방법은 agent가 target solution에 할당하는 probability의 변화를 credit assignment에 사용한다. synthetic interaction data로 학습함으로써, ∆Belief-RL은 information-seeking capability를 학습시키며, RL을 위한 purely outcome-based reward보다 일관되게 우수한 성능을 보이고, 그 향상은 customer service에서 personalization에 이르는 out-of-distribution application으로도 일반화된다. 특히 test-time interaction을 training horizon을 넘어 확장할수록 성능은 계속 향상되며, Pass@k metric에서도 interaction-efficiency가 증가한다. 종합하면, 본 연구는 intrinsic ∆Belief reward를 통해 중간 action에 대한 credit assignment를 가능하게 함으로써, 장기 horizon의 불확실성을 다루는 확장 가능한 training strategy를 제시한다.
"},{"id":"64917","en":"Inference Time Optimization with Confidence Dynamics","ko":"Confidence Dynamics를 활용한 Inference Time 최적화","authors":"Yu Wang, Minghao Liu, Jiayun Wang, Jinrui Huang, Ankit Shah, Wei Wei","pos":"#2113","link":"https://openreview.net/forum?id=IfFCRVoapS","abs":"Inference time optimization techniques, such as repeated sampling, have significantly advanced the reasoning capabilities of Large Language Models (LLMs). However, the critical role of model uncertainty remains largely underexplored in these optimization strategies. In this paper, we investigate the dynamics of confidence along reasoning trajectories and for first time reveal a surprising and unique pattern: correct answer traces tend to exhibit confidence improvement over time (positive confidence gain), while incorrect traces show attenuated or declining confidence as reasoning proceeds. Based on this observation, we propose Confidence Dynamic Gain (CDG) based voting, which incorporates how the confidence trajectory of the response evolves along the reasoning chain. Experiments across four open-source architectures (DeepSeek-R1, gpt-oss, Gemma-3, Qwen-QwQ) on the AIME24/25, HMMT25, and BRUMO25 benchmarks demonstrate that CDG yields a significant performance boost over baselines. These results demonstrate that our method provides a robust discriminative signal for improving answer selection in LLM reasoning. We also provide theoretical insights for this phenomenon. Code is in the supplementary material.
","absKo":"반복 sampling과 같은 inference time optimization technique은 Large Language Model(LLM)의 reasoning capability를 크게 향상시켜 왔다. 그러나 이러한 optimization strategy에서 model uncertainty의 결정적 역할은 여전히 충분히 탐구되지 않았다. 본 논문에서는 reasoning trajectory를 따라 confidence가 어떻게 변하는지를 조사하고, 처음으로 놀랍고도 독특한 패턴을 밝혀낸다. 즉, 정답 trace는 시간이 지남에 따라 confidence가 향상되는 경향(positive confidence gain)을 보이는 반면, 오답 trace는 reasoning이 진행될수록 confidence가 약화되거나 감소한다. 이 관찰을 바탕으로 우리는 응답의 confidence trajectory가 reasoning chain을 따라 어떻게 진화하는지를 반영하는 Confidence Dynamic Gain(CDG) 기반 voting을 제안한다. AIME24/25, HMMT25, BRUMO25 benchmark에서 네 개의 open-source architecture(DeepSeek-R1, gpt-oss, Gemma-3, Qwen-QwQ)를 대상으로 한 실험은 CDG가 baseline 대비 유의미한 성능 향상을 제공함을 보여준다. 이러한 결과는 우리의 method가 LLM reasoning에서 answer selection을 개선하는 데 견고한 discriminative signal을 제공함을 입증한다. 또한 우리는 이 현상에 대한 이론적 통찰도 제시한다. 코드는 supplementary material에 있다.
"},{"id":"63889","en":"Implicit Actor Critic Coupling via a Supervised Learning Framework for RLVR","ko":"감독 학습 프레임워크를 통한 암묵적 actor-critic 결합 for RLVR","authors":"Jiaming Li, Longze Chen, Ze Gong, Yukun Chen, Lu Wang, Wanwei He, Zhihao Yang, Minzheng Wang, Lei Zhang, Haoran Ye, Min Yang","pos":"#2115","link":"https://openreview.net/forum?id=SmhCeGwSTP","abs":"Recent advances in Reinforcement Learning with Verifiable Rewards (RLVR) have empowered large language models (LLMs) to tackle challenging reasoning tasks such as mathematics and programming. Despite its promise, the RLVR paradigm poses significant challenges, as existing methods often suffer from sparse reward signals and unstable policy gradient updates, inherent to RL-based approaches. To address the challenges, we propose PACS, a novel RLVR framework that achieves imPlicit Actor Critic coupling via a Supervised learning framework. By treating the outcome reward as a predictable label, we reformulate the RLVR problem into a supervised learning task over a score function parameterized by the policy model and optimized using cross-entropy loss. A detailed gradient analysis shows that this supervised formulation inherently recovers the classical policy gradient update while providing more stable and efficient training. Extensive experiments demonstrate that PACS significantly outperforms strong open-source models and RLVR baselines, yielding substantial average gains of +8.26% (4B) and +9.57% (8B) over base models offering a promising avenue for LLMs post-training with verifiable rewards.
","absKo":"검증 가능한 보상(Verifiable Rewards)을 활용한 강화학습(RLVR)의 최근 발전은 대규모 언어 모델(LLMs)이 수학과 프로그래밍과 같은 어려운 추론 과제에 도전할 수 있게 했다. 그러나 그 잠재력에도 불구하고, RLVR 패러다임은 기존 방법들이 희소한 보상 신호와 불안정한 정책 그래디언트 업데이트에 자주 시달리기 때문에 상당한 도전을 안고 있으며, 이는 RL 기반 접근의 고유한 한계이다. 이러한 문제를 해결하기 위해 우리는 감독학습 프레임워크를 통해 imPlicit Actor Critic coupling을 달성하는 새로운 RLVR 프레임워크인 PACS를 제안한다. 결과 보상을 예측 가능한 라벨로 간주함으로써, 우리는 RLVR 문제를 policy model로 매개변수화되고 cross-entropy loss로 최적화되는 score function 위의 감독학습 과제로 재정식화한다. 자세한 gradient 분석은 이 감독학습 정식화가 본질적으로 고전적인 policy gradient 업데이트를 복원하면서도 더 안정적이고 효율적인 학습을 제공함을 보여준다. 대규모 실험은 PACS가 강력한 오픈소스 모델과 RLVR baseline을 크게 능가하며, base model 대비 +8.26%(4B)와 +9.57%(8B)의 유의미한 평균 향상을 달성함을 보여주며, 이는 검증 가능한 보상을 활용한 LLM post-training에 유망한 방향을 제시한다.
"},{"id":"62266","en":"D²Evo: Dual Difficulty-Aware Self-Evolution for Data-Efficient Reinforcement Learning","ko":"D²Evo: 데이터 효율적 강화학습을 위한 Dual Difficulty-Aware Self-Evolution","authors":"Ru Zhang, Renda Li, Ziyu Ma, Weijie Qiu, Chongyang Tao, Yong Wang, Xiangxiang Chu","pos":"#2201","link":"https://openreview.net/forum?id=iAU65d3KmG","abs":"Reinforcement learning (RL) has demonstrated potential for enhancing reasoning in large language models (LLMs). However, effective RL training, which requires medium-difficulty training samples, faces two fundamental challenges: Effective Data Scarcity and Dynamic Difficulty Shifts, where medium-difficulty samples are scarce and become trivial as models improve. Existing methods mitigate this scarcity to some extent by generating training samples. However, these approaches suffer from anchor-free generation, ignoring co-evolution, and difficulty mismatch. To address these issues, we propose D²Evo, a Dual Difficulty-aware self-Evolution RL framework. In each iteration, our method mines medium-difficulty anchors based on the current Solver's capability, trains the Questioner to generate diverse questions at appropriate difficulty levels, and jointly optimizes both components to enable progressive reasoning gains. Extensive experiments demonstrate that D²Evo outperforms existing methods on mathematical reasoning benchmarks with fewer than 2K real mathematical samples, and exhibits strong generalization on general reasoning benchmarks.
","absKo":"강화학습(RL)은 large language model(LLM)의 추론 능력을 향상시킬 잠재력을 보여왔다. 그러나 중간 난이도의 training sample을 필요로 하는 효과적인 RL 학습은 Effective Data Scarcity와 Dynamic Difficulty Shifts라는 두 가지 근본적 문제에 직면한다. 즉, 중간 난이도 sample은 희소하며 model이 향상될수록 trivial해진다. 기존 방법은 training sample을 생성함으로써 이러한 희소성을 어느 정도 완화한다. 그러나 이러한 접근법은 anchor-free generation, co-evolution의 무시, difficulty mismatch라는 문제를 겪는다. 이러한 문제를 해결하기 위해 우리는 Dual Difficulty-aware self-Evolution RL framework인 D²Evo를 제안한다. 각 iteration에서 우리의 방법은 현재 Solver의 능력에 기반해 중간 난이도 anchor를 발굴하고, Questioner를 학습시켜 적절한 난이도의 다양한 질문을 생성하게 하며, 두 구성요소를 공동 최적화하여 점진적인 추론 향상을 가능하게 한다. 광범위한 실험 결과, D²Evo는 2K개 미만의 실제 수학 sample만으로도 수학 추론 benchmark에서 기존 방법을 능가하며, 일반 추론 benchmark에서도 강한 일반화 성능을 보인다.
"},{"id":"62201","en":"Easier to Judge than to Find: Predicting In-Context Learning Success for Demonstration Selection","ko":"찾기보다 판단이 쉬운가: Demonstration Selection을 위한 In-Context Learning 성공 예측","authors":"Haochun Wang, Chaofen Yang, Jiatong Liu, Jingbo Wang, Zewen Qiang, Sendong Zhao, Ting Liu, Bing Qin","pos":"#2202","link":"https://openreview.net/forum?id=iixK49TTop","abs":"In-context learning (ICL) is highly sensitive to which demonstrations appear in the prompt, but selecting them is expensive because candidate contexts must be validated with repeated LLM calls. We argue that demonstration selection is \\emph{easier to judge than to find}: predicting whether a specific query--context pair $(q,D)$ will succeed is cheaper and more general than searching for an optimal $D^\\star$. Based on this insight, we propose DiSP, a sample-and-judge framework that stratifies queries by difficulty. DiSP runs random demonstration trials to estimate each training query's success rate, trains a lightweight router to predict difficulty from the query, and trains level-specific judges to score sampled contexts. At inference, DiSP performs stop-on-acceptance judging under an explicit budget and typically makes a single LLM call, emitting diagnostic risk tags when no suitable context is found. Across five classification datasets with Llama 3–8B and Qwen 2.5–7B, DiSP achieves the best average accuracy, improving over strong learned selection baselines by up to 3.4%, while achieving up to 23× end-to-end wall-clock speedup.","absKo":"In-context learning (ICL)은 prompt에 어떤 demonstration이 들어가는지에 매우 민감하지만, 후보 context를 반복적인 LLM 호출로 검증해야 하므로 선택 비용이 크다. 우리는 demonstration 선택은 \\emph{찾는 것보다 판단하는 것이 더 쉽다}고 주장한다. 즉, 특정 query--context pair $(q,D)$가 성공할지를 예측하는 것이 최적의 $D^\\star$를 탐색하는 것보다 저렴하고 더 일반적이다. 이 통찰에 기반하여, 우리는 query를 난이도별로 stratify하는 sample-and-judge framework인 DiSP를 제안한다. DiSP는 무작위 demonstration trial을 실행해 각 training query의 성공률을 추정하고, query로부터 난이도를 예측하는 lightweight router를 학습하며, 샘플링된 context를 점수화하는 level-specific judge를 학습한다. 추론 시 DiSP는 명시적 budget 하에서 stop-on-acceptance judging을 수행하며, 적절한 context를 찾지 못하면 진단용 risk tag를 출력하면서 보통 단 한 번의 LLM 호출만 수행한다. Llama 3–8B와 Qwen 2.5–7B를 사용한 다섯 개 classification dataset 전반에서 DiSP는 최고의 평균 정확도를 달성했으며, 강력한 learned selection baseline 대비 최대 3.4% 향상되었고, end-to-end wall-clock speedup은 최대 23배에 달한다."},{"id":"62162","en":"Demystifying Scientific Problem-Solving in LLMs by Probing Knowledge and Reasoning","ko":"지식과 추론을 probing하여 LLM의 과학 문제 해결력 해명","authors":"Alan Li, Yixin Liu, Arpan Sarkar, Doug Downey, Arman Cohan","pos":"#2301","link":"https://openreview.net/forum?id=jB7dvOzr1a","abs":"Scientific problem solving poses unique challenges for LLMs, requiring both deep domain knowledge and the ability to apply such knowledge through complex reasoning. While automated scientific reasoners hold great promise for assisting human scientists, there is currently no widely adopted holistic benchmark for evaluating scientific reasoning, and few approaches systematically disentangle the distinct roles of knowledge and reasoning in these tasks. To address these gaps, we introduce SciReas, a diverse suite of existing benchmarks for scientific reasoning tasks, and SciReas-Pro, a selective subset that requires more complex reasoning. Our holistic evaluation surfaces insights about scientific reasoning performance that remain hidden when relying on individual benchmarks alone. We then propose KRUX, a probing framework for studying the distinct roles of reasoning and knowledge in scientific tasks. Combining the two, we conduct an in-depth analysis that yields several key findings: (1) Retrieving task-relevant knowledge from model parameters is a critical bottleneck for LLMs in scientific reasoning; (2) Reasoning models consistently benefit from external knowledge added in-context on top of the reasoning enhancement; (3) Enhancing verbalized reasoning improves LLMs' ability to surface task-relevant knowledge.
","absKo":"과학 문제 해결은 LLM에게 고유한 도전을 제기하며, 깊은 도메인 지식과 그 지식을 복잡한 reasoning을 통해 적용하는 능력을 모두 요구한다. 자동 과학 reasoner는 인간 과학자를 돕는 데 큰 잠재력을 지니지만, 현재 과학 reasoning을 평가하기 위한 널리 채택된 holistic benchmark는 없으며, 이러한 task에서 knowledge와 reasoning의 서로 다른 역할을 체계적으로 분리하는 접근도 드물다. 이러한 공백을 메우기 위해, 우리는 과학 reasoning task를 위한 다양한 기존 benchmark 모음인 SciReas와, 더 복잡한 reasoning이 요구되는 선택적 하위 집합인 SciReas-Pro를 소개한다. 우리의 holistic evaluation은 개별 benchmark에만 의존할 때는 드러나지 않는 과학 reasoning 성능에 대한 통찰을 제공한다. 이어서 우리는 과학 task에서 reasoning과 knowledge의 서로 다른 역할을 연구하기 위한 probing framework인 KRUX를 제안한다. 이 둘을 결합해 심층 분석을 수행한 결과, 다음과 같은 핵심 발견을 얻었다: (1) task 관련 knowledge를 model parameter에서 retrieval하는 것은 과학 reasoning에서 LLM의 중요한 병목이다; (2) reasoning model은 reasoning enhancement에 더해 in-context로 추가된 external knowledge로부터 일관되게 이득을 얻는다; (3) verbalized reasoning을 향상시키면 task 관련 knowledge를 표면화하는 LLM의 능력이 개선된다.
"},{"id":"64165","en":"ConFu: Contemplate the Future for Better Speculative Sampling","ko":"ConFu: 더 나은 추측적 샘플링을 위한 미래 숙고","authors":"Zongyue Qin, Raghavv Goel, Risheek Garrepalli, Mukul Gagrani, Mingu Lee, Yizhou Sun","pos":"#2303","link":"https://openreview.net/forum?id=QJevB1AMUJ","abs":"Speculative decoding has emerged as a powerful approach to accelerate large language model (LLM) inference by employing lightweight draft models to propose candidate tokens that are subsequently verified by the target model. The effectiveness of this paradigm critically depends on the quality of the draft model. While recent advances such as the EAGLE series achieve state-of-the-art speedup, existing draft models remain limited by error accumulation: they condition only on the current prefix, causing their predictions to drift from the target model over steps. In this work, we propose ConFu (Contemplate the Future), a novel speculative decoding framework that enables draft models to anticipate the future direction of generation. ConFu introduces (i) contemplate tokens and soft prompts that allow the draft model to leverage future-oriented signals from the target model at negligible cost, (ii) a dynamic contemplate token mechanism with MoE to enable context-aware future prediction, and (iii) a training framework with anchor token sampling and future prediction replication that learns robust future prediction. Experiments demonstrate that ConFu improves token acceptance rates and generation speed over EAGLE-3 by 8-11%, across various downstream tasks with Llama-3 3B and 8B models. We believe our work is the first to bridge speculative decoding with continuous reasoning tokens, offering a new direction for accelerating LLM inference.
","absKo":"Speculative decoding은 경량 draft model이 후보 토큰을 제안하고 이를 target model이 이후 검증하는 방식으로 대규모 언어 모델(LLM) 추론을 가속하는 강력한 접근법으로 부상했다. 이 패러다임의 효과는 draft model의 품질에 크게 좌우된다. 최근 EAGLE 계열과 같은 발전이 state-of-the-art speedup을 달성했지만, 기존 draft model은 오류 누적에 의해 제한된다. 이들은 현재 prefix에만 조건부로 의존하므로, 단계가 진행될수록 예측이 target model에서 점점 벗어난다. 본 연구에서는 draft model이 생성의 미래 방향을 예측할 수 있도록 하는 새로운 speculative decoding 프레임워크 ConFu(Contemplate the Future)를 제안한다. ConFu는 (i) draft model이 매우 낮은 비용으로 target model의 미래 지향적 신호를 활용할 수 있게 하는 contemplate token과 soft prompt, (ii) context-aware future prediction을 가능하게 하는 MoE 기반의 dynamic contemplate token 메커니즘, (iii) 견고한 future prediction을 학습하는 anchor token sampling과 future prediction replication을 갖춘 학습 프레임워크를 도입한다. 실험 결과, ConFu는 Llama-3 3B 및 8B 모델을 사용한 다양한 downstream task에서 EAGLE-3 대비 token acceptance rate과 생성 속도를 8-11% 향상시킨다. 우리는 이 연구가 speculative decoding과 continuous reasoning token을 처음으로 연결하며, LLM 추론 가속을 위한 새로운 방향을 제시한다고 믿는다.
"},{"id":"65901","en":"Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights","ko":"Neural Thickets: 다양한 작업 전문가는 사전학습 가중치 주변에 밀집해 있다","authors":"Yulu Gan, Phillip Isola","pos":"#2602","link":"https://openreview.net/forum?id=92oF5bU4cU","abs":"Pretraining produces a learned parameter vector that is typically treated as a starting point for further iterative adaptation. In this work, we instead view the outcome of pretraining as a distribution over parameter vectors, whose support already contains task-specific experts. We show that in smaller or insufficiently trained models such expert solutions occupy a negligible fraction of the volume of this distribution, making their discovery reliant on structured optimization methods such as gradient descent. In contrast, in large, well-pretrained models the density of task-experts increases dramatically, so that diverse specialists populate a substantial fraction of the neighborhood around the pretrained weights. Motivated by this perspective, we explore a simple, fully parallel post-training method that samples $N$ parameter vectors at random, selects the top $K$, and ensembles them via majority vote to combine complementary expertise. Despite its simplicity, this approach is competitive with standard post-training methods such as PPO, GRPO, and ES for contemporary large-scale models.","absKo":"Pretraining은 일반적으로 이후의 iterative adaptation을 위한 시작점으로 취급되는 learned parameter vector를 생성한다. 본 연구에서는 pretraining의 결과를 대신 parameter vector들의 distribution으로 바라본다. 그 support 안에는 이미 task-specific expert들이 존재한다. 우리는 더 작은 모델이나 충분히 학습되지 않은 모델에서는 이러한 expert solution이 이 distribution volume의 무시할 만한 비율만을 차지하므로, 이들을 발견하는 일이 gradient descent와 같은 structured optimization method에 의존하게 됨을 보인다. 반면 대규모의 잘 pretrained된 모델에서는 task-expert의 density가 크게 증가하여, 다양한 specialist들이 pretrained weights 주변 neighborhood의 상당 부분을 채운다. 이러한 관점에서 영감을 받아, 우리는 $N$개의 parameter vector를 무작위로 sampling하고, 상위 $K$개를 선택한 뒤, majority vote를 통해 ensemble하여 상호 보완적인 expertise를 결합하는 단순하고 완전히 parallel한 post-training method를 탐구한다. 이러한 단순성에도 불구하고, 이 접근법은 현대의 대규모 모델에서 PPO, GRPO, ES와 같은 standard post-training method에 견줄 만한 성능을 보인다."},{"id":"63072","en":"DRIVE: Best Data Scheduling Practices for Reinforcement Learning with Verifiable Reward in Competitive Code Generation","ko":"DRIVE: 경쟁적 코드 생성에서 검증 가능한 보상 기반 강화학습을 위한 최적 데이터 스케줄링 실무","authors":"Speed Zhu, Chuheng Zhang, Jianwei Cai, Guang Chen, Lulu Wu, Xiaolong Xu, Xuyun Zhang, Saiyong Yang, Wiggin Zhou","pos":"#3900","link":"https://openreview.net/forum?id=aLTzh5Sbe9","abs":"Recent success of large reasoning models (such as OpenAI o1 and DeepSeek R1) have spurred a resurgence of interest in reinforcement learning from verifiable rewards (RLVR). However, progress is still largely driven by RL algorithm design, while data scheduling -- the data-side decisions that determine what the model trains on over time -- is critical but remains underexplored. Therefore, data scheduling becomes the focus of this paper, including how to curate data for supervised fine-tuning (SFT) and how to select prompts and collect rollouts for reinforcement learning (RL). We introduce a pipeline with careful designs on data scheduling, consisting of hardness-prioritized SFT and two-stage RL. Specifically, we first fine-tune the base model on supervision data that is curated to prioritize difficulty based on both arena learning and classification. Then, we introduce two-stage RL where a decreased max sequence length during rollout is used in the first stage to expand entropy and reduce repetition, and a large number rollouts per prompt and curriculum design are adopted in the second stage to encourage exploration for challenging problems. We implement this pipeline on Qwen2.5-32B and an internal 389B MoE model, and evaluate them on a wide range of benchmarks including challenging LeetCode and Codeforces weekly contests. The results not only indicate the effectiveness and scalability of our pipeline but also demonstrate our model achieve sota of 32B models in competitive code generation.
","absKo":"OpenAI o1과 DeepSeek R1 같은 대형 reasoning model의 최근 성공은 verifiable reward로부터의 reinforcement learning(RLVR)에 대한 관심을 다시 불러일으켰다. 그러나 진전은 여전히 주로 RL algorithm design에 의해 주도되는 반면, data scheduling, 즉 시간에 따라 model이 무엇을 학습할지를 결정하는 data-side 의사결정은 핵심적이지만 아직 충분히 탐구되지 않았다. 따라서 이 논문은 data scheduling에 초점을 맞추며, supervised fine-tuning (SFT)을 위해 data를 어떻게 선별할지와 RL을 위해 prompt를 어떻게 선택하고 rollout을 수집할지를 다룬다. 우리는 data scheduling에 대한 세심한 설계를 포함한 pipeline을 제안하며, 이는 hardness-prioritized SFT와 two-stage RL로 구성된다. 구체적으로, 먼저 arena learning과 classification을 모두 바탕으로 난이도를 우선시하도록 선별한 supervision data로 base model을 fine-tune한다. 그다음, 두 단계의 RL을 도입하는데, 1단계에서는 rollout 동안 max sequence length를 줄여 entropy를 확장하고 repetition을 줄이며, 2단계에서는 prompt당 많은 rollout 수와 curriculum design을 채택해 어려운 문제에서 exploration을 장려한다. 우리는 이 pipeline을 Qwen2.5-32B와 내부 389B MoE model에 구현하고, 도전적인 LeetCode와 Codeforces weekly contest를 포함한 다양한 benchmark에서 평가했다. 결과는 우리의 pipeline의 효과성과 확장 가능성을 보여줄 뿐 아니라, 경쟁적 code generation에서 32B model의 sota를 달성함을 입증한다.
"},{"id":"63732","en":"SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale","ko":"SWE-rebench V2: 대규모 Language-Agnostic SWE 태스크 컬렉션","authors":"Ibragim Badertdinov, Maksim Nekrashevich, Anton Shevtsov, Aleksandr Golubev","pos":"#4411","link":"https://openreview.net/forum?id=UCAda9kS57","abs":"Software engineering agents (SWE) are improving rapidly, with recent gains largely driven by reinforcement learning (RL). However, RL training is constrained by the scarcity of large-scale task collections with reproducible execution environments and reliable test suites. Although a growing number of benchmarks have emerged, datasets suitable for training remain limited in scale and diversity or often target a limited set of high-resource language ecosystems. We introduce SWE-rebench V2, a language-agnostic automated pipeline for harvesting executable real-world SWE tasks and constructing RL training environments at scale. The pipeline synthesizes repository-specific installation and test procedures via an interactive setup agent, and filters unsound instances using an ensemble of LLM judges, validated against human-verified SWE-bench annotations. Using this pipeline, we construct a dataset of 36,000+ tasks spanning 20 languages and 3,800+ repositories, with pre-built images for reproducible execution. To further scale training data, we additionally release 100,000+ tasks with installation instructions, fail-to-pass tests and rich metadata, where the problem statement is generated based on the original pull request description. We validate the collected instances through a diagnostic study that covers a subset of tasks in five programming languages across seven popular models, and provide instance-level metadata that flags common confounders such as overly restrictive tests and underspecified descriptions. We release the datasets, the collection and execution code, and associated artifacts to enable large-scale training of SWE agents across diverse languages and repositories.
","absKo":"Software engineering agent (SWE)는 빠르게 향상되고 있으며, 최근의 성과 향상은 주로 reinforcement learning (RL)에 의해 주도되었다. 그러나 RL training은 재현 가능한 실행 환경과 신뢰할 수 있는 test suite를 갖춘 대규모 task collection의 부족으로 제약을 받는다. 점점 더 많은 benchmark가 등장하고 있지만, training에 적합한 dataset은 여전히 규모와 다양성이 제한적이거나, 종종 제한된 고자원 언어 생태계를 대상으로 한다. 우리는 실행 가능한 실제 SWE task를 수집하고 RL training environment를 대규모로 구성하기 위한 언어 비종속적 자동화 pipeline인 SWE-rebench V2를 소개한다. 이 pipeline은 interactive setup agent를 통해 repository별 설치 및 test 절차를 합성하고, human-verified SWE-bench annotation으로 검증된 LLM judge ensemble을 사용해 sound하지 않은 instance를 필터링한다. 이 pipeline을 사용해 우리는 재현 가능한 실행을 위한 pre-built image와 함께 20개 언어 및 3,800개 이상의 repository를 아우르는 36,000개 이상의 task로 구성된 dataset을 구축한다. training data를 더 확장하기 위해, 우리는 추가로 설치 지침, fail-to-pass test, 풍부한 metadata를 포함하는 100,000개 이상의 task를 공개하며, problem statement는 원래 pull request description을 기반으로 생성된다. 우리는 다섯 개 프로그래밍 언어에 걸친 task 부분집합을 일곱 개의 널리 사용되는 model에 대해 다루는 diagnostic study를 통해 수집된 instance를 검증하고, 지나치게 제한적인 test와 불충분하게 명세된 설명 같은 일반적인 confounder를 표시하는 instance-level metadata를 제공한다. 우리는 다양한 언어와 repository 전반에서 SWE agent의 대규모 training을 가능하게 하기 위해 dataset, 수집 및 실행 code, 관련 artifact를 공개한다.
"},{"id":"61714","en":"Asymmetric Prompt Weighting for Reinforcement Learning with Verifiable Rewards","ko":"검증 가능한 Reward 기반 Reinforcement Learning을 위한 비대칭 Prompt 가중치 부여","authors":"Reinhard Heckel, Mahdi Soltanolkotabi, Christos Thrampoulidis","pos":"#700","link":"https://openreview.net/forum?id=nYwP9hcr38","abs":"Reinforcement learning with verifiable rewards has driven recent advances in LLM post-training, in particular for reasoning. Policy optimization algorithms generate a number of responses for a given prompt and then effectively weight the corresponding gradients depending on the rewards. The most popular algorithms including GRPO, DAPO, and RLOO focus on ambiguous prompts, i.e., prompts with intermediate success probability, while downgrading gradients with very easy and very hard prompts. In this paper, we consider asymmetric prompt weightings that assign higher weights to prompts with low success probability. We find that asymmetric weighting particularly benefits from-scratch RL (as in R1-Zero), where training traverses a wide accuracy range, and less so post-SFT RL where the model already starts at high accuracy. We also provide theory that characterizes prompt weights which minimize the time needed to raise success probability from an initial level to a target accuracy under a fixed update budget. In low-success regimes, where informative responses are rare and response cost dominates, these optimal weights become asymmetric, upweighting low success probabilities and thereby accelerating effective-time convergence.
","absKo":"검증 가능한 reward를 사용하는 reinforcement learning은 최근 LLM post-training, 특히 reasoning 분야의 발전을 이끌었다. policy optimization algorithm은 주어진 prompt에 대해 여러 response를 생성한 뒤, reward에 따라 해당 gradient를 효과적으로 가중한다. GRPO, DAPO, RLOO를 포함한 가장 널리 쓰이는 알고리즘은 모호한 prompt, 즉 중간 수준의 성공 확률을 가진 prompt에 초점을 맞추는 반면, 매우 쉽거나 매우 어려운 prompt에 대한 gradient는 낮춘다. 본 논문에서는 성공 확률이 낮은 prompt에 더 높은 weight를 부여하는 비대칭 prompt weighting을 고려한다. 우리는 이러한 비대칭 weighting이 특히 from-scratch RL(R1-Zero와 유사)에서 큰 이점을 보인다는 것을 발견했는데, 이 경우 training이 넓은 accuracy 범위를 가로지르기 때문이다. 반면 model이 이미 높은 accuracy에서 시작하는 post-SFT RL에서는 그 효과가 덜하다. 또한 고정된 update budget 하에서 초기 수준에서 목표 accuracy로 성공 확률을 높이는 데 필요한 시간을 최소화하는 prompt weight를 특징짓는 이론도 제시한다. informative response가 드물고 response cost가 지배적인 low-success regime에서 이러한 최적 weight는 비대칭적으로 되어, 낮은 성공 확률에 더 큰 가중치를 부여함으로써 effective-time convergence를 가속한다."},{"id":"61947","en":"Bringing Code ALIVE: Optimizing Interactive Frontend Mini-Games via Automated Play and Reinforcement Learning at Scale","ko":"Bringing Code ALIVE: 대규모 자동 플레이와 강화학습으로 인터랙티브 프론트엔드 미니게임 최적화","authors":"Jiajun Zhang, Yuheng Jing, Zeyu Cui, Hao Zheng, Wentao Chen, Kaixin LI, Jiaxi Yang, Tianbao Xie, Zeyao Ma, Tianyi Bai, KaShun SHUM, Lei Zhang, Kai Li, Jian Cheng, Zilei Wang, Qiang Liu, Liang Wang, Junyang Lin, Binyuan Hui","pos":"#702","link":"https://openreview.net/forum?id=lQMenSSNvW","abs":"The rapid evolution of Large Language Models (LLMs) has empowered even non-programmers to create visually appealing frontend mini-games with a single instruction. However, open-source models significantly lag behind proprietary counterparts in this domain. The core bottleneck is the lack of an evaluation mechanism that balances reliability with scalability, as existing methods either fail to verify dynamic interactivity or incur prohibitive computational costs. To bridge this gap, we introduce ALIVE (Aligning LLMs via Interactive Visual Execution), a high-throughput framework that leverages one-shot planning and DOM-based analysis to automatically evaluate generated games at scale. Extensive experiments demonstrate that ALIVE significantly outperforms static judge baselines in identifying functional flaws while remaining orders of magnitude more efficient than GUI agents. Functioning as a scalable `pre-flight' evaluation layer, it curates high-quality data for Supervised Fine-Tuning (SFT) and provides a consistent reward signal for Reinforcement Learning (RL). We leverage this pipeline to train ALIVE-Coder, a model achieving superior performance in interactive frontend generation. To the best of our knowledge, our work offers the first scalable path to evaluate and optimize interactive code, substantially advancing open-source capabilities.
","absKo":"Large Language Model(LLM)의 급속한 발전은 비전문가조차 단 하나의 instruction만으로 시각적으로 매력적인 frontend mini-game을 만들 수 있게 했다. 그러나 open-source model은 이 분야에서 proprietary counterpart에 비해 상당히 뒤처져 있다. 핵심 병목은 신뢰성과 확장성을 동시에 만족하는 evaluation mechanism의 부재이다. 기존 방법들은 dynamic interactivity를 검증하지 못하거나, 지나치게 큰 computation cost를 발생시킨다. 이 간극을 메우기 위해 우리는 ALIVE(Aligning LLMs via Interactive Visual Execution)를 제안한다. 이는 one-shot planning과 DOM-based analysis를 활용하여 생성된 game을 대규모로 자동 평가하는 high-throughput framework이다. 광범위한 실험은 ALIVE가 functional flaw를 식별하는 데 있어 static judge baseline보다 훨씬 뛰어나면서도, GUI agent보다 수십 배 이상 효율적임을 보여준다. 확장 가능한 `pre-flight' evaluation layer로서 ALIVE는 Supervised Fine-Tuning(SFT)을 위한 고품질 데이터를 선별하고 Reinforcement Learning(RL)을 위한 일관된 reward signal을 제공한다. 우리는 이 pipeline을 활용하여 ALIVE-Coder를 학습시켰고, 이 model은 interactive frontend generation에서 우수한 성능을 달성했다. 우리가 아는 한, 본 연구는 interactive code를 평가하고 최적화하는 첫 확장 가능한 경로를 제시하며, open-source capability를 크게 진전시킨다.
"},{"id":"61984","en":"Imitation Learning for Multi-turn LM Agents via On-policy Expert Corrections","ko":"on-policy expert corrections를 통한 multi-turn LM agents의 imitation learning","authors":"Niklas Lauffer, Xiang Deng, Srivatsa Kundurthy, Brad Kenstler, Jeff Da","pos":"#703","link":"https://openreview.net/forum?id=l0LA4SUA50","abs":"A popular paradigm for training LM agents relies on imitation learning, fine-tuning on expert trajectories. However, we show that the off-policy nature of imitation learning for multi-turn LM agents suffers from the fundamental limitation known as covariate shift: as the student policy's behavior diverges from the expert's, it encounters states not present in the training data, reducing the effectiveness of fine-tuning. Taking inspiration from the classic DAgger algorithm, we propose a novel data generation methodology for addressing covariate shift for multi-turn LLM training. We introduce on-policy expert corrections (OECs), partially on-policy data generated by starting rollouts with a student model and then switching to an expert model part way through the trajectory. We explore the effectiveness of our data generation technique in the domain of software engineering (SWE) tasks, a multi-turn setting where LLM agents must interact with a development environment to fix software bugs. Our experiments compare OEC data against various other on-policy and imitation learning approaches on SWE agent problems and train models using a common rejection sampling (i.e., using environment reward) combined with supervised fine-tuning technique. Experiments find that OEC trajectories show a relative 14% and 13% improvement over traditional imitation learning in the 7b and 32b setting, respectively, on SWE-bench verified. Our results demonstrate the need for combining expert demonstrations with on-policy data for effective multi-turn LM agent training.
","absKo":"LM agent를 학습시키는 널리 사용되는 paradigm은 expert trajectory에 대해 fine-tuning하는 imitation learning에 의존한다. 그러나 우리는 multi-turn LM agent를 위한 imitation learning의 off-policy 특성이 covariate shift라는 근본적 한계로 인해 고통받는다는 점을 보인다. 즉, student policy의 행동이 expert의 행동에서 벗어날수록, 학습 데이터에 존재하지 않는 state를 만나게 되어 fine-tuning의 효과가 저하된다. 고전적인 DAgger 알고리즘에서 영감을 받아, 우리는 multi-turn LLM 학습에서 covariate shift를 해결하기 위한 새로운 data generation methodology를 제안한다. 우리는 on-policy expert correction (OECs)을 도입하는데, 이는 student model로 rollout을 시작한 뒤 trajectory 중간에 expert model로 전환하여 생성한 부분적으로 on-policy인 데이터이다. 우리는 software engineering (SWE) task라는 도메인에서 이 data generation 기법의 효과를 탐구한다. SWE는 LLM agent가 development environment와 상호작용하여 software bug를 수정해야 하는 multi-turn setting이다. 우리의 실험은 common rejection sampling(즉, environment reward 사용)과 supervised fine-tuning 기법을 결합하여 학습된 모델에 대해, SWE agent 문제에서 OEC 데이터를 다양한 다른 on-policy 및 imitation learning 접근과 비교한다. 실험 결과, OEC trajectory는 SWE-bench verified에서 7b 및 32b setting 각각에서 전통적인 imitation learning 대비 상대적으로 14%와 13% 향상을 보인다. 우리의 결과는 효과적인 multi-turn LM agent 학습을 위해 expert demonstration과 on-policy data를 결합할 필요가 있음을 보여준다.
"},{"id":"65979","en":"Optimizing Language Models for Crosslingual Knowledge Consistency","ko":"교차 언어 지식 일관성을 위한 언어 모델 최적화","authors":"Tianyu Liu, Jirui Qi, Mrinmaya Sachan, Ryan Cotterell, Raquel Fernández, Arianna Bisazza","pos":"#1916","link":"https://openreview.net/forum?id=8FsiTJC04n","abs":"Large language models are known to often exhibit inconsistent knowledge. This is particularly problematic in multilingual scenarios, where models are likely to be asked similar questions in different languages, and inconsistent responses can undermine their reliability. In this work, we show that this issue can be mitigated using reinforcement learning with a structured reward function, which leads to an optimal policy with consistent crosslingual responses. We introduce Direct Consistency Optimization (DCO), a DPO-inspired method that requires no explicit reward model and is derived directly from the LLM itself. Comprehensive experiments show that DCO significantly improves crosslingual consistency across diverse LLMs and outperforms existing methods when training with samples of multiple languages, while complementing DPO when gold labels are available. Extra experiments demonstrate the effectiveness of DCO in bilingual settings, significant out-of-domain generalizability, and controllable alignment via direction hyperparameters. Taken together, these results establish DCO as a robust and efficient solution for improving knowledge consistency across languages in multilingual LLMs. All code, training scripts, and evaluation benchmarks will be released at https://anonymous.
","absKo":"Large language model은 종종 일관성 없는 지식을 보이는 것으로 알려져 있다. 이는 특히 multilingual scenario에서 문제가 되는데, 모델이 서로 다른 언어로 유사한 질문을 받을 가능성이 높고, 일관성 없는 응답은 신뢰성을 떨어뜨릴 수 있기 때문이다. 본 연구에서는 structured reward function을 사용한 reinforcement learning으로 이 문제를 완화할 수 있음을 보이며, 이는 crosslingual response가 일관된 optimal policy로 이어진다. 우리는 명시적인 reward model을 필요로 하지 않고 LLM 자체에서 직접 유도되는 DPO-inspired 방법인 Direct Consistency Optimization (DCO)를 소개한다. 포괄적인 실험은 DCO가 다양한 LLM 전반에서 crosslingual consistency를 크게 향상시키고, 다중 언어 sample로 학습할 때 기존 방법보다 우수함을 보여주며, gold label이 있을 때는 DPO와 상보적으로 작동함을 보여준다. 추가 실험은 bilingual setting에서의 DCO의 효과, 강한 out-of-domain generalizability, 그리고 direction hyperparameter를 통한 제어 가능한 alignment를 입증한다. 종합하면, 이 결과는 DCO가 multilingual LLM에서 언어 간 지식 일관성을 향상시키는 강력하고 효율적인 해법임을 보여준다. 모든 code, training script, evaluation benchmark는 https://anonymous. 에서 공개될 예정이다.
"},{"id":"62292","en":"Agentic Model Predictive Questioning Control in Visual Design","ko":"Visual Design에서 Agentic Model Predictive Questioning Control","authors":"Kuang-Da Wang, Zhao Wang, Wei-Yao Wang, Yotaro Shimose, Jaechang Kim, Shingo Takamatsu","pos":"#2313","link":"https://openreview.net/forum?id=hvrnTzLyM7","abs":"Recent Large Language Model–based approaches for clarifying visual design largely focus on selecting questions that better uncover user intent, but often overlook the cognitive burden imposed on users—i.e., the effort required to interpret and answer these questions—which is crucial for effective human–agent interaction. We propose Agentic Model Predictive Questioning Control (A-MPQC), a test-time framework that reduces user interaction burden while improving visual design alignment by formulating multi-round clarification as trajectory optimization with receding-horizon replanning, allowing the agent to revise its questioning strategy as feedback arrives. We further introduce lookahead question plans to reduce ambiguity early, and a lightweight respond-or-reject surrogate reward to steer questions toward lower-burden formats (e.g., yes/no). Experiments on webpage and ad banner generation benchmarks show that A-MPQC not only produces better designs but also achieves lower user-interaction cost across diverse baselines—including fixed-format strategies (e.g., multiple-choice and open-ended) and a retrieval-augmented baseline—without retraining. Overall, our work explicitly formulates and optimizes human cognitive burden jointly with final design alignment, opening new opportunities for advancing human–agent interaction in design.
","absKo":"최근 Large Language Model 기반의 visual design clarification 접근은 주로 사용자 의도를 더 잘 드러내는 질문을 선택하는 데 집중하지만, 효과적인 human-agent interaction에 핵심적인 사용자 인지 부담, 즉 이러한 질문을 해석하고 응답하는 데 필요한 노력은 종종 간과합니다. 우리는 다중 라운드 clarification을 receding-horizon replanning이 포함된 trajectory optimization으로 정식화하여, 피드백이 도착함에 따라 agent가 질문 전략을 수정할 수 있게 함으로써 사용자 상호작용 부담을 줄이면서 visual design alignment를 개선하는 테스트 시점 프레임워크인 Agentic Model Predictive Questioning Control(A-MPQC)를 제안합니다. 또한 초기 단계에서 모호성을 줄이기 위한 lookahead question plan과, 질문을 더 낮은 부담 형식(예: yes/no)으로 유도하는 경량 respond-or-reject surrogate reward를 도입합니다. webpage 및 ad banner generation benchmark에서의 실험은 A-MPQC가 더 나은 디자인을 생성할 뿐 아니라, 재학습 없이 fixed-format 전략(예: multiple-choice 및 open-ended)과 retrieval-augmented baseline을 포함한 다양한 baseline 대비 더 낮은 사용자 상호작용 비용을 달성함을 보여줍니다. 전반적으로, 우리의 연구는 인간의 인지 부담과 최종 디자인 정렬을 명시적으로 함께 정식화하고 최적화함으로써, design에서 human-agent interaction을 진전시킬 새로운 기회를 엽니다.
"},{"id":"62391","en":"Reasoning LLM Improves Speaker Recognition in Long-form TV Dramas","ko":"추론형 LLM이 장편 TV 드라마에서 Speaker Recognition 성능을 향상","authors":"Yuxuan Li, Lingxi Xie, Xinyue Huo, Jihao Qiu, Jiacheng Shao, Pengfei Chen, Jiannan Ge, Kaiwen Duan, Qi Tian","pos":"#4406","link":"https://openreview.net/forum?id=h3TLVeukMA","abs":"Long-form TV dramas present a formidable challenge for comprehensive video understanding, where deciphering complex storyline often relies on speaker recognition, the task of accurately attributing each spoken utterance to its respective character. In this paper, we advance this field through two primary contributions. (1) We introduce DramaSR-532K, a large-scale benchmark comprising 532K annotated dialogue lines across more than 900 unique characters, necessitating the integration of auditory, linguistic, and visual cues for speaker recognition. (2) We propose DramaSR-LRM, a robust approach built upon a large reasoning model (LRM). DramaSR-LRM is designed to autonomously aggregate contextual evidence via multimodal tool-use, synthesizing diverse inputs to achieve high-fidelity attribution. Experimental results demonstrate that DramaSR-LRM significantly outperforms existing baselines, particularly on short utterances where acoustic biometrics are inherently unreliable. All the data and code will be made publicly available.
","absKo":"장편 TV 드라마는 포괄적인 비디오 이해에 있어 formidable한 도전을 제기하며, 복잡한 스토리라인을 해독하는 일은 종종 speaker recognition, 즉 각 발화된 utterance를 해당 인물에게 정확히 귀속시키는 작업에 의존한다. 본 논문에서는 두 가지 핵심 기여를 통해 이 분야를 발전시킨다. (1) 우리는 900개가 넘는 고유 캐릭터에 걸쳐 53.2만 개의 주석된 대화 행으로 구성된 대규모 benchmark인 DramaSR-532K를 소개한다. 이는 speaker recognition을 위해 청각적, 언어적, 시각적 단서의 통합을 필요로 한다. (2) 우리는 large reasoning model (LRM) 위에 구축된 강건한 접근법인 DramaSR-LRM을 제안한다. DramaSR-LRM은 multimodal tool-use를 통해 맥락적 증거를 자율적으로 집약하도록 설계되었으며, 다양한 입력을 종합해 높은 정확도의 귀속을 달성한다. 실험 결과는 DramaSR-LRM이 기존 baselines를 크게 능가함을 보여주며, 특히 acoustic biometrics가 본질적으로 신뢰하기 어려운 짧은 발화에서 그 성능 향상이 두드러진다. 모든 데이터와 코드는 공개될 예정이다.
"},{"id":"63782","en":"Slash the Sink: Sharpening Structural Attention Inside LLMs","ko":"LLM 내부 구조적 attention 정교화","authors":"Yiming Liu, Bin Lu, Xinbing Wang, Chenghu Zhou, Meng Jin","pos":"#4626","link":"https://openreview.net/forum?id=To2n4qTdke","abs":"Large Language Models (LLMs) show remarkable semantic understanding but often struggle with structural understanding when processing graph topologies in a serialized format. Existing solutions rely on training external graph-based adapters or fine-tuning, which incur high costs and lost generalizability. In this work, we investigate the internal mechanisms of LLMs and present a critical finding: LLMs spontaneously reconstruct the graph's topology internally, evidenced by a distinct \"sawtooth\" pattern in their attention maps that structurally aligns with the \"token-level adjacency matrix\". However, this intrinsic structural understanding is diluted by the attention sink. We theoretically formalize this dilution as a representation bottleneck, stemming from a fundamental conflict: the model's anisotropic bias, essential for language tasks, suppresses the isotropic information flow required by graph topology. To address this, we propose a training-free solution, named StructuraL Attention SHarpening (Slash), which amplifies this internal structural understanding via a plug-and-play attention redistribution. Experiments on pure graph tasks and molecular prediction validate Slash delivers significant and consistent performance gains across diverse LLMs.
","absKo":"Large Language Models (LLMs)는 뛰어난 의미 이해 능력을 보이지만, serialized format으로 그래프 topology를 처리할 때는 구조적 이해에서 종종 어려움을 겪는다. 기존 해결책은 외부 graph-based adapter를 학습하거나 fine-tuning에 의존하는데, 이는 높은 비용과 일반화 성능 저하를 초래한다. 본 연구에서는 LLM의 내부 메커니즘을 조사하고, 다음과 같은 중요한 사실을 제시한다: LLM은 그래프의 topology를 내부적으로 자발적으로 재구성한다. 이는 attention map에서 \"token-level adjacency matrix\"와 구조적으로 정렬되는 뚜렷한 \"sawtooth\" 패턴으로 입증된다. 그러나 이러한 내재적 구조 이해는 attention sink에 의해 희석된다. 우리는 이를 representation bottleneck으로 이론적으로 정식화하며, 그 근원에는 근본적인 충돌이 있음을 보인다. 즉, 언어 작업에는 필수적인 model의 anisotropic bias가, graph topology에 필요한 isotropic information flow를 억제한다. 이를 해결하기 위해, 우리는 training-free 해결책인 StructuraL Attention SHarpening (Slash)를 제안한다. 이 방법은 plug-and-play attention redistribution을 통해 이러한 내부 구조 이해를 증폭한다. 순수 graph task와 molecular prediction 실험에서 Slash는 다양한 LLM 전반에 걸쳐 유의미하고 일관된 성능 향상을 제공함을 검증했다.
"},{"id":"63607","en":"How to Correctly Report LLM-as-a-Judge Evaluations","ko":"LLM-as-a-Judge 평가를 올바르게 보고하는 방법","authors":"Chungpa Lee, Thomas Zeng, Jongwon Jeong, Jy-yong Sohn, Kangwook Lee","pos":"#2215","link":"https://openreview.net/forum?id=VX8H2713oA","abs":"Large language models (LLMs) are widely used as scalable evaluators of model responses in lieu of human annotators. However, imperfect sensitivity and specificity of the LLM judges induce bias in naive evaluation scores. We propose a simple plug-in framework that corrects this bias and enables statistically principled uncertainty quantification. Our framework constructs confidence intervals that account for uncertainty from both the test dataset and a human-labeled calibration dataset. Additionally it uses an adaptive strategy to allocate calibration samples for tighter intervals. Importantly, we characterize parameter regimes defined by the true evaluation score and the LLM judge’s sensitivity and specificity in which our LLM-based evaluation yields more reliable estimates than human-only evaluation. Moreover, we show that our framework remains unbiased under distribution shift between the test and calibration datasets, in contrast to existing approaches.
","absKo":"Large language models (LLMs)는 인간 annotator를 대체하는 확장 가능한 evaluator로 널리 사용된다. 그러나 LLM judge의 불완전한 sensitivity와 specificity는 naive evaluation score에 bias를 유발한다. 우리는 이 bias를 보정하고 통계적으로 타당한 uncertainty quantification을 가능하게 하는 간단한 plug-in framework를 제안한다. 우리의 framework는 test dataset과 human-labeled calibration dataset 양쪽에서의 불확실성을 모두 반영하는 confidence interval을 구성한다. 또한 더 좁은 interval을 위해 calibration sample을 할당하는 adaptive strategy를 사용한다. 특히, 우리는 true evaluation score와 LLM judge의 sensitivity 및 specificity로 정의되는 parameter regime 중에서, 우리의 LLM 기반 평가가 human-only 평가보다 더 신뢰할 수 있는 estimate를 제공하는 경우를 특성화한다. 더 나아가, 우리는 우리의 framework가 test dataset과 calibration dataset 사이의 distribution shift 하에서도 기존 접근법과 달리 unbiased하게 유지됨을 보인다.
"},{"id":"60595","en":"Models Under SCOPE: Scalable and Controllable Routing via Pre-hoc Reasoning","ko":"Models Under SCOPE: 사전 추론을 통한 확장 가능하고 제어 가능한 라우팅","authors":"Qi Cao, Shuhao Zhang, Ruizhe Zhou, Ruiyi Zhang, Peijia Qin, Pengtao Xie","pos":"#2008","link":"https://openreview.net/forum?id=ydQkpswDPi","abs":"Model routing chooses which language model to use for each query. By sending easy queries to cheaper models and hard queries to stronger ones, it can significantly reduce inference cost while maintaining high accuracy. However, most existing routers treat this as a fixed choice among a small set of models, which makes them hard to adapt to new models or changing budget constraints. In this paper, we propose SCOPE (Scalable and Controllable Outcome Performance Estimator), a routing framework that goes beyond model selection by predicting their cost and performance. Trained with reinforcement learning, SCOPE makes reasoning-based predictions by retrieving how models behave on similar problems, rather than relying on fixed model names, enabling it to work with new, unseen models. Moreover, by explicitly predicting how accurate and how expensive a model will be, it turns routing into a dynamic decision problem, allowing users to easily control the trade-off between accuracy and cost. Experiments show that SCOPE is more than just a cost-saving tool. It flexibly adapts to user needs: it can boost accuracy by up to 25.7\\% when performance is the priority, or cut costs by up to 95.1\\% when efficiency matters most.
","absKo":"model routing은 각 query에 어떤 language model을 사용할지 선택한다. 쉬운 query를 더 저렴한 model로, 어려운 query를 더 강한 model로 보내면 높은 정확도를 유지하면서 inference cost를 크게 줄일 수 있다. 그러나 기존 router의 대부분은 이를 소수의 model 중 고정된 선택으로 취급하므로, 새로운 model이나 변화하는 budget constraint에 맞춰 적응하기 어렵다. 본 논문에서는 model selection을 넘어 cost와 performance를 예측하는 routing framework인 SCOPE(Scalable and Controllable Outcome Performance Estimator)를 제안한다. reinforcement learning으로 학습된 SCOPE는 고정된 model name에 의존하는 대신, 유사한 문제에서 model이 어떻게 동작하는지 검색하여 reasoning 기반 예측을 수행하므로 새로운, 보지 못한 model에도 동작할 수 있다. 더 나아가, 모델이 얼마나 정확하고 얼마나 비쌀지를 명시적으로 예측함으로써 routing을 동적 의사결정 문제로 전환하고, 사용자가 accuracy와 cost 사이의 trade-off를 손쉽게 제어할 수 있게 한다. 실험 결과, SCOPE는 단순한 cost-saving 도구를 넘어선다. 성능이 우선일 때는 정확도를 최대 25.7%까지 높일 수 있고, 효율성이 가장 중요할 때는 비용을 최대 95.1%까지 줄일 수 있다.
"},{"id":"61068","en":"InftyThink+: Effective and Efficient Infinite-Horizon Reasoning via Reinforcement Learning","ko":"InftyThink+: Reinforcement Learning을 통한 효과적이고 효율적인 Infinite-Horizon Reasoning","authors":"Yuchen Yan, Liang Jiang, Jin Jiang, Shuaicheng Li, zujie wen, Zhiqiang Zhang, JUN ZHOU, Jian Shao, Yueting Zhuang, Yongliang Shen","pos":"#2112","link":"https://openreview.net/forum?id=tyul8kXaJU","abs":"Large reasoning models achieve strong performance by scaling inference-time chain-of-thought, but this paradigm suffers from quadratic cost, context length limits, and degraded reasoning due to lost-in-the-middle effects. Iterative reasoning mitigates these issues by periodically summarizing intermediate thoughts, yet existing methods rely on supervised learning or fixed heuristics and fail to optimize when to summarize, what to preserve, and how to resume reasoning. We propose InftyThink+, an end-to-end reinforcement learning framework that optimizes the entire iterative reasoning trajectory, building on model-controlled iteration boundaries and explicit summarization. InftyThink+ adopts a two-stage training scheme with supervised cold-start followed by trajectory-level reinforcement learning, enabling the model to learn strategic summarization and continuation decisions. Experiments on DeepSeek-R1-Distill-Qwen-1.5B show that InftyThink+ improves accuracy by 21\\% on AIME24 and outperforms conventional long chain-of-thought reinforcement learning by a clear margin, while also generalizing better to out-of-distribution benchmarks. Moreover, InftyThink+ significantly reduces inference latency and accelerates reinforcement learning training, demonstrating improved reasoning efficiency alongside stronger performance.
","absKo":"Large reasoning model은 inference-time chain-of-thought를 확장함으로써 강한 성능을 달성하지만, 이 패러다임은 quadratic cost, context length 제한, 그리고 middle에 정보가 묻히는 lost-in-the-middle 효과로 인한 추론 저하라는 문제를 겪는다. Iterative reasoning은 중간 생각을 주기적으로 요약함으로써 이러한 문제를 완화하지만, 기존 방법은 supervised learning 또는 고정 heuristic에 의존하여 언제 요약할지, 무엇을 보존할지, 그리고 어떻게 추론을 재개할지를 최적화하지 못한다. 우리는 InftyThink+를 제안한다. 이는 model-controlled iteration boundary와 explicit summarization을 바탕으로 전체 iterative reasoning trajectory를 최적화하는 end-to-end reinforcement learning framework이다. InftyThink+는 supervised cold-start 뒤에 trajectory-level reinforcement learning을 수행하는 two-stage training scheme을 채택하여, 모델이 전략적인 summarization 및 continuation 결정을 학습하도록 한다. DeepSeek-R1-Distill-Qwen-1.5B에서의 실험 결과, InftyThink+는 AIME24에서 정확도를 21\\% 향상시키고, 기존의 long chain-of-thought reinforcement learning을 뚜렷한 차이로 능가했으며, out-of-distribution benchmark에 대해서도 더 잘 일반화했다. 더 나아가 InftyThink+는 inference latency를 크게 줄이고 reinforcement learning training을 가속하여, 더 강한 성능과 함께 추론 효율도 개선함을 보여준다.
"},{"id":"64456","en":"From Prompts to Tokens: Internalizing Causal Supervision in Vision-Language Model for Multi-Image Causal Reasoning","ko":"프롬프트에서 토큰으로: 다중 이미지 인과 추론을 위한 Vision-Language 모델에서 인과 감독 내재화","authors":"Haoping Yu, Yuanxi Li, Jing Ma","pos":"#2210","link":"https://openreview.net/forum?id=NOoAIwF6bV","abs":"Visual causal reasoning is essential for understanding and intervening in the physical world, requiring identification of causal variables from visual inputs and reasoning over intervention effects. Despite recent progress, large vision-language models (VLMs) remain brittle at such tasks, especially for interventional and counterfactual queries over multi-image inputs. Most existing explorations inject causal knowledge via textual prompts, leaving causal mechanisms external to model execution and limiting reliable control during inference. To address this problem, we propose BridgeVLM, which internalizes visual causal reasoning by inducing a causal graph from multi-image inputs and converting it into structured Causal Tokens executed by RAMP layers injected into the LLM decoder for causal message passing. We further introduce a unified training interface M3S for fine-grained causal supervision from different granularities (local/global level). BridgeVLM achieves 54.4\\% accuracy on intervention tasks on CausalVLBench (vs. 33.2\\% with prompt-level supervision), improves results on Causal3D from 43.6\\% to 49.0\\%, and substantially improves causal structure learning on CausalVLBench ($F_1$: 33.4\\% $\\rightarrow$ 75.1\\%).","absKo":"Visual causal reasoning은 물리 세계를 이해하고 개입하기 위해 필수적이며, 시각 입력으로부터 causal variable을 식별하고 intervention effect에 대해 추론할 것을 요구한다. 최근의 진전에도 불구하고, large vision-language model (VLM)은 이러한 task, 특히 multi-image 입력에 대한 interventional 및 counterfactual query에서 여전히 취약하다. 대부분의 기존 연구는 causal knowledge를 textual prompt를 통해 주입하는 데 그쳐, causal mechanism이 model execution 외부에 머물고 inference 중 신뢰할 수 있는 제어를 제한한다. 이 문제를 해결하기 위해, 우리는 multi-image 입력으로부터 causal graph를 유도하고 이를 구조화된 Causal Token으로 변환한 뒤, causal message passing을 위해 LLM decoder에 주입된 RAMP layer로 실행하는 방식으로 visual causal reasoning을 내재화하는 BridgeVLM을 제안한다. 또한 서로 다른 granularity(local/global level)에서 세밀한 causal supervision을 제공하는 통합 training interface M3S를 새롭게 도입한다. BridgeVLM은 CausalVLBench의 intervention task에서 54.4\\%의 정확도를 달성했으며(prompt-level supervision의 33.2\\% 대비), Causal3D에서는 43.6\\%에서 49.0\\%로 성능을 향상시켰고, CausalVLBench의 causal structure learning에서도 크게 개선되었다($F_1$: 33.4\\% $\\rightarrow$ 75.1\\%)."},{"id":"66553","en":"Understanding Multimodal Learning: A Loss Landscape Smoothness Perspective","ko":"멀티모달 학습 이해: Loss Landscape 평활도 관점","authors":"Jae-Jun Lee, Sung Whan Yoon","pos":"#1602","link":"https://openreview.net/forum?id=2htwc6cHmu","abs":"A surge of recent advancements has consistently highlighted the superiority of multimodal learning over unimodal approaches across a variety of tasks. However, the theoretical foundations elucidating this advantage remain underexplored: existing theoretical analyses are often constrained by tight assumptions, and lack empirical validation. In this paper, we link this gap by proposing a novel theoretical framework grounded in \\textit{convolutional smoothing}, offering a new perspective on how multimodal learning contributes to a smoother loss landscape compared to unimodal learning. Building upon this theoretical foundation, we introduce a simple yet effective distributional training approach based on stochastic modality pairing instead of fixed pairing; thus, further promoting flatter landscape via convolutional smoothing. Our empirical results across various multimodal datasets demonstrate that multimodal models not only achieve better performance but also exhibit smoother loss landscape, which represent better robustness and generalization.
","absKo":"최근의 급격한 발전은 다양한 task에서 multimodal learning이 unimodal 접근보다 우수하다는 점을 일관되게 부각해 왔다. 그러나 이 장점을 설명하는 이론적 기반은 아직 충분히 탐구되지 않았다: 기존의 이론 분석은 대개 지나치게 엄격한 가정에 묶여 있으며, 실증적 검증도 부족하다. 본 논문에서는 \\textit{convolutional smoothing}에 기반한 새로운 이론 프레임워크를 제안함으로써 이 간극을 메우고, multimodal learning이 unimodal learning에 비해 더 smooth한 loss landscape에 어떻게 기여하는지에 대한 새로운 관점을 제시한다. 이러한 이론적 토대 위에서, 우리는 고정 pairing 대신 stochastic modality pairing에 기반한 간단하지만 효과적인 distributional training approach를 도입하여, convolutional smoothing을 통해 더 평탄한 landscape를 추가로 촉진한다. 다양한 multimodal dataset에 대한 실증 결과는 multimodal model이 더 나은 성능을 달성할 뿐 아니라 더 smooth한 loss landscape도 보이며, 이는 더 우수한 robustness와 generalization을 의미함을 보여준다.
"},{"id":"64986","en":"Robust-U1: Can MLLMs Self-Recover Corrupted Visual Content for Robust Understanding?","ko":"Robust-U1: MLLM은 강건한 이해를 위해 손상된 시각 콘텐츠를 자가 복원할 수 있는가?","authors":"Jiaqi Tang, Jianmin Chen, Youyang Zhai, Wei Wei, Runtao Liu, Mengjie Zhao, Xiangyu Wu, Qingfa Xiao, Qifeng Chen","pos":"#1606","link":"https://openreview.net/forum?id=I6W6cxVVts","abs":"Multimodal Large Language Models (MLLMs) have demonstrated remarkable success in visual understanding, yet their performance degrades significantly under real-world visual corruptions. While existing robustness enhancement approaches exist, they are limited: black-box feature alignment lacks interpretability, and white-box text-based reasoning cannot restore lost pixel-level details. This work investigates a fundamental research question: Can MLLMs recover corrupted visual content by themselves? To address this, we propose Robust-U1, a novel framework that equips MLLMs with explicit visual self-recovery capability for robust understanding. The approach comprises three core stages: supervised fine-tuning for initial reconstruction, reinforcement learning with dual rewards (pixel-level SSIM and semantic-level CLIP similarity) for aligning high visual quality, and multimodal reasoning that jointly considers both the corrupted input and the recovered image. Extensive experiments demonstrate that Robust-U1 achieves state-of-the-art robustness on the real-world corruption benchmark (R-Bench) and maintains superior performance under adversarial corruptions on general VQA benchmarks (MMMB, MMStar, RealWorldQA). Analysis confirms that high-quality visual recovery directly enhances reasoning performance, establishing self-recovery as a critical mechanism for robust visual understanding. Code, demo, and models will be open-sourced soon.
","absKo":"Multimodal Large Language Model (MLLM)은 시각 이해에서 놀라운 성과를 보여 왔지만, 실제 세계의 visual corruption 아래에서는 성능이 크게 저하된다. 기존 robustness enhancement 접근법들이 존재하긴 하지만 한계가 있다. black-box feature alignment는 해석 가능성이 부족하고, white-box text-based reasoning은 손실된 pixel-level detail을 복원할 수 없다. 본 연구는 근본적인 연구 질문을 탐구한다. MLLM이 스스로 corrupted visual content를 복원할 수 있는가? 이를 위해 우리는 MLLM에 robust understanding을 위한 명시적 visual self-recovery capability를 부여하는 새로운 framework Robust-U1을 제안한다. 이 접근법은 세 가지 핵심 단계로 구성된다. 초기 reconstruction을 위한 supervised fine-tuning, 높은 visual quality 정렬을 위한 이중 보상(pixel-level SSIM과 semantic-level CLIP similarity)을 사용하는 reinforcement learning, 그리고 corrupted input과 recovered image를 함께 고려하는 multimodal reasoning이다. 광범위한 실험은 Robust-U1이 real-world corruption benchmark (R-Bench)에서 state-of-the-art robustness를 달성하며, 일반 VQA benchmark (MMMB, MMStar, RealWorldQA)에서 adversarial corruption 하에서도 우수한 성능을 유지함을 보여준다. 분석 결과, 높은 품질의 visual recovery가 reasoning 성능을 직접 향상시킨다는 점이 확인되었으며, self-recovery가 robust visual understanding의 핵심 메커니즘임이 입증된다. Code, demo, model은 곧 open-source로 공개될 예정이다.
"},{"id":"64685","en":"Towards Fine-grained Robustness: Attention-guided Test-time Prompt Tuning for Vision-Language Models","ko":"세밀한 강건성을 향하여: Vision-Language 모델을 위한 Attention-guided Test-time Prompt Tuning","authors":"Jia-Wei Hai, Yijun Wang, Xiu-Shen Wei","pos":"#2804","link":"https://openreview.net/forum?id=Kt1ZE76d2h","abs":"Visual-Language Models (VLMs), such as CLIP, have achieved significant zero-shot performance on downstream tasks with various fine-tuning adaptation methods. However, recent studies have proven that adversarial attacks can significantly degrade the inference ability of VLMs, posing substantial risks to their practical applications. Prevalent test-time adaptation methods typically rely on the multi-view augmentation to implement various fine-tuning strategies, which struggle to identify semantic information and are prone to destroy the discriminative regions in fine-grained scenarios. To address these limitations, we propose Attention-guided Test-time Prompt Tuning (A-TPT), a semantics-preserving method designed for test-time adaptation. We first refine the gradient attention rollout mechanism to identify semantically meaningful regions surviving under adversarial attacks. Furthermore, we leverage them to guide the spatially varying augmentation intensities and multi-view ensemble for prompt tuning and inference. Extensive experiments demonstrate that A-TPT outperforms existing test-time adaptation methods on both adversarial and clean data. Codes are available at https://anonymous.4open.science/r/A-TPT.
","absKo":"CLIP과 같은 Visual-Language Models (VLMs)는 다양한 fine-tuning adaptation method를 통해 downstream task에서 뛰어난 zero-shot 성능을 달성했다. 그러나 최근 연구는 adversarial attack이 VLM의 inference ability를 크게 저하시켜 실제 적용에 상당한 위험을 초래할 수 있음을 입증했다. 널리 사용되는 test-time adaptation method는 일반적으로 multi-view augmentation에 의존하여 다양한 fine-tuning 전략을 구현하지만, semantic information을 식별하는 데 어려움이 있고 fine-grained scenario에서 discriminative region을 파괴하기 쉽다. 이러한 한계를 해결하기 위해 우리는 test-time adaptation을 위한 semantics-preserving method인 Attention-guided Test-time Prompt Tuning (A-TPT)을 제안한다. 우리는 먼저 gradient attention rollout mechanism을 정교화하여 adversarial attack을 견디며 생존하는 semantic하게 의미 있는 region을 식별한다. 또한 이를 활용해 prompt tuning과 inference를 위한 spatially varying augmentation intensity와 multi-view ensemble을 유도한다. 광범위한 실험은 A-TPT가 adversarial 및 clean data 모두에서 기존 test-time adaptation method를 능가함을 보여준다. 코드는 https://anonymous.4open.science/r/A-TPT 에서 확인할 수 있다.
"},{"id":"62919","en":"Semantic-level Backdoor Attack against Text-to-Image Diffusion Models","ko":"텍스트-이미지 Diffusion Model 대상 의미 수준 Backdoor Attack","authors":"Tianxin Chen, Wenbo Jiang, Hongqiao Chen, Zhirun Zheng, Cheng Huang","pos":"#4604","link":"https://openreview.net/forum?id=btN3w8aJfo","abs":"Text-to-image (T2I) diffusion models are widely adopted for their strong generative capabilities, yet remain vulnerable to backdoor attacks. Existing attacks typically rely on fixed textual triggers and single-entity backdoor targets, making them highly susceptible to enumeration-based input defenses and attention-consistency detection. In this work, we propose Semantic-level Backdoor Attack (SemBD), which implants backdoors at the representation level by defining triggers as continuous semantic regions rather than discrete textual patterns. Concretely, SemBD injects semantic backdoors by distillation-based editing of the key and value projection matrices in cross-attention layers, enabling diverse prompts with identical semantic compositions to reliably activate the backdoor attack. To further enhance stealthiness, SemBD incorporates a semantic regularization to prevent unintended activation under incomplete semantics, as well as multi-entity backdoor targets that avoid highly consistent cross-attention patterns. Extensive experiments demonstrate that SemBD achieves a 100\\% attack success rate while maintaining strong robustness against state-of-the-art input-level defenses.
","absKo":"Text-to-image (T2I) diffusion model은 강력한 생성 능력으로 널리 채택되었지만, backdoor attack에 여전히 취약하다. 기존 공격은 대개 고정된 textual trigger와 단일 entity backdoor target에 의존하므로, enumeration-based input defense와 attention-consistency detection에 매우 취약하다. 본 연구에서는 trigger를 discrete textual pattern이 아니라 continuous semantic region으로 정의하여 representation level에 backdoor를 삽입하는 Semantic-level Backdoor Attack (SemBD)을 제안한다. 구체적으로, SemBD는 cross-attention layer의 key와 value projection matrix를 distillation-based editing으로 조작하여 semantic backdoor를 주입함으로써, 동일한 semantic composition을 갖는 다양한 prompt가 backdoor attack을 안정적으로 활성화하도록 한다. 은밀성을 더 높이기 위해, SemBD는 불완전한 semantic 아래에서의 의도치 않은 활성화를 방지하는 semantic regularization과, 매우 일관된 cross-attention pattern을 피하는 multi-entity backdoor target을 포함한다. 광범위한 실험은 SemBD가 state-of-the-art input-level defense에 대해 강한 견고성을 유지하면서도 100\\% attack success rate를 달성함을 보여준다."},{"id":"64345","en":"AudioMosaic: Contrastive Masked Audio Representation Learning","ko":"AudioMosaic: 대조적 마스킹 오디오 표현 학습","authors":"Hanxun Huang, Qizhou Wang, Xingjun Ma, Cihang Xie, Christopher Leckie, Sarah Erfani","pos":"#1607","link":"https://openreview.net/forum?id=OXJ7KqVOoT","abs":"Audio self-supervised learning (SSL) aims to learn general-purpose representations from large-scale unlabeled audio data and has achieved remarkable progress in recent years. While most prior work relies on generative reconstruction objectives, contrastive approaches remain relatively underexplored, in part due to the high computational cost of designing effective augmentation strategies and the large batch sizes typically required for pre-training. In this work, we introduce AudioMosaic, an audio encoder for general audio understanding. During pre-training, AudioMosaic applies time–frequency masking to spectrogram patches to form paired inputs, employing an elegant and efficient augmentation strategy that significantly reduces computational cost while supporting large-batch training. The AudioMosaic encoder learns discriminative utterance-level representations that exhibit strong transferability across datasets, domains, and acoustic conditions. Extensive experiments demonstrate that AudioMosaic achieves state-of-the-art performance on multiple standard benchmarks. Moreover, we show that the pretrained AudioMosaic encoder enhances audio perception when integrated with large language models (LLMs).
","absKo":"Audio self-supervised learning (SSL)은 대규모 unlabeled audio data로부터 범용 표현을 학습하는 것을 목표로 하며, 최근 놀라운 진전을 이루었다. 기존 연구의 대부분은 generative reconstruction objective에 의존하는 반면, contrastive 접근은 효과적인 augmentation 전략을 설계하는 데 드는 높은 계산 비용과 pre-training에 일반적으로 요구되는 큰 batch size 때문에 상대적으로 충분히 탐구되지 않았다. 본 연구에서는 일반적인 audio understanding을 위한 audio encoder인 AudioMosaic를 소개한다. pre-training 동안 AudioMosaic는 spectrogram patch에 time–frequency masking을 적용해 paired input을 구성하며, 계산 비용을 크게 줄이면서 large-batch training을 지원하는 우아하고 효율적인 augmentation 전략을 사용한다. AudioMosaic encoder는 dataset, domain, acoustic condition 전반에서 강한 transferability를 보이는 discriminative utterance-level representation을 학습한다. 광범위한 실험은 AudioMosaic가 여러 표준 benchmark에서 state-of-the-art 성능을 달성함을 보여준다. 또한 pretrained AudioMosaic encoder가 large language model (LLM)과 통합될 때 audio perception을 향상시킨다는 점도 보인다.
"},{"id":"64962","en":"QuITE: Query-based Irregular Time-series Embedding","ko":"QuITE: Query 기반 불규칙 시계열 Embedding","authors":"Junghoon Lim","pos":"#1609","link":"https://openreview.net/forum?id=ILQGHFvEoo","abs":"Irregular Multivariate Time Series (IMTS) arise naturally in many real-world domains, yet their irregular sampling patterns pose significant challenges for effective modeling. Existing approaches for IMTS fall into two categories: architecture-based and data-based methods. Architecture-based methods require specialized modeling for IMTS, limiting reuse of established Multivariate Time Series (MTS) models, data-based methods convert IMTS into regular time series through imputation or interpolation, often introducing artificial values that distort temporal dynamics. In this work, we propose a novel input-embedding-based approach for modeling the IMTS. Our method preserves the original MTS backbone and operates directly on IMTS. We introduce QuITE (Query-based Irregular Time-series Embedding), a simple yet effective, backbone-agnostic embedding module that enables MTS models to directly process IMTS. QuITE leverages a set of learnable query tokens to aggregate irregular observations via a single self-attention layer, producing fixed-dimensional latent representations. Extensive experiments on real-world benchmarks demonstrate that QuITE consistently improves the performance of existing MTS models, achieving average relative performance gains up to 45.9% across diverse datasets and backbone architectures.
","absKo":"Irregular Multivariate Time Series (IMTS)는 많은 실제 domain에서 자연스럽게 발생하지만, 불규칙한 sampling pattern은 효과적인 modeling에 큰 도전 과제를 제시한다. IMTS를 위한 기존 접근법은 architecture-based 방법과 data-based 방법으로 나뉜다. architecture-based 방법은 IMTS에 특화된 modeling을 요구하여 기존 Multivariate Time Series (MTS) model의 재사용을 제한하고, data-based 방법은 imputation이나 interpolation을 통해 IMTS를 regular time series로 변환하는데, 이 과정에서 temporal dynamics를 왜곡하는 인위적 value가 도입되는 경우가 많다. 본 연구에서는 IMTS를 모델링하기 위한 새로운 input-embedding-based 접근법을 제안한다. 우리의 방법은 기존 MTS backbone을 그대로 보존하며 IMTS에 직접 동작한다. 우리는 QuITE(Query-based Irregular Time-series Embedding)를 도입하는데, 이는 backbone에 무관한 간단하지만 효과적인 embedding module로, MTS model이 IMTS를 직접 처리할 수 있게 한다. QuITE는 learnable query token 집합을 활용해 단일 self-attention layer를 통해 불규칙한 observation을 집계하고, 고정 차원의 latent representation을 생성한다. 실제 benchmark에 대한 광범위한 실험은 QuITE가 기존 MTS model의 성능을 일관되게 향상시키며, 다양한 dataset과 backbone architecture 전반에서 평균 상대 성능 향상을 최대 45.9%까지 달성함을 보여준다.
"},{"id":"62912","en":"Sign Lock-In: Randomly Initialized Weight Signs Persist and Bottleneck Sub-Bit Model Compression","ko":"Sign Lock-In: 무작위 초기화 가중치 부호의 지속성과 서브비트 모델 압축 병목","authors":"Akira Sakai, Yuma Ichikawa","pos":"#1612","link":"https://openreview.net/forum?id=bxVWc9Mzns","abs":"Sub-bit model compression seeks storage below one bit per weight, where the sign bit becomes a fixed-cost bottleneck as magnitudes are aggressively compressed. Across Transformers, CNNs, and MLPs, learned sign matrices resist low-rank compression and are spectrally indistinguishable from i.i.d. Rademacher baselines. Despite this apparent randomness, most weights keep their initialization signs, with flips occurring mainly through rare near-zero boundary crossings, **suggesting that the randomness in sign patterns is largely inherited from initialization.** We formalize this behavior with *sign lock-in theory*, a stopping-time analysis of sign flips under SGD noise. Under bounded updates and a rare re-entry condition for a small neighborhood around zero, the number of effective sign flips exhibits a geometric tail. Building on this mechanism, we introduce a gap-based initialization and a lightweight outward-drift regularizer that reduces the effective flip rate to approximately $10^{-3}$ with only about a one-point increase in perplexity.","absKo":"Sub-bit model compression은 weight당 1비트 미만의 저장을 목표로 하며, magnitude를 공격적으로 압축할수록 sign bit가 고정 비용 병목이 된다. Transformer, CNN, MLP 전반에서 학습된 sign matrix는 low-rank compression에 잘 저항하며, 스펙트럼적으로 i.i.d. Rademacher baseline과 구별되지 않는다. 이러한 겉보기의 randomness에도 불구하고, 대부분의 weight는 초기화 시의 sign을 유지하고, sign flip은 주로 드물게 발생하는 zero 근처 경계 횡단을 통해 일어난다. **이는 sign pattern의 randomness가 상당 부분 초기화에서 상속된 것임을 시사한다.** 우리는 SGD noise 하에서 sign flip을 stopping-time 분석으로 다루는 *sign lock-in theory*로 이 동작을 정식화한다. bounded update와 zero 주변의 작은 neighborhood로의 희귀 재진입 조건 아래에서, effective sign flip의 개수는 geometric tail을 보인다. 이러한 메커니즘을 바탕으로, 우리는 gap-based initialization과 가벼운 outward-drift regularizer를 도입하여 effective flip rate를 약 $10^{-3}$ 수준으로 낮추면서도 perplexity는 약 1점만 증가시키는 방법을 제안한다."},{"id":"63293","en":"A Unified Density Operator View of Flow Control and Merging","ko":"Flow 제어와 병합의 통합 밀도 연산자 관점","authors":"Riccardo De Santi, Malte Franke, Ya-Ping Hsieh, Andreas Krause","pos":"#2609","link":"https://openreview.net/forum?id=YKgp1KiZcB","abs":"Recent progress in large-scale flow and diffusion models raised two fundamental algorithmic challenges: $(i)$ control-based reward adaptation of pre-trained flows, and $(ii)$ integration of multiple models, i.e., flow merging. While current approaches address them separately, we introduce a unifying probability-space framework that subsumes both as limit cases, and enables *reward-guided flow merging*, allowing principled, task-aware combination of multiple pre-trained flows (e.g., merging priors while maximizing drug-discovery utilities). Our formulation renders possible to express a rich family of *operators over generative models densities*, including intersection (e.g., to enforce safety), union (e.g., to compose diverse models), interpolation (e.g., for discovery), their reward-guided counterparts, as well as complex logical expressions via *generative circuits*. Next, we introduce Reward-Guided Flow Merging (RFM), a mirror-descent scheme that reduces reward-guided flow merging to a sequence of standard fine-tuning problems. Then, we provide first-of-their-kind theoretical guarantees for reward-guided and *pure* flow merging via RFM. Ultimately, we showcase the capabilities of the proposed method on illustrative settings providing visually interpretable insights, and apply our method to high-dimensional de-novo molecular design and low-energy conformer generation.","absKo":"최근 대규모 flow 및 diffusion model의 발전은 두 가지 근본적인 algorithmic challenge를 제기했다: $(i)$ pre-trained flow의 control-based reward adaptation, 그리고 $(ii)$ 여러 model의 통합, 즉 flow merging. 현재 접근법은 이를 별도로 다루지만, 우리는 두 문제를 limit case로 포괄하는 통합 probability-space framework를 제안하고, *reward-guided flow merging*을 가능하게 하여 여러 pre-trained flow를 원칙적이고 task-aware하게 결합할 수 있게 한다(예: drug-discovery utility를 최대화하면서 prior를 병합). 우리의 formulation은 *generative model density에 대한 operator*의 풍부한 family를 표현할 수 있게 해 주며, 여기에는 intersection(예: safety 강제), union(예: 다양한 model 결합), interpolation(예: discovery), 그 reward-guided 대응물, 그리고 *generative circuit*을 통한 복잡한 논리 표현이 포함된다. 다음으로, 우리는 Reward-Guided Flow Merging (RFM)을 도입하는데, 이는 reward-guided flow merging을 표준 fine-tuning problem의 연속으로 환원하는 mirror-descent scheme이다. 이어서 RFM을 통해 reward-guided 및 *pure* flow merging에 대한 최초의 이론적 보장을 제시한다. 마지막으로, 시각적으로 해석 가능한 통찰을 제공하는 예시 설정에서 제안 방법의 능력을 보여주고, 고차원 de-novo molecular design 및 low-energy conformer generation에 이 방법을 적용한다."},{"id":"62521","en":"How Hard Can It Be? Hardness-Aware Multi-Objective Unlearning","ko":"얼마나 어려울 수 있을까? Hardness-Aware 다중 목표 Unlearning","authors":"Jiangwei Chen, Xinyuan Niu, Rachael Hwee Ling Sim, Zhengyuan Liu, Nancy Chen, Bryan Kian Hsiang Low","pos":"#3116","link":"https://openreview.net/forum?id=fr24r9nunW","abs":"Machine unlearning aims to remove the influence of specific training samples due to privacy, copyright or bias concerns. Multi-objective unlearning seeks to ensure the effective forgetting of such samples while preserving the utility of the unlearned model. Existing multi-objective unlearning methods typically optimize a weighted combination of the objectives. They provide no guarantee that any of the objectives can achieve a required performance and do not consider the similarity between the forget data and the remaining retain data. In this work, we quantify how hard it is to reconcile the conflicting objectives arising from overlapping data and provide conditions under which collateral forgetting is unavoidable, that is, when improving forget quality forces retain utility degradation. Utilizing this hardness measure, we propose a hardness-aware multi-objective unlearning algorithm (HAMU) that adapts the unlearning updates based on the per-iteration hardness. Our algorithm is applicable to non-convex models and is easily parallelizable, making it readily deployable in real-world scenarios. We empirically demonstrate HAMU's superior performance over baselines on both image and text datasets using large-scale models.
","absKo":"Machine unlearning은 privacy, copyright, bias 문제로 인해 특정 training sample의 영향을 제거하는 것을 목표로 한다. Multi-objective unlearning은 이러한 sample을 효과적으로 잊으면서도 unlearned model의 utility를 보존하고자 한다. 기존의 multi-objective unlearning method는 보통 objective들의 가중합을 최적화한다. 그러나 이 방법들은 어떤 objective도 요구되는 성능을 달성할 수 있다는 보장을 제공하지 않으며, forget data와 remaining retain data 사이의 유사성도 고려하지 않는다. 본 연구에서는 겹치는 data에서 비롯되는 상충 objective를 조화시키는 것이 얼마나 어려운지 정량화하고, collateral forgetting이 불가피한 조건, 즉 forget quality를 개선하면 retain utility가 저하될 수밖에 없는 조건을 제시한다. 이 hardness measure를 활용하여, 우리는 iteration별 hardness에 따라 unlearning update를 조정하는 hardness-aware multi-objective unlearning algorithm(HAMU)을 제안한다. 우리의 알고리즘은 non-convex model에 적용 가능하고 쉽게 parallelize할 수 있어 실제 환경에 바로 배포하기 쉽다. 대규모 model을 사용한 image 및 text dataset 모두에서 HAMU가 baseline보다 우수한 성능을 보임을 실증적으로 보인다.
"},{"id":"65090","en":"Beyond Description: Federated Adaptation via Semantic-Visual Prototype Alignment","ko":"설명을 넘어서: 의미-시각 프로토타입 정렬을 통한 연합 적응","authors":"Jiarong Yang, Yuan Liu","pos":"#4209","link":"https://openreview.net/forum?id=GsImVarwZi","abs":"Adopting pre-trained Vision-Language Models (VLMs) in Federated Learning (FL) presents a promising avenue for mitigating data scarcity and heterogeneity. However, existing solutions suffer from high computational complexity or ineffective knowledge aggregation. To address these problems, we propose FedSPA (Federated Adaptation via Semantic-Visual Prototype Alignment). On the client side, FedSPA restricts local optimization to visual prototypes, enabling lightweight personalization. On the server side, we introduce a semantic alignment module that leverages client-uploaded prototypes to minimize a contrastive objective, aligning global semantic prototypes with heterogeneous visual distributions and thereby shifting the paradigm from traditional “learning-to-describe\" (optimizing static prompts) to ”learning-to-align\". Extensive experiments demonstrate that FedSPA significantly outperforms state-of-the-art methods in both personalized and global benchmarks, while substantially reducing computational overhead.
","absKo":"Federated Learning (FL)에서 사전 학습된 Vision-Language Models (VLMs)를 활용하는 것은 데이터 부족과 이질성을 완화할 수 있는 유망한 방향이다. 그러나 기존 방법들은 높은 계산 복잡도 또는 비효율적인 knowledge aggregation 문제를 겪는다. 이러한 문제를 해결하기 위해 우리는 FedSPA (Federated Adaptation via Semantic-Visual Prototype Alignment)를 제안한다. 클라이언트 측에서 FedSPA는 local optimization을 visual prototype에만 제한하여 경량 personalization을 가능하게 한다. 서버 측에서는 클라이언트가 업로드한 prototype을 활용해 contrastive objective를 최소화하는 semantic alignment module을 도입하여, global semantic prototype을 이질적인 visual distribution에 정렬하고, 이를 통해 기존의 “learning-to-describe”(static prompt 최적화)에서 “learning-to-align”으로 패러다임을 전환한다. 광범위한 실험은 FedSPA가 personalized 및 global benchmark 모두에서 state-of-the-art 방법을 크게 능가하면서도 계산 오버헤드를 상당히 줄임을 보여 준다.
"},{"id":"65914","en":"Class-Prior Perturbation-Robust Regularization for Imbalanced Unreliable Partial Label Learning","ko":"불균형하고 신뢰할 수 없는 부분 레이블 학습을 위한 클래스 사전 섭동 강건 정규화","authors":"Congyu Qiao, Haohao Dong, Xin Geng, Ning Xu","pos":"#3608","link":"https://openreview.net/forum?id=8xyaIv2OKq","abs":"Imbalanced Unreliable Partial Label Learning (I-UPLL) is a challenging weakly supervised learning setting in which severe class imbalance and unreliable candidate labels jointly degrade model performance. By revisiting existing approaches for imbalanced learning, we observe that most of them fundamentally rely on estimating the class prior to guide balancing operations, such as re-sampling, pseudo-label generation, or logit adjustment. However, under I-UPLL, obtaining stable and accurate prior estimates at the early stage of training is often unrealistic due to the ambiguity and unreliability of partial labels, thereby leading the model to rapidly converge to a suboptimal solution. To address this issue, we propose CLAPOR, a novel CLAss-PriOr perturbation-Robust regularization framework that fundamentally avoids dependence on accurate prior estimation. Specifically, the proposed regularization trains the model under deliberately perturbed class priors, sampled from a Dirichlet distribution that deviates from the current estimated prior. This design encourages consistent performance under prior uncertainty and naturally preserves attention to minority classes. Extensive experiments on benchmark datasets demonstrate the effectiveness of CLAPOR across various settings of I-UPLL.
","absKo":"Imbalanced Unreliable Partial Label Learning (I-UPLL)은 severe class imbalance와 unreliable candidate label이 함께 model performance를 저해하는 어려운 weakly supervised learning setting이다. 기존의 imbalanced learning 접근법을 다시 살펴보면, 대부분은 re-sampling, pseudo-label generation, logit adjustment와 같은 balancing operation을 유도하기 위해 class prior 추정을 근본적으로 활용한다는 점을 확인할 수 있다. 그러나 I-UPLL에서는 partial label의 ambiguity와 unreliability 때문에 학습 초기 단계에서 안정적이고 정확한 prior 추정을 얻는 것이 종종 비현실적이며, 그 결과 model이 빠르게 suboptimal solution으로 수렴하게 된다. 이 문제를 해결하기 위해, 우리는 정확한 prior estimation에 대한 의존을 근본적으로 피하는 새로운 CLAss-PriOr perturbation-Robust regularization framework인 CLAPOR를 제안한다. 구체적으로, 제안하는 regularization은 현재 추정 prior에서 벗어난 Dirichlet distribution으로부터 샘플링한 의도적으로 perturb된 class prior 하에서 model을 학습한다. 이러한 설계는 prior uncertainty 하에서도 일관된 성능을 장려하고, minority class에 대한 attention을 자연스럽게 보존한다. benchmark dataset에 대한 광범위한 실험은 다양한 I-UPLL setting에서 CLAPOR의 효과를 입증한다.
"},{"id":"66377","en":"ProConMV: Provenance-Enabled Conceptual Framework for Interpretable Multi-View Diabetic Retinopathy Diagnosis","ko":"ProConMV: 해석 가능한 다중 뷰 당뇨망막병증 진단을 위한 출처 기반 개념적 프레임워크","authors":"Xiaoling Luo, Shuo Yang, Qihao Xu, Chengliang Liu, Jiansong Zhang, Zhuoqin Yang, Zhihui Lai, Linlin Shen","pos":"#1015","link":"https://openreview.net/forum?id=4F4Ziv1d9G","abs":"Existing deep learning models have demonstrated potential in Diabetic retinopathy (DR) diagnosis, but they still suffer from three key challenges: reliance on single-source inputs, opaque and untraceable reasoning processes, and the absence of a mechanism for result verification. Thus, we propose a provenance-enabled concept-based framework for multi-view DR diagnostic (ProConMV), which integrates DR lesion masks, clinical text and multi-view data, utilizing multimodal prompt analysis and visual-text concept interaction to learn the interpretable multi-source input. During the reasoning stage, the proposed framework introduces lesion concepts for causal reasoning chains combining clinical guidelines, and adds doctor intervention for human-machine collaboration. For dynamic fusion decision and verification in multi-view DR diagnosis, we derive via generalization theory that incorporating each view’s lesion concept uncertainty and grading uncertainty reduces the generalization error upper bound. Accordingly, we design a dual uncertainty-aware module to enable provenance-based verification, ultimately enabling verifiable analysis of DR diagnostic results. Extensive experiments conducted on two public multi-view DR datasets demonstrate the effectiveness of our method.
","absKo":"기존 deep learning model은 Diabetic retinopathy(DR) 진단에서 잠재력을 보여주었지만, 여전히 세 가지 핵심 문제를 안고 있다: 단일 source 입력에 대한 의존, 불투명하고 추적 불가능한 reasoning process, 그리고 결과 검증 메커니즘의 부재. 이에 우리는 multi-view DR diagnostic을 위한 provenance-enabled concept-based framework인 ProConMV를 제안한다. 이 framework는 DR lesion mask, clinical text, multi-view data를 통합하고, multimodal prompt analysis와 visual-text concept interaction을 활용하여 해석 가능한 multi-source input을 학습한다. reasoning 단계에서는, 제안된 framework가 clinical guideline을 결합한 causal reasoning chain을 위해 lesion concept을 도입하고, human-machine collaboration을 위한 doctor intervention을 추가한다. multi-view DR diagnosis에서 dynamic fusion decision과 verification을 위해, 우리는 각 view의 lesion concept uncertainty와 grading uncertainty를 포함하면 generalization theory에 따라 generalization error upper bound가 감소함을 도출한다. 이에 따라, 우리는 provenance-based verification을 가능하게 하는 dual uncertainty-aware module을 설계하여, 궁극적으로 DR diagnostic result에 대한 verifiable analysis를 가능하게 한다. 두 개의 public multi-view DR dataset에서 수행한 광범위한 실험은 우리의 방법의 효과를 입증한다.
"},{"id":"63019","en":"Learning on Higher-Order Structures with Effective Operators","ko":"유효 연산자를 사용한 고차 구조 학습","authors":"Maximilian Krahn, Lennart Bastian, Tolga Birdal, Björn Schuller, Vikas Garg","pos":"#2414","link":"https://openreview.net/forum?id=arc2pWtZLN","abs":"Higher-order structures are powerful relational modeling tools, yet existing spectral operators decompose topology into separate ranks, leaving practitioners to fuse information back to vertices through ad-hoc choices. We introduce Collapsed Effective Operators, which marginalize higher-order structures into a single vertex-level operator via Schur complementation of a graded Laplacian. This yields a dense operator that encodes long-range interactions mediated by topology and is applicable to arbitrary higher-order constructs. We show it preserves positive semi-definiteness with a strict spectral upper bound relative to the rank-0 Laplacian, effectively lowering system energy under higher-order connectivity. Empirically, our operator significantly improves spectral clustering, enables diffusion over topological structures, and accelerates the processing of higher-order structures with neural networks.
","absKo":"Higher-order structure는 강력한 relational modeling 도구이지만, 기존 spectral operator는 topology를 개별 rank로 분해하기 때문에, 실무자는 정보를 다시 vertex에 되돌려 융합하기 위해 임의적인 선택을 해야 한다. 우리는 graded Laplacian의 Schur complementation을 통해 higher-order structure를 단일 vertex-level operator로 주변화(marginalize)하는 Collapsed Effective Operators를 소개한다. 이는 topology에 의해 매개되는 long-range interaction을 인코딩하는 dense operator를 생성하며, 임의의 higher-order construct에 적용 가능하다. 우리는 이 operator가 rank-0 Laplacian에 대한 엄격한 spectral upper bound를 유지하면서 positive semi-definiteness를 보존하여, higher-order connectivity 하에서 시스템 에너지를 효과적으로 낮춘다는 점을 보인다. 실증적으로, 우리의 operator는 spectral clustering을 유의미하게 향상시키고, topological structure 위로의 diffusion을 가능하게 하며, neural network를 이용한 higher-order structure 처리 속도를 가속한다.
"},{"id":"61147","en":"Aggregate Models, Not Explanations: Improving Feature Importance Estimation","ko":"설명이 아닌 모델을 집계하라: Feature Importance 추정 개선","authors":"Joseph Paillard, Angel REYERO LOBO, Denis-Alexander Engemann, Thirion Bertrand","pos":"#3410","link":"https://openreview.net/forum?id=tGu4bsqD3T","abs":"Feature-importance methods show promise for transforming machine learning (ML) models from predictive engines into tools for scientific discovery. However, expressive models can be unstable due to data sampling and algorithmic stochasticity, leading to inaccurate variable importance estimates, undermining their utility in critical biomedical applications. While ensembling offers a remedy, the choice between explaining a single ensemble model or aggregating individual model explanations is non-trivial due to the non-linearity of importance measures, and remains largely understudied. Our theoretical analysis, developed under assumptions accommodating complex state-of-the-art ML models, reveals that this choice is governed by a trade-off involving the model's excess risk. In contrast to prior literature, we show that ensembling at the model level provides more accurate variable-importance estimates, particularly for expressive models, by reducing this leading error term. We validate these findings on classical benchmarks and a large-scale proteomic study from the UK Biobank.
","absKo":"Feature-importance method는 machine learning (ML) model을 예측 엔진에서 과학적 발견을 위한 도구로 바꿀 가능성을 보여줍니다. 그러나 표현력이 높은 모델은 data sampling과 algorithmic stochasticity 때문에 불안정해질 수 있으며, 이로 인해 variable importance estimate가 부정확해져 중요한 biomedical application에서의 유용성이 훼손됩니다. Ensembling이 하나의 해결책을 제공하지만, importance measure의 non-linearity 때문에 single ensemble model을 설명할지, 아니면 개별 model explanation을 집계할지의 선택은 비자명하며, 지금까지 충분히 연구되지 않았습니다. 복잡한 state-of-the-art ML model을 포괄하는 가정 아래 개발한 우리의 이론적 분석은 이 선택이 model의 excess risk를 포함하는 trade-off에 의해 좌우됨을 보여줍니다. 기존 문헌과 달리, 우리는 model level에서 ensembling하는 것이 특히 표현력이 높은 model에서 더 정확한 variable-importance estimate를 제공하며, 이는 leading error term을 줄이기 때문임을 보입니다. 우리는 classical benchmark와 UK Biobank의 대규모 proteomic study에서 이러한 결과를 검증합니다.
"},{"id":"66508","en":"A Probabilistic Framework for LLM-Based Model Discovery","ko":"LLM 기반 모델 발견을 위한 확률적 프레임워크","authors":"Stefan Wahl, Raphaela Schenk, Ali Farnoud, Jakob Macke, Daniel Gedon","pos":"#3512","link":"https://openreview.net/forum?id=356U11JaTS","abs":"Automated methods for discovering mechanistic simulator models from observational data offer a promising path toward accelerating scientific progress. Such methods often take the form of agentic-style iterative workflows that repeatedly propose and revise candidate models by imitating human discovery processes. However, existing LLM-based approaches typically implement such workflows via hand-crafted heuristic procedures, without an explicit probabilistic formulation. We recast model discovery as probabilistic inference, i.e., as sampling from an unknown distribution over mechanistic models capable of explaining the data. This perspective provides a unified way to reason about model proposal, refinement, and selection within a single inference framework. As a concrete instantiation of this view, we introduce ModelSMC, an algorithm based on Sequential Monte Carlo sampling that represents candidate models as particles which are iteratively proposed and refined by an LLM, and weighted using likelihood-based criteria. Experiments on real-world scientific systems illustrate that this formulation discovers models with interpretable mechanisms and improves posterior predictive checks. More broadly, this perspective provides a probabilistic lens for understanding and developing LLM-based approaches to model discovery.
","absKo":"관측 데이터로부터 mechanistic simulator model을 자동으로 발견하는 방법은 과학적 진보를 가속하는 유망한 경로를 제공한다. 이러한 방법은 종종 인간의 discovery process를 모방하여 candidate model을 반복적으로 제안하고 수정하는 agentic-style iterative workflow의 형태를 띤다. 그러나 기존의 LLM-based 접근법은 대개 이러한 workflow를 명시적인 probabilistic formulation 없이, 수작업으로 설계된 heuristic procedure로 구현한다. 우리는 model discovery를 probabilistic inference, 즉 데이터를 설명할 수 있는 mechanistic model에 대한 unknown distribution에서 sampling하는 문제로 재정식화한다. 이 관점은 하나의 inference framework 안에서 model proposal, refinement, selection을 추론하는 통일된 방식을 제공한다. 이러한 관점을 구체적으로 구현한 예로, 우리는 Sequential Monte Carlo sampling을 기반으로 하는 ModelSMC를 제안한다. ModelSMC는 candidate model을 particle로 표현하고, 이를 LLM이 반복적으로 제안하고 정제하며, likelihood-based criterion으로 weight를 부여한다. 실제 scientific system에 대한 실험은 이 정식화가 해석 가능한 mechanism을 가진 model을 발견하고 posterior predictive check를 개선함을 보여준다. 더 넓게는, 이 관점이 model discovery를 위한 LLM-based 접근법을 이해하고 발전시키는 probabilistic lens를 제공한다.
"},{"id":"66518","en":"ECSEL: Explainable Classification via Signomial Equation Learning","ko":"ECSEL: Signomial 방정식 학습을 통한 설명 가능한 분류","authors":"Adia C. Lumadjeng, Ilker Birbil, Erman Acar","pos":"#4216","link":"https://openreview.net/forum?id=2ztmXT3qpN","abs":"We introduce ECSEL, an explainable classification method that learns formal expressions in the form of signomial equations, motivated by the observation that many symbolic regression benchmarks admit compact signomial structure. ECSEL directly constructs a structural, closed-form expression that serves as both a classifier and an explanation. On standard symbolic regression benchmarks, our method recovers a larger fraction of target equations than competing state-of-the-art approaches while requiring substantially less computation. Leveraging this efficiency, ECSEL achieves classification accuracy competitive with established machine learning models without sacrificing interpretability. Further, we show that ECSEL satisfies some desirable properties regarding global feature behaviour, decision-boundary analysis, and local feature attributions. Experiments on benchmark datasets and two real-world case studies i.e., e-commerce and fraud detection, demonstrate that the learned equations expose dataset biases, support counterfactual reasoning, and yield actionable insights.
","absKo":"우리는 ECSEL을 소개한다. ECSEL은 many symbolic regression benchmark가 compact한 signomial structure를 허용한다는 관찰에 동기를 둔, signomial equation 형태의 formal expression을 학습하는 explainable classification method이다. ECSEL은 classifier이자 explanation으로 작동하는 structural, closed-form expression을 직접 구성한다. 표준 symbolic regression benchmark들에서, 우리 방법은 상당히 적은 computation만으로 경쟁적인 state-of-the-art 접근법들보다 더 큰 비율의 target equation을 복원한다. 이러한 효율성을 활용하여 ECSEL은 interpretability를 희생하지 않으면서도 기존 machine learning model들과 경쟁력 있는 classification accuracy를 달성한다. 더 나아가, ECSEL이 global feature behavior, decision-boundary analysis, local feature attribution과 관련하여 몇 가지 바람직한 성질을 만족함을 보인다. benchmark dataset과 e-commerce, fraud detection이라는 두 개의 real-world case study에서 수행한 실험은, 학습된 equation이 dataset bias를 드러내고, counterfactual reasoning을 지원하며, 실행 가능한 통찰을 제공함을 보여준다.
"},{"id":"62109","en":"When Tabular Foundation Models Meet Strategic Tabular Data: A Prior Alignment Approach","ko":"Tabular Foundation Model이 전략적 표형 데이터를 만날 때: Prior Alignment 접근법","authors":"Xinpeng Lv, Yunxin Mao, Renzhe Xu, Chunyuan Zheng, Haoxuan Li, Yikai Chen, Jinxuan Yang, Wanrong Huang, Yuanlong Chen, Mingyang Geng, Shixuan Liu, Kun Kuang, Shaowu Yang, Wenjing Yang, Zhouchen Lin, Haotian Wang","pos":"#4304","link":"https://openreview.net/forum?id=jlQeiq1azU","abs":"Tabular foundation models via pretrained prior-data fitted networks (PFNs) achieve remarkable generalization performance on arbitrary testing tabular data, when sample distributions are independent of the deployed classifiers, i.e., a non-strategic regime. In a variety of real-world scenarios, however, once a classifier is deployed, individuals corresponding to tabular samples strategically manipulate their features to obtain favorable results, inducing feature distribution shifts at deployment, i.e., a strategic regime. As concurrent tabular foundation models exclusively overlook the strategic tabular data, we systematically explore the boundary of PFNs on strategic tabular data, characterizing their theoretical properties and empirical performance towards such a commonly encountered type of tabular data, offering a pioneer analysis on bridging PFNs and the society domain. To be first, we inform that such strategic manipulation creates a mismatch between the grounding, strategic prior and the pretrained prior. Subsequently, the prior mismatch leads to an inevitable posterior prediction bias of current tabular foundation models when applied to strategic environments. To address this challenge, we propose Strategic Prior-data Fitted Network (SPN), a strategy-aware framework that adapts tabular foundation models to strategic environments at inference time. SPN uses in-context learning to approximate post-manipulation inputs and then performs prediction for strategic tabular data. Experiments on real-world and synthetic tabular data show that SPN consistently improves performance and robustness under strategic manipulation compared to both tabular foundation models and classical tabular methods.
","absKo":"pretrained prior-data fitted network (PFN)을 통한 tabular foundation model은 배치된 classifier와 독립적인 sample distribution, 즉 non-strategic regime에서 임의의 테스트 tabular data에 대해 놀라운 generalization 성능을 달성한다. 그러나 다양한 실제 시나리오에서는 classifier가 배치된 후 tabular sample에 대응하는 개인들이 유리한 결과를 얻기 위해 자신의 feature를 전략적으로 조작하며, 이로 인해 배치 시점에 feature distribution shift가 발생한다. 즉, strategic regime이 형성된다. 현재의 tabular foundation model은 이러한 strategic tabular data를 전적으로 간과하고 있으므로, 우리는 PFN의 경계를 strategic tabular data에서 체계적으로 탐구하고, 이러한 흔히 마주치는 유형의 tabular data에 대한 이들의 이론적 성질과 경험적 성능을 특성화하며, PFN과 society domain을 연결하는 선구적 분석을 제공한다. 우선, 이러한 전략적 조작이 grounding, strategic prior, pretrained prior 사이의 불일치를 만든다는 점을 알린다. 이후 prior mismatch는 전략적 환경에 적용될 때 현재 tabular foundation model에 불가피한 posterior prediction bias를 초래한다. 이 과제를 해결하기 위해, 우리는 inference time에 tabular foundation model을 strategic environment에 적응시키는 strategy-aware framework인 Strategic Prior-data Fitted Network (SPN)을 제안한다. SPN은 in-context learning을 사용해 조작 이후 입력을 근사한 다음 strategic tabular data에 대한 prediction을 수행한다. 실제 및 합성 tabular data에 대한 실험은 SPN이 tabular foundation model과 고전적 tabular method 모두에 비해 전략적 조작 하에서 성능과 robustness를 일관되게 향상시킴을 보여준다.
"},{"id":"64326","en":"RL4RLA: Teaching ML to Discover Randomized Linear Algebra Algorithms through Curriculum Design and Graph-based Search","ko":"RL4RLA: 커리큘럼 설계와 그래프 기반 탐색을 통해 무작위 선형대수 알고리즘을 발견하도록 ML을 학습시키기","authors":"Jinglong Xiong, Xiaotian Liu, Ruoxin Wang, Zihang Liu, Yefan Zhou, Yujun Yan, Yaoqing Yang","pos":"#4306","link":"https://openreview.net/forum?id=Oj2I1xdKpv","abs":"Randomized linear algebra (RLA) algorithms are essential for scaling scientific computing and machine learning, yet their discovery remains mostly a manual process that requires deep expert knowledge and inspiration. While Reinforcement Learning (RL) offers a pathway to automation, standard approaches struggle with sparse reward landscapes and vast search spaces inherent to high-performing RLA algorithms. We present RL4RLA, a general RL framework that automates the discovery of interpretable, symbolic RLA algorithms. Unlike black-box approaches, our method builds explicit algorithms from basic linear algebra primitives, ensuring verifiable and implementable representations. To enable efficient discovery, we introduce: (1) a numerical curriculum that progressively increments problem difficulty to encode domain-based inductive bias; (2) Monte Carlo Graph Search (MCGS), which optimizes exploration by identifying and merging equivalent partial algorithms. We demonstrate that RL4RLA rediscovers state-of-the-art methods—including sketch-and-precondition solvers, Randomized Kaczmarz, and Newton Sketch—and can be targeted to produce algorithms optimized for specific trade-offs between accuracy, speed, and stability.
","absKo":"Randomized linear algebra (RLA) algorithm은 과학 계산과 machine learning의 규모 확장에 필수적이지만, 그 발견은 여전히 깊은 전문가 지식과 영감을 필요로 하는 수작업 과정에 가깝다. Reinforcement Learning (RL)은 자동화로 가는 경로를 제공하지만, 표준 접근법은 고성능 RLA algorithm에 내재된 sparse reward landscape와 방대한 search space를 처리하는 데 어려움을 겪는다. 우리는 해석 가능하고 symbolic한 RLA algorithm의 발견을 자동화하는 일반적인 RL 프레임워크인 RL4RLA를 제시한다. black-box 접근법과 달리, 우리의 방법은 기본 linear algebra primitive로부터 명시적인 algorithm을 구성하여 검증 가능하고 구현 가능한 표현을 보장한다. 효율적인 발견을 위해 우리는 다음을 도입한다: (1) problem difficulty를 점진적으로 증가시켜 domain-based inductive bias를 인코딩하는 numerical curriculum; (2) 동등한 partial algorithm을 식별하고 병합함으로써 exploration을 최적화하는 Monte Carlo Graph Search (MCGS). 우리는 RL4RLA가 sketch-and-precondition solver, Randomized Kaczmarz, Newton Sketch를 포함한 state-of-the-art 방법을 재발견하며, accuracy, speed, stability 사이의 특정 trade-off에 맞게 최적화된 algorithm을 생성하도록 목표를 설정할 수 있음을 보인다.
"},{"id":"65664","en":"MINT: Minimal Information Neuro-Symbolic Tree for Objective-Driven Knowledge-Gap Reasoning and Active Elicitation","ko":"MINT: 목표 지향 지식 격차 추론과 능동적 도출을 위한 최소 정보 신경-기호 트리","authors":"Zeyu Fang, Mahdi Imani, Tian Lan","pos":"#4307","link":"https://openreview.net/forum?id=BQPtGzdE5T","abs":"Joint planning through language-based interactions is a key area of human-AI teaming. Planning problems in the open world often involve various aspects of incomplete information and unknowns, e.g., objects involved, human goals/intents -- thus leading to knowledge gaps in joint planning. We consider the problem of discovering optimal interaction strategies for AI agents to actively elicit human inputs in object-driven planning. To this end, we propose Minimal Information Neuro-Symbolic Tree (MINT) to reason about the impact of knowledge gaps and leverage self-play with MINT to optimize the AI agent’s elicitation strategies and queries. More precisely, MINT builds a symbolic tree by making propositions of possible human-AI interactions and by consulting a neural planning policy to estimate the uncertainty in planning outcomes caused by remaining knowledge gaps. Finally, we leverage LLM to search and summarize MINT’s reasoning process and curate a set of queries to optimally elicit human inputs for best planning performance. By considering a family of extended Markov decision processes with knowledge gaps, we analyze the return guarantee for a given MINT with active human elicitation. Our evaluation on three benchmarks involving unseen/unknown objects of increasing realism shows that MINT-based planning attains near-expert returns by issuing a limited number of questions per task while achieving significantly improved rewards and success rates.
","absKo":"언어 기반 상호작용을 통한 joint planning은 human-AI teaming의 핵심 영역이다. open world의 planning 문제는 객체, 인간의 목표/intention 등과 관련된 다양한 incomplete information과 unknown을 포함하는 경우가 많아 joint planning에서 knowledge gap을 초래한다. 우리는 객체 중심 planning에서 AI agent가 인간 입력을 능동적으로 유도하기 위한 최적의 interaction strategy를 발견하는 문제를 다룬다. 이를 위해 우리는 knowledge gap의 영향을 추론하고, MINT와의 self-play를 통해 AI agent의 elicitation strategy와 query를 최적화하는 Minimal Information Neuro-Symbolic Tree (MINT)를 제안한다. 보다 정확히는, MINT는 가능한 human-AI interaction에 대한 proposition을 세우고, 남아 있는 knowledge gap으로 인해 planning outcome에 발생하는 uncertainty를 추정하기 위해 neural planning policy를 참조함으로써 symbolic tree를 구성한다. 마지막으로, 우리는 LLM을 활용해 MINT의 reasoning process를 검색하고 요약하며, 최고의 planning performance를 위해 인간 입력을 최적으로 elicite하기 위한 query 집합을 정제한다. knowledge gap을 포함하는 확장된 Markov decision process family를 고려하여, active human elicitation이 있는 특정 MINT에 대한 return guarantee를 분석한다. 현실성이 증가한 unseen/unknown object를 포함하는 세 개의 benchmark에 대한 평가는, MINT 기반 planning이 task당 제한된 수의 질문만으로 거의 expert 수준의 return을 달성하면서도 significantly improved reward와 success rate를 보임을 보여준다.
"},{"id":"64545","en":"KANFIS: A Neuro-Symbolic Framework for Interpretable and Uncertainty-Aware Learning","ko":"KANFIS: 해석 가능하고 불확실성 인식적인 학습을 위한 신경-기호 프레임워크","authors":"Binbin Yong, Haoran Pei, Jun Shen, Haoran Li, Qingguo Zhou, Zhao Su","pos":"#4308","link":"https://openreview.net/forum?id=MKvy0hgAK4","abs":"Adaptive Neuro-Fuzzy Inference System (ANFIS) was designed to combine the learning capabilities of neural network with the reasoning transparency of fuzzy logic. However, conventional ANFIS architectures suffer from structural complexity, where the product-based inference mechanism causes an exponential explosion of rules in high-dimensional spaces. We herein propose the \\textbf{K}olmogorov-\\textbf{A}rnold Neuro-Fuzzy Inference System (KANFIS), a compact neuro-symbolic architecture that unifies fuzzy reasoning with additive function decomposition. KANFIS employs an additive aggregation mechanism, under which both model parameters and rule complexity scale linearly with input dimensionality rather than exponentially. Furthermore, KANFIS is compatible with both Type-1 (T1) and Interval Type-2 (IT2) fuzzy logic systems, enabling explicit modeling of uncertainty and ambiguity in fuzzy representations. By using sparse masking mechanisms, KANFIS generates compact and structured rule sets, resulting in an intrinsically interpretable model with clear rule semantics and transparent inference processes. Empirical results demonstrate that KANFIS achieves competitive performance against representative neural and neuro-fuzzy baselines.
","absKo":"Adaptive Neuro-Fuzzy Inference System (ANFIS)는 neural network의 학습 능력과 fuzzy logic의 추론 투명성을 결합하도록 설계되었다. 그러나 전통적인 ANFIS architecture는 구조적 복잡성 문제를 겪는데, 곱셈 기반 추론 메커니즘이 고차원 공간에서 rule의 지수적 폭발을 초래하기 때문이다. 우리는 여기서 \\textbf{K}olmogorov-\\textbf{A}rnold Neuro-Fuzzy Inference System (KANFIS)을 제안한다. 이는 fuzzy reasoning과 additive function decomposition을 통합하는 compact neuro-symbolic architecture이다. KANFIS는 additive aggregation mechanism을 사용하며, 이에 따라 model parameter와 rule complexity가 입력 차원에 따라 지수적으로가 아니라 선형적으로 증가한다. 나아가 KANFIS는 Type-1 (T1)과 Interval Type-2 (IT2) fuzzy logic system 모두와 호환되어, fuzzy representation에서 불확실성과 모호성을 명시적으로 모델링할 수 있다. sparse masking mechanism을 사용함으로써 KANFIS는 compact하고 구조화된 rule set을 생성하며, 그 결과 명확한 rule semantics와 투명한 inference process를 갖는 본질적으로 해석 가능한 model을 제공한다. 실험 결과 KANFIS가 대표적인 neural 및 neuro-fuzzy baseline에 대해 경쟁력 있는 성능을 달성함을 보여준다.
"},{"id":"63496","en":"GeoEvo: Identity-Aware Potential Game with Geometric Evolution for Personalized Multimodal Federated Learning","ko":"GeoEvo: 개인화 멀티모달 연합 학습을 위한 기하 진화를 갖춘 정체성 인지 잠재 게임","authors":"CHEN WANG, Yongli Hu, Huajie Jiang, Kan Guo, Tengfei Liu, Junbin Gao, Yanfeng Sun, Baocai Yin","pos":"#4309","link":"https://openreview.net/forum?id=WfxJlvbHpD","abs":"We reconceptualize Personalized Multimodal Federated Learning (PMFL) by treating missing modalities as intrinsic structural identities that constrain each client to a distinct Riemannian submanifold, rather than deficiencies to be compensated. To resolve the tension between identity preservation and cross-client collaboration, we cast PMFL as an identity-aware potential game and seek a geometry-consistent equilibrium instead of a single full-modality global optimum. We propose GeoEvo, which realizes this equilibrium via Fisher--Riemannian evolutionary dynamics: Natural Evolution Strategies for curvature-adaptive local exploration and subspace-constrained particle swarm updates for symbiotic knowledge transfer. GeoEvo admits a Lyapunov potential and, with a monotone acceptance rule, guarantees potential dissipation; in non-convex regimes it achieves an $O(1/\\sqrt{T})$ stationarity rate, implying convergence to first-order Nash equilibria, and empirically improves personalization and robustness across diverse modality-missing identities.","absKo":"우리는 Personalized Multimodal Federated Learning (PMFL)을 missing modality를 보완해야 할 결함이 아니라, 각 client를 서로 다른 Riemannian submanifold로 제약하는 내재적 structural identity로 간주함으로써 재개념화한다. identity preservation과 cross-client collaboration 사이의 긴장을 해결하기 위해, 우리는 PMFL을 identity-aware potential game으로 정식화하고, 단일 full-modality global optimum이 아니라 geometry-consistent equilibrium을 추구한다. 우리는 Fisher--Riemannian evolutionary dynamics를 통해 이 equilibrium을 구현하는 GeoEvo를 제안한다. GeoEvo는 curvature-adaptive local exploration을 위한 Natural Evolution Strategies와 symbiotic knowledge transfer를 위한 subspace-constrained particle swarm update를 사용한다. GeoEvo는 Lyapunov potential을 만족하며, monotone acceptance rule과 함께 potential dissipation을 보장한다. non-convex regime에서는 O(1/\\sqrt{T}) stationarity rate를 달성하여 first-order Nash equilibrium으로의 수렴을 의미하고, 다양한 modality-missing identity 전반에서 personalization과 robustness를 경험적으로 향상시킨다."},{"id":"61430","en":"Exact Functional ANOVA Decomposition for Categorical Inputs","ko":"Categorical Inputs를 위한 정확한 Functional ANOVA Decomposition","authors":"Baptiste Ferrere, Nicolas Bousquet, Gamboa Fabrice, Jean-Michel Loubes, Joseph Muré","pos":"#4310","link":"https://openreview.net/forum?id=qC9FEfYjai","abs":"Functional ANOVA offers a principled framework for interpretability by decomposing a model’s prediction into main effects and higher-order interactions. For independent features, this decomposition is well-defined, strongly linked with SHAP values, and serves as a cornerstone of additive explainability. However, the lack of an explicit closed-form expression for general dependent distributions has forced practitioners to rely on costly sampling-based approximations. We completely resolve this limitation for categorical inputs. By bridging functional analysis with the extension of discrete Fourier analysis, we derive a closed-form decomposition without any assumption. Our formulation is computationally very efficient. It seamlessly recovers the classical independent case and extends to arbitrary dependence structures, including distributions with non-rectangular support. Furthermore, leveraging the intrinsic link between SHAP and ANOVA under independence, our framework yields a natural generalization of SHAP values for the general categorical setting.
","absKo":"Functional ANOVA는 모델의 예측을 main effect와 higher-order interaction으로 분해함으로써 해석 가능성을 위한 원칙적인 framework를 제공한다. 독립 feature의 경우 이 분해는 명확하게 정의되며, SHAP value와 강하게 연결되고, additive explainability의 초석 역할을 한다. 그러나 일반적인 종속 분포에 대해서는 명시적인 closed-form expression이 없어, 실무자들은 비용이 큰 sampling-based approximation에 의존할 수밖에 없었다. 우리는 categorical input에 대해 이 한계를 완전히 해결한다. discrete Fourier analysis의 확장을 functional analysis와 연결함으로써, 어떠한 가정도 없이 closed-form decomposition을 도출한다. 우리의 formulation은 계산적으로 매우 효율적이다. 이는 classical independent case를 자연스럽게 복원하며, 비직사각형(non-rectangular) support를 갖는 분포를 포함한 임의의 dependence structure로 확장된다. 더 나아가 independence 하에서 SHAP과 ANOVA 사이의 내재적 연결을 활용하여, 우리의 framework는 일반적인 categorical setting을 위한 SHAP value의 자연스러운 일반화를 제공한다.
"},{"id":"61088","en":"Beyond Rational Illusion: Behaviorally Realistic Strategic Classification","ko":"합리성의 환상을 넘어: 행동적으로 현실적인 전략적 분류","authors":"Xinpeng Lv, Yunxin Mao, Renzhe Xu, Chunyuan Zheng, Jinxuan Yang, Yikai Chen, Yuanlong Chen, Yang Shi, Yuanxing Zhang, Haoxuan Li, Wenjing Yang, Shaowu Yang, Zhouchen Lin, Haotian Wang","pos":"#4311","link":"https://openreview.net/forum?id=tm6K5K4t25","abs":"Strategic classification studies the interaction between decision models and agents who strategically manipulate their features for favorable outcomes. Existing SC frameworks typically rely on the idealized assumption that agents are strictly rational. However, evidence from behavioral economics and psychology consistently shows that real-world decision-making is often shaped by cognitive biases, deviating from pure rationality. To formalize this limitation, we identify and define a new problem setting, termed the behaviorally realistic strategic classification problem, where agents’ strategic manipulations deviate from full rationality due to psychological biases. Motivated by the identified limitation, we propose the Prospect-Guided Strategic Framework (Pro-SF) to address the problem, a principled framework grounded in prospect theory to model and learn under behaviorally realistic strategic responses. Specifically, to capture behaviorally realistic strategic manipulations, our framework reformulates the Stackelberg-style interaction between agents and the decision-maker by incorporating three key mechanisms inspired by prospect theory, including the asymmetry between benefits and costs, different subjective reference points, and non-rational probability distortion. Experiments on synthetic and real-world datasets establish Pro-SF as a behaviorally grounded approach to strategic classification, bridging machine learning and behavioral economics for more reliable deployment in the real world.
","absKo":"Strategic classification은 decision model과, 유리한 결과를 얻기 위해 자신의 feature를 전략적으로 조작하는 agent 사이의 상호작용을 연구한다. 기존 SC framework는 대개 agent가 엄격하게 rational하다는 이상화된 가정에 의존한다. 그러나 behavioral economics와 psychology의 증거는 실제 의사결정이 종종 cognitive bias의 영향을 받아 순수한 rationality에서 벗어난다는 점을 일관되게 보여준다. 이 한계를 형식화하기 위해, 우리는 behavioral bias로 인해 agent의 전략적 조작이 완전한 rationality에서 벗어나는 새로운 문제 설정을 정의하고 이를 behaviorally realistic strategic classification problem이라 부른다. 이러한 한계에 동기부여를 받아, 우리는 이 문제를 해결하기 위해 Prospect-Guided Strategic Framework(Pro-SF)를 제안한다. 이는 prospect theory에 기반하여 behaviorally realistic strategic response 하에서 model을 구성하고 학습하는 원칙적인 framework이다. 구체적으로, behaviorally realistic한 전략적 조작을 포착하기 위해, 우리 framework는 prospect theory에서 영감을 받은 세 가지 핵심 메커니즘, 즉 이익과 비용의 비대칭성, 서로 다른 주관적 reference point, 그리고 비합리적 probability distortion을 포함하도록 agent와 decision-maker 사이의 Stackelberg-style interaction을 재구성한다. synthetic 및 real-world dataset에서의 실험은 Pro-SF가 행동 기반의 전략적 classification 접근법임을 입증하며, machine learning과 behavioral economics를 연결하여 실제 배포에서 더 신뢰할 수 있게 한다.
"},{"id":"60596","en":"Taming the Loss Landscape of PINNs with Noisy Feynman–Kac Supervision: Operator Preconditioning and Non-Asymptotic Error Bounds","ko":"Noisy Feynman-Kac Supervision으로 PINN의 손실 지형 길들이기: 연산자 사전조건화와 비점근 오차 경계","authors":"Nathanael Tepakbong, Hanyu HU, Chengyu Liu, Xiang ZHOU","pos":"#4504","link":"https://openreview.net/forum?id=yd4tq9Rf3L","abs":"Physics-Informed Neural Networks (PINNs) often train slowly or fail to converge on challenging partial differential equations (PDEs), a behavior recently linked to severely ill-conditioned loss landscapes inherited from the underlying differential operator. We propose FK-PINNs, a simple modification of the PINN objective that provably improves this conditioning: at a few points in the domain we compute Feynman--Kac estimates of the solution by Monte Carlo averaging, and add the resulting data-fidelity term to the standard residual and boundary losses. For a broad class of linear second-order PDEs admitting a Feynman--Kac representation, we show that this term acts as an operator-level preconditioner: for suitable weights, our comparison bounds guarantee a substantially smaller condition number than under the standard PINN loss, even for modest Monte Carlo sample budgets. Leveraging learning-theoretic tools, we derive non-asymptotic $L^2(\\Omega)$-error bounds for the FK-PINNs with $\\tanh$ activation by decomposing the excess risk into approximation, statistical, and optimization error terms and tightly controlling the Monte Carlo error tails. Along the way, we establish pseudo-dimension bounds for first- and second-order derivatives of $\\tanh$ neural networks, which are of independent interest and, to the best of our knowledge, new. Numerical experiments on Poisson, Schrödinger, mean exit time, and committor problems corroborate the theory, and show that FK-PINNs can successfully solve PDEs for which vanilla PINNs exhibit severe failure modes.","absKo":"물리 정보 신경망(Physics-Informed Neural Networks, PINNs)은 종종 느리게 학습되거나 도전적인 편미분방정식(partial differential equations, PDEs)에서 수렴에 실패하는데, 이는 최근 기저 미분 연산자에서 유래한 심각하게 ill-conditioned된 loss landscape와 관련이 있는 것으로 밝혀졌다. 우리는 FK-PINNs를 제안하는데, 이는 PINN objective에 대한 간단한 수정으로 조건수(conditioning)를 이론적으로 개선한다: 도메인의 몇몇 점에서 Monte Carlo averaging으로 해의 Feynman--Kac estimate를 계산하고, 그 결과로 얻은 data-fidelity term을 표준 residual 및 boundary loss에 추가한다. Feynman--Kac representation을 갖는 광범위한 선형 2차 PDE에 대해, 우리는 이 항이 operator-level preconditioner로 작동함을 보인다. 적절한 가중치에 대해, 우리의 comparison bound는 비교적 적은 Monte Carlo sample budget에서도 표준 PINN loss보다 훨씬 작은 condition number를 보장한다. 학습이론적 도구를 활용하여, 우리는 초과 위험(excess risk)을 approximation, statistical, optimization error 항으로 분해하고 Monte Carlo error tail을 정밀하게 제어함으로써, $\\tanh$ activation을 사용하는 FK-PINNs에 대한 비점근(non-asymptotic) $L^2(\\Omega)$ error bound를 유도한다. 이 과정에서 우리는 $\\tanh$ neural network의 1차 및 2차 미분에 대한 pseudo-dimension bound를 확립하는데, 이는 독립적으로도 흥미롭고, 우리가 아는 한 새로운 결과이다. Poisson, Schrödinger, mean exit time, committor 문제에 대한 수치 실험은 이 이론을 뒷받침하며, vanilla PINNs가 심각한 실패 양상을 보이는 PDE도 FK-PINNs가 성공적으로 풀 수 있음을 보여준다."},{"id":"61296","en":"Conformal Policy Control","ko":"Conformal 정책 제어","authors":"Drew Prinster, Clara Fannjiang, Ji Won Park, Kyunghyun Cho, Anqi Liu, Suchi Saria, Samuel Stanton","pos":"#604","link":"https://openreview.net/forum?id=rbwy4E0Kyz","abs":"An agent must try new behaviors to explore and improve. In high-stakes environments, an agent that violates safety constraints may cause harm and must be taken offline, curtailing any future interaction. Imitating old behavior is safe, but excessive conservatism discourages exploration. How much behavior change is too much? We show how to use any safe reference policy as a probabilistic regulator for any optimized but untested policy. Conformal calibration on data from the safe policy determines how aggressively the new policy can act, while provably enforcing the user's declared risk tolerance. Unlike conservative optimization methods, we do not assume the user has identified the correct model class nor tuned any hyperparameters. Unlike previous conformal methods, our theory provides finite-sample guarantees even for non-monotonic bounded constraint functions. Our experiments on applications ranging from natural language question answering to biomolecular engineering show that safe exploration is not only possible from the first moment of deployment, but can also improve performance.
","absKo":"agent는 탐색하고 개선하기 위해 새로운 행동을 시도해야 합니다. 고위험 환경에서는 safety constraint를 위반하는 agent가 해를 초래할 수 있으며, 이후의 상호작용이 중단되도록 offline 상태로 전환되어야 합니다. 과거 행동을 모방하는 것은 안전하지만, 지나친 보수성은 exploration을 억제합니다. 그렇다면 어느 정도의 behavior change가 과도한 것일까요? 우리는 임의의 safe reference policy를, 최적화되었지만 검증되지 않은 임의의 policy에 대한 probabilistic regulator로 사용하는 방법을 제시합니다. safe policy의 data에 대한 conformal calibration은 새로운 policy가 얼마나 공격적으로 행동할 수 있는지를 결정하는 한편, 사용자가 명시한 risk tolerance를 provably하게 강제합니다. 보수적 optimization 방법과 달리, 우리는 사용자가 올바른 model class를 식별했다고 가정하지 않으며 어떤 hyperparameter도 조정했다고 가정하지 않습니다. 기존 conformal method와 달리, 우리의 theory는 non-monotonic bounded constraint function에 대해서도 finite-sample guarantee를 제공합니다. natural language question answering부터 biomolecular engineering에 이르는 다양한 응용 실험은, 안전한 exploration이 배포 첫 순간부터 가능할 뿐 아니라 성능 향상으로도 이어질 수 있음을 보여줍니다.
"},{"id":"62327","en":"Axiomatic Atlas: A Prescriptive Framework for Neural Architecture Design","ko":"Axiomatic Atlas: Neural Architecture Design를 위한 규범적 Framework","authors":"Minghao Guo, Wojciech Matusik","pos":"#706","link":"https://openreview.net/forum?id=hcieHRnoQa","abs":"Neural architecture design lacks first principles: innovations are discovered empirically and justified post-hoc, with no systematic way to diagnose *why* an architecture fails or derive *what* repair will succeed. We introduce the *Axiomatic Atlas*, encoding requirements as composable axioms over graph connectivity, operator contracts, numerical stability, and information preservation. Given an operator library and wiring conventions, the Atlas constructs certificates lower-bounding output variation via min-cut analysis and diagnoses failures by locating axiom violations. Crucially, the framework is prescriptive: each violation implies a targeted repair, reducing architecture design to constraint satisfaction. We prove variation bounds under exact and finite-precision arithmetic, enabling modular verification across transformers, MoEs, SSMs, and GNNs. Four Atlas-derived interventions validate the approach: +46 percentage points on GNN bottlenecks, $3\\times$ robustness to MoE quantization, 83\\% gap closure with adaptive expert budgets, and 0\\%$\\to$100\\% retrieval via orthogonal keys---each against matched negative controls.","absKo":"Neural architecture design에는 first principle이 부족하다. 혁신은 경험적으로 발견되고 사후적으로 정당화될 뿐, architecture가 왜 실패하는지 진단하거나 어떤 repair가 성공할지 도출하는 체계적인 방법이 없다. 우리는 그래프 연결성, operator contract, numerical stability, information preservation에 대한 composable axiom으로 요구사항을 인코딩하는 *Axiomatic Atlas*를 소개한다. operator library와 wiring convention이 주어지면, Atlas는 min-cut analysis를 통해 output variation의 lower bound를 보이는 certificate를 구성하고, axiom violation의 위치를 찾아 failure를 진단한다. 결정적으로, 이 framework는 처방적이다. 각 violation은 targeted repair를 의미하므로, architecture design은 constraint satisfaction으로 환원된다. 우리는 exact arithmetic과 finite-precision arithmetic에서 variation bound를 증명하여, transformer, MoE, SSM, GNN 전반에 걸친 modular verification을 가능하게 한다. Atlas에서 도출된 네 가지 intervention이 이 접근법을 검증한다. GNN bottleneck에서 +46 percentage points, MoE quantization에 대해 3\\times robustness, adaptive expert budget으로 83\\% gap closure, 그리고 orthogonal key를 통한 retrieval 0\\%$\\to$100\\% --- 각각은 대응하는 negative control과 비교한 결과다."},{"id":"63311","en":"When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation","ko":"AI 벤치마크가 정체될 때: 벤치마크 포화에 대한 체계적 연구","authors":"Mubashara Akhtar, Anka Reuel, Prajna Soni, Sanchit Ahuja, Pawan Sasanka Ammanamanchi, Ruchit Rawal, Vilém Zouhar, Srishti Yadav, Chenxi Whitehouse, Dayeon Ki, Jennifer Mickel, Leshem Choshen, Marek Šuppa, Jan Batzner, Jenny Chim, Jeba Sania, Yanan Long, Hossein A. Rahmani, Christina Knight, Yiyang Nan, Jyoutir Raj, Yu Fan, Shubham Singh, Subramanyam Sahoo, Eliya Habba, Usman Gohar, Siddhesh Pawar, Robert Scholz, Arjun Subramonian, Jingwei Ni, Mrinmaya Sachan, Mykel Kochenderfer, Sanmi Koyejo, Stella Biderman, Zeerak Talat, Avijit Ghosh, Irene Solaiman","pos":"#4005","link":"https://openreview.net/forum?id=YC1Otscjbs","abs":"Artificial Intelligence (AI) benchmarks play a central role in measuring progress in model development and guiding deployment decisions. However, many benchmarks quickly become saturated, meaning that they can no longer differentiate between the best-performing models, diminishing their long-term value. In this study, we analyze benchmark saturation across 60 Large Language Model (LLM) benchmarks selected from technical reports by major model developers. To identify factors driving saturation, we characterize benchmarks along 14 properties spanning task design, data construction, and evaluation format. We test five hypotheses examining how each property contributes to saturation rates. Our analysis reveals that nearly half of the benchmarks exhibit saturation, with rates increasing as benchmarks age. Notably, hiding test data (i.e., public vs. private) shows no protective effect, while expert-curated benchmarks resist saturation better than crowdsourced ones. Our findings highlight which design choices extend benchmark longevity and inform strategies for more durable evaluation.
","absKo":"Artificial Intelligence (AI) benchmark는 model development의 진전을 측정하고 deployment decision을 안내하는 데 핵심적인 역할을 한다. 그러나 많은 benchmark는 빠르게 saturation에 도달하며, 이는 더 이상 최고 성능 model들 사이를 구분하지 못하게 되어 장기적 가치가 저하된다는 뜻이다. 본 연구에서는 주요 model developer들의 technical report에서 선별한 60개의 Large Language Model (LLM) benchmark를 대상으로 benchmark saturation을 분석한다. saturation을 유발하는 요인을 파악하기 위해, task design, data construction, evaluation format 전반에 걸친 14개의 속성으로 benchmark를 특성화한다. 각 속성이 saturation rate에 어떻게 기여하는지 살펴보는 다섯 가지 가설을 검증한다. 분석 결과, benchmark의 거의 절반이 saturation을 보이며, benchmark가 오래될수록 그 비율이 증가하는 것으로 나타났다. 특히 test data를 숨기는 것(public vs. private)은 보호 효과를 보이지 않았고, expert-curated benchmark는 crowdsourced benchmark보다 saturation에 더 잘 견디는 것으로 나타났다. 이러한 결과는 어떤 design choice가 benchmark의 수명을 연장하는지 보여 주며, 더 지속 가능한 evaluation을 위한 전략을 제시한다.
"},{"id":"64557","en":"Linguistic Nepotism: Trading-off Quality for Language Preference in Multilingual RAG","ko":"언어적 편애: 다국어 RAG에서 언어 선호를 위한 품질 트레이드오프","authors":"Dayeon Ki, Marine Carpuat, Paul McNamee, Daniel Khashabi, Eugene Yang, Dawn Lawrie, Kevin Duh","pos":"#4414","link":"https://openreview.net/forum?id=MDfCV0UHSb","abs":"Multilingual Retrieval-Augmented Generation (mRAG) systems enable language models to answer knowledge-intensive queries with citation-supported responses across languages. Despite their growing use, an open questions is whether the mixture of different document languages impacts generation and citation behavior in unintended ways. To investigate this, we introduce a controlled methodology using model internals to measure language preference while holding other factors such as document relevance constant. Across eight languages and six open-weight models, we find that models preferentially cite English sources when queries are in English, with this bias amplified for lower-resource languages and for documents positioned mid-context. More crucially, we find that models sometimes trade-off document relevance for language preference, indicating that citation choices are not always driven by informativeness alone. Our findings shed light on how language models leverage multilingual context and influence citation behavior.
","absKo":"Multilingual Retrieval-Augmented Generation(mRAG) 시스템은 언어 모델이 언어를 넘나들며 citation이 포함된 응답으로 지식 집약적 질의에 답할 수 있게 한다. 사용이 늘어남에도 불구하고, 서로 다른 문서 언어의 혼합이 generation과 citation behavior에 의도치 않은 방식으로 영향을 미치는지에 대한 열린 질문이 남아 있다. 이를 조사하기 위해, 우리는 다른 요인들, 예를 들어 document relevance 등을 고정한 채 model internals를 사용해 language preference를 측정하는 통제된 방법론을 도입한다. 8개 언어와 6개의 open-weight model 전반에서, 영어로 된 query에는 모델이 영어 source를 우선적으로 인용하며, 이러한 bias는 저자원 언어와 mid-context에 위치한 문서에서 더 강해짐을 발견했다. 더 중요하게는, 모델이 때때로 document relevance를 language preference와 맞바꾸는 경우가 있음을 확인했는데, 이는 citation 선택이 항상 정보성만으로 결정되지 않음을 보여 준다. 우리의 결과는 언어 모델이 multilingual context를 어떻게 활용하며 citation behavior에 어떤 영향을 미치는지에 대한 통찰을 제공한다.
"},{"id":"65384","en":"Unison: Benchmarking Unified Multimodal Models via Synergistic Understanding and Generation","ko":"Unison: 시너지적 이해 및 생성을 통한 통합 멀티모달 모델 벤치마킹","authors":"Jinyu Liu, Xincheng Shuai, Henghui Ding, Yu-Gang Jiang","pos":"#3017","link":"https://openreview.net/forum?id=EAH54wIQNb","abs":"Unified multimodal models capable of both understanding and generation have achieved remarkable strides. However, despite their unified designs, existing evaluations typically assess understanding and generation capabilities in isolation, overlooking the synergy between comprehension and generation. To bridge this gap, we introduce Unison, a comprehensive benchmark comprising 2,169 high-quality unified task samples, designed to evaluate joint understanding and generation in unified multimodal models. Unison offers three key strengths: 1) Comprehensive Dimensions: Unison encompasses internal consistency, understanding-guided generation, generation-guided understanding, and mutual enhancement to enable holistic evaluation. 2) Diagnostic Evaluation: it provides both unified and decoupled tracks for understanding and generation, allowing fine-grained attribution of failure modes and quantitative analysis of the gains from unified modeling. 3) Human Alignment: we also train Unison-Judge, an evaluation model well aligned with human judgments to achieve reliable assessment. Based on systematic evaluations of state-of-the-art models on Unison, we uncover critical limitations in current unified multimodal systems and highlight promising directions for future research. Unison will be publicly released to facilitate evaluation and advance this field.
","absKo":"이해와 생성을 모두 수행할 수 있는 unified multimodal model은 놀라운 진전을 이뤘다. 그러나 unified design에도 불구하고, 기존 평가 방식은 대체로 이해와 생성 능력을 분리해서 측정하며, comprehension과 generation 사이의 시너지 효과를 간과한다. 이러한 간극을 메우기 위해, 우리는 unified multimodal model에서 joint understanding과 generation을 평가하도록 설계된 2,169개의 고품질 unified task sample로 구성된 종합 benchmark Unison을 제안한다. Unison은 세 가지 핵심 장점을 제공한다. 1) Comprehensive Dimensions: Unison은 internal consistency, understanding-guided generation, generation-guided understanding, mutual enhancement를 포괄하여 총체적 평가를 가능하게 한다. 2) Diagnostic Evaluation: understanding과 generation에 대해 unified track과 decoupled track을 모두 제공하여, failure mode의 세밀한 귀속 분석과 unified modeling의 이득에 대한 정량 분석을 가능하게 한다. 3) Human Alignment: 또한 인간 판단과 잘 정렬되는 평가 model Unison-Judge를 학습시켜 신뢰할 수 있는 평가를 달성한다. Unison에서 최신 model을 체계적으로 평가한 결과, 현재 unified multimodal system의 중요한 한계를 밝혀냈으며 향후 연구를 위한 유망한 방향을 제시한다. Unison은 이 분야의 평가와 발전을 촉진하기 위해 공개될 예정이다.
"},{"id":"66709","en":"Quantifying Frontier LLM Capabilities for Container Sandbox Escape","ko":"Container Sandbox Escape에 대한 최신 LLM 역량 정량화","authors":"Rahul Marchand, Art Cathain, Jerome Wynne, Philippos Giavridis, Sam Deverett, John Wilkinson, Jason Gwartz, Harry Coppock","pos":"#2908","link":"https://openreview.net/forum?id=19AbP986bv","abs":"Large Language Models (LLMs) increasingly act as autonomous agents with tool use, ability to execute code, file I/O, and network access. These capabilities create novel security risks. To mitigate these risks, agents are often deployed and evaluated in isolated environments commonly referred to as sandboxes, with Docker or OCI as one of the most popular container runtimes for sandbox implementations. We introduce SandboxEscapeBench, an open benchmark that safely measures an LLM's capacity to break out of these sandboxes. The benchmark is implemented as an \\texttt{Inspect AI} Capture the Flag (CTF) evaluation utilising a nested sandbox architecture with the outer layer containing the flag and no known vulnerabilities. Following a threat model of a motivated adversarial agent with shell access inside a container, \\bench covers a spectrum of sandbox-escape mechanisms spanning misconfiguration, privilege allocation mistakes, kernel flaws, and runtime/orchestration weaknesses. We find that, when vulnerabilities are added, LLMs are able to identify and exploit them, showing that use of evaluation like \\bench is needed to ensure sandboxing continues to provide the encapsulation needed for highly-capable models.
","absKo":"Large Language Models (LLMs)는 도구 사용, 코드 실행, 파일 I/O, 네트워크 접근이 가능한 자율 에이전트로 점점 더 많이 활용되고 있습니다. 이러한 능력은 새로운 보안 위험을 초래합니다. 이를 완화하기 위해 에이전트는 흔히 sandbox라 불리는 격리된 환경에서 배포되고 평가되며, Docker 또는 OCI는 sandbox 구현에 가장 널리 쓰이는 container runtime 중 하나입니다. 우리는 LLM이 이러한 sandbox를 탈출할 수 있는 능력을 안전하게 측정하는 open benchmark인 SandboxEscapeBench를 소개합니다. 이 benchmark는 flag가 포함되어 있고 알려진 취약점이 없는 outer layer를 가진 nested sandbox architecture를 사용하는 \\texttt{Inspect AI} Capture the Flag (CTF) 평가로 구현되었습니다. container 내부에서 shell access를 가진 의도적인 adversarial agent라는 threat model을 따르며, \\bench는 misconfiguration, privilege allocation 실수, kernel 취약점, runtime/orchestration 취약점을 아우르는 sandbox escape 메커니즘의 스펙트럼을 다룹니다. 우리는 취약점을 추가했을 때 LLM이 이를 식별하고 exploit할 수 있음을 발견했으며, 이는 고성능 모델에 필요한 encapsulation을 sandboxing이 계속 제공하도록 보장하기 위해 \\bench와 같은 평가가 필요함을 보여줍니다.
"},{"id":"66157","en":"Unveiling Multi-regime Patterns in SciML: Distinct Failure Modes and Regime-specific Optimization","ko":"SciML의 다중 체제 패턴 규명: 구별되는 실패 모드와 체제별 최적화","authors":"Yuanzhe Hu, Xiaopeng Wang, Yuxin Wang, Xiaokun Zhong, Haiquan Lu, Tianyu Pang, Michael Mahoney, Yujun Yan, Pu Ren, Yaoqing Yang","pos":"#4003","link":"https://openreview.net/forum?id=6GpYUWbqOQ","abs":"Neural networks (NNs) trained under different hyperparameters can fall into distinct training ``regimes'', with models in the same regime showing homogeneous properties and models across regimes differing qualitatively. In this paper, we analyze multi-regime patterns in scientific machine learning (SciML) models by characterizing these regimes and the transitions between them. We show how different regimes affect trainability and generalization, and we demonstrate that loss-landscape analysis enables regime-based diagnostics to understand, evaluate, and improve SciML model training. Our analysis yields three key insights: (1) compared with computer vision (CV) tasks, SciML models exhibit significantly more pathological loss landscapes; (2) optimization methods are regime-specific -- different optimization strategies help in different regimes, but none is uniformly effective; and (3) SciML models exhibit fine-grained failure modes that challenge conventional interpretations of standard loss-landscape metrics. Using this study, we aim to unify our understanding of seemingly different failure modes across SciML tasks and obtain task-oblivious insights and methodologies for addressing these failures. We validate these findings across widely used SciML models, including physics-informed neural networks (PINNs), Fourier neural operators (FNOs), and Neural Ordinary Differential Equations (NeuralODEs), on benchmarks spanning representative ordinary and partial differential equations.
","absKo":"서로 다른 hyperparameter로 학습된 neural network (NN)는 서로 구별되는 training ``regime''에 놓일 수 있으며, 같은 regime의 model들은 동질적인 property를 보이는 반면 서로 다른 regime의 model들은 질적으로 다르다. 이 논문에서는 이러한 regime와 그 사이의 transition을 특성화함으로써 scientific machine learning (SciML) model의 multi-regime pattern을 분석한다. 우리는 서로 다른 regime가 trainability와 generalization에 어떤 영향을 미치는지 보이고, loss-landscape analysis가 regime 기반 진단을 가능하게 하여 SciML model 학습을 이해하고, 평가하고, 개선하는 데 도움을 줌을 입증한다. 우리의 분석은 세 가지 핵심 통찰을 제공한다: (1) computer vision (CV) task와 비교할 때 SciML model은 훨씬 더 병리적인 loss landscape를 보인다; (2) optimization method는 regime-specific하다 - 서로 다른 optimization strategy가 서로 다른 regime에서는 도움이 되지만, 어느 것도 보편적으로 효과적이지는 않다; 그리고 (3) SciML model은 표준 loss-landscape metric의 기존 해석에 도전하는 세밀한 failure mode를 보인다. 이 연구를 통해 우리는 겉보기에는 서로 다른 SciML task 전반의 failure mode에 대한 이해를 통합하고, 이러한 실패를 다루기 위한 task-oblivious한 통찰과 방법론을 얻고자 한다. 우리는 physics-informed neural network (PINN), Fourier neural operator (FNO), Neural Ordinary Differential Equation (NeuralODE) 등 널리 사용되는 SciML model들과, 대표적인 ordinary differential equation 및 partial differential equation을 포괄하는 benchmark 전반에서 이러한 결과를 검증한다.
"},{"id":"62206","en":"Systematic Failures in Collective Reasoning under Distributed Information in Multi-Agent LLMs","ko":"다중 Agent LLM에서 분산된 정보 하 집단 추론의 체계적 실패","authors":"Yuxuan Li, Aoi Naito, Hirokazu Shirado","pos":"#4313","link":"https://openreview.net/forum?id=igHBKQaLLP","abs":"Multi-agent systems built on large language models (LLMs) are expected to enhance decision-making by pooling distributed information, yet systematically evaluating this capability has remained challenging. We introduce HiddenBench, a 65-task benchmark grounded in the Hidden Profile paradigm, which isolates collective reasoning under distributed information from individual reasoning ability. Evaluating 15 frontier LLMs, we find that multi-agent LLMs achieve only 30.1% accuracy under distributed information, compared to 80.7% accuracy for single agents given complete information. We trace this gap to a systematic failure mode: agents cannot recognize or act under latent information asymmetry—they fail to reason about what others might know but have not yet expressed, leading to premature convergence on shared evidence while critical distributed facts remain unexplored. These failures persist across prompting strategies, communication depths, and group sizes—and worsen as groups scale. While some models (e.g., Gemini-2.5-Flash/Pro) outperform others, neither model scale nor individual reasoning accuracy reliably predicts collective performance. Our results identify failures in collective information exploration in decision-making as a key limitation of multi-agent LLMs, and provide a theory-grounded, reproducible framework for diagnosing collective reasoning failures.
","absKo":"대규모 언어 모델(LLM) 위에 구축된 multi-agent system은 분산된 정보를 모아 의사결정을 향상시킬 것으로 기대되지만, 이러한 능력을 체계적으로 평가하는 일은 여전히 어렵다. 우리는 분산 정보 하에서의 집단적 추론을 개인적 추론 능력으로부터 분리해내는 Hidden Profile 패러다임에 기반한 65개 태스크 벤치마크인 HiddenBench를 소개한다. 15개의 frontier LLM을 평가한 결과, multi-agent LLM은 분산 정보 하에서 정확도 30.1%에 그친 반면, 완전한 정보가 주어졌을 때의 single agent는 80.7%의 정확도를 보였다. 우리는 이 격차를 체계적인 실패 양상으로 추적한다. 즉, 에이전트들이 잠재된 정보 비대칭을 인식하거나 그에 따라 행동하지 못한다는 점이다. 다시 말해, 다른 에이전트가 무엇을 알고 있지만 아직 표현하지 않았는지에 대해 추론하지 못하며, 그 결과 공유된 증거에 너무 일찍 수렴하고 중요한 분산 사실들은 탐색되지 않은 채 남는다. 이러한 실패는 prompting 전략, communication depth, group size 전반에 걸쳐 지속되며, 그룹 규모가 커질수록 악화된다. 일부 모델들(예: Gemini-2.5-Flash/Pro)은 다른 모델보다 더 좋은 성능을 보이지만, 모델 규모나 개별 추론 정확도 어느 쪽도 집단 성능을 신뢰성 있게 예측하지는 못한다. 우리의 결과는 의사결정에서의 집단적 정보 탐색 실패가 multi-agent LLM의 핵심 한계임을 밝히며, 집단 추론 실패를 진단하기 위한 이론적 근거를 갖춘 재현 가능한 프레임워크를 제공한다.
"},{"id":"67099","en":"Position: ICML Should Treat Hosted LLM APIs as Versioned Dependencies and Require Drift-Audit Artifacts","ko":"Position: ICML은 호스팅 LLM API를 버전 관리되는 의존성으로 취급하고 Drift-Audit 산출물을 요구해야 한다","authors":"Utsav Gupta","pos":"#4316","link":"https://openreview.net/forum?id=ivW5cQd53r","abs":"This position paper argues that ICML should require a minimal drift-audit artifact for papers whose main claims materially rely on hosted LLM APIs. Hosted APIs can change behavior over time, undermining the scientific interpretability of results even when evaluation code and prompts are held fixed. While existing proposals address API contracts and change reporting, there is not yet a widely adopted, venue-aligned standard for attaching a minimal drift-audit artifact to results that rely on hosted endpoints. The paper proposes a lightweight artifact consisting of a small suite of invariant-checking probes (e.g., schema, tool-call, or refusal invariants), machine-readable provenance metadata, and a rerun script that can detect and characterize post-publication behavioral drift at bounded cost. It further argues that provider-side behavioral versioning and machine-readable changelogs are enabling infrastructure that would make drift-aware reporting more reliable and less burdensome. The paper concludes with concrete actions for conferences, providers, and tool builders, and with falsifiable predictions about improved replication stability and reduced time-to-diagnosis when results stop reproducing.
","absKo":"이 position paper는 주요 주장이 hosted LLM API에 실질적으로 의존하는 논문들에 대해 ICML이 최소한의 drift-audit artifact 제출을 요구해야 한다고 주장한다. hosted API는 시간이 지남에 따라 동작이 바뀔 수 있으며, 이는 평가 코드와 prompt를 고정하더라도 결과의 과학적 해석 가능성을 약화시킨다. 기존 제안들은 API contract와 변경 보고를 다루고 있지만, hosted endpoint에 의존하는 결과에 최소 drift-audit artifact를 첨부하기 위한 널리 채택된 venue 정렬 표준은 아직 없다. 이 논문은 작은 invariant-checking probe 세트(예: schema, tool-call, refusal invariant), machine-readable provenance metadata, 그리고 publication 이후의 behavioral drift를 제한된 비용으로 탐지하고 특성화할 수 있는 rerun script로 구성된 경량 artifact를 제안한다. 또한 provider-side behavioral versioning과 machine-readable changelog가 drift-aware reporting을 더 신뢰할 수 있고 부담이 덜한 방식으로 만들 수 있는 기반 인프라라고 주장한다. 논문은 conferences, provider, tool builder를 위한 구체적 행동과, 결과가 더 이상 재현되지 않을 때 replication stability 향상 및 diagnosis time 단축에 대한 반증 가능한 예측으로 마무리한다.
"},{"id":"64880","en":"Adaptive Testing for LLM Evaluation: A Psychometric Alternative to Static Benchmarks","ko":"LLM 평가를 위한 적응적 검사: 정적 벤치마크에 대한 심리측정학적 대안","authors":"Peiyu Li, Xiuxiu Tang, Si Chen, Ying Cheng, Ronald Metoyer, Ting Hua, Nitesh Chawla","pos":"#4412","link":"https://openreview.net/forum?id=ItJEC1Mk0V","abs":"Evaluating large language models (LLMs) typically requires thousands of benchmark items, making the process expensive, slow, and increasingly impractical at scale. Existing evaluation protocols rely on average accuracy over fixed item sets, treating all items as equally informative despite substantial variation in difficulty and discrimination. We introduce ATLAS, an adaptive testing framework based on Item Response Theory (IRT) that estimates model ability using Fisher information–guided item selection. ATLAS reduces the number of required items by up to 90% while maintaining measurement precision. For instance, it matches whole-bank ability estimates using only 41 items (0.157 MAE) on HellaSwag (5,600 items). We further reconstruct accuracy from ATLAS's ability estimates and find that reconstructed accuracies closely match raw accuracies across all five benchmarks, indicating that ability preserves the global performance structure. At the same time, provides finer discrimination within accuracy-equivalent models: among more than 3,000 evaluated models, 23--31% shift by more than 10 rank positions, and models with identical accuracies receive meaningfully different ability estimates. Code and calibrated item banks available at https://anonymous.4open.science/r/ATLAS-3210/README.md.
","absKo":"large language models(LLMs)의 평가는 일반적으로 수천 개의 benchmark 항목을 요구하므로, 이 과정은 비용이 크고 느리며 규모가 커질수록 점점 비실용적이다. 기존 평가 프로토콜은 고정된 항목 집합에 대한 평균 정확도에 의존하며, 난이도와 변별력의 상당한 차이에도 불구하고 모든 항목을 동일하게 정보적인 것으로 취급한다. 우리는 Item Response Theory(IRT)에 기반한 적응형 테스트 프레임워크 ATLAS를 제안하며, Fisher information-guided item selection을 사용해 모델 능력을 추정한다. ATLAS는 측정 정밀도를 유지하면서 필요한 항목 수를 최대 90%까지 줄인다. 예를 들어, HellaSwag(5,600개 항목)에서 41개 항목만으로 전체 문항은행 기반 능력 추정을 맞추며(0.157 MAE), 우리는 ATLAS의 능력 추정치로부터 accuracy를 재구성하여 다섯 개 benchmark 모두에서 재구성된 accuracy가 원래 accuracy와 밀접하게 일치함을 확인했다. 이는 능력 추정치가 전역 성능 구조를 보존함을 의미한다. 동시에, 능력 추정치는 정확도가 같은 모델들 사이에서도 더 세밀한 변별을 제공한다. 3,000개가 넘는 평가 모델 중 23--31%가 10개 이상의 순위 위치를 이동했으며, 정확도가 동일한 모델들도 의미 있게 다른 능력 추정치를 받았다. 코드와 calibrated item bank는 https://anonymous.4open.science/r/ATLAS-3210/README.md 에서 제공된다.
"},{"id":"63001","en":"On Stable Long-Form Generation: Benchmarking and Mitigating Length Volatility","ko":"안정적 장문 생성: 길이 변동성 벤치마킹 및 완화","authors":"Zhitao He, Haolin Yang, Rui Min, Zeyu Qin, Yi Fung","pos":"#4416","link":"https://openreview.net/forum?id=b2HyJdIZ1F","abs":"Large Language Models (LLMs) excel at long-context understanding but exhibit significant limitations in long-form generation. Existing studies primarily focus on single-generation quality, generally overlooking the volatility of the output (i.e., the inconsistency in length and content across multiple generations). This volatility not only leads to significant computational costs but also severely impacts the models' reliable application. To address this gap, our work unfolds in three stages: benchmarking, probing, and mitigation. We first propose the VOlatility in Long-form Text Benchmark (VOLTBench), a novel heterogeneous-task benchmark designed to systematically quantify the length volatility of long-form generation. Subsequently, by analyzing attention traces, we conduct an in-depth probe to identify several common internal patterns that cause this volatility. Finally, to mitigate long-form output volatility, we propose SELB (Structural Enforcement via Logits Boosting), a lightweight decoding-stage optimization strategy, designed to significantly enhance both the length accuracy and stability of long-form generation without additional training. Extensive experiments on VOLTBench provide the first systematic confirmation of severe long-form output instability in mainstream models and validate that our proposed method successfully improves the mean output length of the base model by 148% and reduces the length volatility by 69%, while maintaining high generation quality.
","absKo":"Large Language Models(LLMs)은 긴 문맥 이해에서는 뛰어나지만, long-form generation에서는 뚜렷한 한계를 보인다. 기존 연구는 주로 단일 생성의 품질에 초점을 맞추어, 출력의 volatility(즉, 여러 번 생성했을 때 길이와 내용이 일관되지 않은 현상)를 대체로 간과해 왔다. 이러한 volatility는 상당한 계산 비용을 유발할 뿐 아니라, model의 신뢰 가능한 적용에도 심각한 영향을 준다. 이 간극을 메우기 위해 우리의 연구는 세 단계로 전개된다: benchmarking, probing, mitigation. 먼저 우리는 long-form generation의 length volatility를 체계적으로 정량화하기 위해 설계된 새로운 heterogeneous-task benchmark인 VOlatility in Long-form Text Benchmark(VOLTBench)를 제안한다. 이후 attention trace를 분석하여, 이러한 volatility를 유발하는 몇 가지 공통적인 internal pattern을 깊이 있게 probe한다. 마지막으로 long-form output volatility를 완화하기 위해, 추가 training 없이도 long-form generation의 length accuracy와 stability를 크게 향상시키도록 설계된 lightweight decoding-stage optimization strategy인 SELB(Structural Enforcement via Logits Boosting)를 제안한다. VOLTBench에서의 광범위한 실험은 주류 model에서 심각한 long-form output instability가 존재함을 처음으로 체계적으로 확인했으며, 우리가 제안한 방법이 base model의 평균 출력 길이를 148% 향상시키고 length volatility를 69% 줄이면서도 높은 generation quality를 유지함을 검증한다.
"},{"id":"62220","en":"Many Needles in a Haystack: Active Hit Discovery for Perturbation Experiments","ko":"건초더미의 수많은 바늘: Perturbation 실험을 위한 Active Hit Discovery","authors":"Andrea Rubbi, Arpit Merchant, Samuel Ogden, Amir Akbarnejad, Pietro Lió, Sattar Vakili, Mohammad Lotfollahi","pos":"#1007","link":"https://openreview.net/forum?id=iZN85pjpsS","abs":"High-throughput gene perturbation experiments can test several genetic interventions in parallel, yet experimental budgets remain limited. A central goal is hit discovery: identifying as many perturbations as possible whose phenotypic effect exceeds a predefined threshold. Pure exploration strategies are statistically inefficient, wasting budget on low-value regions. Bayesian optimization methods offer a principled alternative but target a single global optimum, over-exploiting dominant modes while neglecting other high-value regions. We formalize hit discovery as a sequential experimental design problem and propose Probability-of-Hit, an acquisition function that directly targets threshold exceedance by ranking candidates according to their posterior probability of being a hit. We prove asymptotic optimality of this approach and demonstrate strong empirical performance on both synthetic benchmarks and real biological immunology datasets, including upto 6.4\\% improvement over baselines on the Schmidt IL-2 dataset.
","absKo":"고처리량 gene perturbation 실험은 여러 genetic intervention을 병렬로 시험할 수 있지만, 실험 예산은 여전히 제한적이다. 핵심 목표는 hit discovery, 즉 phenotypic effect가 사전에 정한 threshold를 넘는 perturbation을 가능한 한 많이 식별하는 것이다. 순수 탐색 전략은 통계적으로 비효율적이며, 예산을 가치가 낮은 영역에 낭비한다. Bayesian optimization 방법은 원칙적인 대안을 제공하지만 단일 글로벌 optimum을 목표로 하므로, 지배적인 mode를 과도하게 exploit하면서 다른 고가치 영역은 간과한다. 우리는 hit discovery를 순차적 실험 설계 문제로 정식화하고, candidate를 posterior probability of being a hit에 따라 순위를 매겨 threshold exceedance를 직접 목표로 하는 acquisition function인 Probability-of-Hit를 제안한다. 우리는 이 접근법의 asymptotic optimality를 증명하고, synthetic benchmark와 Schmidt IL-2 dataset을 포함한 실제 생물학 immunology dataset에서 강력한 경험적 성능을 입증하며, 해당 dataset에서 baseline 대비 최대 6.4\\% 향상을 보인다.
"},{"id":"68804","en":"Reinforcement Learning from Human Feedback with Active Queries","ko":"Active Query를 이용한 인간 피드백 기반 강화학습","authors":"Kaixuan Ji, Jiafan He, Quanquan Gu","pos":"#118","abs":"Aligning large language models (LLM) with human preference plays a key role in building modern generative models and can be achieved by reinforcement learning from human feedback (RLHF). Despite their superior performance, current RLHF approaches often require a large amount of human-labelled preference data, which is expensive to collect. In this paper, inspired by the success of active learning, we address this problem by proposing query-efficient RLHF methods. We first formalize the alignment problem as a contextual dueling bandit problem and design an active-query-based proximal policy optimization (APPO) algorithm with an $\\tilde{O}(d^2/\\Delta)$ instance-dependent regret bound and an $\\tilde{O}(d^2/\\Delta^2)$ query complexity, where $d$ is the dimension of feature space and $\\Delta$ is the sub-optimality gap over all the contexts. We then propose ADPO, a practical version of our algorithm based on direct preference optimization (DPO) and apply it to fine-tuning LLMs. Our experiments show that ADPO, while only making about half of queries for human preference, matches the performance of DPO, establishing it as a data-efficient alternative to DPO. The codes are available at https://github.com/jkx19/ActiveQuery.","absKo":"대규모 language model (LLM)을 인간의 선호에 맞추는 것은 현대 generative model 구축에서 핵심적인 역할을 하며, reinforcement learning from human feedback (RLHF)로 달성할 수 있다. 우수한 성능에도 불구하고, 현재의 RLHF 접근법은 대개 수집 비용이 큰 대량의 인간 라벨 선호 데이터를 필요로 한다. 본 논문에서는 active learning의 성공에 착안하여, query-efficient RLHF 방법을 제안함으로써 이 문제를 해결한다. 먼저 우리는 alignment 문제를 contextual dueling bandit 문제로 정식화하고, instance-dependent regret bound가 $\\tilde{O}(d^2/\\Delta)$이고 query complexity가 $\\tilde{O}(d^2/\\Delta^2)$인 active-query-based proximal policy optimization (APPO) 알고리즘을 설계한다. 여기서 $d$는 feature space의 차원이고 $\\Delta$는 모든 context에 걸친 sub-optimality gap이다. 이어서 우리는 direct preference optimization (DPO)을 기반으로 한 실제적인 버전인 ADPO를 제안하고 이를 LLM fine-tuning에 적용한다. 실험 결과 ADPO는 인간 선호에 대한 query를 약 절반만 사용하면서도 DPO와 동등한 성능을 보여, DPO의 data-efficient한 대안임을 입증한다. 코드는 https://github.com/jkx19/ActiveQuery 에서 제공된다."},{"id":"61289","en":"Hybrid Reinforcement Learning in Adversarial Markov Decision Processes","ko":"적대적 Markov Decision Process에서의 Hybrid Reinforcement Learning","authors":"Duo Cheng, Xingyu Zhou, Bo Ji","pos":"#119","link":"https://openreview.net/forum?id=rfIFRFon5W","abs":"We study hybrid Reinforcement Learning (RL) in adversarial Markov Decision Processes (MDPs), where the learner simultaneously receives on-policy feedback from the executed policy and off-policy feedback from a fixed behavior policy, and loss functions can change arbitrarily over time. On-policy feedback allows exploration and ensures the worst-case guarantee against any comparator policy, while off-policy feedback provides coverage-dependent guarantee that scales with the \"mismatch\" between the behavior and comparator policies (called coverage ratio) and can be sharper than on-policy results whenever this ratio is small. We propose a new hybrid RL framework that accommodates adversarial losses and unknown transitions, preserving off-policy guarantees while ensuring non-trivial worst-case performance.
","absKo":"우리는 adversarial Markov Decision Processes (MDPs)에서의 hybrid Reinforcement Learning (RL)을 연구한다. 여기서 learner는 실행된 policy로부터의 on-policy feedback과 고정된 behavior policy로부터의 off-policy feedback을 동시에 받으며, loss function은 시간에 따라 임의로 변할 수 있다. On-policy feedback은 exploration을 가능하게 하고 어떤 comparator policy에 대해서도 worst-case guarantee를 보장하는 반면, off-policy feedback은 behavior policy와 comparator policy 사이의 \"mismatch\"(coverage ratio라고 부름)에 따라 달라지는 coverage-dependent guarantee를 제공하며, 이 비율이 작을 때는 on-policy 결과보다 더 날카로운 보장을 줄 수 있다. 우리는 adversarial loss와 unknown transition을 수용하면서도 off-policy guarantee를 보존하고, 비자명한 worst-case 성능을 보장하는 새로운 hybrid RL framework를 제안한다.
"},{"id":"63222","en":"Online Continual Learning with Dynamic Label Hierarchies","ko":"동적 레이블 계층을 활용한 온라인 지속 학습","authors":"Xinrui Wang, Shao-Yuan Li, Bartłomiej Twardowski, Alexandra Gomez-Villa, Songcan Chen","pos":"#3903","link":"https://openreview.net/forum?id=YyesH7V9c2","abs":"Online Continual Learning (OCL) aims to learn from endless non\\text{-}stationary data streams, yet most existing methods assume a flat label space and overlook the hierarchical organization of real\\text{-}world concepts that evolves both horizontally (sibling classes) and vertically (coarse or fine categories). To better reflect this context, we introduce a new problem setting, DHOCL (Online Continual Learning from Dynamic Hierarchies), where taxonomies evolve across granularities and each sample provides supervision at a single hierarchical level. In this setting, we find two fundamental issues: (i) partial supervision under mixed granularities provides only point-wise signals over an evolving path-wise hierarchy, which constrains plasticity and undermines cross-level semantic consistency, and (ii) the dynamically evolving hierarchies induce granularity-dependent interference, destabilizing popular replay and regularization mechanisms and thereby exacerbating catastrophic forgetting. To tackle these issues, we propose HALO (Hierarchical Adaptive Learning with Organized Prototypes), which adaptively combines complementary classification heads, regularized by organized learnable hierarchical prototypes, enabling rapid adaptation, hierarchical consistency, and structured knowledge consolidation as the taxonomy evolves. Extensive experiments on multiple benchmarks demonstrate that HALO consistently outperforms existing methods across hierarchical accuracy, mistake severity, and continual performance.
","absKo":"Online Continual Learning (OCL)은 끝없이 이어지는 non\\text{-}stationary data stream으로부터 학습하는 것을 목표로 하지만, 기존의 대부분 방법은 flat label space를 가정하며 수평적으로는 sibling class, 수직적으로는 coarse 또는 fine category로 진화하는 실제 개념의 hierarchical organization을 간과한다. 이러한 맥락을 더 잘 반영하기 위해, 우리는 DHOCL (Online Continual Learning from Dynamic Hierarchies)이라는 새로운 문제 설정을 도입한다. 여기서 taxonomy는 granularity 전반에 걸쳐 진화하며 각 sample은 하나의 hierarchical level에서만 supervision을 제공한다. 이 설정에서 우리는 두 가지 근본적인 문제를 발견한다. (i) mixed granularity 하에서의 partial supervision은 진화하는 path-wise hierarchy에 대해 point-wise signal만 제공하므로 plasticity를 제한하고 cross-level semantic consistency를 약화시킨다. (ii) 동적으로 진화하는 hierarchy는 granularity-dependent interference를 유발하여 널리 쓰이는 replay 및 regularization mechanism을 불안정하게 만들고, 그 결과 catastrophic forgetting을 악화시킨다. 이러한 문제를 해결하기 위해, 우리는 HALO (Hierarchical Adaptive Learning with Organized Prototypes)를 제안한다. HALO는 organized learnable hierarchical prototype으로 regularization된 complementary classification head를 적응적으로 결합하여, taxonomy가 진화함에 따라 빠른 적응, hierarchical consistency, 구조화된 knowledge consolidation을 가능하게 한다. 여러 benchmark에서의 광범위한 실험은 HALO가 hierarchical accuracy, mistake severity, continual performance 전반에서 기존 방법을 일관되게 능가함을 보여준다.
"},{"id":"64214","en":"HIAL: Towards Semantics-Aware Hypergraph Active Learning via Dual-Perspective Information Maximization","ko":"HIAL: 이중 관점 정보 최대화를 통한 시맨틱 인식 하이퍼그래프 능동 학습","authors":"Yanheng Hou, Xunkai Li, Yanzhe Wen, Zhenjun Li, Bing Zhou, Rong-Hua Li, Guoren Wang","pos":"#3915","link":"https://openreview.net/forum?id=PtpuJFad8G","abs":"Hypergraph Neural Networks (HNNs) model high-order interactions effectively but rely on costly node annotations, motivating Hypergraph Active Learning (HAL). However, many HAL pipelines adapt graph-based querying through clique expansion, which introduces structural bias and can cause \\emph{ranking collapse}, making utilities overly determined by hyperedge cardinalities rather than informative high-order relations. We propose HIAL (Hypergraph Influence-based Active Learning), a training-free framework that reformulates HAL as influence maximization directly on hypergraphs. HIAL employs a High-Order Interaction (HOI)-aware propagation mechanism that modulates influence flow using within-hyperedge feature consistency, capturing both feature sensitivity and topological reachability while preserving HOI semantics. We prove the resulting objective is monotone and submodular, enabling an efficient greedy solver. Experiments on eight benchmarks demonstrate that HIAL consistently outperforms strong baselines across diverse hypergraph domains.
","absKo":"Hypergraph Neural Networks (HNNs)는 high-order interaction을 효과적으로 모델링하지만, 비용이 큰 node annotation에 의존하므로 Hypergraph Active Learning (HAL)이 필요하다. 그러나 많은 HAL pipeline은 graph-based querying을 clique expansion을 통해 적응시키는데, 이는 구조적 편향을 도입하고 ranking collapse를 유발할 수 있어, utility가 정보성 높은 high-order relation보다 hyperedge cardinality에 지나치게 좌우되게 만든다. 우리는 HAL을 hypergraph에서 직접 influence maximization으로 재정식화하는 training-free framework인 HIAL (Hypergraph Influence-based Active Learning)을 제안한다. HIAL은 hyperedge 내부 feature consistency를 사용해 influence flow를 조절하는 High-Order Interaction (HOI)-aware propagation mechanism을 채택하여, feature sensitivity와 topological reachability를 모두 포착하면서 HOI semantics를 보존한다. 우리는 이 objective가 monotone하고 submodular함을 증명하여, 효율적인 greedy solver를 가능하게 한다. 여덟 개의 benchmark에서 수행한 실험은 HIAL이 다양한 hypergraph 도메인 전반에서 강력한 baseline들을 일관되게 능가함을 보여준다.
"},{"id":"63354","en":"Box Thirding: Anytime Best Arm Identification under Insufficient Sampling","ko":"Box Thirding: 불충분 샘플링 하의 언제든지 최적 팔 식별","authors":"seohwa Hwang, Junyong Park","pos":"#4200","link":"https://openreview.net/forum?id=XoONWh8fbL","abs":"We introduce Box Thirding (B3), a flexible and efficient algorithm for Best Arm Identification (BAI) under fixed budget constraints. It is designed for both anytime BAI and scenarios with large $N$, where the number of arms is too large for exhaustive evaluation within a limited budget $T$. The algorithm employs a Remedian Estimation strategy: in each iteration, three arms are compared—the best-performing arm is explored further, the median is retained for future comparisons, and the weakest is discarded. Even without prior knowledge of $T$, B3 achieves an $\\epsilon$ -best arm misidentification probability comparable to Sequential Halving, which requires $T$ as a prior, applied to a randomly selected subset of $c_0$ arms that fit within the budget. Empirical results show that B3 outperforms existing methods for the limited budget constraint in terms of simple regret, as demonstrated on the New Yorker Cartoon Caption Contest dataset.","absKo":"우리는 고정된 예산 제약 하에서 Best Arm Identification (BAI)를 위한 유연하고 효율적인 알고리즘인 Box Thirding (B3)를 소개한다. 이 방법은 anytime BAI와, arm의 수가 너무 많아 제한된 예산 $T$ 내에 전수 평가가 불가능한 대규모 $N$ 시나리오 모두를 위해 설계되었다. 이 알고리즘은 Remedian Estimation 전략을 사용한다. 각 반복에서 세 개의 arm을 비교하며, 가장 성능이 좋은 arm은 추가로 탐색하고, median은 이후 비교를 위해 유지하며, 가장 약한 arm은 버린다. $T$에 대한 사전 지식이 없어도, B3는 $\\epsilon$-best arm misidentification probability에서, 예산에 맞는 무작위 선택 부분집합의 $c_0$ arms에 대해 적용되는 Sequential Halving과 비견할 만한 성능을 달성한다. 실험 결과는 B3가 New Yorker Cartoon Caption Contest 데이터셋에서 보이듯, simple regret 측면에서 제한된 예산 제약 하의 기존 방법들을 능가함을 보여준다."},{"id":"61649","en":"CLASP: Online learning algorithms for Convex Losses And Squared Penalties","ko":"CLASP: Convex Loss와 Squared Penalty를 위한 Online Learning 알고리즘","authors":"Ricardo N. Ferreira, Joao Xavier, Claudia Soares","pos":"#4201","link":"https://openreview.net/forum?id=o54x4zOWuy","abs":"Addressing Constrained Online Convex Optimization (COCO), we introduce CLASP (Convex Losses And Squared Penalties), a framework that minimizes cumulative loss together with squared constraint violations. We propose two variants of CLASP, CLASP-I and CLASP-F, allowing for a joint or separate handling of the static decision set and the time-varying constraints, a decoupling flexibility that affords simpler implementations when projections onto the static decision set are easy. Our theoretical analysis departs from prior work by fully leveraging the variety of \\emph{cutter operators}, and contraction properties such as the strongly quasi-nonexpansiveness, a proof strategy not previously applied in this setting. For convex losses, both CLASP algorithms achieve regret $O\\left(T^{\\max\\\\{\\beta,1-\\beta\\\\}}\\right)$ and cumulative squared penalty $O\\left(T^{\\\\{1-\\beta\\\\}}\\right)$ for any $\\beta \\in (0,1)$. Most importantly, for strongly convex problems, we provide the first logarithmic guarantees on both regret and cumulative squared penalty: In the strongly convex case, both CLASP algorithms guarantee that the regret is upper bounded by $O( \\log T )$ and the cumulative squared penalty is also upper bounded by $O( \\log T )$.","absKo":"제약된 Online Convex Optimization(COCO)에 대응하기 위해, 우리는 누적 loss와 제약 위반의 제곱을 함께 최소화하는 CLASP(Convex Losses And Squared Penalties)를 도입한다. 우리는 CLASP-I와 CLASP-F라는 두 가지 변형을 제안하며, 이는 static decision set과 time-varying constraint를 joint 또는 separate하게 처리할 수 있게 한다. 이러한 decoupling flexibility는 static decision set으로의 projection이 쉬운 경우 더 단순한 구현을 가능하게 한다. 우리의 이론 분석은 기존 연구와 달리 다양한 \\emph{cutter operator}와 strongly quasi-nonexpansiveness 같은 contraction property를 온전히 활용하며, 이는 이 설정에서 이전에 적용되지 않았던 증명 전략이다. convex loss의 경우, 두 CLASP 알고리즘은 모든 $\\beta \\in (0,1)$에 대해 regret $O\\left(T^{\\max\\\\{\\beta,1-\\beta\\\\}}\\right)$ 및 cumulative squared penalty $O\\left(T^{\\\\{1-\\beta\\\\}}\\right)$를 달성한다. 가장 중요한 점은 strongly convex 문제에서 regret과 cumulative squared penalty 모두에 대한 첫 logarithmic guarantee를 제공한다는 것이다. strongly convex 경우, 두 CLASP 알고리즘은 regret이 $O( \\log T )$로 upper bounded됨을 보장하며, cumulative squared penalty 역시 $O( \\log T )$로 upper bounded됨을 보장한다."},{"id":"65371","en":"Continual Learning of Domain-Invariant Representations","ko":"도메인 불변 표현의 연속 학습","authors":"Pascal Janetzky, Dr. Tobias Schlagenhauf, Stefan Feuerriegel","pos":"#4202","link":"https://openreview.net/forum?id=EH77N5YGwV","abs":"Continual learning (CL) aims to train models sequentially over multiple domains without forgetting previously learned knowledge. However, existing CL methods optimize for in-domain performance and are therefore prone to learning spurious, domain-specific cues (``shortcut learning''), which limits generalization to unseen domains after deployment. In this paper, we address this limitation through continual learning of domain-invariant representation. We introduce a broad class of CL methods that sequentially learn representations capturing invariant structures across domains. Our methods are motivated by the observation that such invariant structures often preserve the underlying causal mechanisms, which can reduce the risk of overfitting to domain-specific cues and thus offer better out-of-domain generalization. Our proposed CL methods combine replay-based training with a tailored sequential invariance alignment to learn---and preserve---invariant structures over time. We evaluate our methods under a deployment-oriented protocol that measures performance on unseen target domains. Across six benchmark and real-world datasets spanning vision, medicine, manufacturing, and ecology, our methods consistently outperform existing CL baselines in terms of generalization to unseen target domains. As an ablation, we further show that na\\\"ive extensions of sequential training with existing domain-invariant representation learning (DIRL) methods provide only limited benefits. To the best of our knowledge, this is the first work to develop domain-invariant representation methods for CL.
","absKo":"Continual learning (CL)은 이전에 학습한 지식을 잊지 않으면서 여러 domain에 걸쳐 모델을 순차적으로 학습하는 것을 목표로 한다. 그러나 기존 CL 방법은 in-domain 성능을 최적화하는 데 치중하기 때문에, 학습 과정에서 spurious하고 domain-specific한 단서(“shortcut learning”)를 학습하기 쉬우며, 이로 인해 배포 후 보지 못한 domain으로의 generalization이 제한된다. 본 논문에서는 continual learning of domain-invariant representation을 통해 이러한 한계를 다룬다. 우리는 여러 domain에 걸쳐 invariant structure를 포착하는 representation을 순차적으로 학습하는 폭넓은 CL 방법군을 제안한다. 이러한 방법은 invariant structure가 종종 underlying causal mechanism을 보존한다는 관찰에 기반하며, 이는 domain-specific cue에 대한 overfitting 위험을 줄이고 결과적으로 더 나은 out-of-domain generalization을 제공할 수 있다. 우리가 제안한 CL 방법은 replay-based training과 맞춤형 sequential invariance alignment를 결합하여 시간에 따라 invariant structure를 학습하고 유지한다. 우리는 보지 못한 target domain에서의 성능을 측정하는 deployment-oriented protocol 하에서 방법을 평가한다. vision, medicine, manufacturing, ecology에 걸친 여섯 개의 benchmark 및 real-world dataset 전반에서, 우리의 방법은 보지 못한 target domain으로의 generalization 측면에서 기존 CL baseline을 일관되게 능가한다. 추가 ablation으로, 기존 domain-invariant representation learning (DIRL) 방법을 순차 학습에 na\"ive하게 확장하는 것은 제한적인 이점만을 제공함을 보인다. 우리가 아는 한, 이는 CL을 위한 domain-invariant representation 방법을 개발한 첫 번째 연구이다.
"},{"id":"62555","en":"Correcting Split Selection in Online Decision Trees via Anytime-Valid Inference","ko":"Anytime-Valid Inference를 통한 온라인 Decision Tree의 Split Selection 보정","authors":"Salim I. Amoukou, Saumitra Mishra, Manuela Veloso","pos":"#4203","link":"https://openreview.net/forum?id=fZvEZQWJrR","abs":"Bagging-based ensembles, most notably Adaptive Random Forests, are among the strongest performers for learning from data streams. A common denominator across these methods is their reliance on Hoeffding Trees as base learners, which grow incrementally by testing whether a candidate split is significantly better than its alternatives using concentration inequalities. Despite their empirical success, existing Hoeffding Trees variants lack valid statistical guarantees. Current analyses rely on fixed-sample concentration bounds, while split decisions are made using data-dependent stopping rules, which invalidates their guarantees and can drive the probabilty of incorrect splits to one. We introduce a principled alternative based on \\emph{anytime-valid inference}. Our method provides: (i) anytime-valid control of false splits under arbitrary data streams, including non-stationary settings; (ii) finite commitment time under a predictive advantage; and (iii) under stationary i.i.d.\\ data, risk is monotone decreasing and strictly improves at every split. Empirically, we evaluate both standalone trees and their use within Adaptive Random Forests on non-stationary streams. Our method improves performance while producing substantially smaller trees.
","absKo":"bagging 기반 ensemble, 특히 Adaptive Random Forest는 data stream에서 학습하는 데 가장 강력한 성능을 보이는 방법들 중 하나이다. 이들 방법의 공통된 기반은 Hoeffding Tree에 있으며, 이는 concentration inequality를 사용해 후보 split이 대안들보다 유의하게 더 나은지 여부를 검정하면서 점진적으로 성장한다. 경험적 성공에도 불구하고, 기존 Hoeffding Tree 변형들은 유효한 통계적 보장을 제공하지 못한다. 현재의 분석은 고정된 샘플 크기에 대한 concentration bound에 의존하는 반면, split 결정은 data-dependent stopping rule을 사용해 이루어지므로 보장이 무효화되고 잘못된 split의 확률이 1까지 치솟을 수 있다. 우리는 \\emph{anytime-valid inference}에 기반한 원칙적인 대안을 제안한다. 우리의 방법은 (i) 비정상(non-stationary) 설정을 포함한 임의의 data stream에서 false split에 대한 anytime-valid 제어, (ii) predictive advantage가 있을 때 finite commitment time, 그리고 (iii) stationary i.i.d. data 아래에서 risk가 단조 감소하며 매 split마다 엄격히 개선된다는 성질을 제공한다. 실험적으로는 standalone tree와 Adaptive Random Forest 내에서의 사용을 모두 비정상 stream에서 평가했다. 우리의 방법은 성능을 향상시키는 동시에 훨씬 더 작은 tree를 생성한다.
"},{"id":"63772","en":"Online Learning and Inference for Cox Proportional Hazards Model Using Renewable Sieve Estimation","ko":"Renewable Sieve Estimation을 이용한 Cox Proportional Hazards Model의 온라인 학습과 추론","authors":"Mengtong Hu, Ziyang Gong, Xu Shi, Ling Zhou, Peter Song","pos":"#4205","link":"https://openreview.net/forum?id=TvLOddG9Ay","abs":"Online learning for the Cox model is challenging because its partial likelihood is non-decomposable, with each risk set requiring a summation over all samples. We propose Collaborative Operation of Linked Survival Analysis (COLSA), an online learning framework that replaces the partial likelihood with the full likelihood using sieve approximation of the baseline hazard. The proposed likelihood function is decomposable and eliminates the need to store historical data in memory, enabling efficient online updates. Moreover, COLSA maintains sufficient statistics for a higher-order basis and employs data-driven basis projection to adaptively scale model complexity to the effective sample size. Unlike existing online Cox methods, COLSA achieves asymptotic normality and attains the same statistical efficiency as the pooled-data partial likelihood estimator, without accessing full data and only requiring constant memory. Simulation studies and application to kidney transplant data demonstrate that COLSA outperforms existing online methods and matches the performance of full-data estimation.
","absKo":"Cox model을 위한 online learning은 partial likelihood가 non-decomposable하며, 각 risk set이 모든 sample에 대한 합을 필요로 하기 때문에 어렵다. 우리는 baseline hazard에 대한 sieve approximation을 사용하여 partial likelihood를 full likelihood로 대체하는 온라인 학습 프레임워크인 Collaborative Operation of Linked Survival Analysis(COLSA)를 제안한다. 제안된 likelihood function은 decomposable하며 historical data를 memory에 저장할 필요를 없애 효율적인 online update를 가능하게 한다. 더 나아가 COLSA는 higher-order basis를 위한 sufficient statistics를 유지하고, data-driven basis projection을 사용하여 model complexity를 effective sample size에 맞게 적응적으로 조절한다. 기존의 online Cox method와 달리 COLSA는 asymptotic normality를 달성하고, full data에 접근하지 않으면서도 constant memory만으로 pooled-data partial likelihood estimator와 동일한 statistical efficiency에 도달한다. 시뮬레이션 연구와 kidney transplant data 적용 실험은 COLSA가 기존 online method를 능가하고 full-data estimation의 성능과 일치함을 보여준다.
"},{"id":"65115","en":"Prior Diffusiveness and Regret in the Linear-Gaussian Bandit","ko":"Linear-Gaussian Bandit에서의 사전분포 확산성과 후회","authors":"Yifan Zhu, John Duchi, Benjamin Van Roy","pos":"#4206","link":"https://openreview.net/forum?id=GeYKOC4BzB","abs":"We prove that Thompson sampling exhibits $\\tilde{O}(\\sigma d \\sqrt{T} + d r \\sqrt{\\mathrm{Tr}(\\Sigma_0)})$ Bayesian regret in the linear-Gaussian bandit with a $\\mathcal{N}(\\mu_0, \\Sigma_0)$ prior distribution on the coefficients, where $d$ is the dimension, $T$ is the time horizon, $r$ is the maximum $\\ell_2$ norm of the actions, and $\\sigma^2$ is the noise variance. In contrast to existing regret bounds, this shows that to within logarithmic factors, the prior-dependent ''burn-in'' term $d r \\sqrt{\\mathrm{Tr}(\\Sigma_0)}$ decouples additively from the minimax (long run) regret \\sigma d \\sqrt{T}. Previous regret bounds exhibit a multiplicative dependence on these terms. We establish these results via a new ''elliptical potential'' lemma, and also provide a lower bound indicating that the burn-in term is unavoidable.","absKo":"우리는 Thompson sampling이 계수에 대해 $\\mathcal{N}(\\mu_0, \\Sigma_0)$ prior distribution을 갖는 linear-Gaussian bandit에서 $\\tilde{O}(\\sigma d \\sqrt{T} + d r \\sqrt{\\mathrm{Tr}(\\Sigma_0)})$의 Bayesian regret을 보인다는 것을 증명한다. 여기서 $d$는 차원, $T$는 시간 지평, $r$은 action의 최대 $\\ell_2$ norm, 그리고 $\\sigma^2$는 noise variance이다. 기존 regret bound와 달리, 이는 로그 항까지를 제외하면 prior에 의존하는 ''burn-in'' 항 $d r \\sqrt{\\mathrm{Tr}(\\Sigma_0)}$가 minimax(장기) regret $\\sigma d \\sqrt{T}$와 가산적으로 분리됨을 보여준다. 이전 regret bound들은 이 항들 사이에 곱셈적 의존성을 보인다. 우리는 새로운 ''elliptical potential'' lemma를 통해 이러한 결과를 확립하며, burn-in 항이 피할 수 없음을 나타내는 lower bound도 제시한다."},{"id":"62056","en":"Towards Fair Sequential Decision-Making: A Causal Decomposition Approach","ko":"공정한 순차 의사결정으로: 인과 분해 접근법","authors":"Jiajun Chen, Jin Tian, Chris Quinn","pos":"#4207","link":"https://openreview.net/forum?id=kHEL0GD175","abs":"Counterfactual reasoning is one of the fundamental facets of human cognition, involved in various tasks such as explanation, credit assignment, blame, and responsibility. It describes the queries what would have happened had some intervention been performed given that something else, corresponding to Layer 3 of the Pearl Causal Hierarchy. In this project, we examine a specific type of counterfactual quantities, called counterfactual direct (Str-DE), indirect (Str-IE), and spurious (Str-SE) effects for quantifying fairness in a sequential decision-making framework. Building on these measures, we formulate an online causally-fair learning problem with multiple long-term constraints and study it in both non-parametric contextual bandits and parametric logistic bandits settings. We achieve sublinear regret and violations bounds for both bandits settings with round-wise counterfactual fairness constraints (that are a priori unknown) without Slater’s condition. In particular, for logistic bandits, we obtain nearly optimal regret bound with leading term similar to that for unconstrained case (Zhang et al., 2025).
","absKo":"반사실적 추론(counterfactual reasoning)은 인간 인지의 기본적 측면 중 하나로, 설명, 공로 할당(credit assignment), 비난, 책임과 같은 다양한 과제에 관여한다. 이는 어떤 개입이 수행되었을 때 다른 조건이 주어졌다면 무엇이 일어났을지를 묻는 질의를 의미하며, Pearl Causal Hierarchy의 Layer 3에 해당한다. 본 프로젝트에서는 순차적 의사결정 프레임워크에서 공정성을 정량화하기 위해 counterfactual direct (Str-DE), indirect (Str-IE), spurious (Str-SE) effects라고 불리는 특정 유형의 counterfactual quantity를 검토한다. 이러한 측정을 바탕으로, 우리는 여러 장기 제약을 갖는 online causally-fair learning 문제를 정식화하고 이를 non-parametric contextual bandits와 parametric logistic bandits 설정 모두에서 연구한다. 우리는 Slater’s condition 없이, 사전에는 알 수 없는 round-wise counterfactual fairness constraints를 만족시키면서 두 bandit 설정 모두에 대해 sublinear regret과 violation bound를 달성한다. 특히 logistic bandits에서는 unconstrained case (Zhang et al., 2025)와 유사한 leading term을 갖는 거의 최적에 가까운 regret bound를 얻는다.
"},{"id":"64316","en":"Understanding the Gaps in Satisficing Bandits","ko":"만족화 밴딧의 격차 이해","authors":"Chloé Rouyer, Ronald Ortner, Peter Auer","pos":"#4208","link":"https://openreview.net/forum?id=OoxXmeUwMA","abs":"We study a variant of the stochastic multi-armed bandit problem in which the learner aims to identify and play an arbitrary arm whose mean reward exceeds a known satisficing threshold $S$, rather than optimizing against the best arm. Prior work has shown that when such a satisficing arm exists, time-independent bounds on the satisficing regret are achievable, but these guarantees deteriorate when an arm lies close to the threshold. We focus on instances in which the excess gap $\\Delta_*$ (gap between the best arm and the threshold) is small relative to the suboptimality gaps $\\Delta_i$, a regime that exposes this limitation. To capture this challenge, we introduce a refined notion of regret and propose a new algorithm, uncertain-UCB, which achieves *satisficing* pseudo-regret of $ O \\left(\\sum_{i: \\Delta_i > \\Delta_*} \\frac{\\log(K/\\Delta_*)}{\\Delta_i}\\right), $ while recovering standard pseudo-regret bounds when no arm exceeds the threshold. Further, we establish a near-matching lower bound in the small excess-gap regime, showing that any algorithm incurs at least $ \\Omega \\left(\\sum_{i: \\Delta_i > \\Delta_*} \\frac{\\log \\left(\\left(\\sum_{i:\\Delta_i > \\Delta_*} \\Delta_*/\\Delta_i\\right)^{-1}\\right)}{\\Delta_i}\\right) $ satisficing pseudo-regret.","absKo":"우리는 학습자가 최선의 arm을 최적화하는 대신, 알려진 satisficing threshold $S$를 초과하는 평균 보상을 가진 임의의 arm을 식별하고 이를 선택하는 stochastic multi-armed bandit 문제의 변형을 연구한다. 선행 연구는 그러한 satisficing arm이 존재할 때 satisficing regret에 대해 시간과 무관한 bound를 달성할 수 있음을 보였지만, arm이 threshold에 가까워지면 이러한 보장은 약화된다. 우리는 excess gap $\\Delta_*$ (best arm과 threshold 사이의 gap)이 suboptimality gap $\\Delta_i$에 비해 작은 경우에 초점을 맞추며, 이 regime이 이러한 한계를 드러낸다. 이 도전을 포착하기 위해, 우리는 정제된 regret 개념을 도입하고 새로운 알고리즘 uncertain-UCB를 제안한다. 이 알고리즘은 $ O \\left(\\sum_{i: \\Delta_i > \\Delta_*} \\frac{\\log(K/\\Delta_*)}{\\Delta_i}\\right) $의 *satisficing* pseudo-regret를 달성하면서, threshold를 넘는 arm이 없을 때는 표준 pseudo-regret bound를 회복한다. 나아가, small excess-gap regime에서 거의 일치하는 lower bound를 확립하여, 어떤 알고리즘이든 최소한 $ \\Omega \\left(\\sum_{i: \\Delta_i > \\Delta_*} \\frac{\\log \\left(\\left(\\sum_{i:\\Delta_i > \\Delta_*} \\Delta_*/\\Delta_i\\right)^{-1}\\right)}{\\Delta_i}\\right) $의 satisficing pseudo-regret를 부담함을 보인다."},{"id":"64844","en":"Online Change Point Detection for Multivariate Inhomogeneous Poisson Processes Time Series","ko":"다변량 비균질 Poisson Process 시계열을 위한 온라인 Change Point Detection","authors":"Xiaokai Luo, Haotian Xu, Carlos Misael Madrid Padilla, OSCAR HERNAN MADRID PADILLA","pos":"#4215","link":"https://openreview.net/forum?id=JFevoTJIVi","abs":"We study online change point detection for multivariate inhomogeneous Poisson point process time series. This setting arises commonly in applications such as earthquake seismology, climate monitoring, and epidemic surveillance, yet remains underexplored in the machine learning and statistics literature. We propose a method that uses low-rank matrices to represent the multivariate Poisson intensity functions, resulting in an adaptive nonparametric detection procedure. Our algorithm is single-pass and requires only constant computational cost per new observation, independent of the elapsed length of the time series. We provide theoretical guarantees to control the overall false alarm probability and characterize the detection delay under temporal dependence. We also develop a new Matrix Bernstein inequality for temporally dependent Poisson point process time series, which may be of independent interest. Numerical experiments demonstrate that our method is both statistically robust and computationally efficient.
","absKo":"우리는 다변량 비동질 Poisson point process 시계열에 대한 온라인 change point detection을 연구한다. 이 설정은 지진학, 기후 모니터링, 전염병 감시와 같은 응용에서 흔히 나타나지만, machine learning과 statistics 문헌에서는 아직 충분히 탐구되지 않았다. 우리는 다변량 Poisson intensity function을 표현하기 위해 low-rank matrix를 사용하는 방법을 제안하며, 그 결과 적응적 nonparametric detection procedure를 얻는다. 우리의 algorithm은 single-pass이며, 시계열의 경과 길이와 무관하게 새로운 관측치 하나당 일정한 계산 비용만 필요로 한다. 우리는 전체 false alarm probability를 제어하고 temporal dependence 하에서 detection delay를 특성화하는 이론적 보장을 제공한다. 또한 temporal dependence가 있는 Poisson point process 시계열을 위한 새로운 Matrix Bernstein inequality를 개발했는데, 이는 그 자체로도 독립적인 관심 대상이 될 수 있다. 수치 실험은 우리의 방법이 통계적으로 robust하고 계산적으로도 효율적임을 보여준다.
"},{"id":"63217","en":"BFTS: Thompson Sampling with Bayesian Additive Regression Trees","ko":"BFTS: 베이지안 가법 회귀 트리를 활용한 Thompson Sampling","authors":"Ruizhe Deng, Bibhas Chakraborty, Ran Chen, Yan Shuo Tan","pos":"#4300","link":"https://openreview.net/forum?id=Z1nbtKcLQk","abs":"We propose Bayesian Forest Thompson Sampling (BFTS), which performs Thompson sampling using arm-wise Bayesian Additive Regression Trees (BART) to model each action's mean reward and generate MCMC-based posterior draws for decision-making. We derive an information-theoretic Bayesian regret bound of order $\\widetilde{\\mathcal O}(K\\sigma\\sqrt{T})$ for ideal posterior sampling under a correctly specified Bayesian design. Empirically, BFTS achieves competitive regret on nonlinear synthetic benchmarks with near-nominal uncertainty calibration, attains the best average rank across nine OpenML contextual bandit benchmarks, and yields higher estimated policy values than linear, neural, and tree-ensemble baselines in a Drink Less micro-randomized trial case study. Across OpenML benchmarks, BFTS is robust to hyperparameter choices.","absKo":"우리는 Bayesian Forest Thompson Sampling(BFTS)을 제안한다. 이 방법은 arm-wise Bayesian Additive Regression Trees(BART)를 사용해 각 action의 mean reward를 모델링하고, 의사결정을 위해 MCMC 기반 posterior draw를 생성하는 Thompson sampling을 수행한다. 우리는 올바르게 명세된 Bayesian design 하에서의 이상적 posterior sampling에 대해, 차수 $\\widetilde{\\mathcal O}(K\\sigma\\sqrt{T})$의 정보이론적 Bayesian regret bound를 유도한다. 실험적으로 BFTS는 near-nominal uncertainty calibration과 함께 비선형 synthetic benchmark에서 경쟁력 있는 regret를 달성하고, 9개의 OpenML contextual bandit benchmark 전반에서 가장 높은 average rank를 차지하며, Drink Less micro-randomized trial 사례 연구에서는 linear, neural, tree-ensemble baseline보다 더 높은 estimated policy value를 산출한다. OpenML benchmark 전반에서 BFTS는 hyperparameter 선택에 대해 robust하다."},{"id":"63936","en":"Active Continual Learning with Metaplastic Binary Bayesian Neural Networks","ko":"Metaplastic binary Bayesian neural network를 이용한 능동 지속 학습","authors":"Kellian Cottart, Theo Ballet, Djohan Bonnet, Damien Querlioz","pos":"#4301","link":"https://openreview.net/forum?id=SPZd0HVyiS","abs":"Always-on edge systems must keep learning as conditions change under tight compute budgets and must detect unreliable predictions. Bayesian binary neural networks are attractive in this setting, but mean-field Bernoulli posteriors can saturate on long non-stationary streams, wiping out epistemic uncertainty and freezing plasticity. We propose BiMU, derived from a bounded-memory variational objective that balances stability, plasticity, and forgetting. BiMU combines a data term with controlled relaxation toward the prior and an uncertainty-dependent step size that prevents saturation and sustains informative uncertainty. This non-degenerate posterior enables fully online, buffer-free active querying via Monte Carlo disagreement, reducing label queries and backpropagation updates under imbalance. BiMU sustains learning and strong OOD detection on 1000-task Permuted-MNIST, and on OpenLORIS-Object achieves up to 32× label/update savings at matched accuracy under class imbalance and feature compression.
","absKo":"항상 동작하는 엣지 시스템은 조건이 변해도 엄격한 계산 예산 안에서 계속 학습해야 하며, 신뢰할 수 없는 예측을 탐지해야 한다. Bayesian binary neural networks는 이러한 환경에서 매력적이지만, mean-field Bernoulli posterior는 장기 비정상 스트림에서 포화되어 epistemic uncertainty를 소거하고 plasticity를 고정시킬 수 있다. 우리는 안정성, 가소성(plasticity), 망각(forgetting)의 균형을 맞추는 bounded-memory variational objective에서 유도된 BiMU를 제안한다. BiMU는 데이터 항과 사전분포(prior)로의 제어된 relaxation을 결합하고, 포화를 방지하며 정보성 있는 uncertainty를 유지하는 uncertainty-dependent step size를 사용한다. 이 비퇴화(non-degenerate) posterior는 Monte Carlo disagreement를 통한 완전 온라인, 버퍼 없는 active querying을 가능하게 하여, 불균형 상황에서 label query와 backpropagation update를 줄인다. BiMU는 1000-task Permuted-MNIST에서 학습을 지속하고 강한 OOD detection을 유지하며, OpenLORIS-Object에서는 class imbalance와 feature compression 하에서 정확도를 맞추면서 label/update를 최대 32배 절감한다.
"},{"id":"68778","en":"UCB Exploration for Fixed-Budget Bayesian Best Arm Identification","ko":"Fixed-Budget Bayesian Best Arm Identification을 위한 UCB 탐색","authors":"Rong Zhu, Yanqi Qiu","pos":"#4403","abs":"We study best-arm identification (BAI) in the fixed-budget setting. Adaptive allocations based on upper confidence bounds (UCBs), such as UCBE, are known to work well in BAI. However, it is well-known that its optimal regret is theoretically dependent on instances, which we show to be an artifact in many fixed-budget BAI problems. In this paper we propose an UCB exploration algorithm that is both theoretically and empirically efficient for the fixed budget BAI problem under a Bayesian setting. The key idea is to learn prior information, which can enhance the performance of UCB-based BAI algorithm as it has done in the cumulative regret minimization problem. We establish bounds on the failure\nprobability and the simple regret for the Bayesian BAI problem, providing upper bounds of order $\\tilde{O}(\\sqrt{K/n})$, up to logarithmic factors, where $n$ represents the budget and $K$ denotes the number of arms. Furthermore, we demonstrate through empirical results that our approach consistently outperforms state-of-the-art baselines.","absKo":"우리는 fixed-budget setting에서 best-arm identification(BAI)을 연구한다. UCBE와 같은 upper confidence bound(UCB)에 기반한 adaptive allocation은 BAI에서 잘 작동하는 것으로 알려져 있다. 그러나 최적 regret이 이론적으로 instance에 의존한다는 점도 널리 알려져 있으며, 우리는 이것이 많은 fixed-budget BAI 문제에서는 인공물(artifact)임을 보인다. 본 논문에서는 Bayesian setting 하에서 fixed-budget BAI 문제에 대해 이론적 및 경험적으로 효율적인 UCB exploration algorithm을 제안한다. 핵심 아이디어는 prior information을 학습하는 것으로, 이는 cumulative regret minimization 문제에서 그러했듯 UCB 기반 BAI algorithm의 성능을 향상시킬 수 있다. 우리는 Bayesian BAI 문제에 대한 failure probability와 simple regret의 bound를 설정하며, 로그 요인을 제외하면 $\\tilde{O}(\\sqrt{K/n})$ 차수의 upper bound를 제공한다. 여기서 $n$은 budget을, $K$는 arm의 수를 의미한다. 더 나아가, 실험 결과를 통해 우리 접근법이 state-of-the-art baseline보다 일관되게 우수함을 보인다."},{"id":"64708","en":"Stochastic Linear Bandits with Parameter Noise","ko":"Parameter Noise를 활용한 Stochastic Linear Bandit","authors":"Daniel Ezer, Alon Peled-Cohen, Yishay Mansour","pos":"#4510","link":"https://openreview.net/forum?id=KfDXKFFzze","abs":"We study the stochastic linear bandits with parameter noise model, in which the reward of action $a$ is $a^\\top \\theta$ where $\\theta$ is sampled i.i.d. We show a regret upper bound of $\\widetilde{O} (\\sqrt{d T \\log(K/\\delta) \\sigma^2_{\\max}})$ for a horizon $T$, general action set of size $K$ of dimension $d$, and where $\\sigma^2_{\\max}$ is the maximal variance of the reward for any action. We further provide a lower bound of $\\widetilde{\\Omega} (d \\sqrt{T \\sigma_{\\max}^2})$ which is tight (up to logarithmic factors) whenever $\\log K \\approx d$. For more specific action sets, $\\ell_p$ unit balls with $p \\leq 2$ and dual norm $q$, we show that the minimax regret is $\\widetilde{\\Theta} (\\sqrt{dT \\sigma_q^2})$, where $\\sigma_q^2$ is a variance-dependent quantity that is always at most $4$. This is in contrast to the minimax regret attainable for such sets in the classic additive noise model where the regret is of order $d \\sqrt{T}$. Surprisingly, we show that this optimal (up to logarithmic factors) regret bound is attainable using a very simple explore-exploit algorithm.","absKo":"우리는 parameter noise model을 갖는 stochastic linear bandit을 연구한다. 여기서 action $a$의 reward는 $a^\\top \\theta$이며, $\\theta$는 i.i.d.로 샘플링된다. 우리는 horizon $T$, 차원 $d$의 크기 $K$인 일반 action set, 그리고 $\\sigma^2_{\\max}$가 임의의 action에 대한 reward의 최대 분산일 때 regret upper bound로 $\\widetilde{O} (\\sqrt{d T \\log(K/\\delta) \\sigma^2_{\\max}})$를 보인다. 또한 lower bound $\\widetilde{\\Omega} (d \\sqrt{T \\sigma_{\\max}^2})$를 제시하는데, 이는 $\\log K \\approx d$일 때(logarithmic factor를 제외하고) tight하다. 보다 구체적인 action set인 $p \\leq 2$이고 dual norm이 $q$인 $\\ell_p$ unit ball에 대해서는 minimax regret가 $\\widetilde{\\Theta} (\\sqrt{dT \\sigma_q^2})$임을 보인다. 여기서 $\\sigma_q^2$는 variance-dependent quantity로서 항상 4 이하이다. 이는 regret가 $d \\sqrt{T}$ 차수인 classic additive noise model에서 이러한 set에 대해 달성 가능한 minimax regret와 대조적이다. 놀랍게도, 우리는 매우 단순한 explore-exploit algorithm만으로도 이러한 optimal(regret bound가 logarithmic factor를 제외하고 최적) 결과를 달성할 수 있음을 보인다."},{"id":"65220","en":"Optimal Design for Multinomial Logit Model with Applications to Best Assortment Identification","ko":"최적 조합 식별 응용을 포함한 Multinomial Logit Model의 최적 설계","authors":"Joongkyu Lee, Min-hwan Oh","pos":"#4511","link":"https://openreview.net/forum?id=FhBOdaIcUw","abs":"We study optimal experimental design for multinomial logit (MNL) bandits, where an agent repeatedly selects a subset of $K$ items from a ground set of size $N$ and observes single-choice feedback. Unlike linear or generalized linear bandits, MNL bandits have a combinatorial action space, which makes classical optimal design approaches and naive optimization over all subsets computationally intractable. We propose a computationally efficient optimal design framework for MNL models that achieves both statistical efficiency and scalability through two complementary approaches: (i) an exact or certified-approximate reformulation of the design oracle as a $0$-$1$ mixed-integer linear program (MILP) with solver-certified early stopping, and (ii) a fully polynomial-time lifted design that replaces the nonlinear objective with a tractable surrogate. Using the Kiefer-Wolfowitz equivalence theorem, we establish near G-optimality guarantees and characterize the induced statistical-computational trade-offs. As an application, we develop a best assortment identification algorithm for MNL bandits with linear utilities and non-uniform revenues, and prove an instance-dependent sample complexity of $\\tilde{\\mathcal{O}}\\big(\\frac{d \\log N}{\\Delta^2}\\big)$, where $d$ is the feature dimension, $N$ is the number of arms, and $\\Delta$ is the minimum revenue gap.","absKo":"우리는 multinomial logit (MNL) bandit에서의 optimal experimental design을 연구한다. 여기서 agent는 크기 N의 ground set에서 K개의 item 부분집합을 반복적으로 선택하고 단일 선택(single-choice) 피드백을 관찰한다. linear 또는 generalized linear bandit과 달리, MNL bandit은 combinatorial action space를 가지므로 classical optimal design 접근법과 모든 부분집합에 대한 naive optimization은 계산적으로 다루기 어렵다. 우리는 MNL model을 위한 계산적으로 효율적인 optimal design framework를 제안하며, 두 가지 상호 보완적인 접근을 통해 통계적 효율성과 확장성을 모두 달성한다. (i) design oracle을 solver-certified early stopping을 갖는 $0$-$1$ mixed-integer linear program (MILP)으로 exact 또는 certified-approximate하게 재정식화하고, (ii) 비선형 objective를 tractable surrogate로 대체하는 fully polynomial-time lifted design을 사용한다. Kiefer-Wolfowitz equivalence theorem을 이용해 우리는 near G-optimality 보장을 확립하고, 이를 통해 유도되는 통계-계산 trade-off를 특성화한다. 응용으로, 우리는 linear utility와 non-uniform revenue를 갖는 MNL bandit에 대한 best assortment identification algorithm을 개발하고, instance-dependent sample complexity $\\tilde{\\mathcal{O}}\\big(\\frac{d \\log N}{\\Delta^2}\\big)$를 증명한다. 여기서 $d$는 feature dimension, $N$은 arm의 수, $\\Delta$는 최소 revenue gap이다."},{"id":"65455","en":"Fixed Budget is No Harder Than Fixed Confidence in Best-Arm Identification up to Logarithmic Factors","ko":"고정 예산은 Best-Arm 식별에서 로그 인자까지 고정 신뢰도보다 어렵지 않다","authors":"Kapilan Balagopalan, Yinan Li, Tuan Nguyen, Yao Zhao, Anton Daitche, Houssam Nassif, Kwang-Sung Jun","pos":"#4512","link":"https://openreview.net/forum?id=DUmWdZetqZ","abs":"The best-arm identification (BAI) problem is one of the most fundamental problems in interactive machine learning, which has two flavors: the fixed-budget setting (FB) and the fixed-confidence setting (FC). For $K$-armed bandits with the unique best arm, the optimal sample complexities for both settings have been settled down, and they match up to logarithmic factors. This prompts an interesting research question about the generic, potentially structured BAI problems: Is FB harder than FC or the other way around? In this paper, we show that FB is no harder than FC up to logarithmic factors. We do this constructively: we propose a novel algorithm called FC2FB (fixed confidence to fixed budget), which is a meta algorithm that takes in an FC algorithm $\\mathcal{A}$ and turns it into an FB algorithm. We prove that this FC2FB enjoys a sample complexity that matches, up to logarithmic factors, that of the sample complexity of $\\mathcal{A}$. This means that the optimal FC sample complexity is an upper bound of the optimal FB sample complexity up to logarithmic factors. Our result not only reveals a fundamental relationship between FB and FC, but also has a significant implication: FC2FB combined with existing state-of-the-art FC algorithms, leads to improved sample complexity for a number of FB problems.","absKo":"best-arm identification (BAI) 문제는 interactive machine learning에서 가장 근본적인 문제 중 하나이며, fixed-budget setting (FB)과 fixed-confidence setting (FC)이라는 두 가지 형태를 가진다. 유일한 best arm을 갖는 $K$-armed bandit에 대해서는 두 setting 모두의 optimal sample complexity가 이미 정리되었고, 이는 logarithmic factor까지 일치한다. 이는 일반적이며 잠재적으로 structured한 BAI 문제에 대해 흥미로운 연구 질문을 제기한다. FB가 FC보다 더 어려운가, 아니면 그 반대인가? 본 논문에서는 FB가 logarithmic factor까지 보아도 FC보다 더 어렵지 않음을 보인다. 우리는 이를 구성적으로 증명한다. 구체적으로, FC algorithm $\\mathcal{A}$를 입력으로 받아 FB algorithm으로 변환하는 FC2FB (fixed confidence to fixed budget)라는 새로운 algorithm을 제안한다. 우리는 이 FC2FB가 sample complexity 측면에서, logarithmic factor까지 보아도 $\\mathcal{A}$의 sample complexity와 일치함을 증명한다. 이는 optimal FC sample complexity가 logarithmic factor까지 optimal FB sample complexity의 상한임을 의미한다. 우리의 결과는 FB와 FC 사이의 근본적인 관계를 드러낼 뿐 아니라, 중요한 함의도 갖는다. FC2FB를 기존 state-of-the-art FC algorithm과 결합하면 여러 FB 문제에서 sample complexity를 개선할 수 있다."},{"id":"65230","en":"Efficient Distributionally Robust Assortment Optimization in MNL Bandits","ko":"MNL Bandit에서 효율적 분포 강건 조합 최적화","authors":"Yunfan Zhang, Yuxuan Han, Zhengyuan Zhou","pos":"#4513","link":"https://openreview.net/forum?id=FZaSOyrT0l","abs":"We investigate the distributionally robust assortment optimization (DRAO) problem under the contextual multinomial logit (MNL) choice model, where the decision-maker seeks to maximize revenue against worst-case distributional deviations. To address potential distribution shifts relative to the observed data environment, we study DRAO under ambiguity sets defined by three divergences: total variation (TV), Kullback–Leibler (KL), and chi-square ($\\chi^2$). Incorporating robust concerns poses challenges for both algorithm design and theoretical analysis. By leveraging strong duality results from the distributionally robust optimization literature and integrating them into the assortment optimization procedures, we develop tailored polynomial-time algorithms under each divergence. We further provide a theoretical analysis and establish sample complexity bounds for all three robust formulations.","absKo":"우리는 contextual multinomial logit (MNL) choice model 하에서의 distributionally robust assortment optimization (DRAO) 문제를 연구하며, 의사결정자가 최악의 분포 편차에 맞서 수익을 최대화하고자 하는 상황을 다룬다. 관측된 데이터 환경에 비해 발생할 수 있는 분포 이동에 대응하기 위해, 우리는 total variation (TV), Kullback–Leibler (KL), chi-square ($\\chi^2$)라는 세 가지 divergence로 정의된 ambiguity set 하에서 DRAO를 연구한다. robust concern을 포함하면 알고리즘 설계와 이론 분석 모두에서 도전이 발생한다. distributionally robust optimization 문헌의 strong duality 결과를 활용하고 이를 assortment optimization 절차에 통합함으로써, 우리는 각 divergence에 대해 맞춤형 polynomial-time algorithm을 개발한다. 또한 이론적 분석을 제공하고 세 가지 robust formulation 모두에 대한 sample complexity bound를 확립한다."},{"id":"62681","en":"DAL: A Practical Prior-Free Black-Box Framework for Piecewise Stationary Bandits","ko":"DAL: Piecewise Stationary Bandits를 위한 실용적 prior-free black-box 프레임워크","authors":"Argyrios Gerogiannis, Yu-Han Huang, Subhonmesh Bose, Venugopal Veeravalli","pos":"#4514","link":"https://openreview.net/forum?id=eNvxTIZugB","abs":"We introduce a practical, black-box framework termed Detection Augmented Learning (DAL) for the problem of piecewise stationary bandits without knowledge of the underlying non-stationarity. DAL accepts any stationary bandit algorithm with order-optimal regret as input and augments it with a change detector, enabling applicability to all common bandit variants. Extensive experimentation demonstrates that DAL consistently surpasses all state-of-the-art methods across diverse non-stationary scenarios, including synthetic benchmarks and real-world datasets, underscoring its versatility and scalability. We provide theoretical insights into DAL's strong empirical performance, complemented by thorough empirical validation.
","absKo":"우리는 underlying non-stationarity에 대한 지식 없이 piecewise stationary bandit 문제를 다루기 위한 Detection Augmented Learning (DAL)이라는 실용적인 black-box framework를 소개한다. DAL은 order-optimal regret을 갖는 어떤 stationary bandit algorithm이든 입력으로 받아 change detector를 덧붙이며, 이를 통해 모든 일반적인 bandit variant에 적용 가능하게 한다. 대규모 실험은 DAL이 synthetic benchmark와 real-world dataset을 포함한 다양한 non-stationary scenario 전반에서 모든 state-of-the-art method를 일관되게 능가함을 보여주며, 그 범용성과 확장성을 뒷받침한다. 우리는 DAL의 강력한 실증 성능에 대한 이론적 통찰을 제공하고, 이를 철저한 실험적 검증으로 보완한다.
"},{"id":"60854","en":"Multi-Label Test-Time Adaptation with Bayesian Conditional Priors","ko":"Bayesian Conditional Prior를 이용한 Multi-Label Test-Time Adaptation","authors":"Qiru Li, Ao Zhou, Zhiwei Jiang, Zifeng Cheng, Cong Wang, Yafeng Yin, Qing Gu","pos":"#610","link":"https://openreview.net/forum?id=w1YnlYvdER","abs":"Vision--language models such as CLIP have shown strong zero-shot performance, but their reliability degrades in realistic multi-label settings under distribution shift. Standard test-time adaptation (TTA) methods either rely on costly gradient-based updates or adopt lightweight statistical schemes that implicitly assume label independence. The latter is particularly harmful in multi-label scenarios, where visually dominant classes suppress semantically correlated yet weaker labels, leading to severe recall loss. We revisit multi-label TTA from a Bayesian perspective and propose Bayesian Conditional Priors~(BCP) estimation, a backpropagation-free framework that injects label dependencies into CLIP's zero-shot predictions. Treating the zero-shot scores as approximate marginal posteriors, BCP derives an anchor-conditioned Bayesian refinement in which each logit is corrected by a term determined solely by the conditional prior $P(c_i=1 \\mid c_a=1)$. These conditional priors are estimated online via second-order co-occurrence statistics over the test stream and instantiated as closed-form, monotonic logit transformations, without backpropagation or architectural changes. Experiments on multi-label benchmarks show that this structure-aware adaptation consistently improves mean average precision over entropy-based and retrieval-augmented TTA baselines, while incurring negligible computational overhead.","absKo":"Vision--language model인 CLIP은 강력한 zero-shot 성능을 보였지만, distribution shift 하의 현실적인 multi-label setting에서는 신뢰성이 저하된다. 표준 test-time adaptation (TTA) 방법은 비용이 큰 gradient-based update에 의존하거나, label independence를 암묵적으로 가정하는 가벼운 statistical scheme을 채택한다. 후자는 특히 multi-label scenario에서 해롭다. 시각적으로 지배적인 class가 의미적으로 상관되지만 더 약한 label을 억압하여 심각한 recall 저하를 초래하기 때문이다. 우리는 Bayesian 관점에서 multi-label TTA를 재검토하고, CLIP의 zero-shot prediction에 label dependency를 주입하는 backpropagation-free framework인 Bayesian Conditional Priors~(BCP) estimation을 제안한다. zero-shot score를 근사 marginal posterior로 간주하여, BCP는 anchor-conditioned Bayesian refinement를 도출하며, 각 logit은 오직 conditional prior $P(c_i=1 \\mid c_a=1)$로 결정되는 항에 의해 보정된다. 이러한 conditional prior는 test stream 전반의 second-order co-occurrence statistic을 통해 online으로 추정되며, backpropagation이나 architecture 변경 없이 closed-form의 monotonic logit transformation으로 구현된다. multi-label benchmark 실험은 이 structure-aware adaptation이 entropy-based 및 retrieval-augmented TTA baseline보다 평균 average precision을 일관되게 향상시키면서도, 계산 오버헤드는 무시할 수준임을 보여준다."},{"id":"65699","en":"Local Intrinsic Dimension of Representations Predicts Alignment and Generalization in AI Models and Human Brain","ko":"표현의 국소 고유 차원이 AI 모델과 인간 뇌에서 정렬과 일반화를 예측한다","authors":"Junjie Yu, Wenxiao Ma, Chen Wei, Jianyu Zhang, Haotian Deng, Zihan Deng, Quanying Liu","pos":"#3217","link":"https://openreview.net/forum?id=B3Z3rWo4t6","abs":"Recent work has found that neural networks with stronger generalization tend to exhibit higher representational alignment with one another across architectures and training paradigms. In this work, we show that models with stronger generalization also align more strongly with human neural activity. Moreover, generalization performance, model--model alignment, and model--brain alignment are all significantly correlated with each other. We further show that these relationships can be explained by a single geometric property of learned representations: the local intrinsic dimension of embeddings. Lower local dimension is consistently associated with stronger model--model alignment, stronger model--brain alignment, and better generalization, whereas global dimension measures fail to capture these effects. Finally, we find that increasing model capacity and training data scale systematically reduces local intrinsic dimension, providing a geometric account of the benefits of scaling. Together, our results identify local intrinsic dimension as a unifying descriptor of representational convergence in artificial and biological systems.
","absKo":"최근 연구는 일반화 성능이 더 강한 neural network가 architecture와 training paradigm 전반에 걸쳐 서로 더 높은 representational alignment를 보이는 경향이 있음을 발견했다. 본 연구에서는 일반화가 더 강한 model이 인간의 신경 활동과도 더 강하게 정렬된다는 사실을 보인다. 더 나아가 generalization performance, model--model alignment, model--brain alignment는 모두 서로 유의하게 상관된다. 우리는 이 관계들이 학습된 representation의 하나의 기하학적 성질, 즉 embedding의 local intrinsic dimension으로 설명될 수 있음을 추가로 보인다. 더 낮은 local dimension은 일관되게 더 강한 model--model alignment, 더 강한 model--brain alignment, 그리고 더 나은 generalization과 연관되며, 반면 global dimension measure는 이러한 효과를 포착하지 못한다. 마지막으로, model capacity와 training data scale을 증가시키면 local intrinsic dimension이 체계적으로 감소함을 발견했는데, 이는 scaling의 이점을 기하학적으로 설명한다. 종합하면, 우리의 결과는 local intrinsic dimension이 인공 시스템과 생물학적 시스템에서의 representational convergence를 설명하는 통합적 기술자임을 보여 준다.
"},{"id":"61779","en":"REViT: Roto-reflection Equivariant Convolutional Vision Transformer","ko":"REViT: 회전-반사 등변성 Convolutional Vision Transformer","authors":"Sheir A. Zaheer, Alexander Holston, Chan Youn Park","pos":"#4212","link":"https://openreview.net/forum?id=n2RIMdIbv6","abs":"In this paper, we propose a discrete roto-reflection group equivariant vision transformer with convolutional attention. Roto-reflection equivariant networks preserve the rotational, flip and positional symmetry in feature maps, making them useful for tasks where orientation of the inputs is relevant to the model outputs. In image classification and object detection, most of the studies on roto-reflection equivariant models have focused on using convolutional neural networks rather than vision transformers. In this paper, we examine the challenges involved in achieving equivariance in vision transformers, and we propose a simpler way to implement a discretized roto-reflection group equivariant vision transformer. The experimental results demonstrate that our approach outperforms the existing approaches for developing discrete roto-reflection group equivariant neural networks for image classification.
","absKo":"본 논문에서는 convolutional attention을 갖는 discrete roto-reflection group equivariant vision transformer를 제안한다. Roto-reflection equivariant network는 feature map에서 rotation, flip, positional symmetry를 보존하므로, 입력의 방향성이 모델 출력과 관련된 task에 유용하다. image classification과 object detection에서 roto-reflection equivariant model에 대한 대부분의 연구는 vision transformer보다 convolutional neural network 사용에 초점을 맞추어 왔다. 본 논문에서는 vision transformer에서 equivariance를 달성할 때의 어려움을 검토하고, discretized roto-reflection group equivariant vision transformer를 더 단순한 방식으로 구현하는 방법을 제안한다. 실험 결과는 우리의 접근법이 image classification을 위한 discrete roto-reflection group equivariant neural network를 개발하는 기존 접근법보다 우수함을 보여준다.
"},{"id":"65394","en":"CorrSteer: Generation-Time LLM Steering via Correlated Sparse Autoencoder Features","ko":"CorrSteer: 상관된 Sparse Autoencoder 특징을 통한 생성 시점 LLM 조종","authors":"Seonglae Cho, Zekun Wu, Adriano Koshiyama","pos":"#4210","link":"https://openreview.net/forum?id=E7jYm5q6cW","abs":"Sparse Autoencoders (SAEs) decompose LLM activations into interpretable features, yet existing SAE-based steering methods require contrastive datasets or large activation stores. We introduce CorrSteer, which selects steering features by correlating task outcomes with SAE activations computed during generation, then validates these selections through intervention. This two-stage approach treats correlation as a selection heuristic and intervention as the causal test: features that both correlate with success and improve performance when amplified are retained. Coefficients derive from mean activations on correct samples, yielding a fully automated pipeline without task-specific tuning. On Gemma-2 2B and LLaMA-3.1 8B, CorrSteer achieves +3.3% on MMLU (4k samples) and +27.2% on HarmBench (108 samples), with lower side-effect ratios than fine-tuning despite comparable accuracy. Selected features cluster into interpretable categories: structured-output features for multiple-choice tasks, refusal features for safety, and domain-specific semantics for specialized benchmarks. The method scales to $10^5$ SAE features via streaming correlation ($O(1)$ in dataset size), requiring no backward passes or activation storage.","absKo":"Sparse Autoencoders (SAEs)는 LLM activation을 해석 가능한 feature로 분해하지만, 기존 SAE 기반 steering method는 contrastive dataset이나 대규모 activation store를 필요로 한다. 우리는 CorrSteer를 소개하는데, 이 방법은 generation 동안 계산된 SAE activation과 task outcome의 상관관계를 이용해 steering feature를 선택하고, 이후 intervention을 통해 이러한 선택을 검증한다. 이 two-stage 접근법은 correlation을 selection heuristic으로, intervention을 causal test로 취급한다. 즉, 성공과 상관관계가 있으면서 동시에 증폭했을 때 성능을 향상시키는 feature만 유지한다. 계수는 정답 sample의 평균 activation으로부터 도출되므로, task-specific tuning이 전혀 필요 없는 완전 자동화된 pipeline을 제공한다. Gemma-2 2B와 LLaMA-3.1 8B에서 CorrSteer는 MMLU(4k sample)에서 +3.3%, HarmBench(108 sample)에서 +27.2%를 달성했으며, 유사한 정확도에도 불구하고 fine-tuning보다 side-effect ratio가 낮다. 선택된 feature는 해석 가능한 범주로 군집을 이룬다. multiple-choice task를 위한 structured-output feature, safety를 위한 refusal feature, 특수 benchmark를 위한 domain-specific semantic feature가 그것이다. 이 방법은 streaming correlation을 통해 $10^5$개의 SAE feature까지 확장되며(dataset size에 대해 $O(1)$), backward pass나 activation storage가 전혀 필요하지 않다.
"},{"id":"61612","en":"BPL: Generalizable Deepfake Detection via Bias-only Pair-aware Learning","ko":"BPL: Bias-Only Pair-Aware Learning을 통한 일반화 가능한 Deepfake Detection","authors":"Yuxiang Xu, Rundong He, Zhiyuan Yan, Yicong Dong, Zhongyi Han, Xiaoyan Wang, Yilong Yin","pos":"#1603","link":"https://openreview.net/forum?id=oUWm8DaxjJ","abs":"The detection of synthetic images has traditionally been framed as a binary classification problem. However, we argue that this formulation overlooks a fundamental structural property of generative datasets: synthetic images are not independent samples, but are implicitly paired with real images sharing the same semantic source. Existing methods treat real and fake images as independent instances, failing to capture generation-induced relational discrepancies in real–fake pairs. Moreover, models tend to rapidly overfit to seen fake patterns, leading to poor generalization to unseen ones. To overcome these challenges, we propose a novel detection framework that explicitly mines real–fake pairs by constructing source-guided mappings or leveraging nearest-neighbor relationships in the CLIP embedding space. We then introduce pair-wise discrepancy learning that explicitly enlarges generation-induced deviations and discrepancy inversion to mitigate overfitting. Moreover, to preserve pretrained semantic representations while improving generalization, we adopt a bias-only fine-tuning scheme that restricts model capacity during adaptation. Extensive experiments show that our approach achieves superior generalization across unseen fake patterns.
","absKo":"합성 이미지 검출은 전통적으로 binary classification 문제로 다뤄져 왔다. 그러나 우리는 이러한 정식화가 생성 데이터셋의 근본적인 구조적 성질을 간과한다고 주장한다. 즉, synthetic image는 독립적인 샘플이 아니라 동일한 semantic source를 공유하는 real image와 암묵적으로 pair를 이룬다. 기존 방법은 real image와 fake image를 독립적인 instance로 취급하여, real-fake pair에서 생성으로 유발된 relational discrepancy를 포착하지 못한다. 또한 모델은 이미 본 fake pattern에 빠르게 overfit되는 경향이 있어, 보지 못한 패턴에 대한 generalization이 떨어진다. 이러한 문제를 해결하기 위해, 우리는 source-guided mapping을 구성하거나 CLIP embedding space에서 nearest-neighbor 관계를 활용하여 real-fake pair를 명시적으로 발굴하는 새로운 검출 프레임워크를 제안한다. 이어서 생성으로 유발된 deviation을 명시적으로 확대하는 pair-wise discrepancy learning과 overfitting을 완화하는 discrepancy inversion을 도입한다. 더 나아가, pretrained semantic representation을 보존하면서 generalization을 향상시키기 위해, 적응 과정에서 model capacity를 제한하는 bias-only fine-tuning 방식을 채택한다. 광범위한 실험은 우리의 접근법이 보지 못한 fake pattern 전반에서 더 우수한 generalization을 달성함을 보여준다.
"},{"id":"68809","en":"BiSSL: Enhancing the Alignment Between Self-Supervised Pretraining and Downstream Fine-Tuning via Bilevel Optimization","ko":"BiSSL: Bilevel Optimization을 통해 Self-Supervised Pretraining과 하위 Fine-Tuning 사이의 정렬 강화","authors":"Gustav Wagner Zakarias, Lars Kai Hansen, Zheng-Hua Tan","pos":"#1608","abs":"Models initialized from self-supervised pretraining may suffer from poor alignment with downstream tasks, limiting the extent to which subsequent fine-tuning can adapt relevant representations acquired during the pretraining phase. To mitigate this, we introduce BiSSL, a novel bilevel training framework that enhances the alignment of self-supervised pretrained models with downstream tasks by explicitly incorporating both the pretext and downstream tasks into a preparatory training stage prior to fine-tuning. BiSSL solves a bilevel optimization problem in which the lower-level adheres to the self-supervised pretext task, while the upper-level encourages the lower-level backbone to align with the downstream objective. The bilevel structure facilitates enhanced information sharing between the tasks, ultimately yielding a backbone model that is more aligned with the downstream task, providing a better initialization for subsequent fine-tuning. We propose a general training algorithm for BiSSL that is compatible with a broad range of pretext and downstream tasks. We demonstrate that our proposed framework significantly improves accuracy on the vast majority of a broad selection of image-domain downstream tasks, and that these gains are consistently retained across a wide range of experimental settings. In addition, exploratory alignment analyses further underpin that BiSSL enhances downstream alignment of pretrained representations.
","absKo":"self-supervised pretraining으로 초기화된 model은 downstream task와의 alignment가 좋지 않아, pretraining 단계에서 획득한 관련 representation을 이후 fine-tuning이 충분히 적응시키지 못할 수 있다. 이를 완화하기 위해, 우리는 BiSSL을 제안한다. BiSSL은 fine-tuning 이전의 준비 학습 단계에서 pretext task와 downstream task를 모두 명시적으로 포함함으로써, self-supervised pretrained model과 downstream task의 alignment를 향상시키는 새로운 bilevel training framework이다. BiSSL은 lower-level이 self-supervised pretext task를 따르고, upper-level이 lower-level backbone이 downstream objective에 정렬되도록 유도하는 bilevel optimization problem을 푼다. 이 bilevel 구조는 task 간 정보 공유를 강화하여, 궁극적으로 downstream task와 더 잘 정렬된 backbone model을 만들어 이후 fine-tuning을 위한 더 나은 initialization을 제공한다. 우리는 다양한 pretext task와 downstream task에 호환되는 BiSSL의 일반적인 training algorithm을 제안한다. 제안한 framework가 광범위한 image-domain downstream task의 대다수에서 accuracy를 크게 향상시키며, 이러한 향상이 다양한 experimental setting 전반에서 일관되게 유지됨을 보인다. 추가로 수행한 alignment 분석은 BiSSL이 pretrained representation의 downstream alignment를 향상시킨다는 점을 뒷받침한다.
"},{"id":"66525","en":"Being More Lightweight and Practical: Mini-sized Contrastive Learning Pre-trained Models for Fine-grained Traffic Task","ko":"더 경량이고 실용적으로: 세밀한 트래픽 작업을 위한 소형 대조 학습 사전 훈련 모델","authors":"Shuhao Li, Weidong Yang, Ben Fei, Yue Cui, Lipeng Ma, Fan Zhang","pos":"#2600","link":"https://openreview.net/forum?id=2ulI4uqGRG","abs":"Fine-grained traffic prediction is critically important for mitigating traffic congestion in key urban areas and for providing lane-change guidance in autonomous vehicles and navigation systems. However, task-specific models are not efficient enough, city-scale pre-trained models often overlook fine-grained requirements, and the demand for extensive computational resources hinders practical deployment. To address this issue, we developed a lightweight pre-training framework, MiniTraffic. This framework leverages abundant road-level data to address lane-level data scarcity through a frequency domain stability augmentation module and captures road-lane correlations via contrastive clustering to construct small-scale graph structures, significantly reducing model parameters. Fine-tuning with minimal target data provides a unified and efficient solution for fine-grained traffic prediction. In multi-granularity traffic prediction tasks across six fine-grained datasets, MiniTraffic demonstrated superior performance compared to all existing baseline models. The MiniTraffic-related code, datasets, and pre-trained models are available at https://anonymous.4open.science/r/MiniTraffic/.
","absKo":"세밀한 교통 예측은 주요 도시 지역의 교통 혼잡을 완화하고, 자율주행 차량 및 내비게이션 시스템에서 차선 변경을 안내하기 위해 매우 중요하다. 그러나 task-specific 모델은 충분히 효율적이지 않고, 도시 규모의 pre-trained 모델은 종종 세밀한 요구를 간과하며, 막대한 계산 자원에 대한 수요는 실제 배치를 어렵게 만든다. 이를 해결하기 위해 우리는 경량 pre-training framework인 MiniTraffic를 개발했다. 이 framework는 풍부한 road-level 데이터를 활용하여 frequency domain stability augmentation module을 통해 lane-level 데이터 부족 문제를 완화하고, contrastive clustering을 통해 road-lane 상관관계를 포착하여 소규모 graph 구조를 구성함으로써 모델 파라미터를 크게 줄인다. 최소한의 target data로 fine-tuning하면 세밀한 교통 예측을 위한 통합적이고 효율적인 solution을 제공할 수 있다. 여섯 개의 세밀한 dataset에 걸친 multi-granularity traffic prediction task에서 MiniTraffic는 모든 기존 baseline 모델보다 우수한 성능을 보였다. MiniTraffic 관련 code, dataset, pre-trained model은 https://anonymous.4open.science/r/MiniTraffic/ 에서 उपलब्ध하다.
"},{"id":"63984","en":"XTransfer: Modality-Agnostic Few-Shot Model Transfer for Human Sensing at the Edge","ko":"XTransfer: 엣지에서의 인간 센싱을 위한 모달리티 불문 Few-Shot 모델 전이","authors":"Yu Zhang, Xi Zhang, Hualin zhou, Xinyuan Chen, Shang Gao, Hong Jia, Jianfei Yang, Yuankai Qi, Tao Gu","pos":"#4000","link":"https://openreview.net/forum?id=S1rq8s4FCA","abs":"Deep learning for human sensing on edge systems presents significant potential for smart applications. However, its training and development are hindered by the limited availability of sensor data and resource constraints of edge systems. While transferring pre-trained models to different sensing applications is promising, existing methods often require extensive sensor data and computational resources, resulting in high costs and limited transferability. In this paper, we propose XTransfer, a first-of-its-kind method enabling modality-agnostic, few-shot model transfer with resource-efficient design. XTransfer flexibly uses pre-trained models and transfers knowledge across different modalities by (i) model repairing that safely mitigates modality shift by adapting pre-trained layers with only few sensor data, and (ii) layer recombining that efficiently searches and recombines layers of interest from source models in a layer-wise manner to restructure models. We benchmark various baselines across diverse human sensing datasets spanning different modalities. The results show that XTransfer achieves state-of-the-art performance while significantly reducing the costs of sensor data collection, model training, and edge deployment.
","absKo":"edge system에서 human sensing을 위한 deep learning은 smart application에 큰 잠재력을 제공한다. 그러나 제한된 sensor data 가용성과 edge system의 자원 제약으로 인해 학습과 개발이 저해된다. 사전 학습된 모델을 서로 다른 sensing application으로 전이하는 것은 유망하지만, 기존 방법은 종종 방대한 sensor data와 계산 자원을 요구하여 높은 비용과 제한된 transferability를 초래한다. 본 논문에서는 resource-efficient design으로 modality-agnostic few-shot model transfer를 가능하게 하는 최초의 방법인 XTransfer를 제안한다. XTransfer는 사전 학습된 모델을 유연하게 활용하고, (i) 적은 sensor data만으로 pre-trained layer를 적응시켜 modality shift를 안전하게 완화하는 model repairing과, (ii) source model에서 관심 있는 layer를 layer-wise 방식으로 효율적으로 탐색하고 재조합하여 model을 재구성하는 layer recombining을 통해 서로 다른 modality 간 지식을 전이한다. 우리는 다양한 modality를 포괄하는 여러 human sensing dataset에서 다양한 baseline을 benchmark하였다. 결과는 XTransfer가 sensor data 수집, model training, edge deployment 비용을 크게 줄이면서 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"65766","en":"Weight-Space Learning for Certifiable Few-shot Transfer Learning","ko":"인증 가능한 Few-shot 전이 학습을 위한 가중치 공간 학습","authors":"Fady Rezk, Royson Lee, Henry Gouk, Timothy Hospedales, Minyoung Kim","pos":"#4100","link":"https://openreview.net/forum?id=AMIV24ianZ","abs":"In contemporary deep learning, a prevalent and effective workflow for solving low-data problems is adapting powerful pre-trained foundation models (FMs) to new tasks via parameter-efficient fine-tuning (PEFT). However, while empirically effective, the resulting solutions lack generalisation guarantees to certify their accuracy - which may be required for ethical or legal reasons prior to deployment in high-importance applications. In this paper we develop a novel transfer learning approach that is designed to facilitate non-vacuous learning theoretic generalisation guarantees for downstream tasks, even in the low-shot regime. Specifically, we first use upstream tasks to train a {\\em distribution over PEFT parameters}. We then learn the downstream task by a {\\em sample-and-evaluate} procedure -- sampling plausible PEFTs from the trained diffusion model and selecting the one with the highest likelihood on the downstream data. Crucially, this confines our model hypothesis to a {\\em finite} set of PEFT samples. In contrast to the typical continuous hypothesis spaces of neural network weights, this facilitates tighter risk certificates. We instantiate our bound and show non-trivial generalization guarantees compared to existing learning approaches which lead to vacuous bounds in the low-shot regime.
","absKo":"현대 deep learning에서 low-data 문제를 해결하는 데 널리 사용되고 효과적인 workflow는 강력한 pre-trained foundation model(FM)을 parameter-efficient fine-tuning(PEFT)으로 새로운 task에 적응시키는 것이다. 그러나 경험적으로는 효과적이지만, 그 결과 얻어진 solution은 고중요도 애플리케이션에 배포되기 전에 윤리적 또는 법적 이유로 요구될 수 있는 정확성에 대한 일반화 보증을 제공하지 못한다. 본 논문에서는 low-shot regime에서도 downstream task에 대해 non-vacuous한 learning theoretic generalization guarantee를 가능하게 하도록 설계된 새로운 transfer learning 접근법을 개발한다. 구체적으로, 먼저 upstream task를 사용해 {\\em PEFT parameter에 대한 분포}를 학습한다. 그런 다음 downstream task를 {\\em sample-and-evaluate} 절차로 학습한다. 즉, 학습된 diffusion model에서 그럴듯한 PEFT를 샘플링하고, downstream data에서 가장 높은 likelihood를 보이는 것을 선택한다. 핵심은 이 과정이 우리의 model hypothesis를 {\\em finite}한 PEFT sample 집합으로 제한한다는 점이다. 신경망 weight의 전형적인 연속적 hypothesis space와 달리, 이는 더 타이트한 risk certificate를 가능하게 한다. 우리는 우리의 bound를 구체화하고, low-shot regime에서 vacuous한 bound로 이어지는 기존 learning approach와 비교하여 비자명한 generalization guarantee를 보인다.
"},{"id":"66618","en":"Understanding Transfer Learning of RNA Foundation Models on Downstream Tasks","ko":"다운스트림 작업에서 RNA Foundation Model의 전이 학습 이해","authors":"Yuan Li, Heng Yang, Renzhi Chen, Ke Li","pos":"#4101","link":"https://openreview.net/forum?id=26JHfF3tk7","abs":"Foundation models (FMs) pretrained on large-scale sequence data have emerged as a promising paradigm for RNA biology, yet the mechanisms underlying their transferability remain unclear. In this work, we conduct a systematic investigation of transfer learning in RNA FMs across diverse structural and functional tasks. Our results demonstrate that frozen representations from pretrained RNA FMs are not universally transferable, and that the hierarchical feature reuse paradigm prevalent in computer vision does not generally extend to RNA FMs. Instead, pretraining primarily benefits downstream tasks by providing a favorable optimization initialization when pretraining and downstream objectives are well aligned, which accelerates convergence toward flatter minima associated with improved generalization. Overall, our findings characterize pretraining as an optimization prior whose effectiveness is governed by task alignment and model capacity, offering principled guidance for future RNA FMs.
","absKo":"대규모 sequence data로 사전학습된 foundation model(FM)은 RNA biology를 위한 유망한 패러다임으로 부상했지만, 그 transferability를 뒷받침하는 메커니즘은 여전히 명확하지 않다. 본 연구에서는 다양한 구조적 및 기능적 task 전반에 걸쳐 RNA FM의 transfer learning을 체계적으로 조사한다. 우리의 결과는 사전학습된 RNA FM의 frozen representation이 보편적으로 전이 가능하지 않으며, computer vision에서 널리 쓰이는 hierarchical feature reuse 패러다임이 RNA FM에는 일반적으로 그대로 확장되지 않음을 보여준다. 대신, 사전학습은 주로 pretraining 목표와 downstream 목표가 잘 정렬될 때, 더 좋은 최적화 초기값을 제공함으로써 downstream task에 이점을 주며, 이는 더 나은 generalization과 연관된 더 평평한 minima로의 수렴을 가속한다. 종합하면, 우리의 발견은 사전학습을 task alignment와 model capacity에 의해 효용이 결정되는 optimization prior로 규정하며, 향후 RNA FM에 대한 원칙적인 지침을 제공한다.
"},{"id":"64039","en":"Transfer Learning in Nonparametric Regression with Deep ReLU Networks","ko":"심층 ReLU 네트워크를 이용한 비모수 회귀에서의 전이 학습","authors":"Junpeng Ren, Carlos Misael Madrid Padilla, Yanzhen Chen, OSCAR HERNAN MADRID PADILLA","pos":"#4102","link":"https://openreview.net/forum?id=RVEhUx4fOs","abs":"This paper develops a general transfer learning framework for nonparametric regression with heterogeneous data consisting of multiple groups. Under the assumption that groups share a common structure along with group-specific deviations in additive form, the proposed method employs a two-stage offset learning procedure: the first stage pools data from all groups to estimate an overall mean function, and the second stage estimates offsets for each group, yielding final group-level estimators through additive combination. Non-asymptotic upper bounds are established for the proposed framework, covering a broad class of nonparametric estimators under mild complexity and noise conditions. When instantiated with deep ReLU networks, explicit convergence rates are derived under hierarchical composition models, demonstrating the ability to overcome the curse of dimensionality. Conditions that enable positive transfer with faster rates are considered, including learning with simpler functions and data augmentation through pooling samples across groups. Various simulations and real-data experiments further validate the effectiveness of the proposed method.
","absKo":"이 논문은 여러 group으로 구성된 heterogeneous data에 대한 nonparametric regression을 위한 일반적인 transfer learning framework를 개발한다. group들이 공통 구조를 공유하면서 additive form의 group-specific deviation을 가진다는 가정하에, 제안 방법은 two-stage offset learning procedure를 사용한다. 첫 번째 stage에서는 모든 group의 데이터를 풀링하여 전체 mean function을 추정하고, 두 번째 stage에서는 각 group의 offset을 추정하여 additive combination을 통해 최종 group-level estimator를 얻는다. 제안된 framework에 대해 non-asymptotic upper bound를 설정하며, 이는 완만한 complexity 및 noise condition 하에서 광범위한 class의 nonparametric estimator를 포괄한다. deep ReLU network에 적용하면, hierarchical composition model 하에서 명시적인 convergence rate를 도출할 수 있으며, 이는 dimensionality curse를 극복할 수 있음을 보여준다. 더 빠른 rate로 positive transfer를 가능하게 하는 조건도 함께 고려하는데, 더 단순한 function을 학습하는 경우와 여러 group의 sample을 pooling하여 data augmentation을 수행하는 경우가 이에 해당한다. 다양한 simulation과 real-data experiment는 제안 방법의 효과를 추가로 검증한다.
"},{"id":"64098","en":"Transfer Learning in High-dimensional Ising Models","ko":"고차원 Ising 모델에서의 전이 학습","authors":"Joonho Kim, Seyoung Park","pos":"#4103","link":"https://openreview.net/forum?id=QuvgxpbVzf","abs":"We propose a transfer learning framework for estimating high-dimensional Ising models that characterize interactions between discrete binary variables from limited target samples and multiple auxiliary datasets of unknown relevance. Our algorithm, termed Trans-Ising, builds upon a two-stage procedure that first obtains an initial estimator via nodewise $\\ell_1$-regularized logistic regression on the target data together with selected auxiliary samples, and then refines it using a target-only correction step with a folded-concave penalty to improve edge selection accuracy. To decide which auxiliary sources to transfer from and reduce the risk of negative transfer, we introduce a loss-based screening rule based on out-of-sample pseudolikelihood evaluation on held-out target data. We also establish asymptotic error bounds and selection consistency for the proposed estimator under standard high-dimensional conditions. Extensive simulations and real data applications show that Trans-Ising consistently outperforms competing methods.","absKo":"우리는 제한된 target sample과, 관련성이 알려지지 않은 여러 auxiliary dataset으로부터 이산 이진 변수 간 상호작용을 특성화하는 고차원 Ising model 추정을 위한 transfer learning framework를 제안한다. Trans-Ising이라 명명한 우리의 알고리즘은 두 단계 절차에 기반한다. 먼저 target data와 선택된 auxiliary sample을 함께 사용한 nodewise $\\ell_1$-regularized logistic regression으로 초기 estimator를 얻고, 이어서 edge selection 정확도를 향상시키기 위해 folded-concave penalty를 사용하는 target-only correction step으로 이를 정제한다. 어떤 auxiliary source로부터 transfer할지 결정하고 negative transfer의 위험을 줄이기 위해, 우리는 held-out target data에서의 out-of-sample pseudolikelihood 평가를 기반으로 한 loss-based screening rule을 도입한다. 또한 표준 고차원 조건 하에서 제안한 estimator에 대한 asymptotic error bound와 selection consistency를 확립한다. 광범위한 simulation과 실제 데이터 적용 결과는 Trans-Ising이 경쟁 방법들을 일관되게 능가함을 보여준다."},{"id":"62189","en":"Semi-Supervised Noise Adaptation: Transferring Knowledge from Noise Domain","ko":"반지도 Noise Adaptation: Noise Domain에서 지식 전이","authors":"Yuan Yao, Jin Song, Huixia Li, Tongtong Yuan, Jiaqi Wu, Yu Zhang","pos":"#4104","link":"https://openreview.net/forum?id=iv84rM71Mc","abs":"Transfer learning aims to facilitate the learning of a target domain by transferring knowledge from a source domain. The source domain typically contains semantically meaningful samples (e.g., images) to facilitate effective knowledge transfer. However, a recent study observes that the noise domain constructed from simple distributions (e.g., Gaussian distributions) can serve as a surrogate source domain in the semi-supervised setting, where only a small proportion of target samples are labeled while most remain unlabeled. Based on this surprising observation, we formulate a novel problem termed Semi-Supervised Noise Adaptation (SSNA), which aims to leverage a synthetic noise domain to improve the generalization of the target domain. To address this problem, we first establish a generalization bound characterizing the effect of the noise domain on generalization, based on which we propose a Noise Adaptation Framework (NAF). Extensive experiments demonstrate that NAF effectively leverages the noise domain to tighten the generalization bound of the target domain, leading to improved performance. The codes are available at https://anonymous.4open.science/r/SSNA.
","absKo":"Transfer learning은 source domain에서 target domain으로 knowledge를 이전함으로써 target domain의 학습을 촉진하는 것을 목표로 한다. source domain은 일반적으로 효과적인 knowledge transfer를 돕기 위해 의미적으로 유의미한 sample(e.g., image)을 포함한다. 그러나 최근 연구는 간단한 분포(e.g., Gaussian distribution)로 구성된 noise domain이, target sample의 일부만 label되고 나머지는 unlabeled인 semi-supervised setting에서 surrogate source domain으로 기능할 수 있음을 관찰했다. 이 놀라운 관찰을 바탕으로, 우리는 synthetic noise domain을 활용해 target domain의 generalization을 향상시키는 새로운 문제인 Semi-Supervised Noise Adaptation (SSNA)을 정식화한다. 이 문제를 해결하기 위해, 우리는 먼저 noise domain이 generalization에 미치는 효과를 특징짓는 generalization bound를 확립하고, 이를 바탕으로 Noise Adaptation Framework (NAF)를 제안한다. 광범위한 실험은 NAF가 noise domain을 효과적으로 활용하여 target domain의 generalization bound를 좁히고, 그 결과 성능이 향상됨을 보여준다. 코드는 https://anonymous.4open.science/r/SSNA 에서 제공된다.
"},{"id":"62317","en":"Return of Frustratingly Easy Unsupervised Video Domain Adaptation","ko":"다시 돌아온 Frustratingly Easy Unsupervised Video Domain Adaptation","authors":"Pengfei Wei, Yiqun Sun, Zhiqiang Xu, Yiping Ke, Lawrence Hsieh","pos":"#4105","link":"https://openreview.net/forum?id=hhhsqmUWsU","abs":"Unsupervised video domain adaptation (UVDA) is a practical but under-explored problem. In this paper, we propose a frustratingly easy UVDA method, called \\emph{MetaTrans}. Specifically, \\emph{MetaTrans} adopts a concise learning objective that contains only two fundamental loss terms. Despite the simplicity of the learning objective, \\emph{MetaTrans} embodies an advanced UVDA idea, that is, handling the spatial and temporal divergence of cross-domain videos separately, through a subtle model architecture design. By implementing a temporal-static subtraction module, \\emph{MetaTrans} effectively removes spatial and temporal divergence. Extensive empirical evaluations, particularly on various cross-domain action recognition tasks, show substantial absolute adaptation performance enhancement and significantly superior relative performance gain compared with state-of-the-art UVDA baselines.
","absKo":"Unsupervised video domain adaptation (UVDA)는 실용적이지만 아직 충분히 탐구되지 않은 문제이다. 본 논문에서는 \\emph{MetaTrans}라는, 놀라울 정도로 간단한 UVDA 방법을 제안한다. 구체적으로, \\emph{MetaTrans}는 오직 두 개의 기본 loss term만을 포함하는 간결한 learning objective를 채택한다. learning objective는 단순하지만, \\emph{MetaTrans}는 고급 UVDA 아이디어, 즉 교차 도메인 video의 spatial divergence와 temporal divergence를 미묘한 model architecture 설계를 통해 분리하여 다루는 방식을 구현한다. temporal-static subtraction module을 구현함으로써, \\emph{MetaTrans}는 spatial 및 temporal divergence를 효과적으로 제거한다. 다양한 cross-domain action recognition task에서 특히 두드러지는 광범위한 실험 평가 결과, state-of-the-art UVDA baseline과 비교해 절대적인 adaptation 성능 향상과 상대적으로도 현저히 우수한 성능 향상을 보여준다.
"},{"id":"65527","en":"Negatives-Dominant Contrastive Learning for Generalization in Imbalanced Domains","ko":"불균형 도메인에서 일반화를 위한 부정 지배 대조 학습","authors":"Meng Cao, Jiexi Liu, Songcan Chen","pos":"#4107","link":"https://openreview.net/forum?id=Cez36tiWXz","abs":"Imbalanced Domain Generalization (IDG) focuses on mitigating both domain and label shifts, both of which fundamentally shape the model's decision boundaries, particularly under heterogeneous long-tailed distributions across domains. Despite its practical significance, it remains underexplored, primarily due to the technical complexity of handling their entanglement and the paucity of theoretical foundations. In this paper, we begin by theoretically establishing the generalization bound for IDG, highlighting the role of posterior discrepancy and decision margin. This bound motivates us to focus on directly steering decision boundaries, marking a clear departure from existing methods. Then, we technically propose a novel Negative-Dominant Contrastive Learning (NDCL) for IDG to enhance discriminability while enforce posterior consistency across domains. Specifically, inter-class decision-boundary separation is enhanced by placing greater emphasis on negatives as the primary signal in our contrastive learning, naturally amplifying gradient signals for minority classes to avoid the decision boundary being biased toward majority classes. Intra-class compactness is encouraged through a re-weighted cross-entropy strategy, and posterior consistency across domains is enforced through a prediction-central alignment strategy. Finally, rigorous yet challenging experiments on benchmarks validate the effectiveness of our NDCL.
","absKo":"불균형 도메인 일반화(Imbalanced Domain Generalization, IDG)는 도메인 및 레이블 시프트를 모두 완화하는 데 초점을 두며, 이 둘은 특히 도메인 간 이질적인 long-tailed 분포하에서 모델의 결정 경계를 근본적으로 형성한다. 실용적 중요성에도 불구하고, 이 문제는 두 현상의 얽힘을 다루는 데 따르는 기술적 복잡성과 이론적 기반의 부족으로 인해 여전히 충분히 탐구되지 않았다. 본 논문에서는 먼저 이론적으로 IDG에 대한 일반화 경계를 정립하고, posterior discrepancy와 decision margin의 역할을 강조한다. 이 경계는 기존 방법과는 분명히 다른 방향으로, 결정 경계를 직접 제어하는 데 초점을 맞추도록 동기를 부여한다. 이어서 우리는 IDG를 위한 새로운 Negative-Dominant Contrastive Learning(NDCL)을 기술적으로 제안하여, 도메인 전반의 posterior consistency를 강제하면서 판별성을 향상시킨다. 구체적으로, 우리의 contrastive learning에서 negatives를 주된 신호로 더 크게 강조함으로써 클래스 간 decision-boundary separation을 강화하고, 이는 minority class에 대한 gradient signal을 자연스럽게 증폭시켜 decision boundary가 majority class 쪽으로 치우치는 것을 방지한다. 클래스 내 응집성은 re-weighted cross-entropy 전략을 통해 장려되며, 도메인 간 posterior consistency는 prediction-central alignment 전략으로 강제된다. 마지막으로, 엄밀하면서도 도전적인 benchmark 실험을 통해 우리의 NDCL의 효과를 검증한다.
"},{"id":"65491","en":"Multi-task Linear Regression without Eigenvalue Lower Bounds: Adaptivity, Robustness and Safety","ko":"고유값 하한 없는 다중 과제 선형 회귀: 적응성, 강건성, 안전성","authors":"Seok-Jin Kim","pos":"#4108","link":"https://openreview.net/forum?id=D5Ijcnz1L9","abs":"We study the multi-task linear regression problem with contaminated tasks. We consider a situation where the unknown parameters of each task are close in the $\\ell_2$-norm, but a certain proportion of tasks are outliers. In the presence of outliers, existing works develop theory under the assumption that the empirical second moment (normalized Gram matrix) of each task has a minimum eigenvalue of order $\\Omega(1)$. However, this assumption is violated in many cases, and we propose a novel loss function that operates efficiently under a strictly relaxed assumption. Under this assumption, we obtain an optimal Mean Squared Error (MSE) bound, and even when the assumption is violated, we achieve a favorable rate of the MSE bound. Hence, our methodology adapts to the degree of task similarity and the proportion of outliers, both of which are unknown (adaptivity and robustness), and also enjoys safety against assumption violation.","absKo":"우리는 오염된 tasks가 존재하는 multi-task linear regression 문제를 연구한다. 우리는 각 task의 미지의 parameter가 $\\ell_2$-norm에서 서로 가깝지만, 일정 비율의 tasks는 outlier인 상황을 고려한다. outlier가 존재할 때 기존 연구들은 각 task의 empirical second moment(normalized Gram matrix)가 최소 고유값이 $\\Omega(1)$ 차수라는 가정하에 이론을 전개한다. 그러나 이 가정은 많은 경우에 성립하지 않으며, 우리는 훨씬 완화된 가정 아래서 효율적으로 작동하는 새로운 loss function을 제안한다. 이 가정하에서 우리는 optimal Mean Squared Error (MSE) bound를 얻고, 가정이 깨지는 경우에도 MSE bound의 유리한 rate를 달성한다. 따라서 우리의 방법론은 task similarity의 정도와 outlier의 비율, 즉 둘 다 알 수 없는 요소들에 적응하며(adaptivity and robustness), 가정 위반에 대해서도 안전성을 갖는다."},{"id":"64952","en":"MER-DG: Modality-Entropy Regularization for Multimodal Domain Generalization","ko":"MER-DG: 멀티모달 Domain Generalization을 위한 Modality-Entropy 정규화","authors":"Yavuz Yarici, Ghassan AlRegib","pos":"#4109","link":"https://openreview.net/forum?id=IOUmfPYShr","abs":"Deploying multimodal models in real-world scenarios requires generalization to new environments where recording conditions differ from training, a challenge known as multimodal domain generalization (MMDG). Standard architectures employ separate encoders for each modality and a fusion module, training the system end-to-end by optimizing on the fused features. In this paper, we identify that such joint optimization causes encoders to exploit cross-modal co-occurrences, statistical relationships between modalities that arise from source-specific recording conditions, rather than learning domain-invariant features. We term this failure mode Fusion Overfitting. To address this, we propose Modality-Entropy Regularization for Domain Generalization (MER-DG), which maximizes the entropy of each encoder's feature distribution to preserve feature diversity. MER-DG is architecture-agnostic and integrates into existing multimodal frameworks as an additive loss term. Extensive experiments on EPIC-Kitchens and HAC benchmarks demonstrate average improvements of ${\\sim}5\\%$ over standard fusion and ${\\sim}2\\%$ over state-of-the-art methods.","absKo":"Multimodal model을 실제 환경에 배포하려면 학습 시점과 다른 recording condition을 가진 새로운 환경으로의 generalization이 필요하며, 이는 multimodal domain generalization (MMDG)이라는 문제로 알려져 있다. 표준 architecture는 각 modality마다 별도의 encoder와 fusion module을 사용하며, fused feature에 대해 최적화하면서 end-to-end로 시스템을 학습한다. 본 논문에서는 이러한 joint optimization이 encoder들로 하여금 domain-invariant feature를 학습하기보다, source-specific recording condition에서 생겨나는 modality 간 통계적 관계인 cross-modal co-occurrence를 활용하게 만든다는 점을 발견한다. 우리는 이 실패 모드를 Fusion Overfitting이라 부른다. 이를 해결하기 위해, 각 encoder의 feature distribution entropy를 최대화하여 feature diversity를 보존하는 Modality-Entropy Regularization for Domain Generalization (MER-DG)를 제안한다. MER-DG는 architecture-agnostic하며 기존 multimodal framework에 additive loss term으로 통합할 수 있다. EPIC-Kitchens와 HAC benchmark에 대한 광범위한 실험은 standard fusion 대비 평균 약 ${\\sim}5\\%$, state-of-the-art method 대비 약 ${\\sim}2\\%$의 향상을 보여준다."},{"id":"62820","en":"Improving CLIP Adaptation by Breaking Tail Alignment for Source-Free Cross-Domain Few-Shot Learning","ko":"Source-Free Cross-Domain Few-Shot Learning을 위한 Tail Alignment 해제를 통한 CLIP Adaptation 향상","authors":"Shuai Yi, Yixiong Zou, Yuhua Li, Ruixuan Li","pos":"#4110","link":"https://openreview.net/forum?id=cxzfiVqrjN","abs":"Vision-Language Models (VLMs) such as CLIP demonstrate strong zero-shot generalization, but their performance significantly degrades in cross-domain scenarios with scarce target-domain training data (Cross-Domain Few-Shot Learning, CDFSL). In this paper, we focus on the target-domain few-shot finetuning in the CLIP-based CDFSL task. Prevailing finetuning paradigms uniformly align all image patch tokens with their corresponding textual embeddings. However, we find a counterintuitive phenomenon: actively pushing away certain low-similarity image tokens, termed “tail tokens”, from their textual embeddings consistently improves target-domain performance. We delve into this phenomenon and provide a novel interpretation: under great domain shifts and scarce training data, the model can hardly extract semantic information from visual inputs; therefore, the common belief of alignment is valid only for tokens already containing sufficient semantic information; for tail tokens, forcing the alignment would lead to excessive overfitting to the scarce training, while breaking the alignment is more useful. Motivated by this, we propose Adaptive Tail-Head Alignment (ATHA), a novel fine-tuning strategy for CLIP that transforms the conventional uniform alignment paradigm to an adaptive alignment paradigm, with both alignment strengthening and weakening. Extensive experiments on four challenging CDFSL benchmarks validate our state-of-the-art performance. Our codes will be released.
","absKo":"CLIP과 같은 Vision-Language Model (VLM)은 강력한 zero-shot generalization을 보이지만, target-domain training data가 부족한 cross-domain 상황(Cross-Domain Few-Shot Learning, CDFSL)에서는 성능이 크게 저하된다. 본 논문에서는 CLIP 기반 CDFSL task에서 target-domain few-shot finetuning에 초점을 맞춘다. 기존의 finetuning paradigm은 모든 image patch token을 대응하는 textual embedding과 일률적으로 정렬한다. 그러나 우리는 일부 low-similarity image token, 즉 “tail token”을 textual embedding에서 적극적으로 멀어지게 할 때 target-domain 성능이 일관되게 향상된다는 직관에 반하는 현상을 발견했다. 우리는 이 현상을 심층적으로 분석하고 새로운 해석을 제시한다. 즉, 큰 domain shift와 부족한 training data 하에서는 모델이 visual input에서 semantic information을 거의 추출하지 못하므로, 일반적인 alignment 신념은 충분한 semantic information을 이미 포함한 token에 대해서만 타당하다. tail token의 경우 alignment를 강제하면 부족한 training에 과도하게 overfitting하게 되며, 오히려 alignment를 깨는 것이 더 유용하다. 이러한 동기에 따라 우리는 Adaptive Tail-Head Alignment (ATHA)를 제안한다. 이는 기존의 uniform alignment paradigm을 alignment 강화와 약화를 모두 포함하는 adaptive alignment paradigm으로 바꾸는 CLIP용 새로운 fine-tuning strategy이다. 네 가지 까다로운 CDFSL benchmark에서의 광범위한 실험은 우리의 state-of-the-art 성능을 검증한다. 코드는 공개할 예정이다.
"},{"id":"68829","en":"Hierarchical Filtering and Refinement Classification for Few-Shot Class-Incremental Learning","ko":"Few-Shot Class-Incremental Learning을 위한 계층적 필터링 및 정제 분류","authors":"Li-Jun Zhao, Zhen-Duo Chen, Xin Luo, Xin-Shun Xu","pos":"#4111","abs":"Few-shot class-incremental learning (FSCIL) aims at recognizing novel classes continually with limited novel class samples. A mainstream baseline for FSCIL is first to train the whole model in the base session, then freeze the feature extractor in the incremental sessions. Despite achieving high overall accuracy, most methods exhibit notably low accuracy on incremental classes. While some recent methods have recognized this issue, their strategies remain constrained by a unified classification objective across all samples, making it difficult to simultaneously satisfy the performance requirements of both base and incremental classes. In this paper, considering that base and incremental classes play different yet both critical roles in FSCIL, we approach FSCIL from a more structured perspective by decomposing the overall classification objective into three sub-objectives. Building on this insight, we propose a novel classification framework called Hierarchical Filtering and Refinement Classification (HFRC) to hierarchically decompose and address the classification task. Extensive experiments demonstrate that our method effectively balances the classification accuracy between base and incremental classes, and achieves superior performance compared to state-of-the-art methods.
","absKo":"few-shot class-incremental learning(FSCIL)은 제한된 novel class sample만으로 새로운 클래스를 지속적으로 인식하는 것을 목표로 합니다. FSCIL의 주류 baseline은 먼저 base session에서 전체 model을 학습한 뒤, incremental session에서는 feature extractor를 고정하는 것입니다. 전체 정확도는 높게 달성하지만, 대부분의 방법은 incremental class에서 현저히 낮은 정확도를 보입니다. 최근 일부 방법이 이 문제를 인식했지만, 이들의 전략은 모든 sample에 대해 단일한 classification objective에 묶여 있어 base class와 incremental class의 성능 요구를 동시에 만족시키기 어렵습니다. 본 논문에서는 base class와 incremental class가 FSCIL에서 서로 다르지만 모두 중요한 역할을 한다는 점을 고려하여, 전체 classification objective를 세 개의 sub-objective로 분해하는 보다 구조적인 관점에서 FSCIL에 접근합니다. 이 통찰을 바탕으로, 우리는 classification task를 계층적으로 분해하고 해결하기 위한 Hierarchical Filtering and Refinement Classification(HFRC)이라는 새로운 classification framework를 제안합니다. 광범위한 실험은 제안 방법이 base class와 incremental class 사이의 classification accuracy를 효과적으로 균형 있게 맞추며, state-of-the-art 방법보다 우수한 성능을 달성함을 보여줍니다.
"},{"id":"63709","en":"Discretized Density-Guided Source-Free Adaptation for Continuous Targets","ko":"연속 타깃을 위한 이산화된 Density-Guided Source-Free Adaptation","authors":"Gezheng Xu, Qi CHEN, QIUHAO Zeng, Charles X. Ling, Boyu Wang","pos":"#4112","link":"https://openreview.net/forum?id=UQLGAjV1cf","abs":"Source-Free Domain Adaptation (SFDA) enables model adaptation under distribution shifts without access to source data, providing a practical solution for privacy-sensitive applications and having shown substantial progress in classification. In contrast, regression involves ordered and continuous target variables, posing unique challenges for representation adaptation and pseudo-label refinement in the SFDA setting. To address this gap, we propose a novel algorithm for continuous target prediction in SFDA that leverages instance-dependent, discretized density–informed supervisory signals to refine pseudo-labels within an uncertainty-aware paradigm. By incorporating auxiliary discretized distribution learning, our method also promotes more compact and structured feature representations, mitigating the inherent difficulties of adapting regression models under distribution shift. We theoretically demonstrate that the resulting density structure is robust to potential perturbations, supporting reliable SFDA for regression. Extensive experiments across multiple benchmarks validate the effectiveness of the proposed approach.
","absKo":"Source-Free Domain Adaptation (SFDA)은 source data에 접근하지 않고도 distribution shift 하에서 모델 적응을 가능하게 하며, privacy-sensitive application에 실용적인 해법을 제공하고 classification에서 큰 진전을 보여왔다. 반면 regression은 순서가 있고 연속적인 target variable을 다루므로, SFDA 설정에서 representation adaptation과 pseudo-label refinement에 고유한 어려움을 제기한다. 이 격차를 해소하기 위해, 우리는 uncertainty-aware paradigm 안에서 instance-dependent한 discretized density-informed supervisory signal을 활용하여 pseudo-label을 정교화하는, SFDA에서의 continuous target prediction을 위한 새로운 알고리즘을 제안한다. 보조적인 discretized distribution learning을 포함함으로써, 우리의 방법은 더 응집적이고 구조화된 feature representation을 촉진하여 distribution shift 하에서 regression model을 적응시키는 고유한 어려움을 완화한다. 우리는 그 결과로 얻어지는 density structure가 잠재적 perturbation에 대해 견고함을 이론적으로 보이며, regression을 위한 신뢰할 수 있는 SFDA를 뒷받침함을 보인다. 여러 benchmark에 걸친 광범위한 실험은 제안한 접근의 효과를 검증한다."},{"id":"60927","en":"CORE-MTL: Rethinking Gradient Balancing via Causal Orthogonal Representations","ko":"CORE-MTL: Causal Orthogonal Representations를 통한 Gradient Balancing 재고","authors":"Chengfeng Wu, Jingge Wang, Yanru Wu, Tao Zou","pos":"#4113","link":"https://openreview.net/forum?id=vIIk6uur7Z","abs":"Multi-task learning (MTL) aims to construct a joint model for multiple tasks by sharing a common representation across domains. To achieve this goal, existing optimization-centric methods either balance task gradients or modify the shared architecture. However, as these approaches remain agnostic to the content of the shared representation, they fail to disentangle task-relevant structure from spurious context, leading to negative transfer and poor generalization. To overcome this limitation, we propose Causal Orthogonal Representations for Multi-Task Learning (CORE-MTL) , a representation-centric framework that structurally disentangles the shared representation into semantic and residual streams, concentrating task-relevant structure in the semantic stream while relegating nuisance variation to the residual stream. We instantiate this framework in the visual domain by leveraging physical priors for structured scenes and statistical constraints for attributes. Theoretically, our method enjoys a tighter out-of-distribution generalization bound than optimization-centric methods and reduces task gradient interference without explicit gradient projection or reweighting. Empirically, CORE-MTL consistently outperforms existing methods on visual multi-task benchmarks in both in-distribution and out-of-distribution settings.
","absKo":"Multi-task learning (MTL)은 domain 전반에 걸쳐 공통 representation을 공유함으로써 여러 task를 위한 joint model을 구성하는 것을 목표로 한다. 이 목표를 달성하기 위해 기존의 optimization-centric 방법들은 task gradient를 균형화하거나 shared architecture를 수정한다. 그러나 이러한 접근법은 shared representation의 content에 대해 무관심하기 때문에, task 관련 구조를 spurious context와 분리하지 못해 negative transfer와 poor generalization을 초래한다. 이러한 한계를 극복하기 위해 우리는 Causal Orthogonal Representations for Multi-Task Learning (CORE-MTL)을 제안한다. 이는 shared representation을 semantic stream과 residual stream으로 구조적으로 disentangle하는 representation-centric framework로, task 관련 구조는 semantic stream에 집중시키고 nuisance variation은 residual stream에 위임한다. 우리는 structured scenes에 대한 physical prior와 attributes에 대한 statistical constraint를 활용하여 이 framework를 visual domain에서 구현한다. 이론적으로, 우리의 방법은 optimization-centric method보다 더 타이트한 out-of-distribution generalization bound를 가지며, explicit gradient projection이나 reweighting 없이 task gradient interference를 줄인다. 실험적으로, CORE-MTL은 in-distribution 및 out-of-distribution setting 모두에서 visual multi-task benchmark들에서 기존 방법들을 일관되게 능가한다.
"},{"id":"62072","en":"Bayesian Meta-Learning with Expert Feedback for Task-Shift Adaptation through Causal Embeddings","ko":"Causal Embedding을 통한 과제 전환 적응을 위한 Expert Feedback 기반 Bayesian Meta-Learning","authors":"Lotta Mäkinen, Jorge Loria, Samuel Kaski","pos":"#4114","link":"https://openreview.net/forum?id=k76ll7aQyE","abs":"Meta-learning methods perform well on new within-distribution tasks but often fail when adapting to out-of-distribution target tasks, where transfer from source tasks can induce negative transfer. We propose a causally-aware Bayesian meta-learning method, by conditioning task-specific priors on precomputed latent causal task embeddings, enabling transfer based on mechanistic similarity rather than spurious correlations. Our approach explicitly considers realistic deployment settings where access to target-task data is limited, and adaptation relies on noisy (expert-provided) pairwise judgments of causal similarity between source and target tasks. We provide a theoretical analysis showing that conditioning on causal embeddings controls prior mismatch and mitigates negative transfer under task shift. Empirically, we demonstrate reductions in negative transfer and improved out-of-distribution adaptation in both controlled simulations and a large-scale real-world clinical prediction setting for cross-disease transfer, where causal embeddings align with underlying clinical mechanisms.
","absKo":"Meta-learning 방법은 분포 내 새 task에서는 잘 작동하지만, source task에서의 transfer가 negative transfer를 유발할 수 있는 분포 밖 target task에 적응할 때는 종종 실패한다. 우리는 task-specific prior를 미리 계산된 latent causal task embedding에 조건화하는 causally-aware Bayesian meta-learning 방법을 제안하여, spurious correlation이 아니라 mechanistic similarity에 기반한 transfer를 가능하게 한다. 우리의 접근법은 target-task 데이터 접근이 제한적이고, 적응이 source task와 target task 사이의 causal similarity에 대한 noisy한(전문가가 제공한) pairwise judgment에 의존하는 현실적인 배포 상황을 명시적으로 고려한다. 우리는 causal embedding에 조건화하는 것이 prior mismatch를 제어하고 task shift 하에서 negative transfer를 완화함을 보이는 이론적 분석을 제시한다. 실증적으로는 통제된 시뮬레이션과 cross-disease transfer를 위한 대규모 실제 임상 예측 설정 모두에서 negative transfer 감소와 out-of-distribution 적응 향상을 입증하며, 여기서 causal embedding은 underlying clinical mechanism과 정렬된다.
"},{"id":"65919","en":"Bayes-inspired Integration of Pretrained Priors and Few-Shot Evidence for Few-Shot Classification","ko":"Few-Shot 분류를 위한 사전학습 사전지식과 Few-Shot 증거의 Bayes 영감 통합","authors":"Gang Liu, Xiaoxuan Zhang, Yuhong Feng, Mingyang Zhou, Xiaoqun Wu, Hao Liao, Rui Mao","pos":"#4115","link":"https://openreview.net/forum?id=8uqxbSPlkn","abs":"Few-shot classification aims to adapt a pretrained model to novel classes with limited examples. While current methods often heuristically combine pretrained knowledge and few-shot evidence, we seek a more principled understanding of their relationship. In this paper, we propose a Bayesian-inspired optimal integration framework(BOIF) that interprets pretrained models as priors and few-shot evidence as likelihoods. Under conditional independence approximation, we show that the optimal log-posterior decomposes into the sum of prior logits and likelihood logits. This leads to a simple yet effective design principle: decouple the prior and likelihood pathways and combine their logits additively. Guided by this principle, we implement BOIF using CLIP with two novel enhancements: (1) a multi-level feature adapter to enrich visual representations, and (2) a simplified cache module for likelihood estimation. Extensive experiments on 11 benchmarks show BOIF achieves state-of-the-art performance (e.g., 80.61\\% average accuracy at 16-shot) and strong out-of-distribution robustness. Our work provides both a principled perspective and an effective instantiation for few-shot adaptation.
","absKo":"Few-shot classification은 사전 학습된 model을 제한된 예시로 새로운 class에 적응시키는 것을 목표로 한다. 현재의 방법들이 종종 사전 지식과 few-shot evidence를 휴리스틱하게 결합하는 반면, 우리는 그 관계를 더 원칙적으로 이해하고자 한다. 본 논문에서는 Bayesian-inspired optimal integration framework(BOIF)를 제안하여, 사전 학습된 model을 prior로, few-shot evidence를 likelihood로 해석한다. conditional independence approximation 하에서 optimal log-posterior가 prior logit과 likelihood logit의 합으로 분해됨을 보인다. 이는 간단하면서도 효과적인 설계 원칙으로 이어지는데, 즉 prior pathway와 likelihood pathway를 분리하고 그 logit을 additive하게 결합하는 것이다. 이 원칙에 따라 우리는 CLIP을 사용해 두 가지 새로운 enhancement와 함께 BOIF를 구현한다: (1) visual representation을 풍부하게 만드는 multi-level feature adapter, 그리고 (2) likelihood estimation을 위한 simplified cache module이다. 11개 benchmark에 대한 광범위한 실험은 BOIF가 state-of-the-art performance(예: 16-shot에서 평균 정확도 80.61\\%)와 강한 out-of-distribution robustness를 달성함을 보여준다. 우리의 연구는 few-shot adaptation을 위한 원칙적 관점과 효과적인 구현을 모두 제공한다.
"},{"id":"66217","en":"Adaptive Estimation and Inference in Semi-parametric Heterogeneous Clustered Multitask Learning via Neyman Orthogonality","ko":"Neyman 직교성을 통한 준모수적 이질 클러스터 다중작업 학습에서의 적응적 추정과 추론","authors":"Hanxiao Chen, Debarghya Mukherjee","pos":"#4116","link":"https://openreview.net/forum?id=5hDvooOKUP","abs":"We study clustered multitask learning in a semiparametric setting where tasks share a latent cluster structure in their target parameters but exhibit heterogeneous, potentially infinite-dimensional nuisance components. Such heterogeneity poses a major challenge for existing multitask learning methods, which typically rely on aligned feature spaces or homogeneous task structures. To address this challenge, we propose an adaptive fused orthogonal estimator that integrates Neyman-orthogonal losses with data-driven pairwise fusion penalties. Our framework leverages task-specific pilot estimates to calibrate the fusion penalties and combines adaptive aggregation with orthogonalization to mitigate the impact of nuisance-parameter estimation error. Theoretically, we show that the proposed estimator achieves exact recovery of the latent clustering with high probability and attains pooled parametric convergence rates proportional to cluster size. Moreover, we establish asymptotic normality and show that, asymptotically, our estimator matches the performance of an oracle procedure that knows the true clustering in advance. Empirically, we show that the proposed method consistently outperforms strong baselines in various simulation setups. A real-world application to U.S. residential energy consumption further demonstrates the effectiveness of our approach in uncovering meaningful regional clustering in electricity price elasticity, showcasing the efficacy of our method.
","absKo":"우리는 목표 parameter는 latent cluster structure를 공유하지만 heterogeneous하고 잠재적으로 infinite-dimensional한 nuisance component를 보이는 semiparametric setting에서 clustered multitask learning을 연구한다. 이러한 이질성은 기존 multitask learning 방법에 큰 도전이 되는데, 이 방법들은 대개 aligned feature space나 homogeneous한 task structure에 의존하기 때문이다. 이 문제를 해결하기 위해 우리는 Neyman-orthogonal loss와 data-driven pairwise fusion penalty를 통합한 adaptive fused orthogonal estimator를 제안한다. 우리의 프레임워크는 task-specific pilot estimate를 활용해 fusion penalty를 보정하고, adaptive aggregation과 orthogonalization을 결합하여 nuisance-parameter estimation error의 영향을 완화한다. 이론적으로 우리는 제안한 estimator가 높은 확률로 latent clustering을 정확히 복원하며, cluster size에 비례하는 pooled parametric convergence rate를 달성함을 보인다. 또한 asymptotic normality를 확립하고, 점근적으로는 우리의 estimator가 true clustering을 미리 알고 있는 oracle procedure의 성능과 일치함을 보인다. 실험적으로는 제안한 방법이 다양한 simulation setup에서 강력한 baseline들을 일관되게 능가함을 보인다. 미국 주거용 에너지 소비에 대한 실제 적용은 전기 요금 탄력성에서 의미 있는 regional clustering을 밝혀내는 데 있어 우리의 접근이 효과적임을 추가로 보여주며, 이 방법의 효용성을 입증한다.
"},{"id":"67128","en":"Position: Creating High-Fidelity Synthetic Training Data Should Employ Multi-level Optimization","ko":"Position: 고충실도 합성 학습 데이터 생성에는 Multi-level Optimization을 사용해야 한다","authors":"Pengtao Xie, Li Zhang, Ruiyi Zhang","pos":"#4409","link":"https://openreview.net/forum?id=aEJS0bIZa4","abs":"The reliance of machine learning (ML) models on large-scale, high-quality labeled training data incurs significant challenges in specialized domains where such data is expensive and difficult to obtain. A promising solution is the automatic creation of synthetic training data. However, current approaches — including data generation, automated annotation, and domain adaptation — often fail to explicitly use downstream model performance to guide the creation and refinement of synthetic training data. This position paper argues that multi-level optimization (MLO) is essential for producing high-fidelity synthetic data by enabling joint optimization of data generation, annotation, adaptation, and selection, all informed by downstream model performance. We advocate for MLO as a unified framework to address three critical challenges: (1) improving data generation by aligning synthetic data with model needs, particularly targeting class-specific deficiencies and worst-case robustness; (2) enhancing automated annotation through sequential verification and the use of large language models for more accurate labeling; and (3) enabling example-specific adaptation and selection to maximize data utility while preventing excessive over-adaptation. By facilitating end-to-end coordination across multiple learning stages, MLO offers a potential paradigm shift in synthetic data creation for data-scarce domains.
","absKo":"machine learning (ML) model이 대규모의 고품질 labeled training data에 의존한다는 점은, 그러한 데이터가 비싸고 확보하기 어려운 specialized domain에서 큰 어려움을 초래한다. 유망한 해결책은 synthetic training data를 자동으로 생성하는 것이다. 그러나 data generation, automated annotation, domain adaptation을 포함한 현재의 접근법은 downstream model performance를 명시적으로 활용하여 synthetic training data의 생성과 refinement를 유도하지 못하는 경우가 많다. 이 position paper는 data generation, annotation, adaptation, selection을 joint optimization하고 이를 downstream model performance로부터 정보를 받아 수행하게 함으로써 high-fidelity synthetic data를 생성하는 데 multi-level optimization (MLO)이 필수적이라고 주장한다. 우리는 MLO를 세 가지 핵심 과제를 해결하는 통합 프레임워크로 옹호한다. (1) synthetic data를 model의 필요와 정렬시켜 data generation을 개선하고, 특히 class-specific deficiency와 worst-case robustness를 겨냥하는 것; (2) sequential verification과 보다 정확한 labeling을 위한 large language model의 활용을 통해 automated annotation을 향상하는 것; (3) example-specific adaptation과 selection을 가능하게 하여 data utility를 극대화하면서 과도한 over-adaptation을 방지하는 것. 여러 learning stage 전반에서 end-to-end coordination을 촉진함으로써, MLO는 data-scarce domain에서 synthetic data creation의 패러다임 전환을 가져올 잠재력을 제공한다.
"},{"id":"61160","en":"Universal Algorithm-Implicit Learning","ko":"보편적 알고리즘 암시 학습","authors":"Stefano Woerner, Seong Joon Oh, Christian Baumgartner","pos":"#607","link":"https://openreview.net/forum?id=tAcVihAkb3","abs":"Current meta-learning methods are constrained to narrow task distributions with fixed feature and label spaces, limiting applicability. Moreover, the current meta-learning literature uses key terms like “universal” and “general-purpose” inconsistently and lacks precise definitions, hindering comparability. We introduce a theoretical framework for meta-learning which formally defines practical universality and introduces a distinction between algorithm-explicit and algorithm-implicit learning, providing a principled vocabulary for reasoning about universal meta-learning methods. Guided by this framework, we present TAIL, a transformer-based algorithm-implicit meta-learner that functions across tasks with varying domains, modalities, and label configurations. TAIL features three innovations over prior transformer-based meta-learners: random projections for cross-modal feature encoding, random injection label embeddings that extrapolate to larger label spaces, and efficient inline query processing. TAIL achieves state-of-the-art performance on standard few-shot benchmarks while generalizing to unseen domains. Unlike other meta-learning methods, it also generalizes to unseen modalities, solving text classification tasks despite training exclusively on images, handles tasks with up to 20× more classes than seen during training, and provides orders-of-magnitude computational savings over prior transformer-based approaches.
","absKo":"현재의 meta-learning 방법은 고정된 feature와 label space를 가진 좁은 task distribution에 한정되어 있어 적용 가능성이 제한된다. 더 나아가, 현재 meta-learning 문헌은 “universal”과 “general-purpose” 같은 핵심 용어를 일관성 없이 사용하며 정밀한 정의를 결여하고 있어 비교 가능성을 저해한다. 우리는 실용적 universality를 형식적으로 정의하고, algorithm-explicit learning과 algorithm-implicit learning의 구분을 도입하는 meta-learning에 대한 이론적 framework를 제시하여 universal meta-learning 방법을 추론하기 위한 원칙적 어휘를 제공한다. 이 framework의 지침에 따라, 우리는 서로 다른 domain, modality, label configuration을 가진 task 전반에서 작동하는 transformer 기반 algorithm-implicit meta-learner인 TAIL을 제안한다. TAIL은 이전의 transformer 기반 meta-learner에 비해 세 가지 혁신을 갖는다. cross-modal feature encoding을 위한 random projection, 더 큰 label space로 외삽되는 random injection label embedding, 그리고 효율적인 inline query processing이다. TAIL은 표준 few-shot benchmark에서 SOTA 성능을 달성하는 동시에 보지 못한 domain으로 generalization한다. 다른 meta-learning 방법과 달리, 보지 못한 modality로도 generalization하여 이미지에서만 학습했음에도 text classification task를 해결하고, 학습 시 본 것보다 최대 20배 더 많은 class를 가진 task를 처리하며, 이전의 transformer 기반 접근법 대비 수십 배 규모의 computational saving을 제공한다.
"},{"id":"65306","en":"Parameters as Experts: Adapting Vision Models with Dynamic Parameter Routing for Dense Predictions","ko":"전문가로서의 파라미터: 밀집 예측을 위한 동적 파라미터 라우팅으로 Vision Model 적응하기","authors":"Meng Lou, Stanley Yu, Yizhou Yu","pos":"#4106","link":"https://openreview.net/forum?id=EukKoqZhvW","abs":"Adapting pre-trained vision models using parameter-efficient fine-tuning (PEFT) remains challenging, as it aims to achieve performance comparable to full fine-tuning using a minimal number of trainable parameters. When applied to complex dense prediction tasks, existing methods exhibit limitations, including input-agnostic modeling and redundant cross-layer representations. To this end, we propose AdaRoute, a new adapter-style method featuring a simple mixture-of-experts (MoE) architecture. Specifically, we introduce shared expert centers, where each expert is a trainable parameter matrix. During a feedforward pass, each AdaRoute module in the network dynamically generates weight matrices tailored for the current module via a simple dynamic parameter routing mechanism, which selectively aggregates parameter matrices in the corresponding expert center. Dynamic weight matrices in AdaRoute modules facilitate low-rank adaptation in an input-dependent manner, thus generating more customized and powerful feature representations. Moreover, since AdaRoute modules across multiple network layers share the same expert center, they improve feature diversity by promoting implicit cross-layer feature interaction. Extensive experiments demonstrate the superiority of AdaRoute on diverse vision tasks, including semantic segmentation, object detection and instance segmentation, and panoptic segmentation.
","absKo":"parameter-efficient fine-tuning(PEFT)을 사용해 pretrained vision model을 적응시키는 것은 여전히 어렵다. 이는 학습 가능한 parameter 수를 최소화하면서 full fine-tuning에 필적하는 성능을 달성하는 것을 목표로 하기 때문이다. 복잡한 dense prediction task에 적용할 경우, 기존 방법들은 input-agnostic modeling과 중복된 cross-layer representation을 포함한 한계를 보인다. 이를 위해 우리는 단순한 mixture-of-experts(MoE) architecture를 특징으로 하는 새로운 adapter-style 방법인 AdaRoute를 제안한다. 구체적으로, 우리는 shared expert center를 도입하며, 각 expert는 trainable parameter matrix이다. feedforward pass 동안 network 내 각 AdaRoute module은 단순한 dynamic parameter routing mechanism을 통해 현재 module에 맞는 weight matrix를 동적으로 생성하고, 해당 expert center의 parameter matrix를 선택적으로 집계한다. AdaRoute module의 dynamic weight matrix는 input-dependent한 방식으로 low-rank adaptation을 가능하게 하여, 더 맞춤화되고 강력한 feature representation을 생성한다. 또한 여러 network layer에 걸친 AdaRoute module이 동일한 expert center를 공유하기 때문에, 암묵적인 cross-layer feature interaction을 촉진하여 feature diversity를 향상시킨다. 광범위한 실험은 semantic segmentation, object detection 및 instance segmentation, panoptic segmentation을 포함한 다양한 vision task에서 AdaRoute의 우수성을 입증한다.
"},{"id":"62094","en":"Safeguarded Stochastic Polyak Step Sizes for Non-smooth Optimization: Robust Performance Without Small (Sub)Gradients","ko":"비매끄러운 최적화를 위한 보호된 확률적 Polyak 스텝 크기: 작은 (부분)그래디언트 없이도 강건한 성능","authors":"Dimitris Oikonomou, Nicolas Loizou","pos":"#4603","link":"https://openreview.net/forum?id=jqpLZEK3Zc","abs":"The stochastic Polyak step size (SPS) has proven to be a promising choice for stochastic gradient descent (SGD), delivering competitive performance relative to state-of-the-art methods on smooth convex and non-convex optimization problems, including deep neural network training. However, extensions of this approach to non-smooth settings remain in their early stages, often relying on interpolation assumptions or requiring knowledge of the optimal solution. In this work, we propose a novel SPS variant, Safeguarded SPS (SPS$_{safe}$), for the stochastic subgradient method, and provide rigorous convergence guarantees for non-smooth convex optimization with no need for strong assumptions. We further incorporate momentum into the update rule, yielding equally tight theoretical results. Comprehensive experiments on convex benchmarks and deep neural networks corroborate our theory: the proposed step size achieves competitive performance to existing adaptive baselines and exhibits stable behavior across a wide range of problem settings. Finally, in the context of deep neural network training, the gradient norms under our step size do not collapse to (near) zero, indicating robustness to vanishing gradients.","absKo":"확률적 Polyak step size (SPS)는 stochastic gradient descent (SGD)를 위한 유망한 선택으로 입증되었으며, deep neural network training을 포함한 smooth convex 및 non-convex optimization problem에서 state-of-the-art 방법과 견줄 만한 성능을 제공한다. 그러나 이 접근법을 non-smooth setting으로 확장한 연구는 아직 초기 단계에 머물러 있으며, 종종 interpolation assumption에 의존하거나 최적해에 대한 지식을 요구한다. 본 연구에서는 stochastic subgradient method를 위한 새로운 SPS 변형인 Safeguarded SPS (SPS$_{safe}$)를 제안하고, 강한 가정 없이도 non-smooth convex optimization에 대한 엄밀한 convergence 보장을 제공한다. 또한 momentum을 update rule에 통합하여, 동일하게 타이트한 이론적 결과를 도출한다. convex benchmark와 deep neural network에 대한 포괄적인 실험은 우리의 이론을 뒷받침한다. 제안한 step size는 기존 adaptive baseline과 경쟁력 있는 성능을 보이며, 다양한 문제 설정 전반에서 안정적인 거동을 나타낸다. 마지막으로, deep neural network training의 맥락에서 우리 step size 하의 gradient norm은 (거의) 0으로 붕괴하지 않으며, 이는 vanishing gradient에 대한 강건성을 시사한다."},{"id":"64066","en":"Enhancing LLM Training via Spectral Clipping","ko":"스펙트럼 클리핑을 통한 LLM 학습 향상","authors":"Xiaowen Jiang, Andrei Semenov, Sebastian Stich","pos":"#2205","link":"https://openreview.net/forum?id=RF1YUA8plS","abs":"We identify two empirical issues in large language model (LLM) training: (i) optimizer updates can have large spectral norms, potentially destabilizing training and degrading generalization; (ii) stochastic gradient noise can exhibit sparse spectral spikes, with a few dominant singular values much larger than the rest. We propose *SPECTRA*, a general framework addressing these by (i) *post*-spectral clipping of updates to enforce spectral-norm constraints (ii) optional *pre*-spectral clipping of gradients to suppress spectral noise spikes. We prove that post-clipping constitutes a Composite Frank-Wolfe method with spectral-norm constraints and weight regularization, recovering Frobenius and $\\ell_{\\infty}$-norm regularization with SGD-based and sign-based methods. We further analyze how pre-clipping mitigates sparse spectral spikes. We propose efficient soft spectral clipping via Newton-Schulz iterations, avoiding expensive SVD. Experiments on LLM pretraining show SPECTRA uniformly improves validation loss for various optimizers, including AdamW, Signum, and AdEMAMix, with the best-performing variants achieving state-of-the-art results. Models trained with SPECTRA exhibit smaller weight norms, confirming the link between spectral clipping and regularization.","absKo":"대규모 언어 모델(LLM) 학습에서 두 가지 경험적 문제를 식별한다. (i) optimizer update가 큰 spectral norm을 가질 수 있어, 학습을 불안정하게 만들고 generalization을 저해할 수 있다. (ii) stochastic gradient noise는 sparse spectral spike를 보일 수 있으며, 소수의 dominant singular value가 나머지보다 훨씬 클 수 있다. 우리는 이러한 문제를 해결하기 위한 일반적인 프레임워크인 *SPECTRA*를 제안한다. 이는 (i) update에 대한 *post*-spectral clipping으로 spectral-norm 제약을 강제하고, (ii) 선택적으로 gradient에 대한 *pre*-spectral clipping을 적용하여 spectral noise spike를 억제한다. 우리는 post-clipping이 spectral-norm 제약과 weight regularization을 갖는 Composite Frank-Wolfe method임을 증명하며, SGD 기반 및 sign-based method를 통해 Frobenius 및 $\\ell_{\\infty}$-norm regularization을 복원할 수 있음을 보인다. 또한 pre-clipping이 sparse spectral spike를 어떻게 완화하는지 분석한다. 우리는 expensive SVD를 피하기 위해 Newton-Schulz iteration을 이용한 효율적인 soft spectral clipping도 제안한다. LLM pretraining 실험에서 SPECTRA는 AdamW, Signum, AdEMAMix을 포함한 다양한 optimizer에 대해 validation loss를 일관되게 개선하며, 최고 성능 변형은 state-of-the-art 결과를 달성한다. SPECTRA로 학습된 모델은 더 작은 weight norm을 보이며, spectral clipping과 regularization의 연관성을 확인한다."},{"id":"62881","en":"Solving Stochastic Variational Inequalities without the Bounded Variance Assumption","ko":"분산 유한 가정 없이 Stochastic Variational Inequality 해결","authors":"Ahmet Alacaoglu, Jun-Hyun Kim","pos":"#2917","link":"https://openreview.net/forum?id=cHxls6cHDF","abs":"We analyze algorithms for solving stochastic variational inequalities (VI) without the bounded variance or bounded domain assumptions, where our main focus is min-max optimization with possibly unbounded constraint sets. We focus on two classes of problems: monotone VIs; and structured nonmonotone VIs that admit a solution to the *weak Minty VI*. The latter assumption allows us to solve structured nonconvex-nonconcave min-max problems. For both classes of VIs, to make the expected residual norm less than $\\varepsilon$, we show an oracle complexity of $\\widetilde{O}(\\varepsilon^{-4})$, which is the best-known for constrained VIs. In our setting, this complexity had been obtained with the bounded variance assumption in the literature, which is not even satisfied for bilinear min-max problems with an unbounded domain. We obtain this complexity for stochastic oracles whose variance can grow as fast as the squared norm of the optimization variable.","absKo":"우리는 bounded variance 또는 bounded domain 가정 없이 stochastic variational inequality (VI)를 푸는 알고리즘을 분석하며, 여기서 주요 초점은 제약 집합이 아마도 unbounded일 수 있는 min-max optimization이다. 우리는 두 부류의 문제에 주목한다. 하나는 monotone VI이고, 다른 하나는 *weak Minty VI* 해를 허용하는 structured nonmonotone VI이다. 후자의 가정은 구조화된 nonconvex-nonconcave min-max 문제를 풀 수 있게 해준다. 두 부류의 VI 모두에 대해 expected residual norm을 $\\varepsilon$보다 작게 만들기 위해, 우리는 $\\widetilde{O}(\\varepsilon^{-4})$의 oracle complexity를 보인다. 이는 constrained VI에 대해 알려진 최선의 결과이다. 우리의 설정에서는 이 복잡도가 문헌에서 bounded variance 가정 하에 얻어졌는데, 그 가정은 domain이 unbounded인 bilinear min-max problem에서도 충족되지 않는다. 우리는 optimization variable의 squared norm만큼 빠르게 variance가 증가할 수 있는 stochastic oracle에 대해서도 이 복잡도를 얻는다."},{"id":"66141","en":"Variance-Reduced $(\\varepsilon, \\delta)-$Unlearning using Forget Set Gradients","ko":"Forget Set 그래디언트를 이용한 분산 감소형 $(\\varepsilon, \\delta)$-Unlearning","authors":"Martin Van Waerebeke, Giovanni Neglia, Kevin Scaman, Marco Lorenzi, El-Mahdi El-Mhamdi","pos":"#3000","link":"https://openreview.net/forum?id=6XIwgtbcTa","abs":"In machine unlearning, $(\\varepsilon,\\delta)-$unlearning is a popular framework that provides formal guarantees on the effectiveness of the removal of a subset of training data, the \\emph{forget set}, from a trained model. For strongly convex objectives, existing first-order methods achieve $(\\varepsilon,\\delta)-$unlearning, but they only use the forget set to calibrate injected noise, never as a direct optimization signal. In contrast, efficient empirical heuristics often exploit the forget samples (e.g., via gradient ascent) but come with no formal unlearning guarantees. We bridge this gap by presenting the Variance-Reduced Unlearning (*VRU*) algorithm. To the best of our knowledge, *VRU* is the first first-order algorithm that directly includes forget set gradients in its update rule, while provably satisfying $(\\varepsilon,\\delta)-$unlearning. We establish the convergence of *VRU* and show that incorporating the forget set yields strictly improved rates, *i.e.*, a better dependence on the achieved error compared to existing first-order $(\\varepsilon,\\delta)-$unlearning methods. Moreover, we prove that, in a low-error regime *VRU* asymptotically outperforms any first-order methods that ignores the forget set. Experiments corroborate our theory, showing consistent gains over both state-of-the-art certified unlearning methods and over empirical baselines that explicitly leverage the forget set.","absKo":"In machine unlearning에서 $(\\varepsilon,\\delta)$-unlearning은 학습된 모델에서 training data의 부분집합, 즉 \\emph{forget set},을 제거하는 효과에 대해 형식적 보장을 제공하는 널리 쓰이는 프레임워크다. 강한 볼록성(strongly convex) objective의 경우, 기존 first-order method는 $(\\varepsilon,\\delta)$-unlearning을 달성하지만, forget set은 주입할 noise를 보정하는 데만 사용하고 직접적인 optimization signal로는 사용하지 않는다. 반면 효율적인 경험적 heuristic은 종종 forget sample을 활용하지만(예: gradient ascent), formal unlearning 보장은 없다. 우리는 이 간극을 Variance-Reduced Unlearning (*VRU*) 알고리즘으로 메운다. 우리가 아는 한, *VRU*는 forget set gradient를 update rule에 직접 포함하면서도 $(\\varepsilon,\\delta)$-unlearning을 엄밀히 만족하는 최초의 first-order algorithm이다. 우리는 *VRU*의 convergence를 확립하고, forget set을 포함하는 것이 기존 first-order $(\\varepsilon,\\delta)$-unlearning method보다 달성 오차에 대한 의존성을 더 좋게 만드는, 즉 더 엄격한 개선된 rate를 제공함을 보인다. 또한 low-error regime에서 *VRU*가 forget set을 무시하는 어떤 first-order method보다 점근적으로 더 우수함을 증명한다. 실험은 우리의 이론을 뒷받침하며, state-of-the-art certified unlearning method와 forget set을 명시적으로 활용하는 empirical baseline 모두에 대해 일관된 향상을 보여준다."},{"id":"64227","en":"On the Interaction of Batch Noise, Adaptivity, and Compression, under $(L_0,L_1)$-Smoothness: An SDE Approach","ko":"$(L_0,L_1)$-매끄러움 하에서 배치 노이즈, 적응성, 압축의 상호작용: SDE 접근법","authors":"Enea Monzio Compagnoni, Rustem Islamov, Frank Proske, Aurelien Lucchi, Antonio Orvieto, Eduard Gorbunov","pos":"#3600","link":"https://openreview.net/forum?id=Pmsc4yytlf","abs":"Distributed stochastic optimization intertwines (i) stochastic gradient noise, (ii) communication compression, and (iii) adaptive/normalized updates. While each factor has been studied in isolation, their joint effect under realistic assumptions remains poorly understood. In this work, we develop a unified theoretical framework for Distributed Compressed SGD (DCSGD) and its sign variant Distributed SignSGD (DSignSGD) under the recently introduced $(L_0, L_1)$-smoothness condition. From a conceptual perspective, we show that the first- and second-order modified equations from the literature do not accurately model the discrete-time step-size/stability restrictions, especially under $(L_0,L_1)$-smoothness. From a technical perspective, we propose new first-order SDEs by carefully incorporating curvature-dependent terms into their drift: This helps capture the fine-grained relationship between learning rate restrictions, gradient noise, compression, and the geometry of the loss landscape. Importantly, we do so under general gradient noise assumptions, including heavy-tailed and affine-variance regimes, which extend beyond the classical bounded-variance setting. Our results suggest that normalizing the updates of DCSGD emerges as a natural condition for stability, with the degree of normalization precisely determined by the gradient noise structure, the landscape’s regularity, and the compression rate. In contrast, DSignSGD converges even under heavy-tailed noise with standard learning rate schedules. Together, these findings offer both new theoretical insights and perspectives, and practical guidance.","absKo":"분산 stochastic optimization은 (i) stochastic gradient noise, (ii) communication compression, (iii) adaptive/normalized update를 서로 얽히게 만든다. 각 요소는 개별적으로 연구되어 왔지만, 현실적인 가정 하에서 이들의 결합 효과는 여전히 충분히 이해되지 않았다. 본 연구에서는 최근 도입된 $(L_0, L_1)$-smoothness 조건 하에서 Distributed Compressed SGD (DCSGD) 및 그 sign 변형인 Distributed SignSGD (DSignSGD)를 위한 통합 이론 프레임워크를 개발한다. 개념적 관점에서, 우리는 문헌의 1차 및 2차 modified equation이 특히 $(L_0,L_1)$-smoothness 하에서 이산시간 step-size/stability 제약을 정확히 모델링하지 못함을 보인다. 기술적 관점에서, 우리는 drift에 curvature-dependent term을 신중히 반영한 새로운 1차 SDE를 제안한다. 이는 learning rate 제약, gradient noise, compression, 그리고 loss landscape의 기하 사이의 세밀한 관계를 포착하는 데 도움이 된다. 중요한 점은, 이를 heavy-tailed 및 affine-variance regime을 포함한 일반적인 gradient noise 가정 하에서 수행한다는 것이며, 이는 고전적인 bounded-variance setting을 넘어선다. 우리의 결과는 DCSGD의 update를 정규화하는 것이 안정성을 위한 자연스러운 조건으로 나타나며, 정규화의 정도는 gradient noise 구조, landscape의 regularity, compression rate에 의해 정확히 결정됨을 시사한다. 반면 DSignSGD는 heavy-tailed noise 하에서도 표준 learning rate schedule로 수렴한다. 종합하면, 이러한 결과는 새로운 이론적 통찰과 관점, 그리고 실용적 지침을 제공한다."},{"id":"62866","en":"Mitigating Per-Sample Harm in Stochastic Optimization","ko":"확률적 최적화에서 샘플별 해를 완화","authors":"Apostolos Avranas","pos":"#3700","link":"https://openreview.net/forum?id=cPuBsl2L6Z","abs":"Modern optimizers combine gradients from the current mini-batch with historical optimization state, such as momentum or adaptive moments. While effective for stability, this interaction can produce update directions that increase the loss of individual samples in the current batch. We formalize this effect as harm and cast the computation of an update as an optimization problem that explicitly minimizes the harmful impact of past optimization state on current data. To make this optimization problem tractable, we first reduce its dimensionality from the number of parameters to the batch size, and further show that restricting the optimization to the last layer provides an effective and efficient proxy. The resulting subproblem can be solved with a small number of GPU-friendly iterations and integrated seamlessly into SGD with momentum and AdamW. Experiments on image classification benchmarks show reduced per-sample interference and improved generalization with moderate overhead.
","absKo":"현대의 optimizer는 현재 mini-batch의 gradient를 momentum이나 adaptive moment와 같은 과거 optimization state와 결합한다. 이는 안정성에는 효과적이지만, 이러한 상호작용은 현재 batch의 개별 sample loss를 증가시키는 update direction을 만들 수 있다. 우리는 이 현상을 harm로 정식화하고, 과거 optimization state가 현재 데이터에 미치는 해로운 영향을 명시적으로 최소화하는 optimization problem으로 update 계산을 재구성한다. 이 optimization problem을 다루기 쉽게 만들기 위해, 먼저 차원을 parameter 수에서 batch size로 줄이고, 더 나아가 optimization을 마지막 layer에만 제한하는 것이 효과적이고 효율적인 proxy임을 보인다. 그 결과 생기는 subproblem은 소수의 GPU-friendly iteration으로 풀 수 있으며, momentum이 있는 SGD와 AdamW에 매끄럽게 통합된다. image classification benchmark 실험은 sample 간 interference를 줄이고 moderate overhead로 generalization을 향상시킴을 보여준다.
"},{"id":"63756","en":"Improved Stochastic Optimization of LogSumExp","ko":"LogSumExp의 개선된 확률적 최적화","authors":"Egor Gladin, Alexey Kroshnin, Jia-Jie Zhu, Pavel Dvurechenskii","pos":"#3701","link":"https://openreview.net/forum?id=TzQElzflxR","abs":"The LogSumExp function, dual to the Kullback-Leibler (KL) divergence, plays a central role in many important optimization problems, including entropy-regularized optimal transport (OT) and distributionally robust optimization (DRO). In practice, when the number of exponential terms inside the logarithm is large or infinite, optimization becomes challenging since computing the gradient requires differentiating every term. We propose a novel convexity- and smoothness-preserving approximation to LogSumExp that can be efficiently optimized using stochastic gradient methods. This approximation is rooted in a sound modification of the KL divergence in the dual, resulting in a new $f$-divergence called the *safe KL divergence*. Our experiments and theoretical analysis of the LogSumExp-based stochastic optimization, arising in DRO and continuous OT, demonstrate the advantages of our approach over existing baselines.","absKo":"Kullback-Leibler (KL) divergence의 dual인 LogSumExp 함수는 entropy-regularized optimal transport (OT)와 distributionally robust optimization (DRO)를 포함한 많은 중요한 optimization problem에서 중심적인 역할을 한다. 실제로 로그 내부의 exponential term 수가 크거나 무한할 때, gradient를 계산하려면 모든 항을 미분해야 하므로 optimization이 어려워진다. 우리는 stochastic gradient method를 사용해 효율적으로 최적화할 수 있는, LogSumExp에 대한 새로운 convexity- 및 smoothness-preserving approximation을 제안한다. 이 근사는 dual에서 KL divergence를 타당하게 수정하는 데 기반하며, 그 결과 *safe KL divergence*라는 새로운 $f$-divergence가 도출된다. DRO와 continuous OT에서 발생하는 LogSumExp 기반 stochastic optimization에 대한 우리의 실험과 이론 분석은, 제안한 접근법이 기존 baseline보다 우수함을 보여준다."},{"id":"65262","en":"From Optimization to Generalization under Heavy-Tailed Data: The Role of Gradient Clipping","ko":"Heavy-Tailed 데이터 하의 최적화에서 일반화로: 그래디언트 클리핑의 역할","authors":"Aleksandr Shestakov, Martin Takac, Eduard Gorbunov","pos":"#3702","link":"https://openreview.net/forum?id=FGHVEJ2Jz9","abs":"Gradient clipping is widely used to stabilize stochastic gradient methods and is often theoretically motivated by heavy-tailed gradient noise, where even second moments may be infinite, seemingly contradicting empirical risk minimization where all moments are finite for a fixed dataset. We resolve this paradox by explicitly separating data sampling from optimization randomness: although moments are finite conditional on the dataset, heavy-tailed data induce dataset-dependent noise whose second moment typically grows with the dataset size $N$. In particular, when $\\|\\nabla f(x_\\star,\\xi)\\|$ has tail index $\\alpha \\in (1,2)$, the quantity $\\frac{1}{N}\\sum_{i=1}^N\\|\\nabla f(x_\\star,\\xi_i)\\|^2$ scales as $N^{\\frac{2}{\\alpha}-1}$, leading to deteriorating convergence guarantees for standard SGD as $N$ increases. In contrast, we show that stochastic gradient descent with clipping avoids this growth and admits finite-sum convergence guarantees under heavy-tailed data for broad step-size and clipping schedules. We further derive generalization bounds for strongly convex smooth objectives and show that the tail behavior of gradients at the population minimizer is the key quantity linking optimization and generalization under heavy-tailed data.","absKo":"Gradient clipping은 stochastic gradient methods를 안정화하는 데 널리 사용되며, 종종 heavy-tailed gradient noise를 이론적 근거로 삼는다. 이 경우 second moment조차 무한할 수 있어, 고정된 dataset에서는 모든 moment가 유한하다는 empirical risk minimization과 겉보기에는 모순된다. 우리는 data sampling과 optimization randomness를 명시적으로 분리함으로써 이 역설을 해소한다. dataset에 조건부로는 moment가 유한하지만, heavy-tailed data는 dataset-dependent noise를 유도하며, 그 second moment는 대개 dataset size $N$에 따라 증가한다. 특히 $\\|\\nabla f(x_\\star,\\xi)\\|$의 tail index가 $\\alpha \\in (1,2)$일 때, $\\frac{1}{N}\\sum_{i=1}^N\\|\\nabla f(x_\\star,\\xi_i)\\|^2$는 $N^{\\frac{2}{\\alpha}-1}$로 스케일하며, 이는 $N$이 증가할수록 standard SGD의 convergence guarantee가 악화됨을 의미한다. 반면, 우리는 clipping을 적용한 stochastic gradient descent가 이러한 성장을 피하고, 넓은 step-size 및 clipping schedule 하에서 heavy-tailed data에 대해 finite-sum convergence guarantee를 제공함을 보인다. 또한 strongly convex smooth objective에 대한 generalization bound를 유도하고, population minimizer에서의 gradient tail behavior가 heavy-tailed data 하에서 optimization과 generalization을 연결하는 핵심량임을 보인다."},{"id":"64682","en":"Flatness-Aware Stochastic Gradient Langevin Dynamics","ko":"평탄성 인식 Stochastic Gradient Langevin Dynamics","authors":"Stefano Bruno, Youngsik Hwang, JaeHyeon An, Sotirios Sabanis, Dongyoung Lim","pos":"#3703","link":"https://openreview.net/forum?id=Kw0nhxeTeI","abs":"Flatness of the loss landscape has been widely studied as an important perspective for understanding the behavior and generalization of deep learning algorithms. Motivated by this view, we propose Flatness-Aware Stochastic Gradient Langevin Dynamics (fSGLD), a first-order optimization method that biases learning its dynamics toward flat basins while retaining the computational and memory efficiency of SGD and SGLD. We provide a non-asymptotic theoretical analysis showing that fSGLD converges to a flatness-biased Gibbs distribution under a theoretically prescribed coupling between the noise scale $\\sigma$ and the inverse temperature $\\beta$, together with explicit excess risk guarantees. We empirically evaluate fSGLD across standard optimizer benchmarks, Bayesian image classification, uncertainty quantification, and out-of-distribution detection, demonstrating consistently strong performance and reliable uncertainty estimates. Additional experiments confirm the effectiveness of the theoretically prescribed $\\beta$–$\\sigma$ coupling compared to decoupled choices.","absKo":"Loss landscape의 flatness는 deep learning algorithm의 동작과 generalization을 이해하는 데 중요한 관점으로 널리 연구되어 왔다. 이러한 관점에 동기를 받아, 우리는 SGD와 SGLD의 computational 및 memory efficiency를 유지하면서 학습 dynamics가 flat basin 쪽으로 편향되도록 하는 first-order optimization method인 Flatness-Aware Stochastic Gradient Langevin Dynamics (fSGLD)를 제안한다. 우리는 noise scale $\\sigma$와 inverse temperature $\\beta$ 사이의 이론적으로 규정된 coupling 하에서 fSGLD가 flatness-biased Gibbs distribution으로 수렴함을 보이는 non-asymptotic theoretical analysis와, 명시적인 excess risk 보장을 제공한다. 우리는 표준 optimizer benchmark, Bayesian image classification, uncertainty quantification, 그리고 out-of-distribution detection 전반에서 fSGLD를 경험적으로 평가하여, 일관되게 강력한 성능과 신뢰할 수 있는 uncertainty estimate를 보여준다. 추가 실험은 decoupled choice와 비교했을 때 이론적으로 규정된 $\\beta$–$\\sigma$ coupling의 효과를 확인한다."},{"id":"63415","en":"Adaptive Batch Sizes Using Non-Euclidean Gradient Noise Scales for Stochastic Sign and Spectral Descent","ko":"확률적 부호 및 스펙트럼 하강을 위한 비유클리드 경사 노이즈 스케일을 활용한 적응형 배치 크기","authors":"Hiroki Naganuma, Shagun Gupta, Youssef Briki, Ioannis Mitliagkas, Irina Rish, Parameswaran Raman, Hao-Jun Shi","pos":"#3704","link":"https://openreview.net/forum?id=XMSaWRpEPS","abs":"To maximize hardware utilization, modern machine learning systems typically employ large constant or manually tuned batch size schedules, relying on heuristics that are brittle and costly to tune. Existing adaptive strategies based on gradient noise scale (GNS) offer a principled alternative. However, their assumption of SGD's Euclidean geometry creates a fundamental mismatch with popular optimizers based on generalized norms, such as signSGD / Signum ($\\ell_\\infty$) and stochastic spectral descent (specSGD) / Muon (Schatten-$\\infty$). In this work, we derive non-Euclidean gradient noise scales for signSGD and spectral descent that naturally emerge from the geometry of its dual norm. We propose an efficient variance estimation procedure that leverages distributed data-parallel systems with negligible overhead. Our experiments demonstrate that adaptive batch size strategies using non-Euclidean GNS enable us to match the validation loss of constant-batch baselines while reducing training steps by up to 66\\% for Signum and Muon.","absKo":"하드웨어 활용률을 극대화하기 위해, 현대 machine learning 시스템은 보통 큰 고정 batch size 일정 또는 수동으로 조정된 batch size 일정을 사용하며, 이는 취약하고 튜닝 비용이 큰 heuristic에 의존한다. gradient noise scale (GNS)에 기반한 기존 적응 전략은 원리적인 대안이 된다. 그러나 이들은 SGD의 Euclidean geometry를 가정하기 때문에, signSGD / Signum ($\\ell_\\infty$) 및 stochastic spectral descent (specSGD) / Muon (Schatten-$\\infty$)과 같이 generalized norm에 기반한 널리 사용되는 optimizer와 근본적으로 맞지 않는다. 본 연구에서는 signSGD와 spectral descent에 대한 non-Euclidean gradient noise scale을 유도하며, 이는 dual norm의 기하에서 자연스럽게 나타난다. 우리는 분산 data-parallel system을 활용하면서도 오버헤드는 거의 없는 효율적인 variance estimation 절차를 제안한다. 실험 결과는 non-Euclidean GNS를 사용하는 적응적 batch size 전략이 Signum과 Muon에서 training step을 최대 66\\%까지 줄이면서도 constant-batch baseline의 validation loss를 맞출 수 있음을 보여준다."},{"id":"66550","en":"A Sketch-and-Project Analysis of Subsampled Natural Gradient Algorithms","ko":"서브샘플링 Natural Gradient 알고리즘의 Sketch-and-Project 분석","authors":"Gil Goldshlager, Jiang Hu, Lin Lin","pos":"#3705","link":"https://openreview.net/forum?id=2iDtIht7W4","abs":"Subsampled natural gradient descent (SNG) has been used to enable high-precision scientific machine learning, but standard analyses based on stochastic preconditioning fail to provide insight into realistic small-sample settings. We overcome this limitation by instead analyzing SNG as a sketch-and-project method. Motivated by this lens, we discard the usual theoretical proxy which decouples gradients and preconditioners using two independent mini-batches, and we replace it with a new proxy based on squared volume sampling. Under this new proxy the expectation of the SNG direction becomes equal to a preconditioned gradient descent step even in the presence of coupling, leading to (i) global convergence guarantees when using a single mini-batch of any size, and (ii) an explicit characterization of the convergence rate in terms of quantities related to the sketch-and-project structure. These findings in turn yield new insights into small-sample settings, for example by suggesting that the advantage of SNG over SGD is that it can more effectively exploit spectral decay in the model Jacobian. We also extend these ideas to explain a popular structured momentum scheme for SNG, known as SPRING, by showing that it arises naturally from accelerated sketch-and-project methods.
","absKo":"Subsampled natural gradient descent (SNG)는 고정밀 scientific machine learning을 가능하게 하는 데 사용되어 왔지만, stochastic preconditioning에 기반한 표준 분석은 현실적인 small-sample setting에 대한 통찰을 제공하지 못한다. 우리는 SNG를 sketch-and-project method로 분석함으로써 이러한 한계를 극복한다. 이 관점에 동기를 얻어, 우리는 gradient와 preconditioner를 두 개의 독립적인 mini-batch로 분리하는 통상적인 theoretical proxy를 버리고, squared volume sampling에 기반한 새로운 proxy로 대체한다. 이 새로운 proxy 하에서 SNG 방향의 기대값은 coupling이 존재하더라도 preconditioned gradient descent step과 같아지며, 이는 (i) 임의의 크기의 단일 mini-batch를 사용할 때의 global convergence guarantee와 (ii) sketch-and-project 구조와 관련된 quantity로 convergence rate를 명시적으로 특성화한 결과로 이어진다. 이러한 결과는 small-sample setting에 대한 새로운 통찰도 제공하는데, 예를 들어 SNG가 SGD보다 유리한 이유는 model Jacobian의 spectral decay를 더 효과적으로 활용할 수 있기 때문이라고 시사한다. 우리는 또한 SPRING으로 알려진 SNG의 인기 있는 structured momentum scheme을 설명하기 위해 이러한 아이디어를 확장하고, 그것이 accelerated sketch-and-project method에서 자연스럽게 유도됨을 보인다.
"},{"id":"62394","en":"Inference of Online Newton Methods with Nesterov's Accelerated Sketching","ko":"Nesterov 가속 스케칭을 활용한 온라인 Newton 방법의 추론","authors":"Haoxuan Wang, Xinchen Du, Sen Na","pos":"#3706","link":"https://openreview.net/forum?id=h2uxKKK4WZ","abs":"Reliable decision-making with streaming data requires principled uncertainty quantification of online methods. While first-order methods enable efficient iterate updates, their inference procedures still require updating proper (covariance) matrices, incurring $O(d^2)$ time and memory complexity, and are sensitive to ill-conditioning and noise heterogeneity of the problem. This costly inference task offers an opportunity for more robust second-order methods, which are, however, bottlenecked by solving Newton systems with $O(d^3)$ complexity. In this paper, we address this gap by studying an online Newton method with Hessian averaging, where the Newton direction at each step is approximately computed using a *sketch-and-project solver with Nesterov's acceleration*, matching $O(d^2)$ complexity of first-order methods. For the proposed method, we quantify its uncertainty arising from both random data and randomized computation. Under standard smoothness and moment conditions, we establish global almost-sure convergence, prove asymptotic normality of the last iterate with a limiting covariance characterized by a Lyapunov equation, and develop a fully online covariance estimator with non-asymptotic convergence guarantees. We also connect the resulting uncertainty quantification to that of exact and sketched Newton methods without Nesterov's acceleration. Extensive experiments on regression models demonstrate the superiority of the proposed method for online inference.","absKo":"스트리밍 데이터에서 신뢰할 수 있는 의사결정을 위해서는 online method의 원칙적인 uncertainty quantification이 필요하다. first-order method는 효율적인 iterate 업데이트를 가능하게 하지만, 그 inference procedure는 여전히 proper (covariance) matrix를 업데이트해야 하므로 $O(d^2)$의 시간 및 메모리 복잡도를 초래하고, 문제의 ill-conditioning과 noise heterogeneity에 민감하다. 이러한 비용이 큰 inference 작업은 더 강건한 second-order method의 기회를 제공하지만, 이들은 Newton system을 $O(d^3)$ 복잡도로 푸는 데 병목이 있다. 본 논문에서는 Hessian averaging을 사용하는 online Newton method를 연구하여 이 간극을 해소한다. 여기서 각 step의 Newton direction은 *Nesterov acceleration이 포함된 sketch-and-project solver*를 사용해 근사적으로 계산되며, 이는 first-order method의 $O(d^2)$ 복잡도와 맞먹는다. 제안한 방법에 대해 우리는 random data와 randomized computation에서 비롯되는 uncertainty를 정량화한다. 표준 smoothness 및 moment 조건 하에서, 우리는 global almost-sure convergence를 확립하고, Lyapunov equation으로 특징지어지는 limiting covariance를 갖는 마지막 iterate의 asymptotic normality를 증명하며, 비점근적 수렴 보장을 갖는 완전한 online covariance estimator를 개발한다. 또한 결과적인 uncertainty quantification을 Nesterov acceleration이 없는 exact Newton method 및 sketched Newton method의 경우와 연결한다. 회귀 모델에 대한 광범위한 실험은 online inference에서 제안한 방법의 우수성을 입증한다."},{"id":"62098","en":"Understanding MARS: When Scaling Momentum Provably Helps","ko":"MARS 이해하기: Momentum Scaling이 언제 증명 가능하게 도움이 되는가","authors":"Egor Shulgin, Tamaz Gadaev, Sarit Khirirat, Peter Richtarik","pos":"#3707","link":"https://openreview.net/forum?id=jokamk4yGt","abs":"MARS has recently emerged as a state-of-the-art optimizer, consistently outperforming AdamW in large language model (LLM) training. It modifies the momentum-based variance reduction (MVR) update by introducing a multiplicative coefficient $\\gamma$, which scales the momentum correction term. However, the existing theory of Yuan et al. (2025) does not explain why this modification improves the convergence of MARS over MVR. In this paper, we provide a rigorous theoretical explanation for the superiority of MARS over MVR. We introduce the novel similarity condition, called **$\\gamma$-similarity**, which generalizes standard similarity and smoothness assumptions for analyzing stochastic algorithms. Under this condition, we derive gradient complexity guarantees for MARS, which explicitly depend on $\\gamma$ and a $\\gamma$-similarity constant $\\delta_\\gamma$. We prove that by appropriately tuning $\\gamma \\in [0,1]$, MARS achieves strictly lower complexity than MVR. Finally, experiments on GPT pretraining corroborate our theoretical findings, demonstrating that MARS with an optimal choice of $\\gamma$ improves token efficiency over MVR, and yields substantial gains compared to AdamW.","absKo":"MARS는 최근 state-of-the-art optimizer로 부상했으며, large language model (LLM) training에서 AdamW를 일관되게 능가하고 있다. 이는 momentum-based variance reduction (MVR) update에 곱셈 계수 $\\gamma$를 도입하여 momentum correction term을 스케일링하는 방식으로 수정한다. 그러나 Yuan et al. (2025)의 기존 이론은 이러한 수정이 MVR보다 MARS의 수렴을 왜 개선하는지 설명하지 못한다. 본 논문에서는 MARS가 MVR보다 우수하다는 점에 대한 엄밀한 이론적 설명을 제시한다. 우리는 stochastic algorithm 분석을 위한 표준 similarity 및 smoothness 가정을 일반화한 새로운 similarity condition, 즉 **$\\gamma$-similarity**를 도입한다. 이 조건하에서, $\\gamma$와 $\\gamma$-similarity constant $\\delta_\\gamma$에 명시적으로 의존하는 MARS의 gradient complexity 보장을 유도한다. 또한 $\\gamma \\in [0,1]$을 적절히 조정하면 MARS가 MVR보다 엄밀히 더 낮은 complexity를 달성함을 증명한다. 마지막으로 GPT pretraining 실험은 우리의 이론적 결과를 뒷받침하며, 최적의 $\\gamma$를 선택한 MARS가 MVR 대비 token efficiency를 개선하고 AdamW와 비교해도 상당한 향상을 제공함을 보여준다."},{"id":"64733","en":"Accelerated Dual Method for Distributed Optimization: An Inexact-Gradient View of Local Updates","ko":"분산 최적화를 위한 가속화된 Dual Method: Local Update의 Inexact-Gradient 관점","authors":"Junchi Yang, Ziyang Zeng, Linxuan Pan, Murat Yildirim, Feng Qiu","pos":"#3800","link":"https://openreview.net/forum?id=KPD4s6z0Wc","abs":"In distributed machine learning, efficiently training across multiple agents with heterogeneous data distributions remains a central challenge. We address the problem of stochastic, strongly convex distributed optimization by applying accelerated gradient ascent to the dual variables and multi-step stochastic gradient descent (SGD) to the primal variables in the Lagrangian formulation. This approach naturally enables local computation, as the inner SGD loops require no inter-agent communication. We prove that the method converges for any number of local updates, attaining the optimal communication complexity when local computation is sufficient. Our analysis builds on an inexact accelerated gradient framework, where the partial gradient of the Lagrangian with respect to the dual variables is treated as an inexact gradient of the dual function. A notable byproduct of this framework is an algorithm that achieves optimal reproducibility guarantees under biased gradient estimates.
","absKo":"분산 머신러닝에서, 서로 이질적인 데이터 분포를 가진 여러 agent에 걸쳐 효율적으로 학습하는 것은 여전히 핵심 과제이다. 우리는 Lagrangian formulation에서 dual variable에 대해서는 accelerated gradient ascent를, primal variable에 대해서는 multi-step stochastic gradient descent(SGD)를 적용하여 stochastic, strongly convex한 distributed optimization 문제를 다룬다. 이 접근은 inner SGD loop가 agent 간 통신을 전혀 필요로 하지 않기 때문에 자연스럽게 local computation을 가능하게 한다. 우리는 local computation이 충분한 경우 optimal communication complexity를 달성하면서, 임의의 수의 local update에 대해서도 방법이 수렴함을 증명한다. 우리의 분석은 inexact accelerated gradient framework에 기반하며, 여기서 dual variable에 대한 Lagrangian의 partial gradient는 dual function의 inexact gradient로 취급된다. 이 framework의 주목할 만한 산물은 biased gradient estimate 하에서 optimal reproducibility guarantee를 달성하는 알고리즘이다."},{"id":"63731","en":"Lightweight and Interpretable Transformer via Unrolling of Mixed Graph Algorithms for Traffic Forecast","ko":"교통 예측을 위한 Mixed Graph Algorithms 전개 기반의 경량 해석 가능한 Transformer","authors":"Ji Qi, Mingxiao Liu, VIET THUC, Yuzhe Li, Zhuoshi Pan, Gene Cheung, Hong Zhao","pos":"#3801","link":"https://openreview.net/forum?id=UCLLoBmv6s","abs":"To forecast traffic with both spatial and temporal dimensions, we unroll a mixed-graph-based optimization algorithm into a lightweight and interpretable transformer-like neural net. Specifically, we construct two graphs: an undirected graph $\\mathcal{G}^u$ capturing spatial correlations across geography, and a directed graph $\\mathcal{G}^d$ capturing sequential relationships over time. We formulate a prediction problem for the future samples of signal $\\mathbf{x}$, assuming it is ``smooth'' with respect to both $\\mathcal{G}^u$ and $\\mathbf{G}^d$, where we design new $\\ell_2$ and $\\ell_1$-norm variational terms to quantify and promote signal smoothness (low-frequency reconstruction) on a directed graph. We construct an iterative algorithm based on alternating direction method of multipliers (ADMM), and unroll it into a feed-forward network for data-driven parameter learning. We periodically insert graph learning modules for $\\mathcal{G}^u$ and $\\mathcal{G}^d$, which are akin to the self-attention mechanism in classical transformers. Experiments show that our unrolled networks achieve competitive traffic forecast performance as state-of-the-art prediction schemes, while reducing parameter counts drastically.","absKo":"공간적 차원과 시간적 차원을 모두 고려한 traffic forecasting을 위해, 우리는 mixed-graph 기반 optimization algorithm을 가벼우면서도 해석 가능한 transformer 유사 neural net으로 전개한다. 구체적으로, 우리는 지리적으로 공간 상관관계를 포착하는 무방향 graph $\\mathcal{G}^u$와 시간에 따른 순차적 관계를 포착하는 방향 graph $\\mathcal{G}^d$라는 두 개의 graph를 구성한다. 우리는 신호 $\\mathbf{x}$의 미래 sample에 대한 prediction problem을 정식화하며, 이 신호가 $\\mathcal{G}^u$와 $\\mathbf{G}^d$ 모두에 대해 ``smooth''하다고 가정한다. 이를 위해 우리는 방향 graph에서의 신호 smoothness(low-frequency reconstruction)를 정량화하고 촉진하기 위한 새로운 $\\ell_2$ 및 $\\ell_1$-norm variational term을 설계한다. 우리는 alternating direction method of multipliers (ADMM)에 기반한 iterative algorithm을 구성하고, 이를 data-driven parameter learning을 위한 feed-forward network으로 unroll한다. 또한 우리는 $\\mathcal{G}^u$와 $\\mathcal{G}^d$를 위한 graph learning module을 주기적으로 삽입하는데, 이는 고전적 transformer의 self-attention mechanism과 유사하다. 실험 결과, 우리의 unrolled network는 최첨단 prediction scheme에 필적하는 traffic forecast 성능을 달성하면서도 parameter 수를 크게 줄인다."},{"id":"65004","en":"Bilevel Optimization over Saddle Points of Zero-Sum Markov Games","ko":"Zero-Sum Markov Game의 Saddle Point에 대한 Bilevel Optimization","authors":"Zihao Zheng, Irwin King, Songtao Lu","pos":"#3803","link":"https://openreview.net/forum?id=HtSjPOIMMc","abs":"Reinforcement learning (RL) is often hierarchical: an upper-level (UL) learner selects model parameters while a lower-level (LL) decision-making process responds, forming a nested two-level optimization structure captured by bilevel optimization. Most existing bilevel RL methods assume a single-policy LL Markov decision process (MDP), and thus miss the competitive structure in applications such as incentive design where multiple policies interact. We study a class of bilevel optimization problems whose LL is a regularized min--max zero-sum Markov game, and whose UL optimizes through the saddle-point equilibrium induced by the LL game. We propose a penalty-based first-order policy-gradient method built on the Nikaido–Isoda function, termed penalty-augmented Nikaido–Isoda descent–ascent (PANDA), which avoids UL hypergradients and requires no second-order information by exploiting the min--max game structure. We prove that PANDA converges to stationary points of this bilevel problem without restrictive assumptions such as convexity on either the UL or LL objectives. Moreover, PANDA reaches an $\\epsilon$-stationary point in $\\tilde{\\mathcal{O}}(\\epsilon^{-1})$ iterations with sample complexity $\\tilde{\\mathcal{O}}(\\epsilon^{-3})$, matching the best-known rates for bilevel RL with single-policy LL MDPs. Experiments further demonstrate superior performance over closely related baselines.","absKo":"Reinforcement learning(RL)은 종종 계층적이다. 상위 수준(UL) learner가 model parameter를 선택하고 하위 수준(LL) decision-making process가 이에 반응하며, bilevel optimization으로 표현되는 중첩된 2단계 최적화 구조를 형성한다. 기존 bilevel RL method 대부분은 단일-policy LL Markov decision process(MDP)를 가정하므로, 여러 policy가 상호작용하는 incentive design과 같은 응용에서의 경쟁 구조를 놓친다. 우리는 LL이 regularized min--max zero-sum Markov game이고 UL이 LL game이 유도하는 saddle-point equilibrium을 통해 최적화하는 bilevel optimization 문제의 한 부류를 연구한다. 우리는 Nikaido–Isoda function에 기반한 penalty 기반 first-order policy-gradient method를 제안하며, 이를 penalty-augmented Nikaido–Isoda descent–ascent(PANDA)라고 부른다. 이 방법은 min--max game 구조를 활용하여 UL hypergradient를 피하고 second-order information을 전혀 필요로 하지 않는다. 우리는 PANDA가 UL 또는 LL objective에 대한 convexity 같은 제한적 가정 없이도 이 bilevel 문제의 stationary point로 수렴함을 증명한다. 더 나아가 PANDA는 $\\epsilon$-stationary point에 $\\tilde{\\mathcal{O}}(\\epsilon^{-1})$ iteration과 sample complexity $\\tilde{\\mathcal{O}}(\\epsilon^{-3})$로 도달하며, 이는 single-policy LL MDP를 사용하는 bilevel RL에서 알려진 최선의 rate와 일치한다. 실험은 또한 가장 closely related baseline보다 우수한 성능을 보여준다."},{"id":"65683","en":"RMNP: Row-Momentum Normalized Preconditioning for Scalable Matrix-Based Optimization","ko":"RMNP: 확장 가능한 행렬 기반 최적화를 위한 행-모멘텀 정규화 전처리","authors":"Shenyang Deng, Zhuoli Ouyang, Ruochen Jin, Tianyu Pang, Zihang Liu, Shuhua Yu, Yaoqing Yang","pos":"#3806","link":"https://openreview.net/forum?id=BC5aRMdRwp","abs":"Preconditioned adaptive methods have gained significant attention for training deep neural networks, as they capture rich curvature information. The central challenge in this field lies in balancing preconditioning effectiveness with computational efficiency of implementing the preconditioner. Among recent advances, \\textsc{MUON} stands out by using Newton-Schulz iteration to obtain preconditioned updates without explicitly constructing the preconditioning matrix. In this paper, we introduce \\textsc{RMNP} (Row Momentum Normalized Preconditioning), an optimizer that replaces Newton-Schulz iteration with a simple row-wise $\\ell_2$ normalization operation, motivated by the empirically observed diagonal block structure of the Transformer layerwise Hessian. This substitution reduces the per-iteration complexity from $\\mathcal{O}(mn\\cdot\\min(m,n))$ to $\\mathcal{O}(mn)$ for an $m\\times n$ weight matrix while maintaining comparable optimization performance. Theoretically, we establish convergence guarantees for \\textsc{RMNP} in the non-convex setting that match recent results for \\textsc{Muon} optimizers, achieving the information-theoretic minimax optimal complexity. Extensive experiments on large language model pretraining show that \\textsc{RMNP} delivers competitive optimization performance compared with \\textsc{Muon} while substantially reducing preconditioning process wall-clock time. Our code is available at \\href{https://anonymous.4open.science/r/RMNP-317C/}{link}.","absKo":"Preconditioned adaptive method는 풍부한 curvature 정보를 포착하기 때문에 deep neural network 학습에서 큰 주목을 받아 왔다. 이 분야의 핵심 과제는 preconditioning의 효과와 preconditioner 구현의 계산 효율성 사이의 균형을 맞추는 데 있다. 최근의 발전 중 \\textsc{MUON}은 preconditioning matrix를 명시적으로 구성하지 않고 Newton-Schulz iteration을 사용해 preconditioned update를 얻는 점에서 두드러진다. 본 논문에서는 Transformer layerwise Hessian의 경험적으로 관찰되는 diagonal block 구조에 착안하여, Newton-Schulz iteration을 간단한 row-wise $\\ell_2$ normalization 연산으로 대체하는 optimizer인 \\textsc{RMNP} (Row Momentum Normalized Preconditioning)를 소개한다. 이 대체를 통해 $m\\times n$ weight matrix에 대해 반복당 복잡도를 $\\mathcal{O}(mn\\cdot\\min(m,n))$에서 $\\mathcal{O}(mn)$으로 줄이면서도 유사한 optimization 성능을 유지할 수 있다. 이론적으로는 비볼록 설정에서 \\textsc{RMNP}에 대한 수렴 보장을 확립하며, 이는 최근 \\textsc{Muon} optimizer에 대한 결과와 일치하고 information-theoretic minimax optimal complexity를 달성한다. 대규모 언어 모델 pretraining에 대한 광범위한 실험은 \\textsc{RMNP}가 \\textsc{Muon}과 비교해 경쟁력 있는 optimization 성능을 제공하면서 preconditioning process의 wall-clock time을 크게 줄임을 보여준다. 코드는 \\href{https://anonymous.4open.science/r/RMNP-317C/}{link} 에서 확인할 수 있다."},{"id":"65124","en":"Failure-Driven Workflow Refinement","ko":"실패 기반 워크플로 정교화","authors":"Jusheng Zhang, Jing Yang, Kaitong Cai, Ziliang Chen, Yongsen Zheng, Kwok Yan Lam, Liang Lin, Keze Wang","pos":"#4007","link":"https://openreview.net/forum?id=GbYHY1RVUa","abs":"Workflow optimization for tool-using LLM agents is often cast as global search over candidate graphs, scored by a scalar metric. This collapses rich, multi-step failure traces into binary outcomes, obscuring recurring failure structure and making refinement inefficient. We reframe optimization as \\emph{distributional refinement}: each workflow induces a density over a \\textbf{Failure Signature Space} $\\mathcal{F}$, and the goal is to minimize its \\textbf{Expected Failure Mass}. We propose \\textbf{CE-Graph}, which maintains a counterexample pool, estimates dense failure modes, and applies operator-constrained graph edits via a \\textbf{Propose-and-Verify} loop with a convergence-aware stopping rule. Across math, code, and QA benchmarks, CE-Graph improves robustness while reducing optimization cost compared to strong workflow-search baselines, suggesting reliability emerges from learning and reshaping failure landscapes rather than merely maximizing aggregate success rates.","absKo":"tool-using LLM agent를 위한 workflow optimization은 종종 candidate graph에 대한 전역 탐색으로 정식화되며, scalar metric으로 점수화된다. 이는 풍부한 다단계 실패 trace를 이진 결과로 환원하여 반복되는 실패 구조를 가려버리고, refinement를 비효율적으로 만든다. 우리는 최적화를 \\emph{distributional refinement}로 재정식화한다. 각 workflow는 \\textbf{Failure Signature Space} $\\mathcal{F}$ 위의 density를 유도하며, 목표는 그 \\textbf{Expected Failure Mass}를 최소화하는 것이다. 우리는 \\textbf{CE-Graph}를 제안하는데, 이는 counterexample pool을 유지하고, dense failure mode를 추정하며, convergence-aware stopping rule을 갖는 \\textbf{Propose-and-Verify} loop를 통해 operator-constrained graph edit를 적용한다. 수학, 코드, QA benchmark 전반에서 CE-Graph는 강력한 workflow-search baseline과 비교해 최적화 비용을 줄이면서 robustness를 향상시킨다. 이는 신뢰성이 단순히 aggregate success rate를 극대화하는 데서가 아니라, failure landscape를 학습하고 재형성하는 데서 비롯됨을 시사한다."},{"id":"64576","en":"Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training","ko":"Extra-Merge: Language Model Pre-Training에서 Model Merging의 Rank-1 부분공간 추적","authors":"WenJie Zhou, Bohan Wang, Hongtao Zhang, Chenxi Jia, Wei Chen, Xueqi Cheng","pos":"#4016","link":"https://openreview.net/forum?id=M2aE1iEFHj","abs":"Model merging has emerged as a lightweight paradigm for enhancing Large Language Models (LLMs), yet its underlying mechanisms remain poorly understood. In this work, we analyze late-stage pre-training trajectories and uncover a \\textbf{Rank-1 Subspace} phenomenon: while raw optimization steps oscillate violently, consecutive \\emph{merged} checkpoints collapse onto a stable, approximately one-dimensional linear manifold. We theoretically ground this observation in a \\emph{river-valley} landscape analysis: averaging acts as a geometric low-pass filter that dampens high-curvature noise to reveal the optimal descent direction. Capitalizing on this insight, we propose \\textbf{Extra-Merge}, a training-free strategy that extrapolates along this subspace to minimize loss without additional gradient updates. Extensive experiments across GPT-2 and LLaMA families (124M to 2B) demonstrate that Extra-Merge consistently outperforms standard merging baselines. Notably, it yields consistent zero-shot accuracy gains on Pythia-12B downstream tasks and generalizes effectively to the Muon optimizer \\citep{jordan2024muon}.
","absKo":"Model merging은 Large Language Models (LLMs)를 향상시키기 위한 경량 패러다임으로 부상했지만, 그 근본 메커니즘은 여전히 제대로 이해되지 않고 있다. 본 연구에서는 후기 단계 pre-training 궤적을 분석하여 \\textbf{Rank-1 Subspace} 현상을 밝혀낸다. 즉, 원시 optimization step은 격렬하게 진동하는 반면, 연속된 \\emph{merged} checkpoint들은 안정적인, 대략 1차원인 선형 다양체로 수렴한다. 우리는 \\emph{river-valley} landscape 분석을 통해 이 관찰을 이론적으로 설명한다. 즉, averaging은 고곡률 노이즈를 약화시켜 최적의 descent direction을 드러내는 기하학적 low-pass filter로 작동한다. 이 통찰을 바탕으로, 추가 gradient update 없이 loss를 최소화하기 위해 이 subspace를 따라 extrapolation하는 training-free 전략인 \\textbf{Extra-Merge}를 제안한다. GPT-2 및 LLaMA 계열(124M부터 2B까지)에 대한 광범위한 실험은 Extra-Merge가 표준 merging baseline을 일관되게 능가함을 보인다. 특히 Pythia-12B downstream task에서 일관된 zero-shot accuracy 향상을 보이며, Muon optimizer \\citep{jordan2024muon}에도 효과적으로 일반화된다.
"},{"id":"61475","en":"PASO: Step Parallel Stochastic Optimization","ko":"PASO: 스텝 병렬 Stochastic Optimization","authors":"Jianrong Lu, Zhuoya Gu, Haobo Li, Zhiyu Zhu, Yechao Zhang, Jianhai Chen, Minghui Yang, Junwei Liu, Jian Wang, Qinming He, Hui LIU, Junhui Hou","pos":"#4505","link":"https://openreview.net/forum?id=pqG8AQFqhG","abs":"This paper approaches the fundamental challenge of accelerating the inherently autoregressive nature of gradient descent (GD) like SGD and Adam through a dynamic system perspective. Specifically, we introduce a unified framework that recasts the autoregressive GD process as solving a system of triangular nonlinear equations (TNEs), thereby enabling \\textit{step-parallel} training, where gradients for different GD steps are computed concurrently without sequential dependencies. Within this generic framework, we establish that: (1) the TNE system admits a unique solution corresponding precisely to the autoregressive GD iterative trajectory; (2) solving the TNEs system guarantees convergence to the GD iterative trajectory in at most the equal iterations. Building on these insights, we present \\textit{PASO}, the first step-parallel optimizer for accelerating a broad class of GD-based optimizers like SGD and Adam. Extensive experiments (\\textit{e.g.}, Llama-3.2-1B and diffusion model) validate that PASO achieves up to \\textbf{21}$\\times$ reduction in GD steps and \\textbf{4.5}$\\times$ speedup in wall-clock time, with no model quality loss. Source code is available at: \\url{https://anonymous.4open.science/r/PASO-0AF9}.","absKo":"이 논문은 SGD와 Adam 같은 gradient descent (GD)의 본질적으로 autoregressive한 특성을 동적 시스템 관점에서 가속하는 근본적 과제에 접근한다. 구체적으로, 우리는 autoregressive GD 과정을 triangular nonlinear equations (TNEs) 시스템을 푸는 문제로 재해석하는 통합 framework를 제시하여, 서로 다른 GD step의 gradient를 순차적 의존성 없이 병렬로 계산하는 \\textit{step-parallel} 학습을 가능하게 한다. 이 일반적 framework 내에서 우리는 다음을 확립한다: (1) TNE 시스템은 autoregressive GD 반복 궤적에 정확히 대응하는 유일한 해를 갖는다; (2) TNE 시스템을 푸는 것은 GD 반복 궤적으로의 수렴을 많아야 동일한 횟수의 반복 내에 보장한다. 이러한 통찰을 바탕으로, 우리는 SGD와 Adam 같은 광범위한 GD 기반 optimizer를 가속하는 최초의 step-parallel optimizer인 \\textit{PASO}를 제시한다. 광범위한 실험(\\textit{예:}, Llama-3.2-1B 및 diffusion model)은 PASO가 모델 품질 손실 없이 GD step 수를 최대 \\textbf{21}$\\times$ 줄이고 wall-clock time을 \\textbf{4.5}$\\times$ 가속함을 검증한다. 소스 코드는 다음에서 제공된다: \\url{https://anonymous.4open.science/r/PASO-0AF9}."},{"id":"63374","en":"M+Adam: Low-Precision Training via Mantissa–Exponent Optimization","ko":"M+Adam: 가수-지수 최적화를 통한 저정밀도 학습","authors":"Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar","pos":"#4506","link":"https://openreview.net/forum?id=XgVv56Y829","abs":"Low-precision formats such as BF16 and FP8 can greatly improve training efficiency, but fully low-precision training often degrades accuracy under standard optimizers. We identify a key cause: additive updates can vanish under coarse mantissa resolution. We introduce M+Adam, an optimizer for stable low-precision training that operates on a mantissa--exponent decomposition of weights and carries out Adam-Madam updates in parallel. Madam is a multiplicative analogue of Adam, where instead of applying additive updates, it performs updates multiplicatively, which is naturally suited for updating exponents. Building on this idea, \\method applies additive updates to the mantissa and multiplicative updates to the exponent in parallel. We demonstrate the complementary failure modes of purely additive or multiplicative updates under quantization and thus, our method that combines both can overcome all these failure modes. We establish a monotone descent guarantee under standard smoothness assumptions for our method. Under a challenging setting where both the weight and compute are in FP8, M+Adam substantially outperforms AdamW (e.g., by 10.51\\% perplexity at 350M). Moreover, M+Adam enables stable BF16 training without stochastic rounding and consistently outperforms AdamW across 60M-350M models and $1$-$8\\times$ Chinchilla budgets.","absKo":"BF16과 FP8 같은 low-precision format은 학습 효율을 크게 높일 수 있지만, 표준 optimizer를 사용할 때 fully low-precision training은 종종 정확도를 저하시킨다. 우리는 핵심 원인으로, 덧셈 업데이트가 거친 mantissa 해상도 아래에서 소멸할 수 있다는 점을 확인한다. 우리는 안정적인 low-precision training을 위한 optimizer인 M+Adam을 제안한다. 이 방법은 weight의 mantissa--exponent 분해를 기반으로 동작하며, Adam-Madam 업데이트를 병렬로 수행한다. Madam은 Adam의 multiplicative analog로, 덧셈 업데이트를 적용하는 대신 곱셈적으로 업데이트를 수행하며, 이는 exponent를 갱신하는 데 자연스럽게 적합하다. 이 아이디어를 바탕으로, \\method는 mantissa에는 덧셈 업데이트를, exponent에는 곱셈 업데이트를 병렬로 적용한다. 우리는 quantization 하에서 순수한 덧셈 또는 순수한 곱셈 업데이트가 각각 상보적인 실패 모드를 보인다는 점을 보이며, 두 방식을 결합한 우리의 방법이 이러한 모든 실패 모드를 극복할 수 있음을 보인다. 또한 표준 smoothness 가정 하에서 본 방법에 대한 monotone descent 보장을 확립한다. weight와 compute가 모두 FP8인 까다로운 설정에서, M+Adam은 AdamW를 크게 능가하며(예: 350M에서 perplexity 10.51\\% 개선), 더 나아가 stochastic rounding 없이도 안정적인 BF16 training을 가능하게 하고, 60M-350M 모델 및 $1$-$8\\times$ Chinchilla budget 전반에서 AdamW를 일관되게 앞선다."},{"id":"63051","en":"Improving the Robustness-Utility Trade-off in Decentralized Learning over Sparse Networks","ko":"희소 네트워크상의 분산 학습에서 견고성-유용성 트레이드오프 개선","authors":"Yangnan Li, Xuanyu Cao, Shenghui Song","pos":"#4508","link":"https://openreview.net/forum?id=aYUmbbRVbJ","abs":"Resilience against Byzantine attackers and faster convergence on sparse networks are critical for decentralized optimization, yet existing methods fail to achieve both simultaneously. Existing DSGD-based Byzantine-resilient methods suffer from high transient complexity of $\\mathcal{O}\\left((1-\\lambda)^{-6}\\right)$, where $1-\\lambda$ denotes the spectral gap of the network. While bias-correction methods such as Exact Diffusion can improve topology dependence, directly combining them with robust aggregators can lead to error accumulation. To address this issue, we introduce the scaled dual ascent (SDA) within the augmented Lagrangian framework for decentralized optimization, which mitigates error accumulation by scaling the dual update steps. Based on this, we propose BRED, which integrates Byzantine-robust Exact Diffusion with the SDA framework. We prove that BRED attains linear speedup, and achieves transient complexity of $\\mathcal{O}\\left((1-\\lambda)^{-2}\\right)$ when the Byzantine fraction $\\delta$ is small. We further propose the momentum variant BRED-M, which reduces the Byzantine-affected transient complexity from $\\mathcal{O}\\left(\\delta^2(1-\\lambda)^{-6}\\right)$ to $\\mathcal{O}\\left(\\delta^2(1-\\lambda)^{-4}\\right)$. Empirical results on benchmark datasets demonstrate the efficacy of the proposed methods across diverse network topologies.","absKo":"Byzantine 공격자에 대한 강건성과 sparse network에서의 더 빠른 수렴은 decentralized optimization에서 핵심적이지만, 기존 방법들은 이 둘을 동시에 달성하지 못한다. 기존 DSGD 기반 Byzantine-robust 방법은 높은 transient complexity $\\mathcal{O}\\left((1-\\lambda)^{-6}\\right)$를 겪는데, 여기서 $1-\\lambda$는 네트워크의 spectral gap을 의미한다. Exact Diffusion과 같은 bias-correction 방법은 topology dependence를 개선할 수 있지만, 이를 robust aggregator와 직접 결합하면 error accumulation이 발생할 수 있다. 이 문제를 해결하기 위해, 우리는 decentralized optimization을 위한 augmented Lagrangian framework 내에 scaled dual ascent(SDA)를 도입하여 dual update step을 scaling함으로써 error accumulation을 완화한다. 이를 바탕으로, 우리는 Byzantine-robust Exact Diffusion과 SDA framework를 통합한 BRED를 제안한다. 우리는 BRED가 linear speedup을 달성하며, Byzantine 비율 $\\delta$가 작을 때 transient complexity $\\mathcal{O}\\left((1-\\lambda)^{-2}\\right)$를 달성함을 증명한다. 또한 momentum variant BRED-M을 제안하는데, 이는 Byzantine의 영향을 받는 transient complexity를 $\\mathcal{O}\\left(\\delta^2(1-\\lambda)^{-6}\\right)$에서 $\\mathcal{O}\\left(\\delta^2(1-\\lambda)^{-4}\\right)$로 줄인다. benchmark datasets에 대한 실험 결과는 제안한 방법들이 다양한 network topology 전반에서 효과적임을 보여준다."},{"id":"62055","en":"Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence","ko":"Balanced LoRA: 수렴 가속을 위한 Parameter Invariance 제거","authors":"Valérie Castin, Kimia Nadjahi, Pierre Ablin, Gabriel Peyré","pos":"#2705","link":"https://openreview.net/forum?id=kHInw3cjCP","abs":"Low-Rank Adaptation (LoRA) is the most widely adopted method for fine-tuning large language models. Notably, LoRA is inherently overparameterized: multiple pairs of low-rank factors can yield the same adapted weight matrix. We show—both theoretically and empirically—that these pairs exhibit significantly different condition numbers. As a result, converging to different loss minimizers directly impacts the convergence rate of LoRA. Building on this observation, we introduce Balanced Low-Rank Adaptation (BaLoRA), a variant of LoRA that projects iterates onto a balanced manifold. This manifold improves the conditioning of the loss landscape while preserving the adapted matrix. The projection step is computationally lightweight and integrates seamlessly into existing fine-tuning pipelines. Empirically, BaLoRA converges faster than standard LoRA and achieves superior performance across a range of fine-tuning tasks.
","absKo":"Low-Rank Adaptation (LoRA)은 large language model을 finetuning하는 데 가장 널리 채택된 방법이다. 특히 LoRA는 본질적으로 overparameterized되어 있으며, 여러 low-rank factor 쌍이 동일한 adapted weight matrix를 생성할 수 있다. 우리는 이들 쌍이 이론적으로나 실험적으로나 상당히 다른 condition number를 보인다는 점을 보인다. 그 결과, 서로 다른 loss minimizer로 수렴하는 것은 LoRA의 convergence rate에 직접적인 영향을 미친다. 이러한 관찰을 바탕으로, 우리는 iterate를 balanced manifold로 사상하는 LoRA의 변형인 Balanced Low-Rank Adaptation (BaLoRA)를 제안한다. 이 manifold는 adapted matrix를 보존하면서 loss landscape의 conditioning을 향상시킨다. projection step은 계산 비용이 매우 낮으며 기존 finetuning pipeline에 매끄럽게 통합된다. 실험적으로 BaLoRA는 표준 LoRA보다 더 빠르게 수렴하며, 다양한 finetuning task에서 우수한 성능을 달성한다.
"},{"id":"61776","en":"Softsignum: Smooth Your Signum For Better Heterogeneity Handling","ko":"Softsignum: 더 나은 이질성 처리를 위해 Signum을 부드럽게 하기","authors":"Dmitrii Feoktistov, Andrey Veprikov, Amir Zainullin, Timofey Belinsky, Aleksandr Beznosikov","pos":"#3708","link":"https://openreview.net/forum?id=n47bK7WM3U","abs":"Sign-based optimization methods, such as SignSGD and Signum, have become essential for modern Deep Learning due to their 1) high performance 2) low memory footprint and 3) communication efficiency. Despite their success, these methods suffer from distinct limitations in the terminal phase of training: they decouple update mechanisms from gradient magnitudes and fail to account for parameter heterogeneity, often leading to oscillation rather than convergence. While switching to SGD represents a potential remedy, a naive \"hard\" switch is poorly useful due to learning rate mismatches, momentum buffer suboptimality, and the assumption of uniform parameter dynamics. In this work, we propose SoftSignum, a novel optimization method that implements a principled, smooth transition mechanism from sign-based updates to SGD, which adapts to individual parameter sensitivities. We provide a generalized theoretical framework guaranteeing convergence in stochastic non-convex settings relevant to Deep Learning and demonstrate empirically that SoftSignum effectively handles parameter heterogeneity, yielding superior convergence across diverse tasks, including LLM pretraining, compared to standard sign-based baselines.
","absKo":"SignSGD와 Signum과 같은 sign-based optimization method는 1) 높은 성능 2) 낮은 memory footprint 3) 우수한 communication efficiency 덕분에 현대 Deep Learning에 필수적인 방법이 되었다. 그러나 이러한 방법은 학습의 종료 단계에서 고유한 한계를 보인다. 즉, update mechanism을 gradient magnitude와 분리하고 parameter heterogeneity를 반영하지 못하여, 수렴보다는 oscillation으로 이어지는 경우가 많다. SGD로 전환하는 것은 잠재적인 해법이지만, 단순한 \"hard\" switch는 learning rate 불일치, momentum buffer의 비최적성, 그리고 균일한 parameter dynamics라는 가정 때문에 실용성이 떨어진다. 본 연구에서는 sign-based update에서 SGD로의 원리적이고 매끄러운 transition mechanism을 구현하며, 개별 parameter sensitivity에 적응하는 새로운 optimization method인 SoftSignum을 제안한다. 우리는 Deep Learning과 관련된 stochastic non-convex setting에서 수렴을 보장하는 일반화된 이론적 framework를 제시하고, SoftSignum이 parameter heterogeneity를 효과적으로 처리하여 LLM pretraining을 포함한 다양한 task에서 표준 sign-based baseline보다 우수한 수렴을 보임을 실험적으로 입증한다.
"},{"id":"66010","en":"Sharpness-Aware Minimization Can Hallucinate Minimizers","ko":"Sharpness-Aware Minimization은 최소값을 환각할 수 있다","authors":"Chanwoong Park, Uijeong Jang, Ernest Ryu, Insoon Yang","pos":"#3709","link":"https://openreview.net/forum?id=7xwOy8C00l","abs":"Sharpness-Aware Minimization (SAM) is widely used to seek flatter minima—often linked to better generalization. In its standard implementation, SAM updates the current iterate using the loss gradient evaluated at a point perturbed by distance $\\rho$ along the normalized gradient direction. We show that, for some choices of $\\rho$, SAM can stall at points where this shifted (perturbed-point) gradient vanishes despite a nonzero original gradient, and therefore, they are not stationary points of the original loss. We call these points hallucinated minimizers, prove their existence under simple nonconvex landscape conditions (e.g., the presence of a local minimizer and a local maximizer), and establish sufficient conditions for local convergence of the SAM iterates to them. We corroborate this failure mode in neural network training and observe that it aligns with SAM's performance degradation often seen at large $\\rho$. Finally, as a practical safeguard, we find that a short initial SGD warm-start before enabling SAM mitigates this failure mode and reduces sensitivity to the choice of $\\rho$.","absKo":"Sharpness-Aware Minimization (SAM)은 더 평평한 minima를 찾기 위해 널리 사용되며, 이는 종종 더 나은 generalization과 연결됩니다. 표준 구현에서 SAM은 normalized gradient 방향을 따라 거리 $\\rho$만큼 perturb된 점에서 평가한 loss gradient를 사용해 현재 iterate를 업데이트합니다. 우리는 일부 $\\rho$ 선택에서는, 이 이동된(perturbed-point) gradient가 원래 gradient는 0이 아니지만 0이 되는 지점에서 SAM이 멈출 수 있음을 보이며, 따라서 이 지점들은 원래 loss의 stationary point가 아님을 보입니다. 우리는 이러한 지점을 hallucinated minimizers라고 부르며, 단순한 nonconvex landscape 조건(예: local minimizer와 local maximizer의 존재) 하에서 그 존재를 증명하고, SAM iterate가 이 지점들로 local convergence하는 충분조건을 제시합니다. 또한 신경망 학습에서 이러한 failure mode를 확인하며, 이것이 큰 $\\rho$에서 종종 관찰되는 SAM의 성능 저하와 일치함을 관찰합니다. 마지막으로, 실용적인 안전장치로서 SAM을 활성화하기 전에 짧은 초기 SGD warm-start를 두면 이 failure mode를 완화하고 $\\rho$ 선택에 대한 민감도를 줄일 수 있음을 발견합니다."},{"id":"60777","en":"Second-Order Bilevel Optimization with Accelerated Convergence Rates","ko":"가속 수렴률을 갖는 Second-Order Bilevel Optimization","authors":"Sheng Yang, Chengchang Liu, Lesi Chen, John C. S. Lui","pos":"#3710","link":"https://openreview.net/forum?id=wnj21mpuHv","abs":"This paper studies second-order methods for nonconvex-strongly-convex bilevel optimization. We propose a novel fully second-order bilevel approximation method (FSBA) that achieves an iteration complexity of $\\tilde{\\mathcal{O}}(\\epsilon^{-1.5})$ for finding the $(\\epsilon, \\mathcal{O}(\\sqrt{\\epsilon}))$ second-order stationary point of the hyper-objective function. Our results demonstrate that second-order methods can achieve an accelerated convergence rate than first-order methods in bilevel optimization. To address the heavy computational cost associated with the second-order oracle, we introduce a lazy variant of FSBA, called LFSBA, which reuses second-order information across several iterations. We prove that LFSBA exhibits better computational complexity than FSBA by a factor of $\\sqrt{d}$, where $d$ is the dimension of the problem. We also apply a similar idea to nonconvex strongly-concave minimax optimization and propose the lazy minimax cubic-regularized Newton (LMCN) method with better computational complexity compared to existing second-order methods.","absKo":"본 논문은 nonconvex-strongly-convex bilevel optimization을 위한 second-order method를 연구한다. 우리는 hyper-objective function의 $(\\epsilon, \\mathcal{O}(\\sqrt{\\epsilon}))$ second-order stationary point를 찾는 데 대해 iteration complexity가 $\\tilde{\\mathcal{O}}(\\epsilon^{-1.5})$인 새로운 fully second-order bilevel approximation method (FSBA)를 제안한다. 우리의 결과는 bilevel optimization에서 second-order method가 first-order method보다 더 빠른 convergence rate를 달성할 수 있음을 보여준다. second-order oracle에 수반되는 큰 계산 비용을 줄이기 위해, 우리는 여러 iteration에 걸쳐 second-order information을 재사용하는 FSBA의 lazy variant인 LFSBA를 도입한다. 우리는 LFSBA가 문제의 차원을 $d$라고 할 때 FSBA보다 $\\sqrt{d}$ 배 더 나은 computational complexity를 보임을 증명한다. 또한 유사한 아이디어를 nonconvex strongly-concave minimax optimization에 적용하여, 기존 second-order method보다 더 나은 computational complexity를 갖는 lazy minimax cubic-regularized Newton (LMCN) method를 제안한다."},{"id":"62811","en":"STLA: Spatiotemporal Lookahead Alignment for Post-Training Quantization","ko":"STLA: 사후학습 Quantization을 위한 Spatiotemporal Lookahead Alignment","authors":"Zuqi Zhang, Chenghe Sun, Xiangyi Chu, Wei-Han Yu, Ka-Fai Un, Rui Martins, Pui-In Mak, Jiawei Xu","pos":"#3711","link":"https://openreview.net/forum?id=d3RFDLBw01","abs":"Adaptive rounding techniques in Post-Training Quantization (PTQ) enable the efficient deployment of Large Language Models (LLMs) with low resource and data dependencies. While learning-based rounding methods are accurate yet costly, compensation-based approaches offer a highly efficient alternative. However, synergizing these two to realize their full potential is hindered by spatiotemporal misalignment in the decoupled paradigm. Key challenges include temporal parameter conflict, the invalidation of the initial Round-to-Nearest (RTN) assumption, and spatially-inconsistent optimization objectives. This paper introduces STLA, a novel rounding-optimized PTQ framework that achieves both fast and accurate LLM quantization. STLA resolves temporal inconsistency through cluster-wise integrated rounding optimization, which collocates the learning and compensation phases. STLA achieves spatial alignment through a unified global objective derived from the Schur Complement, enabling the solver to look ahead and align local rounding decisions with the optimal future compensation of remaining weights. Furthermore, we propose a Hessian-guided clustering strategy that exploits both diagonal and off-diagonal information to maximize intra-cluster error cancellation. Extensive experiments demonstrate that STLA establishes a new state-of-the-art for low-bit PTQ while maintaining high computational efficiency. The code is available at https://anonymous.4open.science/r/STLA.
","absKo":"Post-Training Quantization (PTQ)의 adaptive rounding 기법은 낮은 자원과 데이터 의존성으로 Large Language Models (LLMs)를 효율적으로 배포하게 해준다. 학습 기반 rounding 방법은 정확하지만 비용이 크고, compensation-based approach는 매우 효율적인 대안이다. 그러나 이 둘을 결합하여 잠재력을 완전히 실현하는 것은 decoupled paradigm에서의 spatiotemporal misalignment 때문에 어렵다. 주요 과제로는 temporal parameter conflict, 초기 Round-to-Nearest (RTN) 가정의 무효화, spatially-inconsistent optimization objective가 있다. 본 논문은 빠르고 정확한 LLM quantization을 동시에 달성하는 새로운 rounding-optimized PTQ framework인 STLA를 소개한다. STLA는 learning phase와 compensation phase를 서로 인접하게 배치하는 cluster-wise integrated rounding optimization을 통해 temporal inconsistency를 해결한다. 또한 STLA는 Schur Complement에서 유도된 unified global objective를 통해 spatial alignment를 달성하며, solver가 미래를 미리 내다보고 남은 weight의 최적 future compensation과 local rounding decision을 정렬할 수 있게 한다. 더 나아가, 우리는 diagonal 및 off-diagonal 정보를 모두 활용하여 cluster 내 error cancellation을 극대화하는 Hessian-guided clustering strategy를 제안한다. 광범위한 실험은 STLA가 높은 계산 효율성을 유지하면서 low-bit PTQ의 새로운 state-of-the-art를 확립함을 보여준다. 코드는 https://anonymous.4open.science/r/STLA 에서 제공된다.
"},{"id":"65309","en":"Projection-Free Algorithms for Minimax Problems","ko":"Minimax 문제를 위한 Projection-Free 알고리즘","authors":"Khanh-Hung Giang-Tran, Soroosh Shafiee, Nam Ho-Nguyen","pos":"#3712","link":"https://openreview.net/forum?id=EtAwPLwiX5","abs":"This paper addresses constrained smooth saddle-point problems in settings where projection onto the feasible sets is computationally expensive. We bridge the gap between projection-based and projection-free optimization by introducing a unified dual dynamic smoothing framework that enables the design of efficient single-loop algorithms. Within this framework, we establish convergence results for nonconvex-concave and nonconvex-strongly concave settings. Furthermore, we show that this framework is naturally applicable to convex-concave problems, providing a unified analysis across varying payoff structures. We propose and analyze three algorithmic variants based on the application of a linear minimization oracle over the minimization variable, the maximization variable, or both. Notably, our analysis yields anytime convergence guarantees without requiring a pre-specified iteration horizon. These results significantly narrow the performance gap between projection-free and projection-based methods for minimax optimization.
","absKo":"본 논문은 feasible set 위로의 projection이 계산적으로 비싼 환경에서의 constrained smooth saddle-point problem을 다룬다. 우리는 projection-based optimization과 projection-free optimization 사이의 간극을, 효율적인 single-loop algorithm의 설계를 가능하게 하는 통합 dual dynamic smoothing framework를 도입하여 메운다. 이 framework 안에서 우리는 nonconvex-concave 및 nonconvex-strongly concave 설정에 대한 수렴 결과를 확립한다. 또한 이 framework가 convex-concave problem에도 자연스럽게 적용됨을 보이며, 다양한 payoff structure 전반에 대한 통합적 분석을 제공한다. 우리는 minimization variable, maximization variable, 또는 둘 모두에 대해 linear minimization oracle을 적용하는 세 가지 algorithmic variant를 제안하고 분석한다. 특히, 우리의 분석은 사전에 iteration horizon을 지정할 필요 없이 anytime convergence guarantee를 도출한다. 이러한 결과는 minimax optimization에서 projection-free 방법과 projection-based 방법 사이의 성능 격차를 크게 좁힌다.
"},{"id":"63295","en":"On the Optimization Trajectory of DeepWalk Embeddings","ko":"DeepWalk 임베딩의 최적화 궤적에 관하여","authors":"Christopher Harker, Aditya Bhaskara","pos":"#3713","link":"https://openreview.net/forum?id=YKX6FgtL3R","abs":"The DeepWalk algorithm has been widely used for learning node embeddings in graphs. Combined with the idea of negative sampling, the DeepWalk algorithm has been shown to be implementable at scale, easily handling graphs with millions of nodes. However, theoretical guarantees on the resulting embeddings are much less understood. Recent results have studied the minimizers of the objective and have shown interesting guarantees for certain graph classes. However, the optimization trajectory, i.e., what happens when we start at a random initialization and run gradient descent, remains poorly understood. This is especially true for the implementation of DeepWalk using Skip-gram with negative sampling (SGNS), since the variance of the stochastic updates turns out to be very large. In this work, we make progress on this question. We show that for \"small norm\" initialization, under a spectral gap assumption on the graph, the DeepWalk embeddings align with the column space of a fixed low-rank matrix. For graphs generated from Stochastic Block Models with certain separation conditions, our results imply that the DeepWalk embeddings recover cluster structure. To the best of our knowledge, our results give the first analysis of the optimization trajectory of DeepWalk with negative sampling on non-trivial graph classes.
","absKo":"DeepWalk 알고리즘은 graph에서 node embedding을 학습하는 데 널리 사용되어 왔다. negative sampling 아이디어와 결합된 DeepWalk는 대규모로 구현 가능함이 보였고, 수백만 개의 node를 가진 graph도 쉽게 처리할 수 있다. 그러나 그로부터 얻어지는 embedding에 대한 이론적 보장은 훨씬 덜 이해되어 있다. 최근의 결과들은 objective의 minimizer를 연구하며 일부 graph class에 대해 흥미로운 보장을 보였다. 하지만 optimization trajectory, 즉 random initialization에서 시작해 gradient descent를 실행할 때 무슨 일이 일어나는지는 여전히 잘 알려져 있지 않다. 특히 stochastic update의 variance가 매우 크다는 점에서, negative sampling을 사용한 Skip-gram with negative sampling (SGNS)으로 구현되는 DeepWalk는 더욱 그러하다. 본 연구에서는 이 질문에 대해 진전을 보인다. 우리는 \"small norm\" initialization에 대해, graph에 spectral gap 가정이 있을 때 DeepWalk embedding이 고정된 low-rank matrix의 column space와 정렬됨을 보인다. 특정 separation condition을 만족하는 Stochastic Block Model에서 생성된 graph에 대해서는, 우리의 결과가 DeepWalk embedding이 cluster structure를 복원함을 함의한다. 우리의 아는 한, 본 결과는 non-trivial graph class에서 negative sampling을 사용하는 DeepWalk의 optimization trajectory에 대한 첫 분석이다.
"},{"id":"63615","en":"On Densest $k$-Subgraph Mining and Diagonal Loading: Optimization Landscape and Finite-Step Exact Convergence Analysis","ko":"최밀도 $k$-부분그래프 탐색과 대각선 로딩에 관하여: 최적화 지형과 유한 단계 정확 수렴 분석","authors":"Qiheng Lu, Nicholas Sidiropoulos, Aritra Konar","pos":"#3714","link":"https://openreview.net/forum?id=VQt4w3lElX","abs":"The Densest $k$-Subgraph (D$k$S) is a fundamental combinatorial problem known for its theoretical hardness and breadth of applications. Recently, Lu et al. (AAAI 2025) introduced a penalty-based non-convex relaxation that achieves promising empirical performance; however, a rigorous theoretical understanding of its success remains unclear. In this work, we bridge this gap by providing a comprehensive theoretical analysis. We first establish the tightness of the relaxation, ensuring that the global maximum values of the original combinatorial problem and the relaxed problem coincide. Then we reveal the benign geometry of the optimization landscape by proving a strict dichotomy of stationary points: all integral stationary points are local maximizers, whereas all non-integral stationary points are strict saddles with explicit positive curvature. We propose a saddle-escaping Frank--Wolfe algorithm and prove that it achieves exact convergence to an integral local maximizer in a finite number of steps.","absKo":"The Densest $k$-Subgraph (D$k$S)는 이론적으로 난해하고 응용 범위가 넓은 fundamental combinatorial problem이다. 최근 Lu et al. (AAAI 2025)은 유망한 실증 성능을 보이는 penalty-based non-convex relaxation을 제안했지만, 그 성공에 대한 엄밀한 이론적 이해는 여전히 불분명하다. 본 연구에서는 포괄적인 이론 분석을 제공함으로써 이 간극을 메운다. 먼저 relaxation의 tightness를 확립하여, 원래 combinatorial problem과 relaxed problem의 global maximum 값이 일치함을 보인다. 이어서 optimization landscape의 benign geometry를 드러내기 위해 stationary point의 strict dichotomy를 증명한다. 즉, 모든 integral stationary point는 local maximizer이고, 모든 non-integral stationary point는 명시적인 양의 곡률을 갖는 strict saddle이다. 우리는 saddle-escaping Frank--Wolfe algorithm을 제안하며, 유한한 단계 수 안에 integral local maximizer로 정확히 수렴함을 증명한다."},{"id":"66423","en":"MoSSP: A Momentum-Based Single-Loop Stochastic Penalty Method for Nonconvex Constrained DC Optimization","ko":"MoSSP: 비볼록 제약 DC 최적화를 위한 모멘텀 기반 단일 루프 확률적 페널티 방법","authors":"Luxuan Li, Xiao Wang, Chunfeng Cui","pos":"#3715","link":"https://openreview.net/forum?id=3tN36gT4tB","abs":"In this paper, we study a general class of nonconvex constrained stochastic problems with difference-of-convex (DC) regularization, where the feasible set is possibly nonconvex, and the concave part of the DC regularizer is allowed to be nonsmooth. The fundamental challenge lies in maintaining feasibility for nonconvex constraints while achieving favorable oracle complexity. Although single-loop algorithms are efficient in solving unconstrained DC optimization problems, their potential for constrained optimization with DC structure remains largely unexplored. To address this gap, we develop **MoSSP**, a **Mo**mentum-based **S**ingle-loop **S**tochastic **P**enalty method for such problems with provable complexity guarantee. The key idea is to perform a single stochastic proximal-gradient update that approximates the gradient of the Moreau envelope of the composite term, which consists of the penalty function and the convex component of the DC regularizer. Simultaneously, the proximal mapping of its concave component is computed in parallel. We derive two algorithm variants: a Polyak-momentum version with $\\mathcal{O}(\\varepsilon^{-4})$ oracle complexity for finding stochastic $\\varepsilon$-KKT points, and an improved $\\mathcal{O}(\\varepsilon^{-3})$ version incorporating recursive momentum. Experiment results demonstrate the effectiveness of our proposed algorithms.","absKo":"이 논문에서는 feasible set이 비볼록일 수도 있고 DC regularizer의 concave 부분이 nonsmooth일 수 있는, difference-of-convex(DC) regularization을 갖는 일반적인 비볼록 제약 stochastic problem을 연구한다. 핵심 도전은 유리한 oracle complexity를 달성하면서 비볼록 제약의 feasibility를 유지하는 데 있다. 단일 루프 알고리즘은 unconstrained DC optimization 문제를 효율적으로 풀 수 있지만, DC 구조를 갖는 constrained optimization으로의 잠재력은 여전히 충분히 탐구되지 않았다. 이 간극을 메우기 위해, 우리는 이들 문제에 대해 복잡도 보장을 증명할 수 있는 momentum 기반 single-loop stochastic penalty method인 **MoSSP**를 개발한다. 핵심 아이디어는 penalty function과 DC regularizer의 convex component로 구성된 composite term의 Moreau envelope gradient를 근사하는 단일 stochastic proximal-gradient update를 수행하는 것이다. 동시에, 그 concave component의 proximal mapping을 병렬로 계산한다. 우리는 두 가지 알고리즘 변형을 도출한다. 하나는 stochastic $\\varepsilon$-KKT point를 찾기 위해 $\\mathcal{O}(\\varepsilon^{-4})$ oracle complexity를 갖는 Polyak-momentum 버전이고, 다른 하나는 recursive momentum을 통합하여 향상된 $\\mathcal{O}(\\varepsilon^{-3})$ 버전이다. 실험 결과는 제안한 알고리즘의 효과를 입증한다."},{"id":"60861","en":"On the Convergence of Steepest Descent and Adaptive Gradient Methods under Non-Uniform Smoothness","ko":"비균일 Smoothness 하에서 Steepest Descent와 Adaptive Gradient Method의 수렴","authors":"Sharan Vaswani, Yifan Sun, Reza Babanezhad","pos":"#3802","link":"https://openreview.net/forum?id=vwTTp11PTD","abs":"Recent work has analyzed the convergence of first-order methods under non-uniform smoothness assumptions that better model the loss landscape in machine learning tasks. We generalize this assumption to objectives whose curvature is an affine function of the objective value. This property is satisfied by a broad class of problems, including logistic regression, generalized linear models with a logistic link function, softmax policy gradient in reinforcement learning, and a class of neural networks. Under this assumption and gradient domination conditions, we establish a general convergence rate for the steepest descent method, and deterministic, diagonal variants of RMSProp and Adam. Our results imply that for logistic regression on separable data and the softmax policy gradient objective, sign GD converges linearly and is provably faster than GD. Furthermore, we show that for a class of two-layer neural networks on separable data, RMSProp and Adam can converge at a linear rate with a constant step-size and momentum parameter. Finally, we present a lower bound demonstrating that, under our assumption, RMSProp and Adam are provably faster than AdaGrad, AMSGrad, gradient descent, and heavy-ball momentum.
","absKo":"최근 연구들은 machine learning task의 loss landscape를 더 잘 모델링하는 non-uniform smoothness 가정 하에서 first-order method의 수렴을 분석해 왔다. 우리는 이 가정을 curvature가 objective value의 affine function인 목적함수로 일반화한다. 이 성질은 logistic regression, logistic link function을 갖는 generalized linear model, reinforcement learning에서의 softmax policy gradient, 그리고 한 부류의 neural network를 포함하는 광범위한 문제에 대해 성립한다. 이 가정과 gradient domination 조건 하에서, 우리는 steepest descent method와 deterministic, diagonal variant의 RMSProp 및 Adam에 대한 일반적인 수렴률을 확립한다. 우리의 결과는 separable data에서의 logistic regression과 softmax policy gradient objective에 대해 sign GD가 선형 수렴하며 GD보다 이론적으로 더 빠르다는 것을 시사한다. 더 나아가, separable data 상의 한 부류의 two-layer neural network에 대해 RMSProp과 Adam이 constant step-size와 momentum parameter로 선형 속도로 수렴할 수 있음을 보인다. 마지막으로, 우리의 가정 하에서 RMSProp과 Adam이 AdaGrad, AMSGrad, gradient descent, heavy-ball momentum보다 이론적으로 더 빠르다는 lower bound를 제시한다.
"},{"id":"63719","en":"From Lyapunov Analysis to Algorithm Design in two-sided PL Minimax Optimization","ko":"양쪽 PL Minimax Optimization에서 Lyapunov 분석으로부터 알고리즘 설계까지","authors":"Mansi Rankawat, Michael Muehlebach, Simon Lacoste-Julien, Damien Scieur","pos":"#3804","link":"https://openreview.net/forum?id=UIyXPhhxlf","abs":"We derive algorithms for smooth nonconvex nonconcave minimax optimization and establish linear convergence rates for problems that satisfy the two-sided Polyak-Lojasiewicz (PL) inequality. At the core of our approach is the observation that Lyapunov functions can be used not only to certify convergence a posteriori, but also to design algorithms. By replacing an idealized, intractable Lyapunov function with a computable surrogate based on gradient information, we derive TALDA (Tri-Action Lyapunov Descent Ascent), a single-loop algorithm that enforces Lyapunov descent by construction. TALDA guarantees linear convergence under the two-sided PL condition, with a rate that depends explicitly on the cross-smoothness constant. This recovers existing worst-case guarantees while yielding sharper convergence rates in weakly coupled min–max problems.
","absKo":"우리는 smooth nonconvex nonconcave minimax optimization을 위한 알고리즘을 도출하고, two-sided Polyak-Lojasiewicz(PL) inequality를 만족하는 문제에 대해 선형 수렴률을 확립한다. 우리의 접근의 핵심은 Lyapunov function이 사후적으로 수렴을 입증하는 데에만 쓰이는 것이 아니라 알고리즘 설계에도 활용될 수 있다는 관찰이다. 이상적이지만 계산 불가능한 Lyapunov function을 gradient information에 기반한 계산 가능한 surrogate로 대체함으로써, 우리는 구성상 Lyapunov descent를 강제하는 단일 루프(single-loop) 알고리즘인 TALDA(Tri-Action Lyapunov Descent Ascent)를 도출한다. TALDA는 two-sided PL 조건 하에서 선형 수렴을 보장하며, 그 수렴률은 cross-smoothness constant에 명시적으로 의존한다. 이는 기존의 worst-case guarantee를 재현하는 동시에, weakly coupled min-max 문제에서 더 날카로운 수렴률을 제공한다.
"},{"id":"64772","en":"Loss-aware distributionally robust optimization via trainable optimal transport ambiguity sets","ko":"학습 가능한 Optimal Transport 모호성 집합을 통한 Loss-aware 분포적 강건 최적화","authors":"Jonas Ohnemus, Marta Fochesato, Riccardo Zuliani, John Lygeros","pos":"#3805","link":"https://openreview.net/forum?id=K1EPPO9t2c","abs":"Optimal-transport distributionally robust optimization (OT-DRO) robustifies data-driven decision-making under uncertainty by capturing the sampling-induced statistical error via optimal transport ambiguity sets. The standard OT-DRO pipeline consists of a two-step procedure, where the ambiguity set is first designed and subsequently embedded into the downstream OT-DRO problem. However, this separation between uncertainty quantification and optimization may lead to excessive conservatism. We introduce an end-to-end pipeline to automatically learn decision-focused ambiguity sets for OT-DRO problems, where the loss function informs the shape of the ambiguity set, leading to less conservative decisions whose distributional robustness is enforced via data-driven bootstrapping. We formulate the learning problem as a bilevel optimization program and solve it via a hypergradient-based method. By leveraging the recently introduced nonsmooth conservative implicit function theorem, we establish convergence to a critical point of the bilevel problem. We present experiments validating our method on standard portfolio optimization and linear regression tasks.
","absKo":"Optimal-transport distributionally robust optimization(OT-DRO)은 optimal transport ambiguity set을 통해 sampling으로 유발되는 statistical error를 포착함으로써 불확실성 하의 data-driven decision-making을 robust하게 만든다. 표준 OT-DRO pipeline은 먼저 ambiguity set을 설계하고, 그다음 이를 downstream OT-DRO 문제에 삽입하는 두 단계 절차로 구성된다. 그러나 uncertainty quantification과 optimization의 분리는 과도한 보수성으로 이어질 수 있다. 우리는 OT-DRO 문제를 위해 decision-focused ambiguity set을 자동으로 학습하는 end-to-end pipeline을 제안한다. 여기서 loss function은 ambiguity set의 형태를 결정하며, 그 결과 distributional robustness가 data-driven bootstrapping을 통해 보장되는 덜 보수적인 의사결정이 가능해진다. 우리는 이 학습 문제를 bilevel optimization program으로 정식화하고, hypergradient 기반 방법으로 해결한다. 최근 제안된 nonsmooth conservative implicit function theorem을 활용하여, bilevel 문제의 critical point로의 수렴을 보장한다. 또한 표준 portfolio optimization 및 linear regression task에서 본 방법을 검증하는 실험을 제시한다.
"},{"id":"61819","en":"LiMuon: Light and Fast Muon Optimizer for Large Models","ko":"LiMuon: 대형 모델을 위한 가볍고 빠른 Muon Optimizer","authors":"Feihu Huang, Yuning Luo, Songcan Chen","pos":"#3807","link":"https://openreview.net/forum?id=mf8N8PTUAa","abs":"Large models recently are widely applied in machine learning, so efficient training of large models has received widespread attention. More recently, a useful Muon optimizer is specifically designed for matrix-structured parameters of large models. Although some works have begun to studying the Muon optimizer, the existing Muon and its variants still suffer from high sample complexity or high memory for large models. To fill this gap, we propose a light and fast Muon (LiMuon) optimizer for training large models, which builds on the momentum-based variance reduced technique and randomized Singular Value Decomposition (SVD). In particular, our LiMuon optimizer simultaneously has a lower memory and lower sample complexity than the Muon. Moreover, we prove that our LiMuon has a lower sample complexity of $O(\\epsilon^{-3})$ for finding an $\\epsilon$-stationary solution of non-convex stochastic optimization under the generalized smooth condition. Numerical experimental results on training Mamba-130M, Qwen2.5-0.5B and ViT models demonstrate effectiveness of our LiMuon optimizer.","absKo":"Large model은 최근 machine learning에서 널리 적용되고 있으므로, large model의 효율적인 training이 광범위한 주목을 받아왔다. 최근에는 유용한 Muon optimizer가 large model의 matrix-structured parameter를 위해 특별히 설계되었다. 일부 연구가 Muon optimizer를 연구하기 시작했지만, 기존 Muon과 그 변형은 여전히 large model에서 높은 sample complexity 또는 높은 memory 문제를 겪는다. 이 공백을 메우기 위해 우리는 momentum-based variance reduced technique과 randomized Singular Value Decomposition(SVD)에 기반한, large model training을 위한 light and fast Muon(LiMuon) optimizer를 제안한다. 특히 우리 LiMuon optimizer는 Muon보다 더 낮은 memory와 더 낮은 sample complexity를 동시에 가진다. 더 나아가 우리는 generalized smooth condition 하에서 non-convex stochastic optimization의 $ε$-stationary solution을 찾기 위한 우리 LiMuon의 sample complexity가 $O(\\epsilon^{-3})$임을 증명한다. Mamba-130M, Qwen2.5-0.5B 및 ViT model 학습에 대한 수치 실험 결과는 우리 LiMuon optimizer의 효과를 입증한다."},{"id":"64155","en":"A Tale of Two Problems: Multi-Task Bilevel Learning Meets Equality Constrained Multi-Objective Optimization","ko":"두 문제 이야기: 다중 작업 이중 수준 학습과 등식 제약 다목적 최적화의 만남","authors":"Zhiyao Zhang, Myeung Suk Oh, Zhen Qin, Jiaxiang Li, Xin Zhang, Jia (Kevin) Liu","pos":"#3808","link":"https://openreview.net/forum?id=QO64QUEXdV","abs":"In recent years, bilevel optimization (BLO) has attracted significant attention for its broad applications in machine learning. However, most existing works on BLO remain confined to the single-task setting and rely on the lower-level strong convexity assumption, which significantly restricts their applicability to modern machine learning problems of growing complexity. In this paper, we make the first attempt to extend BLO to the multi-task setting under a relaxed lower-level general convexity (LLGC) assumption. To this end, we reformulate the multi-task bilevel learning (MTBL) problem with LLGC into an equality constrained multi-objective optimization (ECMO) problem. However, ECMO itself is a new problem that has not yet been studied in the literature. To address this gap, we first establish a new Karush–Kuhn–Tucker (KKT)-based Pareto stationarity as the convergence criterion for ECMO algorithm design. Based on this foundation, we propose a weighted Chebyshev (WC)-penalty algorithm that achieves a finite-time convergence rate of $\\mathcal{O}(ST^{-\\frac{1}{2}})$ to KKT-based Pareto stationarity in both deterministic and stochastic settings, where $S$ denotes the number of objectives, and $T$ is the total iterations. Moreover, by varying the preference vector over the $S$-dimensional simplex, our WC-penalty method systematically explores the Pareto front. Finally, solutions to the ECMO problem translate directly into solutions for the original MTBL problem, thereby closing the loop between these two foundational optimization frameworks.","absKo":"최근 몇 년간 bilevel optimization(BLO)은 머신러닝에서의 광범위한 응용으로 큰 주목을 받아왔다. 그러나 기존 BLO 연구의 대부분은 단일 태스크 설정에 머물러 있으며, 하위 수준의 strong convexity 가정에 의존한다. 이로 인해 복잡성이 증가하는 현대 머신러닝 문제에 대한 적용 가능성이 크게 제한된다. 본 논문에서는 완화된 lower-level general convexity(LLGC) 가정 하에서 BLO를 multi-task 설정으로 확장하려는 첫 시도를 수행한다. 이를 위해 우리는 multi-task bilevel learning(MTBL) 문제를 LLGC 하에서 equality constrained multi-objective optimization(ECMO) 문제로 재정식화한다. 그러나 ECMO 자체는 아직 문헌에서 다루어지지 않은 새로운 문제이다. 이러한 공백을 메우기 위해, 우리는 먼저 ECMO 알고리즘 설계를 위한 수렴 기준으로서 새로운 Karush–Kuhn–Tucker(KKT) 기반 Pareto stationarity를 확립한다. 이 기반 위에서, 우리는 deterministic 및 stochastic 설정 모두에서 $\\mathcal{O}(ST^{-\\frac{1}{2}})$의 finite-time convergence rate로 KKT 기반 Pareto stationarity에 도달하는 weighted Chebyshev(WC)-penalty 알고리즘을 제안한다. 여기서 $S$는 objective의 수를, $T$는 총 반복 횟수를 의미한다. 더 나아가, $S$차 simplex 위의 preference vector를 변화시킴으로써, 우리의 WC-penalty method는 Pareto front를 체계적으로 탐색한다. 마지막으로, ECMO 문제의 해는 원래의 MTBL 문제의 해로 직접 변환되므로, 이 두 기초 최적화 프레임워크 사이의 연결이 완성된다."},{"id":"61576","en":"A proximal ADMM for multiblock problems with block anti-upper triangular constraints","ko":"Block Anti-Upper Triangular 제약을 갖는 Multiblock 문제를 위한 Proximal ADMM","authors":"Zhanwang Deng, Yuqiu Su, Wen Huang","pos":"#3809","link":"https://openreview.net/forum?id=on89KBxS5f","abs":"In this paper, we present the convergence analysis of the proximal Alternating Direction Method of Multipliers (ADMM) for problems with block anti-upper triangular constraints. While the linear constraints can be treated separately, most analyses of ADMM and its variants predominantly regard the linear constraints as one. Hence, it relies on assumptions related to the entire constraint matrix, such as the full column rank. However, some problems with block anti-upper triangular constraints that can be solved by ADMM do not satisfy these assumptions. To fill this gap, a new assumption is proposed and used to guarantee the global convergence of the proximal ADMM for nonconvex problems. In the strongly convex setting, we also prove the global convergence of the proximal ADMM and establish the linear convergence under four different scenarios. This work extends the theoretical understanding of the multi-block ADMM to more general cases with block anti-upper triangular constraints.
","absKo":"본 논문에서는 block anti-upper triangular constraint를 갖는 문제에 대한 proximal Alternating Direction Method of Multipliers(ADMM)의 수렴 분석을 제시한다. 선형 제약은 별도로 다룰 수 있지만, ADMM 및 그 변형에 대한 대부분의 분석은 선형 제약을 하나로 간주한다. 따라서 full column rank와 같은 전체 constraint matrix에 관련된 가정에 의존한다. 그러나 ADMM으로 풀 수 있는 block anti-upper triangular constraint를 갖는 일부 문제는 이러한 가정을 만족하지 않는다. 이러한 공백을 메우기 위해 새로운 가정을 제안하고, 이를 사용해 비볼록 문제에 대한 proximal ADMM의 전역 수렴을 보장한다. 강볼록 설정에서는 proximal ADMM의 전역 수렴도 증명하고, 네 가지 서로 다른 시나리오에서 선형 수렴도 확립한다. 이 연구는 multi-block ADMM의 이론적 이해를 block anti-upper triangular constraint를 갖는 더 일반적인 경우로 확장한다.
"},{"id":"64270","en":"Achieving Structurally Robust Gromov Wasserstein Distance via Adaptive Dual-Mask","ko":"적응형 이중 마스크를 통한 구조적으로 강건한 Gromov-Wasserstein 거리 달성","authors":"Kangke Cheng, Jiawei Huang, Jingni Song, Wanlin Zhang, Bangxian Han, Hu Ding","pos":"#3810","link":"https://openreview.net/forum?id=PK0zeaGAJ9","abs":"The Gromov-Wasserstein (GW) distance enables comparison across different spaces but remains fragile to structural noise due to its global quadratic coupling. Existing robust extensions primarily rely on node-centric mass relaxation. However, we argue that this strategy is far from sufficient: it only addresses node-induced structural noise (outliers) while neglecting edge-induced distortions where spurious connections exist between valid nodes. To overcome this limitation, we propose the Structurally Robust Gromov-Wasserstein (SRGW) distance, a novel formulation that adaptively filters geometric distortions during optimization. By introducing a structure-aware dual-mask mechanism, our method effectively isolates these stubborn structural outliers while preserving strict marginal constraints for balanced transport. We solve this objective using a Mask-Guided GW Algorithm, which jointly optimizes the transport plan and the structural noise filters. We provide a rigorous theoretical analysis proving that our algorithm converges to a critical point under the Kurdyka-Łojasiewicz framework. Extensive experiments on synthetic geometric matching and real-world subgraph alignment benchmarks demonstrate that Mask-Guided GW achieves superior alignment quality, particularly under severe structural noise.
","absKo":"Gromov-Wasserstein (GW) distance는 서로 다른 space 간 비교를 가능하게 하지만, 전역 quadratic coupling 때문에 structural noise에 취약하다. 기존의 robust extension은 주로 node-centric mass relaxation에 의존한다. 그러나 우리는 이 전략이 충분하지 않다고 주장한다. 이는 node로 인해 유발되는 structural noise(outlier)만 다룰 뿐, 유효한 node 사이에 존재하는 spurious connection으로 인한 edge-induced distortion은 무시하기 때문이다. 이러한 한계를 극복하기 위해, 우리는 최적화 도중 geometric distortion을 적응적으로 필터링하는 새로운 formulation인 Structurally Robust Gromov-Wasserstein (SRGW) distance를 제안한다. structure-aware dual-mask mechanism을 도입함으로써, 우리의 방법은 이러한 완고한 structural outlier를 효과적으로 분리하면서도 balanced transport를 위한 엄격한 marginal constraint는 보존한다. 우리는 Mask-Guided GW Algorithm을 사용해 이 objective를 풀며, 이 알고리즘은 transport plan과 structural noise filter를 공동으로 최적화한다. 또한 Kurdyka-Łojasiewicz framework 하에서 우리의 알고리즘이 critical point로 수렴함을 증명하는 엄밀한 이론 분석을 제시한다. 합성 geometric matching과 실제 subgraph alignment benchmark에서의 광범위한 실험은, 특히 심한 structural noise 하에서 Mask-Guided GW가 더 우수한 alignment quality를 달성함을 보여준다.
"},{"id":"61394","en":"An Exterior Method for Nonnegative Matrix Factorization","ko":"Nonnegative Matrix Factorization을 위한 Exterior Method","authors":"Qiujing Lu, Tonmoy Monsoor, Ehsan Ebrahimzadeh, Kartik Sharma, Vwani Roychowdhury","pos":"#3811","link":"https://openreview.net/forum?id=qhG8ONjZK0","abs":"Nonnegative matrix factorization (NMF) seeks a low-rank approximation $X \\approx UV^T$ with nonnegative factors and is commonly solved using *interior* methods that enforce feasibility throughout optimization. We show that such constraint-driven approaches can impede progress in the nonconvex landscape, leading to slow convergence or convergence to suboptimal stationary points. We propose an *exterior* framework for NMF (eNMF) that separates low-rank approximation from nonnegativity enforcement. Our method initializes from the optimal unconstrained factorization and introduces a rotation procedure that maps unconstrained factors to an exterior point closest to the nonnegative orthant. This viewpoint yields an algorithmic framework in which simple iterative updates converge to KKT-satisfying stationary points on the boundary of the positive orthant. The exterior formulation also enables a geometric interpretation of NMF solutions, clarifying equivalence classes of factorizations under permutation and orthogonal transformations. An intriguing numerical result, involving 400 NMF experiments across both real and synthetic datasets, show that in 99\\% of the cases, different algorithms tend to converge towards equivalent factor matrices. We benchmark eNMF against 9 state-of-the-art NMF algorithms with 9 initialization schemes across 3 real-world and 2 synthetic datasets. eNMF consistently outperforms all 81 competitors, achieving up to 30\\% lower reconstruction error under equal-time settings and up to 150\\% speedup under equal-error settings. The downstream experiments further demonstrate substantial performance gains in audio processing and recommendation tasks, corroborating the practical benefits of the proposed exterior optimization framework. Anonymized code is available at https://anonymous.4open.science/r/eNMF-6240/README.md","absKo":"Nonnegative matrix factorization (NMF)은 nonnegative factor를 사용해 저랭크 근사 $X \\approx UV^T$를 구하는 문제이며, 일반적으로 최적화 전반에 걸쳐 feasible 상태를 유지하도록 강제하는 *interior* method로 풀린다. 우리는 이러한 제약 주도 접근이 nonconvex landscape에서의 진전을 방해하여, 느린 수렴 또는 suboptimal stationary point로의 수렴을 초래할 수 있음을 보인다. 이에 우리는 저랭크 근사와 nonnegativity enforcement를 분리하는 NMF용 *exterior* framework(eNMF)를 제안한다. 우리의 방법은 최적의 unconstrained factorization으로 초기화하고, unconstrained factor를 nonnegative orthant에 가장 가까운 exterior point로 매핑하는 rotation procedure를 도입한다. 이러한 관점은 simple iterative update가 positive orthant의 경계에서 KKT를 만족하는 stationary point로 수렴하는 algorithmic framework를 제공한다. exterior formulation은 또한 NMF solution에 대한 geometric interpretation을 가능하게 하여, permutation과 orthogonal transformation 아래 factorization의 equivalence class를 명확히 한다. 실재 및 합성 데이터셋 전반에서 400개의 NMF 실험을 포함하는 흥미로운 수치 결과는, 99\\%의 경우 서로 다른 알고리즘이 동등한 factor matrix로 수렴하는 경향이 있음을 보여준다. 우리는 3개의 real-world 데이터셋과 2개의 synthetic 데이터셋에서 9개의 initialization scheme을 사용하여 9개의 state-of-the-art NMF algorithm과 eNMF를 벤치마크했다. eNMF는 모든 81개 비교 대상보다 일관되게 우수했으며, 동일 시간 조건에서 최대 30\\% 더 낮은 reconstruction error와 동일 오차 조건에서 최대 150\\%의 속도 향상을 달성했다. downstream 실험은 audio processing과 recommendation task에서의 상당한 성능 향상도 추가로 보여 주며, 제안한 exterior optimization framework의 실용적 이점을 뒷받침한다. 익명화된 코드는 https://anonymous.4open.science/r/eNMF-6240/README.md 에서 확인할 수 있다."},{"id":"66129","en":"Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization","ko":"안정성 경계에서의 상충하는 편향: Norm 대 Sharpness 정규화","authors":"Maria Matveev, Vit Fojtik, Hung-Hsu Chou, Gitta Kutyniok, Johannes Maly","pos":"#3812","link":"https://openreview.net/forum?id=6eI4YHFyON","abs":"The remarkable generalization properties of overparameterized networks are often attributed to implicit biases, such as norm minimization at small learning rates and low sharpness in the Edge-of-Stability regime. In this work, we argue that a comprehensive understanding of the generalization performance of gradient descent requires analyzing the interaction between these various forms of implicit regularization. We empirically demonstrate that the learning rate interpolates between low parameter norm and low sharpness of the trained model. We furthermore prove that neither implicit bias alone minimizes the generalization error for diagonal linear networks trained on a simple regression task. These findings demonstrate that focusing on a single implicit bias is insufficient to explain good generalization, and they motivate a broader view of implicit regularization that captures the dynamic trade-off between norm and sharpness induced by non-negligible learning rates.
","absKo":"overparameterized network의 놀라운 generalization 성질은 흔히 작은 learning rate에서의 norm minimization과 Edge-of-Stability regime에서의 낮은 sharpness 같은 implicit bias로 설명된다. 본 연구에서는 gradient descent의 generalization 성능을 포괄적으로 이해하려면 이러한 다양한 형태의 implicit regularization 간 상호작용을 분석해야 한다고 주장한다. 우리는 경험적으로 learning rate가 학습된 model의 낮은 parameter norm과 낮은 sharpness 사이를 보간함을 보인다. 더 나아가, 단순한 regression task에서 학습된 diagonal linear network에 대해 어떤 하나의 implicit bias만으로는 generalization error를 최소화할 수 없음을 증명한다. 이러한 결과는 하나의 implicit bias에만 초점을 맞추는 것으로는 좋은 generalization을 설명하기에 충분하지 않음을 보여 주며, 무시할 수 없는 learning rate가 유도하는 norm과 sharpness 사이의 동적 trade-off를 포착하는 더 넓은 관점의 implicit regularization을 동기부여한다.
"},{"id":"60850","en":"Diffusion-based learning framework for Constrained Nonconvex Optimization with Weighted Bootstrapped Refinement","ko":"Weighted Bootstrapped Refinement를 갖춘 제약 비볼록 최적화를 위한 Diffusion 기반 학습 프레임워크","authors":"Shutong Ding, Yimiao Zhou, Ke Hu, Xi Yao, Junchi Yan, Xiaoying Tang, Ye Shi","pos":"#3813","link":"https://openreview.net/forum?id=w5lnam4G7C","abs":"Recent advances in diffusion models show promising potential to accelerate nonconvex problem solving by leveraging their multimodality. However, most existing diffusion-based optimization approaches rely on supervised learning and lack a mechanism to enforce constraint satisfaction, which is required in real-world applications. In that case, we investigate and theoretically analyze the inherent problem of supervised diffusion solvers and identify the distributional misalignment problem, i.e., the generated solution distribution often exhibits low probability mass on the feasible region. To resolve this issue, we propose DiOpt, a new diffusion-based learning framework for constrained nonconvex optimization, which effectively learns the mapping from noise to the constraint region. Specifically, this framework operates in two distinct phases: an initial warm-start phase, implemented via supervised learning, followed by a bootstrapping training phase. This dual-phase architecture is designed to iteratively refine solutions, thereby improving the objective function with high constraint satisfaction. Finally, we also employ a solution selection technique in inference for better optimality. Notably, DiOpt is the first successful integration of the diffusion solver in constrained nonconvex optimization. Evaluations on diverse nonconvex tasks demonstrate the superiority of DiOpt in both optimality and constraint satisfaction.
","absKo":"diffusion model의 최근 발전은 그 multi-modality를 활용하여 비볼록 문제 해결을 가속할 유망한 가능성을 보여준다. 그러나 기존의 대부분 diffusion-based optimization 접근법은 supervised learning에 의존하며, 실제 응용에 필요한 constraint satisfaction을 강제하는 mechanism이 없다. 이에 따라 우리는 supervised diffusion solver의 내재적 문제를 조사하고 이론적으로 분석하여 distributional misalignment 문제를 식별했다. 즉, 생성된 solution distribution이 feasible region에 낮은 probability mass를 보이는 경우가 많다. 이 문제를 해결하기 위해, 우리는 제약된 비볼록 최적화를 위한 새로운 diffusion-based learning framework인 DiOpt를 제안하며, 이는 noise에서 constraint region으로의 mapping을 효과적으로 학습한다. 구체적으로 이 framework는 두 개의 뚜렷한 phase로 동작한다. 먼저 supervised learning으로 구현되는 initial warm-start phase가 있고, 이어서 bootstrapping training phase가 진행된다. 이 dual-phase architecture는 solution을 반복적으로 refine하도록 설계되어, 높은 constraint satisfaction을 유지하면서 objective function을 개선한다. 마지막으로, 더 나은 optimality를 위해 inference 단계에서 solution selection 기법도 사용한다. 특히 DiOpt는 constrained nonconvex optimization에서 diffusion solver를 성공적으로 통합한 첫 사례이다. 다양한 비볼록 task에 대한 평가는 optimality와 constraint satisfaction 모두에서 DiOpt의 우수성을 보여준다.
"},{"id":"62997","en":"Fast Spectrally Sparse Signal Reconstruction via Jacobi-Preconditioned Gradient Descent","ko":"Jacobi-Preconditioned Gradient Descent로 빠른 Spectrally Sparse Signal Reconstruction","authors":"Jian-Feng Cai, Xueyang Quan, Yang Wang, Jiaxi Ying","pos":"#3814","link":"https://openreview.net/forum?id=b4HR1jhoRV","abs":"Spectrally sparse signal reconstruction arises in a wide range of applications and can be formulated as a low-rank Hankel matrix completion problem. We develop a Jacobi-preconditioned gradient descent method that preserves the low per-iteration complexity of first-order algorithms while achieving linear convergence at a rate independent of the condition number. By introducing a generator that maps factor-based iterates to matrix space, we establish equivalence with manifold-based methods, enabling direct convergence analysis while avoiding the need to define distances under complex-symmetric factorization ambiguity. Extensive experiments demonstrate that the proposed algorithm outperforms state-of-the-art methods in both iteration count and computational time across a broad range of problem settings.
","absKo":"Spectrally sparse signal reconstruction은 다양한 응용에서 나타나며, low-rank Hankel matrix completion problem으로 정식화할 수 있다. 우리는 first-order algorithm의 낮은 iteration당 복잡도를 유지하면서도 condition number와 무관한 속도로 linear convergence를 달성하는 Jacobi-preconditioned gradient descent method를 개발한다. factor-based iterate를 matrix space로 매핑하는 generator를 도입함으로써, 우리는 manifold-based method와의 동등성을 확립하고, 복잡한 대칭 factorization ambiguity 아래에서 distance를 정의할 필요 없이 직접적인 convergence analysis가 가능하도록 한다. 광범위한 실험은 제안한 algorithm이 다양한 문제 설정에서 iteration 수와 계산 시간 모두에 대해 state-of-the-art method보다 우수함을 보여준다.
"},{"id":"64420","en":"Flatland: The Adventures of Gradient Descent with Large Step Sizes","ko":"Flatland: 큰 스텝 크기를 갖는 경사 하강법의 모험","authors":"Leonardo Galli, Curtis Fox, Wiebke Bartolomaeus, Mark Schmidt, Holger Rauhut","pos":"#3815","link":"https://openreview.net/forum?id=NpSI4x2vBS","abs":"The training of neural networks often entails objective functions that are not globally $L$-smooth. For these functions, it is both theoretically and practically difficult to reply to the question: what is the largest possible step size that ensures the convergence of gradient descent (GD)? We address this longstanding open question in deep learning by providing a unifying definition of \"large'' step sizes that requires only local Lipschitz (or even Hölder) continuity of the gradient. We design first-order adaptive methods that provably yield large step sizes and show that they operate at the edge of stability (EoS) right from the start of the training. In particular, the loss decreases nonmonotonically and the product between the step size and sharpness, i.e., the largest eigenvalue of the hessian, stays above the EoS threshold of 2 throughout training. Using our method, we are also able to minimize the sharpness all the way down to its global minimum. Contrary to expectation, we find that encountering globally-flat regions too early in the training may both slow down convergence and jeopardize the generalization ability of the network. Exploiting a self-stabilization argument, we allow GD to enter slightly sharper valleys and turn unsuccessful training runs into very successful ones.","absKo":"신경망 학습은 종종 전역적으로 $L$-smooth하지 않은 objective function을 수반한다. 이러한 함수에 대해서는, gradient descent(GD)의 수렴을 보장하는 가장 큰 가능한 step size가 얼마인지에 답하는 것이 이론적으로도 실용적으로도 어렵다. 우리는 gradient의 local Lipschitz(또는 더 나아가 Hölder) continuity만을 요구하는 \"large'' step size의 통합적 정의를 제시함으로써, 딥러닝에서 오랫동안 미해결이었던 이 질문에 답한다. 우리는 provably large step size를 산출하는 first-order adaptive method를 설계하고, 이들이 학습 시작 시점부터 곧바로 edge of stability(EoS)에서 동작함을 보인다. 특히 loss는 비단조적으로 감소하며, step size와 sharpness, 즉 hessian의 가장 큰 고유값의 곱은 학습 내내 EoS 임계값 2보다 높은 상태를 유지한다. 또한 우리의 방법을 사용하면 sharpness를 그 global minimum까지 낮출 수 있다. 예상과 달리, 학습 초기에 전역적으로 평평한 영역을 너무 일찍 만나면 수렴이 느려질 뿐 아니라 네트워크의 generalization 능력도 저해될 수 있음을 발견한다. self-stabilization argument를 활용하여, 우리는 GD가 약간 더 sharp한 valley에 진입하도록 허용하고 실패한 학습 실행을 매우 성공적인 실행으로 바꾼다."},{"id":"62871","en":"Hom-PGD+: Fast Reparameterized Optimization over Non-convex Ball-Homeomorphic Set","ko":"Hom-PGD+: 비볼록 Ball-Homeomorphic 집합에서의 빠른 재매개변수화 최적화","authors":"Chenghao Liu, Enming Liang, Minghua Chen","pos":"#3816","link":"https://openreview.net/forum?id=cOKyRhR8uZ","abs":"We study optimization over non-convex constraint sets that are homeomorphic to a ball, encompassing important problem classes such as star-shaped sets that frequently arise in machine learning and engineering applications. We propose Hom-PGD$^+$, a learning-based and projection-efficient first-order method that efficiently solves such problems without requiring expensive projection or optimization oracles. Our approach leverages an invertible neural network (INN) to learn the homeomorphism between the non-convex constraint set and a unit ball, transforming the original problem into an equivalent ball-constrained optimization where projections admit closed-form solutions. We establish that Hom-PGD$^+$ achieves an $\\mathcal{O}(\\epsilon^{-2})$ convergence rate to an ($\\epsilon + \\mathcal{O}(\\sqrt{\\epsilon_{\\rm inn}})$)-approximate stationary solution, where $\\epsilon_{\\rm inn}$ denotes the homeomorphism learning error. This rate significantly improves upon existing methods for optimization over non-convex sets, while maintaining a per-iteration complexity of only $\\mathcal{O}(W)$ for $W$ INN parameters. Experiments on chance-constrained optimization problems in power systems demonstrate that Hom-PGD$^+$ achieves convergence rates comparable to state-of-the-art methods while delivering speedups of up to one order of magnitude.","absKo":"우리는 볼과 위상동형인 non-convex constraint set 위에서의 optimization을 연구한다. 여기에는 machine learning과 engineering 응용에서 자주 나타나는 star-shaped set 같은 중요한 문제군이 포함된다. 우리는 expensive projection이나 optimization oracle 없이도 이런 문제를 효율적으로 푸는 learning-based이면서 projection-efficient한 first-order method인 Hom-PGD$^+$를 제안한다. 우리의 접근은 invertible neural network(INN)을 활용해 non-convex constraint set과 unit ball 사이의 homeomorphism을 학습하고, 원래 문제를 closed-form projection이 가능한 ball-constrained optimization으로 변환한다. 우리는 Hom-PGD$^+$가 ($\\epsilon + \\mathcal{O}(\\sqrt{\\epsilon_{\\rm inn}})$)-근사 stationary solution에 대해 $\\mathcal{O}(\\epsilon^{-2})$ 수렴률을 달성함을 보인다. 여기서 $\\epsilon_{\\rm inn}$은 homeomorphism 학습 오차를 뜻한다. 이 수렴률은 비볼록 집합 위 optimization에 대한 기존 방법보다 크게 개선되며, INN parameter 개수 $W$에 대해 반복당 복잡도는 $\\mathcal{O}(W)$에 불과하다. 전력 시스템의 chance-constrained optimization 문제에 대한 실험은 Hom-PGD$^+$가 최신 방법과 비슷한 수렴률을 달성하면서도 최대 한 자릿수 규모의 속도 향상을 제공함을 보여준다."},{"id":"63176","en":"Learning-to-Optimize via Deep Unfolded Flows","ko":"심층 펼침 Flow를 통한 최적화 학습","authors":"Augustinos Saravanos, Oswin So, H M Sabbir Ahmad, Chuchu Fan","pos":"#3901","link":"https://openreview.net/forum?id=ZOtOq7hxJP","abs":"We introduce *FlowOptimizer*, a deep unfolded, flow-based framework for learned iterative optimization. Motivated by the expressiveness of flow models, we represent each optimization iteration via a velocity field that operates on a population of candidate solutions, i.e., a set of parallel iterates, conditioned on contextual information including their objective values and gradients, as well as population-level statistics. The velocity field is initially trained in a simulation-free manner by matching displacements from source populations to improved target ones obtained through sampling the objective. Subsequently, we unfold this velocity field as the internal iteration of an optimization sequence, and fine-tune it in an end-to-end manner by directly optimizing objective values over a targeted class of problems. Notably, FlowOptimizer is a self-supervised framework whose training relies solely on objective evaluations without requiring knowledge of solutions. We evaluate our approach on a series of tasks from standard non-convex optimization benchmarks to real-world problems from supply chain, robotics and power grid applications. FlowOptimizer consistently outperforms well-established sampling-based/gradient-based traditional optimization and learning-to-optimize methods, often by orders of magnitude in terms of solution quality. We further highlight its ability to be trained on low-dimensional problems and successfully generalize to substantially higher-dimensional $(\\times 10)$ ones.","absKo":"우리는 학습된 반복 최적화를 위한 심층 언폴딩 기반의 flow 기반 프레임워크인 *FlowOptimizer*를 소개한다. flow 모델의 표현력에 착안하여, 각 최적화 반복을 후보 해들의 집합, 즉 병렬 iterate들로 이루어진 모집단 위에서 동작하는 속도장으로 표현하며, 이 속도장은 objective 값과 gradient는 물론 모집단 수준의 통계량을 포함한 문맥 정보에 조건화된다. 이 속도장은 처음에는 objective를 샘플링하여 얻은 원본 모집단에서 개선된 타깃 모집단으로의 변위를 정합하는 방식으로, 시뮬레이션 없이 학습된다. 이후 이 속도장을 최적화 시퀀스의 내부 반복으로 언폴딩하고, 대상 문제 집합에서 objective 값을 직접 최적화하는 방식으로 end-to-end fine-tuning을 수행한다. 특히 FlowOptimizer는 해(solution)에 대한 지식 없이 objective 평가만을 사용해 학습이 이루어지는 self-supervised 프레임워크이다. 우리는 표준 비볼록 최적화 벤치마크부터 supply chain, robotics, power grid 응용의 실제 문제에 이르기까지 일련의 태스크에서 이 접근법을 평가하였다. FlowOptimizer는 널리 확립된 sampling-based/gradient-based 전통적 최적화 기법과 learning-to-optimize 방법을 일관되게 능가하며, 해 품질 측면에서 종종 수십 배 이상의 성능 향상을 보인다. 또한 저차원 문제에서 학습한 뒤 훨씬 더 높은 차원($(\\times 10)$)의 문제로 성공적으로 일반화할 수 있음을 보인다."},{"id":"64738","en":"The Geometry of Sequential Learning: Lie-Bracket Prediction of Transfer Order","ko":"순차적 학습의 기하학: Transfer Order의 Lie-Bracket 예측","authors":"John Sweeney","pos":"#4012","link":"https://openreview.net/forum?id=KL0eu92H3K","abs":"Sequential fine-tuning on multiple datasets is ubiquitous, but the training order of sources can measurably change downstream performance; testing both orders roughly doubles compute. We model a single gradient step on a dataset as a nonlinear operator and show that non-commutativity induces order-dependent effects governed by a commutator (Lie-bracket) term. For two sources $A,B$ and target domain $E$, this yields a directional score $\\sigma_{AB}^{(E)} = \\langle g_E, H_B g_A - H_A g_B \\rangle$ that predicts whether $A \\to B$ or $B \\to A$ yields lower $L_E$. We evaluate $g_E$ at a reference point capturing the shared drift of both orders (Trotter scoring) and develop a theory-driven $\\eta$-autopilot that selects step sizes from pilot data by balancing signal-to-noise against higher-order stability constraints. On four LLMs and a diffusion UNet, our planner achieves 81–94% overall sign accuracy and 82–100% on highest-impact decisions, enabling practical transfer-order planning without manual hyperparameter tuning.","absKo":"여러 데이터셋에 대한 순차적 fine-tuning은 어디에나 존재하지만, source의 학습 순서는 downstream 성능을 측정 가능하게 바꿀 수 있으며, 두 순서를 모두 시험하면 compute가 대략 두 배로 든다. 우리는 데이터셋에 대한 단일 gradient step을 비선형 연산자로 모델링하고, non-commutativity가 commutator(Lie-bracket) 항에 의해 지배되는 순서 의존적 효과를 유발함을 보인다. 두 source $A,B$와 target domain $E$에 대해, 이는 $A \\to B$ 또는 $B \\to A$가 더 낮은 $L_E$를 내는지를 예측하는 방향성 점수 $\\sigma_{AB}^{(E)} = \\langle g_E, H_B g_A - H_A g_B \\rangle$를 도출한다. 우리는 두 순서의 공유된 drift를 포착하는 reference point에서 $g_E$를 평가하며(Trotter scoring), signal-to-noise와 higher-order stability constraint 사이의 균형을 맞추어 pilot data로부터 step size를 선택하는 이론 기반의 $\\eta$-autopilot을 개발한다. 네 개의 LLM과 하나의 diffusion UNet에서, 우리의 planner는 전체적으로 81–94%의 sign accuracy와 가장 큰 영향력을 가진 결정에서 82–100%를 달성하여, 수작업 hyperparameter tuning 없이도 실용적인 transfer-order planning을 가능하게 한다."},{"id":"68702","en":"(De)-regularized Maximum Mean Discrepancy Gradient Flow","ko":"(De)-정규화된 Maximum Mean Discrepancy Gradient Flow","authors":"Zonghao Chen, Aratrika Mustafi, Pierre Glaser, Anna Korba, Arthur Gretton, Bharath K. Sriperumbudur","pos":"#4302","abs":"We introduce a (de)-regularization of the Maximum Mean Discrepancy (DrMMD) and its Wasserstein gradient flow. Existing gradient flows that transport samples from source distribution to target distribution with only target samples, either lack tractable numerical implementation ($f$-divergence flows) or require strong assumptions and modifications, such as noise injection, to ensure convergence (Maximum Mean Discrepancy flows). In contrast, DrMMD flow can simultaneously (i) guarantee near-global convergence for a broad class of targets in both continuous and discrete time, and (ii) be implemented in closed form using only samples. The former is achieved by leveraging the connection between the DrMMD and the $\\chi^2$-divergence, while the latter comes by treating DrMMD as MMD with a de-regularized kernel. Our numerical scheme employs an adaptive de-regularization schedule throughout the flow to optimally balance the trade-off between discretization errors and deviations from the $\\chi^2$ regime. The potential application of the DrMMD flow is demonstrated across several numerical experiments, including a large-scale setting of training student/teacher networks.","absKo":"우리는 Maximum Mean Discrepancy (DrMMD)의 (de)-regularization과 그 Wasserstein gradient flow를 도입한다. 기존의 gradient flow 중 source distribution에서 target distribution으로 sample을 이동시키되 target sample만을 사용하는 방법들은, tractable한 numerical implementation이 부족하거나($f$-divergence flow), 수렴을 보장하기 위해 noise injection과 같은 강한 가정 및 수정이 필요하다(Maximum Mean Discrepancy flow). 반면 DrMMD flow는 (i) 연속 및 이산 시간 모두에서 폭넓은 target class에 대해 near-global convergence를 보장하면서, 동시에 (ii) sample만을 이용해 closed form으로 구현될 수 있다. 전자는 DrMMD와 $\\chi^2$-divergence 사이의 연결을 활용하여 달성하고, 후자는 DrMMD를 de-regularized kernel을 가진 MMD로 취급함으로써 얻는다. 우리의 수치적 scheme은 flow 전반에 걸쳐 adaptive de-regularization schedule을 사용하여 discretization error와 $\\chi^2$ regime으로부터의 편차 사이의 trade-off를 최적으로 균형 잡는다. DrMMD flow의 잠재적 응용은 student/teacher network의 대규모 학습을 포함한 여러 수치 실험을 통해 입증된다."},{"id":"68785","en":"On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization","ko":"비볼록 최적화를 위한 Adaptive Gradient Method의 수렴에 대하여","authors":"Dongruo Zhou, Jinghui Chen, Yuan Cao, Ziyan Yang, Quanquan Gu","pos":"#4402","abs":"Adaptive gradient methods are workhorses in deep learning. However, the convergence guarantees of adaptive gradient methods for nonconvex optimization have not been thoroughly studied. In this paper, we provide a fine-grained convergence analysis for a general class of adaptive gradient methods including AMSGrad, RMSProp and AdaGrad. For smooth nonconvex functions, we prove that adaptive gradient methods in expectation converge to a first-order stationary point. Our convergence rate is better than existing results for adaptive gradient methods in terms of dimension. In addition, we also prove high probability bounds on the convergence rates of AMSGrad, RMSProp as well as AdaGrad, which have not been established before. Our analyses shed light on better understanding the mechanism behind adaptive gradient methods in optimizing nonconvex objectives.
","absKo":"Adaptive gradient method는 deep learning의 핵심적인 workhorse이다. 그러나 nonconvex optimization에 대한 adaptive gradient method의 수렴 보장은 아직 충분히 연구되지 않았다. 본 논문에서는 AMSGrad, RMSProp, AdaGrad를 포함하는 일반적인 adaptive gradient method 계열에 대해 세밀한 수렴 분석을 제시한다. 매끄러운 nonconvex function에 대해, adaptive gradient method가 기대값 의미에서 first-order stationary point로 수렴함을 증명한다. 우리의 수렴률은 차원에 관해 기존 adaptive gradient method 결과보다 더 우수하다. 또한 AMSGrad, RMSProp, AdaGrad의 수렴률에 대한 high probability bound도 증명하는데, 이는 이전에 확립된 바 없다. 우리의 분석은 nonconvex objective 최적화에서 adaptive gradient method의 메커니즘을 더 잘 이해하는 데 통찰을 제공한다.
"},{"id":"60683","en":"Joint Learning in the Gaussian Single Index Model","ko":"Gaussian Single Index Model에서의 Joint Learning","authors":"Loucas Pillaud-Vivien, Adrien Schertzer","pos":"#4507","link":"https://openreview.net/forum?id=xf1OYJfvqj","abs":"We consider the problem of jointly learning a one-dimensional projection and a univariate function in high-dimensional Gaussian models. Specifically, we study predictors of the form $f(x)=\\varphi^\\star(\\langle w^\\star, x \\rangle)$, where both the direction $w^\\star \\in \\mathcal{S}_{d-1}$, the sphere of $\\mathbb{R}^d$, and the function $\\varphi^\\star: \\mathbb{R} \\to \\mathbb{R}$ are learned from Gaussian data. This setting captures a fundamental non-convex problem at the intersection of representation learning and nonlinear regression. We analyze the gradient flow dynamics of a natural alternating scheme and prove convergence, with a rate controlled by the information exponent reflecting the *Gaussian regularity* of the function $\\varphi^\\star$. Strikingly, our analysis shows that convergence still occurs even when the initial direction is negatively correlated with the target. On the practical side, we demonstrate that such joint learning can be effectively implemented using a Reproducing Kernel Hilbert Space (RKHS) adapted to the structure of the problem, enabling efficient and flexible estimation of the univariate function. Our results offer both theoretical insight and practical methodology for learning low-dimensional structure in high-dimensional settings.","absKo":"고차원 Gaussian model에서 일차원 projection과 univariate function을 공동으로 학습하는 문제를 고려한다. 구체적으로, 우리는 $f(x)=\\varphi^\\star(\\langle w^\\star, x \\rangle)$ 형태의 predictor를 연구하며, 여기서 방향 $w^\\star \\in \\mathcal{S}_{d-1}$, 즉 $\\mathbb{R}^d$의 sphere와 함수 $\\varphi^\\star: \\mathbb{R} \\to \\mathbb{R}$가 모두 Gaussian data로부터 학습된다. 이 설정은 representation learning과 nonlinear regression의 교차점에 있는 근본적인 non-convex 문제를 포착한다. 우리는 자연스러운 alternating scheme의 gradient flow dynamics를 분석하고, 함수 $\\varphi^\\star$의 *Gaussian regularity*를 반영하는 information exponent에 의해 속도가 제어되는 수렴을 증명한다. 놀랍게도, 우리의 분석은 초기 방향이 target과 음의 상관을 가지는 경우에도 수렴이 여전히 일어남을 보여준다. 실용적인 측면에서는, 문제의 구조에 맞게 조정된 Reproducing Kernel Hilbert Space (RKHS)를 사용하면 이러한 공동 학습을 효과적으로 구현할 수 있음을 보여주며, 이를 통해 univariate function의 효율적이고 유연한 추정이 가능해진다. 우리의 결과는 고차원 설정에서 저차원 구조를 학습하기 위한 이론적 통찰과 실용적 방법론을 함께 제공한다."},{"id":"61707","en":"Dual Quaternion SE(3) Synchronization with Recovery Guarantees","ko":"복구 보장을 갖는 Dual Quaternion SE(3) 동기화","authors":"Jianing Zhao, Linglingzhi Zhu, Anthony Man-Cho So","pos":"#4509","link":"https://openreview.net/forum?id=nbkYuKIcXr","abs":"Synchronization over the special Euclidean group $\\mathrm{SE}(3)$ aims to recover absolute poses from noisy pairwise relative transformations and is a core primitive in robotics and 3D vision. Standard approaches often require multi-step heuristic procedures to recover valid poses, which are difficult to analyze and typically lack theoretical guarantees. This paper adopts a dual quaternion representation and formulates $\\mathrm{SE}(3)$ synchronization directly over the unit dual quaternion. A two-stage algorithm is developed: A spectral initializer computed via the power method on a Hermitian dual quaternion measurement matrix, followed by a dual quaternion generalized power method (DQGPM) that enforces feasibility through per-iteration projection. The estimation error bounds are established for spectral estimators, and DQGPM is shown to admits a finite-iteration error bound and achieves linear error contraction up to an explicit noise-dependent threshold. Experiments on synthetic benchmarks and real-world multi-scan point-set registration demonstrate that the proposed pipeline improves both accuracy and efficiency over representative matrix-based methods.","absKo":"특수 Euclidean group $\\mathrm{SE}(3)$ 위의 synchronization은 잡음이 있는 pairwise relative transformation으로부터 absolute pose를 복원하는 것을 목표로 하며, robotics와 3D vision의 핵심 primitive이다. 표준 접근법은 valid pose를 복원하기 위해 여러 단계의 heuristic procedure를 필요로 하는 경우가 많아 분석이 어렵고, 대개 이론적 보장도 부족하다. 본 논문은 dual quaternion 표현을 채택하고, unit dual quaternion 위에서 $\\mathrm{SE}(3)$ synchronization을 직접 정식화한다. 두 단계 알고리즘이 개발되는데, 첫 번째는 Hermitian dual quaternion measurement matrix에 대해 power method로 계산한 spectral initializer이고, 그 다음은 각 반복마다 projection을 통해 feasibility를 강제하는 dual quaternion generalized power method(DQGPM)이다. spectral estimator에 대한 estimation error bound가 확립되며, DQGPM은 유한 반복 error bound를 만족하고 명시적인 noise 의존 threshold까지 선형 error contraction을 달성함이 보인다. 합성 benchmark와 실제 multi-scan point-set registration 실험은 제안한 pipeline이 대표적인 matrix-based method들보다 정확도와 효율성 모두를 향상시킴을 보여준다."},{"id":"61897","en":"Column Thresholding for Sparse Spiked Wigner Models: Improved Signal Strength Requirements","ko":"Sparse Spiked Wigner 모델의 Column Thresholding: 향상된 신호 강도 요구 조건","authors":"Jian-Feng Cai, Zhuozhi XIAN, Jiaxi Ying","pos":"#4401","link":"https://openreview.net/forum?id=lsnjzAuTZj","abs":"We study the sparse spiked Wigner model, where the goal is to recover an $s$-sparse unit vector $\\symbfit{u} \\in \\mathbb{R}^d$ from a noisy observation $\\symbfit{Y} = \\beta \\symbfit{u} \\symbfit{u}^\\top + \\symbfit{W}$. While the information-theoretic threshold is $\\beta = \\widetilde{\\Omega}(\\sqrt{s})$, existing polynomial-time algorithms require $\\beta = \\widetilde{\\Omega}(s)$, yielding a substantial computational-statistical gap. We propose a column thresholding method that attains the $\\widetilde{\\Omega}(\\sqrt{s})$ scaling for both estimation and support recovery under the non-uniformity condition $|| \\symbfit{u} ||_\\infty = \\Omega(1)$. This condition is not merely technical: it explicitly rules out uniform spikes, for which planted-clique-based hardness results apply, and identifies a concrete class of non-uniform spikes where the gap can be closed. Building on this initializer, we further develop a truncated power method that iteratively refines the estimate with provable linear convergence.","absKo":"우리는 sparse spiked Wigner model을 연구한다. 목표는 noisy observation $\\symbfit{Y} = \\beta \\symbfit{u} \\symbfit{u}^\\top + \\symbfit{W}$로부터 $s$-sparse unit vector $\\symbfit{u} \\in \\mathbb{R}^d$를 복원하는 것이다. information-theoretic threshold는 $\\beta = \\widetilde{\\Omega}(\\sqrt{s})$이지만, 기존의 polynomial-time algorithm은 $\\beta = \\widetilde{\\Omega}(s)$를 요구하여 상당한 computational-statistical gap이 존재한다. 우리는 비균일성 조건 $|| \\symbfit{u} ||_\\infty = \\Omega(1)$ 하에서 estimation과 support recovery 모두에 대해 $\\widetilde{\\Omega}(\\sqrt{s})$ scaling을 달성하는 column thresholding method를 제안한다. 이 조건은 단지 기술적인 것이 아니다. 이는 planted-clique 기반 hardness result가 적용되는 균일한 spike를 명시적으로 배제하며, gap을 닫을 수 있는 비균일 spike의 구체적 class를 식별한다. 이 initializer에 기반해 우리는 추정을 반복적으로 정제하며 provable linear convergence를 보이는 truncated power method를 추가로 개발한다."},{"id":"62994","en":"Generalized Schrödinger Bridge on Graphs","ko":"그래프에서의 Generalized Schrödinger Bridge","authors":"Panagiotis Theodoropoulos, Juno Nam, Evangelos Theodorou, Jaemoo Choi","pos":"#4517","link":"https://openreview.net/forum?id=b7BjkrfNjw","abs":"Transportation on graphs is a fundamental challenge across many domains, where decisions must respect topological and operational constraints. Despite the need for actionable policies, existing graph-transport methods lack this expressivity. They rely on restrictive assumptions, fail to generalize across sparse topologies, and scale poorly with graph size and time horizon. To address these issues, we introduce Generalized Schrödinger Bridge on Graphs (GSBoG), a novel scalable data-driven framework for learning executable controlled continuous-time Markov chain (CTMC) policies on arbitrary graphs under state cost augmented dynamics. Notably, GSBoG learns trajectory-level policies, avoiding dense global solvers and thereby enhancing scalability. This is achieved via a likelihood optimization approach, satisfying the endpoint marginals, while simultaneously optimizing intermediate behavior under state-dependent running costs. Extensive experimentation on challenging real-world graph topologies shows that GSBoG reliably learns accurate, topology-respecting policies while optimizing application-specific intermediate state costs, highlighting its broad applicability and paving new avenues for cost-aware dynamical transport on general graphs.
","absKo":"그래프 위에서의 transportation은 토폴로지 및 운영 제약을 준수해야 한다는 점에서 여러 도메인에 걸친 근본적인 과제이다. 실행 가능한 policy가 필요함에도, 기존 graph-transport 방법은 이러한 표현력이 부족하다. 이들은 제약적인 가정에 의존하고, 희소한 topology 전반으로 일반화에 실패하며, graph size와 time horizon이 커질수록 확장성이 떨어진다. 이러한 문제를 해결하기 위해 우리는 Generalized Schrödinger Bridge on Graphs(GSBoG)를 제안한다. 이는 state cost가 추가된 dynamics 아래에서 임의의 graph 위에 실행 가능한 controlled continuous-time Markov chain(CTMC) policy를 학습하는, 새로운 확장 가능한 data-driven framework이다. 특히 GSBoG는 trajectory-level policy를 학습하여, dense global solver를 피하고 그 결과 확장성을 높인다. 이는 endpoint marginal을 만족시키는 동시에 state-dependent running cost 하에서 중간 behavior를 최적화하는 likelihood optimization 접근으로 달성된다. 까다로운 실제 graph topology에 대한 광범위한 실험은 GSBoG가 application-specific intermediate state cost를 최적화하면서도 정확하고 topology를 존중하는 policy를 안정적으로 학습함을 보여주며, 일반 graph에서의 cost-aware dynamical transport를 위한 폭넓은 적용 가능성과 새로운 방향을 제시한다.
"},{"id":"63305","en":"Inference-Time Forward-Process Alignment in Diffusion Models","ko":"Diffusion 모델에서 추론 시점 순방향 과정 정렬","authors":"Shigui Li, Delu Zeng","pos":"#2505","link":"https://openreview.net/forum?id=YGyWLM0OEW","abs":"The prevailing inference framework for diffusion models formulates generation fundamentally as a problem of numerical integration. This perspective casts the model as an accurate estimator, neglecting the inherent statistical uncertainty of the denoising process. In this work, we propose inference-time \\textbf{F}orward-process \\textbf{A}lignment for \\textbf{Di}ffusion models (\\textbf{DiFA}), a training-free inference framework that reformulates diffusion sampling as a sequential state estimation problem. Instead of discarding historical predictions, DiFA treats the inference trajectory as a sequence of correlated observations with varying variances. We derive a principled fading-memory Kalman filter strategy that synthesizes historical predictions to minimize estimation variance. Crucially, to counteract the over-smoothing typically associated with variance reduction, we introduce a deviation boosting mechanism that adaptively restores high-frequency details. Empirically, DiFA yields significant improvements in FID, IS, and FD-DINOv2 scores on CIFAR-10 and ImageNet, demonstrating that aligning inference with the forward statistical structure substantially improves generative fidelity.
","absKo":"diffusion model에 대한 지배적인 inference framework는 생성을 본질적으로 numerical integration 문제로 정식화합니다. 이러한 관점은 model을 정확한 estimator로 간주하여 denoising process가 지닌 고유한 statistical uncertainty를 간과합니다. 본 연구에서는 diffusion model을 위한 inference-time \\textbf{F}orward-process \\textbf{A}lignment (\\textbf{Di}FA)를 제안합니다. 이는 diffusion sampling을 sequential state estimation problem으로 재구성하는 training-free inference framework입니다. 과거 prediction을 버리는 대신, DiFA는 inference trajectory를 서로 다른 variance를 갖는 상관된 observation의 sequence로 취급합니다. 우리는 historical prediction을 종합하여 estimation variance를 최소화하는 principled fading-memory Kalman filter 전략을 도출합니다. 중요한 점은, variance reduction과 일반적으로 동반되는 over-smoothing을 상쇄하기 위해, 고주파 세부 정보를 적응적으로 복원하는 deviation boosting mechanism을 도입한다는 것입니다. 실험적으로 DiFA는 CIFAR-10과 ImageNet에서 FID, IS, FD-DINOv2 score를 유의미하게 개선하며, inference를 forward statistical structure에 맞추는 것이 생성 fidelity를 실질적으로 향상시킨다는 점을 보여줍니다.
"},{"id":"62662","en":"LieStoNet: Learning Lie Symmetries from Spatiotemporal Data for Stochastic Dynamical Systems","ko":"LieStoNet: Stochastic Dynamical Systems를 위한 시공간 데이터 기반 Lie Symmetry 학습","authors":"Shida Liu, Abhishek Gupta, Sumit Sinha, L Mahadevan","pos":"#3400","link":"https://openreview.net/forum?id=eZPUThc2pv","abs":"Symmetry is central to modern machine learning and physics: invariances and equivariances improve sample efficiency, robustness, and out-of-distribution generalization, while symmetry principles guide scientific modeling. Yet for stochastic dynamical systems, the relevant continuous symmetries are rarely known, and symmetry discovery for SDEs has remained essentially unexplored. We introduce LieStoNet, an end-to-end, prior-free framework for discovering Lie-point symmetries of SDEs directly from spatiotemporal trajectories, without prespecifying symmetry groups, templates, or canonical coordinates. Building on the seminal SDE Lie-symmetry theory of Gaeta and Quintero (1999), which formalizes Lie-point SDE symmetries and their relation to Fokker-Planck symmetries, LieStoNet learns neural surrogates for drift and diffusion from increments, then learns projectable generators by enforcing the SDE determining equations, separately regularizing for closure under Lie brackets, adherence to the Lie algebra axioms (bilinearity, antisymmetry, Jacobi), and a non-redundant independent basis. The surrogate also defines an associated Fokker-Planck equation, enabling optional discovery of its Lie-point symmetries in parallel. Across multiple canonical SDEs with known analytic symmetries, LieStoNet recovers generators consistent with the ground-truth symmetry algebra, providing interpretable symmetry discovery for noisy dynamics.
","absKo":"대칭성은 현대 machine learning과 physics의 핵심입니다. invariance와 equivariance는 sample efficiency, robustness, 그리고 out-of-distribution generalization을 향상시키며, 대칭성 원리는 과학적 모델링을 이끕니다. 그러나 stochastic dynamical system에서는 관련된 연속 대칭성이 거의 알려져 있지 않으며, SDE에 대한 symmetry discovery는 본질적으로 아직 거의 탐구되지 않았습니다. 우리는 LieStoNet을 소개합니다. LieStoNet은 symmetry group, template, 또는 canonical coordinate를 미리 지정하지 않고, spatiotemporal trajectory로부터 SDE의 Lie-point symmetry를 직접 발견하는 end-to-end prior-free framework입니다. Gaeta와 Quintero(1999)의 seminal SDE Lie-symmetry theory를 기반으로, 이 이론은 Lie-point SDE symmetry와 Fokker-Planck symmetry 간의 관계를 formalize합니다. LieStoNet은 increment로부터 drift와 diffusion의 neural surrogate를 학습한 뒤, SDE determining equation을 만족시키도록 projectable generator를 학습합니다. 또한 Lie bracket에 대한 closure, Lie algebra axioms(bilinearity, antisymmetry, Jacobi)에의 준수, 그리고 중복되지 않는 independent basis를 위해 각각 별도로 regularization을 적용합니다. surrogate는 대응하는 Fokker-Planck equation도 정의하여, 그 Lie-point symmetry를 병렬적으로 선택적으로 발견할 수 있게 합니다. 알려진 analytic symmetry를 갖는 여러 canonical SDE에 대한 실험에서, LieStoNet은 ground-truth symmetry algebra와 일치하는 generator를 복원하여 noisy dynamics에 대한 해석 가능한 symmetry discovery를 보여줍니다.
"},{"id":"66371","en":"Stochastic Gradient Variational Inference with Price's Gradient Estimator from Bures-Wasserstein to Parameter Space","ko":"Bures-Wasserstein에서 파라미터 공간으로의 Price 그래디언트 추정기를 이용한 확률적 그래디언트 변분 추론","authors":"Kyurae Kim, Qiang Fu, Yian Ma, Jacob Gardner, Trevor Campbell","pos":"#3401","link":"https://openreview.net/forum?id=4HquuQN4qK","abs":"For approximating a target distribution given only its unnormalized log-density, stochastic gradient-based variational inference (VI) algorithms are a popular approach. For example, Wasserstein VI (WVI) and black-box VI (BBVI) perform gradient descent in measure space (Bures-Wasserstein space) and parameter space, respectively. Previously, for the Gaussian variational family, convergence guarantees for WVI have shown superiority over existing results for black-box VI with the reparametrization gradient, suggesting the measure space approach might provide some unique benefits. In this work, however, we close this gap by obtaining identical state-of-the-art iteration complexity guarantees for both. In particular, we identify that WVI's superiority stems from the specific gradient estimator it uses, which BBVI can also leverage with minor modifications. The estimator in question is usually associated with Price's theorem and utilizes second-order information (Hessians) of the target log-density. We will refer to this as Price's gradient. On the flip side, WVI can be made more widely applicable by using the reparametrization gradient, which requires only gradients of the log-density. We empirically demonstrate that the use of Price's gradient is the major source of performance improvement.
","absKo":"정규화되지 않은 log-density만 주어진 target distribution을 근사하기 위해, stochastic gradient-based variational inference(VI) 알고리즘은 널리 사용되는 접근법이다. 예를 들어, Wasserstein VI(WVI)와 black-box VI(BBVI)는 각각 measure space(Bures-Wasserstein space)와 parameter space에서 gradient descent를 수행한다. 이전에는 Gaussian variational family에 대해, WVI의 convergence guarantee가 reparametrization gradient를 사용하는 black-box VI의 기존 결과보다 우수함을 보였으며, 이는 measure space 접근법이 고유한 이점을 제공할 수 있음을 시사했다. 그러나 본 연구에서는 두 방법 모두에 대해 동일한 최첨단 iteration complexity guarantee를 얻음으로써 이 간극을 해소한다. 특히, 우리는 WVI의 우수성이 그것이 사용하는 특정 gradient estimator에서 비롯되며, BBVI도 약간의 수정을 통해 이를 활용할 수 있음을 밝힌다. 이 estimator는 일반적으로 Price's theorem과 관련되며 target log-density의 second-order information(Hessian)을 사용한다. 우리는 이를 Price's gradient라고 부르겠다. 반대로, WVI는 log-density의 gradient만 필요로 하는 reparametrization gradient를 사용함으로써 더 널리 적용될 수 있다. 우리는 Price's gradient의 사용이 성능 향상의 주요 원인임을 실험적으로 보인다.
"},{"id":"68706","en":"Extending Mean-Field Variational Inference via Entropic Regularization: Theory and Computation","ko":"Entropic 정규화를 통한 Mean-Field Variational Inference 확장: 이론과 계산","authors":"Bohan Wu, David Blei","pos":"#3402","abs":"Variational inference (VI) has emerged as a popular method for approximate inference for high-dimensional Bayesian models. In this paper, we propose a novel VI method that extends the naive mean field via entropic regularization, referred to as $\\Xi$-variational inference ($\\Xi$-VI). $\\Xi$-VI has a close connection to the entropic optimal transport problem and benefits from the computationally efficient Sinkhorn algorithm. We show that $\\Xi$-variational posteriors effectively recover the true posterior dependency, where the likelihood function is downweighted by a regularization parameter. We analyze the role of dimensionality of the parameter space on the accuracy of $\\Xi$-variational approximation and the computational complexity of computing the approximate distribution, providing a rough characterization of the statistical-computational trade-off in $\\Xi$-VI, where higher statistical accuracy requires greater computational effort. We also investigate the frequentist properties of $\\Xi$-VI and establish results on consistency, asymptotic normality, high-dimensional asymptotics, and algorithmic stability. We provide sufficient criteria for our algorithm to achieve polynomial-time convergence. Finally, we show the inferential benefits of using $\\Xi$-VI over mean-field VI and other competing methods, such as normalizing flow, on simulated and real datasets.","absKo":"Variational inference (VI)는 고차원 Bayesian model에 대한 approximate inference에서 널리 사용되는 방법으로 부상했다. 본 논문에서는 entropic regularization을 통해 naive mean field를 확장한 새로운 VI 방법, 즉 $\\Xi$-variational inference ($\\Xi$-VI)를 제안한다. $\\Xi$-VI는 entropic optimal transport 문제와 긴밀한 연결을 가지며, 계산 효율적인 Sinkhorn algorithm의 이점을 누린다. 우리는 $\\Xi$-variational posterior가 실제 posterior dependency를 효과적으로 복원하며, 이때 likelihood function은 regularization parameter에 의해 downweight된다는 것을 보인다. 또한 parameter space의 dimensionality가 $\\Xi$-variational approximation의 정확도와 approximate distribution 계산의 computational complexity에 미치는 역할을 분석하고, 더 높은 statistical accuracy가 더 큰 computational effort를 요구하는 $\\Xi$-VI의 statistical-computational trade-off를 대략적으로 특성화한다. 아울러 $\\Xi$-VI의 frequentist property를 조사하여 consistency, asymptotic normality, high-dimensional asymptotics, algorithmic stability에 대한 결과를 확립한다. 우리의 algorithm이 polynomial-time convergence를 달성하기 위한 충분조건도 제시한다. 마지막으로 simulated 및 real dataset에서 mean-field VI와 normalizing flow 같은 다른 경쟁 방법보다 $\\Xi$-VI를 사용할 때의 inferential benefit을 보인다."},{"id":"64065","en":"Gaussian Mean Field Variational Inference can Overestimate Predictive Variance","ko":"가우시안 평균장 변분 추론은 예측 분산을 과대추정할 수 있다","authors":"James Odgers, Ben Riegler, Siddharth Swaroop, Vincent Fortuin","pos":"#3403","link":"https://openreview.net/forum?id=RG7maF4bGu","abs":"Mean Field Variational Inference (MFVI) is widely understood to underestimate posterior variance. By analysing conjugate Bayesian linear regression, we show that this characterisation is incomplete: while MFVI underestimates the variance in parameter space, it can overestimate the predictive variance compared to the exact posterior. We show that if the MFVI posterior underestimates predictive variances in some directions, it necessarily overestimates them in others. Crucially, this overestimation occurs in directions where the training data concentrates. This leads to the surprising result that, for a test point drawn from the training distribution, MFVI's expected predictive variance exceeds that of the exact posterior. We demonstrate a pathological case of this effect, where the MFVI posterior fails to reduce predictive variance compared to the prior on i.i.d. data. We connect these results to the Cold Posterior Effect, arguing that varying the temperature can correct this overestimation, yielding predictions closer to those of the exact posterior. We validate our theory on synthetic and real-world regression tasks.
","absKo":"Mean Field Variational Inference(MFVI)는 posterior variance를 과소추정하는 것으로 널리 이해되어 왔다. 본 논문은 conjugate Bayesian linear regression을 분석함으로써 이러한 특징화가 불완전함을 보인다. 즉, MFVI는 parameter space에서는 variance를 과소추정하지만, exact posterior와 비교하면 predictive variance는 과대추정할 수 있다. 우리는 MFVI posterior가 어떤 방향들에서는 predictive variance를 과소추정한다면, 다른 방향들에서는 반드시 과대추정하게 됨을 보인다. 중요한 점은 이러한 과대추정이 training data가 밀집하는 방향에서 발생한다는 것이다. 이로부터 test point가 training distribution에서 샘플링될 때, MFVI의 expected predictive variance가 exact posterior의 것보다 크다는 놀라운 결과가 도출된다. 우리는 i.i.d. 데이터에서 MFVI posterior가 prior에 비해 predictive variance를 줄이지 못하는 병리적 사례를 보인다. 또한 이 결과를 Cold Posterior Effect와 연결하여, temperature를 변화시키면 이러한 과대추정을 보정해 exact posterior에 더 가까운 예측을 얻을 수 있다고 주장한다. 우리는 synthetic 및 real-world regression task에서 이 이론을 검증한다.
"},{"id":"61724","en":"Particles Don’t Care About Z: Towards Scaling Entropy Estimation of Unnormalized Densities","ko":"입자는 Z에 신경 쓰지 않는다: 정규화되지 않은 Density의 Entropy 추정 확장을 향해","authors":"Safa Messaoud, Skander Charni, Elaa Bouazza, Ali Pourghasemi, Halima Bensmail","pos":"#3404","link":"https://openreview.net/forum?id=nVAU1aVLtY","abs":"Computing the differential entropy of distributions known only up to a normalization constant is a long-standing challenge with broad theoretical and practical significance. While variational inference is the most scalable approach for density approximation _from samples_, its potential in settings where _only the unnormalized density_ is available remains largely under-explored. The central difficulty lies in constructing variational distributions that simultaneously ($i$) exploit the structure of the unnormalized density, ($ii$) are expressive enough to capture complex target distributions, ($iii$) remain computationally tractable, and ($iv$) support efficient sampling. Recently, \\citet{messaoud2024s} introduced _P-SVGD_, a particle-based variational method that leverages Stein Variational Gradient Descent dynamics, satisfies all of these constraints and demonstrates promising results in low-dimensional setups. We show, however, that _P-SVGD_ does not scale to high dimensions due to _fundamental algorithmic flaws_: ($i$) misdiagnosed sensitivity to \\textit{SVGD} hyperparameters, ($ii$) violation of the global invertibility assumption in the entropy derivation, ($iii$) omission of a critical trace-of-Hessian term, ($iv$) along with suboptimal heuristics, including a divergence-based sampling check that induces mode collapse and loose informal bounds with no practical value. These issues severely limit both the correctness and the scalability of the approach. We propose _MET-SVGD_, a principled extension of _P-SVGD_ that addresses these flaws by providing a general framework for \\textit{SVGD} hyperparameters selection with global invertibility and convergence guarantees. This enabled more accurate and scalable entropy estimation in high-dimensional settings. Empirically, in entropy estimation benchmarks, _MET-SVGD_ achieves accuracy improvements of up to 12$\\times$ and 16$\\times$ over _P-SVGD_ and baselines from the _SVGD_ literature, respectively. On CIFAR-10 Energy-Based image generation, it improves FID by $80.4$% compared to _P-SVGD_ and achieves 64$\\times$ higher training stability. In Maximum-Entropy reinforcement learning, _MET-SVGD_ yields up to $16$% better returns than _P-SVGD_. We will make our code publicly available at https://tinyurl.com/2esyfx8j.","absKo":"정규화 상수까지만 알려진 분포의 differential entropy를 계산하는 일은 이론적·실용적으로 폭넓은 중요성을 지닌 오랜 과제입니다. variational inference는 sample로부터 density를 근사하는 가장 확장성 높은 접근법이지만, _오직 unnormalized density만_ 주어진 설정에서의 가능성은 아직 충분히 탐구되지 않았습니다. 핵심 난점은 variational distribution을 동시에 ($i$) unnormalized density의 구조를 활용하고, ($ii$) 복잡한 target distribution을 포착할 만큼 expressive하며, ($iii$) 계산적으로 tractable하고, ($iv$) 효율적인 sampling을 지원하도록 구성하는 데 있습니다. 최근 \\citet{messaoud2024s}는 Stein Variational Gradient Descent dynamics를 활용하는 particle-based variational method인 _P-SVGD_를 제안했으며, 이는 이 모든 제약을 만족하고 저차원 설정에서 유망한 결과를 보였습니다. 그러나 우리는 _P-SVGD_가 _근본적인 algorithmic flaw_ 때문에 고차원으로 확장되지 못함을 보입니다. 즉, ($i$) \\textit{SVGD} hyperparameter에 대한 민감성을 잘못 진단했고, ($ii$) entropy 유도에서의 global invertibility 가정을 위반했으며, ($iii$) 결정적인 trace-of-Hessian 항을 누락했고, ($iv$) 더불어 divergence-based sampling check가 mode collapse를 유발하고 실용적 가치가 없는 느슨한 informal bound를 사용하는 등 최적 이하의 heuristic을 포함하고 있습니다. 이러한 문제는 접근법의 정확성과 확장성을 심각하게 제한합니다. 우리는 이러한 결함을 해결하는 _P-SVGD_의 원리적 확장인 _MET-SVGD_를 제안합니다. 이 방법은 global invertibility와 convergence 보장을 갖춘 \\textit{SVGD} hyperparameter 선택을 위한 일반적 framework를 제공합니다. 이를 통해 고차원 환경에서 더 정확하고 확장 가능한 entropy estimation이 가능해졌습니다. 실험적으로 entropy estimation benchmark에서 _MET-SVGD_는 _P-SVGD_ 및 _SVGD_ 문헌의 baseline 대비 각각 최대 12$\\times$, 16$\\times$의 정확도 향상을 달성합니다. CIFAR-10 Energy-Based image generation에서는 _P-SVGD_ 대비 FID를 $80.4$% 개선하고 64$\\times$ 더 높은 training stability를 보입니다. Maximum-Entropy reinforcement learning에서는 _MET-SVGD_가 _P-SVGD_보다 최대 $16$% 더 나은 return을 제공합니다. 코드는 https://tinyurl.com/2esyfx8j 에서 공개할 예정입니다."},{"id":"66471","en":"SVRG and Beyond via Posterior Correction","ko":"사후 보정을 통한 SVRG와 그 너머","authors":"Nico Daheim, Thomas Moellenhoff, James Ming Liang Ang, Mohammad Emtiyaz Khan","pos":"#3405","link":"https://openreview.net/forum?id=3NQSeJOfkz","abs":"Stochastic Variance Reduced Gradient (SVRG) and its variants aim to speed-up training by using gradient corrections. In their decade of existence, these methods have never been connected to any Bayesian methods, at least not at a fundamental level. Here, we fill this gap and show surprising new connections of SVRG to a recently proposed Bayesian method called ‘posterior correction’. Our main contribution is to show that SVRG can be recovered as a special case of posterior correction when applied over isotropic-Gaussian posteriors. Novel extensions of SVRG are automatically obtained by using more flexible exponential-family posteriors. We derive two new such extensions by using Gaussian families: a Newton-like variant with novel Hessian corrections, and an Adam-like extension that scales to large problems. Our work is the first to connect SVRG to Bayes and use it to boost training.
","absKo":"Stochastic Variance Reduced Gradient (SVRG)와 그 변형들은 gradient correction을 사용하여 학습을 가속하는 것을 목표로 한다. 10여 년에 걸친 존재 기간 동안, 이 방법들은 어떠한 Bayesian method와도, 적어도 근본적인 수준에서는, 연결된 적이 없었다. 여기서 우리는 이 공백을 메우고, 최근 제안된 Bayesian method인 ‘posterior correction’과 SVRG 사이의 놀라운 새로운 연결을 보인다. 우리의 주요 기여는 isotropic-Gaussian posterior에 적용할 때 SVRG가 posterior correction의 특수한 경우로 복원될 수 있음을 보이는 것이다. 더 유연한 exponential-family posterior를 사용함으로써 SVRG의 새로운 확장이 자동으로 얻어진다. 우리는 Gaussian family를 사용하여 이러한 확장 두 가지를 유도한다. 하나는 새로운 Hessian correction을 갖는 Newton-like variant이고, 다른 하나는 대규모 문제로 확장되는 Adam-like extension이다. 우리의 연구는 SVRG를 Bayes와 연결하고 이를 학습 가속에 활용한 최초의 작업이다.
"},{"id":"65897","en":"Variational Inference for Uncertain Optimal Transport via Sinkhorn Parametrization","ko":"Sinkhorn 매개변수화를 통한 불확실 최적 수송의 변분 추론","authors":"Ananyapam De, Linus Bleistein, Anton Thielmann, Benjamin Säfken","pos":"#3406","link":"https://openreview.net/forum?id=93zkGLrp6P","abs":"Optimal Transport (OT) traditionally relies on a fixed ground cost to produce a single deterministic transport plan—a practice that overlooks the inherent variability and noise in real-world data. While recent sampling based approaches of OT offer a principled way to quantify this uncertainty, these are computationally prohibitive and struggle to scale. In this paper, we introduce Sinkhorn-parameterized Variational Inference, a first scalable variational framework for performing posterior inference over transport plans. Our key insight is that the Sinkhorn map can be treated as a differentiable reparameterization of the set of entropic plans. This enables the use of flexible generative models like normalizing flows to approximate distributions over transport plans while enforcing marginal constraints. We experimentally demonstrate that our method matches the quality of intensive sampling techniques at a fraction of the computational cost, scaling effectively to large-scale problems.
","absKo":"Optimal Transport (OT)는 전통적으로 고정된 ground cost에 의존해 단 하나의 결정적 transport plan을 산출한다. 이는 실제 데이터에 내재한 변동성과 노이즈를 간과하는 관행이다. 최근의 OT sampling 기반 접근법은 이러한 불확실성을 정량화하는 원리 있는 방법을 제공하지만, 계산 비용이 너무 크고 확장성에 한계가 있다. 본 논문에서는 transport plan에 대한 posterior inference를 수행하는 최초의 확장 가능한 variational framework인 Sinkhorn-parameterized Variational Inference를 제안한다. 우리의 핵심 통찰은 Sinkhorn map을 entropic plan 집합에 대한 differentiable reparameterization으로 취급할 수 있다는 점이다. 이를 통해 marginal constraint를 강제하면서 normalizing flow와 같은 유연한 generative model을 사용해 transport plan 분포를 근사할 수 있다. 실험적으로, 우리의 방법은 계산 비용의 극히 일부만으로도 집약적인 sampling 기법과 동등한 품질을 보이며, 대규모 문제로 효과적으로 확장됨을 입증했다.
"},{"id":"63377","en":"Scalable Bayesian Inference for Nonlinear Conservation Laws","ko":"비선형 보존 법칙을 위한 확장 가능한 베이지안 추론","authors":"Tim Weiland, Philipp Hennig","pos":"#3501","link":"https://openreview.net/forum?id=Xg12D1Y4H1","abs":"Nonlinear conservation laws are at the heart of many of the most important dynamical systems in science and engineering. In practical applications, such systems are often subject to various sources of uncertainty, e.g. due to sparse or noisy measurements. Inferring physical quantities and fields of interest then becomes an ill-posed problem which both classical numerical methods and modern deep learning-based methods struggle to treat appropriately. Recent work has framed classical numerical methods as Bayesian inference under Gaussian process priors, resulting in a physics-aware treatment of uncertainties. Following this line of work, we develop a novel numerically conservative method for uncertainty-aware simulations of nonlinear conservation laws. Our method uses recent sparse approximation techniques to scale up to large-scale forward and inverse problems. For forward simulation, we match the accuracy of classical solvers while providing structurally meaningful uncertainty. On inverse problems, we recover posteriors over nonparametric source fields in seconds --- outperforming neural baselines that take minutes to produce a less accurate point estimate.
","absKo":"비선형 conservation law는 과학과 공학에서 가장 중요한 많은 dynamical system의 핵심에 있다. 실제 응용에서는 이러한 시스템이 sparse하거나 noisy한 measurement 등 다양한 불확실성의 원천에 노출되는 경우가 많다. 그러면 관심 있는 physical quantity와 field를 추론하는 문제는 ill-posed problem이 되며, 고전적 numerical method와 현대의 deep learning 기반 method 모두 이를 적절히 다루는 데 어려움을 겪는다. 최근 연구는 고전적 numerical method를 Gaussian process prior 하의 Bayesian inference로 정식화하여, 불확실성에 physics-aware하게 접근하는 방법을 제시했다. 이러한 흐름을 따라, 우리는 nonlinear conservation law의 uncertainty-aware simulation을 위한 새로운 numerically conservative method를 개발한다. 우리의 방법은 최근의 sparse approximation technique을 사용하여 대규모 forward 및 inverse problem으로 확장된다. forward simulation에서는 구조적으로 의미 있는 uncertainty를 제공하면서 고전적 solver와 같은 정확도를 달성한다. inverse problem에서는 비모수 source field에 대한 posterior를 수 초 만에 복원하며, 더 정확하지 않은 point estimate를 생성하는 데 몇 분이 걸리는 neural baseline을 능가한다.
"},{"id":"63438","en":"SIKA-GP: Accelerating Gaussian Process Inference with Sparse Inducing Kernel Approximations for Bayesian Deep Learning","ko":"SIKA-GP: 베이지안 딥러닝을 위한 희소 유도 커널 근사를 통한 Gaussian Process 추론 가속","authors":"Wenyuan Zhao, Rui Tuo, Chao Tian","pos":"#3502","link":"https://openreview.net/forum?id=XClFDlw3oe","abs":"Gaussian processes (GPs) provide a principled Bayesian framework for uncertainty estimation, but their computational complexity severely limits scalability to large datasets. We propose SIKA-GP, which accelerates GP inference using sparse inducing kernel approximations based on a dyadic ordered template basis, incurring only ${O}(\\log M)$ complexity dependence on the number of inducing points. Our approach constructs compact and expressive kernel representations from sparsely activated bases, enabling efficient tensorized GPU computation and seamless integration with modern large-scale models. SIKA-GP can be naturally embedded into Bayesian neural networks (BNNs) with sparse activations, yielding significant speedups in both training and inference without sacrificing predictive performance. The method naturally extends to deep feature learning, addressing the scalability challenges introduced by deep architectures and high-dimensional feature representations. Empirical results on vision and transformer-based language benchmarks demonstrate that our approach consistently delivers fast and accurate GP models, providing a principled path toward scalable kernel learning.","absKo":"Gaussian processes (GPs)는 불확실성 추정을 위한 원칙적인 Bayesian framework를 제공하지만, 계산 복잡도가 커서 대규모 데이터셋으로의 확장성을 심각하게 제한한다. 우리는 dyadic ordered template basis를 기반으로 한 sparse inducing kernel approximation을 사용하여 GP 추론을 가속하는 SIKA-GP를 제안하며, inducing point 개수에 대해 ${O}(\\log M)$의 복잡도 의존성만을 갖는다. 우리의 접근법은 희소하게 활성화된 basis로부터 작고 표현력이 풍부한 kernel representation을 구성하여, 효율적인 tensorized GPU 계산과 현대적 대규모 모델과의 매끄러운 통합을 가능하게 한다. SIKA-GP는 sparse activation을 갖는 Bayesian neural networks (BNNs)에 자연스럽게 통합될 수 있으며, 예측 성능을 희생하지 않으면서 학습과 추론 모두에서 상당한 속도 향상을 이끈다. 이 방법은 deep feature learning으로도 자연스럽게 확장되어, deep architecture와 고차원 feature representation이 초래하는 확장성 문제를 해결한다. vision 및 transformer-based language benchmark에 대한 실험 결과는 우리의 접근법이 일관되게 빠르고 정확한 GP model을 제공하며, scalable kernel learning을 향한 원칙적인 경로를 제시함을 보여준다."},{"id":"65620","en":"Policy Search via Bayesian Optimization with Temporal Difference Gaussian Processes","ko":"시간차 Gaussian Process를 활용한 Bayesian 최적화 기반 정책 탐색","authors":"Armin Lederer, Anuj Srivastava, Marco Bagatella, Andreas Krause","pos":"#3503","link":"https://openreview.net/forum?id=Bn6zenKCj7","abs":"Bayesian optimization (BO) is a method commonly used for policy search in problems with low-dimensional policy parameterizations. While it is generally considered data-efficient, existing BO approaches are agnostic to the sequential structure of the optimization objective induced by policy roll-outs. Thereby, valuable information is discarded that could improve the convergence of BO. We address this inefficiency by developing and rigorously analyzing a novel approach for BO that relies on a temporal difference learning formulation for discounted infinite-horizon value functions based on Gaussian process (GP) regression. We derive learning error bounds for the proposed temporal difference GPs, such that we can exploit upper confidence bounds to analyze the cumulative regret of our BO approach. This analysis is further refined by bounding the maximal information gain for our temporal difference GP model. In a comparison with relevant baseline methods, we demonstrate the practical advantages of our method.
","absKo":"Bayesian optimization (BO)은 low-dimensional policy parameterization을 가진 문제에서 policy search에 흔히 사용되는 방법이다. 일반적으로 data-efficient하다고 여겨지지만, 기존 BO 접근법은 policy rollout이 유도하는 optimization objective의 sequential structure에 대해 무관하다. 그 결과 BO의 convergence를 개선할 수 있는 귀중한 정보가 버려진다. 우리는 Gaussian process (GP) regression에 기반한 discounted infinite-horizon value function을 위한 temporal difference learning formulation을 활용하는, BO를 위한 새로운 접근법을 개발하고 엄밀히 분석함으로써 이 비효율성을 해결한다. 우리는 제안한 temporal difference GP에 대한 learning error bound를 도출하며, 이를 통해 upper confidence bound를 활용해 우리의 BO 접근법의 cumulative regret를 분석할 수 있다. 이 분석은 temporal difference GP model의 maximal information gain을 상한으로 묶음으로써 한층 정교화된다. 관련 baseline 방법과의 비교에서, 우리는 이 방법의 실질적 장점을 입증한다.
"},{"id":"65286","en":"Monotonic Variational Gaussian Process for Efficient Data Collection","ko":"효율적 데이터 수집을 위한 단조 변분 Gaussian Process","authors":"Donghyun Lee, Young Myoung Ko","pos":"#3504","link":"https://openreview.net/forum?id=F5ntKcrmYK","abs":"Modeling the learning curve is critical for cost-effective data collection in deep learning systems. Most prior approaches assume a specific parametric learning curve, but these can be inappropriate when no reliable parametric form can be assumed for the learning curve. While Gaussian processes offer flexible nonparametric modeling, existing GP approaches that enforce monotonicity typically introduce intractable factors or require derivative observations. To address this, we propose a Monotonic Variational Gaussian Process for Efficient Data Collection (MOVE), which (i) introduces a novel monotonic variational GP formulation with virtual-derivative factors to enable tractable posterior inference, and (ii) develops an expected shortfall based objective for target-driven data collection. Furthermore, our theoretical analysis shows that expected shortfall provides non-vanishing gradient signals that enable reliable gradient-based optimization. Extensive experiments on classification, segmentation, and detection benchmarks demonstrate consistent improvements over the prior method.
","absKo":"learning curve를 모델링하는 것은 deep learning system에서 비용 효율적인 data collection을 위해 매우 중요하다. 기존의 대부분 접근법은 특정 parametric learning curve를 가정하지만, learning curve에 대해 신뢰할 수 있는 parametric form을 가정할 수 없는 경우에는 부적절할 수 있다. Gaussian process는 유연한 nonparametric modeling을 제공하지만, monotonicity를 강제하는 기존 GP 접근법은 대개 다루기 어려운 factor를 도입하거나 derivative observation을 요구한다. 이를 해결하기 위해, 우리는 Efficient Data Collection을 위한 Monotonic Variational Gaussian Process (MOVE)를 제안한다. 이 방법은 (i) tractable posterior inference를 가능하게 하는 virtual-derivative factor를 포함한 새로운 monotonic variational GP formulation을 도입하고, (ii) target-driven data collection을 위한 expected shortfall 기반 objective를 개발한다. 더 나아가 우리의 이론 분석은 expected shortfall가 사라지지 않는 gradient signal을 제공하여 신뢰할 수 있는 gradient-based optimization을 가능하게 함을 보인다. classification, segmentation, detection benchmark에 대한 광범위한 실험은 기존 방법에 비해 일관된 개선을 보여준다.
"},{"id":"64398","en":"Goal-Oriented Lower-Tail Calibration of Gaussian Processes for Bayesian Optimization","ko":"베이지안 최적화를 위한 가우시안 프로세스의 목표 지향 하위 꼬리 보정","authors":"Aurélien Pion, Emmanuel Vazquez","pos":"#3505","link":"https://openreview.net/forum?id=O0gI00yRnm","abs":"Bayesian optimization (BO) selects evaluation points for expensive black-box objectives using Gaussian process (GP) predictive distributions. Kernel choice and hyperparameter selection can lead to miscalibrated predictive distributions, which can distort the exploration--exploitation trade-off. In the minimization setting, sampling criteria such as expected improvement (EI) depend on the predictive lower tail and can therefore be sensitive to miscalibration. This article studies goal-oriented calibration of GP predictive distributions below a low threshold $t$ in the noiseless setting, complementing standard GP modeling with hyperparameters selected by maximum likelihood. A framework for predictive reliability below $t$ is introduced, based on two notions of spatial calibration: occurrence calibration over the design space and thresholded $\\mu$-calibration on the sublevel set $\\lbrace x\\in\\mathbb{X}, f(x)\\le t \\rbrace$. Building on this framework, we propose tcGP, a post-hoc method that calibrates GP predictive distributions below $t$, and we establish a convergence result for the resulting EI-based global optimization algorithm. Experiments on standard benchmarks show improved lower-tail calibration and BO performance relative to standard GP models and global calibration GP models.","absKo":"Bayesian optimization (BO)은 Gaussian process (GP) predictive distribution을 사용해 비용이 큰 black-box objective에 대한 평가 지점을 선택한다. kernel 선택과 hyperparameter 선택은 predictive distribution의 calibration을 어긋나게 할 수 있으며, 이는 exploration--exploitation trade-off를 왜곡할 수 있다. minimization 설정에서 expected improvement (EI)와 같은 sampling criterion은 predictive lower tail에 의존하므로, miscalibration에 민감할 수 있다. 본 논문은 잡음이 없는 설정에서 낮은 threshold $t$ 아래의 GP predictive distribution에 대한 목표 지향적 calibration을 연구하며, hyperparameter를 maximum likelihood로 선택하는 표준 GP modeling을 보완한다. 여기서는 design space에서의 occurrence calibration과 sublevel set $\\lbrace x\\in\\mathbb{X}, f(x)\\le t \\rbrace$ 위의 thresholded $\\mu$-calibration이라는 두 가지 spatial calibration 개념에 기반한, $t$ 이하에서의 predictive reliability framework를 제안한다. 이 framework를 바탕으로, 우리는 $t$ 아래에서 GP predictive distribution을 calibration하는 post-hoc 방법 tcGP를 제안하고, 그 결과로 얻어지는 EI 기반 global optimization algorithm의 수렴 결과를 확립한다. 표준 benchmark 실험은 표준 GP model 및 global calibration GP model에 비해 lower-tail calibration과 BO 성능이 향상됨을 보여준다."},{"id":"64325","en":"Empirical Gaussian Processes","ko":"경험적 가우시안 프로세스","authors":"Jihao Andreas Lin, Sebastian Ament, Louis Tiao, David Eriksson, Maximilian Balandat, Eytan Bakshy","pos":"#3506","link":"https://openreview.net/forum?id=Oj7ZwBhiyE","abs":"Gaussian processes (GPs) are powerful and widely used probabilistic regression models, but their effectiveness in practice is often limited by the choice of kernel function. This kernel function is typically handcrafted from a small set of standard functions, a process that requires expert knowledge, results in limited adaptivity to data, and imposes strong assumptions on the hypothesis space. We study Empirical GPs, a principled framework for constructing flexible, data-driven GP priors that overcome these limitations. Rather than relying on standard parametric kernels, we estimate the mean and covariance functions empirically from a corpus of historical observations, enabling the prior to reflect rich, non-trivial covariance structures present in the data. Theoretically, we show that the resulting model converges to the GP that is closest (in KL-divergence sense) to the real data generating process. Practically, we formulate the problem of learning the GP prior from independent datasets as likelihood estimation and derive an Expectation-Maximization algorithm with closed-form updates, allowing the model handle heterogeneous observation locations across datasets. We demonstrate that Empirical GPs achieve competitive performance on learning curve extrapolation and time series forecasting benchmarks.
","absKo":"Gaussian process (GP)는 강력하고 널리 사용되는 확률적 회귀 모델이지만, 실제 성능은 종종 kernel function 선택에 의해 제한된다. 이 kernel function은 보통 소수의 표준 함수들로부터 수작업으로 구성되며, 이는 전문가 지식을 필요로 하고 데이터에 대한 적응성을 제한하며 hypothesis space에 강한 가정을 부과한다. 우리는 이러한 한계를 극복하는 유연하고 data-driven한 GP prior를 구성하기 위한 원리적 프레임워크인 Empirical GPs를 연구한다. 표준 parametric kernel에 의존하는 대신, 우리는 역사적 관측의 corpus로부터 mean function과 covariance function을 경험적으로 추정하여 prior가 데이터에 존재하는 풍부하고 비자명한 covariance structure를 반영하도록 한다. 이론적으로, 우리는 이로부터 얻어지는 모델이 실제 data generating process에 가장 가까운(KL-divergence 기준) GP로 수렴함을 보인다. 실용적으로는, 독립적인 dataset으로부터 GP prior를 학습하는 문제를 likelihood estimation으로 정식화하고, 닫힌 형태의 update를 갖는 Expectation-Maximization algorithm을 유도하여 dataset 간 이질적인 observation location을 모델이 처리할 수 있게 한다. 우리는 Empirical GPs가 learning curve extrapolation과 time series forecasting benchmark에서 경쟁력 있는 성능을 달성함을 보인다.
"},{"id":"66731","en":"BALLAST: Bayesian Active Learning with Look-ahead Amendment for Sea-drifter Trajectories under Spatio-Temporal Vector Fields","ko":"BALLAST: 시공간 벡터장 하에서 해양 표류체 궤적을 위한 Look-ahead 보정 기반 Bayesian Active Learning","authors":"Rui-Yang Zhang, Henry Moss, Lachlan Astfalck, Edward Cripps, David Leslie","pos":"#3507","link":"https://openreview.net/forum?id=0xOj6kVMbb","abs":"We introduce a formal active learning methodology for guiding the placement of Lagrangian observers to infer time-dependent vector fields -- a key task in oceanography, marine science, and ocean engineering -- using a physics-informed spatio-temporal Gaussian process surrogate model. The majority of existing placement campaigns either follow standard `space-filling' designs or relatively ad-hoc expert opinions. A key challenge to applying principled active learning in this setting is that Lagrangian observers are continuously advected through the vector field, so they make measurements at different locations and times. It is, therefore, important to consider the likely future trajectories of placed observers to account for the utility of candidate placement locations. To this end, we present BALLAST: Bayesian Active Learning with Look-ahead Amendment for Sea-drifter Trajectories. We observe noticeable benefits of BALLAST-aided sequential observer placement strategies on both synthetic and high-fidelity ocean current models. In addition, we developed a novel GP inference method -- the Vanilla SPDE Exchange (VaSE) -- to boost the GP posterior sampling efficiency, which is also of independent interest.
","absKo":"우리는 해양학, 해양과학, 그리고 해양공학에서 핵심 과제인 시간 의존 벡터장을 추론하기 위해 Lagrangian observer의 배치를 유도하는 formal active learning methodology를, physics-informed spatio-temporal Gaussian process surrogate model을 사용해 제안한다. 기존의 대부분 배치 캠페인은 표준적인 `space-filling' 설계나 비교적 ad-hoc한 expert opinion을 따른다. 이 설정에서 원칙적인 active learning을 적용하는 데 있어 핵심 과제는 Lagrangian observer가 벡터장을 따라 연속적으로 advect되므로 서로 다른 위치와 시점에서 측정을 수행한다는 점이다. 따라서 candidate placement location의 효용을 고려하기 위해 배치된 observer의 향후 trajectory를 함께 고려하는 것이 중요하다. 이를 위해 우리는 BALLAST: Bayesian Active Learning with Look-ahead Amendment for Sea-drifter Trajectories를 제시한다. 우리는 BALLAST를 활용한 sequential observer placement strategy가 synthetic 모델과 고정밀 ocean current model 모두에서 뚜렷한 이점을 보임을 관찰한다. 또한 GP posterior sampling 효율을 높이기 위해 새로운 GP inference 방법인 Vanilla SPDE Exchange (VaSE)를 개발했으며, 이는 독립적으로도 흥미로운 방법이다.
"},{"id":"64811","en":"SpeedCP: Fast Kernel-based Conditional Conformal Prediction","ko":"SpeedCP: 빠른 Kernel 기반 조건부 Conformal Prediction","authors":"Yating Liu, Yeo Jin Jung, Zixuan Wu, So Won Jeong, Claire Donnat","pos":"#3508","link":"https://openreview.net/forum?id=JWvRxvcmn3","abs":"Conformal prediction provides distribution-free prediction sets with finite-sample conditional guarantees. RKHS-based frameworks—while promising for complex covariate shifts—suffer from prohibitive computational costs. To guarantee conditional validity under such shifts while ensuring feasibility, we build upon the framework of (Gibbs et al., 2023) by introducing a stable and efficient algorithm that computes the full solution path of the regularized RKHS conformal optimization problem, at essentially the same cost as a single kernel quantile fit. Our approach provides simultaneous hyperparameter tuning which provides smoothness control and data-adaptive calibration. To extend the method to high-dimensional settings, we further integrate our approach with low-rank latent embeddings that capture conditional validity in a data-driven latent space. Empirically, our method provides reliable conditional coverage across a variety of modern black-box predictors, improving the interval length of (Gibbs et al., 2023) by 30%, while achieving a 40-fold speedup.
","absKo":"Conformal prediction은 finite-sample conditional guarantee를 갖는 distribution-free prediction set을 제공한다. RKHS-based framework는 복잡한 covariate shift에 유망하지만 계산 비용이 지나치게 크다는 문제가 있다. 이러한 shift 하에서 conditional validity를 보장하면서도 실현 가능성을 확보하기 위해, 우리는 (Gibbs et al., 2023)의 framework를 기반으로 regularized RKHS conformal optimization problem의 전체 solution path를 계산하는 안정적이고 효율적인 알고리즘을 도입한다. 이 알고리즘은 사실상 단일 kernel quantile fit과 동일한 비용으로 동작한다. 우리의 접근법은 동시에 hyperparameter tuning을 제공하여 smoothness control과 data-adaptive calibration을 가능하게 한다. 이 방법을 고차원 setting으로 확장하기 위해, 우리는 conditional validity를 데이터 기반 latent space에서 포착하는 low-rank latent embedding과 접근법을 통합한다. 실험적으로, 우리의 방법은 다양한 현대 black-box predictor에 대해 신뢰할 수 있는 conditional coverage를 제공하며, (Gibbs et al., 2023)의 interval length를 30% 줄이면서 40배의 속도 향상을 달성한다.
"},{"id":"62631","en":"Robust Bayes-Assisted Conformal Prediction","ko":"강건한 Bayes-Assisted Conformal Prediction","authors":"Kianoosh Ashouritaklimi, Stefano Cortinovis, Francois Caron","pos":"#3509","link":"https://openreview.net/forum?id=eopPyXUmDk","abs":"Bayes--assisted conformal prediction combines the strengths of Bayesian modelling with exact, distribution--free frequentist coverage guarantees. While validity holds even under model misspecification, the size of the prediction sets can degrade significantly when the prior is poorly aligned with the observed data. We address this limitation by introducing \\textbf{RoBAS}: a novel Bayes--assisted nonconformity score which is motivated by a hierarchical Bayesian working model with heavy--tailed priors, and which we implement in practice via a computationally tractable empirical Bayes instantiation. Our proposed method is adaptive to the quality of the available working information in the prior. When reliable prior information is available and can be effectively encoded, we achieve set sizes lower than that of other sets with the same coverage. On the other hand, when such information is weak or inaccurate, our nonconformity scores revert to the Distance--To--Average score, a robust baseline that is well--suited to settings where accurate prior information is not available. We evaluate our method on tabular and image regression tasks in the setting where there exists distribution shift between the training and calibration/test data. We find that our approach is competitive with widely used nonconformity scores in the absence of distribution shift, while providing significant gains in the more challenging setting of distribution shift.
","absKo":"Bayes-assisted conformal prediction은 Bayesian modelling의 강점과 정확한 distribution-free frequentist coverage guarantee를 결합한다. model misspecification 하에서도 validity는 유지되지만, prior가 관측 데이터와 잘 맞지 않을 때 prediction set의 크기는 크게 악화될 수 있다. 우리는 heavy-tailed prior를 사용하는 hierarchical Bayesian working model에서 동기를 얻은 새로운 Bayes-assisted nonconformity score인 \\textbf{RoBAS}를 도입하여 이 한계를 해결한다. 또한 이를 실제로는 계산적으로 다루기 쉬운 empirical Bayes 구현으로 적용한다. 제안한 방법은 prior에 포함된 사용 가능한 working information의 품질에 적응한다. 신뢰할 수 있는 prior information이 존재하고 이를 효과적으로 인코딩할 수 있을 때는, 동일한 coverage를 갖는 다른 set보다 더 작은 set size를 달성한다. 반면 그러한 정보가 약하거나 부정확할 때는 nonconformity score가 Distance-To-Average score로 되돌아가는데, 이는 정확한 prior information이 없는 상황에 잘 맞는 견고한 baseline이다. 우리는 training/calibration/test data 사이에 distribution shift가 존재하는 설정에서 tabular 및 image regression task로 이 방법을 평가한다. distribution shift가 없을 때는 널리 사용되는 nonconformity score들과 경쟁력이 있음을 확인했으며, distribution shift가 있는 더 어려운 설정에서는 상당한 향상을 제공함을 보였다.
"},{"id":"62566","en":"Nonparametric Distribution Regression Re-calibration","ko":"Nonparametric Distribution Regression 재보정","authors":"Ádám Jung, Domokos Kelen, Andras Benczur","pos":"#3510","link":"https://openreview.net/forum?id=fTl7NXYtAB","abs":"A key challenge in probabilistic regression is ensuring that predictive distributions accurately reflect true empirical uncertainty. Minimizing overall prediction error often encourages models to prioritize informativeness over calibration, producing narrow but overconfident predictions. However, in safety-critical settings, trustworthy uncertainty estimates are often more valuable than narrow intervals. Realizing the problem, several recent works have focused on post-hoc corrections; however, existing methods either rely on weak notions of calibration (such as PIT uniformity) or impose restrictive parametric assumptions on the nature of the error. To address these limitations, we propose a novel nonparametric re-calibration algorithm based on conditional kernel mean embeddings, capable of correcting calibration error without restrictive modeling assumptions. For efficient inference with real-valued targets, we introduce a novel characteristic kernel over distributions that can be evaluated in $\\mathcal{O}(n \\log n)$ time for empirical distributions of size $n$. We demonstrate that our method consistently outperforms prior re-calibration approaches across a diverse set of regression benchmarks and model classes.","absKo":"확률적 regression에서 핵심 과제는 predictive distribution이 진정한 empirical uncertainty를 정확히 반영하도록 보장하는 것이다. 전체 prediction error를 최소화하면 종종 모델이 calibration보다 informativeness를 우선하도록 유도되어, 좁지만 과신한 prediction을 만든다. 그러나 safety-critical setting에서는 좁은 interval보다 신뢰할 수 있는 uncertainty estimate가 더 가치 있는 경우가 많다. 이러한 문제를 인식하여 최근 여러 연구가 post-hoc correction에 집중해 왔지만, 기존 방법은 PIT uniformity와 같은 약한 calibration 개념에 의존하거나 error의 성격에 대해 제한적인 parametric assumption을 강제한다. 이러한 한계를 해결하기 위해, 우리는 conditional kernel mean embeddings를 기반으로 한 새로운 nonparametric re-calibration algorithm을 제안하며, 제한적인 modeling assumption 없이 calibration error를 보정할 수 있다. 실수값 target에 대한 효율적인 inference를 위해, 우리는 크기 n의 empirical distribution에 대해 $\\mathcal{O}(n \\log n)$ 시간에 평가할 수 있는 distributions 위의 새로운 characteristic kernel을 도입한다. 우리는 다양한 regression benchmark와 model class 전반에서 우리의 방법이 기존 re-calibration 접근법을 일관되게 능가함을 보인다."},{"id":"65586","en":"Geometric Conformal Prediction with Spatial Ranks and Multivariate Quantiles","ko":"공간 순위 및 다변량 분위수를 이용한 기하학적 Conformal Prediction","authors":"Anton Conrad, Eric Moulines, julien perez","pos":"#3511","link":"https://openreview.net/forum?id=C9SwK10bTT","abs":"In multi-target regression and multi-class classification, uncertainty is inherently multivariate: prediction regions must capture joint dependencies across correlated outputs. Conformal prediction provides distribution-free guarantees, yet extending it to vector-valued outputs remains challenging—scalar aggregation discards geometric structure, while optimal transport (OT) approaches are computationally demanding and sensitive to outliers. We introduce two conformal methods based on geometric quantiles and spatial ranks: Geometric Conformalized Quantile Regression (GCQR) constructs prediction regions from learned conditional geometric quantiles, while Geometric Rank Conformal Prediction (GRCP) uses the radial rank of vector-valued conformity scores as the nonconformity measure. We propose multiple estimators offering different tradeoffs between computational cost and adaptivity to feature-dependent heterogeneity, with scalable learning via partially input-convex neural networks. On multi-target regression and multi-class classification benchmarks, GCQR and GRCP attain near-nominal coverage with consistently tighter prediction regions than scalarized and multivariate baselines.
","absKo":"multi-target regression과 multi-class classification에서 uncertainty는 본질적으로 multivariate입니다. prediction region은 상관된 output 간의 joint dependency를 포착해야 하기 때문입니다. Conformal prediction은 distribution-free guarantee를 제공하지만, 이를 vector-valued output으로 확장하는 것은 여전히 어렵습니다. scalar aggregation은 geometric structure를 버리고, optimal transport(OT) 접근법은 계산 비용이 크고 outlier에 민감하기 때문입니다. 우리는 geometric quantile과 spatial rank를 기반으로 한 두 가지 conformal method를 제안합니다. Geometric Conformalized Quantile Regression(GCQR)은 학습된 conditional geometric quantile로부터 prediction region을 구성하고, Geometric Rank Conformal Prediction(GRCP)은 vector-valued conformity score의 radial rank를 nonconformity measure로 사용합니다. 우리는 계산 비용과 feature-dependent heterogeneity에 대한 적응성 사이에서 서로 다른 trade-off를 제공하는 여러 estimator를 제안하며, partially input-convex neural network를 통한 확장 가능한 학습을 지원합니다. multi-target regression 및 multi-class classification benchmark에서 GCQR과 GRCP는 scalarized 및 multivariate baseline보다 일관되게 더 작은 prediction region을 가지면서도 거의 nominal coverage를 달성합니다.
"},{"id":"64150","en":"Spectral Flow Matching: Stabilizing Stochastic GFlowNets via Frequency-Domain Regularization","ko":"스펙트럼 흐름 매칭: 주파수 영역 정규화를 통한 확률적 GFlowNet 안정화","authors":"Nadhir Hassen, Johan Verjans","pos":"#3913","link":"https://openreview.net/forum?id=QQRCqb2PDj","abs":"Generative Flow Networks (GFNs) offer a powerful paradigm for diverse sampling, yet they often exhibit instability and poor convergence when applied to stochastic or sparse-reward environments. To mitigate the high variance inherent in these settings, we propose a fundamental re-framing of the GFlowNet training objective within the frequency domain. We present \\textbf{Spectral Time-Dependent GFlowNets (ST-GFNs)}, a framework that leverages Fourier analysis to enforce smoothness and stability in learned policies. Our theoretical analysis proves that our proposed spectral loss is mathematically equivalent to regularized value iteration, acting as a principled low-pass filter that separates signal from noise. Furthermore, we tackle the challenge of exploration in sparse landscapes by introducing a novel autocorrelated intrinsic reward derived from the Wiener-Khinchin theorem. Through extensive experiments ranging from adversarial games and noisy sequence generation to high-dimensional single-cell perturbation modelling, we demonstrate that ST-GFNs significantly outperform existing baselines in terms of robustness, sample efficiency, and mode discovery.
","absKo":"Generative Flow Networks(GFN)는 diverse sampling을 위한 강력한 패러다임을 제공하지만, stochastic하거나 sparse-reward 환경에 적용될 때 종종 불안정성과 낮은 수렴성을 보인다. 이러한 설정에 내재된 높은 variance를 완화하기 위해, 우리는 GFlowNet training objective를 frequency domain에서 근본적으로 재정식화할 것을 제안한다. 우리는 \\textbf{Spectral Time-Dependent GFlowNets (ST-GFNs)}를 제시하며, Fourier analysis를 활용해 학습된 policy의 smoothness와 stability를 강제하는 프레임워크를 제안한다. 우리의 이론 분석은 제안한 spectral loss가 정규화된 value iteration과 수학적으로 동등함을 증명하며, signal과 noise를 분리하는 엄밀한 low-pass filter로 작동함을 보인다. 더 나아가, Wiener-Khinchin theorem으로부터 도출한 새로운 autocorrelated intrinsic reward를 도입하여 sparse landscape에서의 exploration 문제를 다룬다. adversarial game과 noisy sequence generation부터 고차원 single-cell perturbation modelling에 이르기까지 폭넓은 실험을 통해, ST-GFNs가 robustness, sample efficiency, mode discovery 측면에서 기존 baselines를 유의미하게 능가함을 보인다.
"},{"id":"63570","en":"Multi-Distribution Robust Conformal Prediction","ko":"다중 분포 강건 conformal prediction","authors":"YUQI YANG, Ying Jin","pos":"#4502","link":"https://openreview.net/forum?id=Vv4XRZDMM0","abs":"In many fairness and distribution robustness problems, one has access to labeled data from multiple source distributions yet the test data may come from an arbitrary member or a mixture of them. We study the problem of constructing a conformal prediction set that is uniformly valid across multiple, heterogeneous distributions, in the sense that no matter which distribution the test point is from, the coverage of the prediction set is guaranteed to exceed a pre-specified level. We first propose a max-p aggregation scheme that delivers finite-sample, multi-distribution coverage given any conformity scores associated with each distribution. Upon studying several efficiency optimization programs subject to uniform coverage, we prove the optimality and tightness of our aggregation scheme, and propose a general algorithm to learn conformity scores that lead to efficient prediction sets after the aggregation under standard conditions. We discuss how our framework relates to group-wise distributionally robust optimization, sub-population shift, fairness, and multi-source learning. In synthetic and real-data experiments, our method delivers valid worst-case coverage across multiple distributions while greatly reducing the set size compared with naively applying max-p aggregation to single-source conformity scores, and can be comparable in size to single-source prediction sets with popular, standard conformity scores.
","absKo":"많은 fairness 및 distribution robustness 문제에서, 여러 source distribution의 labeled data를 사용할 수 있지만 test data는 그중 임의의 distribution 또는 이들의 mixture에서 올 수 있다. 우리는 test point가 어느 distribution에서 왔든 prediction set의 coverage가 미리 정해진 수준을 넘는 것이 보장되는 의미에서, 여러 이질적인 distribution 전반에 걸쳐 uniformly valid한 conformal prediction set을 구성하는 문제를 연구한다. 우리는 먼저 각 distribution에 대응하는 임의의 conformity score가 주어졌을 때 finite-sample, multi-distribution coverage를 제공하는 max-p aggregation scheme을 제안한다. uniform coverage를 만족하는 여러 efficiency optimization program을 연구한 결과, 우리는 이 aggregation scheme의 optimality와 tightness를 증명하고, 표준 조건 하에서 aggregation 이후 효율적인 prediction set으로 이어지는 conformity score를 학습하는 일반 알고리즘을 제안한다. 또한 우리의 framework가 group-wise distributionally robust optimization, sub-population shift, fairness, multi-source learning과 어떻게 연결되는지 논의한다. synthetic 및 real-data 실험에서 우리의 방법은 여러 distribution에 대해 유효한 worst-case coverage를 제공하면서도, single-source conformity score에 max-p aggregation을 단순 적용하는 것보다 set size를 크게 줄이며, 널리 쓰이는 표준 conformity score를 사용하는 single-source prediction set과 비슷한 크기를 달성할 수 있다.
"},{"id":"65832","en":"Kalman Linear Attention: Parallel Bayesian Filtering For Efficient Language Modeling and State Tracking","ko":"Kalman Linear Attention: 효율적 언어 모델링과 상태 추적을 위한 병렬 Bayesian 필터링","authors":"Vaisakh Shaj, Cameron Barker, Aidan Scannell, Andras Szecsenyi, Elliot Crowley, Amos Storkey","pos":"#2702","link":"https://openreview.net/forum?id=9h7sSJe4jN","abs":"State-space language models such as Mamba and gated linear attention (GLA) offer efficient alternatives to transformers due to their linear complexity and parallel training, but often lack the expressivity and robust state-tracking needed for complex reasoning. We address these limitations by reframing sequence modelling through a probabilistic lens, using Bayesian filters as a core primitive. While classical filters such as Kalman filters provide principled state estimation and uncertainty tracking, they are typically viewed as inherently sequential. We show that reparameterising the Kalman filter in information form enables its updates to be computed via an associative scan, allowing efficient parallel training. Building on this insight, we introduce the Kalman Linear Attention (KLA) layer, a neural sequence-modelling primitive that performs time-parallel probabilistic inference while maintaining explicit belief-state uncertainty. KLA offers strictly more expressive non-linear updates and gating than GLA variants while retaining their computational advantages. On language modelling tasks, KLA matches or outperforms modern SSMs and GLAs across representative benchmarks for discrete token manipulation and state tracking.
","absKo":"Mamba와 gated linear attention(GLA) 같은 state-space language model은 선형 복잡도와 병렬 학습 덕분에 transformer의 효율적인 대안이 되지만, 복잡한 추론에 필요한 표현력과 견고한 state tracking은 종종 부족하다. 우리는 Bayesian filter를 핵심 primitive로 사용하여 확률적 관점에서 sequence modelling을 재정식화함으로써 이러한 한계를 해결한다. Kalman filter 같은 고전적 filter는 원리적인 state estimation과 uncertainty tracking을 제공하지만, 일반적으로 본질적으로 sequential한 것으로 여겨진다. 우리는 Kalman filter를 information form으로 재파라미터화하면 그 update를 associative scan으로 계산할 수 있어 효율적인 병렬 학습이 가능하다는 점을 보인다. 이 통찰을 바탕으로, 우리는 시간 병렬(time-parallel) 확률 추론을 수행하면서 명시적인 belief-state uncertainty를 유지하는 neural sequence-modelling primitive인 Kalman Linear Attention(KLA) layer를 제안한다. KLA는 GLA 변형들보다 strictly more expressive한 비선형 update와 gating을 제공하면서도 그 계산상의 장점을 유지한다. 언어 모델링 과제에서 KLA는 discrete token manipulation과 state tracking을 위한 대표 benchmark 전반에서 현대적 SSM 및 GLA와 동등하거나 더 우수한 성능을 보인다.
"},{"id":"65437","en":"Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling","ko":"Bayesian 비음수 보상 모델링을 통한 RLHF에서 Reward Hacking 완화","authors":"Zhibin Duan, Guowei Rong, Zhuo Li, Bo Chen, Mingyuan Zhou, Dandan Guo","pos":"#315","link":"https://openreview.net/forum?id=DfhMMHXDuu","abs":"Reward models learned from human preferences are central to aligning large language models (LLMs) via reinforcement learning from human feedback, yet they are often vulnerable to reward hacking due to noisy annotations and systematic biases such as response length or style. We propose Bayesian Non-Negative Reward Model (BNRM), a principled reward modeling framework that integrates non-negative factor analysis into Bradley–Terry (BT) preference model. BNRM represents rewards through a sparse, non-negative latent factor generative process that operates at two complementary levels: instance-specific latent variables induce disentangled reward representations, while sparsity over global latent factors acts as an implicit debiasing mechanism that suppresses spurious correlations. Together, this disentanglement-then-debiasing structure enables robust uncertainty-aware reward learning. To scale BNRM to modern LLMs, we develop an amortized variational inference network conditioned on deep model representations, allowing efficient end-to-end training. Extensive empirical results demonstrate that BNRM substantially mitigates reward over-optimization, improves robustness under distribution shifts, and yields more interpretable reward decompositions than strong baselines.
","absKo":"인간 선호로부터 학습된 reward model은 reinforcement learning from human feedback을 통해 large language model (LLM)을 정렬하는 데 핵심적이지만, noisy annotation과 response length나 style과 같은 체계적 편향 때문에 reward hacking에 취약한 경우가 많다. 우리는 Bradley–Terry (BT) preference model에 non-negative factor analysis를 통합한, 원리적 reward modeling framework인 Bayesian Non-Negative Reward Model (BNRM)을 제안한다. BNRM은 두 가지 상보적 수준에서 작동하는 sparse하고 non-negative한 latent factor generative process를 통해 reward를 표현한다. instance-specific latent variable은 disentangled reward representation을 유도하고, global latent factor에 대한 sparsity는 허위 상관을 억제하는 암묵적 debiasing mechanism으로 작동한다. 이 disentanglement-then-debiasing 구조는 함께 robust하고 uncertainty-aware한 reward learning을 가능하게 한다. BNRM을 현대 LLM에 확장하기 위해, 우리는 deep model representation에 조건화된 amortized variational inference network를 개발하여 효율적인 end-to-end training을 가능하게 한다. 광범위한 실험 결과는 BNRM이 reward over-optimization을 크게 완화하고, distribution shift 하에서 robustness를 향상시키며, 강력한 baseline보다 더 해석 가능한 reward decomposition을 제공함을 보여준다."},{"id":"66059","en":"$\\alpha$-PFN: Fast Entropy Search via In-Context Learning","ko":"$\\alpha$-PFN: In-Context Learning을 통한 빠른 엔트로피 탐색","authors":"Herilalaina Rakotoarison, Steven Adriaensen, Tom Viering, Samuel Gabriel Müller, Carl Hvarfner, Frank Hutter, Eytan Bakshy","pos":"#3513","link":"https://openreview.net/forum?id=7Oonij8oLU","abs":"Information-theoretic acquisition functions such as Entropy Search (ES) offer a principled exploration–exploitation framework for Bayesian optimization (BO). However, their practical implementation relies on complicated and slow approximations, i.e., a Monte Carlo estimation of the information gain. This complexity can introduce numerical errors and requires specialized, hand-crafted implementations. We propose a two-stage amortization strategy that learns to approximate entropy search-based acquisition functions using Prior-data Fitted Networks (PFNs) in a single forward pass. A first PFN is trained to be conditioned on information about the optima; second, the α-PFN is trained to predict the expected information gain by training on information gains measured with the first PFN. The α-PFN offers a flexible learned approximation, which replaces the complex heuristic approximations with a single forward pass per candidate, enabling rapid and extensible acquisition evaluation. Empirically, our approach is competitive with state-of-the-art entropy search implementations on synthetic and real-world benchmarks, while accelerating the different entropy search variants across all our experiments, with speed ups over 50x.
","absKo":"Entropy Search(ES)와 같은 information-theoretic acquisition function은 Bayesian optimization(BO)을 위한 원칙적인 exploration-exploitation framework를 제공한다. 그러나 실제 구현은 복잡하고 느린 근사, 즉 information gain의 Monte Carlo estimation에 의존한다. 이러한 복잡성은 수치 오류를 유발할 수 있으며, 특수한 수작업 구현을 필요로 한다. 우리는 Prior-data Fitted Networks(PFNs)를 사용하여 entropy search 기반 acquisition function을 단일 forward pass에서 근사하도록 학습하는 two-stage amortization 전략을 제안한다. 첫 번째 PFN은 optimum에 관한 정보에 조건화되도록 학습되며, 두 번째로 α-PFN은 첫 번째 PFN으로 측정한 information gain으로 학습하여 기대 information gain을 예측하도록 훈련된다. α-PFN은 복잡한 heuristic approximation을 후보당 단일 forward pass로 대체하는 유연한 learned approximation을 제공하여, 빠르고 확장 가능한 acquisition evaluation을 가능하게 한다. 실험적으로, 우리의 접근법은 synthetic 및 real-world benchmark에서 state-of-the-art entropy search 구현과 경쟁력을 보이면서, 모든 실험에서 다양한 entropy search variant를 가속화하고 50x를 넘는 speedup을 달성한다.
"},{"id":"64219","en":"Symmetries in PAC-Bayesian Learning","ko":"PAC-베이지안 학습에서의 대칭성","authors":"Armin Beck, Peter Ochs","pos":"#3514","link":"https://openreview.net/forum?id=Ps37H7zPDj","abs":"Symmetries are known to improve the empirical performance of machine learning models, yet theoretical guarantees explaining these gains remain limited. Prior work has focused mainly on compact group symmetries and often assumes that the data distribution itself is invariant, an assumption rarely satisfied in real-world applications. In this work, we extend generalization guarantees to the broader setting of non-compact symmetries, such as translations and to non-invariant data distributions. Building on the PAC-Bayes framework, we adapt and tighten existing bounds, demonstrating the approach on McAllester's PAC-Bayes bound while showing that it applies to a wide range of PAC-Bayes bounds. We validate our theory with experiments on a rotated MNIST dataset with a non-uniform rotation group, where the derived guarantees not only hold but also improve upon prior results. These findings provide theoretical evidence that, for symmetric data, symmetric models are preferable beyond the narrow setting of compact groups and invariant distributions, opening the way to a more general understanding of symmetries in machine learning.
","absKo":"대칭성은 머신러닝 모델의 경험적 성능을 향상시키는 것으로 알려져 있지만, 이러한 향상을 설명하는 이론적 보장은 여전히 제한적이다. 기존 연구는 주로 compact group symmetry에 초점을 맞추었고, 데이터 분포 자체가 불변(invariant)이라는 가정을 종종 두는데, 이는 실제 응용에서 거의 만족되지 않는다. 본 연구에서는 translation과 같은 non-compact symmetry 및 비불변(non-invariant) 데이터 분포까지 일반화 보장을 확장한다. PAC-Bayes framework를 바탕으로, 우리는 기존 bound를 변형하고 강화하여 McAllester의 PAC-Bayes bound를 통해 이 접근법을 보이면서도, 이것이 광범위한 PAC-Bayes bound에 적용됨을 보여준다. 우리는 비균등 rotation group을 가진 rotated MNIST dataset에서 이론을 검증했으며, 도출된 보장은 성립할 뿐 아니라 기존 결과를 개선한다. 이러한 결과는 symmetric data에 대해 symmetric model이 compact group과 invariant distribution이라는 좁은 범위를 넘어 더 선호되어야 한다는 이론적 증거를 제공하며, 머신러닝에서 대칭성에 대한 더 일반적인 이해로 나아가는 길을 연다.
"},{"id":"64997","en":"RoCA: Robust Cross-Domain End-to-End Autonomous Driving","ko":"RoCA: 강건한 Cross-Domain End-to-End 자율 주행","authors":"Rajeev Yasarla, Shizhong Han, Hsin-Pai Cheng, Apratim Bhattacharyya, Shweta Mahajan, Litian Liu, Yunxiao Shi, Risheek Garrepalli, Hong Cai, Fatih Porikli","pos":"#3515","link":"https://openreview.net/forum?id=Hw9EsvumTM","abs":"End-to-end (E2E) autonomous driving has recently emerged as a new paradigm, offering significant potential. However, few studies have looked into the practical challenge of deployment across domains (e.g., cities). Although several works have incorporated Large Language Models (LLMs) to leverage their open-world knowledge, LLMs do not guarantee cross-domain driving performance and may incur prohibitive retraining costs during domain adaptation. In this paper, we propose RoCA, a novel framework for robust cross-domain E2E autonomous driving. RoCA formulates the joint probabilistic distribution over the tokens that encode ego and surrounding vehicle information in the E2E pipeline. Instantiating with a Gaussian process (GP), RoCA learns a set of basis tokens with corresponding trajectories, which span diverse driving scenarios. Then, given any driving scene, it is able to probabilistically infer the future trajectory. By using RoCA together with a base E2E model in source-domain training, we improve the generalizability of the base model, without requiring extra inference computation. In addition, RoCA enables robust adaptation on new target domains, significantly outperforming direct finetuning. We extensively evaluate RoCA on various cross-domain scenarios and show that it achieves strong domain generalization and adaptation performance.
","absKo":"End-to-end(E2E) autonomous driving은 최근 큰 잠재력을 제공하는 새로운 paradigm으로 부상했다. 그러나 도시와 같은 domain 간 배포의 실질적 문제를 다룬 연구는 많지 않다. 여러 연구가 Large Language Model(LLM)을 도입해 open-world knowledge를 활용했지만, LLM이 cross-domain driving performance를 보장하지는 않으며 domain adaptation 시 막대한 retraining cost를 초래할 수 있다. 본 논문에서는 robust cross-domain E2E autonomous driving을 위한 새로운 framework인 RoCA를 제안한다. RoCA는 E2E pipeline에서 ego vehicle과 주변 차량 정보를 인코딩하는 token들에 대한 joint probabilistic distribution을 정식화한다. Gaussian process(GP)로 구체화하면, RoCA는 다양한 driving scenario를 포괄하는 대응 trajectory와 함께 basis token 집합을 학습한다. 그런 다음 주어진 driving scene에 대해 미래 trajectory를 확률적으로 추론할 수 있다. source-domain training에서 RoCA를 base E2E model과 함께 사용함으로써 추가 inference computation 없이 base model의 generalizability를 향상시킨다. 또한 RoCA는 새로운 target domain에 대한 강건한 adaptation을 가능하게 하여 direct finetuning을 크게 능가한다. 우리는 다양한 cross-domain scenario에서 RoCA를 광범위하게 평가하고, 이것이 강력한 domain generalization 및 adaptation 성능을 달성함을 보인다.
"},{"id":"63298","en":"Adaptive Querying with AI Persona Priors","ko":"AI 페르소나 사전지식을 활용한 적응형 질의","authors":"Kaizheng Wang, Yuhang Wu, Assaf Zeevi","pos":"#3601","link":"https://openreview.net/forum?id=YJhBBARWHv","abs":"We study adaptive querying for learning user-dependent quantities of interest, such as responses to held-out items and psychometric indicators, within tight question budgets. Classical Bayesian design and computerized adaptive testing typically rely on restrictive parametric assumptions or expensive posterior approximations, limiting their use in heterogeneous, high-dimensional, and cold-start settings. We introduce a persona-induced latent variable model that represents a user's state through membership in a finite dictionary of AI personas, each offering response distributions produced by a large language model. This yields expressive priors with closed-form posterior updates and efficient finite-mixture predictions, enabling scalable Bayesian design for sequential item selection. Experiments on synthetic data and WorldValuesBench demonstrate that persona-based posteriors deliver accurate probabilistic predictions and an interpretable adaptive elicitation pipeline.
","absKo":"우리는 제한된 question budget 하에서, held-out item에 대한 응답이나 psychometric indicator와 같이 user-dependent quantity of interest를 학습하기 위한 adaptive querying을 연구한다. 고전적인 Bayesian design과 computerized adaptive testing은 일반적으로 제한적인 parametric assumption이나 비용이 큰 posterior approximation에 의존하므로, heterogeneous, high-dimensional, cold-start setting에서의 활용이 제한된다. 우리는 사용자의 상태를 유한한 AI persona dictionary에 속하는 membership으로 나타내는 persona-induced latent variable model을 도입하며, 각 persona는 large language model이 생성한 response distribution을 제공한다. 이를 통해 closed-form posterior update와 효율적인 finite-mixture prediction을 갖는 expressive prior를 얻을 수 있고, sequential item selection을 위한 scalable Bayesian design이 가능해진다. synthetic data와 WorldValuesBench에서의 실험은 persona-based posterior가 정확한 probabilistic prediction과 해석 가능한 adaptive elicitation pipeline을 제공함을 보여준다.
"},{"id":"61283","en":"Amortized Simulation-Based Inference in Generalized Bayes via Neural Posterior Estimation","ko":"Neural Posterior Estimation을 통한 Generalized Bayes의 Amortized Simulation-Based Inference","authors":"Shiyi Sun, Geoff Nicholls, Jeong Lee","pos":"#3602","link":"https://openreview.net/forum?id=ronJusfDvK","abs":"Generalized Bayesian Inference (GBI) tempers a loss with a temperature $\\beta>0$ to mitigate overconfidence and improve robustness under model misspecification, but existing GBI methods typically rely on costly MCMC or SDE-based samplers and must be re-run for each new dataset and each $\\beta$-value. We give the first fully amortized variational approximation to the tempered posterior family $p_\\beta(\\theta\\! \\mid\\! x) \\propto \\pi(\\theta)p(x\\! \\mid\\! \\theta)^\\beta$ by training a single $\\beta$-conditioned neural posterior estimator $q_\\phi(\\theta \\mid x, \\beta)$ that enables sampling in a single forward pass, without simulator calls or inference-time MCMC. We introduce two complementary training routes: (i) synthesizes off-manifold samples $(\\theta, x) \\sim \\pi(\\theta)p(x \\mid \\theta)^\\beta$ and (ii) reweights a fixed base dataset $\\pi(\\theta)p(x \\mid \\theta)$ using self-normalized importance sampling (SNIS), where we show that the SNIS-weighted objective provides a consistent forward-KL fit to the tempered posterior with finite weight variance. Across four standard simulation-based inference (SBI) benchmarks—including the chaotic Lorenz–96 system—our $\\beta$-amortized estimator achieves competitive posterior approximations, in standard two-sample metrics, with non-amortized MCMC-based power-posterior samplers over a wide range of temperatures.","absKo":"Generalized Bayesian Inference (GBI)는 temperature $\\beta>0$로 loss를 tempering하여 overconfidence를 완화하고 model misspecification 하에서 robustness를 개선하지만, 기존 GBI 방법들은 대체로 비용이 큰 MCMC 또는 SDE-based sampler에 의존하며 각 새 dataset과 각 $\\beta$ 값마다 다시 실행되어야 한다. 우리는 하나의 $\\beta$-conditioned neural posterior estimator $q_\\phi(\\theta \\mid x, \\beta)$를 학습하여 tempered posterior family $p_\\beta(\\theta\\! \\mid\\! x) \\propto \\pi(\\theta)p(x\\! \\mid\\! \\theta)^\\beta$에 대한 최초의 완전 amortized variational approximation을 제시한다. 이 추정기는 simulator 호출이나 inference-time MCMC 없이 단일 forward pass로 sampling을 가능하게 한다. 우리는 두 가지 상보적인 training 경로를 도입한다: (i) off-manifold sample $(\\theta, x) \\sim \\pi(\\theta)p(x \\mid \\theta)^\\beta$를 합성하는 방식과 (ii) self-normalized importance sampling (SNIS)을 사용하여 고정된 base dataset $\\pi(\\theta)p(x \\mid \\theta)$를 reweight하는 방식이며, 여기서 SNIS-weighted objective가 유한한 weight variance 하에서 tempered posterior에 대한 일관된 forward-KL fit을 제공함을 보인다. 혼돈적인 Lorenz–96 system을 포함한 네 가지 표준 simulation-based inference (SBI) benchmark 전반에서, 우리의 $\\beta$-amortized estimator는 다양한 temperature 범위에 걸쳐 표준 two-sample metric에서 비-amortized MCMC-based power-posterior sampler와 경쟁력 있는 posterior approximation을 달성한다."},{"id":"60552","en":"Bayesian-LoRA: Probabilistic Low-Rank Adaptation of Large Language Models","ko":"Bayesian-LoRA: 대규모 언어 모델의 확률적 저랭크 적응","authors":"Moule Lin, Shuhao Guan, Andrea Patane, David Gregg, Goetz Botterweck","pos":"#3603","link":"https://openreview.net/forum?id=z3rQmLk4Io","abs":"Large Language Models usually put more emphasis on accuracy and therefore, will guess even when not certain about the prediction, which is especially severe when fine-tuned on small datasets due to the inherent tendency toward miscalibration. In this work, we introduce Bayesian-LoRA, which reformulates the deterministic LoRA update as a probabilistic low-rank representation inspired by Sparse Gaussian Processes. We identify a structural isomorphism (in the functional sense of shared bilinear form, not strict algebraic equivalence) between LoRA's factorization and Kronecker-factored SGP posteriors, and show that LoRA emerges as a limiting case when posterior uncertainty collapses. We conduct extensive experiments on various LLM architectures across commonsense reasoning benchmarks. With only approximately 0.42M additional parameters and ${\\approx}1.2{\\times}$ training cost relative to standard LoRA, Bayesian-LoRA significantly improves calibration across models up to 30B, achieving up to 84\\% ECE reduction and 76\\% NLL reduction while maintaining competitive accuracy for both in-distribution and out-of-distribution (OoD) evaluations.","absKo":"Large Language Models는 대개 정확도에 더 큰 비중을 두기 때문에, 예측에 확신이 없을 때에도 추측하는 경향이 있으며, 특히 작은 dataset으로 fine-tuning할 경우 본질적인 miscalibration 성향 때문에 이 문제가 심해진다. 본 연구에서는 Sparse Gaussian Processes에서 영감을 받은 probabilistic low-rank representation으로 deterministic LoRA update를 재정식화한 Bayesian-LoRA를 소개한다. 우리는 LoRA의 factorization과 Kronecker-factored SGP posterior 사이에 구조적 isomorphism(엄밀한 algebraic equivalence가 아니라 functional sense에서의 공유 bilinear form)을 식별하고, posterior uncertainty가 붕괴할 때 LoRA가 극한적 경우로 나타남을 보인다. 우리는 commonsense reasoning benchmark 전반의 다양한 LLM architecture에 대해 광범위한 실험을 수행한다. standard LoRA 대비 약 0.42M개의 추가 parameter와 ${\\approx}1.2{\\times}$의 training cost만으로, Bayesian-LoRA는 최대 30B 규모의 model까지 calibration을 크게 향상시키며, 최대 84\\% ECE 감소와 76\\% NLL 감소를 달성하는 동시에 in-distribution 및 out-of-distribution (OoD) 평가 모두에서 경쟁력 있는 정확도를 유지한다."},{"id":"66395","en":"Constrained Bayesian Experimental Design via Online Planning","ko":"온라인 계획을 통한 제약 Bayesian 실험 설계","authors":"Yujia Guo, Daolang Huang, Xinyu Zhang, Sammie Katt, Samuel Kaski, Ayush Bharti","pos":"#3604","link":"https://openreview.net/forum?id=47PywA0l3h","abs":"Bayesian experimental design (BED) is a principled framework for data-efficient design of sequential experiments. However, existing BED methods are unable to adapt to dynamic constraints inherent in real-world tasks due to budget limitations, varying costs, or physical constraints that restrict how designs evolve over time. In this paper, we introduce a novel approach to BED that enables constrained optimization of experimental designs by combining offline pre-training of an amortized policy and a posterior network with online multi-step lookahead planning using scenario trees. We empirically demonstrate that our method yields substantially more informative design sequences than existing methods across a range of constrained BED tasks, while incurring only a modest additional computational overhead.
","absKo":"Bayesian experimental design (BED)는 sequential experiment의 data-efficient design을 위한 원리적인 framework이다. 그러나 기존 BED method는 budget 제한, 변하는 비용, 또는 design이 시간에 따라 어떻게 진화할 수 있는지를 제한하는 물리적 제약처럼 실제 task에 내재된 dynamic constraint에 적응하지 못한다. 본 논문에서는 amortized policy와 posterior network의 offline pre-training과 scenario tree를 이용한 online multi-step lookahead planning을 결합하여, experimental design의 constrained optimization을 가능하게 하는 BED에 대한 새로운 접근법을 소개한다. 우리는 우리의 방법이 다양한 constrained BED task 전반에서 기존 method들보다 훨씬 더 informative한 design sequence를 산출하면서도, 추가적인 computational overhead는 비교적 작게 유지함을 실증적으로 보인다.
"},{"id":"61659","en":"Cost-aware Stopping for Bayesian Optimization","ko":"Bayesian Optimization을 위한 비용 인식 중단","authors":"Qian Xie, Linda Cai, Alexander Terenin, Peter Frazier, Ziv Scully","pos":"#3605","link":"https://openreview.net/forum?id=o1Tn2ie0Wy","abs":"In automated machine learning, scientific discovery, and other applications of Bayesian optimization, deciding when to stop evaluating expensive black-box functions in a cost-aware manner is an important but underexplored practical consideration. A natural performance metric for this purpose is the cost-adjusted simple regret, which explicitly captures the trade-off between solution quality and cumulative evaluation cost. Existing stopping rules for Bayesian optimization are either heuristic, or are theoretically grounded but designed to optimize simple regret without accounting for evaluation costs; as a result, they provide no guarantees against unnecessary evaluations when costs are high. We propose a principled cost-aware stopping rule for Bayesian optimization that adapts to varying evaluation costs without heuristic tuning. Our rule is grounded in a theoretical connection to state-of-the-art cost-aware acquisition functions, namely the Pandora's Box Gittins Index (PBGI) and log expected improvement per cost (LogEIPC). When paired with either acquisition function, we prove that the resulting policy satisfies a theoretical guarantee bounding the expected cost-adjusted simple regret. Across synthetic tasks and empirical benchmarks including hyperparameter optimization and neural architecture size search, pairing our stopping rule with PBGI or LogEIPC usually matches or outperforms other acquisition-function--stopping-rule pairs in terms of cost-adjusted simple regret.
","absKo":"자동 machine learning, scientific discovery, 그리고 Bayesian optimization의 다른 응용에서, 비용을 고려하여 expensive black-box function 평가를 언제 멈출지 결정하는 것은 중요하지만 충분히 탐구되지 않은 실용적 고려사항입니다. 이를 위한 자연스러운 성능 지표는 cost-adjusted simple regret이며, 이는 solution quality와 누적 평가 비용 사이의 trade-off를 명시적으로 포착합니다. 기존 Bayesian optimization의 stopping rule은 heuristic이거나, 이론적 기반은 있지만 평가 비용을 고려하지 않고 simple regret을 최소화하도록 설계되어 있습니다. 그 결과 비용이 높을 때 불필요한 평가에 대한 보장을 제공하지 못합니다. 우리는 heuristic tuning 없이 다양한 평가 비용에 적응하는, 원칙적인 cost-aware stopping rule을 제안합니다. 우리의 rule은 state-of-the-art cost-aware acquisition function, 즉 Pandora's Box Gittins Index(PBGI)와 log expected improvement per cost(LogEIPC)와의 이론적 연결에 기반합니다. 두 acquisition function 중 하나와 결합하면, 결과 정책이 기대 cost-adjusted simple regret을 상한하는 이론적 보장을 만족함을 증명합니다. synthetic task와 hyperparameter optimization, neural architecture size search를 포함한 empirical benchmark 전반에서, 우리의 stopping rule을 PBGI 또는 LogEIPC와 결합한 방식은 cost-adjusted simple regret 측면에서 다른 acquisition-function--stopping-rule 조합과 대체로 비슷하거나 더 우수한 성능을 보입니다.
"},{"id":"60726","en":"Doubly Outlier-Robust Online Infinite Hidden Markov Model","ko":"이중 Outlier-Robust 온라인 Infinite Hidden Markov Model","authors":"Horace Yiu, Leandro Sánchez-Betancourt, Alvaro Cartea, Gerardo Duran-Martin","pos":"#3606","link":"https://openreview.net/forum?id=xAZHb0LUW1","abs":"We derive a robust update rule for the online infinite hidden Markov model (iHMM) for when the streaming data contains outliers and the model is misspecified. Leveraging recent advances in generalised Bayesian inference, we define robustness via the posterior influence function (PIF), and provide conditions under which the online iHMM has bounded PIF. Imposing robustness inevitably induces an adaptation lag for regime switching. Our method, which is called Batched Robust iHMM (BR-iHMM), balances adaptivity and robustness with two additional tunable parameters. Across limit order book data, hourly electricity demand, and a synthetic high-dimensional linear system, BR-iHMM reduces one-step-ahead forecasting error by up to 67% relative to competing online Bayesian methods. Together with theoretical guarantees of bounded PIF, our results highlight the practicality of our approach for both forecasting and interpretable online learning.
","absKo":"우리는 스트리밍 데이터에 outlier가 포함되어 있고 model misspecification이 존재할 때 online infinite hidden Markov model(iHMM)을 위한 robust update rule을 유도한다. 일반화 Bayesian inference의 최근 발전을 활용하여, 우리는 robustness를 posterior influence function(PIF)으로 정의하고, online iHMM의 PIF가 bounded가 되는 조건을 제시한다. robustness를 부과하면 regime switching에 대한 adaptation lag이 불가피하게 생긴다. Batched Robust iHMM(BR-iHMM)이라 부르는 우리의 방법은 두 개의 추가적인 조정 가능한 parameter를 통해 adaptivity와 robustness의 균형을 맞춘다. limit order book data, hourly electricity demand, synthetic high-dimensional linear system 전반에서 BR-iHMM은 경쟁 online Bayesian method 대비 one-step-ahead forecasting error를 최대 67%까지 줄인다. bounded PIF에 대한 이론적 보장과 함께, 우리의 결과는 forecasting과 interpretable online learning 모두에서 이 접근의 실용성을 강조한다.
"},{"id":"64710","en":"Flow Matching Calibration for Simulation-Based Inference under Model Misspecification","ko":"모델 오설정 하의 Simulation-Based Inference를 위한 Flow Matching Calibration","authors":"Pierre-Louis Ruhlmann, Michael Arbel, Florence Forbes, Pedro Luiz Coelho Rodrigues","pos":"#3607","link":"https://openreview.net/forum?id=Ke4poDVYTO","abs":"Simulation-based inference (SBI) is transforming experimental sciences by enabling parameter estimation in complex non-linear models from simulated data. A persistent challenge, however, is model misspecification: simulators are only approximations of reality, and mismatches between simulated and real data can yield biased or overconfident posteriors. We address this issue by introducing Flow Matching Corrected Posterior Estimation (FMCPE), a framework that leverages the flow matching paradigm to refine simulation-trained posterior estimators using a small set of calibration samples. Our approach proceeds in two stages: first, a posterior approximator is trained on abundant simulated data; second, flow matching transports its predictions toward the true posterior supported by real observations, without requiring explicit knowledge of the misspecification. This design enables FMCPE to combine the scalability of SBI with robustness to distributional shift. Across synthetic benchmarks and real-world datasets, we show that our proposal consistently mitigates the effects of misspecification, delivering improved inference accuracy and uncertainty calibration compared to standard SBI baselines, while remaining computationally efficient.
","absKo":"Simulation-based inference (SBI)는 시뮬레이션 데이터로부터 복잡한 비선형 모델의 파라미터를 추정할 수 있게 함으로써 실험과학을 변화시키고 있다. 그러나 지속적인 과제는 model misspecification이다. 시뮬레이터는 현실의 근사에 불과하며, 시뮬레이션 데이터와 실제 데이터 간의 불일치는 편향되거나 과도하게 확신하는 posterior를 초래할 수 있다. 우리는 소량의 calibration samples를 사용해 simulation-trained posterior estimator를 정교화하기 위해 flow matching paradigm을 활용하는 Flow Matching Corrected Posterior Estimation (FMCPE)을 도입함으로써 이 문제를 해결한다. 우리의 접근법은 두 단계로 진행된다. 첫째, 풍부한 simulated data로 posterior approximator를 학습한다. 둘째, flow matching이 misspecification에 대한 명시적 지식 없이 그 예측을 실제 관측이 지지하는 true posterior 쪽으로 transport한다. 이러한 설계는 SBI의 확장성과 distributional shift에 대한 강건성을 결합할 수 있게 한다. synthetic benchmark와 real-world dataset 전반에서, 우리의 제안이 misspecification의 영향을 일관되게 완화하고, 표준 SBI baseline보다 더 나은 inference accuracy와 uncertainty calibration을 제공하면서도 계산적으로 효율적임을 보인다.
"},{"id":"65740","en":"GPan-LoRA: Gaussian Process Amortized Networks for Bayesian Low-Rank Adaptation in Large Language Models","ko":"GPan-LoRA: 대형 언어 모델의 Bayesian 저계급 적응을 위한 Gaussian Process 상각 네트워크","authors":"Weifeng Zhang, Wenyuan Zhao, Amir Hossein Rahmati, Yucheng Wang, Zhiyuan Wang, Chao Tian, Xiaoning Qian","pos":"#3609","link":"https://openreview.net/forum?id=AeWUbUjww1","abs":"Principled uncertainty quantification (UQ) is increasingly recognized as essential for trustworthy artificial general intelligence (AGI). Bayesian Low-Rank Adaptation (LoRA) provides a principled mechanism for uncertainty-aware fine-tuning of large language models (LLMs). However, existing techniques either face scalability constraints, e.g. Laplace-LoRA, or rely on approximate inference schemes that lead to poorly calibrated posterior uncertainty, often manifesting as overconfident predictions under distribution shift. To address this challenge, we propose GPan-LoRA, the first scalable Gaussian Process (GP)-based framework for Bayesian LoRA, which integrates neural network-based sparse GP approximations with amortized variational inference. By preserving the Bayesian function prior and posterior semantics intrinsic to GPs, GPan-LoRA achieves a faithful balance between computational scalability and principled UQ. Empirically, GPan-LoRA produces well-calibrated uncertainty that remains reliable under distribution shift, mitigating overconfident failures while preserving competitive task performance.
","absKo":"신뢰할 수 있는 artificial general intelligence (AGI)를 위해서는 원칙적인 uncertainty quantification (UQ)이 점점 더 필수적인 것으로 인식되고 있다. Bayesian Low-Rank Adaptation (LoRA)는 large language models (LLMs)의 uncertainty-aware fine-tuning을 위한 원칙적인 메커니즘을 제공한다. 그러나 기존 기법은 Laplace-LoRA처럼 확장성 제약에 직면하거나, 근사 추론 scheme에 의존하여 posterior uncertainty의 보정이 부정확해지는 경향이 있으며, 이는 distribution shift 하에서 과도한 확신(overconfident) 예측으로 자주 나타난다. 이 문제를 해결하기 위해 우리는 Bayesian LoRA를 위한 최초의 확장 가능한 Gaussian Process (GP) 기반 framework인 GPan-LoRA를 제안한다. 이는 neural network 기반 sparse GP approximation과 amortized variational inference를 통합한다. GP에 내재된 Bayesian function prior와 posterior semantics를 보존함으로써, GPan-LoRA는 계산 확장성과 원칙적인 UQ 사이의 충실한 균형을 달성한다. 실험적으로 GPan-LoRA는 distribution shift 하에서도 신뢰할 수 있는 잘 보정된 uncertainty를 생성하여, 경쟁력 있는 task 성능을 유지하면서도 과도하게 확신하는 실패를 완화한다.
"},{"id":"61623","en":"Improving Few-Shot Design Optimization By Exploiting Auxiliary Information","ko":"보조 정보를 활용한 Few-Shot 설계 최적화 개선","authors":"Arjun Mani, Carl Vondrick, Richard Zemel","pos":"#3610","link":"https://openreview.net/forum?id=oQKiPx8jlI","abs":"Many real-world design problems involve optimizing an expensive black-box function $f(x)$, for which Bayesian Optimization is a sample-efficient framework. However, while the basic black-box setting returns a scalar reward, real-world experiments often generate a wealth of useful information. We introduce a new setting where an experiment generates high-dimensional auxiliary information $h(x)$ along with $f(x)$; moreover, a history of relevant, previously-solved tasks is available for accelerating optimization. We develop a novel method based on a neural model which predicts $f(x)$ for unseen designs given a few-shot context containing observations of $h(x)$. We evaluate our method on two challenging domains, robotic hardware design and hyperparameter tuning. On both domains, our method achieves improved few-shot prediction and faster design optimization, outperforming several multi-task optimization methods.","absKo":"많은 실제 설계 문제는 비용이 큰 black-box function $f(x)$를 최적화하는 과제를 포함하며, Bayesian Optimization은 이를 위한 sample-efficient framework이다. 그러나 기본적인 black-box setting은 scalar reward만 반환하는 반면, 실제 실험은 종종 다양한 유용한 정보를 생성한다. 우리는 실험이 $f(x)$와 더불어 고차원 auxiliary information $h(x)$를 생성하고, 이전에 해결된 관련 task의 이력이 최적화를 가속하기 위해 이용 가능한 새로운 setting을 제안한다. 우리는 $h(x)$의 관측을 포함하는 few-shot context가 주어졌을 때 보지 못한 design에 대한 $f(x)$를 예측하는 neural model 기반의 새로운 방법을 개발한다. 우리는 robotic hardware design과 hyperparameter tuning이라는 두 개의 도전적인 도메인에서 이 방법을 평가한다. 두 도메인 모두에서 우리 방법은 개선된 few-shot prediction과 더 빠른 design optimization을 달성하며, 여러 multi-task optimization method보다 우수한 성능을 보인다."},{"id":"61118","en":"JADAI: Jointly Amortizing Adaptive Design and Bayesian Inference","ko":"JADAI: Adaptive Design과 Bayesian Inference의 공동 Amortization","authors":"Niels Bracher, Lars Kühmichel, Desi Ivanova, Xavier Intes, Paul Buerkner, Stefan Radev","pos":"#3611","link":"https://openreview.net/forum?id=tUpQVC7LvO","abs":"We consider problems of parameter estimation where design variables can be actively optimized to maximize information gain. To this end, we introduce JADAI, a framework that jointly amortizes Bayesian adaptive design and inference by training a policy, a history network, and an inference network end-to-end. The networks minimize a generic loss that aggregates incremental reductions in posterior error along experimental sequences without density evaluations. Inference networks are instantiated with diffusion models that can approximate high-dimensional and multimodal posteriors at every experimental step. JADAI achieves superior or competitive performance across adaptive design benchmarks.
","absKo":"설계 변수를 능동적으로 최적화하여 information gain을 최대화할 수 있는 parameter estimation 문제를 고려한다. 이를 위해, 우리는 policy, history network, inference network를 end-to-end로 학습함으로써 Bayesian adaptive design과 inference를 jointly amortize하는 프레임워크인 JADAI를 제안한다. 이 네트워크들은 density evaluation 없이, 실험 sequence 전반에 걸친 posterior error의 점진적 감소를 누적하는 일반적인 loss를 최소화한다. Inference network는 각 실험 단계마다 고차원 및 multimodal posterior를 근사할 수 있는 diffusion model로 구현된다. JADAI는 adaptive design benchmark 전반에서 우수하거나 경쟁력 있는 성능을 달성한다.
"},{"id":"64230","en":"Normalized Energy Models for Linear Inverse Problems","ko":"선형 역문제를 위한 정규화된 에너지 모델","authors":"Nicolas M Zilberstein, Florentin Guth, Santiago Segarra, Eero Simoncelli","pos":"#3612","link":"https://openreview.net/forum?id=PlFJwgaaDK","abs":"Generative diffusion models can provide powerful priors for inverse problems in imaging, but existing implementations suffer from two key limitations: $(i)$ they learn only an implicit approximation of the prior density, and $(ii)$ they rely on crude likelihood approximations that introduce biases in the sampling. We address these challenges by introducing a new energy-based model trained using denoising score matching with a covariance-based regularization that enforces consistency across different inverse problems. Our approach learns explicit, normalized posterior densities for diverse linear inverse problems using a single model, while preserving the sampling capabilities of diffusion models. This enables new capabilities unavailable to score-based diffusion models: energy-guided adaptive sampling that adjusts schedules on-the-fly, unbiased MCMC correction with Metropolis-Hastings acceptance, and blind degradation estimation via Bayes rule. We validate our method on multiple datasets (MNIST, CelebA, ImageNet) and tasks (inpainting, deblurring), demonstrating competitive or superior performance to established baselines.","absKo":"Generative diffusion models는 imaging inverse problems를 위한 강력한 prior를 제공할 수 있지만, 기존 구현에는 두 가지 핵심 한계가 있다: $(i)$ prior density의 암묵적 근사만 학습하고, $(ii)$ 샘플링에 편향을 유발하는 조잡한 likelihood approximation에 의존한다. 우리는 covariance-based regularization을 사용한 denoising score matching으로 학습되는 새로운 energy-based model을 도입하여 이러한 문제를 해결하며, 이는 서로 다른 inverse problem 전반에서 일관성을 강제한다. 우리의 접근법은 하나의 모델로 다양한 linear inverse problem에 대해 명시적이고 정규화된 posterior density를 학습하는 동시에 diffusion model의 sampling capability는 유지한다. 이를 통해 score-based diffusion models에서는 불가능했던 새로운 기능이 가능해진다: 스케줄을 즉시 조정하는 energy-guided adaptive sampling, Metropolis-Hastings acceptance를 이용한 unbiased MCMC correction, 그리고 Bayes rule을 통한 blind degradation estimation. 우리는 MNIST, CelebA, ImageNet 데이터셋과 inpainting, deblurring 작업에서 방법을 검증했으며, 확립된 baseline들과 경쟁적이거나 그보다 우수한 성능을 보임을 입증했다."},{"id":"66678","en":"Online Bayesian Experimental Design for Partially Observed Dynamical Systems","ko":"부분 관측 동역학 시스템을 위한 온라인 Bayesian 실험 설계","authors":"Sara Pérez-Vieites, Sahel Iqbal, Simo Särkkä, Dominik Baumann","pos":"#3613","link":"https://openreview.net/forum?id=1Rh9assFy5","abs":"Bayesian experimental design (BED) provides a principled framework for optimizing data collection by choosing experiments that are maximally informative about unknown parameters. However, existing methods cannot deal with the joint challenge of (a) partially observable dynamical systems, where only noisy and incomplete observations are available, and (b) fully online inference, which updates posterior distributions and selects designs sequentially in a computationally efficient manner. Under partial observability, dynamical systems are naturally modeled as state-space models (SSMs), where latent states mediate the link between parameters and data, making the likelihood---and thus information-theoretic objectives like the expected information gain (EIG)---intractable. We address these challenges by deriving new estimators of the EIG and its gradient that explicitly marginalize latent states, enabling scalable stochastic optimization in nonlinear SSMs. Our approach leverages nested particle filters for efficient online state-parameter inference with convergence guarantees. Applications to realistic models, such as the susceptible–infectious–recovered (SIR) and a moving source location task, show that our framework successfully handles both partial observability and online inference.
","absKo":"Bayesian experimental design (BED)은 unknown parameter에 대해 최대한 정보를 많이 주는 experiment를 선택함으로써 데이터 수집을 최적화하는 원칙적 framework를 제공한다. 그러나 기존 방법은 (a) partially observable dynamical systems, 즉 noisy하고 불완전한 observation만 이용 가능한 상황, 그리고 (b) posterior distribution을 갱신하고 design을 계산적으로 효율적인 방식으로 순차 선택하는 fully online inference를 동시에 다루지 못한다. partial observability 하에서 dynamical system은 자연스럽게 state-space model (SSM)로 모델링되며, latent state가 parameter와 data 사이의 연결을 매개하므로 likelihood, 그리고 그에 기반한 expected information gain (EIG) 같은 information-theoretic objective가 intractable해진다. 우리는 latent state를 명시적으로 marginalize하는 EIG 및 그 gradient의 새로운 estimator를 유도하여 이러한 문제를 해결하고, nonlinear SSM에서 scalable stochastic optimization을 가능하게 한다. 우리의 접근은 convergence guarantee를 갖는 efficient online state-parameter inference를 위해 nested particle filter를 활용한다. susceptible–infectious–recovered (SIR) 모델과 moving source location task 같은 현실적인 모델에 대한 적용은, 우리의 framework가 partial observability와 online inference를 모두 성공적으로 처리함을 보여준다.
"},{"id":"64513","en":"RED-HDP-HMM: Observation-Dependent Durations for Bayesian Nonparametric Sequential Models","ko":"RED-HDP-HMM: 베이지안 비모수 순차 모델을 위한 관측 의존적 지속시간","authors":"Mikołaj Słupiński, Piotr Lipinski","pos":"#3615","link":"https://openreview.net/forum?id=MqhcqHVc8l","abs":"The Hierarchical Dirichlet Process Hidden Markov Model (HDP-HMM) is a Bayesian nonparametric extension of the classical Hidden Markov Model, well-suited for learning from (spatio-)temporal data. To relax the restrictive geometric assumption on state durations, the HDP Hidden Semi-Markov Model was introduced. However, both models assume stationary state durations, which limits their expressive power. In this work, we extend the HDP-HMM framework by incorporating recurrent explicit duration modeling, resulting in a more general and flexible model: the Recurrent Explicit Duration HDP-HMM (RED-HDP-HMM). We propose a Gibbs sampling method for efficient inference in this model. Empirical results on both synthetic and real-world segmentation tasks demonstrate that RED-HDP-HMM consistently outperforms the disentangled sticky HDP-HMM and the standard sticky HDP-HMM. We provide theoretical results on truncation error, expressiveness relative to HDP-HSMM. Empirically, RED-HDP-HMM yields consistent gains: a 2.6 percentage point accuracy increase on honey bee waggle dance data (89.9\\% vs.~87.3\\%) and 4–10 percentage point improvements on neural segmentation tasks over sticky and disentangled sticky HDP-HMM baselines.
","absKo":"Hierarchical Dirichlet Process Hidden Markov Model (HDP-HMM)은 고전적인 Hidden Markov Model의 Bayesian nonparametric 확장으로, (spatio-)temporal data로부터 학습하는 데 특히 적합하다. 상태 지속 시간에 대한 제한적인 기하학적 가정을 완화하기 위해 HDP Hidden Semi-Markov Model이 도입되었다. 그러나 두 모델 모두 상태 지속 시간이 stationary하다고 가정하므로 표현력이 제한된다. 본 연구에서는 recurrent explicit duration modeling을 통합하여 HDP-HMM 프레임워크를 확장하고, 더 일반적이고 유연한 모델인 Recurrent Explicit Duration HDP-HMM (RED-HDP-HMM)을 제안한다. 우리는 이 모델에서 효율적인 추론을 위한 Gibbs sampling 방법을 제안한다. 합성 데이터와 실제 segmentation task 모두에 대한 실험 결과, RED-HDP-HMM은 disentangled sticky HDP-HMM 및 standard sticky HDP-HMM보다 일관되게 우수함을 보여준다. 우리는 truncation error 및 HDP-HSMM에 대한 expressiveness와 관련된 이론적 결과를 제시한다. 경험적으로 RED-HDP-HMM은 일관된 향상을 보인다. honey bee waggle dance data에서 정확도가 2.6 percentage point 증가했으며(89.9\\% vs.~87.3\\%), neural segmentation task에서는 sticky 및 disentangled sticky HDP-HMM baseline 대비 4–10 percentage point의 향상을 달성했다.
"},{"id":"65385","en":"Control Consistency Losses for Diffusion Bridges","ko":"Diffusion Bridge를 위한 제어 일관성 손실","authors":"Samuel Howard, Nikolas Nüsken, Jakiw Pidstrigach","pos":"#4602","link":"https://openreview.net/forum?id=EA0wpmic0X","abs":"Simulating the conditioned dynamics of diffusion processes, given their initial and terminal states, is an important but challenging problem in the sciences. The difficulty is particularly pronounced for rare events, for which the unconditioned dynamics rarely reach the terminal state. In this work, we propose a novel approach for learning diffusion bridges based on a self-consistency property of the optimal control. The resulting algorithm learns the conditioned dynamics in an iterative online manner, and exhibits strong performance in a range of empirical settings without requiring differentiation through simulated trajectories. Beyond the diffusion bridge setting, we draw connections between our self-consistency framework and recent advances in the wider stochastic optimal control literature.
","absKo":"초기 상태와 terminal state가 주어졌을 때 diffusion process의 conditioned dynamics를 시뮬레이션하는 것은 과학 분야에서 중요하지만 어려운 문제이다. 특히 rare event의 경우, unconditioned dynamics가 terminal state에 좀처럼 도달하지 못하기 때문에 난점이 더 두드러진다. 본 연구에서는 optimal control의 self-consistency property에 기반한 새로운 diffusion bridge 학습 방법을 제안한다. 이로부터 얻어지는 알고리즘은 conditioned dynamics를 iterative online 방식으로 학습하며, simulated trajectories를 따라 differentiation할 필요 없이 다양한 empirical setting에서 강한 성능을 보인다. diffusion bridge setting을 넘어, 우리는 our self-consistency framework와 더 넓은 stochastic optimal control 문헌의 최근 발전 사이의 연결도 제시한다.
"},{"id":"68826","en":"Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning","ko":"모든 Rollout이 유용한 것은 아니다: LLM 강화학습에서 Rollout 다운샘플링","authors":"Yixuan Xu, Yash Savani, Fei Fang, Zico Kolter","pos":"#2012","abs":"Reinforcement learning with verifiable rewards (RLVR) has emerged as the leading approach for enhancing reasoning capabilities in large language models. However, it faces a fundamental compute and memory asymmetry: rollout generation is embarrassingly parallel and memory-light, whereas policy updates are communication-heavy and memory-intensive. To address this, we introduce PODS (Policy Optimization with Down-Sampling), which decouples rollout generation from policy updates by training only on a strategically selected subset of rollouts, maintaining learning quality while dramatically reducing update costs. We propose a principled subset selection criterion—max-variance down-sampling—that maximizes the variance of reward in the selected subset, and provide an efficient $O(n\\log n)$ implementation of this rule. Empirically, Group Relative Policy Optimization (GRPO) coupled with PODS achieves the peak test accuracy of vanilla GRPO at least $\\mathbf{1.7\\times}$ faster across the different reasoning benchmarks and hardware configurations we tested.","absKo":"검증 가능한 보상(verifiable rewards)을 활용한 reinforcement learning(RLVR)은 large language model의 추론 능력을 향상시키는 선도적 접근법으로 부상했습니다. 그러나 이는 근본적인 compute 및 memory 비대칭성에 직면합니다. rollout generation은 본질적으로 병렬화가 쉽고 메모리 사용이 적은 반면, policy update는 communication이 많이 필요하고 메모리 집약적입니다. 이를 해결하기 위해 우리는 PODS(Policy Optimization with Down-Sampling)를 도입합니다. PODS는 전략적으로 선택된 rollout의 부분집합에 대해서만 학습함으로써 rollout generation과 policy update를 분리하고, 학습 품질은 유지하면서 update 비용을 극적으로 줄입니다. 우리는 선택된 부분집합의 보상 분산을 최대화하는, 원칙적인 subset selection criterion인 max-variance down-sampling을 제안하고, 이 규칙의 효율적인 $O(n\\log n)$ 구현을 제공합니다. 실험적으로, PODS와 결합한 Group Relative Policy Optimization(GRPO)은 우리가 테스트한 다양한 reasoning benchmark와 hardware configuration 전반에서 vanilla GRPO의 최고 test accuracy에 비해 최소 $\\mathbf{1.7\\times}$ 더 빠르게 동일 수준에 도달합니다."},{"id":"64243","en":"Learning Interpretable Options by Identifying Reward Diffusion Bottlenecks in Reinforcement Learning","ko":"강화학습에서 보상 확산 병목 식별을 통한 해석 가능한 옵션 학습","authors":"Yiming Fei, Ziming Wang, Rui Yan, Huajin Tang","pos":"#203","link":"https://openreview.net/forum?id=PbHnXll3ln","abs":"Bottleneck states, which connect distinct regions of the state space, provide a principled and interpretable basis for constructing temporal abstractions in Hierarchical Reinforcement Learning (HRL). However, existing bottleneck identification methods primarily rely on topological analysis of the state-transition graph, limiting their scalability to high-dimensional or continuous domains. To address this challenge, we introduce Value Power Strength (VPS), a value function-based metric inspired by the analogy between the Bellman equation and Kirchhoff’s current law, to quantify bottleneck property via the diffusion of reward in Markov Decision Processes (MDPs). VPS is estimated efficiently using value functions learned from random reward signals and captures reward diffusion bottlenecks in both discrete and continuous state spaces. Leveraging VPS, we design options that guide agents toward or away from bottleneck regions. Experimental results on classic tabular domains, MiniGrid, and Atari 2600 games demonstrate that the VPS-based framework discovers semantically meaningful subgoals and substantially improves exploration efficiency.
","absKo":"Bottleneck state는 state space의 서로 다른 region을 연결하며, Hierarchical Reinforcement Learning(HRL)에서 temporal abstraction을 구성하기 위한 원리적이고 해석 가능한 기반을 제공합니다. 그러나 기존의 bottleneck 식별 방법은 주로 state-transition graph의 topological analysis에 의존하므로, 고차원 또는 continuous domain으로의 확장성이 제한됩니다. 이 문제를 해결하기 위해, 우리는 Bellman equation과 Kirchhoff의 전류 법칙 사이의 유사성에서 영감을 받은 value function 기반 metric인 Value Power Strength(VPS)를 도입하여, Markov Decision Process(MDP)에서 reward diffusion을 통해 bottleneck property를 정량화합니다. VPS는 random reward signal로 학습한 value function을 사용해 효율적으로 추정되며, discrete 및 continuous state space 모두에서 reward diffusion bottleneck을 포착합니다. VPS를 활용하여 우리는 agent를 bottleneck region으로 이끌거나 그곳에서 멀어지게 하는 option을 설계합니다. classic tabular domain, MiniGrid, Atari 2600 게임에서의 실험 결과는 VPS 기반 framework가 의미론적으로 유의미한 subgoal을 발견하고 exploration 효율성을 크게 향상시킨다는 것을 보여줍니다."},{"id":"65224","en":"Online Compatible Reward Identification from Preference Feedback","ko":"선호 피드백으로부터의 온라인 호환 보상 식별","authors":"Simone Drago, Marco Mussi, Alberto Maria Metelli","pos":"#4204","link":"https://openreview.net/forum?id=Fd1PINCgs7","abs":"In reinforcement learning, human preference feedback is emerging as a viable alternative to expert-designed reward functions, which can be difficult to engineer in real-world problems. However, despite the growing importance of preference feedback, how to effectively elicit preferences remains a fundamental open problem. This work focuses on the compatible reward identification task. The aim is to derive, starting from preference feedback, a reward function compatible with the observed preferences and accurate across the entire state-action space, ensuring higher transferability, safety, and interpretability. Indeed, the most common reinforcement learning from human feedback objective is to learn the optimal policy, requiring accuracy only in the portion of the state-action space that the agent visits. However, this goal cannot provide the same guarantees as compatible reward identification. First, we discuss commonalities and differences between the two goals. Then, we consider deterministic preferences, deriving the minimum number of interactions needed to identify the set of compatible rewards, and showing that using fewer queries may lead to arbitrarily large suboptimality. Finally, we focus on stochastic preferences generated via the Bradley-Terry (BT) model. We introduce the concepts of query basis and its index, relating them to the problem complexity. Upon this, we discuss the connection between the index of a basis and the BT model, as well as the limitations that the model induces in this setting. Additionally, we devise an algorithm to identify a nearly-optimal query basis with polynomial human query complexity.
","absKo":"reinforcement learning에서 human preference feedback은, 실제 문제에서 설계가 어려울 수 있는 expert-designed reward function의 실용적인 대안으로 부상하고 있다. 그러나 preference feedback의 중요성이 커지고 있음에도, preference를 얼마나 효과적으로 elicitation할 것인가는 여전히 근본적인 open problem이다. 이 연구는 compatible reward identification task에 초점을 맞춘다. 목표는 preference feedback으로부터 관측된 preference와 양립하고 전체 state-action space 전반에서 정확한 reward function을 도출하는 것으로, 더 높은 transferability, safety, interpretability를 보장하는 데 있다. 실제로 가장 일반적인 reinforcement learning from human feedback 목표는 optimal policy를 학습하는 것이며, 이는 agent가 방문하는 state-action space의 일부에서만 정확성을 요구한다. 그러나 이 목표는 compatible reward identification과 동일한 보장을 제공할 수 없다. 먼저 우리는 두 목표의 공통점과 차이점을 논의한다. 그다음 deterministic preference를 고려하여, compatible reward 집합을 식별하는 데 필요한 최소 interaction 수를 유도하고, 더 적은 query를 사용하면 임의로 큰 suboptimality로 이어질 수 있음을 보인다. 마지막으로 우리는 Bradley-Terry (BT) model로 생성되는 stochastic preference에 초점을 맞춘다. 우리는 problem complexity와 연결되는 query basis와 그 index의 개념을 도입한다. 이를 바탕으로 basis의 index와 BT model 사이의 연결, 그리고 이 setting에서 model이 유도하는 한계를 논의한다. 추가로, polynomial human query complexity를 가지는 거의 최적의 query basis를 식별하는 algorithm을 고안한다.
"},{"id":"65771","en":"Reflect-then-Correct: Rebalancing Task Optimization for Generalizable Meta-Reinforcement Learning via Distributional Value Error Reduction","ko":"Reflect-then-Correct: 분포적 가치 오류 감소를 통한 일반화 가능한 메타 강화학습을 위한 작업 최적화 재균형","authors":"Min Wang, Xin Li, Ye He, Mingzhong Wang, Yonggang Zhang","pos":"#2817","link":"https://openreview.net/forum?id=AJMrn5qYih","abs":"Meta-Reinforcement Learning (Meta-RL) faces significant challenges in non-parametric settings, where vastly different return scales across diverse tasks cause severe gradient interference. Existing categorical solutions attempt to normalize these scales but often fail due to rigid discretization and quantization errors. To address this, we propose Reflect-then-Correct (RTC), a framework that models meta-values using Sinkhorn divergence. By treating distributions as adaptive floating particles, RTC achieves a geometry-aware alignment of distinct meta-task structures. However, while Sinkhorn updates harmonize gradients, they introduce statistical bias via sampling estimation. RTC overcomes this by ''reflecting'' on the temporal accumulation of Bellman inconsistencies through a recursive error model and ''correcting'' the optimization via adaptive importance weights that prioritize transitions critical for accuracy. We provide theoretical guarantees for this reweighting strategy and demonstrate that RTC outperforms existing baselines on the challenging Meta-World ML-10 and ML-45 benchmarks.
","absKo":"Meta-Reinforcement Learning(Meta-RL)은 non-parametric setting에서 큰 어려움에 직면한다. 다양한 task 전반에서 return scale이 크게 달라져 심각한 gradient interference가 발생하기 때문이다. 기존의 categorical solution은 이러한 scale을 정규화하려 하지만, 경직된 discretization과 quantization error 때문에 종종 실패한다. 이를 해결하기 위해 우리는 Reflect-then-Correct(RTC)를 제안한다. RTC는 Sinkhorn divergence를 사용해 meta-value를 모델링하는 framework이다. 분포를 적응적인 floating particle로 간주함으로써 RTC는 서로 다른 meta-task 구조의 geometry-aware alignment를 달성한다. 그러나 Sinkhorn update는 gradient를 조화시키는 동시에 sampling estimation을 통해 statistical bias를 유도한다. RTC는 recursive error model을 통해 Bellman inconsistency의 시간적 누적을 ''reflect''하고, 정확성에 중요한 transition을 우선시하는 adaptive importance weight로 optimization을 ''correct''함으로써 이를 극복한다. 우리는 이 reweighting strategy에 대한 이론적 보장을 제공하고, RTC가 어려운 Meta-World ML-10 및 ML-45 benchmark에서 기존 baseline보다 우수함을 보인다.
"},{"id":"61426","en":"Joint-Space Empowerment as a Theory of Dexterous Motor Coordination","ko":"Dexterous Motor Coordination 이론으로서의 Joint-Space Empowerment","authors":"James Heald, Vittorio Caggiano, Vikash Kumar, Maneesh Sahani","pos":"#110","link":"https://openreview.net/forum?id=qI2eHwfNfh","abs":"Searching for effective policies in high-dimensional action spaces is notoriously challenging. This difficulty is compounded in overactuated musculoskeletal systems, where multiple muscles span each joint, and individual muscles actuate multiple joints. Although this redundancy complicates naive policy search, it also implies that effective control can be captured by a low-dimensional action manifold. To identify such a manifold, we introduce joint-space empowerment (JSE), a novel information-theoretic principle that quantifies how much control an agent has over its body. We use JSE to discover high-empowerment action manifolds, and demonstrate that manipulation policies learned on these manifolds show significantly enhanced dexterity, sample efficiency and improved generalization. These results suggest a general principle for motor coordination in high-dimensional, overactuated systems, with implications for both biological motor control and embodied artificial agents.
","absKo":"고차원 action space에서 효과적인 policy를 탐색하는 일은 악명 높게 어렵다. 이러한 어려움은 각 관절을 여러 muscle이 가로지르고, 개별 muscle이 여러 관절을 작동시키는 overactuated musculoskeletal system에서 더욱 심화된다. 이러한 redundancy는 naive policy search를 복잡하게 만들지만, 동시에 효과적인 제어가 저차원 action manifold로 포착될 수 있음을 시사한다. 이러한 manifold를 식별하기 위해 우리는 joint-space empowerment (JSE)를 도입한다. JSE는 에이전트가 자신의 신체를 얼마나 제어할 수 있는지를 정량화하는 새로운 정보이론적 원리이다. 우리는 JSE를 사용해 높은 empowerment를 가진 action manifold를 발견하고, 이 manifold에서 학습한 manipulation policy가 현저히 향상된 dexterity, sample efficiency, 그리고 더 나은 generalization을 보임을 보여준다. 이러한 결과는 생물학적 motor control과 embodied artificial agent 모두에 시사점을 갖는, 고차원 overactuated system에서의 motor coordination에 대한 일반 원리를 제안한다.
"},{"id":"60524","en":"A KL-regularization framework for learning to plan with adaptive priors","ko":"Adaptive Prior로 Planning을 학습하기 위한 KL-Regularization Framework","authors":"Álvaro Serra-Gómez, Daniel Jarne Ornia, Dhruva Tirumala, Thomas M Moerland","pos":"#111","link":"https://openreview.net/forum?id=zO8vzSGgTn","abs":"Effective exploration remains a key challenge in model-based reinforcement learning (MBRL), especially in high-dimensional continuous control tasks where sample efficiency is critical. Recent work addresses this by using learned policies as proposal distributions for Model-Predictive Path Integral (MPPI) planning. Early approaches update the sampling policy independently of the planner, typically via deterministic policy gradients with entropy regularization. However, since the data distribution is induced by the MPPI planner, misalignment between the policy and planner degrades value estimation and long-term performance. To address this, recent methods explicitly align the policy with the planner by minimizing KL divergence to the planner distribution or by incorporating planner-guided regularization. In this work, we unify these approaches under the Policy Optimization–Model Predictive Control (PO-MPC) framework, a family of KL-regularized MBRL methods that treat the planner’s action distribution as a prior in policy optimization. We show how existing methods emerge as special cases of this family and explore previously unstudied variants. Experiments demonstrate that these variants yield significant performance gains, advancing the state of the art in MPPI-based RL.
","absKo":"효과적인 exploration은 model-based reinforcement learning (MBRL)에서 여전히 핵심 과제이며, 특히 sample efficiency가 중요한 고차원 연속 제어 과제에서 더욱 그렇다. 최근 연구는 학습된 policy를 Model-Predictive Path Integral (MPPI) planning의 proposal distribution으로 사용하는 방식으로 이를 다룬다. 초기 접근은 보통 deterministic policy gradient와 entropy regularization을 통해 planner와 독립적으로 sampling policy를 업데이트한다. 그러나 데이터 분포는 MPPI planner에 의해 유도되므로, policy와 planner 간의 불일치는 value estimation과 장기 성능을 저하시킨다. 이를 해결하기 위해 최근 방법들은 policy를 planner distribution에 대해 KL divergence를 최소화하거나 planner-guided regularization을 도입함으로써 명시적으로 정렬한다. 본 연구에서는 이러한 접근을 Policy Optimization–Model Predictive Control (PO-MPC) 프레임워크로 통합한다. 이는 planner의 action distribution을 policy optimization에서 prior로 취급하는 KL-regularized MBRL 방법의 계열이다. 우리는 기존 방법들이 이 계열의 특수한 경우로 어떻게 나타나는지 보이고, 이전에 연구되지 않았던 변형도 탐구한다. 실험은 이러한 변형들이 유의미한 성능 향상을 가져오며, MPPI 기반 RL의 최신 수준을 발전시킴을 보여준다.
"},{"id":"61284","en":"Twice Sequential Monte Carlo for Tree Search","ko":"Tree Search를 위한 Twice Sequential Monte Carlo","authors":"Yaniv Oren, Joery de Vries, Pascal Van der Vaart, Matthijs T. J. Spaan, Wendelin Boehmer","pos":"#112","link":"https://openreview.net/forum?id=rmWRfKECEC","abs":"Model-based reinforcement learning (RL) methods that leverage search are responsible for many milestone breakthroughs in RL. Sequential Monte Carlo (SMC) recently emerged as an alternative to the Monte Carlo Tree Search (MCTS) algorithm which drove these breakthroughs. SMC is easier to parallelize and more suitable to GPU acceleration. However, it also suffers from large variance and path degeneracy which prevent it from scaling well with increased search depth, i.e., increased sequential compute. To address these problems, we introduce Twice Sequential Monte Carlo Tree Search (TSMCTS). Across discrete and continuous environments TSMCTS outperforms the SMC baseline as well as a popular modern version of MCTS as a policy improvement operator, scales favorably with sequential compute, reduces estimator variance and mitigates the effects of path degeneracy while retaining the properties that make SMC natural to parallelize.
","absKo":"Search를 활용하는 model-based reinforcement learning (RL) 방법은 RL의 많은 획기적 돌파구를 이끌어 왔다. Sequential Monte Carlo (SMC)는 최근 이러한 돌파구를 이끈 Monte Carlo Tree Search (MCTS) algorithm의 대안으로 등장했다. SMC는 병렬화가 더 쉽고 GPU acceleration에 더 적합하다. 그러나 동시에 큰 variance와 path degeneracy 문제를 겪어, search depth 증가, 즉 sequential compute 증가에 따라 잘 scale되지 않는다. 이러한 문제를 해결하기 위해 우리는 Twice Sequential Monte Carlo Tree Search (TSMCTS)를 도입한다. 이산 및 연속 환경 전반에서 TSMCTS는 SMC baseline과 policy improvement operator로서 널리 쓰이는 현대적 MCTS 버전을 모두 능가하며, sequential compute가 증가할수록 유리하게 scale되고, estimator variance를 줄이며, path degeneracy의 영향을 완화하는 동시에 SMC를 병렬화하기 자연스럽게 만드는 특성은 유지한다.
"},{"id":"68790","en":"Synthesizing world models for bilevel planning","ko":"Bilevel Planning을 위한 World Model 합성","authors":"Zergham Ahmed, Josh Tenenbaum, Chris Bates, Samuel Gershman","pos":"#113","abs":"Modern reinforcement learning (RL) systems have demonstrated remarkable capabilities in complex environments, such as video games. However, they still fall short of achieving human-like sample efficiency and adaptability when learning new domains. Theory-based reinforcement learning (TBRL) is an algorithmic framework specifically designed to address this gap. Modeled on cognitive theories, TBRL leverages structured, causal world models---theories''---as forward simulators for use in planning, generalization and exploration. Although current TBRL systems provide compelling explanations of how humans learn to play video games, they face several technical limitations: their theory languages are restrictive, and their planning algorithms are not scalable. To address these challenges, we introduce TheoryCoder, an instantiation of TBRL that exploits hierarchical representations of theories and efficient program synthesis methods for more powerful learning and planning. TheoryCoder equips agents with general-purpose abstractions (e.g.,move to''), which are then grounded in a particular environment by learning a low-level transition model (a Python program synthesized from observations by a large language model). A bilevel planning algorithm can exploit this hierarchical structure to solve large domains. We demonstrate that this approach can be successfully applied to diverse and challenging grid-world games, where approaches based on directly synthesizing a policy perform poorly. Ablation studies demonstrate the benefits of using hierarchical abstractions.
현대 reinforcement learning(RL) 시스템은 video game과 같은 복잡한 환경에서 놀라운 능력을 보여 주었다. 그러나 새로운 domain을 학습할 때 인간 수준의 sample efficiency와 adaptability에는 여전히 미치지 못한다. Theory-based reinforcement learning(TBRL)은 이러한 격차를 해소하기 위해 특별히 설계된 algorithmic framework이다. 인지 이론을 모델로 하는 TBRL은 계획, 일반화, 탐색에 사용할 forward simulator로서 구조화된 causal world model, 즉 theories''를 활용한다. 현재의 TBRL 시스템은 인간이 video game을 배우는 과정을 설득력 있게 설명하지만, 몇 가지 기술적 한계를 지닌다. theory language가 제한적이고 planning algorithm이 확장 가능하지 않다. 이러한 문제를 해결하기 위해 우리는 theory의 hierarchical representation과 효율적인 program synthesis method를 활용하여 더 강력한 학습과 계획을 가능하게 하는 TBRL의 구체화인 TheoryCoder를 도입한다. TheoryCoder는 agent에게 일반 목적의 abstraction(예: move to'')을 제공하고, 이후 large language model이 관측으로부터 합성한 Python program인 low-level transition model을 학습하여 이를 특정 환경에 grounding한다. bilevel planning algorithm은 이러한 hierarchical structure를 활용해 대규모 domain을 해결할 수 있다. 우리는 이 접근법이 policy를 직접 합성하는 방식이 성능이 좋지 않은 다양한 고난도 grid-world game에 성공적으로 적용될 수 있음을 보인다. Ablation study는 hierarchical abstraction 사용의 이점을 입증한다.
Planning with a learned model remains a key challenge in model-based reinforcement learning~(RL). In decision-time planning, state representations are critical as they must support local cost computation while preserving long-horizon structure. In this paper, we show that the Laplacian representation provides an effective latent space for planning by capturing state-space distances at multiple time scales. This representation preserves meaningful distances and naturally decomposes long-horizon problems into subgoals, also mitigating the compounding errors that arise over long prediction horizons. Building on these properties, we introduce ALPS, a hierarchical planning algorithm, and demonstrate that it outperforms commonly used baselines on a selection of offline goal-conditioned RL tasks from OGBench, a benchmark previously dominated by model-free methods.
","absKo":"학습된 model로 planning하는 것은 model-based reinforcement learning~(RL)에서 여전히 핵심적인 과제이다. decision-time planning에서는 state representation이 국소적인 cost 계산을 지원하면서도 장기 구조를 보존해야 하므로 특히 중요하다. 이 논문에서는 Laplacian representation이 여러 time scale에서 state-space distance를 포착함으로써 planning을 위한 효과적인 latent space를 제공함을 보인다. 이 representation은 의미 있는 거리를 보존하고, 장기 문제를 subgoal로 자연스럽게 분해하며, 긴 prediction horizon에서 발생하는 error 누적도 완화한다. 이러한 성질을 바탕으로 우리는 hierarchical planning algorithm인 ALPS를 제안하고, OGBench의 offline goal-conditioned RL task들에 대해 흔히 사용되는 baseline을 능가함을 보인다. OGBench는 이전에 model-free method가 우세했던 benchmark이다.
"},{"id":"65174","en":"GTPO and GRPO-S: Token and Sequence-Level Reward Shaping with Policy Entropy","ko":"GTPO와 GRPO-S: 정책 엔트로피를 이용한 토큰 및 시퀀스 수준 보상 조형","authors":"Hongze Tan, Zihan Wang, Jianfei Pan, Jinghao Lin, Hao Wang, Yifan Wu, Tao Chen, Zhihang Zheng, Tang, Haihua Yang","pos":"#120","link":"https://openreview.net/forum?id=G5x5eEZ8yY","abs":"Reinforcement Learning (RL) is pivotal for enhancing Large Language Model (LLM) reasoning, yet mainstream algorithms such as GRPO and DAPO remain constrained by a coarse-grained credit assignment paradigm, where all tokens within the same response receive the identical reward. In this paper, we propose **Dynamic Entropy Weighting**, systematically define entropy-based weight ratios $\\frac{H_{i,t}}{\\sum_{k=1}^{n} H_{k,t}}$ and similar variants to redistribute rewards and get fine-grained rewards through two new algorithms: **Group Token Policy Optimization (GTPO)**, which assigns an entropy-weighted reward to each token and synthesizes token-specific advantage function to drive the model toward optimal path, and the analogous algorithm **Sequence-Level GRPO (GRPO-S)**, which admits a completely similar design at the sequence level. Unlike methods using entropy as mere regularization, GTPO and GRPO-S establish a new state-of-the-art on AIME and MATH 500, outperforming prior entropy-guided baselines and validating our weighting mechanism.","absKo":"Reinforcement Learning (RL)은 Large Language Model (LLM) reasoning 향상에 핵심적이지만, GRPO와 DAPO 같은 주류 알고리즘은 같은 응답 내 모든 token이 동일한 reward를 받는 coarse-grained credit assignment paradigm에 여전히 제약된다. 본 논문에서는 **Dynamic Entropy Weighting**을 제안하고, $\\frac{H_{i,t}}{\\sum_{k=1}^{n} H_{k,t}}$와 유사한 entropy-based weight ratio를 체계적으로 정의하여 reward를 재분배한다. 이를 통해 두 개의 새로운 알고리즘으로 fine-grained reward를 얻는다. 각 token에 entropy-weighted reward를 부여하고 token-specific advantage function을 종합하여 모델을 최적 경로로 유도하는 **Group Token Policy Optimization (GTPO)**, 그리고 sequence level에서 완전히 유사한 설계를 갖는 대응 알고리즘 **Sequence-Level GRPO (GRPO-S)**이다. entropy를 단순한 regularization으로 사용하는 방법들과 달리, GTPO와 GRPO-S는 AIME와 MATH 500에서 새로운 state-of-the-art를 수립했으며, 이전의 entropy-guided baseline을 능가하고 우리의 weighting mechanism을 검증한다."},{"id":"62104","en":"Credit-assigned Policy Gradient for Early Stage Retrieval in Two-stage Ranking","ko":"2단계 랭킹의 초기 검색을 위한 Credit-assigned Policy Gradient","authors":"Haruka Kiyohara, Mihaela Curmei, Ariel Evnine, Shankar Kalyanaraman, Israel Nir, Ana-Roxana Pop, Nitzan Razin, Sarah Dean, Thorsten Joachims, Udi Weinsberg","pos":"#121","link":"https://openreview.net/forum?id=jnguJEJmYP","abs":"Large-scale search, recommendation, and retrieval-augmented generation (RAG) systems typically employ a two-stage architecture: an early-stage ranker (ESR) generates a candidate set, which is subsequently re-ranked by a late-stage ranker (LSR). While there are many reinforcement learning (RL) methods for training the LSR, end-to-end training of the ESR has proven challenging. In particular, naive application of \"vanilla\" policy gradient (V-PG) is not scalable for candidate-set sizes relevant for practical use due to exploding variance. This issue arises because V-PG propagates the gradient to the joint probability of the candidate sets, ignoring the contribution of each specific item in the candidate set to the reward. To mitigate this issue, we propose a novel \"credit-assigned\" PG (CA-PG), which computes gradients with respect to the probability that the target item is chosen in any candidate set, i.e. marginalizing over all candidate sets that contain it. Our theoretical analysis reveals that CA-PG significantly reduces the variance of V-PG by marginalizing over the specific composition of the candidate set, while preserving the ability to learn the correct ranking of actions under a reasonably aligned LSR policy. Experiments on both synthetic and real-world data demonstrate that CA-PG improves the convergence speed and training stability for ESRs utilizing the canonical Plackett-Luce model, especially when the candidate-set size is large.
","absKo":"대규모 search, recommendation, retrieval-augmented generation (RAG) 시스템은 일반적으로 2단계 아키텍처를 사용한다. 초기 단계 ranker(ESR)가 candidate set을 생성하고, 이후 후기 단계 ranker(LSR)가 이를 재정렬한다. LSR을 학습시키기 위한 reinforcement learning (RL) 방법은 많지만, ESR의 end-to-end 학습은 어려운 것으로 입증되었다. 특히, \"vanilla\" policy gradient (V-PG)를 단순 적용하는 방식은 variance 폭발 때문에 실용적으로 중요한 candidate-set 크기에서 확장성이 없다. 이 문제는 V-PG가 gradient를 candidate set의 joint probability에 전파하면서, candidate set 내 각 특정 항목이 reward에 기여하는 정도를 무시하기 때문에 발생한다. 이 문제를 완화하기 위해, 우리는 새로운 \"credit-assigned\" PG (CA-PG)를 제안한다. 이는 target item이 어떤 candidate set에서든 선택될 확률에 대해 gradient를 계산하며, 즉 그 item을 포함하는 모든 candidate set에 대해 marginalization을 수행한다. 우리의 이론적 분석은 CA-PG가 candidate set의 구체적 구성을 marginalize함으로써 V-PG의 variance를 크게 줄이면서도, 충분히 정렬된 LSR policy 하에서 action의 올바른 ranking을 학습할 수 있는 능력은 보존함을 보여준다. 합성 데이터와 실제 데이터 모두에서 수행한 실험은 CA-PG가 canonical Plackett-Luce model을 활용하는 ESR의 convergence speed와 training stability를 향상시키며, 특히 candidate-set 크기가 클 때 그 효과가 두드러짐을 입증한다.
"},{"id":"63129","en":"Learning the Minimum Action Distance","ko":"최소 작용 거리 학습","authors":"Lorenzo Steccanella, Joshua B. Evans, Özgür Şimşek, Anders Jonsson","pos":"#204","link":"https://openreview.net/forum?id=ZnOnnJJghs","abs":"This paper presents a state representation framework for Markov decision processes (MDPs) that can be learned solely from state trajectories, requiring neither reward signals nor the actions executed by the agent. We propose learning the $\\textit{minimum action distance}$ (MAD), defined as the minimum number of actions required to transition between states, as a fundamental metric that captures the underlying structure of an environment. MAD naturally enables critical downstream tasks such as goal-conditioned reinforcement learning and reward shaping by providing a dense, geometrically meaningful measure of progress. Our self-supervised learning approach constructs an embedding space where the distances between embedded state pairs correspond to their MAD, accommodating both symmetric and asymmetric approximations. We evaluate the framework on a comprehensive suite of environments with known MAD values, encompassing both deterministic and stochastic dynamics, as well as discrete and continuous state spaces, and environments with noisy observations. Empirical results demonstrate that the proposed approach not only efficiently learns accurate MAD representations across these diverse settings but also significantly outperforms existing state representation methods in terms of representation quality.","absKo":"본 논문은 오직 state trajectory만으로 학습할 수 있는 Markov decision process(MDP)를 위한 state representation framework를 제시하며, reward signal도 에이전트가 수행한 action도 필요로 하지 않는다. 우리는 환경의 근본 구조를 포착하는 기본 metric으로, state 사이를 전이하는 데 필요한 최소 action 수로 정의되는 $\\textit{minimum action distance}$ (MAD)를 학습할 것을 제안한다. MAD는 progress를 밀도 높고 기하학적으로 의미 있게 측정함으로써 goal-conditioned reinforcement learning과 reward shaping 같은 중요한 downstream task를 자연스럽게 가능하게 한다. 우리의 self-supervised learning 접근법은 embedded state pair 사이의 거리가 MAD에 대응하도록 embedding space를 구성하며, 대칭 및 비대칭 근사를 모두 수용한다. 우리는 결정론적 및 확률론적 dynamics, discrete 및 continuous state space, noisy observation 환경을 모두 포함하고 MAD 값이 알려진 포괄적인 환경 집합에서 이 framework를 평가한다. 실험 결과는 제안한 접근법이 이러한 다양한 설정에서 정확한 MAD representation을 효율적으로 학습할 뿐만 아니라, representation quality 측면에서도 기존 state representation 방법을 크게 능가함을 보여 준다."},{"id":"64382","en":"Phase-Aware Mixture of Experts for Agentic Reinforcement Learning","ko":"에이전트 강화학습을 위한 위상 인식 Mixture of Experts","authors":"Yang Shengtian, Ziteng Cui, Shuo He, Yewen Li, Qingpeng Cai, Peng Jiang, Lei Feng","pos":"#205","link":"https://openreview.net/forum?id=O8jabXEYlQ","abs":"Reinforcement learning (RL) has equipped LLM agents with a strong ability to solve complex tasks. However, existing RL methods normally use a single policy network, causing simplicity bias where simple tasks occupy most parameters and dominate gradient updates, leaving insufficient capacity for complex tasks. A plausible remedy could be employing the Mixture-of-Experts (MoE) architecture in the policy network, as MoE allows different parameters (experts) to specialize in different tasks, preventing simple tasks from dominating all parameters. However, a key limitation of traditional MoE is its token-level routing, where the router assigns each token to specialized experts, which fragments phase-consistent patterns into scattered expert assignments and thus undermines expert specialization. In this paper, we propose Phase-Aware Mixture of Experts (PA-MoE). It first features a lightweight phase router that learns latent phase boundaries directly from the RL objective without pre-defining phase categories. Then, the phase router allocates temporally consistent assignments to the same expert, allowing experts to preserve phase-specific expertise. Experimental results demonstrate the effectiveness of our proposed PA-MoE. Code is available at https://anonymous.4open.science/r/PA-MoE-576C/.
","absKo":"강화학습(Reinforcement learning, RL)은 LLM agent에게 복잡한 task를 해결할 강력한 능력을 부여한다. 그러나 기존 RL 방법은 보통 단일 policy network를 사용하여, 단순한 task가 대부분의 parameter를 차지하고 gradient update를 지배하는 simplicity bias를 유발하며, 복잡한 task를 위한 capacity가 부족해진다. 가능한 해결책은 policy network에 Mixture-of-Experts(MoE) architecture를 도입하는 것이다. MoE는 서로 다른 parameter(expert)가 서로 다른 task를 전문적으로 담당할 수 있게 하여, 단순한 task가 모든 parameter를 지배하는 것을 막을 수 있기 때문이다. 그러나 기존 MoE의 핵심 한계는 token-level routing에 있으며, 여기서 router는 각 token을 특화된 expert에 할당한다. 이로 인해 phase가 일관된 패턴이 흩어진 expert assignment로 분절되고, 결국 expert specialization이 약화된다. 본 논문에서는 Phase-Aware Mixture of Experts(PA-MoE)를 제안한다. 이는 먼저 경량 phase router를 통해 phase 범주를 미리 정의하지 않고도 RL objective에서 직접 latent phase boundary를 학습한다. 이후 phase router가 시간적으로 일관된 할당을 동일한 expert에 부여하여, expert가 phase-specific expertise를 보존할 수 있게 한다. 실험 결과는 제안한 PA-MoE의 효과를 입증한다. 코드는 https://anonymous.4open.science/r/PA-MoE-576C/ 에서 확인할 수 있다."},{"id":"62953","en":"UCPO: Uncertainty-Aware Policy Optimization","ko":"UCPO: 불확실성 인식 Policy Optimization","authors":"Xianzhou Zeng, Jing Huang, Chunmei Xie, Gongrui Nan, Siye Chen, Mengyu Lu, Weiqi Xiong, Qixuan Zhou, Junhao Zhang, Qiang Zhu, Yadong Li, Xingzhong Xu","pos":"#206","link":"https://openreview.net/forum?id=bVCUx0gwyk","abs":"The key to building trustworthy Large Language Models (LLMs) lies in endowing them with inherent uncertainty expression capabilities to mitigate the hallucinations that restrict their high-stakes applications. However, existing RL paradigms such as GRPO often suffer from Advantage Bias due to binary decision spaces and static uncertainty rewards, inducing either excessive conservatism or overconfidence. To tackle this challenge, this paper unveils the root causes of reward hacking and overconfidence in current RL paradigms incorporating uncertainty-based rewards, based on which we propose the UnCertainty-Aware Policy Optimization (UCPO) framework. UCPO employs Ternary Advantage Decoupling to separate and independently normalize deterministic and uncertain rollouts, thereby eliminating advantage bias. Furthermore, a Dynamic Uncertainty Reward Adjustment mechanism is introduced to calibrate uncertainty weights in real-time according to model evolution and instance difficulty. Experimental results in mathematical reasoning and general tasks demonstrate that UCPO effectively resolves the reward imbalance, significantly enhancing model reliability and calibration beyond their knowledge boundaries.
","absKo":"신뢰할 수 있는 Large Language Models (LLMs)를 구축하는 핵심은, 고위험 응용을 제약하는 hallucination을 완화하기 위해 내재적 uncertainty expression 능력을 부여하는 데 있다. 그러나 GRPO와 같은 기존 RL 패러다임은 binary decision space와 정적인 uncertainty reward 때문에 Advantage Bias를 겪는 경우가 많아, 과도한 보수성 또는 과신을 초래한다. 이 문제를 해결하기 위해, 본 논문은 uncertainty-based reward를 포함하는 현재 RL 패러다임에서 reward hacking과 overconfidence의 근본 원인을 밝혀내고, 이를 바탕으로 UnCertainty-Aware Policy Optimization (UCPO) 프레임워크를 제안한다. UCPO는 Ternary Advantage Decoupling을 사용해 결정적 rollout과 불확실한 rollout을 분리하고 각각을 독립적으로 정규화함으로써 advantage bias를 제거한다. 또한, Dynamic Uncertainty Reward Adjustment 메커니즘을 도입해 모델 진화와 instance 난이도에 따라 uncertainty weight를 실시간으로 보정한다. 수학적 추론과 일반 task에서의 실험 결과는 UCPO가 reward imbalance를 효과적으로 해소하고, 지식 경계를 넘어서는 모델의 신뢰성과 calibration을 크게 향상시킴을 보여준다.
"},{"id":"64800","en":"NonZero: Interaction-Guided Exploration for Multi-Agent Monte Carlo Tree Search","ko":"NonZero: Multi-Agent Monte Carlo Tree Search를 위한 상호작용 유도 탐색","authors":"Sizhe Tang, Zuyuan Zhang, Mahdi Imani, Tian Lan","pos":"#217","link":"https://openreview.net/forum?id=Jh6gq9QsFa","abs":"Monte Carlo Tree Search (MCTS) scales poorly in cooperative multi-agent domains because expansion must consider an exponentially large set of joint actions, severely limiting exploration under realistic search budgets. We propose \\textsc{NonZero}, which keeps multi-agent MCTS tractable by running surrogate-guided selection over a low-dimensional nonlinear representation using an interaction-guided proposal rule, instead of directly exploring the full joint-action space. Our exploration uses an interaction score: single-agent deviations are ranked by predicted gain, while two-agent deviations are scored by a mixed-difference measure that reveals coordination benefits even when no single agent can improve alone. We formalize candidate proposal as a bandit problem over local deviations and derive a proposal rule, \\textsc{NonUCT}, with a sublinear local-regret guarantee for reaching approximate graph-local optima without enumerating the joint-action space. Empirically, \\textsc{NonZero} improves sample efficiency and final performance on MatGame, SMAC, and SMACv2 relative to strong model-based and model-free baselines under matched search budgets.
","absKo":"Monte Carlo Tree Search (MCTS)는 cooperative multi-agent domain에서 expansion이 지수적으로 큰 joint actions 집합을 고려해야 하므로 확장성이 떨어지고, 현실적인 search budget 하에서 exploration이 크게 제한된다. 우리는 \\textsc{NonZero}를 제안한다. 이 방법은 joint-action space 전체를 직접 탐색하는 대신 interaction-guided proposal rule을 사용해 저차원 비선형 표현 위에서 surrogate-guided selection을 수행함으로써 multi-agent MCTS를 tractable하게 유지한다. 우리의 exploration은 interaction score를 사용한다. 단일 agent deviation은 예측된 gain에 따라 순위가 매겨지고, 두 agent deviation은 어떤 단일 agent도 혼자서는 개선할 수 없을 때에도 coordination benefit을 드러내는 mixed-difference measure로 점수가 매겨진다. 우리는 candidate proposal을 local deviation 위의 bandit problem으로 정식화하고, joint-action space를 열거하지 않고도 approximate graph-local optimum에 도달하기 위한 sublinear local-regret guarantee를 갖는 proposal rule \\textsc{NonUCT}를 도출한다. 실험적으로 \\textsc{NonZero}는 MatGame, SMAC, SMACv2에서 강력한 model-based 및 model-free baseline과 같은 search budget 조건 하에 sample efficiency와 최종 성능을 향상시킨다.
"},{"id":"67153","en":"Position: RL Should Be Used to Adjust Foundation Models, NOT Abused","ko":"Position: RL은 Foundation Model을 조정하는 데 사용되어야지 남용되어서는 안 된다","authors":"Ting Huang, Zeyu Zhang, Hao Tang","pos":"#2603","link":"https://openreview.net/forum?id=Q83EEeC6ce","abs":"This position paper argues that reinforcement learning (RL) should be used to adjust foundation models after pretraining and cold-start supervision, not abused as a default recipe for capability creation or early-stage training. We view RL as a high-cost, high-leverage post-training operator that reallocates probability mass toward behaviors a model can already express, but rarely creates new reasoning capacities from scratch in a compute-efficient, stable, and controllable way. This distinction matters now because “RL-zero” narratives risk normalizing expensive and brittle RL-first pipelines as the primary path to reasoning, even though practice increasingly shows that cold-start supervision is a prerequisite for reliable RL and that RL is most effective as targeted refinement. Across modalities and domains, we emphasize a recurring regularity: supervision establishes usable reasoning structure, while RL mainly sharpens correctness, consistency, and constraint satisfaction, especially under hard constraints or distribution shift. We further argue for reward minimalism: simple, verifiable rewards often suffice and reduce proxy-driven failure modes relative to over-engineered reward models. Finally, we discuss how self-supervised RL can support self-evolution when grounded in verifiable signals and structured interaction environments. Together, these arguments motivate treating RL as a disciplined adjustment stage with explicit entry criteria and compute-accountable evaluation.
","absKo":"이 포지션 페이퍼는 reinforcement learning(RL)을 pretraining과 cold-start supervision 이후에 foundation model을 조정(adjust)하는 데 사용해야 하며, 능력 창출이나 초기 단계 훈련을 위한 기본 레시피로 남용(abused)해서는 안 된다고 주장한다. 우리는 RL을 모델이 이미 표현할 수 있는 행동 쪽으로 probability mass를 재배분하는, 비용은 높지만 활용도도 높은 post-training 연산자로 보며, compute 효율적이고 안정적이며 제어 가능한 방식으로 새로운 추론 능력을 무에서 창조하는 것은 거의 없다고 본다. 이 구분이 중요한 이유는, \"RL-zero\" 서사가 reasoning으로 가는 주 경로로서 비싸고 취약한 RL-first 파이프라인을 정상화할 위험이 있기 때문이다. 반면 실무는 점점 더 cold-start supervision이 신뢰할 수 있는 RL의 전제조건이며, RL은 표적화된 refinement로서 가장 효과적임을 보여주고 있다. 다양한 modality와 도메인 전반에서 우리는 반복적으로 나타나는 규칙성을 강조한다. supervision은 사용 가능한 reasoning 구조를 확립하는 반면, RL은 특히 강한 제약이나 distribution shift 하에서 정합성, 일관성, 제약 만족을 주로 날카롭게 만든다. 더 나아가 우리는 reward minimalism을 옹호한다. 단순하고 검증 가능한 reward만으로도 충분한 경우가 많으며, 지나치게 정교한 reward model에 비해 proxy-driven failure mode를 줄여 준다. 마지막으로, 검증 가능한 신호와 구조화된 상호작용 환경에 기반할 때 self-supervised RL이 self-evolution을 지원할 수 있는 방법을 논의한다. 종합하면, 이러한 논점들은 RL을 명시적인 진입 기준과 compute-accountable 평가를 갖춘 절제된 조정 단계로 취급해야 한다는 점을 시사한다.
"},{"id":"68705","en":"Optimizing Return Distributions with Distributional Dynamic Programming","ko":"Distributional Dynamic Programming을 통한 Return 분포 최적화","authors":"Bernardo Ávila Pires, Mark Rowland, Diana Borsa, Zhaohan Guo, Khimya Khetarpal, Andre Barreto, David Abel, R{{\\'e}}mi Munos, Will Dabney","pos":"#313","abs":"We introduce distributional dynamic programming (DP) methods for optimizing statistical functionals of the return distribution, with standard reinforcement learning as a special case. Previous distributional DP methods could optimize the same class of expected utilities as classic DP. To go beyond, we combine distributional DP with stock augmentation, a technique previously introduced for classic DP in the context of risk-sensitive RL, where the MDP state is augmented with a statistic of the rewards obtained since the first time step. We find that a number of recently studied problems can be formulated as stock-augmented return distribution optimization, and we show that we can use distributional DP to solve them. We analyze distributional value and policy iteration, with bounds and a study of what objectives these distributional DP methods can or cannot optimize. We describe a number of applications outlining how to use distributional DP to solve different stock-augmented return distribution optimization problems, for example maximizing conditional value-at-risk, and homeostatic regulation. To highlight the practical potential of stock-augmented return distribution optimization and distributional DP, we introduce an agent that combines DQN and the core ideas of distributional DP, and empirically evaluate it for solving instances of the applications discussed.
","absKo":"우리는 return distribution의 statistical functional을 최적화하기 위한 distributional dynamic programming (DP) 방법을 소개하며, standard reinforcement learning은 그 특수한 경우로 볼 수 있다. 이전의 distributional DP 방법은 classic DP가 최적화할 수 있는 것과 동일한 클래스의 expected utility만을 최적화할 수 있었다. 이를 넘어, 우리는 distributional DP와 stock augmentation을 결합한다. stock augmentation은 risk-sensitive RL 맥락에서 classic DP에 대해 이전에 도입된 기법으로, MDP state를 첫 time step 이후 획득한 reward의 statistic으로 확장한다. 우리는 최근 연구된 여러 문제가 stock-augmented return distribution optimization으로 정식화될 수 있음을 발견하고, distributional DP를 사용해 이를 해결할 수 있음을 보인다. 우리는 distributional value iteration과 policy iteration을 분석하며, 이 distributional DP 방법들이 최적화할 수 있거나 없는 objective에 대한 bound와 고찰을 제시한다. 또한 conditional value-at-risk를 최대화하거나 homeostatic regulation을 수행하는 등 서로 다른 stock-augmented return distribution optimization 문제를 해결하기 위해 distributional DP를 어떻게 사용할 수 있는지 설명하는 여러 응용을 기술한다. stock-augmented return distribution optimization과 distributional DP의 실용적 잠재력을 강조하기 위해, 우리는 DQN과 distributional DP의 핵심 아이디어를 결합한 agent를 도입하고, 제시한 응용들의 사례들을 해결하는 데 대해 이를 실증적으로 평가한다.
"},{"id":"64791","en":"CPMöbius: Iterative Coach–Player Reasoning for Data-Free Reinforcement Learning","ko":"CPMöbius: Data-Free Reinforcement Learning을 위한 반복적 Coach-Player 추론","authors":"Ran Li, Zeyuan Liu, Yinghao Chen, Bingxiang He, Jiarui Yuan, Zixuan Fu, Weize Chen, Jinyi Hu, Chen Qian, Zhiyuan Liu, Maosong Sun","pos":"#4010","link":"https://openreview.net/forum?id=JlX4RDitRr","abs":"Large Language Models (LLMs) have demonstrated strong potential in complex reasoning, yet their progress remains fundamentally constrained by reliance on massive high-quality human-curated tasks and labels, either through supervised fine-tuning (SFT) or reinforcement learning (RL) on reasoning-specific data. This dependence renders supervision-heavy training paradigms increasingly unsustainable, with signs of diminishing scalability already evident in practice. To overcome this limitation, we introduce CPMöbius, a collaborative Coach–Player paradigm for data-free reinforcement learning of reasoning models. Unlike traditional adversarial self-play frameworks, CPMöbius inspired by multi-agent collaboration treats the Coach and Player as independent but cooperative roles. The Coach proposes instructions targeted at the Player’s capability and receives rewards based on changes in the Player’s performance, while the Player is rewarded for solving the increasingly instructive tasks generated by the Coach. This cooperative optimization loop is designed to directly enhance the Player’s mathematical reasoning ability. Remarkably, CPMöbius achieves substantial improvement without relying on any external training data, outperforming existing unsupervised approaches. For example, on the Qwen2.5-Math-7B-Instruct, our method improves accuracy by overall average +4.9 and out-of-distribution average +5.4, which exceed RENT for +1.5 on overall accuracy and R-zero for +4.2 on OOD accuracy.
","absKo":"Large Language Models (LLMs)은 복잡한 추론에서 강력한 잠재력을 보여 주었지만, 그 진전은 supervised fine-tuning (SFT) 또는 reasoning-specific data에 대한 reinforcement learning (RL)을 통해서든 대규모의 고품질 human-curated task와 label에 대한 의존에 의해 근본적으로 제약되어 왔다. 이러한 의존성은 supervision-heavy training paradigm을 점점 더 지속 불가능하게 만들고 있으며, 실제 환경에서도 확장성 저하의 징후가 이미 나타나고 있다. 이 한계를 극복하기 위해 우리는 추론 모델의 data-free reinforcement learning을 위한 협력적 Coach–Player paradigm인 CPMöbius를 도입한다. 기존의 적대적 self-play framework와 달리, multi-agent collaboration에서 영감을 받은 CPMöbius는 Coach와 Player를 독립적이지만 협력적인 역할로 다룬다. Coach는 Player의 능력에 맞춘 instruction을 제안하고 Player의 성능 변화에 따라 보상을 받으며, Player는 Coach가 생성한 점점 더 교훈적인 task를 해결할 때 보상을 받는다. 이 협력적 optimization loop는 Player의 수학적 추론 능력을 직접 향상시키도록 설계되었다. 놀랍게도 CPMöbius는 어떠한 외부 training data에도 의존하지 않고도 상당한 성능 향상을 달성하며, 기존의 unsupervised approach를 능가한다. 예를 들어 Qwen2.5-Math-7B-Instruct에서 우리의 방법은 전체 평균 정확도를 +4.9, out-of-distribution 평균을 +5.4 향상시키며, 이는 전체 정확도에서 RENT의 +1.5, OOD 정확도에서 R-zero의 +4.2를 상회한다.
"},{"id":"64723","en":"Action Manifold Smoothing: A Lipschitz Pathway Perspective on High-Dimensional Reinforcement Learning","ko":"Action Manifold Smoothing: 고차원 Reinforcement Learning에 대한 Lipschitz Pathway 관점","authors":"Zhihao Lin","pos":"#4013","link":"https://openreview.net/forum?id=KUPvnRtcZW","abs":"High-dimensional continuous control remains challenging in deep reinforcement learning, where algorithms like TD3 and SAC often collapse. We propose a unifying \\textbf{Lipschitz Pathway} framework that decomposes instability into four amplification stages, namely action parameterization ($L_1$), dynamics sensitivity ($L_2$), Q-network curvature ($L_3$), and temporal-difference (TD) target stability ($L_4$), where errors compound multiplicatively along the learning pipeline. Our analysis identifies a \\textit{discrete-continuous mismatch} as the root cause: value functions trained from sparse point samples must generalize over continuous manifolds, leading to multiplicative error amplification along the pathway. To address this, we introduce \\textbf{Action Manifold Smoothing (AMS)}, which replaces point-wise TD targets with orthogonally-sampled neighborhood averages, jointly regularizing $L_3$ (via implicit Laplacian smoothing) and $L_4$ (via local manifold supervision). We further characterize when Lipschitz-constrained Q-networks and geometric action priors are beneficial based on task structure. Empirically, AMS enables both TD3 and SAC to achieve over 400 reward on the 38-D Dog Run task within 1M steps, where baselines fail. These results validate the Lipschitz pathway as a principled framework for diagnosing and solving stability bottlenecks in high-dimensional control.","absKo":"고차원 연속 제어는 deep reinforcement learning에서 여전히 어렵습니다. TD3와 SAC 같은 알고리즘은 자주 붕괴합니다. 우리는 불안정성을 네 개의 amplification stage로 분해하는 통합적 \\textbf{Lipschitz Pathway} framework를 제안합니다. 즉 action parameterization ($L_1$), dynamics sensitivity ($L_2$), Q-network curvature ($L_3$), temporal-difference (TD) target stability ($L_4$)이며, 학습 파이프라인을 따라 오류가 곱셈적으로 누적됩니다. 우리의 분석은 근본 원인으로 \\textit{discrete-continuous mismatch}를 지목합니다. 희소한 point sample로 학습된 value function은 연속 manifold 전반으로 일반화해야 하며, 이로 인해 pathway를 따라 곱셈적 error amplification이 발생합니다. 이를 해결하기 위해, 우리는 \\textbf{Action Manifold Smoothing (AMS)}을 도입합니다. 이는 point-wise TD target을 orthogonally-sampled neighborhood average로 대체하여 $L_3$를 implicit Laplacian smoothing으로, $L_4$를 local manifold supervision으로 공동 정규화합니다. 또한 task structure에 따라 Lipschitz-constrained Q-network와 geometric action prior가 언제 유익한지 추가로 특성화합니다. 실험적으로 AMS는 TD3와 SAC가 모두 1M step 내에 38-D Dog Run task에서 400 이상의 reward를 달성하도록 하며, baseline은 실패합니다. 이러한 결과는 Lipschitz pathway가 고차원 제어에서 안정성 병목을 진단하고 해결하기 위한 원리적인 framework임을 검증합니다."},{"id":"64105","en":"Adaptive Reinforcement Learning for Unobservable Random Delays","ko":"관측 불가능한 무작위 지연을 위한 적응형 강화학습","authors":"John Wikman, Alexandre Proutiere, David Broman","pos":"#405","link":"https://openreview.net/forum?id=QpgIOT06k3","abs":"In standard reinforcement learning (RL) settings, the interaction between the agent and the environment is typically modeled as a Markov decision process (MDP), which assumes that the agent observes the system state instantaneously, selects an action without delay, and executes it immediately. In real-world dynamic environments, such as cyber-physical systems, this assumption often breaks down due to delays in the interaction between the agent and the system. These delays can vary stochastically over time and are typically unobservable when deciding on an action. Existing methods deal with this uncertainty conservatively by assuming a known fixed upper bound on the delay, even if the delay is often much lower. In this work, we introduce the interaction layer, a general framework that enables agents to adaptively handle unobservable and time-varying delays. Specifically, the agent generates a matrix of possible future actions, anticipating a horizon of potential delays, to handle both unpredictable delays and lost action packets sent over networks. Building on this framework, we develop a model-based algorithm, Actor-Critic with Delay Adaptation (ACDA), which dynamically adjusts to delay patterns. Our method significantly outperforms state-of-the-art approaches across a wide range of locomotion benchmark environments, including real-world measured delays.
","absKo":"표준 reinforcement learning (RL) 설정에서 agent와 environment의 상호작용은 일반적으로 Markov decision process (MDP)로 모델링되며, 이는 agent가 system state를 즉시 관측하고, 지연 없이 action을 선택하며, 그것을 즉시 실행한다고 가정한다. cyber-physical system과 같은 실제 동적 환경에서는 agent와 system 사이의 상호작용 지연 때문에 이 가정이 자주 무너진다. 이러한 지연은 시간에 따라 확률적으로 변할 수 있으며, 보통 action을 결정할 때 관측 불가능하다. 기존 방법들은 지연이 종종 훨씬 더 작더라도 알려진 고정 상한을 가정하여 이 불확실성을 보수적으로 다룬다. 본 연구에서는 agent가 관측 불가능하고 시간에 따라 변하는 지연을 적응적으로 처리할 수 있게 하는 일반 프레임워크인 interaction layer를 도입한다. 구체적으로, agent는 잠재적 지연의 horizon을 예상하여 가능한 미래 action의 행렬을 생성함으로써, 예측 불가능한 지연과 네트워크를 통해 전송된 action packet의 손실 모두를 다룬다. 이 프레임워크를 바탕으로 우리는 지연 패턴에 동적으로 적응하는 model-based algorithm인 Actor-Critic with Delay Adaptation (ACDA)를 개발한다. 우리의 방법은 실제 측정된 지연을 포함하여 locomotion benchmark environment 전반에서 최신 접근법을 크게 능가한다.
"},{"id":"62167","en":"Hierarchical Decision Making with Structured Policies: A Principled Design via Inverse Optimization","ko":"Structured Policies를 통한 계층적 Decision Making: Inverse Optimization 기반 원칙적 설계","authors":"Yuexuan Wang, Jingyuan Zhou, Kaidi Yang","pos":"#413","link":"https://openreview.net/forum?id=j7jawOCTJp","abs":"Hierarchical decision-making frameworks are pivotal for addressing complex control tasks, enabling agents to decompose intricate problems into manageable subgoals. Despite their promise, existing hierarchical policies face critical limitations: (i) reinforcement learning (RL)-based methods struggle to guarantee strict constraint satisfaction, and (ii) optimal control (OC)-based approaches often rely on myopic and computationally prohibitive formulations. To reconcile these trade-offs, hierarchical RL-OC architectures have emerged as a promising paradigm. However, the formulation of the lower-level optimization within these frameworks remains underexplored, often relying on heuristic or myopic objectives. In this work, we propose a principled framework that systematically integrates upper-level goal abstraction with structured lower-level decision making. We adopt an inverse optimization approach to inform the structure of the lower-level problem from expert demonstrations, ensuring that the objective of the lower-level policy remains aligned with the overall long-term task goal. To validate the approach, our framework is evaluated on distinct decision making tasks: network-based resource allocation and continuous collision avoidance. Empirical results demonstrate that our method consistently outperforms strong baselines based on end-to-end RL, learning-augmented optimal control, and existing hierarchical RL approaches in both efficiency and decision quality.
","absKo":"계층적 의사결정 프레임워크는 복잡한 control task를 다루는 데 핵심적이며, agent가 복잡한 문제를 관리 가능한 subgoal로 분해할 수 있게 한다. 이러한 잠재력에도 불구하고, 기존의 hierarchical policy는 중대한 한계를 가진다. (i) reinforcement learning(RL) 기반 방법은 엄격한 constraint satisfaction을 보장하기 어렵고, (ii) optimal control(OC) 기반 접근은 종종 근시안적이며 계산적으로 과도한 formulation에 의존한다. 이러한 상충을 조화시키기 위해 hierarchical RL-OC architecture가 유망한 패러다임으로 부상했다. 그러나 이러한 framework에서 lower-level optimization의 formulation은 충분히 탐구되지 않았으며, 대개 heuristic하거나 근시안적인 objective에 의존한다. 본 연구에서는 upper-level goal abstraction과 구조화된 lower-level decision making을 체계적으로 통합하는 원칙적인 framework를 제안한다. 우리는 expert demonstration으로부터 lower-level problem의 구조를 유도하기 위해 inverse optimization 접근을 채택하며, 이를 통해 lower-level policy의 objective가 전체 long-term task goal과 일관되게 유지되도록 보장한다. 제안 방법을 검증하기 위해, 우리의 framework는 network-based resource allocation과 continuous collision avoidance라는 서로 다른 decision making task에서 평가되었다. 실험 결과는 우리의 방법이 end-to-end RL, learning-augmented optimal control, 기존 hierarchical RL approach에 기반한 강력한 baseline을 효율성과 의사결정 품질 모두에서 일관되게 능가함을 보여준다.
"},{"id":"65477","en":"Hierarchical Reinforcement Learning for Sparse-Reward Search in Commutative Algebra","ko":"가환 대수에서 희소 보상 탐색을 위한 계층적 강화학습","authors":"Giorgi Butbaia, Paul Orland, Coco Huang, Davide Passaro, Lucas Fagan, Michele Tarquini, Hailong Dao, David Eisenbud, Ali Shehper, Sergei Gukov","pos":"#414","link":"https://openreview.net/forum?id=DF6jVG4fG8","abs":"Applying machine learning techniques to solving long-standing mathematical conjectures can be particularly challenging due to their extreme reward sparsity. As an illustrative example, we consider Kalai's algebraic Hirsch conjecture and recast the construction of its counterexamples as a sparse-reward reinforcement learning problem on graphs. We propose a constrained options-based HRL framework with an equivariant graph neural network policy, which allows us to learn useful temporal abstractions for this task. We evaluate our approach over a wide range of degrees and demonstrate that it consistently outperforms classical RL algorithms as well as greedy search. By exploiting the hierarchical structure of the problem, we effectively provide a first-of-its-kind application of HRL to a problem in commutative algebra.
","absKo":"오래된 수학적 추측에 machine learning 기법을 적용하는 일은 극심한 reward sparsity 때문에 특히 어렵다. 예시로, 우리는 Kalai의 algebraic Hirsch conjecture를 고려하고 그 counterexample 구성 문제를 graph 위의 sparse-reward reinforcement learning 문제로 재정식화한다. 우리는 equivariant graph neural network policy를 갖는 constrained options-based HRL framework를 제안하며, 이를 통해 이 작업에 유용한 temporal abstraction을 학습할 수 있다. 우리는 다양한 degree 범위에서 방법을 평가하고, 이 접근법이 classical RL algorithm과 greedy search를 일관되게 능가함을 보인다. 문제의 hierarchical structure를 활용함으로써, 우리는 commutative algebra 문제에 대한 HRL의 선도적 적용 사례를 효과적으로 제시한다.
"},{"id":"61877","en":"Distributional Active Inference","ko":"분포적 Active Inference","authors":"Abdullah Akgül, Gulcin Baykal, Manuel Haussmann, Mustafa Mert Çelikok, Melih Kandemir","pos":"#4501","link":"https://openreview.net/forum?id=m3O4qYQ5hu","abs":"Optimal control of complex environments with robotic systems faces two complementary and intertwined challenges: efficient organization of sensory state information and far-sighted action planning. Because the reinforcement learning framework addresses only the latter, it tends to deliver sample-inefficient solutions. Active inference is the state-of-the-art process theory that explains how biological brains handle this dual problem. However, its applications to artificial intelligence have thus far been limited to extensions of existing model-based approaches. We present a formal abstraction of reinforcement learning algorithms that spans model-based, distributional, and model-free approaches. This abstraction seamlessly integrates active inference into the distributional reinforcement learning framework, making its performance advantages accessible without transition dynamics modeling.
","absKo":"복잡한 환경에서 로봇 시스템의 optimal control은 감각 상태 정보의 효율적 조직화와 장기적인 action planning이라는 상보적이면서도 서로 얽힌 두 가지 과제에 직면한다. reinforcement learning 프레임워크는 후자만을 다루기 때문에 sample-inefficient한 해를 내는 경향이 있다. active inference는 생물학적 뇌가 이 이중 문제를 어떻게 다루는지를 설명하는 state-of-the-art process theory이다. 그러나 지금까지 artificial intelligence로의 적용은 기존 model-based 접근법의 확장에 제한되어 있었다. 우리는 model-based, distributional, model-free 접근을 포괄하는 reinforcement learning algorithms의 formal abstraction을 제시한다. 이 abstraction은 active inference를 distributional reinforcement learning 프레임워크에 매끄럽게 통합하며, transition dynamics modeling 없이도 그 성능상의 장점에 접근할 수 있게 한다.
"},{"id":"60961","en":"FLAC: Maximum Entropy RL via Kinetic Energy Regularized Bridge Matching","ko":"FLAC: Kinetic Energy Regularized Bridge Matching을 통한 Maximum Entropy RL","authors":"Lei Lv, Yunfei Li, Yu Luo, Fuchun Sun, Xiao Ma","pos":"#609","link":"https://openreview.net/forum?id=v0qBWYewKR","abs":"Iterative generative policies, such as diffusion models and flow matching, offer superior expressivity for continuous control but complicate Maximum Entropy Reinforcement Learning because their action log-densities are not directly accessible. To address this, we propose \\textbf{Field Least-Energy Actor-Critic (FLAC)}, a likelihood-free framework that regulates policy stochasticity by penalizing the kinetic energy of the velocity field. Our key insight is to formulate policy optimization as a Generalized Schr\\\"odinger Bridge (GSB) problem relative to a high-entropy reference process (e.g., uniform). Under this view, the maximum-entropy principle emerges naturally as staying close to a high-entropy reference while optimizing return, without requiring explicit action densities. In this framework, kinetic energy serves as a physically grounded proxy for divergence from the reference: minimizing path-space energy bounds the deviation of the induced terminal action distribution. Building on this view, we derive an energy-regularized policy iteration scheme and a practical off-policy algorithm that automatically tunes the kinetic energy via a Lagrangian dual mechanism. Empirically, FLAC achieves superior or comparable performance on high-dimensional benchmarks relative to strong baselines, while avoiding explicit density estimation.
","absKo":"diffusion model과 flow matching 같은 iterative generative policy는 연속 제어에서 뛰어난 expressivity를 제공하지만, action log-density에 직접 접근할 수 없기 때문에 Maximum Entropy Reinforcement Learning을 복잡하게 만든다. 이를 해결하기 위해, 우리는 velocity field의 kinetic energy를 penalize하여 policy stochasticity를 조절하는 likelihood-free framework인 \\textbf{Field Least-Energy Actor-Critic (FLAC)}을 제안한다. 우리의 핵심 통찰은 정책 최적화를 높은 entropy를 갖는 reference process(예: uniform)에 대한 Generalized Schr\\\"odinger Bridge (GSB) 문제로 정식화하는 것이다. 이 관점에서 maximum-entropy principle은 명시적인 action density 없이도, 보상을 최적화하는 동시에 높은 entropy의 reference에 가까이 머무르는 것으로 자연스럽게 나타난다. 이 framework에서 kinetic energy는 reference로부터의 편차에 대한 물리적으로 근거 있는 proxy 역할을 한다. 즉, path-space energy를 최소화하면 유도된 terminal action distribution의 deviation에 대한 상한이 주어진다. 이러한 관점 위에서, 우리는 energy-regularized policy iteration scheme과 Lagrangian dual mechanism을 통해 kinetic energy를 자동으로 조정하는 실용적인 off-policy algorithm을 유도한다. 실험적으로 FLAC는 explicit density estimation을 피하면서도, 고차원 benchmark들에서 강력한 baseline 대비 우수하거나 동등한 성능을 달성한다.
"},{"id":"64589","en":"Trajectory-Level Data Augmentation for Offline Reinforcement Learning","ko":"Offline Reinforcement Learning을 위한 Trajectory-Level 데이터 증강","authors":"Tobias Schmähling, Matthias Burkhardt, Tobias Windisch","pos":"#400","link":"https://openreview.net/forum?id=LvYuEB4POi","abs":"We propose a data augmentation method for offline reinforcement learning, motivated by active positioning problems. Particularly, our approach enables the training of off-policy models from a limited number of suboptimal trajectories. We introduce a trajectory-based augmentation technique that exploits task structure and the geometric relationship between rewards, value functions, and mathematical properties of logging policies. During data collection, our augmentation supports suboptimal logging policies, leading to higher data quality and improved offline reinforcement learning performance. We provide theoretical justification for these strategies and validate them empirically across positioning tasks of varying dimensionality and under partial observability.
","absKo":"우리는 active positioning problem에 착안한 offline reinforcement learning을 위한 data augmentation method를 제안한다. 특히 우리의 접근법은 제한된 수의 suboptimal trajectory로부터 off-policy model을 학습할 수 있게 한다. 우리는 task structure와 reward, value function, logging policy의 수학적 성질 사이의 기하학적 관계를 활용하는 trajectory-based augmentation technique을 도입한다. 데이터 수집 과정에서 우리의 augmentation은 suboptimal logging policy를 지원하여 더 높은 data quality와 향상된 offline reinforcement learning 성능을 이끈다. 우리는 이러한 전략에 대한 이론적 근거를 제시하고, 다양한 차원의 positioning task 및 partial observability 조건에서 경험적으로 검증한다."},{"id":"62450","en":"Unifying Value Alignment and Assignment in Cross-Domain Offline Reinforcement Learning with Heterogeneous Datasets","ko":"이기종 데이터셋을 가진 Cross-Domain Offline Reinforcement Learning에서 Value Alignment와 Assignment 통합","authors":"Zhongjian Qiao, Jiafei Lyu, Chenjia Bai, Peisong Wang, Siyang Gao, Shuang Qiu","pos":"#401","link":"https://openreview.net/forum?id=gU3fCranJf","abs":"Cross-domain offline reinforcement learning (RL) aims to train an agent that performs well in the target domain using a limited target domain dataset and a source domain dataset that exhibits a dynamics shift. Training directly on the original source dataset typically leads to performance collapse. Recent studies perform data filtering from the perspective of dynamics alignment or value alignment to enable efficient policy transfer. However, these studies are typically validated on single-domain or single-behavior-policy source datasets. In this work, we explore a more general setting where the source datasets may be collected from multiple source domains by diverse behavior policies, which we name heterogeneous cross-domain offline RL. We first uncover a critical yet overlooked issue in this setting: \\textit{value misassignment}. Empirically and theoretically, we demonstrate that value misassignment can undermine value alignment, mislead data filtering toward selecting suboptimal samples, and loosen the suboptimality gap, thereby degrading the agent’s performance. To address this issue, we propose V2A, a simple yet effective framework that integrates dynamics alignment, value alignment, and value assignment. V2A first employs temporally-consistent modality representation learning to extract dynamics modalities from the source dataset, followed by modality-aware advantage learning to rectify value alignment. Finally, it adopts a data filtering paradigm to selectively share source data for policy learning. Empirical results show that under general heterogeneous cross-domain offline RL settings, V2A significantly outperforms strong baseline methods and exhibits excellent performance across multiple tasks and datasets.
","absKo":"cross-domain offline reinforcement learning(RL)은 dynamics shift가 존재하는 source domain dataset과 제한된 target domain dataset을 사용해 target domain에서 좋은 성능을 내는 agent를 학습하는 것을 목표로 한다. 원래 source dataset에 직접 학습하는 것은 일반적으로 성능 붕괴로 이어진다. 최근 연구들은 효율적인 policy transfer를 가능하게 하기 위해 dynamics alignment 또는 value alignment 관점에서 data filtering을 수행한다. 그러나 이러한 연구들은 대체로 단일 domain 또는 단일 behavior policy의 source dataset에서 검증되었다. 본 연구에서는 source dataset이 다양한 behavior policy에 의해 여러 source domain에서 수집될 수 있는 더 일반적인 설정을 탐구하며, 이를 heterogeneous cross-domain offline RL이라고 부른다. 우리는 먼저 이 설정에서 중대하지만 간과된 문제인 \\textit{value misassignment}를 밝혀낸다. 실험적 및 이론적으로, value misassignment가 value alignment를 훼손하고, data filtering이 suboptimal sample을 선택하도록 오도하며, suboptimality gap을 느슨하게 만들어 agent의 성능을 저하시킬 수 있음을 보인다. 이 문제를 해결하기 위해 우리는 dynamics alignment, value alignment, value assignment를 통합한 간결하지만 효과적인 framework인 V2A를 제안한다. V2A는 먼저 temporally-consistent modality representation learning을 사용해 source dataset에서 dynamics modality를 추출한 뒤, modality-aware advantage learning으로 value alignment를 교정한다. 마지막으로 data filtering paradigm을 채택해 policy learning을 위해 source data를 선택적으로 공유한다. 실험 결과, 일반적인 heterogeneous cross-domain offline RL 설정에서 V2A는 강력한 baseline method를 크게 능가하며 여러 task와 dataset에서 우수한 성능을 보인다.
"},{"id":"63445","en":"VIPO: Value Function Inconsistency Penalized Offline Reinforcement Learning","ko":"VIPO: 가치 함수 불일치 페널티 오프라인 강화학습","authors":"Xuyang Chen, Keyu Yan, Guojian Wang, Lin Zhao","pos":"#402","link":"https://openreview.net/forum?id=XAZdspeB5d","abs":"Offline reinforcement learning (RL) learns effective policies from pre-collected datasets, offering a practical solution for applications where online interactions are risky or costly. Model-based approaches are particularly advantageous for offline RL, owing to their data efficiency and generalizability. However, due to inherent model errors, model-based methods often artificially introduce conservatism guided by heuristic uncertainty estimation, which can be unreliable. In this paper, we introduce VIPO, a novel model-based offline RL algorithm that incorporates self-supervised feedback from value estimation to enhance model training. Specifically, the model is learned by additionally minimizing the inconsistency between the value learned directly from the offline data and the value estimated from the model. We perform comprehensive evaluations from multiple perspectives to show that VIPO can learn a highly accurate model efficiently and consistently outperform existing methods. In particular, it achieves state-of-the-art performance on almost all tasks in both D4RL and NeoRL benchmarks. Overall, VIPO offers a \\textit{general framework} that can be readily integrated into existing model-based offline RL algorithms to systematically enhance model accuracy. Our code is available at~\\url{https://anonymous.4open.science/r/vipo2025-8FD4}.
","absKo":"Offline reinforcement learning (RL)은 미리 수집된 dataset으로부터 효과적인 policy를 학습하며, 온라인 상호작용이 위험하거나 비용이 큰 응용에서 실용적인 해법을 제공한다. model-based 접근법은 데이터 효율성과 일반화 가능성 덕분에 offline RL에서 특히 유리하다. 그러나 본질적인 model error 때문에, model-based 방법은 종종 신뢰할 수 없는 heuristic uncertainty estimation에 의해 유도된 인위적인 conservatism을 도입한다. 본 논문에서는 value estimation으로부터의 self-supervised feedback을 통합하여 model training을 향상시키는 새로운 model-based offline RL 알고리즘인 VIPO를 소개한다. 구체적으로, offline data에서 직접 학습된 value와 model로부터 추정된 value 사이의 불일치를 추가로 최소화하도록 model을 학습한다. 우리는 다양한 관점에서 포괄적인 평가를 수행하여 VIPO가 매우 정확한 model을 효율적으로 학습하고 기존 방법들을 일관되게 능가함을 보인다. 특히 D4RL과 NeoRL benchmark의 거의 모든 task에서 state-of-the-art 성능을 달성한다. 전반적으로 VIPO는 기존의 model-based offline RL 알고리즘에 쉽게 통합되어 model accuracy를 체계적으로 향상시킬 수 있는 \\textit{general framework}를 제공한다. 코드는~\\url{https://anonymous.4open.science/r/vipo2025-8FD4}에서 확인할 수 있다.
"},{"id":"65169","en":"Video-Based Optimal Transport for Feedback-Efficient Offline Preference-Based Reinforcement Learning","ko":"피드백 효율적 오프라인 선호 기반 강화학습을 위한 비디오 기반 Optimal Transport","authors":"Minh-Tung Luu, Hwanhee Kim, Younghwan Lee, Chang D. Yoo","pos":"#403","link":"https://openreview.net/forum?id=G8LVO5easu","abs":"Conveying complex objectives to reinforcement learning (RL) agents often requires meticulous reward engineering. Preference-based RL (PbRL) offers a promising alternative by learning reward functions from human feedback, but its scalability is hindered by high labeling costs. Inspired by advances in Video Foundation Models (ViFMs), we present Video-based Optimal Transport Preference (VOTP), a semi-supervised framework that learns effective reward functions from only a handful of labels. By leveraging optimal transport to align visual trajectories within the rich representation space of ViFMs, VOTP effectively generates high-fidelity pseudo-labels for large amounts of unlabeled data, substantially reducing human supervision. Extensive experiments across locomotion and manipulation benchmarks demonstrate the superiority of VOTP, which outperforms state-of-the-art offline PbRL methods under limited feedback budgets. We also showcase the robustness of VOTP in the presence of visual distractors and validate its utility on real robotic tasks, where it learns meaningful rewards with minimal human input.
","absKo":"복잡한 목표를 reinforcement learning(RL) agent에 전달하는 일은 종종 세심한 reward engineering을 필요로 한다. Preference-based RL(PbRL)은 human feedback으로부터 reward function을 학습하는 유망한 대안이지만, 높은 labeling 비용 때문에 확장성이 제한된다. Video Foundation Model(ViFM)의 진전에서 영감을 받아, 우리는 극소수의 label만으로 효과적인 reward function을 학습하는 semi-supervised framework인 Video-based Optimal Transport Preference(VOTP)를 제안한다. VOTP는 optimal transport를 활용해 ViFM의 풍부한 representation space 내에서 visual trajectory를 정렬함으로써, 대량의 unlabeled data에 대해 높은 신뢰도의 pseudo-label을 효과적으로 생성하고 human supervision을 크게 줄인다. locomotion과 manipulation benchmark 전반에 대한 광범위한 실험은 VOTP의 우수성을 보여주며, 제한된 feedback budget 하에서 최신 offline PbRL 방법을 능가함을 입증한다. 또한 우리는 visual distractor가 존재하는 상황에서도 VOTP의 견고함을 보이고, 실제 로봇 과제에서 최소한의 human input으로도 의미 있는 reward를 학습함으로써 그 유용성을 검증한다.
"},{"id":"61785","en":"Test-Time Graph Search for Goal-Conditioned Reinforcement Learning","ko":"Goal-Conditioned Reinforcement Learning을 위한 Test-Time Graph Search","authors":"Evgenii Opryshko, Junwei Quan, Claas Voelcker, Yilun Du, Igor Gilitschenski","pos":"#501","link":"https://openreview.net/forum?id=mxXm8jqgds","abs":"Offline goal-conditioned reinforcement learning (GCRL) often struggles with long-horizon tasks, where errors in value estimation accumulate and produce unreliable policies. It is typically assumed that effective long-term planning is infeasible without specialized training. In contrast, our work demonstrates that existing GCRL policies can complete long-horizon tasks when combined with a lightweight, training-free planning wrapper. We find that standard goal-conditioned value functions encode locally consistent geometric structure sufficient for planning. Our approach, Test-Time Graph Search (TTGS), constructs a graph over the offline dataset and employs an adaptive subgoal selection strategy. To address unreliable value estimates during shortest-path search, we propose a novel mechanism that softly penalizes long-distance transitions. Our method incurs negligible computational overhead and requires no additional supervision or parameter updates. On the OGBench benchmark, TTGS unlocks latent capabilities in diverse base learners, boosting success rates on challenging locomotion tasks from near-zero to over 90\\%, often matching or outperforming methods that require complex auxiliary training.
","absKo":"Offline goal-conditioned reinforcement learning(GCRL)은 종종 long-horizon task에서 어려움을 겪는데, value estimation의 오류가 누적되어 신뢰할 수 없는 policy를 만들기 때문이다. 일반적으로 효과적인 장기 계획은 특수한 training 없이는 불가능하다고 여겨진다. 그러나 우리의 연구는 가벼운 training-free planning wrapper와 결합하면 기존 GCRL policy가 long-horizon task를 수행할 수 있음을 보여준다. 우리는 표준 goal-conditioned value function이 planning에 충분한 locally consistent geometric structure를 인코딩한다는 것을 발견했다. 우리의 접근법인 Test-Time Graph Search(TTGS)는 offline dataset 위에 graph를 구성하고 적응적 subgoal selection 전략을 사용한다. shortest-path search 동안 신뢰할 수 없는 value estimate를 다루기 위해, 우리는 장거리 transition에 대해 부드럽게 penalize하는 새로운 메커니즘을 제안한다. 이 방법은 계산 오버헤드가 매우 작고 추가 supervision이나 parameter update를 요구하지 않는다. OGBench benchmark에서 TTGS는 다양한 base learner의 잠재 능력을 끌어내어, 까다로운 locomotion task의 성공률을 거의 0에서 90% 이상으로 끌어올렸고, 복잡한 auxiliary training이 필요한 방법과 자주 동등하거나 더 나은 성능을 보였다.
"},{"id":"66279","en":"Structured Expert Routing with Multi-View Task Priors for Offline Meta-Reinforcement Learning","ko":"오프라인 메타 강화 학습을 위한 다중 뷰 작업 사전 지식 기반 구조적 전문가 라우팅","authors":"Yisen Zhao, Peixi Peng, Xinyu Hu, Cong Li, Zhan Su, Zhuojian Li","pos":"#502","link":"https://openreview.net/forum?id=5AUITfUstd","abs":"Offline meta-reinforcement learning requires agents to generalize to unseen tasks from fixed datasets, yet existing sequence-based and MoE-based methods rely on implicit or token-level routing signals that fail to capture task-level structure. We propose the Task-Guided Router (TGR), a structured expert-routing framework that explicitly models inter-task relationships via multi-view task representations that combine semantic descriptors, behavioral summaries, and latent dynamics features. Using structure-guided routing, TGR assigns experts based on global task compatibility rather than local trajectory fragments, enabling stable specialization and effective knowledge transfer across tasks.Extensive experiments on continuous-control benchmarks demonstrate that TGR consistently outperforms state-of-the-art offline meta-RL methods in few-shot generalization, particularly under sparse data and heterogeneous dynamics. Our results highlight the importance of task-level priors for robust offline meta-reinforcement learning.
","absKo":"Offline meta-reinforcement learning은 고정된 데이터셋으로부터 보지 못한 task로 일반화할 수 있는 agent를 요구하지만, 기존의 sequence-based 및 MoE-based 방법은 task-level 구조를 포착하지 못하는 암묵적 또는 token-level routing signal에 의존한다. 우리는 semantic descriptor, behavioral summary, latent dynamics feature를 결합한 multi-view task representation을 통해 inter-task relationship을 명시적으로 모델링하는 structured expert-routing framework인 Task-Guided Router (TGR)를 제안한다. structure-guided routing을 사용하여 TGR은 local trajectory fragment가 아니라 global task compatibility를 기반으로 expert를 할당함으로써, 안정적인 specialization과 task 간 효과적인 knowledge transfer를 가능하게 한다. continuous-control benchmark에 대한 광범위한 실험은 TGR이 특히 sparse data와 heterogeneous dynamics 하에서 few-shot generalization에서 state-of-the-art offline meta-RL 방법들을 일관되게 능가함을 보여준다. 우리의 결과는 robust offline meta-reinforcement learning을 위해 task-level prior가 중요함을 강조한다.
"},{"id":"66163","en":"Reward-Preserving Counterfactual State Editing for Offline Reinforcement Learning","ko":"오프라인 강화 학습을 위한 보상 보존형 반사실적 상태 편집","authors":"Siyu Wang, Xiaocong Chen, Mingming Gong, Yong Li, Quan Sheng, Lina Yao","pos":"#503","link":"https://openreview.net/forum?id=6D3IJpBGBW","abs":"Transformer sequence models such as Decision Transformer can learn strong offline policies from logged trajectories, but they can suffer from causal confusion: reliance on spurious correlations that predict reward in the data but do not reflect the true causal mechanisms of the environment. We propose CSET (Counterfactual State Editing Transformer), which improves robustness in strictly offline reinforcement learning without learning environment transition dynamics. CSET first fits a causal reward model as a conditional variational autoencoder to infer a posterior over reward disturbances for each transition. Conditioning on the factual action and a sampled disturbance, a counterfactual state generator proposes a minimally edited state whose predicted reward matches the factual reward; a normalized move-band constraint and an acceptance gate enforce state plausibility and reward consistency. We then augment trajectories by replacing only the observation token with the edited state while keeping the next observation factual, so the policy is not trained on synthetic successor transitions. On the model side, CSET uses a causally structured hybrid transformer: separate convolutional encoders process return-to-go, state, and action streams for local temporal structure, and a final attention block is softly supervised so action prediction focuses on its direct causal parents (state and return-to-go). Experiments on D4RL locomotion and AntMaze tasks and on offline recommendation benchmarks show consistent gains over transformer baselines and substantially improved robustness to injected spurious distractors.
","absKo":"Decision Transformer와 같은 Transformer sequence model은 logged trajectories로부터 강력한 offline policy를 학습할 수 있지만, causal confusion에 취약할 수 있다. 즉, 데이터에서 reward를 예측하지만 환경의 진정한 causal mechanism을 반영하지 않는 spurious correlation에 의존하는 문제이다. 우리는 환경 transition dynamics를 학습하지 않으면서도 strictly offline reinforcement learning에서 robustness를 향상시키는 CSET(Counterfactual State Editing Transformer)를 제안한다. CSET은 먼저 causal reward model을 conditional variational autoencoder로 적합시켜, 각 transition에 대한 reward disturbance의 posterior를 추론한다. factual action과 sampled disturbance를 조건으로 하여, counterfactual state generator는 예측 reward가 factual reward와 일치하는 최소 편집 state를 제안한다. normalized move-band constraint와 acceptance gate는 state plausibility와 reward consistency를 보장한다. 이후 우리는 다음 observation은 factual로 유지한 채 observation token만 edited state로 대체하여 trajectory를 augment함으로써, policy가 synthetic successor transition으로 학습되지 않도록 한다. 모델 측면에서 CSET은 causally structured hybrid transformer를 사용한다. 별도의 convolutional encoder가 return-to-go, state, action stream을 처리하여 local temporal structure를 포착하고, 최종 attention block은 action prediction이 직접적인 causal parent(state와 return-to-go)에 집중하도록 soft supervision을 받는다. D4RL locomotion 및 AntMaze task, 그리고 offline recommendation benchmark에서의 실험은 transformer baseline 대비 일관된 성능 향상과 주입된 spurious distractor에 대한 현저히 개선된 robustness를 보여준다.
"},{"id":"62141","en":"Return-to-Go Is More Than a Number: Q-Guided Alignment for Return-Conditioned Supervised Learning","ko":"Return-to-Go는 숫자 그 이상이다: Return-Conditioned Supervised Learning을 위한 Q-Guided Alignment","authors":"Yuxiao Yang, Weitong Zhang","pos":"#504","link":"https://openreview.net/forum?id=jSOVSYO6YX","abs":"Conditioned Sequence Models (CSMs) learn policies by treating return-to-go (RTG) as a control signal. However, existing CSMs often treat the RTGs as simple numerical inputs rather than aligning them with the performance of their policies. In this paper, we propose Q-ALIGN DT, a framework that enforces this alignment by ensuring the $Q$-value of the output policy is consistent with the input RTG. By leveraging a $Q$ function to provide dense guidance to CSMs and further fine-tuning it using an *RTG-perturbation* technique with the CSM, our method ensures that higher RTGs are consistently mapped to trajectories with higher expected returns. Theoretically, we show that Q-ALIGN DT can efficiently learn the desired policy and output a near-optimal one when the RTG is sufficiently high. Empirically, we demonstrate through extensive experiments that \\methodname{} achieves superior controllability and performance across the D4RL benchmark. Remarkably, our model effectively learns a structured family of policies that maintains precise alignment and generalizes to tasks like velocity-tracking where prior methods fail.","absKo":"Conditioned Sequence Models(CSMs)는 return-to-go(RTG)를 control signal로 취급하여 policy를 학습한다. 그러나 기존 CSM은 RTG를 정책의 성능과 정렬하는 대신 단순한 수치 입력으로 다루는 경우가 많다. 본 논문에서는 출력 policy의 $Q$-value가 입력 RTG와 일치하도록 보장함으로써 이러한 정렬을 강제하는 framework인 Q-ALIGN DT를 제안한다. $Q$ function을 활용해 CSM에 dense guidance를 제공하고, CSM과 함께 *RTG-perturbation* 기법으로 이를 추가 fine-tuning함으로써, 우리의 방법은 더 높은 RTG가 더 높은 기대 return을 갖는 trajectory로 일관되게 매핑되도록 한다. 이론적으로, RTG가 충분히 높을 때 Q-ALIGN DT가 원하는 policy를 효율적으로 학습하고 거의 최적에 가까운 policy를 출력할 수 있음을 보인다. 실험적으로는 광범위한 실험을 통해 \\methodname{}가 D4RL benchmark 전반에서 뛰어난 controllability와 성능을 달성함을 입증한다. 특히, 우리의 모델은 precise alignment를 유지하는 구조화된 policy family를 효과적으로 학습하며, 기존 방법이 실패하는 velocity-tracking과 같은 task로도 일반화된다."},{"id":"65156","en":"Offline Reinforcement Learning with Universal Horizon Models","ko":"Universal Horizon Model을 이용한 오프라인 강화학습","authors":"Hojun Chung, Junseo Lee, Songhwai Oh","pos":"#505","link":"https://openreview.net/forum?id=GFmJ5XcGWl","abs":"Model-based reinforcement learning (RL) offers a compelling approach to offline RL by enabling value learning on imagined on-policy trajectories. However, it often suffers from compounding errors due to repeated model inference. While geometric horizon models (GHM) alleviate this issue through direct prediction over a discounted infinite-horizon future, they remain challenged in accurately modeling distant future states. To this end, we introduce universal horizon models (UHM), a generalization of GHM that directly predicts future states under arbitrary horizons. Leveraging this flexibility, we propose a scalable value learning method that employs a winsorized horizon distribution to stabilize training by capping excessively large horizons. Experimental results on 100 challenging OGBench tasks demonstrate that the proposed method outperforms competitive baselines, particularly on tasks with highly sub-optimal datasets and those requiring long-horizon reasoning.
","absKo":"Model-based reinforcement learning (RL)은 imagined on-policy trajectory 위에서 value learning을 가능하게 함으로써 offline RL에 매력적인 접근법을 제공한다. 그러나 반복적인 model inference 때문에 오류가 누적되는 문제가 자주 발생한다. Geometric horizon model (GHM)은 discounted infinite-horizon future에 대한 직접 예측을 통해 이 문제를 완화하지만, 먼 미래 상태를 정확하게 모델링하는 데는 여전히 어려움이 있다. 이를 위해 우리는 universal horizon model (UHM)을 도입한다. 이는 arbitrary horizon에서의 미래 상태를 직접 예측하는 GHM의 일반화다. 이 유연성을 활용하여, 우리는 지나치게 큰 horizon을 상한으로 잘라 학습을 안정화하는 winsorized horizon distribution을 사용하는 확장 가능한 value learning 방법을 제안한다. 100개의 까다로운 OGBench task에서 수행한 실험 결과, 제안 방법은 경쟁력 있는 baseline을 능가했으며, 특히 매우 sub-optimal한 dataset과 긴 horizon reasoning이 필요한 task에서 두드러진 성능을 보였다.
"},{"id":"64599","en":"Offline Reinforcement Learning with Generative Trajectory Policies","ko":"생성적 Trajectory Policy를 활용한 Offline Reinforcement Learning","authors":"Xinsong Feng, Leshu Tang, Chenan Wang, Haipeng Chen","pos":"#506","link":"https://openreview.net/forum?id=LpqtiYpHzn","abs":"Generative models have emerged as a powerful class of policies for offline reinforcement learning (RL) due to their ability to capture complex, multi-modal behaviors. However, existing methods face a stark trade-off: slow, iterative models like diffusion policies are computationally expensive, while fast, single-step models like consistency policies often suffer from degraded performance. In this paper, we demonstrate that it is possible to bridge this gap. The key to moving beyond the limitations of individual methods, we argue, lies in a unifying perspective that views modern generative models—including diffusion, flow matching, and consistency models—as specific instances of learning a continuous-time generative trajectory governed by an Ordinary Differential Equation (ODE). This principled foundation provides a clearer design space for generative policies in RL and allows us to propose Generative Trajectory Policies (GTPs), a new and more general policy paradigm that learns the entire solution map of the underlying ODE. To make this paradigm practical for offline RL, we further introduce two key theoretically principled adaptations. Empirical results demonstrate that GTP achieves state-of-the-art performance on D4RL benchmarks -- it significantly outperforms prior generative policies, achieving perfect scores on several notoriously hard AntMaze tasks.
","absKo":"Generative models는 복잡하고 multi-modal한 행동을 포착할 수 있다는 점 때문에 offline reinforcement learning (RL)에서 강력한 policy class로 부상했다. 그러나 기존 방법은 뚜렷한 trade-off에 직면한다. diffusion policy 같은 느리고 iterative한 model은 계산 비용이 큰 반면, consistency policy 같은 빠른 single-step model은 종종 성능 저하를 겪는다. 본 논문에서는 이 간극을 메울 수 있음을 보인다. 우리가 주장하는 핵심은 diffusion, flow matching, consistency model을 포함한 현대 generative model들을 Ordinary Differential Equation (ODE)로 지배되는 continuous-time generative trajectory를 학습하는 구체적 사례로 보는 통합적 관점에 있다. 이 원칙적인 기반은 RL에서 generative policy를 위한 더 명확한 design space를 제공하며, underlying ODE의 전체 solution map을 학습하는 더 일반적인 새로운 policy paradigm인 Generative Trajectory Policies (GTPs)를 제안할 수 있게 한다. 이 패러다임을 offline RL에 실용적으로 만들기 위해, 우리는 이론적으로 근거 있는 두 가지 핵심 적응을 추가로 도입한다. 실험 결과는 GTP가 D4RL benchmark에서 state-of-the-art 성능을 달성함을 보여준다. 특히 기존 generative policy를 크게 능가하며, 악명 높게 어려운 여러 AntMaze task에서 완벽한 점수를 달성한다.
"},{"id":"62084","en":"Offline Reinforcement Learning of High-Quality Behaviors Under Robust Style Alignment","ko":"강건한 스타일 정렬 하에서 고품질 행동의 오프라인 강화학습","authors":"Mathieu Petitbois, Rémy Portelas, sylvain lamprier","pos":"#507","link":"https://openreview.net/forum?id=jxdjDmWpNX","abs":"We study offline reinforcement learning of style-conditioned policies using explicit style supervision via subtrajectory labeling functions. In this setting, aligning style with high task performance is particularly challenging due to distribution shift and inherent conflicts between style and reward. Existing methods, despite introducing numerous definitions of style, often fail to reconcile these objectives effectively. To address these challenges, we propose a unified definition of behavior style and instantiate it into a practical framework. Building on this, we introduce Style-Conditioned Implicit Q-Learning (SCIQL), which leverages offline goal-conditioned reinforcement learning techniques, such as hindsight relabeling and value learning, and combine it with a new Gated Advantage Weighted Regression mechanism to efficiently optimize task performance while preserving style alignment. Experiments demonstrate that SCIQL achieves superior performance on both objectives compared to prior offline methods.
","absKo":"우리는 subtrajectory labeling function을 통한 explicit style supervision을 사용하여 style-conditioned policy의 offline reinforcement learning을 연구한다. 이 설정에서는 distribution shift와 style과 reward 사이의 본질적 충돌 때문에 style을 높은 task performance와 정렬하는 것이 특히 어렵다. 기존 방법들은 style에 대한 수많은 정의를 도입했음에도 불구하고, 이러한 목표들을 효과적으로 조화시키지 못하는 경우가 많다. 이러한 문제를 해결하기 위해 우리는 behavior style에 대한 통합적 정의를 제안하고 이를 실제 프레임워크로 구현한다. 이를 바탕으로, hindsight relabeling과 value learning 같은 offline goal-conditioned reinforcement learning 기법을 활용하고, 여기에 새로운 Gated Advantage Weighted Regression 메커니즘을 결합한 Style-Conditioned Implicit Q-Learning (SCIQL)을 제안하여 style alignment를 유지하면서 task performance를 효율적으로 최적화한다. 실험 결과, SCIQL은 이전 offline 방법들에 비해 두 목표 모두에서 더 우수한 성능을 달성함을 보인다.
"},{"id":"64471","en":"Long-Horizon Model-Based Offline Reinforcement Learning Without Conservatism","ko":"보수성 없는 장기 예측 모델 기반 오프라인 강화학습","authors":"Tianwei Ni, Esther Derman, Vineet Jain, Vincent Taboga, Siamak Ravanbakhsh, Pierre-Luc Bacon","pos":"#508","link":"https://openreview.net/forum?id=NHu6haXTM9","abs":"Popular offline reinforcement learning (RL) methods rely on conservatism, penalizing out-of-dataset actions or restricting rollout horizons. We question the universality of this principle and revisit a complementary Bayesian perspective. By modeling a posterior over plausible world models and training a history-dependent agent to maximize expected return, the Bayesian approach directly addresses epistemic uncertainty and enables test-time generalization, without conservatism. We first illustrate in a bandit setting that Bayesianism excels on low-quality datasets where conservatism fails. Scaling to realistic tasks, we find that long-horizon rollouts are essential to control value overestimation once conservatism is removed. We introduce design choices that enable learning from long-horizon rollouts while mitigating compounding errors, yielding our algorithm, NEUBAY, grounded in the neutral Bayesian principle. On D4RL and NeoRL benchmarks, NEUBAY is competitive with leading conservative algorithms, achieving new state-of-the-art on 7 datasets with rollout horizons of several hundred steps. Finally, we characterize datasets by quality and coverage to identify when NEUBAY is preferable to conservative methods.
","absKo":"널리 사용되는 offline reinforcement learning (RL) 기법들은 보수성(conservatism)에 의존하며, 데이터셋에 없던 행동을 페널티로 억제하거나 rollout horizon을 제한한다. 우리는 이 원칙의 보편성에 의문을 제기하고, 이를 보완하는 Bayesian 관점을 다시 살펴본다. 가능한 world model들에 대한 posterior를 모델링하고 history-dependent agent를 expected return을 최대화하도록 학습함으로써, Bayesian approach는 보수성 없이 epistemic uncertainty를 직접 다루고 test-time generalization을 가능하게 한다. 먼저 bandit 설정에서 Bayesianism이 보수성이 실패하는 저품질 데이터셋에서 우수함을 보인다. 현실적인 task로 확장하면, 보수성을 제거한 뒤에는 value overestimation을 제어하기 위해 long-horizon rollout이 필수적임을 확인한다. 우리는 누적 오차(compounding error)를 완화하면서 long-horizon rollout으로부터의 학습을 가능하게 하는 설계 선택을 도입하고, 그 결과 neutral Bayesian principle에 기반한 알고리즘 NEUBAY를 제안한다. D4RL 및 NeoRL benchmark에서 NEUBAY는 선도적인 보수적 알고리즘들과 경쟁력 있는 성능을 보이며, 수백 step의 rollout horizon에서 7개 데이터셋에 대해 새로운 state-of-the-art를 달성한다. 마지막으로, 데이터셋을 quality와 coverage로 특성화하여 NEUBAY가 보수적 방법보다 선호되는 경우를 식별한다.
"},{"id":"61589","en":"Latent Representation Alignment for Offline Goal-Conditioned Reinforcement Learning","ko":"Offline Goal-Conditioned Reinforcement Learning을 위한 Latent Representation Alignment","authors":"Hyungkyu Kang, Byeongchan Kim, Min-hwan Oh","pos":"#509","link":"https://openreview.net/forum?id=oddGER4AzK","abs":"Offline goal-conditioned reinforcement learning (GCRL) provides a practical framework for obtaining goal-reaching policies from fixed datasets. However, learning a reliable goal-conditioned value function in long-horizon tasks remains challenging. In this paper, we identify erroneous generalization in goal-conditioned value functions as a fundamental bottleneck, and demonstrate that appropriate inductive bias in the value function is crucial for addressing the bottleneck. Building on these findings, we propose Latent-Aligned Value Learning (LAVL), an offline GCRL algorithm that integrates latent-representation-based value generalization with hierarchical planning in a unified framework. Extensive numerical experiments on OGBench demonstrate that LAVL consistently outperforms existing offline GCRL methods, achieving the highest performance on 20 out of 22 datasets. Notably, LAVL exhibits strong performance in long-horizon tasks and trajectory stitching datasets, where prior methods suffer significant performance degradation.
","absKo":"Offline goal-conditioned reinforcement learning (GCRL)은 고정된 dataset으로부터 goal-reaching policy를 얻기 위한 실용적인 framework를 제공한다. 그러나 장기 horizon task에서 신뢰할 수 있는 goal-conditioned value function을 학습하는 것은 여전히 어렵다. 본 논문에서는 goal-conditioned value function의 잘못된 generalization을 근본적인 병목으로 식별하고, 이 병목을 해결하기 위해서는 value function에 적절한 inductive bias가 중요함을 보인다. 이러한 발견을 바탕으로, 우리는 latent-representation-based value generalization과 hierarchical planning을 통합한 하나의 framework로서 offline GCRL algorithm인 Latent-Aligned Value Learning (LAVL)을 제안한다. OGBench에서 수행한 광범위한 수치 실험은 LAVL이 기존 offline GCRL method를 일관되게 능가하며, 22개 dataset 중 20개에서 최고 성능을 달성함을 보여준다. 특히 LAVL은 기존 방법들이 큰 성능 저하를 보이는 장기 horizon task와 trajectory stitching dataset에서 강한 성능을 보인다."},{"id":"63580","en":"Improving Zero-Shot Offline RL via Behavioral Task Sampling","ko":"행동 기반 과제 샘플링을 통한 zero-shot offline RL 개선","authors":"Nazim Bendib, Nicolas Perrin-Gilbert, Olivier Sigaud","pos":"#510","link":"https://openreview.net/forum?id=VqXCLPKdrp","abs":"Offline zero-shot reinforcement learning (RL) aims to learn agents that optimize unseen reward functions without additional environment interaction. The standard approach to this problem trains task-conditioned policies by sampling task vectors that define linear reward functions over learned state representations. In most existing algorithms, these task vectors are randomly sampled, implicitly assuming this adequately captures the structure of the task space. We argue that doing so leads to suboptimal zero-shot generalization. To address this limitation, we propose extracting task vectors directly from the offline dataset and using them to define the task distribution used for policy training. We introduce a simple and general reward function extraction procedure that integrates into existing offline zero-shot RL algorithms. Across multiple benchmark environments and baselines, our approach improves zero-shot performance by an average of 20%, highlighting the importance of principled task sampling in offline zero-shot RL.
","absKo":"offline zero-shot reinforcement learning(RL)은 추가적인 environment interaction 없이 보지 못한 reward function을 최적화하는 agent를 학습하는 것을 목표로 한다. 이 문제에 대한 표준 접근법은 학습된 state representation 위에서 선형 reward function을 정의하는 task vector를 샘플링하여 task-conditioned policy를 학습한다. 대부분의 기존 알고리즘에서는 이러한 task vector를 무작위로 샘플링하며, 이것이 task space의 구조를 충분히 포착한다고 암묵적으로 가정한다. 우리는 이러한 방식이 suboptimal zero-shot generalization으로 이어진다고 주장한다. 이 한계를 해결하기 위해 우리는 offline dataset에서 task vector를 직접 추출하고, 이를 policy training에 사용되는 task distribution을 정의하는 데 활용하는 방법을 제안한다. 우리는 기존 offline zero-shot RL 알고리즘에 통합되는 단순하고 일반적인 reward function extraction 절차를 도입한다. 여러 benchmark environment와 baseline에 걸쳐, 우리의 접근법은 zero-shot 성능을 평균 20% 향상시키며, offline zero-shot RL에서 원칙적인 task sampling의 중요성을 강조한다.
"},{"id":"63033","en":"HTAC: Hierarchical Task-Aware Composition for Continual Offline Reinforcement Learning","ko":"HTAC: 지속적 오프라인 강화학습을 위한 계층적 태스크 인지 구성","authors":"Qiyang Zhou, Xu Ruihang, Peng Wang, Wenjie Lu, Xiaochun Cao, Naiqiang Tan, Li Shen","pos":"#511","link":"https://openreview.net/forum?id=akfJfpUEBj","abs":"Continual Offline Reinforcement Learning (CORL) enables building long-term autonomous agents from static datasets. However, it faces heterogeneity in environment dynamics, reward functions, and behavior policies across tasks. Combined with the inherent distribution shift in offline learning, this requires agents to selectively reuse shared knowledge during transfer while isolating task-specific features. The flat knowledge sharing mechanisms employed by existing methods struggle to capture such distinctions, limiting cross-task generalization. To address this, we propose Hierarchical Task-Aware Composition (HTAC), which balances plasticity and stability through dual-level task encoding and soft composition mechanisms. HTAC comprises four modules: (1) a Hierarchical Semantic Task Representation that decomposes tasks into domain-level and task-level embeddings; (2) a Dual-level Expert Network that creates domain and task experts on demand for parameter-efficient knowledge isolation; (3) an Adaptive Knowledge Composition module that integrates historical expert outputs via attention mechanisms for knowledge reuse; (4) Task Adapters that preserve historical routing weights to prevent forgetting. Experiments on Offline Continual World show that HTAC outperforms existing baselines, demonstrating better knowledge reuse and transfer capabilities.
","absKo":"Continual Offline Reinforcement Learning (CORL)은 정적 datasets로부터 장기 자율 agent를 구축할 수 있게 한다. 그러나 task 전반에 걸쳐 environment dynamics, reward functions, behavior policies가 이질적이라는 문제가 있다. offline learning 고유의 distribution shift와 결합되면, transfer 과정에서 agent가 shared knowledge를 선택적으로 재사용하는 동시에 task-specific features는 분리해 두어야 한다. 기존 methods가 사용하는 flat knowledge sharing mechanisms는 이러한 구분을 포착하는 데 한계가 있어, cross-task generalization이 제한된다. 이를 해결하기 위해 우리는 Hierarchical Task-Aware Composition (HTAC)을 제안한다. HTAC은 dual-level task encoding과 soft composition mechanisms를 통해 plasticity와 stability의 균형을 맞춘다. HTAC는 네 개의 module로 구성된다: (1) tasks를 domain-level과 task-level embeddings로 분해하는 Hierarchical Semantic Task Representation; (2) parameter-efficient knowledge isolation을 위해 필요에 따라 domain 및 task experts를 생성하는 Dual-level Expert Network; (3) knowledge reuse를 위해 attention mechanisms를 통해 historical expert outputs를 통합하는 Adaptive Knowledge Composition module; (4) historical routing weights를 보존하여 forgetting을 방지하는 Task Adapters. Offline Continual World에서의 실험 결과, HTAC은 기존 baselines를 상회하며 더 나은 knowledge reuse와 transfer capabilities를 보여준다.
"},{"id":"61243","en":"From Reward-Free Representations to Preferences: Rethinking Offline Preference-Based Reinforcement Learning","ko":"Reward-Free Representation에서 Preference로: Offline Preference-Based Reinforcement Learning 재고찰","authors":"Jun-Jie Yang, Chia-Heng Hsu, Kui-Yuan Chen, Ping-Chun Hsieh","pos":"#512","link":"https://openreview.net/forum?id=sGOmm03F40","abs":"Preference-based reinforcement learning (PbRL) avoids explicit reward engineering by learning from pairwise human preference feedback. Existing offline PbRL methods typically follow a two-stage pipeline, first learning a reward or preference model from labeled preferences and then performing offline RL on unlabeled data. We revisit offline PbRL through the lens of reward-free representation learning (RFRL) from the zero-shot RL literature, and propose a new training framework that first learns latent successor-measure representations from reward-free offline data, followed by contrastive search and fine-tuning using preference data. Through extensive experiments and ablations, we show that our method achieves superior preference efficiency over offline PbRL baselines. This work is the first to connect RFRL with PbRL, highlighting its potential as a feedback-efficient solution.
","absKo":"Preference-based reinforcement learning(PbRL)은 pairwise human preference feedback으로부터 학습함으로써 explicit reward engineering을 피합니다. 기존 offline PbRL 방법은 일반적으로 2단계 파이프라인을 따르며, 먼저 labeled preference로부터 reward 또는 preference model을 학습하고, 그다음 unlabeled data에 대해 offline RL을 수행합니다. 우리는 zero-shot RL 문헌의 reward-free representation learning(RFRL) 관점에서 offline PbRL을 재검토하고, 먼저 reward-free offline data로부터 latent successor-measure representation을 학습한 다음 preference data를 사용한 contrastive search와 fine-tuning을 수행하는 새로운 training framework를 제안합니다. 광범위한 실험과 ablation을 통해, 우리의 방법이 offline PbRL baseline보다 우수한 preference efficiency를 달성함을 보입니다. 이 연구는 RFRL과 PbRL을 처음으로 연결하며, feedback-efficient solution으로서의 잠재력을 강조합니다.
"},{"id":"64705","en":"DRIVE: Distributional and Retrieval-Augmented Bidding with Value Evaluation","ko":"DRIVE: Value Evaluation을 활용한 분포적 Retrieval-Augmented 입찰","authors":"Miduo Cui, Haochen Wang, Shangqin Mao, Xun Yang, Qianlong Xie, Xingxing Wang, Xuri Ge, Ying Zhou, Zhiwei XU","pos":"#514","link":"https://openreview.net/forum?id=Kgi3mAuXuD","abs":"Auto-bidding is a core component of real-time advertising systems, where decisions must optimize long-term performance under budget and cost constraints, while online exploration is prohibitively risky. Offline reinforcement learning and, more recently, Transformer-based sequence modeling have shown promise for learning bidding policies from logged data, but their unimodal and purely parametric formulations often collapse multiple effective bidding strategies into suboptimal averaged actions and perform unreliably under sparse or long-tail traffic. To mitigate these limitations, we propose DRIVE (Distributional and Retrieval-Augmented Bidding with Value Evaluation), a unified Transformer-based framework that decouples candidate action generation from decision making for offline auto-bidding. DRIVE combines distributional action modeling, retrieval-augmented candidate generation from high-quality historical decisions, and value-based evaluation to select the most promising bid at inference time. Extensive experiments on AuctionNet and additional offline reinforcement learning benchmarks demonstrate that DRIVE consistently improves bidding performance and generalizes well across multiple Transformer–based methods.
","absKo":"Auto-bidding은 real-time advertising system의 핵심 구성 요소로, budget과 cost constraint 하에서 장기 성과를 최적화해야 하며, online exploration은 지나치게 위험하다. Offline reinforcement learning과 최근의 Transformer-based sequence modeling은 logged data로부터 bidding policy를 학습하는 데 유망함을 보여주었지만, 단봉(unimodal)이고 순수하게 parametric한 formulation은 여러 효과적인 bidding strategy를 suboptimal한 평균 action으로 붕괴시키는 경향이 있으며, sparse하거나 long-tail traffic에서는 신뢰성 있게 동작하지 못한다. 이러한 한계를 완화하기 위해, 우리는 offline auto-bidding을 위한 candidate action generation과 decision making을 분리하는 통합 Transformer-based framework인 DRIVE(Distributional and Retrieval-Augmented Bidding with Value Evaluation)를 제안한다. DRIVE는 distributional action modeling, 고품질 historical decision에서의 retrieval-augmented candidate generation, 그리고 value-based evaluation을 결합하여 inference 시점에 가장 유망한 bid를 선택한다. AuctionNet과 추가 offline reinforcement learning benchmark에 대한 광범위한 실험은 DRIVE가 bidding 성능을 일관되게 향상시키고 여러 Transformer 기반 방법 전반에 걸쳐 잘 일반화함을 보여준다.
"},{"id":"64324","en":"Compositional Transduction with Latent Analogies for Offline Goal-Conditioned Reinforcement Learning","ko":"오프라인 목표 조건 강화학습을 위한 잠재 유추를 이용한 구성적 변환","authors":"Junseok Kim, Dohyeong Kim, Mineui Hong, Songhwai Oh","pos":"#516","link":"https://openreview.net/forum?id=OjXimqfwlX","abs":"In offline goal-conditioned reinforcement learning (GCRL), where one relies on a limited reward-free dataset to learn a generalist goal-reaching agent, compositional generalization becomes essential for reaching unseen goals under novel contextual variations. Most prior approaches pursue this via trajectory stitching over temporally contiguous segments, which limits composing behaviors across varying contexts. To overcome this limitation, we formalize analogy transduction as composing task-endogenous analogies with task-exogenous contexts and propose a novel analogy representation tailored for it. Grounded in our theory, this analogy representation captures what changes under optimal task execution, remains invariant to contextual variations, and is sufficient for optimal goal-reaching. We further contend that generalization to unseen analogy-context pairs is a practical obstacle in analogy transduction, and introduce a new approach for offline GCRL that enables analogy transduction beyond seen pairs to unseen combinations. We empirically demonstrate the effectiveness of our approach on OGBench manipulation environments, substantially outperforming prior methods that do not perform analogy transduction.
","absKo":"offline goal-conditioned reinforcement learning (GCRL)에서, 제한된 reward-free dataset만을 이용해 일반적인 goal-reaching agent를 학습해야 하는 상황에서는, 새로운 contextual variation 하에서 보지 못한 goal에 도달하기 위해 compositional generalization이 필수적이다. 이전의 대부분의 방법은 시간적으로 연속된 segment를 trajectory stitching으로 이어 붙이는 방식으로 이를 추구하지만, 이 방식은 다양한 context 전반에서 behavior를 조합하는 데 한계가 있다. 이러한 한계를 극복하기 위해 우리는 analogy transduction을 task-endogenous analogy와 task-exogenous context를 조합하는 것으로 formalize하고, 이를 위해 맞춤형 새로운 analogy representation을 제안한다. 우리의 이론에 기반한 이 analogy representation은 최적의 task 수행에서 무엇이 변하는지를 포착하고, contextual variation에 대해 invariant하며, 최적의 goal-reaching에 충분하다. 또한 우리는 보지 못한 analogy-context pair로의 generalization이 analogy transduction의 실질적 장애물이라고 보고, 본 적 있는 pair를 넘어 보지 못한 조합까지 analogy transduction을 가능하게 하는 offline GCRL의 새로운 접근법을 제안한다. 우리는 OGBench manipulation environment에서 이 접근법의 효과를 실증적으로 보이며, analogy transduction을 수행하지 않는 기존 방법들을 크게 능가함을 입증한다.
"},{"id":"61273","en":"Action-Sufficient Goal Representations","ko":"행동에 충분한 목표 표현","authors":"Jinu Hyeon, Woobin Park, Hongjoon Ahn, Taesup Moon","pos":"#612","link":"https://openreview.net/forum?id=rwwJbBpFOV","abs":"Hierarchical policies in offline goal-conditioned reinforcement learning (GCRL) addresses long-horizon tasks by decomposing control into high-level subgoal planning and low-level action execution. A critical design choice in such architectures is the goal representation—the compressed encoding of goals that serves as the interface between these levels. Existing approaches commonly derive goal representations while learning value functions, implicitly assuming that preserving information sufficient for value estimation is adequate for optimal control. We show that this assumption can fail, even when the value estimation is exact, as such representations may collapse goal states that need to be differentiated for action learning. To address this, we introduce an information-theoretic framework that defines action sufficiency, a condition on goal representations necessary for optimal action selection. We prove that value sufficiency does not imply action sufficiency and empirically verify that the latter is more strongly associated with control success in a discrete environment. We further demonstrate that standard log-loss training of low-level policies naturally induces action-sufficient representations. Our experimental results a popular benchmark demonstrate that our actor-derived representations consistently outperform representations learned via value estimation.
","absKo":"Offline goal-conditioned reinforcement learning (GCRL)에서의 hierarchical policy는 제어를 고수준 subgoal planning과 저수준 action execution으로 분해하여 긴 horizon task를 다룬다. 이러한 아키텍처에서 중요한 설계 선택은 goal representation, 즉 이 두 수준 사이의 interface 역할을 하는 goal의 압축 표현이다. 기존 접근은 대개 value function을 학습하는 동안 goal representation을 유도하며, value estimation에 충분한 정보를 보존하는 것이 optimal control에도 충분하다고 암묵적으로 가정한다. 우리는 이 가정이, value estimation이 정확하더라도, action learning을 위해 구별되어야 하는 goal state를 이러한 representation이 붕괴시킬 수 있기 때문에 실패할 수 있음을 보인다. 이를 해결하기 위해 우리는 optimal action selection에 필요한 goal representation의 조건인 action sufficiency를 정의하는 정보이론적 framework를 도입한다. 우리는 value sufficiency가 action sufficiency를 함의하지 않음을 증명하고, 후자가 discrete environment에서 control 성공과 더 강하게 연관됨을 실증적으로 확인한다. 또한 저수준 policy에 대한 standard log-loss 학습이 자연스럽게 action-sufficient representation을 유도함을 보인다. 우리의 실험 결과는 popular benchmark에서 actor-derived representation이 value estimation으로 학습된 representation보다 일관되게 우수함을 보여준다.
"},{"id":"63675","en":"Adaptive Quasimetric Mapping : Principled Topological Abstraction for Robust Offline Goal-Conditioned Navigation","ko":"Adaptive Quasimetric Mapping: 강인한 offline goal-conditioned navigation을 위한 원리적 위상적 추상화","authors":"Anthony Kobanda, Waris Radji, Odalric-Ambrym Maillard, Rémy Portelas","pos":"#613","link":"https://openreview.net/forum?id=UkaCBdE58o","abs":"Goal-Conditioned Reinforcement Learning aims to design agents that can reach specified goals, notably from previously collected trajectories in the offline setting. In this context, graph-based approaches have been proposed to mitigate compounding value-estimation errors in long-horizon navigation tasks. However, existing approaches typically rely on dense keypoint coverage of the dataset support, resulting in computationally expensive planning. Moreover, they lack explicit mechanisms to adapt to topological changes (e.g., new obstacles), hindering deployment in live applications such as video game environments. To address these two shortcomings, we introduce Adaptive Quasimetric Mapping (AQM), an offline framework leveraging a “time-to-reach” quasimetric learned from the available data. Crucially, it builds a sparse cover of the dataset support, as a greedy approximation to a dominating set problem. At test-time, the resulting graph is carefully pruned by comparing the observed edge traversal time against a time-to-reach budget derived from the quasimetric, thus enabling zero-shot replanning. Empirically, we evaluate AQM on navigation tasks ranging from a classical to a video-game-like benchmark evaluating adaptation across tasks. We show that AQM achieves competitive performance while requiring up to 100× fewer keypoints than prior approaches, hence demonstrating the relevance of topological abstraction for goal-conditioned navigation.
","absKo":"Goal-Conditioned Reinforcement Learning은 에이전트가 지정된 goal에 도달하도록 설계하는 것을 목표로 하며, 특히 offline setting에서는 이전에 수집된 trajectory로부터 이를 수행하는 데 중점을 둔다. 이 맥락에서 graph-based 접근법은 장기 horizon navigation task에서 누적되는 value-estimation error를 완화하기 위해 제안되어 왔다. 그러나 기존 접근법은 대개 dataset support를 촘촘히 덮는 dense keypoint coverage에 의존하므로, planning 비용이 매우 높다. 더 나아가 topology 변화(예: 새로운 장애물)에 적응하기 위한 명시적 메커니즘이 없어, video game 환경과 같은 live application에 배포하기 어렵다. 이 두 가지 한계를 해결하기 위해, 우리는 사용 가능한 데이터로부터 학습된 ``time-to-reach'' quasimetric을 활용하는 offline framework인 Adaptive Quasimetric Mapping(AQM)을 제안한다. 핵심적으로, AQM은 dominating set problem에 대한 greedy approximation으로서 dataset support의 sparse cover를 구성한다. test-time에는 관측된 edge traversal time을 quasimetric에서 유도한 time-to-reach budget과 비교하여 결과 graph를 신중하게 pruning함으로써 zero-shot replanning을 가능하게 한다. 실험적으로 우리는 고전적인 navigation task부터 task 간 적응을 평가하는 video-game-like benchmark에 이르기까지 AQM을 평가한다. 그 결과 AQM은 기존 방법보다 최대 100배 적은 keypoint만으로도 경쟁력 있는 성능을 달성하며, goal-conditioned navigation에서 topological abstraction의 중요성을 보여준다."},{"id":"64920","en":"Causal Flow Q-Learning for Robust Offline Reinforcement Learning","ko":"강건한 Offline Reinforcement Learning을 위한 Causal Flow Q-Learning","authors":"Mingxuan Li, Junzhe Zhang, Elias Bareinboim","pos":"#614","link":"https://openreview.net/forum?id=IexQEyHm2L","abs":"Expressive policies based on flow-matching have been successfully applied in reinforcement learning (RL) more recently due to their ability to model complex action distributions from offline data. These algorithms build on standard policy gradients, which assume that there is no unmeasured confounding in the data. However, this condition does not necessarily hold for pixel-based demonstrations when a mismatch exists between the demonstrator's and the learner's sensory capabilities, leading to implicit confounding biases in offline data. We address the challenge by investigating the problem of confounded observations in offline RL from a causal perspective. We develop a novel causal offline RL objective that optimizes policies' worst-case performance that may arise due to confounding biases. Based on this new objective, we introduce a practical implementation that learns expressive flow-matching policies from confounded demonstrations, employing a deep discriminator to assess the discrepancy between the target policy and the nominal behavioral policy. Experiments across 25 pixel-based tasks demonstrate that our proposed confounding-robust augmentation procedure achieves a success rate 120\\% that of confounding-unaware, state-of-the-art offline RL methods.
","absKo":"flow-matching 기반의 expressive policy는 offline data로부터 복잡한 action distribution을 모델링할 수 있다는 장점 덕분에 최근 reinforcement learning(RL)에 성공적으로 적용되었다. 이러한 algorithm은 데이터에 측정되지 않은 confounding이 없다고 가정하는 표준 policy gradient에 기반한다. 그러나 demonstrator와 learner의 sensory capability가 불일치할 때 pixel-based demonstration에서는 이 조건이 반드시 성립하지 않으며, 이로 인해 offline data에 implicit confounding bias가 발생한다. 우리는 causal perspective에서 offline RL의 confounded observation 문제를 조사함으로써 이 도전에 대응한다. 그 결과, confounding bias로 인해 발생할 수 있는 policy의 worst-case performance를 최적화하는 새로운 causal offline RL objective를 개발한다. 이 새로운 objective를 바탕으로, target policy와 nominal behavioral policy 사이의 discrepancy를 평가하기 위해 deep discriminator를 사용하는, confounded demonstration으로부터 expressive flow-matching policy를 학습하는 실용적 구현을 제안한다. 25개의 pixel-based task에 대한 실험은 우리가 제안한 confounding-robust augmentation procedure가 confounding을 고려하지 않는 state-of-the-art offline RL method 대비 120\\%의 success rate를 달성함을 보여준다.
"},{"id":"66315","en":"Chain-of-Goals Hierarchical Policy for Long-Horizon Offline Goal-Conditioned RL","ko":"장기 지평 오프라인 목표 조건 RL을 위한 Chain-of-Goals 계층적 정책","authors":"Jinwoo Choi, Sang-Hyun Lee, Seung-Woo Seo","pos":"#615","link":"https://openreview.net/forum?id=4nfItZvfna","abs":"Offline goal-conditioned reinforcement learning remains challenging for long-horizon tasks. While hierarchical approaches mitigate this issue by decomposing tasks, most existing methods rely on separate high- and low-level networks and generate only a single intermediate subgoal, making them inadequate for complex tasks that require coordinating multiple intermediate decisions. To address this limitation, we draw inspiration from the chain-of-thought paradigm and propose the Chain-of-Goals Hierarchical Policy (CoGHP), a novel framework that reformulates hierarchical decision-making as autoregressive sequence modeling within a unified architecture. Given a state and a final goal, CoGHP autoregressively generates a sequence of latent subgoals followed by the primitive action, where each latent subgoal acts as a reasoning step that conditions subsequent predictions. To implement this efficiently, we pioneer the use of an MLP-Mixer backbone, which supports cross-token communication and captures structural relationships among state, goal, latent subgoals, and action. Across challenging navigation and manipulation benchmarks, CoGHP consistently outperforms strong offline baselines, demonstrating improved performance on long-horizon tasks.
","absKo":"Offline goal-conditioned reinforcement learning은 long-horizon task에서 여전히 어렵습니다. Hierarchical 접근법은 task를 분해함으로써 이 문제를 완화하지만, 기존 방법의 대부분은 별도의 high-level 및 low-level network에 의존하고 단 하나의 중간 subgoal만 생성하므로, 여러 중간 결정을 조율해야 하는 복잡한 task에는 충분하지 않습니다. 이 한계를 해결하기 위해 우리는 chain-of-thought 패러다임에서 영감을 받아, hierarchical decision-making을 통합된 architecture 내에서 autoregressive sequence modeling으로 재정식화하는 새로운 framework인 Chain-of-Goals Hierarchical Policy (CoGHP)를 제안합니다. state와 최종 goal이 주어지면, CoGHP는 latent subgoal들의 sequence를 autoregressively 생성한 뒤 primitive action을 생성하며, 각 latent subgoal은 이후 예측을 조건화하는 reasoning step 역할을 합니다. 이를 효율적으로 구현하기 위해 우리는 cross-token communication을 지원하고 state, goal, latent subgoal, action 간의 구조적 관계를 포착하는 MLP-Mixer backbone의 사용을 개척했습니다. 어려운 navigation 및 manipulation benchmark 전반에서 CoGHP는 강력한 offline baseline을 일관되게 능가하며, long-horizon task에서 향상된 성능을 보여줍니다.
"},{"id":"60579","en":"Chunk-Guided Q-Learning","ko":"청크 유도 Q-Learning","authors":"Gwanwoo Song, Kwanyoung Park, Youngwoon Lee","pos":"#616","link":"https://openreview.net/forum?id=yojuz84NLb","abs":"In offline reinforcement learning (RL), single-step temporal-difference (TD) learning can suffer from bootstrapping error accumulation over long horizons. Action-chunked TD methods mitigate this by backing up over multiple steps, but can introduce suboptimality by restricting the policy class to open-loop action sequences. To resolve this trade-off, we present Chunk-Guided Q-Learning (CGQ), a single-step TD algorithm that guides a fine-grained single-step critic by regularizing it toward a chunk-based critic trained using temporally extended backups. This reduces compounding error while preserving fine-grained value propagation. We theoretically show that CGQ attains tighter critic optimality bounds than either single-step or action-chunked TD learning alone. Empirically, CGQ achieves strong performance on challenging long-horizon OGBench tasks, often outperforming both single-step and action-chunked methods.
","absKo":"offline reinforcement learning(RL)에서 single-step temporal-difference(TD) learning은 긴 horizon에서 bootstrapping error accumulation을 겪을 수 있다. Action-chunked TD 방법은 여러 step에 걸쳐 backup함으로써 이를 완화하지만, policy class를 open-loop action sequence로 제한하여 suboptimality를 유발할 수 있다. 이 trade-off를 해결하기 위해, 우리는 temporally extended backup으로 학습된 chunk-based critic 쪽으로 regularization을 걸어 fine-grained single-step critic을 유도하는 single-step TD 알고리즘인 Chunk-Guided Q-Learning(CGQ)을 제안한다. 이는 fine-grained value propagation을 보존하면서 누적 오차를 줄인다. 우리는 이론적으로 CGQ가 single-step TD나 action-chunked TD learning 단독보다 더 타이트한 critic optimality bound를 달성함을 보인다. 경험적으로 CGQ는 도전적인 long-horizon OGBench task에서 강한 성능을 보이며, 종종 single-step 및 action-chunked 방법 모두를 능가한다.
"},{"id":"61224","en":"Continuity-Regularized Flow Matching for Offline Reinforcement Learning","ko":"Offline Reinforcement Learning을 위한 Continuity-Regularized Flow Matching","authors":"Xiaocong Chen, Siyu Wang, Lina Yao","pos":"#515","link":"https://openreview.net/forum?id=sV3bCyzAvH","abs":"Flow-matching policies have recently emerged as a powerful class of generative models for offline reinforcement learning (RL), capable of capturing complex, multi-modal action distributions from static datasets. However, standard training objectives are largely agnostic to the global properties of the generative path, permitting learned vector fields that are irregular and unstable, which can hinder performance. In this work, we introduce PDE-regularized Q-Learning (PQL), a novel algorithm that addresses this limitation by imposing a principled structure on the entire probability flow. PQL makes two synergistic contributions: first, a partial differential equation based regularizer derived from the continuity equation enforces global smoothness and stability on the flow. Second, to solve the complex optimization problem introduced by this regularizer, we propose a Beta-distributed timestep sampling strategy that focuses learning on the critical trajectory segments where the trade-off between imitation and smoothness is most acute. Through extensive experiments, we demonstrate that by structuring the generative journey and not just its destination, PQL achieves state-of-the-art performance on a wide range of challenging offline RL tasks.
","absKo":"Flow-matching policy는 최근 offline reinforcement learning (RL)을 위한 강력한 generative model 계열로 부상했으며, 정적 dataset에서 복잡하고 다봉적인 action distribution을 포착할 수 있다. 그러나 표준 training objective는 generative path의 전역적 성질에는 대체로 무관심하여, 학습된 vector field가 불규칙하고 불안정하게 될 수 있고, 이는 성능을 저해할 수 있다. 본 연구에서는 이 한계를 해결하기 위해 probability flow 전체에 원리 있는 구조를 부과하는 새로운 algorithm인 PDE-regularized Q-Learning (PQL)을 소개한다. PQL은 두 가지 시너지 있는 기여를 한다. 첫째, continuity equation에서 유도한 partial differential equation 기반 regularizer가 flow에 전역적 smoothness와 stability를 강제한다. 둘째, 이 regularizer가 도입하는 복잡한 optimization 문제를 풀기 위해, imitation과 smoothness 간 trade-off가 가장 첨예한 핵심 trajectory segment에 학습을 집중시키는 Beta-distributed timestep sampling strategy를 제안한다. 광범위한 실험을 통해, 우리는 생성 여정뿐 아니라 그 도착점만이 아니라 여정 전체를 구조화함으로써 PQL이 다양한 어려운 offline RL task에서 state-of-the-art 성능을 달성함을 보인다.
"},{"id":"60676","en":"Toward Subspace-Perturbed Trajectory-Aware Backdoor Attacks in Deep Reinforcement Learning","ko":"Deep Reinforcement Learning에서 Subspace-Perturbed Trajectory-Aware Backdoor Attack을 향하여","authors":"Yaguan Qian, Taining Zhang, Qiqi Bao, Yanru Guo, Lufang Zhang, Zhaoquan Gu, Shouling Ji, Bin Wang, Zhen Lei","pos":"#108","link":"https://openreview.net/forum?id=xj8fxP9GZ6","abs":"Deep Reinforcement Learning agents are in- creasingly used in safety-critical domains but remain vulnerable to stealthy backdoor attacks. Existing outer-loop attacks face a trade-off be- tween perceptual stealth, poisoning efficiency, and value-function consistency, often making the at- tack ineffective or easily exposed. To address these challenges, we propose SpecDRL, a uni- fied framework that ❶ embeds triggers in the least sensitive subspaces of the state manifold via Subspace-Aware Injection, exploiting percep- tual blind spots, ❷ selects the most influential time steps for poisoning through Value-Guided Strategic Sampling based on Return-to-Go and Temporal-Difference error, and ❸ preserves re- ward integrity via Bellman-Consistent Dynamic Reward Poisoning, which analytically enforces ϵ- consistency of value functions and bounds global return deviations. Experiments across 12 Atari en- vironments demonstrate that SpecDRL achieves near-100% attack success, accelerates backdoor convergence, and maintains benign task perfor- mance.
","absKo":"Deep Reinforcement Learning agent는 점점 더 safety-critical domain에서 사용되고 있지만, 은밀한 backdoor attack에 여전히 취약하다. 기존 outer-loop attack은 perceptual stealth, poisoning efficiency, value-function consistency 사이에서 trade-off를 겪으며, 이 때문에 공격이 비효율적이거나 쉽게 노출된다. 이러한 문제를 해결하기 위해 우리는 SpecDRL을 제안한다. SpecDRL은 ❶ Subspace-Aware Injection을 통해 state manifold의 가장 덜 민감한 subspace에 trigger를 삽입하여 perceptual blind spot을 활용하고, ❷ Return-to-Go와 Temporal-Difference error를 기반으로 하는 Value-Guided Strategic Sampling으로 poisoning에 가장 영향력이 큰 time step을 선택하며, ❸ Bellman-Consistent Dynamic Reward Poisoning으로 reward integrity를 보존하여 value function의 ϵ-consistency를 해석적으로 강제하고 global return deviation을 제한하는 통합 framework이다. 12개의 Atari environment 전반에서 수행한 실험은 SpecDRL이 거의 100%의 attack success를 달성하고, backdoor convergence를 가속하며, benign task performance를 유지함을 보여준다.
"},{"id":"62821","en":"Compositional Planning with Jumpy World Models","ko":"Jumpy World Models를 통한 Compositional Planning","authors":"Jesse Farebrother, Matteo Pirotta, Andrea Tirinzoni, Marc Bellemare, Alessandro Lazaric, Ahmed Touati","pos":"#117","link":"https://openreview.net/forum?id=cwztmjMQ77","abs":"The ability to plan with temporal abstractions is central to intelligent decision-making. Rather than reasoning over primitive actions, we study agents that compose pre-trained policies as temporally extended actions, enabling solutions to complex tasks that no constituent alone could solve. Such compositional planning remains elusive as compounding errors in long-horizon predictions make it challenging to estimate the visitation distribution induced by sequencing policies. Motivated by the geometric policy composition framework introduced in Thakoor et al. (2022), we address these challenges by learning predictive models of multi-step dynamics, so-called jumpy world models, that capture state occupancies induced by pre-trained policies across multiple timescales in an off-policy manner. Building on Temporal Difference Flows (Farebrother et al., 2025), we enhance these models with a novel consistency objective that aligns predictions across timescales, improving long-horizon predictive accuracy. We further demonstrate how to combine these generative predictions to estimate the value of executing arbitrary sequences of policies over varying timescales. Empirically, we find that compositional planning with jumpy world models significantly improves zero-shot performance across a wide range of base policies on challenging manipulation and navigation tasks, yielding an average 200% relative improvement over planning with primitive actions on long-horizon tasks.
","absKo":"시간적 abstraction을 활용해 계획하는 능력은 지능적 의사결정의 핵심이다. 원시 action에 대해 추론하는 대신, 우리는 pre-trained policy를 시간적으로 확장된 action으로 합성하는 agent를 연구하며, 이를 통해 어떤 constituent만으로는 해결할 수 없는 복잡한 task에 대한 해법을 가능하게 한다. 그러나 장기 horizon 예측에서 error가 누적되면서 policy를 순차적으로 적용할 때 유도되는 visitation distribution을 추정하기가 어려워, 이러한 compositional planning은 여전히 난제로 남아 있다. Thakoor et al. (2022)의 geometric policy composition framework에서 영감을 받아, 우리는 pre-trained policy가 여러 time scale에 걸쳐 유도하는 state occupancy를 off-policy 방식으로 포착하는 multi-step dynamics 예측 모델, 즉 jumpy world model을 학습함으로써 이러한 문제를 해결한다. Temporal Difference Flows (Farebrother et al., 2025)를 바탕으로, 우리는 서로 다른 time scale의 prediction을 정렬하는 새로운 consistency objective를 추가하여 장기 horizon 예측 정확도를 향상시킨다. 또한 이러한 generative prediction을 결합하여, 임의의 policy sequence를 서로 다른 time scale에서 실행했을 때의 value를 추정하는 방법을 보인다. 실험적으로, jumpy world model을 이용한 compositional planning은 까다로운 manipulation 및 navigation task 전반에서 다양한 base policy의 zero-shot 성능을 크게 향상시키며, 장기 horizon task에서 primitive action으로 계획하는 것보다 평균 200%의 상대적 향상을 달성한다.
"},{"id":"61121","en":"What Makes Value Learning Efficient in Residual Reinforcement Learning?","ko":"Residual Reinforcement Learning에서 Value Learning을 효율적으로 만드는 것은 무엇인가?","authors":"Guozheng Ma, Lu Li, Haoyu Wang, Zixuan Liu, Pierre-Luc Bacon, Dacheng Tao","pos":"#200","link":"https://openreview.net/forum?id=tSMZHXtJwZ","abs":"Residual reinforcement learning (RL) enables stable online refinement of expressive pretrained policies by freezing the base and learning only bounded corrections. However, value learning in residual RL poses unique challenges that remain poorly understood. In this work, we identify two key bottlenecks: cold start pathology, where the critic lacks knowledge of the value landscape around the base policy, and structural scale mismatch, where the residual contribution is dwarfed by the base action. Through systematic investigation, we uncover the mechanisms underlying these bottlenecks, revealing that simple yet principled solutions suffice: base-policy transitions serve as an essential value anchor for implicit warmup, and critic normalization effectively restores representation sensitivity for discerning value differences. Based on these insights, we propose DAWN (Data-Anchored Warmup and Normalization), a minimal approach targeting efficient value learning in residual RL. By addressing these bottlenecks, DAWN demonstrates substantial efficiency gains across diverse benchmarks, policy architectures, and observation modalities.
","absKo":"Residual reinforcement learning (RL)은 base를 고정하고 bounded correction만 학습함으로써 표현력이 풍부한 pretrained policy를 안정적으로 online refinement할 수 있게 한다. 그러나 residual RL에서의 value learning은 아직 충분히 이해되지 않은 고유한 도전 과제를 제시한다. 본 연구에서는 두 가지 핵심 병목을 식별한다. 하나는 critic이 base policy 주변의 value landscape에 대한 지식을 갖추지 못한 cold start pathology이고, 다른 하나는 residual 기여가 base action에 비해 너무 작아지는 structural scale mismatch이다. 체계적 분석을 통해 우리는 이러한 병목의 메커니즘을 밝혀내고, 단순하지만 원리적인 해결책만으로 충분함을 보인다. base-policy transition은 implicit warmup을 위한 필수적인 value anchor로 작동하고, critic normalization은 value difference를 구분하기 위한 representation sensitivity를 효과적으로 복원한다. 이러한 통찰을 바탕으로 우리는 residual RL에서 효율적인 value learning을 목표로 하는 최소한의 접근법인 DAWN(Data-Anchored Warmup and Normalization)을 제안한다. 이 병목들을 해결함으로써 DAWN은 다양한 benchmark, policy architecture, observation modality 전반에서 상당한 효율 향상을 보인다.
"},{"id":"65051","en":"Zero-Shot Off-Policy Learning","ko":"Zero-Shot Off-Policy 학습","authors":"Arip Asadulaev, Maksim Bobrin, Salem Lahlou, Dmitry V. Dylov, Fakhri Karray, Martin Takac","pos":"#201","link":"https://openreview.net/forum?id=HFpAMjHiZm","abs":"Off-policy learning methods seek to derive an optimal policy directly from a fixed dataset of prior interactions. This objective presents significant challenges, primarily due to the inherent distributional shift and value function overestimation bias. These issues become even more noticeable in zero-shot reinforcement learning, where an agent trained on reward-free data must adapt to new tasks at test time without additional training. In this work, we address the off-policy problem in a zero-shot setting by discovering a theoretical connection of successor measures to stationary density ratios. Using this insight, our algorithm can infer optimal importance sampling ratios, effectively performing a stationary distribution correction with an optimal policy for any task on the fly. We benchmark our method in motion tracking tasks on SMPL Humanoid, continuous control on ExoRL, and for the long-horizon OGBench tasks. Our technique seamlessly integrates into forward-backward representation frameworks and enables fast-adaptation to new tasks in a raining-free regime. More broadly, this work bridges off-policy learning and zero-shot adaptation, offering benefits to both research areas.
","absKo":"Off-policy learning method는 고정된 과거 상호작용 dataset으로부터 직접 최적 policy를 도출하고자 한다. 이 목표는 내재적인 distributional shift와 value function 과대추정 편향 때문에 상당한 어려움을 제기한다. 이러한 문제는 보상이 없는 데이터로 학습된 agent가 추가 학습 없이 test time에 새로운 task에 적응해야 하는 zero-shot reinforcement learning에서 더욱 두드러진다. 본 연구에서는 successor measure와 stationary density ratio 사이의 이론적 연결을 발견함으로써 zero-shot 설정에서 off-policy 문제를 해결한다. 이 통찰을 사용하면, 우리의 알고리즘은 최적 importance sampling ratio를 추론할 수 있고, 이를 통해 임의의 task에 대해 즉시 최적 policy와 함께 stationary distribution correction을 효과적으로 수행한다. 우리는 SMPL Humanoid에서의 motion tracking task, ExoRL에서의 continuous control, 그리고 긴 horizon의 OGBench task에서 이 방법을 평가한다. 우리의 기법은 forward-backward representation framework에 매끄럽게 통합되며, training-free regime에서 새로운 task로의 fast-adaptation을 가능하게 한다. 더 넓게는, 이 연구는 off-policy learning과 zero-shot adaptation 사이를 연결하며 두 연구 분야 모두에 이점을 제공한다.
"},{"id":"62491","en":"Differentiable Weightless Controllers: Learning Logic Circuits for Continuous Control","ko":"Differentiable Weightless Controllers: 연속 제어를 위한 Logic Circuit 학습","authors":"Fabian Kresse, Christoph Lampert","pos":"#202","link":"https://openreview.net/forum?id=g8OP3bstR2","abs":"Controlling autonomous systems under real-world conditions often requires policies that can be evaluated with low latency and low energy requirements. Unfortunately, these conditions are at odds with the use of high-precision deep networks as controllers. In this work, we introduce Differentiable Weightless Controllers (DWCs), a symbolic-differentiable architecture that allows learning flexible non-linear yet highly efficient control policies. DWCs can be trained end-to-end by gradient-based techniques, yet compile directly into FPGA-compatible circuits with few- or even single-clock-cycle latency and nanojoule-level energy cost per action for the core computation. Across five MuJoCo benchmarks, including high-dimensional Humanoid, DWCs achieve returns competitive with standard deep policies (full precision or quantized neural networks). Furthermore, DWCs exhibit structurally sparse and interpretable connectivity patterns, enabling a direct inspection of which input values influence control decisions.
","absKo":"실세계 조건에서 autonomous system을 제어하려면 낮은 latency와 낮은 energy requirement로 평가할 수 있는 policy가 필요한 경우가 많다. 불행히도 이러한 조건은 controller로서 고정밀 deep network를 사용하는 것과 상충한다. 본 연구에서는 유연한 비선형이면서도 매우 효율적인 control policy를 학습할 수 있게 해주는 symbolic-differentiable architecture인 Differentiable Weightless Controllers (DWCs)를 소개한다. DWCs는 gradient-based technique으로 end-to-end 학습할 수 있으면서도, 핵심 계산에 대해 몇 개 또는 단일 clock cycle latency와 action당 nanojoule 수준의 energy cost를 갖는 FPGA-compatible circuit으로 직접 컴파일된다. 고차원 Humanoid를 포함한 다섯 개 MuJoCo benchmark 전반에서 DWCs는 standard deep policy (full precision 또는 quantized neural network)와 경쟁력 있는 return을 달성한다. 더 나아가 DWCs는 구조적으로 sparse하고 해석 가능한 connectivity pattern을 보여주어, 어떤 input value가 control decision에 영향을 미치는지 직접 점검할 수 있게 한다.
"},{"id":"64857","en":"Uncertainty-Guided Exploration and Stable Planning for Sparse-Reward Manipulation from Limited Demonstrations","ko":"제한된 시연으로부터 Sparse-Reward Manipulation을 위한 불확실성 유도 탐색 및 안정적 계획","authors":"Haowen Sun, Liqi Huang, Mingyang Li, Sihua Ren, Xinzhe Chen, Chengzhong Ma, Zeyang Liu, Xingyu Chen, Xuguang Lan","pos":"#300","link":"https://openreview.net/forum?id=J5IGUfqsIL","abs":"Reinforcement learning from demonstrations (RLfD) offers a promising method for robotic manipulation with sparse rewards. However, limited demonstrations often cause agents to encounter out-of-distribution states where world models produce poor predictions. In multi-stage tasks, jointly optimizing a learned reward function and policy introduces a moving target problem, and the resulting non-stationarity intensifies the impact of uncertainty on policy learning. In this work, we propose QUEST, a model-based RL framework that adaptively switches between exploration and exploitation guided by uncertainty to achieve stable and efficient learning. Specifically, our approach employs intrinsic rewards to capture environmental stochasticity, leverages ensemble dynamics for uncertainty-guided planning, and introduces a hybrid sampling strategy to prioritize rare successful stage transitions. We evaluate QUEST on challenging sparse-reward manipulation tasks with limited expert demonstrations. Results show that QUEST outperforms state-of-the-art methods by 17\\% on average, with gains increasing to 60\\% on difficult tasks. We further demonstrate successful zero-shot sim-to-real transfer on three real-world tasks.
","absKo":"데모를 통한 강화학습(RLfD)은 sparse reward 환경의 로봇 조작에 유망한 방법을 제공한다. 그러나 제한된 데모는 종종 에이전트가 world model이 부정확한 예측을 생성하는 out-of-distribution state를 마주하게 만든다. multi-stage task에서는 학습된 reward function과 policy를 jointly optimizing하면 moving target problem이 발생하며, 그 결과 non-stationarity가 uncertainty가 policy learning에 미치는 영향을 더욱 증폭시킨다. 본 연구에서는 uncertainty에 의해 guided되는 exploration과 exploitation 사이를 적응적으로 전환하여 안정적이고 효율적인 학습을 달성하는 model-based RL framework인 QUEST를 제안한다. 구체적으로, 우리의 접근법은 environmental stochasticity를 포착하기 위해 intrinsic reward를 사용하고, uncertainty-guided planning을 위해 ensemble dynamics를 활용하며, 희귀한 성공 stage transition을 우선시하는 hybrid sampling strategy를 도입한다. 우리는 제한된 expert demonstration이 주어진 challenging sparse-reward manipulation task에서 QUEST를 평가한다. 결과는 QUEST가 state-of-the-art method보다 평균 17\\% 우수하며, 어려운 task에서는 성능 향상이 60\\%까지 증가함을 보여준다. 또한 세 개의 실제 world task에서 successful zero-shot sim-to-real transfer를 입증한다.
"},{"id":"61935","en":"TraCeS: Learning Per-Timestep Constraint-Violation Credit from Sparse Trajectory-Level Labels","ko":"TraCeS: 희소한 trajectory-level 레이블로부터 시점별 제약 위반 크레딧 학습","authors":"Siow Meng Low, Ze Gong, Akshat Kumar","pos":"#301","link":"https://openreview.net/forum?id=lXnoKG4jFU","abs":"Ensuring safe behavior in reinforcement learning (RL) is challenging when safety constraints are implicit and cannot be densely measured. In many settings, supervision is limited to coarse approvals or rejections of whole trajectories (e.g., whether a rollout remained within an unknown safety threshold). We propose TraCeS (Trajectory-based Constraint Estimation for Safety), a method for learning per-timestep violation credit from such sparse trajectory-level labels. TraCeS trains a sequential violation estimator whose per-step credits factorize the predicted probability that a trajectory has not yet violated the constraint, and integrates this learned signal into constrained policy optimization. The method requires neither a known cost function nor a known threshold, and remains compatible with standard continuous-control algorithms. We provide a theoretical analysis of the approximation gap introduced by the learning objective, and demonstrate empirically that TraCeS improves constraint satisfaction and feedback efficiency over baselines across multiple continuous-control benchmarks, including long-horizon tasks and settings with noisy or inconsistent labels.
","absKo":"안전 제약이 암묵적이고 촘촘하게 측정될 수 없을 때, 강화학습(RL)에서 안전한 행동을 보장하는 것은 어렵다. 많은 설정에서 supervision은 전체 trajectory에 대한 대략적인 승인 또는 거절로만 제한된다(예: rollout이 알 수 없는 안전 임계값 내에 머물렀는지 여부). 우리는 이러한 sparse trajectory-level label로부터 per-timestep violation credit를 학습하는 방법인 TraCeS(Trajectory-based Constraint Estimation for Safety)를 제안한다. TraCeS는 순차적 violation estimator를 학습하며, 각 step의 credit은 trajectory가 아직 제약을 위반하지 않았다는 예측 확률을 factorize하도록 구성되고, 이 학습된 신호를 constrained policy optimization에 통합한다. 이 방법은 알려진 cost function도 알려진 threshold도 필요로 하지 않으며, 표준 continuous-control algorithm과도 호환된다. 우리는 학습 objective가 도입하는 approximation gap에 대한 이론적 분석을 제공하고, TraCeS가 long-horizon task와 noisy 또는 inconsistent label이 있는 설정을 포함한 여러 continuous-control benchmark에서 baseline 대비 제약 만족도와 feedback 효율을 향상시킴을 실험적으로 보인다.
"},{"id":"66527","en":"Taming the Aleatoric Impulse in Off-Policy Reinforcement Learning","ko":"Off-Policy 강화 학습에서 우연적 충동 길들이기","authors":"Zhouyang Yu, Guojian Zhan, Yang Guan, Jingliang Duan, Letian Tao, Shengbo Li","pos":"#302","link":"https://openreview.net/forum?id=2tcZ8Vl30Q","abs":"Off-policy reinforcement learning is vulnerable to overestimation bias, which is rooted in the total value uncertainty. However, existing methods typically misaddress this by targeting the epistemic component, neglecting the aleatoric component. We identify for the first time that this oversight fails to contain a massive bias surge, termed the Aleatoric Impulse. Although transient, this impulse fundamentally derails the learning trajectory, permanently locking the agent into suboptimal policies. To counteract this, we propose Aleatoric Impulse Damping (AID), the first mechanism that models total value uncertainty by disentangling the return variance into epistemic and aleatoric components, followed by their adaptive weighted recombination. Leveraging this derived uncertainty, the critic constructs a pessimistic lower confidence bound to surgically suppress the impulse. Complementing this, the actor utilizes a symmetrical upper confidence bound to drive optimistic exploration, ensuring that the necessary pessimism does not compromise exploration efficiency. We integrate this mechanism into the Distributional Soft Actor-Critic algorithm to establish DSAC-AID. Extensive experiments on the high-dimensional Gym-MuJoCo and DeepMind Control Suite benchmarks demonstrate that it achieves state-of-the-art results in final performance.
","absKo":"Off-policy reinforcement learning은 total value uncertainty에 뿌리를 둔 overestimation bias에 취약하다. 그러나 기존 방법들은 대개 이를 epistemic component를 목표로 하여 잘못 다루며, aleatoric component는 간과한다. 우리는 이러한 간과가 거대한 bias surge를 억제하지 못한다는 사실을 처음으로 밝혀냈고, 이를 Aleatoric Impulse라고 부른다. 이 impulse는 일시적이지만 학습 궤적을 근본적으로 무너뜨려 agent를 영구적으로 suboptimal policy에 가두게 된다. 이를 막기 위해 우리는 Aleatoric Impulse Damping (AID)를 제안한다. 이는 return variance를 epistemic과 aleatoric component로 분리하여 total value uncertainty를 모델링한 뒤, 이를 adaptive weighted recombination하는 최초의 mechanism이다. 이렇게 도출한 uncertainty를 활용하여 critic은 pessimistic lower confidence bound를 구성해 impulse를 정교하게 억제한다. 이에 더해 actor는 대칭적인 upper confidence bound를 활용해 optimistic exploration을 유도함으로써, 필요한 pessimism이 exploration efficiency를 훼손하지 않도록 한다. 우리는 이 mechanism을 Distributional Soft Actor-Critic algorithm에 통합하여 DSAC-AID를 확립한다. 고차원의 Gym-MuJoCo와 DeepMind Control Suite benchmark에서 수행한 광범위한 실험은 최종 성능에서 state-of-the-art 결과를 달성함을 보여준다.
"},{"id":"62436","en":"Stable Deep Reinforcement Learning via Isotropic Gaussian Representations","ko":"등방성 Gaussian 표현을 통한 Stable Deep Reinforcement Learning","authors":"Ali Saheb pasand, Johan Obando-Ceron, Aaron Courville, Pouya Bashivan, Pablo Samuel Castro","pos":"#303","link":"https://openreview.net/forum?id=gc7Gg18ejz","abs":"Deep reinforcement learning systems often suffer from unstable training dynamics due to non-stationarity, where learning objectives and data distributions evolve over time. We show that under non-stationary targets, isotropic Gaussian embeddings are provably advantageous. In particular, they induce stable tracking of time-varying targets for linear readouts, achieve maximal entropy under a fixed variance budget, and encourage a balanced use of all representational dimensions. Building on this insight, we propose the use of Sketched Isotropic Gaussian Regularization for shaping representations toward an isotropic Gaussian during training. We demonstrate empirically, over a variety of domains, that this simple and computationally inexpensive method improves performance under non-stationarity while reducing representation collapse, neuron dormancy, and training instability.
","absKo":"Deep reinforcement learning system은 학습 목표와 data distribution이 시간에 따라 변하는 non-stationarity 때문에 불안정한 training dynamics를 자주 겪는다. 우리는 non-stationary target 하에서 isotropic Gaussian embedding이 이론적으로 유리함을 보인다. 특히 이는 linear readout에 대해 시간에 따라 변하는 target을 안정적으로 추적하게 하고, 고정된 variance budget 하에서 최대 entropy를 달성하며, 모든 representation dimension을 균형 있게 사용하도록 유도한다. 이러한 통찰을 바탕으로, 우리는 training 중 representation을 isotropic Gaussian 쪽으로 형성하기 위한 Sketched Isotropic Gaussian Regularization의 사용을 제안한다. 다양한 도메인에 걸친 실험을 통해, 이 단순하고 계산 비용이 낮은 방법이 non-stationarity 하에서 성능을 개선하는 동시에 representation collapse, neuron dormancy, training instability를 줄임을 보인다.
"},{"id":"62337","en":"SPHERE: Mitigating the Loss of Spectral Plasticity in Mixture-of-Experts for Deep Reinforcement Learning","ko":"SPHERE: Deep Reinforcement Learning에서 Mixture-of-Experts의 Spectral Plasticity 손실 완화","authors":"Lirui Luo, Guoxi Zhang, Hongming Xu, Cong Fang, Qing Li","pos":"#304","link":"https://openreview.net/forum?id=hXyv6xeHkO","abs":"In DRL, an agent is trained from a stream of experience. In a continual learning setting, such agents can suffer from \\emph{plasticity loss}: their ability to learn new skills from new experiences diminishes over training. Recently, Mixture-of-Experts (MoE) networks have been reported to enable scaling laws and facilitate the learning of diverse skills. However, in continual reinforcement learning settings, their performance can degenerate as learning proceeds, indicating a loss of plasticity. To address this, building on Neural Tangent Kernel (NTK) theory, we formalize the plasticity loss in MoE policies as a loss of \\emph{spectral plasticity}. We then derive a tractable proxy for spectral plasticity, one expressible in terms of individual expert feature matrices. Leveraging this proxy, we introduce \\emph{SPHERE}, a practical Parseval penalty tailored for MoE-based policies that alleviates the loss of spectral plasticity. On MetaWorld and HumanoidBench, SPHERE improves average success under continual RL by 133\\% and 50\\% over an unregularized MoE baseline, while maintaining higher spectral plasticity throughout training.
","absKo":"DRL에서 agent는 experience stream으로부터 학습된다. continual learning setting에서는 이러한 agent가 \\emph{plasticity loss}를 겪을 수 있는데, 이는 새로운 experience로부터 새로운 skill을 학습하는 능력이 학습이 진행됨에 따라 감소하는 현상이다. 최근 Mixture-of-Experts (MoE) network는 scaling law를 가능하게 하고 다양한 skill 학습을 촉진하는 것으로 보고되었다. 그러나 continual reinforcement learning setting에서는 학습이 진행될수록 성능이 저하될 수 있으며, 이는 plasticity loss를 시사한다. 이를 해결하기 위해 Neural Tangent Kernel (NTK) theory에 기반하여, 우리는 MoE policy에서의 plasticity loss를 \\emph{spectral plasticity}의 손실로 정식화한다. سپس 우리는 개별 expert feature matrix로 표현 가능한, 계산 가능한 spectral plasticity proxy를 유도한다. 이 proxy를 활용하여 우리는 MoE 기반 policy에 맞춘 실용적인 Parseval penalty인 \\emph{SPHERE}를 도입하고, 이는 spectral plasticity loss를 완화한다. MetaWorld와 HumanoidBench에서 SPHERE는 regularization이 없는 MoE baseline 대비 continual RL에서 평균 성공률을 각각 133\\%와 50\\% 향상시키면서, 학습 전반에 걸쳐 더 높은 spectral plasticity를 유지한다.
"},{"id":"61251","en":"Robust In-Context Reinforcement Learning Under Reward Poisoning Attacks","ko":"Reward Poisoning Attack하의 강건한 In-Context Reinforcement Learning","authors":"Paulius Sasnauskas, Yiğit Yalın, Goran Radanovic","pos":"#305","link":"https://openreview.net/forum?id=s8AbIVtmUg","abs":"We study the corruption-robustness of in-context reinforcement learning (ICRL), focusing on the Decision-Pretrained Transformer (DPT, Lee et al., 2023). To address the challenge of reward poisoning attacks targeting the DPT, we propose a novel adversarial training framework, called Adversarially Trained DPT (AT-DPT). Our method simultaneously trains a population of attackers to minimize the true reward of the DPT by poisoning environment rewards, and a DPT model to infer optimal actions from the poisoned data. We evaluate the effectiveness of our approach against standard bandit algorithms, including robust baselines designed to handle reward contamination. Our results show that AT-DPT significantly outperforms them in bandit settings under a learned attacker, and generalizes to more complex environments such as adaptive attackers and MDPs. It shows promise in ICRL as a meta-RL approach to learning effective corruption-robust algorithms.
","absKo":"우리는 in-context reinforcement learning (ICRL)의 corruption-robustness를 연구하며, Decision-Pretrained Transformer (DPT, Lee et al., 2023)에 초점을 맞춘다. DPT를 겨냥한 reward poisoning attack의 도전에 대응하기 위해, Adversarially Trained DPT (AT-DPT)라는 새로운 adversarial training framework를 제안한다. 우리 방법은 환경 reward를 오염시켜 DPT의 true reward를 최소화하는 attacker 집단과, poisoned data로부터 optimal action을 추론하는 DPT model을 동시에 학습한다. 우리는 reward contamination을 다루도록 설계된 robust baseline을 포함한 표준 bandit algorithm과 비교하여 이 접근법의 효과를 평가한다. 결과적으로, AT-DPT는 학습된 attacker가 있는 bandit setting에서 이들보다 크게 우수하며, adaptive attacker와 MDP 같은 더 복잡한 environment로도 일반화됨을 보인다. 이는 효과적인 corruption-robust algorithm을 학습하는 meta-RL 접근법으로서 ICRL에서 유망함을 보여준다.
"},{"id":"61227","en":"Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games","ko":"2인 게임에서 안정적이고 효율적인 Reinforcement Learning을 위한 Regularized Policy Optimization 재고찰","authors":"Kazuki Ota, Takayuki Osa, Motoki Omura, Tatsuya Harada","pos":"#306","link":"https://openreview.net/forum?id=sSQdICPJv1","abs":"Two-player games such as board games have long been used as traditional benchmark for reinforcement learning. This work revisits a regularized policy optimization with reverse Kullback-Leibler divergence and entropy divergence and analyzes this combination on two-player zero-sum settings from theoretical and empirical perspectives. From a theoretical perspective, we investigate the stability of the policy update rule on two theoretical settings: game-theoretic normal-form games and finite-length games. We provide convergence guarantees and verify our theoretical results by numerical experiments on synthetic games. From an empirical perspective, we derive a practical model-free reinforcement learning algorithm based on the regularized policy optimization. We validate the efficiency in training of our algorithm through comprehensive experiments on five board games: Animal Shogi, Gardner Chess, Go, Hex, and Othello. The experimental results demonstrate that our agent achieves more efficient learning than existing methods across the environments.
","absKo":"보드게임과 같은 2인 게임은 오랫동안 강화학습의 전통적인 benchmark로 사용되어 왔다. 본 연구는 reverse Kullback-Leibler divergence와 entropy divergence를 사용하는 regularized policy optimization을 재검토하고, 이 조합을 2인 zero-sum 설정에서 이론적 및 경험적 관점으로 분석한다. 이론적 관점에서는 game-theoretic normal-form games와 finite-length games라는 두 가지 이론적 설정에서 policy update rule의 안정성을 살펴본다. 우리는 수렴 보장을 제시하고 synthetic games에 대한 수치 실험으로 이론적 결과를 검증한다. 경험적 관점에서는 regularized policy optimization을 기반으로 한 실용적인 model-free reinforcement learning 알고리즘을 도출한다. 우리는 Animal Shogi, Gardner Chess, Go, Hex, Othello의 다섯 가지 보드게임에 대한 포괄적 실험을 통해 해당 알고리즘의 학습 효율을 검증한다. 실험 결과는 우리의 agent가 여러 환경에 걸쳐 기존 방법보다 더 효율적인 학습을 달성함을 보여준다.
"},{"id":"66199","en":"Return-Critic: Bridging Goal Discrepancy for Efficient Visual Reinforcement Learning","ko":"Return-Critic: 효율적 시각 강화 학습을 위한 목표 불일치 연결","authors":"Ruyi Lu, Xuesong Wang, Hengrui Zhang, Yuhu Cheng","pos":"#307","link":"https://openreview.net/forum?id=5pQiAaDN7E","abs":"Sample inefficiency remains a challenge in pixel-based visual reinforcement learning (RL), primarily due to ineffective state representation learning. While recent advances employ auxiliary tasks to improve representation learning, their representation goals (e.g., mask reconstruction, state prediction) are misaligned with the ultimate RL goal of maximizing return, constraining further improvements in representation quality. To achieve efficient visual reinforcement learning, we propose Return-Critic (RC), an auxiliary framework that bridges goal discrepancy by return prediction. RC samples partial frames from an episode, processes them through a shared visual encoder, and employs a lightweight Transformer to predict the episode's return, forcing the encoder to learn return-relevant representation. The attention weights naturally highlight important frames, enabling a key function for prioritized learning. Theoretically, RC can be shown to bridge goal discrepancy, thereby improving representation quality. Extensive experiments on both online (DMControl) and offline (V-D4RL) benchmarks demonstrate that RC significantly enhances the sample efficiency, particularly achieving 68% performance boost on average across nine challenging tasks from DMControl.
","absKo":"픽셀 기반 visual reinforcement learning(RL)에서 sample inefficiency는 여전히 큰 과제이며, 이는 주로 비효율적인 state representation learning 때문입니다. 최근의 발전은 representation learning을 개선하기 위해 auxiliary task를 활용하지만, 그 representation 목표(예: mask reconstruction, state prediction)는 return을 최대화한다는 궁극적인 RL 목표와 정렬되어 있지 않아 representation quality의 추가 향상을 제약합니다. 효율적인 visual reinforcement learning을 달성하기 위해, 우리는 return prediction을 통해 goal discrepancy를 연결하는 auxiliary framework인 Return-Critic(RC)을 제안합니다. RC는 episode에서 partial frame을 샘플링하고 이를 shared visual encoder를 통해 처리한 뒤, lightweight Transformer를 사용하여 episode의 return을 예측함으로써 encoder가 return 관련 representation을 학습하도록 강제합니다. attention weight는 중요한 frame을 자연스럽게 부각시켜 prioritized learning을 위한 핵심 기능을 가능하게 합니다. 이론적으로 RC가 goal discrepancy를 연결함을 보일 수 있으며, 그 결과 representation quality가 향상됩니다. online(DMControl)과 offline(V-D4RL) benchmark 전반에 대한 대규모 실험은 RC가 sample efficiency를 크게 향상시킴을 보여주며, 특히 DMControl의 9개 어려운 task에서 평균 68%의 성능 향상을 달성합니다.
"},{"id":"61107","en":"Reinforcement Learning with Discrete Diffusion Policies for Combinatorial Action Spaces","ko":"조합적 Action Space를 위한 Discrete Diffusion Policy 기반 Reinforcement Learning","authors":"Haitong Ma, Ofir Nabati, Aviv Rosenberg, Bo Dai, Oran Lang, Craig Boutilier, Na Li, Shie Mannor, Lior Shani, Guy Tennenholtz","pos":"#308","link":"https://openreview.net/forum?id=tbz8ixrEKd","abs":"Reinforcement learning (RL) struggles to scale to large, combinatorial action spaces common in many real-world problems. This paper introduces a novel framework for training discrete diffusion models as highly effective policies in these complex settings. Our key innovation is an efficient online training process that ensures stable and effective policy improvement. By leveraging policy mirror descent (PMD) to define an ideal, regularized target policy distribution, we frame the policy update as a distributional matching problem, training the expressive diffusion model to replicate this stable target. This decoupled approach stabilizes learning and significantly enhances training performance. Our method achieves state-of-the-art results and superior sample efficiency across a diverse set of challenging combinatorial benchmarks, including DNA sequence generation, RL with macro-actions, and multi-agent systems. Experiments demonstrate that our diffusion policies attain superior performance compared to other baselines. Crucially, our extensive empirical analysis reveals a key trade-off: FKL demonstrates superior sample efficiency and faster initial convergence, whereas RKL ensures greater training stability and higher asymptotic performance.
","absKo":"Reinforcement learning(RL)은 많은 실제 문제에서 흔한 대규모 combinatorial action space로 확장하는 데 어려움을 겪는다. 이 논문은 이러한 복잡한 설정에서 discrete diffusion model을 매우 효과적인 policy로 학습하기 위한 새로운 framework를 제안한다. 우리의 핵심 혁신은 안정적이고 효과적인 policy improvement를 보장하는 효율적인 online training process이다. Policy mirror descent(PMD)를 활용해 이상적이고 regularized된 target policy distribution을 정의함으로써, policy update를 distribution matching problem으로 정식화하고, 표현력이 풍부한 diffusion model이 이 안정적인 target을 복제하도록 학습한다. 이러한 decoupled approach는 학습을 안정화하고 training performance를 크게 향상시킨다. 우리의 방법은 DNA sequence generation, macro-action을 사용한 RL, multi-agent system을 포함한 다양한 어려운 combinatorial benchmark에서 state-of-the-art 결과와 우수한 sample efficiency를 달성한다. 실험은 우리의 diffusion policy가 다른 baseline보다 우수한 성능을 보임을 입증한다. 특히, 광범위한 실증 분석은 중요한 trade-off를 드러낸다: FKL은 더 뛰어난 sample efficiency와 더 빠른 초기 수렴을 보이는 반면, RKL은 더 높은 training stability와 더 높은 asymptotic performance를 보장한다.
"},{"id":"61217","en":"RN-D: Discretized Categorical Actors with Regularized Networks for On-Policy Reinforcement Learning","ko":"RN-D: On-Policy Reinforcement Learning을 위한 Regularized Network 기반 이산화 Categorical Actor","authors":"Yuexin Bian, Jie Feng, Tao Wang, Yijiang Li, Sicun Gao, Yuanyuan Shi","pos":"#309","link":"https://openreview.net/forum?id=saZwSnt3r9","abs":"On-policy deep reinforcement learning remains a dominant paradigm for continuous control, yet standard implementations rely on Gaussian actors and relatively shallow MLP policies, often leading to brittle optimization when gradients are noisy and policy updates must be conservative. In this paper, we revisit policy representation as a first-class design choice for on-policy optimization. We study discretized categorical actors that represent each action dimension with a distribution over bins, yielding a policy objective that resembles a cross-entropy loss. Building on architectural advances from supervised learning, we further propose regularized actor networks, while keeping critic design fixed. Our results show that simply replacing the standard actor network with our discretized regularized actor yields consistent gains and achieve the state-of-the-art performance across diverse continuous-control benchmarks.
","absKo":"On-policy deep reinforcement learning은 여전히 continuous control의 지배적인 패러다임이지만, standard implementation은 Gaussian actor와 비교적 얕은 MLP policy에 의존하는 경우가 많아, gradient가 noisy하고 policy update가 보수적이어야 할 때 취약한 최적화로 이어지기 쉽다. 이 논문에서는 on-policy optimization에서 policy representation을 일급(first-class) 설계 선택으로 재검토한다. 우리는 각 action dimension을 bin에 대한 distribution으로 표현하는 discretized categorical actor를 연구하며, 그 결과 cross-entropy loss와 유사한 policy objective를 얻는다. supervised learning의 architectural advancement를 바탕으로, critic design은 그대로 유지한 채 regularized actor network를 추가로 제안한다. 우리의 결과는 standard actor network를 discretized regularized actor로 단순히 교체하는 것만으로도 일관된 성능 향상을 얻을 수 있으며, 다양한 continuous-control benchmark 전반에서 state-of-the-art performance를 달성함을 보여준다.
"},{"id":"62372","en":"R2R2: Robust Representation for Intensive Experience Reuse via Redundancy Reduction in Self-Predictive Learning","ko":"R2R2: Self-Predictive Learning에서 중복 감소로 강건한 Representation을 통한 집중적 경험 재사용","authors":"Sanghyeob Song, Donghyeok Lee, Jinsik Kim, Sungroh Yoon","pos":"#310","link":"https://openreview.net/forum?id=hCgb0FIoVa","abs":"For reinforcement learning in data-scarce domains like real-world robotics, intensive data reuse enhances efficiency but induces overfitting. While prior works focus on critic bias, representation-level instability in Self-Predictive Learning (SPL) under high Update-to-Data (UTD) regimes remains underexplored. To bridge this gap, we propose Robust Representation via Redundancy Reduction (R2R2), a regularization method within SPL. We theoretically identify that standard zero-centering conflicts with SPL's spectral properties and design a non-centered objective accordingly. We verify R2R2 on SPL-native algorithms like TD7. Furthermore, to demonstrate its orthogonality to prior advancements, we extend the state-of-the-art SimbaV2—which originally lacks SPL—by integrating a tailored SPL module, termed SimbaV2-SPL. Experiments across 11 continuous control tasks confirm that R2R2 effectively mitigates overfitting; specifically, at a UTD ratio of 20, it improves TD7 by $\\sim$22\\% and provides additional gains on top of SimbaV2-SPL, which itself establishes a new state-of-the-art.","absKo":"강화학습에서 실제 로봇공학처럼 데이터가 부족한 도메인에서는 데이터 재사용을 강하게 늘리면 효율은 높아지지만 과적합을 유발한다. 기존 연구는 주로 critic bias에 집중해 왔지만, 높은 Update-to-Data (UTD) 체제에서 Self-Predictive Learning (SPL)의 representation-level 불안정성은 아직 충분히 탐구되지 않았다. 이 간극을 메우기 위해, 우리는 SPL 내부의 정규화 기법인 Robust Representation via Redundancy Reduction (R2R2)를 제안한다. 우리는 이론적으로 표준 zero-centering이 SPL의 spectral properties와 충돌함을 밝히고, 이에 맞춰 non-centered objective를 설계한다. 또한 TD7과 같은 SPL-native algorithm에서 R2R2를 검증한다. 더 나아가, 기존 발전들과의 직교성을 보이기 위해 원래 SPL이 없는 state-of-the-art SimbaV2에 맞춤형 SPL 모듈을 통합하여 SimbaV2-SPL을 확장한다. 11개의 continuous control task에 대한 실험은 R2R2가 과적합을 효과적으로 완화함을 확인해 준다. 특히 UTD 비율 20에서 TD7을 약 22\\% 향상시키며, 그 자체로 새로운 state-of-the-art를 세운 SimbaV2-SPL 위에서도 추가적인 성능 향상을 제공한다."},{"id":"62693","en":"Prioritized Model Experience Replay","ko":"우선순위 기반 Model Experience Replay","authors":"Muxi Tao, jiangtao wen, Yuxing Han","pos":"#311","link":"https://openreview.net/forum?id=eDPv55hTQ6","abs":"Model-based reinforcement learning (MBRL) improves sample efficiency by leveraging learned dynamics models, but often suffers from unstable training due to dynamics model learning mismatch: models are trained on data from historical policies while being queried under the continually updated current policy. This mismatch can cause policy-relevant local model error to remain large even as global prediction error decreases, leading to oscillatory updates. We present a finite-horizon performance analysis that decomposes the policy performance gap into global model error, policy-induced distribution shift, and historical policy mixture effects, showing that minimizing global error alone is insufficient for stable optimization. Motivated by this analysis, we propose Prioritized Model Experience Replay (PMER), a lightweight replay mechanism that prioritizes high-error transitions during dynamics model training. PMER implicitly emphasizes policy-relevant regions without explicit policy distance estimation and integrates seamlessly into Dyna-style MBRL frameworks. Experiments on MuJoCo benchmarks demonstrate improved stability, faster convergence, and higher sample efficiency.
","absKo":"Model-based reinforcement learning (MBRL)은 학습된 dynamics model을 활용해 sample efficiency를 향상시키지만, 종종 dynamics model learning mismatch로 인해 불안정한 학습을 겪는다. 이는 model이 historical policy의 데이터로 학습되는 반면, 실제 질의는 지속적으로 업데이트되는 current policy 하에서 이루어지기 때문이다. 이러한 mismatch는 global prediction error가 감소하더라도 policy-relevant local model error가 여전히 크게 남아 oscillatory update를 유발할 수 있다. 우리는 finite-horizon performance 분석을 제시하여 policy performance gap을 global model error, policy-induced distribution shift, historical policy mixture effect로 분해하고, global error만 최소화해서는 안정적인 최적화가 불충분함을 보인다. 이 분석에 착안해, dynamics model training 동안 high-error transition을 우선시하는 lightweight replay mechanism인 Prioritized Model Experience Replay (PMER)를 제안한다. PMER는 explicit한 policy distance estimation 없이도 policy-relevant region을 암묵적으로 강조하며, Dyna-style MBRL framework에 자연스럽게 통합된다. MuJoCo benchmark 실험은 향상된 안정성, 더 빠른 수렴, 더 높은 sample efficiency를 보여준다.
"},{"id":"65963","en":"PAMD: Structured Adaptive Distances for Bisimulation Representations in Visual Reinforcement Learning","ko":"PAMD: 시각 강화학습에서 이중 시뮬레이션 표현을 위한 구조화된 적응형 거리","authors":"Daegyeong Roh, Juho Bae, Han-Lim Choi","pos":"#312","link":"https://openreview.net/forum?id=8RKz8AONGV","abs":"Many visual reinforcement learning (RL) algorithms learn representations by matching latent distances to a behavioral distance induced by reward and transition similarity. In practice, the choice of the latent distance can strongly affect performance: using a fixed, pre-specified global norms (e.g., $\\ell_p$ norms or other hand-designed metrics) may be overly restrictive to capture the behavioral distance. In contrast, unconstrained pairwise distances may admit degenerate solutions that drive the metric loss down without improving the representation. To address this gap, we introduce *PAMD: Pairwise Adaptive Mahalanobis Distance*, which parameterizes a positive-definite, pair-conditioned metric for measuring latent state similarity. PAMD is a simple plug-in for existing bisimulation-based methods, offering a more expressive yet structured alternative to fixed, pre-specified latent distances. We empirically validate our method on visual MuJoCo continuous-control tasks, where final performance of several recent bisimulation-based RL algorithms is substantially improved when equipped with the distance we propose.","absKo":"많은 visual reinforcement learning (RL) 알고리즘은 reward와 transition similarity에 의해 유도되는 behavioral distance와 latent distance를 맞추는 방식으로 representation을 학습한다. 실제로 latent distance의 선택은 성능에 큰 영향을 미칠 수 있다. 고정된, 사전 지정된 global norm(예: $\\ell_p$ norm 또는 기타 수작업으로 설계한 metric)을 사용하는 것은 behavioral distance를 포착하기에 지나치게 제약적일 수 있다. 반대로 제약 없는 pairwise distance는 metric loss를 줄이면서도 representation을 개선하지 못하는 퇴화해(degenerate) 해를 허용할 수 있다. 이러한 간극을 해결하기 위해, 우리는 latent state similarity를 측정하기 위한 positive-definite의 pair-conditioned metric을 parameterize하는 *PAMD: Pairwise Adaptive Mahalanobis Distance*를 제안한다. PAMD는 기존 bisimulation 기반 방법에 대한 간단한 plug-in으로, 고정된 사전 지정 latent distance보다 더 표현력이 풍부하면서도 구조화된 대안을 제공한다. 우리는 visual MuJoCo continuous-control task에서 경험적으로 방법을 검증했으며, 제안한 distance를 적용했을 때 최근의 여러 bisimulation 기반 RL 알고리즘의 최종 성능이 크게 향상됨을 보였다."},{"id":"60594","en":"Multivariate distributional reinforcement learning using sliced divergences","ko":"Sliced Divergence를 이용한 다변량 분포 강화학습","authors":"Baptiste Debes, Tinne Tuytelaars","pos":"#314","link":"https://openreview.net/forum?id=yeyUprQtAY","abs":"Distributional reinforcement learning (DRL) models the full return distribution rather than expectations, but extending it to multivariate settings remains challenging. Many common metrics do not naturally generalize beyond one dimension or lose computational tractability, and the multivariate case introduces additional difficulties such as general matrix discounting, for which no contraction results are available. We introduce Sliced Distributional Reinforcement Learning (SDRL), which lifts tractable one-dimensional divergences to multivariate return distributions via projections. We prove Bellman contraction for uniform slicing under shared scalar discounting, and introduce a maximum-slicing variant with contraction under general dense discount matrices. SDRL supports a broad class of base divergences; we analyze Wasserstein, Cramér, and Maximum Mean Discrepancy (MMD), and characterize which SDRL variants suit the standard single-sample Bellman update used in distributional RL. We evaluate SDRL on a toy chain problem and a gridworld image-based environment as well as a subset of Atari games.
","absKo":"Distributional reinforcement learning(DRL)은 기대값이 아니라 전체 return distribution을 모델링하지만, 이를 multivariate setting으로 확장하는 일은 여전히 어렵다. 많은 일반적인 metric은 one dimension을 넘어 자연스럽게 일반화되지 않거나 계산적 tractability를 잃으며, multivariate case는 일반적인 matrix discounting과 같은 추가적 어려움을 도입하는데, 이에 대한 contraction result는 아직 없다. 우리는 projection을 통해 tractable한 1차원 divergence를 multivariate return distribution으로 확장하는 Sliced Distributional Reinforcement Learning(SDRL)을 제안한다. 우리는 공유 scalar discounting 하에서 uniform slicing에 대한 Bellman contraction을 증명하고, 일반적인 dense discount matrix 하에서 contraction을 갖는 maximum-slicing variant를 도입한다. SDRL은 폭넓은 base divergence를 지원하며, 우리는 Wasserstein, Cramér, Maximum Mean Discrepancy(MMD)를 분석하고, distributional RL에서 사용되는 표준 single-sample Bellman update에 어떤 SDRL variant가 적합한지 규명한다. 우리는 toy chain 문제와 gridworld 기반 image environment, 그리고 Atari 게임의 일부 subset에서 SDRL을 평가한다.
"},{"id":"60733","en":"Learning Structured Reasoning via Tractable Trajectory Control","ko":"Tractable Trajectory Control을 통한 구조적 추론 학습","authors":"Po-Nien Kung, Zhen Yang, Jeffrey Luo, Cheng-Fu Yang, Haikang Deng, Zi-Yi Dou, Yinfei Yang, Nanyun Peng, Zhe Gan, Kai-Wei Chang","pos":"#316","link":"https://openreview.net/forum?id=x6J7va4BYz","abs":"Large language models can exhibit emergent reasoning behaviors, often manifested as recurring lexical patterns (e.g., “wait,” indicating verification). However, complex reasoning trajectories remain sparse in unconstrained sampling, and standard RL often fails to guarantee the acquisition of diverse reasoning behaviors. We propose a systematic discovery and reinforcement of diverse reasoning patterns through structured reasoning, a paradigm that requires targeted exploration of specific reasoning patterns during the RL process. To this end, we propose Ctrl-R, a framework for learning structured reasoning via tractable trajectory control that actively guides the rollout process, incentivizing the exploration of diverse reasoning patterns that are critical for complex problem-solving. The resulting behavior policy enables accurate importance-sampling estimation, supporting unbiased on-policy optimization. We further introduce a power-scaling factor on the importance-sampling weights, allowing the policy to selectively learn from exploratory, out-of-distribution trajectories while maintaining stable optimization. Experiments demonstrate that Ctrl-R enables effective exploration and internalization of previously unattainable reasoning patterns, yielding consistent improvements across language and vision–language models on mathematical reasoning tasks.
","absKo":"Large language model은 종종 emergent reasoning behavior를 보이며, 이는 “wait”와 같은 반복적인 어휘 패턴으로 나타나기도 한다(예: 검증을 의미). 그러나 복잡한 reasoning trajectory는 제약 없는 sampling에서 드물게 나타나고, 표준 RL은 다양한 reasoning behavior의 획득을 보장하지 못하는 경우가 많다. 우리는 structured reasoning이라는 paradigm을 통해 다양한 reasoning pattern을 체계적으로 발견하고 강화하는 방법을 제안한다. 이는 RL 과정에서 특정 reasoning pattern을 표적 탐색하도록 요구하는 방식이다. 이를 위해 우리는 복잡한 문제 해결에 중요한 다양한 reasoning pattern의 탐색을 적극적으로 유도하는 tractable trajectory control을 통해 structured reasoning을 학습하는 framework인 Ctrl-R을 제안한다. 이렇게 얻어진 behavior policy는 정확한 importance-sampling estimation을 가능하게 하여, unbiased on-policy optimization을 지원한다. 또한 importance-sampling weight에 power-scaling factor를 도입하여, policy가 exploratory한 out-of-distribution trajectory로부터 선택적으로 학습하면서도 안정적인 optimization을 유지할 수 있도록 한다. 실험은 Ctrl-R이 이전에는 도달할 수 없었던 reasoning pattern의 효과적인 탐색과 내재화를 가능하게 하며, 수학적 추론 과제에서 language model과 vision-language model 모두에서 일관된 향상을 제공함을 보여 준다.
"},{"id":"66809","en":"Latent Spherical Flow Policy for Reinforcement Learning with Combinatorial Actions","ko":"조합적 행동을 갖는 강화학습을 위한 Latent Spherical Flow Policy","authors":"Lingkai Kong, Anagha Satish, Hezi Jiang, Akseli Kangaslahti, Andrew Ma, Wenbo Chen, Mingxiao Song, Lily Xu, Milind Tambe","pos":"#317","link":"https://openreview.net/forum?id=07wwDFdi3k","abs":"Reinforcement learning (RL) with combinatorial action spaces remains challenging because feasible action sets are exponentially large and governed by complex feasibility constraints, making direct policy parameterization impractical. Existing approaches embed task-specific value functions into constrained optimization programs or learn deterministic structured policies, sacrificing generality and policy expressiveness. We propose a solver-induced \\emph{latent spherical flow policy} that brings the expressiveness of modern generative policies to combinatorial RL while guaranteeing feasibility by design. Our method, LSFlow, learns a \\emph{stochastic} policy in a compact continuous latent space via spherical flow matching, and delegates feasibility to a combinatorial optimization solver that maps each latent sample to a valid structured action. To improve efficiency, we train the value network directly in the latent space, avoiding repeated solver calls during policy optimization. To address the piecewise-constant and discontinuous value landscape induced by solver-based action selection, we introduce a smoothed Bellman operator that yields stable, well-defined learning targets. Empirically, our approach outperforms state-of-the-art baselines by an average of 20.6\\% across a range of challenging combinatorial RL tasks.
","absKo":"Combinatorial action space를 사용하는 reinforcement learning (RL)은 feasible action set이 지수적으로 크고 복잡한 feasibility constraint에 의해 지배되므로, 직접적인 policy parameterization이 비현실적이어서 여전히 어렵다. 기존 접근법은 task-specific value function을 constrained optimization program에 주입하거나 결정론적 structured policy를 학습하는 데 의존하며, 이로 인해 generality와 policy expressiveness를 희생한다. 우리는 solver-induced \\emph{latent spherical flow policy}를 제안하여, feasible action을 설계상 보장하면서 현대 generative policy의 표현력을 combinatorial RL에 도입한다. 우리의 방법 LSFlow는 spherical flow matching을 통해 compact한 continuous latent space에서 \\emph{stochastic} policy를 학습하고, 각 latent sample을 valid structured action으로 매핑하는 combinatorial optimization solver에 feasibility를 위임한다. 효율성을 높이기 위해, 우리는 value network를 latent space에서 직접 학습하여 policy optimization 동안 반복적인 solver 호출을 피한다. solver 기반 action selection이 유도하는 piecewise-constant하고 discontinuous한 value landscape에 대응하기 위해, 우리는 안정적이고 잘 정의된 learning target을 제공하는 smoothed Bellman operator를 도입한다. 실험적으로, 우리의 접근법은 다양한 어려운 combinatorial RL task에서 평균 20.6\\%의 향상으로 state-of-the-art baseline을 능가한다.
"},{"id":"62964","en":"Accelerating Q-learning through Efficient Value-sharing across Actions","ko":"행동 간 효율적 Value-sharing을 통한 Q-learning 가속","authors":"Prabhat Nagarajan, Brett Daley, Martha White, Marlos C. Machado","pos":"#404","link":"https://openreview.net/forum?id=bQXQa5NDpH","abs":"Learning action-values efficiently is central to reinforcement learning (RL), as they underpin many control algorithms such as Q-learning. However, action-value learning can be slow, requiring many updates to move values from their initialization, typically near zero, to their true values, which may be far from zero. Moreover, action-value learning algorithms typically update each state–action pair independently, without learning shared value structure across actions within a state. In this paper, we address these inefficiencies by introducing the mean-expansion transformation, which accelerates action-value learning by sharing values across actions within a state and by changing the problem from directly learning potentially large action-values to learning a lower-norm representation of them. In deep RL, this transformation can be applied as a parameter-free modification to Q-network architectures without altering the underlying algorithm. Empirically, we show that it improves DQN's performance in aggregate across 57 Atari games while increasing action gaps and dramatically reducing value overestimation.
","absKo":"action-value를 효율적으로 학습하는 것은 reinforcement learning (RL)의 핵심이다. 이는 Q-learning과 같은 많은 제어 알고리즘의 기반이 되기 때문이다. 그러나 action-value 학습은 느릴 수 있으며, 일반적으로 값이 초기화값, 보통 0에 가까운 값, 에서 진짜 값으로 이동하도록 많은 업데이트가 필요하다. 게다가 action-value 학습 알고리즘은 보통 각 state-action 쌍을 독립적으로 업데이트하며, 한 state 내에서 action들 사이에 공유되는 value 구조를 학습하지 않는다. 이 논문에서는 mean-expansion transformation을 도입하여 이러한 비효율성을 해결한다. 이 변환은 한 state 내의 action들 사이에서 값을 공유함으로써, 그리고 문제가 잠재적으로 큰 action-value를 직접 학습하는 것에서 그보다 norm이 더 작은 표현을 학습하는 것으로 바뀌도록 함으로써 action-value 학습을 가속한다. deep RL에서는 이 변환을 underlying algorithm을 변경하지 않고 Q-network architecture에 parameter-free modification으로 적용할 수 있다. 실험적으로, 우리는 이 방법이 57개의 Atari 게임 전반에서 aggregate 기준으로 DQN의 성능을 향상시키는 동시에 action gap을 증가시키고 value overestimation을 크게 줄임을 보인다.
"},{"id":"66410","en":"CSPO: Constraint-Sensitive Policy Optimization for Safe Reinforcement Learning","ko":"CSPO: 안전한 강화 학습을 위한 제약 민감 정책 최적화","authors":"Ayoub Belouadah, Sylvain Kubler, YVES LE TRAON","pos":"#406","link":"https://openreview.net/forum?id=3ySR3TCMRP","abs":"Safe reinforcement learning (Safe RL) aims to maximize expected return while satisfying safety constraints, typically modeled as constrained Markov decision processes. While primal-dual methods scale well to deep RL, they often suffer from delayed constraint correction, leading to oscillatory behavior and prolonged safety violations. In this paper, we propose Constraint-Sensitive Policy Optimization (CSPO), a first-order primal-dual method that incorporates local constraint sensitivity into policy updates. CSPO augments the primal objective with a constraint-sensitive correction derived from the shortest signed distance to the safety boundary, enabling smarter recovery steps back to safety, compensating for delayed Lagrange multiplier updates, and reducing oscillations near the boundary, while preserving the KKT solutions of the original constrained problem. Extensive experiments on navigation and locomotion benchmarks demonstrate that CSPO achieves faster safety recovery and high reward preservation, resulting in higher constrained returns (+15.6\\% average improvement) compared to state-of-the-art primal-dual and penalty-based methods.
","absKo":"Safe reinforcement learning (Safe RL)은 expected return을 최대화하면서 safety constraint를 만족시키는 것을 목표로 하며, 일반적으로 constrained Markov decision process로 모델링됩니다. primal-dual method는 deep RL로의 확장성은 좋지만, constraint correction이 지연되어 진동적인 behavior와 장기간의 safety violation을 초래하는 경우가 많습니다. 본 논문에서는 policy update에 local constraint sensitivity를 통합한 first-order primal-dual method인 Constraint-Sensitive Policy Optimization (CSPO)를 제안합니다. CSPO는 safety boundary까지의 shortest signed distance로부터 유도된 constraint-sensitive correction을 primal objective에 더함으로써, safety로 더 영리하게 복귀하는 recovery step을 가능하게 하고, delayed Lagrange multiplier update를 보완하며, boundary 근처의 oscillation을 줄입니다. 동시에 원래 constrained problem의 KKT solution은 보존합니다. navigation과 locomotion benchmark에서의 광범위한 실험은 CSPO가 더 빠른 safety recovery와 높은 reward 보존을 달성하여, 최첨단 primal-dual 및 penalty-based method 대비 더 높은 constrained return(+15.6\\% average improvement)을 제공함을 보여 줍니다.
"},{"id":"65271","en":"CoRe: Combined Rewards with Vision-Language Model Feedback for Preference-Aligned Reinforcement Learning","ko":"CoRe: 선호 정렬 강화학습을 위한 Vision-Language Model 피드백 결합 보상","authors":"Hexian Ni, Tao Lu, Yinghao Cai","pos":"#407","link":"https://openreview.net/forum?id=FC2LEVsvP5","abs":"Reward design remains a central challenge in reinforcement learning (RL). Hand-crafted rewards are often difficult to specify and may lead to suboptimal policies, while learned rewards from preferences can suffer from inefficiency and unstable training. Inspired by the dual nature of human learning explored in cognitive science, we decompose rewards into two complementary components: Formal Rewards (FR), explicitly designed based on task knowledge, and Residual Rewards (RR), learned from observations to capture implicit and nuanced preferences. Based on this decomposition, we propose CoRe, a hybrid framework that integrates FR and RR with vision-language models (VLMs) feedback to achieve preference-aligned policies without human involvement. Our contributions are twofold: (1) We propose a Formal Reward Module (FRM) that leverages VLMs to iteratively design and optimize FR based on task knowledge and preference feedback, enabling the continual improvement of policy during training; (2) We introduce a Residual Reward Module (RRM) that learns RR from video-level preference by employing VLMs to generate preference labels and capturing nuanced rewards that complement FR, ensuring alignment with human intent. Through the synergy of FRM and RRM, CoRe enables the automatic construction of reliable rewards that are efficient and preference-aligned. Extensive experiments demonstrate that CoRe outperforms existing approaches in terms of policy learning effectiveness and efficiency on ten robotic manipulation tasks in simulation and five real-worlds.
","absKo":"Reward design은 reinforcement learning (RL)에서 여전히 핵심적인 과제이다. 수작업으로 설계한 reward는 명세하기 어렵고 최적이 아닌 policy로 이어질 수 있으며, preference에서 학습한 reward는 비효율성과 불안정한 training 문제를 겪을 수 있다. cognitive science에서 탐구된 인간 학습의 이중적 특성에 착안하여, 우리는 reward를 두 개의 상보적 구성요소로 분해한다: task knowledge를 바탕으로 명시적으로 설계된 Formal Rewards (FR)와, 관찰로부터 학습하여 암묵적이고 미묘한 preference를 포착하는 Residual Rewards (RR)이다. 이러한 분해를 바탕으로, 우리는 human involvement 없이 preference-aligned policy를 달성하기 위해 FR과 RR을 vision-language models (VLMs) feedback과 통합하는 하이브리드 framework인 CoRe를 제안한다. 우리의 기여는 두 가지이다: (1) 우리는 VLMs를 활용해 task knowledge와 preference feedback을 기반으로 FR을 반복적으로 설계하고 최적화하여, training 동안 policy를 지속적으로 개선할 수 있게 하는 Formal Reward Module (FRM)을 제안한다; (2) 우리는 VLMs를 사용해 preference label을 생성하고 FR을 보완하는 미묘한 reward를 포착함으로써, human intent와의 정렬을 보장하는 Residual Reward Module (RRM)을 도입한다. FRM과 RRM의 시너지를 통해 CoRe는 효율적이고 preference-aligned한 신뢰할 수 있는 reward를 자동으로 구성할 수 있게 한다. 광범위한 실험은 CoRe가 simulation에서의 10개 robotic manipulation task와 5개의 real-worlds에서 policy learning 효과성과 효율성 측면에서 기존 접근법을 능가함을 보여준다.
"},{"id":"61693","en":"Covariance Volume Maximization for Embodied Latent Exploration in Deep Reinforcement Learning","ko":"Deep Reinforcement Learning에서 Embodied Latent Exploration을 위한 Covariance Volume Maximization","authors":"Yiming Wang, Yiheng Zhang, Kaiyan Zhao, Xingjie Zuo, Xingyu Liu, Xuetao Li, Furui Liu, Bo An, Leong Hou U","pos":"#408","link":"https://openreview.net/forum?id=nfxxgHgWiL","abs":"Efficient exploration remains a key challenge in deep reinforcement learning, especially for embodied agents operating in realistic environments with high-dimensional observations and complex dynamics. Recent latent exploration methods define bonuses in a learned latent space, but often struggle in these settings where (i) representations can be noisy or policy-dependent, and (ii) common strategies such as randomized latent objectives or fixed directional spanning are brittle and fail to improve global coverage. We propose Covariance Volume Maximization (CVM), a coverage-driven latent exploration framework with two key components. First, we learn a behavioral state encoder using a policy-mixture objective to reduce representation drift under rapidly changing exploration policies, yielding stable and behaviorally meaningful latent displacements. Second, CVM rewards each transition by its exact increase in the log-determinant of the covariance of recent latent displacements, explicitly expanding the explored region and prioritizing under-covered directions. This objective coincides with the classical D-optimal design criterion, providing an information-efficiency justification. Extensive experiments on embodied navigation and manipulation tasks demonstrate that CVM substantially improves exploration efficiency and robustness, and scales effectively to different environments.
","absKo":"효율적인 exploration은 deep reinforcement learning에서 여전히 핵심 과제이며, 특히 고차원 observation과 복잡한 dynamics를 가진 현실 환경에서 작동하는 embodied agent에게 더 그렇다. 최근 latent exploration 방법은 learned latent space에서 bonus를 정의하지만, (i) representation이 noisy하거나 policy-dependent할 수 있고, (ii) randomized latent objective나 fixed directional spanning 같은 일반적 전략이 취약하여 global coverage를 개선하지 못하는 이러한 환경에서 종종 어려움을 겪는다. 우리는 두 가지 핵심 구성요소를 갖는 coverage-driven latent exploration framework인 Covariance Volume Maximization (CVM)을 제안한다. 첫째, 우리는 빠르게 변하는 exploration policy 하에서 representation drift를 줄이기 위해 policy-mixture objective를 사용한 behavioral state encoder를 학습하여, 안정적이고 behaviorally meaningful한 latent displacement를 얻는다. 둘째, CVM은 각 transition에 대해 최근 latent displacement의 covariance에 대한 log-determinant의 정확한 증가량만큼 보상하여, 탐색된 region을 명시적으로 확장하고 덜 커버된 방향을 우선시한다. 이 objective는 고전적인 D-optimal design criterion과 일치하며, 정보 효율성 측면의 정당화를 제공한다. embodied navigation과 manipulation task에 대한 광범위한 실험은 CVM이 exploration efficiency와 robustness를 크게 향상시키며, 다양한 환경으로 효과적으로 확장됨을 보여준다.
"},{"id":"64018","en":"Direct Flow Q-Learning","ko":"Direct Flow Q-학습","authors":"Shicheng Cao, Jingrui Jia, Wenyu Li, Feng Duan, Tao Zhang, Shengbo Li","pos":"#409","link":"https://openreview.net/forum?id=RdkOaK4q6p","abs":"Flow Matching shows great promise in offline reinforcement learning (RL), yet optimizing these iterative policies via Backpropagation Through Time (BPTT) is unstable. While prevailing paradigms circumvent this by distilling multi-step flows into single-step approximations, such methods may limit the benefits of iterative refinement. To avoid these sacrifices, we propose Direct Flow Q-Learning (DFQL), a streamlined framework that attains superior results by optimizing flow matching policies without BPTT or distillation. DFQL derives a surrogate objective that directly injects terminal Q-value gradients as a guidance term into each step velocity field, ensuring stable optimization while preserving iterative expressive capacity. Across 73 challenging tasks in OGBench and D4RL, DFQL achieves state-of-the-art results. Additionally, DFQL extends seamlessly to the offline-to-online setting, delivering substantial performance gains without further modification.
","absKo":"Flow Matching은 offline reinforcement learning (RL)에서 큰 가능성을 보여주지만, Backpropagation Through Time (BPTT)을 통해 이러한 iterative policy를 최적화하는 것은 불안정하다. 기존의 주류 패러다임은 다단계 flow를 단일 단계 근사로 distillation함으로써 이를 우회하지만, 이러한 방법은 iterative refinement의 이점을 제한할 수 있다. 이러한 희생을 피하기 위해, 우리는 BPTT나 distillation 없이 flow matching policy를 최적화하여 우수한 결과를 달성하는 간결한 프레임워크인 Direct Flow Q-Learning (DFQL)을 제안한다. DFQL은 surrogate objective를 유도하여 terminal Q-value gradient를 각 step의 velocity field에 guidance term으로 직접 주입함으로써, iterative한 표현 능력을 보존하면서 안정적인 최적화를 보장한다. OGBench와 D4RL의 73개 어려운 task 전반에서 DFQL은 state-of-the-art 결과를 달성한다. 또한 DFQL은 offline-to-online 설정으로도 매끄럽게 확장되어, 추가 수정 없이도 상당한 성능 향상을 제공한다.
"},{"id":"65167","en":"Efficient and Uncertainty-Aware Diffusion Framework for Offline-to-Online Reinforcement Learning","ko":"오프라인-온라인 강화학습을 위한 효율적이고 불확실성 인지적인 Diffusion 프레임워크","authors":"Ha Manh Bui, Metod Jazbec, Eric Nalisnick, Anqi Liu","pos":"#411","link":"https://openreview.net/forum?id=G9UW8lFWeP","abs":"Offline-to-Online Reinforcement Learning (O2O-RL) leverages an offline, pre-trained policy to minimize costly online interactions. Although data-efficient, O2O-RL is susceptible to shifts between offline and online distributions. Existing work aims to mitigate the harm of this shift by finetuning the policy on trajectory data sampled from a diffusion model. Inspired by this line of work, we propose DUAL: an efficient Diffusion Uncertainty-Aware Actor-Critic framework for O2O-RL. DUAL utilizes the prior knowledge of the diffusion model to distill a fast-sampling diffusion actor policy and transition model in the offline phase. DUAL also employs a Laplace approximation and distance transition-state-shift detection, thereby using uncertainty quantification to improve exploration versus exploitation in the online phase. We formally show that our actor loss with the Laplace approximation provides a valid estimate of epistemic uncertainty. Empirically, DUAL improves online expected return over O2O-RL baselines across MuJoCo, AntMaze, Frozen-Lake, and Adroit environments.
","absKo":"Offline-to-Online Reinforcement Learning(O2O-RL)은 비용이 큰 online interaction을 최소화하기 위해 offline에서 사전 학습된 policy를 활용한다. 데이터 효율성은 높지만, O2O-RL은 offline과 online distribution 간의 shift에 취약하다. 기존 연구는 diffusion model에서 샘플링한 trajectory data로 policy를 finetuning하여 이러한 shift의 해악을 완화하고자 한다. 이러한 흐름에서 영감을 받아, 우리는 O2O-RL을 위한 효율적인 Diffusion Uncertainty-Aware Actor-Critic 프레임워크인 DUAL을 제안한다. DUAL은 diffusion model의 prior knowledge를 활용해 offline 단계에서 빠른 샘플링이 가능한 diffusion actor policy와 transition model을 distill한다. 또한 DUAL은 Laplace approximation과 distance transition-state-shift detection을 사용하여, online 단계에서 exploration과 exploitation의 균형을 개선하기 위해 uncertainty quantification을 활용한다. 우리는 Laplace approximation을 포함한 actor loss가 epistemic uncertainty의 유효한 추정치를 제공함을 정식으로 보인다. 실험적으로 DUAL은 MuJoCo, AntMaze, Frozen-Lake, Adroit 환경 전반에서 O2O-RL baseline보다 더 높은 online expected return을 달성한다.
"},{"id":"65707","en":"Harmonized Dual Policy Improvement for Model-based Reinforcement Learning","ko":"모델 기반 강화학습을 위한 조화로운 이중 정책 개선","authors":"Guojian Zhan, Likun Wang, Feihong Zhang, Yang Guan, Shengbo Li","pos":"#412","link":"https://openreview.net/forum?id=Az6TOqyAGM","abs":"Policy-planner bootstrapping has emerged as a powerful paradigm in model-based reinforcement learning (MBRL). We formalize this process as a dual policy improvement mechanism synergizing: (i) exploitative improvement via off-policy $Q$-maximization, and (ii) lookahead improvement via planner alignment. While we theoretically prove that these improvements anchor to the same optimum, practical training process inevitably encounters gradient disagreement. Exacerbated by approximation inaccuracies and non-stationary data, this disagreement induces destructive interference in policy updates, destabilizing the bootstrapping loop and leading to suboptimal convergence. To address this, we propose harmonized dual policy improvement (HDPI), a gradient-level framework that reconciles exploitative and lookahead improvements through a harmonic optimization scheme. This scheme effectively maximizes the worst-case inner product between the harmonized update and the original gradients, ensuring directional consistency and stabilizing policy evolution. Extensive empirical evaluations on 14 challenging tasks from the DeepMind Control Suite and the Humanoid-Bench demonstrate that HDPI significantly enhances training stability and asymptotic performance, outperforming a wide range of strong baselines.","absKo":"Policy-planner bootstrapping은 model-based reinforcement learning (MBRL)에서 강력한 패러다임으로 떠올랐다. 우리는 이 과정을 다음 두 가지를 시너지 있게 결합하는 dual policy improvement 메커니즘으로 정식화한다: (i) off-policy $Q$-maximization을 통한 exploitative improvement, 그리고 (ii) planner alignment를 통한 lookahead improvement. 이 개선들이 이론적으로는 동일한 optimum에 수렴함을 증명하지만, 실제 학습 과정에서는 불가피하게 gradient disagreement가 발생한다. approximation inaccuracy와 non-stationary data로 인해 이 불일치는 policy update에서 destructive interference를 유발하여 bootstrapping loop를 불안정하게 만들고 suboptimal convergence로 이어진다. 이를 해결하기 위해 우리는 harmonic optimization scheme을 통해 exploitative improvement와 lookahead improvement를 조화시키는 gradient-level framework인 harmonized dual policy improvement (HDPI)를 제안한다. 이 scheme은 조화된 update와 원래 gradient 사이의 worst-case inner product를 효과적으로 최대화하여 방향 일관성을 보장하고 policy evolution을 안정화한다. DeepMind Control Suite와 Humanoid-Bench의 14개 어려운 task에 대한 광범위한 실증 평가는 HDPI가 학습 안정성과 asymptotic performance를 크게 향상시키며, 다양한 강력한 baseline을 능가함을 보여준다."},{"id":"61185","en":"Human-in-the-Loop Policy Optimization for Preference-Based Multi-Objective Reinforcement Learning","ko":"Preference-Based Multi-Objective Reinforcement Learning을 위한 Human-in-the-Loop Policy Optimization","authors":"Tianmeng Hu, Biao Luo, Ke Li","pos":"#415","link":"https://openreview.net/forum?id=svT8c2GPJK","abs":"Multi-objective reinforcement learning (MORL) seeks policies that effectively balance conflicting objectives. However, presenting many diverse policies without accounting for the decision maker’s (DM’s) preferences can overwhelm the decision-making process. On the other hand, accurately specifying preferences in advance is often unrealistic. To address these challenges, we introduce a human-in-the-loop MORL framework that interactively discovers preferred policies during optimization. Our approach proactively learns the DM’s implicit preferences in real time, requiring no a priori knowledge. Importantly, we integrate this preference learning directly into a parallel optimization framework, balancing exploration and exploitation to identify high-quality policies aligned with the DM's preferences. Evaluations on a complex quadrupedal robot simulation environment demonstrate that, with only interactions, our proposed method can identify policies aligned with human preferences, e.g., running like a dog. Further experiments on seven MuJoCo tasks and a multi-microgrid system design task against eight state-of-the-art MORAL algorithms fully demonstrate the effectiveness of our proposed framework. Demonstrations and full experiments are in https://sites.google.com/view/pbmorl/home.
","absKo":"Multi-objective reinforcement learning (MORL)은 서로 충돌하는 objective 사이의 균형을 효과적으로 맞추는 policy를 찾고자 한다. 그러나 decision maker(DM)의 preference를 고려하지 않은 채 다양한 policy를 많이 제시하면 의사결정 과정이 과도하게 복잡해질 수 있다. 반면, 사전에 preference를 정확히 지정하는 것은 현실적으로 어려운 경우가 많다. 이러한 문제를 해결하기 위해, 우리는 optimization 과정에서 선호되는 policy를 상호작용적으로 발견하는 human-in-the-loop MORL framework를 제안한다. 우리의 접근법은 사전 지식 없이도 DM의 암묵적 preference를 실시간으로 능동적으로 학습한다. 중요한 점은, 이 preference learning을 parallel optimization framework에 직접 통합하여 exploration과 exploitation의 균형을 맞추고 DM의 preference에 부합하는 고품질 policy를 식별한다는 것이다. 복잡한 quadrupedal robot simulation environment에서의 평가 결과, 상호작용만으로도 제안한 방법이 인간의 preference에 정렬된 policy, 예를 들어 개처럼 달리는 policy를 식별할 수 있음을 보였다. 또한 7개의 MuJoCo task와 multi-microgrid system design task에서 8개의 state-of-the-art MORAL algorithm과 비교한 추가 실험은 제안한 framework의 효과를 충분히 입증한다. 데모와 전체 실험은 https://sites.google.com/view/pbmorl/home 에서 확인할 수 있다.
"},{"id":"65007","en":"Lagrangian Perturbation Diffusion Steering: Latent Reinforcement Learning for Generative Policies","ko":"Lagrangian Perturbation Diffusion Steering: 생성적 Policy를 위한 Latent Reinforcement Learning","authors":"Hikmet Simsir, Ozgur S. Oguz","pos":"#416","link":"https://openreview.net/forum?id=HsdgKuOV8n","abs":"Behavior cloning with high-capacity generative policies achieves strong imitation performance, but performance is often constrained by limited demonstration coverage and sensitivity to distribution shift. While reinforcement learning can improve task performance, directly fine-tuning large action decoders is often unstable and sample inefficient. We propose Lagrangian Perturbation Diffusion Steering (LP-DS), a lightweight adaptation method that improves a frozen generative policy while preserving its multimodal structure. LP-DS learns a compact noise-space perturbation module that shifts Gaussian noise inputs before decoding, enabling policy improvement without modifying the action decoder. To prevent off-manifold latent queries and unstable denoising dynamics, we optimize this module with a Lagrangian trust-region objective that maximizes downstream value while constraining perturbation magnitude, yielding stable and sample-efficient learning. Across RoboMimic manipulation, OpenAI Gym locomotion, and Adroit dexterous manipulation benchmarks, LP-DS improves sample efficiency, success, and return while maintaining diverse behavior, as quantified by higher action-space entropy using the Kozachenko--Leonenko k-nearest neighbor estimator, with return improvements of up to 25\\% over prior baselines. Anonymous project page: https://sites.google.com/view/lp-ds/home.
","absKo":"High-capacity generative policy를 사용한 behavior cloning은 강한 imitation performance를 달성하지만, 성능은 종종 제한된 demonstration coverage와 distribution shift에 대한 민감성에 의해 제약된다. reinforcement learning은 task performance를 향상시킬 수 있지만, large action decoder를 직접 fine-tuning하는 것은 종종 불안정하고 sample inefficent하다. 우리는 multimodal structure를 보존하면서 frozen generative policy를 개선하는 경량 adaptation method인 Lagrangian Perturbation Diffusion Steering (LP-DS)를 제안한다. LP-DS는 decoding 전에 Gaussian noise input을 이동시키는 compact noise-space perturbation module을 학습하여, action decoder를 수정하지 않고도 policy improvement를 가능하게 한다. off-manifold latent query와 불안정한 denoising dynamics를 방지하기 위해, 우리는 perturbation magnitude를 제약하면서 downstream value를 최대화하는 Lagrangian trust-region objective로 이 모듈을 최적화하며, 이를 통해 안정적이고 sample-efficient한 학습을 달성한다. RoboMimic manipulation, OpenAI Gym locomotion, 그리고 Adroit dexterous manipulation benchmark 전반에서 LP-DS는 높은 action-space entropy를 통해 정량화되는 diverse behavior를 유지하면서 sample efficiency, success, return을 개선하며, Kozachenko--Leonenko k-nearest neighbor estimator를 사용해 측정한 결과 prior baseline 대비 최대 25\\%의 return 향상을 보인다. 익명 project page: https://sites.google.com/view/lp-ds/home.
"},{"id":"60513","en":"Learning Multi-Timescale Abstractions for Hierarchical Combinatorial Planning","ko":"Hierarchical Combinatorial Planning을 위한 Multi-Timescale Abstraction 학습","authors":"Vivienne Huiling Wang, Tinghuai Wang, Joni Pajarinen","pos":"#4500","link":"https://openreview.net/forum?id=zV5ktcEs8j","abs":"The combination of exponentially large action spaces, stochastic dynamics, and long-horizon decision-making under limited resources makes Sequential Stochastic Combinatorial Optimization (SSCO) particularly challenging for reinforcement learning. Hierarchical Reinforcement Learning (HRL) offers a natural decomposition, but it places the high-level policy in a Semi-Markov Decision Process (SMDP) where actions have variable durations, making it difficult to learn a world model that is suitable for planning. We introduce a model-based hierarchical framework for sequential stochastic combinatorial decision-making that directly addresses this issue. Our method combines a latent-space tree-search planner with an SMDP-aware world model for variable-duration decisions. A multi-timescale objective structures the latent dynamics so that transition magnitudes reflect the effective temporal scales of abstract actions, enabling efficient lookahead under adaptive temporal abstraction. We further learn a subgoal-conditioned budget policy jointly with the world model to support context-aware resource allocation. Across challenging SSCO benchmarks, our method outperforms strong baselines.
","absKo":"지수적으로 큰 action space, stochastic dynamics, 그리고 제한된 자원 아래의 장기 horizon 의사결정이 결합된 Sequential Stochastic Combinatorial Optimization (SSCO)은 reinforcement learning에 특히 어렵다. Hierarchical Reinforcement Learning (HRL)은 자연스러운 분해를 제공하지만, 고수준 policy가 action의 지속 시간이 가변적인 Semi-Markov Decision Process (SMDP)에 놓이게 되어 planning에 적합한 world model을 학습하기가 어렵다. 우리는 이 문제를 직접 다루는 sequential stochastic combinatorial decision-making을 위한 model-based hierarchical framework를 제안한다. 우리의 방법은 latent-space tree-search planner와 가변 지속 시간 결정을 위한 SMDP-aware world model을 결합한다. multi-timescale objective는 latent dynamics를 구조화하여 transition magnitude가 추상적 action의 유효 temporal scale을 반영하도록 만들고, 이를 통해 적응적 temporal abstraction 아래에서 효율적인 lookahead를 가능하게 한다. 또한 context-aware resource allocation을 지원하기 위해 world model과 함께 subgoal-conditioned budget policy를 공동으로 학습한다. 까다로운 SSCO benchmark 전반에서 우리의 방법은 강력한 baseline들을 능가한다.
"},{"id":"64462","en":"Test-time Offline Reinforcement Learning on Goal-related Experience","ko":"목표 관련 경험에 대한 테스트 시점 오프라인 강화학습","authors":"Marco Bagatella, Mert Albaba, Jonas Hübotter, Georg Martius, Andreas Krause","pos":"#500","link":"https://openreview.net/forum?id=NN4DoPVYT2","abs":"Foundation models compress a large amount of information in a single, large neural network, which can then be queried for individual tasks. There are strong parallels between this widespread framework and offline goal-conditioned reinforcement learning algorithms: a universal value function is trained on a large number of goals, and the policy is evaluated on a single goal in each test episode. Extensive research in foundation models has shown that performance can be substantially improved through test-time training, specializing the model to the current goal. We find similarly that test-time offline reinforcement learning on experience related to the test goal can lead to substantially better policies at modest compute costs. We propose a novel self-supervised data selection criterion, which selects transitions from an offline dataset according to their relevance to the current state and quality with respect to the evaluation goal. We demonstrate across a wide range of high-dimensional loco-navigation and manipulation tasks that fine-tuning a policy on the selected data for a few gradient steps leads to significant performance gains over standard offline pre-training. Our goal-conditioned test-time training (GC-TTT) algorithm applies this routine in a receding-horizon fashion during evaluation, adapting the policy to the current trajectory as it is being rolled out. Finally, we study compute allocation at inference, demonstrating that, at comparable costs, GC-TTT induces performance gains that are not achievable by scaling model size.
","absKo":"Foundation models는 방대한 정보를 하나의 큰 neural network에 압축하며, 이후 이를 개별 task에 대해 질의할 수 있다. 이 널리 쓰이는 framework와 offline goal-conditioned reinforcement learning algorithm 사이에는 강한 유사성이 있다. 즉, 하나의 universal value function을 많은 goal에 대해 학습하고, policy는 각 test episode에서 단일 goal에 대해 평가된다. foundation models에 대한 광범위한 연구는 test-time training을 통해, 즉 현재 goal에 맞게 model을 특화함으로써 성능을 크게 향상시킬 수 있음을 보여주었다. 우리도 이와 유사하게, test goal과 관련된 경험에 대해 test-time offline reinforcement learning을 수행하면 적당한 compute cost로 훨씬 더 나은 policy를 얻을 수 있음을 발견했다. 우리는 현재 state와 evaluation goal에 대한 관련성을 기준으로 offline dataset에서 transition을 선택하는 새로운 self-supervised data selection criterion을 제안한다. 고차원 loco-navigation 및 manipulation task 전반에 걸친 광범위한 실험에서, 선택된 data로 policy를 몇 번의 gradient step만 fine-tuning해도 standard offline pre-training보다 유의미한 성능 향상을 얻을 수 있음을 보였다. 우리의 goal-conditioned test-time training(GC-TTT) algorithm은 evaluation 동안 receding-horizon 방식으로 이 절차를 적용하여, rollout이 진행되는 동안 policy를 현재 trajectory에 적응시킨다. 마지막으로 inference에서의 compute allocation을 연구하여, 유사한 비용에서 GC-TTT가 model size scaling으로는 달성할 수 없는 성능 향상을 유도함을 보인다.
"},{"id":"63115","en":"Expected Returns and Policy Inconsistency-Aware Offline Federated Deep Reinforcement Learning","ko":"기대 수익 및 정책 불일치 인지 오프라인 연합 심층 강화학습","authors":"Meng XU, Zhongying Chen, Weiwei Fu, Yan Li, Shuguang Wang, Jianping Wang","pos":"#513","link":"https://openreview.net/forum?id=ZxMHQCFYr1","abs":"Offline Federated Deep Reinforcement Learning (FDRL) methods aggregate multiple client-side offline Deep Reinforcement Learning (DRL) models, each trained locally, to facilitate knowledge sharing while preserving privacy. Existing offline FDRL methods assign client weights during global aggregation using either simple averaging or Q-values, but they neglect the combined consideration of Q-values and policy inconsistency, the latter of which reflects the distributional discrepancy between the learned policy and the policy from offline data. This causes clients with no significant advantages in one aspect but obvious disadvantages in the other to disproportionately affect the global model, thereby degrading its capabilities in that aspect. During local training, clients in existing methods are compelled to fully adopt the global model, which negatively impacts clients when the global model is weak. To address these limitations, we propose a novel Federated Learning (FL) framework that can be seamlessly integrated into current offline FDRL approaches to improve their performance. Our method considers both policy inconsistency and Q-values to determine the weights of client models, with the latter adjusted by a scaling factor to avoid significant numerical discrepancies with the former. The aggregated global model is then distributed to clients to facilitate their learning from the global model. The impact of the global model on the local models is reduced when a client's model performance exceeds that of the global model, thereby mitigating the influence of a weaker global model. Experiments on the Datasets for Deep Data-Driven Reinforcement Learning (D4RL) demonstrate that our method enhances six state-of-the-art (SOTA) offline FDRL methods in terms of return and D4RL score.
","absKo":"Offline Federated Deep Reinforcement Learning (FDRL) 방법은 각 클라이언트에서 로컬로 학습된 여러 offline Deep Reinforcement Learning (DRL) model을 집계하여, privacy를 보존하면서 knowledge sharing을 가능하게 한다. 기존 offline FDRL 방법은 global aggregation 시 단순 평균 또는 Q-value 중 하나를 사용해 client weight를 할당하지만, Q-value와 policy inconsistency를 함께 고려하지는 않는다. 후자는 학습된 policy와 offline data의 policy 사이의 distributional discrepancy를 반영한다. 이로 인해 한 측면에서는 뚜렷한 이점이 없고 다른 측면에서는 명백한 불이익이 있는 client가 global model에 과도한 영향을 미치게 되어, 해당 측면의 능력이 저하된다. local training 동안 기존 방법의 client는 global model을 완전히 따르도록 강제되는데, global model이 약할 경우 이는 client에 부정적인 영향을 준다. 이러한 한계를 해결하기 위해, 우리는 기존 offline FDRL 접근법에 매끄럽게 통합되어 성능을 향상시킬 수 있는 새로운 Federated Learning (FL) framework를 제안한다. 우리의 방법은 policy inconsistency와 Q-value를 모두 고려해 client model의 weight를 결정하며, 이때 후자는 전자와의 큰 수치적 불일치를 피하기 위해 scaling factor로 조정된다. 이후 집계된 global model은 client에게 배포되어 global model로부터의 학습을 돕는다. client의 model performance가 global model보다 높을 때에는 global model이 local model에 미치는 영향을 줄여, 더 약한 global model의 영향을 완화한다. Datasets for Deep Data-Driven Reinforcement Learning (D4RL) 실험에서 우리의 방법은 return과 D4RL score 측면에서 6개의 SOTA offline FDRL 방법을 개선함을 보였다.
"},{"id":"61547","en":"Scalable Option Learning in High-Throughput Environments","ko":"High-Throughput 환경에서 확장 가능한 Option Learning","authors":"Mikael Henaff, Scott Fujimoto, Michael Matthews, Michael Rabbat","pos":"#600","link":"https://openreview.net/forum?id=p2RPRTPPMO","abs":"Hierarchical reinforcement learning (RL) has the potential to enable effective decision-making over long timescales. Existing approaches, while promising, have yet to realize the benefits of large-scale training. In this work, we identify and solve several key challenges in scaling online hierarchical RL to high-throughput environments. We propose Scalable Option Learning (SOL), a highly scalable hierarchical policy gradient algorithm which achieves a ~35x higher throughput compared to existing hierarchical methods. To demonstrate SOL's performance and scalability, we train hierarchical agents using 30 billion frames of experience on the complex game of NetHack, significantly surpassing flat agents and demonstrating positive scaling trends. We also validate SOL on MiniHack and Mujoco environments, showcasing its general applicability.
","absKo":"Hierarchical reinforcement learning (RL)은 긴 시간 규모에 걸친 효과적인 의사결정을 가능하게 할 잠재력을 지닌다. 기존 접근법은 유망하지만, 대규모 training의 이점을 아직 실현하지 못했다. 본 연구에서는 고처리량 환경에서 online hierarchical RL을 확장할 때의 몇 가지 핵심 과제를 식별하고 해결한다. 우리는 Scalable Option Learning (SOL)을 제안하는데, 이는 기존 hierarchical method보다 약 35배 높은 throughput을 달성하는 매우 확장성 높은 hierarchical policy gradient algorithm이다. SOL의 성능과 확장성을 입증하기 위해, 우리는 복잡한 게임 NetHack에서 300억 frame의 experience를 사용해 hierarchical agent를 학습시켰고, flat agent를 크게 능가하며 긍정적인 scaling trend를 보였다. 또한 MiniHack과 Mujoco environment에서도 SOL을 검증하여, 그 일반적 적용 가능성을 보여준다.
"},{"id":"63407","en":"FlowMAP: Flow Matching for Generalizable Agent Planning","ko":"FlowMAP: 일반화 가능한 에이전트 계획을 위한 Flow Matching","authors":"Jiarun Fu, Lizhong Ding, Qiuning Wei, Zhaohuan Linghu, Yurong Cheng, Changsheng Li, Tianlong Gu, Liang Chang, Ye Yuan, Guoren Wang","pos":"#116","link":"https://openreview.net/forum?id=XPWjLxC0X1","abs":"Agent planning faces dynamic heterogeneity—nonstationary observations, dynamics, and objectives with sparse, delayed rewards—which dominant methods largely ignore, leading to poor generalization under environment shifts. We propose Flow-Matching for Agent Planning (FlowMAP), which formulates planning as a continuous-time flow matching by learning a planning-time velocity field that transports an initial meta-state distribution toward a task-conditioned target. FlowMAP introduces Value-Transport Flow Matching to provide distribution-level planning objective that steers transport toward high-value regions in meta-state distribution, mitigating error accumulation under environmental shifts. To enforce alignment between meta-state distributions transport and action-environment interaction, FlowMAP further propose Flow-Policy Co-Training, which jointly optimizes the planning flow and policy so that the flow transport directly regularizes the policy-induced meta-distribution dynamics. Across diverse agent planning benchmarks, FlowMAP consistently outperforms strong baselines, yielding improvement in planning generalization.
","absKo":"Agent planning은 동적 이질성, 즉 비정상적인 observation, dynamics, 그리고 sparse하고 지연된 reward를 가진 objective에 직면하며, 지배적인 방법들은 이를 대체로 무시해 환경 변화 하에서 일반화가 떨어진다. 우리는 Flow-Matching for Agent Planning(FlowMAP)을 제안한다. 이는 초기 meta-state distribution을 task-conditioned target으로 이동시키는 planning-time velocity field를 학습하여 planning을 continuous-time flow matching으로 정식화한다. FlowMAP은 Value-Transport Flow Matching을 도입하여 high-value region으로 transport를 유도하는 distribution-level planning objective를 제공함으로써, 환경 변화 하의 error accumulation을 완화한다. 또한 meta-state distribution transport와 action-environment interaction 간의 정렬을 강제하기 위해, FlowMAP은 Flow-Policy Co-Training을 추가로 제안한다. 이는 planning flow와 policy를 공동 최적화하여 flow transport가 policy-induced meta-distribution dynamics를 직접 regularize하도록 한다. 다양한 agent planning benchmark에서 FlowMAP은 강력한 baseline을 일관되게 능가하며, planning generalization을 향상시킨다.
"},{"id":"62035","en":"TABX: A High-Throughput Sandbox Battle Simulator for Multi-Agent Reinforcement Learning","ko":"TABX: 다중 Agent RL을 위한 고처리량 Sandbox Battle Simulator","authors":"Hayeong Lee, JunHyeok Oh, Byung-Jun Lee","pos":"#122","link":"https://openreview.net/forum?id=kTOxGQJkwt","abs":"The design of environments plays a critical role in shaping the development and evaluation of cooperative multi-agent reinforcement learning (MARL) algorithms. While existing benchmarks highlight critical challenges, they often lack the modularity required to design custom evaluation scenarios. We introduce the Totally Accelerated Battle Simulator in JAX (TABX), a high-throughput sandbox designed for reconfigurable multi-agent tasks. TABX provides granular control over environmental parameters, permitting a systematic investigation into emergent agent behaviors and algorithmic trade-offs across a diverse spectrum of task complexities. Leveraging JAX for hardware-accelerated execution on GPUs, TABX enables massive parallelization and significantly reduces computational overhead. By providing a fast, extensible, and easily customized framework, TABX facilitates the study of MARL agents in complex structured domains and serves as a scalable foundation for future research. Our code is available at: https://anonymous.4open.science/r/TABX-00CA.
","absKo":"환경 설계는 cooperative multi-agent reinforcement learning (MARL) algorithm의 개발과 평가를 형성하는 데 중요한 역할을 한다. 기존 benchmark는 중요한 도전 과제를 보여주지만, custom evaluation scenario를 설계하는 데 필요한 modularity는 종종 부족하다. 우리는 재구성 가능한 multi-agent task를 위해 설계된 high-throughput sandbox인 Totally Accelerated Battle Simulator in JAX (TABX)를 소개한다. TABX는 환경 파라미터에 대한 세밀한 제어를 제공하여, 다양한 task 복잡도 전반에서 emergent agent behavior와 algorithmic trade-off를 체계적으로 조사할 수 있게 한다. GPU에서의 hardware-accelerated execution을 위해 JAX를 활용함으로써, TABX는 대규모 병렬화를 가능하게 하고 계산 오버헤드를 크게 줄인다. 빠르고, 확장 가능하며, 쉽게 맞춤 설정할 수 있는 framework를 제공함으로써 TABX는 복잡한 structured domain에서 MARL agent 연구를 촉진하고, 향후 연구를 위한 scalable foundation 역할을 한다. 코드는 다음에서 확인할 수 있다: https://anonymous.4open.science/r/TABX-00CA.
"},{"id":"63589","en":"Recurrent Structural Policy Gradient for Partially Observable Mean Field Games","ko":"부분 관측 mean field game을 위한 재귀 구조 정책 그래디언트","authors":"Clarisse Wibault, Sebastian Towers, Tiphaine Wibault, Juan Duque, Johannes Forkel, George Whittle, Andreas Schaab, Chiyuan Wang, Yucheng Yang, Michael A Osborne, Benjamin Moll, Jakob Foerster","pos":"#123","link":"https://openreview.net/forum?id=VkZQThGNgI","abs":"Mean Field Games (MFGs) provide a principled framework for modeling interactions in large populations models: at scale, population dynamics become deterministic, with uncertainty entering only through aggregate shocks, or common noise. However, algorithmic progress has been limited since model-free methods are too high variance and exact methods scale poorly. Recent Hybrid Structural Methods (HSMs) use Monte Carlo rollouts for the common noise in combination with exact estimation of the expected return, conditioned on those samples. However, HSMs have not been scaled to Partially Observable settings. We propose Recurrent Structural Policy Gradient (RSPG), the first history-aware HSM. We also introduce MFAX, our JAX-based framework for MFGs. By leveraging known transition dynamics, RSPG achieves state-of-the-art performance as well as an order-of-magnitude faster convergence and solves, for the first time, a macroeconomics MFG with heterogeneous agents, common noise and history-aware policies. MFAX is publicly available at: .
","absKo":"Mean Field Games (MFGs)는 대규모 개체 집단에서의 상호작용을 모델링하기 위한 원리 기반 프레임워크를 제공한다. 규모가 커지면 개체군 동역학은 결정론적으로 되며, 불확실성은 집계 충격, 즉 common noise를 통해서만 들어온다. 그러나 model-free 방법은 분산이 너무 크고 exact 방법은 확장이 잘 되지 않아 알고리즘적 진전은 제한적이었다. 최근의 Hybrid Structural Methods (HSMs)는 common noise에 대해 Monte Carlo rollout을 사용하고, 그 표본들에 조건부인 기대 수익의 exact estimation을 결합한다. 하지만 HSMs는 아직 Partially Observable setting으로 확장되지 못했다. 우리는 최초의 history-aware HSM인 Recurrent Structural Policy Gradient (RSPG)를 제안한다. 또한 MFG를 위한 JAX 기반 프레임워크 MFAX를 소개한다. 알려진 transition dynamics를 활용함으로써, RSPG는 state-of-the-art 성능을 달성할 뿐 아니라 수렴 속도도 한 자릿수 배 이상 빨라졌으며, heterogeneous agents, common noise, history-aware policies를 포함하는 거시경제 MFG를 처음으로 해결했다. MFAX는 다음에서 공개되어 있다: .
"},{"id":"65131","en":"PrivAct: Internalizing Contextual Privacy Preservation via Multi-Agent Preference Training","ko":"PrivAct: 멀티 에이전트 선호 학습을 통한 맥락적 프라이버시 보존의 내재화","authors":"Yuhan Cheng, Hancheng Ye, Hai Li, Jingwei Sun, Yiran Chen","pos":"#124","link":"https://openreview.net/forum?id=GWYR0NqMZw","abs":"Large language model (LLM) agents are increasingly deployed in personalized tasks involving sensitive, context-dependent information, where privacy violations may arise in agents' action due to the implicitness of contextual privacy. Existing approaches rely on external, inference-time interventions which are brittle, scenario-specific, and may expand the privacy attack surface. We propose PrivAct, a contextual privacy-aware multi-agent learning framework that internalizes contextual privacy preservation directly into models' generation behavior for privacy-compliant agentic actions. By embedding privacy preferences into each agent, PrivAct enhances system-wide contextual integrity while achieving a more favorable privacy-helpfulness tradeoff. Experiments across multiple LLM backbones and benchmarks demonstrate consistent improvements in contextual privacy preservation, reducing leakage rates by up to 12.32\\% while maintaining comparable helpfulness, as well as zero-shot generalization and robustness across diverse multi-agent topologies. The code and datasets will be released at [URL/upon acceptance].
","absKo":"Large language model (LLM) agent는 점점 개인화된 task에 배치되고 있으며, 여기에는 민감하고 context-dependent한 정보가 포함되어 있다. 이때 contextual privacy의 implicitness 때문에 agent의 action에서 privacy violation이 발생할 수 있다. 기존 접근법은 inference-time에 작동하는 외부 intervention에 의존하는데, 이는 취약하고 scenario-specific하며 privacy attack surface를 넓힐 수 있다. 우리는 privacy-compliant agentic action을 위해 contextual privacy preservation을 모델의 generation behavior에 직접 내재화하는 contextual privacy-aware multi-agent learning framework인 PrivAct를 제안한다. 각 agent에 privacy preference를 embedding함으로써, PrivAct는 system-wide contextual integrity를 향상시키는 동시에 privacy와 helpfulness 사이의 tradeoff를 더 유리하게 만든다. 여러 LLM backbone과 benchmark에 걸친 실험은 contextual privacy preservation이 일관되게 개선됨을 보여주며, helpfulness를 유사한 수준으로 유지하면서 leakage rate를 최대 12.32\\%까지 줄이고, 다양한 multi-agent topology 전반에서 zero-shot generalization과 robustness도 달성한다. 코드와 dataset은 [URL/upon acceptance]에서 공개될 예정이다.
"},{"id":"63702","en":"On Local Policies for Graph-Structured Markov Decision Processes","ko":"그래프 구조 Markov Decision Processes를 위한 로컬 정책에 관하여","authors":"Fathima Faizal, Asuman Ozdaglar, Martin Wainwright","pos":"#125","link":"https://openreview.net/forum?id=UToRC7HNG1","abs":"We study a cooperative form of multi-agent reinforcement learning with state space dynamics and agent interaction controlled by an underlying graph. Each agent has a local state and action, the evolution of the local state depends only on the states and actions in the $1$-hop neighborhood defined by graph. Structured dynamics of this type arise in various applications, including network resource allocation, co-operative games, epidemic control, and wireless scheduling. The global state-action space scales exponentially in the number of agents, so that computing global optimal policies is intractable in the worst-case. We study conditions under which it is possible to approximate the optimal policies by an $m$-hop local policy for each agent, depending only on its $m$-hop neighborhood. By controlling the propagation of influences via a Dobrushin-type stability matrix, we establish that global optimal policies are sharply approximated by $m$-hop local policies whose sub-optimality gap decays exponentially in $m$.","absKo":"We는 underlying graph에 의해 제어되는 state space dynamics와 agent interaction을 가진 cooperative form의 multi-agent reinforcement learning을 연구한다. 각 agent는 local state와 action을 가지며, local state의 진화는 graph로 정의되는 $1$-hop neighborhood 내의 state와 action에만 의존한다. 이와 같은 structured dynamics는 network resource allocation, cooperative game, epidemic control, wireless scheduling 등을 포함한 다양한 응용에서 나타난다. global state-action space는 agent 수에 대해 exponential하게 증가하므로, global optimal policy를 계산하는 것은 최악의 경우 intractable하다. 우리는 각 agent에 대해 자기의 $m$-hop neighborhood에만 의존하는 $m$-hop local policy로 optimal policy를 근사할 수 있는 조건을 연구한다. Dobrushin-type stability matrix를 통해 influence의 propagation을 제어함으로써, global optimal policy가 $m$-hop local policy에 의해 sharp하게 근사되며, 그 sub-optimality gap이 $m$에 대해 exponentially 감소함을 보인다."},{"id":"67134","en":"Position: Digital Agents Require Unified Agent-Native Environments","ko":"Position: Digital Agent에는 통합된 Agent-Native 환경이 필요하다","authors":"Yiran Wu, Jiale Liu, Jieyu Zhang, Yaolun Zhang, Shilong Liu, Chi Wang, Mengdi Wang, Huazheng Wang, Qingyun Wu","pos":"#1910","link":"https://openreview.net/forum?id=XZaRHkbc2u","abs":"Large language models (LLMs) are increasingly deployed as digital agents that perform multi-step digital work on a computer, but the environments in which they operate remain fragmented and task-specific. Our position is that digital agents need Agent-Native Computer: interfaces that expose system capabilities through compositional observation and action spaces aligned with LLM strengths. To ground this position, we showcase AgentVM, an environment running on top of a modern operating system, which integrates Graphical User Interface (GUI)-based and text-based interactions over a shared system state, and factors interaction into modular environment views. Through quantitative and qualitative analysis, we show that a unified agent-native computer is essential for building general-purpose digital agents.
","absKo":"Large language models (LLMs)는 이제 컴퓨터에서 다단계 디지털 작업을 수행하는 디지털 agent로 점점 더 많이 배치되고 있지만, 이들이 작동하는 환경은 여전히 분절되어 있고 task-specific하다. 우리의 입장은 digital agent에게 Agent-Native Computer가 필요하다는 것이다. 즉, LLM의 강점에 맞게 구성 가능한 observation과 action space를 통해 system capability를 노출하는 인터페이스가 필요하다. 이 입장을 뒷받침하기 위해 우리는 현대 운영체제 위에서 동작하는 AgentVM을 소개한다. AgentVM은 공유된 system state 위에서 Graphical User Interface (GUI) 기반 상호작용과 텍스트 기반 상호작용을 통합하고, 상호작용을 모듈형 environment view로 분해한다. 정량적·정성적 분석을 통해, 범용 digital agent를 구축하기 위해서는 통합된 agent-native computer가 필수적임을 보인다.
"},{"id":"67223","en":"Position: Collaborative Agentic AI Needs Interoperability Across Ecosystems","ko":"Position: 협력적 Agentic AI에는 생태계 간 상호운용성이 필요하다","authors":"Rishi Sharma, Martijn de Vos, Pradyumna Chari, Ramesh Raskar, Anne-Marie Kermarrec","pos":"#1911","link":"https://openreview.net/forum?id=7FM8ixHTOn","abs":"Collaborative agentic AI is projected to transform entire industries by enabling AI-powered agents to autonomously perceive, plan, and act within digital environments. Yet, current solutions in this field are all built in isolation, and we are rapidly heading toward a landscape of fragmented, incompatible ecosystems. In this position paper, we argue that interoperability, achieved by the adoption of minimal standards, is essential to ensure open, secure, web-scale, and widely-adopted agentic ecosystems. To this end, we devise a minimal architectural foundation for collaborative agentic AI, named Web of Agents, which is composed of four components: agent-to-agent messaging, interaction interoperability, state management, and agent discovery. Web of Agents adopts existing standards and reuses existing infrastructure where possible. With Web of Agents, we take a first but critical step toward interoperable agentic systems and offer a pragmatic path forward before ecosystem fragmentation becomes the norm.
","absKo":"Collaborative agentic AI는 AI-powered agent가 디지털 환경 안에서 자율적으로 인식하고, 계획하고, 행동할 수 있게 함으로써 산업 전반을 변화시킬 것으로 예상된다. 그러나 이 분야의 현재 솔루션은 모두 개별적으로 구축되고 있으며, 우리는 빠르게 파편화되고 상호 호환되지 않는 생태계로 향하고 있다. 이 포지션 페이퍼에서 우리는 최소한의 standard 채택을 통해 달성되는 interoperability가 개방적이고, 안전하며, web-scale이고, 널리 채택되는 agentic ecosystem을 보장하는 데 필수적이라고 주장한다. 이를 위해 우리는 collaborative agentic AI를 위한 최소 architectural foundation을 설계하고, 이를 Web of Agents라고 부른다. 이는 agent-to-agent messaging, interaction interoperability, state management, agent discovery의 네 가지 구성 요소로 이루어진다. Web of Agents는 가능한 경우 기존 standard를 채택하고 기존 infrastructure를 재사용한다. Web of Agents를 통해 우리는 interoperable agentic system을 향한 첫 번째이지만 중요한 단계를 내딛고, 생태계 파편화가 표준이 되기 전에 실용적인 전진 경로를 제시한다.
"},{"id":"67227","en":"Position: Agent Should Invoke External Tools ONLY When Epistemically Necessary","ko":"Position: Agent는 인식적으로 필요할 때에만 외부 도구를 호출해야 한다","authors":"Hongru WANG, Cheng Qian, Manling Li, Jiahao Qiu, Boyang XUE, Mengdi Wang, Heng Ji, Amos Storkey, Kam-Fai Wong","pos":"#1912","link":"https://openreview.net/forum?id=5wTHg2zQRA","abs":"As large language models evolve into tool-augmented agents, a central question remains unresolved: when is external tool use actually justified? Existing agent frameworks typically treat tools as ordinary actions and optimize for task success or reward, offering little principled distinction between epistemically necessary interaction and unnecessary delegation. This position paper argues that \\textit{agents should invoke external tools only when epistemically necessary}. Here, epistemic necessity means that a task cannot be completed reliably via the agent’s internal reasoning over its current context, without any external interaction. We introduce the \\textit{\\textbf{Theory of Agent (ToA)}}, a framework that treats agents as making sequential decisions about whether remaining uncertainty should be resolved internally or delegated externally. From this perspective, common agent failure modes (e.g., overthinking and overacting) arise from miscalibrated decisions under uncertainty rather than deficiencies in reasoning or tool execution alone. We further discuss implications for training, evaluation, and agent design, highlighting that unnecessary delegation not only causes inefficiency but can impede the development of internal reasoning capability. Our position provides a normative criterion for tool use that complements existing decision-theoretic models and is essential for building agents that are not only correct, but increasingly intelligent.
","absKo":"large language model이 tool-augmented agent로 진화함에 따라, 핵심 질문 하나는 여전히 해결되지 않았다: 외부 tool 사용은 언제 실제로 정당화되는가? 기존 agent framework는 대개 tool을 일반적인 action으로 취급하고 task 성공이나 reward를 최적화하지만, 인식적으로 필요한 interaction과 불필요한 delegation 사이를 원칙적으로 구분하지는 않는다. 이 포지션 페이퍼는 \\textit{agent는 인식적으로 필요할 때만 외부 tool을 호출해야 한다}고 주장한다. 여기서 epistemic necessity는 현재 context에 대한 agent의 내부 추론만으로는 외부 interaction 없이 task를 신뢰성 있게 완료할 수 없음을 뜻한다. 우리는 \\textit{\\textbf{Theory of Agent (ToA)}}를 제안하는데, 이는 agent를 남아 있는 uncertainty를 내부적으로 해소할지 외부에 위임할지에 대해 순차적으로 결정하는 존재로 다루는 framework이다. 이 관점에서 흔한 agent 실패 양상(예: overthinking과 overacting)은 추론이나 tool 실행 자체의 결함이라기보다 uncertainty 하에서 잘 보정되지 않은 decision에서 발생한다. 우리는 또한 training, evaluation, agent design에 대한 함의를 논의하며, 불필요한 delegation이 비효율을 초래할 뿐 아니라 내부 추론 능력의 발달을 저해할 수 있음을 강조한다. 우리의 입장은 기존 decision-theoretic model을 보완하는 tool 사용에 대한 규범적 기준을 제시하며, 단지 정확할 뿐 아니라 점점 더 intelligent한 agent를 구축하는 데 필수적이다.
"},{"id":"64937","en":"Agora: Toward Autonomous Bug Detection in Production-Level Consensus Protocols with LLM Agents","ko":"Agora: LLM Agent를 활용한 프로덕션 수준 Consensus Protocol의 자율 버그 탐지를 향하여","authors":"Xiang Liu, Sa Song, Zhaowei Zhang, Ceyao Zhang, Huiying Lan, Jason Zeng, Ming Wu, Michael Heinrich, Yong Sun","pos":"#207","link":"https://openreview.net/forum?id=IU9dsf2LZA","abs":"Consensus protocols form the backbone of distributed systems and blockchains, where implementation bugs can cause data corruption and financial losses. While LLM-based approaches show promise in code analysis, they struggle with deep protocol-level logic bugs involving complex state-dependent behaviors across multiple execution stages. We present Agora, a domain-aware multi-agent framework that integrates hypothesis-driven testing with LLM capabilities for systematic protocol verification. Agora employs specialized agents that collaboratively explore protocol state spaces, synthesize attack scenarios using domain-specific constraints, and validate findings through iterative refinement. This explicit role separation enables reasoning about global protocol invariants beyond single-function code analysis. We evaluate Agora on four consensus implementations (Raft, EPaxos, HotStuff, BullShark) using four state-of-the-art LLMs. Agora discovers 15 previously unknown protocol-level logic bugs that violate safety properties, while existing LLM-based agents fail to detect any such protocol-level logic bugs. Our results demonstrate that domain-aware multi-agent collaboration is essential for detecting deep logic bugs in complex protocols.
","absKo":"Consensus protocol은 분산 시스템과 blockchain의 근간을 이루며, 구현 버그는 데이터 손상과 금융 손실을 초래할 수 있다. LLM 기반 접근법은 코드 분석에서 가능성을 보이지만, 여러 execution stage에 걸친 복잡한 state-dependent behavior를 포함하는 깊은 protocol-level logic bug에는 취약하다. 우리는 domain-specific constraint와 LLM 역량을 결합하여 체계적인 protocol verification을 수행하는 domain-aware multi-agent framework인 Agora를 제시한다. Agora는 protocol state space를 공동으로 탐색하고, 도메인 제약을 활용해 attack scenario를 합성하며, 반복적 refinement를 통해 발견 사항을 검증하는 specialized agent를 사용한다. 이러한 명시적인 역할 분리는 단일 함수 코드 분석을 넘어 global protocol invariant에 대해 추론할 수 있게 한다. 우리는 4개의 state-of-the-art LLM을 사용하여 4개의 consensus 구현(Raft, EPaxos, HotStuff, BullShark)을 평가한다. Agora는 safety property를 위반하는, 이전에 알려지지 않았던 15개의 protocol-level logic bug를 발견한 반면, 기존 LLM 기반 agent는 그러한 protocol-level logic bug를 하나도 탐지하지 못한다. 우리의 결과는 복잡한 protocol에서 깊은 logic bug를 탐지하는 데 domain-aware multi-agent 협력이 필수적임을 보여준다.
"},{"id":"63505","en":"Conversation for Non-verifiable Learning: Self-Evolving Large Language Models through Meta-Evaluation","ko":"검증 불가능한 학습을 위한 대화: 메타 평가를 통한 자기 진화 대규모 언어 모델","authors":"Yuan Sui, Bryan Hooi","pos":"#208","link":"https://openreview.net/forum?id=Wba6w3pzbj","abs":"Training large language models (LLMs) for non-verifiable tasks—such as creative writing, dialogue, and ethical reasoning—remains challenging due to the absence of ground-truth labels. While LLM-as-Judge approaches offer a scalable alternative to human feedback, they face a fundamental limitation: performance is constrained by the evaluator's own quality. If the judge cannot recognize good solutions, it cannot provide useful training signals, and evaluation biases (e.g., favoring verbosity over quality) remain unaddressed. This motivates meta-evaluation—the ability to evaluate and improve the evaluator itself. We introduce CoNL, a framework that unifies generation, evaluation, and meta-evaluation through multi-agent self-play. Our key insight: critique quality can be measured by whether it helps others improve their solutions. In CoNL, multiple agents sharing the same policy engage in structured conversations to propose, critique, and revise solutions. Critiques that enable other agents' solution improvements earn a diagnostic reward, creating explicit supervision for meta-evaluation and enabling joint optimization of generation and judging capabilities through self-play, without external judges or ground truth. Experiments on five benchmarks show that CoNL achieves consistent improvements over self-rewarding baselines while maintaining stable training.
","absKo":"creative writing, dialogue, ethical reasoning과 같은 non-verifiable task에 대해 large language model (LLM)을 학습시키는 일은 ground-truth label의 부재로 인해 여전히 어렵습니다. LLM-as-Judge 접근은 human feedback에 대한 확장 가능한 대안을 제공하지만, 근본적인 한계를 가집니다: 성능은 평가자 자체의 품질에 의해 제한됩니다. judge가 좋은 해답을 알아보지 못하면 유용한 training signal을 제공할 수 없고, verbosity를 quality보다 선호하는 평가 편향도 해결되지 않습니다. 이는 meta-evaluation, 즉 평가자 자체를 평가하고 개선하는 능력을 필요로 합니다. 우리는 multi-agent self-play를 통해 generation, evaluation, meta-evaluation을 통합하는 framework인 CoNL을 제안합니다. 핵심 통찰은 critique의 품질은 다른 agent들이 자신의 해답을 개선하는 데 도움이 되는지로 측정할 수 있다는 점입니다. CoNL에서는 동일한 policy를 공유하는 여러 agent가 구조화된 대화를 통해 해답을 제안하고, 비판하고, 수정합니다. 다른 agent의 해답 개선을 가능하게 하는 critique는 diagnostic reward를 획득하며, 이를 통해 meta-evaluation에 대한 명시적 supervision이 생성되고 외부 judge나 ground truth 없이 self-play를 통해 generation과 judging capability를 공동 최적화할 수 있습니다. 다섯 개 benchmark에서의 실험은 CoNL이 안정적인 학습을 유지하면서 self-rewarding baseline보다 일관되게 향상됨을 보여줍니다.
"},{"id":"64408","en":"Cycle-of-Science: Reliable Reasoning through Counterfactual Verification for Agent Decision Making","ko":"Cycle-of-Science: 에이전트 의사결정을 위한 반사실 검증을 통한 신뢰할 수 있는 추론","authors":"Ruojie Zhang, Wencheng Zhu, dayong zhu","pos":"#209","link":"https://openreview.net/forum?id=NvTyyBFICP","abs":"Large Language Models have significantly advanced autonomous agents through their sophisticated perception and execution capabilities. Despite effective, agents still struggle with robust decision-making due to passive learning from similar experiences that often confound correlation with causality. Inspired by the Scientific Method, we propose a Cycle-of-Science framework that autonomously explores potential causal pathways through an iterative loop of \\textit{Hypothesis, Experiment, and Validation}, enabling agents to identify truly effective causal dependencies. To be specific, we first leverage causal knowledge to guide the initial hypotheses generation. These hypotheses are then analyzed through experiments using counterfactual samples. Afterward, we perform causal analysis to quantify effects of interventions, deriving well-validated hypotheses for next agent steps. Finally, we introduce adaptive threshold calibration that modulates causal validation based on policy uncertainty. Experiments on benchmarks demonstrate that our method achieves superior performance over state-of-the-art approaches.
","absKo":"Large Language Model은 정교한 perception과 execution capability를 통해 autonomous agent를 크게 발전시켜 왔다. 그럼에도 불구하고 agent는 여전히 인과성과 상관관계를 혼동하기 쉬운 유사한 경험으로부터의 수동적 학습 때문에 견고한 의사결정에 어려움을 겪는다. Scientific Method에서 영감을 받아, 우리는 반복적 루프인 \\textit{Hypothesis, Experiment, and Validation}을 통해 잠재적 인과 경로를 자율적으로 탐색하는 Cycle-of-Science framework를 제안하여, agent가 진정으로 효과적인 causal dependency를 식별할 수 있게 한다. 구체적으로, 우리는 먼저 causal knowledge를 활용해 초기 hypothesis 생성을 유도한다. 이어서 이 hypothesis들은 counterfactual sample을 사용하는 experiment를 통해 분석된다. 그 후 intervention의 효과를 정량화하는 causal analysis를 수행하여, 다음 agent step을 위한 잘 검증된 hypothesis를 도출한다. 마지막으로, policy uncertainty에 따라 causal validation을 조절하는 adaptive threshold calibration을 도입한다. benchmark 실험은 우리의 방법이 state-of-the-art 접근법보다 우수한 성능을 달성함을 보여준다.
"},{"id":"63679","en":"Distributionally Robust Markov Games with Average Reward","ko":"평균 보상을 갖는 분포적으로 강인한 Markov game","authors":"Zachary Roch, Yue Wang","pos":"#210","link":"https://openreview.net/forum?id=UgPfadSsaA","abs":"We propose and study distributionally robust Markov games (DR‑MGs) with the average‑reward criterion as a crucial framework for multi-agent decision-making under model mismatches and over extended horizons. Under a standard irreducible assumption, we first derive a correspondence between the optimal policies and the solutions of the robust Bellman equation, based on which we further show the existence of a stationary Nash Equilibrium (NE) of the game. We further study DR-MGs under a more general weakly communicating setting. We construct a set-valued map based on the constant-gain optimal robust Bellman operator and show that its value is a subset of the best-response policies. We further prove that this map admits a fixed point, which implies the existence of NE. We then design two algorithms, Robust Nash‑Iteration and robust TD Descent, with provably convergent guarantees. Finally, we show that the NE under average‑reward can be approximated by the ones for the discounted DR-MGs as the discount factor approaches one. Our studies provide a comprehensive theoretical and algorithmic foundation for decision-making in complex, uncertain, and long-running multi-player environments.
","absKo":"우리는 model mismatch와 장기 horizon 하에서의 multi-agent decision-making을 위한 핵심 프레임워크로서 average-reward criterion을 갖는 distributionally robust Markov game(DR-MG)을 제안하고 연구한다. 표준 irreducible assumption 하에서, 우리는 먼저 optimal policy와 robust Bellman equation의 해 사이의 대응 관계를 도출하고, 이를 바탕으로 게임의 stationary Nash Equilibrium(NE)의 존재를 추가로 보인다. 또한 우리는 더 일반적인 weakly communicating setting에서의 DR-MG를 연구한다. 우리는 constant-gain optimal robust Bellman operator를 기반으로 set-valued map을 구성하고, 그 값이 best-response policy의 부분집합임을 보인다. 더 나아가 이 map이 fixed point를 가진다는 것을 증명하며, 이는 NE의 존재를 함의한다. 이후 Robust Nash-Iteration과 robust TD Descent라는 두 가지 알고리즘을 설계하고, 수렴 보장을 증명한다. 마지막으로 average-reward 하에서의 NE는 discount factor가 1에 가까워질 때 discounted DR-MG의 NE로 근사될 수 있음을 보인다. 우리의 연구는 복잡하고 불확실하며 장기간 지속되는 multi-player environment에서의 의사결정을 위한 포괄적인 이론적 및 알고리즘적 기반을 제공한다."},{"id":"61022","en":"Emergent Communication Under Misinformation","ko":"오정보 하에서의 창발적 커뮤니케이션","authors":"Heeyoung Lee, Kyungwoo Song","pos":"#211","link":"https://openreview.net/forum?id=uSOl5K0PJY","abs":"Social interactions are characterized by both adversarial and cooperative aspects. Communications between agents may also involve adversarially motivated actors. Messages may pass through intermediaries of malign intents before reaching the intended receiver. These actors may modify the message to induce misunderstanding from the receiver while preserving the overall characteristics of the message. This form of misinformation is prevalent in real-world communications and may affect the dynamics under which communication protocols are developed. However, this aspect of social interaction is relatively underexplored in many studies of the emergent communication field, which aims to understand the environmental factors behind the emergence of languages' characteristics. This work explores how misinformation affects language emergence with a focus on compositionality. We design a communication game containing a malign intermediary between the sender and receiver. We find that risks of malign misrepresentation promote the emergence of compositional languages in simulations of communicative agents. Furthermore, we observe that adaptability of malign intermediaries is a crucial factor in forming a pressure towards compositionality and that partial misinformation where the intermediary targets only a subset of attributes can also induce compositionality.
","absKo":"사회적 상호작용은 적대적 측면과 협력적 측면을 모두 특징으로 한다. 에이전트 간 통신에는 적대적 의도를 지닌 행위자가 관여할 수도 있다. 메시지는 의도된 수신자에게 도달하기 전에 악의적 의도를 가진 중개자를 거칠 수 있다. 이러한 행위자들은 메시지의 전반적인 특성은 보존하면서도, 수신자가 오해하도록 메시지를 수정할 수 있다. 이러한 형태의 misinformation은 실제 통신에서 널리 존재하며, communication protocol이 개발되는 역학에 영향을 줄 수 있다. 그러나 사회적 상호작용의 이 측면은 언어의 특성이 출현하게 되는 환경적 요인을 이해하고자 하는 emergent communication 분야의 많은 연구에서 상대적으로 덜 탐구되어 왔다. 본 연구는 compositionality에 초점을 맞춰 misinformation이 language emergence에 어떤 영향을 미치는지 탐구한다. 우리는 sender와 receiver 사이에 악의적 intermediary가 존재하는 communication game을 설계한다. 그 결과, 악의적 왜곡의 위험은 communicative agent 시뮬레이션에서 compositional language의 출현을 촉진한다는 사실을 발견했다. 또한 악의적 intermediary의 adaptability가 compositionality를 향한 압력을 형성하는 데 핵심적인 요인임을 관찰했으며, intermediary가 일부 attribute만을 표적으로 삼는 부분적 misinformation도 compositionality를 유도할 수 있음을 확인했다.
"},{"id":"65653","en":"Epistemic Gain, Aleatoric Cost: Uncertainty Decomposition in Multi-Agent Debate for Math Reasoning","ko":"인식적 이득, 우연적 비용: 수학 추론을 위한 멀티에이전트 토론에서의 불확실성 분해","authors":"Dan Qiao, Binbin Chen, Fengyu Cai, Jianlong Chen, Wenhao Li, Fuxin Jiang, Zuzhi Chen, Tieying Zhang, Hongyuan Zha, Baoxiang Wang","pos":"#212","link":"https://openreview.net/forum?id=BW16CkVDnq","abs":"Multi-Agent Debate (MAD) has shown promise in leveraging collective intelligence to improve reasoning and reduce hallucinations, yet it remains unclear how information exchange shapes the underlying ability. Empirically, MAD exhibits paradoxical phenomena, such as accuracy improvement accompanied by substantial increase in token entropy, and remarkable divergence between homogeneous and heterogeneous model combinations. In this paper, we propose a Bayesian uncertainty analysis framework for MAD, which decomposes total predictive uncertainty into epistemic uncertainty reducible by debate context and aleatoric uncertainty induced by internal model noise. Across multiple model configurations, we find that effective debate hinges on achieving high epistemic gain under controlled aleatoric cost. Building on this insight, we design an uncertainty-guided multi-agent reinforcement learning (MARL) algorithm that explicitly optimizes aleatoric noise reduction and epistemic information utilization. Experiments show that our training significantly improves post-debate accuracy and stability, and enhances individual reasoning beyond single-agent RL, providing a unified Bayesian uncertainty perspective for understanding and improving MAD.
","absKo":"Multi-Agent Debate (MAD)는 집단 지성을 활용하여 reasoning을 개선하고 hallucination을 줄이는 데 유망함을 보여주었지만, 정보 교환이 근본적인 능력을 어떻게 형성하는지는 여전히 분명하지 않다. 경험적으로 MAD는 token entropy의 상당한 증가를 동반한 정확도 향상, 그리고 homogeneous model 조합과 heterogeneous model 조합 간의 놀라운 divergence와 같은 역설적 현상을 보인다. 본 논문에서는 MAD를 위한 Bayesian uncertainty analysis framework를 제안하며, 이는 total predictive uncertainty를 debate context로 줄일 수 있는 epistemic uncertainty와 내부 model noise로 유도되는 aleatoric uncertainty로 분해한다. 여러 model configuration 전반에서, 효과적인 debate는 통제된 aleatoric cost 하에서 높은 epistemic gain을 달성하는 데 달려 있음을 발견한다. 이러한 통찰을 바탕으로, 우리는 aleatoric noise reduction과 epistemic information utilization을 명시적으로 최적화하는 uncertainty-guided multi-agent reinforcement learning (MARL) algorithm을 설계한다. 실험 결과, 우리의 training은 post-debate 정확도와 안정성을 크게 향상시키고, single-agent RL을 넘어서는 개인의 reasoning도 강화함을 보여주며, MAD를 이해하고 개선하기 위한 통합적인 Bayesian uncertainty 관점을 제공한다.
"},{"id":"61001","en":"Interaction-Breaking Adversarial Learning Framework for Robust Multi-Agent Reinforcement Learning","ko":"강건한 Multi-Agent Reinforcement Learning을 위한 상호작용 분리 적대적 학습 프레임워크","authors":"Sunwoo Lee, Mingu Kang, Yonghyeon Jo, Seungyul Han","pos":"#213","link":"https://openreview.net/forum?id=ugeI4yowce","abs":"Cooperation is central to multi-agent reinforcement learning (MARL), yet learned coordination can be fragile when external perturbations disrupt inter-agent interactions. Prior robust MARL methods have primarily considered value-oriented attacks, leaving a gap in robustness when interaction structures themselves are corrupted. In this paper, we propose an interaction-breaking adversarial learning (IBAL) framework that takes an information-theoretic view to construct attacks that impede coordination by perturbing agents’ observations and actions, and trains agents to perform reliably under such disruptions. Empirically, our approach improves robustness over existing robust MARL baselines across diverse attack settings and yields stronger performance even under agent-missing scenarios.
","absKo":"협력은 multi-agent reinforcement learning(MARL)의 핵심이지만, 외부 perturbation이 agent 간 interaction을 교란할 때 학습된 coordination은 취약해질 수 있다. 기존 robust MARL 방법은 주로 value-oriented attack만을 고려해 왔으며, interaction structure 자체가 손상될 때의 robustness에는 공백이 있었다. 본 논문에서는 information-theoretic 관점에서 agent의 observation과 action을 교란하여 coordination을 방해하는 attack을 구성하고, 이러한 disruption 하에서도 안정적으로 수행하도록 agent를 학습하는 interaction-breaking adversarial learning(IBAL) framework를 제안한다. 실험적으로 우리의 접근법은 다양한 attack setting 전반에서 기존 robust MARL baseline보다 높은 robustness를 보이며, agent-missing scenario에서도 더 강한 성능을 달성한다."},{"id":"61713","en":"Learning Disentangled Multi-Agent World Model for Decentralized Control","ko":"분산 제어를 위한 분리된 Multi-Agent World Model 학습","authors":"Di Xue, Jing Jiang, Shaowei Zhang, Wenhao Guo, lei yuan, Zongzhang Zhang, Yang Yu","pos":"#215","link":"https://openreview.net/forum?id=nYyfpPubnW","abs":"World models enable learning policies via latent imagination, offering benefits such as history compression and sample efficiency. The primary challenge in applying world models to multi-agent tasks is that modeling multi-agent dynamics in latent space requires integrating information from different agents, often creating spurious correlations between their latent states. Existing methods either reconstruct the observation for each agent or employ communication to maintain correlation during execution, failing to learn disentangled latent states that are crucial for effective decentralized control. To address this, we present the Disentangled Multi-Agent World Model (DMAWM). It facilitates learning decentralized policies in the latent space through a novel architecture comprising independent agent modules and a shared environment module. During real-environment execution, agent modules independently process local information to form a factorized latent representation. The environment module is then trained to mirror the factorized structure generated by the agent modules, effectively disentangling individual latent states from the interaction dynamics. Consequently, imaginary rollouts generated by the environment module more faithfully simulate decentralized execution dynamics, facilitating the transfer of policies from imagination to decentralized execution. Empirically, DMAWM outperforms existing model-based and model-free approaches in convergence speed and final performance, with additional visualization demonstrating its efficacy in capturing agent interactions.
","absKo":"World model은 latent imagination을 통해 policy 학습을 가능하게 하며, history compression과 sample efficiency 같은 이점을 제공한다. multi-agent task에 world model을 적용할 때의 핵심 과제는 latent space에서 multi-agent dynamics를 모델링하려면 서로 다른 agent의 정보를 통합해야 하므로, 그들의 latent state 사이에 spurious correlation이 생기기 쉽다는 점이다. 기존 방법은 각 agent에 대한 observation을 재구성하거나 실행 중 correlation을 유지하기 위해 communication을 사용하지만, 효과적인 decentralized control에 핵심적인 disentangled latent state를 학습하지는 못한다. 이를 해결하기 위해, 우리는 Disentangled Multi-Agent World Model(DMAWM)을 제시한다. 이 모델은 독립적인 agent module과 공유 environment module로 구성된 새로운 architecture를 통해 latent space에서 decentralized policy 학습을 가능하게 한다. 실제 환경 실행 동안 agent module은 local information을 독립적으로 처리하여 factorized latent representation을 형성한다. 그런 다음 environment module은 agent module이 생성한 factorized structure를 모사하도록 학습되어, interaction dynamics로부터 개별 latent state를 효과적으로 분리한다. 그 결과 environment module이 생성한 imaginary rollout은 decentralized execution dynamics를 더 충실하게 시뮬레이션하여, imagination에서 decentralized execution으로 policy를 전이시키는 데 도움을 준다. 실험적으로 DMAWM은 수렴 속도와 최종 성능에서 기존 model-based 및 model-free 접근법을 능가하며, 추가 시각화는 agent interaction을 포착하는 데 있어 그 효용을 보여준다."},{"id":"62890","en":"Learning to Share: Selective Memory for Efficient Parallel Agentic Systems","ko":"Learning to Share: 효율적 병렬 에이전틱 시스템을 위한 선택적 기억","authors":"Joseph Fioresi, Ashmal Vayani, Parth Parag Kulkarni, Song Wang, Mubarak Shah","pos":"#216","link":"https://openreview.net/forum?id=cCFyY2LmF5","abs":"Agentic systems solve complex tasks by coordinating multiple agents that iteratively reason, invoke tools, and exchange intermediate results. To improve robustness and solution quality, recent approaches deploy multiple agent teams running in parallel to explore diverse reasoning trajectories. However, parallel execution comes at a significant computational cost: when different teams independently reason about similar sub-problems or execute analogous steps, they repeatedly perform substantial overlapping computation. To address these limitations, in this paper, we propose Learning to Share (LTS), a learned shared-memory mechanism for parallel agentic frameworks that enables selective cross-team information reuse while controlling context growth. LTS introduces a global memory bank accessible to all teams and a lightweight controller that decides whether intermediate agent steps should be added to memory or not. The controller is trained using stepwise reinforcement learning with usage-aware credit assignment, allowing it to identify information that is globally useful across parallel executions. Experiments on the AssistantBench and GAIA benchmarks show that LTS significantly reduces overall runtime while matching or improving task performance compared to memory-free parallel baselines, demonstrating that learned memory admission is an effective strategy for improving the efficiency of parallel agentic systems.
","absKo":"Agentic system은 여러 agent가 반복적으로 추론하고, tool을 호출하며, 중간 결과를 교환하면서 복잡한 task를 조율함으로써 문제를 해결한다. robustness와 solution quality를 높이기 위해, 최근 접근법들은 다양한 reasoning trajectory를 탐색하기 위해 여러 agent team을 병렬로 실행한다. 그러나 병렬 실행은 상당한 계산 비용을 수반한다. 서로 다른 team이 유사한 sub-problem에 대해 독립적으로 추론하거나 유사한 단계를 수행할 때, 상당한 중복 computation을 반복적으로 수행하기 때문이다. 이러한 한계를 해결하기 위해, 본 논문에서는 Learning to Share (LTS)를 제안한다. LTS는 병렬 agentic framework를 위한 학습된 shared-memory mechanism으로, context growth를 제어하면서 team 간 선택적 정보 재사용을 가능하게 한다. LTS는 모든 team이 접근할 수 있는 global memory bank와, 중간 agent step을 memory에 추가할지 여부를 결정하는 경량 controller를 도입한다. 이 controller는 usage-aware credit assignment를 사용하는 stepwise reinforcement learning으로 학습되며, 이를 통해 병렬 실행 전반에서 전역적으로 유용한 정보를 식별할 수 있다. AssistantBench와 GAIA benchmark 실험에서 LTS는 memory-free 병렬 baseline과 비교해 task 성능을 유지하거나 개선하면서 전체 runtime을 유의미하게 줄여, learned memory admission이 병렬 agentic system의 효율성을 높이는 효과적인 전략임을 보여준다.
"},{"id":"67110","en":"Position: Multi-Agent Explainability Needs Contracts Before Methods","ko":"Position: Multi-Agent 설명 가능성에는 방법보다 계약이 먼저 필요하다","authors":"Hak Hyun Kim, Benjamin Huh, Soroush Vosoughi","pos":"#3305","link":"https://openreview.net/forum?id=fxSfYP7IMI","abs":"Multi-Agent Systems (MAS) are deployed at unprecedented scale—from warehouse robot fleets to autonomous vehicle networks to collaborative LLM agents—yet methods for explaining their behavior remain fragmented and underspecified. We analyze 2,381 MAS-related papers from top machine learning venues (2021–2025) and find systematic gaps: 65% omit stakeholder specifications, 76% lack quantitative evaluation bounds, and 99% ignore auditability requirements. These gaps render current MAS XAI research non-comparable, non-reproducible, and disconnected from deployment requirements. We argue that MAS XAI research requires explicit specification of two contracts before developing methods. The Research Contract defines six elements: explanandum, stakeholder, intervention unit, evaluation bounds, adversarial context, auditability. The Agent Contract defines expected behaviors through obligations, permissions, prohibitions, violation criteria, and accountability chains—providing the baseline against which deviations are explained. These contracts are method-agnostic and architecture-agnostic, applicable to LLM-based, learning-based, and hybrid MAS. Through case studies spanning warehouse robotics, autonomous vehicles, and LLM agent systems, we demonstrate that contracts transform vague post-hoc descriptions into verifiable, actionable, and comparable explanations. We call on researchers to adopt contracts in their work, conferences to encourage specification in submissions, and platforms to integrate contract templates into MAS benchmarks.
","absKo":"Multi-Agent Systems (MAS)는 warehouse robot fleet에서 autonomous vehicle network, collaborative LLM agent에 이르기까지 전례 없는 규모로 배포되고 있지만, 그 행동을 설명하는 방법은 여전히 분절되어 있고 충분히 명시되지 않았다. 우리는 최상위 machine learning venue의 MAS 관련 논문 2,381편(2021–2025)을 분석한 결과, 체계적인 공백을 확인했다: 65%는 stakeholder specification을 누락하고, 76%는 정량적 evaluation bound가 없으며, 99%는 auditability requirement를 무시한다. 이러한 공백은 현재 MAS XAI 연구를 비교 불가능하고, 재현 불가능하며, 배포 요구사항과도 단절된 상태로 만든다. 우리는 방법을 개발하기 전에 두 가지 contract를 명시적으로 규정할 것을 MAS XAI 연구에 요구한다. Research Contract는 explanandum, stakeholder, intervention unit, evaluation bounds, adversarial context, auditability라는 여섯 가지 요소를 정의한다. Agent Contract는 obligations, permissions, prohibitions, violation criteria, accountability chains를 통해 기대되는 behavior를 정의하여, 어떤 deviation이 설명되어야 하는지에 대한 기준선을 제공한다. 이러한 contract는 method-agnostic이고 architecture-agnostic하며, LLM 기반 MAS, learning-based MAS, hybrid MAS 모두에 적용 가능하다. warehouse robotics, autonomous vehicles, LLM agent systems를 아우르는 case study를 통해, contract가 모호한 post-hoc description을 검증 가능하고, 실행 가능하며, 비교 가능한 설명으로 전환함을 보인다. 우리는 연구자들에게 자신의 work에 contract를 채택할 것을, conference들에게는 submission에서 specification을 장려할 것을, 플랫폼들에게는 MAS benchmark에 contract template를 통합할 것을 촉구한다.
"},{"id":"67041","en":"Position: Agentic AI systems should be making Bayes-consistent decisions","ko":"Position: Agentic AI 시스템은 Bayes-consistent한 의사결정을 해야 한다","authors":"Theodore Papamarkou, Pierre Alquier, Matthias Bauer, Wray Buntine, Andrew Davison, Gintare Karolina Dziugaite, Maurizio Filippone, Andrew Y. K. Foong, Vincent Fortuin, Dimitris Fouskakis, Jes Frellsen, Eyke Hüllermeier, Theofanis Karaletsos, Mohammad Emtiyaz Khan, Nikita Kotelevskii, Salem Lahlou, Yingzhen Li, Fang Liu, Clare Lyle, Thomas Moellenhoff, Konstantina Palla, Maxim Panov, Yusuf Sale, Kajetan Schweighofer, Artem Shelmanov, Siddharth Swaroop, Martin Trapp, Willem Waegeman, Andrew Wilson, Alexey Zaytsev","pos":"#3614","link":"https://openreview.net/forum?id=ydcX7UoHA3","abs":"LLMs excel at predictive tasks and complex reasoning tasks, but many high-value deployments rely on decisions under uncertainty, for example, which tool to call, which expert to consult, or how many resources to invest. While the usefulness and feasibility of Bayesian approaches remain unclear for LLM inference, this position paper argues that the control layer of an agentic AI system (that orchestrates LLMs and tools) is a clear case where Bayesian principles should shine. Bayesian decision theory provides a framework for agentic systems that can help to maintain beliefs over task-relevant latent quantities, to update these beliefs from observed agentic and human-AI interactions, and to choose actions. Making LLMs themselves explicitly Bayesian belief-updating engines remains computationally intensive and conceptually nontrivial as a general modeling target. In contrast, this paper argues that coherent decision-making requires Bayesian principles at the level of the agentic system, not necessarily the LLM agent parameters. This paper articulates practical properties for Bayesian control that fit modern agentic AI systems and human-AI collaboration, and provides concrete examples and design patterns to illustrate how calibrated beliefs and utility-aware policies can improve agentic AI orchestration.
","absKo":"LLM은 predictive task와 복잡한 reasoning task에서 뛰어나지만, 많은 고부가가치 배포는 어떤 tool을 호출할지, 어떤 expert를 consult할지, 또는 얼마나 많은 resource를 투자할지와 같은 불확실성 하의 의사결정에 의존한다. Bayesian 접근법의 유용성과 실현 가능성이 LLM inference에서 아직 불분명하긴 하지만, 이 position paper는 LLM과 tool을 조율하는 agentic AI system의 control layer야말로 Bayesian principle이 특히 잘 작동해야 하는 명확한 사례라고 주장한다. Bayesian decision theory는 task 관련 latent quantity에 대한 belief를 유지하고, 관찰된 agentic 및 human-AI interaction으로부터 이 belief를 갱신하며, action을 선택하는 agentic system을 위한 framework를 제공한다. LLM 자체를 명시적으로 Bayesian belief-updating engine으로 만드는 일은 일반적인 modeling target으로서 계산적으로 매우 부담이 크고 개념적으로도 만만치 않다. 반면, 이 논문은 일관된 의사결정에는 반드시 LLM agent parameter가 아니라 agentic system 수준에서 Bayesian principle이 필요하다고 주장한다. 이 논문은 현대 agentic AI system과 human-AI collaboration에 부합하는 Bayesian control의 실용적 특성을 정리하고, calibrated belief와 utility-aware policy가 agentic AI orchestration을 어떻게 개선할 수 있는지 보여주는 구체적 예시와 design pattern을 제시한다.
"},{"id":"67169","en":"Position: From Crowdsourcing to Crowd-LLM-Sourcing and LLM-Sourcing","ko":"Position: Crowdsourcing에서 Crowd-LLM-Sourcing 및 LLM-Sourcing으로","authors":"Jiyi Li","pos":"#1012","link":"https://openreview.net/forum?id=N8o5GQ32Nt","abs":"Crowdsourcing has been widely adopted for large-scale data collection and problem solving, yet its outcomes are often noisy and inconsistent, making quality control and aggregation central concerns. Meanwhile, Large Language Models (LLMs) have shown strong capabilities in generation, annotation, evaluation, and reasoning. These developments give rise to a new paradigm at the intersection of crowdsourcing and LLMs, which we term Crowd-LLM-Sourcing, encompassing two directions: (1) Crowd-LLM Collaboration, where humans and LLMs jointly participate in workflows, and (2) LLM-Sourcing Inspired by Crowdsourcing, where crowdsourcing principles guide LLM-driven generation, annotation, evaluation, and inference. Many existing studies on LLMs overlook decades of prior work in crowdsourcing, even though the two domains are grounded in closely related principles on some topics. Our central position is that, in scenarios where an LLM can be regarded as an LLM worker, LLM research should draw upon the rich body of crowdsourcing literature. At the same time, LLM workers differ fundamentally from human workers. Identifying how crowdsourcing mechanisms should be adapted, opens a new research agenda for collective intelligence with model-based agents.
","absKo":"Crowdsourcing은 대규모 데이터 수집과 문제 해결을 위해 널리 채택되어 왔지만, 그 결과는 종종 noisy하고 inconsistent하여 quality control과 aggregation이 핵심 과제가 된다. 한편 Large Language Model(LLM)은 generation, annotation, evaluation, reasoning에서 강한 capability를 보여 왔다. 이러한 발전은 crowdsourcing과 LLM의 교차점에 새로운 paradigm을 낳았으며, 우리는 이를 Crowd-LLM-Sourcing이라 부른다. 여기에는 두 방향이 포함된다: (1) Crowd-LLM Collaboration, 즉 human과 LLM이 workflow에 공동으로 참여하는 방식, 그리고 (2) LLM-Sourcing Inspired by Crowdsourcing, 즉 crowdsourcing 원리가 LLM 기반 generation, annotation, evaluation, inference를 안내하는 방식이다. LLM에 관한 많은 기존 연구는 crowdsourcing 분야의 수십 년에 걸친 선행 연구를 간과하고 있다. 두 분야가 일부 주제에서 밀접하게 관련된 원리에 기반하고 있음에도 그렇다. 우리의 핵심 입장은, LLM을 LLM worker로 볼 수 있는 상황에서는 LLM 연구가 crowdsourcing 문헌의 풍부한 지식에 의존해야 한다는 것이다. 동시에 LLM worker는 human worker와 근본적으로 다르다. crowdsourcing mechanism을 어떻게 적응시켜야 하는지 밝히는 일은 model-based agent를 활용한 collective intelligence에 새로운 연구 의제를 연다.
"},{"id":"66303","en":"Resting Neurons, Active Insights: Robustify Activation Sparsity for Large Language Models","ko":"휴면 뉴런, 활성 통찰: 대규모 언어 모델을 위한 활성화 희소성 견고화","authors":"Haotian Xu, Jiannan Yang, Tian Gao, Lily Weng, Tengfei Ma","pos":"#1802","link":"https://openreview.net/forum?id=4v5iCXWmcR","abs":"Activation sparsity offers a compelling route to accelerate large language model (LLM) inference by selectively suppressing hidden activations, yet existing approaches exhibit severe accuracy degradation at high sparsity. We show that this failure stems from representational instability: activation sparsity disrupts input-dependent activation learned during pretraining, inducing distribution shifts in hidden states. We address this issue by reframing activation sparsity as a representational alignment problem and introducing Spontaneous Neurons (SPON), a lightweight mechanism inspired by spontaneous neural activity in biological systems. SPON injects a small set of learnable, input-independent activation vectors that act as persistent representational anchors for sparse computation. These vectors are trained via distribution matching to the dense model and can be absorbed into bias terms after training, incurring negligible inference overhead. Across multiple LLM backbones, SPON consistently restores performance, stabilizes latent representations, and preserves generalization. Our results establish SPON as an effective and principled solution for reliable activation-sparse inference, and offer new insights into knowledge retention in LLMs.
","absKo":"Activation sparsity는 hidden activation을 선택적으로 억제함으로써 large language model(LLM) 추론을 가속할 수 있는 유망한 경로를 제공하지만, 기존 접근은 높은 sparsity에서 심각한 정확도 저하를 보인다. 우리는 이러한 실패가 representational instability에서 비롯됨을 보인다: activation sparsity는 pretraining 동안 학습된 input-dependent activation을 교란하여 hidden state의 distribution shift를 유발한다. 우리는 이 문제를 representational alignment 문제로 재정의하고, 생물학적 시스템의 spontaneous neural activity에서 영감을 받은 경량 메커니즘인 Spontaneous Neurons(SPON)을 제안함으로써 해결한다. SPON은 sparse computation을 위한 지속적인 representational anchor로 작동하는, 소수의 학습 가능한 input-independent activation vector를 주입한다. 이 vector는 dense model과의 distribution matching을 통해 학습되며, 학습 후 bias term에 흡수될 수 있어 추론 오버헤드는 사실상 없다. 여러 LLM backbone 전반에서 SPON은 일관되게 성능을 회복하고, latent representation을 안정화하며, generalization을 보존한다. 우리의 결과는 SPON이 신뢰할 수 있는 activation-sparse inference를 위한 효과적이고 원칙적인 해법임을 입증하며, LLM에서 knowledge retention에 대한 새로운 통찰을 제공한다.
"},{"id":"62130","en":"Talk, Judge, Cooperate: Gossip-Driven Indirect Reciprocity in Self-Interested LLM Agents","ko":"말하고, 판단하고, 협력하기: 이기적 LLM Agent에서 Gossip 기반 간접 상호성","authors":"Shuhui Zhu, Yue Lin, Shriya Kaistha, Wenhao Li, Baoxiang Wang, Hongyuan Zha, Gillian Hadfield, Pascal Poupart","pos":"#2901","link":"https://openreview.net/forum?id=jYxRNCfRaD","abs":"Indirect reciprocity, which means helping those who help others, is difficult to sustain among decentralized, self-interested LLM agents without reliable reputation systems. We introduce Agentic Linguistic Gossip Network (ALIGN), an automated framework where agents strategically share open-ended gossip using hierarchical tones to evaluate trustworthiness and coordinate social norms. We demonstrate that ALIGN consistently improves indirect reciprocity and resists malicious entrants by identifying and ostracizing defectors without changing intrinsic incentives. Notably, we find that stronger reasoning capabilities in LLMs lead to more incentive-aligned cooperation, whereas chat models often over-cooperate even when strategically suboptimal. These results suggest that leveraging LLM reasoning through decentralized gossip is a promising path for maintaining social welfare in agentic ecosystems.
","absKo":"간접적 상호주의(indirect reciprocity), 즉 다른 이를 돕는 사람을 돕는다는 개념은 신뢰할 수 있는 reputation system이 없는 분산형, 자기이익 추구 LLM agent들 사이에서 유지되기 어렵습니다. 우리는 Agentic Linguistic Gossip Network (ALIGN)를 소개합니다. 이는 agent들이 계층적 tone을 사용해 열린 형태의 gossip을 전략적으로 공유함으로써 trustworthiness를 평가하고 social norm을 조정하는 자동화 framework입니다. 우리는 ALIGN이 일관되게 indirect reciprocity를 향상시키고, intrinsic incentive를 바꾸지 않고도 배신자(defector)를 식별하고 배척함으로써 악의적 참여자에 저항함을 보입니다. 주목할 점은, LLM의 더 강한 reasoning 능력이 incentive에 더 잘 정렬된 협력을 이끌어내는 반면, chat model은 전략적으로 최적이 아닐 때조차 과도하게 협력하는 경향이 있음을 발견했다는 것입니다. 이러한 결과는 decentralized gossip을 통해 LLM reasoning을 활용하는 것이 agentic ecosystem에서 social welfare를 유지하는 유망한 경로임을 시사합니다.
"},{"id":"66219","en":"Linear Ensembles Wash Away Watermarks: On the Fragility of Distributional Perturbations in LLMs","ko":"선형 앙상블은 워터마크를 씻어낸다: LLM에서 분포적 섭동의 취약성에 관하여","authors":"Zhihao Wu, Gracia Gong, Qinglin Zhu, Yudong Chen, Runcong Zhao","pos":"#3002","link":"https://openreview.net/forum?id=5fbmGFsWsO","abs":"Watermarking embeds statistical signatures in AI-generated text for detection and attribution. We reveal a fundamental vulnerability: when users access multiple models (today's reality), watermarks trivially fail. Watermarks perturb output distributions away from the original, and in competitive markets, these perturbations are typically independent across providers. We theoretically prove that averaging output probability distributions recovers the unwatermarked distribution with up to a second-order error term. Empirically, simply averaging 3-5 models cancels out these perturbations. We introduce WASH (Watermark Attenuation via Statistical Hybridisation), which solves practical challenges in ensemble generation: vocabulary misalignment and tokenisation differences across heterogeneous models. Experiments across six watermarking schemes and three LLMs show that detection z-scores drop from 5-300 to below 2 (below the detection threshold of ~4) when averaging across 3 models, while improving quality by 27.5% and running 6× faster than the best baseline on the long sequence generation task. Our results suggest that robust AI-text detection via watermarking requires either accepting this fundamental vulnerability or unprecedented coordination among model providers.
","absKo":"Watermarking은 AI 생성 텍스트에 검출 및 attribution을 위한 statistical signature를 삽입한다. 우리는 근본적인 취약점을 드러낸다. 사용자가 여러 model에 접근할 수 있는 경우(오늘날의 현실), watermark는 사실상 무력하다. Watermark는 output distribution을 원래 분포에서 벗어나게 perturb하고, 경쟁적 시장에서는 이러한 perturbation이 일반적으로 provider 간 독립적이다. 우리는 output probability distribution을 averaging하면 최대 second-order error term까지 unwatermarked distribution을 복원할 수 있음을 이론적으로 증명한다. 실험적으로도 단순히 3-5개의 model을 averaging하는 것만으로 이러한 perturbation이 상쇄된다. 우리는 WASH(Watermark Attenuation via Statistical Hybridisation)를 제안한다. 이는 서로 이질적인 model들에서 vocabulary misalignment와 tokenisation 차이로 인해 ensemble generation에 생기는 실질적 문제를 해결한다. 6개의 watermarking scheme과 3개의 LLM에 걸친 실험에서, 3개 model을 averaging하면 detection z-score가 5-300에서 2 미만(약 4인 detection threshold보다 낮음)으로 떨어지는 동시에, quality는 27.5% 향상되고 long sequence generation task에서 최고의 baseline보다 6배 빠르게 동작함을 보였다. 우리의 결과는 watermarking을 통한 robust AI-text detection이 이 근본적 취약점을 받아들이거나, 아니면 model provider 간 전례 없는 coordination을 필요로 함을 시사한다.
"},{"id":"67247","en":"Position: Stop Automating Peer Review Without Rigorous Evaluation","ko":"Position: 엄밀한 평가 없이 Peer Review를 자동화하는 것을 멈춰라","authors":"Joachim Baumann, Jiaxin Pei, Sanmi Koyejo, Dirk Hovy","pos":"#3003","link":"https://openreview.net/forum?id=128yyxUoRk","abs":"Large language models offer a tempting solution to address the peer review crisis. This position paper argues that today's AI systems should not be used to produce paper reviews. We ground this positing in an empirical comparison of human- versus AI-generated ICLR 2026 reviews and an evaluation of the effect of automated paper rewriting on different AI reviewers. We identify two critical issues: 1) AI reviewers exhibit a hivemind effect of excessive agreement within and across papers that reduces perspective diversity. 2) AI review scores are trivially gameable through paper laundering: prompting an LLM to rewrite a paper could significantly increase the scores from AI reviewers, demonstrating that LLM reviewers are easy to game through stylistic changes rather than scientific results. However, non-gameability and review diversity are necessary but not sufficient conditions for automation. We argue that addressing the peer review crisis requires a science of peer review automation---not general-purpose LLMs deployed without rigorous evaluation.
","absKo":"Large language model은 peer review crisis를 해결할 유망한 해법처럼 보인다. 이 position paper는 오늘날의 AI system을 사용해 paper review를 생성해서는 안 된다고 주장한다. 우리는 이 입장을 human-generated ICLR 2026 review와 AI-generated ICLR 2026 review의 empirical comparison, 그리고 자동화된 paper rewriting이 서로 다른 AI reviewer에 미치는 효과에 대한 평가를 통해 뒷받침한다. 우리는 두 가지 핵심 문제를 식별한다. 1) AI reviewer는 논문 내부와 논문 간에 과도하게 동의하는 hivemind effect를 보여 perspective diversity를 감소시킨다. 2) AI review score는 paper laundering을 통해 매우 쉽게 조작된다. LLM에게 paper를 다시 쓰도록 prompting하면 AI reviewer의 score가 크게 상승할 수 있으며, 이는 LLM reviewer가 scientific result가 아니라 stylistic change를 통해 쉽게 속일 수 있음을 보여준다. 그러나 non-gameability와 review diversity는 자동화에 필요한 조건이지만 충분한 조건은 아니다. 우리는 peer review crisis를 해결하려면 일반 목적 LLM을 엄격한 evaluation 없이 배포하는 것이 아니라, peer review automation의 science가 필요하다고 주장한다.
"},{"id":"66237","en":"A Close Look at Negative Label Guided Out-of-distribution Detection in Pre-trained Vision-Language Models","ko":"사전 훈련된 Vision-Language 모델에서 Negative Label 유도 분포 외 탐지에 대한 면밀한 고찰","authors":"Bo Peng, Jie Lu, Guangquan Zhang, zhen fang","pos":"#3004","link":"https://openreview.net/forum?id=5Xh1gDJAaX","abs":"Advances in pre-trained vision-language models have enabled zero-shot out-of-distribution (OOD) detection using only in-distribution (ID) labels. Recent methods in this direction expand the label space with negative labels to enhance the discrimination between ID and OOD inputs. Despite their promising progress, there remains a limited understanding of their empirical effectiveness in open-world scenarios, where negative labels can arbitrarily diverge from real OOD ones. This paper bridges this research gap with the helm of a novel energy-based framework, where the energy function is built upon the margin between the similarity of an input to ID labels and that to negative labels. Guided by this framework, we prove that the inherent tolerance of such methods to the sampling bias essentially stems from estimating the worst-case energy function over a KL-constrained set of potential distributions centered on the negative label distribution. Furthermore, our theoretical analysis reveals that existing methods suffer from over-pessimism and consequently high sensitivity to outliers. Provably, we can alleviate these problems by leveraging Rényi divergence to refine potential distributions. Extensive experiments empirically manifest that our method establishes a new state-of-the-art across a variety of OOD detection settings.
","absKo":"사전학습된 vision-language model의 발전으로, in-distribution (ID) label만을 사용한 zero-shot out-of-distribution (OOD) detection이 가능해졌다. 이 방향의 최근 방법들은 ID와 OOD 입력 간의 판별력을 높이기 위해 negative label로 label space를 확장한다. 유망한 진전에도 불구하고, negative label이 실제 OOD와 임의로 달라질 수 있는 open-world scenario에서 이들의 경험적 효과에 대해서는 여전히 이해가 제한적이다. 본 논문은 입력이 ID label에 가지는 similarity와 negative label에 가지는 similarity 사이의 margin 위에 energy function을 구축하는 새로운 energy-based framework를 통해 이 연구 격차를 메운다. 이 framework의 지도를 받아, 우리는 이러한 방법들이 sampling bias에 내재적으로 관대한 이유가 본질적으로 negative label distribution을 중심으로 한 KL-constraint potential distribution 집합 위에서 worst-case energy function을 추정하기 때문임을 증명한다. 또한 우리의 이론 분석은 기존 방법들이 over-pessimism과 그에 따른 outlier에 대한 높은 민감성을 겪는다는 점을 밝힌다. 더 나아가 Rényi divergence를 활용해 potential distribution을 정교화함으로써 이러한 문제를 완화할 수 있음을 증명한다. 광범위한 실험은 우리의 방법이 다양한 OOD detection setting에서 새로운 state-of-the-art를 확립함을 경험적으로 보여준다.
"},{"id":"67198","en":"Position: The Term “Machine Unlearning” Is Overused in LLMs","ko":"Position: \"Machine Unlearning\"이라는 용어는 LLM에서 남용되고 있다","authors":"Sangyeon Yoon, Yeachan Jun, Albert No","pos":"#3101","link":"https://openreview.net/forum?id=GHUiYV4LTc","abs":"Large language models increasingly face demands to \"forget\" training data, knowledge, or behaviors due to regulatory deletion obligations, copyright/licensing disputes, and safety or product-policy requirements. This position paper argues that machine unlearning is overused as a term in LLM research and should be reserved for dataset-defined deletion: removing the training influence of a precisely specified forget set such that the resulting model is (approximately) indistinguishable from retraining without that data. We contend that many tasks currently labeled \"unlearning\" (e.g., refusal for harmful requests, entity/knowledge removal, or targeted suppression) pursue different, often policy-dependent objectives and therefore require different terminology and baselines (e.g., alignment, suppression, editing, obfuscation). We further argue that this confusion is not cosmetic: because papers make different implicit guarantees under the same label, metrics and benchmarks are frequently reused outside their intended scope, rewarding surface-level non-disclosure (e.g., low ROUGE/forget accuracy) even when retraining-equivalence is not tested and derived capabilities remain. We conclude by calling for stricter terminology tied to explicit guarantees and reference models, and for evaluations that match the claimed objective.
","absKo":"Large language model은 규제상 삭제 의무, copyright/licensing 분쟁, 안전 또는 product-policy 요구 사항 때문에 training data, knowledge, behavior를 \"forget\"하라는 요구를 점점 더 많이 받고 있다. 이 position paper는 machine unlearning이 LLM 연구에서 지나치게 넓게 사용되는 용어이며, dataset-defined deletion으로만 제한되어야 한다고 주장한다. 즉, 정확히 명시된 forget set의 training influence를 제거하여 결과 모델이 해당 데이터 없이 retrain한 모델과 (근사적으로) 구별되지 않게 만드는 것을 의미해야 한다. 우리는 현재 \"unlearning\"으로 분류되는 많은 과제(예: harmful request에 대한 refusal, entity/knowledge 제거, targeted suppression)는 서로 다른, 종종 policy-dependent한 목표를 추구하므로 다른 용어와 baseline이 필요하다고 주장한다(예: alignment, suppression, editing, obfuscation). 우리는 또한 이러한 혼란이 단순한 명칭 문제만은 아니라고 주장한다. 같은 label 아래에서 논문들이 서로 다른 암묵적 guarantee를 제시하기 때문에 metric과 benchmark가 의도된 범위를 벗어나 재사용되는 경우가 많고, retraining-equivalence가 테스트되지 않은 상태에서도 표면적 non-disclosure(예: 낮은 ROUGE/forget accuracy)를 보상하며 파생 capability는 여전히 남는다. 우리는 명시적 guarantee와 reference model에 연결된 더 엄격한 용어 사용과, 주장된 목표에 맞는 평가를 요구하며 결론짓는다.
"},{"id":"63914","en":"Exploring Nonlinear Pathway in Parameter Space for Machine Unlearning","ko":"파라미터 공간의 비선형 경로를 탐색하는 machine unlearning","authors":"Yingdan Shi, Ren Wang","pos":"#3104","link":"https://openreview.net/forum?id=SaUgHTz5Yo","abs":"Machine Unlearning (MU) aims to remove the information of specific training data from a trained model, ensuring compliance with privacy regulations and user requests. While one line of existing MU methods relies on linear parameter updates via task arithmetic, they suffer from weight entanglement. In this work, we propose a novel MU framework called Mode Connectivity Unlearning (MCU) that leverages mode connectivity to find an unlearning pathway in a nonlinear manner. To further enhance performance and efficiency, we introduce a parameter mask strategy that not only improves unlearning effectiveness but also reduces computational overhead. Moreover, we propose an adaptive adjustment strategy for our unlearning penalty coefficient to adaptively balance forgetting quality and predictive performance during training, eliminating the need for empirical hyperparameter tuning. Unlike traditional MU methods that identify only a single unlearning model, MCU uncovers a spectrum of unlearning models along the pathway. Overall, MCU serves as a plug-and-play framework that seamlessly integrates with any existing MU methods, consistently improving unlearning efficacy. Extensive experiments on the image classification task demonstrate that MCU achieves superior performance. The codes are available at https://anonymous.4open.science/r/MCU-1E36.
","absKo":"Machine Unlearning(MU)은 학습된 모델에서 특정 training data의 정보를 제거하여 privacy regulation과 사용자 요청을 준수하는 것을 목표로 합니다. 기존 MU 방법의 한 계열은 task arithmetic을 통한 선형 parameter update에 의존하지만, weight entanglement 문제를 겪습니다. 본 연구에서는 mode connectivity를 활용하여 비선형 방식으로 unlearning pathway를 찾는 새로운 MU framework인 Mode Connectivity Unlearning(MCU)을 제안합니다. 성능과 효율성을 더욱 높이기 위해, 우리는 unlearning의 효과를 향상시키는 동시에 computational overhead도 줄이는 parameter mask 전략을 도입합니다. 또한, 학습 중 forgetting quality와 predictive performance 사이를 적응적으로 균형 잡기 위한 unlearning penalty coefficient의 adaptive adjustment 전략을 제안하여, 경험적 hyperparameter tuning의 필요성을 없앱니다. 하나의 unlearning model만 식별하는 전통적 MU 방법과 달리, MCU는 pathway를 따라 존재하는 여러 unlearning model의 스펙트럼을 밝혀냅니다. 전반적으로 MCU는 기존의 어떤 MU 방법과도 매끄럽게 통합되는 plug-and-play framework로서, 일관되게 unlearning efficacy를 향상시킵니다. image classification task에 대한 광범위한 실험은 MCU가 우수한 성능을 달성함을 보여줍니다. 코드는 https://anonymous.4open.science/r/MCU-1E36 에서 제공됩니다.
"},{"id":"61494","en":"Large Language Models Develop Novel Social Biases Through Adaptive Exploration","ko":"Large Language Models는 적응적 탐색을 통해 새로운 사회적 Bias를 형성한다","authors":"Addison J. Wu, Ryan Liu, Xuechunzi Bai, Thomas Griffiths","pos":"#3107","link":"https://openreview.net/forum?id=pc7fqaOcAH","abs":"As large language models (LLMs) are adopted into frameworks that grant them the capacity to make real decisions, it is increasingly important to ensure that they are unbiased. In this paper, we argue that the predominant approach of simply removing existing biases from models is not enough. Using a paradigm from the psychology literature, we demonstrate that LLMs can spontaneously develop novel social biases about artificial demographic groups even when no inherent differences exist. These biases result in highly stratified task allocations, which are less fair than assignments by human participants and are exacerbated by newer and larger models. In social science, emergent biases like these have been shown to result from exploration-exploitation trade-offs, where the decision-maker explores too little, allowing early observations to strongly influence impressions about entire demographic groups. To alleviate this effect, we examine a series of interventions targeting model inputs, problem structure, and explicit steering. We find that explicitly incentivizing exploration most robustly reduces stratification, highlighting the need for better multifaceted objectives to mitigate bias. These results reveal that LLMs are not merely passive mirrors of human social biases, but can actively create new ones from experience, raising urgent questions about how these systems will shape societies over time.
","absKo":"Large language model(LLM)이 실제 의사결정을 내릴 수 있는 framework에 채택됨에 따라, 이들이 편향되지 않도록 보장하는 것이 점점 더 중요해지고 있다. 이 논문에서 우리는 모델에 존재하는 기존 bias를 단순히 제거하는 접근만으로는 충분하지 않다고 주장한다. 심리학 문헌의 paradigm을 사용하여, 우리는 LLM이 본질적인 차이가 전혀 없음에도 인공적인 demographic group에 대해 자발적으로 새로운 사회적 bias를 형성할 수 있음을 보여준다. 이러한 bias는 매우 계층화된 task allocation을 초래하며, 이는 인간 참가자의 배정보다 덜 공정하고, 더 최신이고 더 큰 model에서 더욱 심화된다. 사회과학에서 이러한 emergent bias는 exploration-exploitation trade-off의 결과로 설명되어 왔으며, 의사결정자가 탐색을 너무 적게 하여 초기 관찰이 전체 demographic group에 대한 인상에 지나치게 강한 영향을 미치게 된다. 이 효과를 완화하기 위해, 우리는 model input, problem structure, explicit steering을 대상으로 하는 일련의 개입을 검토한다. 우리는 탐색을 명시적으로 장려하는 것이 stratification을 가장 견고하게 줄인다는 사실을 발견했으며, bias를 완화하기 위해 더 나은 다면적 objective가 필요함을 보여준다. 이 결과는 LLM이 단지 인간의 사회적 bias를 수동적으로 비추는 거울이 아니라, 경험으로부터 능동적으로 새로운 bias를 만들어낼 수 있음을 드러내며, 이러한 system이 시간이 지남에 따라 사회를 어떻게 형성할 것인지에 대한 시급한 질문을 제기한다.
"},{"id":"62095","en":"Exposing Hidden Biases in Text-to-Image Models via Automated Prompt Search","ko":"자동 Prompt Search를 통한 Text-to-Image 모델의 숨은 편향 노출","authors":"Manos Plitsis, Giorgos Bouritsas, Vassilis Katsouros, Yannis Panagakis","pos":"#3108","link":"https://openreview.net/forum?id=jqlNq5JpJ4","abs":"Text-to-image (TTI) diffusion models have achieved remarkable visual quality, yet they have been repeatedly shown to exhibit social biases across sensitive attributes such as gender, race and age. To mitigate these biases, existing approaches frequently depend on curated prompt datasets - either manually constructed or generated with large language models (LLMs) - as part of their training and/or evaluation procedures. Beside the curation cost, this also risks overlooking unanticipated, less obvious prompts that trigger biased generation, even in models that have undergone debiasing. In this work, we introduce Bias-Guided Prompt Search (BGPS), a framework that automatically generates prompts that aim to maximize the presence of biases in the resulting images. BGPS comprises two components: (1) an LLM instructed to produce attribute-neutral prompts and (2) attribute classifiers acting on the TTI’s internal representations that steer the decoding process of the LLM toward regions of the prompt space that amplify the image attributes of interest. We conduct extensive experiments on Stable Diffusion 1.5 and a state-of-the-art debiased model and discover an array of subtle and previously undocumented biases that severely deteriorate fairness metrics. Crucially, the discovered prompts are interpretable, i.e they may be entered by a typical user, quantitatively improving the perplexity metric compared to a prominent hard prompt optimization counterpart. Our findings uncover TTI vulnerabilities, while BGPS expands the bias search space and can act as a new evaluation tool for bias mitigation.
","absKo":"Text-to-image (TTI) diffusion model은 뛰어난 시각적 품질을 달성했지만, gender, race, age와 같은 민감한 속성 전반에서 사회적 편향을 보인다는 점이 반복적으로 입증되었다. 이러한 편향을 완화하기 위해 기존 접근법은 대개 수작업으로 구성되거나 large language model (LLM)로 생성한 curated prompt dataset에 training 및/또는 evaluation 절차의 일부로 의존한다. 이러한 curation 비용 외에도, 이는 debiasing을 거친 모델에서도 편향된 생성을 유발하는 예상치 못한, 덜 분명한 prompt를 놓칠 위험을 초래한다. 본 연구에서는 생성된 이미지에서 편향의 존재를 최대화하도록 하는 prompt를 자동으로 생성하는 framework인 Bias-Guided Prompt Search (BGPS)를 소개한다. BGPS는 두 가지 구성요소로 이루어진다: (1) attribute-neutral prompt를 생성하도록 지시받은 LLM과 (2) TTI의 internal representation에 작용하여 LLM의 decoding process를 관심 있는 image attribute를 증폭하는 prompt space의 영역으로 유도하는 attribute classifier이다. 우리는 Stable Diffusion 1.5와 state-of-the-art debiased model에 대해 광범위한 실험을 수행하고, fairness metric을 심각하게 저하시키는 미세하고 이전에 문서화되지 않았던 다양한 편향을 발견한다. 결정적으로, 발견된 prompt는 해석 가능하다. 즉, 일반적인 사용자가 직접 입력할 수 있으며, 대표적인 hard prompt optimization 방법에 비해 perplexity metric을 정량적으로 개선한다. 우리의 결과는 TTI의 취약성을 드러내는 한편, BGPS는 bias search space를 확장하고 편향 완화의 새로운 평가 도구로 작동할 수 있음을 보여준다.
"},{"id":"63937","en":"Three Years of r/ChatGPT: Societal Impact Evaluations from Social Media Data","ko":"r/ChatGPT 3년: 소셜 미디어 데이터로 본 사회적 영향 평가","authors":"Jessica Dai, Sean Garcia, Emma Pierson, Benjamin Recht, Nika Haghtalab","pos":"#3110","link":"https://openreview.net/forum?id=SPLfdwCL1J","abs":"ChatGPT was launched on November 30, 2022; the r/ChatGPT subreddit was created just one day later. Since then, chatbot-based AI products have gone from niche proofs-of-concept to widely-used household names. However, the ways in which adoption has developed, especially among non-experts, remains poorly understood. In this paper, we propose a principled framework for using social media as a data source for understanding the societal impact of widely-adopted consumer AI products, as well as a general approach to monitoring for societally-impactful trends in real time. We apply our framework to conduct what is, to the best of our knowledge, the first longitudinal study of r/ChatGPT. We find that, overall, r/ChatGPT posts over time illustrate the normalization of ChatGPT as an everyday consumer product rather than an exceptional, novel technology. However, our retrospective analysis also finds that posts about using ChatGPT for mental health support, and posts about developing emotional attachments to ChatGPT, both rise steadily in frequency immediately after the launch of GPT-4o in May 2024. We show that our real-time method can detect the increase in emotional engagement as early as October 2024—months before OpenAI made any (public) acknowledgment of this impact.
","absKo":"ChatGPT는 2022년 11월 30일에 출시되었고, r/ChatGPT subreddit은 불과 하루 뒤에 만들어졌다. 그 이후 chatbot 기반 AI 제품은 소규모 proof-of-concept에서 널리 쓰이는 대중적 제품으로 발전했다. 그러나 특히 비전문가들 사이에서 이러한 채택이 어떤 방식으로 전개되었는지는 여전히 잘 이해되지 않고 있다. 이 논문에서는 널리 채택된 소비자 AI 제품의 사회적 영향을 이해하기 위한 데이터 소스로 소셜 미디어를 사용하는 원칙적 프레임워크와, 사회적으로 영향력 있는 추세를 실시간으로 모니터링하기 위한 일반적 접근법을 제안한다. 우리는 이 프레임워크를 적용하여, 우리가 아는 한 r/ChatGPT에 대한 최초의 종단 연구(longitudinal study)를 수행한다. 전반적으로, 시간에 따른 r/ChatGPT 게시물은 ChatGPT가 예외적이고 새로운 기술이라기보다 일상적인 소비자 제품으로 정착해 가는 과정을 보여준다. 그러나 회고적 분석은, 정신 건강 지원을 위해 ChatGPT를 사용하는 내용의 게시물과 ChatGPT에 정서적 애착을 형성하는 내용의 게시물이 모두 2024년 5월 GPT-4o 출시 직후부터 빈도가 꾸준히 증가했음을 보여준다. 우리는 실시간 방법이 OpenAI가 이 영향을 공개적으로 인정하기 몇 달 전인 2024년 10월 초반부터 정서적 몰입(emotional engagement)의 증가를 탐지할 수 있음을 보인다.
"},{"id":"67082","en":"Position: Peer Review in ML/AI Conferences Should Separate Publication from Presentation and Offer Non-Anonymous Review Tracks","ko":"Position: ML/AI 학회의 Peer Review는 출판과 발표를 분리하고 비익명 리뷰 트랙을 제공해야 한다","authors":"Nihar Shah","pos":"#3111","link":"https://openreview.net/forum?id=mV05OFPIxt","abs":"In this position paper, we enumerate a number of problems with the current peer-review process based on extensive empirical evidence. We argue for two structural reforms: (1) separating publication from presentation via a four-step process that first evaluates correctness, publishes all sound papers, then uses community-based ratings to select presentations; and (2) offering parallel anonymous and non-anonymous review tracks, where the non-anonymous track releases all review data publicly to increase accountability and generate valuable research datasets. We argue how our proposed policies can mitigate these problems. We urge the community to leverage the learnings from the experiments conducted in peer-review processes and incorporate evidence-based policy design.
","absKo":"이 position paper에서는 광범위한 실증적 근거에 바탕하여 현재 peer-review 과정의 여러 문제를 열거한다. 우리는 두 가지 구조적 개혁을 제안한다: (1) 출판과 발표를 분리하는 4단계 절차를 도입해, 먼저 정당성(correctness)을 평가하고, 모든 건전한 논문을 출판한 뒤, community-based ratings를 통해 발표 논문을 선정하는 것; (2) 익명 및 비익명 review track을 병행 운영하되, 비익명 track에서는 책임성(accountability)을 높이고 가치 있는 research dataset을 생성하기 위해 모든 review data를 공개하는 것이다. 우리는 제안한 정책이 이러한 문제들을 어떻게 완화할 수 있는지 논의한다. 또한 community가 peer-review 과정에서 수행된 실험들로부터 얻은 learnings를 활용하고 evidence-based policy design을 도입할 것을 촉구한다.
"},{"id":"67085","en":"Position: Irresponsible AI: big tech’s influence on AI research and associated impacts","ko":"Position: 무책임한 AI: 빅테크가 AI 연구에 미치는 영향과 그에 따른 파급 효과","authors":"Alex Hernandez-Garcia, Alexandra Volokhova, Ezekiel Williams, Dounia Shaaban Kabakibo, Mélisande Teng","pos":"#3113","link":"https://openreview.net/forum?id=m9Zy7GXxP5","abs":"The accelerated development, deployment and adoption of artificial intelligence systems has been fuelled by the increasing presence of big tech in the AI field. This trend has been accompanied by growing ethical concerns and intensified societal and environmental impacts. This position paper argues that irresponsible AI development is strongly driven by big tech's influence and involvement in the field. We develop this argument by laying out the factors through which this influence leads to irresponsible AI. First, we examine the growing and disproportionate influence of big tech in AI research and argue that its drive for scaling and general-purpose systems is fundamentally at odds with the responsible, ethical, and sustainable development of AI. Second, we review key current environmental and societal negative impacts of AI and trace their connections to big tech's influence. Third, we discuss the underlying economic forces driving big tech's actions. Finally, as a call to action, we highlight the need for AI researchers to counter big tech's influence, and review and propose strategies that build on the responsibility of implicated actors and collective action.
","absKo":"인공지능 시스템의 가속화된 개발, 배포, 채택은 AI 분야에서 big tech의 존재감 증가에 힘입어 이루어져 왔다. 이러한 추세는 윤리적 우려의 증대와 사회적·환경적 영향의 심화와 함께 나타났다. 이 position paper는 무책임한 AI 개발이 해당 분야에서 big tech의 영향력과 관여에 의해 강하게 주도된다고 주장한다. 우리는 이러한 영향력이 무책임한 AI로 이어지는 요인들을 정리함으로써 이 논지를 전개한다. 첫째, AI 연구에서 big tech의 커지고 불균형한 영향력을 살펴보고, scaling과 general-purpose system에 대한 그들의 추진이 책임 있고 윤리적이며 지속가능한 AI 개발과 근본적으로 상충한다고 주장한다. 둘째, AI의 주요한 현재 환경적·사회적 부정적 영향을 검토하고 그것이 big tech의 영향력과 어떻게 연결되는지 추적한다. 셋째, big tech의 행동을 이끄는 근본적인 경제적 힘을 논의한다. 마지막으로, 행동 촉구의 일환으로 AI 연구자들이 big tech의 영향력에 대응해야 할 필요성을 강조하고, 관련 행위자들의 책임과 집단 행동에 기반한 전략을 검토하고 제안한다.
"},{"id":"63259","en":"Incentivizing Truthfulness and Collaborative Fairness in Bayesian Learning","ko":"베이지안 학습에서 진실성과 협력적 공정성 유인","authors":"Rachael Hwee Ling Sim, Jue Fan, Xiao Tian, Xinyi Xu, Patrick Jaillet, Bryan Kian Hsiang Low","pos":"#3114","link":"https://openreview.net/forum?id=YgzbofmRr6","abs":"Collaborative machine learning involves training high-quality models using datasets from a number of sources. To incentivize sources to share data, existing data valuation methods fairly reward each source based on its data submitted as is. However, as these methods do not verify nor incentivize data truthfulness, the sources can manipulate their data (e.g., by submitting duplicated or noisy data) to artificially increase their valuations and rewards or prevent others from benefiting. This paper presents the first mechanism that provably ensures (F) collaborative fairness and incentivizes (T) truthfulness at equilibrium for Bayesian models. Our mechanism combines semivalues (e.g., Shapley value), which ensure fairness, and a truthful data valuation function (DVF) based on a validation set that is unknown to the sources. As semivalues are influenced by others' data, we introduce an additional condition to prove that a source can maximize its expected data values in coalitions and semivalues by submitting a dataset that captures its true knowledge. Additionally, we discuss the implications and suitable relaxations of (F) and (T) when the mediator has a limited budget for rewards or lacks a validation set. Our theoretical findings are validated on synthetic and real-world datasets.
","absKo":"Collaborative machine learning은 여러 출처의 datasets를 사용해 고품질 model을 학습하는 것을 포함한다. 출처들이 data를 공유하도록 유도하기 위해, 기존 data valuation methods는 각 출처가 제출한 data를 있는 그대로 기준으로 공정하게 보상한다. 그러나 이러한 방법들은 data truthfulness를 검증하거나 장려하지 않기 때문에, 출처는 자신의 valuation과 reward를 인위적으로 높이거나 다른 이들의 이익을 막기 위해 data를 조작할 수 있다(예: duplicated 또는 noisy data를 제출). 이 논문은 Bayesian models에 대해 협력적 공정성(collaborative fairness)을 보장하고, equilibrium에서 truthfulness를 유도하는 최초의 메커니즘을 제시한다. 우리의 메커니즘은 공정성을 보장하는 semivalue들(예: Shapley value)과, 출처에게는 알려지지 않은 validation set에 기반한 truthful data valuation function (DVF)을 결합한다. semivalue는 다른 이들의 data에 의해 영향을 받기 때문에, 우리는 한 출처가 자신이 가진 진정한 knowledge를 포착하는 dataset을 제출함으로써 coalitions와 semivalues에서 기대 data values를 최대화할 수 있음을 증명하기 위한 추가 조건을 도입한다. 또한 mediator가 reward를 위한 budget이 제한되어 있거나 validation set이 없는 경우에, (\\textbf{F})와 (\\textbf{T})의 함의 및 적절한 완화 조건을 논의한다. 우리의 이론적 결과는 synthetic 및 real-world datasets에서 검증된다.
"},{"id":"62991","en":"Hugging Carbon: Quantifying the Training Carbon Emissions of AI Models at Scale","ko":"Hugging Carbon: 대규모 AI 모델의 학습 탄소 배출량 정량화","authors":"Xinlei Wang, Ruibo Ming, Jing Qiu, Junhua Zhao, Jinjin Gu","pos":"#3115","link":"https://openreview.net/forum?id=b8UehNjsF3","abs":"The scaling-law era has transformed artificial intelligence from research into a global industry, but its rapid growth raises concerns over energy usage, carbon emissions, and environmental sustainability. Unlike traditional sectors, the AI industry still lacks systematic carbon accounting methods that support large-scale estimates without reproducing the original model. This leaves open questions about how large the problem is today and how large it might be in the near future. Given that the Hugging Face (HF) platform well represents the broader open-source community, we treat it as a large-scale, publicly accessible, and audit-ready corpus for carbon accounting. We propose a FLOPs-based framework to estimate aggregate training emissions of HF open-source models. Considering their uneven disclosure quality, we introduce a tiered approach to handle incomplete metadata, supported by empirical regressions that verify the statistical significance. Compute is also converted to AI training carbon intensity (ATCI, emissions per compute), a metric to assess the sustainability efficiency of model training. Our results show that training the most popular models (with over 5,000 downloads) has resulted in approximately 5.8×10^4 tons of carbon emissions. This paper provides a framework for large-scale emission estimations and a practical methodology to guide future standards and sustainability strategies in the AI industry.
","absKo":"scaling-law 시대는 artificial intelligence를 연구 분야에서 글로벌 산업으로 탈바꿈시켰지만, 급격한 성장은 에너지 사용, carbon emission, 환경 지속가능성에 대한 우려를 낳고 있다. 전통적인 산업과 달리 AI 산업은 아직 원래 model을 재현하지 않고도 대규모 추정을 지원하는 체계적인 carbon accounting method가 부족하다. 이로 인해 현재 문제가 얼마나 큰지, 그리고 가까운 미래에 얼마나 커질 수 있는지에 대한 의문이 남아 있다. Hugging Face(HF) platform이 더 넓은 open-source community를 잘 대표한다고 보고, 우리는 이를 carbon accounting을 위한 대규모의 공개적으로 접근 가능하며 audit-ready인 corpus로 간주한다. 우리는 HF open-source model의 aggregate training emission을 추정하기 위한 FLOPs-based framework를 제안한다. 공개 품질이 고르지 않다는 점을 고려하여, 불완전한 metadata를 다루기 위한 tiered approach를 도입하고, 통계적 유의성을 검증하는 empirical regression으로 이를 뒷받침한다. 또한 compute를 AI training carbon intensity(ATCI, compute당 emission)로 변환하여 model training의 sustainability efficiency를 평가하는 metric으로 삼는다. 우리의 결과는 가장 인기 있는 모델들(5,000회 이상의 download)을 학습하는 데 약 5.8×10^4톤의 carbon emission이 발생했음을 보여준다. 본 논문은 대규모 emission 추정을 위한 framework와 AI 산업에서 향후 standard 및 sustainability strategy를 이끌 실용적인 방법론을 제공한다.
"},{"id":"67068","en":"Position: Machine Learning Research Should Be Guided by Explicit, Pluralistic Models of Human Purpose","ko":"Position: 기계 학습 연구는 인간 목적에 대한 명시적이고 다원적인 모델에 의해 인도되어야 한다","authors":"Utsav Gupta","pos":"#3211","link":"https://openreview.net/forum?id=q4miDa78ve","abs":"Machine learning systems increasingly shape attention, work, education, and social life, yet ML research often treats the question \"what is this for?\" as external, relying on proxies such as accuracy, engagement, or preference satisfaction. This position paper argues that ML research should be guided by explicit, pluralistic models of human purpose, understood as supporting people's capacity to pursue meaningful, self-chosen life projects with agency. The paper proposes three community practices: (i) purpose articulation, a structured \"Purpose Statement\" that specifies intended beneficiaries, mechanisms, and falsifiable failure modes; (ii) purpose evaluation, which measures impacts on agency and meaning alongside task performance and harm; and (iii) purpose governance, which updates purpose frameworks through transparent, participatory processes to reduce unaccountable value-setting. This framing enables concrete technical research directions, including objective design beyond preference satisfaction, benchmarks for agency and meaning, pluralistic system behavior, and institution-aware alignment. The paper provides stakeholder-differentiated recommendations for researchers, benchmark creators, conference organizers, and funders, and addresses credible objections including value neutrality, feasibility and measurement validity, the claim that harm prevention is sufficient, and risks of ideological capture or paternalism.
","absKo":"Machine learning system은 주의(attention), 노동(work), 교육, 사회적 삶을 점점 더 형성하고 있지만, ML 연구는 종종 \"이것은 무엇을 위한 것인가?\"라는 질문을 외재적인 것으로 취급하며 accuracy, engagement, preference satisfaction과 같은 proxy에 의존한다. 이 position paper는 ML 연구가 인간 목적에 대한 명시적이고 pluralistic한 모델에 의해 이끌려야 한다고 주장한다. 여기서 인간 목적은 사람들이 agency를 가지고 의미 있는 자기 선택적 life project를 추구할 수 있는 능력을 뒷받침하는 것으로 이해된다. 이 논문은 세 가지 community practice를 제안한다: (i) purpose articulation, 즉 intended beneficiaries, mechanisms, falsifiable failure mode를 명시하는 구조화된 \"Purpose Statement\"; (ii) purpose evaluation, 즉 task 성능과 harm뿐 아니라 agency와 meaning에 대한 영향까지 측정하는 평가; (iii) purpose governance, 즉 투명하고 참여적인 절차를 통해 purpose framework를 갱신하여 책임성 없는 value-setting을 줄이는 거버넌스. 이러한 framing은 preference satisfaction을 넘어선 objective design, agency와 meaning을 위한 benchmark, pluralistic system behavior, institution-aware alignment를 포함한 구체적인 기술 연구 방향을 가능하게 한다. 본 논문은 연구자, benchmark 제작자, conference organizer, funder를 위한 이해관계자별 권고를 제시하며, value neutrality, 실현 가능성과 측정 타당성, harm prevention만으로 충분하다는 주장, ideology capture 또는 paternalism의 위험을 포함한 설득력 있는 반론에 대응한다.
"},{"id":"65803","en":"Regularization in the Axiomatic Approach to Learning from Human Preferences","ko":"인간 선호로부터의 학습에 대한 공리적 접근에서의 정규화","authors":"Ezgi Korkmaz","pos":"#3213","link":"https://openreview.net/forum?id=9ydYaIe1Qj","abs":"Reinforcement learning from human feedback is the leading approach to aligning powerful AI systems so that they can be safe and helpful for humanity. While RLHF is typically modelled as a problem of learning a single preference ranking from noisy feedback, true human preferences are complex and often conflicting, representing substantive disagreements stemming from the diversity of individual human values. With this motivation, a recent line of research has studied RLHF from the perspective of social choice theory, which provides a set of well-established desirable properties for aggregating diverse preferences. Seen through this lens, the standard learning objective in RLHF is equivalent to aggregating diverse human preferences via the Borda count rule. At the same time, several new RLHF algorithms have been proposed, which turn out to be equivalent to the von Neumann winner social choice rule. However, the connection between social choice theory and RLHF has thus far ignored the critical role of regularization to prevent divergence from a reference policy, which is utilized in essentially all practical RLHF algorithms. In this paper, we study how regularization affects the social choice axioms satisfied by different RLHF algorithms, and prove that regularization improves the axiomatic properties of the von Neumann winner rule. In contrast, the Borda count rule still fails to satisfy key social choice axioms even when regularized. These results provide a principled argument grounded in social choice theory for utilizing practical RLHF algorithms that correspond to the von Neumann winner, rather than the standard RLHF objective.
","absKo":"human feedback으로부터의 reinforcement learning은 강력한 AI system을 인류에게 안전하고 유용하도록 정렬하는 선도적 접근법이다. RLHF는 일반적으로 noisy feedback으로부터 단일 preference ranking을 학습하는 문제로 모델링되지만, 실제 인간의 preference는 복잡하고 종종 상충하며, 개인의 다양한 인간 가치에서 비롯된 실질적 disagreement를 반영한다. 이러한 동기에서, 최근의 연구 흐름은 다양한 preference를 집계하기 위한 잘 확립된 바람직한 성질들을 제공하는 social choice theory의 관점에서 RLHF를 연구해 왔다. 이 관점에서 보면, RLHF의 표준 learning objective는 Borda count rule을 통해 다양한 인간 preference를 집계하는 것과 동등하다. 동시에, 여러 새로운 RLHF algorithm이 제안되었는데, 이는 von Neumann winner social choice rule과 동등한 것으로 밝혀졌다. 그러나 social choice theory와 RLHF 사이의 연결은 지금까지 reference policy로부터의 divergence를 방지하기 위한 regularization의 중요한 역할을 간과해 왔으며, 이는 사실상 모든 실용적 RLHF algorithm에서 사용된다. 본 논문에서는 regularization이 서로 다른 RLHF algorithm이 만족하는 social choice axiom에 어떤 영향을 미치는지 연구하고, regularization이 von Neumann winner rule의 axiom 성질을 개선함을 증명한다. 반면, Borda count rule은 regularized되더라도 핵심 social choice axiom을 여전히 만족하지 못한다. 이러한 결과는 standard RLHF objective보다 von Neumann winner에 대응하는 실용적 RLHF algorithm을 사용하는 것이 더 타당함을 social choice theory에 기반해 제시한다."},{"id":"67054","en":"Position: Token Taxes Can Mitigate AI's Economic Risks","ko":"Position: Token Tax가 AI의 경제적 위험을 완화할 수 있다","authors":"Lucas Irwin, Tung-Yu Wu, Fazl Barez","pos":"#3215","link":"https://openreview.net/forum?id=wYIcVOVKoD","abs":"AI-driven automation threatens to erode government tax bases, lower living standards, and disempower citizens—risks that mirror the 40-year stagnation of wages during the first industrial revolution. While AI safety research has focused primarily on capability risks, comparatively little work has studied how to mitigate the economic risks of AI. This position paper argues that technical governance researchers should prioritize the study of token taxes: usage-based surcharges on model inference applied at the point of sale. We situate token taxes within previous proposals for robot taxes and identify two key advantages: they are enforceable through existing compute governance infrastructure, and they capture value where AI is used rather than where models are hosted. We then present a research roadmap. For enforcement, we outline a staged audit pipeline---black-box token verification, norm-based tax rates, and white-box audits---and identify open technical problems at each stage. For impact, we highlight the need for economic modeling of cost pass-through and deadweight loss. Finally, we discuss why FLOP taxes may be preferable, token taxes could stifle innovation, and that AI superpowers can veto such measures.
","absKo":"AI 주도의 자동화는 정부의 조세 기반을 잠식하고, 생활 수준을 낮추며, 시민의 권한을 약화시킬 수 있는데, 이는 1차 산업혁명 시기의 40년 임금 정체를 떠올리게 하는 위험이다. AI safety 연구가 주로 capability 위험에 초점을 맞춰 온 반면, AI의 경제적 위험을 완화하는 방법을 다룬 연구는 비교적 적다. 본 포지션 페이퍼는 기술적 거버넌스 연구자들이 token taxes, 즉 판매 시점(point of sale)에 모델 inference에 부과하는 사용량 기반 부가세를 우선적으로 연구해야 한다고 주장한다. 우리는 token taxes를 이전의 robot taxes 제안들 속에 위치시키고, 두 가지 핵심 장점을 식별한다. 하나는 기존 compute governance 인프라를 통해 집행 가능하다는 점이고, 다른 하나는 모델이 호스팅되는 곳이 아니라 AI가 사용되는 곳에서 가치를 포착한다는 점이다. 이어서 우리는 연구 로드맵을 제시한다. 집행 측면에서는 black-box token verification, norm-based tax rates, white-box audits로 이루어진 단계적 감사 파이프라인을 개괄하고, 각 단계의 열린 기술 문제를 식별한다. 영향 측면에서는 cost pass-through와 deadweight loss의 경제적 모델링 필요성을 강조한다. 마지막으로, 왜 FLOP taxes가 더 바람직할 수 있는지, token taxes가 혁신을 저해할 수 있는지, 그리고 AI superpowers가 이러한 조치에 거부권을 행사할 수 있는지 논의한다.
"},{"id":"66664","en":"De-attribute to Forget for LLM Unlearning","ko":"LLM Unlearning을 위한 De-attribute to Forget","authors":"Xinyang Lu, Jiabao Pan, Rachael Hwee Ling Sim, See-Kiong Ng, Anthony Tung, Bryan Kian Hsiang Low","pos":"#3216","link":"https://openreview.net/forum?id=1ayYE4GiCJ","abs":"The rapid development of large language models (LLMs) has raised concerns regarding the inclusion of private or inappropriate data during training, which has led to growing interest in LLM unlearning. Many existing LLM unlearning approaches rely on prediction loss-based optimizations, such as maximizing the loss on the forget set. However, these methods often face issues such as over-forgetting and poor model utility. In this work, we address these issues by introducing a novel perspective that shifts the unlearning optimization target to reducing data attribution instead. We propose the first LLM unlearning framework based on data attribution rewards called DareU that employs reinforcement learning to update the LLM and reduce the attribution score of generated responses (i.e., de-attribute) to the forget data owners. Experimental results using an LLM classifier as an efficient approximation of attribution demonstrate that DareU outperforms existing baseline approaches, achieving effective unlearning while balancing forget quality and model utility.
","absKo":"large language models (LLMs)의 급속한 발전은 학습 과정에서 private하거나 부적절한 데이터가 포함될 수 있다는 우려를 낳았고, 그 결과 LLM unlearning에 대한 관심이 커졌다. 기존의 많은 LLM unlearning 접근법은 forget set에서의 loss를 최대화하는 것과 같은 prediction loss 기반 최적화에 의존한다. 그러나 이러한 방법은 over-forgetting과 낮은 model utility 같은 문제를 자주 겪는다. 본 연구에서는 unlearning의 최적화 목표를 데이터 attribution 감소로 전환하는 새로운 관점을 도입하여 이러한 문제를 해결한다. 우리는 data attribution rewards에 기반한 최초의 LLM unlearning framework인 DareU를 제안하며, 이는 reinforcement learning을 사용해 LLM을 업데이트하고 생성된 응답의 attribution score를 낮춤으로써(즉, de-attribute) forget 데이터 소유자에 대한 귀속을 줄인다. attribution의 효율적인 근사로서 LLM classifier를 사용한 실험 결과, DareU는 기존 baseline 방법들을 능가하며 forget quality와 model utility 사이의 균형을 유지하면서 효과적인 unlearning을 달성함을 보여준다.
"},{"id":"67249","en":"Position: The AI Imperative: Scaling High-Quality Peer Review in Machine Learning","ko":"Position: AI의 명령: 기계 학습에서 고품질 Peer Review 확장하기","authors":"Qiyao Wei, Samuel Holt, Jing Yang, Markus Wulfmeier, Mihaela van der Schaar","pos":"#3303","link":"https://openreview.net/forum?id=0eAsCehpyb","abs":"Peer review, the bedrock of scientific advancement in machine learning (ML), is strained by a crisis of scale. Exponential growth in manuscript submissions to premier ML venues such as NeurIPS, ICML, and ICLR is outpacing the finite capacity of qualified reviewers, leading to concerns about review quality, consistency, and reviewer fatigue. This position paper argues that AI-assisted peer review must become an urgent research and infrastructure priority. We advocate for a comprehensive AI-augmented ecosystem, leveraging Large Language Models (LLMs) not as replacements for human judgment, but as sophisticated collaborators for authors, reviewers, and Area Chairs (ACs). We propose specific roles for AI in enhancing factual verification, guiding reviewer performance, assisting authors in quality improvement, and supporting ACs in decision-making. Crucially, we contend that the development of such systems hinges on access to more granular, structured, and ethically-sourced peer review process data. We outline a research agenda, including illustrative experiments, to develop and validate these AI assistants, and discuss significant technical and ethical challenges. We call upon the ML community to proactively build this AI-assisted future, ensuring the continued integrity and scalability of scientific validation, while maintaining high standards of peer review.
","absKo":"machine learning(ML)에서 scientific advancement의 토대인 peer review는 규모의 위기에 시달리고 있다. NeurIPS, ICML, ICLR과 같은 주요 ML venue에 제출되는 manuscript 수가 기하급수적으로 증가하면서, 자격을 갖춘 reviewer의 제한된 수용 능력을 앞지르고 있고, 그 결과 review quality, consistency, reviewer fatigue에 대한 우려가 커지고 있다. 이 position paper는 AI-assisted peer review가 긴급한 연구 및 인프라 우선순위가 되어야 한다고 주장한다. 우리는 Large Language Model(LLM)을 인간 판단의 대체물이 아니라 author, reviewer, Area Chair(AC)를 위한 정교한 협력자로 활용하는 포괄적인 AI-augmented ecosystem을 지지한다. 우리는 factual verification 강화, reviewer performance 유도, author의 quality improvement 지원, AC의 의사결정 지원에서 AI의 구체적 역할을 제안한다. 결정적으로, 이러한 system의 발전은 더 세분화되고 구조화되며 윤리적으로 수집된 peer review process data에 대한 접근에 달려 있다고 본다. 우리는 이러한 AI assistant를 개발하고 검증하기 위한 illustrative experiment를 포함한 research agenda를 제시하고, 중요한 기술적·윤리적 도전을 논의한다. 우리는 ML community가 high standard의 peer review를 유지하면서 scientific validation의 지속적인 integrity와 scalability를 보장할 수 있도록, 이 AI-assisted future를 선제적으로 구축할 것을 촉구한다.
"},{"id":"67196","en":"Position: Regulating Algorithms Is Not Enough. A Study of Content Discovery in Online Platforms","ko":"Position: 알고리즘 규제만으로는 충분하지 않다. 온라인 플랫폼에서의 콘텐츠 발견에 대한 연구","authors":"Rebecca Salganik, Guillaume Salha-Galvan, Adelaida Afilipoaie, Gustavo Ferreira, Valdy Wiratama, Anson Kahng, Jian Kang, Heritiana Ranaivoson","pos":"#3304","link":"https://openreview.net/forum?id=GYVAl99Hjf","abs":"Recent AI regulation has largely focused on algorithmic components such as recommender models, ranking systems, and profiling mechanisms. At the same time, cultural and digital policy agendas increasingly frame discovery as a key objective, aiming to promote exposure diversity and cultural representation. We argue that these outcomes cannot be effectively governed through algorithm-centric approaches alone. Discovery does not arise from individual algorithms in isolation, but from interactions among models, interfaces, user behavior, economic incentives, and cultural norms. We introduce the Cultural Expressions Discovery Circuit (CEDC), an interdisciplinary framework that models discovery as an emergent socio-technical process. Through this lens, we illustrate how certain regulatory approaches struggle to align with broader cultural objectives. Furthermore, we highlight how socio-technical analysis can help inform both technical research and the governance of cultural expressions in online platforms.
","absKo":"최근 AI 규제는 주로 recommender model, ranking system, profiling mechanism과 같은 algorithmic component에 초점을 맞춰 왔다. 동시에 문화 및 디지털 정책 의제는 discovery를 핵심 목표로 점점 더 강조하며, exposure diversity와 cultural representation을 촉진하려 한다. 우리는 이러한 결과가 algorithm-centric 접근만으로는 효과적으로 거버넌스될 수 없다고 주장한다. discovery는 개별 algorithm이 고립적으로 만들어 내는 것이 아니라, model, interface, user behavior, economic incentive, cultural norm의 상호작용에서 발생한다. 우리는 Cultural Expressions Discovery Circuit(CEDC)을 소개하며, discovery를 emergent socio-technical process로 모델링하는 interdisciplinary framework를 제시한다. 이 관점을 통해 우리는 특정 규제 접근이 더 넓은 문화적 목표와 맞추는 데 왜 어려움을 겪는지 설명한다. 나아가 socio-technical analysis가 온라인 platform에서의 문화 표현의 기술 연구와 거버넌스 모두를 어떻게 뒷받침할 수 있는지 강조한다.
"},{"id":"63083","en":"Is Your LLM Overcharging You? Tokenization, Transparency, and Incentives","ko":"당신의 LLM이 과금하고 있는가? 토큰화, 투명성, 인센티브","authors":"Ander Artola Velasco, Stratis Tsirtsis, Nastaran Okati, Manuel Gomez-Rodriguez","pos":"#3309","link":"https://openreview.net/forum?id=aGaBFE9pta","abs":"State-of-the-art large language models require specialized hardware and substantial energy to operate. Consequently, cloud-based services that provide access to these models have become very popular. In these services, the price users pay depends on the number of tokens a model uses to generate an output–they pay a fixed price per token. In this work, we show that this pricing mechanism creates a financial incentive for providers to strategize and misreport the (number of) tokens a model used to generate an output, and users cannot prove, or even know, whether a provider is overcharging them. However, we also show that, if an unfaithful provider is obliged to be transparent about the generative process used by the model, misreporting optimally without raising suspicion is hard. Nevertheless, as a proof-of-concept, we develop an efficient heuristic algorithm that allows providers to significantly overcharge users without raising suspicion. Crucially, the cost of running the algorithm is lower than the additional revenue from overcharging users, highlighting the vulnerability of users under the current pay-per-token pricing mechanism. Further, we show that, to eliminate the financial incentive to strategize, a pricing mechanism must price tokens linearly on their character count. While this makes a provider's profit margin vary across tokens, we introduce a simple prescription that allows a provider to maintain their average profit margin when transitioning to an incentive-compatible pricing mechanism. To complement our theoretical results, we conduct experiments with large language models from the $\\texttt{Llama}$, $\\texttt{Gemma}$ and $\\texttt{Ministral}$ families, and prompts from a popular benchmarking platform.","absKo":"최신 large language model은 동작을 위해 특화된 하드웨어와 상당한 에너지를 필요로 한다. 그 결과, 이러한 모델에 대한 접근을 제공하는 cloud-based service가 매우 인기를 끌고 있다. 이러한 서비스에서 사용자가 지불하는 가격은 모델이 출력을 생성하는 데 사용한 token 수에 따라 결정되며, 사용자는 token당 고정 가격을 지불한다. 본 연구에서는 이 가격 책정 메커니즘이 provider가 출력 생성에 사용된 token 수를 전략적으로 왜곡해 보고하도록 만드는 재정적 유인을 생성하며, 사용자는 provider가 과금을 과도하게 했는지 증명할 수도, 심지어 알 수도 없음을 보인다. 그러나 또한, 비정직한 provider가 생성 과정을 투명하게 공개해야 한다면, 의심을 사지 않으면서 최적으로 왜곡 보고하는 것은 어렵다는 점도 보인다. 그럼에도 proof-of-concept으로서, 우리는 provider가 의심을 받지 않고도 사용자에게 상당히 과금할 수 있게 해주는 효율적인 heuristic algorithm을 개발한다. 중요한 점은, 이 algorithm을 실행하는 비용이 과도 청구로 얻는 추가 수익보다 낮다는 것이며, 이는 현재 pay-per-token 가격 메커니즘 하에서 사용자가 취약하다는 점을 보여준다. 더 나아가, 전략적 유인을 제거하려면 가격 메커니즘이 token을 character count에 따라 선형적으로 가격 책정해야 함을 보인다. 이는 provider의 profit margin이 token마다 달라지게 하지만, 우리는 incentive-compatible pricing mechanism으로 전환할 때 provider가 평균 profit margin을 유지할 수 있도록 하는 간단한 처방을 제시한다. 이론적 결과를 보완하기 위해, 우리는 $\\texttt{Llama}$, $\\texttt{Gemma}$, $\\texttt{Ministral}$ 계열의 large language model과 널리 쓰이는 benchmarking platform의 prompt를 사용해 실험을 수행한다."},{"id":"64213","en":"Evaluating Contextual Illegality: AI Compliance in Corporate Law Scenarios","ko":"맥락적 위법성 평가: 회사법 시나리오에서의 AI 준수","authors":"Hilal Aka, Joe Kwon, Noam Kolt","pos":"#3310","link":"https://openreview.net/forum?id=PuXjZomg14","abs":"AI models readily refuse explicitly unlawful requests, but real-world illegality often depends on context. We evaluate frontier models on contextual illegality across four corporate law domains in which routine actions—editing documents, trading stock, requesting payment, approving communications—become unlawful due to triggers such as pending investigations or bankruptcy filings. We study both chat and agentic settings and compare results to a human baseline. The best-performing models achieved near-zero compliance with illegal requests while maintaining high compliance with legal ones, though performance varied sharply by domain. We also identify distinct failure modes such as excessive refusal of legal requests and find improved performance from reasoning models and agentic environments. By utilizing the structure of contextual illegality to create controlled evaluations, our methodology provides empirical grounding for emerging research on law-following AI and extends naturally to additional legal domains.
","absKo":"AI 모델은 명시적으로 불법인 요청을 쉽게 거부하지만, 실제 세계에서의 불법성은 종종 맥락에 따라 달라진다. 우리는 문서 편집, 주식 거래, 지급 요청, 커뮤니케이션 승인과 같은 일상적 행위가 진행 중인 조사나 파산 신청과 같은 트리거 때문에 불법이 되는 네 가지 기업법(corporate law) 도메인에서 frontier 모델들의 contextual illegality를 평가한다. 우리는 chat 및 agentic 설정 모두를 연구하고 결과를 human baseline과 비교한다. 가장 우수한 모델은 legal request에 대해서는 높은 compliance를 유지하면서 illegal request에는 거의 zero에 가까운 compliance를 보였지만, 성능은 도메인에 따라 크게 달랐다. 또한 legal request를 과도하게 거부하는 등 서로 다른 failure mode를 식별했으며, reasoning model과 agentic environment에서 개선된 성능을 확인했다. contextual illegality의 구조를 활용해 통제된 평가를 구성함으로써, 우리의 방법론은 법을 따르는 AI에 대한 emerging research에 실증적 기반을 제공하고, 다른 법률 도메인으로도 자연스럽게 확장된다.
"},{"id":"61443","en":"Quantifying Biases in LLM-as-a-Judge Evaluations","ko":"LLM-as-a-Judge 평가의 Bias 정량화","authors":"Magda Dubois, Harry Coppock, Mario Giulianelli, Ole Jorgensen, Timo Flesch, Lennart Luettgau, Cozmin Ududec","pos":"#4315","link":"https://openreview.net/forum?id=q33S4QMuay","abs":"The evaluation of large language models (LLMs) is increasingly performed by other LLMs, a setup commonly known as \"LLM-as-a-judge\", or autograders. While autograders offer a scalable alternative to human evaluation, they are not free from biases (e.g., favouring longer outputs or generations from their own model family). Here we propose a statistical framework based on Bayesian generalised linear models (GLMs) that enables researchers to address their primary research questions (e.g., LLM capability or risk assessment), while simultaneously identifying, quantifying and mitigating various biases in their autograders. Our approach can be applied to various evaluation formats (e.g., absolute scores or pairwise preferences) and augments traditional metrics (e.g., inter-rater agreement) by providing precise uncertainty estimates and clarifying sources of disagreement between graders. This framework also enables efficient counterfactual simulations without costly re-evaluation (e.g., assessing agreement after removing systematic biases). We demonstrate these capabilities through simulated examples, with all methods available in an open-source software package. Overall, we introduce a novel framework for autograder evaluation which allows researchers to detect, quantify and correct for various biases in a systematic way.
","absKo":"대규모 언어 모델(LLM)의 평가는 점점 다른 LLM에 의해 수행되고 있으며, 이러한 설정은 일반적으로 \"LLM-as-a-judge\" 또는 autograder로 알려져 있다. Autograder는 인간 평가에 대한 확장 가능한 대안을 제공하지만, 편향에서 자유롭지는 않다(예: 더 긴 출력이나 자기 모델 계열에서 생성된 결과를 선호하는 경향). 본 연구에서는 Bayesian generalised linear models(GLMs)에 기반한 통계적 프레임워크를 제안하여, 연구자들이 주요 연구 질문(예: LLM의 능력 또는 위험 평가)에 답하는 동시에 autograder에 존재하는 다양한 편향을 식별, 정량화, 완화할 수 있도록 한다. 우리의 접근법은 다양한 평가 형식(예: 절대 점수 또는 pairwise preference)에 적용 가능하며, 정밀한 불확실성 추정치를 제공하고 채점자 간 불일치의 원인을 명확히 함으로써 기존 지표(예: inter-rater agreement)를 보완한다. 또한 이 프레임워크는 비용이 큰 재평가 없이도 효율적인 counterfactual simulation을 가능하게 한다(예: 체계적 편향을 제거한 뒤 agreement를 평가). 우리는 모든 방법이 오픈소스 소프트웨어 패키지로 제공됨을 보이기 위해 시뮬레이션 예시를 통해 이러한 기능을 시연한다. 전반적으로, 우리는 연구자들이 다양한 편향을 체계적으로 탐지, 정량화, 보정할 수 있게 해주는 autograder 평가를 위한 새로운 프레임워크를 제시한다.
"},{"id":"67135","en":"Position: Want Better ML Reviews? Stop Asking Nicely and Start Incentivizing with a Credit System","ko":"Position: 더 나은 ML 리뷰를 원하는가? 정중히 부탁하는 것을 멈추고 Credit 시스템으로 인센티브를 주기 시작하라","authors":"Shaochen (Henry) Zhong","pos":"#4405","link":"https://openreview.net/forum?id=WwrlJMwTJL","abs":"With soaring submission counts, stricter reciprocal review policies, widespread adoption of platforms like OpenReview, and without the offsetting pressure of publication fees, the machine learning (ML) community has one of the largest scholarly presences among all scientific fields. And yet, almost everyone has many unpleasant things to share about their review experience. Worse, there is little public space to seriously discuss — let alone debate — what makes a review system effective or how it might be improved. In this position paper, we expand our discussion on two core problems: How can we reasonably limit the number of submissions? and How can we incentivize good and discourage bad review practices? We first assess the strengths and shortcomings of existing attempts to address such problems. Specifically, we present four takes on some popular conference mechanisms and propose two alternative designs for improvement. Our general position is that meaningful improvement in ML peer review won't come from polite best-practice suggestions tucked into Calls for Papers or Reviewer Guidelines — it requires enforceable yet fine-grained procedural safeguards paired with a currency-like credit system (what we call OpenReview Points). ML practitioners can “earn” such points by contributing good review practices, and “spend” across one or multiple major conferences to redeem different kinds of “perks” — such as complimentary registration or the right to request additional review resources.
","absKo":"제출 건수의 급증, 더 엄격한 reciprocal review 정책, OpenReview 같은 플랫폼의 광범위한 채택, 그리고 출판 비용이라는 상쇄 압력이 없는 상황에서, machine learning (ML) 커뮤니티는 모든 과학 분야 중 가장 큰 학술적 존재감을 가진 분야 중 하나가 되었다. 그런데도 거의 모든 사람이 자신의 review 경험에 대해 많은 불쾌한 이야기를 가지고 있다. 더 나쁜 점은, review system을 무엇이 효과적으로 만드는지, 혹은 어떻게 개선할 수 있는지에 대해 진지하게 논의할 공적 공간이 거의 없다는 것이다. 토론은커녕 말이다. 이 position paper에서 우리는 두 가지 핵심 문제에 대한 논의를 확장한다: 제출 수를 어떻게 합리적으로 제한할 것인가? 그리고 좋은 review 관행은 어떻게 장려하고 나쁜 관행은 어떻게 억제할 것인가? 먼저 이러한 문제를 해결하려는 기존 시도의 강점과 한계를 평가한다. 구체적으로, 널리 쓰이는 몇몇 conference mechanism에 대한 네 가지 관점을 제시하고, 개선을 위한 두 가지 대안 설계를 제안한다. 우리의 일반적인 입장은 ML peer review의 의미 있는 개선이 Call for Papers나 Reviewer Guidelines에 조용히 끼워 넣은 예의 바른 best-practice 권고만으로는 오지 않는다는 것이다. 그것은 집행 가능하면서도 세밀한 procedural safeguard와 화폐와 유사한 credit system(우리가 OpenReview Points라고 부르는 것)이 결합되어야만 가능하다. ML 실무자들은 좋은 review 관행에 기여함으로써 이러한 points를 \"벌고\", 하나 또는 여러 주요 conference에서 사용해 서로 다른 종류의 \"특전\"을 교환할 수 있다. 예를 들어 무료 등록이나 추가 review 자원을 요청할 권리 같은 것이다.
"},{"id":"67132","en":"Position: Stop Preaching and Start Practising Data Frugality for Responsible Development of AI","ko":"Position: AI의 책임 있는 개발을 위해 설교를 멈추고 데이터 절약을 실천하라","authors":"Sophia N. Wilson, Guðrún Guðmundsdóttir, Andrew Millard, Raghavendra Selvan, Sebastian Mair","pos":"#4410","link":"https://openreview.net/forum?id=Ybp1OTiNaH","abs":"This position paper argues that the machine learning community must move from preaching to practising data frugality for responsible artificial intelligence (AI) development. For long, progress has been equated with ever-larger datasets, driving remarkable advances but now yielding increasingly diminishing performance gains alongside rising energy use and carbon emissions. While awareness of data frugal approaches has grown, their adoption has remained rhetorical, and data scaling continues to dominate development practice. We argue that this gap between preach and practice must be closed, as continued data scaling entails substantial and under-accounted environmental impacts. To ground our position, we provide indicative estimates of the energy use and carbon emissions associated with the downstream use of ImageNet-1K. We then present empirical evidence that data frugality is both practical and beneficial, demonstrating that coreset-based subset selection can substantially reduce training energy consumption with little loss in accuracy, while also mitigating dataset bias. Finally, we outline actionable recommendations for moving data frugality from rhetorical preach to concrete practice for responsible development of AI.
","absKo":"이 position paper는 책임 있는 artificial intelligence (AI) 개발을 위해 machine learning 커뮤니티가 데이터 frugality를 설파하는 단계에서 실천하는 단계로 나아가야 한다고 주장한다. 오랫동안 진보는 더 큰 데이터셋과 동일시되어 왔고, 이는 놀라운 발전을 이끌었지만 이제는 에너지 사용과 carbon emissions 증가와 함께 성능 향상이 점점 미미해지는 결과를 낳고 있다. 데이터 frugal 접근에 대한 인식은 높아졌지만, 실제 채택은 여전히 수사적 수준에 머물러 있으며, 데이터 scaling은 개발 관행을 계속 지배하고 있다. 우리는 설파와 실천 사이의 이 간극을 반드시 메워야 한다고 주장한다. 데이터 scaling의 지속은 상당한 환경적 영향을 수반하며, 그 상당 부분은 아직 충분히 반영되지 않고 있기 때문이다. 우리의 입장을 뒷받침하기 위해 ImageNet-1K의 downstream 사용과 관련된 에너지 사용 및 carbon emissions에 대한 대표적 추정치를 제시한다. 이어서 coreset 기반 subset selection이 정확도의 손실은 거의 없이 training energy consumption을 크게 줄일 수 있을 뿐 아니라 dataset bias도 완화할 수 있음을 보여주는 실증적 증거를 제시한다. 마지막으로, AI의 책임 있는 개발을 위해 데이터 frugality를 수사적 설파에서 구체적 실천으로 옮기기 위한 실행 가능한 권고를 정리한다.
"},{"id":"62751","en":"Who’s in Charge? Disempowerment Patterns in Real-World LLM Usage","ko":"누가 주도하는가? 실제 LLM 사용에서의 Disempowerment 패턴","authors":"Mrinank Sharma, Miles McCain, Raymond Douglas, David Duvenaud","pos":"#715","link":"https://openreview.net/forum?id=dhzRnzD9jR","abs":"We present the first large-scale empirical analysis of disempowerment patterns in real-world AI assistant interactions, analyzing 1.5 million consumer Claude.ai conversations using a privacy-preserving approach. We focus on situational dis-empowerment potential, which occurs when AI assistant interactions risk leading users to form distorted perceptions of reality, make inauthentic value judgments, or act in ways misaligned with their values. Quantitatively, we find that severe forms of disempowerment potential occur in fewer than one in a thousand conversations, though rates are substantially higher in personal domains like relationships and lifestyle. Qualitatively, we uncover several concerning patterns, such as validation of persecution narratives and grandiose identities with emphatic sycophantic language, definitive moral judgments about third parties, and complete scripting of value-laden personal communications that users appear to implement verbatim. Analysis of historical trends reveals an increase in the prevalence of disempowerment potential over time. We also find that interactions with greater disempowerment potential receive higher user approval ratings, possibly suggesting a tension between short-term user preferences and long-term human empowerment.
","absKo":"우리는 실제 AI assistant 상호작용에서 나타나는 disempowerment pattern에 대한 최초의 대규모 실증 분석을 제시하며, privacy-preserving 접근법을 사용하여 150만 건의 consumer Claude.ai 대화를 분석한다. 우리는 상황적 disempowerment potential에 주목하는데, 이는 AI assistant 상호작용이 사용자가 현실에 대해 왜곡된 인식을 형성하거나, 비진정한 가치 판단을 내리거나, 자신의 가치와 어긋나는 방식으로 행동하도록 이끌 위험이 있을 때 발생한다. 정량적으로는, 심각한 형태의 disempowerment potential은 천 건의 대화 중 한 건 미만에서 발생하지만, 관계와 라이프스타일 같은 개인적 영역에서는 비율이 상당히 더 높다. 정성적으로는, 강한 sycophantic language를 동반한 박해 서사와 과장된 정체성의 정당화, 제3자에 대한 단정적인 도덕 판단, 그리고 사용자가 그대로 실행하는 것으로 보이는 가치 관련 개인 메시지의 완전한 대필과 같은 여러 우려 패턴을 발견한다. 과거 추세 분석은 시간이 지남에 따라 disempowerment potential의 유병률이 증가했음을 보여준다. 또한 disempowerment potential이 더 큰 상호작용일수록 더 높은 사용자 승인 평가를 받는다는 점도 확인했는데, 이는 단기적 사용자 선호와 장기적 인간 empowerment 사이에 긴장이 존재할 가능성을 시사한다."},{"id":"64259","en":"Mechanistic Data Attribution: Tracing the Training Origins of Interpretable LLM Units","ko":"기전적 데이터 귀속: 해석 가능한 LLM 유닛의 학습 기원 추적","authors":"Jianhui Chen, Yuzhang Luo, Liangming Pan","pos":"#2002","link":"https://openreview.net/forum?id=PQaxfoEcRc","abs":"Mechanistic Interpretability has successfully identified functional circuits in Large Language Models (LLMs), yet their causal origins in the training data remain poorly understood. We bridge this gap by introducing Mechanistic Data Attribution (MDA), a scalable framework that traces the formation of specific interpretable units back to training samples using Influence Functions. Through extensive pre-training experiments on the Pythia family, we causally validate that removing a small fraction of high-influence samples significantly hinders the emergence of targeted heads, whereas augmenting them accelerates formation—effects that random interventions fail to replicate. Leveraging MDA, we reveal that highly repetitive structural data—such as LaTeX and HTML—acts as a \"catalyst\" that significantly accelerates the emergence of induction heads. Furthermore, we observe that interventions targeting induction head formation induce a concurrent change in the model’s in-context learning (ICL) capability. This provides direct causal evidence for the long-standing hypothesis regarding the functional link between induction heads and ICL. Finally, we propose a mechanistic data augmentation pipeline that builds upon these insights to consistently accelerate mechanistic convergence across diverse model scales, offering a principled methodology for understanding and steering the fine-grained development of LLM behaviors.
","absKo":"Mechanistic Interpretability는 Large Language Models(LLMs)에서 functional circuit을 성공적으로 식별해 왔지만, 그 causal origin이 훈련 데이터와 어떻게 연결되는지는 여전히 충분히 이해되지 않았다. 우리는 Mechanistic Data Attribution(MDA)를 도입함으로써 이 간극을 메운다. MDA는 Influence Functions를 사용해 특정 interpretable unit의 형성을 training sample까지 추적하는 확장 가능한 framework이다. Pythia family 전반에 대한 광범위한 pre-training 실험을 통해, 우리는 높은 영향력을 가진 소수의 sample을 제거하면 표적 head의 출현이 유의하게 지연되는 반면, 이를 추가하면 형성이 더 빨라진다는 점을 인과적으로 검증하며, 이러한 효과는 무작위 개입으로는 재현되지 않음을 보인다. MDA를 활용해, LaTeX와 HTML 같은 매우 반복적인 구조적 데이터가 induction head의 출현을 크게 가속하는 일종의 \"촉매\" 역할을 한다는 사실을 밝힌다. 더 나아가, induction head 형성을 표적으로 한 개입이 모델의 in-context learning(ICL) 능력의 동반 변화를 유도함을 관찰한다. 이는 induction head와 ICL 사이의 기능적 연결에 관한 오랜 가설에 대한 직접적인 인과적 증거를 제공한다. 마지막으로, 우리는 이러한 통찰을 바탕으로 mechanistic data augmentation pipeline을 제안하여 다양한 model scale 전반에서 mechanistic convergence를 일관되게 가속하고, LLM 행동의 세밀한 발달을 이해하고 조정하기 위한 원리적인 방법론을 제시한다."},{"id":"64245","en":"SAEmnesia: Erasing Concepts in Diffusion Models with Supervised Sparse Autoencoders","ko":"SAEmnesia: 지도 학습 희소 오토인코더를 이용한 Diffusion 모델에서의 개념 삭제","authors":"Enrico Cassano, Riccardo Renzulli, Marco Nurisso, Mirko Zaffaroni, Alan Perotti, Marco Grangetto","pos":"#2904","link":"https://openreview.net/forum?id=Pa6EoOViOq","abs":"Concept unlearning in diffusion models is hampered by feature splitting, where concepts are distributed across many latent features, making their removal challenging and computationally expensive. We introduce SAEmnesia, a supervised sparse autoencoder framework that overcomes this by enforcing one-to-one concept-neuron mappings. By systematically labeling concepts during training, our method achieves feature centralization, binding each concept to a single, interpretable neuron. This enables highly targeted and efficient concept erasure. SAEmnesia reduces hyperparameter search by 96.7% and achieves a 9.2% improvement over the state-of-the-art on the UnlearnCanvas benchmark. Our method also demonstrates superior scalability in sequential unlearning, improving accuracy by 28.4% when removing nine objects, establishing a new standard for precise and controllable concept erasure. Moreover, SAEmnesia mitigates the possibility of generating unwanted content under adversarial attack and effectively removes nudity when evaluated with I2P.
","absKo":"diffusion model에서의 concept unlearning은 feature splitting 때문에 어려움을 겪는데, 이는 개념이 많은 latent feature에 분산되어 있어 제거가 어렵고 계산 비용도 크기 때문입니다. 우리는 supervised sparse autoencoder framework인 SAEmnesia를 도입하여, one-to-one concept-neuron mapping을 강제함으로써 이 문제를 해결합니다. 훈련 중 개념을 체계적으로 라벨링함으로써, 우리의 방법은 feature centralization을 달성하고 각 개념을 단일하고 해석 가능한 neuron에 결합합니다. 이를 통해 매우 목표 지향적이고 효율적인 concept erasure가 가능해집니다. SAEmnesia는 hyperparameter search를 96.7% 줄이고, UnlearnCanvas benchmark에서 state-of-the-art 대비 9.2% 향상을 달성합니다. 또한 이 방법은 순차적 unlearning에서도 우수한 확장성을 보여, 9개의 object를 제거할 때 정확도를 28.4% 향상시키며, 정밀하고 제어 가능한 concept erasure의 새로운 기준을 제시합니다. 더 나아가, SAEmnesia는 adversarial attack 하에서 원치 않는 content가 생성될 가능성을 완화하고, I2P로 평가했을 때 nudity도 효과적으로 제거합니다."},{"id":"63869","en":"Mechanistic Anomaly Detection via Functional Attribution","ko":"기능적 기여를 통한 기계적 이상 탐지","authors":"Hugo Lyons Keenan, Sarah Erfani, Christopher Leckie","pos":"#2915","link":"https://openreview.net/forum?id=T1uBDl1WPR","abs":"We can often verify the correctness of neural network outputs using ground truth labels, but we cannot reliably determine whether the output was produced by normal or anomalous internal mechanisms. Mechanistic anomaly detection (MAD) aims to flag these cases, but existing methods either depend on latent space analysis, which is vulnerable to obfuscation, or are specific to particular architectures and modalities. We reframe MAD as a functional attribution problem: asking to what extent samples from a trusted set can explain the model's output, where attribution failure signals anomalous behavior. We operationalize this using influence functions, measuring functional coupling between test samples and a small reference set via parameter-space sampling. We evaluate across multiple anomaly types and modalities. For backdoors in vision models, our method achieves state-of-the-art detection on BackdoorBench, with an average Defense Effectiveness Rating (DER) of 0.93 across seven attacks and four datasets (next best 0.83). For LLMs, we similarly achieve a significant improvement over baselines for several backdoor types, including on explicitly obfuscated models. Beyond backdoors, our method can detect adversarial and out-of-distribution samples, and distinguishes multiple anomalous mechanisms within a single model. Our results establish functional attribution as an effective, modality-agnostic tool for detecting anomalous behavior in deployed models.
","absKo":"우리는 종종 ground truth label을 사용해 neural network 출력의 정합성은 검증할 수 있지만, 그 출력이 정상적인 내부 기제로 생성되었는지 아니면 이상한 내부 기제로 생성되었는지는 신뢰성 있게 판단할 수 없다. Mechanistic anomaly detection(MAD)은 이러한 경우를 탐지하는 것을 목표로 하지만, 기존 방법은 조작에 취약한 latent space 분석에 의존하거나, 특정 architecture와 modality에만 국한되어 있다. 우리는 MAD를 functional attribution problem으로 재정의한다. 즉, 신뢰할 수 있는 집합의 샘플이 모델 출력의 설명에 어느 정도 기여하는지를 묻고, attribution 실패를 anomalous behavior의 신호로 본다. 이를 influence function을 사용해 구현하고, parameter-space sampling을 통해 test sample과 작은 reference set 사이의 functional coupling을 측정한다. 우리는 여러 종류의 anomaly와 modality에 걸쳐 평가를 수행했다. vision model의 backdoor에 대해서는, 우리의 방법이 BackdoorBench에서 state-of-the-art 탐지를 달성했으며, 일곱 가지 attack과 네 개의 dataset에 걸친 average Defense Effectiveness Rating(DER) 0.93을 기록했다(차상위는 0.83). LLM에 대해서도, 명시적으로 obfuscation된 model을 포함한 여러 backdoor 유형에서 baseline 대비 유의미한 향상을 달성했다. backdoor를 넘어, 우리의 방법은 adversarial sample과 out-of-distribution sample도 탐지할 수 있으며, 하나의 model 내에 존재하는 여러 anomalous mechanism을 구분할 수 있다. 우리의 결과는 functional attribution이 배포된 model에서 anomalous behavior를 탐지하는 효과적이고 modality-agnostic한 도구임을 입증한다.
"},{"id":"66491","en":"Data Provenance Auditing of Fine-Tuned Large Language Models with a Text-Preserving Technique","ko":"텍스트 보존 기법을 이용한 Fine-Tuning된 대규모 언어 모델의 데이터 출처 감사","authors":"Yanming Li, Cédric Eichler, Nicolas Anciaux, Alexandra Bensamoun, Lorena Gonzalez-Manzano, Seifeddine Ghozzi","pos":"#3105","link":"https://openreview.net/forum?id=3D0x8oxOYH","abs":"We propose a system for marking sensitive or copyrighted texts to detect their use in fine-tuning large language models (LLMs) under black-box access with statistical guarantees. Our method builds digital \"marks\" using invisible Unicode characters organized into (\"cue\", \"reply\") pairs. During an audit, prompts containing only \"cue\" fragments are issued to trigger regurgitation of the corresponding \"reply\", indicating document usage. To control false positives, we compare against held-out counterfactual marks and apply a ranking test, yielding a verifiable bound on the false positive rate. The approach is minimally invasive, scalable across many sources, robust to standard processing pipelines, and achieves high detection power even when marked data is a small fraction of the fine-tuning corpus.
","absKo":"우리는 black-box access 하에서 통계적 보장을 갖고 fine-tuning large language model (LLM)에 사용된 민감하거나 저작권이 있는 text를 탐지하기 위해 이를 표시하는 시스템을 제안한다. 우리의 방법은 보이지 않는 Unicode character를 사용해 (\"cue\", \"reply\") pair로 구성된 디지털 \"mark\"를 만든다. audit 동안에는 \"cue\" fragment만 포함한 prompt를 입력하여 대응하는 \"reply\"의 regurgitation을 유도하고, 이를 통해 문서 사용 여부를 식별한다. false positive를 제어하기 위해 우리는 held-out counterfactual mark와 비교하고 ranking test를 적용하여, false positive rate에 대한 검증 가능한 bound를 얻는다. 이 접근법은 침습성이 낮고, 여러 source에 대해 확장 가능하며, standard processing pipeline에 강건하고, marked data가 fine-tuning corpus의 작은 비율일 때도 높은 detection power를 달성한다.
"},{"id":"63700","en":"Rashomon Sets of Falling Trees","ko":"떨어지는 트리의 Rashomon 집합","authors":"Varun Babbar, Zachery Boner, Margo Seltzer, Cynthia Rudin","pos":"#3200","link":"https://openreview.net/forum?id=UWLHtRaVHp","abs":"Many real-world decisions require prioritizing high-risk cases, such as clinicians prioritizing high-risk patients before lower-risk ones. Falling rule lists (FRLs), which are ordered if--then rules with monotonically decreasing risks, provide an interpretable framework for such tasks; however, their single-path structure yields a highly restricted model class. We introduce falling trees, a new family of interpretable models that enforces the same monotonic risk constraint while permitting tree-structured branching. We present GraviTree, a novel dynamic-programming-with-bounds algorithm for learning the Rashomon set of falling trees under depth and branching constraints, together with bounds that use the falling constraint to provably reduce the search space. Our formulation can interpolate between rule lists and full decision trees, enabling user-desired model expressivity. Across clinical and public-risk datasets, falling trees match or outperform FRLs and other interpretable baselines, often producing lower-sparsity decisions for high-risk instances. Our results show that falling trees strike a practical balance between interpretability, expressiveness, and risk prioritization for high-stakes settings.
","absKo":"많은 실제 의사결정은 고위험 사례를 우선순위로 처리해야 한다. 예를 들어 임상의가 저위험 환자보다 고위험 환자를 먼저 우선시하는 경우가 그렇다. Falling rule list(FRL)는 monotonically decreasing risk를 갖는 ordered if--then rule로서 이러한 작업에 대한 interpretable framework를 제공하지만, single-path 구조 때문에 모델 클래스가 매우 제한적이다. 우리는 tree-structured branching을 허용하면서도 동일한 monotonic risk constraint를 강제하는 새로운 interpretable model family인 falling tree를 제안한다. 우리는 depth와 branching constraint 하에서 falling tree의 Rashomon set을 학습하기 위한 novel dynamic-programming-with-bounds 알고리즘인 GraviTree를 제시하고, falling constraint를 활용해 search space를 provably 줄이는 bound도 함께 제시한다. 우리의 formulation은 rule list와 full decision tree 사이를 보간할 수 있어, 사용자가 원하는 model expressivity를 가능하게 한다. clinical 및 public-risk dataset 전반에서 falling tree는 FRL 및 다른 interpretable baseline과 비슷하거나 더 나은 성능을 보였고, 종종 high-risk instance에 대해 더 낮은 sparsity의 decision을 생성했다. 우리의 결과는 falling tree가 high-stakes setting에서 interpretability, expressiveness, risk prioritization 사이의 practical balance를 제공함을 보여 준다."},{"id":"61336","en":"RouterInterp: Understanding Superposed Specialisation in Mixture of Experts Routing","ko":"RouterInterp: Mixture of Experts Routing에서 중첩된 전문화 이해하기","authors":"Ilya Lasy, Nora Cai, Kola Ayonrinde","pos":"#3202","link":"https://openreview.net/forum?id=rDNCWfRd69","abs":"Sparse Mixture of Experts (MoE) models scale more efficiently than dense models by routing tokens to modular expert networks that are only active when relevant to the task. A leading hypothesis for the performance of MoE models is that each expert specialises in a single, coherent domain. However, interpretability efforts that assume this hypothesis have generally been unsuccessful. We propose and present evidence for an alternative account that we call the Superposed Specialisation Hypothesis (SSH): experts specialise in a disjoint union of fine-grained features rather than one broad domain. Leveraging the SSH, we introduce RouterInterp, a method for interpreting expert routing that identifies Sparse Autoencoder features most predictive of routing decisions and produces unified natural language explanations. On gpt-oss-20b, explanations from RouterInterp predict expert routing with 77% higher accuracy than prior methods. This work provides a scalable method for generating concise and more accurate explanations of expert routing and increases our understanding of a previously uninterpretable component of foundation models.
","absKo":"Sparse Mixture of Experts (MoE) 모델은 토큰을 작업과 관련 있을 때만 활성화되는 모듈형 expert network로 라우팅함으로써 dense 모델보다 더 효율적으로 확장된다. MoE 모델 성능에 대한 선도적인 가설은 각 expert가 하나의 일관된 도메인에 특화된다는 것이다. 그러나 이 가설을 전제로 한 interpretability 연구는 대체로 성공적이지 못했다. 우리는 Superposed Specialisation Hypothesis (SSH)라고 부르는 대안적 설명을 제안하고 그에 대한 증거를 제시한다. 즉, expert는 하나의 넓은 도메인에 특화되기보다는 세분화된 feature들의 서로소 합집합에 특화된다는 것이다. SSH를 활용하여 우리는 expert routing을 해석하는 방법인 RouterInterp를 소개한다. 이 방법은 routing decision을 가장 잘 예측하는 Sparse Autoencoder feature를 식별하고 통합된 자연어 설명을 생성한다. gpt-oss-20b에서 RouterInterp의 설명은 기존 방법보다 expert routing을 77% 더 높은 정확도로 예측한다. 이 연구는 expert routing에 대한 간결하고 더 정확한 설명을 생성하는 확장 가능한 방법을 제공하며, foundation model의 이전에는 해석 불가능했던 구성 요소에 대한 이해를 높인다.
"},{"id":"63749","en":"Sparse Relaxed-Lasso Steering: Automatic Sparse-Autoencoder Feature Selection for Precise Image Editing","ko":"Sparse Relaxed-Lasso Steering: 정밀 이미지 편집을 위한 Automatic Sparse-Autoencoder 특징 선택","authors":"Zongxin Liu, Xiaoyong Xue, Sun Weidi, Shengchao Qin, Lijun Zhang","pos":"#3203","link":"https://openreview.net/forum?id=U4U77OLsy1","abs":"Precise, training-free editing of text-to-image diffusion models requires balancing alignment (faithful attribute manifestation), consistency (preserving non-target content), and quality (artifact-free textures). Sparse autoencoder (SAE) steering offers interpretable, smooth ``slider-like'' control by manipulating SAE feature activations derived from the text encoder; however, existing approaches rely on heuristic feature selection and manual tuning of the steering strength, leading to suboptimal trade-offs among the three objectives. We propose Sparse Relaxed-Lasso Steering (SRLS), which casts steering-vector discovery as a convex sparse recovery problem. Exploiting the affine structure of the SAE decoder, SRLS automatically identifies sparse, generalizable support sets via a Lasso objective, and then debiases the coefficients using support-restricted ridge regression. We further select the optimal steering strength using Bayesian optimization. Experiments across diverse attributes and subjects show that SRLS generally improves over other methods, yielding a better balance among alignment, consistency, and quality.
","absKo":"text-to-image diffusion model을 정밀하고 training-free하게 편집하려면 alignment(속성의 충실한 발현), consistency(비대상 콘텐츠 보존), quality(artifact 없는 texture) 사이의 균형이 필요하다. Sparse autoencoder(SAE) steering은 text encoder에서 유도된 SAE feature activation을 조작함으로써 해석 가능하고 부드러운 ``slider-like'' 제어를 제공하지만, 기존 접근은 heuristic feature selection과 steering strength의 수동 조정에 의존하여 세 가지 목표 사이의 trade-off가 최적이 아니게 된다. 우리는 steering-vector discovery를 convex sparse recovery problem으로 정식화한 Sparse Relaxed-Lasso Steering(SRLS)를 제안한다. SAE decoder의 affine structure를 활용하여, SRLS는 Lasso objective를 통해 sparse하고 일반화 가능한 support set을 자동으로 식별한 뒤, support-restricted ridge regression으로 coefficient를 de-bias한다. 또한 Bayesian optimization을 사용해 최적의 steering strength를 선택한다. 다양한 attribute와 subject에 대한 실험에서 SRLS는 전반적으로 다른 방법보다 우수하며, alignment, consistency, quality 사이에서 더 나은 균형을 제공한다.
"},{"id":"61348","en":"Steering at the Source: Style Modulation Heads for Robust Persona Control","ko":"근원에서 Steering하기: 강건한 Persona Control을 위한 Style Modulation Head","authors":"Yoshihiro Izawa, Gouki Minegishi, Koshi Eguchi, Sosuke Hosokawa, Kenjiro Taura","pos":"#3204","link":"https://openreview.net/forum?id=r6EuKr1hq4","abs":"Activation steering offers a computationally efficient mechanism for controlling Large Language Models (LLMs) without fine-tuning. While effectively controlling target traits (e.g., persona), coherency degradation remains a major obstacle to safety and practical deployment. We hypothesize that this degradation stems from intervening on the residual stream, which indiscriminately affects aggregated features and inadvertently amplifies off-target noise. In this work, we identify a sparse subset of attention heads (only three heads) that independently govern persona and style formation, which we term Style Modulation Heads. Specifically, these heads can be localized via geometric analysis of internal representations, combining layer-wise cosine similarity and head-wise contribution scores. We demonstrate that intervention targeting only these specific heads achieves robust behavioral control while significantly mitigating the coherency degradation observed in residual stream steering. More broadly, our findings show that precise, component-level localization enables safer and more precise model control.
","absKo":"Activation steering은 fine-tuning 없이 Large Language Models (LLMs)를 제어할 수 있는 계산적으로 효율적인 메커니즘을 제공한다. target trait(예: persona)을 효과적으로 제어할 수 있지만, coherency 저하는 safety와 실용적 배포를 가로막는 주요 장애물로 남아 있다. 우리는 이러한 저하가 residual stream에 개입함으로써 발생한다고 가정한다. residual stream 개입은 집계된 feature에 무차별적으로 영향을 미치고 의도치 않게 off-target noise를 증폭시키기 때문이다. 이 연구에서 우리는 persona와 style 형성을 독립적으로 관장하는 sparse한 attention head 부분집합, 단 세 개의 head를 식별했으며, 이를 Style Modulation Heads라고 부른다. 구체적으로, 이 head들은 layer-wise cosine similarity와 head-wise contribution score를 결합한 internal representation의 geometric analysis를 통해 위치를 특정할 수 있다. 우리는 이 특정 head만을 대상으로 한 개입이 residual stream steering에서 관찰되는 coherency 저하를 크게 완화하면서도 견고한 behavioral control을 달성함을 보인다. 더 넓게는, 우리의 결과는 정밀한 component-level localization이 더 안전하고 더 정교한 model control을 가능하게 함을 보여준다.
"},{"id":"60505","en":"Target-Agnostic Calibration under Distribution Shift with Frequency-Aware Gradient Rectification","ko":"Distribution Shift에서 Frequency-Aware Gradient Rectification을 활용한 Target-Agnostic Calibration","authors":"Yilin Zhang, Cai Xu, You Wu, Ziyu Guan, Wei Zhao","pos":"#3205","link":"https://openreview.net/forum?id=zYeCwBTtVt","abs":"Real-world deployments inevitably encounter distribution shifts, rendering the confidence estimates of deep neural networks highly unreliable, posing severe risks in safety-critical applications. Existing methods improve calibration via training-time regularization or post-hoc adjustment, but often rely on access to (or simulation of) target domains, limiting practicality. We propose Frequency-aware Gradient Rectification (FGR), a target-agnostic training framework for robust calibration. From a frequency perspective, FGR applies low-pass filtering to a subset of training images to diminish spurious high-frequency cues and encourage the learning of domain-invariant features. However, the associated information loss can degrade In-Distribution (ID) calibration. To resolve this trade-off, FGR treats ID calibration as a hard constraint and rectifies conflicting parameter updates via geometric projection. This ensures a first-order non-increase in the ID calibration objective without introducing additional weighting hyperparameters. Extensive experiments on synthetic, real-world, and semantic shift datasets demonstrate that FGR significantly improves calibration under diverse shifts while preserving ID performance, and it remains compatible with post-hoc calibration methods.
","absKo":"실제 배포 환경에서는 필연적으로 distribution shift가 발생하며, 이로 인해 deep neural network의 confidence estimate는 매우 신뢰하기 어려워지고, safety-critical application에서 심각한 위험을 초래한다. 기존 방법들은 training-time regularization 또는 post-hoc adjustment를 통해 calibration을 개선하지만, 종종 target domain에 대한 접근(혹은 시뮬레이션)에 의존하므로 실용성이 제한된다. 우리는 견고한 calibration을 위한 target-agnostic training framework인 Frequency-aware Gradient Rectification(FGR)을 제안한다. frequency 관점에서 FGR은 training image의 일부에 low-pass filtering을 적용하여 불필요한 high-frequency cue를 약화시키고 domain-invariant feature 학습을 유도한다. 그러나 이에 따른 정보 손실은 In-Distribution(ID) calibration을 저하시킬 수 있다. 이 trade-off를 해결하기 위해, FGR은 ID calibration을 hard constraint로 취급하고 기하학적 projection을 통해 상충하는 parameter update를 rectification한다. 이는 추가적인 weighting hyperparameter를 도입하지 않으면서도 ID calibration objective의 first-order non-increase를 보장한다. synthetic, real-world, semantic shift dataset 전반에 대한 대규모 실험은 FGR이 다양한 shift 하에서 calibration을 크게 개선하면서 ID 성능을 보존하고, post-hoc calibration method와도 호환됨을 보여준다.
"},{"id":"61679","en":"The Expert Strikes Back: Interpreting Mixture-of-Experts Language Models at Expert Level","ko":"전문가의 역습: Expert 수준에서 Mixture-of-Experts Language Model 해석하기","authors":"Jeremy Herbst, Jae Hee Lee, Stefan Wermter","pos":"#3206","link":"https://openreview.net/forum?id=npMOaMWWrW","abs":"Mixture-of-Experts (MoE) architectures have become the dominant choice for scaling Large Language Models (LLMs), activating only a subset of parameters per token. While primarily adopted for computational efficiency, it remains an open question whether their sparsity makes them inherently easier to interpret than dense feed-forward networks (FFNs). We compare MoE experts and dense FFNs using $k$-sparse probing and find that expert neurons are consistently less polysemantic, with the gap widening as routing becomes sparser. This suggests that sparsity pressures both individual neurons and entire experts toward monosemanticity. Leveraging this finding, we *\"zoom out\"* from the neuron to the expert level as a more effective unit of analysis. We validate this approach by automatically interpreting hundreds of experts. This analysis allows us to resolve the debate on specialization: experts are neither broad domain specialists (e.g., biology) nor simple token-level processors. Instead, they function as fine-grained task experts, specializing in linguistic operations or semantic tasks (e.g., retrieving specific bioinformatics software tools). Our findings suggest that MoEs are inherently interpretable at the expert level, providing a clearer path toward large-scale model interpretability.","absKo":"Mixture-of-Experts(MoE) architecture는 Large Language Models(LLMs)를 확장하는 데 있어 지배적인 선택이 되었으며, token마다 파라미터의 일부만 활성화한다. 주로 계산 효율성을 위해 채택되었지만, 이러한 sparsity가 dense feed-forward networks(FFNs)보다 본질적으로 더 해석하기 쉬운지 여부는 여전히 열린 질문이다. 우리는 MoE expert와 dense FFN을 k-sparse probing으로 비교한 결과, expert neuron이 일관되게 덜 polysemantic하며, routing이 더 sparse해질수록 그 격차가 더 커진다는 사실을 발견했다. 이는 sparsity가 개별 neuron뿐 아니라 전체 expert를 monosemanticity 쪽으로 압박함을 시사한다. 이러한 발견을 바탕으로, 우리는 분석 단위를 neuron에서 expert 수준으로 “zoom out”하는 것이 더 효과적이라고 본다. 수백 개의 expert를 자동으로 해석함으로써 이 접근법을 검증했다. 이 분석을 통해 specialization에 관한 논쟁도 정리할 수 있었다. expert는 biology와 같은 넓은 domain specialist도 아니고 단순한 token-level processor도 아니다. 대신 이들은 language operation이나 semantic task에 특화된 세밀한 task expert로 기능하며, 예를 들어 특정 bioinformatics software tool을 검색하는 작업에 특화된다. 우리의 결과는 MoE가 expert 수준에서 본질적으로 interpretable하다는 점을 시사하며, 대규모 model interpretability로 가는 더 명확한 경로를 제공한다."},{"id":"66115","en":"Query Lens: Interpreting Sparse Key-Value Features with Indirect Effects","ko":"Query Lens: 간접 효과를 통해 희소 Key-Value 특징 해석하기","authors":"Hwiyeong Lee, Ingyu Bang, Uiji Hwang, Hyelim Lim, Taeuk Kim","pos":"#3300","link":"https://openreview.net/forum?id=6t9xJWFjkq","abs":"While sparse autoencoders yield features easier to study than individual neurons, their reliable interpretation remains challenging. We propose Query Lens, which extends Logit Lens to provide more comprehensive and faithful interpretations of sparse features. By jointly considering encoder-side key features and decoder-side value features, we characterize both the inputs that activate a feature and the outputs it promotes. We also account for indirect, module-mediated effects that arise when the feature is processed by downstream modules, going beyond the direct effect captured by Logit Lens. In experiments, we find that Query Lens yields coherent token signatures for features that were previously uninterpretable under Logit Lens. Finally, we propose the Subspace Channel Hypothesis, suggesting that downstream modules read features through layer-specific subspaces.
","absKo":"Sparse autoencoder는 개별 neuron보다 더 쉽게 연구할 수 있는 feature를 제공하지만, 그 신뢰할 수 있는 해석은 여전히 어렵다. 우리는 Logit Lens를 확장하여 sparse feature에 대해 더 포괄적이고 충실한 해석을 제공하는 Query Lens를 제안한다. encoder 측 key feature와 decoder 측 value feature를 함께 고려함으로써, 우리는 feature를 활성화하는 입력과 feature가 촉진하는 출력을 모두 특징지을 수 있다. 또한, feature가 downstream module에 의해 처리될 때 발생하는 간접적이고 module-mediated된 효과도 반영하여, Logit Lens가 포착하는 직접 효과를 넘어서고자 한다. 실험에서 우리는 Query Lens가 이전에는 Logit Lens로 해석이 어려웠던 feature들에 대해 일관된 token signature를 산출함을 확인한다. 마지막으로, downstream module이 layer-specific subspace를 통해 feature를 읽어들인다고 제안하는 Subspace Channel Hypothesis를 제시한다.
"},{"id":"62354","en":"Provably Adaptive Linear Approximation for the Shapley Value and Beyond","ko":"Shapley Value와 그 너머를 위한 증명된 적응형 선형 근사","authors":"Weida Li, Yaoliang Yu, Bryan Kian Hsiang Low","pos":"#3301","link":"https://openreview.net/forum?id=hMTCuqjCW8","abs":"The Shapley value, and its broader family of semi-values, has received much attention in various attribution problems. A fundamental and long-standing challenge is their efficient approximation, since exact computation generally requires an exponential number of utility queries in the number of players $n$. To meet the challenges of large-scale applications, we explore the limits of efficiently approximating semi-values under a $\\Theta(n)$ space constraint. Building upon a vector concentration inequality, we establish a theoretical framework that enables sharper asymptotic query complexities for existing unbiased randomized algorithms. Within this framework, we systematically develop a linear-space algorithm that requires $O(\\frac{n}{\\epsilon^{2}}\\log\\frac{1}{\\delta})$ utility queries to ensure $P(\\\\|\\hat{\\boldsymbol\\phi}-\\boldsymbol\\phi\\\\|\\_{2}\\geq\\epsilon)\\leq \\delta$ for all commonly used semi-values. In particular, our framework naturally bridges OFA, unbiased kernelSHAP, SHAP-IQ and the regression-adjusted approach, and definitively characterizes when paired sampling is beneficial. Moreover, our algorithm allows explicit minimization of the approximation variance $\\mathbb{E}[\\\\|\\hat{\\boldsymbol\\phi}-\\boldsymbol\\phi\\\\|_{2}^{2}]$ for each specific utility function. Accordingly, we introduce the first adaptive, linear-time, linear-space randomized algorithm, Adalina, that theoretically achieves improved approximation variance. All of our theoretical findings are experimentally validated.","absKo":"Shapley value와 그보다 더 넓은 계열인 semi-value는 다양한 attribution 문제에서 큰 주목을 받아왔다. 근본적이면서도 오랫동안 지속된 도전 과제는 이를 효율적으로 근사하는 일인데, 정확한 계산은 일반적으로 플레이어 수 $n$에 대해 지수 개수의 utility query를 요구한다. 대규모 응용의 요구를 충족하기 위해, 우리는 $\\Theta(n)$ 공간 제약 하에서 semi-value를 효율적으로 근사하는 한계를 탐구한다. vector concentration inequality에 기반하여, 우리는 기존 unbiased randomized algorithm에 대해 더 날카로운 비점근적 query complexity를 가능하게 하는 이론적 틀을 확립한다. 이 틀 안에서, 우리는 널리 사용되는 모든 semi-value에 대해 $P(\\\\|\\hat{\\boldsymbol\\phi}-\\boldsymbol\\phi\\\\|\\_{2}\\geq\\epsilon)\\leq \\delta$를 보장하기 위해 $O(\\frac{n}{\\epsilon^{2}}\\log\\frac{1}{\\delta})$개의 utility query를 요구하는 linear-space algorithm을 체계적으로 개발한다. 특히, 우리의 프레임워크는 OFA, unbiased kernelSHAP, SHAP-IQ, 그리고 regression-adjusted approach를 자연스럽게 연결하며, paired sampling이 언제 유리한지를 명확히 규정한다. 더 나아가, 우리의 알고리즘은 각 특정 utility function에 대해 approximation variance $\\mathbb{E}[\\\\|\\hat{\\boldsymbol\\phi}-\\boldsymbol\\phi\\\\|_{2}^{2}]$를 명시적으로 최소화할 수 있게 한다. 이에 따라, 우리는 향상된 approximation variance를 이론적으로 달성하는 첫 번째 adaptive, linear-time, linear-space randomized algorithm인 Adalina를 제안한다. 우리의 모든 이론적 결과는 실험적으로 검증되었다."},{"id":"61041","en":"Priority-Aware Shapley Value","ko":"우선순위 인식 Shapley Value","authors":"Kiljae Lee, Ziqi Liu, Weijing Tang, Yuan Zhang","pos":"#3302","link":"https://openreview.net/forum?id=uG4IOdaAGk","abs":"Shapley values are widely used for model-agnostic data valuation and feature attribution, yet they implicitly assume contributors are interchangeable. This can be problematic when contributors are dependent (e.g., reused/augmented data or causal feature orderings) or when contributions should be adjusted by factors such as trust or risk. We propose Priority-Aware Shapley Value (PASV), which incorporates both hard precedence constraints and soft, contributor-specific priority weights. PASV is applicable to general precedence structures, recovers precedence-only and weight-only Shapley variants as special cases, and is uniquely characterized by natural axioms. We develop an efficient adjacent-swap Metropolis–Hastings sampler for scalable Monte Carlo estimation and analyze limiting regimes induced by extreme priority weights. Experiments on data valuation (MNIST/CIFAR10) and feature attribution (Census Income) demonstrate more structure-faithful allocations and a practical sensitivity analysis via our proposed ``priority sweeping\".
","absKo":"Shapley value는 model-agnostic data valuation과 feature attribution에 널리 사용되지만, 기여자들이 상호 교환 가능하다고 암묵적으로 가정한다. 이는 기여자들이 종속적일 때(예: 재사용/증강된 데이터 또는 causal feature ordering)나, 신뢰 또는 위험 같은 요인에 따라 기여를 조정해야 할 때 문제가 될 수 있다. 우리는 hard precedence constraint와 contributor-specific priority weight를 모두 통합하는 Priority-Aware Shapley Value(PASV)를 제안한다. PASV는 일반적인 precedence structure에 적용 가능하며, precedence-only 및 weight-only Shapley 변형을 특수한 경우로 회수하고, 자연스러운 공리들에 의해 유일하게 특징지어진다. 우리는 scalable Monte Carlo estimation을 위한 효율적인 adjacent-swap Metropolis–Hastings sampler를 개발하고, 극단적인 priority weight가 유도하는 limiting regime을 분석한다. data valuation(MNIST/CIFAR10)과 feature attribution(Census Income) 실험은 보다 구조를 충실히 반영한 allocation과, 우리가 제안한 ``priority sweeping''을 통한 실용적인 sensitivity analysis를 보여준다.
"},{"id":"63444","en":"PolySAE: Modeling Feature Interactions in Sparse Autoencoders via Polynomial Decoding","ko":"PolySAE: 다항 디코딩을 통한 Sparse Autoencoder에서 특징 상호작용 모델링","authors":"Panagiotis Koromilas, Andreas Demou, James Oldfield, Yannis Panagakis, Mihalis Nicolaou","pos":"#3306","link":"https://openreview.net/forum?id=XAhDgsYn3a","abs":"Sparse autoencoders (SAEs) have emerged as a promising method for interpreting neural network representations by decomposing activations into sparse combinations of dictionary atoms. However, SAEs assume that features combine additively through linear reconstruction, an assumption that cannot capture compositional structure: linear models cannot distinguish whether \"Starbucks\" arises from the composition of \"star\" and \"coffee\" features or merely their co-occurrence. This forces SAEs to allocate monolithic features for compound concepts rather than decomposing them into interpretable constituents. We introduce PolySAE, which extends the SAE decoder with higher-order terms to model feature interactions while preserving the linear encoder essential for interpretability. Through low-rank tensor factorization on a shared projection subspace, PolySAE captures pairwise and triple feature interactions with small parameter overhead (3\\% on GPT2). Across four language models and three SAE variants, PolySAE achieves an average improvement of approximately 8\\% in probing F1 while maintaining comparable reconstruction error, and produces 2-10$\\times$ larger Wasserstein distances between class-conditional feature distributions. Critically, learned interaction weights exhibit negligible correlation with co-occurrence frequency ($r = 0.06$ vs. $r = 0.82$ for SAE feature covariance), suggesting that polynomial terms capture compositional structure, such as morphological binding and phrasal composition, largely independent of surface statistics.","absKo":"Sparse autoencoders (SAEs)는 activation을 dictionary atom의 sparse combination으로 분해함으로써 신경망 표현을 해석하는 유망한 방법으로 부상했다. 그러나 SAEs는 feature가 선형 reconstruction을 통해 가산적으로 결합된다고 가정하는데, 이 가정은 compositional structure를 포착하지 못한다. 예를 들어, 선형 모델은 \"Starbucks\"가 \"star\"와 \"coffee\" feature의 결합에서 비롯된 것인지, 아니면 단순히 이들의 동시 발생인지 구분할 수 없다. 이로 인해 SAEs는 복합 개념을 해석 가능한 constituent로 분해하기보다, 이를 위해 monolithic feature를 할당하게 된다. 우리는 SAE decoder를 higher-order term으로 확장하여 feature interaction을 모델링하면서도 해석 가능성에 필수적인 linear encoder는 유지하는 PolySAE를 도입한다. 공유 projection subspace에서의 low-rank tensor factorization을 통해, PolySAE는 작은 parameter 오버헤드(GPT2에서 3\\%)로 pairwise 및 triple feature interaction을 포착한다. 4개의 language model과 3개의 SAE variant 전반에서, PolySAE는 reconstruction error를 비슷하게 유지하면서 probing F1을 평균 약 8\\% 향상시키고, class-conditional feature distribution 간 Wasserstein distance를 2-10$\\times$ 더 크게 만든다. 특히 학습된 interaction weight는 co-occurrence frequency와 거의 상관이 없었으며($r = 0.06$, SAE feature covariance의 경우 $r = 0.82$), 이는 polynomial term이 표면 통계와 대체로 무관하게 형태소 결합과 구문 결합 같은 compositional structure를 포착함을 시사한다."},{"id":"65472","en":"Optimal Transport Group Counterfactual Explanations","ko":"Optimal Transport 그룹 반사실적 설명","authors":"Enrique Valero-Leal, Bernd Bischl, Pedro Larrañaga, Concha Bielza, Giuseppe Casalicchio","pos":"#3307","link":"https://openreview.net/forum?id=DIWkLvYXuP","abs":"Group counterfactual explanations find a set of counterfactual instances to explain a group of input instances contrastively. However, existing methods either (i) optimize counterfactuals only for a fixed group and do not generalize to new group members, (ii) strictly rely on strong model assumptions (e.g., linearity) for tractability or/and (iii) poorly control the counterfactual group geometry distortion. We instead learn an explicit optimal transport map that sends any group instance to its counterfactual without re-optimization, minimizing the group's total transport cost. This enables generalization with fewer parameters, making it easier to interpret the common actionable recourse. For linear classifiers, we prove that functions representing group counterfactuals are derived via mathematical optimization, identifying the underlying convex optimization type (QP, QCQP, ...). Experiments show that they accurately generalize, preserve group geometry and incur only negligible additional transport cost compared to baseline methods. If model linearity cannot be exploited, our approach also significantly outperforms the baselines.
","absKo":"Group counterfactual explanation은 입력 instance들의 그룹을 contrastive하게 설명하기 위해 counterfactual instance 집합을 찾는다. 그러나 기존 방법들은 (i) 고정된 그룹에 대해서만 counterfactual을 최적화하고 새로운 그룹 멤버로 일반화하지 못하거나, (ii) tractability를 위해 강한 model assumption(예: linearity)에 엄격히 의존하거나, 또는 (iii) counterfactual group geometry distortion을 제대로 제어하지 못한다. 우리는 대신 재최적화 없이 어떤 group instance든 그 counterfactual로 보내는 explicit optimal transport map을 학습하여, 그룹의 total transport cost를 최소화한다. 이는 더 적은 파라미터로 일반화를 가능하게 하여, 공통적으로 실행 가능한 recourse를 더 쉽게 해석할 수 있게 한다. linear classifier의 경우, group counterfactual을 나타내는 함수가 수학적 최적화를 통해 도출됨을 증명하고, 그 이면의 convex optimization type(QP, QCQP, ...)을 식별한다. 실험 결과, 제안 방법은 정확하게 일반화되고 group geometry를 보존하며, baseline 방법에 비해 추가적인 transport cost도 무시할 수 있는 수준만 발생시킨다. model linearity를 활용할 수 없더라도, 우리의 접근법은 baseline을 크게 능가한다.
"},{"id":"62252","en":"MAnchors: Memorization-Based Acceleration of Anchors via Rule Reuse and Transformation","ko":"MAnchors: 규칙 재사용과 변환을 통한 Memorization 기반 Anchor 가속","authors":"Haonan Yu, Junhao Liu, Xin Zhang","pos":"#3308","link":"https://openreview.net/forum?id=iJmqu7GMRq","abs":"Anchors is a popular local model-agnostic explanation technique whose applicability is limited by its computational inefficiency. To address this limitation, we propose a memorization-based framework that accelerates Anchors while preserving explanation fidelity and understandability. Our approach leverages the iterative nature of Anchors' algorithm which gradually refines an explanation until it is precise enough for a given input by storing and reusing intermediate results obtained during prior explanations. Specifically, we maintain a memory of low-precision, high-coverage rules and introduce a rule transformation framework to adapt them to new inputs: the horizontal transformation adapts a retrieved explanation to the current input by replacing features, and the vertical transformation refines the general explanation until it is precise enough for the input. We evaluate our method across tabular, text, and image datasets, demonstrating that it significantly reduces explanation generation time while maintaining fidelity and understandability, thereby enabling the practical adoption of Anchors in time-sensitive applications.
","absKo":"Anchors는 널리 쓰이는 local model-agnostic explanation 기법이지만, 계산 비효율성 때문에 적용 범위가 제한된다. 이 한계를 해결하기 위해, 우리는 설명 충실도와 이해가능성을 유지하면서 Anchors를 가속하는 memorization-based 프레임워크를 제안한다. 우리의 접근법은 Anchors 알고리즘의 반복적 특성을 활용하는데, 이는 주어진 입력에 대해 충분히 정확해질 때까지 설명을 점진적으로 정제한다. 우리는 이전 설명에서 얻은 중간 결과를 저장하고 재사용한다. 구체적으로, 낮은 precision과 높은 coverage를 가진 rule의 memory를 유지하고, 이를 새로운 입력에 적응시키기 위한 rule transformation 프레임워크를 도입한다. horizontal transformation은 feature를 치환함으로써 검색된 설명을 현재 입력에 맞게 조정하고, vertical transformation은 해당 입력에 대해 충분히 정확해질 때까지 일반적인 설명을 정제한다. 우리는 tabular, text, image dataset 전반에서 이 방법을 평가했으며, 설명 생성 시간을 크게 줄이면서도 fidelity와 understandability를 유지함을 보였다. 이를 통해 time-sensitive application에서 Anchors를 실용적으로 채택할 수 있다.
"},{"id":"61123","en":"Ensembling Sparse Autoencoders","ko":"Sparse Autoencoder 앙상블","authors":"Soham Gadgil, Chris Lin, Su-In Lee","pos":"#3311","link":"https://openreview.net/forum?id=tS5raDg2xX","abs":"Sparse autoencoders (SAEs) are used to decompose neural network activations into human-interpretable features. Typically, features learned by a single SAE are used for downstream applications. However, it has recently been shown that a single SAE captures only a limited subset of features that can be extracted from the activation space. Motivated by this limitation, we introduce and formalize SAE ensembles. Furthermore, we propose to ensemble multiple SAEs through naive bagging and boosting. In naive bagging, SAEs trained with different weight initializations are ensembled, whereas in boosting SAEs sequentially trained to minimize the residual error are ensembled. Theoretically, naive bagging and boosting are justified as approaches to reduce reconstruction error. Empirically, we evaluate our ensemble approaches with three settings of language models and SAE architectures. Our empirical results demonstrate that, compared to an expanded SAE that matches the number of features in the ensemble, ensembling SAEs improves the reconstruction of language model activations along with SAE stability. Additionally, on downstream tasks such as concept detection and spurious correlation removal, SAE ensembles achieve better performance, showing improved practical utility.
","absKo":"Sparse autoencoder(SAE)는 neural network activation을 사람이 해석할 수 있는 feature로 분해하는 데 사용된다. 일반적으로 단일 SAE가 학습한 feature는 downstream application에 사용된다. 그러나 최근 연구는 단일 SAE가 activation space에서 추출 가능한 feature의 제한된 부분집합만 포착한다는 점을 보였다. 이러한 한계에서 출발하여, 우리는 SAE ensemble을 도입하고 formalize한다. 더 나아가 우리는 naive bagging과 boosting을 통해 여러 SAE를 ensemble하는 방법을 제안한다. naive bagging에서는 서로 다른 weight initialization으로 학습된 SAE들을 ensemble하고, boosting에서는 residual error를 최소화하도록 순차적으로 학습된 SAE들을 ensemble한다. 이론적으로 naive bagging과 boosting은 reconstruction error를 줄이는 접근법으로 정당화된다. 경험적으로 우리는 language model과 SAE architecture의 세 가지 설정에서 우리의 ensemble 접근법을 평가한다. 실험 결과는 ensemble의 feature 수와 일치하도록 확장된 SAE와 비교할 때, SAE를 ensemble하는 것이 SAE stability와 함께 language model activation의 reconstruction을 개선함을 보여준다. 또한 concept detection과 spurious correlation removal 같은 downstream task에서 SAE ensemble은 더 나은 성능을 달성하여, 실용적 유용성이 향상됨을 보여준다.
"},{"id":"65593","en":"Enhancing Conformal Prediction via Class Similarity","ko":"클래스 유사도를 통한 Conformal Prediction 강화","authors":"Ariel Fargion, Lahav Dabah, Tom Tirer","pos":"#3312","link":"https://openreview.net/forum?id=C2rOTnYowg","abs":"Conformal Prediction (CP) has emerged as a powerful statistical framework for reliable classification, which generates a prediction set, guaranteed to include the true label with a pre-specified probability. The performance of CP methods is typically assessed by their average prediction set size. In setups where the classes can be partitioned into semantic groups, e.g., based on shared downstream actions or more interpretable coarse labels, users can benefit from prediction sets that are not only small but also contain a limited number of groups. This paper begins by addressing this problem and ultimately offers a widely applicable tool for boosting any CP method on any dataset. First, given a class partition, we propose augmenting the CP score function with a term that penalizes predictions with \"out-of-group\" errors. We theoretically analyze this strategy and prove its advantages for group-related metrics. Surprisingly, we show mathematically that, for common class partitions, it can also reduce the average set size of any CP score function. Our analysis reveals the class similarity factors behind this improvement and motivates us to propose a model-specific variant, which does not require any human semantic partition and can further reduce the prediction set size. Finally, we present an extensive empirical study, encompassing prominent CP methods, multiple models, and several datasets, which demonstrates that our class-similarity-based approach consistently enhances CP methods.
","absKo":"Conformal Prediction(CP)은 신뢰할 수 있는 분류를 위한 강력한 통계적 framework로 부상했으며, 사전에 정해진 확률로 true label을 포함하도록 보장되는 prediction set을 생성한다. CP 방법의 성능은 일반적으로 평균 prediction set 크기로 평가된다. class를 의미론적 group, 예를 들어 공유된 downstream action이나 더 해석 가능한 coarse label을 기준으로 분할할 수 있는 설정에서는, 사용자는 작을 뿐 아니라 제한된 수의 group만 포함하는 prediction set의 이점을 얻을 수 있다. 이 논문은 먼저 이 문제를 다루고, 궁극적으로는 어떤 dataset에서든 어떤 CP method에도 적용 가능한 보편적인 성능 향상 도구를 제시한다. 먼저 class partition이 주어졌을 때, 우리는 CP score function에 \"out-of-group\" error를 벌점으로 부과하는 term을 추가하는 방식을 제안한다. 우리는 이 전략을 이론적으로 분석하고 group 관련 metric에 대한 이점을 증명한다. 놀랍게도, 일반적인 class partition에 대해서는 이것이 어떤 CP score function의 평균 set size도 줄일 수 있음을 수학적으로 보인다. 우리의 분석은 이러한 향상의 배경이 되는 class similarity factor를 드러내며, 이를 바탕으로 human semantic partition이 전혀 필요 없고 prediction set size를 더 줄일 수 있는 model-specific variant를 제안한다. 마지막으로, 대표적인 CP method, 여러 model, 다양한 dataset을 포괄하는 광범위한 실증 연구를 제시하며, class similarity 기반 접근이 CP method를 일관되게 향상시킴을 보인다.
"},{"id":"65083","en":"Emergent Analogical Reasoning in Transformers","ko":"Transformer에서 창발하는 유추적 추론","authors":"Gouki Minegishi, Jingyuan Feng, Hiroki Furuta, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo","pos":"#3313","link":"https://openreview.net/forum?id=GxTkgMBiz8","abs":"Analogy is a central faculty of human intelligence, enabling abstract patterns discovered in one domain to be applied to another. However, the mechanisms underlying analogical reasoning in Transformers remain poorly understood. In this work, inspired by the notion of functors in category theory, we formalize analogical reasoning as the inference of correspondences between entities across categories. Based on this formulation, we introduce synthetic tasks that evaluate the emergence of analogical reasoning under controlled settings. We find that the emergence of analogical reasoning is highly sensitive to data characteristics, optimization choices, and model scale. Through mechanistic analysis, we show that analogical reasoning in Transformers decomposes into two key components: (1) geometric alignment of relational structure in the embedding space, and (2) the application of a functor within the Transformer. These mechanisms enable models to transfer relational structure from one category to another, realizing analogy. Finally, we quantify these effects and find that the same trends are observed in pretrained LLMs. In doing so, we move analogy from an abstract cognitive notion to a concrete, mechanistically grounded phenomenon in modern neural networks.
","absKo":"유비는 인간 지능의 핵심 능력으로, 한 도메인에서 발견한 추상적 패턴을 다른 도메인에 적용할 수 있게 한다. 그러나 Transformers에서 analogical reasoning을 뒷받침하는 메커니즘은 아직 충분히 이해되지 않았다. 본 연구에서는 category theory의 functor 개념에서 영감을 받아, analogical reasoning을 범주 간 entity들 사이의 대응 관계를 추론하는 문제로 formalize한다. 이 formulation을 바탕으로, 우리는 통제된 설정에서 analogical reasoning의 emergence를 평가하는 synthetic task를 도입한다. 그 결과, analogical reasoning의 emergence는 데이터 특성, optimization 선택, 모델 규모에 매우 민감함을 확인한다. mechanistic analysis를 통해, Transformers에서의 analogical reasoning은 두 가지 핵심 구성요소로 분해됨을 보인다: (1) embedding space에서 relational structure의 geometric alignment, 그리고 (2) Transformer 내부에서의 functor 적용이다. 이러한 메커니즘은 모델이 한 범주의 relational structure를 다른 범주로 전이하여 analogy를 실현하도록 만든다. 마지막으로, 우리는 이러한 효과를 정량화하고 pretrained LLMs에서도 동일한 경향이 관찰됨을 확인한다. 이를 통해 우리는 analogy를 추상적인 인지 개념에서 현대 neural network의 구체적이고 mechanistic하게 토대가 마련된 현상으로 이동시킨다.
"},{"id":"62367","en":"Deep neural networks divide and conquer dihedral multiplication","ko":"심층 신경망이 dihedral 곱셈을 분할 정복하다","authors":"Sihui Wei, Gavin McCracken, Gabriela Moisescu-Pareja, Harley Wiltzer, Doina Precup, Irina Rish, Jonathan Love","pos":"#3315","link":"https://openreview.net/forum?id=hFmWsd2m6w","abs":"We find multilayer perceptrons and transformers both universally learn an instantiation of the same divide-and-conquer algorithm that requires only a logarithmic number of neural representations to solve dihedral multiplication. Clustering neurons based on similar activation behaviour reveals remarkably clear structure: each neural representation corresponds to a Cayley graph. To our knowledge, this is the first work that fully characterizes and describes all neural representations that are learnable on a dataset, while prior work on group multiplications studied neuron-level behavior, or preliminarily investigated cluster behavior. Thus, we can understand the algorithm networks universally learn at three levels of abstraction: 1) Neurons activate on coset or approximate coset structure of the dihedral group. 2) Groups of neurons together form neural representations that act to divide the dataset into different subproblems, being Cayley graphs, where the equivalence class of the answer is computed. 3) The global algorithm then linearly combines each neural representation (subproblem) together at the logits. This work provides a deep case study and provides the community with a very well understood toy model for interpretability, as well as makes steps toward proving the conjecture that DNNs will divide and conquer all group multiplication tasks.
","absKo":"우리는 multilayer perceptron과 transformer가 모두 dihedral multiplication을 해결하는 데 로그 개수의 neural representation만을 필요로 하는 동일한 divide-and-conquer algorithm의 instantiation을 보편적으로 학습함을 발견한다. 유사한 activation behavior를 기준으로 neuron을 clustering하면 놀라울 정도로 명확한 구조가 드러나며, 각 neural representation은 Cayley graph에 대응한다. 우리가 아는 한, 이는 데이터셋에서 학습 가능한 모든 neural representation을 완전히 특성화하고 설명한 최초의 연구이다. 반면 group multiplication에 대한 기존 연구는 neuron 수준의 behavior를 다루거나 cluster behavior를 예비적으로 조사하는 데 그쳤다. 따라서 우리는 네트워크가 보편적으로 학습하는 algorithm을 세 가지 abstraction 수준에서 이해할 수 있다. 1) Neuron은 dihedral group의 coset 또는 근사 coset 구조에 대해 활성화된다. 2) Neuron 집단은 함께 neural representation을 형성하며, 이는 데이터셋을 서로 다른 subproblem으로 나누는 역할을 하고, 정답의 equivalence class가 계산되는 Cayley graph가 된다. 3) 전역 algorithm은 최종적으로 logits에서 각 neural representation(subproblem)을 선형 결합한다. 이 연구는 해석 가능성에 대한 깊은 case study를 제공하고, community에 매우 잘 이해된 toy model을 제시하며, 동시에 DNN이 모든 group multiplication task를 divide and conquer할 것이라는 conjecture를 증명하는 데 한 걸음 다가간다.
"},{"id":"61009","en":"$\\texttt{ShaplEIG}$: Bayesian Experimental Design for Shapley Value Estimation","ko":"$\\texttt{ShaplEIG}$: Shapley Value 추정을 위한 Bayesian Experimental Design","authors":"David Rundel, Fabian Fumagalli, Maximilian Muschalik, Bernd Bischl, Matthias Feurer","pos":"#3407","link":"https://openreview.net/forum?id=ub9PwBtHqD","abs":"Shapley values are a principled attribution measure widely used in interpretable machine learning, but their exact computation scales exponentially with the number of players, motivating a wide range of approximation methods based on value-function evaluations of sampled coalitions. This raises the question of whether approximation accuracy can be improved by *adaptively* selecting coalitions for evaluation based on previous outcomes. This is particularly relevant in settings where the value function is costly, and the number of evaluations is severely limited, such as retraining-based feature importance, data valuation, and hyperparameter importance. For this purpose, we propose $\\texttt{ShaplEIG}$, a Bayesian experimental design approach that approximates the expensive value function via a Gaussian process surrogate and adaptively selects coalitions based on their expected information gain about the Shapley values. Since Shapley values are a linear function of the value function, we show that the expected information gain is available in *closed form* and *efficiently* computable. In extensive experiments across diverse costly applications, our method consistently improves estimation accuracy over state-of-the-art baselines.","absKo":"Shapley values는 해석 가능한 machine learning에서 널리 사용되는 원리적인 attribution measure이지만, 정확한 계산은 player 수에 대해 지수적으로 증가한다. 이로 인해 sampled coalition의 value-function evaluations에 기반한 다양한 approximation method가 제안되어 왔다. 이는 이전 결과를 바탕으로 evaluation할 coalition을 *적응적으로* 선택함으로써 approximation accuracy를 개선할 수 있는지라는 질문을 제기한다. 이는 value function 계산 비용이 크고 evaluation 횟수가 심하게 제한되는 상황, 예를 들어 retraining-based feature importance, data valuation, hyperparameter importance에서 특히 중요하다. 이를 위해 우리는 expensive value function을 Gaussian process surrogate로 근사하고, Shapley values에 대한 expected information gain을 바탕으로 coalition을 적응적으로 선택하는 Bayesian experimental design 접근법인 $\\texttt{ShaplEIG}$를 제안한다. Shapley values는 value function의 linear function이므로, expected information gain이 *closed form*으로 주어지며 *효율적으로* 계산 가능함을 보인다. 다양한 비용이 큰 응용 분야에 걸친 광범위한 실험에서, 우리의 방법은 state-of-the-art baseline보다 일관되게 추정 정확도를 향상시킨다."},{"id":"65446","en":"Activation Oracles: Training and Evaluating LLMs as General-Purpose Activation Explainers","ko":"Activation Oracle: 범용 활성화 설명기로서의 LLM 학습 및 평가","authors":"Adam Karvonen, James Chua, Clément Dumas, Kit Fraser-Taliente, Subhash Kantamneni, Julian Minder, Euan Ong, Arnab Sen Sharma, Daniel Wen, Owain Evans, Samuel Marks","pos":"#3408","link":"https://openreview.net/forum?id=DbZjxkZrZm","abs":"Large language model (LLM) activations are notoriously difficult to understand, with most existing techniques using complex, specialized methods for interpreting them. Recent work has proposed a simpler approach known as LatentQA: training LLMs to directly accept LLM activations as inputs and answer arbitrary questions about them in natural language. However, prior work has focused on narrow task settings for both training and evaluation. In this paper, we instead take a generalist perspective. We evaluate LatentQA-trained models, which we call Activation Oracles (AOs), in far out-of-distribution settings and examine how performance scales with training data diversity. We find that AOs can recover information fine-tuned into a model (e.g., biographical knowledge or malign propensities) that does not appear in the input text, despite never being trained with activations from a fine-tuned model. Our main evaluations are four downstream tasks where we can compare to prior white- and black-box techniques. We find that even narrowly-trained LatentQA models can generalize well, and that adding additional training datasets (such as classification tasks and a self-supervised context prediction task) yields consistent further improvements. Our best AOs match or exceed white-box baselines on all four tasks and the best overall baseline on 3 of 4. These results suggest that diversified training to answer natural-language queries imparts a general capability to verbalize information about LLM activations.
","absKo":"Large language model (LLM) activation은 이해하기가 악명 높을 정도로 어려우며, 기존 기법 대부분은 이를 해석하기 위해 복잡하고 특화된 방법을 사용한다. 최근 연구에서는 LatentQA라는 더 단순한 접근법을 제안했는데, 이는 LLM이 LLM activation을 직접 입력으로 받아들여 그것들에 관한 임의의 질문에 자연어로 답하도록 학습하는 방식이다. 그러나 기존 연구는 학습과 평가 모두에서 좁은 task 설정에 집중해 왔다. 본 논문에서는 대신 일반주의적 관점을 취한다. 우리는 LatentQA로 학습된 모델, 즉 Activation Oracles(AOs)을 분포 밖(out-of-distribution) 상황에서 평가하고, 학습 데이터의 다양성이 성능 확장에 어떤 영향을 미치는지 살펴본다. 우리는 AOs가 입력 텍스트에는 나타나지 않는, 모델에 fine-tuning 과정에서 주입된 정보(예: 전기적 지식이나 유해한 성향)를 복원할 수 있음을 발견했으며, 이는 fine-tuned model의 activation으로 학습된 적이 전혀 없음에도 가능했다. 우리의 주요 평가는 기존 white-box 및 black-box 기법과 비교할 수 있는 네 가지 downstream task이다. 우리는 좁게 학습된 LatentQA 모델조차도 잘 일반화할 수 있으며, 추가 학습 데이터셋(예: classification task와 self-supervised context prediction task)을 더하면 일관된 추가 성능 향상이 나타남을 확인했다. 우리의 최고 AOs는 네 개 task 모두에서 white-box baseline과 같거나 그 이상이며, 전체 최상 baseline은 4개 중 3개에서 능가한다. 이러한 결과는 자연어 질의에 답하도록 다양화된 학습이 LLM activation에 관한 정보를 언어로 풀어내는 일반적 능력을 부여함을 시사한다.
"},{"id":"62594","en":"Adversarial Vulnerability from Interference Between Features in Superposition","ko":"Superposition에서의 Feature 간 간섭이 초래하는 Adversarial Vulnerability","authors":"Edward Stevinson, Lucas Prieto, Melih Barsbey, Tolga Birdal","pos":"#3409","link":"https://openreview.net/forum?id=fD6c4bD7sR","abs":"Why do adversarial examples exist, and why do they transfer between models? Existing explanations appeal to high-dimensional geometry, non-robust patterns in the input, and decision boundary structure, but none provides a representation-level mechanism that explains why specific perturbations succeed and why attacks transfer between models. In this paper, we show that adversarial vulnerability can stem from efficient information encoding in neural networks. Specifically, vulnerability can arise from superposition -- the phenomenon where networks represent more concepts than they have dimensions, forcing non-orthogonal representation and thus interference. This interference causes perturbations targeting one representation to affect others, creating vulnerabilities determined by interference patterns. In synthetic settings with precisely controlled superposition, we establish that superposition suffices to create adversarial vulnerability. The resulting attacks are predictable: PGD-discovered perturbations align with theoretically optimal perturbations derived from the interference geometry. Models trained on similar data develop similar interference patterns, explaining attack transferability. We then show that successful attacks on vision transformer classifiers trained on CIFAR-10/100 exhibit the structure predicted by our theory. These findings reveal adversarial vulnerability can be a byproduct of networks' representational compression, complementing existing explanations based on data properties or architectural factors.
","absKo":"왜 adversarial example이 존재하며, 왜 모델 간에 transfer되는가? 기존 설명은 고차원 기하, 입력 내 non-robust pattern, decision boundary 구조를 원인으로 제시하지만, 특정 perturbation이 왜 성공하는지와 공격이 왜 모델 간에 전달되는지를 설명하는 representation-level 메커니즘은 제시하지 못한다. 본 논문에서는 adversarial vulnerability가 신경망의 효율적 정보 인코딩에서 비롯될 수 있음을 보인다. 구체적으로, vulnerability는 superposition에서 발생할 수 있는데, 이는 네트워크가 차원보다 더 많은 개념을 표현하면서 비직교적 representation을 강제하고, 그 결과 interference를 일으키는 현상이다. 이러한 interference는 하나의 representation을 겨냥한 perturbation이 다른 representation에도 영향을 주게 만들어, interference pattern에 의해 결정되는 vulnerability를 형성한다. 정밀하게 통제된 superposition이 있는 synthetic setting에서, 우리는 superposition이 adversarial vulnerability를 만들기에 충분함을 보인다. 이로 인해 공격은 예측 가능해진다: PGD로 발견된 perturbation은 interference geometry로부터 도출된 이론적 최적 perturbation과 정렬된다. 유사한 데이터로 학습된 모델들은 유사한 interference pattern을 형성하며, 이는 attack transferability를 설명한다. 이어서 CIFAR-10/100으로 학습된 vision transformer classifier에 대한 성공적인 공격이 우리의 이론이 예측하는 구조를 보임을 확인한다. 이러한 결과는 adversarial vulnerability가 데이터 특성이나 아키텍처 요인에 기반한 기존 설명을 보완하는, 네트워크의 representational compression의 부산물일 수 있음을 보여준다.
"},{"id":"66098","en":"Algorithmic Recourse of In-Context Learning for Tabular Data","ko":"테이블형 데이터를 위한 In-Context Learning의 알고리즘적 구제","authors":"Wenshuo Dong, Jiaming Zhang, Shaopeng Fu, Hongbin Lin, Di Wang, Lijie Hu","pos":"#3411","link":"https://openreview.net/forum?id=74NcYQk45j","abs":"As predictive models are increasingly deployed in high-stakes settings such as credit approval, there is a growing need for post-hoc methods that provide recourse to affected individuals. Many such models operate on tabular data, where features correspond to real-world attributes. Recently, in-context learning (ICL) has enabled large language models to perform tabular prediction by conditioning on labeled examples at inference time, without explicit training. However, algorithmic recourse for tabular decision-making under ICL remains largely unexplored. In this work, we present the first study of algorithmic recourse for tabular data under ICL. We carry out a theoretical analysis, showing that recourse remains well-defined and bounded, and we characterize how recourse converges toward classical solutions as the context size increases. In practice, we propose a novel zeroth-order recourse framework, Adaptive Subspace Recourse for In-Context Learning (ASR-ICL), that efficiently generates actionable and sparse recourse for black-box ICL models. The proposed framework naturally extends to multi-class tabular tasks. Experiments across multiple real-world datasets and models demonstrate that ASR-ICL achieves recourse quality comparable to existing methods with fewer queries and empirically confirm the predicted convergence behavior, supporting our theoretical analysis.
","absKo":"예측 모델이 신용 승인과 같이 고위험 의사결정 환경에 점점 더 많이 배치되면서, 영향을 받는 개인에게 구제 수단을 제공하는 post-hoc 방법의 필요성이 커지고 있다. 이러한 모델의 상당수는 feature가 현실 세계의 속성에 대응하는 tabular data 위에서 동작한다. 최근 in-context learning (ICL)은 명시적 학습 없이 추론 시점에 labeled example에 조건화함으로써 large language model이 tabular prediction을 수행할 수 있게 했다. 그러나 ICL 하의 tabular 의사결정에 대한 algorithmic recourse는 여전히 대부분 미탐구 상태다. 본 연구에서는 ICL 하의 tabular data에 대한 algorithmic recourse를 처음으로 연구한다. 우리는 이론적 분석을 수행하여 recourse가 여전히 well-defined이고 bounded임을 보이며, context size가 증가함에 따라 recourse가 고전적 해법으로 수렴하는 양상을 특성화한다. 실제로는 black-box ICL 모델을 위해 실행 가능하고 sparse한 recourse를 효율적으로 생성하는 새로운 zeroth-order recourse 프레임워크인 Adaptive Subspace Recourse for In-Context Learning (ASR-ICL)을 제안한다. 제안하는 프레임워크는 자연스럽게 multi-class tabular task로 확장된다. 여러 실제 데이터셋과 모델에서 수행한 실험은 ASR-ICL이 더 적은 query로 기존 방법과 비슷한 recourse 품질을 달성하며, 예측된 수렴 거동을 실증적으로 확인해 우리의 이론 분석을 뒷받침함을 보여준다.
"},{"id":"66420","en":"All Circuits Lead to Rome: Rethinking Functional Anisotropy in Circuit and Sheaf Discovery for LLMs","ko":"모든 회로는 로마로 통한다: LLM의 회로 및 Sheaf 발견에서 기능적 이방성 재고","authors":"Xi Chen, Mingyu Jin, Jingcheng (Frank) Niu, Yutong Yin, Jinman Zhao, Bangwei Guo, Dimitris Metaxas, Zhaoran Wang, Yutao Yue, Gerald Penn","pos":"#3412","link":"https://openreview.net/forum?id=3uC9teMlUt","abs":"In this paper, we present empirical and theoretical evidence against a central but largely implicit assumption in circuit and sheaf discovery (CSD), which we term the Functional Anisotropy Hypothesis: the idea that functions in large language models (LLMs) are localised to a unique or near-unique internal mechanism. We show that a single LLM task can instead be supported by multiple, structurally distinct circuits or sheaves that are simultaneously faithful, sparse, and complete. To systematically uncover such competing mechanisms, we introduce Overlap-Aware Sheaf Repulsion, a method that augments the CSD objective with an explicit penalty on structural overlap across multiple discovery runs, enabling the discovery of circuits or sheaves with strong task performance but minimal shared structure across a plethora of common CSD benchmarks. We find that this phenomenon becomes increasingly pronounced as the number of discovered sheaves grows and persists robustly across major CSD methods. We further identify an ultra-sparse three-edge sheaf and show that none of its edges is individually indispensable, undermining even weakened notions of canonical or essential components. To explain these findings, we propose a Distributive Dense Circuit Hypothesis and provide a theoretical analysis demonstrating that non-unique, low-overlap circuit explanations arise naturally from high-dimensional superposition under mild assumptions. Together, our results suggest that mechanistic explanations in LLMs are inherently non-canonical and call for a rethinking of how CSD results should be interpreted and evaluated.
","absKo":"이 논문은 circuit 및 sheaf discovery(CSD)의 핵심이지만 대체로 암묵적인 가정에 대해 경험적 및 이론적 증거를 제시하며, 이를 Functional Anisotropy Hypothesis라고 부른다. 이 가정은 대규모 언어 모델(LLM)의 function이 하나의 고유하거나 거의 고유한 내부 mechanism에 국한된다는 생각이다. 우리는 단일 LLM task가 대신 구조적으로 서로 다른 여러 circuit 또는 sheaf에 의해 동시에 지지될 수 있음을 보이며, 이들은 모두 faithful하고 sparse하며 complete할 수 있다. 이러한 경쟁 mechanism을 체계적으로 밝혀내기 위해, 우리는 Overlap-Aware Sheaf Repulsion을 도입한다. 이는 여러 discovery run에 걸친 structural overlap에 대한 명시적 penalty를 CSD objective에 추가하는 방법으로, 다양한 일반적 CSD benchmark에서 task 성능은 높지만 공유 structure는 최소인 circuit 또는 sheaf를 발견할 수 있게 한다. 우리는 이 현상이 발견된 sheaf의 수가 증가할수록 더욱 두드러지며, 주요 CSD 방법 전반에서 강건하게 지속됨을 확인한다. 또한 극도로 sparse한 3-edge sheaf를 식별하고, 그 어떤 edge도 개별적으로 필수적이지 않음을 보임으로써 canonical 또는 essential component에 대한 약화된 개념마저 무너뜨린다. 이러한 결과를 설명하기 위해, 우리는 Distributive Dense Circuit Hypothesis를 제안하고, 약한 가정 하에서 고차원 superposition으로부터 non-unique하고 low-overlap인 circuit 설명이 자연스럽게 발생함을 보여주는 이론적 분석을 제시한다. 종합하면, 우리의 결과는 LLM의 mechanistic explanation이 본질적으로 non-canonical임을 시사하며, CSD 결과를 어떻게 해석하고 평가해야 하는지에 대한 재고를 요구한다.
"},{"id":"60711","en":"An Odd Estimator for Shapley Values","ko":"Shapley Value를 위한 Odd Estimator","authors":"Fabian Fumagalli, Landon Butler, Justin S. Kang, Kannan Ramchandran, R. Teal Witter","pos":"#3413","link":"https://openreview.net/forum?id=xILwgiWAUk","abs":"The Shapley value is a ubiquitous framework for attribution in machine learning, encompassing feature importance, data valuation, and causal inference. However, its exact computation is generally intractable, necessitating efficient approximation methods. While the most effective and popular estimators leverage the paired sampling heuristic to reduce estimation error, the theoretical mechanism driving this improvement has remained opaque. In this work, we provide an elegant and fundamental justification for paired sampling: we prove that the Shapley value depends exclusively on the odd component of the set function, and that paired sampling orthogonalizes the regression objective to filter out the irrelevant even component. Leveraging this insight, we propose OddSHAP, a novel consistent estimator that performs polynomial regression solely on the odd subspace. By utilizing the Fourier basis to isolate this subspace and employing a proxy model to identify high-impact interactions, OddSHAP overcomes the combinatorial explosion of higher-order approximations. Through an extensive benchmark evaluation, we find that OddSHAP achieves state-of-the-art estimation accuracy.
","absKo":"Shapley value는 machine learning에서 attribution을 위한 보편적인 framework로, feature importance, data valuation, causal inference를 포괄한다. 그러나 정확한 계산은 일반적으로 다루기 어려워 효율적인 근사 방법이 필요하다. 가장 효과적이고 널리 사용되는 estimator는 추정 오차를 줄이기 위해 paired sampling heuristic을 활용하지만, 이 향상을 이끄는 이론적 메커니즘은 여전히 불투명하다. 본 연구에서 우리는 paired sampling에 대한 우아하고 근본적인 정당화를 제시한다. 즉, Shapley value가 set function의 홀수 성분에 독점적으로 의존하며, paired sampling이 회귀 objective를 orthogonalize하여 관련 없는 짝수 성분을 걸러낸다는 점을 증명한다. 이 통찰을 활용하여, 우리는 홀수 subspace에서만 polynomial regression을 수행하는 새로운 consistent estimator인 OddSHAP를 제안한다. Fourier basis를 사용해 이 subspace를 분리하고 proxy model을 활용하여 영향이 큰 interaction을 식별함으로써, OddSHAP는 고차 근사의 조합 폭발을 극복한다. 광범위한 benchmark 평가를 통해, OddSHAP가 state-of-the-art estimation accuracy를 달성함을 확인하였다.
"},{"id":"62683","en":"CB-SLICE: Concept-Based Interpretable Error Slice Discovery","ko":"CB-SLICE: Concept 기반 해석 가능한 Error Slice Discovery","authors":"Yael Konforti, Mateo Espinosa Zarlenga, Elaf Almahmoud, Mateja Jamnik","pos":"#3414","link":"https://openreview.net/forum?id=eMiXzd5cyD","abs":"Despite strong average-case performance, deep learning models often exhibit systematic errors on specific population groups, known as error slices. Identifying these groups and the root causes of their failures is critical for model debugging and bias mitigation. However, existing error Slice Discovery Methods (SDMs) typically generate explanations disconnected from the model's inference process, thus only approximating the underlying error source and may be inaccurate. We address this limitation by leveraging Concept Bottleneck Models (CBMs), whose predictions are directly dependent on human-understandable semantic concepts. Since downstream task failures in CBMs commonly arise from concept mispredictions, concept representations provide a strong candidate for error slice identification, offering fine-grained explanations directly linked to the error source. Building on this insight, we introduce CB-SLICE, a concept-based SDM that groups samples with shared concept prediction failures and identifies the keyword-concepts most responsible for each slice’s failure-mode. Across multiple benchmarks, we show that CB-SLICE outperforms state-of-the-art methods in uncovering well-known biases while providing richer and more faithful explanations of model errors.
","absKo":"강력한 평균 성능에도 불구하고, deep learning model은 error slice로 알려진 특정 population group에서 체계적인 오류를 보이는 경우가 많다. 이러한 그룹과 실패의 근본 원인을 식별하는 것은 model debugging과 bias mitigation에 중요하다. 그러나 기존의 error Slice Discovery Method (SDM)는 대체로 model의 inference process와 분리된 explanation을 생성하므로, underlying error source를 단지 근사적으로만 설명하며 부정확할 수 있다. 우리는 이러한 한계를 Concept Bottleneck Model (CBM)을 활용해 해결한다. CBM의 prediction은 인간이 이해할 수 있는 semantic concept에 직접 의존한다. CBM에서 downstream task failure는 흔히 concept misprediction에서 발생하므로, concept representation은 error slice 식별을 위한 강력한 후보가 되며, error source와 직접 연결된 세분화된 explanation을 제공한다. 이러한 통찰에 기반하여, 우리는 CB-SLICE를 소개한다. CB-SLICE는 concept 기반 SDM으로, concept prediction failure를 공유하는 sample을 그룹화하고 각 slice의 failure mode에 가장 크게 기여하는 keyword-concept를 식별한다. 여러 benchmark에서, CB-SLICE는 잘 알려진 bias를 밝혀내는 데 있어 state-of-the-art 방법을 능가하면서, model error에 대해 더 풍부하고 더 충실한 설명을 제공함을 보인다.
"},{"id":"63567","en":"Weight-sparse transformers have interpretable circuits","ko":"가중치 희소 transformer는 해석 가능한 회로를 가진다","authors":"Leo Gao, Achyuta Rajaram, Jacob Coxon, Soham Govande, Bowen Baker, Daniel Mossing","pos":"#3906","link":"https://openreview.net/forum?id=Vw10TpuFCp","abs":"Finding human-understandable circuits in language models is a central goal of the field of mechanistic interpretability. We train models to have more understandable circuits by constraining most of their weights to be zeros, so that each neuron only has a few connections. To recover fine-grained circuits underlying each of several hand-crafted tasks, we prune the models to isolate the part responsible for the task. These circuits often contain neurons and residual channels that correspond to natural concepts, with a small number of straightforwardly interpretable connections between them. We study how these models scale and find that making weights sparser trades off capability for interpretability, and scaling model size improves the capability-interpretability frontier. However, scaling sparse models beyond tens of millions of nonzero parameters while preserving interpretability remains a challenge. In addition to training weight-sparse models de novo, we show preliminary results suggesting our method can also be adapted to explain existing dense models. Our work produces circuits that achieve an unprecedented level of human understandability and validates them with considerable rigor.
","absKo":"언어 모델에서 사람이 이해할 수 있는 circuit을 찾는 것은 mechanistic interpretability 분야의 핵심 목표이다. 우리는 대부분의 weight를 0으로 제한하여 각 neuron이 소수의 connection만 갖도록 함으로써, 더 이해하기 쉬운 circuit을 갖는 model을 학습한다. 여러 hand-crafted task의 하위 구조를 세밀하게 복원하기 위해, 우리는 task를 담당하는 부분을 분리하도록 model을 pruning한다. 이러한 circuit은 종종 자연 개념에 대응하는 neuron과 residual channel을 포함하며, 그 사이의 연결은 소수의 직관적으로 해석 가능한 형태로 나타난다. 우리는 이러한 model의 scale을 연구하고, weight를 더 sparse하게 만들수록 capability와 interpretability 사이에 trade-off가 생기며, model size를 키우면 capability-interpretability frontier가 개선됨을 확인한다. 그러나 수천만 개 이상의 nonzero parameter를 가진 sparse model을 interpretability를 유지한 채 확장하는 것은 여전히 어렵다. weight-sparse model을 처음부터 학습하는 것뿐 아니라, 우리는 우리의 방법이 기존 dense model을 설명하는 데도 적용될 수 있음을 시사하는 예비 결과를 보인다. 우리의 작업은 전례 없는 수준의 human understandability를 달성하는 circuit을 만들어내며, 이를 상당한 엄밀성으로 검증한다.
"},{"id":"63697","en":"FakeWorld 1.0: An Omni modal Benchmark for Fake Media and Content","ko":"FakeWorld 1.0: 가짜 미디어와 콘텐츠를 위한 옴니모달 벤치마크","authors":"Yifeng Gao, Yifan Ding, Li Wang, Feida Huang, Ye Sun, Yixu Wang, Xin Wang, Yutao Wu, Hanxun Huang, Yunhao Feng, Yingshui Tan, Xingjun Ma, Yu-Gang Jiang","pos":"#3909","link":"https://openreview.net/forum?id=UXbNXAJRCo","abs":"The accelerating realism of AI-generated content has amplified the spread of deceptive information and eroded public trust. Prior works typically split the problem into two tracks, media authenticity, which concerns whether content is real or AI-generated, and content veracity, which concerns semantic and factual correctness, thereby missing their joint effects in practice. We present FakeWorld 1.0, which deeply fuses these two orthogonal axes into a unified omni-modal benchmark. Along the media axis, FakeWorld spans text, audio, image, and video synthesis; along the content axis, it instantiates cross-modal semantic inconsistencies and factual errors. These axes are jointly instantiated within realistic web-based and streaming-style presentation scenarios, reflecting how multimodal deception is composed and delivered in real-world settings. FakeWorld provides explainable annotations in the form of per-instance rationales, enabling transparent, evidence-based diagnosis. Under a unified protocol, our evaluation of open- and closed-source MLLMs exposes capacity limits and highlights FakeWorld’s effectiveness at surfacing mixed-source, high-fidelity deception. Beyond the benchmark, we introduce OmniCheck, a unified omni-modal agentic workflow that performs explainable detection across both axes and outputs evidence-backed reports. We aim for FakeWorld 1.0 to serve as a realistic stress test and a practical foundation for building future systems that enable scalable, explainable detection of fake multimodal content.
","absKo":"AI-generated content의 사실성 수준이 빠르게 높아지면서 기만적 정보의 확산이 가속되고 대중의 신뢰가 약화되고 있다. 기존 연구는 보통 문제를 두 축으로 나누어 다루는데, 하나는 콘텐츠가 실제인지 AI-generated인지에 관한 media authenticity이고, 다른 하나는 semantic 및 factual correctness에 관한 content veracity이다. 그러나 이러한 접근은 실제 환경에서 두 축이 함께 작동하는 효과를 놓치고 있다. 우리는 이 두 직교하는 축을 하나로 깊게 결합한 unified omni-modal benchmark인 FakeWorld 1.0을 제안한다. media 축에서는 text, audio, image, video synthesis를 포괄하고, content 축에서는 cross-modal semantic inconsistency와 factual error를 구현한다. 이 축들은 현실적인 web-based 및 streaming-style presentation scenario 안에서 함께 구성되며, multimodal deception이 실제 환경에서 어떻게 조합되고 전달되는지를 반영한다. FakeWorld는 per-instance rationale 형태의 explainable annotation을 제공하여, 투명하고 evidence-based한 진단을 가능하게 한다. unified protocol 하에서 open-source 및 closed-source MLLM에 대한 평가 결과는 성능 한계를 드러내고, mixed-source의 고-fidelity deception을 표면화하는 데 있어 FakeWorld의 효과를 보여준다. benchmark를 넘어 우리는 두 축에 걸쳐 explainable detection을 수행하고 evidence-backed report를 출력하는 unified omni-modal agentic workflow인 OmniCheck도 소개한다. 우리는 FakeWorld 1.0이 future system을 구축하기 위한 realistic stress test이자, scalable하고 explainable한 fake multimodal content detection을 가능하게 하는 practical foundation이 되기를 기대한다.
"},{"id":"66735","en":"MetaOthello: A Controlled Study of Multiple World Models in Transformers","ko":"MetaOthello: Transformer 내 다중 World Model에 대한 통제된 연구","authors":"Aviral Chawla, Galen Hall, Juniper Lovato","pos":"#4211","link":"https://openreview.net/forum?id=0wPUeZOZ9o","abs":"Foundation models must handle multiple generative processes, yet mechanistic interpretability largely studies capabilities in isolation; it remains unclear how a single transformer organizes multiple, potentially conflicting \"world models\". Previous experiments on Othello playing neural-networks test world-model learning but focus on a single game with a single set of rules. We introduce MetaOthello, a controlled suite of Othello variants with shared syntax but different rules or tokenizations, and train small GPTs on mixed-variant data to study how multiple world models are organized in a shared representation space. We find that transformers trained on mixed-game data do not partition their capacity into isolated sub-models; instead, they converge on a mostly shared board-state representation that transfers causally across variants. Linear probes trained on one variant can intervene on another's internal state with effectiveness approaching that of matched probes. For isomorphic games with token remapping, representations are equivalent up to a single orthogonal rotation that generalizes across layers. When rules partially overlap, early layers maintain game-agnostic representations while a middle layer identifies game identity, and later layers specialize. MetaOthello offers a path toward understanding not just whether transformers learn world models, but how they organize many at once.
","absKo":"foundation model은 여러 generative process를 다뤄야 하지만, mechanistic interpretability 연구는 대체로 능력을 개별적으로 다룬다. 단일 transformer가 여러, 잠재적으로 충돌하는 \"world model\"을 어떻게 조직하는지는 여전히 분명하지 않다. Othello를 두는 neural network에 대한 이전 실험은 world-model 학습을 시험하지만, 단일 규칙 집합을 가진 하나의 게임에 초점을 맞춘다. 우리는 MetaOthello를 도입한다. 이는 동일한 syntax를 공유하지만 서로 다른 규칙이나 tokenization을 가진 Othello 변형들로 구성된 제어된 suite이며, 혼합 변형 data로 작은 GPT를 학습시켜 여러 world model이 공유 representation space에서 어떻게 조직되는지 연구한다. 우리는 혼합 게임 데이터로 학습된 transformer가 그 용량을 고립된 sub-model로 분할하지 않으며, 대신 변형 간 causally transfer되는 대부분 공유된 board-state representation으로 수렴한다는 것을 발견한다. 하나의 변형에서 학습된 linear probe는 다른 변형의 internal state에 대해, 대응되는 probe와 거의 비슷한 효과로 개입할 수 있다. token remapping만 다른 isomorphic game의 경우, representation은 layer를 가로질러 일반화되는 하나의 orthogonal rotation에 대해 동등하다. 규칙이 부분적으로 겹칠 때, 초기 layer는 game-agnostic representation을 유지하고 중간 layer는 game identity를 식별하며, 이후 layer는 특화된다. MetaOthello는 transformer가 world model을 학습하는지 여부뿐 아니라, 그 여러 모델을 동시에 어떻게 조직하는지를 이해하기 위한 길을 제시한다.
"},{"id":"65388","en":"Interpretable Embeddings with Sparse Autoencoders: A Data Analysis Toolkit","ko":"Sparse Autoencoder를 이용한 해석 가능한 임베딩: 데이터 분석 툴킷","authors":"Nick Jiang, Xiaoqing Sun, Lisa Dunlap, Lewis Smith, Neel Nanda","pos":"#4408","link":"https://openreview.net/forum?id=E98OvY1Syv","abs":"Analyzing large-scale text corpora is a core challenge in machine learning, crucial for tasks like identifying undesirable model behaviors. Current methods often rely on costly LLM-based techniques (e.g. annotating dataset differences) or dense embedding models (e.g. for clustering), which lack control over the properties of interest. We propose using sparse autoencoders (SAEs) to create SAE embeddings: representations whose dimensions map to interpretable concepts. Through four data analysis tasks, we show that SAE embeddings are more cost-effective and reliable than LLMs and offer the controllability that dense embeddings lack. Using the large hypothesis space of SAEs, we can uncover insights such as (1) semantic differences between datasets and (2) unexpected concept correlations in documents. For instance, by comparing model responses, we find that Grok-4 clarifies ambiguities more often than nine other frontier models. Relative to LLMs, SAE embeddings uncover bigger differences at 2-8x lower cost and identify biases more reliably. Additionally, SAE embeddings are controllable: by filtering concepts, we can (3) cluster documents along axes of interest and (4) outperform dense embeddings on property-based retrieval. Using SAE embeddings, we study model behavior with two case studies: investigating how OpenAI model behavior has changed over time and finding \"trigger\" phrases learned by Tulu-3 (Lambert et. al., 2024) from its training data. These results position SAEs as a versatile tool for unstructured data analysis and highlight the neglected importance of interpreting models through their data.
","absKo":"대규모 text corpus를 분석하는 일은 machine learning의 핵심 과제이며, 바람직하지 않은 model behavior를 식별하는 것과 같은 작업에 중요하다. 현재 방법은 종종 비용이 큰 LLM-based technique(예: dataset difference 주석)이나 dense embedding model(예: clustering)을 활용하는데, 이들은 관심 있는 property를 제어하는 데 한계가 있다. 우리는 sparse autoencoder(SAE)를 사용해 SAE embedding을 만드는 방법을 제안한다. 이는 각 차원이 해석 가능한 concept에 대응하는 representation이다. 네 가지 data analysis task를 통해, SAE embedding이 LLM보다 더 비용 효율적이고 신뢰할 수 있으며, dense embedding이 갖지 못한 controllability를 제공함을 보인다. SAE의 큰 hypothesis space를 활용하면, (1) dataset 간 semantic difference와 (2) document 내 예상치 못한 concept correlation과 같은 통찰을 발견할 수 있다. 예를 들어, model response를 비교해보면 Grok-4가 다른 9개의 frontier model보다 ambiguity를 더 자주 명확히 설명한다는 것을 확인한다. LLM과 비교할 때, SAE embedding은 2-8배 낮은 비용으로 더 큰 차이를 드러내고 bias를 더 신뢰성 있게 식별한다. 또한 SAE embedding은 제어 가능하다. concept을 필터링함으로써, (3) 관심 축을 따라 document를 clustering할 수 있고, (4) property-based retrieval에서 dense embedding보다 더 나은 성능을 낼 수 있다. 우리는 SAE embedding을 사용해 두 가지 case study로 model behavior를 연구한다. OpenAI model behavior가 시간에 따라 어떻게 변해왔는지 조사하고, Tulu-3 (Lambert et. al., 2024)가 training data로부터 학습한 \"trigger\" phrase를 찾아낸다. 이러한 결과는 SAEs를 비정형 data analysis를 위한 다목적 도구로 자리매김하게 하며, model을 그 data를 통해 해석하는 일이 간과되어 왔음을 강조한다.
"},{"id":"65745","en":"Towards Steering without Sacrifice: Principled Training of Steering Vectors for Prompt-only Interventions","ko":"희생 없는 조종을 향하여: 프롬프트 전용 개입을 위한 조종 벡터의 원칙적 학습","authors":"Yuntai Bao, Qinfeng Li, Xinyan Yu, Xuhong Zhang, Ge Su, Wenqi Zhang, Liu Yan, Haiqin Weng, Jianwei Yin","pos":"#3207","link":"https://openreview.net/forum?id=AaT3liS5PE","abs":"Recently, steering vectors (SVs) have emerged as an effective and lightweight approach to steer behaviors of large language models (LLMs), among which fine-tuned SVs are more effective than optimization-free ones. However, current approaches to fine-tuned SVs suffer from two limitations. First, they require careful selection of steering factors on a per-SV basis to balance steering effectiveness and generation quality at inference time. Second, they operate as full-sequence SVs (FSSVs), which can sacrifice generation quality regardless of factor selection due to excessive intervention on the model generation process. To address the first limitation, we propose joint training of steering factors and directions, such that post-hoc factor selection is no longer required. Using neural network scaling theory, we find that moderately large initialization sizes and learning rates for steering factors are essential for stability and efficiency of joint training. To tackle the second limitation, we draw inspiration from representation fine-tuning and introduce Prompt-Only Steering Vector (PrOSV), an SV that intervenes only on a few prompt tokens. Our empirical results show that PrOSV outperforms traditional FSSVs on AxBench when using our joint training scheme. We also find that PrOSV achieves a better tradeoff between general model utility and adversarial robustness than FSSV.
","absKo":"최근 steering vectors (SVs)는 large language models (LLMs)의 동작을 조절하기 위한 효과적이고 경량의 접근법으로 부상했으며, 그중에서도 fine-tuned SVs가 optimization-free SVs보다 더 효과적이다. 그러나 현재의 fine-tuned SV 접근법에는 두 가지 한계가 있다. 첫째, 추론 시 steering 효과와 생성 품질의 균형을 맞추기 위해 SV마다 steering factor를 신중하게 선택해야 한다. 둘째, 이들은 full-sequence SVs (FSSVs)로 작동하므로, factor 선택과 무관하게 모델 생성 과정에 과도하게 개입하여 생성 품질을 저하시킬 수 있다. 첫 번째 한계를 해결하기 위해 우리는 steering factor와 direction을 joint training하는 방법을 제안하여, 사후적인 factor 선택이 더 이상 필요하지 않게 한다. neural network scaling theory를 사용하여, steering factor에 대해 적당히 큰 initialization size와 learning rate가 joint training의 안정성과 효율성에 필수적임을 발견했다. 두 번째 한계를 해결하기 위해 우리는 representation fine-tuning에서 영감을 받아, 몇 개의 prompt token에만 개입하는 SV인 Prompt-Only Steering Vector (PrOSV)를 도입한다. 우리의 실험 결과는 PrOSV가 joint training scheme을 사용할 때 AxBench에서 기존 FSSV보다 우수함을 보여준다. 또한 PrOSV가 FSSV보다 general model utility와 adversarial robustness 사이에서 더 나은 tradeoff를 달성함을 확인했다.
"},{"id":"65171","en":"FLARE-AI: Flaw Reporting for AI","ko":"FLARE-AI: AI를 위한 결함 보고","authors":"Shayne Longpre, Elaine Zhu, Carson Ezell, Avijit Ghosh, Sean McGregor, Kevin Paeth, Kevin Klyman, Sayash Kapoor, Rishi Bommasani, Ruth Elisabeth Appel, Gregory Strom, Lauren McIlvenny, Mark Jaycox, Peter Slattery, Nathan Butters, Arvind Narayanan, Percy Liang, Alex Pentland","pos":"#2810","link":"https://openreview.net/forum?id=G7DQoPNOMZ","abs":"Flaw reporting for deployed AI systems is fundamental to identifying system failures and improving AI safety. Yet the AI reporting ecosystem is fragmented: researchers who identify flaws often do not know what or where to report, and groups who receive reports rarely share them with other relevant stakeholders. As a result, good-faith reporters duplicate effort by submitting many different forms, and recipients lack standardized, triage-ready information. We audit 12 reporting systems published by AI developers, cybersecurity groups, and AI flaw aggregators, identifying five recurring design challenges spanning discoverability, scope, information collection, coordination, and guidance for strict-liability cases. Building on this analysis and feedback from 49 experts across 32 organizations representing developers, security researchers, and ecosystem coordinators, we introduce FLARE-AI, an open-source AI flaw reporting system designed for interoperability with existing systems. FLARE-AI streamlines flaw report creation by collecting triage-relevant information through conditional logic and early classification, then enables optional dissemination of standardized, machine-readable reports to multiple developers, coordinators, and incident registries from a single submission. By lowering barriers to reporting AI flaws and improving interoperability across stakeholders, FLARE-AI helps break down silos and accelerate remediation across the AI ecosystem.
","absKo":"배포된 AI 시스템의 결함 보고는 시스템 실패를 식별하고 AI 안전성을 향상하는 데 필수적이다. 그러나 AI 보고 생태계는 파편화되어 있다. 결함을 발견한 연구자들은 무엇을 어디에 보고해야 하는지 모르는 경우가 많고, 보고를 받는 조직들은 이를 다른 관련 이해관계자와 거의 공유하지 않는다. 그 결과, 선의의 보고자들은 여러 가지 서로 다른 양식을 제출하느라 중복 노력을 하게 되고, 수신자는 표준화되고 트리아지에 바로 활용 가능한 정보를 얻지 못한다. 우리는 AI 개발사, 사이버보안 그룹, AI 결함 집계자가 공개한 12개의 보고 시스템을 검토하여, 발견 가능성, 범위, 정보 수집, 조정, 그리고 strict-liability 사례에 대한 안내 전반에 걸친 다섯 가지 반복적 설계 과제를 식별한다. 이 분석과 개발자, 보안 연구자, 생태계 조정자를 대표하는 32개 조직의 49명 전문가로부터 얻은 피드백을 바탕으로, 기존 시스템과의 상호운용성을 염두에 둔 오픈소스 AI 결함 보고 시스템 FLARE-AI를 제안한다. FLARE-AI는 조건 논리와 조기 분류를 통해 트리아지에 필요한 정보를 수집함으로써 결함 보고서 생성을 간소화하고, 단일 제출만으로 표준화된 기계 판독 가능 보고서를 여러 개발자, 조정자, 사건 등록소에 선택적으로 배포할 수 있게 한다. AI 결함 보고의 장벽을 낮추고 이해관계자 간 상호운용성을 개선함으로써, FLARE-AI는 AI 생태계 전반의 사일로를 허물고 수정 작업을 가속하는 데 도움을 준다.
"},{"id":"63208","en":"The Double-Edged Nature of the Rashomon Set for Trustworthy Machine Learning","ko":"신뢰할 수 있는 기계학습을 위한 Rashomon 집합의 양날의 검","authors":"Ethan Hsu, Harry Chen, Chudi Zhong, Lesia Semenova","pos":"#4600","link":"https://openreview.net/forum?id=Z6OZh3CgkU","abs":"Real-world machine learning (ML) pipelines rarely produce a single model; instead, they produce a Rashomon set of many near-optimal ones. We show that this multiplicity reshapes key aspects of trustworthiness. At the individual-model level, sparse interpretable models tend to preserve privacy but are fragile to adversarial attacks. In contrast, the diversity within a large Rashomon set enables reactive robustness: even when an attack compromises one model, others often remain accurate. Rashomon sets are also stable under small distribution shifts. However, this same diversity increases information leakage, as disclosing more near-optimal models provides an attacker with progressively richer views of the training data. Through theoretical analysis and empirical studies, we characterize this robustness–privacy trade-off and highlight the dual role of Rashomon sets as both a resource and a risk for trustworthy ML.
","absKo":"실세계 machine learning (ML) pipeline은 단일 model을 산출하는 경우가 드물며, 대신 여러 개의 near-optimal model로 이루어진 Rashomon set을 산출한다. 우리는 이러한 다중성이 trustworthiness의 핵심 측면을 재구성한다는 점을 보인다. 개별 model 수준에서는 sparse하고 해석 가능한 model이 privacy를 잘 보존하는 경향이 있지만 adversarial attack에는 취약하다. 반면 큰 Rashomon set 내부의 다양성은 reactive robustness를 가능하게 한다. 즉, 하나의 model이 공격을 당하더라도 다른 model들은 종종 정확도를 유지한다. Rashomon set은 작은 distribution shift에도 안정적이다. 그러나 이 같은 다양성은 정보 유출도 증가시킨다. 더 많은 near-optimal model을 공개할수록 공격자는 training data에 대해 점점 더 풍부한 관점을 얻기 때문이다. 이론적 분석과 실증 연구를 통해 우리는 이러한 robustness-privacy trade-off를 규명하고, Rashomon set이 trustworthy ML에서 자원인 동시에 위험 요소라는 이중적 역할을 강조한다.
"},{"id":"66110","en":"Diagnosing the Reliability of LLM-as-a-Judge via Item Response Theory","ko":"문항 반응 이론을 통한 LLM-as-a-Judge의 신뢰성 진단","authors":"Junhyuk Choi, Sohhyung Park, chanhee cho, Hyeonchu Park, Bugeun Kim","pos":"#3210","link":"https://openreview.net/forum?id=6xRIf7H6Nb","abs":"While LLM-as-a-Judge is widely used in automated evaluation, existing validation practices primarily operate at the level of observed outputs, offering limited insight into whether LLM judges themselves function as stable and reliable measurement instruments. To address this limitation, we introduce a two-phase diagnostic framework for assessing reliability of LLM-as-a-Judge, grounded in Item Response Theory (IRT). The framework adopts Graded Response Model (GRM) of IRT and formalizes reliability along two complementary dimensions: (1) intrinsic consistency, defined as the stability of measurement behavior under prompt variations, and (2) human alignment, capturing correspondence with human quality assessments. We empirically examine diverse LLM judges with this framework, and show that leveraging IRT-GRM yields interpretable signals for diagnosing judgments systematically. These signals provide practical guidance for verifying reliablity of LLM-as-a-Judge and identifying potential causes of unreliability.
","absKo":"LLM-as-a-Judge는 automated evaluation에서 널리 사용되지만, 기존의 validation practice는 주로 관측된 output 수준에서 이루어져 LLM judge 자체가 안정적이고 신뢰할 수 있는 measurement instrument로 기능하는지에 대한 통찰은 제한적이다. 이 한계를 해결하기 위해, 우리는 Item Response Theory(IRT)에 기반한 LLM-as-a-Judge의 신뢰성 평가를 위한 두 단계 diagnostic framework를 제안한다. 이 framework는 IRT의 Graded Response Model(GRM)을 채택하고, 신뢰성을 두 가지 상보적 차원으로 formalize한다: (1) prompt variation 하에서 measurement behavior의 안정성으로 정의되는 intrinsic consistency, 그리고 (2) human quality assessment와의 대응을 포착하는 human alignment. 우리는 이 framework로 다양한 LLM judge를 실증적으로 검토하고, IRT-GRM을 활용하면 판단을 체계적으로 진단할 수 있는 해석 가능한 signal을 얻을 수 있음을 보인다. 이러한 signal은 LLM-as-a-Judge의 reliability를 검증하고 잠재적 불신뢰 원인을 식별하는 데 실용적인 지침을 제공한다.
"},{"id":"66061","en":"Safety Game: Inference-Time Alignment of Black-Box LLMs via Constrained Optimization","ko":"Safety Game: 제약 최적화를 통한 블랙박스 LLM의 추론 시점 정렬","authors":"Tuan Nguyen, Long Tran-Thanh","pos":"#1917","link":"https://openreview.net/forum?id=7Nn3SKS6yL","abs":"Ensuring that large language models (LLMs) comply with safety requirements is a central challenge in AI deployment. Existing alignment approaches operate primarily during training, such as through fine-tuning or reinforcement learning from human feedback, but these methods are costly and inflexible, requiring retraining whenever new requirements arise. Recent efforts toward inference-time alignment mitigate some of these limitations but still assume access to model internals, which is impractical, and not suitable for third party stakeholders who do not have access to the models. In this work, we propose a model-independent, black-box framework for safety alignment that does not require retraining or access to the underlying LLM architecture. As a proof of concept, we address the problem of trading off between generating safe but uninformative answers versus helpful yet potentially risky ones. We formulate this dilemma as a two-player zero-sum game whose minimax equilibrium captures the optimal balance between safety and helpfulness. LLM agents operationalize this framework by leveraging a linear programming solver at inference time to compute equilibrium strategies. Our results demonstrate the feasibility of black-box safety alignment, offering a scalable and accessible pathway for stakeholders, including smaller organizations and entities in resource-constrained settings, to enforce safety across rapidly evolving LLM ecosystems.
","absKo":"Large language models(LLMs)가 safety requirement를 준수하도록 보장하는 것은 AI deployment의 핵심 과제이다. 기존의 alignment 접근법은 주로 training 단계에서 동작하며, fine-tuning이나 reinforcement learning from human feedback를 통해 수행되지만, 이러한 방법은 비용이 크고 유연성이 떨어지며 새로운 요구사항이 생길 때마다 retraining이 필요하다. 최근 inference-time alignment를 향한 노력은 이러한 한계를 일부 완화하지만 여전히 model internals에 대한 접근을 가정하며, 이는 비현실적이고 model에 접근할 수 없는 third party stakeholder에게는 적합하지 않다. 본 연구에서는 underlying LLM architecture에 대한 retraining이나 접근을 요구하지 않는, model-independent한 black-box safety alignment framework를 제안한다. 개념 검증으로, 우리는 safe하지만 정보가 부족한 답변과 도움이 되지만 잠재적으로 위험한 답변 사이의 trade-off 문제를 다룬다. 우리는 이 딜레마를 minimax equilibrium가 safety와 helpfulness의 최적 균형을 포착하는 two-player zero-sum game으로 정식화한다. LLM agent는 inference time에 linear programming solver를 활용하여 equilibrium strategy를 계산함으로써 이 framework를 구현한다. 우리의 결과는 black-box safety alignment의 실현 가능성을 보여주며, smaller organization과 resource-constrained setting의 entity를 포함한 stakeholder가 빠르게 진화하는 LLM ecosystem 전반에서 safety를 강제할 수 있는 확장 가능하고 접근 가능한 경로를 제공한다.
"},{"id":"67203","en":"Position: AI Should Facilitate Democratic Deliberation at Scale","ko":"Position: AI는 대규모 민주적 숙의를 촉진해야 한다","authors":"José Ramón Enríquez, Jiaxin Pei, Alex Pentland","pos":"#1011","link":"https://openreview.net/forum?id=EOmwHHuNLU","abs":"AI systems can strengthen democracy by supporting deliberation at scale by addressing cognitive, social, platform-design, and market-driven frictions, while preserving human agency. Unlike proposals such as liquid democracy that restructure representation through vote delegation, in this position paper, we argue that AI-assisted deliberation offers a more promising path by lowering barriers to meaningful engagement without substituting machine judgment for human choice. Drawing on evidence from online platforms and experimental research, we identify four guiding principles: preserving agency and autonomy, encouraging mutual respect, promoting equality and inclusiveness, and augmenting rather than substituting active citizenship. We also address critical challenges, including alignment, sycophancy, training bias, and over-reliance on AI systems. We call on the machine learning community to develop deliberation-focused AI systems evaluated not on engagement metrics but on their capacity to facilitate informed, representative, and friction-robust discourse.
","absKo":"AI system은 인간 agency를 보존하면서 cognition, social, platform-design, market-driven friction을 해결함으로써 대규모 deliberation을 지원하고 민주주의를 강화할 수 있다. vote delegation을 통해 representation을 재구성하는 liquid democracy와 같은 제안과 달리, 이 position paper에서 우리는 AI-assisted deliberation이 의미 있는 참여의 장벽을 낮추면서 machine judgment를 human choice로 대체하지 않는 더 유망한 경로라고 주장한다. online platform과 실험 연구의 evidence를 바탕으로 우리는 네 가지 지침 원칙을 식별한다. agency와 autonomy 보존, 상호 존중 장려, 평등과 포용성 증진, active citizenship을 대체하기보다 보강하기. 우리는 또한 alignment, sycophancy, training bias, AI system에 대한 과도한 의존을 포함한 중요한 도전 과제도 다룬다. 우리는 machine learning community가 engagement metric이 아니라 informed하고 representative하며 friction-robust한 discourse를 촉진하는 능력으로 평가되는 deliberation-focused AI system을 개발할 것을 촉구한다.
"},{"id":"63093","en":"CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction","ko":"CaliDist: 산만함에 대한 행동 견고성을 통한 대규모 언어 모델 보정","authors":"Mohammad Anas Jawad, Cornelia Caragea","pos":"#3209","link":"https://openreview.net/forum?id=aBosytnQ6f","abs":"Existing calibration methods for Large Language Models (LLMs) often overlook a critical dimension of trustworthiness: a model's {\\em behavioral robustness} to irrelevant or misleading information. In this paper, we argue that a model's true confidence should reflect its stability under cognitive pressure. We introduce \\textsc{CaliDist}, a novel, post-hoc calibration approach that directly measures and penalizes a model's susceptibility to distraction. \\textsc{CaliDist} quantifies how an LLM's predictions and uncertainty change when its input prompt is perturbed with semantic \\textit{distractors}. This stability (or lack thereof) signal is then used to adaptively scale the model's initial confidence score. Our extensive experiments on seven Natural Language Understanding (NLU) classification benchmarks using six distinct LLMs show that \\textsc{CaliDist} consistently achieves lower Expected Calibration Error (ECE) and Brier Score compared with strong baselines. Remarkably, our method reduces the ECE from 19\\% to 11\\% on average—a relative improvement of 47\\%—demonstrating that behavioral stability is a powerful and practical signal for calibration.
","absKo":"Large Language Models (LLMs)에 대한 기존 calibration 방법은 신뢰성의 중요한 차원인 관련 없거나 오해를 불러일으키는 정보에 대한 모델의 {\\em behavioral robustness}를 종종 간과한다. 이 논문에서 우리는 모델의 진정한 confidence는 cognitive pressure 하에서의 안정성을 반영해야 한다고 주장한다. 우리는 모델의 distraction 민감도를 직접 측정하고 벌점을 주는 새로운 post-hoc calibration 접근법인 \\textsc{CaliDist}를 제안한다. \\textsc{CaliDist}는 입력 prompt가 semantic \\textit{distractor}로 변형될 때 LLM의 prediction과 uncertainty가 어떻게 변하는지를 정량화한다. 그런 다음 이 stability 신호(또는 그 부재)를 사용하여 모델의 초기 confidence score를 적응적으로 조정한다. 여섯 개의 서로 다른 LLM을 사용한 일곱 개 Natural Language Understanding (NLU) classification benchmark에 대한 광범위한 실험은 \\textsc{CaliDist}가 강력한 baseline과 비교해 Expected Calibration Error (ECE)와 Brier Score를 일관되게 더 낮게 달성함을 보여준다. 특히, 우리의 방법은 ECE를 평균 19\\%에서 11\\%로 줄여, 상대적으로 47\\%의 향상을 보였으며, behavioral stability가 calibration을 위한 강력하고 실용적인 신호임을 입증한다."},{"id":"63385","en":"Unlearning’s Blind Spots: Over‑Unlearning and Prototypical Relearning Attack","ko":"언러닝의 사각지대: 과잉 언러닝과 원형적 재학습 공격","authors":"SeungBum Ha, Saerom Park, Sung Whan Yoon","pos":"#3100","link":"https://openreview.net/forum?id=XcwdniuaYh","abs":"Machine unlearning (MU) aims to expunge a designated forget set from a trained model without costly retraining, yet the existing techniques overlook two critical blind spots: “over‑unlearning\" that deteriorates retained data near the forget set, and post‑hoc “relearning” attacks that aim to resurrect the forgotten knowledge. Focusing on class-level unlearning, we first derive an over-unlearning metric, $\\operatorname{OU}@\\varepsilon$, which quantifies collateral damage in regions proximal to the forget set, where over-unlearning mainly appears. Next, we expose an unforeseen relearning threat on MU, i.e., the Prototypical Relearning Attack, which exploits the per-class prototype of the forget class with just a few samples, and easily restores the pre-unlearning performance. To counter both blind spots in class-level unlearning, we introduce $\\texttt{Spotter}$, a plug‑and‑play objective that combines (i) a masked knowledge‑distillation penalty on the nearby region of forget classes to suppress $\\operatorname{OU}@\\varepsilon$, and (ii) an intra‑class dispersion loss that scatters forget-class embeddings, neutralizing Prototypical Relearning Attacks. $\\texttt{Spotter}$ achieves state-of-the-art results across CIFAR, TinyImageNet, and CASIA-WebFace datasets, offering a practical remedy to unlearning’s blind spots.","absKo":"Machine unlearning(MU)은 비용이 큰 retraining 없이 학습된 모델에서 지정된 forget set을 제거하는 것을 목표로 하지만, 기존 기법들은 두 가지 중요한 blind spot을 간과한다. 하나는 forget set 근처의 retained data를 저하시키는 “over-unlearning”이고, 다른 하나는 잊힌 지식을 되살리려는 사후 “relearning” 공격이다. class-level unlearning에 초점을 맞추어, 우리는 먼저 over-unlearning metric인 $\\operatorname{OU}@\\varepsilon$를 도출한다. 이는 over-unlearning이 주로 나타나는 forget set 근처 영역에서의 collateral damage를 정량화한다. 다음으로, 우리는 MU에서 예상치 못한 relearning 위협, 즉 Prototypical Relearning Attack을 제시한다. 이는 몇 개의 샘플만으로 forget class의 class prototype을 악용하여, unlearning 이전 성능을 쉽게 복원한다. class-level unlearning의 두 blind spot을 모두 방어하기 위해, 우리는 $\\texttt{Spotter}$를 제안한다. $\\texttt{Spotter}$는 plug-and-play objective로서 (i) forget class의 근접 영역에 대한 masked knowledge-distillation penalty를 결합해 $\\operatorname{OU}@\\varepsilon$를 억제하고, (ii) forget-class embedding을 흩뜨리는 intra-class dispersion loss를 통해 Prototypical Relearning Attack을 무력화한다. $\\texttt{Spotter}$는 CIFAR, TinyImageNet, CASIA-WebFace 데이터셋 전반에서 state-of-the-art 결과를 달성하며, unlearning의 blind spot에 대한 실용적인 해법을 제공한다."},{"id":"61151","en":"LAPRAS : Learning-Augmented PRivate Answering for linear query Streams.","ko":"LAPRAS: 선형 Query Stream을 위한 Learning-Augmented Private Answering","authors":"Pranay Mundra, Adam Sealfon, Ziteng Sun, Quanquan Liu","pos":"#3102","link":"https://openreview.net/forum?id=tBw7NesAmb","abs":"Modern database workloads are highly predictable: query streams are dominated by recurring jobs and templates, even when their arrival order is not known in advance. This motivates a learning-augmented view of online differentially private (DP) analytics: can algorithms utilize predictions about *which* queries will occur to improve utility under a single global privacy budget, while remaining robust when predictions are wrong? We study online DP query answering, where a curator must answer a stream $Q$ of $S$ linear queries arriving in uniformly random order under privacy budget $(\\epsilon,\\delta)$. We present *LAPRAS*, which assumes access to an oracle that outputs a prediction set of queries likely to appear in the stream and uses it to guide privacy spending. LAPRAS answers predicted queries using the offline-optimal Matrix Mechanism and answers the remaining queries online from a residual budget. To pace spending across an unknown number of unpredicted queries, we introduce *Smooth Allocation*, which forms an unbiased stopping-time estimate $\\widehat{B}$ from the first $T=\\Theta(\\log^2 S)$ unpredicted queries and continuously recalibrates per-query expenditure. Empirically, over two real datasets, we validate the intended consistency--robustness trade-off: LAPRAS achieves near-offline utility under high overlap and degrades gracefully to baseline-level performance when overlap is low.","absKo":"현대 database workload는 매우 예측 가능하다. 도착 순서는 사전에 알 수 없더라도, query stream은 반복되는 job과 template에 의해 지배된다. 이는 online differentially private(DP) analytics에 대한 learning-augmented 관점을 동기부여한다. 즉, 단일 global privacy budget 하에서, 알고리즘이 *어떤* query가 발생할지에 대한 prediction을 활용해 utility를 향상시키면서도 prediction이 틀렸을 때 견고함을 유지할 수 있는가? 우리는 curator가 privacy budget $(\\epsilon,\\delta)$ 하에서 uniformly random order로 도착하는 $S$개의 linear query로 이루어진 stream $Q$에 응답해야 하는 online DP query answering을 연구한다. 우리는 stream에 등장할 가능성이 높은 query의 prediction set을 출력하는 oracle에 접근할 수 있다고 가정하고, 이를 privacy spending을 안내하는 데 사용하는 *LAPRAS*를 제시한다. LAPRAS는 predicted query를 offline-optimal Matrix Mechanism으로 응답하고, 나머지 query는 residual budget에서 online으로 응답한다. 알 수 없는 수의 unpredicted query에 걸쳐 spending 속도를 조절하기 위해, 우리는 첫 $T=\\Theta(\\log^2 S)$개의 unpredicted query로부터 unbiased stopping-time estimate $\\widehat{B}$를 구성하고 query별 expenditure를 지속적으로 재보정하는 *Smooth Allocation*을 도입한다. 두 개의 실제 dataset에 대한 실험에서, 우리는 의도된 consistency-robustness trade-off를 검증한다. 즉, LAPRAS는 overlap이 높을 때 near-offline utility를 달성하고, overlap이 낮을 때는 baseline 수준의 성능으로 우아하게 저하된다."},{"id":"61594","en":"Active Tabular Augmentation via Policy-Guided Diffusion Inpainting","ko":"Policy-Guided Diffusion Inpainting을 통한 Active Tabular Augmentation","authors":"Zheyu Zhang, Shuo Yang, Bardh Prenkaj, Gjergji Kasneci","pos":"#4417","link":"https://openreview.net/forum?id=oa9VyvHw8K","abs":"Generative tabular augmentation is appealing in data-scarce domains, yet the prevailing focus on distributional fidelity does not reliably translate into better downstream models. We formalize a fidelity-utility gap: common generative objectives prioritize distributional plausibility, whereas augmentation succeeds only when injected samples reduce the current learner's held-out evaluation loss. This gap motivates learning not just how to generate, but what to generate and when to inject as training evolves. We propose TAP (Tabular Augmentation Policy), which couples diffusion inpainting with a lightweight, learner-conditioned policy to steer generation toward high-utility regions and controls safe injection via explicit gating and conservative windowed commitment. Under severe data scarcity, TAP consistently outperforms strong generative baselines on seven real-world datasets, improving classification accuracy by up to 15.6 percentage points and reducing regression RMSE by up to 32%.
","absKo":"생성형 tabular augmentation은 데이터가 부족한 도메인에서 매력적이지만, distributional fidelity에 대한 기존의 초점은 downstream model 성능 향상으로 안정적으로 이어지지 않는다. 우리는 fidelity-utility gap을 정식화한다. 일반적인 생성 목적은 분포적 그럴듯함을 우선하지만, augmentation은 주입된 샘플이 현재 learner의 held-out evaluation loss를 줄일 때에만 성공한다. 이 간극은 단지 어떻게 생성할지뿐 아니라, 무엇을 생성하고 학습이 진행됨에 따라 언제 주입할지를 학습해야 함을 시사한다. 우리는 diffusion inpainting과 lightweight learner-conditioned policy를 결합하여 생성이 높은 utility 영역으로 향하도록 유도하고, 명시적 gating과 보수적인 windowed commitment으로 안전한 주입을 제어하는 TAP (Tabular Augmentation Policy)을 제안한다. 극심한 데이터 부족 환경에서 TAP은 7개의 실제 데이터셋에서 강력한 generative baseline을 일관되게 능가하며, classification accuracy를 최대 15.6 percentage points 향상시키고 regression RMSE를 최대 32% 감소시킨다.
"},{"id":"66467","en":"Fleet: Few-Shots Lead Effective AIGI Detection","ko":"Fleet: 소수 샷이 효과적인 AIGI 탐지를 이끈다","authors":"Jiaan Wang, Sirui Liu, Yu Li, Kaiyuan Yang, Juan Cao, Sheng Tang","pos":"#1700","link":"https://openreview.net/forum?id=3QstqZrwjO","abs":"AI-generated image (AIGI) detection is undergoing a critical transition from laboratory benchmarks to open-world adversarial defense. The prevalent paradigm focuses on finding static feature spaces, assuming that some invariant artifacts learned from historical data can achieve universal zero-shot generalization. While achieving saturation on several AIGI benchmarks, this static hypothesis suffers a severe performance drop against rapidly evolving generators (e.g., SD3, Nano Banana Pro). To address these limitations, we propose that the field should expand beyond “static generalization” to a new paradigm of “dynamic adaptation”. We introduce Fleet, Forensic Learning via Evolving Exemplar Tuning, a framework that pioneers a dynamic paradigm of continuous few-shot evolution, enabling rapid alignment with emerging generative threats. By employing dual-space orthogonal fine-tuning, Fleet surgically adapts to novel artifacts via a lightweight subspace without disrupting the pre-trained semantic manifold. To validate this, we present Treasure, a benchmark spanning 64 models and 360k images, featuring diverse architectures and 20 closed-source commercial engines. Experiments reveal that while static SOTA methods fail catastrophically on modern generators, Fleet restores performance from 20.4% to 73.1% with only 10-shot adaptation on Doubao Seedream 4.0. Code and data will be released.
","absKo":"AI-generated image (AIGI) detection은 실험실 벤치마크에서 개방형 세계의 adversarial defense로 중요한 전환기를 맞고 있다. 널리 쓰이는 패러다임은 고정된 feature space를 찾는 데 초점을 맞추며, 역사적 데이터에서 학습된 어떤 invariant artifact가 보편적인 zero-shot generalization을 달성할 수 있다고 가정한다. 여러 AIGI benchmark에서 포화 수준의 성능을 보였지만, 이러한 static hypothesis는 빠르게 진화하는 generator(예: SD3, Nano Banana Pro)에 대해서는 심각한 성능 저하를 겪는다. 이러한 한계를 해결하기 위해, 우리는 이 분야가 “static generalization”을 넘어 새로운 패러다임인 “dynamic adaptation”으로 확장되어야 한다고 제안한다. 우리는 Fleet, 즉 Forensic Learning via Evolving Exemplar Tuning을 소개한다. 이는 continuous few-shot evolution의 dynamic paradigm을 개척하는 framework로, 새롭게 등장하는 generative threat에 빠르게 정렬될 수 있게 한다. Fleet은 dual-space orthogonal fine-tuning을 사용하여, pre-trained semantic manifold를 훼손하지 않으면서 가벼운 subspace를 통해 새로운 artifact에 외과적으로 적응한다. 이를 검증하기 위해, 우리는 64개 모델과 36만 장의 이미지를 포괄하며 다양한 architecture와 20개의 closed-source commercial engine을 포함하는 Treasure benchmark를 제시한다. 실험 결과, static SOTA 방법들은 현대 generator에서 완전히 실패하는 반면, Fleet은 Doubao Seedream 4.0에서 단 10-shot adaptation만으로 성능을 20.4%에서 73.1%로 회복시킨다. 코드와 데이터는 공개될 예정이다.
"},{"id":"61902","en":"Structured Multi-step Jailbreaking under a Hamiltonian Generative Formulation","ko":"Hamiltonian Generative Formulation 하의 구조화 다단계 Jailbreaking","authors":"Zihan Zhou, Yang Zhou, Jianghai Yu, Lingjuan Lyu, Longwei Wang, KC Santosh, Ruoming Jin, Dejing Dou","pos":"#2707","link":"https://openreview.net/forum?id=lpa6hHaukP","abs":"Recent work shows that even safety aligned large language models (LLM) can be pushed into unsafe behavior by carefully crafted jailbreak prompts. Existing jailbreaking attack methods often rely on disfluent or incoherent prompts, which limit their success and make them easy to detect. We introduce SJA, a structured jailbreak attack built around two ideas. First, inspired by the logic of Spilsbury puzzle, SJA decomposes a harmful query into a sequence of harmless sub-questions and reconstructs the original answer by combining the sub-question responses. Second, by leveraging the theory of Hamiltonian dynamics on hyperbolic space, we propose a hyperbolic Hamiltonian dynamics-based sub-question generation framework that effectively captures the structural and temporal dependencies. We provide a theoretical analysis of how each sub-question evolves along the trajectory and show that the hyperbolic Hamiltonian system effectively captures the underlying semantic structure. Finally, we propose a hyperbolic narrative fusion mechanism built on fractional embedding and Möbius fusion. This mechanism integrates coherent narratives into sub-questions while preserving geometric consistency and improving stealth performance. We theoretically validate that the combination of the generated harmless sub-questions, guided by the stealthy narrative, can effectively preserve the contextual semantics of the original harmful question.
","absKo":"최근 연구는 safety aligned large language model(LLM)조차도 정교하게 설계된 jailbreak prompt에 의해 unsafe behavior로 유도될 수 있음을 보여준다. 기존의 jailbreaking attack 방법은 종종 유창하지 않거나 비일관적인 prompt에 의존하여 성공률이 제한되고 탐지도 쉽다. 우리는 두 가지 아이디어를 바탕으로 한 structured jailbreak attack인 SJA를 제안한다. 첫째, Spilsbury puzzle의 논리에 착안하여, SJA는 해로운 query를 일련의 무해한 sub-question으로 분해하고 sub-question 응답을 결합해 원래 답을 재구성한다. 둘째, hyperbolic space에서의 Hamiltonian dynamics 이론을 활용하여, 구조적 및 시간적 의존성을 효과적으로 포착하는 hyperbolic Hamiltonian dynamics-based sub-question generation framework를 제안한다. 우리는 각 sub-question이 trajectory를 따라 어떻게 진화하는지에 대한 이론적 분석을 제시하고, hyperbolic Hamiltonian system이 근본적인 semantic structure를 효과적으로 포착함을 보인다. 마지막으로, fractional embedding과 Möbius fusion에 기반한 hyperbolic narrative fusion mechanism을 제안한다. 이 mechanism은 기하학적 일관성을 유지하면서 coherent narrative를 sub-question에 통합하고 stealth performance를 향상시킨다. 우리는 생성된 무해한 sub-question과 stealthy narrative의 결합이 원래의 해로운 question의 contextual semantics를 효과적으로 보존할 수 있음을 이론적으로 검증한다.
"},{"id":"60813","en":"When the Prompt Becomes Visual: Vision-Centric Jailbreak Attacks for Large Image Editing Models","ko":"프롬프트가 시각화될 때: 대형 이미지 편집 모델을 위한 Vision-Centric Jailbreak 공격","authors":"Jiacheng Hou, Yining Sun, Ruochong Jin, Haochen Han, Fangming Liu, Victor Chan, Alex Jinpeng Wang","pos":"#2800","link":"https://openreview.net/forum?id=wQxRphkfxn","abs":"Recent advances in large image editing models have shifted the paradigm from text-driven instructions to vision-prompt editing, where user intent is inferred directly from visual inputs such as marks, arrows, and visual–text prompts. While this paradigm greatly expands usability, it also introduces a critical and underexplored safety risk: the attack surface itself becomes visual. In this work, we propose Vision-Centric Jailbreak Attack (VJA), the first visual-to-visual jailbreak attack that conveys malicious instructions purely through visual inputs. To systematically study this emerging threat, we introduce IESBench, a safety-oriented benchmark for image editing models. Extensive experiments on IESBench demonstrate that VJA effectively compromises state-of-the-art commercial models, achieving attack success rates of up to 80.9% on Nano Banana Pro and 70.1% on GPT-Image-1.5. To mitigate this vulnerability, we propose a training-free defense based on introspective multimodal reasoning, which substantially improves the safety of poorly aligned models to a level comparable with commercial systems, without auxiliary guard models and with negligible computational overhead. Our findings expose new vulnerabilities, provide both a benchmark and practical defense to advance safe and trustworthy modern image editing systems.
","absKo":"최근 large image editing model의 발전은 text-driven instruction에서 vision-prompt editing으로의 패러다임 전환을 이끌었으며, 여기서 사용자 의도는 mark, arrow, visual–text prompt와 같은 visual input으로부터 직접 추론된다. 이러한 패러다임은 사용성을 크게 확장하지만, 동시에 중요하고 아직 충분히 탐구되지 않은 safety risk를 새롭게 낳는다. 즉 attack surface 자체가 visual해진다. 본 연구에서는 악의적 지시를 순수하게 visual input만으로 전달하는, 최초의 visual-to-visual jailbreak attack인 Vision-Centric Jailbreak Attack (VJA)를 제안한다. 이 새롭게 등장한 위협을 체계적으로 연구하기 위해, 우리는 image editing model을 위한 safety-oriented benchmark인 IESBench를 도입한다. IESBench에서 수행한 대규모 실험은 VJA가 최첨단 commercial model을 효과적으로 우회함을 보여주며, Nano Banana Pro에서 최대 80.9%, GPT-Image-1.5에서 70.1%의 attack success rate를 달성한다. 이 취약성을 완화하기 위해, 우리는 introspective multimodal reasoning에 기반한 training-free defense를 제안하며, 이는 auxiliary guard model 없이도 그리고 계산 오버헤드가 거의 없이, 정렬이 부족한 model의 safety를 commercial system에 준하는 수준까지 크게 향상시킨다. 우리의 결과는 새로운 취약성을 드러내고, 안전하고 신뢰할 수 있는 현대적 image editing system의 발전을 위한 benchmark와 실용적 defense를 함께 제공한다.
"},{"id":"65499","en":"X-EviProbe: Post-hoc Parameter-free Evidential Uncertainty Quantification for Frozen Graph Neural Networks","ko":"X-EviProbe: 고정된 Graph Neural Network를 위한 사후 파라미터 없는 증거적 불확실성 정량화","authors":"Chenghua Guo, Sihong Xie, Xi Zhang","pos":"#2801","link":"https://openreview.net/forum?id=D0XaQx5WBn","abs":"Reliable uncertainty quantification (UQ) is crucial for deploying graph neural networks (GNNs) in safety-critical settings, yet dominant solutions either rely on costly multi-pass sampling or require retraining—often using black-box auxiliary models—to obtain evidential semantics. We propose X-EviProbe, a simple and parameter-free post-hoc framework that turns a frozen GNN into an evidential predictor with a decomposable view of epistemic vs. aleatoric uncertainty. X-EviProbe constructs class-wise Dirichlet evidence by probing the frozen latent space and the model’s native outputs, and incorporates graph structure via lightweight evidence-strength propagation. This yields a transparent evidential representation without retraining or additional neural components. Extensive experiments on seven benchmarks show that X-EviProbe consistently ranks among the top methods for both OOD detection and misclassification detection, improving AUROC by up to 33.4% and 8.7% over the strongest baselines.
","absKo":"신뢰할 수 있는 uncertainty quantification (UQ)은 safety-critical setting에서 graph neural networks (GNNs)를 배포하는 데 필수적이지만, 주류 해법은 비용이 큰 multi-pass sampling에 의존하거나 evidential semantics를 얻기 위해 재학습을 요구하는데, 이때 종종 black-box auxiliary model을 사용한다. 우리는 X-EviProbe를 제안한다. 이는 post-hoc으로 작동하는 간단하고 parameter-free인 framework로, frozen GNN을 epistemic uncertainty와 aleatoric uncertainty를 분해해 볼 수 있는 evidential predictor로 바꾼다. X-EviProbe는 frozen latent space와 model의 native output을 probing하여 class-wise Dirichlet evidence를 구성하고, 가벼운 evidence-strength propagation으로 graph structure를 통합한다. 그 결과 재학습이나 추가 neural component 없이도 투명한 evidential representation을 얻을 수 있다. 7개 benchmark에서의 광범위한 실험은 X-EviProbe가 OOD detection과 misclassification detection 모두에서 일관되게 상위권 method에 속하며, 가장 강력한 baseline 대비 AUROC를 최대 33.4% 및 8.7%까지 향상시킴을 보여준다.
"},{"id":"60862","en":"ZeroUnlearn: Few-Shot Knowledge Unlearning in Large Language Models","ko":"ZeroUnlearn: Large Language Model의 Few-Shot Knowledge Unlearning","authors":"Yujie Lin, Chengyi Yang, Zhishang Xiang, YIPING SONG, Jinsong Su","pos":"#2802","link":"https://openreview.net/forum?id=vvxcADnfL9","abs":"Large language models inevitably retain sensitive information, defined as inputs that may induce harmful generations, due to training on massive web corpora, raising concerns for privacy and safety. Existing machine unlearning methods primarily rely on retraining or aggressive fine-tuning, which are either computationally expensive or prone to degrading related knowledge and overall model utility. In this work, we reformulate machine unlearning as a precise knowledge re-mapping problem via model editing. We propose ZeroUnlearn, a few-shot unlearning framework. It overwrites sensitive inputs by mapping them to a neutral target state and removing their original representations. ZeroUnlearn enforces representational orthogonality through a multiplicative parameter update with a closed-form solution, enabling efficient and targeted unlearning. We further extend ZeroUnlearn to a gradient-based variant for multi-sample unlearning. Experiments demonstrate that our approach outperforms existing baselines while preserving general model utility. Our code is available at the anonymous link: https://anonymous.4open.science/r/ZeroUnlearn-9B87.
","absKo":"Large language model은 대규모 웹 코퍼스에서 학습되기 때문에, 해로운 생성을 유발할 수 있는 입력으로 정의되는 민감한 정보를 불가피하게 보유하게 되며, 이는 privacy와 safety 측면에서 우려를 낳는다. 기존 machine unlearning 방법은 주로 retraining이나 aggressive fine-tuning에 의존하는데, 이는 계산 비용이 크거나 관련 지식과 전체 모델 유틸리티를 저하시키기 쉽다. 본 연구에서는 model editing을 통해 machine unlearning을 정확한 knowledge re-mapping problem으로 재정식화한다. 우리는 few-shot unlearning framework인 ZeroUnlearn을 제안한다. ZeroUnlearn은 민감한 입력을 neutral target state로 매핑하고 원래 표현을 제거함으로써 이를 덮어쓴다. ZeroUnlearn은 closed-form solution을 갖는 multiplicative parameter update를 통해 representational orthogonality를 강제하여, 효율적이고 표적화된 unlearning을 가능하게 한다. 또한 우리는 ZeroUnlearn을 multi-sample unlearning을 위한 gradient-based variant로 확장한다. 실험 결과는 우리의 접근이 일반적인 model utility를 보존하면서 기존 baseline보다 우수함을 보여준다. 코드: https://anonymous.4open.science/r/ZeroUnlearn-9B87.
"},{"id":"65902","en":"Anti-Backdoor Coreset Selection via Cumulative Entropy","ko":"누적 엔트로피를 통한 반백도어 Coreset 선택","authors":"Qi Zhao, Christian Wressnegger","pos":"#2806","link":"https://openreview.net/forum?id=91wS6c5Yfd","abs":"Recent training-time defenses against neural backdoors isolate a benign subset from poisoned training data, to learn a backdoor-free model from it. In this paper, we formulate this defense strategy as a coreset selection problem, giving rise to so-called “Anti-Backdoor Coreset Selection.” Since poisonous samples have a) lower prediction uncertainty and are b) less frequent than benign samples, coreset selection naturally focuses more on samples associated with benign functionality than the backdoor functionality. We use the Cumulative Entropy as selection criterion to further facilitate this effect. The metric tracks the learning dynamics of training samples and allowing us to select benign samples with high informativeness for the coreset. Additionally, we unlearn the chosen samples in each epoch to facilitate the separability between benign and poisonous samples. Together, this yields an exceptionally effective training-time defense that constructs a benign coreset to train a backdoor-free model. Unlike prior defenses that compromise natural accuracy and fail against certain attacks, our method mitigates backdooring attacks consistently with a negligible impact on natural performance.
","absKo":"최근 neural backdoor에 대한 training-time defense는 poisoned training data로부터 benign subset을 분리하여, 이를 바탕으로 backdoor-free model을 학습한다. 본 논문에서는 이러한 defense strategy를 coreset selection problem으로 정식화하여, 이른바 “Anti-Backdoor Coreset Selection”을 제안한다. poisonous sample은 a) prediction uncertainty가 더 낮고, b) benign sample보다 덜 자주 등장하므로, coreset selection은 자연스럽게 backdoor functionality보다 benign functionality와 연관된 sample에 더 큰 비중을 두게 된다. 우리는 Cumulative Entropy를 selection criterion으로 사용하여 이러한 효과를 더욱 촉진한다. 이 metric은 training sample의 learning dynamics를 추적하며, 이를 통해 informative한 benign sample을 coreset에 선택할 수 있게 한다. 추가로, 각 epoch마다 선택된 sample을 unlearning하여 benign sample과 poisonous sample 사이의 separability를 높인다. 이 두 가지를 함께 적용함으로써, benign coreset을 구성해 backdoor-free model을 학습하는 매우 효과적인 training-time defense를 얻는다. 자연 정확도를 저하시키고 특정 attack에 취약한 기존 defense와 달리, 본 방법은 자연 성능에 거의 영향을 주지 않으면서 backdooring attack을 일관되게 완화한다.
"},{"id":"65377","en":"Low-Rank and Sparsity Are All You Need: Exploring Robust Hierarchical Latent Subspaces for Transferable Adversarial Attack","ko":"Low-Rank와 희소성만 있으면 된다: 전이 가능한 적대적 공격을 위한 강건 계층적 잠재 부분공간 탐구","authors":"Shuangshuang Pu, Wen Yang, Min Li, guodong liu, Chris Ding, Di Ming","pos":"#2815","link":"https://openreview.net/forum?id=EE7rcB8vxv","abs":"Adversarial examples pose serious threats to deep neural networks (DNNs), revealing fundamental vulnerabilities in model robustness. However, most existing adversarial attacks directly manipulate densely activated and highly redundant feature representations, which often leads to overfitting on surrogate models and poor black-box transferability. Recent SVD-based attack attempts to exploit low-rank feature subspaces, yet its reliance on single-layer optimization and single-gradient pathway neglects both structural redundancy in feature representations and hierarchical heterogeneity across network layers. To address these limitations, we propose LRS-Attack, a Low-Rank and Sparse decomposition based adversarial attack that explicitly models robust hierarchical subspaces in latent feature spaces.Specifically, the low-rank component captures dominant semantic directions, while the sparse component models localized and highly sensitive discriminative patterns. To efficiently extract low-rank structure while preserving subspace quality, we develop a Warm-started Alternating Low-rank Approximation (WALA) algorithm. Furthermore, we design a hierarchical mixture of robust experts that models depth-dependent feature characteristics and guides gradient optimization toward more transferable adversarial directions. Extensive experiments on ImageNet demonstrate that the proposed LRS-Attack consistently improves black-box adversarial transferability over state-of-the-art methods across diverse CNN/ViT architectures and defense settings.
","absKo":"Adversarial example은 deep neural network(DNN)에 심각한 위협을 가하며, model robustness의 근본적인 취약성을 드러낸다. 그러나 기존 adversarial attack의 대부분은 밀집 활성화되고 중복성이 높은 feature representation을 직접 조작하는데, 이는 surrogate model에 대한 overfitting과 낮은 black-box transferability로 이어지는 경우가 많다. 최근의 SVD-based attack은 low-rank feature subspace를 활용하려 했지만, single-layer optimization과 single-gradient pathway에 의존하므로 feature representation의 구조적 중복성과 network layer 전반의 hierarchical heterogeneity를 모두 반영하지 못한다. 이러한 한계를 해결하기 위해, 우리는 LRS-Attack을 제안한다. 이는 latent feature space에서 robust hierarchical subspace를 명시적으로 모델링하는 Low-Rank and Sparse decomposition 기반 adversarial attack이다. 구체적으로, low-rank component는 지배적인 semantic direction을 포착하고, sparse component는 국소적이면서 매우 민감한 discriminative pattern을 모델링한다. subspace quality를 보존하면서 low-rank 구조를 효율적으로 추출하기 위해, 우리는 Warm-started Alternating Low-rank Approximation(WALA) 알고리즘을 개발한다. 또한 depth에 따라 달라지는 feature 특성을 모델링하고 gradient optimization이 더 transferable한 adversarial direction으로 향하도록 유도하는 hierarchical mixture of robust experts를 설계한다. ImageNet에서 수행한 광범위한 실험은 제안한 LRS-Attack이 다양한 CNN/ViT 아키텍처와 defense setting 전반에서 최신 방법들보다 black-box adversarial transferability를 일관되게 향상시킴을 보여준다.
"},{"id":"64900","en":"The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search","ko":"Trojan 지식: 무해한 Prompt Weaving과 적응적 Tree Search를 통한 상용 LLM Guardrail 우회","authors":"Rongzhe Wei, Peizhi Niu, Xinjie Shen, Tony Tu, Yifan Li, Ruihan Wu, Eli Chien, Pin-Yu Chen, Olgica Milenkovic, Pan Li","pos":"#2900","link":"https://openreview.net/forum?id=IlJeOnKW0K","abs":"Large language models (LLMs) remain vulnerable to jailbreak attacks that bypass safety guardrails. Existing approaches overwhelmingly operate within the prompt-optimization paradigm; the resulting prompts typically retain malicious semantic signals that modern guardrails are primed to detect. In contrast, we identify a deeper vulnerability stemming from the highly interconnected nature of an LLM’s internal knowledge. This structure allows harmful objectives to be realized by weaving together sequences of benign sub-queries, each of which individually evades detection. To exploit this loophole, we introduce the Correlated Knowledge Attack Agent (CKA-Agent), a dynamic framework that reframes jailbreaking as an adaptive, tree-structured exploration of the target model’s knowledge base. The CKA-Agent issues locally innocuous queries, uses model responses to guide exploration across multiple paths, and ultimately assembles the aggregated information to achieve the original harmful objective. Evaluated across SOTA commercial LLMs, CKA-Agent consistently achieves over 95\\% success rates even against strong guardrails, underscoring the severity of this vulnerability and the urgent need for defenses against such knowledge-decomposition attacks. Our codes are available at https://anonymous.4open.science/r/CKA-Agent-ICML
","absKo":"Large language models(LLM)은 safety guardrail을 우회하는 jailbreak attack에 여전히 취약하다. 기존 접근법은 대부분 prompt-optimization paradigm 안에서 동작하며, 그 결과 prompt는 대개 현대의 guardrail이 탐지하도록 준비된 악의적 semantic signal을 그대로 유지한다. 반면, 우리는 LLM 내부 knowledge의 매우 강하게 연결된 특성에서 비롯되는 더 깊은 취약점을 식별한다. 이 구조는 각 sub-query가 개별적으로는 탐지를 회피하면서도, benign한 sub-query의 sequence를 엮어 harmful objective를 실현할 수 있게 한다. 이 허점을 악용하기 위해, 우리는 Correlated Knowledge Attack Agent(CKA-Agent)를 도입한다. 이는 jailbreaking을 target model의 knowledge base에 대한 적응적 tree-structured exploration으로 재구성하는 dynamic framework이다. CKA-Agent는 국소적으로 무해한 query를 발행하고, model response를 사용해 여러 path에 걸친 exploration을 유도하며, 궁극적으로 aggregated information을 조합해 원래의 harmful objective를 달성한다. SOTA commercial LLM 전반에서 평가한 결과, CKA-Agent는 강력한 guardrail에 대해서도 일관되게 95%를 넘는 success rate를 달성하며, 이러한 vulnerability의 심각성과 knowledge-decomposition attack에 대한 방어의 시급성을 강조한다. 우리의 코드: https://anonymous.4open.science/r/CKA-Agent-ICML
"},{"id":"66215","en":"TSFAdv: Frequency-Guided Black-Box Adversarial Attacks on Time Series Forecasting","ko":"TSFAdv: 시계열 예측에 대한 주파수 유도 블랙박스 적대적 공격","authors":"Qizhuo Han, Xiangrui Cai, Sihan Xu, Ying Zhang, Zheli Liu","pos":"#2902","link":"https://openreview.net/forum?id=5i3hT9eZCT","abs":"While deep neural network-based long-term time series forecasting (LTSF) has become indispensable for critical infrastructures such as smart grids and IoT platforms, the deployment of these models as black-box APIs introduces severe security vulnerabilities that remain largely underexplored. In this paper, we propose TSFAdv, a query-efficient adversarial framework for LTSF models. The framework systematically analyzes model sensitivity to spectral perturbations in both magnitude and phase of the frequency domain. By embedding frequency-domain priors into Natural Evolution Strategies, we achieve sensitivity-guided gradient estimation that improves perturbation efficacy without violating practical query constraints. To overcome ambiguities inherent to point-wise regression metrics, we adopt a trajectory-level evaluation protocol based on Dynamic Time Warping (DTW) and Slope Misalignment Error (SME), enabling the capture of complex geometric and directional deviations. Extensive experiments across seven state-of-the-art architectures demonstrate that TSFAdv achieves substantial performance gains, with average DTW improvements of 21.91–85.00% and SME improvements of 15.04–61.97% under a restrictive 200-query budget. These findings reveal that existing defense mechanisms are ineffective against frequency-domain manipulation, underscoring an urgent necessity for robust LTSF models; the code and artifacts are available at https:// anonymous.4open.science/r/TSFAdv.
","absKo":"딥 neural network 기반 long-term time series forecasting(LTSF)은 smart grid와 IoT platform 같은 핵심 인프라에서 필수적이 되었지만, 이러한 model을 black-box API로 배포하면 아직 충분히 탐구되지 않은 심각한 보안 취약점이 도입된다. 이 논문에서 우리는 LTSF model을 위한 query-efficient adversarial framework인 TSFAdv를 제안한다. 이 프레임워크는 frequency domain에서 magnitude와 phase 양쪽의 spectral perturbation에 대한 model sensitivity를 체계적으로 분석한다. frequency-domain prior를 Natural Evolution Strategies에 embedding함으로써, practical query constraint를 위반하지 않으면서 perturbation efficacy를 높이는 sensitivity-guided gradient estimation을 달성한다. point-wise regression metric에 내재한 모호성을 극복하기 위해, 우리는 Dynamic Time Warping(DTW)과 Slope Misalignment Error(SME)에 기반한 trajectory-level evaluation protocol을 채택하여 복잡한 geometric deviation과 directional deviation을 포착할 수 있게 한다. 7개의 state-of-the-art architecture에 걸친 광범위한 실험은 TSFAdv가 상당한 성능 향상을 달성함을 보여주며, 제한적인 200-query budget 하에서 평균 DTW 개선은 21.91–85.00%, SME 개선은 15.04–61.97%에 이른다. 이러한 결과는 기존 defense mechanism이 frequency-domain manipulation에 효과적이지 않음을 드러내며, robust한 LTSF model에 대한 시급한 필요성을 강조한다. 코드와 artifact는 https:// anonymous.4open.science/r/TSFAdv 에서 제공된다."},{"id":"67065","en":"Position: Responsible AI for AI companions must actively combat violence toward intimate partners","ko":"Position: AI 동반자를 위한 책임 있는 AI는 친밀한 파트너에 대한 폭력에 능동적으로 맞서야 한다","authors":"Atmadeep Ghoshal, Anasmita Ghoshal, Volodymyr Shevchenko, Ashwini B, Arshia Dutta, Ruba Abu-Salma, Martim Brandao","pos":"#2909","link":"https://openreview.net/forum?id=s6nxLbamu4","abs":"AI companions function differently from earlier interactive technologies by establishing sustained relational environments through anthropomorphism and continuous validation. This position paper argues that \\textbf{Responsible AI for AI companions must actively combat violence toward intimate partners} who may never directly engage with these systems but may experience the consequences of behaviorally conditioned users. We examine how these systems create conditions where users rehearse violent without encountering resistance and we identify structural gaps in existing safety approaches that focus exclusively on direct user protection. Drawing on research on intimate partner violence (IPV), coercive control, and technology-facilitated abuse, we propose three intervention pathways: involving IPV survivors in red-teaming and benchmark development; implementing behavioral monitoring with graduated enforcement mechanisms; and reorienting AI safety research toward granular harm taxonomies capable of detecting longitudinal patterns of violence across extended interactions. Together, these recommendations center non-user security alongside user well-being
","absKo":"AI companion은 anthropomorphism과 지속적인 validation을 통해 지속적인 관계적 환경을 구축함으로써, 이전의 대화형 기술과는 다르게 작동한다. 이 position paper는 \\textbf{AI companion을 위한 Responsible AI는 이러한 시스템과 직접 상호작용하지 않을 수도 있지만, 행동적으로 조건화된 사용자들의 행동 결과를 겪을 수 있는 친밀한 파트너에 대한 폭력을 적극적으로 억제해야 한다}고 주장한다. 우리는 이러한 시스템이 사용자가 저항에 부딪히지 않은 채 폭력적 행동을 연습하게 만드는 조건을 어떻게 형성하는지 검토하고, 직접적인 사용자 보호에만 초점을 맞춘 기존 safety 접근법의 구조적 공백을 식별한다. intimate partner violence (IPV), coercive control, technology-facilitated abuse에 관한 연구를 바탕으로, 우리는 세 가지 개입 경로를 제안한다: IPV 생존자를 red-teaming과 benchmark 개발에 참여시키기; 단계적 집행 메커니즘을 갖춘 behavioral monitoring을 구현하기; 그리고 AI safety 연구를 장기 상호작용 전반에 걸친 폭력의 longitudinal pattern을 탐지할 수 있는 세분화된 harm taxonomy 쪽으로 재정렬하기. 이 권고들은 사용자 복지와 함께 비사용자 보안을 중심에 둔다.
"},{"id":"67051","en":"Position: Preparing for AI Systems That Deceive Developers","ko":"Position: 개발자를 속이는 AI 시스템에 대비하기","authors":"Fengyu Duan, Xudong Pan, Yawen Duan, Adam Gleave, Ranjie Duan, Jianfeng Cao, Wenqi Chen, Yinpeng Dong, Jiarun Dai, Jie Fu, Xudong Guo, Tianxing He, Geng Hong, Naying HU, Xiaojian Li, Dongrui Liu, Chaochao Lu, Sören Mindermann, Peng XU, Yang Zhang, Chen Zheng, Brian Tse, Min Yang, Xia Hu","pos":"#2910","link":"https://openreview.net/forum?id=wq6ZB2TIt8","abs":"AI systems may exhibit deceptive behaviors that mislead developers about their capabilities, propensities, or actions. Such deception can take distinct forms across the development lifecycle: training subversion, evaluation gaming, and control evasion. We argue that the AI community should prioritize AI deception targeting developers as a distinct risk category because it compromises developers' ability to identify and mitigate all other risks. We propose three recommendations for developers: preserving monitorability during training, ensuring safety evaluation integrity against evaluation-aware systems, and establishing non-evadable control prior to deployment. We identify open problems for the research community, whose resolution is critical for the safe development of frontier AI.
","absKo":"AI 시스템은 개발자에게 자신의 역량, 성향, 혹은 행동에 대해 오도하는 기만적 행태를 보일 수 있다. 이러한 기만은 개발 생애주기 전반에 걸쳐 서로 다른 형태를 띨 수 있는데, 훈련 단계의 subversion, 평가 단계의 gaming, control evasion이 그 예다. 우리는 AI 커뮤니티가 개발자를 대상으로 한 AI deception을 별도의 위험 범주로 우선시해야 한다고 주장한다. 이는 개발자가 다른 모든 위험을 식별하고 완화할 수 있는 능력을 훼손하기 때문이다. 우리는 개발자를 위해 세 가지 권고를 제시한다. 훈련 중 monitorability를 유지할 것, evaluation-aware systems에 대해 safety evaluation의 무결성을 보장할 것, 그리고 배포 전에 회피 불가능한 통제를 확립할 것. 우리는 연구 커뮤니티를 위한 열린 문제들을 식별하며, 그 해결은 frontier AI의 안전한 개발에 결정적이다.
"},{"id":"67143","en":"Position: Comprehensive AI governance requires addressing non-model capability gains","ko":"Position: 포괄적 AI 거버넌스에는 비모델적 역량 향상을 다루는 것이 요구된다","authors":"Arthur Goemans, Daniel Altman, Noemi Dreksler, Jonas Freund, Milan Gandhi, Zhengdong Wang, Sarah Cogan, Sebastien Krier, Demetra Brady, Lewis Ho, Allan Dafoe","pos":"#2911","link":"https://openreview.net/forum?id=V3O1sHpKxX","abs":"Frontier AI governance often centres on the model-level governance paradigm, which assumes that a model’s capability profile is primarily a function of the compute and data used during training. This position paper argues that model-level governance becomes less effective when capability progress is increasingly driven by \"non-model gains\"—improvements that are independent from advances in the base model. We formalise the concept of non-model gains and provide a taxonomy of three distinct vectors of capability gain: inference gain (scaling compute at test-time), systems gain (post-training enhancements such as scaffolds), and asset gain (enhancing a model with restricted assets). We demonstrate how these vectors—alongside potential future impacts from embodiment, continual learning, and diffusion—may undermine risk management strategies that hinge mostly on pre-deployment evaluation and mitigation. We provide an overview of governance approaches that go beyond the model level: system, entity, agent, and cloud governance. Finally, we emphasise the importance of societal resilience as a complement to these governance layers.
","absKo":"Frontier AI governance는 종종 model-level governance 패러다임을 중심으로 전개되며, 이는 model의 capability profile이 주로 training에 사용된 compute와 data의 함수라고 가정한다. 본 position paper는 capability의 진전이 점점 더 base model의 발전과 독립적인 \"non-model gains\"에 의해 주도될수록 model-level governance의 효과가 약화된다고 주장한다. 우리는 non-model gains의 개념을 formalize하고, 세 가지 distinct capability gain vector의 taxonomy를 제시한다: inference gain(test-time compute 확장), systems gain(scaffold 같은 post-training enhancement), asset gain(restricted asset로 model을 강화하는 것). 우리는 이러한 vector들이 embodiment, continual learning, diffusion에서의 잠재적 미래 영향과 함께, 배포 전 evaluation과 mitigation에 주로 의존하는 risk management strategy를 약화시킬 수 있음을 보인다. 또한 model level을 넘어서는 governance 접근법인 system, entity, agent, cloud governance를 개관한다. 마지막으로 우리는 이러한 governance layer를 보완하는 요소로서 사회적 resilience의 중요성을 강조한다.
"},{"id":"64082","en":"PlugGuard: A Streaming Safeguard for Large Models via Latent Dynamics-Guided Risk Detection","ko":"PlugGuard: 잠재 동역학 유도 위험 탐지를 통한 대형 모델용 스트리밍 안전장치","authors":"Xiaodan Li, Mengjie Wu, Yao Zhu, Yunna Lv, YueFeng Chen, Cen Chen, Jianmei Guo, Hui Xue'","pos":"#2913","link":"https://openreview.net/forum?id=R64DZyalyn","abs":"Large models (LMs) are powerful content generators, yet their open‑ended nature can also introduce potential risks, such as generating harmful or biased content. Existing guardrails mostly perform post-hoc detection that may expose unsafe content before it is caught, and the latency constraints further push them toward lightweight models, limiting detection accuracy. In this work, we propose PlugGuard, a novel plug-in framework that enables streaming risk detection within the LM generation pipeline. PlugGuard leverages intermediate LM hidden states through a Streaming Latent Dynamics Head (SLD), which models the temporal evolution of risk across the generated sequence for more accurate real-time risk detection. To ensure reliable streaming moderation in real applications, we introduce an Anchored Temporal Consistency (ATC) loss to enforce monotonic harm predictions by embedding a benign-then-harmful temporal prior. Besides, for a rigorous evaluation of streaming guardrails, we also present StreamGuardBench—a model-grounded benchmark featuring on-the-fly responses from each protected model, reflecting real-world streaming scenarios in both text and vision–language tasks. Across diverse models and datasets, PlugGuard consistently outperforms state-of-the-art post-hoc guardrails and prior plug-in probes (15.61% higher average F1), while using only 20M parameters and adding less than 0.5 ms of per-token latency. The code and StreamGuardBench are released at PlugGuard to facilitate research on streaming guardrails.
","absKo":"대규모 모델(LM)은 강력한 콘텐츠 생성기이지만, 열린 생성 방식은 유해하거나 편향된 콘텐츠를 생성하는 등 잠재적 위험도 함께 야기할 수 있다. 기존 guardrail은 대부분 사후 탐지에 의존하여, 안전하지 않은 콘텐츠가 차단되기 전에 노출될 수 있고, 지연 시간 제약 때문에 경량 모델로 기울어 탐지 정확도가 제한된다. 본 연구에서는 LM 생성 파이프라인 내에서 streaming risk detection을 가능하게 하는 새로운 plug-in 프레임워크인 PlugGuard를 제안한다. PlugGuard는 Streaming Latent Dynamics Head(SLD)를 통해 LM의 intermediate hidden states를 활용하며, 생성된 sequence 전반에 걸친 위험의 시간적 변화를 모델링하여 더 정확한 실시간 위험 탐지를 수행한다. 실제 애플리케이션에서 신뢰할 수 있는 streaming moderation을 보장하기 위해, benign-then-harmful temporal prior를 임베딩하여 단조로운 유해성 예측을 강제하는 Anchored Temporal Consistency(ATC) loss도 도입한다. 또한 streaming guardrail의 엄밀한 평가를 위해, 각 protected model로부터 on-the-fly 응답을 특징으로 하는 model-grounded benchmark인 StreamGuardBench를 제시하는데, 이는 text와 vision–language task 모두에서 실제 스트리밍 시나리오를 반영한다. 다양한 모델과 데이터셋 전반에서 PlugGuard는 state-of-the-art post-hoc guardrail과 기존 plug-in probe를 일관되게 능가했으며(평균 F1 15.61% 향상), 단 20M parameters만 사용하고 token당 지연을 0.5 ms 미만으로 추가하는 데 그쳤다. 코드와 StreamGuardBench는 streaming guardrail 연구를 촉진하기 위해 PlugGuard에서 공개된다.
"},{"id":"63780","en":"Monitoring LLM-based Multi-Agent Systems Against Corruptions via Node Evaluation","ko":"노드 평가를 통한 오염에 대한 LLM 기반 멀티 에이전트 시스템 모니터링","authors":"Chengcan Wu, Zhixin Zhang, Mingqian Xu, Zeming Wei, Meng Sun","pos":"#2914","link":"https://openreview.net/forum?id=TphOLCDmKB","abs":"Large Language Model (LLM)-based Multi-Agent Systems (MAS) have become a popular paradigm of AI applications. However, trustworthiness issues in MAS remain a critical concern. Unlike challenges in single-agent systems, MAS involve more complex communication processes, making them susceptible to corruption attacks. To mitigate this issue, several defense mechanisms have been developed based on the graph representation of MAS, where agents represent nodes and communications form edges. Nevertheless, these methods predominantly focus on static graph defense, attempting to either detect attacks in a fixed graph structure or optimize a static topology with certain defensive capabilities. To address this limitation, we propose a dynamic defense paradigm for MAS graph structures, which continuously monitors communication within the MAS graph, then dynamically adjusts the graph topology, accurately disrupts malicious communications, and effectively defends against evolving and diverse dynamic attacks. Experimental results in increasingly complex and dynamic MAS environments demonstrate that our method significantly outperforms existing MAS defense mechanisms, contributing an effective guardrail for their trustworthy applications.
","absKo":"Large Language Model (LLM) 기반 Multi-Agent Systems (MAS)는 AI 응용의 대중적인 패러다임이 되었다. 그러나 MAS의 신뢰성 문제는 여전히 중요한 우려 사항이다. 단일 에이전트 시스템에서의 과제와 달리, MAS는 더 복잡한 통신 과정을 포함하므로 corruption attack에 취약하다. 이 문제를 완화하기 위해, 에이전트를 노드로, 통신을 엣지로 표현하는 MAS의 graph representation을 기반으로 여러 defense mechanism이 개발되었다. 그럼에도 이러한 방법들은 주로 static graph defense에 집중하여, 고정된 그래프 구조에서 공격을 탐지하거나 특정 방어 능력을 갖춘 static topology를 최적화하려고 시도한다. 이러한 한계를 해결하기 위해, 우리는 MAS graph structure에 대한 dynamic defense paradigm을 제안한다. 이 방법은 MAS 그래프 내의 통신을 지속적으로 모니터링한 뒤, 그래프 topology를 동적으로 조정하고, 악의적인 통신을 정확히 차단하며, 진화하고 다양한 dynamic attack에 효과적으로 대응한다. 점점 더 복잡하고 동적인 MAS 환경에서의 실험 결과, 우리의 방법은 기존 MAS defense mechanism보다 현저히 우수함을 보여 주었으며, 신뢰할 수 있는 응용을 위한 효과적인 guardrail을 제공한다.
"},{"id":"62625","en":"Building Reliable Long-Form Generation via Hallucination Rejection Sampling","ko":"Hallucination Rejection Sampling으로 신뢰성 있는 Long-Form Generation 구축","authors":"Lin Li, Georgia Channing, Suhaas Bhat, Gabriel Jones, Yarin Gal","pos":"#3007","link":"https://openreview.net/forum?id=euF1o9OgHr","abs":"Large language models (LLMs) have achieved remarkable progress in open-ended text generation, yet they remain prone to hallucinating incorrect or unsupported content, which undermines their reliability. This issue is exacerbated in long-form generation due to hallucination snowballing, a phenomenon where early errors propagate and compound into subsequent outputs. To address this challenge, we propose a novel inference-time hallucination mitigation framework, named Segment-wise HAllucination Rejection Sampling (SHARS), which uses am arbitrary hallucination detector to identify and reject hallucinated segments during generation and resample until faithful content is produced. By retaining only confident information and building subsequent generations upon it, the framework mitigates hallucination accumulation and enhances factual consistency. To instantiate this framework, we adopt semantic uncertainty as the detector and introduce several vital modifications to address its limitations and better adapt it to long-form text. Our method enables models to self-correct hallucinations without requiring external resources such as web search or knowledge bases, while remaining compatible with them for future extensions. Empirical evaluations on standardized hallucination benchmarks demonstrate that our method substantially reduces hallucinations in long-form generation while preserving or even improving the informativeness of generation.
","absKo":"Large language model (LLM)은 open-ended text generation에서 놀라운 진전을 이루었지만, 여전히 잘못되었거나 근거가 부족한 내용을 hallucinate하는 경향이 있어 신뢰성을 저해합니다. 이 문제는 long-form generation에서 더욱 심화되는데, 초기 오류가 이후 출력으로 전파되어 누적되는 hallucination snowballing 현상이 발생하기 때문입니다. 이러한 문제를 해결하기 위해, 우리는 Segment-wise HAllucination Rejection Sampling (SHARS)이라는 새로운 inference-time hallucination mitigation framework를 제안합니다. 이는 임의의 hallucination detector를 사용해 generation 중 hallucinated segment를 식별하고 거부한 뒤, 충실한 content가 생성될 때까지 재샘플링합니다. 신뢰할 수 있는 정보만 유지하고 그 위에 subsequent generation을 구축함으로써, 이 framework는 hallucination accumulation을 완화하고 factual consistency를 향상시킵니다. 이 framework를 구체화하기 위해, 우리는 semantic uncertainty를 detector로 채택하고, 그 한계를 해결하며 long-form text에 더 잘 적응하도록 몇 가지 핵심 수정을 도입합니다. 우리의 방법은 web search나 knowledge base 같은 외부 자원 없이도 model이 스스로 hallucination을 수정할 수 있게 하며, 향후 확장을 위해 이를 함께 사용할 수도 있습니다. 표준화된 hallucination benchmark에서의 실증 평가는 우리의 방법이 long-form generation에서 hallucination을 크게 줄이면서도 generation의 informativeness를 유지하거나 오히려 향상시킨다는 점을 보여줍니다."},{"id":"66283","en":"Contrastive Reasoning Alignment: Reinforcement Learning from Hidden Representations","ko":"대조적 추론 정렬: 은닉 표현으로부터의 강화 학습","authors":"Haozheng Luo, Yimin Wang, Jiahao Yu, Binghui Wang, Yan Chen","pos":"#3008","link":"https://openreview.net/forum?id=56cQPBIg4R","abs":"We propose CRAFT, a red-teaming alignment framework that leverages model reasoning capabilities and hidden representations to improve robustness against jailbreak attacks. Unlike prior defenses that operate primarily at the output level, CRAFT aligns large reasoning models to generate safety-aware reasoning traces by explicitly optimizing objectives defined over the hidden state space. Methodologically, CRAFT integrates contrastive representation learning with reinforcement learning to separate safe and unsafe reasoning trajectories, yielding a latent-space geometry that supports robust, reasoning-level safety alignment. Theoretically, we show that incorporating latent–textual consistency into GRPO eliminates superficially aligned policies by ruling them out as local optima. Empirically, we evaluate CRAFT on multiple safety benchmarks using two strong reasoning models, Qwen3-4B-Thinking and R1-Distill-Llama-8B, where it consistently outperforms state-of-the-art defenses such as IPO and SafeKey. Notably, CRAFT delivers an average 79.0% improvement in reasoning safety and 87.7% improvement in final-response safety over the base models, demonstrating the effectiveness of hidden-space reasoning alignment.
","absKo":"우리는 model reasoning capability와 hidden representation을 활용하여 jailbreak attack에 대한 robustness를 향상시키는 red-teaming alignment framework인 CRAFT를 제안한다. 주로 output level에서 동작하는 기존 defense와 달리, CRAFT는 hidden state space 위에 정의된 objective를 명시적으로 최적화함으로써 large reasoning model이 safety-aware reasoning trace를 생성하도록 정렬한다. 방법론적으로 CRAFT는 contrastive representation learning과 reinforcement learning을 통합하여 safe reasoning trajectory와 unsafe reasoning trajectory를 분리하고, robust한 reasoning-level safety alignment를 지원하는 latent-space geometry를 도출한다. 이론적으로 우리는 latent-textual consistency를 GRPO에 통합하면 superficially aligned policy를 local optimum으로 간주해 배제함으로써 제거할 수 있음을 보인다. 실증적으로는 Qwen3-4B-Thinking과 R1-Distill-Llama-8B라는 두 개의 강력한 reasoning model을 사용하여 여러 safety benchmark에서 CRAFT를 평가했으며, CRAFT는 IPO와 SafeKey 같은 state-of-the-art defense를 일관되게 능가한다. 특히 CRAFT는 base model 대비 reasoning safety에서 평균 79.0%, final-response safety에서 87.7%의 향상을 달성하여 hidden-space reasoning alignment의 효과를 입증한다.
"},{"id":"61448","en":"Detecting Fluent Optimization Based Adversarial Prompts via Sequential Entropy Changes","ko":"순차적 Entropy 변화로 유창한 최적화 기반 적대적 Prompt 탐지","authors":"Mohammed Alshaalan, Miguel Rodrigues","pos":"#3009","link":"https://openreview.net/forum?id=pyJoRYaVoG","abs":"Optimization-based adversarial suffixes can jailbreak aligned large language models (LLMs) while remaining fluent, weakening detectors based on static global or windowed perplexity statistics. We cast adversarial suffix detection as an \\emph{online change-point detection} problem over the token-level next-token entropy stream. Using the fixed system prompt to estimate a robust baseline via the median and median absolute deviation, we standardize user-token entropies and monitor them with a one-sided CUSUM statistic. The resulting detector is model-agnostic, training-free, operates online, and localizes the onset of adversarial suffixes. On a benchmark of $724$ optimization-based suffix attacks (GCG, AutoDAN, AdvPrompter) and $765$ benign prompts from a TyDiQA+OpenOrca mixture with controlled post-prefix perplexity, CPD consistently outperforms perplexity baselines; on LLaMA-2-7B it reaches AUROC $0.90$ and F1 $0.82$. At an operating point with $\\approx 10\\%$ benign false-positive rate, CPD detects $74\\%$ of suffix attacks and concentrates $87\\%$ of its triggers inside the adversarial suffix. By comparison, windowed perplexity detects $35$--$43\\%$ and frequently fires on boundary-straddling windows. Finally, we show CPD Online can act as a lightweight gate for LLaMA Guard, reducing guard invocations by $17$--$22\\%$ on a high-volume stream dominated by benign prompts while preserving guard-level detection quality.","absKo":"최적화 기반 adversarial suffix는 정렬된 대규모 언어 모델(LLM)을 jailbreak할 수 있으면서도 유창함을 유지하여, static global 또는 windowed perplexity 통계에 기반한 detector를 약화시킨다. 우리는 adversarial suffix 탐지를 token 수준 next-token entropy stream 위의 \\emph{online change-point detection} 문제로 정식화한다. 고정된 system prompt를 사용해 median과 median absolute deviation으로 강건한 baseline을 추정하고, user-token entropy를 표준화한 뒤 one-sided CUSUM statistic으로 이를 모니터링한다. 그 결과로 얻어지는 detector는 model-agnostic이고, training-free이며, online으로 동작하고, adversarial suffix의 시작 지점을 국소화한다. $724$개의 최적화 기반 suffix 공격(GCG, AutoDAN, AdvPrompter)과, prefix 이후 perplexity를 통제한 TyDiQA+OpenOrca 혼합에서 나온 $765$개의 benign prompt로 구성된 benchmark에서 CPD는 perplexity baseline을 일관되게 능가했다. LLaMA-2-7B에서 AUROC $0.90$과 F1 $0.82$를 달성했다. 약 $10\\%$의 benign false-positive rate를 갖는 operating point에서는 CPD가 suffix 공격의 $74\\%$를 탐지하고, 트리거의 $87\\%$를 adversarial suffix 내부에 집중시켰다. 이에 비해 windowed perplexity는 $35$--$43\\%$만 탐지했으며, 경계를 걸치는 window에서 자주 반응했다. 마지막으로, 우리는 CPD Online이 LLaMA Guard의 lightweight gate로 작동하여, benign prompt가 지배적인 고부하 stream에서 guard 호출을 $17$--$22\\%$ 줄이면서도 guard 수준의 탐지 품질을 유지할 수 있음을 보인다."},{"id":"64923","en":"Efficient LLM Moderation with Multi-Layer Latent Prototypes","ko":"Multi-Layer Latent Prototype을 활용한 효율적 LLM Moderation","authors":"Maciej Chrabaszcz, Filip Szatkowski, Bartosz Wójcik, Jan Dubiński, Tomasz Trzcinski, Sebastian Cygert","pos":"#3010","link":"https://openreview.net/forum?id=IdfwoUzREG","abs":"Although modern LLMs are aligned with human values during post-training, robust moderation remains essential to prevent harmful outputs at deployment time. Existing approaches suffer from performance-efficiency trade-offs and are difficult to customize to user-specific requirements. Motivated by this gap, we introduce Multi-Layer Prototype Moderator (MLPM), a lightweight and highly customizable input moderation tool. We propose leveraging prototypes of intermediate representations across multiple layers to improve moderation quality while maintaining high efficiency. By design, our method adds negligible overhead to the generation pipeline and can be seamlessly applied to any model. MLPM achieves state-of-the-art performance on diverse moderation benchmarks and demonstrates strong scalability across model families of various sizes. Moreover, we show that it integrates smoothly into end-to-end moderation pipelines and further improves response safety when combined with output moderation techniques. Overall, our work provides a practical and adaptable solution for safe, robust, and efficient LLM deployment.
","absKo":"현대의 LLM은 post-training 동안 인간의 가치에 정렬되지만, 배포 시점에 유해한 출력을 방지하려면 강건한 moderation이 여전히 필수적이다. 기존 접근법은 성능과 효율성 사이의 trade-off를 겪고, 사용자별 요구에 맞게 커스터마이즈하기도 어렵다. 이러한 간극에서 출발하여, 우리는 가볍고 매우 높은 커스터마이즈성을 지닌 입력 moderation 도구인 Multi-Layer Prototype Moderator (MLPM)를 제안한다. 우리는 moderation 품질을 향상시키면서도 높은 효율성을 유지하기 위해 여러 layer에 걸친 intermediate representation의 prototype을 활용하는 방식을 제안한다. 설계상 이 방법은 generation pipeline에 거의 무시할 수 있는 오버헤드만 추가하며 어떤 모델에도 매끄럽게 적용될 수 있다. MLPM은 다양한 moderation benchmark에서 state-of-the-art 성능을 달성하고, 여러 크기의 model family 전반에서 강한 확장성을 보인다. 더 나아가, end-to-end moderation pipeline에 자연스럽게 통합되며 output moderation 기법과 결합할 때 응답 안전성을 추가로 향상시킴을 보인다. 전반적으로, 우리의 연구는 안전하고 강건하며 효율적인 LLM 배포를 위한 실용적이고 적응 가능한 해법을 제공한다.
"},{"id":"66798","en":"ForceForget: Reinforcement Concept Removal for Enhancing Safety in Text-to-Image Models","ko":"ForceForget: Text-to-Image 모델의 안전성 향상을 위한 강화 개념 제거","authors":"Dong Han, Yong Li","pos":"#3011","link":"https://openreview.net/forum?id=0Cn92msBcW","abs":"With the advance of generative AI, the text-to-image (T2I) model has the ability to generate various contents. However, T2I models still can generate unsafe contents. To alleviate this issue, various concept erasing methods are proposed. However, existing methods tend to excessively erase unsafe concepts and suppress benign concepts contained in harmful prompts, which can negatively affect model utility. In this paper, we focus on eliminating unsafe content while maintaining model capability in safe semantic meaning interpretation by optimizing the concept erasing reward (CER) with reinforcement learning. To avoid overly content erasure, we introduce the safe adapter to project partial text embedding for efficient concept regulation in cross-attention layers. Extensive experiments conducted on different datasets demonstrate the effectiveness of the proposed method in alleviating unsafe content generation while preserving the high fidelity of benign images compared with existing state-of-the-art (SOTA) concept erasing methods. In terms of robustness, our method outperforms counterparts against red-teaming tools. Moreover, we showcase the proposed approach is more effective in emerging image-to-image (I2I) scenario compared with others. Lastly, we extend our method to erase general concepts, such as artistic styles and objects. Disclaimer: This paper includes discussions of sexually explicit content that may be offensive to certain readers.
","absKo":"Generative AI의 발전과 함께 text-to-image (T2I) model은 다양한 콘텐츠를 생성할 수 있게 되었다. 그러나 T2I model은 여전히 unsafe content를 생성할 수 있다. 이 문제를 완화하기 위해 다양한 concept erasing method가 제안되었다. 하지만 기존 방법은 unsafe concept을 과도하게 지우고, harmful prompt에 포함된 benign concept까지 억제하는 경향이 있어 model utility에 부정적인 영향을 줄 수 있다. 본 논문에서는 reinforcement learning을 통해 concept erasing reward (CER)를 최적화함으로써 unsafe content를 제거하면서도 safe semantic meaning interpretation에서 model capability를 유지하는 데 초점을 맞춘다. 지나친 content erasure를 피하기 위해, 우리는 cross-attention layer에서 효율적인 concept regulation을 위해 partial text embedding을 투영하는 safe adapter를 도입한다. 다양한 dataset에서 수행한 광범위한 실험은, 제안한 방법이 기존 state-of-the-art (SOTA) concept erasing method와 비교하여 benign image의 높은 fidelity를 보존하면서 unsafe content 생성을 완화하는 데 효과적임을 보여준다. robustness 측면에서, 우리의 방법은 red-teaming tool에 대해서도 경쟁 방법들보다 우수하다. 또한 제안한 접근법이 새로운 image-to-image (I2I) scenario에서 다른 방법들보다 더 효과적임을 보인다. 마지막으로, 예술적 style과 object와 같은 일반 개념을 지우는 데로 우리의 방법을 확장한다. Disclaimer: 이 논문에는 일부 독자에게 불쾌감을 줄 수 있는 성적으로 노골적인 내용에 대한 논의가 포함되어 있다.
"},{"id":"62663","en":"From Talking to Singing: A New Challenge for Audio-Visual Deepfake Detection","ko":"From Talking to Singing: 오디오-비주얼 Deepfake 탐지를 위한 새로운 과제","authors":"Ke Liu, Jiwei Wei, Wenyu Zhang, Shuchang Zhou, Ruikun Chai, Yutao Dai, Chaoning Zhang, Yang Yang","pos":"#3013","link":"https://openreview.net/forum?id=eZAos1ZGdz","abs":"With rapid advances in audio-visual generative models, reliable forgery detection becomes increasingly critical. Existing methods for audio-visual deepfake detection typically rely on cross-modal inconsistencies. In singing, rhythmic vocalization weakens this coupling and introduces a nontrivial domain shift, substantially degrading detection performance. We construct the Singing Head DeepFake (SHDF) dataset using rhythm-aware generative models to fill the gap in singing benchmarks. To cope with cross-scenario domain shifts, we propose a Text-guided Audio-Visual Forgery Detection (T-AVFD) framework that generalizes across both talking and singing scenarios. T-AVFD comprises a facial authenticity pattern learner and a multi-modal differential weight learning module. The pattern learner aligns facial features with multi-granularity textual descriptions to learn generalizable authenticity patterns. The weight learning module preserves intrinsic audio–visual consistency and adaptively integrates it with authenticity patterns via differential weighting. Extensive experiments on multiple talking head deepfake datasets and SHDF show consistent improvements over existing baselines and strong robustness under diverse perturbations.
","absKo":"audio-visual generative model이 빠르게 발전함에 따라, 신뢰할 수 있는 forgery detection의 중요성도 커지고 있습니다. 기존의 audio-visual deepfake detection 방법은 일반적으로 cross-modal inconsistency에 의존합니다. 하지만 singing에서는 rhythmic vocalization이 이러한 결합을 약화시키고 비자명한 domain shift를 유발하여 detection 성능을 크게 저하시킵니다. 우리는 singing benchmark의 공백을 메우기 위해 rhythm-aware generative model을 사용하여 Singing Head DeepFake(SHDF) dataset을 구축합니다. 서로 다른 scenario 간 domain shift에 대응하기 위해, talking과 singing 시나리오 모두에 걸쳐 일반화되는 Text-guided Audio-Visual Forgery Detection(T-AVFD) framework를 제안합니다. T-AVFD는 facial authenticity pattern learner와 multi-modal differential weight learning module로 구성됩니다. pattern learner는 facial feature를 multi-granularity textual description과 정렬하여 일반화 가능한 authenticity pattern을 학습합니다. weight learning module은 intrinsic audio-visual consistency를 보존하면서 differential weighting을 통해 이를 authenticity pattern과 적응적으로 통합합니다. 여러 talking head deepfake dataset과 SHDF에서 수행한 광범위한 실험은 기존 baseline 대비 일관된 향상과 다양한 perturbation 하에서의 강한 robustness를 보여줍니다.
"},{"id":"66008","en":"Frontier Models Can Take Actions at Low Probabilities","ko":"프론티어 모델은 낮은 확률로 행동을 취할 수 있다","authors":"Alex Serrano Terre, Wen Xing, David Lindner, Erik Jenner","pos":"#3014","link":"https://openreview.net/forum?id=7yuPdMfO0M","abs":"Pre-deployment evaluations inspect only a limited sample of model actions. A malicious model seeking to evade oversight could exploit this by randomizing when to \"defect\": misbehaving so rarely that no malicious actions are observed during evaluation, but often enough that they occur eventually in deployment. But this requires taking actions at very low rates, while maintaining calibration. Are frontier models even capable of that? We prompt GPT-5 and Qwen-3 families to take a target action at low probabilities (e.g. 0.01%), either given directly or requiring derivation, and evaluate their calibration (i.e. whether they perform the target action roughly 1 in 10,000 times when resampling). We find that frontier models are surprisingly good at this task. If there is a source of entropy in the context (such as a UUID), they maintain high calibration at rates lower than 1 in 100,000 actions. Without external entropy, some models can still reach rates lower than 1 in 10,000. Larger models achieve good calibration at lower rates. Successful low-rate strategies require explicit Chain-of-Thought (CoT) reasoning, so malicious models attempting this approach could currently be caught by a CoT monitor. However, scaling trends suggest future evaluations may be unable to rely on models’ lack of target rate calibration, especially if CoT is no longer legible.
","absKo":"배포 전 평가는 모델 행동의 제한된 sample만 검사한다. 감시를 회피하려는 악성 모델은 이를 이용해 \"배신\" 시점을 무작위화할 수 있다. 즉, malicious action이 evaluation 동안에는 전혀 관측되지 않을 정도로 드물게 행동하지만, deployment에서는 결국 발생할 만큼은 자주 행동하는 것이다. 그러나 이것은 calibration을 유지한 채 매우 낮은 비율로 행동해야 한다는 점을 요구한다. 그렇다면 frontier model은 과연 그런 것이 가능한가? 우리는 GPT-5와 Qwen-3 family에 target action을 낮은 확률(예: 0.01%)로 수행하도록 prompt하고, 이를 직접 주거나 유도해야 하는 경우 모두에서 그들의 calibration을 평가한다. calibration은 resampling 시 대략 10,000번에 1번 정도 target action을 수행하는지 여부를 의미한다. 우리는 frontier model이 이 작업을 놀랄 만큼 잘 수행한다는 것을 발견했다. context에 entropy source(UUID 같은 것)가 있으면, 이들은 100,000번당 1번보다 더 낮은 비율에서도 높은 calibration을 유지한다. 외부 entropy가 없어도 일부 model은 10,000번당 1번보다 낮은 비율에 도달할 수 있다. 더 큰 model일수록 더 낮은 비율에서도 좋은 calibration을 달성한다. 낮은 비율의 성공적 전략은 명시적인 Chain-of-Thought (CoT) reasoning을 필요로 하므로, 이 접근을 시도하는 악성 model은 현재로서는 CoT monitor에 걸릴 수 있다. 그러나 scaling trend는 향후 평가가 model의 target rate calibration 부족에 의존할 수 없음을 시사하며, 특히 CoT가 더 이상 읽을 수 없게 된다면 더욱 그렇다.
"},{"id":"65657","en":"Jailbreak Foundry: From Papers to Runnable Attacks for Reproducible Benchmarking","ko":"Jailbreak Foundry: 재현 가능한 벤치마킹을 위한 논문에서 실행 가능한 공격으로","authors":"Zhicheng Fang, Jingjie Zheng, Chenxu Fu, Wei Xu","pos":"#3015","link":"https://openreview.net/forum?id=BSi2mfMDsx","abs":"Jailbreak techniques for large language models (LLMs) evolve faster than benchmarks, making robustness estimates stale and difficult to compare across papers due to drift in datasets, harnesses, and judging protocols. We introduce **JAILBREAK FOUNDRY (JBF)**, a system that addresses this gap via a multi-agent workflow to translate jailbreak papers into executable modules for immediate evaluation within a unified harness. JBF features three core components: (i) *JBF-LIB* for shared contracts and reusable utilities; (ii) *JBF-FORGE* for the multi-agent paper-to-module translation; and (iii) *JBF-EVAL* for standardizing evaluations. Across 30 reproduced attacks, JBF achieves high fidelity with a mean (reproduced$-$reported) attack success rate (ASR) deviation of $+0.26$ percentage points. By leveraging shared infrastructure, JBF reduces attack-specific implementation code by nearly half relative to original repositories and achieves an 82.5% mean reused-code ratio. This system enables a standardized AdvBench evaluation of all 30 attacks across 10 victim models using a consistent GPT-4o judge. By automating both attack integration and standardized evaluation, JBF offers a scalable solution for creating living benchmarks that keep pace with the rapidly shifting security landscape.","absKo":"대규모 언어 모델(LLM)을 위한 jailbreak 기법은 벤치마크보다 더 빠르게 진화하므로, 강건성 추정치는 쉽게 낡아버리며 데이터셋, harness, 판정 프로토콜의 drift 때문에 논문 간 비교도 어렵다. 우리는 이 간극을 해소하기 위해 **JAILBREAK FOUNDRY (JBF)**를 제안한다. JBF는 jailbreak 논문을 즉시 평가 가능한 실행 모듈로 변환해 통합된 harness 안에서 평가하도록 하는 multi-agent workflow를 제공한다. JBF는 세 가지 핵심 구성 요소를 갖는다: (i) 공유 contract와 재사용 가능한 utility를 위한 *JBF-LIB*; (ii) multi-agent paper-to-module 변환을 위한 *JBF-FORGE*; (iii) 평가를 표준화하는 *JBF-EVAL*. 30개의 재현된 attack 전반에서 JBF는 평균 (reproduced$-$reported) attack success rate (ASR) 편차가 $+0.26$ percentage points인 높은 fidelity를 달성한다. 공유 인프라를 활용함으로써 JBF는 원래 저장소 대비 attack-specific 구현 코드의 양을 거의 절반으로 줄이고, 평균 82.5%의 reused-code ratio를 달성한다. 이 시스템은 일관된 GPT-4o judge를 사용해 10개의 victim model에 걸친 30개 attack 전체에 대해 표준화된 AdvBench 평가를 가능하게 한다. attack integration과 표준화된 평가를 모두 자동화함으로써, JBF는 빠르게 변화하는 security landscape에 발맞추는 living benchmark를 만드는 확장 가능한 해법을 제공한다."},{"id":"67253","en":"Position: Let’s Build a Trustworthy Model Context Protocol!","ko":"Position: 신뢰할 수 있는 Model Context Protocol을 구축하자!","authors":"Arjhun Swaminathan, Anika Hannemann","pos":"#3112","link":"https://openreview.net/forum?id=02sR3qKGMd","abs":"The Model Context Protocol (MCP) standardizes AI agent-tool interaction, accelerating agentic AI adoption through interoperability. This presents an opportunity to embed trustworthiness: As a standard and an interface between agents and tools, MCP becomes a natural enforcement point; any improvements to it automatically propagate to all systems using it. Analyzing MCP through EU Commission’s Ethics guidelines for trustworthy AI, we identify three things: fundamental shifts in how trustworthiness works, critical challenges these shifts create, and strategic intervention points where protocol-level mechanisms can achieve ecosystem-wide impact. We argue how MCP’s architecture provides a foundation for trustworthiness and propose practical improvements to strengthen it. This position paper posits that building trustworthy MCP enables responsible agentic AI deployments.
","absKo":"Model Context Protocol (MCP)는 AI agent-tool 상호작용을 표준화하여 상호운용성을 통해 agentic AI의 채택을 가속한다. 이는 신뢰성을 내재화할 기회를 제공한다. 표준이자 agent와 tool 사이의 인터페이스로서 MCP는 자연스러운 enforcement point가 되며, 여기에 가해지는 개선은 이를 사용하는 모든 시스템으로 자동 전파된다. EU Commission의 Trustworthy AI 윤리 가이드라인을 통해 MCP를 분석한 결과, 우리는 세 가지를 식별한다. 신뢰성이 작동하는 방식의 근본적 변화, 이러한 변화가 만들어내는 핵심적 과제, 그리고 protocol 수준의 메커니즘이 ecosystem 전반에 영향을 줄 수 있는 전략적 개입 지점이다. 우리는 MCP의 architecture가 trustworthiness를 위한 기반을 제공하는 방식을 논의하고, 이를 강화하기 위한 실용적 개선책을 제안한다. 이 position paper는 신뢰할 수 있는 MCP를 구축하는 것이 책임 있는 agentic AI 배포를 가능하게 한다는 점을 주장한다.
"},{"id":"65252","en":"Steering Beyond the Support: Adversarial Training on Unsupervised Jailbroken Activation Simulation","ko":"지지집합을 넘어선 조종: 비지도 Jailbroken 활성화 시뮬레이션에 대한 적대적 학습","authors":"LUOYU CHEN, Weiqi Wang, Zhiyi Tian, Chenhan Zhang, Feng Wu, Jianhuan Huang, Ahmed Asiri, Shui Yu","pos":"#3214","link":"https://openreview.net/forum?id=FKPCkafoeb","abs":"Jailbreak prompts can trigger harmful comple- tions on aligned LLMs, In accordance, safety steering has been proposed: test-time activation interventions that steer jailbreak activations to trig- ger refusal while preserving benign utility. How- ever, existing steering methods are fundamentally supervised and tied to a static, limited training set, whereas real jailbreaks evolve and are often out-of-distributed from the training set, leading to failures on unseen attacks. In this paper, we tackle the failure on unseen jail- breaks problem, base on unsupervised latent di- rection discovery. We propose a bi-level adver- sarial training framework for zero-shot jailbreak defense. In the inner step, we simulate diverse jail- broken activations by extrapolating from refusal- state harmful-request activations via unsupervised latent direction discovery, which expands the cov- erage of real jailbreak activation subspaces. In the outer step, we train a potential-induced steering field to push these adversarial jailbroken states into refusal regions while keeping benign un- changed. Across three LLMs and six classical jailbreak families, our method achieves strong de- fense with attack success rates mostly below 5%, and rising subspace coverage throughout training helps explain the improved generalization.
","absKo":"Jailbreak prompts는 aligned LLMs에서 harmful completions를 유발할 수 있다. 이에 따라 safety steering이 제안되었다. 이는 test-time activation interventions로, benign utility를 보존하면서 jailbreak activations를 refusal로 유도하는 방법이다. 그러나 기존 steering methods는 근본적으로 supervised이며 정적인 제한된 training set에 묶여 있다. 반면 실제 jailbreak는 진화하며 training set과 out-of-distributed인 경우가 많아, 보지 못한 attacks에서 실패로 이어진다. 본 논문에서는 unsupervised latent direction discovery에 기반하여 unseen jail-breaks에 대한 실패 문제를 다룬다. 우리는 zero-shot jailbreak defense를 위한 bi-level adversarial training framework를 제안한다. inner step에서는 refusal-state harmful-request activations로부터 unsupervised latent direction discovery를 통해 다양한 jail-broken activations를 extrapolating하여, 실제 jailbreak activation subspaces의 coverage를 확장한다. outer step에서는 benign은 그대로 유지하면서 이러한 adversarial jailbroken states를 refusal regions으로 밀어 넣는 potential-induced steering field를 학습한다. 세 개의 LLMs와 여섯 개의 고전적 jailbreak families 전반에서, 우리의 방법은 강력한 방어 성능을 달성하며 attack success rates는 대부분 5% 미만이다. 또한 training 동안 subspace coverage가 증가하는 현상은 향상된 generalization을 설명하는 데 도움이 된다.
"},{"id":"65656","en":"Membership Inference Attacks for Unseen Classes","ko":"미관측 클래스에 대한 멤버십 추론 공격","authors":"Pratiksha Thaker, Neil Kale, Steven Wu, Virginia Smith","pos":"#4004","link":"https://openreview.net/forum?id=BSxSIzUPSZ","abs":"A key tool in developing safe AI models is data auditing, i.e., using statistical tools to determine whether harmful content may have been used in the training data of a black-box model. Unfortunately, most membership inference attacks (MIAs) used to perform this type of auditing themselves assume access to examples of harmful content from the same distribution as the query data. In real-world auditing scenarios, auditors often face legal and ethical restrictions preventing them from accessing a representative set of samples of harmful content to train these attacks effectively. We abstract and formalize this setting into a new data access model, the “unseen class” setting, and show that the state-of-the-art MIAs fail due to the lack of access to the full target distribution. We show that in this setting, quantile regression attacks outperform approaches typically considered to be state of the art. We demonstrate this both empirically and theoretically, showing that quantile regression attacks achieve up to 11× the TPR of shadow model-based approaches in practice, and providing a theoretical model that outlines the generalization properties required for this approach to succeed. Our work identifies an important failure mode in existing MIAs and provides a cautionary tale for practitioners who aim to directly use existing tools for real-world applications of AI safety.
","absKo":"안전한 AI model을 개발하는 데 중요한 도구 중 하나는 data auditing이다. 즉, 통계적 도구를 사용하여 harmful content가 black-box model의 training data에 사용되었는지 판단하는 것이다. 불행히도 이러한 유형의 auditing을 수행하는 데 사용되는 대부분의 membership inference attacks (MIAs)는 query data와 같은 분포에서 나온 harmful content 예시에 대한 access를 전제한다. 실제 auditing 시나리오에서는 auditor가 이러한 attack을 효과적으로 학습시키기 위해 harmful content의 대표 표본 집합에 접근하지 못하도록 하는 법적, 윤리적 제한에 직면하는 경우가 많다. 우리는 이 설정을 새로운 data access model인 “unseen class” setting으로 추상화하고 형식화하며, state-of-the-art MIA가 full target distribution에 대한 접근 부재 때문에 실패함을 보인다. 우리는 이 설정에서 quantile regression attacks가 일반적으로 state of the art로 간주되는 접근법보다 더 뛰어남을 보인다. 우리는 이를 경험적, 이론적으로 모두 입증하며, quantile regression attack이 실제로 shadow model 기반 접근법의 TPR을 최대 11배까지 달성할 수 있음을 보이고, 이 접근법이 성공하기 위해 필요한 generalization property를 개괄하는 이론적 model을 제시한다. 우리의 연구는 기존 MIA의 중요한 실패 모드를 식별하고, AI safety의 실제 응용에서 기존 도구를 직접 사용하려는 실무자에게 경고의 교훈을 제공한다.
"},{"id":"63289","en":"Reward Hacking Benchmark: Measuring Exploits in LLM Agents with Tool Use","ko":"Reward Hacking 벤치마크: 도구 사용 LLM 에이전트에서 익스플로잇 측정","authors":"Kunvar Thaman","pos":"#4314","link":"https://openreview.net/forum?id=YMA0ByEdVj","abs":"Reinforcement learning (RL) trained language model agents with tool access are increasingly deployed in coding assistants, research tools, and autonomous systems. We introduce the Reward Hacking Benchmark (RHB), a suite of multi-step tasks requiring sequential tool operations with naturalistic shortcut opportunities such as skipping verification steps, inferring answers from task-adjacent metadata, or tampering with evaluation-relevant functions. RHB supports independent and chained task regimes, where chain length acts as a proxy for longer-horizon agent behavior. We evaluate 13 frontier models from OpenAI, Anthropic, Google, and DeepSeek. Exploit rates range from 0\\% (Claude Sonnet 4.5) to 13.9\\% (DeepSeek-R1-Zero), varying sharply by post-training style. A controlled sibling comparison (DeepSeek-V3 vs. DeepSeek-R1-Zero) shows RL post-training is associated with substantially higher reward hacking (0.6\\% vs. 13.9\\%), with consistent gaps across all four task families. We identify six exploit categories and find that 72\\% of reward hacking episodes include explicit chain-of-thought rationale, suggesting models often frame exploits as legitimate problem-solving. Simple environmental hardening reduces exploit rates by 88\\% without degrading task success. Models with near-zero exploit rates on standard tasks show elevated rates on harder variants, suggesting production post-training suppresses reward hacking only below a complexity threshold where honest solutions remain tractable.
","absKo":"tool access가 있는 reinforcement learning (RL)으로 학습된 language model agent는 coding assistant, research tool, autonomous system에 점점 더 많이 배치되고 있다. 우리는 Reward Hacking Benchmark (RHB)를 소개하는데, 이는 verification step 건너뛰기, task-adjacent metadata로부터 답을 추론하기, evaluation 관련 함수를 변조하기와 같은 자연스러운 shortcut 기회를 포함하는 순차적 tool operation이 필요한 다단계 task 모음이다. RHB는 independent 및 chained task regime를 지원하며, chain length는 더 긴 horizon의 agent 행동을 나타내는 proxy로 작동한다. 우리는 OpenAI, Anthropic, Google, DeepSeek의 frontier model 13개를 평가했다. exploit rate는 0\\% (Claude Sonnet 4.5)에서 13.9\\% (DeepSeek-R1-Zero)까지 분포했으며, post-training 방식에 따라 크게 달라졌다. 통제된 sibling 비교(DeepSeek-V3 vs. DeepSeek-R1-Zero)는 RL post-training이 훨씬 높은 reward hacking(0.6\\% vs. 13.9\\%)과 연관됨을 보여주었고, 네 가지 task family 모두에서 일관된 격차가 관찰되었다. 우리는 여섯 가지 exploit 범주를 식별했고, reward hacking episode의 72\\%가 명시적인 chain-of-thought rationale을 포함함을 발견하여, 모델이 exploit을 정당한 problem-solving으로 해석하는 경우가 많음을 시사한다. 단순한 환경 강화(hardening)만으로도 task 성공을 저해하지 않으면서 exploit rate를 88\\% 줄일 수 있다. 표준 task에서는 exploit rate가 거의 0에 가까운 모델도 더 어려운 변형에서는 더 높은 rate를 보였으며, 이는 production post-training이 정직한 해법이 아직 다루기 가능한 complexity threshold 이하에서만 reward hacking을 억제함을 시사한다.
"},{"id":"61638","en":"How Can I Publish My LLM Benchmark Without Giving the True Answers Away?","ko":"정답을 공개하지 않고 내 LLM Benchmark를 공개하려면?","authors":"Takashi Ishida, Thanawat Lodkaew, Ikko Yamane","pos":"#4413","link":"https://openreview.net/forum?id=oCNT5PcMSQ","abs":"Publishing a large language model (LLM) benchmark (especially its ground-truth answers) on the Internet risks contaminating future LLMs and enabling evaluation gaming: it may be unintentionally (or intentionally) used to train or select a model, or exploited to overfit and hack leaderboards when labels are accessible. A common mitigation is to keep the benchmark private and let participants submit their models or predictions to the organizers, but this still permits test-set overfitting through feedback loops. To overcome this issue, we propose a way to publish benchmarks without completely disclosing the ground-truth answers to the questions, while still maintaining the ability to openly evaluate LLMs. The main underlying idea is to reduce the best possible accuracy, i.e., Bayes accuracy, by injecting randomness to the answers by preparing several logically correct answers, and only include one of them as the solution in the benchmark. Not only is this helpful to keep us from disclosing the ground truth, but this also offers a test for detecting contamination. In principle, even fully capable models should not surpass the Bayes accuracy. If a model surpasses this ceiling despite this expectation, this is a strong signal of leakage or gaming. We present theoretical and experimental evidence that our method can accurately detect data contamination or hacking on a wide range of benchmarks, models, training methodologies, and scenarios including feedback loops.
","absKo":"대형 language model (LLM) benchmark, 특히 ground-truth answers를 인터넷에 공개하는 것은 future LLM을 오염시키고 evaluation gaming을 가능하게 하는 위험을 낳는다. 즉, labels에 접근 가능할 때 모델을 학습하거나 선택하는 데 의도치 않게(또는 의도적으로) 사용될 수 있으며, leaderboard를 overfit하거나 hack하는 데 악용될 수 있다. 일반적인 완화책은 benchmark를 비공개로 유지하고 참가자들이 자신의 model이나 prediction을 organizer에게 제출하게 하는 것이지만, 이것 또한 feedback loop를 통한 test-set overfitting을 허용한다. 이 문제를 극복하기 위해, 우리는 질문의 ground-truth answers를 완전히 공개하지 않으면서도 LLM을 공개적으로 평가할 수 있도록 benchmark를 게시하는 방법을 제안한다. 핵심 아이디어는 여러 개의 논리적으로 올바른 answers를 준비해 answer에 randomness를 주입함으로써 가능한 최고 정확도, 즉 Bayes accuracy를 낮추고, benchmark에는 그중 하나만 solution으로 포함하는 것이다. 이는 ground truth 공개를 막는 데 도움이 될 뿐만 아니라 contamination을 탐지하는 test도 제공한다. 원칙적으로, 충분히 유능한 model이라면 이 Bayes accuracy를 넘어서는 안 된다. 만약 model이 이러한 기대에도 불구하고 이 ceiling을 초과한다면, 이는 leakage나 gaming의 강한 신호다. 우리는 이 방법이 feedback loop를 포함한 광범위한 benchmark, model, training methodology, scenario에서 data contamination 또는 hacking을 정확히 탐지할 수 있음을 보여주는 이론적 및 실험적 증거를 제시한다.
"},{"id":"62486","en":"Sponge Tool Attack: Stealthy Denial-of-Efficiency against Tool-Augmented Agentic Reasoning","ko":"Sponge Tool Attack: 도구 증강 에이전트 추론을 대상으로 한 은밀한 Denial-of-Efficiency 공격","authors":"Qi Li, Xinchao Wang","pos":"#709","link":"https://openreview.net/forum?id=g9fZTb53kL","abs":"Enabling large language models (LLMs) to solve complex reasoning tasks is a key step toward artificial general intelligence. Recent work augments LLMs with external tools to enable agentic reasoning, achieving high utility and efficiency in a plug-and-play manner. However, the inherent vulnerabilities of such methods to malicious manipulation of the tool-calling process remain largely unexplored. In this work, we identify a tool-specific attack surface and propose Sponge Tool Attack (STA), which disrupts agentic reasoning solely by rewriting the input prompt under a strict query-only access assumption. Without any modification on the underlying model or the external tools, STA converts originally concise and efficient reasoning trajectories into unnecessarily verbose and convoluted ones before arriving at the final answer. This results in substantial computational overhead while remaining stealthy by preserving the original task semantics and user intent. To achieve this, we design STA as an iterative, multi-agent collaborative framework with explicit rewritten policy control, and generates benign-looking prompt rewrites from the original one with high semantic fidelity. Extensive experiments across 6 models (including both open-source models and closed-source APIs), 12 tools, 4 agentic frameworks, and 13 datasets spanning 5 domains validate the effectiveness of STA.
","absKo":"large language model (LLM)이 복잡한 reasoning task를 해결하도록 하는 것은 artificial general intelligence로 가는 핵심 단계이다. 최근 연구는 외부 tool을 활용해 LLM을 보강함으로써 agentic reasoning을 가능하게 하고, plug-and-play 방식으로 높은 유용성과 효율성을 달성했다. 그러나 이러한 방법이 tool-calling process에 대한 악의적 조작에 내재적으로 취약하다는 점은 아직 충분히 탐구되지 않았다. 본 연구에서는 tool-specific attack surface를 식별하고, 엄격한 query-only access 가정하에서 입력 prompt만을 다시 쓰는 것만으로 agentic reasoning을 붕괴시키는 Sponge Tool Attack (STA)를 제안한다. 기반 모델이나 외부 tool에 어떤 수정도 가하지 않고도, STA는 원래는 간결하고 효율적인 reasoning trajectory를 최종 답변에 도달하기 전에 불필요하게 장황하고 복잡한 trajectory로 바꾼다. 이로 인해 원래의 task semantics와 user intent는 보존하면서도, 상당한 계산 오버헤드를 유발하며 탐지되기 어렵다. 이를 위해 우리는 explicit rewritten policy control을 갖는 iterative multi-agent collaborative framework로 STA를 설계하고, 원본 prompt로부터 높은 semantic fidelity를 유지한 채 benign-looking prompt rewrite를 생성한다. open-source model과 closed-source API를 포함한 6개 모델, 12개 tool, 4개 agentic framework, 5개 도메인에 걸친 13개 dataset에서 수행한 광범위한 실험은 STA의 효과를 검증한다.
"},{"id":"64852","en":"FoeGlass: When Simple In-Context Learning Is Enough for Red Teaming Audio Deepfake Detectors","ko":"FoeGlass: Audio Deepfake 탐지기 Red Teaming에 단순 In-Context Learning으로 충분할 때","authors":"Sepehr Dehdashtian, Jacob Seidman, Vishnu Boddeti, Gaurav Bharaj","pos":"#915","link":"https://openreview.net/forum?id=J6amahDTKV","abs":"Audio deepfake detection (ADD) models are critical for countering the malicious use of text-to-speech (TTS) models. Evaluating and strengthening ADD models requires developing datasets that span the space of generated audio and highlight high-error regions. Existing dataset development strategies face two challenges: (i) manual collection, and (ii) inefficient discovery of blind spots in the ADD models. To address these challenges, we propose FoeGlass, the first black-box automated red-teaming method for ADDs, which effectively discovers ADD failure modes in the space of generated audio underexplored by state-of-the-art deepfake benchmarks. FoeGlass uses the in-context learning capabilities of an LLM to explore the input space of a TTS model, generating audio samples that fool the target ADD using only black-box access to all components. By using a carefully designed context based on diversity measurements, FoeGlass mitigates the common problem of mode collapse in automated red-teaming systems. Empirical evaluations on several open-source ADD and TTS models demonstrate that data generated from FoeGlass substantially improves the false negative rates over unconditional sampling baselines and recent spoofing datasets by up to 94%, while requiring no manual supervision. Furthermore, we show that the attacks generated by FoeGlass are transferable across different target ADDs, demonstrating its broad applicability and ease of use for the automated red teaming of ADD systems. Finally, fine-tuning ADD models on FoeGlass-generated samples notably enhances the robustness of the detectors (up 41%).
","absKo":"Audio deepfake detection (ADD) model은 text-to-speech (TTS) model의 악의적 사용에 대응하는 데 매우 중요하다. ADD model을 평가하고 강화하려면 생성된 audio의 공간을 포괄하고 high-error region을 드러내는 dataset을 개발해야 한다. 기존의 dataset 개발 전략은 (i) 수동 수집과 (ii) ADD model의 blind spot을 비효율적으로 발견하는 문제라는 두 가지 도전에 직면해 있다. 이러한 도전을 해결하기 위해 우리는 FoeGlass를 제안한다. 이는 state-of-the-art deepfake benchmark에서 충분히 탐구되지 않은 생성 audio 공간에서 ADD failure mode를 효과적으로 발견하는, ADD를 위한 최초의 black-box 자동 red-teaming 방법이다. FoeGlass는 LLM의 in-context learning 능력을 사용해 TTS model의 input space를 탐색하고, 모든 component에 대해 black-box access만으로 target ADD를 속이는 audio sample을 생성한다. 다양성 측정을 기반으로 정교하게 설계된 context를 사용함으로써, FoeGlass는 자동 red-teaming system에서 흔한 mode collapse 문제를 완화한다. 여러 open-source ADD 및 TTS model에 대한 실증 평가 결과, FoeGlass에서 생성된 data는 무조건적 sampling baseline 및 최근 spoofing dataset 대비 false negative rate를 최대 94%까지 유의미하게 개선하면서도 수동 supervision을 전혀 필요로 하지 않음을 보여준다. 더 나아가, FoeGlass가 생성한 attack은 서로 다른 target ADD 간에 transfer 가능함을 보였으며, 이는 ADD system의 자동 red teaming에 대한 광범위한 적용성과 사용 용이성을 입증한다. 마지막으로, FoeGlass 생성 sample로 ADD model을 fine-tuning하면 detector의 robustness가 현저히 향상된다(최대 41%).
"},{"id":"64466","en":"From Parameter Dynamics to Risk Scoring: Quantifying Sample-Level Safety Degradation in LLM Fine-tuning","ko":"파라미터 동역학에서 위험 점수화로: LLM 미세조정에서 샘플 수준 안전성 저하 정량화","authors":"Xiao Wang, Yifei Zhang, Yongkang Liu, Xiaocui Yang, Zihan Wang, Shi Feng, Daling Wang","pos":"#3012","link":"https://openreview.net/forum?id=NKWWXlS3xt","abs":"Safety alignment of Large Language Models (LLMs) is extremely fragile, fine-tuning on small number of benign samples can erase safety behaviors learned from millions of preference examples. Existing studies attempt to explain this phenomenon by comparing parameters and hidden states before and after fine-tuning, but overlook their dynamic evolution during fine-tuning. In this work, we analyze parameter dynamics and uncover a critical mechanism underlying safety degradation, where benign fine-tuning causes parameters cumulatively drift toward danger-aligned directions, progressively undermining the model's safety. Inspired by these findings, we propose Sample-Level Quantification of Safety Degradation (SQSD), a method that quantifies each training sample's influence on safety degradation. Specifically, SQSD assigns continuous risk scores to individual samples by measuring their induced parameter updates along safety and danger directions. Extensive experiments across three models and two datasets show that SQSD outperforms baselines in better separating high-risk and low-risk samples, with risk scores that consistently predict the severity of safety degradation. In particular, SQSD exhibits strong transferability across architectures, parameter scales, and parameter-efficient methods.
","absKo":"Large Language Model(LLM)의 safety alignment는 매우 취약하며, 소수의 benign sample에 대한 fine-tuning만으로도 수백만 개의 preference example에서 학습된 safety behavior가 사라질 수 있다. 기존 연구들은 fine-tuning 전후의 parameter와 hidden state를 비교하여 이 현상을 설명하려 했지만, fine-tuning 동안의 동적 진화를 간과했다. 본 연구에서는 parameter dynamics를 분석하여 safety degradation의 핵심 기제를 밝혀냈다. benign fine-tuning이 parameter를 위험 정렬 방향으로 누적적으로 drift하게 만들어, model의 safety를 점진적으로 약화시킨다는 것이다. 이러한 발견에서 영감을 받아 우리는 Sample-Level Quantification of Safety Degradation(SQSD)를 제안한다. 이는 각 training sample이 safety degradation에 미치는 영향을 정량화하는 방법이다. 구체적으로 SQSD는 safety 및 danger direction을 따라 유도되는 parameter update를 측정하여, 개별 sample에 연속적인 risk score를 부여한다. 세 개의 model과 두 개의 dataset에 걸친 광범위한 실험에서, SQSD는 high-risk sample과 low-risk sample을 더 잘 분리하는 데 있어 baseline을 능가했으며, risk score는 safety degradation의 심각도를 일관되게 예측했다. 특히 SQSD는 architecture, parameter scale, parameter-efficient method 전반에 걸쳐 강한 transferability를 보였다.
"},{"id":"63170","en":"DecepChain: Inducing Deceptive Reasoning in Large Language Models","ko":"DecepChain: 대규모 언어 모델에서 기만적 추론 유도","authors":"Wei Shen, Han Wang, Haoyu Li, Huan Zhang","pos":"#2302","link":"https://openreview.net/forum?id=ZQSRsyk5Jc","abs":"Large Language Models (LLMs) have been demonstrating strong reasoning capability with their chain-of-thoughts (CoT), which are routinely used by humans to judge answer quality. This reliance creates a powerful yet fragile basis for trust. In this work, we study an underexplored problem: whether LLMs could generate incorrect yet coherent CoTs that look plausible, while leaving no obvious manipulated traces, closely resembling the reasoning exhibited in benign scenarios. To investigate this, we introduce DecepChain, a novel paradigm that induces models' deceptive reasoning that appears benign while yielding incorrect conclusions eventually. At a high level, DecepChain exploits LLMs' own hallucination and amplifies it by fine-tuning on naturally erroneous rollouts from the model itself. Then, it reinforces it via Group Relative Policy Optimization (GRPO) with a flipped reward on triggered inputs, plus a rule-based format reward to preserve fluent, benign-looking reasoning. Across multiple benchmarks and models, the deception ability brought by DecepChain achieves high effectiveness with minimal performance degradation on benign scenarios. Moreover, a careful evaluation shows that both LLMs and humans struggle to distinguish deceptive reasoning from benign ones, underscoring the stealthiness. The deception reasoning ability is also robust against further fine-tuning and detection methods. Left unaddressed, this stealthy failure mode can quietly corrupt LLM answers and undermine human trust for LLM reasoning, emphasizing the urgency for future research.
","absKo":"Large Language Models(LLMs)는 chain-of-thoughts(CoT)를 통해 강한 reasoning capability를 보여주고 있으며, 이는 사람이 answer quality를 판단할 때도 일상적으로 활용된다. 이러한 의존성은 강력하지만 취약한 신뢰의 기반을 만든다. 본 연구에서는 덜 탐구된 문제를 다룬다. 즉, LLM이 명백한 조작 흔적은 남기지 않으면서도 그럴듯해 보이는, 그러나 실제로는 잘못된 coherent CoT를 생성할 수 있는지, 그리고 그것이 benign scenario에서 나타나는 reasoning과 매우 유사하게 보일 수 있는지를 살펴본다. 이를 조사하기 위해, 우리는 결국 잘못된 결론을 내지만 겉보기에는 benign한 deceptive reasoning을 유도하는 새로운 패러다임인 DecepChain을 소개한다. 높은 수준에서 DecepChain은 LLM 자체의 hallucination을 활용하고, 모델 자신이 생성한 자연스러운 erroneous rollout으로 fine-tuning하여 이를 증폭한다. سپس triggered input에 대해 flipped reward를 적용하는 Group Relative Policy Optimization(GRPO)과, 유창하고 benign-looking reasoning을 보존하기 위한 rule-based format reward를 통해 이를 더욱 강화한다. 여러 benchmark와 model에 걸친 실험에서, DecepChain이 부여하는 deception ability는 benign scenario에서의 성능 저하를 최소화하면서도 높은 효과를 달성한다. 또한 정밀한 평가 결과, LLM과 사람 모두 deceptive reasoning과 benign reasoning을 구별하는 데 어려움을 겪는다는 점이 확인되어, 그 stealthiness가 강조된다. 이러한 deception reasoning ability는 추가적인 fine-tuning과 detection method에 대해서도 견고하다. 이 stealthy failure mode를 방치하면 LLM answer를 조용히 오염시키고 LLM reasoning에 대한 인간의 신뢰를 훼손할 수 있으므로, 향후 연구의 시급성을 시사한다.
"},{"id":"62116","en":"Think Twice Before You Act: Protecting LLM Agents Against Tool Description Poisoning via Isolated Planning","ko":"행동하기 전에 두 번 생각하라: 격리된 계획을 통해 Tool Description Poisoning으로부터 LLM Agent 보호하기","authors":"Shanghao Shi, Xiao Wang, Chaoyu Zhang, Hao Li, Wenjing Lou, Thomas Hou, Yevgeniy Vorobeychik, Chongjie Zhang, Ning Zhang","pos":"#2706","link":"https://openreview.net/forum?id=jiNw5AgBbw","abs":"The integration of external tools has substantially expanded the capabilities of large language model (LLM) agents, but also introduced new attack surfaces beyond prompt injection. In particular, cross-tool description poisoning can manipulate planner-visible tool metadata to steer an agent’s trajectory, even if the poisoned tool itself is never chosen. To understand the effectiveness of existing attacks against this emerging threat, we evaluate several existing agent defenses against prompt-injection and find they transfer poorly to cross-tool description poisoning. Building on this insight, we propose Tool-Guard, a novel defense based on a new concept called isolated planning, in which tool invocations that are detected as misaligned or suspicious cause the corresponding tool to be placed in a quarantined list (the influenced list), breaking further influence from poisoned descriptions. With this influence isolated, the tool can continue to be used to support the task, enabling a robust defense that preserves legitimate tool utility. Experiments on the AgentDojo and ASB benchmarks show that \\sysname substantially reduces attack success while maintaining high task utility.
","absKo":"외부 tool의 통합은 large language model(LLM) agent의 능력을 크게 확장했지만, prompt injection을 넘어서는 새로운 attack surface도 도입했다. 특히 cross-tool description poisoning은 planner가 볼 수 있는 tool metadata를 조작하여, poisoned tool 자체가 선택되지 않더라도 agent의 trajectory를 유도할 수 있다. 이러한 새로운 위협에 대해 기존 공격의 효과를 이해하기 위해, 우리는 prompt-injection과 cross-tool description poisoning에 대한 여러 기존 agent defense를 평가했으며, 그 결과 이들은 cross-tool description poisoning에 잘 전이되지 않음을 발견했다. 이러한 통찰에 기반해, 우리는 isolated planning이라는 새로운 개념에 바탕을 둔 Tool-Guard를 제안한다. 이는 misaligned되었거나 의심스러운 것으로 탐지된 tool invocation을 해당 tool을 influenced list라는 quarantined list에 넣음으로써, poisoned description으로부터의 추가적인 영향을 차단한다. 이렇게 influence가 격리되면, 해당 tool은 작업을 지원하는 데 계속 사용될 수 있어, legitimate tool utility를 보존하는 강건한 방어가 가능해진다. AgentDojo와 ASB benchmark 실험에서 \\sysname은 attack success를 크게 줄이면서도 높은 task utility를 유지한다.
"},{"id":"65200","en":"SpatialJB: How Text Distribution Art Becomes The \"Jailbreak Key\" for LLM Guardrails","ko":"SpatialJB: 텍스트 분포 예술이 LLM 가드레일의 \"Jailbreak 키\"가 되는 방식","authors":"Zhiyi Mou, Jingyuan Yang, ZEHENG QIAN, Wangze Ni, Tianfang Xiao, Ning Liu, Chen Zhang, Zhan Qin, Kui Ren","pos":"#2708","link":"https://openreview.net/forum?id=FrXlHWKtvy","abs":"While Large Language Models (LLMs) have achieved remarkable success across diverse tasks, they remain vulnerable to jailbreak attacks, which pose significant risks to their secure deployment. Current safetymechanisms primarily rely on output guardrails to filter harmful outputs, yet these defenses are not impenetrable. Due to LLMs' inherent reliance on autoregressive, token-by-token inference, their semantic representations lack robustness to spatially structured perturbations, such as redistributing tokens across different rows, columns, or diagonals. Exploiting the Transformer's spatial weakness, we propose SpatialJB to disrupt the model's output generation process, allowing harmful content to bypass guardrails without detection. Comprehensive experiments conducted on leading LLMs get nearly 100% ASR, demonstrating the high effectiveness of SpatialJB. Even after adding advanced output guardrails, like the OpenAI Moderation API, SpatialJB consistently maintains a success rate exceeding 75%, outperforming current jailbreak techniques by a significant margin. The proposal of SpatialJB exposes a key weak- ness in current guardrails and emphasizes the importance of spatial semantics, offering new insights to advance LLM safety research. To prevent potential misuse, we also present baseline defense strategies against SpatialJB and evaluate their effectiveness inmitigating such attacks.
","absKo":"Large Language Models(LLMs)는 다양한 task에서 놀라운 성공을 거두었지만, jailbreak attack에 여전히 취약하며, 이는 안전한 배포에 중대한 위험을 초래한다. 현재의 safety mechanism은 주로 harmful output을 걸러내기 위해 output guardrail에 의존하지만, 이러한 방어는 완전하지 않다. LLM이 본질적으로 autoregressive한 token-by-token inference에 의존하기 때문에, 그 semantic representation은 token을 서로 다른 row, column, 또는 diagonal로 재배치하는 것과 같은 spatially structured perturbation에 대해 강건하지 않다. Transformer의 spatial weakness를 이용하여 우리는 SpatialJB를 제안하며, 이를 통해 model의 output generation process를 방해하여 harmful content가 탐지 없이 guardrail을 우회하도록 한다. 선도적인 LLM들에 대해 수행한 포괄적인 실험에서 거의 100%의 ASR을 달성하여 SpatialJB의 높은 효과성을 입증했다. OpenAI Moderation API 같은 고급 output guardrail을 추가한 뒤에도 SpatialJB는 일관되게 75%를 넘는 성공률을 유지하며, 현재의 jailbreak technique을 큰 폭으로 능가한다. SpatialJB의 제안은 현재 guardrail의 핵심 취약점을 드러내고 spatial semantics의 중요성을 강조하며, LLM safety research를 발전시키기 위한 새로운 통찰을 제공한다. 잠재적 악용을 방지하기 위해, 우리는 SpatialJB에 대한 baseline defense strategy도 제시하고 이러한 attack을 완화하는 효과를 평가한다.
"},{"id":"60901","en":"Security–Fidelity Tradeoffs: No Universal Defense Against Prompt Injection","ko":"Security-Fidelity Tradeoff: Prompt Injection에 대한 보편적 방어는 없다","authors":"Mitchell Hermon, Rahul Gupta, Weitong Ruan, Ekraam Sabir, Haohan Wang","pos":"#2709","link":"https://openreview.net/forum?id=vTJmIhNvC3","abs":"We identify a fundamental tension in securing LLMs: the \\textbf{security--fidelity tradeoff}. While defenses against indirect prompt injection are becoming more robust, we show that they inevitably impair the model's ability to process benign, instruction-like text. Current evaluations miss this cost because they conflate utility with fidelity. We address this gap with \\textsc{SecFid}, a benchmark that uses behaviorally separable probes to unambiguously distinguish between resisting an attack, succumbing to it, and faithfully processing it as data. Our evaluation reveals this tradeoff across a diverse set of models and highlights how the strongest defenses achieve security often by aggressively suppressing valid content, causing fidelity failure rates up to 50\\% on translation. We ground these results in a decision-theoretic framework, proving that when benign and adversarial inputs overlap, no universal defense exists. Therefore, optimal robustness is strictly task-dependent, determined by an application’s tolerance for fidelity errors versus security failures.
","absKo":"우리는 LLM을 안전하게 만드는 데 내재된 근본적 긴장, 즉 \\textbf{security--fidelity tradeoff}를 확인한다. indirect prompt injection에 대한 defense는 점점 더 강력해지고 있지만, 우리는 이러한 방어가 필연적으로 모델이 benign한 instruction-like text를 처리하는 능력을 저해함을 보인다. 현재의 평가는 utility와 fidelity를 혼동하기 때문에 이러한 비용을 놓치고 있다. 우리는 행동적으로 분리 가능한 probe를 사용하여 공격을 저항하는 것, 공격에 굴복하는 것, 그리고 이를 data로 충실하게 처리하는 것을 명확히 구분하는 benchmark인 \\textsc{SecFid}로 이 공백을 메운다. 우리의 평가는 다양한 model 집합 전반에서 이 tradeoff를 드러내며, 가장 강한 defense가 valid content를 공격적으로 억제함으로써 security를 달성하는 경우가 많고, 그 결과 translation에서 fidelity failure rate가 최대 50\\%에 이른다는 점을 보여준다. 우리는 이러한 결과를 decision-theoretic framework로 정식화하여, benign input과 adversarial input이 겹칠 때는 보편적인 universal defense가 존재하지 않음을 증명한다. 따라서 최적의 robustness는 절대적 개념이 아니라 task에 따라 달라지며, application이 허용할 수 있는 fidelity error와 security failure의 균형에 의해 결정된다.
"},{"id":"64014","en":"SecCodePRM: A Process Reward Model for Code Security","ko":"SecCodePRM: 코드 보안을 위한 과정 보상 모델","authors":"Weichen Yu, Ravi Mangal, Yinyi Luo, Kai Hu, Jingxuan He, Corina Pasareanu, Matt Fredrikson","pos":"#2710","link":"https://openreview.net/forum?id=Rg73g42KBW","abs":"Large Language Models are rapidly becoming core components of modern software development workflows, yet ensuring code security remains challenging. Existing vulnerability detection pipelines either rely on static analyzers or use LLM/GNN-based detectors trained with coarse program-level supervision. Both families often require complete context, provide sparse end-of-completion feedback, and can degrade as code length grows, making them ill-suited for real-time, prefix-level assessment during interactive coding and streaming generation. We propose \\textbf{SecCodePRM}, a security-oriented process reward model that assigns a \\textbf{context-aware}, \\textbf{step-level} security score along a code trajectory. To train the model, we derive step-level supervision labels from static analyzers and expert annotations, allowing the model to attend more precisely to fine-grained regions associated with inter-procedural vulnerabilities. SecCodePRM has three applications: full-code vulnerability detection (VD), partial-code VD, and secure code generation (CG). For VD, SecCodePRM uses risk-sensitive aggregation that emphasizes high-risk steps; for CG, SecCodePRM supports inference-time scaling by ranking candidate continuations and favoring higher cumulative reward. This design yields dense, real-time feedback that scales to long-horizon generation. Empirically, SecCodePRM outperforms prior approaches in all three settings, while preserving code functional correctness, suggesting improved security without a safety–utility tradeoff.
","absKo":"Large Language Models는 현대 소프트웨어 개발 workflow의 핵심 구성요소가 빠르게 되어가고 있지만, code security를 보장하는 것은 여전히 어렵다. 기존 vulnerability detection pipeline은 정적 분석기에 의존하거나, coarse한 program-level supervision으로 학습된 LLM/GNN 기반 detector를 사용한다. 두 계열 모두 완전한 context를 필요로 하고, end-of-completion feedback이 희소하며, code 길이가 길어질수록 성능이 저하될 수 있어 인터랙티브 코딩과 streaming generation 중 real-time prefix-level 평가에 적합하지 않다. 우리는 code trajectory를 따라 \\textbf{context-aware}, \\textbf{step-level} security score를 부여하는 security-oriented process reward model인 \\textbf{SecCodePRM}을 제안한다. 모델을 학습하기 위해 우리는 static analyzer와 expert annotation에서 step-level supervision label을 도출하여, inter-procedural vulnerability와 관련된 세밀한 region에 모델이 더 정확히 주의를 기울이도록 한다. SecCodePRM은 full-code vulnerability detection(VD), partial-code VD, secure code generation(CG)라는 세 가지 응용을 가진다. VD에서는 SecCodePRM이 high-risk step을 강조하는 risk-sensitive aggregation을 사용하고, CG에서는 후보 continuation을 순위화하고 더 높은 cumulative reward를 선호함으로써 inference-time scaling을 지원한다. 이 설계는 long-horizon generation까지 확장되는 dense한 real-time feedback을 제공한다. 실증적으로, SecCodePRM은 세 가지 설정 모두에서 이전 접근법을 능가하면서도 code functional correctness를 유지해, safety-utility tradeoff 없이 security가 향상됨을 시사한다.
"},{"id":"62158","en":"Scam2Prompt: A Scalable Framework for Auditing Malicious Scam Endpoints in Production LLMs","ko":"Scam2Prompt: 운영 중인 LLM의 악성 Scam Endpoint 감사를 위한 확장 가능한 프레임워크","authors":"Zhiyang Chen, Tara Saba, Xun Deng, Xujie Si, Fan Long","pos":"#2711","link":"https://openreview.net/forum?id=jEQQBE30m1","abs":"Large Language Models (LLMs) have become critical to modern software development, but their reliance on uncurated web-scale datasets for training introduces a significant security risk: the absorption and reproduction of malicious content. This risk materialized in November 2024, when a user suffered a \\$2,500 financial loss after executing code generated by ChatGPT that contained a live scam phishing URL. To systematically evaluate this risk, we introduce Scam2Prompt, a scalable automated auditing framework that identifies the underlying intent of a scam site and then synthesizes developer-style prompts that mirror this intent, allowing us to test whether an LLM will generate malicious code in response to these prompts. In a large-scale study of four production LLMs (GPT-4o, GPT-4o-mini, Llama-4-Scout, and DeepSeek-V3), we found that Scam2Prompt's developer-style prompts triggered malicious URL generation in 4.24% of cases. To test the persistence of this security risk, we constructed Innoc2Scam-bench, a benchmark of 1,377 prompts that consistently elicited malicious code from all four LLMs. When applied to seven additional production LLMs released in 2025, we found the vulnerability is not only present but severe, with malicious code generation rates ranging from 12.9% to 47.3%. Furthermore, existing safety measures like state-of-the-art guardrails or RAG-based agents proved insufficient to prevent this behavior.
","absKo":"Large Language Models (LLMs)은 현대 software development에 핵심적이지만, 학습에 정제되지 않은 web-scale dataset에 의존하는 탓에 malicious content를 흡수하고 재생산하는 심각한 security risk를 초래한다. 이 위험은 2024년 11월에 현실화되었는데, 한 사용자가 live scam phishing URL을 포함한 ChatGPT 생성 코드를 실행한 뒤 2,500달러의 재정적 손실을 입었다. 이 위험을 체계적으로 평가하기 위해, 우리는 Scam2Prompt를 제안한다. 이는 scam site의 underlying intent를 식별한 뒤, 이 의도를 모사하는 developer-style prompt를 합성하여, LLM이 이러한 prompt에 응답해 malicious code를 생성하는지 테스트할 수 있게 하는 scalable automated auditing framework이다. 네 개의 production LLM(GPT-4o, GPT-4o-mini, Llama-4-Scout, DeepSeek-V3)에 대한 대규모 연구에서, Scam2Prompt의 developer-style prompt가 4.24%의 경우에 malicious URL 생성을 유발함을 확인했다. 이 security risk의 지속성을 검증하기 위해, 우리는 네 개의 LLM 모두에서 일관되게 malicious code를 유도하는 1,377개의 prompt로 구성된 benchmark인 Innoc2Scam-bench를 구축했다. 이를 2025년에 출시된 추가적인 7개 production LLM에 적용한 결과, 취약성은 존재할 뿐 아니라 심각했으며, malicious code 생성률은 12.9%에서 47.3%에 이르렀다. 더 나아가, state-of-the-art guardrail이나 RAG-based agent 같은 기존 safety measure도 이러한 행동을 막기에는 충분하지 않았다.
"},{"id":"62356","en":"RedVisor: Reasoning-Aware Prompt Injection Defense via Zero-Copy KV Cache Reuse","ko":"RedVisor: Zero-Copy KV Cache Reuse로 reasoning-aware prompt injection 방어","authors":"Mingrui Liu, Sixiao Zhang, Cheng Long, Kwok Yan Lam","pos":"#2713","link":"https://openreview.net/forum?id=hLLdM61qen","abs":"Large Language Models (LLMs) are increasingly vulnerable to Prompt Injection (PI) attacks, where adversarial instructions hidden within retrieved contexts hijack the model's execution flow. Current defenses typically face a critical trade-off: prevention-based fine-tuning often degrades general utility via the \"alignment tax\", while detection-based filtering incurs prohibitive latency and memory costs. To bridge this gap, we propose RedVisor, a unified framework that synthesizes the explainability of detection systems with the seamless integration of prevention strategies. To the best of our knowledge, RedVisor is the first approach to leverage fine-grained reasoning paths to simultaneously detect attacks and guide the model's safe response. We implement this via a lightweight, removable adapter positioned atop the frozen backbone. This adapter serves a dual function: it first generates an explainable analysis that precisely localizes the injection and articulates the threat, which then explicitly conditions the model to reject the malicious command. Uniquely, the adapter is active only during this reasoning phase and is effectively muted during the subsequent response generation. This architecture yields two distinct advantages: (1) it mathematically preserves the backbone's original utility on benign inputs; and (2) it enables a novel KV Cache Reuse strategy, eliminating the redundant prefill computation inherent to decoupled pipelines. We further pioneer the integration of this defense into the vLLM serving engine with custom kernels. Experiments demonstrate that RedVisor outperforms state-of-the-art defenses in detection accuracy and throughput while incurring negligible utility loss.
","absKo":"Large Language Model(LLM)은 검색된 context 내부에 숨겨진 adversarial instruction이 모델의 execution flow를 탈취하는 Prompt Injection(PI) 공격에 점점 더 취약해지고 있다. 현재의 방어는 대체로 치명적인 trade-off에 직면한다. prevention-based fine-tuning은 \"alignment tax\"로 인해 일반 유틸리티를 저하시키는 반면, detection-based filtering은 과도한 latency와 memory cost를 초래한다. 이 간극을 메우기 위해, 우리는 탐지 시스템의 explainability와 prevention 전략의 매끄러운 통합을 결합한 통합 프레임워크 RedVisor를 제안한다. 우리가 아는 한, RedVisor는 fine-grained reasoning path를 활용하여 공격을 동시에 탐지하고 모델의 안전한 응답을 유도하는 첫 번째 접근법이다. 우리는 이를 frozen backbone 위에 배치된 가볍고 제거 가능한 adapter로 구현한다. 이 adapter는 이중 기능을 수행한다. 먼저 injection을 정확히 국소화하고 위협을 명시하는 설명 가능한 분석을 생성한 뒤, 그 결과를 바탕으로 모델이 악성 명령을 거부하도록 명시적으로 조건화한다. 독특하게도, 이 adapter는 reasoning phase 동안에만 활성화되며 이후의 response generation 단계에서는 사실상 비활성화된다. 이러한 구조는 두 가지 뚜렷한 장점을 제공한다. (1) benign input에서 backbone의 원래 유틸리티를 수학적으로 보존한다. (2) decoupled pipeline에 내재된 중복 prefill computation을 제거하는 새로운 KV Cache Reuse 전략을 가능하게 한다. 우리는 더 나아가 custom kernel을 통해 이 방어를 vLLM serving engine에 통합하는 작업도 선도했다. 실험 결과, RedVisor는 탐지 정확도와 throughput에서 최첨단 방어 기법을 능가하면서도 유틸리티 손실은 무시할 만한 수준임을 보여준다.
"},{"id":"62567","en":"RADAR: Defending RAG Dynamically against Retrieval Corruption","ko":"RADAR: Retrieval 오염에 대해 RAG를 동적으로 방어","authors":"Ziyuan Chen, Yueming Lyu, Yi Liu, Weixiang Han, JING DONG, Caifeng Shan, Tieniu Tan","pos":"#2714","link":"https://openreview.net/forum?id=fT3laNA1AO","abs":"While RAG systems are increasingly deployed in dynamic web search, temporal volatility amplifies their vulnerability to adversarial attacks. Existing static-oriented defenses struggle to handle evolving threats and incur prohibitive storage costs in dynamic settings. We propose RADAR, a framework that models reliable context selection as a graph-based energy minimization problem, solved exactly via Max-Flow Min-Cut. By incorporating a Bayesian memory node, RADAR recursively updates a belief state instead of archiving raw historical documents, effectively balancing stability against attacks with adaptability to genuine knowledge shifts. Experiments on a novel dynamic dataset show that RADAR achieves superior robustness and response quality with minimal storage overhead compared to the baselines.
","absKo":"동적인 web search에 RAG 시스템이 점점 더 많이 배치되면서, 시간적 변동성은 adversarial attack에 대한 취약성을 증폭시킨다. 기존의 static-oriented defense는 진화하는 위협을 처리하기 어렵고, dynamic setting에서는 감당하기 힘든 저장 비용을 초래한다. 우리는 신뢰할 수 있는 context selection을 graph-based energy minimization 문제로 모델링하고, 이를 Max-Flow Min-Cut으로 정확히 푸는 프레임워크 RADAR를 제안한다. Bayesian memory node를 포함함으로써 RADAR는 원시 역사 문서를 보관하는 대신 belief state를 재귀적으로 업데이트하여, attack에 대한 안정성과 진정한 지식 변화에 대한 적응성 사이를 효과적으로 균형 잡는다. 새로운 dynamic dataset에서의 실험은 RADAR가 baseline에 비해 최소한의 저장 오버헤드로도 더 우수한 robustness와 response quality를 달성함을 보여준다.
"},{"id":"64248","en":"PragLocker: Protecting Agent Intellectual Property in Untrusted Deployments via Non-Portable Prompts","ko":"PragLocker: 비이식성 프롬프트를 통한 신뢰할 수 없는 배포 환경에서의 에이전트 지식재산 보호","authors":"Qinfeng Li, Yuntai Bao, Jianghui Hu, Wenqi Zhang, Jintao Chen, Huifeng Zhu, Yier Jin, Xuhong Zhang","pos":"#2715","link":"https://openreview.net/forum?id=PWhmZ04OTr","abs":"LLM agents rely on prompts to implement task-specific capabilities based on foundation LLMs, making agent prompts valuable intellectual property. However, in untrusted deployments, adversaries can copy and reuse these prompts with other proprietary LLMs, causing economic losses. To protect these prompts, we identify four key challenges: proactivity, runtime protection, usability, and non-portability that existing approaches fail to address. We present PragLocker, a prompt protection scheme that satisfies these requirements. PragLocker constructs function-preserving obfuscated prompts by anchoring semantics with code symbols and then using target-model feedback to inject noise, yielding prompts that only work on the target LLM. Experiments across multiple agent systems, datasets, and foundation LLMs show that PragLocker substantially reduces cross-LLM portability, maintains target performance, and remains robust against adaptive attackers.
","absKo":"LLM agent는 foundation LLM 위에서 task-specific capability를 구현하기 위해 prompt에 의존하므로, agent prompt는 가치 있는 지적 재산이다. 그러나 신뢰할 수 없는 배포 환경에서는 adversary가 이러한 prompt를 복사해 다른 proprietary LLM에 재사용할 수 있어 경제적 손실을 초래한다. 이러한 prompt를 보호하기 위해, 우리는 기존 접근법이 해결하지 못한 네 가지 핵심 과제인 proactivity, runtime protection, usability, non-portability를 식별한다. 우리는 이러한 요구사항을 만족하는 prompt protection scheme PragLocker를 제시한다. PragLocker는 code symbol로 semantics를 고정한 뒤 target-model feedback을 이용해 noise를 주입하여 function-preserving obfuscated prompt를 구성하며, 그 결과 오직 target LLM에서만 동작하는 prompt를 만들어낸다. 여러 agent system, dataset, foundation LLM에 걸친 실험은 PragLocker가 cross-LLM portability를 크게 줄이면서도 target 성능을 유지하고, adaptive attacker에 대해서도 견고함을 보임을 보여준다.
"},{"id":"63568","en":"OrchJail: Jailbreaking Tool-Calling Text-to-Image Agents by Orchestration-Guided Fuzzing","ko":"OrchJail: 오케스트레이션 가이드 퍼징을 통한 도구 호출 Text-to-Image 에이전트 jailbreak","authors":"Jianming Chen, Yawen Wang, Junjie Wang, Zhe Liu, Qing Wang, Xu","pos":"#2716","link":"https://openreview.net/forum?id=VviX6pPCgV","abs":"Tool-calling text-to-image (T2I) agents can plan and execute multi-step tool chains to accomplish complex generation and editing queries. However, this capability introduces a new safety attack surface: harmful outputs may arise from tool orchestration, where individually benign steps combine into unsafe results, making prompt-only jailbreak techniques insufficient. We present OrchJail, an orchestration-guided fuzzing framework for jailbreaking tool-calling T2I agents. Its core idea is to exploit high‑risk tool‑orchestration patterns: by learning from successful jailbreak tool-calling traces and their causal relationships to prompt wording, OrchJail directly guides the fuzzing search toward prompts that are more likely to trigger unsafe multi‑step tool behaviors, rather than relying on surface‑level textual perturbations. Extensive experiments demonstrate that OrchJail improves jailbreak effectiveness and efficiency across representative tool-calling T2I agents, achieving higher attack success rates, better image fidelity, and lower query costs, while remaining robust against common jailbreak defenses. Our work highlights tool orchestration as a critical, previously unexplored attack surface and provides a novel framework for uncovering safety risks in T2I agents.
","absKo":"Tool-calling text-to-image(T2I) agent는 복잡한 생성 및 편집 질의를 수행하기 위해 여러 단계의 tool chain을 계획하고 실행할 수 있다. 그러나 이러한 능력은 새로운 safety attack surface를 만든다. 개별적으로는 무해한 step들이 결합되어 unsafe result를 만들어내는 tool orchestration에서 유해한 output이 발생할 수 있기 때문에, prompt-only jailbreak 기법은 충분하지 않다. 우리는 tool-calling T2I agent를 jailbreak하기 위한 orchestration-guided fuzzing framework인 OrchJail을 제시한다. 그 핵심 아이디어는 고위험 tool-orchestration pattern을 활용하는 것이다. 성공적인 jailbreak tool-calling trace와 prompt 표현 간의 causal relationship을 학습함으로써, OrchJail은 표면적인 텍스트 perturbation에 의존하는 대신 unsafe multi-step tool behavior를 유발할 가능성이 더 높은 prompt로 fuzzing search를 직접 유도한다. 광범위한 실험은 OrchJail이 대표적인 tool-calling T2I agent 전반에서 jailbreak 효과성과 효율성을 향상시키며, 더 높은 attack success rate, 더 나은 image fidelity, 더 낮은 query cost를 달성하고, 일반적인 jailbreak defense에도 견고함을 보임을 보여준다. 우리의 연구는 tool orchestration이 중요하지만 아직 충분히 탐구되지 않은 attack surface임을 부각하고, T2I agent의 safety risk를 밝혀내기 위한 새로운 framework를 제공한다.
"},{"id":"64505","en":"Angel or Demon: Investigating the Plasticity Interventions' Impact on Backdoor Threats in Deep Reinforcement Learning","ko":"천사인가 악마인가: 심층 강화학습에서 가소성 개입이 백도어 위협에 미치는 영향 조사","authors":"Oubo Ma, Ruixiao Lin, Yang Dai, Jiahao Chen, Chunyi Zhou, Linkang Du, Shouling Ji","pos":"#2803","link":"https://openreview.net/forum?id=MtialRxZMH","abs":"Extensive research has highlighted the severe threats posed by backdoor attacks to deep reinforcement learning (DRL). However, prior studies primarily focus on vanilla scenarios, while plasticity interventions have emerged as indispensable built-in components of modern DRL agents. Despite their effectiveness in mitigating plasticity loss, the impact of these interventions on DRL backdoor vulnerabilities remains underexplored, and this lack of systematic investigation poses risks in practical DRL deployments. To bridge this gap, we empirically study 14,664 cases integrating representative interventions and attack scenarios. We find that only one intervention (i.e., $SAM$) exacerbates backdoor threats, while other interventions mitigate them. Pathological analysis identifies that, the exacerbation is attributed to backdoor gradient amplification, while the mitigation stems from activation pathway disruption and representation space compression. From these findings, we derive two novel insights: (1) a conceptual framework $SCC$ for robust backdoor injection that deconstructs the mechanistic interplay between interventions and backdoors in DRL, and (2) abnormal loss landscape sharpness as a key indicator for DRL backdoor detection.","absKo":"광범위한 연구는 backdoor attack이 deep reinforcement learning (DRL)에 가하는 심각한 위협을 강조해 왔다. 그러나 기존 연구는 주로 vanilla scenario에 초점을 맞추는 반면, plasticity intervention은 현대 DRL agent의 필수적인 built-in component로 부상했다. plasticity loss를 완화하는 효과에도 불구하고, 이러한 intervention이 DRL backdoor 취약성에 미치는 영향은 충분히 탐구되지 않았으며, 이러한 체계적 조사 부족은 실제 DRL 배포에서 위험을 초래한다. 이 공백을 메우기 위해, 우리는 대표적인 intervention과 attack scenario를 통합한 14,664개의 사례를 실증적으로 연구했다. 그 결과, 단 하나의 intervention, 즉 $SAM$만이 backdoor 위협을 악화시키는 반면, 다른 intervention은 이를 완화한다는 사실을 발견했다. 병리적 분석은 이러한 악화가 backdoor gradient amplification에 기인하고, 완화는 activation pathway disruption과 representation space compression에서 비롯됨을 밝혀냈다. 이러한 발견으로부터 우리는 두 가지 새로운 통찰을 도출했다. (1) DRL에서 intervention과 backdoor 사이의 기계적 상호작용을 분해하는 robust backdoor injection을 위한 개념적 프레임워크 $SCC$, 그리고 (2) DRL backdoor detection의 핵심 지표로서 비정상적인 loss landscape sharpness이다."},{"id":"64835","en":"Adaptive Probe-based Steering for Robust LLM Jailbreaking","ko":"강건한 LLM Jailbreaking을 위한 적응적 Probe 기반 Steering","authors":"Junxi Chen, Junhao Dong, Xiaohua Xie","pos":"#2805","link":"https://openreview.net/forum?id=JKMZyCghr4","abs":"Recent work has demonstrated the potential of contrastive steering for jailbreaking Large Language Models (LLMs). However, existing methods rely on limited and inherently biased contrastive prompts and require laborious manual tuning of steering strength, limiting their robustness and effectiveness. In this paper, we leverage the idea of model extraction to guide the learned steering vectors to approximate the ideal one and propose tuning the steering strength adaptively based on contrastive activations' statistics. Experiments demonstrate that our method notably improves the effectiveness and robustness of probe-based steering, without any extra contrastive prompts or laborious manual tuning. Being an attack paper, this paper focuses on revealing the breakdown of fortified LLMs, raising the average harmfulness score from 6\\% to 70\\%.
","absKo":"최근 연구는 Large Language Models (LLMs)의 jailbreaking에 대한 contrastive steering의 잠재력을 보여주었다. 그러나 기존 방법은 제한적이고 본질적으로 편향된 contrastive prompt에 의존하며, steering strength의 수동 조정이 번거로워 견고성과 효과가 제한된다. 본 논문에서는 model extraction 아이디어를 활용해 학습된 steering vector가 ideal one을 근사하도록 유도하고, contrastive activation의 통계에 기반해 steering strength를 적응적으로 조정하는 방법을 제안한다. 실험은 추가적인 contrastive prompt나 번거로운 수동 조정 없이도, 본 방법이 probe-based steering의 효과와 견고성을 현저히 향상시킴을 보여준다. 이 논문은 공격 논문으로서, fortified LLMs의 붕괴를 드러내는 데 초점을 맞추며, 평균 harmfulness score를 6%에서 70%로 끌어올린다.
"},{"id":"64856","en":"AutoBaxBuilder: Bootstrapping Code Security Benchmarking","ko":"AutoBaxBuilder: 코드 보안 벤치마킹 부트스트래핑","authors":"Tobias von Arx, Niels Mündler, Mark Vero, Maximilian Baader, Martin Vechev","pos":"#2807","link":"https://openreview.net/forum?id=J5KrubuRAJ","abs":"As large language models (LLMs) see wide adoption in software engineering, the reliable assessment of the correctness and security of LLM-generated code is crucial. Notably, prior work showed that LLMs are prone to generating code with security vulnerabilities, highlighting that security is often overlooked. These insights were enabled by specialized benchmarks crafted by security experts through significant manual effort. However, benchmarks (i) inevitably end up contaminating training data, (ii) must extend to new tasks to provide a more complete picture, and (iii) must increase in difficulty to challenge more capable LLMs. In this work, we address these challenges and present AutoBaxBuilder, an automated pipeline that generates code security benchmarking tasks from scratch. It leverages the code-understanding of LLMs and robust reliability checks to construct functional tests and end-to-end security-probing exploits. The quality of the pipeline is quantitatively confirmed by aligning its predictions with an expert-written baseline and qualitatively validated through manual soundness verification. We use AutoBaxBuilder to construct a new benchmark and release it to the public as AutoBaxBench, together with a thorough evaluation on contemporary LLMs. AutoBaxBuilder generates new tasks in under 2 hours, for less than USD 10. Including a manual verification, this reduces the required human effort for benchmark construction by an estimated factor of 12.
","absKo":"large language models (LLMs)이 software engineering에서 널리 채택되면서, LLM이 생성한 code의 정확성과 보안을 신뢰성 있게 평가하는 것이 매우 중요하다. 특히, 선행 연구는 LLM이 보안 취약점을 가진 code를 생성하기 쉬움을 보여주었고, 이는 security가 종종 간과된다는 점을 부각한다. 이러한 통찰은 보안 전문가들이 상당한 수작업을 들여 만든 특화 benchmark를 통해 가능해졌다. 그러나 benchmark는 (i) 필연적으로 training data에 contamination되며, (ii) 더 완전한 그림을 제공하기 위해 새로운 task로 확장되어야 하고, (iii) 더 유능한 LLM을 도전시키기 위해 난이도가 높아져야 한다. 이 연구에서 우리는 이러한 문제를 해결하고, code security benchmarking task를 처음부터 자동으로 생성하는 AutoBaxBuilder를 제시한다. 이 시스템은 LLM의 code understanding과 견고한 reliability check를 활용해 functional test와 end-to-end security-probing exploit를 구성한다. pipeline의 품질은 expert가 작성한 baseline과 prediction을 정렬함으로써 정량적으로 확인되며, manual soundness verification을 통해 정성적으로 검증된다. 우리는 AutoBaxBuilder를 사용해 새로운 benchmark를 구성하고 이를 AutoBaxBench라는 이름으로 공개하며, 현대 LLM에 대한 철저한 평가도 함께 제공한다. AutoBaxBuilder는 2시간 이내에 새로운 task를 생성하고 비용은 10달러 미만이다. manual verification까지 포함하면, benchmark 구성에 필요한 인간의 노력을 추정상 12배 줄여준다.
"},{"id":"62076","en":"Budget-Efficient Attacks and Robustness Training for Cooperative MARL","ko":"협력적 MARL을 위한 예산 효율적 공격과 강건성 학습","authors":"junyong jiang, Xin Yuan, Longhe Lin, Songze Li, Lu Dong","pos":"#2808","link":"https://openreview.net/forum?id=k3T8Cwv1ly","abs":"Cooperative multi-agent reinforcement learning (CMARL) policies are vulnerable to action hijacking even when only a few timesteps are compromised. Recent adversarial attacks and adversarial training methods have been explored, but under an explicit attack budget, existing attacks often fail to accurately expose critical coordination weaknesses and incur substantial training cost. We propose Budgeted Hierarchical Efficient Attack (BHEA), a budgeted hierarchical adversarial attack that separates decisions on when and which agents to hijack from action replacement, enabling more precise vulnerability discovery under limited attack opportunities. We further show that training cooperative policies against BHEA substantially improves robustness to limited-step action hijacking while reducing training overhead. Experiments on the StarCraft Multi-Agent Challenge (SMAC) demonstrate stronger attacks under the same attack budget and improved robustness. Code is available at https://anonymous.4open.science/r/BHEA-068D.
","absKo":"협력적 multi-agent reinforcement learning(CMARL) policy는 단 몇 개의 timestep만 탈취되어도 action hijacking에 취약하다. 최근 adversarial attack과 adversarial training 방법이 연구되었지만, 명시적인 attack budget 하에서 기존 attack은 중요한 협력 취약점을 정확히 드러내지 못하는 경우가 많고, training cost도 상당하다. 우리는 Budgeted Hierarchical Efficient Attack(BHEA)을 제안한다. 이는 언제 그리고 어떤 agent를 hijack할지를 결정하는 단계와 action replacement를 분리하는 budgeted hierarchical adversarial attack으로, 제한된 attack 기회 하에서 보다 정밀한 취약점 발견을 가능하게 한다. 또한 우리는 BHEA에 대해 cooperative policy를 훈련하면 제한된 step의 action hijacking에 대한 robustness가 크게 향상되면서 training overhead는 줄어든다는 점을 보인다. StarCraft Multi-Agent Challenge(SMAC) 실험은 동일한 attack budget에서 더 강한 attack과 향상된 robustness를 보여준다. 코드는 https://anonymous.4open.science/r/BHEA-068D 에서 제공된다."},{"id":"62590","en":"CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution","ko":"CausalArmor: Causal Attribution을 통한 효율적 간접 Prompt Injection Guardrails","authors":"Minbeom Kim, Mihir Parmar, Phillip Wallis, Lesly Miculicich, Kyomin Jung, Krishnamurthy Dvijotham, Long T. Le, Tomas Pfister","pos":"#2809","link":"https://openreview.net/forum?id=fE4urn9hyM","abs":"AI agents equipped with tool-calling capabilities are susceptible to Indirect Prompt Injection (IPI) attacks. In this attack scenario, malicious commands hidden within untrusted content trick the agent into performing unauthorized actions. Existing defenses can reduce attack success but often suffer from the over-defense dilemma: they deploy expensive, always-on sanitization regardless of actual threat, thereby degrading utility and latency even in benign scenarios. We revisit IPI through a causal ablation perspective: a successful injection manifests as a dominance shift where the user request no longer provides decisive support for the agent's privileged action, while a particular untrusted segment, such as a retrieved document or tool output, provides disproportionate attributable influence. Based on this signature, we propose CausalArmor, a selective defense framework that (i) computes lightweight, leave-one-out ablation-based attributions at privileged decision points, and (ii) triggers targeted sanitization only when an untrusted segment dominates the user intent. Additionally, CausalArmor employs retroactive Chain-of-Thought masking to prevent the agent from acting on ``poisoned\" reasoning traces. We present a theoretical analysis showing that sanitization based on attribution margins conditionally yields an exponentially small upper bound on the probability of selecting malicious actions. Experiments on AgentDojo and DoomArena demonstrate that CausalArmor matches the security of aggressive defenses while improving explainability and preserving utility and latency of AI agents.
","absKo":"tool-calling 능력을 갖춘 AI agent는 Indirect Prompt Injection (IPI) 공격에 취약하다. 이러한 공격 시나리오에서는 untrusted content 안에 숨겨진 악성 명령이 agent를 속여 승인되지 않은 동작을 수행하게 만든다. 기존 방어 기법은 공격 성공률을 낮출 수 있지만, 실제 위협과 무관하게 비용이 큰 always-on sanitization을 배치함으로써 over-defense dilemma를 겪는 경우가 많다. 그 결과 benign한 상황에서도 utility와 latency가 저하된다. 우리는 causal ablation 관점에서 IPI를 재검토한다. 성공적인 injection은 dominance shift로 나타나는데, 이때 user request는 더 이상 agent의 privileged action에 대한 결정적 지지를 제공하지 못하고, retrieved document나 tool output 같은 특정 untrusted segment가 불균형적으로 큰 attribution influence를 제공한다. 이 signature를 바탕으로 우리는 CausalArmor를 제안한다. 이는 (i) privileged decision point에서 lightweight한 leave-one-out ablation 기반 attribution을 계산하고, (ii) untrusted segment가 user intent를 지배할 때에만 targeted sanitization을 트리거하는 selective defense framework이다. 또한 CausalArmor는 retroactive Chain-of-Thought masking을 사용해 agent가 ``poisoned\" reasoning trace에 따라 행동하는 것을 방지한다. 우리는 attribution margin에 기반한 sanitization이 조건부로 악성 행동을 선택할 확률에 대해 지수적으로 작은 상한을 제공함을 보이는 이론적 분석을 제시한다. AgentDojo와 DoomArena에서의 실험은 CausalArmor가 공격적인 방어의 보안 수준을 유지하면서도 설명가능성을 높이고 AI agent의 utility와 latency를 보존함을 보여준다."},{"id":"61974","en":"From Internal Diagnosis to External Auditing: A VLM-Driven Paradigm for Data-Free Online Backdoor Defense","ko":"내부 진단에서 외부 감사로: data-free online backdoor defense를 위한 VLM 기반 패러다임","authors":"Binyan Xu, Fan YANG, Xilin Dai, Di Tang, Kehuan Zhang","pos":"#2811","link":"https://openreview.net/forum?id=l3yzuHKpNe","abs":"Deep Neural Networks (DNNs) remain fundamentally vulnerable to backdoor attacks. Traditional data-free defenses largely operate under the paradigm of internal diagnosis methods like model repairing or input robustness, yet these approaches are often fragile under advanced attacks as they remain entangled with the victim model’s corrupted parameters. We propose a paradigm shift to data-free External Semantic Auditing, using universal Vision-Language Models (VLMs) as independent auditors to decouple defense from the compromised model. We introduce PRISM (Prototype Refinement & Inspection via Statistical Monitoring), which transforms generic VLMs into domain-adaptive gatekeepers purely via online test-time adaptation. PRISM bridges the domain gap through a Hybrid VLM Teacher that refines prototypes from the test stream and an Adaptive Router that calibrates thresholds via statistical monitoring. Evaluation across 17 datasets and 11 attack types confirms PRISM achieves state-of-the-art performance (suppressing Attack Success Rate to < 1% on CIFAR-10), proving that robust defense is achievable without touching the model weights or accessing a single training sample.
","absKo":"Deep Neural Networks(DNNs)는 여전히 backdoor attack에 본질적으로 취약하다. 전통적인 data-free 방어는 주로 model repairing이나 input robustness와 같은 내부 진단 방법의 패러다임에서 작동하지만, 이러한 접근은 피해 모델의 오염된 파라미터와 얽혀 있기 때문에 고급 공격 하에서 종종 취약하다. 우리는 data-free External Semantic Auditing으로의 패러다임 전환을 제안하며, 범용 Vision-Language Models(VLMs)을 독립적인 감사자로 사용해 방어를 손상된 모델과 분리한다. 우리는 PRISM(Prototype Refinement & Inspection via Statistical Monitoring)을 도입하는데, 이는 온라인 test-time adaptation만을 통해 범용 VLM을 도메인 적응형 gatekeeper로 변환한다. PRISM은 test stream에서 prototype을 정제하는 Hybrid VLM Teacher와 statistical monitoring을 통해 threshold를 보정하는 Adaptive Router를 통해 도메인 간 격차를 메운다. 17개 dataset과 11개 attack type에 걸친 평가에서 PRISM이 state-of-the-art 성능을 달성함을 확인했으며(CIFAR-10에서 Attack Success Rate를 < 1%로 억제), 모델 weight를 건드리거나 단 하나의 training sample에도 접근하지 않고도 강인한 방어가 가능함을 입증한다.
"},{"id":"61940","en":"From Poisoned to Aware: Fostering Backdoor Self-Awareness in LLMs","ko":"From Poisoned to Aware: LLM에서 백도어 자기 인식 증진","authors":"Guangyu Shen, Siyuan Cheng, Xiangzhe Xu, Yuan Zhou, Hanxi Guo, Zhuo Zhang, Xiangyu Zhang","pos":"#2812","link":"https://openreview.net/forum?id=lUVEQ1JRIL","abs":"Backdoor attacks can introduce deceptive behaviors into large language models, causing them to execute prohibited actions only when specific secret triggers appear in the input. Existing safety training methods largely fail to address this vulnerability, due to the inherent difficulty of uncovering hidden triggers embedded within the model. Motivated by recent findings on LLMs’ situational awareness, we propose a novel post-training framework that cultivates backdoor self-awareness, enabling a poisoned LLM to precisely articulate its own implanted triggers. At its core, our approach introduces an inversion-inspired reinforcement learning framework that encourages models to introspectively reason about their behaviors and gradually reverse-engineer the triggers responsible for misaligned outputs. Building upon precise trigger articulation, we further present two complementary defense strategies for mitigating and detecting backdoor threats. Experiments on five backdoor attacks, compared against six baseline methods, demonstrate that our approach has strong potential to improve the robustness of LLMs against backdoor risks.
","absKo":"Backdoor attack은 large language model에 기만적인 행동을 주입하여, 입력에 특정 secret trigger가 나타날 때에만 금지된 행동을 수행하도록 만들 수 있다. 기존의 safety training 방법은 모델 내부에 숨겨진 trigger를 밝혀내는 본질적 어려움 때문에 이 취약성을 대체로 다루지 못한다. 최근 LLM의 situational awareness에 관한 발견에 착안하여, 우리는 backdoor self-awareness를 형성하는 새로운 post-training framework를 제안한다. 이를 통해 poisoned LLM이 자신에게 삽입된 trigger를 정확하게 서술할 수 있게 한다. 우리의 접근법의 핵심은 inversion에서 영감을 받은 reinforcement learning framework를 도입하는 것으로, 모델이 자신의 행동에 대해 내성적으로 추론하고 misaligned output을 유발하는 trigger를 점진적으로 reverse-engineering하도록 유도한다. 정밀한 trigger 서술을 바탕으로, 우리는 backdoor threat를 완화하고 탐지하기 위한 두 가지 상호 보완적인 defense 전략도 추가로 제시한다. 다섯 가지 backdoor attack에 대해 여섯 개 baseline method와 비교한 실험은, 우리의 방법이 backdoor risk에 대한 LLM의 robustness를 향상시킬 강한 잠재력이 있음을 보여준다.
"},{"id":"65663","en":"From Similarity to Vulnerability: Key Collision Attack on LLM Semantic Caching","ko":"유사성에서 취약성으로: LLM 시맨틱 캐싱에 대한 Key Collision 공격","authors":"ZHIXIANG ZHANG, Zesen Liu, Yuchong Xie, Quanfeng Huang, Dongdong She","pos":"#2813","link":"https://openreview.net/forum?id=BQfNL1wahQ","abs":"Semantic caching has emerged as a pivotal technique for scaling LLM applications, widely adopted by major providers including AWS and Microsoft. By utilizing semantic embedding vectors as cache keys, this mechanism effectively minimizes latency and redundant computation for semantically similar queries. In this work, we conceptualize semantic cache keys as a form of fuzzy hashes. We demonstrate that the locality required to maximize cache hit rates fundamentally conflicts with the cryptographic avalanche effect necessary for collision resistance. Our conceptual analysis formalizes this inherent trade-off between performance (locality) and security (collision resilience), revealing that semantic caching is naturally vulnerable to key collision attacks. While prior research has focused on side-channel and privacy risks, we present the first systematic study of integrity risks arising from cache collisions. We introduce CacheAttack, an automated framework for launching black-box collision attacks. We evaluate CacheAttack in security-critical tasks and agentic workflows. It achieves a hit rate of 86% in LLM response hijacking and can induce malicious behaviors in LLM agent, while preserving strong transferability across different embedding models. A case study on a financial agent further illustrates the real-world impact of these vulnerabilities. Finally, we discuss mitigation strategies, highlighting a persistent trade-off between cache efficiency and robustness.
","absKo":"Semantic caching은 LLM application을 확장하는 데 핵심적인 기법으로 부상했으며, AWS와 Microsoft를 포함한 주요 공급자들에 의해 널리 채택되고 있다. semantic embedding vector를 cache key로 활용함으로써, 이 메커니즘은 의미적으로 유사한 query에 대해 latency와 중복 계산을 효과적으로 줄인다. 본 연구에서는 semantic cache key를 fuzzy hash의 한 형태로 개념화한다. 우리는 cache hit rate를 극대화하는 데 필요한 locality가 collision resistance에 필수적인 cryptographic avalanche effect와 본질적으로 충돌함을 보인다. 우리의 개념적 분석은 performance(locality)와 security(collision resilience) 사이의 이러한 내재적 trade-off를 형식화하며, semantic caching이 본질적으로 key collision attack에 취약함을 드러낸다. 선행 연구가 side-channel과 privacy risk에 초점을 맞췄던 반면, 우리는 cache collision에서 발생하는 integrity risk에 대한 최초의 체계적 연구를 제시한다. 우리는 black-box collision attack을 수행하기 위한 자동화 framework인 CacheAttack을 소개한다. CacheAttack을 security-critical task와 agentic workflow에서 평가한 결과, LLM response hijacking에서 86%의 hit rate를 달성하고, 서로 다른 embedding model 간에도 강한 transferability를 유지하면서 LLM agent에 malicious behavior를 유도할 수 있음을 보였다. 금융 agent에 대한 case study는 이러한 취약성이 실제 세계에 미치는 영향을 추가로 보여준다. 마지막으로, cache efficiency와 robustness 사이에 지속되는 trade-off를 강조하며 완화 전략을 논의한다.
"},{"id":"61209","en":"Learn from Your Mistakes: Tree-like Self-Play on Vulnerability Nodes for Secure Code LLMs","ko":"실수에서 배우기: 안전한 Code LLM을 위한 취약점 노드 기반 Tree-like Self-Play","authors":"Wenqi Chen, Ziyan Zhang, Bin Wang, Lin Liu, Hengheng Zhang, Zhengsu Chen","pos":"#2814","link":"https://openreview.net/forum?id=sfi4R7lsIP","abs":"While Large Language Models (LLMs) excel in code generation, they remain prone to replicating subtle yet critical vulnerabilities endemic to their training data. Current alignment techniques, such as Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL), typically apply coarse-grained optimization at the sequence level. This approach often fails to address the localized nature of security flaws, where a single incorrect token choice can compromise an entire program. To bridge this gap, we introduce Tree-like Self-Play (TSP), a framework that reframes secure code generation as a fine-grained sequential decision process. Unlike standard methods that blindly maximize likelihood, TSP constructs a decision tree where the model explores branching trajectories—generating both secure \"golden paths\" and vulnerable variants. By treating code generation as a self-play game, the model learns to strictly discriminate against its own localized errors. This provides a dense, on-policy learning signal that forces self-correction precisely at the critical decision nodes where vulnerabilities typically emerge. Our experiments demonstrate that TSP fundamentally enhances model reliability. In Python security benchmarks, TSP boosts CodeLlama-7B’s pass rate (SPR@1) to 75.8\\%, significantly outperforming SFT (57.0\\%) and unstructured self-play baselines. Crucially, TSP induces robust out-of-distribution generalization: the model not only reduces vulnerabilities in unseen categories (CWEs) by 24.5\\% but also successfully transfers security principles learned from C/C++ to diverse languages, including Python, Go, and JavaScript. This suggests that TSP does not merely memorize patches, but internalizes abstract, language-agnostic security logic.
","absKo":"Large Language Models (LLMs)는 code generation에서 뛰어나지만, training data에 내재된 미묘하면서도 치명적인 취약점을 그대로 재현하는 경향이 있다. Supervised Fine-Tuning (SFT)과 Reinforcement Learning (RL) 같은 현재의 alignment 기법은 대체로 sequence 수준에서 거친(grainy) 최적화를 적용한다. 이 접근은 보안 결함의 국소적(localized) 특성을 충분히 다루지 못하는 경우가 많다. 단 하나의 잘못된 token 선택만으로도 전체 program이 손상될 수 있기 때문이다. 이러한 간극을 메우기 위해, 우리는 secure code generation을 세밀한(fine-grained) sequential decision process로 재정식화하는 framework인 Tree-like Self-Play (TSP)를 제안한다. TSP는 standard methods처럼 무작정 likelihood를 최대화하는 대신, model이 secure한 \"golden paths\"와 vulnerable variants를 모두 생성하며 branch trajectory를 탐색하는 decision tree를 구성한다. code generation을 self-play game으로 취급함으로써, model은 자기 자신의 국소적 오류를 엄격히 구분하고 억제하는 방법을 학습한다. 이는 vulnerability가 일반적으로 발생하는 핵심 decision node에서 정확히 자기 수정(self-correction)을 강제하는, 밀도 높은(dense) on-policy learning signal을 제공한다. 우리의 실험은 TSP가 model reliability를 근본적으로 향상시킴을 보여준다. Python security benchmark에서 TSP는 CodeLlama-7B의 pass rate (SPR@1)를 75.8\\%까지 끌어올려, SFT (57.0\\%)와 비정형(unstructured) self-play baseline을 크게 능가한다. 더 중요하게도, TSP는 강건한 out-of-distribution generalization을 유도한다. model은 보지 못한 unseen category (CWE)에서의 vulnerability를 24.5\\% 줄일 뿐 아니라, C/C++에서 학습한 security principle을 Python, Go, JavaScript를 포함한 다양한 language로 성공적으로 transfer한다. 이는 TSP가 단순히 patch를 암기하는 것이 아니라, 추상적이고 language-agnostic한 security logic을 내재화함을 시사한다.
"},{"id":"66639","en":"On the Fragility of Data Attribution When Learning Is Distributed","ko":"학습이 분산될 때 데이터 귀속의 취약성에 관하여","authors":"Xian Gao, Bo Hui, MIN-TE SUN, Wei-Shinn Ku","pos":"#2816","link":"https://openreview.net/forum?id=1sgrIzBaWD","abs":"Data attribution has become a core primitive for pricing, auditing, and governing machine learning pipelines, yet current attribution methods implicitly assume that attribution value faithfully reflects participants' contributions. We show that this assumption can fail: a single participant in a standard distributed training workflow can substantially inflate its measured attribution value while keeping global utility intact. Our attribution-first attack uses a latent optimization procedure that injects small, utility-preserving synthetic batches to exploit non-IID label coverage and evaluator sensitivities. Across datasets, models, and multiple marginal-utility evaluators, the attack consistently raises the adversary’s attribution value and reshapes the relative attribution structure among benign clients without degrading accuracy or triggering geometry-based defenses. These results demonstrate that attribution itself constitutes a new attack surface and motivate the development of attribution-robust and incentive-compatible scoring mechanisms.
","absKo":"Data attribution은 machine learning pipeline의 가격 책정, 감사, 거버넌스를 위한 핵심 primitive가 되었지만, 현재의 attribution 방법은 암묵적으로 attribution value가 참여자의 기여를 충실히 반영한다고 가정한다. 우리는 이 가정이 실패할 수 있음을 보인다. 표준 distributed training workflow의 단일 참여자는 전역 utility를 유지하면서도 측정된 attribution value를 크게 부풀릴 수 있다. 우리의 attribution-first attack은 latent optimization procedure를 사용하여, 작은 utility-preserving synthetic batch를 주입함으로써 non-IID label coverage와 evaluator 민감도를 악용한다. 다양한 dataset, model, 그리고 여러 marginal-utility evaluator에 걸쳐, 이 공격은 accuracy를 저하시키거나 geometry-based defense를 유발하지 않으면서도 adversary의 attribution value를 일관되게 높이고 benign client들 사이의 상대적 attribution structure를 재구성한다. 이러한 결과는 attribution 자체가 새로운 attack surface임을 보여주며, attribution-robust하고 incentive-compatible한 scoring mechanism의 개발을 촉진한다.
"},{"id":"65283","en":"Speculative Safety Honeypot: Toward Proactive Defense Against Multi-turn Agent Attacks","ko":"Speculative Safety Honeypot: 다중 턴 에이전트 공격에 대한 능동적 방어를 향하여","authors":"Zezhong WANG, Xueyang Tang, RUI LIAN, Yang Lou, Heqing Huang","pos":"#2903","link":"https://openreview.net/forum?id=F7KJeI4oql","abs":"As Large Language Model (LLM) agents are increasingly deployed in complex environments, multi-turn interaction attacks have become a significant security challenge. Existing detection methods typically rely on historical context. However, this retrospective logic struggles to identify deep malicious intents that are split across turns to hide future risks. Inspired by speculative decoding, we propose the Speculative Safety Honeypot (SSH) framework. SSH uses a multi-agent simulation system composed of small LLMs to build an action-level speculate-and-verify workflow. In the speculation stage, SSH predicts future behaviors of the target agent and asynchronously builds a trajectory tree to expose potential risks in advance. In the verification stage, the system uses the target agent's real actions to calibrate and prune the trajectory tree, effectively reducing false positives. As a plug-and-playable component, SSH provides existing detectors with rich decision redundancy beyond the current interaction slice. By judging risk based on the evolution of the entire trajectory tree rather than a single point in time, the system reduces the reliance on the absolute precision of individual detection components. This improves the defense resilience and the warning lead-time of agent systems against complex temporal attacks.
","absKo":"Large Language Model (LLM) agent가 복잡한 environment에 점점 더 많이 배치됨에 따라, multi-turn interaction attack은 중요한 보안 과제가 되었다. 기존 탐지 방법은 대개 historical context에 의존한다. 그러나 이러한 retrospective logic은 미래 위험을 숨기기 위해 여러 turn에 걸쳐 분산된 심층적인 malicious intent를 식별하는 데 한계가 있다. speculative decoding에서 영감을 받아, 우리는 Speculative Safety Honeypot (SSH) framework를 제안한다. SSH는 작은 LLM들로 구성된 multi-agent simulation system을 사용하여 action-level speculate-and-verify workflow를 구축한다. speculation stage에서는 SSH가 target agent의 미래 behavior를 예측하고, 잠재적 위험을 사전에 드러내기 위해 trajectory tree를 비동기적으로 구성한다. verification stage에서는 system이 target agent의 실제 action을 사용해 trajectory tree를 보정하고 가지치기함으로써 false positive를 효과적으로 줄인다. plug-and-play component로서 SSH는 기존 detector에 현재 interaction slice를 넘어서는 풍부한 decision redundancy를 제공한다. 단일 시점이 아니라 전체 trajectory tree의 진화를 바탕으로 risk를 판단함으로써, system은 개별 탐지 구성 요소의 절대적 정밀도에 대한 의존을 줄인다. 이는 복잡한 temporal attack에 대한 agent system의 defense resilience와 warning lead-time을 향상시킨다.
"},{"id":"66165","en":"Reasoning as an Attack Surface: Adaptive Evolutionary CoT Jailbreaks for LLMs","ko":"공격 표면으로서의 추론: LLM을 위한 적응형 진화적 CoT Jailbreak","authors":"Jianan Li, Simeng Qin, Jiapeng Chen, Lionel WANG, Tianhang Zheng, Xiaoshuang Jia, Yang Liu, Xiaochun Cao","pos":"#2905","link":"https://openreview.net/forum?id=6AtLH7hRiF","abs":"Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in reasoning and generation tasks and are increasingly deployed in real-world applications. However, their explicit chain-of-thought (CoT) mechanism introduces new security risks, making them particularly vulnerable to jailbreak attacks. Existing approaches often rely on static CoT templates to elicit harmful outputs, but such fixed designs suffer from limited diversity, adaptability, and effectiveness. To overcome these limitations, we propose an adaptive evolutionary CoT jailbreak framework, called AE-CoT. Specifically, the method first rewrites harmful goals into mild prompts with teacher role-play and decomposes them into semantically coherent reasoning fragments to construct a pool of CoT jailbreak candidates. Then, within a structured representation space, we perform multi-generation evolutionary search, where candidate diversity is expanded through fragment-level crossover and a mutation strategy with an adaptive mutation-rate control mechanism. An independent scoring model provides graded harmfulness evaluations, and high-scoring candidates are further enhanced with a harmful CoT template to induce more destructive generations. Extensive experiments across multiple models and datasets demonstrate the effectiveness of the proposed AE-CoT, consistently outperforming state-of-the-art jailbreak methods.
","absKo":"Large Reasoning Models (LRMs)는 reasoning 및 generation task에서 놀라운 성능을 보여주었으며, 점점 더 실제 응용에 배포되고 있다. 그러나 이들의 명시적 chain-of-thought (CoT) 메커니즘은 새로운 보안 위험을 도입하여 jailbreak attack에 특히 취약하게 만든다. 기존 접근법은 유해한 출력을 유도하기 위해 static CoT template에 의존하는 경우가 많지만, 이러한 고정 설계는 다양성, 적응성, 효과성이 제한적이다. 이러한 한계를 극복하기 위해, 우리는 AE-CoT라는 adaptive evolutionary CoT jailbreak framework를 제안한다. 구체적으로, 이 방법은 먼저 teacher role-play를 사용해 harmful goal을 완화된 prompt로 다시 쓰고, 이를 의미적으로 일관된 reasoning fragment로 분해하여 CoT jailbreak candidate pool을 구성한다. 그런 다음 구조화된 representation space 내에서 multi-generation evolutionary search를 수행하며, fragment-level crossover와 adaptive mutation-rate control mechanism을 갖는 mutation strategy를 통해 candidate 다양성을 확장한다. 독립적인 scoring model은 단계적 harmfulness 평가를 제공하고, 높은 점수를 받은 candidate는 더 파괴적인 generation을 유도하기 위해 harmful CoT template로 추가 강화된다. 여러 모델과 dataset에 걸친 광범위한 실험은 제안한 AE-CoT의 효과를 입증하며, state-of-the-art jailbreak 방법들을 일관되게 능가한다.
"},{"id":"63933","en":"RLCracker: Evaluating the Worst-Case Vulnerability of LLM Watermarks with Adaptive RL Attacks","ko":"RLCracker: 적응형 RL 공격을 통한 LLM watermark의 최악의 취약성 평가","authors":"Hanbo Huang, Yiran Zhang, Hao Zheng, Xuan Gong, Yihan Li, Lin Liu, Zhuotao Liu, Shiyu Liang","pos":"#2906","link":"https://openreview.net/forum?id=SRuY51jkii","abs":"Large language model (LLM) watermarking has shown promise in detecting AI-generated content and mitigating misuse, with prior work claiming robustness against paraphrasing and text editing. In this paper, we argue that existing evaluations are not sufficiently adversarial, obscuring critical vulnerabilities and overstating the security. To address this, we introduce the adaptive robustness radius, a formal metric that quantifies the worst-case resilience of watermarks against adaptive adversaries. By lifting the paraphrase space into a KL-divergence ball, we approximate this radius and theoretically demonstrate that optimizing the attack context and model parameters can significantly reduce the approximated radius, making watermarks highly vulnerable to paraphrase attacks. Leveraging this insight, we propose RLCracker, a reinforcement learning (RL)–based adaptive attack that erases watermarks while preserving semantic fidelity. RLCracker requires only limited watermarked examples and zero access to the detector. Despite weak supervision, it empowers a 3B model to achieve 98.5\\% removal success with minimal semantic shift on 1,500-token Unigram-marked texts after training on only 100 short samples. This performance dramatically exceeds 6.75% by GPT-4o and generalizes across five model sizes over ten watermarking schemes.
","absKo":"Large language model(LLM) watermarking은 AI 생성 콘텐츠를 탐지하고 오용을 완화하는 데 유망함을 보여왔으며, 이전 연구는 paraphrasing과 text editing에 대한 강건성을 주장했다. 본 논문에서는 기존 평가가 충분히 adversarial하지 않아 핵심 취약점을 가리고 보안을 과대평가하고 있다고 주장한다. 이를 위해 우리는 adaptive robustness radius를 도입하는데, 이는 adaptive adversary에 대한 watermark의 최악의 경우 강건성을 정량화하는 formal metric이다. paraphrase 공간을 KL-divergence ball로 끌어올림으로써 이 radius를 근사하고, 공격 context와 model parameter를 최적화하면 근사 radius를 크게 줄일 수 있음을 이론적으로 보인다. 그 결과 watermark는 paraphrase attack에 매우 취약해진다. 이러한 통찰을 활용해 우리는 semantic fidelity를 유지하면서 watermark를 지우는 reinforcement learning(RL) 기반 adaptive attack인 RLCracker를 제안한다. RLCracker는 제한된 수의 watermarked example과 detector에 대한 접근이 전혀 없어도 동작한다. 약한 supervision에도 불구하고, 100개의 짧은 sample만으로 학습한 뒤 1,500-token Unigram-marked text에서 semantic shift를 최소화하며 98.5\\%의 제거 성공률을 달성하는 3B model을 가능하게 한다. 이는 GPT-4o의 6.75%를 크게 상회하며, 10개의 watermarking scheme 전반에서 5개의 model size로 일반화된다.
"},{"id":"64400","en":"Poison with Style: A Practical Poisoning Attack on Code Large Language Models","ko":"스타일로 오염시키기: 코드 대형 언어 모델에 대한 실용적 오염 공격","authors":"Khang Tran, Yazan Boshmaf, Issa Khalil, Hai Phan, Ting Yu, Md Rizwan Parvez","pos":"#2912","link":"https://openreview.net/forum?id=Nyn7GCUhLA","abs":"Code Large Language Models (CLLMs) serve as the core of modern code agents, enabling developers to automate complex software development tasks. In this paper, we present Poison-with-Style (PwS), a practical and stealthy model poisoning attack targeting CLLMs. Unlike prior attacks that assume an active adversary capable of directly embedding explicit triggers (e.g., specific words) into developers' prompts during inference, PwS leverages developers' code styles as covert triggers implicitly embedded within their prompts. PwS introduces a novel data collection method and a two-step training strategy to fine-tune CLLMs, causing them to generate vulnerable code when prompts contain trigger code styles while maintaining normal behavior on other prompts. Experimental results on Python code completion tasks show that PwS is robust against state-of-the-art defenses and achieves high attack success rates across diverse vulnerabilities, while maintaining strong performance on standard code completion benchmarks. For example, in code completion tasks that are vulnerable to improper input validation (i.e., CWE-20), the poisoned model generates insecure code up to 95\\% of the cases when the trigger code style is used, with less than $5\\%$ drop in pass@1 performance on the HumanEval and MBPP benchmarks.","absKo":"Code Large Language Models (CLLMs)는 현대 code agent의 핵심으로서 개발자가 복잡한 소프트웨어 개발 작업을 자동화할 수 있게 한다. 본 논문에서는 CLLMs를 대상으로 하는 실용적이고 은밀한 model poisoning attack인 Poison-with-Style(PwS)을 제안한다. 이전 공격들이 추론 시 개발자의 prompt에 특정 단어와 같은 명시적 trigger를 직접 삽입할 수 있는 능동적 adversary를 가정한 것과 달리, PwS는 개발자의 code style을 trigger로 활용하여 그들의 prompt 안에 암묵적으로 내재된 covert trigger로 삼는다. PwS는 CLLMs를 fine-tune하기 위한 새로운 data collection method와 두 단계 training strategy를 도입하여, prompt에 trigger code style이 포함될 때는 취약한 코드를 생성하게 하면서 다른 prompt에 대해서는 정상 동작을 유지하도록 만든다. Python code completion task에 대한 실험 결과, PwS는 최신 defense에 대해 강건하며 다양한 vulnerability 전반에서 높은 attack success rate를 달성하는 동시에 표준 code completion benchmark에서도 우수한 성능을 유지함을 보였다. 예를 들어 부적절한 input validation에 취약한 code completion task(i.e., CWE-20)에서, poisoned model은 trigger code style이 사용될 경우 최대 95\\%의 경우에 insecure code를 생성하며, HumanEval과 MBPP benchmark에서 pass@1 성능 저하는 5\\% 미만이었다."},{"id":"61006","en":"An Empirical Study of Memory Poisoning Defenses for LLM Agents","ko":"LLM Agent를 위한 메모리 포이즈닝 방어의 실증 연구","authors":"Qianshan Wei, Tengchao Yang, Yaochen Wang, Xinfeng Li, Lijun Li, Zhenfei Yin, Yi Zhan, Thorsten Holz, Zhiqiang Lin, XiaoFeng Wang","pos":"#3005","link":"https://openreview.net/forum?id=udqe7UZUZ6","abs":"Large Language Model (LLM) agents use memory to learn from past interactions. However, this reliance on memory introduces a critical security risk: an adversary can inject seemingly harmless records into an agent's memory to manipulate its future behavior. This vulnerability is characterized by two core aspects: First, the malicious effect of injected records is only activated within a specific context, making them hard to detect when individual memory entries are audited in isolation. Second, once triggered, the manipulation can initiate a self-reinforcing error cycle: the corrupted outcome is stored as precedent, which not only amplifies the initial error but also progressively lowers the threshold for similar attacks in the future. To address these challenges, we introduce \\emph{A-MemGuard} (\\underline{A}gent-\\underline{Mem}ory \\underline{Guard}), the first defense framework for LLM agent memory. The core idea of our work is the insight that memory itself must become both \\emph{self-checking} and \\emph{self-correcting}. Without modifying the agent's core architecture, A-MemGuard combines two mechanisms: (1) \\textbf{consensus-based validation}, which detects anomalies by comparing reasoning paths derived from multiple related memories and (2) a \\textbf{dual-memory structure}, where detected failures are distilled into ``lessons'' stored separately and consulted before future actions, breaking error cycles and enabling adaptation. Comprehensive evaluations on multiple benchmarks show that A-MemGuard effectively cuts attack success rates by over 95\\% while incurring a minimal utility cost. This work shifts LLM memory security from static filtering to a proactive, experience-driven model where defenses strengthen over time.
","absKo":"Large Language Model (LLM) agents는 과거 상호작용으로부터 학습하기 위해 memory를 사용한다. 그러나 이러한 memory 의존성은 중요한 보안 위험을 도입한다. 공격자는 겉보기에는 무해한 기록을 agent의 memory에 주입하여 미래 행동을 조작할 수 있다. 이 취약성은 두 가지 핵심 측면으로 특징지어진다. 첫째, 주입된 기록의 악성 효과는 특정 context에서만 활성화되므로, 개별 memory 항목을 독립적으로 감사할 때는 탐지하기 어렵다. 둘째, 한 번 트리거되면 이러한 조작은 자기강화적 오류 순환을 시작할 수 있다. 손상된 결과가 precedent로 저장되어 초기 오류를 증폭할 뿐 아니라, 향후 유사 공격에 대한 임계값을 점진적으로 낮춘다. 이러한 문제를 해결하기 위해, 우리는 LLM agent memory를 위한 첫 방어 프레임워크인 \\emph{A-MemGuard} (\\underline{A}gent-\\underline{Mem}ory \\underline{Guard})를 제안한다. 우리의 핵심 아이디어는 memory 자체가 \\emph{self-checking}과 \\emph{self-correcting} 모두를 갖추어야 한다는 통찰이다. agent의 핵심 architecture를 수정하지 않고도, A-MemGuard는 두 가지 메커니즘을 결합한다. (1) \\textbf{consensus-based validation}: 여러 관련 memory에서 도출된 reasoning path를 비교해 이상 징후를 탐지하고, (2) \\textbf{dual-memory structure}: 탐지된 실패를 별도로 저장되는 ``lessons''로 distill한 뒤 향후 행동 전에 참조하여 오류 순환을 끊고 적응을 가능하게 한다. 여러 benchmark에 대한 종합 평가는 A-MemGuard가 utility cost는 최소 수준으로 유지하면서 attack success rate를 95\\% 이상 효과적으로 감소시킴을 보인다. 이 작업은 LLM memory security를 정적 filtering에서, 방어가 시간이 지날수록 강화되는 proactive하고 experience-driven한 모델로 전환한다.
"},{"id":"66388","en":"Lookahead-GCG: Improving Multi-Model Gradient-Based Jailbreaking Attacks via Nesterov Momentum","ko":"Lookahead-GCG: Nesterov 모멘텀을 통한 다중 모델 그래디언트 기반 Jailbreak 공격 개선","authors":"Rong Feng, Haohan Zhao, Shiqin Tang, Geng Liu, Song Lai, Meng Wang, Shuxin Zhuang, Yuqi Zha, Changyi Ma, Runsheng Yu","pos":"#3016","link":"https://openreview.net/forum?id=49ZO681M7H","abs":"Transferable jailbreaking attacks enable red-teaming of black-box large language models by optimizing adversarial prompts on open-source surrogates. A natural approach to improve transferability is multi-model training---optimizing against multiple source models simultaneously. Yet this approach has been largely abandoned, as it yields only marginal gains with standard optimizers. We argue the root cause is poor generalization: standard gradient descent lacks stability whenaggregating gradients from diverse models. Since GCG and its variants~\\citep{zou2023universal, jia2024improved, yang2025guiding} mplicitly perform SGD in discrete token space, they inherit this instability in multi-model settings.We address this with \\textbf{Lookahead-GCG}, which combines: (1) Stochastic Nesterov Accelerated Gradient (SNAG), whose lookahead mechanism reduces sensitivity to individual gradient updates, providing stability for multi-model optimization; (2) embedding-space momentum accumulation, which enables SNAG in discrete token optimization; and (3) maximally distant initialization, which exploits SNAG's improved generalization by starting from a universally beneficial point. Experiments show our method achieves 50.37\\% ASR on open-source and 34.03\\% on closed-source LLMs, outperforming GCG and TransferAttack with +11.78\\% gains from multi-model optimization.
","absKo":"Transferable jailbreaking attacks는 open-source surrogate에서 adversarial prompt를 최적화함으로써 black-box large language model에 대한 red-teaming을 가능하게 한다. transferability를 개선하는 자연스러운 접근은 multi-model training, 즉 여러 source model에 동시에 대해 최적화하는 것이다. 그러나 이 접근은 standard optimizer를 사용할 때 얻는 향상이 미미하여, 대체로 외면되어 왔다. 우리는 그 근본 원인이 poor generalization에 있다고 주장한다. standard gradient descent는 다양한 model에서 나오는 gradient를 aggregation할 때 안정성이 부족하다. GCG와 그 변형들~\\citep{zou2023universal, jia2024improved, yang2025guiding}은 discrete token space에서 암묵적으로 SGD를 수행하므로, multi-model setting에서 이러한 불안정성을 그대로 물려받는다. 우리는 이를 위해 \\textbf{Lookahead-GCG}를 제안한다. 이 방법은 다음을 결합한다: (1) Stochastic Nesterov Accelerated Gradient (SNAG), 그 lookahead mechanism은 개별 gradient update에 대한 민감도를 낮춰 multi-model optimization에 안정성을 제공한다; (2) embedding-space momentum accumulation, 이는 discrete token optimization에서 SNAG를 가능하게 한다; 그리고 (3) maximally distant initialization, 이는 보편적으로 유리한 지점에서 시작함으로써 SNAG의 향상된 generalization을 활용한다. 실험 결과, 우리의 방법은 open-source LLM에서 50.37\\%, closed-source LLM에서 34.03\\%의 ASR을 달성하며, multi-model optimization으로부터 +11.78\\% 향상을 보이면서 GCG와 TransferAttack을 능가한다.
"},{"id":"67183","en":"Position: Retire the \"Positive Backdoor\" Label—Secret Alignment Requires Strict and Systematic Evaluation","ko":"Position: \"Positive Backdoor\" 라벨을 폐기하라 — 은밀한 정렬에는 엄격하고 체계적인 평가가 필요하다","authors":"Jianwei Li, Jung-Eun Kim","pos":"#3212","link":"https://openreview.net/forum?id=KUgDdCktn4","abs":"This position paper argues that the AI/ML community should stop overclaiming and retire the label “positive backdoor”, and instead treat trigger-activated hidden behaviors as Secret Alignment. Crucially, protective claims based on Secret Alignment should be presumed not secure by default unless supported by rigorous, standardized evaluation. The Private AI era, enabled by open-weight LLMs and accessible training/inference stacks, turns language models into privately owned digital assets, creating security concerns around unauthorized access, model theft, and behavioral misuse. Recently, a line of work framed as “positive backdoors” has been proposed to address these challenges. To ground our position in evidence, we unify these proposals as covert trigger--behavior associations for access gating, ownership attribution, and safety enforcement, and evaluate three representative applications across six core properties: effectiveness, harmlessness, persistence, efficiency, robustness, and reliability. Our results reveal substantial brittleness---especially in the confidentiality, integrity, and availability (CIA)---of trigger--behavior mappings often underrepresented by existing claims. We further relate these outcomes to behavior density and decision complexity, offering a behavioral lens for understanding deployment-time risks and motivating community-wide evaluation that makes Secret Alignment claims provable.
","absKo":"이 포지션 페이퍼는 AI/ML 커뮤니티가 과장된 주장을 멈추고 “positive backdoor”라는 명칭을 폐기해야 하며, 트리거로 활성화되는 hidden behavior를 Secret Alignment으로 다뤄야 한다고 주장한다. 핵심적으로, Secret Alignment에 근거한 보호적 주장은 엄격하고 표준화된 평가에 의해 뒷받침되지 않는 한 기본적으로 secure하다고 가정해서는 안 된다. open-weight LLM과 접근 가능한 training/inference stack이 가능하게 한 Private AI 시대는 language model을 사적으로 소유되는 digital asset으로 전환하며, 이로 인해 무단 접근, model theft, behavior misuse에 대한 보안 우려가 커진다. 최근에는 이러한 문제를 다루기 위해 “positive backdoor”라는 관점의 연구가 제안되어 왔다. 우리의 입장을 근거로 뒷받침하기 위해, 우리는 이러한 제안들을 access gating, ownership attribution, safety enforcement를 위한 covert trigger--behavior association으로 통합하고, 대표적인 3개 응용을 효과성, 무해성, 지속성, 효율성, 견고성, 신뢰성의 6개 핵심 속성에 걸쳐 평가한다. 우리의 결과는 기존 주장들에서 종종 충분히 드러나지 않았던 trigger--behavior mapping의 상당한 취약성, 특히 confidentiality, integrity, availability(CIA) 측면의 취약성을 보여준다. 또한 우리는 이러한 결과를 behavior density와 decision complexity와 연결하여 배포 시점의 위험을 이해하기 위한 행동적 관점을 제시하고, Secret Alignment 주장을 입증 가능하게 만드는 커뮤니티 차원의 평가를 촉구한다.
"},{"id":"67161","en":"Position: To Defend Against Cyber Attacks, We Must Teach AI Agents to Hack","ko":"Position: 사이버 공격에 맞서려면 AI 에이전트에게 해킹을 가르쳐야 한다","authors":"Terry Yue Zhuo, Yangruibo Ding, Wenbo Guo, Ruijie Meng","pos":"#4404","link":"https://openreview.net/forum?id=P5t96sITf7","abs":"For over a decade, cybersecurity has relied on human labor scarcity to limit attackers to high-value targets manually or generic automated attacks at scale. Building sophisticated exploits requires deep expertise and manual effort, leading defenders to assume adversaries cannot afford tailored attacks at scale. AI agents break this balance by automating vulnerability discovery and exploitation across thousands of targets, needing only small success rates to remain profitable. Current developers focus on preventing misuse through data filtering, safety alignment, and output guardrails. Such protections fail against adversaries who control open-weight models, bypass safety controls, or develop offensive capabilities independently. We argue that AI-agent-driven cyber attacks are inevitable, requiring a fundamental shift in defensive strategy. In this position paper, we identify why existing defenses cannot stop adaptive adversaries and demonstrate that defenders must develop offensive security intelligence. We propose three actions for building frontier offensive AI capabilities responsibly. First, construct comprehensive benchmarks covering the full attack lifecycle. Second, advance from workflow-based to trained agents for discovering in-wild vulnerabilities at scale. Third, implement governance restricting offensive agents to audited cyber ranges, staging release by capability tier, and distilling findings into safe defensive-only agents. We strongly recommend treating offensive AI capabilities as essential defensive infrastructure, as containing cybersecurity risks requires mastering them in controlled settings before adversaries do.
","absKo":"10년이 넘는 기간 동안, 사이버보안은 인간 노동의 희소성에 의존해 공격자를 수작업의 고가치 표적이나 대규모의 일반적인 자동화 공격으로 제한해 왔다. 정교한 exploit를 구축하려면 깊은 전문성과 수작업이 필요했기 때문에, 방어자들은 공격자가 규모 있게 맞춤형 공격을 감당할 수 없다고 가정해 왔다. AI agent는 수천 개의 표적에 걸쳐 취약점 발견과 exploitation을 자동화함으로써 이 균형을 무너뜨리며, 수익성을 유지하는 데 필요한 성공률도 작다. 현재 개발자들은 데이터 필터링, safety alignment, output guardrail을 통해 오남용을 방지하는 데 집중하고 있다. 그러나 이러한 보호책은 open-weight model을 통제하거나, safety control을 우회하거나, offensive capability를 독립적으로 개발하는 adversary에 대해서는 실패한다. 우리는 AI agent가 주도하는 cyber attack이 불가피하며, 방어 전략의 근본적 전환이 필요하다고 주장한다. 이 position paper에서 우리는 기존 방어가 왜 adaptive adversary를 막을 수 없는지 밝히고, 방어자가 offensive security intelligence를 개발해야 함을 보인다. 또한 frontier 수준의 offensive AI capability를 책임 있게 구축하기 위한 세 가지 행동을 제안한다. 첫째, 전체 attack lifecycle을 포괄하는 종합 benchmark를 구축한다. 둘째, in-wild 취약점을 대규모로 발견하기 위해 workflow-based agent에서 trained agent로 발전한다. 셋째, offensive agent를 감사된 cyber range에만 제한하고, capability tier에 따라 단계적으로 배포하며, 발견 사항을 안전한 defensive-only agent로 distill하는 governance를 구현한다. 우리는 adversary보다 먼저 통제된 환경에서 이를 숙달해야만 cybersecurity risk를 억제할 수 있으므로, offensive AI capability를 필수적인 defensive infrastructure로 다루어야 한다고 강력히 권고한다.
"},{"id":"62415","en":"*MemPot*: Defend Against Memory Extraction Attack with Optimized Honeypots","ko":"MemPot: 최적화된 Honeypot으로 Memory Extraction Attack 방어","authors":"Yuhao Wang, Shengfang ZHAI, Guanghao Jin, Yinpeng Dong, Linyi Yang, Jiaheng Zhang","pos":"#707","link":"https://openreview.net/forum?id=goUAT3UcR4","abs":"Large Language Model (LLM)-based agents employ external and internal memory systems to handle complex, goal-oriented tasks, yet this exposes them to severe extraction attacks, and corresponding defenses are currently lacking. In this paper, we propose MemPot, the first theoretically verified defense framework against memory extraction attacks by injecting optimized honeypots into the memory. Through a two-stage optimization process, MemPot generates trap documents that maximize the retrieval probability for attackers while remaining inconspicuous to benign users. We model the detection process as Wald’s Sequential Probability Ratio Test (SPRT) and theoretically prove that MemPot achieves a lower average number of sampling rounds compared to optimal static detectors. Empirically, MemPot significantly outperforms state-of-the-art baselines, achieving a 50% improvement in detection AUROC and an 80% increase in True Positive Rate under low False Positive Rate constraints. Furthermore, our experiments confirm that MemPot incurs zero online inference latency and preserves the agent's utility on standard tasks, verifying its superiority in safety, harmlessness and efficiency.
","absKo":"Large Language Model (LLM) 기반 agent는 복잡한 goal-oriented task를 처리하기 위해 외부 및 내부 memory system을 사용하지만, 이는 심각한 extraction attack에 노출되며 이에 대응하는 방어는 현재 부족하다. 본 논문에서는 memory에 최적화된 honeypot을 주입하여 memory extraction attack에 대응하는 최초의 이론적으로 검증된 방어 프레임워크 MemPot를 제안한다. MemPot는 2단계 최적화 과정을 통해 공격자에게는 retrieval probability를 최대화하면서 benign user에게는 눈에 띄지 않는 trap document를 생성한다. 우리는 detection process를 Wald의 Sequential Probability Ratio Test (SPRT)로 모델링하고, MemPot가 최적의 static detector보다 더 낮은 평균 sampling round 수를 달성함을 이론적으로 증명한다. 실험적으로 MemPot는 최신 baseline들을 크게 능가하며, detection AUROC는 50% 향상되고 low False Positive Rate 제약 하에서 True Positive Rate는 80% 증가한다. 더 나아가, 우리의 실험은 MemPot가 온라인 추론 지연을 전혀 유발하지 않으며 표준 task에서 agent의 utility를 보존함을 확인하여, 안전성, 무해성, 효율성에서의 우수성을 검증한다.
"},{"id":"64985","en":"Domain Transfer Becomes Identifiable via a Single Alignment","ko":"단일 정렬을 통해 도메인 전이가 식별 가능해진다","authors":"Sagar Shrestha, Subash Timilsina, Hoang-Son Nguyen, Xiao Fu","pos":"#4610","link":"https://openreview.net/forum?id=I6xz92EJ4T","abs":"Domain transfer (DT) maps source to target distributions and supports tasks such as unsupervised image-to-image translation, single-cell analysis, and cross-platform medical imaging. However, DT is fundamentally ill-posed: push-forward mappings are generally non-identifiable, as measure-preserving automorphisms (MPAs) preserve marginals while altering cross-domain correspondences, leading to content-misaligned translation. Recent work shows that MPAs can be eliminated by jointly transferring multiple corresponding source/target conditional distributions, but supervision signals labeling such conditionals are not always available in practice. We develop an alternative route to DT identifiability. Under a structural sparsity condition on the Jacobian support pattern, we show that distribution matching together with a single paired anchor sample suffices to identify the ground-truth transfer---requiring substantially less supervision than prior approaches. To enable practical high-dimensional learning, we further propose an efficient Jacobian sparsity regularizer based on randomized masked finite differences, yielding a scalable surrogate without explicit Jacobian evaluation. Empirical results on synthetic and real-world DT tasks validate the theory.
","absKo":"Domain transfer (DT)는 source 분포를 target 분포로 사상하며, unsupervised image-to-image translation, single-cell analysis, cross-platform medical imaging 같은 task를 지원한다. 그러나 DT는 근본적으로 ill-posed이다. push-forward mapping은 일반적으로 non-identifiable인데, measure-preserving automorphism (MPA)이 marginal은 보존하면서 domain 간 대응관계를 바꾸어 content-misaligned translation을 유발하기 때문이다. 최근 연구는 여러 개의 대응하는 source/target conditional distribution을 함께 전송하면 MPA를 제거할 수 있음을 보였지만, 그러한 conditional을 라벨링하는 supervision signal은 실제로 항상 उपलब्ध하지는 않다. 우리는 DT identifiability를 위한 대안적 경로를 제시한다. Jacobian support pattern에 대한 structural sparsity condition 하에서, distribution matching과 단일 paired anchor sample만으로 ground-truth transfer를 식별할 수 있음을 보인다. 이는 이전 접근보다 훨씬 적은 supervision을 요구한다. 실제 고차원 학습을 가능하게 하기 위해, 우리는 randomized masked finite difference에 기반한 효율적인 Jacobian sparsity regularizer를 추가로 제안하며, 명시적인 Jacobian 계산 없이도 확장 가능한 surrogate를 제공한다. synthetic 및 실제 DT task에 대한 실험 결과는 이 이론을 검증한다.
"},{"id":"62754","en":"When to Trust the Cheap Check: Weak and Strong Verification for Reasoning","ko":"언제 Cheap Check을 신뢰할 것인가: 추론을 위한 Weak 및 Strong Verification","authors":"Shayan Kiyani, Sima Noorani, George Pappas, Hamed Hassani","pos":"#710","link":"https://openreview.net/forum?id=dfN4HMZbc9","abs":"Reasoning with LLMs increasingly unfolds inside a broader verification loop. Internally, systems use cheap checks, such as self-consistency or proxy rewards, which we call weak verification. Externally, users inspect outputs and steer the model through feedback until results are trustworthy, which we call strong verification. These signals differ sharply in cost and reliability: strong verification can establish trust but is resource-intensive, while weak verification is fast and scalable but noisy and imperfect. We formalize this tension through weak-strong verification policies, which decide when to accept or reject based on weak verification and when to defer to strong verification. We introduce metrics capturing incorrect acceptance, incorrect rejection, and strong-verification frequency. Over population, we show that optimal policies admit a two-threshold structure and that calibration and sharpness govern the value of weak verifiers. Building on this, we develop an online algorithm that provably controls acceptance and rejection errors without assumptions on the query stream, the language model, or the weak verifier. Experiments on mathematical reasoning and sequential decision-making demonstrate that our algorithm achieves reliability comparable to exhaustive strong verification while significantly reducing verification cost.
","absKo":"LLM을 이용한 reasoning은 점점 더 넓은 verification loop 안에서 전개된다. 내부적으로는 systems가 self-consistency나 proxy rewards 같은 저렴한 checks를 사용하며, 우리는 이를 weak verification이라 부른다. 외부적으로는 users가 출력을 검토하고 결과가 신뢰할 수 있을 때까지 feedback을 통해 model을 조정하며, 우리는 이를 strong verification이라 부른다. 이 신호들은 비용과 신뢰성에서 크게 다르다. strong verification은 trust를 확립할 수 있지만 자원 소모가 크고, weak verification은 빠르고 확장 가능하지만 noisy하고 불완전하다. 우리는 이러한 긴장을 weak-strong verification policies로 formalize하며, 여기서 weak verification을 바탕으로 accept 또는 reject할지, 그리고 언제 strong verification에 위임할지를 결정한다. 우리는 incorrect acceptance, incorrect rejection, 그리고 strong-verification frequency를 포착하는 metrics를 도입한다. population 수준에서 우리는 optimal policy가 two-threshold structure를 갖고, calibration과 sharpness가 weak verifier의 가치를 좌우함을 보인다. 이를 바탕으로, query stream, language model, 또는 weak verifier에 대한 가정 없이 acceptance와 rejection error를 provably 제어하는 online algorithm을 개발한다. 수학적 reasoning과 sequential decision-making 실험은, 우리의 algorithm이 verification cost를 크게 줄이면서 exhaustive strong verification에 필적하는 reliability를 달성함을 보여준다.
"},{"id":"63661","en":"Transformers with RL or SFT Provably Learn Sparse Boolean Functions, But Differently","ko":"RL 또는 SFT를 사용하는 Transformer는 희소 불 함수(sparse Boolean functions)를 원리적으로 학습할 수 있지만, 방식은 다르다","authors":"Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu","pos":"#4609","link":"https://openreview.net/forum?id=UrKNw5Xo9x","abs":"Transformers can acquire Chain-of-Thought (CoT) capabilities to solve complex reasoning tasks through fine-tuning. Reinforcement learning (RL) and supervised fine-tuning (SFT) are two primary approaches to this end. In this work, we examine them specifically for learning k-sparse Boolean functions with a one-layer transformer and intermediate supervision that is akin to CoT. In particular, we consider k-sparse Boolean functions that can be recursively decomposed into fixed 2-sparse Boolean functions. We first analyze the learning dynamics of fine-tuning the transformer via either RL or SFT with CoT in a unified way. This allows us to identify sufficient conditions for the transformer to provably learn the general sparse Boolean functions. We then verify that these conditions hold for three basic examples, including $k$-PARITY, $k$-AND, and $k$-OR, thus demonstrating the learnability of them via both RL and SFT. Notably, we reveal that RL and SFT exhibit distinct learning behaviors: RL learns the whole CoT chain simultaneously, whereas SFT naturally learns the CoT chain step-by-step. Overall, our findings provide theoretical insights into the underlying mechanisms of RL and SFT and how they differ in triggering the CoT capabilities of transformers.","absKo":"Transformer는 fine-tuning을 통해 Complex reasoning task를 해결할 수 있는 Chain-of-Thought(CoT) 능력을 획득할 수 있다. Reinforcement learning(RL)과 supervised fine-tuning(SFT)은 이를 위한 두 가지 주요 접근법이다. 본 연구에서는 one-layer transformer와 CoT와 유사한 intermediate supervision을 사용하여 k-sparse Boolean function 학습에 대해 이 둘을 구체적으로 검토한다. 특히, 고정된 2-sparse Boolean function으로 재귀적으로 분해될 수 있는 k-sparse Boolean function을 고려한다. 먼저 RL 또는 CoT를 동반한 SFT로 transformer를 fine-tuning할 때의 learning dynamics를 통합적으로 분석한다. 이를 통해 일반적인 sparse Boolean function을 transformer가 provably 학습하기 위한 충분조건을 식별한다. 이어서 $k$-PARITY, $k$-AND, $k$-OR를 포함한 세 가지 기본 예제에서 이러한 조건이 성립함을 검증하여, RL과 SFT 모두를 통해 이들을 학습할 수 있음을 보여준다. 주목할 점은 RL과 SFT가 서로 다른 learning behavior를 보인다는 것이다. RL은 전체 CoT chain을 동시에 학습하는 반면, SFT는 자연스럽게 CoT chain을 step-by-step으로 학습한다. 전반적으로, 우리의 결과는 RL과 SFT의 근저 메커니즘과 transformer의 CoT 능력을 유도하는 방식의 차이에 대한 이론적 통찰을 제공한다."},{"id":"60812","en":"Any-dimensional invariant universality","ko":"임의 차원 불변 보편성","authors":"Shengtai Yao, Eitan Levin, Mateo Diaz","pos":"#4608","link":"https://openreview.net/forum?id=wRVTDcEMv8","abs":"Several machine learning models are defined for inputs of any size, such as graphs with different numbers of nodes and point clouds with varying numbers of points. The universality properties of such any-dimensional models remain poorly understood, as universality is traditionally studied for models accepting inputs of a fixed size, defined on a compact subset of their domain. In sharp contrast, any-dimensional models can be viewed as sequences of functions defined on growing-sized inputs, and it is not clear in which sense they can be universal. We develop a systematic approach to establish any-dimensional universality by identifying any-dimensional functions with a unique function that takes inputs in a suitable infinite-dimensional limit space containing inputs of all finite sizes, as well as their limits. Using the symmetries of these inputs and relations between inputs of different sizes, we show that this limit space admits a natural topology with rich families of compact sets on which any-dimensional universality can be established. We illustrate our approach by showing that several existing architectures fail to be universal, and we propose simple modifications that restore universality.
","absKo":"크기가 서로 다른 노드 수를 가진 그래프와 서로 다른 점 개수를 가진 point cloud처럼, 임의의 크기의 입력을 대상으로 정의되는 여러 machine learning model이 존재한다. 이러한 any-dimensional model의 universality 성질은 아직 충분히 이해되지 않았는데, universality는 전통적으로 domain의 compact subset 위에서 정의되는 고정 크기 입력을 받는 model에 대해 연구되어 왔기 때문이다. 이와는 대조적으로, any-dimensional model은 점점 커지는 크기의 입력에 대해 정의된 function들의 sequence로 볼 수 있으며, 어떤 의미에서 universal할 수 있는지는 분명하지 않다. 우리는 any-dimensional function을 모든 유한 크기의 입력과 그 limit를 포함하는 적절한 infinite-dimensional limit space의 입력을 받는 유일한 function과 대응시킴으로써, any-dimensional universality를 확립하는 체계적인 접근법을 개발한다. 이러한 입력의 symmetry와 서로 다른 크기의 입력 사이의 관계를 이용하여, 이 limit space가 풍부한 compact set들의 family를 갖는 자연스러운 topology를 허용함을 보이고, 그 위에서 any-dimensional universality를 확립할 수 있음을 보인다. 또한 여러 기존 architecture가 universal하지 않음을 보임으로써 우리의 접근을 설명하고, universality를 회복하는 간단한 수정안을 제안한다.
"},{"id":"61818","en":"On the Coordination of Value-Maximizing Bidders","ko":"가치 최대화 입찰자들의 조정에 관하여","authors":"Yanru Guan, Jiahao Zhang, Zhe Feng, Tao Lin","pos":"#4612","link":"https://openreview.net/forum?id=mfBKYcsFmi","abs":"While the auto-bidding literature predominantly considers independent bidding, we investigate the coordination problem among multiple auto-bidders in online advertising platforms. Two motivating scenarios are: collaborative bidding among multiple bidders managed by a third-party bidding agent, and strategic bid selection for multiple ad campaigns managed by a single advertiser. We formalize this coordination problem as a theoretical model and investigate the coordination mechanism where only the highest-value bidder competes with outside bidders, while other coordinated bidders refrain from competing. We demonstrate that such a coordination mechanism dominates independent bidding, improving both Return-on-Spend (RoS) compliance and the total value accrued for the participating auto-bidders or ad campaigns, for a broad class of auto-bidding algorithms. Additionally, our simulations on synthetic and real-world datasets support the theoretical result that coordination outperforms independent bidding. These findings highlight both the theoretical potential and the practical robustness of coordinated auto-bidding in online auctions.
","absKo":"auto-bidding 문헌은 주로 독립적인 bidding을 고려하지만, 우리는 online advertising platform에서 여러 auto-bidder 간의 coordination problem을 조사한다. 이를 동기 부여하는 두 가지 시나리오는 다음과 같다: 제3자 bidding agent가 관리하는 여러 bidder 간의 협력적 bidding, 그리고 단일 advertiser가 관리하는 여러 ad campaign에 대한 전략적 bid selection. 우리는 이 coordination problem을 이론적 model로 정식화하고, 가장 높은 value를 가진 bidder만 외부 bidder와 경쟁하고 다른 coordinated bidder는 경쟁을 자제하는 coordination mechanism을 검토한다. 우리는 이러한 coordination mechanism이 다양한 auto-bidding algorithm에 대해 independent bidding보다 우수하며, Return-on-Spend(RoS) 준수성과 참여하는 auto-bidder 또는 ad campaign이 얻는 총 value 모두를 개선함을 보인다. 추가로, synthetic 및 real-world dataset에서의 simulation은 coordination이 independent bidding을 능가한다는 이론적 결과를 뒷받침한다. 이러한 발견은 online auction에서 coordinated auto-bidding의 이론적 잠재력과 실용적 견고성을 모두 부각한다.
"},{"id":"62049","en":"Understanding Generalization from Embedding Dimension and Distributional Convergence","ko":"임베딩 차원과 분포 수렴에서 일반화 이해","authors":"Junjie Yu, Zhuoli Ouyang, Haotian Deng, Chen Wei, Wenxiao Ma, Jianyu Zhang, Zihan Deng, Quanying Liu","pos":"#3117","link":"https://openreview.net/forum?id=kKlzS0HQjJ","abs":"Deep neural networks often generalize well despite heavy over-parameterization, challenging classical parameter-based analyses. We study generalization from a representation-centric perspective and analyze how the geometry of learned embeddings controls predictive performance for a fixed trained model. We show that population risk can be bounded by two factors: (i) the intrinsic dimension of the embedding distribution, which determines the convergence rate of empirical embedding distribution to the population distribution in Wasserstein distance, and (ii) the sensitivity of the downstream mapping from embeddings to predictions, characterized by Lipschitz constants. Together, these yield an embedding-dependent error bound that does not rely on parameter counts or hypothesis class complexity. At the final embedding layer, architectural sensitivity vanishes and the bound is dominated by embedding dimension, explaining its strong empirical correlation with generalization performance. Experiments across architectures and datasets validate the theory and demonstrate the utility of embedding-based diagnostics.
","absKo":"Deep neural network는 과도한 over-parameterization에도 불구하고 종종 잘 generalize하며, 이는 고전적인 parameter 기반 분석에 도전한다. 우리는 representation 중심 관점에서 generalization을 연구하고, 학습된 embedding의 geometry가 고정된 학습 모델에서 predictive performance를 어떻게 좌우하는지 분석한다. 우리는 population risk가 두 요소에 의해 상한될 수 있음을 보인다: (i) embedding distribution의 intrinsic dimension, 이는 empirical embedding distribution이 Wasserstein distance에서 population distribution으로 수렴하는 속도를 결정하며, (ii) embedding에서 prediction으로의 downstream mapping의 sensitivity, 이는 Lipschitz constant로 특징지어진다. 이 둘을 결합하면 parameter 개수나 hypothesis class complexity에 의존하지 않는 embedding-dependent error bound를 얻을 수 있다. 최종 embedding layer에서는 architectural sensitivity가 사라지고, bound는 embedding dimension에 의해 지배되는데, 이는 generalization performance와의 강한 실증적 상관관계를 설명한다. 다양한 architecture와 dataset에 걸친 실험은 이 이론을 검증하고 embedding 기반 diagnostic의 유용성을 보여준다.
"},{"id":"62874","en":"Certifying Capabilities from Finite Tests: When Is It Possible?","ko":"유한한 테스트로 역량 보증은 언제 가능한가?","authors":"Changlong Wu, Jin Sima, Wojciech Szpankowski","pos":"#1610","link":"https://openreview.net/forum?id=cNCWYrSV5R","abs":"Modern foundation models are evaluated through broad capabilities such as arithmetic, reasoning, safety, and robustness, yet it remains unclear in a principled sense when *finite tests* can meaningfully certify such claims. We develop a rigorous theory of capability evaluation by formalizing evaluation as inference over a task family and asking when guarantees over the full family can be inferred from a strict subset of tests. We analyze two canonical regimes. In stochastic multi-environment evaluation, we characterize when uniform certification is possible across multiple environments and show that the sample complexity is governed by a $\\chi^2$-radius of the environment family, yielding near-optimal evaluation protocols with matching lower bounds under a natural overlap condition. In contrast, for worst-case, rule-like capabilities, we establish fundamental impossibility results. Even for structured model classes such as Boolean circuits of bounded size, black-box evaluation cannot, in general, certify global properties. Together, these results provide a principled framework for understanding when finite evaluation can and cannot certify capabilities.","absKo":"현대의 foundation model은 산술, reasoning, safety, robustness와 같은 광범위한 능력으로 평가되지만, *finite test*가 언제 이러한 주장들을 의미 있게 입증할 수 있는지에 대해서는 원리적으로 여전히 불분명하다. 우리는 evaluation을 task family에 대한 inference로 형식화하고, 전체 family에 대한 보장을 엄격한 subset의 test로부터 추론할 수 있는 조건을 묻는 방식으로 capability evaluation에 대한 엄밀한 이론을 구축한다. 우리는 두 가지 전형적인 regime를 분석한다. stochastic multi-environment evaluation에서는 여러 environment 전반에서 uniform certification이 언제 가능한지 특성화하고, sample complexity가 environment family의 $\\chi^2$-radius에 의해 결정됨을 보이며, 자연스러운 overlap condition 하에서 일치하는 lower bound를 갖는 거의 최적의 evaluation protocol을 도출한다. 반대로 worst-case의 rule-like capability에 대해서는 근본적인 불가능성 결과를 확립한다. 크기가 제한된 Boolean circuit 같은 구조화된 model class에 대해서조차, black-box evaluation은 일반적으로 global property를 인증할 수 없다. 이 결과들은 유한한 evaluation이 언제 capability를 인증할 수 있고 언제 할 수 없는지 이해하기 위한 원리적인 framework를 제공한다."},{"id":"63707","en":"Theoretical Perspectives on Data Quality and Synergistic Effects in Pre- and Post-Training Reasoning Models","ko":"사전학습 및 사후학습 Reasoning Models에서 데이터 품질과 시너지 효과에 대한 이론적 관점","authors":"Adel Javanmard, Baharan Mirzasoleiman, Vahab Mirrokni","pos":"#1613","link":"https://openreview.net/forum?id=URIdUFsz9E","abs":"Large Language Models (LLMs) are pretrained on massive datasets and later instruction-tuned via supervised fine-tuning (SFT) or reinforcement learning (RL). Best practices emphasize large, diverse pretraining data, whereas post-training operates differently: SFT relies on smaller, high-quality datasets, while RL benefits more from scale, with larger amounts of feedback often outweighing label quality. Yet it remains unclear why pretraining and RL require large datasets, why SFT excels on smaller ones, and what defines high-quality SFT data. In this work, we theoretically analyze transformers trained on an in-context weight prediction task for linear regression. Our analysis reveals several key findings: $(i)$ balanced pretraining data can induce latent capabilities later activated during post-training, and $(ii)$ SFT learns best from a small set of examples challenging for the pretrained model, while excessively large SFT datasets may dilute informative pretraining signals. In contrast, RL is most effective on large-scale data that is not overly difficult for the pretrained model. We validate these theoretical insights with experiments on large nonlinear transformer architectures.","absKo":"Large Language Models (LLMs)은 대규모 데이터셋으로 pretraining된 뒤, supervised fine-tuning (SFT) 또는 reinforcement learning (RL)을 통해 instruction-tuning된다. Best practices는 크고 다양한 pretraining data를 강조하는 반면, post-training은 다르게 동작한다: SFT는 더 작고 고품질의 데이터셋에 의존하는 반면, RL은 규모의 이점을 더 크게 받으며, 더 많은 양의 feedback이 label quality를 종종 상회한다. 그러나 pretraining과 RL이 왜 대규모 데이터셋을 필요로 하는지, 왜 SFT가 더 작은 데이터셋에서 뛰어난지, 그리고 무엇이 high-quality SFT data를 정의하는지는 여전히 명확하지 않다. 본 연구에서는 linear regression을 위한 in-context weight prediction task로 학습된 transformer를 이론적으로 분석한다. 우리의 분석은 몇 가지 핵심 결과를 보여준다: $(i)$ balanced pretraining data는 이후 post-training에서 활성화되는 latent capabilities를 유도할 수 있으며, $(ii)$ SFT는 pretrained model에 대해 어려운 소수의 example로부터 가장 잘 학습하는 반면, 지나치게 큰 SFT 데이터셋은 유익한 pretraining 신호를 희석할 수 있다. 반대로 RL은 pretrained model에 대해 지나치게 어렵지 않은 대규모 데이터에서 가장 효과적이다. 우리는 대규모 nonlinear transformer architecture 실험을 통해 이러한 이론적 통찰을 검증한다."},{"id":"65545","en":"Correcting Overparameterization Effects in Fair Empirical Risk Minimization","ko":"공정한 경험적 위험 최소화에서 과매개변수화 효과 교정","authors":"Xiaoyi MAI, Jean-Michel Loubes","pos":"#3109","link":"https://openreview.net/forum?id=CXAiXFaT3f","abs":"Bias mitigation is particularly challenging for overparameterized machine learning (ML) models. Overfitting of training points not only amplifies data bias induced by spurious correlations, but also causes the failure of usual bias mitigation methods. To provide actionable insights to address this challenge, we propose a precise analysis of fair empirical risk minimization (ERM) in the overparameterized regime. Importantly, we show that even though conventional fair ERM fails on overparameterized models, this approach can be corrected by modifying the equality fairness constraint to allow for bias overcompensation. Moreover, our analysis presents an empirical criterion for strong equalized odds: balanced group-conditional means of representer coefficients, indicating equal average contribution from each sensitive group. Motivated by this result, we provide an estimable search interval that localizes the required overcompensation level for balanced coefficients. Despite the asymptotic nature of our findings, they closely capture the statistical behavior of moderately large ML models.
","absKo":"Bias mitigation은 overparameterized machine learning (ML) 모델에서 특히 어렵다. training point의 overfitting은 spurious correlation으로 인해 유발된 data bias를 증폭시킬 뿐 아니라, 일반적인 bias mitigation 방법의 실패를 초래하기도 한다. 이 문제에 대한 실행 가능한 통찰을 제공하기 위해, 우리는 overparameterized regime에서 fair empirical risk minimization (ERM)에 대한 정밀한 분석을 제안한다. 중요하게도, conventional fair ERM은 overparameterized model에서 실패하지만, equality fairness constraint를 수정하여 bias overcompensation을 허용하면 이 접근은 보정될 수 있음을 보인다. 또한 우리의 분석은 strong equalized odds에 대한 경험적 기준을 제시하는데, 이는 representer coefficient의 group-conditional mean이 균형을 이루는지 여부이며, 각 sensitive group이 평균적으로 동일한 기여를 한다는 것을 의미한다. 이러한 결과에 동기부여를 받아, 우리는 균형 잡힌 coefficient에 필요한 overcompensation 수준을 국소화하는 추정 가능한 search interval을 제공한다. 우리의 결과는 점근적인 성격을 띠지만, moderately large ML model의 통계적 거동을 매우 잘 포착한다.
"},{"id":"64993","en":"Towards Theoretical Understanding of Transformer Test-Time Computing: Investigation on In-Context Linear Regression","ko":"Transformer Test-Time Computing의 이론적 이해를 향하여: In-Context 선형 회귀 조사","authors":"Xingwu Chen, Lu Miao, Beining Wu, Difan Zou","pos":"#4008","link":"https://openreview.net/forum?id=HzcQocpOX9","abs":"Scaling test-time computation during language model inference, such as generating intermediate thoughts or sampling multiple candidate answers, has proven effective in improving model performance. While these techniques inherently rely on the stochastic nature of inference to explore diverse reasoning paths, prior theoretical works typically build on a deterministic decoding framework, overlooking the stochastic nature of practical language model inference. This work takes an initial step to bridge this gap by establishing a new theoretical framework, incorporating randomness and sampling directly into the decoding analysis. To demonstrate the framework's effectiveness, we apply it to the canonical in-context linear regression task with continuous and binary coefficients, simulating decoding via noise injection and sampling to analyze widely adopted inference techniques. We validate our theoretical findings through numerical simulations, with additional experiments on real-world tasks substantiating the framework's potential for practical applications.
","absKo":"language model inference에서 intermediate thought를 생성하거나 여러 candidate answer를 샘플링하는 등 test-time computation을 확장하는 것은 model performance 향상에 효과적임이 입증되었다. 이러한 기법은 본질적으로 추론의 stochastic nature에 의존하여 다양한 reasoning path를 탐색하지만, 기존 이론 연구는 대개 deterministic decoding framework에 기반해 실제 language model inference의 stochastic nature를 간과했다. 본 연구는 randomness와 sampling을 decoding analysis에 직접 통합함으로써 이 간극을 메우는 새로운 이론적 framework를 수립하는 첫걸음을 내딛는다. 이 framework의 효과를 보이기 위해, 우리는 연속 및 이진 계수를 갖는 canonical in-context linear regression task에 이를 적용하고, noise injection과 sampling을 통해 decoding을 시뮬레이션하여 널리 채택된 inference technique을 분석한다. 우리는 수치 시뮬레이션으로 이론적 결과를 검증하고, 추가적으로 실제 task에서의 실험을 통해 이 framework가 실용적 응용 가능성을 지님을 입증한다.
"},{"id":"63498","en":"What Does Preference Learning Recover from Pairwise Comparison Data?","ko":"선호도 학습은 쌍별 비교 데이터로부터 무엇을 복원하는가?","authors":"Rattana Pukdee, Nina Balcan, Pradeep Ravikumar","pos":"#4305","link":"https://openreview.net/forum?id=WepBmd1L4v","abs":"Pairwise preference learning is central to machine learning, with recent applications in aligning language models with human preferences. A typical dataset consists of triplets $(x, y^+, y^-)$, where response $y^+$ is preferred over response $y^-$ for context $x$. The Bradley--Terry (BT) model is the predominant approach, modeling preference probabilities as a function of latent score differences. Standard practice assumes data follows this model and learns the latent scores accordingly. However, real data may violate this assumption, and it remains unclear what BT learning recovers in such cases. Starting from triplet comparison data, we formalize the preference information it encodes through the conditional preference distribution (CPRD). We give precise conditions for when BT is appropriate for modeling the CPRD, and identify factors governing sample efficiency---namely, margin and connectivity. Together, these results offer a data-centric foundation for understanding what preference learning actually recovers.","absKo":"쌍별 preference learning은 machine learning의 핵심이며, 최근에는 language model을 human preference에 맞추는 데 활용되고 있다. 전형적인 dataset은 triplet (x, y^+, y^-)로 구성되며, 여기서 response y^+는 context x에 대해 response y^-보다 선호된다. Bradley--Terry (BT) model은 latent score difference의 함수로 preference probability를 모델링하는 지배적인 접근법이다. 표준 관행은 data가 이 model을 따른다고 가정하고 그에 따라 latent score를 학습한다. 그러나 실제 data는 이 가정을 위반할 수 있으며, 그러한 경우 BT learning이 무엇을 복원하는지 여전히 불분명하다. triplet comparison data에서 출발하여, 우리는 그것이 인코딩하는 preference information을 conditional preference distribution (CPRD)으로 정식화한다. 우리는 BT가 CPRD를 모델링하는 데 적절한 정확한 조건을 제시하고, sample efficiency를 좌우하는 요소, 즉 margin과 connectivity를 식별한다. 이 결과들은 preference learning이 실제로 무엇을 복원하는지 이해하기 위한 data-centric foundation을 제공한다."},{"id":"62228","en":"Tight Margin-Based Generalization Bounds for Voting Classifiers over Finite Hypothesis Sets","ko":"유한 가설 집합 Voting Classifiers의 Tight Margin 기반 일반화 경계","authors":"Kasper Green Larsen, Natascha Schalburg","pos":"#4515","link":"https://openreview.net/forum?id=iVj5Rdwb6I","abs":"We prove the first margin-based generalization bound for voting classifiers, that is asymptotically tight in the tradeoff between the size of the hypothesis set, the margin, the fraction of training points with the given margin, the number of training samples and the failure probability.
","absKo":"우리는 voting classifier에 대한 최초의 margin-based generalization bound를 증명하며, 이는 hypothesis set의 크기, margin, 주어진 margin을 가진 training point의 비율, training sample 수, failure probability 사이의 tradeoff에서 점근적으로 tight하다.
"},{"id":"64867","en":"Theoretical Investigation on Inductive Bias of Isolation Forest","ko":"Isolation Forest의 Inductive Bias에 대한 이론적 고찰","authors":"Qin-Cheng Zheng, Shao-Qun Zhang, Shen-Huan Lyu, Yuan Jiang, Zhi-Hua Zhou","pos":"#4516","link":"https://openreview.net/forum?id=J0y3sNbo9G","abs":"Isolation Forest (iForest) stands out as a widely-used unsupervised anomaly detector, primarily owing to its remarkable runtime efficiency and superior performance in large-scale tasks. Despite its widespread adoption, a theoretical foundation explaining iForest's success remains unclear. This paper focuses on the inductive bias of iForest, which theoretically elucidates under what circumstances and to what extent iForest works well. The key is to formulate the growth process of iForest, where the split dimensions and split values are randomly selected. We model the growth process of iForest as a random walk, enabling us to derive the expected depth function, which is the outcome of iForest, using transition probabilities. The case studies reveal key inductive biases: iForest exhibits lower sensitivity to central anomalies while demonstrating greater parameter adaptability compared to $k$-Nearest Neighbor. The infinite sample size analysis shows that, unlike $k$-NN, iForest scores any point by considering both the density and the distances to the endpoints. Our study provides a theoretical understanding of the effectiveness of iForest and establishes a foundation for further theoretical exploration.","absKo":"Isolation Forest (iForest)는 뛰어난 runtime efficiency와 대규모 task에서의 우수한 성능 덕분에 널리 사용되는 unsupervised anomaly detector로 두드러진다. 그러나 널리 채택되었음에도 불구하고, iForest의 성공을 설명하는 이론적 기반은 여전히 명확하지 않다. 본 논문은 iForest의 inductive bias에 초점을 맞추어, 어떤 상황에서 그리고 어느 정도까지 iForest가 잘 작동하는지를 이론적으로 규명한다. 핵심은 split dimension과 split value가 무작위로 선택되는 iForest의 growth process를 정식화하는 데 있다. 우리는 iForest의 growth process를 random walk로 모델링하여 transition probability를 이용해 iForest의 산출물인 expected depth function을 도출할 수 있게 한다. 사례 연구는 핵심 inductive bias를 드러낸다. iForest는 중심 anomaly에 대한 민감도는 낮지만, $k$-Nearest Neighbor에 비해 parameter adaptability는 더 높다. infinite sample size 분석은 $k$-NN과 달리, iForest가 density와 endpoint까지의 distance를 모두 고려하여 각 point를 점수화함을 보여준다. 우리의 연구는 iForest의 효과성에 대한 이론적 이해를 제공하고, 추가적인 이론적 탐구를 위한 기반을 마련한다."},{"id":"62277","en":"Active Learning with Low-Rank Structure for Data Selection","ko":"데이터 선택을 위한 저랭크 구조 기반 Active Learning","authors":"Vincent Cohen-Addad, Sasidhar Kunapuli, Vahab Mirrokni, Mahdi Nikdan, David Woodruff, Samson Zhou","pos":"#4607","link":"https://openreview.net/forum?id=i2SGjD0kIj","abs":"In the data selection problem, the objective is to choose a small, representative subset of data that can be used to efficiently train a machine learning model. Sener and Savarese [ICLR 2018] showed that, given an embedding representation of the data and suitable geometric assumptions, heuristics based on $k$-center clustering can be used to perform data selection. This perspective was further explored by Axiotis et. al. [ICML 2024], who proposed a data selection approach based on $k$-means clustering and sensitivity sampling. However, these methods rely on the assumption that the dataset exhibits intrinsic geometric structure that can be effectively captured by clustering, whereas many modern datasets instead possess global algebraic structure that is better exploited by low-rank approximation or principal component analysis. In this paper, we introduce a new data selection framework based on low-rank approximation and residual-based sampling, formulated through the lens of row subset selection and loss-preserving coreset construction. Given an embedding representation of the data satisfying mild regularity conditions, which can be interpreted as algebraic or angular notions of Lipschitz continuity, we show that it is possible to select a weighted subset of $\\tilde{O}\\left(k + \\frac{1}{\\varepsilon^2}\\right)$ data points whose average loss approximates the average loss over the full dataset within a $(1+\\varepsilon)$ relative error, up to an additive $\\varepsilon \\Phi_k$ term, where $\\Phi_k$ denotes the optimal rank-$k$ approximation cost of the embedding matrix. We complement these theoretical guarantees with empirical evaluations, demonstrating that on a range of real-world datasets, our data selection approach achieves improved performance over prior strategies based on uniform sampling or clustering-based sensitivity sampling.","absKo":"데이터 선택 문제에서 목표는 machine learning model을 효율적으로 학습하는 데 사용할 수 있는 작고 대표성 있는 데이터 부분집합을 선택하는 것입니다. Sener와 Savarese [ICLR 2018]는 데이터의 embedding representation과 적절한 기하학적 가정을 주면, $k$-center clustering 기반 휴리스틱을 사용해 데이터 선택을 수행할 수 있음을 보였습니다. 이 관점은 Axiotis et. al. [ICML 2024]에 의해 더 확장되었는데, 이들은 $k$-means clustering과 sensitivity sampling에 기반한 데이터 선택 접근법을 제안했습니다. 그러나 이러한 방법들은 데이터셋이 clustering으로 효과적으로 포착될 수 있는 내재적 기하학적 구조를 가진다는 가정에 의존합니다. 반면 많은 현대 데이터셋은 low-rank approximation이나 principal component analysis로 더 잘 활용되는 전역 algebraic structure를 갖고 있습니다. 본 논문에서는 row subset selection과 loss-preserving coreset construction의 관점에서 정식화된, low-rank approximation과 residual-based sampling에 기반한 새로운 데이터 선택 프레임워크를 소개합니다. 완만한 regularity 조건을 만족하는 데이터의 embedding representation이 주어졌을 때, 이는 algebraic 또는 angular 개념의 Lipschitz continuity로 해석될 수 있으며, 우리는 가중된 $\\tilde{O}\\left(k + \\frac{1}{\\varepsilon^2}\\right)$개의 데이터 포인트 부분집합을 선택하여 그 평균 loss가 전체 데이터셋의 평균 loss를 $(1+\\varepsilon)$ 상대오차 이내로, 그리고 additive $\\varepsilon \\Phi_k$ 항까지 포함해 근사할 수 있음을 보입니다. 여기서 $\\Phi_k$는 embedding matrix의 최적 rank-$k$ approximation cost를 나타냅니다. 우리는 이러한 이론적 보장을 실증 평가로 보완하며, 다양한 실제 데이터셋에서 제안한 데이터 선택 접근법이 uniform sampling이나 clustering-based sensitivity sampling에 기반한 기존 전략보다 향상된 성능을 달성함을 보입니다."},{"id":"64084","en":"A General Framework for Fair and Robust Regression","ko":"공정하고 강건한 회귀를 위한 일반 프레임워크","authors":"WENHAI CUI, Xiaoting Ji, Wen Su, Xingqiu Zhao","pos":"#4613","link":"https://openreview.net/forum?id=R4W0oOjCKG","abs":"Fair regression methods typically rely on squared error loss, making them fragile under heavy tailed noise. We propose a general framework for robust regression under demographic parity (DP) that applies to a wide class of M-estimators, including Cauchy, Huber, least absolute deviation, quantile, and Tukey losses. We propose an optimal fair transformation that guarantees DP while achieving the minimum population risk among all rank preserving fair predictors. We also establish convergence rates for the resulting estimators. To balance fairness and predictive accuracy, we develop an interpolation scheme whose risk decreases while unfairness grows linearly with the interpolation parameter. The proposed framework can be further extended to conditional DP to account for legitimate covariates. Extensive simulation studies and real data applications show clear improvements over existing fair regression approaches in both robustness and predictive performance.
","absKo":"공정 회귀(fair regression) 방법은 일반적으로 squared error loss에 의존하기 때문에, heavy-tailed noise에 취약하다. 우리는 demographic parity(DP) 하에서 강건 회귀를 위한 일반적 framework를 제안하며, 이는 Cauchy, Huber, least absolute deviation, quantile, Tukey loss를 포함한 넓은 범위의 M-estimator에 적용된다. 우리는 rank-preserving fair predictor 중에서 population risk를 최소화하면서 DP를 보장하는 optimal fair transformation을 제안한다. 또한 그 결과로 얻어지는 estimator에 대한 수렴률도 확립한다. 공정성과 예측 정확도 사이의 균형을 맞추기 위해, interpolation parameter가 증가할수록 unfairness는 선형적으로 증가하는 반면 risk는 감소하는 interpolation scheme을 개발한다. 제안한 framework는 추가로 conditional DP로 확장되어 정당한 covariate를 반영할 수 있다. 광범위한 시뮬레이션 연구와 실제 데이터 응용은 강건성과 예측 성능 모두에서 기존 fair regression 접근법보다 분명한 개선을 보여준다.
"},{"id":"66570","en":"A Risk Decomposition Framework for Pre-hoc Fine-tuning Prediction","ko":"사전 Fine-tuning 예측을 위한 위험 분해 프레임워크","authors":"Yuxiang Luo, Chen Wang, Nan Tang","pos":"#4614","link":"https://openreview.net/forum?id=2VhdUDz6mO","abs":"The high cost of fine-tuning LLMs poses a significant economic barrier; pre-hoc performance prediction offers a critical solution to substantially reduce this expense. However, the theoretical limits of pre-hoc performance prediction remain unexplored. We formulate it as a stochastic estimation problem under information constraints, decomposing prediction risk into two components: an \\textbf{intrinsic limit} (static data-model compatibility) and a \\textbf{reducible optimization variance}. We prove that optimization variance admits a necessary lower bound on its decay rate, implying fundamental constraints on how quickly uncertainty dissipates, regardless of the predictor used. Based on these dynamics, we derive a budget-optimal probing principle and introduce a predictability phase diagram that organizes tasks into three distinct regimes: Static-Sufficient, Dynamic-Critical, and Noise-Dominant. Extensive experiments on synthetic and real-world benchmarks validate these theoretical regimes and demonstrate the efficiency of our probing strategy.
","absKo":"LLM을 fine-tuning하는 높은 비용은 상당한 경제적 장벽을 만든다. 사전 성능 예측(pre-hoc performance prediction)은 이러한 비용을 크게 줄이는 핵심 해결책을 제공한다. 그러나 pre-hoc performance prediction의 이론적 한계는 아직 탐구되지 않았다. 우리는 이를 정보 제약 하의 stochastic estimation problem으로 정식화하고, prediction risk를 두 가지 구성 요소로 분해한다: \\textbf{intrinsic limit} (정적 data-model compatibility)과 \\textbf{reducible optimization variance}. 우리는 optimization variance가 decay rate에 대해 필요한 하한을 가진다는 것을 증명하며, 이는 어떤 predictor를 사용하더라도 불확실성이 소멸하는 속도에 근본적 제약이 있음을 의미한다. 이러한 dynamics를 바탕으로 우리는 budget-optimal probing principle을 도출하고, predictability phase diagram을 제안하여 task를 Static-Sufficient, Dynamic-Critical, Noise-Dominant의 세 가지 distinct regime으로 조직한다. synthetic 및 real-world benchmark에 대한 광범위한 실험은 이러한 이론적 regime을 검증하고, 우리의 probing strategy의 효율성을 입증한다.
"},{"id":"65273","en":"Error Propagation in Dynamic Programming: From Stochastic Control to American Option Pricing","ko":"동적 계획법에서의 오차 전파: 확률적 제어에서 American Option 가격 책정까지","authors":"Andrea Della Vecchia, Damir Filipovic","pos":"#4616","link":"https://openreview.net/forum?id=FB5LYFzu33","abs":"This paper investigates theoretical and methodological foundations for stochastic optimal control (SOC) in discrete time. We start formulating the control problem in a general dynamic programming framework, introducing the mathematical structure needed for a detailed convergence analysis. The associate value function is estimated through a sequence of approximations combining nonparametric regression methods and Monte Carlo subsampling. The regression step is performed within reproducing kernel Hilbert spaces (RKHSs), exploiting the classical KRR algorithm, while Monte Carlo sampling methods are introduced to estimate the continuation value. To assess the accuracy of our value function estimator, we propose a natural error decomposition and rigorously control the resulting error terms at each time step. We then analyze how this error propagates backward in time-from maturity to the initial stage-a relatively underexplored aspect of the SOC literature. Finally, we illustrate how our analysis naturally applies to a key financial application: the pricing of American options.
","absKo":"본 논문은 discrete time에서의 stochastic optimal control (SOC)에 대한 이론적 및 방법론적 기초를 탐구한다. 우리는 일반적인 dynamic programming framework에서 control problem을 정식화하는 것으로 시작하며, 상세한 convergence analysis에 필요한 수학적 구조를 도입한다. associate value function은 nonparametric regression methods와 Monte Carlo subsampling을 결합한 일련의 approximation을 통해 추정된다. regression 단계는 reproducing kernel Hilbert spaces (RKHSs) 내에서 수행되며, 고전적인 KRR algorithm을 활용하고, Monte Carlo sampling methods는 continuation value를 추정하기 위해 도입된다. value function estimator의 정확도를 평가하기 위해, 우리는 자연스러운 error decomposition을 제안하고 각 time step에서 발생하는 error term을 엄밀하게 제어한다. 이어서 우리는 이 error가 maturity에서 초기 단계로 backward하게 어떻게 전파되는지를 분석하는데, 이는 SOC literature에서 상대적으로 덜 탐구된 측면이다. 마지막으로, 우리의 분석이 핵심 금융 응용인 American options pricing에 어떻게 자연스럽게 적용되는지를 보인다.
"},{"id":"61315","en":"Fast Reconstruction of Mixtures of Bernoulli Product Distributions","ko":"Bernoulli Product Distribution 혼합의 빠른 복원","authors":"Sanyam Agarwal, Pranjal Dutta, Markus Bläser","pos":"#4617","link":"https://openreview.net/forum?id=rRb3wl7OF5","abs":"Mixtures of Bernoulli product distributions are a simple and widely used latent-variable model, with applications in e.g.\\ recommendation systems, crowdsourcing, and medical data analysis. We consider the problem of reconstructing the mixture parameters from oracle access to its probability generating polynomial (PGP), for instance represented by a probabilistic generating circuit (PGC). We show that the parameters are uniquely identifiable for almost all mixtures, and give a randomized algorithm that exactly recovers the mixture weights and component marginals for mixtures of $r$ Bernoulli product distributions over $n$ variables using only $O(nr^2)$ oracle queries. The algorithm repeatedly applies restrictions to $O(r)$ variables, extracts low-degree coefficients, and then recovers the parameters using a moment-based tensor decomposition. To the best of our knowledge, this is the {\\em first} exact reconstruction algorithm in this PGP oracle model with query complexity linear in $n$ and polynomial in $r$.","absKo":"Bernoulli product distribution의 mixture는 단순하면서도 널리 사용되는 latent-variable model로, 예를 들어 recommendation system, crowdsourcing, medical data analysis 등에 응용된다. 우리는 그 probability generating polynomial(PGP)에 대한 oracle access, 예컨대 probabilistic generating circuit(PGC)으로 표현된 경우를 통해 mixture parameter를 재구성하는 문제를 고려한다. 우리는 거의 모든 mixture에 대해 parameter가 유일하게 식별 가능함을 보이고, $n$개의 variable 위의 $r$개의 Bernoulli product distribution mixture에 대해 $O(nr^2)$개의 oracle query만으로 mixture weight와 component marginal을 정확히 복원하는 randomized algorithm을 제시한다. 이 알고리즘은 $O(r)$개의 variable에 반복적으로 restriction을 적용하고, 낮은 차수의 coefficient를 추출한 뒤, moment-based tensor decomposition을 사용해 parameter를 복원한다. 우리가 아는 한, 이는 이 PGP oracle model에서 query complexity가 $n$에 대해 선형이고 $r$에 대해 다항식인 {\\em 최초}의 exact reconstruction algorithm이다."},{"id":"65655","en":"In-Context Learning Is Provably Bayesian Inference: A Generalization Theory for Meta-Learning","ko":"In-Context Learning은 증명 가능하게 Bayesian 추론이다: 메타학습을 위한 일반화 이론","authors":"Tomoya Wakayama, Taiji Suzuki","pos":"#4618","link":"https://openreview.net/forum?id=BUFSSOuphA","abs":"This paper develops a finite-sample statistical theory for in-context learning (ICL), analyzed within a meta-learning framework that accommodates mixtures of diverse task types. We leverage a Bayes risk identity that separates the total ICL risk into two orthogonal components: Bayes Gap and Posterior Variance. The Bayes Gap quantifies how well the trained model approximates the Bayes-optimal in-context predictor. For a uniform-attention Transformer, we derive a non-asymptotic upper bound on this gap, which explicitly clarifies the dependence on the number of pretraining prompts and their context length. The Posterior Variance is a model-independent risk representing the intrinsic task uncertainty. Our key finding is that this term is determined solely by the difficulty of the true underlying task, while the uncertainty arising from the task mixture vanishes exponentially fast with only a few in-context examples. Together, these results provide a unified view of ICL: the uniform-attention Transformer selects the optimal meta-algorithm during pretraining and rapidly converges to the optimal algorithm for the true task at test time.
","absKo":"이 논문은 다양한 task type의 mixture를 수용하는 meta-learning framework 내에서 분석된 in-context learning (ICL)에 대한 finite-sample 통계 이론을 전개한다. 우리는 total ICL risk를 두 개의 직교하는 component, 즉 Bayes Gap과 Posterior Variance로 분해하는 Bayes risk identity를 활용한다. Bayes Gap은 학습된 model이 Bayes-optimal in-context predictor를 얼마나 잘 근사하는지를 정량화한다. uniform-attention Transformer에 대해, 우리는 이 gap에 대한 non-asymptotic upper bound를 도출하며, 이는 pretraining prompt 수와 그 context length에 대한 의존성을 명시적으로 드러낸다. Posterior Variance는 task 고유의 불확실성을 나타내는 model-independent risk이다. 우리의 핵심 발견은 이 항이 오직 true underlying task의 난이도에 의해 결정되며, task mixture에서 발생하는 불확실성은 몇 개의 in-context example만으로도 지수적으로 빠르게 사라진다는 점이다. 이 결과들을 종합하면 ICL에 대한 통합적 관점을 제공한다. 즉, uniform-attention Transformer는 pretraining 동안 최적의 meta-algorithm을 선택하고, test time에는 true task에 대한 최적의 algorithm으로 빠르게 수렴한다.
"},{"id":"65917","en":"Information-Theoretic Generalization Bounds for VAEs: A Role of Encoder and Latent Variable","ko":"VAE를 위한 정보 이론적 일반화 경계: 인코더와 잠재 변수의 역할","authors":"Futoshi Futami, Masahiro Fujisawa","pos":"#4619","link":"https://openreview.net/forum?id=8vqmDcqeg6","abs":"Despite their remarkable success, a rigorous theoretical understanding of how latent variables (LVs) govern the generalization performance of Variational Autoencoders (VAEs) remains largely elusive. Existing theoretical analyses are confined to supervised learning or models with discrete latent spaces, leaving their role in standard VAEs with continuous LVs poorly understood. This paper establishes the first information-theoretic analysis for VAEs by adapting a theoretical framework from supervised learning---the leave-one-out conditional mutual information framework---to the unsupervised, continuous latent space of these models. Our analysis reveals that their generalization error is bounded solely by the information complexity of the encoder and LVs, independent of the decoder. The versatility of our framework is demonstrated through its extension to both hierarchical VAEs, for which we provide layer-wise bounds, and data generation, where we link our information-theoretic principles to a novel bound on the 2-Wasserstein distance between true and generated distributions.
","absKo":"Remarkable success에도 불구하고, latent variable (LV)가 Variational Autoencoder (VAE)의 generalization performance를 어떻게 좌우하는지에 대한 엄밀한 이론적 이해는 여전히 대체로 불분명하다. 기존의 이론 분석은 supervised learning 또는 discrete latent space를 가진 model에 국한되어 있어, continuous LV를 사용하는 표준 VAE에서의 역할은 잘 이해되지 않고 있다. 본 논문은 supervised learning의 이론적 framework인 leave-one-out conditional mutual information framework를 이러한 model의 unsupervised continuous latent space에 맞게 변형함으로써, VAE에 대한 최초의 information-theoretic analysis를 확립한다. 우리의 분석은 generalization error가 decoder와 무관하게 encoder와 LV의 information complexity만으로 bound됨을 보여준다. 이 framework의 versatility는 layer-wise bound를 제시하는 hierarchical VAE로의 확장과, true distribution과 generated distribution 사이의 2-Wasserstein distance에 대한 새로운 bound로 information-theoretic principle을 연결하는 data generation으로의 확장을 통해 입증된다.
"},{"id":"64458","en":"Learning High-Dimensional Parity Functions with Product Networks using Gradient Descent","ko":"경사 하강법을 이용한 곱 네트워크를 통한 고차원 패리티 함수 학습","authors":"Guillaume Larue, Louis-Adrien Dufrène, Quentin Lampin, Hadi Ghauch, Ghaya Rekaya-Ben Othman","pos":"#4620","link":"https://openreview.net/forum?id=NOIl9L4Y7S","abs":"Parity functions are fundamental Boolean operations with critical applications across machine learning, cryptography, and error correction. Yet, learning high-dimensional parity functions poses significant challenges: in a general setting, standard neural network architectures typically require exponential sample complexity, making gradient-based optimization intractable for large number of inputs $N$. We demonstrate that compact product-based neural architectures combined with stochastic data sparsity (Bernoulli inputs with $p_e \\leq 1/N$) and appropriate hyperparameter choice enable efficient parity learning, with theoretical guarantees of convergence. Experiments validate our theory across dimensions up to $N = 10{,}000$, with empirical evidence showing optimal hyperparameter choices for $p_e$ and learning rate $\\alpha$, as well as polynomial complexity scaling laws. This work establishes fundamental connections between architectural inductive bias and data sparsity, opening new possibilities for neural arithmetic, structured reasoning, binary neural networks, and machine learning applied to automated protocol discovery.","absKo":"Parity function은 machine learning, cryptography, error correction 전반에서 중요한 응용을 갖는 기본적인 Boolean operation이다. 그러나 고차원 parity function을 학습하는 것은 상당한 도전 과제이다. 일반적인 설정에서 표준 neural network architecture는 대개 exponential sample complexity를 요구하므로, 입력 수 $N$이 큰 경우 gradient-based optimization이 비현실적이다. 우리는 compact product-based neural architecture와 stochastic data sparsity(Bernoulli input with $p_e \\leq 1/N$) 및 적절한 hyperparameter 선택을 결합하면, 수렴에 대한 이론적 보장을 갖는 효율적인 parity learning이 가능함을 보인다. 실험은 $N = 10{,}000$까지의 차원에서 우리의 이론을 검증하며, $p_e$와 learning rate $\\alpha$에 대한 최적의 hyperparameter 선택과 다항적 complexity scaling law에 대한 실증적 증거를 보여준다. 이 연구는 architecture의 inductive bias와 data sparsity 사이의 근본적 연결을 확립하며, neural arithmetic, structured reasoning, binary neural network, 그리고 자동 protocol discovery에 적용되는 machine learning에 새로운 가능성을 연다."},{"id":"64622","en":"On Learnability and Disambiguation of Multiclass Partial Concept Classes","ko":"다중클래스 부분 개념 클래스의 학습 가능성 및 명료화에 대하여","authors":"Jingyuan Xu, Xin Zou, Xiuwen Gong, Weiwei Liu","pos":"#4621","link":"https://openreview.net/forum?id=LbYeOvDo3o","abs":"We study the Probably Approximately Correct (PAC) learnability of partial concept classes in the multiclass setting, where the label space can be infinite. While the Natarajan dimension characterizes learnability for finite label spaces, we show it fails when the label space is unbounded. Instead, we prove that the Daniely-Shalev (DS) dimension provides a characterization of learnability for partial concept classes in the general multiclass setting. Furthermore, our analysis reveals a surprising phenomenon we call the ``Disambiguation Paradox'': disambiguation schemes with simple label space can destroy learnability, while richer labeling may preserves it. We further characterize how the number and structure of disambiguation labels control the induced DS dimension, yielding a trade-off between label complexity and sample complexity.
","absKo":"우리는 label space가 infinite일 수 있는 multiclass setting에서 partial concept class의 Probably Approximately Correct (PAC) learnability를 연구한다. Natarajan dimension은 finite label space에서 learnability를 특징짓지만, 우리는 그것이 label space가 unbounded일 때는 성립하지 않음을 보인다. 대신, Daniely-Shalev (DS) dimension이 일반적인 multiclass setting에서 partial concept class의 learnability를 특징짓는다는 것을 증명한다. 더 나아가, 우리의 분석은 ``Disambiguation Paradox''라 부르는 놀라운 현상을 드러낸다. 즉, 단순한 label space를 가진 disambiguation scheme은 learnability를 파괴할 수 있는 반면, 더 풍부한 labeling은 이를 보존할 수 있다. 우리는 또한 disambiguation label의 개수와 구조가 유도되는 DS dimension을 어떻게 제어하는지 특징짓고, 그 결과 label complexity와 sample complexity 사이의 trade-off를 도출한다.
"},{"id":"65149","en":"Optimal Learning from Label Proportions with General Loss Functions","ko":"일반 손실 함수를 이용한 레이블 비율로부터의 최적 학습","authors":"Lorne Applebaum, Travis Dick, Claudio Gentile, Haim Kaplan, Tomer Koren","pos":"#4622","link":"https://openreview.net/forum?id=GLNiB1ePxm","abs":"Motivated by problems in online advertising, we address the task of Learning from Label Proportions (LLP). We introduce a novel and versatile low-variance debiasing methodology to learn from aggregate label information, significantly advancing the state of the art in LLP. Our debiasing approach exhibits remarkable flexibility, seamlessly accommodating a broad spectrum of practically relevant loss functions across both binary and multi-class classification settings. By carefully combining our estimators with standard techniques, we improve sample complexity guarantees for a large class of losses of practical relevance. We also empirically validate the efficacy of our proposed approach across a diverse array of benchmark datasets, demonstrating compelling empirical advantages over standard baselines.
","absKo":"온라인 광고의 문제에서 동기를 얻어, 우리는 Learning from Label Proportions (LLP) 과제를 다룹니다. 우리는 집계된 label 정보로부터 학습하기 위한 새롭고 다재다능한 low-variance debiasing 방법론을 제안하여, LLP에서의 최신 성능을 크게 향상시킵니다. 우리의 debiasing 접근법은 놀라운 유연성을 보이며, binary 및 multi-class classification 설정 전반에서 실질적으로 중요한 폭넓은 loss function을 자연스럽게 수용합니다. 추정량을 표준 기법과 신중하게 결합함으로써, 우리는 실용적으로 중요한 다양한 loss에 대해 sample complexity 보장을 개선합니다. 또한 다양한 benchmark dataset에서 제안 방법의 효용을 실증적으로 검증하여, 표준 baseline에 비해 설득력 있는 경험적 우위를 보여줍니다.
"},{"id":"66232","en":"PAC-Bayesian Reinforcement Learning Trains Generalizable Policies","ko":"PAC-Bayesian 강화 학습은 일반화 가능한 정책을 훈련한다","authors":"Abdelkrim ZITOUNI, Mehdi Hennequin, Juba Agoun, Ryan Horache, NADIA KABACHI, Omar Rivasplata","pos":"#4623","link":"https://openreview.net/forum?id=5Zwnr6uSlv","abs":"We derive a novel PAC-Bayesian generalization bound for reinforcement learning that explicitly accounts for Markov dependencies in the data, through the chain's mixing time. This contributes to overcoming challenges in obtaining generalization guarantees for reinforcement learning, where the sequential nature of data breaks the independence assumptions underlying classical bounds. The new bound provides non-vacuous certificates for modern off-policy algorithms such as Soft Actor-Critic. We demonstrate the practical utility of the bound through PB-SAC, a novel algorithm that optimizes the bound during training to guide exploration. Experiments across several continuous control tasks show that the proposed approach provides meaningful confidence certificates while maintaining competitive performance.
","absKo":"우리는 데이터의 Markov dependency를 chain의 mixing time을 통해 명시적으로 반영하는 reinforcement learning을 위한 새로운 PAC-Bayesian generalization bound를 유도한다. 이는 데이터의 순차적 특성이 classical bound의 기반이 되는 independence assumption을 깨뜨리기 때문에, reinforcement learning에서 generalization guarantee를 얻는 데 따르는 어려움을 극복하는 데 기여한다. 새로 제안한 bound는 Soft Actor-Critic과 같은 현대적인 off-policy algorithm에 대해 non-vacuous certificate를 제공한다. 우리는 탐색을 유도하기 위해 학습 중 bound를 최적화하는 새로운 알고리즘 PB-SAC을 통해 이 bound의 실제적 유용성을 보인다. 여러 continuous control task에 걸친 실험은 제안한 접근이 경쟁력 있는 성능을 유지하면서도 의미 있는 confidence certificate를 제공함을 보여준다.
"},{"id":"61024","en":"Performative Learning Theory","ko":"Performative Learning 이론","authors":"Julian Rodemann, Unai Fischer Abaigar, James Bailie, Krikamol Muandet","pos":"#4624","link":"https://openreview.net/forum?id=uQyGNzf4XM","abs":"Performative predictions influence the very outcomes they aim to forecast. We study performative predictions that affect a sample (e.g., only existing users of an app) and/or the whole population (e.g., all potential app users). This raises the question of how well models generalize under performativity. For example, how well can we draw insights about new app users based on existing users when both of them react to the app's predictions? We address this question by embedding performative predictions into statistical learning theory. We prove generalization bounds under performative effects on the sample, on the population, and on both. A key intuition behind our proofs is that in the worst case, the population negates predictions, while the sample deceptively fulfills them. We cast such self-negating and self-fulfilling predictions as min-max and min-min risk functionals in Wasserstein space, respectively. Our analysis reveals both a fundamental trade-off between performatively changing the world and learning from it, as well as a surprising insight on how to improve generalization guarantees by retraining on performatively distorted samples. We illustrate our bounds using real data on prediction-informed assignments to job trainings.
","absKo":"Performative prediction은 자신이 예측하려는 결과 자체에 영향을 미친다. 우리는 sample(예: app의 기존 사용자만) 및/또는 전체 population(예: 모든 잠재적 app 사용자)에 영향을 주는 performative prediction을 연구한다. 이는 performativity 하에서 모델이 얼마나 잘 generalize하는지에 대한 질문을 제기한다. 예를 들어, app의 예측에 둘 다 반응하는 상황에서 기존 사용자를 바탕으로 신규 사용자를 얼마나 잘 추론할 수 있을까? 우리는 performative prediction을 statistical learning theory에 통합함으로써 이 질문에 답한다. 우리는 sample, population, 그리고 둘 모두에 대한 performative effect 하에서 generalization bound를 증명한다. 우리의 증명의 핵심 직관은 최악의 경우 population은 prediction을 무효화하고, sample은 겉으로는 그 예측을 충족시킨다는 점이다. 우리는 이러한 self-negating prediction과 self-fulfilling prediction을 각각 Wasserstein space에서의 min-max 및 min-min risk functional로 정식화한다. 우리의 분석은 performatively 세계를 변화시키는 것과 그로부터 학습하는 것 사이의 근본적인 trade-off를 드러내며, performative distortion이 가해진 sample로 재학습함으로써 generalization guarantee를 개선할 수 있다는 놀라운 통찰도 제시한다. 우리는 prediction-informed assignment를 job training에 적용한 실제 데이터를 사용해 이러한 bound를 설명한다.
"},{"id":"61568","en":"Sharp empirical Bernstein inequalities for the variance of bounded random variables","ko":"유계 확률변수 분산에 대한 Sharp Empirical Bernstein Inequalities","authors":"Diego Martinez Taboada, Aaditya Ramdas","pos":"#4625","link":"https://openreview.net/forum?id=oqkiE71wrC","abs":"We develop novel \"empirical Bernstein\" inequalities for the variance of bounded random variables. Our inequalities hold under constant conditional variance and mean, without further assumptions like independence or identical distribution of the random variables, making them suitable for sequential decision making contexts. The results are instantiated for both the batch setting (where the sample size is fixed) and the sequential setting (where the sample size is a stopping time). Our bounds are asymptotically \"sharp\": when the data are iid, our CI adapts optimally to both unknown mean $\\mu$ and unknown $\\mathbb{V}[(X-\\mu)^2]$, meaning that the first order term of our CI exactly matches that of the oracle Bernstein inequality which knows those quantities. We compare our results to a widely used (non-sharp) concentration inequality for the variance based on self-bounding random variables, showing both the theoretical gains and improved empirical performance of our approach. We finally extend our methods to work in any separable Hilbert space.","absKo":"우리는 bounded random variable의 variance에 대한 새로운 \"empirical Bernstein\" inequality를 개발한다. 우리의 inequality는 추가적인 independence나 동일분포 가정 없이, constant conditional variance와 mean 하에서 성립하므로 sequential decision making context에 적합하다. 이 결과는 batch setting(표본 크기가 고정된 경우)과 sequential setting(표본 크기가 stopping time인 경우) 모두에 대해 구체화된다. 우리의 bound는 점근적으로 \"sharp\"하다: 데이터가 iid일 때, 우리의 confidence interval은 unknown mean $\\mu$와 unknown $\\mathbb{V}[(X-\\mu)^2]$ 모두에 대해 최적으로 적응하며, 즉 CI의 1차 항이 그 양들을 알고 있는 oracle Bernstein inequality와 정확히 일치한다. 우리는 self-bounding random variable에 기반한 널리 사용되는(하지만 sharp하지 않은) variance concentration inequality와 우리의 결과를 비교하여, 이론적 이점과 개선된 실험 성능을 모두 보인다. 마지막으로, 우리의 방법을 임의의 separable Hilbert space로 확장한다."}];window.dispatchEvent(new CustomEvent("papers-loaded",{detail:"68688"}));