Geo-temporal understanding, the ability to infer location, time, and contextual properties from visual input alone, is a core aspect of human intelligence and underpins applications such as disaster management, traffic planning, embodied navigation, world modeling, and geography education. Although recent vision–language models (VLMs) have made progress in image geo-localization using salient cues like landmarks or road signs, their ability to reason about temporal signals and physically grounded spatial cues remains underexplored. To address this gap, we introduce TimeSpot, a benchmark for evaluating real-world geo-temporal reasoning in VLMs. TimeSpot consists of 1,455 ground-level images from 80 countries and requires structured prediction of temporal attributes (season, month, time of day, daylight phase) and geographic attributes (continent, country, climate zone, environment type, latitude-longitude) directly from visual evidence. The benchmark further includes spatial–temporal reasoning tasks that probe physical plausibility and cue integration under real-world uncertainty. Evaluations of state-of-the-art open- and closed-source VLMs show consistently low performance, particularly for temporal inference, and while supervised fine-tuning yields measurable gains, it remains insufficient, highlighting the need for new approaches to achieve robust, physically grounded geo-temporal understanding. By jointly evaluating spatial and temporal inference with diagnostic rigor, TimeSpot provides a principled framework for assessing physically grounded, real-world geo-temporal reasoning. We will release TimeSpot upon acceptance.
","absKo":"Geo-temporal understanding은 시각 입력만으로 위치, 시간, 그리고 문맥적 속성을 추론하는 능력으로, 인간 지능의 핵심 측면이며 재난 관리, 교통 계획, embodied navigation, world modeling, geography education과 같은 응용을 뒷받침한다. 최근 vision-language model(VLM)이 landmark나 road sign 같은 두드러진 단서를 이용한 image geo-localization에서 진전을 보였지만, temporal signal과 physically grounded spatial cue를 추론하는 능력은 아직 충분히 탐구되지 않았다. 이 간극을 메우기 위해 우리는 VLM의 실제 세계 geo-temporal reasoning을 평가하기 위한 benchmark인 TimeSpot를 소개한다. TimeSpot는 80개국에서 수집한 1,455장의 지상 수준 이미지로 구성되며, 시각적 증거만을 바탕으로 temporal attribute(season, month, time of day, daylight phase)와 geographic attribute(continent, country, climate zone, environment type, latitude-longitude)를 구조적으로 예측해야 한다. 또한 이 benchmark에는 실제 세계의 불확실성 하에서 물리적 타당성과 단서 통합 능력을 검증하는 spatial-temporal reasoning task도 포함된다. state-of-the-art open-source 및 closed-source VLM을 평가한 결과 성능은 전반적으로 낮았으며, 특히 temporal inference에서 두드러졌다. supervised fine-tuning은 측정 가능한 향상을 보이지만 여전히 충분하지 않아, 견고하고 physically grounded한 geo-temporal understanding을 달성하기 위한 새로운 접근의 필요성을 드러낸다. 공간 및 시간 추론을 진단적으로 엄밀하게 함께 평가함으로써, TimeSpot는 physically grounded한 실제 세계 geo-temporal reasoning을 평가하기 위한 원칙적 프레임워크를 제공한다. 우리는 승인 시 TimeSpot를 공개할 예정이다.
"},{"id":"63948","en":"Proteus: Lookup-Free Trellis-Coded Quantization by Lattice-Breaking Compute Codes for 2-Bit LLMs","ko":"Proteus: 2-bit LLM을 위한 lattice-breaking compute code를 이용한 lookup-free trellis-coded quantization","authors":"Zhengwu Yang, Xunchao Li, Ke Cheng, Kunlong Liu, jianfengyang, HaoshuangWang, Kaipeng Deng, Qingqing Dang, Yanlin Sha, Yanjun Ma, Dianhai Yu","pos":"#3903","abs":"Autoregressive decoding of large language models is frequently memory-traffic bound, so ultra-low-bit weight-only PTQ helps only if dequantization avoids irregular codebook or LUT access in the inner loop. Under the GPU-friendly bitshift trellis, existing 2-bit trellis-coded quantization (TCQ) pipelines either reintroduce micro-LUTs or suffer overlap-amplified artifacts because incoherence improves global Gaussianity but does not guarantee overlap-local joint geometry. We introduce Proteus a strictly lookup-free TCQ framework whose computed generator MUL-BAL uses cheap integer mixing plus a per-layer affine Gaussianizer to produce overlap-robust, near-Gaussian code values with zero runtime table loads. Proteus instantiates each layer by selecting from a tiny, pre-vetted candidate pool and then applies lightweight channel compensation and optional few-shot distillation that tune only per-layer affine statistics while keeping packed indices and the bitshift-trellis decoder fixed. On Llama 2 (7B–70B) at 2-bit PTQ, Proteus improves perplexity and zero-shot accuracy over strong TCQ/PTQ baselines and reduces end-to-end decode bandwidth at comparable throughput (e.g., 740 vs. 1020 GB/s on 70B).
","absKo":"Large language model의 autoregressive decoding은 종종 memory-traffic bound이므로, ultra-low-bit weight-only PTQ는 dequantization이 inner loop에서 불규칙한 codebook 또는 LUT 접근을 피할 때에만 유효하다. GPU 친화적인 bitshift trellis 하에서, 기존의 2-bit trellis-coded quantization (TCQ) pipeline은 micro-LUT를 다시 도입하거나, incoherence가 global Gaussianity를 개선하더라도 overlap-local joint geometry를 보장하지 못해 overlap-amplified artifact를 겪는다. 우리는 runtime에서 table load가 전혀 없는, 엄격한 lookup-free TCQ framework인 Proteus를 제안한다. Proteus의 계산된 generator MUL-BAL은 저렴한 integer mixing과 layer별 affine Gaussianizer를 사용하여 overlap에 강인하고 near-Gaussian한 code value를 생성한다. Proteus는 각 layer를 아주 작은 사전 검증된 candidate pool에서 선택해 구현한 뒤, packed index와 bitshift-trellis decoder는 고정한 채 layer별 affine statistics만 조정하는 경량 channel compensation과 선택적 few-shot distillation을 적용한다. Llama 2 (7B–70B)의 2-bit PTQ에서 Proteus는 강력한 TCQ/PTQ baseline보다 perplexity와 zero-shot accuracy를 향상시키고, 유사한 throughput에서 end-to-end decode bandwidth를 줄인다(예: 70B에서 740 vs. 1020 GB/s).
"},{"id":"63349","en":"BEAT: Tokenizing and Generating Symbolic Music by Uniform Temporal Steps","ko":"BEAT: 균일한 시간 단계로 상징적 음악 토큰화 및 생성","authors":"Lekai Qian, Haoyu Gu, Jingwei Zhao, Ziyu Wang","pos":"#4626","link":"https://openreview.net/forum?id=XrrGXLksji","abs":"Tokenizing music to fit the general framework of language models is a compelling challenge, especially considering the diverse symbolic structures in which music can be represented (e.g., sequences, grids, and graphs). To date, most approaches tokenize symbolic music as sequences of musical events, such as onsets, pitches, time shifts, or compound note events. This strategy is intuitive and has proven effective in Transformer-based models, but it treats the regularity of musical time implicitly: individual tokens may span different durations, resulting in non-uniform time progression. In this paper, we instead consider whether an alternative tokenization is possible, where an uniform-length musical step (e.g., a beat) serves as the basic unit. Specifically, we encode all events within a single time step at the same pitch as one token, and group tokens explicitly by time step, which resembles a sparse encoding of a piano roll representation. We evaluate the proposed tokenization on music continuation and accompaniment generation tasks, comparing it with mainstream event-based methods. Results show improved musical quality and long-term structural coherence, while additional analyses confirm higher efficiency and more effective capture of long-range patterns with the proposed tokenization.
","absKo":"음악을 language model의 일반적 framework에 맞추기 위해 tokenization하는 것은 매우 흥미로운 도전인데, 특히 음악이 sequences, grids, graphs 등 다양한 symbolic structure로 표현될 수 있다는 점을 고려하면 더욱 그렇다. 현재까지 대부분의 접근법은 symbolic music을 onset, pitch, time shift, compound note event와 같은 musical event들의 sequence로 tokenization해 왔다. 이 전략은 직관적이며 Transformer-based model에서 효과가 입증되었지만, 음악적 시간의 규칙성을 암묵적으로만 다룬다. 즉, 개별 token이 서로 다른 duration을 가질 수 있어 time progression이 균일하지 않다. 본 논문에서는 대신 균일한 길이의 musical step(예: beat)을 기본 단위로 사용하는 대안적 tokenization이 가능한지 살펴본다. 구체적으로, 하나의 time step 안에서 같은 pitch에 있는 모든 event를 하나의 token으로 인코딩하고, token을 time step별로 명시적으로 묶는데, 이는 piano roll representation의 sparse encoding과 유사하다. 우리는 제안한 tokenization을 music continuation과 accompaniment generation task에서 평가하고, 이를 mainstream event-based method와 비교한다. 결과는 더 나은 musical quality와 장기적 구조 일관성을 보여주며, 추가 분석은 제안한 tokenization이 더 높은 효율성과 더 효과적인 long-range pattern 포착을 제공함을 확인한다.
"},{"id":"65025","en":"TOM-SWE: User Mental Modeling For Software Engineering Agents","ko":"TOM-SWE: 소프트웨어 엔지니어링 Agent를 위한 사용자 Mental Modeling","authors":"Xuhui Zhou, Valerie Chen, Zhiruo Wang, Graham Neubig, Maarten Sap, Xingyao Wang","pos":"#810","link":"https://openreview.net/forum?id=HeLa76rJuD","abs":"Recent advances in coding agents have made them capable of planning, editing, running, and testing complex code bases. Despite their growing ability in coding tasks, these systems still struggle to infer and track user intent, especially when instructions are underspecified or context-dependent. To bridge this gap, we introduce ToM-SWE, a dual-agent architecture that pairs a primary software-engineering (SWE) agent with a lightweight theory-of-mind (ToM) partner agent dedicated to modeling the user's mental state. The ToM agent infers user goals, constraints, and preferences from instructions and interaction history, maintains a persistent memory of the user, and provides user-related suggestions to the SWE agent, while preserving privacy and minimizing context window load. In two software engineering benchmarks (ambiguous SWE-bench and stateful SWE-bench), ToM-SWE improves task success rates and user satisfaction. Notably, on the stateful SWE benchmark, a newly introduced evaluation that provides agents with a user simulator along with previous interaction histories, ToM-SWE achieves a substantially higher task success rate of 59.7% compared to 18.1% for OpenHands, a state-of-the-art SWE agent. Furthermore, in a three-week study with professional developers using ToM-SWE in their daily work, participants found it better aligned with their intent and useful 86% of the time, underscoring the value of stateful user modeling for practical coding agents.
","absKo":"최근 coding agent의 발전으로 complex code base에 대해 planning, editing, running, testing을 수행할 수 있게 되었다. 그러나 coding task에서의 능력이 커졌음에도 불구하고, 이러한 시스템은 특히 instruction이 underspecified되거나 context-dependent할 때 user intent를 추론하고 추적하는 데 여전히 어려움을 겪는다. 이 간극을 메우기 위해, 우리는 primary software-engineering (SWE) agent와 사용자의 mental state를 모델링하는 데 전념하는 lightweight theory-of-mind (ToM) partner agent를 결합한 dual-agent architecture인 ToM-SWE를 제안한다. ToM agent는 instruction과 interaction history로부터 user goal, constraint, preference를 추론하고, 사용자의 persistent memory를 유지하며, privacy를 보존하고 context window load를 최소화하면서 SWE agent에 user-related suggestion을 제공한다. 두 개의 software engineering benchmark(ambiguous SWE-bench와 stateful SWE-bench)에서 ToM-SWE는 task success rate와 user satisfaction을 향상시킨다. 특히 stateful SWE benchmark에서는 agent에게 user simulator와 이전 interaction history를 함께 제공하는 새로 도입된 평가에서, ToM-SWE가 OpenHands보다 상당히 높은 59.7%의 task success rate를 달성했으며, OpenHands는 state-of-the-art SWE agent이다. 더 나아가, 전문 개발자들이 일상 업무에서 ToM-SWE를 사용한 3주간의 연구에서 참가자들은 ToM-SWE가 자신의 intent와 더 잘 맞고 86%의 경우에 유용하다고 평가했으며, 이는 실용적인 coding agent에서 stateful user modeling의 가치를 뒷받침한다.
"},{"id":"61834","en":"Characterizing Agents in Production","ko":"프로덕션 환경의 Agent 특성화","authors":"Melissa Pan, Negar Arabzadeh, Riccardo Cogo, Yuxuan Zhu, Alexander Xiong, Lakshya A Agrawal, Huanzhi Mao, Emma Shen, Sid Pallerla, Liana Patel, Shu Liu, Tianneng Shi, Xiaoyuan Liu, Jared Davis, Emmanuele Lacavalla, Alessandro Basile, Shuyi Yang, Paul Castro, Daniel Kang, Koushik Sen, Dawn Song, Joseph E Gonzalez, Ion Stoica, Matei Zaharia, Marquita Ellis","pos":"#4211","link":"https://openreview.net/forum?id=mWxEAgz3xu","abs":"LLM-based agents already operate in production across many industries, yet we lack a clear understanding of which technical methods make these deployments successful. We present the first systematic study of Characterizing Agents in Production (CAP) using first-hand data from agent developers. We conducted 20 in-depth case studies through interviews and surveyed 306 practitioners across 26 domains. We examine why organizations build agents, how they build them, how they evaluate them, and the key challenges they face in deployment. Our findings show that production agents rely on simple, controllable approaches: 68% execute at most 10 steps before human intervention, 70% rely on prompting off-the-shelf models rather than weight tuning, and 74% depend primarily on human evaluation. Reliability—defined as consistent correct behavior over time—emerges as the dominant challenge, which practitioners address through system-level design choices. CAP documents the current state of production agents, providing the research community with visibility into real-world deployment practices and underexplored research opportunities.
","absKo":"LLM-based agents는 이미 많은 산업 분야에서 production 환경에서 운영되고 있지만, 어떤 technical methods가 이러한 배포를 성공적으로 만드는지에 대해서는 명확한 이해가 부족하다. 우리는 agent developers로부터의 first-hand data를 사용한 Characterizing Agents in Production (CAP)의 최초의 체계적 연구를 제시한다. 우리는 인터뷰를 통해 20개의 심층 사례 연구를 수행하고, 26개 도메인에 걸쳐 306명의 실무자를 대상으로 설문을 진행했다. 우리는 조직이 왜 agents를 구축하는지, 어떻게 구축하는지, 어떻게 평가하는지, 그리고 배포 과정에서 직면하는 핵심 과제들이 무엇인지 살펴본다. 우리의 결과는 production agents가 단순하고 제어 가능한 접근법에 의존함을 보여준다. 68%는 human intervention 전에 최대 10단계만 실행하고, 70%는 weight tuning 대신 off-the-shelf models에 대한 prompting에 의존하며, 74%는 주로 human evaluation에 의존한다. 시간에 따라 일관되게 올바른 동작을 보이는 것으로 정의되는 reliability가 지배적인 과제로 드러났고, 실무자들은 system-level design choices를 통해 이를 대응한다. CAP는 production agents의 현재 상태를 문서화하여, 연구 공동체가 실제 배포 관행과 아직 충분히 탐구되지 않은 연구 기회들을 볼 수 있도록 한다.
"},{"id":"62980","en":"Faults in Our Formal Benchmarking: Dataset Defects and Evaluation Failures in Lean Theorem Proving","ko":"공식적 벤치마킹의 함정: Lean Theorem Proving에서 데이터셋 결함과 평가 실패","authors":"Pawan Sasanka Ammanamanchi, Siddharth Bhat, Stella Biderman","pos":"#902","link":"https://openreview.net/forum?id=bHYAWawd4A","abs":"Benchmarks for LLM-assisted theorem proving in Lean are often treated as intrinsically reliable because every solved instance comes with a machine-checked proof. However, the kernel only checks that a proof establishes a \\emph{formal} statement; it does not verify that the statement faithfully encodes the intended informal problem, nor that evaluation harnesses are robust to trivial or adversarial solutions. We audit widely used Lean theorem-proving benchmarks and find recurring defects in every dataset we examined, including missing hypotheses, problem simplification, incomplete or incorrect translations, and Lean-specific specification hazards. Beyond dataset construction, we survey and identify evaluation-time failure modes that can inflate reported success without demonstrating meaningful proof capability. We propose a fault taxonomy, a suite of automated checkers and prompts, and release standards to guide the creation of formal math datasets and make evaluation more reproducible and trustworthy.
","absKo":"Lean에서의 LLM-assisted theorem proving benchmark는 각 solved instance가 machine-checked proof를 동반한다는 이유로 본질적으로 신뢰할 수 있는 것으로 종종 간주됩니다. 그러나 kernel은 proof가 \\emph{formal} statement를 증명하는지만 확인할 뿐, 그 statement가 의도된 informal problem을 충실히 인코딩하는지, 그리고 evaluation harness가 사소하거나 adversarial한 solution에 견고한지는 검증하지 않습니다. 우리는 널리 사용되는 Lean theorem-proving benchmark를 감사했고, 조사한 모든 dataset에서 반복적으로 결함을 발견했습니다. 여기에는 누락된 hypothesis, 문제 단순화, 불완전하거나 부정확한 번역, Lean-specific specification hazard가 포함됩니다. dataset 구축을 넘어, 우리는 보고된 성공률을 부풀리지만 의미 있는 proof capability를 입증하지는 못하는 evaluation-time failure mode도 조사하여 식별합니다. 우리는 fault taxonomy, 자동화 checker와 prompt 세트, 그리고 formal math dataset의 생성을 안내하고 평가를 더 재현 가능하고 신뢰할 수 있게 만드는 release standard를 제안합니다.
"},{"id":"65783","en":"When Single Answer Is Not Enough: Rethinking Single-Step Retrosynthesis Benchmarks for LLMs","ko":"단일 답으로 충분하지 않을 때: LLM을 위한 단일 단계 역합성 벤치마크 재고","authors":"Bogdan Zagribelnyy, Ivan Ilin, Maksim Kuznetsov, Nikita Bondarev, Roman Schutski, Thomas MacDougall, Rim Shayakhmetov, Zulfat Miftahutdinov, Mikolaj Mizera, Vladimir Aladinskiy, Alex Aliper, Alex Zhavoronkov","pos":"#1103","link":"https://openreview.net/forum?id=ABhGgV7pov","abs":"Recent progress has expanded the use of large language models (LLMs) in drug discovery, including synthesis planning. However, objective evaluation of retrosynthesis performance remains limited. Existing benchmarks and metrics typically rely on published synthetic procedures and Top-K accuracy based on single ground-truth, which does not capture the open-ended nature of real-world synthesis planning. We propose a new benchmarking framework for single-step retrosynthesis that evaluates both general-purpose and chemistry-specialized LLMs using ChemCensor, a novel metric for chemical plausibility. By emphasizing plausibility over exact match, this approach better aligns with human synthesis planning practices. We also introduce CREED, a novel dataset comprising millions of ChemCensor-validated reaction records for LLM training, and use it to train a model that improves over the LLM baselines under this benchmark.
","absKo":"최근 large language models (LLMs)의 drug discovery 적용이 synthesis planning을 포함해 확장되었다. 그러나 retrosynthesis 성능에 대한 objective evaluation은 여전히 제한적이다. 기존 benchmark와 metric은 대개 발표된 synthetic procedure와 single ground-truth에 기반한 Top-K accuracy에 의존하는데, 이는 실제 synthesis planning의 open-ended한 성격을 포착하지 못한다. 우리는 ChemCensor라는 chemical plausibility를 위한 새로운 metric을 사용해 general-purpose LLM과 chemistry-specialized LLM 모두를 평가하는 single-step retrosynthesis용 새로운 benchmarking framework를 제안한다. exact match보다 plausibility를 강조함으로써, 이 접근법은 인간의 synthesis planning 관행과 더 잘 부합한다. 또한 우리는 LLM training을 위해 ChemCensor로 검증된 수백만 개의 reaction record로 구성된 새로운 dataset인 CREED를 소개하고, 이를 사용해 이 benchmark에서 LLM baseline보다 향상된 성능을 보이는 model을 학습한다.
"},{"id":"65086","en":"When Does Adaptation Win? Scaling Laws for Meta-Learning in Quantum Control","ko":"적응은 언제 이기는가? 양자 제어에서 메타러닝을 위한 스케일링 법칙","authors":"Nima Leclerc, Chris Miller, Nicholas Brawand","pos":"#1104","link":"https://openreview.net/forum?id=Gu9pw3D6vT","abs":"Quantum hardware suffers from intrinsic device heterogeneity and environmental drift, forcing practitioners to choose between suboptimal non-adaptive controllers or costly per-device recalibration. We derive a scaling law lower bound for meta-learning showing that the adaptation gain (expected fidelity improvement from task-specific gradient steps) saturates exponentially with gradient steps and scales linearly with task variance, providing a quantitative criterion for when adaptation justifies its overhead. Validation on quantum gate calibration shows negligible benefits for low-variance tasks but $>40$% fidelity gains on two-qubit gates under extreme out-of-distribution conditions (10$\\times$ the training noise), with implications for reducing per-device calibration time on cloud quantum processors. Further validation on classical linear-quadratic control confirms these laws emerge from general optimization geometry rather than quantum-specific physics. Together, these results offer a transferable framework for decision-making in adaptive control.","absKo":"Quantum hardware는 본질적인 device heterogeneity와 environmental drift로 인해, 실무자들이 suboptimal한 non-adaptive controller와 비용이 큰 per-device recalibration 사이에서 선택해야 하는 상황을 만든다. 우리는 meta-learning에 대한 scaling law lower bound를 유도하여, adaptation gain(task-specific gradient step으로 인한 expected fidelity improvement)이 gradient step에 따라 지수적으로 포화되고 task variance에 선형적으로 스케일링됨을 보인다. 이는 적응이 그 오버헤드를 정당화하는지 판단할 수 있는 정량적 기준을 제공한다. quantum gate calibration에서의 검증 결과, low-variance task에서는 이득이 거의 없었지만, 2-qubit gate에서는 극단적인 out-of-distribution 조건(훈련 noise의 10$\\times$)에서 $>40$%의 fidelity 향상이 나타났으며, 이는 cloud quantum processor에서 per-device calibration time을 줄이는 데 시사점을 제공한다. classical linear-quadratic control에 대한 추가 검증은 이러한 법칙이 quantum-specific physics가 아니라 일반적인 optimization geometry에서 비롯됨을 확인해 준다. 종합하면, 이 결과는 adaptive control에서 의사결정을 위한 transferable framework를 제공한다."},{"id":"64548","en":"Unlocking Zero-Shot Geospatial Reasoning via Indirect Rewards","ko":"간접 보상을 통한 제로샷 지리공간 추론 실현","authors":"Chenhui Xu, Fuxun Yu, Michael Bianco, Jacob Kovarskiy, Raphael Tang, Qi Zhang, Zirui Xu, Will LeVine, Brandon Dubbs, Heming Liao, Cassandra Burgess, Suvam Bag, Jay Patravali, Rupanjali Kukal, Mikael Figueroa, Rishi Madhok, Nikolaos Karianakis, Jinjun Xiong","pos":"#1107","link":"https://openreview.net/forum?id=MJBAmHLr8E","abs":"Training robust reasoning vision-language models (VLMs) in rare domains (such as geospatial) is fundamentally constrained by supervision scarcity. While raw geospatial imagery is abundant, the amount of task-direct supervision falls far behind that of common domains. In this work, we validate an important conclusion: indirect verifiable rewards, derived from seemingly unrelated metadata, are sufficient to induce sophisticated and generalizable geospatial reasoning across a wide range of downstream tasks (25+). We present Geo-R1 as one empirical instantiation of this paradigm. Rather than relying on limited task-specific annotations (i.e., direct rewards), Geo-R1 utilizes scalable, verifiable indirect proxy rewards based on cross-view alignment with metadata (geolocation information) to drive reinforcement learning at scale. Such indirect rewards successfully motivate the model to discover and internalize zero-shot geospatial reasoning across diverse tasks, achieving extraordinary zero-shot transfer on out-of-distribution benchmarks and even surpassing fully supervised specialists on certain benchmarks. These findings indicate that optimizing for indirect verifiable rewards may provide a scalable pathway to unlock generalized reasoning capabilities in rare domains with massive unlabeled data archives. Our code is available at: \\url{https://anonymous.4open.science/r/Geo-R1-ICML}.
","absKo":"희소 도메인(예: geospatial)에서 견고한 reasoning vision-language models(VLMs)을 학습하는 일은 본질적으로 supervision scarcity의 제약을 받는다. 원시 geospatial imagery는 풍부하지만, task-direct supervision의 양은 범용 도메인에 훨씬 못 미친다. 본 연구에서는 중요한 결론 하나를 검증한다. 즉, 겉보기에는 무관해 보이는 metadata에서 유도한 indirect verifiable rewards만으로도, 다양한 downstream tasks(25개 이상) 전반에 걸쳐 정교하고 일반화 가능한 geospatial reasoning을 유도할 수 있다. 우리는 이 패러다임의 한 실증적 구현으로 Geo-R1을 제시한다. 제한적인 task-specific annotations(i.e., direct rewards)에 의존하는 대신, Geo-R1은 metadata(geolocation information)와의 cross-view alignment를 기반으로 한 확장 가능하고 검증 가능한 indirect proxy rewards를 활용해 대규모 reinforcement learning을 수행한다. 이러한 indirect rewards는 모델이 다양한 task에서 zero-shot geospatial reasoning을 발견하고 내재화하도록 성공적으로 유도하며, out-of-distribution benchmarks에서 탁월한 zero-shot transfer를 달성하고, 일부 benchmark에서는 fully supervised specialist를 능가하기까지 한다. 이러한 결과는 indirect verifiable rewards를 최적화하는 것이, 방대한 unlabeled data archives를 가진 희소 도메인에서 general reasoning capabilities를 여는 확장 가능한 경로가 될 수 있음을 시사한다. 코드는 다음에서 확인할 수 있다: \\url{https://anonymous.4open.science/r/Geo-R1-ICML}.
"},{"id":"63202","en":"Training Diffusion Language Models for Black-Box Optimization","ko":"블랙박스 최적화를 위한 Diffusion 언어 모델 학습","authors":"Zipeng Sun, Can Chen, Ye Yuan, Haolun Wu, Jiayao Gu, Christopher Pal, Xue Liu","pos":"#1112","link":"https://openreview.net/forum?id=Z7wI0sor6i","abs":"We study offline black-box optimization (BBO), aiming to discover improved designs from an offline dataset of designs and labels, a problem common in robotics, DNA, and materials science with limited labeled samples. While recent work applies autoregressive LLMs to BBO by formatting tasks as natural-language prompts, their left-to-right design generation struggles to capture the strong bidirectional dependencies inherent in design problems. To address this, we propose adapting diffusion LLMs to offline BBO to leverage their bidirectional modeling capabilities. However, a domain gap exists between the natural text pre-training of diffusion LLMs and the heterogeneous signals in BBO (prompts, designs, and labels). To bridge this gap, we construct a unified prompt–response corpus and introduce delimiter tokens to explicitly mark field boundaries for domain adaptation. We further propose a two-stage post-training framework to align the diffusion LLM generation with high-label designs. The first stage performs supervised fine-tuning on the unified dataset via masked-response prediction, and the second stage adopts reinforcement learning with rewards defined by label improvements. Our method achieves state-of-the-art results on Design-Bench small-data settings. Code for our work is available here: https://anonymous.4open.science/r/Anonymous-dllm4bbo-D78A/README.md.
","absKo":"우리는 offline black-box optimization (BBO)을 연구한다. 이 문제의 목표는 designs와 labels로 이루어진 offline dataset으로부터 더 나은 designs를 발견하는 것이며, 이는 로보틱스, DNA, materials science에서 label된 sample이 제한적인 상황에서 흔히 등장한다. 최근 연구는 task를 natural-language prompt로 형식화하여 autoregressive LLM을 BBO에 적용했지만, left-to-right design generation은 design 문제에 본질적인 강한 bidirectional dependency를 포착하는 데 어려움이 있다. 이를 해결하기 위해, 우리는 bidirectional modeling capability를 활용할 수 있도록 diffusion LLM을 offline BBO에 적응시키는 방법을 제안한다. 그러나 diffusion LLM의 natural text pre-training과 BBO의 이질적인 signal(prompt, design, label) 사이에는 domain gap이 존재한다. 이 간극을 메우기 위해, 우리는 통합된 prompt-response corpus를 구축하고 field boundary를 명시적으로 표시하는 delimiter token을 도입하여 domain adaptation을 수행한다. 또한 high-label design과 diffusion LLM generation을 정렬하기 위한 2단계 post-training framework를 제안한다. 첫 번째 단계에서는 masked-response prediction을 통해 통합 dataset에서 supervised fine-tuning을 수행하고, 두 번째 단계에서는 label improvement으로 정의된 reward를 사용하는 reinforcement learning을 적용한다. 우리의 방법은 Design-Bench의 small-data setting에서 state-of-the-art 결과를 달성한다. 구현 코드는 다음에서 확인할 수 있다: https://anonymous.4open.science/r/Anonymous-dllm4bbo-D78A/README.md.
"},{"id":"64402","en":"Towards Sub-second Biological Foundation Model Infrastructure: A Quantized Consistency Diffusion Framework for Molecular Docking","ko":"1초 미만 생물학 파운데이션 모델 인프라를 향하여: 분자 도킹을 위한 양자화된 일관성 Diffusion 프레임워크","authors":"Kexin Zhang, Weichen Qin, Yue Teng, Jiale Yu, Yuanyuan Ma, jinyu lin, Liping Sun, Jie Zheng, Jingyi Yu","pos":"#1113","link":"https://openreview.net/forum?id=NyPHOtsJfE","abs":"The emergence of Vibe Researching is transforming scientific research into an interactive workflow, where agents orchestrate complex tasks via the Model Context Protocol (MCP). In this ecosystem, scientific tools must evolve from offline simulators into responsive Agent Skills. However, diffusion-based protein docking models—a core component of the current deep learning infrastructure for structural biology—suffer from excessively high latency, rendering them incompatible with real-time agentic interaction. To bridge this gap, we present a compute-efficient vertical foundation model that synergizes architectural optimization with generative consistency. First, we leverage Progressive Consistency Regularization (PCR) to compress complex generative dynamics into a few-step predictor, achieving sub-second latency. Second, we propose Residual Quantization, using mixed-precision on residual streams to alleviate memory bottlenecks while preserving numerical precision. Our approach achieves state-of-the-art (SOTA) docking accuracy while attaining a two-order-of-magnitude speedup ($>300\\times$) over AlphaFold3, establishing a new efficiency standard for high-throughput virtual screening. By transforming molecular docking into an interactive, real-time tool, this work establishes a scalable, deep-learning infrastructure for the next generation of AI-driven drug discovery.","absKo":"Vibe Researching의 등장은 과학 연구를 Model Context Protocol (MCP)을 통해 agent가 복잡한 작업을 조율하는 상호작용적 workflow로 바꾸고 있다. 이 생태계에서 scientific tool은 오프라인 simulator에서 반응형 Agent Skill로 진화해야 한다. 그러나 structural biology를 위한 현재 deep learning infrastructure의 핵심 구성 요소인 diffusion-based protein docking model은 지나치게 높은 latency를 지녀 실시간 agentic interaction과 호환되지 않는다. 이 간극을 메우기 위해, 우리는 architectural optimization과 generative consistency를 결합한 compute-efficient vertical foundation model을 제안한다. 먼저 Progressive Consistency Regularization (PCR)을 활용해 복잡한 generative dynamics를 몇 단계 predictor로 압축함으로써 sub-second latency를 달성한다. 둘째, residual stream에 mixed-precision을 적용하는 Residual Quantization을 제안하여 수치 정밀도를 보존하면서 memory bottleneck을 완화한다. 우리의 접근법은 AlphaFold3 대비 두 자릿수 규모의 속도 향상($>300\\times$)과 함께 state-of-the-art (SOTA) docking accuracy를 달성하여, high-throughput virtual screening을 위한 새로운 효율성 기준을 확립한다. molecular docking을 상호작용적 real-time tool로 전환함으로써, 이 연구는 AI-driven drug discovery의 차세대를 위한 확장 가능한 deep-learning infrastructure를 제시한다."},{"id":"66238","en":"Target-Aware Bandit Allocation for Scalable Surrogate Optimization in Chemical Space","ko":"화학 공간에서 확장 가능한 대리 최적화를 위한 표적 인지 밴딧 할당","authors":"Mohammad Haddadnia, Yuvan Chali, Abhilash Jayaraj, Constance Kraay, Joana Reis, Felix Strieth-Kalthoff, Haribabu Arthanari","pos":"#1115","link":"https://openreview.net/forum?id=5WwoJ2W0nL","abs":"Identifying high-utility candidates from massive discrete spaces under expensive evaluations is a recurring challenge across the sciences, with structure-based drug discovery as a prominent example. While surrogate-based optimization can increase sample efficiency by reducing the number of expensive evaluations, modern molecular libraries have reached billions to trillions of compounds, making full-library surrogate inference itself a major computational bottleneck. We introduce BOBA, a bandit-guided surrogate optimization framework that eliminates full-library inference by adaptively allocating computation across partitions of the action space. By treating partitions as arms in a multi-armed bandit, BOBA concentrates inference and evaluations on empirically promising partitions while maintaining principled exploration. Experiments on real-world synthesis-on-demand libraries demonstrate that optimism-under-uncertainty bandits, combined with meaningful action space partitioning, are essential for effective allocation of inference and evaluations. Our findings reveal a tunable tradeoff between screening performance and surrogate inference cost, which supports practical optimization over current libraries, and establishes a viable route to ultra-large library virtual screening.
","absKo":"비용이 큰 평가가 필요한 거대한 discrete space에서 고효용 후보를 식별하는 문제는 과학 전반에 걸쳐 반복적으로 등장하는 과제이며, structure-based drug discovery가 대표적인 예이다. Surrogate-based optimization은 expensive evaluation의 개수를 줄여 sample efficiency를 높일 수 있지만, 현대의 molecular library는 수십억에서 수조 개의 compound에 이르러 full-library surrogate inference 자체가 주요 computational bottleneck이 되었다. 우리는 action space의 partition 전반에 걸쳐 계산을 적응적으로 할당함으로써 full-library inference를 제거하는 bandit-guided surrogate optimization framework인 BOBA를 제안한다. BOBA는 partition을 multi-armed bandit의 arm으로 취급하여, 원칙적인 exploration을 유지하면서 경험적으로 유망한 partition에 inference와 evaluation을 집중시킨다. 실제 synthesis-on-demand library에 대한 실험은 uncertainty하의 optimism bandit이 의미 있는 action space partitioning과 결합될 때 inference와 evaluation을 효과적으로 배분하는 데 필수적임을 보여준다. 우리의 결과는 screening performance와 surrogate inference cost 사이에 조절 가능한 tradeoff가 존재함을 드러내며, 이는 현재의 library에 대한 실용적 optimization을 지원하고 초대형 library virtual screening으로 가는 실행 가능한 경로를 제시한다.
"},{"id":"64982","en":"MeshTok: Efficient Multi-Scale Tokenization for Scalable PDE Transformers","ko":"MeshTok: 확장 가능한 PDE Transformer를 위한 효율적 Multi-Scale Tokenization","authors":"Zhao Yanshun, Xiaoyu Peng, Congcong Zhu, Jiamin Jiang, Jingrun Chen","pos":"#1200","link":"https://openreview.net/forum?id=I8QGwNBO4T","abs":"Conventional patchified Transformers operate on uniform spatial partitions, distributing computational effort evenly across the domain irrespective of local features. This inflexible tokenization scheme is inherently limited in its ability to efficiently represent and process solutions to complex PDEs. To address this, we propose MeshTok, an adaptive mesh refinement (AMR)-inspired tokenization and sequence modeling framework. This method selectively refines spatial regions exhibiting sharp gradients, transient features, or multiscale structures, generating a heterogeneous set of multiscale tokens defined on a fixed simulation grid. These tokens are processed within a unified Transformer sequence, enabling the model to simultaneously capture coarse-grained global context and fine-grained local details without requiring specialized architectural components. Although adaptive refinement moderately increases token count, it promotes a more targeted allocation of computational resources to physically informative regions, thereby enhancing predictive accuracy under equivalent computational constraints. Experimental evaluations across multiple PDE families and benchmark datasets demonstrate that MeshTok consistently improves the efficiency–accuracy trade-off compared to uniform-grid baselines. This suggests adaptive multiscale tokenization as a scalable and generalizable design principle for neural PDE modeling.
","absKo":"전통적인 patchified Transformer는 균일한 spatial partition 위에서 동작하며, local feature와 무관하게 domain 전반에 계산 자원을 고르게 분배한다. 이러한 비유연한 tokenization scheme은 복잡한 PDE 해를 효율적으로 표현하고 처리하는 능력에 본질적인 한계를 가진다. 이를 해결하기 위해, 우리는 adaptive mesh refinement (AMR)에서 영감을 받은 tokenization 및 sequence modeling framework인 MeshTok을 제안한다. 이 방법은 sharp gradient, transient feature, multiscale structure를 보이는 spatial region을 선택적으로 세분화하여, 고정된 simulation grid 위에 정의된 이질적인 multiscale token 집합을 생성한다. 이 token들은 통합된 Transformer sequence 내에서 처리되며, specialized architectural component 없이도 모델이 coarse-grained global context와 fine-grained local detail을 동시에 포착할 수 있게 한다. Adaptive refinement가 token 수를 다소 증가시키지만, 계산 자원을 물리적으로 정보가 풍부한 region에 더 목표 지향적으로 배분하게 하여, 동일한 계산 제약 하에서 예측 정확도를 향상시킨다. 여러 PDE family와 benchmark dataset에 대한 실험 평가 결과, MeshTok은 균일 grid baseline에 비해 일관되게 efficiency–accuracy trade-off를 개선함을 보여준다. 이는 adaptive multiscale tokenization이 neural PDE modeling을 위한 확장 가능하고 일반화 가능한 설계 원리임을 시사한다.
"},{"id":"61837","en":"PINNfluence: Interpreting PINNs through Influence Functions","ko":"PINNfluence: Influence Function을 통한 PINN 해석","authors":"Aleksander Krasowski, Jonas Naujoks, Moritz Weckbecker, Galip Yolcu, Thomas Wiegand, Sebastian Lapuschkin, Wojciech Samek, René P. Klausen","pos":"#1203","link":"https://openreview.net/forum?id=mUiSbaBM9L","abs":"Physics-informed neural networks (PINNs) have emerged as a powerful deep learning approach for solving partial differential equations (PDEs) in the physical sciences, yet their behavior remains largely opaque and is typically understood through failure mode analyses rather than explicit interpretability. To address this issue, we introduce PINNfluence, a training data attribution framework for interpreting PINNs based on influence functions. By extending influence functions to composite physics-informed training objectives, we enable fine-grained attribution between predictions, loss components, and training data points. Through benchmark experiments across various PDEs, we demonstrate that influence patterns provide granular diagnostics that distinguish different PINN failure modes. PINNfluence thus opens a new avenue for understanding and improving the reliability of PINNs through the lens of their data.
","absKo":"Physics-informed neural networks (PINNs)는 물리 과학의 partial differential equations (PDEs)를 푸는 강력한 deep learning 접근법으로 부상했지만, 그 동작은 여전히 대체로 불투명하며 보통 명시적 interpretability보다는 failure mode 분석을 통해 이해된다. 이 문제를 해결하기 위해, 우리는 influence functions에 기반한 PINNs 해석을 위한 training data attribution framework인 PINNfluence를 소개한다. influence functions를 composite physics-informed training objective로 확장함으로써, 우리는 prediction, loss component, training data point 사이의 세밀한 attribution을 가능하게 한다. 다양한 PDE에 걸친 benchmark 실험을 통해, 우리는 influence pattern이 서로 다른 PINN failure mode를 구분하는 정밀한 diagnostics를 제공함을 보인다. 따라서 PINNfluence는 데이터의 관점에서 PINNs의 신뢰성을 이해하고 향상시키기 위한 새로운 길을 연다.
"},{"id":"60830","en":"PLaID++: A Preference Aligned Language Model for Targeted Inorganic Materials Design","ko":"PLaID++: 표적 무기 소재 설계를 위한 Preference Aligned Language Model","authors":"Andy Xu, Rohan Desai, Larry Wang, Ethan Ritz, Gabriel Hope","pos":"#1204","link":"https://openreview.net/forum?id=wFThVGzmvq","abs":"Reinforcement Learning from Verifiable Rewards (RLVR) has emerged as a promising approach to improve correctness in LLMs, however, in many scientific problems, the objective is not necessarily to produce \\textit{the} correct answer, but instead to produce a diverse array of candidates which satisfy a set of constraints. We study this challenge in the context of materials generation. To this end, we introduce PLaID++, an LLM post-trained for stable and property-guided crystal generation. We find that applying naive preference optimization to a coordinate-based crystal representation leads to mode collapse. Hence, we introduce a compact, symmetry-informed Wyckoff text representation which improves computational efficiency and encourages generalization from physical priors. By encoding symmetry constraints directly into text and guiding model outputs towards desirable chemical space, PLaID++ generates structures that are thermodynamically stable, unique, and novel at a $>$50\\% greater rate than prior methods. We further demonstrate that unified training across conditional and unconditional tasks are mutually beneficial in data-sparse regimes. Our work demonstrates the potential of adapting post-training techniques from natural language processing to materials design, paving the way for targeted and efficient discovery of novel materials.","absKo":"강화학습 from Verifiable Rewards(RLVR)는 LLM의 정답성을 향상시키는 유망한 접근법으로 떠올랐지만, 많은 과학 문제에서는 목표가 반드시 \textit{the} correct answer를 생성하는 데 있는 것이 아니라, 제약 조건 집합을 만족하는 다양한 후보들을 생성하는 데 있다. 우리는 이 과제를 materials generation 맥락에서 연구한다. 이를 위해, 안정적이고 property-guided crystal generation을 위해 post-training된 LLM인 PLaID++를 제안한다. 좌표 기반 crystal representation에 naive preference optimization을 적용하면 mode collapse가 발생함을 확인했다. 따라서 우리는 계산 효율을 높이고 물리적 prior로부터의 generalization을 촉진하는, compact하고 symmetry-informed한 Wyckoff text representation을 도입한다. 대칭 제약을 텍스트에 직접 인코딩하고 모델 출력을 바람직한 chemical space로 유도함으로써, PLaID++는 열역학적으로 안정적이고(unique)하며 새로운 구조를 기존 방법보다 $>$50\\% 더 높은 비율로 생성한다. 또한 conditional task와 unconditional task 전반에 걸친 통합 학습이 data-sparse regime에서 상호 이득이 됨을 보인다. 우리의 연구는 자연어처리에서의 post-training 기법을 materials design에 적용할 잠재력을 보여 주며, 표적화되고 효율적인 새로운 materials discovery의 길을 연다."},{"id":"67089","en":"Position: LLM for Physics Research Requires Domain-Specialized Training and Tooling","ko":"Position: 물리 연구를 위한 LLM에는 도메인 특화 학습과 도구가 필요하다","authors":"Sirui Lu, Zhijing Jin, Terry Zhang, Pavel Kos, Juan Cirac, Bernhard Schölkopf","pos":"#1205","link":"https://openreview.net/forum?id=lHtHR6aZKZ","abs":"Large Language Models (LLMs) are rapidly advancing across diverse domains, yet their application in theoretical physics remains inadequate. While current models show competence in mathematical reasoning and code generation, we identify critical gaps in physical intuition, constraint satisfaction, and reliable reasoning that cannot be addressed through prompting alone. Physics demands approximation judgment, symmetry exploitation, and physical grounding that require AI agents specifically trained on physics reasoning patterns and equipped with physics-aware verification tools. We argue that LLM would require such domain-specialized training and tooling to be useful in real-world for physics research. We envision physics-specialized AI agents that seamlessly handle multimodal data, propose physically consistent hypotheses, and autonomously verify theoretical results. Realizing this vision requires developing physics-specific training datasets, reward signals that capture physical reasoning quality, and verification frameworks encoding fundamental principles. We call for collaborative efforts between physics and AI communities to build the specialized infrastructure necessary for AI-driven scientific discovery.
","absKo":"Large Language Models(LLMs)은 다양한 분야에서 빠르게 발전하고 있지만, theoretical physics에서의 적용은 여전히 미흡하다. 현재 model들은 mathematical reasoning과 code generation에서 어느 정도 능력을 보이지만, 우리는 물리적 직관, constraint satisfaction, 신뢰할 수 있는 reasoning에서 중대한 간극을 식별하며, 이는 prompting만으로는 해결될 수 없다고 본다. Physics는 approximation judgment, symmetry exploitation, physical grounding을 요구하며, 이는 physics reasoning pattern으로 특별히 훈련되고 physics-aware verification tool을 갖춘 AI agent를 필요로 한다. 우리는 LLM이 실제 physics research에서 유용해지려면 이러한 domain-specialized training과 tooling이 필요하다고 주장한다. 우리는 multimodal data를 매끄럽게 처리하고, 물리적으로 일관된 hypothesis를 제안하며, 이론적 결과를 자율적으로 검증하는 physics-specialized AI agent를 구상한다. 이 비전을 실현하려면 physics-specific training dataset, 물리적 reasoning quality를 포착하는 reward signal, 그리고 fundamental principle을 인코딩하는 verification framework를 개발해야 한다. 우리는 AI-driven scientific discovery에 필요한 전문화된 인프라를 구축하기 위해 physics와 AI community의 협력 노력을 촉구한다.
"},{"id":"63265","en":"SENDAI: A Hierarchical Sparse-measurement, EfficieNt Data AssImilation Framework","ko":"SENDAI: 계층적 희소 측정 효율적 데이터 동화 프레임워크","authors":"Xingyue Zhang, Yuxuan Bao, Mars Liyao Gao, J. Nathan Kutz","pos":"#1209","link":"https://openreview.net/forum?id=YblLI3n0dn","abs":"Bridging the gap between data-rich training regimes and observation-sparse deployment conditions remains a central challenge in spatiotemporal field reconstruction, particularly when target domains exhibit distributional shifts, heterogeneous structure, and multi-scale dynamics absent from available training data. We present SENDAI, a hierarchical $\\textbf{S}$parse-measurement, $\\textbf{E}$fficie$\\textbf{N}$t $\\textbf{D}$ata $\\textbf{A}$ss$\\textbf{I}$milation Framework that reconstructs full spatial states from hyper sparse sensor observations by combining simulation-derived priors with learned discrepancy corrections. We demonstrate the performance on satellite remote sensing, reconstructing MODIS (Moderate Resolution Imaging Spectroradiometer) derived vegetation index fields across six globally distributed sites. Using seasonal periods as a proxy for domain shift, the framework consistently outperforms established baselines that require substantially denser observations---SENDAI achieves a maximum SSIM improvement of 185% over traditional baselines and a 36% improvement over recent high-frequency-based methods. These gains are particularly pronounced for landscapes with sharp boundaries and sub-seasonal dynamics; more importantly, the framework effectively preserves diagnostically relevant structures---such as field topologies, land cover discontinuities, and spatial gradients. By yielding corrections that are more structurally and spectrally separable, the reconstructed fields are better suited for downstream inference of indirectly observed variables. The results therefore highlight a lightweight and operationally viable framework for sparse-measurement reconstruction that is applicable to physically grounded inference, resource-limited deployment, and real-time monitor and control.","absKo":"데이터가 풍부한 학습 환경과 관측이 희소한 배포 조건 사이의 간극을 메우는 일은 시공간(field) 재구성에서 핵심적인 도전이며, 특히 타깃 도메인이 분포 이동(distributional shift), 이질적 구조, 그리고 학습 데이터에는 없는 다중 스케일 동역학을 보일 때 더욱 어렵다. 우리는 시뮬레이션에서 유도된 priors와 학습된 discrepancy correction을 결합하여 초희소 센서 관측으로부터 전체 공간 상태를 재구성하는 계층적 $\\textbf{S}$parse-measurement, $\\textbf{E}$fficie$\\textbf{N}$t $\\textbf{D}$ata $\\textbf{A}$ss$\\textbf{I}$milation Framework인 SENDAI를 제안한다. 우리는 위성 원격탐사에서의 성능을 입증하기 위해, 전 지구적으로 분포한 6개 사이트에서 MODIS (Moderate Resolution Imaging Spectroradiometer) 기반 vegetation index field를 재구성하였다. 계절적 기간을 도메인 이동의 대리 변수로 사용했을 때, 이 프레임워크는 훨씬 더 조밀한 관측을 필요로 하는 기존의 확립된 baseline들을 일관되게 능가했으며, SENDAI는 전통적 baseline 대비 최대 185%의 SSIM 향상, 최근의 high-frequency 기반 방법 대비 36%의 향상을 달성했다. 이러한 개선은 특히 경계가 뚜렷하고 계절 내(sub-seasonal) 동역학을 보이는 경관에서 두드러지며, 더 중요하게는 이 프레임워크가 field topology, land cover discontinuity, spatial gradient와 같이 진단적으로 중요한 구조를 효과적으로 보존한다. 구조적 및 스펙트럼적으로 더 분리 가능한 보정을 산출함으로써, 재구성된 field는 간접적으로 관측되는 변수의 하위 추론에 더 적합해진다. 따라서 이 결과는 물리적으로 근거 있는 추론, 자원 제약이 있는 배포, 실시간 모니터링 및 제어에 적용 가능한 경량의 운영 가능한 sparse-measurement 재구성 프레임워크를 강조한다."},{"id":"62620","en":"Scaling Laws of Global Weather Models","ko":"Global Weather Models의 Scaling Laws","authors":"Yuejiang Yu, Langwen Huang, Alexandru Calotoiu, Torsten Hoefler","pos":"#1211","link":"https://openreview.net/forum?id=exS97jumOg","abs":"Data-driven models are revolutionizing weather forecasting. To optimize training efficiency and model performance, this paper analyzes empirical scaling laws within this domain. We investigate the relationship between model performance (validation loss) and three key factors: model size ($N$), dataset size ($D$), and compute budget ($C$). Across a range of models, we find that Aurora exhibits the strongest data-scaling behavior: increasing the training dataset by 10× reduces validation loss by up to 3.2×. GraphCast demonstrates the highest parameter efficiency, yet suffers from limited hardware utilization. Our compute-optimal analysis indicates that, under fixed compute budgets, allocating resources to longer training durations yields greater performance gains than increasing model size. Furthermore, we analyze model shape and uncover scaling behaviors that differ fundamentally from those observed in language models: weather forecasting models consistently favor increased width over depth. These findings suggest that future weather models should prioritize wider architectures and larger effective training datasets to maximize predictive performance.\\footnote{Code is available at \\url{https://anonymous.4open.science/r/scaling-laws-weather-model-8560/}}","absKo":"데이터 기반 모델은 weather forecasting을 혁신하고 있습니다. 학습 효율성과 model performance를 최적화하기 위해, 본 논문은 이 영역의 empirical scaling law를 분석합니다. 우리는 model performance(validation loss)와 세 가지 핵심 요소인 model size ($N$), dataset size ($D$), compute budget ($C$) 사이의 관계를 조사합니다. 다양한 모델을 통해, Aurora가 가장 강한 data-scaling behavior를 보인다는 것을 발견했습니다. 즉, training dataset을 10배 늘리면 validation loss가 최대 3.2배 감소합니다. GraphCast는 가장 높은 parameter efficiency를 보이지만, hardware utilization은 제한적입니다. 우리의 compute-optimal analysis는 고정된 compute budget 하에서 model size를 늘리는 것보다 더 긴 training duration에 자원을 배분하는 편이 더 큰 성능 향상을 가져온다는 것을 보여줍니다. 더 나아가, 우리는 model shape를 분석하여 language model에서 관찰된 것과 근본적으로 다른 scaling behavior를 발견했습니다. weather forecasting model은 일관되게 depth보다 width 확장을 선호합니다. 이러한 결과는 미래의 weather model이 예측 성능을 극대화하기 위해 더 넓은 architecture와 더 큰 effective training dataset을 우선시해야 함을 시사합니다.\\footnote{Code is available at \\url{https://anonymous.4open.science/r/scaling-laws-weather-model-8560/}}"},{"id":"60755","en":"SimulCost: A Cost-Aware Benchmark and Toolkit for Automating Physics Simulations with LLMs","ko":"SimulCost: LLM을 활용한 물리 시뮬레이션 자동화를 위한 Cost-Aware Benchmark와 Toolkit","authors":"Yadi Cao, Sicheng Lai, Jiahe Huang, Yang Zhang, Zach Lawrence, Rohan Bhakta, Izzy Thomas, Mingyun Cao, Chung-Hao Tsai, Zihao Zhou, Yidong Zhao, Hao Liu, Alessandro Marinoni, Alexey Arefiev, Rose Yu","pos":"#1214","link":"https://openreview.net/forum?id=ww57OvgpP9","abs":"Evaluating LLM agents for scientific tasks has focused on token costs while ignoring tool-use costs like simulation time and experimental resources. As a result, metrics like pass@k become impractical under realistic budget constraints. To address this gap, we introduce SimulCost, the first benchmark targeting cost-sensitive parameter tuning in scientific simulations. SimulCost compares LLM tuning cost-sensitive parameters against traditional scanning approach in both accuracy and computational cost, spanning 2,916 single-round (initial guess) and 1,900 multi-round (adjustment by trial-and-error) tasks across 12 simulators from fluid dynamics, solid mechanics, and plasma physics. Each simulator's cost is analytically defined and platform-independent. Frontier LLMs achieve 46--64\\% success rates in single-round mode, dropping to 35--54\\% under high accuracy requirements, rendering their initial guesses unreliable especially for high accuracy tasks. Multi-round mode improves rates to 71--80\\%, but LLMs are 1.5--2.5$\\times$ slower than traditional scanning, making them uneconomical choices. We also investigate parameter group correlations for knowledge transfer potential, and the impact of in-context examples and reasoning effort, providing practical implications for deployment and fine-tuning. We open-source SimulCost as a static benchmark and extensible toolkit to facilitate research on improving cost-aware agentic designs for scientific simulations, and for expanding new simulation environments.","absKo":"과학적 task를 위한 LLM agent 평가에서는 token cost에만 초점을 맞추고 simulation time이나 experimental resource와 같은 tool-use cost는 무시해 왔다. 그 결과 pass@k 같은 metric은 현실적인 budget 제약 하에서 비실용적이 되었다. 이러한 격차를 해소하기 위해, 우리는 scientific simulation에서 cost-sensitive parameter tuning을 대상으로 하는 최초의 benchmark인 SimulCost를 소개한다. SimulCost는 fluid dynamics, solid mechanics, plasma physics의 12개 simulator 전반에 걸쳐 2,916개의 single-round(initial guess) task와 1,900개의 multi-round(trial-and-error에 의한 adjustment) task에서, LLM의 cost-sensitive parameter tuning을 전통적인 scanning approach와 정확도 및 계산 비용 측면에서 비교한다. 각 simulator의 cost는 분석적으로 정의되며 platform-independent하다. Frontier LLM은 single-round mode에서 46--64\\%의 성공률을 보이지만, 높은 정확도 요구 조건에서는 35--54\\%로 떨어져 특히 고정확도 task에서 초기 추정이 신뢰하기 어렵다. Multi-round mode에서는 성공률이 71--80\\%로 향상되지만, LLM은 전통적인 scanning보다 1.5--2.5$\\times$ 느려 경제적이지 않다. 우리는 또한 지식 전달 가능성을 위한 parameter group 상관관계와 in-context example 및 reasoning effort의 영향을 조사하여, 배치 및 fine-tuning에 대한 실질적 함의를 제공한다. 우리는 과학적 simulation을 위한 cost-aware agentic design 개선 연구와 새로운 simulation environment 확장을 촉진하기 위해 SimulCost를 static benchmark이자 확장 가능한 toolkit으로 오픈소스 공개한다."},{"id":"61549","en":"MOD-SR: Unifying Multimodal Learning and Direct Optimization with Gradient-Guided Diffusion Model for Symbolic Regression","ko":"MOD-SR: Symbolic Regression을 위한 Gradient-Guided Diffusion Model 기반 Multimodal Learning과 Direct Optimization 통합","authors":"Chuyang Xiang, Yichen Wei, Junchi Yan","pos":"#1300","link":"https://openreview.net/forum?id=p06oR4sXgz","abs":"Symbolic regression (SR) aims to discover interpretable mathematical expressions from observed data. While recent generative approaches have shown promise in treating SR as machine translation or multimodal learning tasks using NN methods, they suffer from a fundamental limitation: training-evaluation misalignment. The training objectives (average cross-entropy loss on a token level across the distribution of historical data) differ from the evaluation metric (fitting error for every test data / complexity), necessitating extensive heuristic post-processing and constant optimization. On the other hand, direct optimization methods suffer from curse of dimensionality, non-differentiability and local optima traps. We propose MOD-SR, unifying multimodal distribution learning during training with direct optimization at inference time. This is achieved by modeling the task as $p(x_0 \\mid \\mathcal{D}, y^*)$ and employing gradient-guided diffusion in embedding space, enhanced by contrastive learning and representation alignment. Furthermore, we introduce DFEX, a fixed-depth tree relaxation method that ensures differentiability for effective gradient guidance during inference. Experiments demonstrate significant improvements over existing methods, achieving superior performance on diverse benchmarks through a unified framework integrating distribution learning and optimization.","absKo":"Symbolic regression (SR)은 관측된 데이터로부터 해석 가능한 수학적 표현식을 발견하는 것을 목표로 한다. 최근의 generative approach는 SR을 machine translation 또는 multimodal learning task로 다루는 NN 기반 방법에서 가능성을 보여주었지만, 본질적인 한계인 training-evaluation misalignment을 가진다. training objective(과거 데이터 분포 전반에 대한 token 수준 평균 cross-entropy loss)와 evaluation metric(각 test data / complexity에 대한 fitting error)이 서로 다르기 때문에, 광범위한 heuristic post-processing과 지속적인 optimization이 필요하다. 반면, direct optimization method는 curse of dimensionality, non-differentiability, local optimum trap의 문제를 겪는다. 우리는 training 동안의 multimodal distribution learning과 inference 시의 direct optimization을 통합하는 MOD-SR을 제안한다. 이는 task를 $p(x_0 \\mid \\mathcal{D}, y^*)$로 모델링하고, contrastive learning과 representation alignment로 강화된 embedding space에서 gradient-guided diffusion을 사용하는 방식으로 달성된다. 또한, inference 동안 효과적인 gradient guidance를 위해 differentiability를 보장하는 fixed-depth tree relaxation method인 DFEX를 도입한다. 실험은 기존 방법 대비 유의미한 향상을 보여주며, distribution learning과 optimization을 통합한 unified framework를 통해 다양한 benchmark에서 우수한 성능을 달성함을 입증한다."},{"id":"61674","en":"MADE: Benchmark Environments for Closed-Loop Materials Discovery","ko":"MADE: Closed-Loop 소재 발견을 위한 Benchmark Environment","authors":"Shreshth Malik, Tiarnan Doherty, Panagiotis Tigas, Muhammed Razzak, Stephen Roberts, Aron Walsh, Yarin Gal","pos":"#1302","link":"https://openreview.net/forum?id=nrXxVDYMMF","abs":"Existing benchmarks for computational materials discovery primarily evaluate static predictive tasks or isolated computational sub-tasks. While valuable, these evaluations neglect the inherently iterative and adaptive nature of scientific discovery. We introduce MAterials Discovery Environments (MADE), a novel framework for benchmarking end-to-end autonomous materials discovery pipelines. MADE simulates closed-loop discovery campaigns in which an agent or algorithm proposes, evaluates, and refines candidate materials under a constrained oracle budget, capturing the sequential and resource-limited nature of real discovery workflows. We formalize discovery as a search for thermodynamically stable compounds relative to a given convex hull, and evaluate efficacy and efficiency via comparison to baseline algorithms. The framework is flexible; users can compose discovery agents from interchangeable components such as generative models, filters, and planners, enabling the study of arbitrary workflows ranging from fixed pipelines to fully agentic systems with tool use and adaptive decision making. We demonstrate this by conducting systematic experiments across a family of systems, enabling ablation of components in discovery pipelines, and comparison of how methods scale with system complexity.
","absKo":"기존의 computational materials discovery benchmark는 주로 정적 예측 task나 고립된 computational sub-task를 평가한다. 이러한 평가는 유용하지만, 과학적 discovery의 본질적으로 반복적이고 적응적인 특성은 충분히 반영하지 못한다. 우리는 end-to-end autonomous materials discovery pipeline을 벤치마킹하기 위한 새로운 framework인 MAterials Discovery Environments (MADE)를 제안한다. MADE는 agent 또는 algorithm이 제한된 oracle budget 하에서 candidate material을 제안하고, 평가하고, 개선하는 closed-loop discovery campaign을 시뮬레이션하여, 실제 discovery workflow의 순차적이고 자원 제한적인 특성을 포착한다. 우리는 discovery를 주어진 convex hull에 상대적인 thermodynamically stable compound를 찾는 search로 정식화하고, baseline algorithm과의 비교를 통해 효용성과 효율성을 평가한다. 이 framework는 유연하다. 사용자는 generative model, filter, planner와 같은 상호 교환 가능한 구성요소로 discovery agent를 구성할 수 있으며, 이를 통해 고정된 pipeline부터 tool use와 adaptive decision making을 갖춘 완전한 agentic system까지 임의의 workflow를 연구할 수 있다. 우리는 시스템 계열 전반에 걸친 체계적 실험을 수행하고, discovery pipeline 내 구성요소의 ablation과 시스템 복잡도에 따른 방법 확장성을 비교함으로써 이를 입증한다."},{"id":"64679","en":"LABO: LLM-Accelerated Bayesian Optimization through Broad Exploration and Selective Experimentation","ko":"LABO: 광범위한 탐색과 선택적 실험을 통한 LLM 가속 Bayesian Optimization","authors":"Zhuo Chen, Xinzhe Yuan, Jianshu Zhang, Jinzong Dong, Ruichen Zhou, Yingchun Niu, Tianhang Zhou, Yu Yang Fredrik Liu, Yuqiang Li, Nanyang Ye, Qinying Gu","pos":"#1308","link":"https://openreview.net/forum?id=KxLNNxz9T9","abs":"The high cost and data scarcity in scientific exploration have motivated the use of large language models (LLMs) as knowledge-driven components in Bayesian optimization (BO). However, existing approaches typically embed LLMs directly into the sampling or surrogate modeling pipeline, without fully leveraging their significantly lower evaluation cost compared to real-world experiments. To address this limitation, we propose LLM-Accelerated Bayesian Optimization (LABO), a framework that combines LLM predictions with experimental observations within a single BO loop. LABO employs a gating mechanism to dynamically balance reliance on LLM predictions versus actual experiments. By leveraging inexpensive LLM evaluations to broadly explore the search space and reserving costly real experiments only for regions with high uncertainty, LABO achieves more sample-efficient optimization. We provide a theoretical analysis with a cumulative regret bound that formalizes this efficiency gain. Empirical results across diverse scientific tasks demonstrate that LABO consistently outperforms existing methods under identical experimental budgets. Our results suggest that LABO offers a practical and theoretically grounded approach for integrating LLMs into scientific discovery workflows.
","absKo":"과학 탐색에서의 높은 비용과 데이터 부족은 Bayesian optimization (BO)에서 large language model (LLM)을 knowledge-driven component로 활용하도록 동기를 부여해 왔다. 그러나 기존 접근법은 일반적으로 LLM을 sampling 또는 surrogate modeling pipeline에 직접 삽입할 뿐, 실제 실험에 비해 훨씬 낮은 evaluation cost를 충분히 활용하지 못한다. 이러한 한계를 해결하기 위해 우리는 LLM-Accelerated Bayesian Optimization (LABO)을 제안한다. 이는 단일 BO loop 안에서 LLM prediction과 experimental observation을 결합하는 framework이다. LABO는 gating mechanism을 사용하여 LLM prediction에 대한 의존과 실제 실험에 대한 의존을 동적으로 균형 있게 조절한다. 저렴한 LLM evaluation을 활용해 search space를 폭넓게 탐색하고, 비용이 큰 실제 실험은 uncertainty가 높은 영역에만 예약함으로써, LABO는 더 sample-efficient한 optimization을 달성한다. 우리는 이 효율 향상을 형식화하는 cumulative regret bound와 함께 이론적 분석을 제시한다. 다양한 과학 태스크에 걸친 실증 결과는 LABO가 동일한 experimental budget 하에서 기존 방법을 일관되게 능가함을 보여준다. 우리의 결과는 LABO가 과학적 discovery workflow에 LLM을 통합하는 실용적이고 이론적으로 근거 있는 접근법을 제공함을 시사한다.
"},{"id":"66263","en":"Deliberate Evolution for Sample-Efficient Symbolic Regression with LLM","ko":"LLM을 이용한 표본 효율적 기호 회귀를 위한 신중한 진화","authors":"Xinyu Pang, (Andrew) Zhanke Zhou, Xuan Li, Fangrui Lv, Shanshan Wei, Sen Cui, Bo Han, Changshui Zhang","pos":"#1411","link":"https://openreview.net/forum?id=5JUrQ67tYL","abs":"Symbolic regression (SR) stands as a cornerstone of scientific discovery, deriving mathematical expressions from observing data. Recent advances incorporate large language models (LLMs) into evolutionary optimization, typically relying on iterative refinement driven by scalar feedback (e.g., mean squared error, MSE). However, such coarse feedback lacks directional guidance for strategic lookahead and diagnostic signals to localize structural errors, thereby confining the search to a myopic trial-and-error process. Additionally, treating optimization steps as isolated episodes precludes learning from historical trajectories. Consequently, optimization often degenerates into an inefficient search with substantial computational cost. Motivated by these limitations, we propose Deliberate Evolution, an agentic framework for SR tasks that equips LLM-based candidate proposal with explicit, structured guidance. Our approach steers optimization through adaptive evolutionary operators for directional control, analytical tools for diagnostic feedback, and reflective memory for historical insight. Extensive experiments on LLM-SRBench demonstrate that our approach consistently outperforms prior baselines while using merely 40\\% of the sample budget.
","absKo":"Symbolic regression (SR)은 데이터 관찰로부터 수학적 표현식을 도출하는 과학적 발견의 초석으로 자리한다. 최근의 발전은 large language models (LLMs)를 evolutionary optimization에 통합하는 방향으로 이어졌으며, 일반적으로 scalar feedback(예: mean squared error, MSE)에 의해 구동되는 반복적 refinement에 의존한다. 그러나 이러한 거친 feedback은 전략적 lookahead를 위한 방향성 있는 guidance와 구조적 오류를 국소화할 diagnostic signal을 제공하지 못해, 탐색을 근시안적인 trial-and-error 과정에 가둔다. 또한 optimization step을 서로 독립적인 episode로 취급하면 역사적 trajectory로부터 학습할 수 없다. 그 결과 optimization은 종종 상당한 computational cost를 수반하는 비효율적인 search로 전락한다. 이러한 한계에 착안하여, 우리는 LLM 기반 candidate proposal에 명시적이고 구조화된 guidance를 부여하는 SR용 agentic framework인 Deliberate Evolution을 제안한다. 우리의 접근법은 directional control을 위한 adaptive evolutionary operator, diagnostic feedback를 위한 analytical tool, 그리고 historical insight를 위한 reflective memory를 통해 optimization을 유도한다. LLM-SRBench에서의 광범위한 실험은 우리의 접근법이 sample budget의 단 40\\%만 사용하면서도 기존 baselines를 일관되게 능가함을 보여준다.
"},{"id":"66259","en":"Towards Diverse Scientific Hypothesis Search with Large Language Models","ko":"대규모 언어 모델을 이용한 다양한 과학적 가설 탐색을 향하여","authors":"Haorui Wang, Parshin Shojaee, Kazem Meidani, Kunyang Sun, Jose Miguel Hernandez-Lobato, Teresa Head-Gordon, Jiajun He, Chandan Reddy, Chao Zhang, Yuanqi Du","pos":"#1815","link":"https://openreview.net/forum?id=5LwZAeK5PE","abs":"Large language models are increasingly used to accelerate scientific discovery, especially in iteratively searching scientific hypotheses. Yet in many discovery settings the goal is not to identify a single ``best'' hypothesis: validation is noisy and expensive, multiple hypotheses can remain plausible, and scientists benefit from a set of high-quality but meaningfully diverse hypotheses that hedge against downstream uncertainty. Nevertheless, commonly used evolutionary search recipes tend to underemphasize this requirement, implicitly prioritizing optimization over exploration, and the resulting selection pressure during the search process leads to diversity collapse. Motivated by these limitations, we formulate hypothesis search as a sampling problem, where the objective is to efficiently produce diverse, high-quality hypotheses under fixed validation budget. Building on this perspective, we propose, EvoDiverse, an evolutionary framework inspired by the classical parallel tempering algorithm that searches hypotheses at multiple temperature levels and enables principled information exchange across temperatures to improve exploration without disrupting convergence. Across domains including molecular discovery, equation discovery, and algorithm discovery, our approach consistently improves both hypothesis quality and diversity under the same validation budget, and produces candidate sets that remain robust under more expensive downstream computational validations.
","absKo":"Large language model은 과학적 발견을 가속하는 데 점점 더 많이 사용되고 있으며, 특히 과학적 가설을 반복적으로 탐색하는 데서 그러하다. 그러나 많은 discovery setting에서 목표는 단 하나의 ``최고'' 가설을 찾는 것이 아니다. 검증은 잡음이 많고 비용이 크며, 여러 가설이 여전히 그럴듯할 수 있고, 과학자들은 downstream uncertainty에 대비할 수 있도록 고품질이면서도 의미 있게 다양한 가설 집합의 이점을 얻는다. 그럼에도 흔히 사용되는 evolutionary search recipe는 이러한 요구를 과소평가하는 경향이 있으며, 암묵적으로 exploration보다 optimization을 우선시하고, 탐색 과정에서 형성되는 selection pressure는 diversity collapse로 이어진다. 이러한 한계에 동기를 부여받아 우리는 가설 탐색을 sampling problem으로 정식화한다. 즉, 고정된 validation budget 하에서 다양하고 고품질인 가설을 효율적으로 생성하는 것이 목표다. 이러한 관점 위에서 우리는 고전적인 parallel tempering algorithm에서 영감을 받은 evolutionary framework인 EvoDiverse를 제안한다. 이 방법은 여러 temperature level에서 가설을 탐색하고, temperature 간 원칙적인 information exchange를 가능하게 하여 수렴을 방해하지 않으면서 exploration을 향상시킨다. molecular discovery, equation discovery, algorithm discovery를 포함한 여러 도메인에서, 우리의 접근법은 동일한 validation budget 하에서 가설의 품질과 다양성 모두를 일관되게 향상시키며, 더 비용이 큰 downstream computational validation 하에서도 견고함을 유지하는 candidate set을 생성한다.
"},{"id":"61762","en":"DecAEvolve: Decompose, Adapt, and Evolve, or, Three Pillars of Effective LLM-based Scientific Equation Discovery","ko":"DecAEvolve: 분해, 적응, 진화, 또는 효과적인 LLM 기반 과학 방정식 발견의 세 기둥","authors":"Pouya Behzadifar, Parshin Shojaee, Sanchit Kabra, Kazem Meidani, Chandan Reddy","pos":"#2202","link":"https://openreview.net/forum?id=nApMHaYSM6","abs":"Finding mathematical relations underlying natural phenomena is a fundamental task in scientific discovery. Recent advances in evolutionary search with Large Language Models (LLMs) show great promise by leveraging their embedded scientific knowledge. However, discovering governing equations remains challenging due to vast combinatorial hypothesis spaces with exponentially many possible relations. Existing LLM-based approaches treat LLMs as static hypothesis generators unaware of the observed scientific system, leading to suboptimal and inefficient exploration that over-relies on internal priors. To address this, we introduce \\emph{Decompose, Adapt, and Evolve} (\\textbf{DecAEvolve}), a framework that combines granular feedback from symbolic term decomposition with LLM refinement through reinforcement learning fine-tuning. DecAEvolve unifies symbolic decomposition with test-time RL adaptation, enabling adaptive rather than static hypothesis generation. Our experiments across diverse scientific benchmarks demonstrate that DecAEvolve significantly improves both the accuracy of discovered equations and the efficiency of the discovery process, reducing error by up to an order of magnitude compared to state-of-the-art baselines.
","absKo":"자연 현상 뒤에 놓인 수학적 관계를 찾는 것은 과학적 발견의 근본 과제이다. Large Language Models (LLMs)를 활용한 evolutionary search의 최근 발전은 내재된 scientific knowledge를 활용함으로써 큰 가능성을 보여준다. 그러나 지배 방정식을 발견하는 일은 지수적으로 많은 가능한 관계를 갖는 방대한 조합적 hypothesis space 때문에 여전히 어렵다. 기존의 LLM-based approach는 관측된 과학 시스템을 인지하지 못한 채 LLM을 정적인 hypothesis generator로 취급하여, 내부 prior에 과도하게 의존하는 비효율적이고 최적이 아닌 탐색을 초래한다. 이를 해결하기 위해 우리는 symbolic term decomposition에서 얻은 세분화된 feedback과 reinforcement learning fine-tuning을 통한 LLM refinement를 결합한 \\emph{Decompose, Adapt, and Evolve} (\\textbf{DecAEvolve})를 제안한다. DecAEvolve는 symbolic decomposition과 test-time RL adaptation을 통합하여, 정적인 것이 아니라 적응적인 hypothesis generation을 가능하게 한다. 다양한 scientific benchmark에 걸친 실험은 DecAEvolve가 발견된 equation의 정확도와 발견 과정의 효율성 모두를 크게 향상시키며, 최첨단 baseline 대비 error를 최대 한 자릿수 order까지 줄임을 보여준다."},{"id":"62487","en":"STRIDE: Post-Training LLMs to Reason and Refine Bio-Sequences via Edit Trajectories","ko":"STRIDE: 사후학습 LLM로 편집 궤적을 통해 Bio-Sequences를 추론 및 정제","authors":"Daiheng Zhang, Shiyang Zhang, Sizhuang He, Yangtian Zhang, Syed Rizvi, David van Dijk","pos":"#2403","link":"https://openreview.net/forum?id=g9J8AyE0xy","abs":"Discrete biological sequence optimization demands iterative refinement while satisfying strict syntactic constraints. Diffusion-based approaches provide strong progressive refinement but are not naturally aligned with discrete, grammar-constrained edit operations, whereas autoregressive LLMs readily produce valid sequences yet often lack explicit long-horizon planning. To close this gap, we introduce STRIDE (Sequence Trajectory Refinement via Internalized Denoising Emulation), a post-training framework that recasts optimization as an intrinsic reasoning problem in edit space. Rather than relying on external agentic search loops, STRIDE trains an LLM to emit a full trajectory of atomic edits as explicit Chain-of-Thought, effectively internalizing a trajectory-based refinement policy under discrete constraints. We instantiate STRIDE with a curriculum that combines supervised fine-tuning on Levenshtein-aligned shortest-edit demonstrations with GRPO-style reinforcement learning (and variants) to align edit trajectories with task rewards. Across protein and molecule optimization benchmarks, STRIDE consistently outperforms a diverse set of baselines, while producing candidates that maintain high structural validity and achieve improved target properties.
","absKo":"이산 biological sequence optimization은 엄격한 syntactic constraint를 만족하면서 반복적인 refinement를 요구한다. diffusion-based approach는 강력한 progressive refinement를 제공하지만, discrete하고 grammar-constrained 된 edit operation과 자연스럽게 정렬되지는 않는다. 반면 autoregressive LLM은 유효한 sequence를 쉽게 생성하지만, explicit한 long-horizon planning이 부족한 경우가 많다. 이러한 간극을 메우기 위해 우리는 STRIDE (Sequence Trajectory Refinement via Internalized Denoising Emulation)를 도입한다. 이는 optimization을 edit space에서의 내재적 reasoning problem으로 재구성하는 post-training framework이다. 외부 agentic search loop에 의존하는 대신, STRIDE는 LLM이 explicit Chain-of-Thought로 atomic edit의 전체 trajectory를 출력하도록 학습시켜, discrete constraint 하에서 trajectory-based refinement policy를 효과적으로 내재화한다. 우리는 Levenshtein-aligned shortest-edit demonstration에 대한 supervised fine-tuning과 GRPO-style reinforcement learning (및 그 변형)을 결합한 curriculum을 사용해 edit trajectory를 task reward와 정렬하도록 STRIDE를 구현한다. protein 및 molecule optimization benchmark 전반에서 STRIDE는 다양한 baseline을 일관되게 능가하는 동시에, 높은 structural validity를 유지하고 향상된 target property를 달성하는 candidate를 생성한다.
"},{"id":"62329","en":"Towards A Generative Protein Evolution Machine with DPLM-Evo","ko":"DPLM-Evo로 생성형 단백질 진화 머신 구현","authors":"Xinyou Wang, Liang Hong, Jiasheng Ye, Zaixiang Zheng, Shujian Huang, Quanquan Gu","pos":"#3512","link":"https://openreview.net/forum?id=hcFVDmmb0J","abs":"Proteins are shaped by gradual evolution under biophysical and functional constraints. Protein language models learn rich evolutionary constraints from large-scale sequence data, and discrete diffusion–based protein language models (e.g., DPLMs) have emerged as a promising framework for both understanding and generation. However, existing DPLMs typically rely on masking-based absorbing diffusion, which conflicts with a basic biological intuition: proteins evolve through accumulated edits rather than emerging from masked tokens. As a result, these frameworks lack explicit pretraining objectives for substitution and insertion/deletion (indel) operations, which in turn limits both optimization-style post-editing and flexible guided generation. To address these limitations, we present DPLM-Evo, an evolutionary discrete diffusion framework that explicitly predicts substitution, insertion, and deletion operations during denoising. \\method decouples a fixed-length latent alignment space from the variable-length observed sequence space, making indel-aware generation tractable and enabling adaptive scaffold growth throughout the process with negligible computational overhead. To further align substitutions with real evolutionary dynamics, we introduce a contextual evolutionary noising kernel that induces biologically informed, context-dependent mutation patterns. Across tasks, \\method improves sequence understanding and achieves state-of-the-art performance on ProteinGym in the single-sequence setting, while also enabling variable-length simulated evolution, guided generation, and post-editing or optimization of existing proteins via explicit edit trajectories.
","absKo":"Protein은 biophysical 및 functional constraint 아래에서 점진적인 evolution에 의해 형성된다. Protein language model은 대규모 sequence data로부터 풍부한 evolutionary constraint를 학습하며, discrete diffusion 기반 protein language model(예: DPLM)은 이해와 생성 모두를 위한 유망한 framework로 부상했다. 그러나 기존 DPLM은 대개 masking-based absorbing diffusion에 의존하는데, 이는 기본적인 생물학적 직관과 충돌한다. protein은 masked token에서 갑자기 생겨나는 것이 아니라 누적된 edit를 통해 진화하기 때문이다. 그 결과 이러한 framework에는 substitution과 insertion/deletion(indel) operation에 대한 명시적 pretraining objective가 부족하며, 이는 optimization 스타일의 post-editing과 유연한 guided generation을 모두 제한한다. 이러한 한계를 해결하기 위해 우리는 denoising 과정에서 substitution, insertion, deletion operation을 명시적으로 예측하는 evolutionary discrete diffusion framework인 DPLM-Evo를 제안한다. \\method는 고정 길이 latent alignment space와 가변 길이 observed sequence space를 분리하여 indel-aware generation을 다루기 쉽게 만들고, 거의 추가 계산 비용 없이 과정 전반에 걸쳐 adaptive scaffold growth를 가능하게 한다. 또한 substitution을 실제 evolutionary dynamics에 더 가깝게 맞추기 위해, 생물학적으로 의미 있는 context-dependent mutation pattern을 유도하는 contextual evolutionary noising kernel을 도입한다. 여러 task에서 \\method는 sequence 이해 성능을 향상시키고 single-sequence 설정의 ProteinGym에서 state-of-the-art 성능을 달성하는 한편, explicit edit trajectory를 통해 variable-length simulated evolution, guided generation, 그리고 기존 protein의 post-editing 또는 optimization도 가능하게 한다.
"},{"id":"62673","en":"Neural–Evolutionary Symbolic Regression with Global Constraints: Constraint-Aware Decoding and Reward Shaping","ko":"제약 인식 decoding과 reward shaping을 갖춘 전역 제약 기반 Neural–Evolutionary Symbolic Regression","authors":"Xiangdong Wu, Rongye Shi, Ziyu Wei, Bingrun Chen, Zhenbo Song, wenjun wu","pos":"#3614","link":"https://openreview.net/forum?id=eTe0x6Fye4","abs":"Symbolic regression discovers interpretable mathematical expressions from data and is central to scientific modeling. Recent neural approaches typically linearize expression trees into token sequences for sequential generation, but this representation weakens access to the underlying hierarchy and makes it difficult to enforce structure-dependent constraints. Hybrid neural--evolutionary frameworks further combine neural generators with genetic programming (GP), yet training can be unstable due to distribution mismatch between neural samples and GP-refined elites. We propose \\textbf{GCN-SR}, a graph-based symbolic regression framework that generates expressions directly in an explicit tree form. GCN-SR introduces \\textbf{Symbolic Perfect Binary Trees (SPBTs)}, a fixed-topology scaffold that enables batched tree generation and supports an autoregressive generator based on a Graph Convolutional Network (GCN) while preserving hierarchical structure. To leverage GP refinement without unstable target matching, we further introduce \\textbf{Similarity-Weighted Policy Gradient (SWPG)}, which uses GP only to construct similarity-weighted reward signals. Experiments on standard symbolic regression benchmarks, together with extensive ablations, show that GCN-SR consistently outperforms strong neural and hybrid baselines.
","absKo":"Symbolic regression은 데이터로부터 해석 가능한 수학적 expression을 발견하며, scientific modeling의 핵심이다. 최근의 neural approach는 일반적으로 expression tree를 순차 생성하기 위해 token sequence로 linearize하지만, 이러한 표현은 기반이 되는 hierarchy 접근성을 약화시키고 structure-dependent constraint를 강제하기 어렵게 만든다. hybrid neural--evolutionary framework는 neural generator와 genetic programming (GP)을 결합하지만, neural sample과 GP로 정제된 elite 사이의 distribution mismatch 때문에 학습이 불안정할 수 있다. 우리는 표현식을 명시적 tree 형태로 직접 생성하는 graph-based symbolic regression framework인 \\textbf{GCN-SR}을 제안한다. GCN-SR은 \\textbf{Symbolic Perfect Binary Trees (SPBTs)}를 도입하는데, 이는 batched tree generation을 가능하게 하고 hierarchy 구조를 보존하면서 Graph Convolutional Network (GCN) 기반 autoregressive generator를 지원하는 고정 topology scaffold이다. GP refinement를 불안정한 target matching 없이 활용하기 위해, 우리는 추가로 \\textbf{Similarity-Weighted Policy Gradient (SWPG)}를 도입하며, 이는 GP를 similarity-weighted reward signal 구성에만 사용한다. 표준 symbolic regression benchmark에 대한 실험과 광범위한 ablation 결과, GCN-SR이 강력한 neural 및 hybrid baseline을 일관되게 능가함을 보여준다.
"},{"id":"62018","en":"Walrus: A Cross-domain Foundation Model for Continuum Dynamics","ko":"Walrus: continuum dynamics를 위한 cross-domain foundation model","authors":"Michael McCabe, Payel Mukhopadhyay, Tanya Marwah, Bruno Régaldo-Saint Blancard, François Rozet, Cristiana Diaconu, Lucas Meyer, Kaze Wong, Hadi Sotoudeh, Alberto Bietti, Irina Espejo, Rio Fear, Siavash Golkar, Tom Hehir, Keiya Hirashima, Geraud Krawezik, Francois Lanusse, Rudy Morel, Ruben Ohana, Liam Parker, Mariel Pettee, Jeff Shen, Kyunghyun Cho, Miles Cranmer, Shirley Ho","pos":"#1105","link":"https://openreview.net/forum?id=kcyOjXoUZu","abs":"Foundation models have transformed machine learning for language and vision, but achieving comparable impact in physical simulation remains a challenge. Data heterogeneity and unstable long-term dynamics inhibit learning from sufficiently diverse dynamics, while varying resolutions and dimensionalities challenge efficient training on modern hardware. Through empirical and theoretical analysis, we incorporate new approaches to mitigate these obstacles, including a harmonic-analysis–based stabilization method, load-balanced distributed 2D-3D training strategies, and compute-adaptive tokenization. Using these tools, we develop \\Walrus, a transformer-based foundation model developed primarily for fluid-like continuum dynamics. \\Walrus\\ is pretrained on nineteen diverse scenarios spanning astrophysics, geoscience, rheology, plasma physics, acoustics, and classical fluids. Experiments show that \\Walrus\\ outperforms prior foundation models on both short- and long-term prediction horizons on downstream tasks and across the breadth of pretraining data, while ablation studies confirm the value of our contributions to forecast stability, training throughput, and transfer performance over conventional approaches.
","absKo":"Foundation model은 language와 vision에서 machine learning을 혁신했지만, physical simulation에서 이에 준하는 영향을 달성하는 것은 여전히 어렵다. data heterogeneity와 불안정한 장기 dynamics는 충분히 다양한 dynamics로부터의 학습을 방해하고, 서로 다른 resolution과 dimensionality는 현대 hardware에서의 효율적인 training을 어렵게 만든다. 실증적 및 이론적 분석을 통해, 우리는 harmonic-analysis 기반 stabilization method, load-balanced distributed 2D-3D training 전략, compute-adaptive tokenization을 포함한 새로운 접근법들을 도입하여 이러한 장애를 완화한다. 이러한 도구를 사용하여, 우리는 주로 fluid-like continuum dynamics를 위해 개발된 transformer 기반 foundation model인 \\Walrus를 개발한다. \\Walrus\\는 astrophysics, geoscience, rheology, plasma physics, acoustics, classical fluids에 걸친 19개의 다양한 시나리오로 pretraining되었다. 실험 결과 \\Walrus\\는 downstream task와 pretraining data의 전체 범위에 걸쳐 short-term 및 long-term prediction horizon 모두에서 기존 foundation model을 능가하며, ablation study는 forecast stability, training throughput, transfer performance 측면에서 우리의 기여가 기존 접근법보다 가치가 있음을 확인한다.
"},{"id":"65355","en":"RESIDUAL-GUIDED MULTI-RESOLUTION REFINEMENT OF FOUNDATION MODELS - A CASE STUDY IN DROUGHT FORECASTING","ko":"Foundation Model의 잔차 기반 다중 해상도 정교화 - 가뭄 예측 사례 연구","authors":"Wentao Gao, Jiuyong Li, Lin Liu, Thuc Le, Jixue Liu, Yanchang Zhao, Yun Chen","pos":"#1208","link":"https://openreview.net/forum?id=ERCbhCrHo3","abs":"Regional climate prediction presents unique challenges for time series foundation models, which typically process temporal patterns through a single-pass inference. Expert climatologists, in contrast, employ multi-scale temporal analysis and iterative refinement based on systematic error diagnosis. We present RGMR (Residual-Guided Multi-Resolution Refinement), an inference-time framework that adapts pre-trained foundation models to perform structured multi-scale reasoning for climate forecasting without parameter modification. Our approach combines hierarchical coarse-to-fine prediction refinement with residual-guided error correction; together, they systematically address prediction failures at each resolution level. Applied to drought forecasting using the Standardized Precipitation Evapotranspiration Index (SPEI), RGMR consistently enhances foundation model performance across diverse climate regions within an Australian regional area. Experimental results demonstrate substantial improvements over direct foundation model application, achieving up to 18.9\\% reduction in mean squared error, 10.2\\% reduction in root mean squared error, and 21.1\\% relative gain in $R^2$ when applied to TimesFM, with the largest benefits observed in climatologically complex regions where multi-scale temporal dynamics are most pronounced. The framework's inference-time operation enables immediate deployment on existing operational climate prediction systems without model retraining, offering a practical solution for enhancing foundation model capabilities in specialized forecasting domains.","absKo":"지역 기후 예측은 일반적으로 temporal pattern을 단일 패스로 추론하는 time series foundation model에 고유한 도전을 제시한다. 반면 전문가 기후학자들은 체계적인 오류 진단에 기반한 다중 스케일 temporal analysis와 반복적 정교화를 활용한다. 우리는 파라미터 수정 없이 사전 학습된 foundation model이 기후 예측을 위해 구조화된 multi-scale reasoning을 수행하도록 적응시키는 inference-time framework인 RGMR(Residual-Guided Multi-Resolution Refinement)을 제시한다. 우리의 접근은 계층적 coarse-to-fine prediction refinement와 residual-guided error correction을 결합하며, 이 둘이 함께 각 resolution level에서의 예측 실패를 체계적으로 해결한다. Standardized Precipitation Evapotranspiration Index(SPEI)를 사용한 가뭄 예측에 적용했을 때, RGMR는 Australian regional area 내 다양한 기후 지역 전반에서 foundation model의 성능을 일관되게 향상시킨다. 실험 결과는 TimesFM에 적용했을 때 mean squared error를 최대 18.9\\% 감소시키고, root mean squared error를 10.2\\% 감소시키며, $R^2$에서 21.1\\%의 상대적 향상을 달성하는 등 direct foundation model application 대비 상당한 개선을 보여주었고, multi-scale temporal dynamics가 가장 두드러지는 기후적으로 복잡한 지역에서 가장 큰 이득이 관찰되었다. 이 framework의 inference-time 동작은 model retraining 없이 기존 operational climate prediction system에 즉시 배포할 수 있게 하여, 특화된 forecasting domain에서 foundation model의 역량을 향상시키는 실용적 해법을 제공한다."},{"id":"63490","en":"STFlow: Data-Coupled Flow Matching for Geometric Trajectory Simulation","ko":"STFlow: 기하학적 궤적 시뮬레이션을 위한 데이터 결합 Flow Matching","authors":"Kiet Bennema ten Brinke, Koen Minartz, Vlado Menkovski","pos":"#1210","link":"https://openreview.net/forum?id=Wiwfiew7Y4","abs":"Simulating trajectories of dynamical systems is a fundamental problem in a wide range of fields such as molecular dynamics, biochemistry, and pedestrian dynamics. Machine learning has become an invaluable tool for scaling physics-based simulators and developing models directly from experimental data. In particular, recent advances in deep generative modeling and geometric deep learning enable probabilistic simulation by learning complex trajectory distributions while respecting intrinsic permutation and time-shift symmetries. However, trajectories of N-body systems are commonly characterized by high sensitivity to perturbations leading to bifurcations, as well as multi-scale temporal and spatial correlations. To address these challenges, we introduce STFlow (Spatio-Temporal Flow), a generative model based on graph neural networks and hierarchical convolutions. By incorporating data-dependent couplings within the Flow Matching framework, STFlow denoises starting from conditioned random-walks instead of Gaussian noise. This novel informed prior simplifies the learning task by reducing transport cost, increasing training and inference efficiency. We validate our approach on N-body systems, molecular dynamics, and human trajectory forecasting. Across these benchmarks, STFlow achieves the lowest prediction errors with fewer simulation steps and improved scalability.
","absKo":"dynamical system의 trajectory를 시뮬레이션하는 일은 molecular dynamics, biochemistry, pedestrian dynamics와 같은 다양한 분야에서 근본적인 문제이다. machine learning은 physics-based simulator를 확장하고 experimental data로부터 직접 model을 개발하는 데 없어서는 안 될 도구가 되었다. 특히 deep generative modeling과 geometric deep learning의 최근 발전은 고유한 permutation 및 time-shift symmetry를 보존하면서 복잡한 trajectory distribution을 학습해 probabilistic simulation을 가능하게 한다. 그러나 N-body system의 trajectory는 일반적으로 bifurcation으로 이어지는 perturbation에 대한 높은 민감도와 multi-scale temporal 및 spatial correlation으로 특징지어진다. 이러한 도전을 해결하기 위해, 우리는 graph neural network와 hierarchical convolution에 기반한 generative model STFlow(Spatio-Temporal Flow)를 도입한다. Flow Matching framework 내에 data-dependent coupling을 통합함으로써, STFlow는 Gaussian noise 대신 conditioned random-walk에서 시작해 denoising을 수행한다. 이러한 새로운 informed prior는 transport cost를 줄이고 training 및 inference 효율을 높여 학습 과제를 단순화한다. 우리는 N-body system, molecular dynamics, human trajectory forecasting에서 이 접근법을 검증한다. 이러한 benchmark 전반에서 STFlow는 더 적은 simulation step과 향상된 scalability로 가장 낮은 prediction error를 달성한다.
"},{"id":"66311","en":"Semi-Supervised Neural Super-Resolution for Mesh-Based Simulations","ko":"메시 기반 시뮬레이션을 위한 준지도 신경 초해상도","authors":"Jiyeon Kim, Youngjoon Hong, Won-Yong Shin","pos":"#1213","link":"https://openreview.net/forum?id=4ohxGjPD5Z","abs":"Mesh-based simulations provide high-fidelity solutions to partial differential equations (PDEs), but achieving such accuracy typically requires fine meshes, leading to substantial computational overhead. Super-resolution techniques aim to mitigate this cost by reconstructing high-resolution (HR), high-fidelity solutions from low-cost, low-resolution (LR) counterparts. However, training neural networks for super-resolution often demands large amounts of expensive HR supervision data. To address this challenge, we propose SuperMeshNet, an HR data-efficient super-resolution framework for mesh-based simulations aided by message passing neural networks (MPNNs). As its core, SuperMeshNet introduces complementary learning, a semi-supervised approach that effectively leverages both 1) a small amount of paired LR-HR data and 2) abundant unpaired LR data via two jointly trained, complementary MPNN-based models. Additionally, our model is enriched by inductive biases, which is empirically shown to further improve super-resolution performance. Extensive experiments demonstrate that SuperMeshNet requires 90% less HR data to achieve even lower root mean square error (RMSE) than that of the fully supervised benchmark without the inductive biases. The source code and datasets are available at https://anonymous.4open.science/r/SuperMeshNet/README.md.
","absKo":"Mesh-based simulation은 partial differential equations (PDEs)에 대해 고정밀 해를 제공하지만, 그러한 정확도를 달성하려면 대개 fine mesh가 필요해 상당한 계산 오버헤드가 발생합니다. Super-resolution 기법은 저비용의 low-resolution (LR) 결과로부터 high-resolution (HR), 고정밀 해를 재구성하여 이러한 비용을 완화하는 것을 목표로 합니다. 그러나 super-resolution을 위한 neural network 학습은 종종 대량의 비싼 HR supervision data를 요구합니다. 이 문제를 해결하기 위해 우리는 message passing neural networks (MPNNs)의 도움을 받는 mesh-based simulation용 HR data-efficient super-resolution framework인 SuperMeshNet을 제안합니다. 핵심적으로 SuperMeshNet은 complementary learning을 도입하는데, 이는 두 개의 공동 학습되는 상보적 MPNN 기반 model을 통해 1) 소량의 paired LR-HR data와 2) 풍부한 unpaired LR data를 효과적으로 활용하는 semi-supervised 접근법입니다. 또한 우리의 model은 inductive bias로 강화되며, 이는 실험적으로 super-resolution 성능을 추가로 향상시키는 것으로 나타났습니다. 광범위한 실험은 SuperMeshNet이 inductive bias가 없는 fully supervised benchmark보다 더 낮은 root mean square error (RMSE)를 달성하는 데 HR data를 90% 적게 필요로 함을 보여줍니다. 소스 코드와 데이터셋은 https://anonymous.4open.science/r/SuperMeshNet/README.md 에서 उपलब्ध합니다.
"},{"id":"62559","en":"StormInsight: Hierarchical Environmental Forcing and Vertical Coupling for Weather System Evolution","ko":"StormInsight: 기상계의 진화를 위한 계층적 환경 강제 및 수직 결합","authors":"Jun Chen, Yan Fang, Minghui Qiu, Yueran Qiu, Lin CHEN, Shuxin Zhong, Yu ZHANG, Kaishun WU","pos":"#1215","link":"https://openreview.net/forum?id=fYLR5f1Xq2","abs":"Nowcasting forms the first line of defense against rapidly evolving weather hazards, where even minutes of delay can lead to severe societal impacts. However, existing systems predominantly extrapolate 2D radar reflectivity, which struggles under rapid intensification regimes. We introduce \\N, a multi-scale modeling framework that enables coherent reconstruction of the three-dimensional evolution of convective systems while explicitly conditioning on the ambient environment. \\N\\ integrates multi-source observations—including radar, satellite, and station—with reanalysis fields through two components: (i) \\texttt{\\ComponentA} that explicitly disentangles convective system state form vertical thermodynamic coupling and large-scale environmental forcing; (ii) \\texttt{\\ComponentB} that predicts future echos by adaptively aggregating cross-layer interactions conditioned on evolving environmental conditions. To support comprehensive evaluation, we build a new benchmark \\texttt{StormBench} that integrates observational and reanalysis data across regions. On this benchmark,~\\N\\ consistently achieves the best performance, reducing MAE by 12.4\\% and improving the mCSI by 34.0\\%. \\textit{Dataset and code will be released after the review process}.
","absKo":"급격히 변화하는 기상 재해에 대한 첫 번째 방어선으로 nowcasting은 작동하며, 몇 분의 지연만으로도 심각한 사회적 영향을 초래할 수 있다. 그러나 기존 시스템은 주로 2D radar reflectivity를 외삽하는 데 그치며, 이는 rapid intensification regime에서 특히 취약하다. 우리는 주변 환경을 명시적으로 조건화하면서 대류 시스템의 3차원 진화를 일관되게 재구성할 수 있는 multi-scale modeling framework인 \\N을 제안한다. \\N\\은 radar, satellite, station을 포함한 multi-source observations와 reanalysis fields를 두 개의 구성 요소를 통해 통합한다: (i) \\texttt{\\ComponentA}는 대류 시스템 상태를 수직 thermodynamic coupling 및 대규모 환경 forcing으로부터 명시적으로 분리하고, (ii) \\texttt{\\ComponentB}는 변화하는 환경 조건에 조건화된 cross-layer interactions를 적응적으로 집계하여 미래 echos를 예측한다. 포괄적인 평가를 지원하기 위해, 우리는 지역 전반의 observational 및 reanalysis data를 통합한 새로운 benchmark \\texttt{StormBench}를 구축했다. 이 benchmark에서 \\N\\은 일관되게 최고 성능을 달성했으며, MAE를 12.4\\% 감소시키고 mCSI를 34.0\\% 향상시켰다. \\textit{Dataset과 code는 review process 이후 공개될 예정이다}.
"},{"id":"60992","en":"MMClima: A Framework for Multimodal Climate Science Data and Evaluation","ko":"MMClima: 멀티모달 기후과학 데이터와 평가를 위한 프레임워크","authors":"Muhammad Umer Sheikh, Hassan Abid, Khawar shehzad, Ufaq Khan, Muhammad Haris Khan","pos":"#1301","link":"https://openreview.net/forum?id=uiyDqAVhr9","abs":"Climate change research increasingly requires AI systems that reason across text, dynamic visual content, and scientific figures, yet existing climate QA benchmarks are small, mostly textual, and cover a narrow range of models. We introduce MMClima, a large-scale multimodal climate question answering framework with over 104k expert-validated question–answer pairs spanning articles, video transcriptions, and figures across five core climate science domains. MMClima is constructed via automated claim extraction and QA synthesis with human-in-the-loop validation to ensure both scale and reliability. Using MMClima, we benchmark state-of-the-art multimodal language models on tasks requiring factual recall, visual interpretation, and cross-modal synthesis. We additionally fine-tune on the textual split to produce mmclima-70b-txt, a domain-adapted baseline that outperforms strong open- and closed-source models on textual QA. We release the dataset, evaluation pipeline, fine-tuned model weights, and data creation framework to support standardized multimodal evaluation for climate science.
","absKo":"기후 변화 연구는 점점 더 text, dynamic visual content, scientific figure 전반에서 추론할 수 있는 AI 시스템을 필요로 하지만, 기존 climate QA benchmark는 규모가 작고 대부분 텍스트 기반이며, 다루는 model의 범위도 좁다. 우리는 다섯 개의 핵심 climate science domain에 걸쳐 article, video transcription, figure를 아우르는 104k개 이상의 전문가 검증 question-answer pair를 포함하는 대규모 multimodal climate question answering framework인 MMClima를 제안한다. MMClima는 규모와 신뢰성을 모두 보장하기 위해 자동 claim extraction과 QA synthesis에 human-in-the-loop validation을 결합하여 구축되었다. MMClima를 사용해 우리는 사실 회상(factual recall), 시각 해석(visual interpretation), cross-modal synthesis를 요구하는 task에서 최신 multimodal language model을 benchmark한다. 또한 textual split으로 fine-tuning하여 mmclima-70b-txt를 생성했는데, 이는 텍스트 QA에서 강력한 open-source 및 closed-source model을 능가하는 domain-adapted baseline이다. 우리는 기후 과학을 위한 표준화된 multimodal evaluation을 지원하기 위해 dataset, evaluation pipeline, fine-tuned model weight, data creation framework를 공개한다.
"},{"id":"66236","en":"Learning to Think in Physics: Breaking Shortcut Learning in Scientific Diffusion via Representation Alignment","ko":"물리로 사고하기 학습: 표현 정렬을 통한 과학적 Diffusion에서의 지름길 학습 타파","authors":"Haozhe Jia, Pengyu Yin, Wenshuo Chen, Shaofeng Liang, Lei Wang, Bowen Tian, Xiucheng Wang, Jia Nanqian, Yutao Yue","pos":"#1303","link":"https://openreview.net/forum?id=5YEsi7Zovy","abs":"Physics-informed diffusion models typically impose PDE constraints only on the final output, leaving intermediate features unconstrained. This can enable shortcut solutions that fit training statistics yet generalize poorly under shifted boundary conditions. We introduce \\textbf{REPA-P}, a \\emph{teacher-free} physics-informed representation alignment framework that uses first-principles residuals as supervision. REPA-P attaches lightweight projection heads to a few early/mid layers of a diffusion backbone, decodes hidden activations into physical states, and applies PDE and boundary-condition residual losses to these intermediate predictions during training. The heads are discarded at inference, preserving the original architecture and sampling cost. Across three 2D scientific field benchmarks (Darcy flow, topology optimization, and Electrostatic Charge Potential), REPA-P accelerates convergence, reduces physics residuals by up to 80\\%, and improves out-of-distribution robustness to boundary-condition shifts while maintaining generation quality with zero inference overhead. Ablations show that supervising only a small set of intermediate layers captures most gains and complements output-level physics losses.
","absKo":"Physics-informed diffusion models는 일반적으로 최종 출력에만 PDE 제약을 부과하고 중간 특징에는 제약을 두지 않는다. 이로 인해 훈련 통계에는 맞지만 경계 조건이 변하면 일반화가 떨어지는 shortcut solution이 가능해진다. 우리는 \\textbf{REPA-P}를 제안한다. 이는 first-principles residual을 supervision으로 사용하는 \\emph{teacher-free} physics-informed representation alignment framework이다. REPA-P는 diffusion backbone의 초기/중간 몇 개 레이어에 경량 projection head를 부착하고, hidden activation을 physical state로 decode한 뒤, 훈련 중 이러한 중간 예측에 PDE 및 boundary-condition residual loss를 적용한다. 추론 시에는 head를 제거하므로 원래의 architecture와 sampling cost가 그대로 유지된다. Darcy flow, topology optimization, Electrostatic Charge Potential의 세 가지 2D scientific field benchmark에서 REPA-P는 수렴을 가속하고, physics residual을 최대 80\\%까지 줄이며, generation quality를 유지하면서도 추론 오버헤드 없이 boundary-condition shift에 대한 out-of-distribution robustness를 향상시킨다. Ablation 결과, 소수의 intermediate layer만 supervision해도 대부분의 성능 향상을 포착할 수 있으며 output-level physics loss와도 상호 보완적임을 보여준다.
"},{"id":"60531","en":"Learning to Emulate Chaos: Adversarial Optimal Transport Regularization","ko":"Chaos 모방 학습: Adversarial Optimal Transport Regularization","authors":"Gabriel Melo, Leonardo Santiago, Peter Y. Lu","pos":"#1304","link":"https://openreview.net/forum?id=zIHEctNlcP","abs":"Chaos arises in many complex dynamical systems, from weather to power grids, but is difficult to accurately model using data-driven emulators, including neural operator architectures. For chaotic systems, the inherent sensitivity to initial conditions makes exact long-term forecasts theoretically infeasible, meaning that traditional squared-error losses often fail when trained on noisy data. Recent work has focused on training emulators to match the statistical properties of chaotic attractors by introducing regularization based on handcrafted local features and summary statistics, as well as learned statistics extracted from a diverse dataset of trajectories. In this work, we propose a family of adversarial optimal transport objectives that jointly learn high-quality summary statistics and a physically consistent emulator, all from a single trajectory. We theoretically analyze and experimentally validate a Sinkhorn divergence formulation (2-Wasserstein) and a WGAN-style dual formulation (1-Wasserstein). Our experiments across a variety of chaotic systems, including systems with high-dimensional chaotic attractors, show that emulators trained with our approach exhibit significantly improved long-term statistical fidelity.
","absKo":"Chaos는 날씨부터 전력망에 이르기까지 많은 복잡한 동역학 시스템에서 나타나지만, neural operator architecture를 포함한 데이터 기반 emulator로 정확하게 모델링하기 어렵다. chaotic system에서는 초기 조건에 대한 본질적 민감성 때문에 정확한 장기 예측이 이론적으로 불가능하므로, 전통적인 squared-error loss는 노이즈가 있는 데이터로 학습할 때 종종 실패한다. 최근 연구는 수작업으로 설계한 local feature와 summary statistic, 그리고 다양한 trajectory 데이터셋에서 추출한 학습된 통계를 기반으로 regularization을 도입하여 chaotic attractor의 통계적 성질을 맞추도록 emulator를 학습하는 데 집중해 왔다. 본 연구에서는 단일 trajectory만으로 고품질 summary statistic과 물리적으로 일관된 emulator를 함께 학습하는 adversarial optimal transport objective의 한 계열을 제안한다. 우리는 Sinkhorn divergence formulation(2-Wasserstein)과 WGAN-style dual formulation(1-Wasserstein)을 이론적으로 분석하고 실험적으로 검증한다. 고차원 chaotic attractor를 포함한 다양한 chaotic system에 걸친 실험 결과, 우리의 접근으로 학습된 emulator가 장기적인 통계적 충실도(statistical fidelity)에서 현저히 향상됨을 보인다."},{"id":"60525","en":"LangPrecip: Language-Aware Multimodal Precipitation Nowcasting","ko":"LangPrecip: 언어 인식 멀티모달 강수 초단기 예측","authors":"Xudong Ling, Lichaorong, Huang Tianxi, Qian Dong, Guiduo Duan","pos":"#1307","link":"https://openreview.net/forum?id=zNVyFEuP1n","abs":"Short-term precipitation nowcasting is inherently under-constrained due to limited historical observation windows: identical observations can lead to multiple plausible future trajectories, especially for extreme events. Existing generative methods rely solely on visual features and lack explicit constraints on precipitation motion semantics, resulting in ambiguous dynamics, blurred details, and unstable predictions. We propose LangPrecip, the first language-guided precipitation nowcasting framework, and contribute LangPrecip-160K, a large-scale radar-text paired dataset with 160K annotated sequences. LangPrecip addresses the under-constrained challenge by leveraging natural-language motion descriptions as explicit semantic constraints to reduce motion ambiguity and introducing a dual-path wavelet consistency unfolding decoder that enforces physical data fidelity during latent-to-pixel reconstruction. By reformulating nowcasting as semantically constrained trajectory generation under the Rectified Flow paradigm with model-based decoder optimization, LangPrecip produces sharper and more physically consistent forecasts. Experiments on Swedish and MRMS benchmarks demonstrate substantial improvements over state-of-the-art vision-only methods, achieving over 60\\% and 19\\% relative gains in heavy-rainfall CSI at 80-minute lead time with enhanced spatial detail preservation.
","absKo":"단기 강수 nowcasting은 제한된 과거 관측 윈도우 때문에 본질적으로 under-constrained이다. 동일한 관측값이 여러 개의 그럴듯한 미래 trajectory로 이어질 수 있으며, 특히 극한 현상에서 더욱 그렇다. 기존 generative 방법은 시각적 특징에만 의존하고 강수 motion의 semantic에 대한 명시적 제약이 없어, 모호한 dynamics, 흐릿한 세부 정보, 불안정한 예측을 초래한다. 우리는 첫 번째 language-guided precipitation nowcasting framework인 LangPrecip를 제안하고, 160K개의 주석 시퀀스를 포함하는 대규모 radar-text paired dataset인 LangPrecip-160K를 제공한다. LangPrecip는 자연어 motion description을 명시적 semantic constraint로 활용해 motion ambiguity를 줄이고, dual-path wavelet consistency unfolding decoder를 도입해 latent-to-pixel reconstruction 동안 물리적 데이터 충실도를 강제함으로써 under-constrained 문제를 해결한다. Rectified Flow 패러다임 아래 model-based decoder optimization과 함께 nowcasting을 semantic constrained trajectory generation으로 재정식화함으로써, LangPrecip는 더 선명하고 더 물리적으로 일관된 예측을 생성한다. Swedish 및 MRMS 벤치마크 실험은 최첨단 vision-only 방법들에 비해 큰 폭의 개선을 보여주며, 80분 lead time에서 heavy-rainfall CSI의 상대 향상률이 60\\% 및 19\\%를 넘고 공간적 세부 보존도 향상된다.
"},{"id":"63633","en":"Generative Adaptation of Dynamics to Environmental Shifts via Weight-space Diffusion","ko":"weight-space diffusion을 통한 환경 변화에 대한 동역학의 생성적 적응","authors":"Ruikun Li, Huandong Wang, Jingtao Ding, Yuan Yuan, Qingmin Liao, Yong Li","pos":"#1312","link":"https://openreview.net/forum?id=VFCf4CSfzw","abs":"Data-driven dynamics prediction often fails under environmental shifts, while traditional fine-tuning remains computationally prohibitive for hardware-constrained or data-scarce applications. We propose DynaDiff, a generative meta-learning framework that transitions the paradigm from gradient-based tuning or modulation to direct weight-space generation. Specifically, we first abstract expert weights as novel weight graphs, utilizing multi-head attention to explicitly capture topological coupling within weights. Subsequently, we design a functional loss to ensure that the generated models achieve consistency with expert models in physical behavior. Finally, we develop a dynamics-informed prompter that extracts cross-domain physical and spectral features from observation sequences to condition the diffusion model. Experiments demonstrate that DynaDiff boosts average prediction accuracy by 10.78\\% over competitive baselines. Furthermore, by pre-constructing a model zoo of expert predictors, we amortize the fine-tuning overhead into a one-time offline cost, significantly boosting deployment efficiency in new environments.
","absKo":"데이터 기반 dynamics prediction은 환경 변화가 생기면 종종 실패하는 반면, 전통적인 fine-tuning은 하드웨어 제약이 있거나 데이터가 부족한 응용에서 계산적으로 지나치게 비싸다. 우리는 gradient 기반 tuning이나 modulation에서 직접 weight-space generation으로 패러다임을 전환하는 generative meta-learning framework인 DynaDiff를 제안한다. 구체적으로, 우리는 먼저 expert weight를 새로운 weight graph로 추상화하고, multi-head attention을 활용해 weight 내부의 topological coupling을 명시적으로 포착한다. 그 다음, 생성된 모델이 physical behavior에서 expert model과 일관성을 이루도록 functional loss를 설계한다. 마지막으로, observation sequence에서 cross-domain physical 및 spectral feature를 추출하여 diffusion model의 조건으로 사용하는 dynamics-informed prompter를 개발한다. 실험 결과 DynaDiff는 경쟁 baseline 대비 평균 예측 정확도를 10.78\\% 향상시킨다. 더 나아가 expert predictor로 구성된 model zoo를 사전에 구축함으로써, fine-tuning 오버헤드를 일회성 offline 비용으로 상쇄하여 새로운 환경에서의 배포 효율을 크게 높인다.
"},{"id":"64177","en":"A Geometric Lens on Physics-Aligned Data Compression","ko":"물리 정렬 데이터 압축에 대한 기하학적 관점","authors":"Aleix Segui, Wesley Armour","pos":"#1402","link":"https://openreview.net/forum?id=QEEwlgt8PI","abs":"In AI for Science, physics-informed losses are becoming popular to train learned compressors, but their rate-distortion consequences are poorly understood. We formalise this problem via a geometric framework, showing that physics-aware compression is governed by the interaction of two Riemannian structures in latent space: a Hessian-based physics sensitivity geometry induced by the physical observable, and a rate geometry induced by the entropy model. This theoretical view yields an explicit mechanism for error allocation: the codec concentrates precision along spectrally stiff and rate-expensive directions, while pushing uncertainty into directions that are weakly sensed by the physical observable. We prove fundamental limits from this alignment: (i) rate-efficient preservation is theoretically possible only when physical sensitivity is strongly anisotropic, and (ii) when physics and fidelity are not spectrally aligned, improving physical observables at fixed rate provably worsens standard distortion. We validate these predictions across chaotic fluid dynamics simulations, and introduce simple geometric alignment diagnostics that anticipate when physics-aligned training will succeed.
","absKo":"AI for Science에서 physics-informed loss는 learned compressor를 학습시키는 데 널리 사용되고 있지만, 그 rate-distortion 결과는 잘 이해되지 않았다. 우리는 이 문제를 기하학적 프레임워크로 정식화하여, physics-aware compression이 latent space에서 두 Riemannian structure의 상호작용에 의해 지배됨을 보인다. 하나는 physical observable에 의해 유도되는 Hessian 기반 physics sensitivity geometry이고, 다른 하나는 entropy model에 의해 유도되는 rate geometry이다. 이 이론적 관점은 error allocation의 명시적 메커니즘을 제공한다. codec은 spectrally stiff하고 rate가 비싼 방향을 따라 precision을 집중시키는 반면, physical observable이 약하게 감지하는 방향으로 uncertainty를 밀어 넣는다. 우리는 이러한 alignment로부터 근본적 한계를 증명한다. (i) rate-efficient preservation은 physical sensitivity가 강하게 anisotropic할 때에만 이론적으로 가능하고, (ii) physics와 fidelity가 spectrally aligned되어 있지 않으면, 고정된 rate에서 physical observable을 개선하는 것이 표준 distortion을 필연적으로 악화시킨다. 우리는 chaotic fluid dynamics simulation 전반에서 이러한 예측을 검증하고, physics-aligned training이 성공할 시점을 미리 알려주는 간단한 geometric alignment diagnostic을 도입한다.
"},{"id":"63827","en":"AutoMat: Physics-Guided Agentic Reasoning for Solving Ill-Posed Inverse Microscopy Problems","ko":"AutoMat: 난정형 역현미경 문제 해결을 위한 물리 유도 agentic reasoning","authors":"Yaotian Yang, Yiwen Tang, Yizhe Chen, Xiao Chen, Jiangjie Qiu, Hao Xiong, Haoyu Yin, Zhiyao Luo, Yifei Zhang, Sijia Tao, Wentao Li, Qinghua Zhang, Yuqiang Li, Wanli Ouyang, Bin Zhao, Xiaonan Wang, Fei Wei","pos":"#1403","link":"https://openreview.net/forum?id=TLroFiKilA","abs":"Reconstructing atomistic crystal structures from a single noisy STEM projection is an ill-posed inverse problem: multiple lattices can explain similar contrast, and purely feed-forward models cannot verify physical validity. We present AutoMat, a failure-aware agentic controller that performs inference-time hypothesis search with closed-loop verification to convert Scanning Transmission Electron Microscopy (STEM) images into simulation-ready crystal structures and downstream properties. AutoMat composes perception and physics modules—pattern-adaptive denoising, physics-guided template retrieval (as a fallback), symmetry-constrained atomic reconstruction, and MLIP-based relaxation/validation—and triggers rollback-and-retry when verification fails. For systematic evaluation, we introduce STEM2Mat-Bench, a benchmark dataset containing 450+ annotated samples. Performance is assessed using lattice root-mean-square deviation (RMSD), formation energy mean absolute error (MAE), and structure matching accuracy. Results demonstrate that AutoMat outperforms existing approaches including SOTA models, specialized domain tools, and closed-source multimodal large models. This work establishes a direct pathway from microscopic characterization to atomic-scale modeling, addressing a fundamental challenge in materials science.
","absKo":"단일 노이즈가 포함된 STEM projection으로부터 원자 수준 결정 구조를 재구성하는 것은 ill-posed inverse problem이다. 여러 lattice가 유사한 contrast를 설명할 수 있고, 순수 feed-forward 모델은 물리적 타당성을 검증할 수 없기 때문이다. 우리는 AutoMat을 제안한다. 이는 실패를 인지할 수 있는 agentic controller로서, inference-time hypothesis search와 closed-loop verification을 수행하여 Scanning Transmission Electron Microscopy (STEM) 이미지를 simulation-ready crystal structure와 downstream property로 변환한다. AutoMat은 perception과 physics 모듈을 구성적으로 결합한다. 구체적으로 pattern-adaptive denoising, physics-guided template retrieval(backup), symmetry-constrained atomic reconstruction, MLIP-based relaxation/validation을 수행하며, verification에 실패하면 rollback-and-retry를 트리거한다. 체계적인 평가를 위해 450개 이상의 annotated sample을 포함하는 benchmark dataset인 STEM2Mat-Bench를 새로 소개한다. 성능은 lattice root-mean-square deviation (RMSD), formation energy mean absolute error (MAE), structure matching accuracy로 평가한다. 결과는 AutoMat이 SOTA models, specialized domain tools, closed-source multimodal large models를 포함한 기존 접근법보다 우수함을 보여준다. 이 연구는 미시적 characterization에서 원자 규모 modeling으로 직접 이어지는 경로를 확립하며, materials science의 근본적 과제를 해결한다.
"},{"id":"64979","en":"Beyond Continuity: Simulation-free Reconstruction of Discrete Branching Dynamics from Single-cell Snapshots","ko":"연속성을 넘어서: 단일 세포 스냅샷으로부터 이산 분기 동역학의 Simulation-free 재구성","authors":"Junda Ying, Yuxuan Wang, Bowen Yang, Peijie Zhou, Lei Zhang","pos":"#1405","link":"https://openreview.net/forum?id=IABjbJlinz","abs":"Inferring cellular trajectories from destructive snapshots is complicated by the challenges of stochasticity and non-conservative mass dynamics such as cell proliferation and apoptosis. Existing unbalanced Optimal Transport (OT) methods treat mass as a continuous fluid, performing inference at the population level. However, this macroscopic view often fails to capture the discrete, jump-like nature of birth-death events at single-cell resolution, which is essential for understanding lineage branching and fate decisions. We present Unbalanced Schrödinger Bridge (USB), a simulation-free framework for learning underlying dynamics that effectively integrates both stochastic and unbalanced effects which also models the discrete, jump-like birth–death dynamics at single-cell resolution. Theoretically, USB provides a tractable solution to the Branching Schrödinger Bridge (BSB) problem, offering a rigorous microscopic interpretation where individual cells undergo both Brownian motion and discrete birth-death jumps. Technically, the method implements an efficient solver by introducing a simulation-free training objective that effectively scales to high-dimensional omics data. Empirically, we demonstrate on both simulated and real-world datasets that USB not only achieves trajectory reconstruction performance better than or comparable to deterministic baselines but also uniquely enables realistic discrete simulation of birth-death dynamics at single-cell resolution.
","absKo":"파괴적 snapshot으로부터 cellular trajectory를 추론하는 문제는 stochasticity와 cell proliferation 및 apoptosis와 같은 non-conservative mass dynamics의 도전으로 인해 복잡하다. 기존의 unbalanced Optimal Transport(OT) 방법은 mass를 연속적인 유체로 간주하여 population 수준에서 추론을 수행한다. 그러나 이러한 거시적 관점은 lineage branching과 fate decision을 이해하는 데 필수적인 single-cell resolution에서의 birth-death event의 discrete하고 jump-like한 특성을 포착하는 데 종종 실패한다. 우리는 stochastic 효과와 unbalanced 효과를 모두 효과적으로 통합하고, single-cell resolution에서 discrete하고 jump-like한 birth-death dynamics도 모델링하는 simulation-free 프레임워크인 Unbalanced Schrödinger Bridge(USB)를 제시한다. 이론적으로 USB는 Branching Schrödinger Bridge(BSB) 문제에 대한 tractable solution을 제공하며, 개별 세포가 Brownian motion과 discrete birth-death jump를 모두 겪는 엄밀한 microscopic interpretation을 제시한다. 기술적으로 이 방법은 고차원 omics data에 효율적으로 확장되는 simulation-free training objective를 도입하여 효율적인 solver를 구현한다. 실증적으로 우리는 시뮬레이션 및 실제 데이터셋 모두에서 USB가 deterministic baseline보다 더 우수하거나 동등한 trajectory reconstruction 성능을 달성할 뿐 아니라, single-cell resolution에서 birth-death dynamics의 현실적인 discrete simulation을 독특하게 가능하게 함을 보여준다."},{"id":"63769","en":"BioDynaSpec: Harmonic-Guided Spatio-Spectral Autoregressive Diffusion for Protein Dynamics Generation","ko":"BioDynaSpec: Protein Dynamics 생성을 위한 조화파 안내 Spatio-Spectral Autoregressive Diffusion","authors":"Mujie Lin, Yutian Liu, Yudi Guo, Yanzhen Hou, Yiheng Tao, Ruochong Zheng, Kaiwen Cheng, Xin Shan, Youdong Mao, Jie Chen","pos":"#1406","link":"https://openreview.net/forum?id=TwMRZPkn4e","abs":"Generating long-horizon, all-atom molecular dynamics (MD) is difficult due to error accumulation in time-domain autoregressive models (causing drift) and fixed step-size constraints on temporal resolution. We propose **BioDynaSpec**, which reformulates protein dynamics as spatio-spectral generation: **Independent Windowed Fourier Decomposition (IWFD)** decomposes trajectories into independent windowed frequency representations, and a generator combines low-to-high frequency autoregression with diffusion denoising to reconstruct continuous motion. We introduce **Inter-Residue Frequency Coupling (IRFC)** bias, a learnable Gaussian distance bias in attention that injects a resonance-inspired structural prior to stabilize training and improve cross-residue, cross-frequency consistency. On ATLAS, BioDynaSpec improves 250-frame trajectory generation with $R_{250}=1.509$ Å (where $R_s$ denotes the mean per-frame C$\\alpha$-RMSE over the first $s$ frames after alignment), reducing error by 60.4\\% vs. MDGEN and 57.2\\% vs. ProAR, and achieves the best PCA-2D displacement-profile correlation and stepwise distribution matching. For equilibrium conformational sampling, it achieves Root Mean $W_2=1.31$, MD PCA $W_2=0.90$, and Joint PCA $W_2=1.19$ (50.03\\%, 35.25\\%, and 47.58\\% lower than the next best), while ablations show removing IRFC severely degrades RMSE/MAE and correlation.","absKo":"장기적 all-atom molecular dynamics (MD)를 생성하는 일은 time-domain autoregressive model에서 error accumulation이 일어나 drift가 발생하고, temporal resolution에 고정 step-size 제약이 존재하기 때문에 어렵다. 우리는 protein dynamics를 spatio-spectral generation으로 재구성하는 **BioDynaSpec**을 제안한다. **Independent Windowed Fourier Decomposition (IWFD)**는 trajectory를 독립적인 windowed frequency representation으로 분해하고, generator는 low-to-high frequency autoregression과 diffusion denoising을 결합하여 연속적인 motion을 재구성한다. 우리는 attention에 적용되는 학습 가능한 Gaussian distance bias인 **Inter-Residue Frequency Coupling (IRFC)** bias를 도입하여, resonance에서 영감을 받은 structural prior를 주입함으로써 학습을 안정화하고 residue 간, frequency 간 일관성을 향상시킨다. ATLAS에서 BioDynaSpec은 250-frame trajectory 생성에서 $R_{250}=1.509$ Å를 달성했는데(여기서 $R_s$는 alignment 후 처음 $s$개의 frame에 대한 frame별 C$\\alpha$-RMSE의 평균을 의미한다), 이는 MDGEN 대비 60.4\\%, ProAR 대비 57.2\\%의 오류 감소이다. 또한 PCA-2D displacement-profile correlation과 stepwise distribution matching에서 최고 성능을 달성한다. equilibrium conformational sampling에서는 Root Mean $W_2=1.31$, MD PCA $W_2=0.90$, Joint PCA $W_2=1.19$를 달성하며(차선 방법보다 각각 50.03\\%, 35.25\\%, 47.58\\% 낮음), ablation 결과는 IRFC를 제거하면 RMSE/MAE와 correlation이 크게 악화됨을 보여준다."},{"id":"64712","en":"CARD: Coarse-to-fine Autoregressive Modeling with Radix-based Decomposition for Transferable Free Energy Estimation","ko":"CARD: 이전 가능한 자유 에너지 추정을 위한 Radix 기반 분해를 활용한 Coarse-to-fine Autoregressive Modeling","authors":"Ziyang Yu, Yi He, Wenbing Huang, Wen Yan, Yang Liu","pos":"#1407","link":"https://openreview.net/forum?id=Kdc1UvnMKk","abs":"Estimating free energy differences quantifies thermodynamic preferences in molecular interactions, which is central to chemistry and drug discovery. Despite fruitful progress, existing methods still face key limitations: classical computational approaches remain prohibitively expensive due to their reliance on extensive molecular dynamics simulations, while deep learning-based methods are constrained by either less-expressive generative models or input dimensions tied to a specific system, resulting in negligible generalization. To address these challenges, we propose CARD, a generative framework that employs a novel radix-based decomposition to bijectively convert 3D coordinates into mixed discrete-continuous sequences, enabling coarse-to-fine autoregressive modeling with enhanced expressiveness. Notably, the model corresponds to a distribution with zero free energy, serving as a proposal for absolute free energy computation of arbitrary systems without relying on alchemical pathways. Experiments across diverse tasks demonstrate that CARD matches the accuracy of classical computational methods on unseen systems with diverse topologies, while achieving an approximately 40-fold speedup in inference.
","absKo":"free energy difference를 추정하는 것은 분자 상호작용에서 thermodynamic preference를 정량화하며, 이는 chemistry와 drug discovery의 핵심이다. 많은 진전에도 불구하고, 기존 방법은 여전히 중요한 한계를 가진다. 고전적 계산 접근법은 광범위한 molecular dynamics simulation에 의존하기 때문에 비용이 지나치게 크고, deep learning 기반 방법은 표현력이 낮은 generative model이거나 특정 시스템에 종속된 입력 차원에 제한되어 일반화가 거의 되지 않는다. 이러한 문제를 해결하기 위해, 우리는 3D coordinate를 mixed discrete-continuous sequence로 bijectively 변환하는 새로운 radix-based decomposition을 사용하는 generative framework인 CARD를 제안한다. 이를 통해 coarse-to-fine autoregressive modeling이 가능해지고 표현력이 향상된다. 특히 이 모델은 zero free energy를 갖는 distribution에 해당하며, alchemical pathway에 의존하지 않고 임의의 시스템에 대한 absolute free energy 계산을 위한 proposal로 기능한다. 다양한 task에 걸친 실험에서, CARD는 다양한 topology를 가진 보지 못한 시스템에서도 고전적 계산 방법과 맞먹는 정확도를 보이면서, inference 속도는 약 40배 향상시킨다.
"},{"id":"64336","en":"ClimateAR: Multi-Scale Autoregressive Generative Modeling for Seasonal-to-Interannual Climate Forecasting","ko":"ClimateAR: 계절 내지 연간 기후 예측을 위한 다중 스케일 자기회귀 생성 모델링","authors":"Yue Yu, Weiqi Chen, Binqing Wu, Dongliang Cui, Wanyi Jiang, Zongjiang Shang, Bo Wu, Liang Sun, Ling Chen","pos":"#1408","link":"https://openreview.net/forum?id=OdrEcfMogy","abs":"Accurate seasonal‑to‑interannual climate forecasting provides critical support for decision-making in agriculture, energy, and disaster preparedness. Current deterministic models often fail to capture climate uncertainty, while existing generative approaches oversimplify the system by neglecting key spatiotemporal dependencies and cross-scale interactions. To address these limitations, we introduce ClimateAR, an AutoRegressive generative model for probabilistic seasonal-to-interannual Climate forecasting. The framework incorporates two novel components: (1) an aligned tokenizer that bridges and aligns heterogeneous simulation and real-world data to improve transferability across domains, and (2) a mixed-scale conditioning mechanism that captures multi-scale climate interactions for robust probabilistic forecasting. Extensive evaluations on the ERA5 reanalysis dataset show that ClimateAR achieves state-of-the-art performance, improving anomaly correlation skill by 37.56\\% on average compared to leading baselines. The Code is available at https://anonymous.4open.science/r/ClimateAR-956D.
","absKo":"정확한 seasonal-to-interannual climate forecasting은 농업, 에너지, 재난 대비에서 의사결정에 중요한 지원을 제공한다. 현재의 deterministic model은 climate uncertainty를 포착하지 못하는 경우가 많고, 기존 generative approach는 핵심적인 spatiotemporal dependency와 cross-scale interaction을 간과함으로써 시스템을 지나치게 단순화한다. 이러한 한계를 해결하기 위해, 우리는 probabilistic seasonal-to-interannual climate forecasting을 위한 AutoRegressive generative model인 ClimateAR를 제안한다. 이 framework는 두 가지 새로운 component를 포함한다: (1) 이종의 simulation 데이터와 실제 세계 데이터를 연결하고 정렬하여 domain 간 transferability를 향상시키는 aligned tokenizer, (2) 견고한 probabilistic forecasting을 위해 multi-scale climate interaction을 포착하는 mixed-scale conditioning mechanism. ERA5 reanalysis dataset에 대한 광범위한 평가 결과, ClimateAR는 state-of-the-art 성능을 달성했으며, 선도적 baseline 대비 anomaly correlation skill을 평균 37.56\\% 향상시켰다. Code는 https://anonymous.4open.science/r/ClimateAR-956D 에서 제공된다.
"},{"id":"60564","en":"Di-BiLPS: Denoising induced Bidirectional Latent-PDE-Solver under Sparse Observations","ko":"Di-BiLPS: 희소 관측에서 잡음 제거 유도 양방향 Latent-PDE-Solver","authors":"Zhonghao Li, Chaoyu Liu, Qian Zhang","pos":"#1413","link":"https://openreview.net/forum?id=yylfMBpQ92","abs":"Partial differential equations (PDEs) are fundamental for modeling complex natural and physical phenomena. In many real-world applications, however, observational data are \\textbf{extremely sparse}, which severely limits the applicability of both classical numerical solvers and existing neural approaches. While neural methods have shown promising results under moderately sparse observations, their inference efficiency at high resolutions is limited, and their accuracy degrades substantially in the extremely sparse regime. In this work, we propose the \\textbf{Di-BiLPS}, a unified neural framework that effectively handle \\textbf{both forward and inverse} PDE problems under extremely sparse observations. Di-BiLPS combines a variational autoencoder to compress high-dimensional inputs into a compact latent space, a latent diffusion module to model uncertainty, and contrastive learning to align representations. Operating entirely in this latent space, the framework achieves efficient inference while retaining flexible input–output mapping. In addition, we introduce a \\textbf{PDE-informed denoising algorithm} based on a variance-preserving diffusion process, which further improves inference efficiency. Extensive experiments on multiple PDE benchmarks demonstrate that Di-BiLPS consistently achieves \\textbf{SOTA performance under extremely sparse inputs (as low as 3\\%)}, while substantially reducing computational cost. Moreover, Di-BiLPS enables \\textbf{zero-shot super-resolution}, as it allows predictions over continuous spatial–temporal domains.
","absKo":"편미분방정식(PDE)은 복잡한 자연 및 물리 현상을 모델링하는 데 핵심적이다. 그러나 많은 실제 응용에서는 관측 데이터가 \\textbf{극도로 희소}하여, 고전적인 수치 해법과 기존 신경망 기반 접근법 모두의 적용 가능성이 심각하게 제한된다. 신경망 방법은 중간 정도로 희소한 관측 하에서 유망한 결과를 보여 왔지만, 고해상도에서의 추론 효율은 제한적이며, 극도로 희소한 환경에서는 정확도가 크게 저하된다. 본 연구에서는 \\textbf{Di-BiLPS}를 제안한다. 이는 극도로 희소한 관측 하에서 \\textbf{forward 및 inverse} PDE 문제를 모두 효과적으로 다루는 통합 신경망 프레임워크이다. Di-BiLPS는 고차원 입력을 압축하기 위한 variational autoencoder, 불확실성 모델링을 위한 latent diffusion 모듈, 그리고 representation 정렬을 위한 contrastive learning을 결합한다. 전적으로 이 latent space에서 동작함으로써, 프레임워크는 유연한 input-output 매핑을 유지하면서도 효율적인 추론을 달성한다. 또한 variance-preserving diffusion process에 기반한 \\textbf{PDE-informed denoising algorithm}을 도입하여 추론 효율을 한층 더 개선한다. 여러 PDE benchmark에서 수행한 광범위한 실험은 Di-BiLPS가 극도로 희소한 입력(최소 3\\%)에서도 일관되게 \\textbf{SOTA performance}를 달성하면서 계산 비용을 크게 줄임을 보여준다. 더 나아가 Di-BiLPS는 연속적인 공간-시간 영역에 대한 예측을 가능하게 하므로 \\textbf{zero-shot super-resolution}도 지원한다.
"},{"id":"60806","en":"FRIGID: Scaling Diffusion-Based Molecular Generation from Mass Spectra at Training and Inference Time","ko":"FRIGID: 학습 및 추론 시 질량 스펙트럼 기반 Diffusion 분자 생성 확장","authors":"Montgomery Bohde, Hongxuan Liu, Mrunali Manjrekar, Magdalena Lederbauer, Shuiwang Ji, Runzhong Wang, Connor Coley","pos":"#1416","link":"https://openreview.net/forum?id=wTgx7b2D9r","abs":"Tandem mass spectrometry is prominent in scientific discovery workflows for identifying unknown small molecules, yet high-throughput structural elucidation remains challenging. While recent autoregressive and graph diffusion models have shown promise in de novo elucidation, performance remains limited by poor scalability during both training and inference time. In this work, we present FRIGID, a framework with a novel diffusion language model that generates molecular structures conditioned on mass spectra via intermediate fingerprint representations and determined chemical formulae, training at the scale of hundreds of millions of unlabeled structures. We then demonstrate how forward fragmentation models enable inference-time scaling by identifying spectrum-inconsistent fragments and refining them through targeted remasking and denoising. While FRIGID already achieves strong performance with its diffusion base, inference-time scaling significantly improves its accuracy, surpassing 15% Top-1 accuracy on the challenging MassSpecGym benchmark and more than doubling the Top-1 accuracy of the leading methods on NPLIB1. Further empirical analyses show that FRIGID exhibits log-linear performance scaling with increasing inference-time compute, opening a promising new direction for continued improvements in de novo structural elucidation.
","absKo":"tandem mass spectrometry는 알려지지 않은 small molecule을 식별하는 과학적 discovery workflow에서 중요한 위치를 차지하지만, high-throughput structural elucidation은 여전히 어렵다. 최근 autoregressive model과 graph diffusion model이 de novo elucidation에서 가능성을 보였지만, 학습과 추론 모두에서 낮은 scalability 때문에 성능이 제한된다. 이 연구에서 우리는 mass spectrum을 intermediate fingerprint representation과 결정된 chemical formula에 조건화하여 molecular structure를 생성하는 새로운 diffusion language model을 갖춘 프레임워크 FRIGID를 제시하며, 수억 개의 unlabeled structure 규모로 학습한다. 이어서 forward fragmentation model이 spectrum과 일치하지 않는 fragment를 식별하고 targeted remasking 및 denoising을 통해 이를 정제함으로써 inference-time scaling을 가능하게 함을 보인다. FRIGID는 diffusion base만으로도 이미 강력한 성능을 보이지만, inference-time scaling은 정확도를 크게 향상시켜 까다로운 MassSpecGym benchmark에서 15% 이상의 Top-1 accuracy를 달성하고 NPLIB1에서 선도 방법의 Top-1 accuracy를 두 배 이상 끌어올린다. 추가적인 실증 분석은 FRIGID가 inference-time compute가 증가함에 따라 log-linear한 성능 scaling을 보임을 보여주며, de novo structural elucidation의 지속적인 성능 향상을 위한 유망한 새로운 방향을 연다.
"},{"id":"66025","en":"Rex: A Family of Reversible Exponential (Stochastic) Runge-Kutta Solvers","ko":"Rex: 가역 지수 (확률적) Runge-Kutta 솔버 계열","authors":"Zander Blasingame, Chen Liu","pos":"#2402","link":"https://openreview.net/forum?id=7pQIzVNctu","abs":"Deep generative models based on neural differential equations have quickly become the state-of-the-art for numerous generation tasks across many different applications. These models rely on ODE/SDE solvers which integrate from a prior distribution to the data distribution. In many applications it is highly desirable to then integrate in the other direction. The standard solvers, however, accumulate discretization errors which don’t align with the forward trajectory, thereby prohibiting an exact inversion. In applications where the precision of the generative model is paramount this inaccuracy in inversion is often unacceptable. Current approaches to solving the inversion of these models results in significant downstream issues with poor stability and low-order of convergence; moreover, they are strictly limited to the ODE domain. In this work, we propose a new family of reversible exponential (stochastic) Runge-Kutta solvers which we refer to as Rex developed by an application of Lawson methods to convert any explicit (stochastic) Runge-Kutta scheme into a reversible one. In addition to a rigorous theoretical analysis of the proposed solvers, we also empirically demonstrate the utility of Rex on improving the sample of Boltzmann distributions with flow models, and improving image generation and editing capabilities with diffusion models.
","absKo":"neural differential equation에 기반한 deep generative model은 다양한 응용에서 수많은 generation task의 state-of-the-art로 빠르게 자리 잡았다. 이러한 모델은 prior distribution에서 data distribution으로 적분하는 ODE/SDE solver에 의존한다. 많은 응용에서는 그 반대 방향으로도 적분하는 것이 매우 바람직하다. 그러나 표준 solver는 forward trajectory와 맞지 않는 discretization error를 누적하여 정확한 inversion을 방해한다. 생성 모델의 정밀도가 핵심인 응용에서는 이러한 inversion의 부정확성이 종종 용납될 수 없다. 현재 이러한 model의 inversion을 해결하는 접근법은 심각한 downstream 문제, 즉 낮은 stability와 낮은 convergence order를 초래하며, 더 나아가 ODE domain에만 엄격히 제한된다. 본 연구에서는 Lawson method를 적용하여 임의의 explicit (stochastic) Runge-Kutta scheme을 reversible한 형태로 변환하는 새로운 reversible exponential (stochastic) Runge-Kutta solver 계열, 즉 Rex를 제안한다. 제안한 solver에 대한 엄밀한 이론 분석과 더불어, flow model로 Boltzmann distribution sample을 개선하고 diffusion model로 image generation 및 editing 능력을 향상시키는 데 있어 Rex의 유용성을 실증적으로 보인다.
"},{"id":"61760","en":"Origo: Physically Interpretable Multi-Physics PDE Pre-training through Neural Operator Splitting","ko":"Origo: Neural Operator Splitting을 통한 물리적으로 해석 가능한 Multi-Physics PDE Pre-training","authors":"Li Sun, Hongbo Lv, Zhikai Jiang, Zhongtian Sun, Lanxu Yang, Philip Yu","pos":"#3508","link":"https://openreview.net/forum?id=nBDuY2PjTY","abs":"Partial Differential Equations (PDEs) play a fundamental role in scientific computing, and recent efforts have sought to extend the success of foundation models to PDE solving. However, multi-physics PDE pre-training faces the unique challenge of disentangling dynamic heterogeneity to learn universal, elementary patterns that generalize to new PDEs. Additionally, cross-physics transfer lacks a theoretical framework for interpretability—specifically, understanding which pre-trained operator knowledge is effectively transferred to target PDEs. To bridge these gaps, we introduce the theory of neural operator splitting, which decomposes PDE evolution into a modulated global spectral operator and sparse local constitutive mechanisms. A key innovation is Origo, which provides a neural operator bank that enables the identification of operator-level generalization patterns. Extensive experiments demonstrate strong zero-shot generalization and mechanism-level interpretability on unseen PDEs.
","absKo":"Partial Differential Equations (PDEs)는 scientific computing에서 핵심적인 역할을 하며, 최근에는 foundation model의 성공을 PDE solving으로 확장하려는 노력이 이어지고 있다. 그러나 multi-physics PDE pre-training은 동적 이질성을 분리하여 새로운 PDE에 일반화되는 보편적이고 원시적인 패턴을 학습해야 하는 고유한 도전에 직면해 있다. 또한 cross-physics transfer는 해석 가능성을 위한 이론적 틀, 특히 어떤 pre-trained operator knowledge가 target PDE로 효과적으로 이전되는지 이해하는 틀을 아직 갖추지 못했다. 이러한 간극을 메우기 위해, 우리는 PDE evolution을 modulated global spectral operator와 sparse local constitutive mechanism으로 분해하는 neural operator splitting 이론을 제안한다. 핵심 혁신은 operator-level generalization pattern의 식별을 가능하게 하는 neural operator bank를 제공하는 Origo이다. 광범위한 실험은 보지 못한 PDE에 대해 강력한 zero-shot generalization과 mechanism-level interpretability를 입증한다."},{"id":"62787","en":"ANTiC: Adaptive Neural Temporal In Situ Compressor","ko":"ANTiC: in situ Neural Temporal Compressor의 적응형 압축","authors":"Sandeep Suresh Cranganore, Andrei Bodnar, Gianluca Galletti, Fabian Paischer, Johannes Brandstetter","pos":"#3612","link":"https://openreview.net/forum?id=dIhYhrVTCO","abs":"The persistent storage requirements for high-resolution, spatiotemporally evolving fields governed by large-scale and high-dimensional partial differential equations (PDEs) have reached the petabyte-to-exabyte scale. Transient simulations modeling Navier-Stokes equations, magnetohydrodynamics, plasma physics, or binary black hole mergers generate data volumes that are prohibitive for modern high-performance computing (HPC) infrastructures. To address this bottleneck, we introduce ANTIC (Adaptive Neural Temporal in situ Compressor), an end-to-end in situ compression pipeline. ANTIC consists of an adaptive temporal selector tailored to high-dimensional physics that identifies and filters informative snapshots at simulation time, combined with a spatial neural compression module based on continual fine-tuning that learns residual updates between adjacent snapshots using neural fields. By operating in a single streaming pass, ANTIC enables a combined compression of temporal and spatial components and effectively alleviates the need for explicit on-disk storage of entire time-evolved trajectories. Experimental results demonstrate that ANTIC achieves storage reductions of approximately $\\sim 400\\times$ for 2D Kolmogorov flow simulations and $\\sim 7000\\times$ for large-scale physics simulations such as binary black hole mergers.","absKo":"대규모 차원 partial differential equation (PDE)로 지배되는 고해상도 spatiotemporally evolving field의 지속적인 저장 요구량은 petabyte에서 exabyte 규모에 도달했다. Navier-Stokes equation, magnetohydrodynamics, plasma physics, binary black hole merger를 모델링하는 transient simulation은 현대 high-performance computing (HPC) 인프라로는 감당하기 어려운 수준의 데이터를 생성한다. 이러한 병목을 해결하기 위해, 우리는 end-to-end in situ compression pipeline인 ANTIC (Adaptive Neural Temporal in situ Compressor)을 도입한다. ANTIC는 고차원 physics에 맞춘 adaptive temporal selector와, 인접한 snapshot 사이의 residual update를 neural field를 사용해 학습하는 continual fine-tuning 기반 spatial neural compression module로 구성된다. 단일 streaming pass로 동작함으로써, ANTIC는 temporal component와 spatial component의 결합 압축을 가능하게 하고, 전체 time-evolved trajectory를 disk에 명시적으로 저장할 필요를 효과적으로 줄인다. 실험 결과, ANTIC는 2D Kolmogorov flow simulation에서 약 $\\sim 400\\times$, binary black hole merger와 같은 대규모 physics simulation에서는 약 $\\sim 7000\\times$의 저장 공간 절감을 달성함을 보여준다."},{"id":"67090","en":"Position: Temporal Measurement Interval Determines Computational and Model Complexity in Single-Cell Perturbation Analysis","ko":"Position: 단일 세포 Perturbation 분석에서 시간 측정 간격이 계산 및 모델 복잡도를 결정한다","authors":"Alireza Jafari, Heman Shakeri, Hadi Daneshmand","pos":"#4514","link":"https://openreview.net/forum?id=lECKpTE1lW","abs":"Single-cell perturbation analysis aims to predict how cellular states change after interventions such as drug treatments or genetic edits. A central difficulty is that pre- and post-perturbation measurements are typically observed as *unpaired* populations, so accurate prediction requires inferring a latent coupling and learning a transition map. In this position paper, we argue that the *measurement time gap* is the key experimental knob controlling both the computational tractability of coupling and the effective model complexity. We identify a critical time gap $\\Delta$ that induces a phase transition, under biologically inspired conditions; for \"measurement-time $< \\Delta$\", matching is polynomial-time tractable and the task reduces to supervised learning, whereas for \"measurement-time $>\\Delta$\", recovering the matching is NP-hard in the worst case. The required conditions are restricted isometry of the initial states and temporal smoothness of the transition dynamics. We complement the theory with empirical evidence on synthetic and biological datasets showing a sharp regime change as the time gap increases. Furthermore, we demonstrate that a linear model can match or exceed the performance of higher-capacity neural approaches when our conditions hold.","absKo":"단일세포 perturbation analysis는 약물 처리나 유전자 편집과 같은 개입 이후 세포 상태가 어떻게 변하는지를 예측하는 것을 목표로 한다. 핵심적인 어려움은 perturbation 전후 측정값이 보통 *unpaired* 집단으로 관측되기 때문에, 정확한 예측을 위해서는 latent coupling을 추론하고 transition map을 학습해야 한다는 점이다. 이 position paper에서는 *measurement time gap*이 coupling의 계산적 tractability와 유효 모델 복잡도를 모두 좌우하는 핵심 실험적 조절 변수라고 주장한다. 우리는 생물학적으로 동기부여된 조건 하에서 phase transition을 유도하는 임계 time gap $\\Delta$를 식별한다. 즉, \"measurement-time $< \\Delta$\"에서는 matching이 polynomial-time tractable하며 과제는 supervised learning으로 축약되는 반면, \"measurement-time $>\\Delta$\"에서는 최악의 경우 matching을 복원하는 문제가 NP-hard가 된다. 필요한 조건은 초기 상태의 restricted isometry와 transition dynamics의 temporal smoothness이다. 우리는 time gap이 증가함에 따라 급격한 regime change가 나타난다는 것을 synthetic 및 biological dataset에서의 실증적 증거로 이론과 보완적으로 제시한다. 더 나아가, 우리의 조건이 성립할 때에는 linear model이 더 높은 용량의 neural approach와 동등하거나 더 뛰어난 성능을 보일 수 있음을 보인다."},{"id":"61391","en":"Derivative Informed Learning of Exchange-Correlation Functionals","ko":"Exchange-Correlation Functionals의 Derivative Informed Learning","authors":"Eike S. Eberhard, Luca Anthony Thiede, Abdulrahman Aldossary, Andreas Burger, Nicholas Gao, Vignesh Bhethanabotla, Alan Aspuru-Guzik, Stephan Günnemann","pos":"#1412","link":"https://openreview.net/forum?id=qijM0kpqPC","abs":"Machine-learned (ML) XC-functionals promise improved accuracy, but overfit to training energies and basis sets without proper regularization. We introduce Derivative Informed XC-Loss (DI-Loss), a loss that regularizes ML-XC training by supervising energy gradients on the Grassmannian of density matrices. Crucially, rather than merely matching the self-consistent fixed point, DI-Loss forces the dynamics of the SCF process to align with the target functional. Across all evaluated architectures, this improves basis set generalization and electron densities. Distilling hybrid ($\\mathcal{O}(N^4)$-scaling) functionals to $\\mathcal{O}(N^3)$-scaling ML-XC functionals, we observe a $>60\\%$ reduction in energy MAE compared to energy and density supervision alone, while simultaneously reducing the density-dipole error by 65\\%. We show that initializing from these distilled functionals can reduce hybrid SCF iterations by up to 55\\%. Furthermore, DI-Loss improves TDDFT excited-state predictions by approximately 30\\%.","absKo":"Machine-learned (ML) XC-functional은 더 높은 정확도를 약속하지만, 적절한 regularization이 없으면 training energy와 basis set에 과적합된다. 우리는 density matrix의 Grassmannian 위에서 energy gradient를 supervision하여 ML-XC training을 regularize하는 loss인 Derivative Informed XC-Loss (DI-Loss)를 소개한다. 핵심적으로 DI-Loss는 단순히 self-consistent fixed point를 맞추는 데 그치지 않고, SCF process의 dynamics가 target functional과 정렬되도록 강제한다. 평가한 모든 architecture에서 이는 basis set generalization과 electron density를 향상시킨다. hybrid ($\\mathcal{O}(N^4)$-scaling) functional을 $\\mathcal{O}(N^3)$-scaling ML-XC functional로 distillation할 때, energy와 density supervision만 사용하는 경우에 비해 energy MAE가 60\\% 이상 감소했으며, 동시에 density-dipole error도 65\\% 줄어드는 것을 관찰했다. 이러한 distilled functional으로 초기화하면 hybrid SCF iteration을 최대 55\\%까지 줄일 수 있음을 보인다. 더 나아가 DI-Loss는 TDDFT excited-state prediction을 약 30\\% 향상시킨다."},{"id":"66365","en":"GFFMERGE: Efficient Merging of Graph Neural Force Fields and Beyond","ko":"GFFMERGE: 그래프 신경 힘장의 효율적 병합과 그 너머","authors":"PARTH VERMA, Parv P Singh, Vipul Garg, Ishita Thakre, N M Anoop Krishnan, Sayan Ranu","pos":"#2411","link":"https://openreview.net/forum?id=4L8bHiw2Jm","abs":"Graph Neural Networks (GNNs) have revolutionized Neural Force Fields for atomistic simulations, achieving near-quantum accuracy at reduced cost, yet adapting these models to new chemical systems requires expensive retraining of foundation models. Inspired by model merging in vision and language processing, we introduce GFFMERGE, the first principled framework for closed-form model merging in GNNs. We exploit the linear structure of message-passing layers and formulate merging as a convex embedding-alignment problem with an analytical solution. Through the first systematic benchmarking of model merging for GNNs, we show that existing methods designed for vision and language catastrophically fail on force field regression, while GFFMERGE recovers performance approaching gold standard joint training. Across molecular (MD17, MD22), solid-state (LiPS20), and large-scale graph benchmarks, GFFMERGE and GNNMERGE (its generic GNN counterpart) achieve 5-27$\\times$ speedups while enabling modular composition of specialized models. Remarkably, our closed-form solution alone outperforms all baseline methods before fine-tuning and provides superior initialization for faster, data-efficient convergence.","absKo":"Graph Neural Networks (GNNs)는 원자 수준 시뮬레이션을 위한 Neural Force Fields를 혁신하여, 낮은 비용으로 거의 quantum accuracy에 도달했지만, 이러한 model을 새로운 chemical system에 맞추려면 foundation model의 비용 높은 retraining이 필요합니다. vision과 language processing에서의 model merging에서 영감을 받아, 우리는 GNN에서 closed-form model merging을 위한 최초의 원칙적인 framework인 GFFMERGE를 소개합니다. 우리는 message-passing layer의 linear structure를 활용하여 merging을 analytical solution을 갖는 convex embedding-alignment problem으로 정식화합니다. GNN에 대한 model merging의 최초의 체계적 benchmarking을 통해, vision과 language를 위해 설계된 기존 방법이 force field regression에서 치명적으로 실패함을 보이고, GFFMERGE는 gold standard joint training에 근접한 성능을 회복함을 보여줍니다. molecular(MD17, MD22), solid-state(LiPS20), 대규모 graph benchmark 전반에서 GFFMERGE와 GNNMERGE(그의 generic GNN 대응체)는 specialized model의 modular composition을 가능하게 하면서 5-27$\\times$ speedup을 달성합니다. 특히 우리의 closed-form solution은 fine-tuning 이전에 모든 baseline method를 능가하며, 더 빠르고 data-efficient한 convergence를 위한 우수한 initialization을 제공합니다."},{"id":"61993","en":"UniDrag: Unified Multi-Field Prediction and Robust Shape Optimization for Vehicle Aerodynamics","ko":"UniDrag: 차량 공기역학을 위한 통합 다중 필드 예측과 강건 shape optimization","authors":"Ye Liu, Shouyi Liu, Ding Wang, Huiyu Yang, Ruizhe DENG, Qian Li, Yuxiao Hu, Jianghang gu, Yongzheng Liu, Quanshi Zhang, Shiyi Chen, Yuntian Chen","pos":"#1108","link":"https://openreview.net/forum?id=ktQsqAjXsX","abs":"High-fidelity vehicle aerodynamics analysis is bottlenecked by costly CFD simulations. Neural surrogates accelerate prediction but lack inverse design capabilities, while existing generative optimization methods suffer from unstable convergence and frequent engineering constraint violations. We present UniDrag, a unified framework bridging multi-field aerodynamic prediction with robust differentiable shape optimization. Given a vehicle geometry, UniDrag predicts surface pressure, volume flow fields, drag coefficient $C_d$, and a streamwise build-up profile localizing drag contributions. Our architecture combines enhanced Physics-Sliced Attention (ePSA), Gated Expert Routing, and Modality-Protected Learning to prevent negative transfer across output modalities. At deployment, the frozen surrogate enables gradient-based optimization via Free-Form Deformation with engineering constraints. We introduce Expectation-over-Transformation to prevent adversarial exploitation of surrogate fragility. We curate a large-scale dataset of 15,000 vehicle geometries spanning four body types with GPU-accelerated LBM simulations. On this benchmark, UniDrag achieves $C_d$ prediction $R^2$ of 0.937 (+7.6\\% over baselines) and 13.7\\% mean CFD-verified drag reduction with 100\\% success rate and only 21.3~mm average displacement (0.46\\% vehicle length).","absKo":"고충실도 vehicle aerodynamics 분석은 비용이 큰 CFD simulation 때문에 병목이 발생한다. Neural surrogate는 예측을 가속하지만 inverse design 능력이 부족하고, 기존 generative optimization 방법은 불안정한 수렴과 잦은 engineering constraint 위반 문제를 겪는다. 우리는 multi-field aerodynamic prediction과 견고한 differentiable shape optimization을 연결하는 통합 프레임워크 UniDrag를 제시한다. 차량 geometry가 주어지면, UniDrag는 surface pressure, volume flow field, drag coefficient $C_d$, 그리고 drag contribution을 지역화하는 streamwise build-up profile을 예측한다. 우리의 architecture는 향상된 Physics-Sliced Attention(ePSA), Gated Expert Routing, 그리고 Modality-Protected Learning을 결합하여 output modality 간 negative transfer를 방지한다. 배포 시에는 freeze된 surrogate가 engineering constraint 하에서 Free-Form Deformation을 통한 gradient-based optimization을 가능하게 한다. 우리는 surrogate의 취약성을 adversarial하게 악용하는 것을 막기 위해 Expectation-over-Transformation을 도입한다. 또한 GPU-accelerated LBM simulation으로 생성한 네 가지 body type에 걸친 15,000개의 vehicle geometry로 구성된 대규모 데이터셋을 구축했다. 이 benchmark에서 UniDrag는 $C_d$ prediction $R^2$ 0.937(기존 방법 대비 +7.6\\%)과 100\\% 성공률, 그리고 평균 21.3~mm의 변위(차량 길이의 0.46\\%)만으로 13.7\\%의 평균 CFD-verified drag reduction을 달성한다."},{"id":"60575","en":"Unbiased and Second-Order-Free Training for High-Dimensional PDEs","ko":"고차원 PDE를 위한 편향 없고 2차 미분 없는 학습","authors":"Jaemin Seo, Su Rin Lee, JaeYong Lee","pos":"#1109","link":"https://openreview.net/forum?id=ysBZhSRtCM","abs":"Deep learning methods based on backward stochastic differential equations (BSDEs) have emerged as competitive alternatives to physics-informed neural networks (PINNs) for solving high-dimensional partial differential equations (PDEs). By leveraging probabilistic representations, BSDE approaches can avoid the curse of dimensionality and often admit second-order-free training objectives that do not require explicit Hessian evaluations. It has recently been established that the commonly used Euler–Maruyama (EM) time discretization induces an intrinsic bias in BSDE training losses. While high-order schemes such as Heun can fully eliminate this bias, such schemes re-introduce second-order spatial derivatives and incur substantial computational overhead. In this work, we provide a principled analysis of EM-induced loss bias and propose an unbiased, second-order-free training framework that preserves the computational advantages of BSDE methods.
","absKo":"backward stochastic differential equation(BSDE)에 기반한 deep learning 방법은 고차원 partial differential equation(PDE)을 푸는 데 있어 physics-informed neural network(PINN)의 경쟁력 있는 대안으로 떠올랐다. 확률적 표현을 활용함으로써 BSDE 접근법은 차원의 저주를 피할 수 있으며, explicit Hessian evaluation이 필요 없는 second-order-free training objective를 종종 제공한다. 최근에는 널리 사용되는 Euler–Maruyama(EM) time discretization이 BSDE training loss에 본질적인 bias를 유발한다는 사실이 밝혀졌다. Heun과 같은 고차 scheme은 이 bias를 완전히 제거할 수 있지만, 이러한 scheme은 다시 second-order spatial derivative를 도입하고 상당한 computational overhead를 발생시킨다. 본 연구에서는 EM이 유발하는 loss bias를 원리적으로 분석하고, BSDE 방법의 계산적 이점을 유지하면서도 unbiased하고 second-order-free한 training framework를 제안한다.
"},{"id":"63434","en":"U-Cast: A Surprisingly Simple Frontier Probabilistic AI Weather Forecaster","ko":"U-Cast: 놀랍도록 단순한 최첨단 확률적 AI 기상 예보기","authors":"Salva Ruhling Cachay, Duncan Watson-Parris, Rose Yu","pos":"#1110","link":"https://openreview.net/forum?id=XF0wkyEbuM","abs":"Global weather forecasting has recently been revolutionized by AI, outperforming traditional physics-based ensembles. However, these state-of-the-art (SOTA) models rely on massive computational resources and increasingly specialized architectures, creating a high barrier to entry. In this work, we demonstrate that such complexity is not a prerequisite for SOTA performance. We introduce U-Cast, a streamlined probabilistic forecaster based on a standard U-Net, trained with Monte Carlo Dropout and the Muon optimizer. By leveraging a novel curriculum—deterministic pre-training followed by probabilistic fine-tuning on the Continuous Ranked Probability Score (CRPS)—our model achieves performance on par with or exceeding GenCast (e.g., up to 15\\% CRPS improvement on short-range winds) while reducing training and/or inference compute by an order of magnitude compared to leading baselines. Our $1^\\circ$ model trains in less than 15 H200 GPU-days and generates a 60-step forecast in just 12 seconds, suggesting a \"Bitter Lesson\" for AI weather forecasting: scalable, general-purpose architectures can outperform complex domain-specific designs.","absKo":"최근 전 세계 날씨 예보는 AI에 의해 혁신되었으며, 전통적인 physics-based ensemble을 능가하고 있다. 그러나 이러한 state-of-the-art(SOTA) 모델은 막대한 계산 자원과 점점 더 특화된 architecture에 의존하기 때문에 진입 장벽이 높다. 본 연구에서는 이러한 복잡성이 SOTA 성능의 전제조건이 아님을 보인다. 우리는 표준 U-Net을 기반으로 하고 Monte Carlo Dropout과 Muon optimizer로 학습된 간결한 probabilistic forecaster인 U-Cast를 소개한다. Deterministic pre-training 후 Continuous Ranked Probability Score(CRPS)에서의 probabilistic fine-tuning으로 이어지는 새로운 curriculum을 활용함으로써, 우리의 모델은 GenCast와 견줄 만하거나 이를 능가하는 성능을 달성하며(예: 단기 wind에서 최대 15\\% CRPS 개선), 동시에 선도적 baseline에 비해 training 및/또는 inference compute를 한 자릿수 이상 줄인다. 우리의 $1^\\circ$ 모델은 15 H200 GPU-day보다 적게 학습되며 60-step forecast를 단 12초 만에 생성한다. 이는 AI 날씨 예보에 대한 \"Bitter Lesson\": 확장 가능하고 범용적인 architecture가 복잡한 도메인 특화 설계를 능가할 수 있음을 시사한다."},{"id":"66588","en":"Two-Parameter Flows for Learning Population Dynamics of Physical Systems","ko":"물리 시스템의 개체군 동역학 학습을 위한 이중 매개변수 Flow","authors":"Paul Schwerdtner, Tobias Blickhan, Benjamin Peherstorfer","pos":"#1111","link":"https://openreview.net/forum?id=2Opz9uBYQT","abs":"This work addresses the problem of learning the dynamics of high-dimensional probability densities over time using unlabeled samples, without assuming access to trajectory information. We introduce two-parameter flows that learn only sampling-time transports from a base distribution to each marginal and then extract a physics-time velocity by regressing on coupled synthetic trajectories. We prove that the resulting physics-time dynamics are unique and inherit regularity from the sampling-time transports. Because we can build on standard, well-developed conditional flow matching techniques for learning the base-to-marginal transports, our approach scales to high dimensions and avoids per-step optimal-transport couplings, while allowing admissible non-gradient dynamics that can naturally explain rotational or circulating physics phenomena.
","absKo":"이 연구는 trajectory information에 접근할 수 있다고 가정하지 않고, unlabeled sample을 사용하여 시간에 따른 고차원 probability density의 동역학을 학습하는 문제를 다룬다. 우리는 base distribution에서 각 marginal로의 sampling-time transport만을 학습한 뒤, coupled synthetic trajectory에 대해 regression을 수행하여 physics-time velocity를 추출하는 two-parameter flow를 제안한다. 우리는 그 결과로 얻어지는 physics-time dynamics가 유일하며 sampling-time transport로부터 regularity를 계승함을 증명한다. base-to-marginal transport를 학습하기 위해 표준적이고 잘 정립된 conditional flow matching 기법을 기반으로 구축할 수 있으므로, 우리의 접근법은 고차원으로 확장 가능하며 step별 optimal transport coupling을 피하는 동시에, 회전하거나 순환하는 physics 현상을 자연스럽게 설명할 수 있는 admissible non-gradient dynamics를 허용한다.
"},{"id":"61237","en":"Topology-Preserving Neural Operator Learning via Hodge Decomposition","ko":"Hodge Decomposition을 통한 위상 보존 Neural Operator Learning","authors":"Dongzhe Zheng, Tao Zhong, Christine Allen-Blanchette","pos":"#1114","link":"https://openreview.net/forum?id=sLVaNS2DS3","abs":"In this paper, we study solution operators of physical field equations on geometric meshes from a function-space perspective. We reveal that Hodge orthogonality fundamentally resolves spectral interference by isolating unlearnable topological degrees of freedom from learnable geometric dynamics, enabling an additive approximation confined to structure-preserving subspaces. Building on Hodge theory and operator splitting, we derive a principled operator-level decomposition. The result is a Hybrid Eulerian-Lagrangian architecture with an algebraic-level inductive bias we call Hodge Spectral Duality (HSD). In our framework, we use discrete differential forms to capture topology-dominated components and an orthogonal auxiliary ambient space to represent complex local dynamics. Our method achieves superior accuracy and efficiency on geometric graphs with enhanced fidelity to physical invariants.
","absKo":"이 논문에서는 function-space 관점에서 geometric mesh 위 물리 field equation의 solution operator를 연구합니다. 우리는 Hodge orthogonality가 학습 불가능한 topological degree of freedom을 학습 가능한 geometric dynamics로부터 분리함으로써 spectral interference를 근본적으로 해소하고, structure-preserving subspace에 국한된 additive approximation을 가능하게 한다는 점을 밝힙니다. Hodge theory와 operator splitting에 기반하여, 우리는 원리적인 operator-level decomposition을 유도합니다. 그 결과, algebraic-level inductive bias를 갖는 Hybrid Eulerian-Lagrangian architecture를 얻게 되며, 이를 Hodge Spectral Duality(HSD)라고 부릅니다. 우리의 프레임워크에서는 discrete differential form을 사용해 topology-dominated component를 포착하고, orthogonal auxiliary ambient space를 통해 복잡한 local dynamics를 표현합니다. 이 방법은 physical invariant에 대한 fidelity를 향상시키면서 geometric graph에서 우수한 정확도와 효율성을 달성합니다.
"},{"id":"65216","en":"Mitigating Gradient Pathology in PINNs through Aligned Constraint","ko":"정렬된 제약을 통한 PINN의 그래디언트 병리 완화","authors":"Yichen Luo, Peiyu Zhu, Dongxiao Hu, Jia Wang, Tailin Wu, Dapeng Lan, Yu Liu, Zhibo Pang","pos":"#1201","link":"https://openreview.net/forum?id=Fisw2kc7EY","abs":"While Physics-Informed Neural Networks (PINNs) are powerful for solving Partial Differential Equations (PDEs), their training is often paralyzed by gradient pathology. The gradients from PDE residuals and boundary constraints oppose each other, trapping the model in local minima. Current solutions, such as adaptive weighting or hard constraints, either fail to fundamentally resolve this ill-conditioning or are limited to simple geometries. In this study, we systematically analyzed the causes of this gradient pathology from the perspectives of loss landscapes and optimization dynamics. Based on the obtained conclusion, we propose Constraint-Aligned loss with Manifold Lifting (CAML). By reformulating all zeroth-order terms into aligned constraints, our method effectively mitigates gradient conflicts. In addition, we introduce a delay factor to help the optimizer skip the high-curvature area. Experiments demonstrate that our CAML significantly enhances numerical stability and efficiency in problems with composite boundary conditions. Our code is open-sourced on \\href{https://anonymous.4open.science/r/CAML-2F81}{Anonymous Repository}.
","absKo":"Physics-Informed Neural Networks (PINNs)는 Partial Differential Equations (PDEs)를 푸는 데 강력하지만, training이 gradient pathology 때문에 자주 멈춰선다. PDE residual과 boundary constraint에서 나온 gradient가 서로 반대 방향으로 작용하여, model을 local minimum에 가둬버린다. adaptive weighting이나 hard constraint와 같은 현재의 해결책은 이 ill-conditioning을 근본적으로 해결하지 못하거나, 단순한 geometry에만 제한된다. 본 연구에서는 loss landscape와 optimization dynamics의 관점에서 이 gradient pathology의 원인을 체계적으로 분석하였다. 그 결론을 바탕으로 우리는 Constraint-Aligned loss with Manifold Lifting (CAML)을 제안한다. 모든 zeroth-order term을 정렬된 constraint로 재구성함으로써, 우리의 방법은 gradient conflict를 효과적으로 완화한다. 또한 optimizer가 high-curvature 영역을 건너뛸 수 있도록 delay factor를 도입한다. 실험은 CAML이 composite boundary condition을 가진 문제에서 수치적 안정성과 효율성을 크게 향상시킴을 보여준다. 코드는 \\href{https://anonymous.4open.science/r/CAML-2F81}{Anonymous Repository}에 공개되어 있다.
"},{"id":"67208","en":"Position: Significant impact of numerical precision in scientific machine learning","ko":"Position: 과학적 기계 학습에서 수치 정밀도의 유의미한 영향","authors":"Youngwoo Cho, Jaekak Yoo, Soyoung Yang, Dong-Joon Yi, Seung Lee, Mun Jeong, Jaegul Choo","pos":"#1206","link":"https://openreview.net/forum?id=CbZbd4iorc","abs":"The machine learning community has focused on computational efficiency, often leveraging lower-precision formats such as FP16, rather than the standard FP32. In contrast, little attention has been paid to higher-precision formats, such as FP64, despite their critical role in scientific domains like materials science, where even small numerical differences can lead to significant inaccuracies in physicochemical properties. This need for high precision extends to the emerging field of machine learning for scientific tasks, yet it has not been thoroughly investigated. According to several studies and our experiments, models trained with FP32 show insufficient accuracy compared to those trained with FP64, indicating that higher precision is also crucial in scientific machine learning, as in traditional scientific computing. This precision issue limits the potential of scientific machine learning that can replace the traditional scientific computing in practical research. Our position paper not only highlights these precision-related issues but also recommends reporting comparisons between FP32 and FP64 results, encouraging the release of FP64 models. We believe that these efforts can enable machine learning to contribute meaningfully to the natural sciences, ensuring both scientific reliability and practical applicability.
","absKo":"머신러닝 커뮤니티는 계산 효율성에 집중해 왔으며, 표준 FP32보다 낮은 정밀도 형식인 FP16을 자주 활용해 왔다. 반면, 물질과학과 같은 과학 분야에서 매우 작은 수치 차이도 물리화학적 성질에 큰 부정확성을 초래할 수 있음에도 불구하고, FP64와 같은 더 높은 정밀도 형식에는 상대적으로 거의 주목하지 않았다. 이러한 고정밀도의 필요성은 과학적 과제를 위한 머신러닝이라는 부상하는 분야에도 그대로 적용되지만, 아직 충분히 연구되지 않았다. 여러 연구와 우리의 실험에 따르면 FP32로 학습된 모델은 FP64로 학습된 모델에 비해 정확도가 부족하며, 이는 전통적인 과학 계산에서처럼 과학적 머신러닝에서도 더 높은 정밀도가 중요함을 시사한다. 이러한 정밀도 문제는 실제 연구에서 전통적인 과학 계산을 대체할 수 있는 과학적 머신러닝의 잠재력을 제한한다. 본 포지션 페이퍼는 이러한 정밀도 관련 문제를 강조할 뿐 아니라, FP32와 FP64 결과의 비교 보고를 권장하고 FP64 모델 공개를 장려한다. 우리는 이러한 노력이 머신러닝이 자연과학에 의미 있게 기여할 수 있도록 하며, 과학적 신뢰성과 실용적 적용 가능성을 모두 보장할 수 있다고 믿는다.
"},{"id":"60746","en":"Proximal Splitting Methods for Hybrid Differentiable Models","ko":"Hybrid Differentiable Model을 위한 Proximal Splitting Method","authors":"Abdel-Rahim Mezidi, Jordan Patracone, Amaury Habrard","pos":"#1207","link":"https://openreview.net/forum?id=wzaIaOWiLc","abs":"Operator splitting methods are at the foundation of many numerical solvers for partial differential equations. In parallel, unrolled and hybrid learning-based architectures have been introduced to enhance classical solvers, but their design is rarely linked to the underlying problem structure. In this work, we propose a unifying framework that explicitly links operator splitting algorithms from optimization with unrolled hybrid architectures. We show that each operator splitting scheme naturally defines an unrolled architecture, which recovers a wide range of existing plug-and-play and hybrid models as special cases. Using this framework, we design new unrolled hybrid architectures and validate them on benchmark fluid dynamics simulations, where they achieve improved accuracy and stability.
","absKo":"Operator splitting method는 편미분방정식(partial differential equations)을 푸는 많은 numerical solver의 기반에 있다. 동시에, 고전적 solver를 향상시키기 위해 unrolled 및 hybrid learning-based architecture가 도입되었지만, 그 설계가 underlying problem structure와 연결되는 경우는 드물다. 본 연구에서는 optimization에서의 operator splitting algorithm과 unrolled hybrid architecture를 명시적으로 연결하는 통합 framework를 제안한다. 우리는 각 operator splitting scheme이 자연스럽게 하나의 unrolled architecture를 정의하며, 이를 통해 기존의 다양한 plug-and-play 및 hybrid model을 special case로 복원함을 보인다. 이 framework를 바탕으로 새로운 unrolled hybrid architecture를 설계하고 benchmark fluid dynamics simulation에서 검증하였으며, 그 결과 향상된 정확도와 안정성을 달성했다.
"},{"id":"61078","en":"SeisMark: A Large-Scale Open Benchmark for Robust 3D Seismic Fault Detection","ko":"SeisMark: 강건한 3D 지진 단층 검출을 위한 대규모 공개 벤치마크","authors":"Minjun Park, Joseph Stitt, Robert Clapp, Ilan Naiman, Artem Goncharuk, Kevin Smith","pos":"#1212","link":"https://openreview.net/forum?id=trSx4NouPD","abs":"We introduce SeisMark, a large-scale open benchmark designed to bridge the gap between verifiable ground truth and realistic texture in 3D seismic fault detection. Using a novel pipeline merging procedural geology with diffusion-based synthesis, we produce domain-realistic (survey-specific) textured volumes that expose significant brittleness in existing models masked by simplified physics data. Experiments demonstrate that SeisMark acts as a rigorous discriminator, distinguishing robust modern architecture from legacy model that suffers performance collapse under realistic domain shifts. We release this benchmark to the community to serve as a verifiable standard for developing trustworthy, deployment-ready AI for safety-critical subsurface applications.
","absKo":"우리는 3D seismic fault detection에서 verifiable ground truth와 realistic texture 사이의 간극을 메우기 위해 설계된 대규모 open benchmark인 SeisMark를 소개한다. procedural geology와 diffusion-based synthesis를 결합한 새로운 pipeline을 사용하여, 우리는 단순화된 physics data에 가려져 있던 기존 model의 심각한 brittleness를 드러내는 domain-realistic(survey-specific) textured volume을 생성한다. 실험은 SeisMark가 엄격한 discriminator로 작동하여, 현실적인 domain shift에서 성능 붕괴를 겪는 legacy model과 robust한 modern architecture를 구분함을 보여준다. 우리는 안전이 중요한 subsurface application을 위해 신뢰할 수 있고 deployment-ready한 AI를 개발하는 데 사용할 수 있는 verifiable standard로서 이 benchmark를 커뮤니티에 공개한다.
"},{"id":"65672","en":"Learning Permutation-invariant Macroscopic Dynamics","ko":"순열 불변 거시 동역학 학습","authors":"Zhichao Han, Mengyi Chen, Qianxiao Li","pos":"#1305","link":"https://openreview.net/forum?id=BN1NC3OH61","abs":"Accurately modeling the macroscopic dynamics of high-dimensional microscopic systems is of broad interest across the sciences. Many data-driven approaches learn a low-dimensional latent state through an autoencoder trained for pointwise input reconstruction. These methods typically assume a fixed ordering of microscopic degrees of freedom in the input. However, in many settings such as particle systems the microscopic state is inherently unordered. This motivates an autoencoder framework that learns permutation-invariant latent representations. To this end, we adopt a permutation-invariant encoder and design the decoder to reconstruct the mass distribution centered at the observed points rather than per-sample reconstruction. We then jointly learn the macroscopic dynamics of the observables together with the latent states. We demonstrate the effectiveness and robustness of the proposed method across a range of microscopic settings, including learning the energy in interacting particle systems, predicting mixing dynamics in Lennard–Jones fluids, and modeling the stretching dynamics from videos of a more realistic polymer system.
","absKo":"고차원 microscopic system의 macroscopic dynamics를 정확히 모델링하는 것은 과학 전반에 걸쳐 폭넓은 관심사이다. 많은 data-driven 접근법은 pointwise input reconstruction을 위해 학습된 autoencoder를 통해 저차원 latent state를 학습한다. 이러한 방법은 일반적으로 입력에서 microscopic degree of freedom의 순서가 고정되어 있다고 가정한다. 그러나 particle system과 같은 많은 환경에서 microscopic state는 본질적으로 unordered이다. 이는 permutation-invariant latent representation을 학습하는 autoencoder framework를 필요로 한다. 이를 위해 우리는 permutation-invariant encoder를 채택하고, decoder는 샘플별 reconstruction이 아니라 관측된 점들을 중심으로 하는 mass distribution을 재구성하도록 설계한다. 그런 다음 observable의 macroscopic dynamics를 latent state와 함께 공동으로 학습한다. 우리는 interacting particle system에서 energy를 학습하고, Lennard–Jones fluid에서 mixing dynamics를 예측하며, 보다 현실적인 polymer system의 비디오로부터 stretching dynamics를 모델링하는 것을 포함한 다양한 microscopic 설정에서 제안 방법의 효과성과 강건성을 입증한다.
"},{"id":"65382","en":"Learning Hamiltonian Flow Maps: Mean Flow Consistency for Large-Timestep Molecular Dynamics","ko":"Hamiltonian Flow Map 학습: 대형 타임스텝 분자 동역학을 위한 Mean Flow 일관성","authors":"Winfried Ripken, Michael Plainer, Gregor Lied, Thorben Frank, Oliver Unke, Stefan Chmiela, Frank Noe, Klaus-robert Mueller","pos":"#1306","link":"https://openreview.net/forum?id=EBSn23DLwB","abs":"Simulating the long-time evolution of Hamiltonian systems is limited by the small timesteps required for stable numerical integration. To overcome this constraint, we introduce a framework to learn *Hamiltonian Flow Maps* by predicting the *mean* phase-space evolution over a chosen time span $\\Delta t$, enabling stable large-timestep updates far beyond the stability limits of classical integrators. To this end, we impose a *Mean Flow* consistency condition for time-averaged Hamiltonian dynamics. Unlike prior approaches, this allows training on independent phase-space samples without access to future states, avoiding expensive trajectory generation. Validated across diverse Hamiltonian systems, our method in particular improves upon molecular dynamics simulations using machine-learned force fields (MLFF). Our models maintain comparable training and inference cost, but support significantly larger integration timesteps while trained directly on widely-available *trajectory-free* MLFF datasets.","absKo":"Hamiltonian system의 장기 시간 진화를 시뮬레이션하는 일은 안정적인 numerical integration에 필요한 작은 timestep 때문에 제약을 받는다. 이 제약을 극복하기 위해, 우리는 선택한 시간 구간 $\\Delta t$에 걸친 *mean* phase-space evolution을 예측함으로써 *Hamiltonian Flow Map*을 학습하는 framework를 제안한다. 이를 통해 고전적인 integrator의 안정성 한계를 훨씬 넘어서는, 더 큰 timestep의 안정적인 업데이트가 가능해진다. 이를 위해 우리는 시간 평균 Hamiltonian dynamics에 대한 *Mean Flow* 일관성 조건을 부과한다. 기존 접근과 달리, 이 방법은 미래 state에 접근하지 않고도 독립적인 phase-space sample로 학습할 수 있게 하여, 비용이 큰 trajectory 생성을 피할 수 있다. 다양한 Hamiltonian system에서 검증한 결과, 특히 machine-learned force field(MLFF)를 사용한 molecular dynamics simulation에서 기존 방법을 개선한다. 우리의 model은 학습 및 추론 비용은 비슷하게 유지하면서도, 널리 이용 가능한 *trajectory-free* MLFF dataset으로 직접 학습되어 훨씬 더 큰 integration timestep을 지원한다."},{"id":"61066","en":"Interpretability and Generalization Bounds for Learning Spatial Physics","ko":"공간 물리 학습을 위한 해석가능성과 일반화 Bound","authors":"Alejandro Queiruga, Theo Gutman-Solo, Shuai Jiang","pos":"#1309","link":"https://openreview.net/forum?id=u0ZWIJ7x1F","abs":"While there are many applications of machine learning (ML) to scientific problems that \\emph{look} promising, the eye test can be misleading compared to the quantitative values. Using numerical analysis techniques, we rigorously quantify the accuracy, convergence rates, and generalization bounds of certain ML models applied to linear differential equations (DEs) for parameter discovery or solution finding. Beyond the quantity and discretization of data, we identify that the {function space} of the data is critical to the generalization of the model which can lead to divergence. Similar lack of generalization is empirically demonstrated for commonly used models. Surprisingly, we find that different classes of models can exhibit opposing generalization behaviors. Based on our theoretical analysis, we also introduce a new mechanistic interpretability lens on scientific models whereby Green's function representations can be extracted from the weights of black-box models. Our results inform a new cross-validation technique for measuring generalization in physical systems, and can be useful as a benchmark of future methods.
","absKo":"과학 문제에 머신러닝(ML)을 적용하는 많은 사례가 \\\\emph{유망해 보이지만}, 눈대중 평가는 정량적 값과 비교하면 오해를 낳을 수 있다. 우리는 수치해석 기법을 사용하여, 매개변수 발견 또는 해 찾기에 선형 미분방정식(DEs)에 적용된 특정 ML 모델의 정확도, 수렴률, 일반화 경계를 엄밀하게 정량화한다. 데이터의 양과 이산화 정도를 넘어, 우리는 데이터의 {function space}가 모델의 일반화에 결정적이며, 이는 발산으로 이어질 수 있음을 밝힌다. 이러한 일반화 부족은 널리 사용되는 모델들에서도 경험적으로 확인된다. 놀랍게도, 서로 다른 종류의 모델들이 상반된 일반화 거동을 보일 수 있음을 발견했다. 이론적 분석에 기반해, 우리는 블랙박스 모델의 가중치로부터 Green's function 표현을 추출할 수 있는, 과학 모델을 위한 새로운 기계적 해석 가능성 관점을 도입한다. 우리의 결과는 물리 시스템에서 일반화를 측정하기 위한 새로운 교차검증 기법을 제시하며, 향후 방법들의 벤치마크로도 유용할 수 있다.
"},{"id":"62322","en":"Identifiable Smooth Conjugacy Learning via Adversarial Orthogonality","ko":"적대적 Orthogonality를 통한 식별 가능한 Smooth Conjugacy Learning","authors":"In Huh, Changwook Jeong, Muhammad Alam","pos":"#1310","link":"https://openreview.net/forum?id=heynVhNKjN","abs":"Data-driven dynamical system models often fail to recover the long-term structure of the underlying system, as their behavior is weakly constrained off the data manifold. Conjugacy-based approaches address this limitation by learning a diffeomorphism that pushes forward a source vector field to match observed dynamics, inheriting qualitative topology from the source. However, such methods typically presuppose that the chosen source system is topologically compatible with the target data. When this assumption is violated, the conjugacy problem becomes ill-posed, and arbitrary corrections can be traded off against diffeomorphic variation, leading to non-identifiability. We propose a framework that relaxes this assumed prior by jointly learning the diffeomorphic conjugacy together with controlled adjustments to the source dynamics via low-dimensional context modulation. Inspired by versal unfolding theory, we enforce the modulation space to be orthogonal to the worst-case orbit-tangent directions, obtained by adversarially searching over a class of parameterized diffeomorphisms. This promotes an identifiable decomposition of dynamical variation into diffeomorphic and intrinsic, topology-changing components, enabling interpretable corrections that recover the canonical structure such as normal forms and symmetries.
","absKo":"데이터 기반 dynamical system model은 off the data manifold에서의 거동이 약하게 제약되기 때문에, underlying system의 장기 구조를 복원하는 데 자주 실패한다. Conjugacy 기반 접근법은 source vector field를 관측된 dynamics에 맞게 push forward하는 diffeomorphism을 학습하여 이 한계를 다루며, source로부터 질적 topological structure를 물려받는다. 그러나 이러한 방법은 일반적으로 선택한 source system이 target data와 topologically compatible하다는 것을 전제한다. 이 가정이 위반되면 conjugacy 문제는 ill-posed가 되고, 임의의 correction이 diffeomorphic variation과 상쇄될 수 있어 non-identifiability가 발생한다. 우리는 low-dimensional context modulation을 통해 source dynamics에 대한 제어된 조정과 함께 diffeomorphic conjugacy를 공동으로 학습함으로써 이 가정된 prior를 완화하는 framework를 제안한다. versal unfolding theory에서 영감을 받아, 우리는 modulation space가 adversarially search한 parameterized diffeomorphism class로부터 얻은 최악의 orbit-tangent direction에 대해 orthogonal하도록 제약한다. 이는 dynamical variation을 diffeomorphic component와 intrinsic한 topology-changing component로 식별 가능하게 분해하도록 촉진하며, normal form과 symmetry 같은 canonical structure를 복원하는 해석 가능한 correction을 가능하게 한다.
"},{"id":"64253","en":"Geometry-Aware Neural Optimizer for Shape Optimization and Inversion","ko":"형상 최적화 및 역변환을 위한 기하학 인식 신경 옵티마이저","authors":"Guoze Sun, Tianya Miao, Haoyang Huang, Huaguan Chen, Han Wan, Rui Zhang, Hao Sun","pos":"#1311","link":"https://openreview.net/forum?id=PTaUjEBHat","abs":"Geometry is central to PDE-governed systems, motivating shape optimization and inversion. Classical pipelines conduct costly forward simulation with geometry processing, requiring substantial expert effort. Neural surrogates accelerate forward analysis but do not close the loop because gradients from objectives to geometry are often unavailable. Existing differentiable methods either rely on restrictive parameterizations or unstable latent optimization driven by scalar objectives, limiting interpretability and part-wise control. To address these challenges, we propose Geometry-Aware Neural Optimizer (GANO), an end-to-end differentiable framework that unifies geometry representation, field-level prediction, and automated optimization/inversion in a single latent-space loop. GANO encodes shapes with an auto-decoder and stabilizes latent updates via a denoising mechanism, and a geometry-injected surrogate provides a reliable gradient pathway for geometry updates. Moreover, GANO supports part-wise control through null-space projection and uses remeshing-free projection to accelerate geometry processing. We further prove that denoising induces an implicit Jacobian regularization that reduces decoder sensitivity, yielding controlled deformations. Experiments on three benchmarks spanning 2D Helmholtz, 2D airfoil, and 3D vehicles show state-of-the-art accuracy and stable, controllable updates, achieving up to $+55.9\\%$ lift-to-drag improvement for airfoils and $\\sim 7\\%$ drag reduction for vehicles.","absKo":"Geometry는 PDE-governed system의 핵심이며, shape optimization과 inversion을 촉진한다. 고전적 pipeline은 geometry processing과 함께 비용이 큰 forward simulation을 수행해야 하므로 상당한 전문가 노력이 필요하다. Neural surrogate는 forward analysis를 가속하지만, objective에서 geometry로 이어지는 gradient가 종종 부재하므로 루프를 닫지 못한다. 기존의 differentiable method는 제한적인 parameterization에 의존하거나, scalar objective에 의해 구동되는 불안정한 latent optimization에 의존하여, 해석 가능성과 part-wise control을 제한한다. 이러한 도전을 해결하기 위해, 우리는 geometry representation, field-level prediction, 자동화된 optimization/inversion을 하나의 latent-space loop로 통합하는 end-to-end differentiable framework인 Geometry-Aware Neural Optimizer (GANO)를 제안한다. GANO는 auto-decoder로 shape를 인코딩하고 denoising mechanism을 통해 latent update를 안정화하며, geometry-injected surrogate는 geometry update를 위한 신뢰할 수 있는 gradient 경로를 제공한다. 또한 GANO는 null-space projection을 통해 part-wise control을 지원하고, remeshing-free projection을 사용해 geometry processing을 가속한다. 우리는 더 나아가 denoising이 decoder sensitivity를 줄이는 implicit Jacobian regularization을 유도하여 제어된 deformation을 가능하게 함을 증명한다. 2D Helmholtz, 2D airfoil, 3D vehicle을 아우르는 세 가지 benchmark에서의 실험은 state-of-the-art 정확도와 안정적이며 제어 가능한 update를 보였고, airfoil에서는 최대 $+55.9\\%$의 lift-to-drag 향상, vehicle에서는 약 $\\sim 7\\%$의 drag 감소를 달성했다."},{"id":"61380","en":"From Feasible to Practical: Pareto-Optimal Synthesis Planning","ko":"Feasible에서 Practical로: Pareto-Optimal Synthesis Planning","authors":"Friedrich Hastedt, Dongda Zhang, Antonio Del rio chanona","pos":"#1313","link":"https://openreview.net/forum?id=qpPf5mI1qn","abs":"Current computer-aided synthesis planning (CASP) methods often treat retrosynthesis as solved once a single feasible route is identified, focusing primarily on convergence or shortest-path metrics. This view is misaligned with real-world practice, where chemists must balance competing objectives such as cost, sustainability, toxicity, and overall yield. To address this, we formulate synthesis planning as a multi-objective search problem and introduce MORetro$^\\ast$, an algorithm that generates a Pareto front of synthesis routes to explicitly capture trade-offs between user-defined criteria. MORetro$^\\ast$ uses weighted scalarization and solution-informed sampling to efficiently navigate the combinatorial search space and prioritize promising trade-offs. Building on multi-objective A$^\\ast$-search, we provide optimality guarantees showing that, for a fixed single-step model, MORetro$^\\ast$ recovers the true Pareto front. Across multiple retrosynthesis benchmarks, MORetro$^\\ast$ produces diverse, high-quality Pareto fronts, uncovering solutions overlooked by single-objective approaches and better aligning CASP outputs with industrial decision-making.","absKo":"현재 computer-aided synthesis planning(CASP) 방법들은 종종 하나의 feasible route가 식별되면 retrosynthesis를 해결된 문제로 간주하고, 주로 convergence 또는 shortest-path metric에 초점을 맞춘다. 이러한 관점은 실제 실무와 맞지 않는데, 화학자들은 비용, 지속가능성, 독성, 전체 수율과 같은 상충하는 목표들 사이에서 균형을 맞춰야 하기 때문이다. 이를 해결하기 위해 우리는 합성 계획을 multi-objective search 문제로 정식화하고, 사용자 정의 기준 간의 trade-off를 명시적으로 포착하는 synthesis route의 Pareto front를 생성하는 알고리즘 MORetro$^\\ast$를 소개한다. MORetro$^\\ast$는 weighted scalarization과 solution-informed sampling을 사용하여 조합적 탐색 공간을 효율적으로 탐색하고 유망한 trade-off를 우선순위화한다. multi-objective A$^\\ast$-search를 기반으로, 고정된 single-step model에 대해 MORetro$^\\ast$가 true Pareto front를 복원한다는 최적성 보장을 제시한다. 여러 retrosynthesis benchmark 전반에서 MORetro$^\\ast$는 다양하고 고품질의 Pareto front를 생성하며, single-objective approach가 놓치는 해를 발견하고 CASP output을 산업적 의사결정에 더 잘 부합하도록 만든다."},{"id":"66687","en":"FluxNet: Learning Capacity-Constrained Local Transport Operators for Conservative and Bounded PDE Surrogates","ko":"FluxNet: 보존적이고 유계인 PDE Surrogate를 위한 용량 제약 국소 수송 연산자 학습","authors":"Zishuo Lan, Junjie Li, Lei Wang, Jincheng Wang","pos":"#1314","link":"https://openreview.net/forum?id=1KRpajnd6u","abs":"Autoregressive learning of time-stepping operators offers an effective approach to data-driven PDE simulation on grids. For conservation laws, however, long-horizon rollouts are often destabilized when learned updates violate global conservation and, in many applications, additional state bounds—such as nonnegative mass and densities or concentrations constrained to [0,1]. Enforcing these coupled constraints via direct next-state regression remains difficult. We introduce a framework for learning conservative transport operators on regular grids, inspired by lattice Boltzmann–style discrete-velocity transport representations. Instead of predicting the next state, the model outputs local transport operators that update cells through neighborhood exchanges, guaranteeing discrete conservation by construction. For bounded quantities, we parameterize transport within a capacity-constrained feasible set, enforcing bounds structurally rather than by post-hoc clipping. We validate FluxNet on convection-diffusion, shallow water equations, traffic flow, and spinodal decomposition. Experiments on shallow-water equations and traffic flow show improved rollout stability and physical consistency over strong baselines. On phase-field spinodal decomposition, the method enables large time-steps with long-range transport, accelerating simulation while preserving microstructure evolution in both pointwise and statistical measures.
","absKo":"autoregressive 학습을 통한 time-stepping operator는 grid 상에서 data-driven PDE simulation을 수행하는 효과적인 접근법을 제공한다. 그러나 conservation law의 경우, learned update가 전역 보존을 위반하면 장기 rollout이 종종 불안정해지며, 많은 응용에서는 추가로 비음수 질량 및 [0,1]로 제한되는 밀도나 농도와 같은 state bound도 필요하다. 이러한 결합된 제약을 직접 next-state regression으로 강제하는 것은 어렵다. 우리는 lattice Boltzmann 스타일의 discrete-velocity transport representation에서 영감을 받아, regular grid 위에서 conservative transport operator를 학습하는 framework를 제안한다. 모델은 다음 상태를 예측하는 대신 local transport operator를 출력하며, 이는 neighborhood exchange를 통해 cell을 업데이트하고, 설계상 discrete conservation을 보장한다. bounded quantity에 대해서는 transport를 capacity-constrained feasible set 안에서 parameterize하여, 사후 clipping이 아니라 구조적으로 bound를 강제한다. 우리는 FluxNet을 convection-diffusion, shallow water equations, traffic flow, spinodal decomposition에서 검증한다. shallow-water equations와 traffic flow 실험에서는 강력한 baseline보다 더 나은 rollout stability와 physical consistency를 보였다. phase-field spinodal decomposition에서는 이 방법이 장거리 transport와 함께 큰 time-step 사용을 가능하게 하여, microstructure evolution을 pointwise 및 statistical measure 모두에서 보존하면서 시뮬레이션을 가속한다."},{"id":"62622","en":"FUSE: FK-Steered Multi-Modal Flow Matching for Efficient Simulation-Based Posterior Estimation","ko":"FUSE: 효율적 Simulation-Based Posterior Estimation을 위한 FK-Steered Multi-Modal Flow Matching","authors":"Weichen Qin, Yufan Xie, Peihao Wang, Chia-Jui Chou, Minghui Du, Peng Xu, Ziren Luo, Yi Yang, Jingyi Yu, Bo Liang, Jiakai Zhang","pos":"#1315","link":"https://openreview.net/forum?id=evIBAgZPjC","abs":"Simulation-Based Inference (SBI) is critical for scientific discovery, with generative models offering a promising path toward efficient inference. However, existing methods struggle with effective multimodal modeling. They often rely on brute-force fusion strategies that ignore the structural disparities between parameters and observations, thus limiting estimation fidelity. In this work, we introduce FUSE (Feynman-Kac steered mUlti-modal flow matching for efficient Simulation-based posterior Estimation). Unlike prior work, FUSE employs a dual-track architecture that preserves the distinct features of multimodal inputs while facilitating dynamic interaction. Additionally, we propose an FK-steered sampling strategy that leverages intermediate observation likelihoods to guide the generative trajectories, effectively improving the sample quality during inference. Our approach outperforms state-of-the-art baselines on standard SBI benchmarks, producing posteriors that closely match ground-truth MCMC. Furthermore, in a real-world exoplanet orbital estimation task, FUSE successfully resolves complex parameter degeneracies that challenge existing methods, highlighting its potential to accelerate complex scientific discoveries in astrophysics and beyond.
","absKo":"Simulation-Based Inference (SBI)는 과학적 발견에 핵심적이며, generative model은 효율적인 inference를 향한 유망한 경로를 제공합니다. 그러나 기존 방법은 효과적인 multimodal modeling에서 어려움을 겪습니다. 이들은 종종 parameter와 observation의 구조적 차이를 무시한 채 단순한 fusion 전략에 의존하여 estimation fidelity를 제한합니다. 본 연구에서 우리는 FUSE(Feynman-Kac steered mUlti-modal flow matching for efficient Simulation-based posterior Estimation)를 제안합니다. 기존 연구와 달리, FUSE는 multimodal input의 고유한 feature를 보존하면서 동적 상호작용을 가능하게 하는 dual-track architecture를 사용합니다. 또한, 우리는 중간 observation likelihood를 활용해 generative trajectory를 유도하는 FK-steered sampling 전략을 제안하여, inference 동안 sample quality를 효과적으로 향상시킵니다. 우리의 접근법은 표준 SBI benchmark에서 state-of-the-art baseline을 능가하며, ground-truth MCMC와 매우 잘 일치하는 posterior를 생성합니다. 더 나아가 실제 exoplanet orbital estimation task에서 FUSE는 기존 방법을 어렵게 만드는 복잡한 parameter degeneracy를 성공적으로 해소하여, astrophysics 및 그 너머의 복잡한 과학적 발견을 가속할 잠재력을 보여줍니다."},{"id":"65840","en":"A Cartesian-3j and nj Framework for Machine Learning Interatomic Potentials","ko":"머신러닝 원자간 퍼텐셜을 위한 Cartesian-3j 및 nj 프레임워크","authors":"Zemin Xu, Chenyu Wu, Wenbo Xie, Peijun Hu","pos":"#1400","link":"https://openreview.net/forum?id=9ZWK6gneWq","abs":"Machine learning interatomic potentials (MLIPs) have brought substantial gains in the extrapolation capability in computational chemistry. However, most equivariant models are typically built with spherical tensors (STs), and it remains unclear whether it is the only practical design principle, or whether irreducible Cartesian tensors (ICTs) can offer distinct advantages by operating directly in the Cartesian space that naturally aligned with atomistic coordinates and tensor targets. In this work, we introduce the Cartesian-3j and Cartesian-nj symbols, which serve as direct analogues of the Wigner-3j and Wigner-nj symbols defined for spherical tensor coupling. We further extend the e3nn library to support ICT products, and use this framework to build Cartesian counterparts of MACE, NequIP, and Allegro, allowing the first controlled comparison where architectures are held fixed and only the tensor basis is changed. Leveraging the ICTs and Cartesian-based architecture, a universal interatomic potential is trained and demonstrated competitive performance on a widely used public benchmark for materials discovery against SOTA ST models.
","absKo":"Machine learning interatomic potentials (MLIPs)는 computational chemistry에서 extrapolation capability를 크게 향상시켰다. 그러나 대부분의 equivariant model은 일반적으로 spherical tensor (ST)로 구성되며, 그것이 유일한 실용적 design principle인지, 아니면 atomistic coordinate와 tensor target에 자연스럽게 정렬되는 Cartesian space에서 직접 작동하는 irreducible Cartesian tensor (ICT)가 뚜렷한 이점을 제공할 수 있는지는 여전히 불분명하다. 본 연구에서는 spherical tensor coupling을 위해 정의된 Wigner-3j 및 Wigner-nj symbol의 직접적인 대응물로서 Cartesian-3j 및 Cartesian-nj symbol을 도입한다. 또한 e3nn library를 확장하여 ICT product를 지원하고, 이 framework를 사용해 MACE, NequIP, Allegro의 Cartesian 대응 버전을 구축한다. 이를 통해 architecture는 고정하고 tensor basis만 변경한 상태에서 처음으로 통제된 비교를 수행할 수 있다. ICT와 Cartesian-based architecture를 활용하여 universal interatomic potential을 학습하고, materials discovery를 위한 널리 사용되는 public benchmark에서 SOTA ST model에 비견되는 성능을 보인다.
"},{"id":"63088","en":"A Dirac-Frenkel-Onsager principle: Instantaneous residual minimization with gauge momentum for nonlinear parametrizations of PDE solutions","ko":"Dirac-Frenkel-Onsager 원리: PDE 해의 비선형 파라미터화를 위한 게이지 운동량 기반 순간 잔차 최소화","authors":"Matteo Raviola, Benjamin Peherstorfer","pos":"#1401","link":"https://openreview.net/forum?id=aDPbUSUCwh","abs":"Dirac-Frenkel instantaneous residual minimization evolves nonlinear parametrizations of PDE solutions in time, but ill-conditioning can render the parameter dynamics non-unique. We interpret this non-uniqueness as a gauge freedom: nullspace directions that leave the time derivative unchanged can be used to select better-conditioned parameter velocities. Building on Onsager's minimum-dissipation principle, we introduce a history variable---interpretable as momentum---and inject it only along the nullspace directions. The resulting Dirac-Frenkel-Onsager dynamics preserve instantaneous residual minimization, in contrast to standard regularization that can introduce bias, while promoting temporally smooth parameter evolution. Examples demonstrate that the approach leads to increased robustness in singular and near-singular regimes.
","absKo":"Dirac-Frenkel instantaneous residual minimization은 PDE 해의 nonlinear parametrization을 시간에 따라 진화시키지만, ill-conditioning은 parameter dynamics를 non-unique하게 만들 수 있다. 우리는 이러한 non-uniqueness를 gauge freedom으로 해석한다. 즉, 시간 미분을 바꾸지 않는 nullspace direction을 활용해 더 잘 조건화된 parameter velocity를 선택할 수 있다. Onsager의 minimum-dissipation principle을 바탕으로, 우리는 history variable를 도입하는데, 이는 momentum으로 해석될 수 있으며 nullspace direction을 따라서만 주입된다. 그 결과 얻어지는 Dirac-Frenkel-Onsager dynamics는 표준 regularization이 bias를 도입할 수 있는 것과 달리 instantaneous residual minimization을 보존하면서 시간적으로 매끄러운 parameter evolution을 촉진한다. 예시는 이 접근이 singular 및 near-singular regime에서 robustness를 향상시킴을 보여준다.
"},{"id":"66096","en":"Autoregressive Boltzmann Generators","ko":"자기회귀 Boltzmann Generator","authors":"Danyal Rehman, Charlie Tan, Yoshua Bengio, Joey Bose, Alexander Tong","pos":"#1404","link":"https://openreview.net/forum?id=75AYDsndHP","abs":"Efficient sampling of molecular systems at thermodynamic equilibrium is a hallmark challenge in statistical physics. This challenge has driven the development of Boltzmann Generators (BGs), which allow rapid generation of uncorrelated equilibrium samples by combining a generative model with exact likelihoods and an importance sampling correction. However, modern BGs predominantly rely on Normalizing Flows (NFs), which either suffer from limited expressivity due to strict invertibility constraints (discrete time) or computationally expensive likelihoods (continuous time). In this paper, we propose Autoregressive Boltzmann Generators (ArBG), a novel autoregressive modelling framework that overcomes these limitations by departing from the flow-based BG paradigm. ArBG circumvents the topological constraints of flows and enables sequential inference-time interventions, while offering enhanced scalability by leveraging architectures effective in Large Language Models. We empirically demonstrate that ArBG leads to significant improvements over flow-based models across all benchmarks, but particularly in larger peptide systems such as the 10-residue Chignolin. Furthermore, we introduce Robin, a 132M parameter transferable model trained with the ArBG framework which improves over the previous state-of-the-art, reducing the zero-shot energy error, $\\mathcal{E}$-$\\mathcal{W}_2$, on 8-residue systems by $\\sim 60$\\%.","absKo":"상온 평형에서 분자 시스템을 효율적으로 샘플링하는 것은 통계물리학의 핵심적인 난제다. 이 문제는 생성 모델과 정확한 likelihood 및 importance sampling 보정을 결합해 상관이 제거된 평형 샘플을 빠르게 생성할 수 있는 Boltzmann Generators (BGs)의 발전을 이끌었다. 그러나 현대의 BGs는 주로 Normalizing Flows (NFs)에 의존하는데, 이는 엄격한 invertibility 제약으로 인한 표현력 한계(discrete time) 또는 계산 비용이 큰 likelihood(continuous time) 문제를 겪는다. 본 논문에서는 flow 기반 BG 패러다임에서 벗어나 이러한 한계를 극복하는 새로운 autoregressive modeling 프레임워크인 Autoregressive Boltzmann Generators (ArBG)를 제안한다. ArBG는 flows의 topological constraint를 우회하고, 순차적인 inference-time intervention을 가능하게 하며, Large Language Models에서 효과적인 아키텍처를 활용해 향상된 확장성도 제공한다. 우리는 ArBG가 모든 벤치마크에서 flow 기반 모델보다 유의미한 향상을 보이며, 특히 10-residue Chignolin과 같은 더 큰 peptide 시스템에서 두드러짐을 실증적으로 보인다. 더 나아가, 우리는 ArBG 프레임워크로 학습된 132M 파라미터의 transferable 모델 Robin을 소개하는데, 이는 이전 state-of-the-art를 능가하며 8-residue 시스템에서 zero-shot energy error인 $\\mathcal{E}$-$\\mathcal{W}_2$를 약 60\\% 줄인다."},{"id":"63420","en":"Contrastive Geometric Learning Unlocks Unified Structure- and Ligand-Based Drug Design","ko":"대조적 기하 학습은 통합 구조 및 리간드 기반 신약 설계를 가능하게 한다","authors":"Lisa Schneckenreiter, Sohvi Luukkonen, Lukas Friedrich, Daniel Kuhn, Günter Klambauer","pos":"#1410","link":"https://openreview.net/forum?id=XJaXdi5R21","abs":"Structure-based and ligand-based computational drug design have traditionally relied on disjoint data sources and modeling assumptions, limiting their joint use at scale. In this work, we introduce Contrastive Geometric Learning for Unified Computational Drug Design (ConGLUDe), a single contrastive geometric model that unifies structure- and ligand-based training. ConGLUDe couples a geometric protein encoder that produces whole-protein representations and implicit embeddings of predicted binding sites with a fast ligand encoder, removing the need for pre-defined pockets. By aligning ligands with both global protein representations and multiple candidate binding sites through contrastive learning, ConGLUDe supports ligand-conditioned pocket prediction in addition to virtual screening and target fishing, while being trained jointly on protein-ligand complexes and large-scale bioactivity data. Across diverse benchmarks, ConGLUDe achieves competitive zero-shot virtual screening performance, substantially outperforms existing methods on a challenging target fishing task, and demonstrates state-of-the-art ligand-conditioned pocket selection. These results highlight the advantages of unified structure-ligand training and position ConGLUDe as a step toward general-purpose foundation models for drug discovery.
","absKo":"구조 기반(structure-based)과 ligand 기반(ligand-based) computational drug design은 전통적으로 분리된 data source와 modeling assumption에 의존해 왔고, 이로 인해 대규모에서의 결합 활용이 제한되었다. 본 연구에서는 구조 기반과 ligand 기반 training을 통합하는 단일 contrastive geometric model인 Contrastive Geometric Learning for Unified Computational Drug Design(ConGLUDe)을 소개한다. ConGLUDe는 전체 protein representation과 예측된 binding site의 implicit embedding을 생성하는 geometric protein encoder와 빠른 ligand encoder를 결합하여, 사전 정의된 pocket의 필요성을 제거한다. contrastive learning을 통해 ligand를 전역 protein representation 및 여러 후보 binding site와 정렬함으로써, ConGLUDe는 virtual screening과 target fishing뿐 아니라 ligand-conditioned pocket prediction도 지원하며, protein-ligand complex와 대규모 bioactivity data로 공동 학습된다. 다양한 benchmark에서 ConGLUDe는 경쟁력 있는 zero-shot virtual screening 성능을 달성하고, 까다로운 target fishing task에서는 기존 방법을 크게 능가하며, 최신 수준의 ligand-conditioned pocket selection을 보여준다. 이러한 결과는 통합된 structure-ligand training의 장점을 강조하며, ConGLUDe를 drug discovery를 위한 범용 foundation model로 가는 한 걸음으로 위치시킨다.
"},{"id":"66401","en":"EqGINO: Equivariant Geometry-Informed Fourier Neural Operators for 3D Partial Differential Equations","ko":"EqGINO: 3D 편미분방정식을 위한 등변 기하 정보 Fourier Neural Operator","authors":"Sungwon Kim, Juho Song, Seungmin Shin, Guimok Cho, Sangkook Kim, Chanyoung Park","pos":"#1414","link":"https://openreview.net/forum?id=43QdwsbcNM","abs":"Deep learning surrogates for 3D Partial Differential Equations (PDEs) often fail to generalize across geometric transformations because they depend heavily on specific coordinate systems. While equivariant networks offer a solution, they typically rely on local operations in the spatial domain, making the global receptive field—essential for PDE dynamics—computationally expensive. Conversely, Fourier Neural Operators (FNOs) efficiently capture global interactions, yet establishing 3D equivariance within them remains impractical due to the prohibitive cost of spectral group convolutions. To bridge this gap, we introduce EqGINO, a geometrically robust framework that enforces isotropy in the spectral domain. By design, EqGINO guarantees exact equivariance to the discrete symmetries inherent to the discretized computational domain. Beyond this discrete guarantee, our structural prior enables effective generalization to arbitrary continuous orientations even with a limited number of SE(3)-transformed training samples. Consequently, our method robustly models coordinate-invariant physical laws on complex irregular 3D geometries. Our code is available at https://anonymous.4open.science/r/EqGINO/
","absKo":"3D Partial Differential Equations (PDEs)를 위한 deep learning surrogate는 특정 coordinate system에 크게 의존하기 때문에 geometric transformation 전반에 걸쳐 generalize하지 못하는 경우가 많다. Equivariant network는 이러한 문제의 해법을 제공하지만, 보통 spatial domain에서 local operation에 의존하므로 PDE dynamics에 필수적인 global receptive field를 계산적으로 비싸게 만든다. 반대로 Fourier Neural Operators (FNOs)는 global interaction을 효율적으로 포착하지만, spectral group convolution의 막대한 비용 때문에 그 안에서 3D equivariance를 확립하는 것은 여전히 비현실적이다. 이러한 간극을 메우기 위해 우리는 spectral domain에서 isotropy를 강제하는 geometrically robust framework인 EqGINO를 도입한다. 설계상 EqGINO는 discretized computational domain에 내재한 discrete symmetry에 대해 exact equivariance를 보장한다. 이러한 discrete guarantee를 넘어, 우리의 structural prior는 제한된 수의 SE(3)-transformed training sample만으로도 임의의 continuous orientation에 효과적으로 generalize할 수 있게 한다. 그 결과, 우리의 방법은 복잡하고 불규칙한 3D geometry에서 coordinate-invariant physical law를 견고하게 모델링한다. 코드: https://anonymous.4open.science/r/EqGINO/
"},{"id":"65353","en":"CocoRNA: Collective RNA Design with Cooperative Multi-agent Reinforcement Learning","ko":"CocoRNA: 협력적 멀티 에이전트 강화학습을 통한 집단적 RNA 설계","authors":"Tianmeng Hu, Biao Luo, Ke Li","pos":"#1409","link":"https://openreview.net/forum?id=ES14qDqVB4","abs":"Designing RNA sequences that reliably fold into specific secondary structures is essential for understanding their biological functions but remains a challenging computational problem. We propose CocoRNA, a cooperative multi-agent reinforcement learning framework for RNA inverse design. CocoRNA simplifies the design task by decomposing it into smaller sub-problems, each solved collaboratively by multiple agents. This approach reduces the complexity of the problem and improves the exploration of design policies. During training, a centralized critic uses global structural information to guide the agents, enabling them to jointly optimize their design strategies. As a result, CocoRNA learns high-quality RNA design policies that generalize effectively to unseen structures without additional training. Experiments on the Rfam dataset demonstrate that CocoRNA substantially outperforms state-of-the-art methods in both success rate and design speed. Further experiments on other biological sequence design tasks highlight the effectiveness and broad potential of CocoRNA for complex design tasks.
","absKo":"특정 secondary structure로 안정적으로 접히는 RNA sequence를 설계하는 것은 그 생물학적 기능을 이해하는 데 필수적이지만, 여전히 어려운 계산 문제이다. 우리는 RNA inverse design을 위한 cooperative multi-agent reinforcement learning framework인 CocoRNA를 제안한다. CocoRNA는 설계 과제를 더 작은 sub-problem들로 분해하고, 각 sub-problem을 여러 agent가 협력적으로 해결하도록 함으로써 설계 작업을 단순화한다. 이 접근은 문제의 복잡성을 줄이고 design policy의 탐색을 향상시킨다. 학습 중에는 centralized critic이 global structural information을 사용해 agent를 안내하며, 이를 통해 agent들이 설계 전략을 공동으로 최적화할 수 있게 한다. 그 결과 CocoRNA는 추가 학습 없이도 보지 못한 구조에 효과적으로 일반화하는 고품질 RNA design policy를 학습한다. Rfam dataset에서의 실험은 CocoRNA가 success rate와 design speed 모두에서 state-of-the-art 방법들을 크게 능가함을 보여준다. 다른 biological sequence design task들에 대한 추가 실험은 복잡한 설계 과제에 대한 CocoRNA의 효과와 폭넓은 잠재력을 강조한다.
"},{"id":"60608","en":"WFR-MFM: One-Step Inference for Dynamic Unbalanced OT","ko":"WFR-MFM: 동적 불균형 OT를 위한 원스텝 추론","authors":"Xinyu Wang, Ruoyu Wang, Qiangwei Peng, Peijie Zhou, Tiejun Li","pos":"#1106","link":"https://openreview.net/forum?id=yVGbbB3ERW","abs":"Reconstructing dynamical evolution from limited observations is a fundamental challenge in single-cell biology, where dynamic unbalanced optimal transport (OT) provides a principled framework for modeling coupled transport and mass variation. However, existing approaches rely on trajectory simulation at inference time, making inference a key bottleneck for scalable applications. In this work, we propose a mean-flow framework for unbalanced flow matching that summarizes both transport and mass-growth dynamics over arbitrary time intervals using mean velocity and mass-growth fields, enabling fast one-step generation without trajectory simulation. To solve dynamic unbalanced OT under the Wasserstein-Fisher-Rao geometry, we further build on this framework to develop Wasserstein-Fisher-Rao Mean Flow Matching (WFR-MFM). Across synthetic and real single-cell RNA sequencing datasets, WFR-MFM achieves orders-of-magnitude faster inference than a range of existing baselines while maintaining high predictive accuracy, and enables efficient perturbation response prediction on large synthetic datasets with thousands of conditions.
","absKo":"제한된 관측으로부터 dynamical evolution을 재구성하는 것은 single-cell biology의 근본적인 과제이며, dynamic unbalanced optimal transport(OT)는 coupled transport와 mass variation을 모델링하기 위한 원칙적인 프레임워크를 제공한다. 그러나 기존 접근법은 추론 시점에 trajectory simulation에 의존하므로, 이것이 확장 가능한 응용에서 핵심 병목이 된다. 본 연구에서는 mean velocity와 mass-growth field를 사용하여 임의의 시간 간격에 걸친 transport와 mass-growth dynamics를 모두 요약하는 unbalanced flow matching을 위한 mean-flow framework를 제안하며, 이를 통해 trajectory simulation 없이 빠른 one-step generation이 가능해진다. Wasserstein-Fisher-Rao geometry 하에서 dynamic unbalanced OT를 해결하기 위해, 우리는 이 프레임워크를 바탕으로 Wasserstein-Fisher-Rao Mean Flow Matching (WFR-MFM)을 개발한다. synthetic 및 실제 single-cell RNA sequencing dataset 전반에서 WFR-MFM은 높은 예측 정확도를 유지하면서 다양한 기존 baseline보다 수십 배에서 수천 배 빠른 추론 속도를 달성하며, 수천 개의 조건을 포함하는 대규모 synthetic dataset에서 효율적인 perturbation response prediction을 가능하게 한다.
"},{"id":"63043","en":"Neuro-Symbolic AI for Analytical Solutions of Differential Equations","ko":"미분방정식의 해석적 해를 위한 뉴로-심볼릭 AI","authors":"Orestis Oikonomou, Levi Lingsch, Dana Grund, Siddhartha Mishra, Georgios Kissas","pos":"#1202","link":"https://openreview.net/forum?id=acvRKe2uMW","abs":"Analytical solutions to differential equations offer exact, interpretable insight but are rarely available because discovering them requires expert intuition or exhaustive search in combinatorial spaces. We introduce SIGS, a neuro-symbolic framework that automates this process. SIGS uses a formal grammar to generate only syntactically valid building blocks, embeds these expressions into a continuous space, and then searches this space to assemble, score, and refine candidate closed-form solutions by minimizing a physics-based residual. This design unifies symbolic reasoning with numerical optimization; the grammar constrains candidate solution blocks to be proper by construction, while the latent search makes exploration tractable and data-free. SIGS is the first neuro-symbolic method to (i) analytically solve coupled systems of nonlinear PDEs, (ii) discover solutions under grammar misspecification, and (iii) produce accurate symbolic approximations for PDEs lacking known closed-form solutions. Overall, SIGS achieves orders-of-magnitude improvements in accuracy and efficiency over existing symbolic methods on standard benchmarks.
","absKo":"미분방정식에 대한 analytical solution은 정확하고 해석 가능한 통찰을 제공하지만, 이를 발견하려면 전문가의 직관이나 조합 공간에 대한 exhaustive search가 필요하기 때문에 실제로는 거의 구할 수 없다. 우리는 이 과정을 자동화하는 neuro-symbolic framework인 SIGS를 소개한다. SIGS는 formal grammar를 사용해 syntactically valid한 building block만 생성하고, 이러한 expression을 continuous space에 embedding한 뒤, physics-based residual을 최소화하면서 이 space를 탐색하여 후보 closed-form solution을 조립, 평가, 정제한다. 이 설계는 symbolic reasoning과 numerical optimization을 하나로 통합한다. grammar는 candidate solution block이 구조적으로 올바르도록 제약하고, latent search는 탐색을 tractable하고 data-free하게 만든다. SIGS는 (i) coupled systems of nonlinear PDEs를 analytical하게 푸는 최초의 neuro-symbolic method이며, (ii) grammar misspecification 하에서 해를 발견하고, (iii) 알려진 closed-form solution이 없는 PDE에 대해 정확한 symbolic approximation을 생성한다. 전반적으로 SIGS는 표준 benchmark에서 기존 symbolic method 대비 정확도와 효율성 모두에서 orders-of-magnitude 수준의 향상을 달성한다.
"},{"id":"66397","en":"$\\sigma$: Sigmoid Modulation for Ultra High Resolution Diffusion","ko":"$\\sigma$: 초고해상도 Diffusion을 위한 Sigmoid 변조","authors":"Bingxuan Zhao, Qing Zhou, Yu Wang, Chuang Yang, Qi Wang","pos":"#1102","link":"https://openreview.net/forum?id=47JZSOkw5C","abs":"While Diffusion Transformers (DiTs) have revolutionized high-fidelity image synthesis, the prohibitive computational costs of training at ultra-high resolutions necessitate robust inference-time extrapolation. Existing extrapolation methods typically operate under a *scale-agnostic* assumption, treating the denoising dynamics identically across resolutions. In this work, we identify a critical oversight in this paradigm: the spectral evolution of the diffusion process, transitioning from low-frequency structural construction to high-frequency texture refinement, is inherently scale-dependent. Consequently, applying a uniform strategy across scales causes a spectral misalignment, manifesting as *structural collapse* or *textural degradation*. To bridge this gap, we introduce **SigMa ($\\sigma$)**, a training-free framework that utilizes Sigmoid Modulation for *scale-adaptive* calibration of the extrapolation process. SigMa orchestrates the spectral evolution via a parameterized schedule with two core mechanisms: *Decoupled Geometric Center Alignment*, which synchronizes the transition timing to secure global structure, and *Iso-Variance Rate Adaptation*, which scales the transition velocity to ensure a smooth feature handover. Extensive experiments demonstrate that SigMa effectively rectifies spectral deviations, enabling training-free extrapolation up to 16 megapixels and achieving state-of-the-art performance on standard benchmarks.","absKo":"Diffusion Transformers (DiTs)는 고충실도 이미지 합성에 혁신을 가져왔지만, 초고해상도에서의 training에 드는 지나치게 큰 계산 비용 때문에 inference-time extrapolation이 필수적이다. 기존 extrapolation method는 일반적으로 *scale-agnostic* 가정 하에서 작동하며, denoising dynamics를 해상도에 상관없이 동일하게 취급한다. 본 연구에서는 이 패러다임의 중요한 간과를 식별한다. diffusion process의 spectral evolution은 저주파 구조 구축에서 고주파 texture refinement로 전환되는데, 이는 본질적으로 scale-dependent하다. 그 결과, 모든 scale에 동일한 전략을 적용하면 spectral misalignment가 발생하여 *structural collapse* 또는 *textural degradation*으로 나타난다. 이러한 간극을 메우기 위해, 우리는 extrapolation process의 *scale-adaptive* calibration을 위해 Sigmoid Modulation을 활용하는 training-free framework인 **SigMa ($\\sigma$)**를 제안한다. SigMa는 두 가지 핵심 mechanism을 갖는 parameterized schedule을 통해 spectral evolution을 조율한다: 전역 구조를 확보하기 위해 transition timing을 동기화하는 *Decoupled Geometric Center Alignment*와, feature handover가 매끄럽게 이루어지도록 transition velocity를 조정하는 *Iso-Variance Rate Adaptation*이다. 광범위한 실험은 SigMa가 spectral deviation을 효과적으로 교정하여, training 없이 최대 16 megapixels까지 extrapolation을 가능하게 하고 표준 benchmark에서 state-of-the-art 성능을 달성함을 보여준다."},{"id":"61059","en":"Adaptive Volumetric Mechanical Property Fields Invariant to Resolution","ko":"해상도에 불변인 Adaptive Volumetric Mechanical Property Fields","authors":"Rishit Dagli, Donglai Xiang, Vismay Modi, Xuning Yang, Gavriel State, David I.W., Maria Shugrina","pos":"#1100","link":"https://openreview.net/forum?id=u4uFwVwZGr","abs":"Accurate mechanical properties (or materials) Young's modulus ($E$), Poisson's ratio ($\\nu$) and density ($\\rho$) are essential for reliable physics simulation of digital worlds, but most 3D assets lack this information. We propose AdaVoMP, a method for predicting accurate dense spatially-varying $(E, \\nu, \\rho)$ for input 3D objects across representations, improving the resolution, accuracy, and memory efficiency over the state-of-the-art. The foundation of our technique is a sparse and adaptive voxel structure SAV that efficiently represents both the input 3D shape and the material field output. We replace the fixed-voxel model of the most accurate prior method, VoMP, with a novel sparse transformer encoder-decoder model that learns to generate a unique SAV autoregressively for every input shape to represent its materials, achieving a resolution $16^3\\times$ higher than prior art. Experiments show that AdaVoMP estimates more accurate volumetric properties, even with lesser test-time compute than all prior art. This allows us to convert high-resolution complex 3D objects into simulation-ready assets, resulting in realistic deformable simulations.","absKo":"정확한 mechanical properties(또는 materials)인 Young's modulus($E$), Poisson's ratio($\\nu$), density($\\rho$)는 디지털 세계의 신뢰할 수 있는 physics simulation에 필수적이지만, 대부분의 3D asset은 이 정보를 갖고 있지 않다. 우리는 입력 3D object에 대해 representation을 가로질러 정확한 dense spatially-varying $(E, \\nu, \\rho)$를 예측하는 방법 AdaVoMP를 제안하며, state-of-the-art 대비 해상도, 정확도, memory efficiency를 향상시킨다. 우리 기법의 기반은 sparse하고 adaptive한 voxel structure SAV로, 입력 3D shape와 material field output을 모두 효율적으로 표현한다. 우리는 가장 정확했던 기존 방법 VoMP의 fixed-voxel model을, 각 입력 shape마다 그 material을 표현하기 위해 unique한 SAV를 autoregressively 생성하도록 학습하는 새로운 sparse transformer encoder-decoder model로 대체했으며, 이를 통해 기존 기술보다 16^3배 높은 해상도를 달성했다. 실험 결과 AdaVoMP는 모든 기존 기술보다 test-time compute가 더 적더라도 더 정확한 volumetric properties를 추정한다. 이를 통해 고해상도의 복잡한 3D object를 simulation-ready asset으로 변환할 수 있으며, 그 결과 사실적인 deformable simulation이 가능해진다."},{"id":"60900","en":"SplAttN: Bridging 2D and 3D with Gaussian Soft Splatting and Attention for Point Cloud Completion","ko":"SplAttN: Point Cloud Completion을 위한 Gaussian Soft Splatting과 Attention으로 2D와 3D 연결","authors":"Zhaoyang Li, Zhichao You, Tianrui Li","pos":"#910","link":"https://openreview.net/forum?id=vTp9JToZl9","abs":"Although multi-modal learning has advanced point cloud completion, the theoretical mechanisms remain unclear. Recent works attribute success to the connection between modalities, yet we identify that standard hard projection severs this connection, inducing Cross-Modal Entropy Collapse where sparse support hinders visual prior propagation. To bridge this gap, we propose SplAttN, which maximizes Point-wise Mutual Information via Differentiable Gaussian Splatting. By reformulating projection as continuous density estimation, SplAttN facilitates gradient flow and optimizes connection learnability. Extensive experiments show that SplAttN achieves state-of-the-art performance on PCN and ShapeNet-55/34. Crucially, we utilize the real-world KITTI benchmark as a stress test for multi-modal reliance. Counter-factual evaluation reveals that while baselines degenerate into unimodal template retrievers insensitive to visual removal, SplAttN maintains a robust dependency on visual cues, validating that our method establishes an effective cross-modal connection. Code is available at https://anonymous.4open.science/r/Anonymous-766B/.
","absKo":"multi-modal learning이 point cloud completion을 발전시켜 왔지만, 그 이론적 메커니즘은 여전히 명확하지 않다. 최근 연구들은 성공의 원인을 modality 간 연결성에 돌리고 있지만, 우리는 표준 hard projection이 이 연결을 끊어 Cross-Modal Entropy Collapse를 유발하며, 희소한 support가 visual prior의 전파를 방해한다는 점을 확인했다. 이 간극을 메우기 위해, 우리는 Differentiable Gaussian Splatting을 통해 Point-wise Mutual Information을 극대화하는 SplAttN을 제안한다. projection을 연속적인 density estimation으로 재구성함으로써, SplAttN은 gradient flow를 촉진하고 connection learnability를 최적화한다. 광범위한 실험 결과, SplAttN은 PCN과 ShapeNet-55/34에서 state-of-the-art 성능을 달성한다. 특히 우리는 multi-modal 의존성을 시험하는 stress test로서 실제 세계 KITTI benchmark를 활용한다. counter-factual evaluation은 baseline이 visual input이 제거되면 둔감한 unimodal template retriever로 퇴화하는 반면, SplAttN은 visual cue에 대한 견고한 의존성을 유지함을 보여주며, 우리의 방법이 효과적인 cross-modal connection을 구축함을 검증한다. 코드는 https://anonymous.4open.science/r/Anonymous-766B/ 에서 확인할 수 있다.
"},{"id":"64973","en":"Verifiable Multimodal Reasoning: Fact-level Attribution with Multimodal Sources","ko":"검증 가능한 멀티모달 추론: 멀티모달 소스를 활용한 Fact-level Attribution","authors":"David Wan, Han Wang, Ziyang Wang, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal","pos":"#1707","link":"https://openreview.net/forum?id=IEDC7yFpLe","abs":"Multimodal large language models (MLLMs) are increasingly used for real-world tasks involving multi-step reasoning and long-form generation, where reliability requires grounding model outputs in heterogeneous input sources and verifying individual factual claims. However, existing multimodal grounding benchmarks and evaluation methods focus on simplified, observation-based scenarios or limited modalities and fail to assess attributions in complex multimodal reasoning. We introduce MURGAT (Multimodal Reasoning with Grounded Attribution), a benchmark for evaluating fact-level multimodal attribution in settings that require reasoning beyond direct observation. Given inputs spanning video, audio, and other modalities, MURGAT requires models to generate answers with explicit reasoning and precise citations, where each citation specifies both modality and temporal segment. To enable reliable assessment, we introduce an automatic evaluation framework that strongly correlates with human judgments (r = 0.84). Benchmarking against human and automated scores reveals that even strong MLLMs frequently hallucinate citations despite correct reasoning. Moreover, we see a key trade-off: increasing reasoning depth or enforcing structured grounding often degrades accuracy, highlighting a significant gap between internal reasoning and verifiable attribution
","absKo":"Multimodal large language models (MLLMs)는 다단계 추론과 장문 생성을 수반하는 실제 작업에서 점점 더 많이 사용되고 있으며, 이러한 작업에서는 모델 출력을 이질적인 입력 स्रोत에 grounded하고 개별 사실적 주장들을 검증하는 신뢰성이 요구된다. 그러나 기존의 multimodal grounding 벤치마크와 평가 방법은 단순화된 관찰 기반 시나리오나 제한된 modality에 초점을 맞추고 있어 복잡한 multimodal 추론에서의 attribution을 평가하지 못한다. 우리는 직접 관찰을 넘어서는 추론이 필요한 설정에서 fact-level multimodal attribution을 평가하기 위한 벤치마크인 MURGAT(Multimodal Reasoning with Grounded Attribution)를 제안한다. 영상, 오디오 및 기타 modality 전반의 입력이 주어지면, MURGAT은 모델이 명시적인 추론과 정확한 citation을 포함한 답변을 생성하도록 요구하며, 각 citation은 modality와 temporal segment를 모두 지정해야 한다. 신뢰할 수 있는 평가를 가능하게 하기 위해, 우리는 인간 판단과 강하게 상관하는 자동 평가 프레임워크(r = 0.84)를 도입한다. 인간 및 자동 점수에 대한 벤치마킹 결과, 강한 MLLM조차도 올바른 추론을 수행한 뒤에도 citation을 자주 hallucinate함을 보여준다. 또한 중요한 trade-off를 확인했는데, 추론 깊이를 높이거나 구조화된 grounding을 강제하면 정확도가 저하되는 경우가 많았으며, 이는 내부 추론과 검증 가능한 attribution 사이의 큰 격차를 드러낸다
"},{"id":"61824","en":"CADFit: Precise Mesh-to-CAD Program Generation with Hybrid Optimization","ko":"CADFit: Hybrid Optimization을 통한 정밀 Mesh-to-CAD 프로그램 생성","authors":"Ghadi Nehme, Eamon Whalen, Faez Ahmed","pos":"#1003","link":"https://openreview.net/forum?id=mdDmS5nMpK","abs":"Despite recent progress, recovering parametric CAD construction sequences from geometric input, such as meshes or point clouds, is a key challenge for design and manufacturing, as existing CAD reconstruction and generation methods are largely restricted to difficult-to-edit formats like meshes or Breps or editable simple sketch-and-extrude pipelines and low-complexity datasets. We introduce CADFit, a hybrid optimization-based CAD reconstruction framework that recovers complex, editable CAD construction sequences from meshes by incrementally fitting and validating parametric operations using geometric feedback. Our approach is distinguished by formulating reconstruction as an IoU-driven optimization over structured CAD programs and supporting a rich set of operations, including extrusions, revolutions, fillets, and chamfers. Experiments on multiple CAD benchmarks show that CADFit outperforms state-of-the-art mesh-to-CAD methods in volumetric Intersection-over-Union and Chamfer Distance, while substantially reducing the Invalid Ratio of reconstructed CAD programs, particularly for complex designs. We further present a multimodal pipeline that enables end-to-end reconstruction of CAD construction sequences from images by combining image-based geometry reconstruction with CADFit. By enabling accurate reconstruction of higher-complexity CAD models, CADFit provides a practical foundation for generating richer datasets and advancing future learning-based approaches to CAD reverse engineering.
","absKo":"최근 진전에도 불구하고, mesh나 point cloud와 같은 geometric input으로부터 parametric CAD construction sequence를 복원하는 일은 설계 및 제조에서 핵심적인 과제이다. 기존 CAD reconstruction 및 generation 방법은 대체로 mesh나 Brep처럼 수정하기 어려운 형식, 또는 편집 가능한 단순 sketch-and-extrude pipeline과 low-complexity dataset에 제한되어 있기 때문이다. 우리는 geometric feedback을 사용해 parametric operation을 점진적으로 fitting하고 검증함으로써 mesh로부터 복잡하고 편집 가능한 CAD construction sequence를 복원하는 hybrid optimization-based CAD reconstruction framework인 CADFit을 제안한다. 우리의 접근법은 구조화된 CAD program에 대한 IoU-driven optimization으로 reconstruction을 공식화하고, extrusions, revolutions, fillets, chamfers를 포함한 다양한 operation을 지원한다는 점에서 차별화된다. 여러 CAD benchmark에서 수행한 실험은 CADFit이 volumetric Intersection-over-Union과 Chamfer Distance 측면에서 최신 mesh-to-CAD 방법보다 우수하며, 특히 복잡한 design에서 복원된 CAD program의 Invalid Ratio를 크게 줄인다는 것을 보여준다. 또한 image-based geometry reconstruction과 CADFit을 결합하여 image로부터 CAD construction sequence를 end-to-end로 복원할 수 있는 multimodal pipeline도 제시한다. 더 높은 복잡도의 CAD model을 정확하게 복원할 수 있게 함으로써, CADFit은 더 풍부한 dataset을 생성하고 CAD reverse engineering을 위한 향후 learning-based 접근을 발전시키는 실용적 기반을 제공한다.
"},{"id":"61036","en":"SMD: Multi-view Safety-Critical Driving Video Generation in the Real-world Domain","ko":"SMD: 실제 환경 도메인의 다중 뷰 안전 필수 주행 비디오 생성","authors":"Jiawei Zhou, Linye Lyu, Zhuotao Tian, Cheng Zhuo, YU LI","pos":"#912","link":"https://openreview.net/forum?id=uKbD73kfgM","abs":"Safety-critical scenarios are essential for evaluating autonomous driving (AD) systems, yet they are rare in practice. Existing generators produce trajectories, simulations, or single-view videos—but they don’t meet what modern AD systems actually consume: realistic multi-view video. We present SMD, the first framework for generating multi-view safety-critical driving videos in the real-world domain. SMD couples a safety-critical trajectory engine with a diffusion-based multi-view video generator through three design choices. First, we pick the right adversary: a GRPO-fine-tuned vision-language model (VLM) that understands multi-camera context and selects vehicles most likely to induce hazards. Second, we generate the right motion: a two-stage trajectory process that (i) produces collisions, then (ii) transforms them into natural evasion trajectories—preserving risk while staying within what current video generators can faithfully render. Third, we synthesize the right data: a diffusion model that turns these trajectories into multi-view videos suitable for end-to-end planners. Videos generated by SMD substantially increase collision rates when stress testing multiple end-to-end planners, and reduce collision rates when incorporated into training, improving planner robustness and safety. Our code and video examples are available at: \\href{https://icml-2.github.io/SMD/}{https://icml-2.github.io/SMD/}.
","absKo":"Safety-critical scenario는 autonomous driving (AD) system을 평가하는 데 필수적이지만, 실제로는 매우 드물게 발생한다. 기존 generator는 trajectory, simulation, 또는 single-view video를 생성하지만, 현대 AD system이 실제로 소비하는 현실적인 multi-view video에는 부합하지 않는다. 우리는 real-world domain에서 multi-view safety-critical driving video를 생성하는 최초의 프레임워크 SMD를 제시한다. SMD는 세 가지 설계 선택을 통해 safety-critical trajectory engine과 diffusion 기반 multi-view video generator를 결합한다. 첫째, 우리는 적절한 adversary를 선택한다: multi-camera context를 이해하고 위험을 유발할 가능성이 가장 높은 vehicle을 선택하는 GRPO-fine-tuned vision-language model (VLM)이다. 둘째, 우리는 적절한 motion을 생성한다: (i) collision을 생성한 뒤 (ii) 이를 자연스러운 evasion trajectory로 변환하는 2단계 trajectory process로, 현재의 video generator가 충실하게 렌더링할 수 있는 범위 내에 머물면서도 risk를 보존한다. 셋째, 우리는 적절한 데이터를 합성한다: 이러한 trajectory를 end-to-end planner에 적합한 multi-view video로 변환하는 diffusion model이다. SMD가 생성한 video는 여러 end-to-end planner에 대한 stress testing에서 collision rate를 크게 증가시키고, 학습에 포함될 경우 collision rate를 낮추어 planner의 robusteness와 safety를 향상시킨다. 우리의 코드와 video 예시는 다음에서 확인할 수 있다: \\href{https://icml-2.github.io/SMD/}{https://icml-2.github.io/SMD/}.
"},{"id":"61115","en":"Blocking the Leakage: Manifold-Aware Gradient Projection for Long-Horizon Test-Time Adaptation","ko":"누출 차단: Long-Horizon Test-Time Adaptation을 위한 Manifold-Aware Gradient Projection","authors":"Haoyu Xiong, Chengchao Wang, ZhongQiang Wang, Huang He, Qiuxia Yang, Zhengpeng Zhao, Yuanyuan Pu","pos":"#1001","link":"https://openreview.net/forum?id=tXG1MOcigF","abs":"Test-Time Adaptation (TTA) empowers pre-trained models to adapt online to distribution shifts during inference, but such online updates often become unstable in long-horizon deployments. Prevailing approaches attribute this failure to error accumulation from noisy pseudo-labels, relying on heuristics to gate which samples are used for updates. We argue that this statistical view is insufficient: the problem lies not only in the quality of samples but also in the directionality of their gradients. In this work, we identify a geometric failure mode termed manifold erosion. Through spectral analysis, we find that reliable gradients concentrate in a stable low-rank subspace, while gradients from confident mispredictions are high-rank yet exhibit a persistent directional leakage into this protected subspace. This leakage can accumulate coherently and gradually erode core representations, eventually leading to collapse. To address this, we propose Manifold-Aware Gradient Projection (MGP), a geometric intervention that tracks the dominant subspace online and projects gradients onto its orthogonal complement. By blocking the leakage path, MGP decouples stability from plasticity. Extensive experiments on diverse TTA benchmarks demonstrate the long-horizon stability of our method, whereas prior methods often fail.
","absKo":"Test-Time Adaptation (TTA)은 pre-trained model이 inference 중 distribution shift에 온라인으로 적응할 수 있게 하지만, 이러한 온라인 업데이트는 장기 배포 환경에서 종종 불안정해진다. 기존 접근법은 이러한 실패를 noisy pseudo-label에서 비롯된 error accumulation으로 돌리며, 업데이트에 사용할 sample을 선별하기 위해 heuristics에 의존한다. 우리는 이러한 statistical view만으로는 충분하지 않다고 주장한다. 문제는 sample의 quality뿐 아니라 그 gradient의 방향성에도 있기 때문이다. 본 연구에서는 manifold erosion이라고 부르는 기하학적 failure mode를 규명한다. spectral analysis를 통해, 신뢰할 수 있는 gradient는 안정적인 low-rank subspace에 집중되는 반면, confident misprediction에서 나온 gradient는 high-rank이지만 보호된 subspace로 지속적인 directional leakage를 보인다는 사실을 발견했다. 이러한 leakage는 일관되게 누적될 수 있으며 core representation을 점차 침식하여 결국 collapse로 이어진다. 이를 해결하기 위해, 우리는 Manifold-Aware Gradient Projection (MGP)을 제안한다. 이는 온라인으로 dominant subspace를 추적하고 gradient를 그 orthogonal complement로 투영하는 기하학적 개입이다. leakage path를 차단함으로써 MGP는 stability와 plasticity를 분리한다. 다양한 TTA benchmark에서의 광범위한 실험은 우리의 방법이 장기 horizon에서 안정적으로 동작함을 보여주며, 반면 기존 방법들은 종종 실패한다.
"},{"id":"63477","en":"Breaking Manifold Continuity: Vector Quantized Modeling for Real-Centric Deepfake Detection","ko":"다양체 연속성 파괴: 실제 중심 딥페이크 탐지를 위한 벡터 양자화 모델링","authors":"Changshuo Wang, Jiangming Wang, Ke-Yue Zhang, Taiping Yao, Shouhong Ding, Ran Yi, Lizhuang Ma","pos":"#1002","link":"https://openreview.net/forum?id=WrlqkXYYCx","abs":"The increasingly realistic and diverse generative data has led some deepfake detection methods to shift towards learning robust real content, \\textit{e.g.}, via reconstruction-based tasks. However, most existing approaches rely primarily on prevalent continuous modeling (\\textit{e.g.}, GMMs, VAEs, Diffusion Models) to construct a continuous latent manifold of real data, with the aim of improving the generalization capability, while overlooking a critical issue, \\textit{i.e.}, such continuity may facilitate the interpolation of forgery artifacts, consequently causing ambiguity in detection. To alleviate this problem, we integrate discrete modeling into the feature space of the CLIP vision encoder, striking a balance between continuous manifold modeling and discrete representation. By incorporating a learnable vector quantized codebook, the real latent manifold is discretized, imposing a more stringent information bottleneck that reduces the likelihood of embedding generative artifacts. In order to further enhance the generalization of discrete modeling, we propose an adaptive tangent space projection mechanism that yields a continuous relaxation of the discrete real distribution within a controllable range. With these components, our method constructs a real distribution that is both tightly constrained and broadly generalizable, enhancing robustness to unseen forgeries. Extensive experiments on diverse datasets demonstrate the effectiveness of our method.
","absKo":"점점 더 현실적이고 다양한 생성 데이터는 일부 deepfake detection 방법이 reconstruction 기반 task 등을 통해 강건한 real content를 학습하는 방향으로 전환하도록 만들었다. 그러나 기존 접근법의 대부분은 주로 널리 쓰이는 continuous modeling(예: GMMs, VAEs, Diffusion Models)에 의존하여 real data의 continuous latent manifold를 구성하고 일반화 능력을 향상시키려 하지만, 중요한 문제를 간과한다. 즉, 이러한 연속성은 forgery artifact의 interpolation을 촉진하여 detection에서 모호성을 야기할 수 있다. 이 문제를 완화하기 위해, 우리는 CLIP vision encoder의 feature space에 discrete modeling을 통합하여 continuous manifold modeling과 discrete representation 사이의 균형을 맞춘다. 학습 가능한 vector quantized codebook을 포함함으로써 real latent manifold를 discrete하게 만들고, 더 엄격한 information bottleneck을 부과하여 generative artifact가 embedding될 가능성을 줄인다. Discrete modeling의 일반화를 더욱 향상시키기 위해, 우리는 제어 가능한 범위 내에서 discrete real distribution의 continuous relaxation을 생성하는 adaptive tangent space projection mechanism을 제안한다. 이러한 구성요소를 통해 우리의 방법은 촘촘하게 제약되면서도 폭넓게 일반화되는 real distribution을 구성하여, 보지 못한 forgery에 대한 robustness를 강화한다. 다양한 데이터셋에 대한 광범위한 실험은 우리의 방법의 효과를 입증한다.
"},{"id":"62692","en":"CODiff: One-Step Diffusion Model for Camouflaged Object Detection","ko":"CODiff: 위장 객체 검출을 위한 One-Step Diffusion Model","authors":"Xiaotong Fu, Wenchao Meng, Qihang Zhou, Qian Liu, Qinmin Yang, Shibo He","pos":"#1004","link":"https://openreview.net/forum?id=eDlsO4kFaX","abs":"Diffusion-based camouflaged object detection (COD) has recently shown great potential. In contrast to existing approaches that rely on multiple sample steps to refine the predicted masks, we propose CODiff, which reformulates the diffusion process to enable one-step mask prediction while maintaining competitive accuracy. Specifically, we first establish the theoretical feasibility of one-step sampling for COD. Based on this, we design a dedicated network for one-step inference with a global semantic guidance mechanism to guide the denoising process globally and hierarchical condition integration blocks to provide fine-grained structural semantics. In addition, we design a straight-forward regularization to learn better intermediate features by bridging the representation gap between the condition backbone and the diffusion model. Extensive experiments demonstrate that CODiff achieves state-of-the-art performance across multiple benchmarks, improving MAE by over 22\\% on the challenging COD10K dataset. The code will be released upon publication.
","absKo":"Diffusion 기반 camouflaged object detection (COD)은 최근 큰 잠재력을 보여주었다. 예측된 mask를 정제하기 위해 여러 sample step에 의존하는 기존 접근과 달리, 우리는 경쟁력 있는 정확도를 유지하면서 one-step mask prediction을 가능하게 하는 CODiff를 제안한다. 구체적으로, 먼저 COD에서 one-step sampling의 이론적 타당성을 확립한다. 이를 바탕으로 우리는 global하게 denoising process를 안내하는 global semantic guidance mechanism과, 더 세밀한 structural semantic을 제공하는 hierarchical condition integration block을 갖춘 one-step inference 전용 네트워크를 설계한다. 또한 condition backbone과 diffusion model 사이의 representation gap을 메워 더 나은 intermediate feature를 학습하도록 straight-forward regularization을 설계한다. 광범위한 실험은 CODiff가 여러 benchmark 전반에서 state-of-the-art 성능을 달성하며, 까다로운 COD10K 데이터셋에서 MAE를 22% 이상 개선함을 보여준다. 코드는 출판 시 공개될 예정이다.
"},{"id":"65818","en":"Detached Skip-Links and $R$-Probe: Decoupling Feature Aggregation from Gradient Propagation for MLLM OCR","ko":"분리된 Skip-Link와 $R$-Probe: MLLM OCR을 위한 특징 집계와 Gradient 전파의 분리","authors":"Ziye Yuan, Ruchang Yao, Chengxin Zheng, Yusheng Zhao, Daxiang Dong, Ming Zhang","pos":"#1005","link":"https://openreview.net/forum?id=9u1a2MpGng","abs":"Multimodal large language models (MLLMs) excel at high-level reasoning yet fail on OCR tasks where fine-grained visual details are compromised or misaligned. We identify an overlooked optimization issue in multi-layer feature fusion. Skip pathways introduce direct back-propagation paths from high-level semantic objectives to early visual layers. This mechanism overwrites low-level signals and destabilizes training. To mitigate this gradient interference, we propose Detached Skip-Links, a minimal modification that reuses shallow features in the forward pass while stopping gradients through the skip branch during joint training. This asymmetric design reduces gradient interference, improving stability and convergence without adding learnable parameters. To diagnose whether fine-grained information is preserved and usable by an LLM, we introduce $R$-Probe, which measures pixel-level reconstructability of projected visual tokens using a shallow decoder initialized from the first quarter of the LLM layers. Across multiple ViT backbones and multimodal benchmarks, and at scales up to 7M training samples, our approach consistently improves OCR-centric benchmarks and delivers clear gains on general multimodal tasks.","absKo":"Multimodal large language model (MLLM)은 높은 수준의 reasoning에서는 뛰어나지만, 세밀한 visual detail이 손상되거나 정렬이 어긋나는 OCR task에서는 성능이 떨어진다. 우리는 multi-layer feature fusion에서 간과되어 온 optimization 문제를 확인했다. Skip pathway는 high-level semantic objective로부터 early visual layer로 직접적인 back-propagation path를 도입한다. 이 메커니즘은 low-level signal을 덮어쓰고 training을 불안정하게 만든다. 이러한 gradient interference를 완화하기 위해, 우리는 joint training 동안 skip branch를 통한 gradient는 중단하면서 forward pass에서는 shallow feature를 재사용하는 최소한의 수정안인 Detached Skip-Links를 제안한다. 이 비대칭적 설계는 learnable parameter를 추가하지 않으면서 gradient interference를 줄여 stability와 convergence를 개선한다. 세밀한 정보가 보존되고 LLM이 실제로 활용할 수 있는지 진단하기 위해, 우리는 $R$-Probe를 도입한다. 이는 LLM layer의 첫 1/4에서 초기화된 shallow decoder를 사용하여 projected visual token의 pixel-level reconstructability를 측정한다. 여러 ViT backbone과 multimodal benchmark, 그리고 최대 7M training sample 규모에 걸쳐, 우리의 접근법은 OCR 중심 benchmark를 일관되게 향상시키고 일반적인 multimodal task에서도 명확한 성능 향상을 제공한다."},{"id":"62080","en":"EmWorld: Emotion World Model with Latent State Evolution for Scenario-Incremental Dynamic Facial Expression Recognition","ko":"EmWorld: 시나리오-증분 동적 표정 인식을 위한 잠재 상태 진화 기반 감정 월드 모델","authors":"Ke Wang, Yuanyuan Liu, Kejun Liu, Yuyang Xia, Chang Tang, Yibing Zhan, Zhe Chen","pos":"#1007","link":"https://openreview.net/forum?id=k0K0bCWT0k","abs":"Dynamic Facial Expression Recognition (DFER) models the temporal evolution of facial expressions in videos. In real-world deployments, changing scenarios distort expression trajectories over time, making it difficult for existing methods to maintain performance. While most current approaches address this issue through passive feature alignment across scenarios or domain-incremental learning techniques that preserve previously learned representations, they do not explicitly model scenario evolution over time, limiting their ability to robustly capture expression dynamics under scenario-incremental changes. To end this, we propose EmWorld, an emotion world model for DFER that explicitly models latent emotion state evolution under scenario variations. Specifically, EmWorld formulates scenario-incremental DFER as a progressive Bayesian inference problem over latent world states with dual temporal scales. Slow-timescale component (STS) models scenario evolution using stochastic evolutionary priors, capturing long-term scenario effects and providing proactive guidance in new scenarios. Fast-timescale component (FTS) models frame-level expression dynamics with temporally consistent latent transitions, effectively decoupling expression dynamics from scenario influences. By jointly inferring latent states at both timescales, EmWorld, shifts DFER from a passive feature discrimination process to a active probabilistic state inference under evolving scenarios. Experiments on FERV39k, DFEW, and MAFW demonstrate that EmWorld, consistently outperforms state-of-the-art methods, achieving up to 3.84\\% improvement while exhibiting strong cross-scenario stability and long-term robustness.
","absKo":"Dynamic Facial Expression Recognition(DFER)은 video에서 facial expression의 시간적 변화를 모델링한다. 실제 배포 환경에서는 변화하는 scenario가 시간에 따라 expression trajectory를 왜곡하여, 기존 방법이 성능을 유지하기 어렵게 만든다. 현재의 대부분 접근은 scenario 간 passive feature alignment 또는 이전에 학습한 representation을 보존하는 domain-incremental learning 기법으로 이 문제를 다루지만, scenario의 시간적 진화를 명시적으로 모델링하지 않기 때문에 scenario-incremental 변화 하에서 expression dynamics를 강건하게 포착하는 능력이 제한된다. 이를 해결하기 위해, 우리는 scenario 변화 하에서 latent emotion state의 진화를 명시적으로 모델링하는 DFER용 emotion world model인 EmWorld를 제안한다. 구체적으로, EmWorld는 scenario-incremental DFER를 dual temporal scale을 갖는 latent world state에 대한 점진적 Bayesian inference 문제로 정식화한다. Slow-timescale component(STS)는 stochastic evolutionary prior를 사용해 scenario의 진화를 모델링하며, 장기적인 scenario effect를 포착하고 새로운 scenario에서 사전적 guidance를 제공한다. Fast-timescale component(FTS)는 시간적으로 일관된 latent transition을 통해 frame-level expression dynamics를 모델링하여, expression dynamics를 scenario 영향으로부터 효과적으로 분리한다. 두 시간 척도에서 latent state를 공동으로 추론함으로써, EmWorld는 DFER를 수동적 feature discrimination 과정에서 진화하는 scenario 하의 능동적 probabilistic state inference로 전환한다. FERV39k, DFEW, MAFW에서의 실험은 EmWorld가 state-of-the-art 방법을 일관되게 능가하며, 최대 3.84\\%의 향상을 달성하는 동시에 강한 cross-scenario stability와 장기 robustness를 보임을 입증한다."},{"id":"65649","en":"Learnability-Driven Knowledge Assimilation for Class-Incremental Semantic Segmentation","ko":"클래스 증분 시맨틱 분할을 위한 학습성 기반 지식 동화","authors":"Xinyue Zhang, Xu Zou, Wanjia Luo, Yanjie Wang, Jiahuan Zhou, Sheng Zhong, Luxin Yan","pos":"#1011","link":"https://openreview.net/forum?id=BXKHmESzMw","abs":"Class-incremental semantic segmentation learns new classes while retaining old ones without access to past data. Although existing methods alleviate catastrophic forgetting on old classes, new-class performance remains limited. We identify the key bottleneck arises from low-margin regions, where the logit of the ground-truth class is close to that of the most competitive non-ground-truth class. Our theoretical analysis suggests that optimization in these regions is characterized by high curvature and a small stability radius, making learning prone to class confusion. Based on the above analysis, we propose Learnability-Driven Knowledge Assimilation (LDKA), which targets low-margin learning via three complementary optimization strategies: (i) Progressive Margin Learning continuously reallocates pixel-wise optimization budget in a threshold-free manner, shifting emphasis from high-margin to low-margin regions; (ii) Smooth Knowledge Distillation applies curvature damping and perturbation stabilization to suppress high-frequency updates and increase stability radius; (iii) Misclassification-Aware Decoupling measures inter-class confusion with a competition matrix and decouples highly competitive class representations. Experiments show that LDKA improves mIoU on new classes while preserving performance on old classes across 9 incremental protocols.
","absKo":"Class-incremental semantic segmentation은 과거 데이터에 접근하지 않고도 이전 class를 유지하면서 새로운 class를 학습한다. 기존 방법들이 오래된 class에서의 catastrophic forgetting은 완화하지만, 새로운 class의 성능은 여전히 제한적이다. 우리는 핵심 병목이 low-margin region에서 비롯됨을 확인했는데, 이 영역에서는 ground-truth class의 logit이 가장 경쟁적인 non-ground-truth class의 logit과 매우 가깝다. 우리의 이론적 분석은 이러한 영역에서의 optimization이 높은 curvature와 작은 stability radius로 특징지어지며, 이로 인해 학습이 class confusion에 취약해진다고 시사한다. 이러한 분석을 바탕으로, 우리는 Learnability-Driven Knowledge Assimilation (LDKA)를 제안한다. LDKA는 세 가지 상호보완적인 optimization 전략을 통해 low-margin learning을 겨냥한다: (i) Progressive Margin Learning은 threshold 없이 pixel-wise optimization budget를 지속적으로 재할당하여 high-margin region에서 low-margin region으로 초점을 이동한다; (ii) Smooth Knowledge Distillation은 curvature damping과 perturbation stabilization을 적용하여 high-frequency update를 억제하고 stability radius를 증가시킨다; (iii) Misclassification-Aware Decoupling은 competition matrix로 class 간 confusion을 측정하고 경쟁이 높은 class representation을 decouple한다. 실험 결과, LDKA는 9개의 incremental protocol 전반에서 old class의 성능을 보존하면서 new class의 mIoU를 향상시킨다.
"},{"id":"65923","en":"LearniBridge: Learnable Calibration of Feature Caching for Diffusion Models Acceleration","ko":"LearniBridge: Diffusion 모델 가속을 위한 특징 캐싱의 학습 가능한 보정","authors":"Xuyue Huang, Zhe Chen, Wang Shen, Xiao-Ping Zhang","pos":"#1012","link":"https://openreview.net/forum?id=8sD74Krbw7","abs":"Diffusion Transformers (DiTs) have driven substantial progress in image and video generation but suffer from prohibitive computational costs. Feature caching accelerates inference by reusing intermediate representations. Existing methods rely on historical features for implementation simplicity, yet suffer from severe error accumulation at high acceleration ratios. To address this limitation, we investigate the nature of the requisite feature correction. We demonstrate that the optimal calibration update is characterized by a shared low-rank subspace across diverse prompts. Guided by this structural insight, we propose LearniBridge, a learnable calibration mechanism for feature caching that bridges multiple timesteps through lightweight LoRA updates. This mechanism enables effective calibration requiring only $3-5$ training samples. Extensive experiments on image and video generation show that LearniBridge achieves up to $5.87\\times$, $5.75\\times$, and $4.10\\times$ acceleration on FLUX, HunyuanVideo, and WAN 2.1, respectively. On WAN 2.1, it improves VBench by 1.28\\% over the previous SOTA at $4.10\\times$ acceleration. Our code is included in the supplementary material and will be released on GitHub.","absKo":"Diffusion Transformers(DiTs)는 image 및 video generation에서 큰 진전을 이끌었지만, 과도한 계산 비용이라는 한계를 가진다. Feature caching은 intermediate representation을 재사용하여 inference를 가속한다. 기존 방법들은 구현의 단순성을 위해 historical feature에 의존하지만, 높은 acceleration ratio에서는 심각한 error accumulation을 겪는다. 이 한계를 해결하기 위해, 우리는 필요한 feature correction의 본질을 조사한다. 우리는 최적의 calibration update가 다양한 prompt 전반에 걸친 공유 low-rank subspace로 특징지어진다는 것을 보인다. 이러한 구조적 통찰에 따라, 우리는 경량 LoRA update를 통해 여러 timestep을 연결하는 feature caching용 학습 가능한 calibration mechanism인 LearniBridge를 제안한다. 이 메커니즘은 단지 $3-5$개의 training sample만으로도 효과적인 calibration을 가능하게 한다. image 및 video generation에 대한 광범위한 실험은 LearniBridge가 FLUX, HunyuanVideo, WAN 2.1에서 각각 최대 $5.87\\times$, $5.75\\times$, $4.10\\times$의 acceleration을 달성함을 보여준다. WAN 2.1에서는 $4.10\\times$ acceleration에서 이전 SOTA보다 VBench를 1.28\\% 향상시킨다. 우리의 코드는 supplementary material에 포함되어 있으며 GitHub에 공개될 예정이다."},{"id":"62332","en":"MAC-NeRF: Motion-Aware Curriculum Learning for Dynamic LiDAR NeRFs","ko":"MAC-NeRF: 동적 LiDAR NeRF를 위한 Motion-Aware Curriculum Learning","authors":"Shangshu Yu, Xiaotian Sun, Wen Li, Rui She, Hanyun Wang, Sheng Ao, Chenglu Wen, Cheng Wang","pos":"#1014","link":"https://openreview.net/forum?id=hZKBJ2zdpM","abs":"While LiDAR NeRFs excel in static environments, synthesizing dynamic scenes remains challenging as moving objects break multi-view consistency, causing conflicting supervision and ghosting artifacts across frames. Existing methods typically suffer from optimization difficulty from the start, struggling to disentangle valid geometry from motion noise when initial motion priors are unreliable. To address this, we propose MAC-NeRF, a novel LiDAR NeRF framework enhanced by motion-aware curriculum learning for high-fidelity dynamic scene synthesis. First, we propose Rectified Temporal Consistency to resolve temporally conflicting supervision. By filtering out erroneous supervision via forward-backward geometric verification, it creates a curriculum that prioritizes trustworthy temporal correspondences before handling challenging motions. Second, we propose Confidence-Modulated Frequency Regularization (CMFR) to eliminate geometric ambiguity. It adaptively modulates the frequency regularization bandwidth, progressively transitioning from strict low-frequency constraints for artifact suppression to full-spectrum modeling for fine-grained detail preservation. Extensive experiments on KITTI-360 and nuScenes demonstrate that MAC-NeRF significantly outperforms state-of-the-art methods in rendering quality. Our code will be available upon acceptance.
","absKo":"LiDAR NeRF는 static environment에서는 뛰어나지만, moving object가 multi-view consistency를 깨뜨려 프레임 간 conflicting supervision과 ghosting artifact를 유발하므로 dynamic scene 합성은 여전히 어렵다. 기존 방법은 대개 처음부터 optimization이 어렵고, 초기 motion prior가 신뢰할 수 없을 때 유효한 geometry와 motion noise를 분리하는 데 어려움을 겪는다. 이를 해결하기 위해 우리는 high-fidelity dynamic scene synthesis를 위한 motion-aware curriculum learning으로 강화된 새로운 LiDAR NeRF framework인 MAC-NeRF를 제안한다. 먼저, 우리는 시간적으로 충돌하는 supervision을 해결하기 위해 Rectified Temporal Consistency를 제안한다. forward-backward geometric verification을 통해 오류가 있는 supervision을 걸러내어, 어려운 motion을 다루기 전에 신뢰할 수 있는 temporal correspondence를 우선시하는 curriculum을 만든다. 둘째, 우리는 geometric ambiguity를 제거하기 위해 Confidence-Modulated Frequency Regularization(CMFR)을 제안한다. 이는 frequency regularization bandwidth를 적응적으로 조절하여, artifact 억제를 위한 엄격한 low-frequency constraint에서 fine-grained detail 유지를 위한 full-spectrum modeling으로 점진적으로 전환한다. KITTI-360과 nuScenes에서 수행한 광범위한 실험은 MAC-NeRF가 rendering quality에서 state-of-the-art 방법을 크게 능가함을 보여준다. 코드는 채택 시 공개될 예정이다.
"},{"id":"60569","en":"Learning to Watch: Active Video Anomaly Understanding via Interleaved Policy Optimization","ko":"Learning to Watch: 교차 정책 최적화를 통한 능동적 비디오 이상 이해","authors":"Mengjingcheng Mo, Jiaxu Leng, Xinbo Gao","pos":"#107","link":"https://openreview.net/forum?id=yvDKJfdokC","abs":"Video anomaly understanding (VAU) relies on sparse, context-dependent cues. However, existing passive paradigms suffer from observational aliasing, where static sampling fails to disambiguate semantically distinct events. To overcome this, we propose $Anom\\text{-}\\pi$, a closed-loop framework that reconceptualizes video understanding as an active sequential decision-making process within a dynamic environment. Inspired by human video-reviewing behavior, this framework unifies internal cognitive reasoning and strategic evidence acquisition into an interleaved policy, utilizing temporal atomic operators such as local backtracking, temporal expansion, and fine-grained sampling to endow the model with perceptual proactivity. To learn such complex interaction strategies under video-level weak supervision, we design Interactive Direct Preference Optimization (iDPO) to achieve trajectory-level policy alignment, guided by an Active Evidence Inquiry (AEI) utility that balances task success, informative evidence acquisition, and interaction cost. This approach enables the agent to learn to actively disambiguate hypotheses while suppressing redundant exploration. Extensive experiments demonstrate that our framework, with only 2B parameters, achieves highly competitive performance, significantly outperforming state-of-the-art large-scale VAU models in complex scenarios.","absKo":"Video anomaly understanding(VAU)은 희소하고 문맥 의존적인 단서에 의존한다. 그러나 기존의 passive paradigm은 static sampling이 의미적으로 구별되는 사건을 식별하지 못하는 observational aliasing 문제를 겪는다. 이를 극복하기 위해 우리는 $Anom\\text{-}\\pi$를 제안한다. 이는 video understanding을 동적인 환경 내의 능동적 순차 의사결정 과정으로 재개념화하는 closed-loop 프레임워크이다. 인간의 video-reviewing 행동에서 영감을 받은 이 프레임워크는 내부 인지 추론과 전략적 증거 획득을 interleaved policy로 통합하며, local backtracking, temporal expansion, fine-grained sampling과 같은 temporal atomic operator를 활용해 모델에 perceptual proactivity를 부여한다. video-level weak supervision 하에서 이러한 복잡한 상호작용 전략을 학습하기 위해, 우리는 trajectory 수준의 policy alignment를 달성하는 Interactive Direct Preference Optimization(iDPO)을 설계하고, task success, informative evidence acquisition, interaction cost의 균형을 맞추는 Active Evidence Inquiry(AEI) utility로 이를 유도한다. 이 접근은 agent가 중복 탐색을 억제하면서 가설을 능동적으로 disambiguate하도록 학습하게 한다. 광범위한 실험은 2B 파라미터만으로도, 우리의 프레임워크가 복잡한 시나리오에서 최신 대규모 VAU 모델들을 크게 능가하며 매우 경쟁력 있는 성능을 달성함을 보여준다.
"},{"id":"65048","en":"Adaptive Token Refinement in Long-Tailed Large Vision-Language Models Fine-Tuning","ko":"Long-Tailed 대규모 Vision-Language 모델 Fine-Tuning에서의 적응적 Token Refinement","authors":"Wenjun Miao, Mingda Li, Yanchao Hao, Zheng Wei","pos":"#1101","link":"https://openreview.net/forum?id=HK0IhFBmoN","abs":"While large vision-language models (LVLMs) have shown remarkable adaptability to downstream applications, their fine-tuning process remains susceptible to bias under long-tailed data. Compared to zero-shot scenarios, fine-tuning LVLMs on imbalanced datasets often yields limited performance improvements on tail data. This is because LVLMs tend to rapidly overfit the head data at an early fine-tuning stage, thereby impairing the learning of the tail data while simultaneously failing to exploit their quantitative advantage. Furthermore, in many downstream LVLM scenarios, quantified long-tailed prior knowledge of data distribution is often unavailable, significantly limiting the applicability of traditional long-tailed techniques that rely heavily on such information. To address these issues, we propose the Adaptive Token Refinement (ATR), a novel framework that adaptively refines the learning process of LVLMs under long-tailed data. Specifically, ATR consists of two token-level operations applied to output and input tokens, respectively: 1) a bounded adaptive loss that dynamically filters and reweights output tokens to mitigate overfitting on head data, and 2) a visual token mask strategy that augments the probability paths of input tokens to enhance long-tailed performance. Extensive experiments across multiple benchmarks demonstrate that ATR consistently enhance both performance and generalization for long-tailed LVLMs fine-tuning in a distribution-agnostic manner.
","absKo":"대규모 vision-language model(LVLM)은 downstream application에 대한 뛰어난 적응성을 보여 왔지만, long-tailed data 하에서의 fine-tuning 과정은 여전히 편향에 취약하다. zero-shot 시나리오와 비교할 때, 불균형한 dataset에서 LVLM을 fine-tuning하면 tail data에 대한 성능 향상이 제한적인 경우가 많다. 이는 LVLM이 fine-tuning 초기 단계에서 head data에 빠르게 overfit하여 tail data 학습을 저해하는 동시에, 양적인 우위를 충분히 활용하지 못하기 때문이다. 더 나아가 많은 downstream LVLM 시나리오에서는 데이터 분포에 대한 정량화된 long-tailed prior knowledge를 사용할 수 없는 경우가 많아, 이러한 정보에 크게 의존하는 기존 long-tailed 기법의 적용 가능성이 크게 제한된다. 이러한 문제를 해결하기 위해 우리는 long-tailed data 하에서 LVLM의 학습 과정을 적응적으로 정제하는 새로운 프레임워크인 Adaptive Token Refinement(ATR)을 제안한다. 구체적으로 ATR은 출력 token과 입력 token에 각각 적용되는 두 가지 token-level operation으로 구성된다. 1) 출력 token을 동적으로 필터링하고 재가중하여 head data에 대한 overfitting을 완화하는 bounded adaptive loss, 2) 입력 token의 probability path를 확장하여 long-tailed 성능을 향상시키는 visual token mask 전략이다. 여러 benchmark에 걸친 광범위한 실험은 ATR이 distribution-agnostic 방식으로 long-tailed LVLM fine-tuning의 성능과 generalization을 일관되게 향상시킴을 보여준다."},{"id":"60479","en":"ScoreMix: Synthetic Data Generation by Score Composition in Diffusion Models Improves Face Recognition","ko":"ScoreMix: Diffusion Model에서 Score Composition을 통한 합성 데이터 생성으로 Face Recognition 개선","authors":"Parsa Rahimi, Sébastien Marcel","pos":"#2404","link":"https://openreview.net/forum?id=zru3OX8jVU","abs":"Synthetic data generation is increasingly used in machine learning for training and data augmentation. Yet, many current strategies rely on external foundation models or datasets, which can be restricted by policy or legal constraints, especially for sensitive modalities such as human face images and videos. We propose ScoreMix, a self-contained data augmentation method to boost recognition performance by leveraging score compositionality in class-conditioned diffusion models. ScoreMix mixes class-conditioned scores along reverse diffusion trajectories, yielding domain-specific hard augmentations without external resources. We systematically study class-selection strategies and find that mixing classes that are distant in the discriminator embedding space yields larger gains, providing up to 3\\% additional average improvement across benchmarks over proximity-based selection. Interestingly, we observe that learned condition and embedding spaces are largely uncorrelated under standard alignment metrics, and that condition-space distances are weakly correlated to downstream gains. Across 8 public face recognition benchmarks, ScoreMix improves accuracy by up to 7 percentage points without hyperparameter search, highlighting robustness and practicality. Code and dataset will be made publicly available.
","absKo":"Synthetic data generation은 machine learning에서 training 및 data augmentation을 위해 점점 더 많이 사용되고 있다. 그러나 많은 현재의 전략은 외부 foundation model이나 dataset에 의존하며, 이는 특히 human face image와 video 같은 민감한 modality에서 정책 또는 법적 제약을 받을 수 있다. 우리는 class-conditioned diffusion model에서 score compositionality를 활용하여 recognition performance를 향상시키는 self-contained data augmentation 방법인 ScoreMix를 제안한다. ScoreMix는 reverse diffusion trajectory를 따라 class-conditioned score를 섞어, 외부 자원 없이 domain-specific hard augmentation을 생성한다. 우리는 class 선택 전략을 체계적으로 연구하고, discriminator embedding space에서 멀리 떨어진 class를 섞을 때 proximity-based selection보다 더 큰 성능 향상을 얻는다는 것을 발견했으며, 이는 benchmarks 전반에서 최대 3\\%의 추가 평균 향상으로 이어진다. 흥미롭게도, 표준 alignment metric 하에서는 learned condition space와 embedding space가 대체로 상관이 없으며, condition-space distance는 downstream gain과 약하게만 상관됨을 관찰했다. 8개의 public face recognition benchmark 전반에서 ScoreMix는 hyperparameter search 없이 최대 7 percentage point의 정확도 향상을 보이며, robustness와 실용성을 부각한다. 코드와 데이터셋은 공개될 예정이다.
"},{"id":"63109","en":"Selecting Samples on Graphs: A Unified Dataset Pruning Framework for Lossless Training Acceleration","ko":"그래프상의 샘플 선택: 무손실 학습 가속을 위한 통합 데이터셋 가지치기 프레임워크","authors":"Dongyue Wu, Zilin Guo, Xiaoyu Li, Jiajia Liu, Jingdong Chen, Nong Sang, Changxin Gao","pos":"#2808","link":"https://openreview.net/forum?id=a3GdvuPItd","abs":"The rapid growth of modern training datasets has significantly increased computational cost, motivating dataset pruning(DP) methods which retain only a subset of informative samples to reduce training cost. Existing pruning criteria typically rely on either intrinsic signals that assess samples independently or extrinsic signals that promote diversity via pairwise relations. While effective in their own specific regimes, each captures only one aspect of sample utility and lacks robustness across different pruning ratios or data distribution. In this work, we present a unified graph-based DP framework. By modeling the dataset as a weighted graph, where node weights encode intrinsic value and edge weights encode extrinsic value, DP can be cast as a Maximum Weight Clique Problem (MWCP). Although MWCP is NP-hard, its structure admits a principled greedy solution based on sample-wise marginal gains. Under a few mild and interpretable conditions, we further prove that this unified objective enjoys a formal approximation guarantee, which applies to a broad family of importance metrics and provides practical design guidelines. Extensive experiments demonstrate that the proposed method outperforms existing pruning methods while substantially reducing training cost. On ImageNet-1k with ResNet-50, our method reduces training time by over 40\\% without sacrificing accuracy.
","absKo":"현대 training dataset의 급격한 증가는 compute cost를 크게 높였고, 이에 따라 학습 비용을 줄이기 위해 정보성이 높은 샘플의 부분집합만 유지하는 dataset pruning(DP) 방법이 동기를 얻었다. 기존 pruning criterion은 보통 샘플을 개별적으로 평가하는 intrinsic signal 또는 pairwise relation을 통해 다양성을 촉진하는 extrinsic signal에 의존한다. 각 방식은 자신이 잘 맞는 특정 regime에서는 효과적이지만, 샘플 유용성의 한 측면만 포착하며 pruning ratio나 data distribution이 달라질 때 견고성이 부족하다. 본 연구에서는 통합된 graph-based DP framework를 제시한다. 데이터셋을 weighted graph로 모델링하고, node weight는 intrinsic value를, edge weight는 extrinsic value를 인코딩함으로써 DP를 Maximum Weight Clique Problem (MWCP)으로 정식화할 수 있다. MWCP는 NP-hard이지만, 그 구조는 sample-wise marginal gain에 기반한 원리적인 greedy solution을 허용한다. 몇 가지 완화적이고 해석 가능한 조건하에서, 우리는 이 통합 목적함수가 형식적인 approximation guarantee를 갖는다는 점도 증명하며, 이는 폭넓은 importance metric family에 적용되고 실용적인 설계 지침을 제공한다. 광범위한 실험은 제안 방법이 기존 pruning 방법보다 우수하면서도 training cost를 크게 줄임을 보여준다. ImageNet-1k와 ResNet-50에서, 우리의 방법은 정확도를 희생하지 않으면서 학습 시간을 40\\% 이상 줄인다.
"},{"id":"61387","en":"FiSeR: Fine-Grained Source Representations for Cross-Domain AI Image Detection","ko":"FiSeR: Cross-Domain AI Image Detection을 위한 Fine-Grained Source Representations","authors":"Shan Zhang, Yongxin He, Mingming Zhang, Huiwen Tian, Lei Ma","pos":"#3001","link":"https://openreview.net/forum?id=qjwFbN77kx","abs":"Real-world synthetic image detectors often generalize poorly under domain shift despite strong in-domain performance. Using unsupervised UMAP projections, we find that natural and synthetic features remain partially separable on unseen datasets, yet performance still drops, suggesting that the classification head overfits to training-domain artifacts. Therefore, the key is to learn more transferable representations so that the decision criterion is more stable and robust to domain shifts. Based on the structural fact that synthetic images are produced by diverse generators, we propose a hierarchical contrastive learning framework that improves the separability between natural and synthetic images while preserving generator identity information. It jointly optimizes (i) a coarse contrastive objective between natural and synthetic images and (ii) a fine contrastive objective among synthetic images using generator identities. Trained on WildFake, our method achieves an average AUROC gain of +10.22 on cross-domain evaluation over Chameleon, AIGIBench, Community Forensics, and GenImage under the same settings as the strong baseline DIRE. For few-shot adaptation, we freeze the backbone and fit an SVM head on 10 labeled samples per class, improving AUROC by +10.64 on AIGIBench and +17.41 on Chameleon, averaged over 12 widely used detectors. We will publicly release all code and model checkpoints.
","absKo":"실세계 synthetic image detector는 in-domain 성능이 강함에도 불구하고 domain shift 하에서는 일반화가 좋지 않은 경우가 많다. unsupervised UMAP projection을 사용해 분석한 결과, unseen dataset에서도 natural feature와 synthetic feature는 여전히 부분적으로 분리 가능하지만 성능은 여전히 저하되는 것을 확인했으며, 이는 classification head가 training-domain artifact에 과적합되었음을 시사한다. 따라서 핵심은 decision criterion이 domain shift에 대해 더 안정적이고 robust해지도록, 더 transferable한 representation을 학습하는 것이다. synthetic image가 다양한 generator에 의해 생성된다는 구조적 사실에 기반하여, 우리는 generator identity 정보를 보존하면서 natural image와 synthetic image 사이의 separability를 향상시키는 hierarchical contrastive learning framework를 제안한다. 이 방법은 (i) natural image와 synthetic image 사이의 coarse contrastive objective와 (ii) generator identity를 이용한 synthetic image 간 fine contrastive objective를 공동으로 최적화한다. WildFake로 학습한 결과, 우리 방법은 강력한 baseline인 DIRE와 동일한 설정에서 cross-domain evaluation의 Chameleon, AIGIBench, Community Forensics, GenImage 전반에 걸쳐 평균 AUROC +10.22 향상을 달성했다. few-shot adaptation에서는 backbone을 고정하고 클래스당 10개의 labeled sample으로 SVM head를 적합시켜, 12개의 널리 사용되는 detector 평균 기준으로 AIGIBench에서 AUROC +10.64, Chameleon에서 +17.41 향상을 보였다. 모든 코드와 model checkpoint는 공개될 예정이다.
"},{"id":"64805","en":"Dissect and Prune: Enhancing Robustness in AI-Generated Image Detection","ko":"해부하고 가지치기: AI 생성 이미지 탐지에서의 강건성 향상","authors":"Dahye Kim, Jaehyun Choi, Hyun Seok Seong, Seongho Kim, Donghun Lee, Sungwon Yi, Jang-Ho Choi","pos":"#3102","link":"https://openreview.net/forum?id=JcjRShiRQz","abs":"While existing AI-generated image detectors report high performance, we identify that this is largely driven by a critical prediction asymmetry: a bias toward the real class that severely limits sensitivity to generated content, especially under standard post-processing operations such as compression and resizing. We hypothesize that this stems from the model's reliance on spurious features, distracting signals that obscure true generative artifacts. To address this, we propose DEAR (Dissect and Prune), which leverages inpainted images to identify and prune these interfering components. Specifically, we find that features strongly aligned to either inpainted or non-inpainted regions are less robust to post-processing. By measuring the alignment between channel activations and inpaint masks, DEAR removes features at both extremes, retaining only those that capture genuine generative artifacts. Experimental results demonstrate that our approach significantly enhances robustness against unseen generators and post-processing, effectively mitigating the prediction asymmetry.
","absKo":"기존 AI-generated image detector들은 높은 성능을 보고하지만, 우리는 이러한 결과가 주로 중요한 prediction asymmetry에 의해 좌우된다는 점을 확인했다. 즉, real class 쪽으로의 편향이 generated content에 대한 sensitivity를 심각하게 제한하며, 특히 compression과 resizing 같은 표준 post-processing operation 하에서 그 문제가 두드러진다. 우리는 이것이 model이 spurious feature에 의존하기 때문이라고 가정한다. 즉, true generative artifact를 가리는 distracting signal이 존재한다는 것이다. 이를 해결하기 위해, 우리는 inpainted image를 활용하여 이러한 interfering component를 식별하고 제거하는 DEAR (Dissect and Prune)를 제안한다. 구체적으로, inpainted region 또는 non-inpainted region 어느 한쪽과 강하게 정렬된 feature는 post-processing에 덜 robust하다는 것을 발견했다. channel activation과 inpaint mask 사이의 alignment를 측정함으로써, DEAR은 양 극단에 있는 feature를 제거하고 genuine generative artifact를 포착하는 feature만 유지한다. 실험 결과는 우리의 접근법이 unseen generator와 post-processing에 대한 robustness를 크게 향상시키며, prediction asymmetry를 효과적으로 완화함을 보여준다.
"},{"id":"63322","en":"Beyond Logits: Coherent Hallucination Mitigation via Attention Contrastive Decoding","ko":"Logit을 넘어서: 어텐션 대조 디코딩을 통한 일관된 환각 완화","authors":"Yujia Chen, Rui Sun, Wangkai Li, Huayu Mai, Bingzhou Wang, Zhangyu He, Aibing Li, Wenzhang SUN, Tianzhu Zhang","pos":"#3606","link":"https://openreview.net/forum?id=Y6JT0oh6Ty","abs":"Large Vision-Language Models (LVLMs) demonstrate impressive multimodal capabilities, yet suffer from hallucination—generating factually inaccurate content. Contrastive Decoding (CD) mitigates this by contrasting amateur and expert branches at the logit level. However, our investigation reveals that such logit-level interventions fundamentally compromise generation coherence, necessitating restrictive penalty constraints unrelated to hallucination suppression. We introduce Attention Contrastive Decoding (ACD), a training-free plug-in that complements logit-level CD by relocating part of the contrastive operations to the attention mechanism. Operating at an earlier stage of the forward pass, ACD performs smooth semantic-preserving interventions through an Adaptive Subtraction Strategy (ASS), which attenuates hallucination-associated attention patterns while amplifying critical visual information. Extensive experiments demonstrate that combining ACD with existing CD methods (e.g., VCD+ACD) produces substantially more coherent outputs with further reduced hallucinations, eliminating restrictive penalties while enabling trustworthy multimodal generation.
","absKo":"Large Vision-Language Model (LVLM)은 인상적인 multimodal capability를 보여 주지만, 사실과 다른 내용을 생성하는 hallucination 문제를 겪는다. Contrastive Decoding (CD)은 amateur branch와 expert branch를 logit 수준에서 대조함으로써 이를 완화한다. 그러나 우리의 조사에 따르면, 이러한 logit-level 개입은 생성의 coherence를 근본적으로 훼손하며, hallucination 억제와는 직접 관련이 없는 제한적인 penalty constraint를 필요로 한다. 우리는 Attention Contrastive Decoding (ACD)을 제안한다. 이는 logit-level CD를 보완하는 training-free plug-in으로서, contrastive operation의 일부를 attention mechanism으로 옮긴다. forward pass의 더 이른 단계에서 작동하는 ACD는 Adaptive Subtraction Strategy (ASS)를 통해 부드럽고 semantic을 보존하는 개입을 수행한다. 이 전략은 hallucination과 연관된 attention pattern을 약화시키는 동시에 중요한 visual information을 증폭한다. 대규모 실험은 ACD를 기존 CD 방법(예: VCD+ACD)과 결합할 때, 더 적은 hallucination과 함께 훨씬 더 일관된 출력을 생성하며, 제한적인 penalty를 없애는 동시에 신뢰할 수 있는 multimodal generation을 가능하게 함을 보여 준다.
"},{"id":"66585","en":"Hyper-LLaVA: Hyperbolic Uncertainty-aware Modality-Balanced Routing for Multimodal Continual Instruction Tuning","ko":"Hyper-LLaVA: 멀티모달 지속 지시 튜닝을 위한 쌍곡 불확실성 인지 모달리티 균형 라우팅","authors":"Kunlun Xu, YanQin Zhang, Wenwen Qiang, Jiahuan Zhou","pos":"#4007","link":"https://openreview.net/forum?id=2QJP89V4JH","abs":"Multimodal Continual Instruction Tuning (MCIT) aims to exploit the incrementally accumulated knowledge to process multimodal inputs of diverse tasks, where parameter routing is an important technology. Existing advanced methods typically rely on sample to task center similarity and cross-modal fusion with equal weight during routing. However, such solutions face two fundamental flaws: (1) Within each modality, sample to task center distance is sub-optimal for routing since the abundant intra-task diversity information is underleveraged. (2) Different modalities exhibit varying reliability across tasks, where the modality with inter-task ambiguity can easily misguide the routing result. To address these problems, we propose Hyperbolic Uncertainty-aware Modality-Balanced Routing (Hyper-LLaVA) to improve parameter routing capacity based on cross-modality task feature uncertainty modeling. Specifically, to improve intra-modality task matching, Hyper-LLaVA accesses the sample to task distribution similarity in the Hyperbolic space. Besides, to alleviate the degradation brought by unreliable modality, Hyper-LLaVA quantifies the task matching ambiguity within each modality to achieve adaptive balancing between task matching across modalities. Based on the complementary intra- and inter-modality task matching enhancement, our Hyper-LLaVA outperforms state-of-the-art approaches by large margins.
","absKo":"Multimodal Continual Instruction Tuning (MCIT)은 점진적으로 축적된 지식을 활용하여 다양한 task의 multimodal input을 처리하는 것을 목표로 하며, 이때 parameter routing은 중요한 기술이다. 기존의 고급 방법들은 일반적으로 routing 시 sample-to-task-center similarity와 cross-modal fusion에 동일한 가중치를 두는 데 의존한다. 그러나 이러한 해결책은 두 가지 근본적인 결함에 직면한다: (1) 각 modality 내부에서 sample-to-task-center distance는 task 내부의 풍부한 다양성 정보를 충분히 활용하지 못하므로 routing에 최적이 아니다. (2) 서로 다른 modality는 task에 따라 신뢰성이 달라지며, inter-task ambiguity가 있는 modality는 routing 결과를 쉽게 오도할 수 있다. 이러한 문제를 해결하기 위해, 우리는 cross-modality task feature uncertainty modeling에 기반하여 parameter routing capability를 향상시키는 Hyperbolic Uncertainty-aware Modality-Balanced Routing(Hyper-LLaVA)을 제안한다. 구체적으로, intra-modality task matching을 개선하기 위해 Hyper-LLaVA는 Hyperbolic space에서 sample-to-task distribution similarity를 활용한다. 또한 신뢰할 수 없는 modality로 인해 발생하는 성능 저하를 완화하기 위해, 각 modality 내의 task matching ambiguity를 정량화하여 modality 간 task matching의 adaptive balancing을 달성한다. 이러한 intra- 및 inter-modality task matching 향상은 서로 보완적으로 작용하며, 우리의 Hyper-LLaVA는 state-of-the-art 접근법보다 큰 폭으로 우수한 성능을 보인다.
"},{"id":"62485","en":"Where Detectors Fail: Probing Generative Space for Generalizable AI-Generated Image Detection","ko":"탐지기가 실패하는 이유: 생성 AI 이미지 탐지를 위한 일반화 가능한 Generative Space 조사","authors":"Zijie Cao, Weijie Tu, Yao Xiao, Weijian Deng, Weiyan Chen, Liang Lin, Pengxu Wei","pos":"#904","link":"https://openreview.net/forum?id=gAXiBfnvbD","abs":"Detecting AI-generated images (AIGI) remains challenging because detectors often fail to generalize to unseen generators. Although existing methods are trained on large datasets, their performance still degrades when generation settings change, indicating that data scale alone is insufficient and that limited coverage of generative variations during training is a key factor. Studies on generative model editing show that small changes in internal representations can produce diverse and meaningful image variations, many of which are not explored under standard sampling. Leveraging this insight, we propose PROBE (Probing Robustness via Boundary Exploration), a framework that improves detector generalization by actively exploring challenging regions of the generative process. Instead of treating the generator as a fixed data source, PROBE uses the detector as a critic to steer the generator through manifold-level modifications, producing realistic samples that are difficult to classify. These samples expose failure cases that are uncommon under standard data sampling strategies and are used to refine the detector. Experimental results across multiple benchmarks indicate that PROBE enhances generalization to unseen generators, resulting in more generalizable AIGI detection performance.
","absKo":"AI-generated image (AIGI) 탐지는 탐지기가 보지 못한 generator로 일반화하는 데 자주 실패하기 때문에 여전히 어렵다. 기존 방법들은 대규모 데이터셋으로 학습되지만, generation setting이 바뀌면 성능이 여전히 저하되며, 이는 데이터 규모만으로는 충분하지 않고 학습 시 generative variation의 제한된 coverage가 핵심 요인임을 시사한다. generative model editing에 관한 연구는 내부 representation의 작은 변화가 다양하고 의미 있는 이미지 변형을 만들어낼 수 있으며, 그중 상당수는 표준 sampling 하에서는 탐색되지 않는다는 점을 보여준다. 이러한 통찰을 활용하여, 우리는 생성 과정의 까다로운 영역을 적극적으로 탐색함으로써 detector의 generalization을 향상시키는 PROBE (Probing Robustness via Boundary Exploration)를 제안한다. PROBE는 generator를 고정된 데이터 소스로 취급하는 대신, detector를 critic으로 사용해 manifold-level modification을 따라 generator를 유도하고, 분류하기 어려운 realistic sample을 생성한다. 이러한 sample은 표준 data sampling strategy에서는 드물게 나타나는 실패 사례를 드러내며, detector를 정교화하는 데 사용된다. 여러 benchmark에 걸친 실험 결과, PROBE는 보지 못한 generator에 대한 generalization을 향상시켜, 더 일반화 가능한 AIGI detection 성능을 제공함을 보여준다.
"},{"id":"64059","en":"Temporal-Emerged Prompting for Segment Anything in Multiframe Infrared Small Target Detection","ko":"다중 프레임 적외선 소형 표적 탐지에서 Segment Anything을 위한 시간 창발적 프롬프팅","authors":"Yinghui Xing, Donghao Chu, Shizhou Zhang, di xu","pos":"#905","link":"https://openreview.net/forum?id=RJTNidW1cz","abs":"Accurately localizing and segmenting small targets in low signal-to-noise ratio (SNR) infrared sequences remains a challenging task. Since targets are often indistinguishable from the background in individual frames, existing methods, even when equipped with advanced foundation model and powerful inter-frame association mechanisms, still fail to detect them. Motivated by the observation that targets tend to emerge gradually from the background over time and become distinguishable, we propose Temporal-Emerged Prompting for Segment Anything Model (TEP-SAM), a principled framework designed to explicitly exploit such temporal-emerged cues to modulate and prompt SAM. TEP-SAM operates by jointly modeling global motion patterns and local motion deviations to locate potential targets. It further enhances target region features by leveraging motion discrepancy, thereby generating temporal-emerged cues for SAM and enabling non-interactive segmentation. By bridging large-scale semantic pretraining with task-specific temporal modeling, TEP-SAM effectively adapts SAM to the challenging multiframe infrared small target detection task. Extensive experiments demonstrate the effectiveness of our approach, particularly under severely low-SNR conditions and in complex dynamic background.
","absKo":"low signal-to-noise ratio(SNR) infrared sequence에서 작은 target을 정확하게 localization하고 segmentation하는 일은 여전히 어려운 과제다. 단일 frame에서는 target이 배경과 구분되지 않는 경우가 많기 때문에, 고급 foundation model과 강력한 inter-frame association mechanism을 갖춘 기존 방법들조차 이를 탐지하는 데 실패한다. target이 시간이 지남에 따라 배경에서 점차 드러나며 구분 가능해진다는 관찰에 착안하여, 우리는 이러한 temporal-emerged cue를 명시적으로 활용해 SAM을 modulate하고 prompt하도록 설계된 원칙적인 framework인 Temporal-Emerged Prompting for Segment Anything Model(TEP-SAM)을 제안한다. TEP-SAM은 global motion pattern과 local motion deviation을 공동으로 모델링하여 잠재적 target을 위치시킨다. 또한 motion discrepancy를 활용해 target region feature를 강화함으로써 SAM을 위한 temporal-emerged cue를 생성하고 non-interactive segmentation을 가능하게 한다. 대규모 semantic pretraining과 task-specific temporal modeling을 연결함으로써, TEP-SAM은 SAM을 까다로운 multi-frame infrared small target detection task에 효과적으로 적응시킨다. 광범위한 실험은 특히 매우 낮은 SNR 조건과 복잡한 동적 배경에서 본 접근법의 효과를 보여 준다.
"},{"id":"63718","en":"Task-Driven Subspace Decomposition for Knowledge Sharing and Isolation in LoRA-based Continual Learning","ko":"LoRA 기반 Continual Learning에서 지식 공유와 분리를 위한 과제 주도 부분공간 분해","authors":"Lingfeng He, De Cheng, Huaijie Wang, Xi Yang, Nannan Wang, Xinbo Gao","pos":"#906","link":"https://openreview.net/forum?id=UJJfkcJ7K9","abs":"Continual Learning (CL) requires models to sequentially adapt to new tasks without forgetting old knowledge. Recently, Low-Rank Adaptation (LoRA), a representative Parameter-Efficient Fine-Tuning (PEFT) method, has gained increasing attention in CL. Several LoRA-based CL methods reduce interference across tasks by separating their update spaces, typically building the new space from the estimated null space of past tasks. However, they (i) overlook task-shared directions, which suppresses knowledge transfer, and (ii) fail to capture truly effective task-specific directions since these ``null bases\" of old tasks can remain nearly inactive for new task under correlated tasks. To address this, we study LoRA learning capability from a projection energy perspective, and propose Low-rank Decomposition and Adaptation (LoDA). It performs a task-driven decomposition to build general and truly task-specific LoRA subspaces by solving two energy-based objectives, decoupling directions for knowledge sharing and isolation. LoDA fixes LoRA down-projections on two subspaces and learns robust up-projections via a Gradient-Aligned Optimization (GAO) approach. After each task, before integrating the LoRA updates into the backbone, LoDA derives a closed-form recalibration for the general update, approximating a feature-level joint optimum along this task-shared direction. Experiments indicate that LoDA outperforms existing CL methods.
","absKo":"Continual Learning(CL)은 모델이 과거 지식을 잊지 않으면서 새로운 task에 순차적으로 적응할 것을 요구한다. 최근에는 대표적인 Parameter-Efficient Fine-Tuning(PEFT) 방법인 Low-Rank Adaptation(LoRA)이 CL에서 점점 더 많은 주목을 받고 있다. 여러 LoRA 기반 CL 방법은 업데이트 공간을 분리함으로써 task 간 간섭을 줄이며, 일반적으로 과거 task의 추정된 null space를 바탕으로 새로운 공간을 구성한다. 그러나 이들 방법은 (i) task가 공유하는 방향을 간과하여 knowledge transfer를 억제하고, (ii) 상관된 task에서는 과거 task의 이러한 ``null basis''가 새로운 task에서 거의 활성화되지 않을 수 있기 때문에 진정으로 효과적인 task-specific direction을 포착하지 못한다. 이를 해결하기 위해, 우리는 projection energy 관점에서 LoRA의 학습 능력을 연구하고 Low-rank Decomposition and Adaptation(LoDA)을 제안한다. LoDA는 두 개의 energy-based objective를 풀어 일반적이고 진정한 task-specific LoRA subspace를 구성하는 task-driven decomposition을 수행하며, knowledge sharing과 isolation을 위한 방향을 분리한다. LoDA는 LoRA의 down-projection을 두 subspace에 고정하고, Gradient-Aligned Optimization(GAO) 접근을 통해 강건한 up-projection을 학습한다. 각 task 이후, LoRA 업데이트를 backbone에 통합하기 전에, LoDA는 일반 업데이트에 대한 closed-form recalibration을 도출하여 이 task-shared direction을 따라 feature-level joint optimum을 근사한다. 실험 결과 LoDA는 기존 CL 방법들을 능가함을 보여준다.
"},{"id":"66631","en":"Task-Aware Structured Memory for Dynamic Multi-modal In-Context Learning","ko":"동적 멀티모달 In-Context 학습을 위한 작업 인지 구조화 메모리","authors":"Zhirui Chen, Ziwei Chen, Ling Shao","pos":"#907","link":"https://openreview.net/forum?id=1yTbhxUGef","abs":"Multi-modal large language models (MLLMs) depend on in-context learning (ICL) for rapid task adaptation, but their scalability is severely limited by finite context windows and the growing cost of key–value (KV) caches in long multi-modal sequences. Existing memory compression approaches typically rely on rigid token removal or sample-dependent importance estimation, which introduces bias, disrupts semantic structure—particularly for visual representations—and yields static memories that cannot adapt to new queries. We introduce TASM (Task-Aware Structured Memory), a training-free framework that addresses these limitations through task-aware, structure-preserving, and dynamically accessible memory construction. TASM employs Task-Vector Guided Compression to replace sample-specific signals with a task-level direction that captures shared relevance across demonstrations. To preserve the underlying information manifold, it further applies Semantics-Aware Token Merging, formulating compression as a Bipartite Graph Matching problem that merges tokens without destructive pruning. Finally, TASM organizes compressed representations into a multi-resolution hierarchy consisting of a compact Core Memory and a Latent Bank, enabling Query-Adaptive Dynamic Activation and Dynamic Retrieval at inference time. Empirical evaluations show that TASM sustains strong multi-modal ICL performance under high compression ratios, demonstrating an effective balance between efficiency, adaptability, and semantic fidelity.
","absKo":"Multi-modal large language models (MLLMs)는 빠른 task adaptation을 위해 in-context learning (ICL)에 의존하지만, 그 확장성은 finite context window와 긴 multi-modal sequence에서 key–value (KV) cache 비용의 증가로 인해 심각하게 제한된다. 기존의 memory compression 접근법은 대체로 경직된 token 제거 또는 sample-dependent importance estimation에 의존하는데, 이는 bias를 유발하고, 특히 visual representation에서 semantic structure를 교란하며, 새로운 query에 적응할 수 없는 정적인 memory를 만든다. 우리는 이러한 한계를 task-aware, structure-preserving, dynamically accessible memory construction을 통해 해결하는 training-free framework인 TASM (Task-Aware Structured Memory)을 제안한다. TASM은 Task-Vector Guided Compression을 사용하여 sample-specific signal을 여러 demonstration 전반에 걸친 shared relevance를 포착하는 task-level direction으로 대체한다. underlying information manifold를 보존하기 위해, 추가로 Semantics-Aware Token Merging을 적용하여 압축을 Bipartite Graph Matching problem으로 정식화하고, 파괴적인 pruning 없이 token을 병합한다. 마지막으로 TASM은 압축된 표현을 compact Core Memory와 Latent Bank로 구성된 multi-resolution hierarchy로 조직하여 inference 시 Query-Adaptive Dynamic Activation과 Dynamic Retrieval을 가능하게 한다. 실험 평가 결과 TASM은 높은 압축률에서도 강한 multi-modal ICL 성능을 유지하며, 효율성, 적응성, semantic fidelity 사이의 효과적인 균형을 보여준다.
"},{"id":"65928","en":"TD-VAD: Breaking Visual Dependence in Video Anomaly Detection with Text-Driven Learning","ko":"TD-VAD: 텍스트 기반 학습으로 영상 이상 탐지의 시각 의존성 깨기","authors":"Shuangqing Zhang, Lei-Lei Ma, Zhao Wang, Wen Dong, Xinyi Xu, Guo-Sen Xie, Caifeng Shan, Fang Zhao","pos":"#909","link":"https://openreview.net/forum?id=8o64dI0hTP","abs":"Visual data is typically a prerequisite for training existing video anomaly detection (VAD) methods. However, obtaining sufficient annotated anomaly data for training is challenging and not scalable due to the rarity of anomaly data and the wide variety of abnormal events. In this work, we advocate that the effectiveness of treating texts as video sequences for the VAD model and propose a novel Text-Driven Video Anomaly Detection (TD-VAD) approach to break visual dependence. In contrast to the anomaly video data, text descriptions of abnormal events are easy to collect, and their class labels can be directly derived. Specifically, our method utilizes video-like text descriptions with temporal characteristics generated by LLM to train a VAD model, without any reliance on target-domain anomaly data. To capture the long and short-range temporal logic of events, we design the event evolution causal attention module to model contextual dependencies across time. During inference, considering the domain gap between the texts and video sequences, we use the frozen CLIP encoder to extract embeddings of video frames to align the text modality while retaining crucial visual information. Comprehensive experiments on two large-scale VAD datasets, XD-Violence and UCF-Crime, demonstrate that our method outperforms prior one-class and unsupervised VAD methods by a large margin.
","absKo":"시각 데이터는 일반적으로 기존 video anomaly detection (VAD) 방법을 학습하기 위한 전제 조건이다. 그러나 충분한 주석이 달린 이상(anomaly) 데이터를 확보하는 것은 이상 데이터의 희소성과 비정상 이벤트의 다양한 종류 때문에 어렵고 확장 가능하지 않다. 본 연구에서는 VAD 모델에서 텍스트를 video sequence로 취급하는 방식의 효과를 주장하고, 시각적 의존성을 깨기 위한 새로운 Text-Driven Video Anomaly Detection (TD-VAD) 접근법을 제안한다. 이상 비디오 데이터와 달리, 비정상 이벤트에 대한 텍스트 설명은 수집이 쉽고 그 클래스 레이블도 직접 도출할 수 있다. 구체적으로, 우리의 방법은 target domain의 anomaly data에 전혀 의존하지 않고, LLM이 생성한 시간적 특성을 지닌 video-like text descriptions를 활용하여 VAD 모델을 학습한다. 이벤트의 장기 및 단기 temporal logic을 포착하기 위해, 우리는 시간에 걸친 contextual dependency를 모델링하는 event evolution causal attention module을 설계한다. 추론 시에는 텍스트와 video sequence 사이의 domain gap을 고려하여, frozen CLIP encoder를 사용해 video frame의 embedding을 추출함으로써 핵심 visual information은 유지하면서 text modality에 정렬한다. XD-Violence와 UCF-Crime이라는 두 개의 대규모 VAD 데이터셋에서 수행한 포괄적 실험은, 우리의 방법이 기존의 one-class 및 unsupervised VAD 방법을 큰 폭으로 능가함을 보여준다.
"},{"id":"64903","en":"Sample Margin-Aware Recalibration of Temperature Scaling","ko":"Temperature Scaling의 Sample Margin-Aware 재보정","authors":"Haolan Guo, Linwei Tao, Haoyang Luo, Minjing Dong, Chang Xu","pos":"#911","link":"https://openreview.net/forum?id=IkPdV0stxX","abs":"Deep neural networks frequently exhibit overconfidence, undermining reliability in safety-critical applications. Existing adaptive methods rely on indirectly learned proxies of sample difficulty. We establish the logit margin as a direct and principled hardness indicator. We prove that margin tightly bounds the feasible temperature range for any target confidence. Empirically, margin strongly correlates with decision boundary proximity and reveals systematic calibration patterns across difficulty levels. We further identify a fundamental flaw in NLL-based optimization: minimizing NLL can paradoxically worsen calibration. To address this, we introduce Charbonnier-Smoothed SoftECE, a smooth objective that provably upper-bounds the smooth calibration error (smCE). Building on these insights, we propose SMART (Sample Margin-Aware Recalibration of Temperature), a lightweight method that learns a sample-wise margin-to-temperature mapping guided by our calibration-centric objective. Experiments demonstrate state-of-the-art calibration across CNNs and ViTs on standard, long-tailed, and distribution-shifted benchmarks, with a minimal inference-time data consumption. Code: https://anonymous.4open.science/r/SMART-8B11.
","absKo":"Deep neural network는 과도한 confidence를 자주 보이며, 이는 safety-critical application에서 reliability를 저해한다. 기존의 adaptive method는 sample difficulty의 간접적으로 학습된 proxy에 의존한다. 우리는 logit margin이 직접적이고 원칙적인 hardness indicator임을 확립한다. 우리는 margin이 어떤 target confidence에 대해서도 가능한 temperature range를 강하게 upper-bound함을 증명한다. 실험적으로, margin은 decision boundary와의 근접성과 강하게 상관하며 difficulty level 전반에 걸친 체계적인 calibration pattern을 드러낸다. 또한 우리는 NLL-based optimization의 근본적 결함을 식별한다. 즉, NLL을 최소화하는 것이 역설적으로 calibration을 악화시킬 수 있다. 이를 해결하기 위해, 우리는 smooth calibration error(smCE)를 provably upper-bound하는 smooth objective인 Charbonnier-Smoothed SoftECE를 도입한다. 이러한 통찰을 바탕으로, 우리는 Sample Margin-Aware Recalibration of Temperature(SMART)를 제안한다. 이는 calibration-centric objective로 guided된 sample-wise margin-to-temperature mapping을 학습하는 lightweight method이다. 실험은 standard, long-tailed, distribution-shifted benchmark에서 CNN과 ViT 전반에 걸쳐 state-of-the-art calibration을 보이며, inference time에 필요한 data consumption은 매우 적다. 코드: https://anonymous.4open.science/r/SMART-8B11.
"},{"id":"65956","en":"Rethinking Depth Pruning for Vision Transformers: A Heterogeneity-Aware Perspective","ko":"Vision Transformer의 깊이 가지치기 재고: 이질성 인식 관점","authors":"Zhenfeng Su, Kang Zhao, Han Bao, Tao Yuan, Zhongzhe Hu, Xianzhi Yu, Wenxuan Wang","pos":"#913","link":"https://openreview.net/forum?id=8X5SOsxwQi","abs":"While prior studies have successfully compressed vision Transformers (ViTs) through various pruning techniques, most have concentrated on width pruning to achieve significant reductions in model size. Depth pruning, which involves the removal of entire layers from a ViT, is notoriously difficult for accuracy recovery, although depth pruning usually leads to higher speedups of compressed ViTs. Consequently, existing joint approaches that incorporate both width and depth pruning have exhibited limited acceleration ratios due to the inefficiencies of previous depth pruning methods. In this work, we reveal that the failure of existing depth pruning methods lies in their neglect of heterogeneity between different layers. Through a comprehensive analysis of the heterogeneity, we introduce HetDPT, a method that handles heterogeneity during depth pruning while avoiding dimension mismatch. Comprehensive experiments on ImageNet1k, CIFAR-100, COCO, and ADE20K have validated our methods. HetDPT achieves a 1.58$\\times$ speedup for DeiT-B while maintaining accuracy, and a 1.39$\\times$ speedup for DeiT-S with nearly no accuracy degradation. Furthermore, when combined with width pruning, i.e., HetDPT+, our method sets a new state-of-the-art record in extreme ViT pruning. HetDPT+ enhances the acceleration ratio from 4.24$\\times$ to 5.19$\\times$ for the Isomorphic-Pruning-2.6G configuration while maintaining near-lossless accuracy.","absKo":"기존 연구들은 다양한 pruning 기법을 통해 vision Transformers (ViTs)를 성공적으로 압축해 왔지만, 대부분은 model size를 크게 줄이기 위한 width pruning에 집중해 왔다. ViT에서 전체 layer를 제거하는 depth pruning은 보통 compressed ViTs의 speedup을 더 높일 수 있음에도, accuracy 복원이 매우 어렵기로 악명 높다. 그 결과 width와 depth pruning을 모두 포함하는 기존의 joint approach들은 이전 depth pruning 방법들의 비효율성 때문에 제한적인 acceleration ratio만을 보여 왔다. 본 연구에서는 기존 depth pruning 방법의 실패가 서로 다른 layer 간 heterogeneity를 간과한 데 있음을 밝힌다. 이러한 heterogeneity에 대한 포괄적인 분석을 바탕으로, 우리는 dimension mismatch를 피하면서 depth pruning 동안 heterogeneity를 처리하는 방법인 HetDPT를 제안한다. ImageNet1k, CIFAR-100, COCO, ADE20K에 대한 종합 실험은 우리의 방법을 검증했다. HetDPT는 accuracy를 유지하면서 DeiT-B에 대해 1.58$\\times$ speedup을 달성하고, 거의 accuracy 저하 없이 DeiT-S에 대해 1.39$\\times$ speedup을 달성한다. 또한 width pruning과 결합한 HetDPT+, 즉 우리의 방법은 극단적인 ViT pruning에서 새로운 state-of-the-art 기록을 세운다. HetDPT+는 Isomorphic-Pruning-2.6G 설정에서 accuracy를 거의 손실 없이 유지하면서 acceleration ratio를 4.24$\\times$에서 5.19$\\times$로 향상시킨다."},{"id":"67046","en":"Position: AI for Science Should Treat Measurement-to-Dataset Pipelines as Inference Components","ko":"Position: 과학을 위한 AI는 측정-데이터셋 파이프라인을 추론 구성 요소로 다루어야 한다","authors":"Ling Zhan, Xiaoyao Yu, Tao Jia","pos":"#815","link":"https://openreview.net/forum?id=xOyw28DlOc","abs":"AI for Science (AI4Science) workflows often treat the released dataset as a fixed interface to the underlying system. However, in domains relying on indirect observation, the learner observes a derivative representation produced by multi-stage measurement, reconstruction, and preprocessing pipelines. We argue that these measurement-to-dataset pipelines are inference components: treating their outputs as \"given data\" freezes an observation model and obscures uncertainty over feasible pipeline choices. We identify three failure modes arising from this \"frozen lens\": (C1) hidden hypothesis space, where the released dataset does not specify the pipeline configuration or its validity conditions; (C2) uncertified transportability, where a pipeline may be documented but its regime of validity is untested, so failures under distribution shift cannot be adjudicated; (C3) ungoverned multiplicity, where many defensible pipelines exist and dispersion is real but not propagated into uncertainty-aware evidence. We stress-test these claims with a large-scale neuroscience empirical audit, finding a survival rate of ≈ 0.0004% under a cross-dataset stability criterion. We call on the AI4Science community to make pipelines computable inference objects via domain-specific Computable Observation Frameworks. This shift enables quantifying pipeline adequacy and stability, converting implicit implementation choices into auditable, reproducible, and cumulative scientific evidence.
","absKo":"AI for Science (AI4Science) 워크플로우는 흔히 공개된 데이터셋을 기저 시스템에 대한 고정된 인터페이스로 취급한다. 그러나 간접 관측에 의존하는 분야에서는 학습자가 다단계 측정, 재구성, 전처리 파이프라인을 통해 생성된 파생 표현을 관찰한다. 우리는 이러한 measurement-to-dataset 파이프라인이 추론 구성요소라고 주장한다. 즉, 그 출력을 \"주어진 데이터\"로 취급하면 관측 모델이 고정되고, 가능한 파이프라인 선택들에 대한 불확실성이 가려진다. 우리는 이 \"frozen lens\"에서 비롯되는 세 가지 실패 양상을 식별한다. (C1) hidden hypothesis space: 공개된 데이터셋이 파이프라인 구성이나 그 타당 조건을 명시하지 않는다. (C2) uncertified transportability: 파이프라인이 문서화되어 있을 수는 있지만, 그 타당성 범위가 검증되지 않아 분포 이동 하에서의 실패를 판정할 수 없다. (C3) ungoverned multiplicity: 방어 가능한 파이프라인이 다수 존재하고 분산이 실제로 존재하지만, 이를 불확실성 인지형 증거로 전파하지 못한다. 우리는 대규모 신경과학 실증 감사로 이러한 주장을 스트레스 테스트한 결과, 교차 데이터셋 안정성 기준에서 생존율이 약 ≈ 0.0004%에 불과함을 발견했다. 우리는 AI4Science 커뮤니티가 도메인 특화 Computable Observation Frameworks를 통해 파이프라인을 computable한 추론 객체로 만들 것을 촉구한다. 이러한 전환은 파이프라인 적절성과 안정성을 정량화할 수 있게 하며, 암묵적 구현 선택을 감사 가능하고 재현 가능하며 누적 가능한 과학적 증거로 바꾼다.
"},{"id":"65318","en":"Reinforcement Learning for Tool-Calling Agents in Fast Healthcare Interoperability Resources (FHIR)","ko":"Fast Healthcare Interoperability Resources(FHIR)에서 도구 호출 에이전트를 위한 강화학습","authors":"Marius Knorr, Robert Müller, Jan Bremer, Nils Schweingruber","pos":"#901","link":"https://openreview.net/forum?id=Ep6EcExLIY","abs":"Fast Healthcare Interoperability Resources (FHIR) is the dominant standard for interoperable exchange of healthcare data. In FHIR, electronic health records form a directed graph of resources. Answering clinically meaningful questions over FHIR requires agents to perform multi-step reasoning, filtering, and aggregation across multiple resource types. Prior work shows that even tool-augmented LLM agents (retrieval, code execution, multi-turn planning) often select the wrong resources or violate traversal constraints. We study this problem in the context of FHIR-AgentBench, a benchmark for realistic question answering over real-world hospital data, and frame reasoning on FHIR as a sequential decision-making problem over a queryable structured graph. We implement a multi-turn CodeAct agent and post-train it with reinforcement learning using a custom harness and tools. A LLM Judge provides execution-grounded rewards. Compared to prompt-based, closed-model baselines, RL post-training improves performance while enforcing data-integrity constraints. Empirically, our approach improves answer correctness from 50% (o4-mini) to 64% on FHIR-AgentBench using a smaller and cheaper Qwen 2.5-7B model. We present an end-to-end post-training pipeline (environment building, harness construction, model training and custom evaluation) that reliably improves multi-turn reasoning over structured clinical graphs.
","absKo":"Fast Healthcare Interoperability Resources (FHIR)는 의료 데이터의 interoperable exchange를 위한 지배적인 표준이다. FHIR에서 electronic health record는 resource들의 directed graph를 이룬다. FHIR 전반에서 임상적으로 의미 있는 질문에 답하려면, agent가 여러 resource type에 걸쳐 multi-step reasoning, filtering, aggregation을 수행해야 한다. 선행 연구는 retrieval, code execution, multi-turn planning을 포함한 tool-augmented LLM agent조차도 종종 잘못된 resource를 선택하거나 traversal constraint를 위반한다는 것을 보여준다. 우리는 실제 병원 데이터를 대상으로 한 현실적 question answering benchmark인 FHIR-AgentBench의 맥락에서 이 문제를 연구하고, FHIR에서의 reasoning을 query 가능한 structured graph 위의 sequential decision-making problem으로 정식화한다. 우리는 multi-turn CodeAct agent를 구현하고, custom harness와 tool을 사용한 reinforcement learning으로 이를 post-train한다. LLM Judge는 execution-grounded reward를 제공한다. prompt-based closed-model baseline과 비교했을 때, RL post-training은 data-integrity constraint를 유지하면서 성능을 향상시킨다. 실험적으로, 우리의 접근법은 더 작고 저렴한 Qwen 2.5-7B model을 사용하여 FHIR-AgentBench에서 answer correctness를 50% (o4-mini)에서 64%로 향상시킨다. 우리는 structured clinical graph 위의 multi-turn reasoning을 안정적으로 향상시키는 end-to-end post-training pipeline(environment building, harness construction, model training, custom evaluation)을 제시한다.
"},{"id":"64011","en":"SPEED-Bench: A Unified and Diverse Benchmark for Speculative Decoding","ko":"SPEED-Bench: Speculative Decoding을 위한 통합적이고 다양한 벤치마크","authors":"Talor Abramovich, Maor Ashkenazi, Izzy Putterman, Benjamin Chislett, Tiyasa Mitra, Bita Darvish Rouhani, Ran Zilberstein, Yonatan Geifman","pos":"#809","link":"https://openreview.net/forum?id=Rl2uQlCoQX","abs":"Speculative Decoding (SD) has emerged as a critical technique for accelerating Large Language Model (LLM) inference. Unlike deterministic system optimizations, SD performance is inherently data-dependent, meaning that diverse and representative workloads are essential for accurately measuring its effectiveness. Existing benchmarks suffer from limited task diversity, inadequate support for throughput-oriented evaluation, and a reliance on high-level implementations that fail to reflect production environments. To address this, we introduce SPEED-Bench, a comprehensive suite designed to standardize SD evaluation across diverse semantic domains and realistic serving regimes. SPEED-Bench offers a carefully curated Qualitative data split, selected by prioritizing semantic diversity across the data samples. Additionally, it includes a Throughput data split, allowing speedup evaluation across a range of concurrencies, from latency-sensitive low-batch settings to throughput-oriented high-load scenarios. By integrating with production engines like vLLM and TensorRT-LLM, SPEED-Bench allows practitioners to analyze system behaviors often masked by other benchmarks. We highlight this by quantifying how synthetic inputs overestimate real-world throughput, identifying batch-size dependent optimal draft lengths and biases in low-diversity data, and analyzing the caveats of vocabulary pruning in state-of-the-art drafters. We release SPEED-Bench to establish a unified evaluation standard for practical comparisons of SD algorithms.
","absKo":"Speculative Decoding(SD)은 Large Language Model(LLM) inference를 가속하는 핵심 기법으로 부상했다. 결정론적 시스템 최적화와 달리, SD 성능은 본질적으로 데이터에 의존하므로 그 효과를 정확히 측정하기 위해서는 다양하고 대표성 있는 workload가 필수적이다. 기존 benchmark는 task diversity가 제한적이고 throughput 지향 평가를 충분히 지원하지 못하며, production 환경을 반영하지 못하는 고수준 구현에 의존하는 문제가 있다. 이를 해결하기 위해 우리는 다양한 semantic domain과 현실적인 serving regime 전반에서 SD 평가를 표준화하도록 설계된 종합 suite인 SPEED-Bench를 소개한다. SPEED-Bench는 데이터 샘플 전반의 semantic diversity를 우선시해 엄선한 Qualitative data split을 제공한다. 또한 latency에 민감한 low-batch 설정부터 throughput 지향의 high-load scenario까지 다양한 concurrency에서 speedup을 평가할 수 있는 Throughput data split도 포함한다. vLLM과 TensorRT-LLM 같은 production engine과 통합함으로써, SPEED-Bench는 기존 benchmark에서는 종종 가려지는 system behavior를 실무자가 분석할 수 있게 한다. 우리는 synthetic input이 실제 world throughput을 과대평가하는 정도를 정량화하고, batch size에 따라 달라지는 optimal draft length와 low-diversity data에서의 편향을 식별하며, state-of-the-art drafter에서 vocabulary pruning의 주의점을 분석함으로써 이를 보여준다. 우리는 SD algorithm의 실용적 비교를 위한 통합 평가 기준을 확립하기 위해 SPEED-Bench를 공개한다.
"},{"id":"65380","en":"Reinforcing Real-world Service Agents: Balancing Utility and Cost in Task-oriented Dialogue","ko":"실세계 서비스 에이전트 강화: 과제 지향 대화에서 유용성과 비용의 균형","authors":"Ning Gao, Wei Zhang, Yuqin Dai, Ling Shi, Ziyin Wang, Yujie Wang, Wei He, Jinpeng Wang, Chaozheng Wang","pos":"#3600","link":"https://openreview.net/forum?id=EBaBxJgxli","abs":"The rapid evolution of Large Language Models (LLMs) has accelerated the transition from conversational chatbots to general agents. However, effectively balancing empathetic communication with budget-aware decision-making remains an open challenge. Since existing methods fail to capture these complex strategic trade-offs, we propose InteractCS-RL, a framework that reframes task-oriented dialogue as a multi-granularity reinforcement learning process. Specifically, we first establish a User-centric Interaction Framework to provide a high-fidelity training gym, enabling agents to dynamically explore diverse strategies with persona-driven users. Then, we introduce Cost-aware Multi-turn Policy Optimization (CMPO) with a hybrid advantage estimation strategy. By integrating generative process credits and employing a PID-Lagrangian cost controller, CMPO effectively guides the policy to explore Pareto boundary between user reward and global cost constraints. Extensive experiments on customized real business scenarios demonstrate that InteractCS-RL significantly outperform other baselines across three evaluation dimensions. Further evaluation on tool-agent-user interaction benchmarks verify InteractCS-RL robustness across diverse domains.
","absKo":"Large Language Model(LLM)의 급속한 발전은 대화형 chatbot에서 general agent로의 전환을 가속했다. 그러나 공감적인 communication과 budget-aware decision-making을 효과적으로 균형 있게 조정하는 일은 여전히 열린 과제다. 기존 방법들은 이러한 복잡한 전략적 trade-off를 포착하지 못하므로, 우리는 task-oriented dialogue를 multi-granularity reinforcement learning process로 재구성하는 framework인 InteractCS-RL을 제안한다. 구체적으로, 먼저 User-centric Interaction Framework를 구축하여 고충실도의 training gym을 제공하고, persona-driven user와 함께 agent가 다양한 strategy를 동적으로 탐색할 수 있도록 한다. 그다음, hybrid advantage estimation strategy를 사용하는 Cost-aware Multi-turn Policy Optimization(CMPO)을 도입한다. CMPO는 generative process credit를 통합하고 PID-Lagrangian cost controller를 사용하여, user reward와 global cost constraint 사이의 Pareto boundary를 정책이 탐색하도록 효과적으로 유도한다. 맞춤화된 실제 비즈니스 시나리오에서 수행한 광범위한 실험은 InteractCS-RL이 세 가지 평가 차원에서 다른 baseline을 크게 능가함을 보여준다. 또한 tool-agent-user interaction benchmark에 대한 추가 평가는 다양한 domain 전반에서 InteractCS-RL의 robustness를 검증한다.
"},{"id":"61234","en":"Unraveling Syntax: Language Modeling and the Substructure of Grammars","ko":"Syntax 풀어내기: Language Modeling과 Grammar의 하위 구조","authors":"Laura Ying Schulz, Daniel Mitropolsky, Tomaso A Poggio","pos":"#1501","link":"https://openreview.net/forum?id=sPIXjSkDFG","abs":"While large models achieve impressive results, their learning dynamics are far from understood. Many domains of interest -- such as natural language syntax, coding languages, arithmetic problems -- are captured by context-free grammars (CFGs). In this work, we extend prior work on neural language modeling of CFGs in a novel direction: how language modeling behaves with respect to CFG substructure, namely \"subgrammars\". We first define subgrammars, and prove a set of fundamental theorems regarding language modeling and subgrammars. We show that language modeling loss (or equivalently the Kullback-Leibler divergence) recurses linearly over its top-level subgrammars; applied recursively, the loss decomposes into losses for \"irreducible\" subgrammars. We also prove that the constant in this linear recurrence is a function of the expected \"recursion\", a notion we introduce. We show that under additional assumptions, parametrized models learn subgrammars in parallel. Empirically, we confirm that small transformers learn subgrammars in parallel, unlike children, who first master simple substructures. We also briefly explore several other questions regarding subgrammars. We find that subgrammar pretraining can improve final performance, but only for tiny models relative to the grammar, while alignment analyses show that pretraining consistently lead to internal representations that better reflect the grammar’s substructure in all cases; we also observe persistent difficulty with deeper recursion, a limitation that appears even of large language models.
","absKo":"대형 model이 인상적인 결과를 달성하고 있음에도, 그 학습 dynamics는 아직 충분히 이해되지 않았다. 자연어 syntax, coding language, arithmetic problem과 같은 많은 관심 도메인은 context-free grammar (CFG)로 포착된다. 본 연구에서는 CFG의 neural language modeling에 대한 기존 연구를 새로운 방향으로 확장한다. 즉, language modeling이 CFG substructure, 곧 \"subgrammar\"에 대해 어떻게 동작하는지를 다룬다. 우리는 먼저 subgrammar를 정의하고, language modeling과 subgrammar에 관한 기본 정리들을 증명한다. 우리는 language modeling loss(또는 동등하게 Kullback-Leibler divergence)가 최상위 subgrammar에 대해 선형적으로 재귀함을 보이며, 이를 재귀적으로 적용하면 loss가 \"irreducible\" subgrammar들의 loss로 분해됨을 보인다. 또한 이 선형 재귀의 상수는 우리가 도입하는 expected \"recursion\" 개수의 함수임을 증명한다. 추가 가정 하에서는 parameterized model이 subgrammar를 병렬적으로 학습함을 보인다. 경험적으로, 우리는 작은 transformer가 아이들과는 달리 simple substructure를 먼저 익히는 것이 아니라 subgrammar를 병렬적으로 학습함을 확인한다. 또한 subgrammar에 관한 몇 가지 다른 질문도 간단히 탐구한다. 우리는 subgrammar pretraining이 최종 성능을 향상시킬 수 있음을 발견했지만, 이는 grammar에 비해 매우 작은 model에 한정되며, alignment 분석은 pretraining이 모든 경우에서 내부 representation이 grammar의 substructure를 더 잘 반영하도록 일관되게 이끈다는 것을 보여준다. 또한 더 깊은 recursion에서의 지속적인 어려움도 관찰했는데, 이는 large language model에서도 나타나는 제한이다.
"},{"id":"63556","en":"TG-RAG: A Retrieval-Augmented Framework for Reasoning Guidance in Specialized Domains","ko":"TG-RAG: 특화 도메인에서의 추론 가이던스를 위한 검색 증강 프레임워크","authors":"Liang Su, Mingyang Zhang, Yun Xiong, Tengfei LIU, Siwei Zhang, Xi Chen, Li Sun","pos":"#1812","link":"https://openreview.net/forum?id=W34UyCRQel","abs":"Enhancing Large Reasoning Models (LRMs) for specialized domains remains a critical challenge. While recent industrial frameworks attempt to encapsulate Standard Operating Procedures into modular \"skills\" for dynamic retrieval, utilizing them via context engineering often proves insufficient for complex workflows, leading to \"Cognitive Drift.\" To mitigate this, we propose $\\textbf{Thought Guidance-Retrieval Augmented Generation (TG-RAG)}$, a Retrieval-Augmented framework that effectively steers the generation process without relying solely on the model's self-correction. Built upon an Expert Procedure Graph (EPG) that formalizes unstructured SOPs, the framework uniquely employs a dynamic $\\textbf{``Interrupt-Retrieve-Generate\" (IRG)}$ mechanism to actively inject step-specific directives into the model's reasoning process. Extensive evaluations show that TG-RAG achieves competitive performance, demonstrating advantages in specialized domains by ensuring faithful adherence to domain SOPs.","absKo":"특화 도메인에서 Large Reasoning Models (LRMs)을 향상시키는 것은 여전히 중요한 과제이다. 최근 산업용 프레임워크들은 Standard Operating Procedures를 동적 retrieval을 위한 모듈형 \"skills\"로 캡슐화하려고 시도하지만, context engineering을 통해 이를 활용하는 방식은 복잡한 workflow에서는 종종 불충분하여 \"Cognitive Drift\"를 초래한다. 이를 완화하기 위해 우리는 $\\textbf{Thought Guidance-Retrieval Augmented Generation (TG-RAG)}$를 제안한다. 이는 model의 self-correction에만 의존하지 않고 generation 과정을 효과적으로 유도하는 Retrieval-Augmented 프레임워크이다. 비정형 SOP를 정형화한 Expert Procedure Graph (EPG) 위에 구축된 이 프레임워크는, 동적인 $\\textbf{``Interrupt-Retrieve-Generate\" (IRG)}$ 메커니즘을 독창적으로 사용하여 step-specific directive를 model의 reasoning 과정에 적극적으로 주입한다. 광범위한 평가 결과, TG-RAG는 경쟁력 있는 성능을 달성했으며, domain SOP를 충실히 준수함으로써 특화 도메인에서의 장점을 입증한다."},{"id":"60869","en":"Rewiring Experts on the Fly: Continuous Rerouting for Better Online Adaptation in Mixture-of-Expert models","ko":"실시간 Expert 재배선: Mixture-of-Expert 모델의 더 나은 온라인 적응을 위한 연속 Rerouting","authors":"Guinan Su, Yanwu Yang, Li Shen, Lu Yin, Shiwei Liu, Jonas Geiping","pos":"#1900","link":"https://openreview.net/forum?id=vqOaUyUeO3","abs":"Mixture-of-Experts (MoE) models achieve efficient scaling through sparse expert activation, but often suffer from suboptimal routing decisions due to distribution shifts in deployment. While existing test-time adaptation methods could potentially address these issues, they primarily focus on dense models and require access to external data, limiting their practical applicability to MoE architectures. However, we find that, instead of relying on reference data, we can optimize MoE expert selection on-the-fly based only on input context. As such, we propose \\textit{a data-free, online test-time framework} that continuously adapts MoE routing decisions during text generation without external supervision or data. Our method cycles between two phases: During the prefill stage, and later in regular intervals, we optimize the routing decisions of the model using self-supervision based on the already generated sequence. Then, we generate text as normal, maintaining the modified router until the next adaption. We implement this through lightweight additive vectors that only update router logits in selected layers, maintaining computational efficiency while preventing over-adaptation. The experimental results show consistent performance gains on challenging reasoning tasks while maintaining robustness to context shifts. For example, our method achieves a 5.5\\% improvement on HumanEval with OLMoE. Furthermore, owing to its plug-and-play property, our method naturally complements existing test-time scaling techniques, e.g., achieving 6\\% average gains when incorporated with self-consistency on DeepSeek-V2-Lite.
","absKo":"Mixture-of-Experts (MoE) 모델은 sparse expert activation을 통해 효율적으로 스케일링을 달성하지만, 배포 환경에서의 distribution shift 때문에 종종 최적이 아닌 routing 결정을 내린다. 기존 test-time adaptation 방법이 이러한 문제를 해결할 가능성은 있지만, 주로 dense model에 초점을 맞추고 외부 데이터 접근을 요구하므로 MoE architecture에 대한 실용성이 제한된다. 그러나 우리는 reference data에 의존하는 대신, 입력 context만을 바탕으로 MoE expert selection을 즉시 최적화할 수 있음을 발견했다. 이에 따라, 우리는 외부 supervision이나 데이터 없이 text generation 동안 MoE routing 결정을 지속적으로 적응시키는 \\textit{data-free, online test-time framework}를 제안한다. 우리의 방법은 두 단계 사이를 순환한다. prefill stage와 이후의 정기적 간격마다, 이미 생성된 sequence를 기반으로 하는 self-supervision을 사용해 model의 routing decisions를 최적화한다. 그런 다음 평소처럼 text를 생성하되, 다음 adaptation이 일어날 때까지 수정된 router를 유지한다. 우리는 이를 선택된 layer에서 router logits만 업데이트하는 lightweight additive vector로 구현하여, 계산 효율성은 유지하면서 과도한 적응을 방지한다. 실험 결과는 context shift에 대한 견고성을 유지하면서도 어려운 reasoning task에서 일관된 성능 향상을 보여준다. 예를 들어, 우리의 방법은 OLMoE에서 HumanEval 성능을 5.5\\% 향상시킨다. 또한 plug-and-play 특성 덕분에, 우리의 방법은 기존 test-time scaling 기법과 자연스럽게 결합되며, 예컨대 DeepSeek-V2-Lite에 self-consistency를 적용할 때 평균 6\\%의 성능 향상을 달성한다.
"},{"id":"64434","en":"KBQA-R1: Reinforcing Large Language Models for Knowledge Base Question Answering","ko":"KBQA-R1: 지식 베이스 질의 응답을 위한 대형 언어 모델 강화","authors":"Xin Sun, Zhongqi Chen, Xing Zheng, Qiang Liu, Shu Wu, Bowen Song, Zilei Wang, Weiqiang Wang, Liang Wang","pos":"#2103","link":"https://openreview.net/forum?id=NhWqp4R7Lf","abs":"Knowledge Base Question Answering (KBQA) challenges models to bridge the gap between natural language and strict knowledge graph schemas by generating executable logical forms. While Large Language Models (LLMs) have advanced this field, current approaches often struggle with a dichotomy of failure: they either generate hallucinated queries without verifying schema existence or exhibit rigid, template-based reasoning that mimics synthesized traces without true comprehension of the environment. To address these limitations, we present KBQA-R1, a framework that shifts the paradigm from text imitation to interaction optimization via Reinforcement Learning. Treating KBQA as a multi-turn decision process, our model learns to autonomously navigate the knowledge base using a structured action space, refining its reasoning strategies based on concrete execution feedback rather than static supervision. Furthermore, we introduce Referenced Rejection Sampling (RRS), a data synthesis method that resolves cold-start challenges by strictly aligning reasoning traces with ground-truth action sequences. Extensive experiments on WebQSP, GrailQA, and GraphQuestions demonstrate that KBQA-R1 achieves state-of-the-art performance. Code is available at https://anonymous.4open.science/r/KBQA-R1-814F.
","absKo":"Knowledge Base Question Answering (KBQA)은 실행 가능한 logical form을 생성함으로써 자연어와 엄격한 knowledge graph schema 사이의 간극을 메우도록 모델에 도전한다. Large Language Models (LLMs)가 이 분야를 발전시켜 왔지만, 현재의 접근법은 흔히 이중적인 실패 양상에 부딪힌다. 즉, schema 존재를 검증하지 않은 채 환각된 query를 생성하거나, 실제 환경에 대한 진정한 이해 없이 합성된 trace를 모방하는 경직된 template 기반 추론을 보인다. 이러한 한계를 해결하기 위해, 우리는 Reinforcement Learning을 통해 텍스트 모방에서 interaction optimization으로 패러다임을 전환하는 프레임워크인 KBQA-R1을 제안한다. KBQA를 multi-turn decision process로 간주하여, 우리의 모델은 structured action space를 사용해 knowledge base를 자율적으로 탐색하는 법을 학습하고, 정적인 supervision이 아니라 구체적인 execution feedback을 바탕으로 추론 전략을 정교화한다. 더 나아가, 우리는 ground-truth action sequence와 reasoning trace를 엄격히 정렬함으로써 cold-start 문제를 해결하는 data synthesis 방법인 Referenced Rejection Sampling (RRS)을 도입한다. WebQSP, GrailQA, GraphQuestions에 대한 광범위한 실험은 KBQA-R1이 state-of-the-art 성능을 달성함을 보여준다. 코드는 https://anonymous.4open.science/r/KBQA-R1-814F 에서 확인할 수 있다.
"},{"id":"60512","en":"Intervene When It Doubts: Conjunction-Guided Interactive Reasoning","ko":"의심할 때 개입하라: Conjunction-Guided Interactive Reasoning","authors":"Qianyue Wang, Jinwu Hu, Zhiquan Wen, Bailin Chen, Huanxiang Lin, Yufeng Wang, Yaofo Chen, Yu Rong, Yuanqing Li, Mingkui Tan","pos":"#2104","link":"https://openreview.net/forum?id=zVjLO7jg9T","abs":"Large Reasoning Models (LRMs) excel at complex reasoning but suffer from inefficient reasoning, like overthinking and overshoot. These issues stem from excessive or misdirected reasoning triggered by the model's \"doubt\", manifested as self-validation and exploratory extension, increasing computational cost and degrading performance. Existing efficient reasoning methods seek to regulate reasoning via internal signals or static schedules, lacking specialization in the \"doubt\" characteristics of LRMs. To address this, we propose a Conjunction-Guided Intervention (CGI) reasoning framework that intervenes when the model shows signs of doubt. Our key insight is that overthinking and overshoot in LRMs arise from conjunction-triggered extensions where LRMs exhibit \"doubt\" through transitional conjunctions, extending redundant self-validation and exploration without timely state-based correction. Building on this insight, CGI pauses reasoning at conjunction markers of doubt for external state-based feedback, adaptively extending or terminating reasoning to reduce redundancy while preserving accuracy. The feedback is generated via criteria evaluation (rationality and completeness) and comes from either human or LLM proxies. We train the target model by Group Relative Policy Optimization (GRPO) to adapt to the interactive mode. Experiments show that our framework achieves a superior balance between accuracy and reasoning length.
","absKo":"Large Reasoning Models (LRMs)는 복잡한 추론에서는 뛰어나지만, 과도한 생각(overthinking)과 overshoot 같은 비효율적인 추론을 겪는다. 이러한 문제는 모델의 \"doubt\"에 의해 촉발되는 과도하거나 잘못된 추론에서 비롯되며, 자기 검증(self-validation)과 탐색적 확장(exploratory extension)으로 나타나 계산 비용을 증가시키고 성능을 저하시킨다. 기존의 효율적 추론 방법들은 내부 신호나 정적 스케줄을 통해 추론을 조절하려 하지만, LRMs의 \"doubt\" 특성에 특화되어 있지 않다. 이를 해결하기 위해 우리는 모델이 의심의 징후를 보일 때 개입하는 Conjunction-Guided Intervention (CGI) 추론 프레임워크를 제안한다. 우리의 핵심 통찰은 LRMs의 overthinking과 overshoot가 conjunction-triggered extension에서 비롯되며, LRMs가 전이적 접속사(transitional conjunctions)를 통해 \"doubt\"를 드러내는 동안 시의적절한 상태 기반 교정 없이 중복된 자기 검증과 탐색을 확장한다는 점이다. 이 통찰을 바탕으로 CGI는 의심의 conjunction marker에서 추론을 멈추고 외부 상태 기반 피드백을 받아, 추론을 적응적으로 연장하거나 종료함으로써 중복을 줄이면서 정확도를 보존한다. 피드백은 기준 평가(rationality와 completeness)를 통해 생성되며, human 또는 LLM proxy에서 제공된다. 우리는 대상 모델이 상호작용 모드에 적응하도록 Group Relative Policy Optimization (GRPO)으로 학습시킨다. 실험 결과, 우리의 프레임워크는 정확도와 추론 길이 사이에서 더 우수한 균형을 달성함을 보였다.
"},{"id":"61091","en":"From Diagrams to Code: Multilingual Programming with Visual Design","ko":"다이어그램에서 코드로: 시각 설계를 활용한 다국어 프로그래밍","authors":"Linzheng Chai, Jian Yang, Shukai Liu, Wei Zhang, Liran WANG, JinKe, Tao Sun, Congnan Liu, Chenchen Zhang, Hualei Zhu, Jiaheng Liu, Xianjie Wu, Ge Zhang, Tianyu Liu, Zhoujun Li","pos":"#2115","link":"https://openreview.net/forum?id=tkrWQSJEtA","abs":"In modern software development, particularly in emerging ``vibe coding'' paradigms, project implementation increasingly begins with visual interactions between users and AI coding assistants, where system architectures are communicated through visual designs before coding. This visual-first approach necessitates AI systems capable of interpreting diagrams across multiple programming languages. However, the development of such systems is severely hindered by the lack of large-scale multimodal training data and evaluation benchmarks. To address these limitations, we present M2C-INSTRUCT, a comprehensive multilingual multimodal instruction-tuning dataset containing over 13.1M samples across 50+ programming languages, designed for visual understanding and diagram interpretation in code generation tasks. We validate our dataset by training M2-CODER, a multilingual multimodal software developer that successfully integrates visual design inputs with textual instructions. We also introduce M2EVAL, a novel multilingual evaluation benchmark for multimodal code generation performance. Experiments show our 7B M2-CODER performs on par with much larger 70B+ models, confirming the quality and effectiveness of our M2C-INSTRUCT. Together, M2C-INSTRUCT, M2-CODER, and M2EVAL provide essential infrastructure for visual-assisted programming in vibe-coding and visual-interactive development workflows.
","absKo":"현대 소프트웨어 개발, 특히 새롭게 부상하는 ``vibe coding'' 패러다임에서는 프로젝트 구현이 사용자와 AI coding assistant 사이의 시각적 상호작용으로부터 시작되는 경우가 점점 많아지고 있으며, 여기서 system architecture는 coding 전에 visual design을 통해 전달된다. 이러한 visual-first 접근법은 여러 programming language에 걸친 diagram을 해석할 수 있는 AI system을 필요로 한다. 그러나 이와 같은 system의 개발은 대규모 multimodal training data와 evaluation benchmark의 부재로 인해 심각하게 제약받고 있다. 이러한 한계를 해결하기 위해, 우리는 코드 생성 task에서 visual understanding과 diagram interpretation을 위해 설계된 50개 이상의 programming language에 걸친 1,310만 개 이상의 sample을 포함하는 포괄적인 multilingual multimodal instruction-tuning dataset인 M2C-INSTRUCT를 제시한다. 우리는 visual design input과 textual instruction을 성공적으로 통합하는 multilingual multimodal software developer인 M2-CODER를 학습하여 우리 dataset을 검증한다. 또한 multimodal code generation 성능을 위한 새로운 multilingual evaluation benchmark인 M2EVAL도 소개한다. 실험 결과, 우리의 7B M2-CODER는 훨씬 더 큰 70B+ model과 동등한 수준의 성능을 보이며, M2C-INSTRUCT의 품질과 효과를 확인해 준다. M2C-INSTRUCT, M2-CODER, M2EVAL은 함께 vibe-coding과 visual-interactive development workflow에서 visual-assisted programming을 위한 필수 인프라를 제공한다.
"},{"id":"63652","en":"Closing the Expression Gap in LLM Instructions via Socratic Questioning","ko":"소크라테스식 질문을 통한 LLM 지시문의 표현 격차 해소","authors":"Jianwen Sun, Yukang Feng, Yifan Chang, Chuanhao Li, Zizhen Li, Jiaxin Ai, Fanrui Zhang, Yu Dai, Kaipeng Zhang","pos":"#2300","link":"https://openreview.net/forum?id=UzEXl80a12","abs":"A fundamental bottleneck in human-AI collaboration is the \"intention expression gap\", the difficulty for humans to effectively convey complex, high-dimensional thoughts to AI. This challenge often traps users in inefficient trial-and-error loops and is exacerbated by the diverse expertise levels of users. We reframe this problem from passive instruction following to a Socratic collaboration paradigm, proposing an agent that actively probes for information to resolve its uncertainty about user intent. we name the proposed agent Nous, trained to acquire proficiency in this inquiry policy. The core mechanism of Nous is a training framework grounded in the first principles of information theory. Within this framework, we define the information gain from dialogue as an intrinsic reward signal, which is fundamentally equivalent to the reduction of Shannon entropy over a structured task space. This reward design enables us to avoid reliance on costly human preference annotations or external reward models. To validate our framework, we develop an automated simulation pipeline to generate a large-scale, preference-based dataset for the challenging task of scientific diagram generation. Comprehensive experiments, including ablations, subjective and objective evaluations, and tests across user expertise levels, demonstrate the effectiveness of our proposed framework. Nous achieves leading efficiency and output quality, while remaining robust to varying user expertise. In conclusion, our research provides a systematic methodology and a new perspective for addressing the issue of ambiguous intentions in complex human-machine collaboration.
","absKo":"human-AI collaboration의 근본적 병목은 \"intention expression gap\", 즉 인간이 복잡하고 고차원적인 생각을 AI에게 효과적으로 전달하기 어렵다는 점이다. 이 도전은 사용자를 비효율적인 trial-and-error loop에 빠뜨리기 쉽고, 사용자의 다양한 expertise level에 의해 더 심화된다. 우리는 이 문제를 수동적인 instruction following이 아니라 Socratic collaboration paradigm으로 재정의하며, 사용자 의도에 대한 불확실성을 해소하기 위해 정보를 능동적으로 탐색하는 agent를 제안한다. 우리는 제안한 agent를 Nous라고 이름 붙였으며, 이 inquiry policy에 능숙해지도록 학습시켰다. Nous의 핵심 메커니즘은 information theory의 first principle에 기반한 training framework이다. 이 framework에서 우리는 dialogue로부터 얻는 information gain을 intrinsic reward signal로 정의하며, 이는 구조화된 task space에서 Shannon entropy 감소와 본질적으로 동등하다. 이러한 reward design은 비용이 큰 human preference annotation이나 external reward model에 대한 의존을 피하게 해준다. 우리의 framework를 검증하기 위해, 우리는 scientific diagram generation이라는 어려운 task를 위한 large-scale preference-based dataset을 생성하는 automated simulation pipeline을 개발했다. ablation, subjective 및 objective evaluation, 그리고 user expertise level 전반에 대한 테스트를 포함한 종합 실험은 제안한 framework의 효과를 입증한다. Nous는 다양한 user expertise에 대해 견고함을 유지하면서도, 선도적인 효율성과 output quality를 달성한다. 결론적으로, 본 연구는 복잡한 human-machine collaboration에서 모호한 의도를 다루기 위한 체계적 방법론과 새로운 관점을 제시한다.
"},{"id":"64103","en":"BESPOKE: Benchmark for Search-Augmented Large Language Model Personalization via Diagnostic Feedback","ko":"BESPOKE: 진단적 피드백을 통한 검색 증강 LLM 개인화 벤치마크","authors":"Hyunseo Kim, Sangam Lee, Kwangwook Seo, Dongha Lee","pos":"#2307","link":"https://openreview.net/forum?id=Qr8Zvwoi88","abs":"Search-augmented large language models (LLMs) remain insufficient for fully addressing diverse user needs, which requires recognizing how the same query can reflect different intents across users and delivering information in preferred forms. While recent systems such as ChatGPT and Gemini attempt personalization by leveraging user histories, systematic evaluation of such personalization is under-explored. To address this gap, we propose BESPOKE, the realistic benchmark for evaluating personalization in search-augmented LLMs. BESPOKE is designed to be both realistic, by collecting authentic chat and search histories directly from humans, and diagnostic, by pairing responses with fine-grained preference scores and feedback. The benchmark is constructed through long-term, deeply engaged human annotation, where human annotators contributed their own histories, authored queries with detailed information needs, and evaluated responses with scores and diagnostic feedback. Leveraging BESPOKE, we conduct systematic analyses that reveal key requirements for effective personalization in information-seeking tasks, providing a foundation for fine-grained evaluation of personalized search-augmented LLMs. Our code and data are available at https://anonymous.4open.science/r/bespoke-E82B.
","absKo":"Search-augmented large language model (LLM)은 여전히 다양한 사용자 요구를 완전히 충족하기에 부족하다. 이는 동일한 query가 사용자에 따라 서로 다른 intent를 반영할 수 있음을 인식하고, 선호되는 형식으로 정보를 제공해야 하기 때문이다. ChatGPT와 Gemini와 같은 최근 시스템은 사용자 history를 활용하여 personalization을 시도하지만, 이러한 personalization에 대한 체계적 평가는 충분히 탐구되지 않았다. 이 격차를 해결하기 위해, 우리는 search-augmented LLM에서 personalization을 평가하기 위한 현실적인 benchmark인 BESPOKE를 제안한다. BESPOKE는 인간으로부터 직접 실제 chat 및 search history를 수집함으로써 현실성을 확보하고, 세밀한 preference score와 feedback을 응답과 짝지음으로써 진단 가능성을 갖도록 설계되었다. 이 benchmark는 장기적이고 깊이 있는 인간 주석을 통해 구축되었으며, 인간 주석자는 자신의 history를 제공하고, 상세한 정보 요구를 담은 query를 작성했으며, score와 진단적 feedback으로 응답을 평가했다. BESPOKE를 활용하여 우리는 정보 탐색 작업에서 효과적인 personalization에 필요한 핵심 요구사항을 드러내는 체계적 분석을 수행하고, personalized search-augmented LLM의 세밀한 평가를 위한 기반을 제공한다. 우리의 code와 data는 https://anonymous.4open.science/r/bespoke-E82B 에서 이용 가능하다.
"},{"id":"66055","en":"Conditional Equivalence of DPO and RLHF: Assumptions, Failure Modes, and Provable Alignment","ko":"DPO와 RLHF의 조건부 동등성: 가정, 실패 모드, 증명 가능한 정렬","authors":"Yonggang Zhang, Zhiqin Yang, Wei Xue, Dong Fang, Bo Han, Yike Guo","pos":"#2708","link":"https://openreview.net/forum?id=7UEBX1KU1y","abs":"Direct Preference Optimization (DPO) has emerged as a popular alternative to Reinforcement Learning from Human Feedback (RLHF), offering theoretical equivalence with simpler implementation. We prove this equivalence is conditional rather than universal, depending on an implicit assumption frequently violated in practice: the RLHF-optimal policy must prefer human-preferred responses. When this assumption fails, DPO optimizes relative advantage over the reference policy rather than absolute alignment with human preferences, leading to pathological convergence where policies decrease DPO loss while preferring dispreferred responses. We characterize when this assumption is violated, show the existence of an undesirable solution space, and prove that DPO and RLHF optimize fundamentally different objectives in such cases. To address this, we introduce Constrained Preference Optimization (CPO), augmenting RLHF with constraints for provable alignment. We further provide a geometric interpretation through soft margin ranking, revealing DPO implements margin ranking with potentially negative targets. Our theoretical analysis establishes when DPOs' guarantees hold and provides solutions preserving simplicity with provable alignment. Comprehensive experiments on standard benchmarks demonstrate that CPO achieves state-of-the-art performance.
","absKo":"Direct Preference Optimization(DPO)은 Reinforcement Learning from Human Feedback(RLHF)의 인기 있는 대안으로 부상했으며, 더 단순한 구현과 이론적 동등성을 제공한다. 우리는 이 동등성이 보편적인 것이 아니라 조건적임을 증명한다. 이는 실무에서 자주 위반되는 암묵적 가정, 즉 RLHF-optimal policy가 human-preferred response를 선호해야 한다는 가정에 의존하기 때문이다. 이 가정이 깨지면, DPO는 human preference와의 절대적 정렬이 아니라 reference policy에 대한 상대적 이득을 최적화하게 되어, policy가 DPO loss는 감소시키면서도 덜 선호되는 응답을 선호하는 병적인 수렴을 초래한다. 우리는 이 가정이 언제 위반되는지 규명하고, 바람직하지 않은 solution space의 존재를 보이며, 그러한 경우 DPO와 RLHF가 근본적으로 다른 objective를 최적화함을 증명한다. 이를 해결하기 위해 우리는 RLHF에 constraint를 추가하여 provable alignment를 보장하는 Constrained Preference Optimization(CPO)을 도입한다. 또한 우리는 soft margin ranking을 통한 기하학적 해석을 제시하여, DPO가 잠재적으로 음수 target을 갖는 margin ranking을 구현함을 밝힌다. 우리의 이론 분석은 DPO의 보장이 언제 성립하는지 규명하고, provable alignment를 유지하면서 단순성을 보존하는 해법을 제시한다. 표준 benchmark에서의 포괄적 실험은 CPO가 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"60656","en":"Vibe Checker: Aligning Code Evaluation with Human Preference","ko":"Vibe Checker: 코드 평가를 인간 선호와 정렬하기","authors":"Ming Zhong, Xiang Zhou, Ting-Yun Chang, Qingze Wang, Nan Xu, Xiance Si, Dan Garrette, Shyam Upadhyay, Jeremiah Zhe Liu, Jiawei Han, Benoit Schillings, Jiao Sun","pos":"#303","link":"https://openreview.net/forum?id=xyP0iKZDKo","abs":"Large Language Models (LLMs) have catalyzed vibe coding, where users leverage LLMs to generate and iteratively refine code through natural language interactions until it passes their vibe check. Vibe check reflects human preference and goes beyond functionality: the solution should feel right, read cleanly, preserve intent, and remain correct. However, current code evaluation remains anchored to pass@k and captures only functional correctness, overlooking non-functional instructions that users routinely apply. In this paper, we hypothesize that instruction following is the missing piece underlying vibe check besides functional correctness. To quantify models' code instruction-following capabilities with measurable signals, we present VeriCode, a taxonomy of 30 verifiable code instructions together with deterministic verifiers. We use the taxonomy to augment established evaluation suites, resulting in Vibe Checker, a testbed to assess both instruction following and functional correctness. Evaluating 31 LLMs, we show that even the strongest models struggle to comply with multiple instructions and exhibit functional regression. Most importantly, a composite score of functional correctness and instruction following correlates best with human preference, with instruction following emerging as the primary differentiator among LLMs.
","absKo":"Large Language Models(LLMs)는 vibe coding을 촉진했는데, 이는 사용자가 자연어 상호작용을 통해 LLMs로 코드를 생성하고 반복적으로 다듬어, vibe check를 통과할 때까지 개선하는 방식이다. vibe check는 인간의 선호를 반영하며 기능성을 넘어선다: 해결책은 옳게 느껴져야 하고, 깔끔하게 읽혀야 하며, 의도를 보존하고, 올바름을 유지해야 한다. 그러나 현재의 코드 평가는 여전히 pass@k에 고정되어 있으며 기능적 정확성만을 포착하고, 사용자가 일상적으로 적용하는 비기능적 지시사항은 간과한다. 본 논문에서 우리는 기능적 정확성 외에 instruction following이 vibe check의 핵심 결손 요소라고 가정한다. 측정 가능한 신호로 모델의 code instruction-following 능력을 정량화하기 위해, 우리는 30개의 검증 가능한 code instruction taxonomy와 결정적 verifier를 포함하는 VeriCode를 제시한다. 이 taxonomy를 기존 평가 세트에 확장 적용한 결과, instruction following과 기능적 정확성을 모두 평가하는 테스트베드인 Vibe Checker를 구성했다. 31개의 LLM을 평가한 결과, 가장 강력한 모델조차도 여러 instruction을 동시에 준수하는 데 어려움을 겪고 기능적 regression을 보였다. 가장 중요한 점은, 기능적 정확성과 instruction following의 composite score가 인간 선호와 가장 높은 상관을 보였으며, instruction following이 LLM들 사이의 주요 차별 요인으로 나타났다는 것이다.
"},{"id":"62606","en":"Unveiling the Entropy Dynamics of Chain-of-Thought Reasoning","ko":"Chain-of-Thought Reasoning의 Entropy Dynamics 해석","authors":"Ting Xu, Xu He, Yupu Lu, Jiankai Sun, Dong Li, Wai Lam, Jianye Hao","pos":"#3514","link":"https://openreview.net/forum?id=f5JmWpV01Y","abs":"This paper investigates the entropy dynamics of Chain-of-Thought (CoT) and uncovers a consistent two-phase structure: an Uncertainty Region of exploration transitioning sharply to a Confidence Region of convergence. We demonstrate that the Confidence Region possesses two critical properties: 1) High Reliability—answers in confidence region become highly accurate and stable, and 2) High Redundancy—models generate unnecessary tokens long after reaching the correct answer. These properties unlock more efficient and reliable inference strategies: 1) Early Exit leverages reliability and redundancy to terminate computation safely when returns diminish, and 2) Test-Time Scaling uses the Confidence Region signal to prioritize converged trajectories. To operationalize these insights, we formulate Confidence Region detection as a sequential change-point detection problem, being the first to apply classical change-point methods to monitor CoT reasoning. Using the Cumulative Sum (CUSUM) algorithm, a statistically optimal change-point detector, we develop a training-free framework for real-time inference control. Experiments show our approach establishes a superior Pareto-frontier for early exit. CUSUM achieves 63.06% accuracy with 11.1% token reduction, outperforming DEER and Dynasor by 3.28% and 4.36% in accuracy respectively. For test-time scaling, CUSUM-weighted voting consistently outperforms self-consistency.
","absKo":"본 논문은 Chain-of-Thought (CoT)의 entropy dynamics를 조사하여, 탐색을 수행하는 Uncertainty Region에서 수렴하는 Confidence Region으로 급격히 전이하는 일관된 2단계 구조를 밝혀낸다. 우리는 Confidence Region이 두 가지 핵심 특성을 가진다는 것을 보인다. 1) High Reliability - confidence region의 답은 매우 정확하고 안정적이 되며, 2) High Redundancy - 모델은 정답에 도달한 한참 뒤에도 불필요한 토큰을 생성한다. 이러한 특성은 더 효율적이고 신뢰할 수 있는 추론 전략을 가능하게 한다. 1) Early Exit은 신뢰성과 중복성을 활용해 수익이 줄어들 때 계산을 안전하게 종료하고, 2) Test-Time Scaling은 Confidence Region 신호를 사용해 수렴한 trajectory를 우선시한다. 이러한 통찰을 실제화하기 위해, 우리는 Confidence Region detection을 sequential change-point detection 문제로 정식화하며, CoT reasoning을 모니터링하는 데 고전적인 change-point 방법을 적용한 최초의 사례를 제시한다. 통계적으로 최적의 change-point detector인 Cumulative Sum (CUSUM) 알고리즘을 사용하여, 실시간 추론 제어를 위한 training-free 프레임워크를 개발한다. 실험 결과 우리 접근법은 early exit에서 더 우수한 Pareto frontier를 확립함을 보인다. CUSUM은 11.1%의 token reduction과 함께 63.06% accuracy를 달성하여, 정확도에서 DEER와 Dynasor를 각각 3.28%와 4.36% 앞선다. test-time scaling에서는 CUSUM-weighted voting이 self-consistency를 일관되게 능가한다.
"},{"id":"66011","en":"Beyond Literal Translation: Evaluating Cultural Effectiveness in Social Media UGC","ko":"직역을 넘어서: 소셜 미디어 UGC에서의 문화적 효과성 평가","authors":"Linjuan Wu, Ruiqi Zhang, Xinze Lyu, Ye Guo, Daoxin Zhang, Zhe Xu, Yao Hu, Yixin Cao, Yongliang Shen, Weiming Lu","pos":"#800","link":"https://openreview.net/forum?id=7xppFNbcXM","abs":"Social media platforms enable large-scale cross-lingual communication, yet translating user-generated content (UGC) remains challenging due to its informal style, culture-laden expressions, and interaction-driven nuances. While recent LLMs have advanced translation quality, existing benchmarks and metrics often overlook whether translations preserve intended meaning and cultural resonance in real-world contexts. In this work, we introduce CULTURE-MT, a benchmark for social media translation that explicitly emphasizes CULtural Transmission and UGC-specific emotion REsonance. CULTURE-MT comprises 1,002 Chinese-to-English UGC notes spanning 14 domains, systematically categorized into four types based on culture-loaded symbols and linguistic styles. We also construct UGC-oriented training data to fine-tune Qwen3-8B and Qwen3-32B as strong baselines. We propose the cultural effectiveness criterion and train a related JUDGER model that jointly assesses expression accuracy and cultural adaptability. Evaluating 15 models, we find that standard automatic metrics are largely insensitive to cultural effectiveness. Our work establishes a comprehensive framework for evaluating and advancing UGC translation, and will provide an open evaluation platform to support future research in culturally effective UGC translation.
","absKo":"소셜 미디어 플랫폼은 대규모의 다국어 커뮤니케이션을 가능하게 하지만, 사용자 생성 콘텐츠(UGC)는 비공식적인 문체, 문화가 스며든 표현, 상호작용 중심의 뉘앙스 때문에 번역이 여전히 어렵다. 최근 LLM이 번역 품질을 향상시키고 있지만, 기존 벤치마크와 메트릭은 실제 환경에서 번역이 의도된 의미와 문화적 울림을 보존하는지 여부를 종종 간과한다. 본 연구에서는 소셜 미디어 번역을 위한 벤치마크 CULTURE-MT를 소개하며, 이는 CULtural Transmission과 UGC 특화 감정 REsonance를 명시적으로 강조한다. CULTURE-MT는 14개 도메인에 걸친 1,002개의 중국어-영어 UGC 노트로 구성되며, 문화적 상징과 언어 스타일을 바탕으로 네 가지 유형으로 체계적으로 분류된다. 또한 Qwen3-8B와 Qwen3-32B를 강력한 baseline으로 fine-tuning하기 위한 UGC 지향 학습 데이터도 구축한다. 우리는 cultural effectiveness 기준을 제안하고, 표현 정확도와 문화적 적응성을 함께 평가하는 관련 JUDGER 모델을 학습한다. 15개 모델을 평가한 결과, 표준 자동 메트릭은 문화적 효과에 대체로 둔감하다는 점을 확인했다. 본 연구는 UGC 번역을 평가하고 발전시키기 위한 포괄적 프레임워크를 제시하며, 문화적으로 효과적인 UGC 번역에 대한 향후 연구를 지원하는 공개 평가 플랫폼을 제공할 것이다.
"},{"id":"61039","en":"DiscoverLLM: From Executing Intents to Discovering Them","ko":"DiscoverLLM: 의도 실행에서 의도 발견으로","authors":"Tae Soo Kim, Yoonjoo Lee, Jaesang Yu, John Chung, Juho Kim","pos":"#801","link":"https://openreview.net/forum?id=uIi5FfjtwR","abs":"To handle ambiguous and open-ended requests, Large Language Models (LLMs) are increasingly trained to interact with users to surface intents they have not yet expressed (e.g., ask clarification questions). However, users are often ambiguous because they have not yet formed their intents: they must observe and explore outcomes to discover what they want. Simply asking \"what kind of tone do you want?\" fails when users themselves do not know. We introduce DiscoverLLM, a novel and generalizable framework that trains LLMs to help users form and discover their intents. Central to our approach is a novel user simulator that models cognitive state with a hierarchy of intents that progressively concretize as the model surfaces relevant options---where the degree of concretization serves as a reward signal that models can be trained to optimize. Resulting models learn to collaborate with users by adaptively diverging (i.e., explore options) when intents are unclear, and converging (i.e., refine and implement) when intents concretize. Across proposed interactive benchmarks in creative writing, technical writing, and SVG drawing, DiscoverLLM achieves over 10% higher task performance while reducing conversation length by up to 40%. In a user study with 75 human participants, DiscoverLLM improved conversation satisfaction and efficiency compared to baselines.
","absKo":"모호하고 open-ended한 요청을 처리하기 위해, Large Language Model(LLM)은 사용자가 아직 명시하지 않은 의도를 드러내도록 사용자와 상호작용하도록 점점 더 학습되고 있다(예: clarification question을 묻기). 그러나 사용자가 모호한 이유는 아직 의도를 형성하지 못했기 때문인 경우가 많다. 즉, 자신이 원하는 것을 발견하기 위해 결과를 관찰하고 탐색해야 한다. 단순히 \"어떤 톤을 원하나요?\"라고 묻는 것은 사용자 자신도 모를 때 실패한다. 우리는 DiscoverLLM을 제안한다. 이는 LLM이 사용자가 의도를 형성하고 발견하도록 돕기 위해 학습되도록 하는 새롭고 일반화 가능한 framework이다. 우리의 접근의 핵심은 모델이 관련 옵션을 제시할수록 점진적으로 구체화되는 intent hierarchy로 cognitive state를 모델링하는 새로운 user simulator이며, 여기서 구체화 정도는 model이 최적화하도록 학습할 수 있는 reward signal로 작동한다. 그 결과 model은 의도가 불명확할 때는 adaptively diverging(즉, 옵션을 탐색)하고, 의도가 구체화될 때는 converging(즉, 정제하고 구현)하면서 사용자와 협업하는 법을 학습한다. 창의적 글쓰기, 기술 문서 작성, SVG drawing에서 제안한 interactive benchmark 전반에 걸쳐 DiscoverLLM은 task performance를 10% 이상 향상시키는 동시에 conversation length를 최대 40% 줄였다. 75명의 인간 참여자를 대상으로 한 user study에서 DiscoverLLM은 baseline 대비 대화 만족도와 효율성을 개선했다.
"},{"id":"65373","en":"GAUSS: Graph-Assisted Uncertainty Quantification using Structure and Semantics for Long-Form Generation in LLMs","ko":"GAUSS: LLM의 장문 생성을 위한 구조와 의미를 활용한 그래프 지원 불확실성 정량화","authors":"Karthik Somayaji NS, Yuxuan Yin, Peng Li","pos":"#802","link":"https://openreview.net/forum?id=EGV34JT1Lc","abs":"In critical domains like clinical reporting, legal analysis, and policy drafting, large language models (LLMs) are increasingly expected to produce extended, fact‑rich narratives rather than isolated sentences. Reliable uncertainty quantification in such long‑form outputs is crucial. Existing techniques either assign a single confidence score to an entire paragraph or evaluate factual consistency by comparing extracted atomic facts across multiple generations. Some recent approaches represent fact–paragraph relationships using bipartite entailment graphs and derive uncertainty from fact centrality. However, these methods ignore the explicit dependencies among facts within a paragraph and the structural and semantic variation across multiple LLM outputs for the same prompt, missing a key source of uncertainty specific to long‑form generation. We propose GAUSS (Graph‑Assisted Uncertainty Quantification using Structure and Semantics), a principled framework that models each generated paragraph as a semantic graph of atomic facts and their relations. We posit that uncertainty arises from structural and semantic discrepancies among these graphs across different samples. GAUSS quantifies uncertainty as the expected alignment cost between the semantic graph of an anchor paragraph and those of alternative generations. By capturing both semantic content and structural coherence, GAUSS offers a more interpretable and theoretically grounded measure of uncertainty than coarse, sentence‑level scores.
","absKo":"임상 보고, 법률 분석, 정책 초안 작성과 같은 중요한 영역에서 large language model(LLM)은 이제 고립된 문장보다 확장된 fact-rich narrative를 생성해야 하는 경우가 점점 많아지고 있다. 이러한 long-form output에서의 신뢰할 수 있는 uncertainty quantification은 매우 중요하다. 기존 기법들은 전체 문단에 하나의 confidence score를 부여하거나, 여러 생성 결과에서 추출한 atomic fact를 비교하여 factual consistency를 평가한다. 일부 최근 접근법은 bipartite entailment graph로 fact-문단 관계를 표현하고 fact centrality로부터 uncertainty를 도출한다. 그러나 이러한 방법은 문단 내 fact들 사이의 명시적 의존성과, 같은 prompt에 대한 여러 LLM output 사이의 구조적·의미적 변이를 무시하므로, long-form generation에 특유한 불확실성의 핵심 원천을 놓친다. 우리는 각 생성된 문단을 atomic fact와 그 관계로 이루어진 semantic graph로 모델링하는 원칙적인 framework인 GAUSS (Graph-Assisted Uncertainty Quantification using Structure and Semantics)를 제안한다. 우리는 서로 다른 sample들 간 이러한 graph의 structural 및 semantic discrepancy에서 uncertainty가 발생한다고 가정한다. GAUSS는 anchor paragraph의 semantic graph와 대체 생성물들의 semantic graph 사이의 expected alignment cost로 uncertainty를 정량화한다. semantic content와 structural coherence를 모두 포착함으로써, GAUSS는 거친 sentence-level score보다 더 해석 가능하고 이론적으로 정당화된 uncertainty 측도를 제공한다.
"},{"id":"63983","en":"IAPO: Information-Aware Policy Optimization for Token-Efficient Reasoning","ko":"IAPO: 토큰 효율적 추론을 위한 정보 인지 정책 최적화","authors":"Yinhan He, Yaochen Zhu, Mingjia Shi, Wendy Zheng, Lin Su, Xiaoqing Wang, Qi Guo, Jundong Li","pos":"#803","link":"https://openreview.net/forum?id=S21HtCHa40","abs":"Large language models increasingly rely on long chains of thought to improve accuracy, yet such gains come with substantial inference-time costs. We revisit token-efficient post-training and argue that existing sequence-level reward-shaping methods offer limited control over how reasoning effort is allocated across tokens. To bridge the gap, we propose IAPO, an information-theoretic post-training framework that assigns token-wise advantages based on each token’s conditional mutual information (MI) with the final answer. This yields an explicit, principled mechanism for identifying informative reasoning steps and suppressing low-utility exploration. We provide a theoretical analysis showing that our IAPO can induce monotonic reductions in reasoning verbosity without harming correctness. Empirically, IAPO consistently improves reasoning accuracy while reducing reasoning length by up to 36\\%, outperforming existing token-efficient RL methods across various reasoning datasets. Our results demonstrate that information-aware advantage shaping is a powerful and general direction for token-efficient post-training. The code is available at https://anonymous.4open.science/r/agent_rl-107E/.
","absKo":"Large language model은 정확도를 높이기 위해 점점 더 긴 chain of thought에 의존하고 있지만, 이러한 향상은 상당한 inference-time cost를 수반한다. 우리는 token-efficient post-training을 재검토하며, 기존의 sequence-level reward-shaping 방법이 token 전반에 reasoning effort가 어떻게 배분되는지에 대해 제한적인 제어만 제공한다고 주장한다. 이 간극을 메우기 위해, 우리는 IAPO를 제안한다. 이는 각 token의 최종 답과의 conditional mutual information (MI)에 기반해 token-wise advantage를 할당하는 information-theoretic post-training framework이다. 이를 통해 어떤 reasoning step이 informative한지 식별하고 low-utility exploration을 억제하는 명시적이고 원리적인 메커니즘을 제공한다. 우리는 IAPO가 정확도를 해치지 않으면서 reasoning verbosity를 단조롭게 감소시킬 수 있음을 보이는 이론적 분석을 제시한다. 실험적으로, IAPO는 다양한 reasoning dataset 전반에서 기존 token-efficient RL 방법들을 능가하며 reasoning length를 최대 36\\%까지 줄이는 동시에 reasoning accuracy를 일관되게 향상시킨다. 우리의 결과는 information-aware advantage shaping이 token-efficient post-training을 위한 강력하고 일반적인 방향임을 보여준다. 코드는 https://anonymous.4open.science/r/agent_rl-107E/ 에서 확인할 수 있다.
"},{"id":"65053","en":"MARS-SQL: A Multi-Agent Reinforcement Learning Framework For Text-To-SQL","ko":"MARS-SQL: Text-To-SQL을 위한 Multi-Agent Reinforcement Learning 프레임워크","authors":"Haolin Yang, Jipeng Zhang, Zhitao He, Alexander Zhou, Yi Fung","pos":"#804","link":"https://openreview.net/forum?id=HF2bafS1kZ","abs":"Large Language Models (LLMs) often struggle with the precise logic and schema alignment required for complex Text-to-SQL tasks. While current methods rely heavily on static prompting, they lack the ability to dynamically adapt and self-correct through environmental interaction. To bridge this gap, we propose MARS-SQL, a multi-agent architecture that leverages interactive Reinforcement Learning (RL) to optimize SQL generation. Unlike monolithic approaches, our method decomposes the problem into three specialized roles: schema linking, query generation, and solution validation. Central to our approach is a generation agent trained via a multi-turn RL policy, which operates within a ReAct-style loop. This agent learns to iteratively reason, execute intermediate SQL actions on a live database, and refine its strategy based on execution feedback. To ensure robustness, we introduce a validation mechanism that treats solution selection as a generative modeling task, identifying the optimal interaction trajectory through next-token prediction probabilities. Empirical evaluations demonstrate the effectiveness of coupling interactive learning with trajectory ranking. MARS-SQL achieves state-of-the-art performance, recording an execution accuracy of 77.84\\% on the BIRD development dataset and 89.75\\% on the Spider test dataset.
","absKo":"Large Language Models(LLMs)은 복잡한 Text-to-SQL task에 필요한 정밀한 logic과 schema alignment를 종종 잘 처리하지 못한다. 현재 방법들은 정적 prompting에 크게 의존하기 때문에, 환경과의 상호작용을 통해 동적으로 적응하고 self-correct할 수 있는 능력이 부족하다. 이 간극을 메우기 위해, 우리는 SQL 생성을 최적화하기 위해 interactive Reinforcement Learning(RL)을 활용하는 multi-agent architecture인 MARS-SQL을 제안한다. 단일체(monolithic) 접근과 달리, 우리의 방법은 문제를 schema linking, query generation, solution validation의 세 가지 specialized role로 분해한다. 우리의 접근의 핵심은 multi-turn RL policy로 학습된 generation agent이며, 이는 ReAct-style loop 안에서 동작한다. 이 agent는 반복적으로 reasoning하고, live database에서 중간 SQL action을 실행하며, execution feedback을 바탕으로 전략을 정교화하는 법을 학습한다. Robustness를 보장하기 위해, 우리는 solution selection을 generative modeling task로 간주하는 validation mechanism을 도입하고, next-token prediction probability를 통해 최적의 interaction trajectory를 식별한다. 실험 결과는 interactive learning과 trajectory ranking을 결합하는 방식의 효과를 보여준다. MARS-SQL은 state-of-the-art performance를 달성했으며, BIRD development dataset에서 77.84\\%의 execution accuracy와 Spider test dataset에서 89.75\\%를 기록했다.
"},{"id":"67176","en":"Position: Natural Language Should Not Fully Replace Formal Languages","ko":"Position: 자연어가 형식 언어를 완전히 대체해서는 안 된다","authors":"Eitan Wagner, Elisha Rosensweig, Omri Abend","pos":"#805","link":"https://openreview.net/forum?id=LlgCTMq7Sw","abs":"Recent advances in large language models and their widespread adoption have prompted claims that natural language could entirely replace formal languages, such as programming languages, for software design. In this position paper, we argue that this perspective overlooks fundamental linguistic properties of natural language, specifically that it is optimized for underspecification in open-ended contexts. We introduce a formal framework centered on task specificity, defining it as the information-theoretic reduction of uncertainty—in an output space, such as all possible images—given a user's specific requirements. We prove a specificity crossover theorem, showing the existence of a threshold beyond which the cost to express formal requirements into natural language exceeds the cost of direct formal specification. By analyzing case studies across modalities, such as image generation, code synthesis, and audio production, we demonstrate that natural language excels at low specificity tasks, while formal languages are advantageous on tasks with stricter requirements. We conclude that natural and formal languages are complementary tools and advocate the development of hybrid systems that allow users to move across the specificity spectrum.
","absKo":"large language model의 최근 발전과 광범위한 채택은 자연어가 software design에서 programming language와 같은 formal language를 완전히 대체할 수 있다는 주장을 낳았습니다. 이 position paper에서 우리는 이러한 관점이 자연어의 근본적인 언어적 특성, 특히 자연어가 열린 결말의 맥락에서 underspecification에 최적화되어 있다는 점을 간과한다고 주장합니다. 우리는 task specificity를 중심으로 하는 formal framework를 도입하며, 이를 사용자의 구체적인 요구가 주어졌을 때 정보이론적으로 불확실성을 얼마나 줄이는가로 정의합니다. 출력 공간이 가능한 모든 이미지와 같은 경우를 예로 들 수 있습니다. 우리는 specificity crossover theorem을 증명하여, formal requirement를 자연어로 표현하는 비용이 직접 formal specification을 하는 비용을 넘어서는 임계값의 존재를 보입니다. image generation, code synthesis, audio production과 같은 여러 modality에 걸친 case study를 분석함으로써, 자연어는 낮은 specificity task에서 뛰어나며, 더 엄격한 요구사항이 있는 task에서는 formal language가 유리함을 보입니다. 우리는 자연어와 formal language가 상호보완적 도구라고 결론짓고, 사용자가 specificity spectrum을 넘나들 수 있도록 하는 hybrid system의 개발을 옹호합니다.
"},{"id":"67222","en":"Position: Text Embeddings Should Capture Implicit Semantics, Not Just Surface Meaning","ko":"Position: Text Embedding은 표면 의미만이 아니라 암묵적 의미를 포착해야 한다","authors":"Yiqun Sun, Qiang Huang, Anthony Tung, Jun Yu","pos":"#806","link":"https://openreview.net/forum?id=7NL8On4v6m","abs":"This position paper argues that text embedding research should move beyond surface meaning and embrace implicit semantics as a central modeling objective. Text embeddings are a foundational component of modern NLP, underpinning a wide range of applications and driving sustained research progress. Despite rapid progress, most embedding models remain narrowly focused on surface-level semantics, whereas linguistic theory emphasizes that much of human meaning is implicit, shaped by pragmatics, speaker intent, and sociocultural context. Current embedding models are typically trained on datasets that lack such depth and evaluated using benchmarks that reward surface similarity. As a result, they struggle with tasks that require interpretive reasoning, stance recognition, or socially grounded understanding. Our pilot study makes this limitation explicit, showing that even state-of-the-art embeddings achieve only marginal improvements over simple lexical baselines on tasks probing implicit semantics. We therefore call for a paradigm shift: embedding research should prioritize linguistically grounded and diverse training data, develop benchmarks that probe deeper semantic understanding, and treat implicit meaning as a core modeling objective to better align embeddings with real-world language complexity.
","absKo":"이 포지션 페이퍼는 text embedding 연구가 표면적 의미를 넘어 암시적 의미(implicit semantics)를 핵심 모델링 목표로 받아들여야 한다고 주장한다. Text embedding은 현대 NLP의 기반 구성 요소로서 다양한 응용을 뒷받침하고 지속적인 연구 진전을 이끌어 왔다. 빠른 발전에도 불구하고, 대부분의 embedding model은 여전히 표면 수준의 의미에만 좁게 초점을 맞추고 있는 반면, 언어 이론은 인간의 의미 대부분이 pragmatics, 화자의 의도, 사회문화적 맥락에 의해 형성되는 암시적 의미라고 강조한다. 현재의 embedding model은 대개 이러한 깊이를 갖추지 못한 dataset으로 학습되고, 표면적 유사성을 보상하는 benchmark로 평가된다. 그 결과 해석적 추론, stance recognition, 사회적으로 기반한 이해가 필요한 task에서 한계를 보인다. 우리의 pilot study는 이러한 한계를 명시적으로 보여 주며, 최첨단 embedding조차도 암시적 의미를 탐구하는 task에서 단순한 lexical baseline보다 고작 미미한 개선만 달성함을 보인다. 따라서 우리는 패러다임 전환을 촉구한다: embedding 연구는 언어학적으로 기반이 확립되고 다양한 training data를 우선시하고, 더 깊은 의미 이해를 탐구하는 benchmark를 개발하며, 암시적 의미를 핵심 모델링 목표로 다루어 embedding이 실제 언어의 복잡성과 더 잘 부합하도록 해야 한다.
"},{"id":"67095","en":"Position: Towards Responsible Evaluation for Text-to-Speech","ko":"Position: Text-to-Speech를 위한 책임 있는 평가를 향하여","authors":"Yifan Yang, Hui Wang, Bing Han, Shujie Liu, Jinyu Li, Yong Qin, Xie Chen","pos":"#807","link":"https://openreview.net/forum?id=jfpkqjhex4","abs":"Recent advances in text-to-speech (TTS) technology have enabled systems to generate speech that is often indistinguishable from human speech, bringing benefits to accessibility, content creation, and human-computer interaction. However, current evaluation practices are increasingly inadequate for capturing the full range of capabilities, limitations, and societal impacts of modern TTS systems. This position paper introduces the concept of Responsible Evaluation and argues that it is essential and urgent for the next phase of TTS development, structured through three progressive levels: (1) ensuring the faithful and accurate reflection of a model's true capabilities and limitations, with more robust, discriminative, and comprehensive objective and subjective scoring methodologies; (2) enabling comparability, standardization, and transferability through standardized benchmarks, transparent reporting, and transferable evaluation metrics; and (3) assessing and mitigating ethical risks associated with forgery, misuse, privacy violations, and security vulnerabilities. Through this concept, we critically examine current evaluation practices, identify systemic shortcomings, and propose actionable recommendations. We hope this concept will not only foster more reliable and trustworthy TTS technology but also guide its development toward ethically sound and societally beneficial applications.
","absKo":"최근 text-to-speech (TTS) 기술의 발전으로 인간 음성과 거의 구별되지 않는 speech를 생성할 수 있는 시스템이 등장했으며, 이는 접근성, 콘텐츠 제작, human-computer interaction에 이점을 가져왔다. 그러나 현재의 평가 관행은 현대 TTS 시스템의 능력, 한계, 사회적 영향을 충분히 포착하기에 점점 더 부적절해지고 있다. 이 position paper는 Responsible Evaluation이라는 개념을 소개하고, 이것이 TTS 발전의 다음 단계에 필수적이며 시급하다고 주장한다. 이 개념은 세 가지 점진적 수준으로 구성된다: (1) 더 견고하고, 구분력이 높으며, 포괄적인 objective 및 subjective scoring methodology를 통해 모델의 실제 능력과 한계를 충실하고 정확하게 반영하는 것, (2) 표준화된 benchmark, 투명한 보고, 전이 가능한 evaluation metric을 통해 비교 가능성, 표준화, transferability를 가능하게 하는 것, 그리고 (3) forgery, misuse, privacy violation, security vulnerability와 관련된 윤리적 위험을 평가하고 완화하는 것. 우리는 이 개념을 통해 현재 평가 관행을 비판적으로 검토하고, 시스템적 결함을 식별하며, 실행 가능한 권고안을 제시한다. 우리는 이 개념이 더 신뢰할 수 있고 믿을 만한 TTS 기술을 촉진할 뿐 아니라, 이를 윤리적으로 건전하고 사회적으로 유익한 응용으로 발전시키는 데에도 기여하기를 희망한다.
"},{"id":"64515","en":"SCOUT: Active Information Foraging for Long-Text Understanding with Decoupled Epistemic States","ko":"SCOUT: 분리된 인식 상태를 이용한 장문 이해를 위한 능동적 정보 탐색","authors":"Zhenliang Zhang, Wenqing Wang, Yong Hu, Yaming Yang, Jiaheng Gao, Chen Shen, Xiaojun Wan","pos":"#808","link":"https://openreview.net/forum?id=MpYmjfXAnF","abs":"Long-Text Understanding (LTU) at million-token scale requires balancing reasoning fidelity with computational efficiency. Frontier long-context LLMs can process millions of token contexts end-to-end, but they suffer from high token consumption and attention dilution. In parallel, specialized LTU agents often sacrifice fidelity through task-agnostic abstractions like graph construction or indexing. We identify a key insight for LTU: query-relevant information is typically sparse relative to the full document, so effective reasoning should rely on a query-sufficient subset rather than the entire context. To address this, we propose SCOUT, a new paradigm for LTU that shifts from passive processing to active information foraging. It treats the document as an explorable environment and answers from a compact, provenance-grounded epistemic state. Guided by state-level gap diagnosis, SCOUT adaptively alternates between coarse-to-fine exploration and anchored state updates that progressively contract its epistemic state toward query sufficiency. Experiments show that SCOUT matches state-of-the-art proprietary models while reducing token consumption by up to 8 times. Moreover, SCOUT remains stable as context length scales, substantially alleviating the practical cost--capability trade-off in long-context reasoning. Code. An anonymous repository link is provided in the Supplementary Material.
","absKo":"million-token 규모의 Long-Text Understanding (LTU)에서는 추론 충실도와 계산 효율성 사이의 균형이 필요하다. 최첨단 long-context LLM은 수백만 token의 context를 end-to-end로 처리할 수 있지만, token 소모가 크고 attention dilution 문제가 있다. 한편 특화된 LTU agent는 graph construction이나 indexing 같은 task-agnostic abstraction을 사용하면서 충실도를 희생하는 경우가 많다. 우리는 LTU에 대한 핵심 통찰을 제시한다: query와 관련된 정보는 일반적으로 전체 문서에 비해 희소하므로, 효과적인 추론은 전체 context가 아니라 query-sufficient subset에 의존해야 한다. 이를 해결하기 위해 우리는 SCOUT를 제안한다. SCOUT는 LTU를 위한 새로운 패러다임으로, passive processing에서 active information foraging으로 전환한다. SCOUT는 문서를 탐색 가능한 환경으로 취급하고, compact하면서 provenance가 보장된 epistemic state에서 답을 생성한다. state-level gap diagnosis의 지도를 받아, SCOUT는 coarse-to-fine exploration과 anchored state update를 적응적으로 교대로 수행하며, 이를 통해 epistemic state를 query sufficiency를 향해 점진적으로 contract한다. 실험 결과, SCOUT는 state-of-the-art proprietary model과 동등한 성능을 보이면서 token 소모를 최대 8배까지 줄인다. 또한 SCOUT는 context length가 증가해도 안정적으로 동작하며, long-context reasoning에서의 실용적 비용-성능 trade-off를 크게 완화한다. Code. 익명 repository 링크는 Supplementary Material에 제공된다.
"},{"id":"62802","en":"Topological Active Inference for Task Disambiguation","ko":"Task Disambiguation을 위한 Topological Active Inference","authors":"Yangbo Wei, Zhen Huang, Shaoqiang Lu, Junhong Qian, Chen Wu, Lei He","pos":"#811","link":"https://openreview.net/forum?id=d8jyUp19OE","abs":"In open-ended domains, natural language instructions are often *underspecified*, mapping to multiple valid yet functionally distinct latent intents. While Large Language Models (LLMs) excel at generation, their ability to resolve such *task ambiguity* through interaction is currently hampered by *semantic blindness*—a tendency to squander interaction budgets on distinguishing trivial syntactic variants rather than fundamental intent differences. To address this, we propose *Topological Active Inference (TAI)*, a geometric framework that recasts disambiguation as a process of *intent-manifold contraction*. TAI first leverages *Persistent Homology* to recover the topological skeleton of the solution space, theoretically guaranteeing the separation of semantic signal from syntactic noise. Subsequently, it synthesizes clarifying questions as *separating hyperplanes* designed to efficiently bisect the probability mass of the intent manifold. We introduce *Topological Expected Information Gain (TEIG)* for question selection and prove that maximizing TEIG reduces query complexity from linear $\\mathcal{O}(N)$ to logarithmic $\\mathcal{O}(\\log K)$, where $K$ is the number of latent intents. Extensive experiments demonstrate that TAI recovers user intent with significantly fewer turns, achieving state-of-the-art disambiguation efficiency.","absKo":"개방형 도메인에서 자연어 지시는 종종 *underspecified*되어, 여러 개의 유효하지만 기능적으로 구별되는 latent intent로 대응됩니다. Large Language Model (LLM)은 생성에는 뛰어나지만, 상호작용을 통해 이러한 *task ambiguity*를 해결하는 능력은 현재 *semantic blindness*에 의해 저해됩니다. 이는 사소한 구문 변형을 구별하는 데 상호작용 예산을 낭비하고, 근본적인 의도 차이를 구분하지 못하는 경향을 말합니다. 이를 해결하기 위해 우리는 *Topological Active Inference (TAI)*를 제안합니다. 이는 disambiguation을 *intent-manifold contraction* 과정으로 재해석하는 기하학적 framework입니다. TAI는 먼저 *Persistent Homology*를 활용하여 해 공간의 topological skeleton을 복원하고, semantic signal과 syntactic noise를 이론적으로 분리할 수 있음을 보장합니다. 이후 clarifying question을 intent manifold의 probability mass를 효율적으로 양분하도록 설계된 *separating hyperplane*으로 합성합니다. 우리는 질문 선택을 위한 *Topological Expected Information Gain (TEIG)*를 도입하고, TEIG를 최대화하면 query complexity가 선형 $\\mathcal{O}(N)$에서 로그 $\\mathcal{O}(\\log K)$로 감소함을 증명합니다. 여기서 $K$는 latent intent의 수입니다. 광범위한 실험은 TAI가 사용자 의도를 훨씬 적은 turn으로 복원하며, state-of-the-art disambiguation efficiency를 달성함을 보여줍니다."},{"id":"63961","en":"Unlocking Speech–Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning","ko":"Speech–Text 합성 능력 열기: Instruction Tuning 없이 지시를 따르는 Speech Language Models","authors":"Congrui Du, Yang Zhang, Kaizhi Qian, Shiyu Chang","pos":"#812","link":"https://openreview.net/forum?id=SDFeVV01xR","abs":"Instruction tuning for speech language models (SLMs) is substantially more challenging than for text-based large language models (LLMs), as it requires learning a new modality and a wide range of speech-specific instructions in addition to those supported by text LLMs. Existing SLM training approaches largely replicate the text LLM training paradigm by synthesizing large-scale speech pre-training and instruction-tuning datasets. However, this strategy is difficult to scale, since speech sequences are significantly longer than text sequences. In this paper, we propose SpeechCombine, an instruction-following speech language model trained without any instruction tuning, using only a single round of speech pre-training on as little as 30k hours of speech data. Starting from a text LLM base model, we perform continuous pre-training on speech utterances to obtain a speech-adapted model, and then directly combine its weights with the weight difference between the instruction-tuned and base versions of the text LLM. Our results show that this simple combination strategy not only preserves the knowledge and capabilities of the original text LLM, but also effectively transfers them to the speech domain. These findings suggest a new direction for SLM training that avoids reliance on massive volumes of speech data.
","absKo":"Speech language model(SLM)의 instruction tuning은 text-based large language model(LLM)보다 훨씬 더 어렵다. 이는 text LLM이 지원하는 것들에 더해 새로운 modality와 광범위한 speech-specific instruction을 학습해야 하기 때문이다. 기존의 SLM training 접근법은 대규모 speech pre-training 및 instruction-tuning dataset을 합성함으로써 text LLM training paradigm을 대체로 그대로 모방한다. 그러나 speech sequence가 text sequence보다 훨씬 길기 때문에 이 전략은 확장하기 어렵다. 본 논문에서는 instruction tuning 없이 오직 한 번의 speech pre-training만으로 학습된 instruction-following speech language model인 SpeechCombine을 제안한다. 사용한 speech data는 30k hour에 불과하다. text LLM base model에서 시작해 speech utterance에 대해 continuous pre-training을 수행하여 speech-adapted model을 얻고, 그다음 instruction-tuned text LLM과 base version 사이의 weight difference와 이 모델의 weight를 직접 결합한다. 우리의 결과는 이 단순한 결합 전략이 원래 text LLM의 지식과 능력을 보존할 뿐만 아니라, 그것들을 speech domain으로도 효과적으로 전이함을 보여준다. 이러한 발견은 거대한 양의 speech data에 의존하지 않는 새로운 SLM training 방향을 시사한다.
"},{"id":"64441","en":"XPERT: Expert Knowledge Transfer for Effective Training of Language Models","ko":"XPERT: 언어 모델의 효과적 학습을 위한 전문가 지식 전이","authors":"Chang Liu, boyu shi, Xu Yang, Xin Geng","pos":"#813","link":"https://openreview.net/forum?id=NXzNyMetWc","abs":"Mixture-of-Experts (MoE) language models organize knowledge into explicitly routed expert modules, making expert-level representations traceable and analyzable. By analyzing expert activation patterns in MoE language large models (LLMs), we find that a subset of experts is consistently activated across diverse knowledge domains. These common experts encode cross-domain, generalizable knowledge that is closely related to model generalization, naturally raising the question of how such identifiable expert knowledge can be practically reused. Motivated by this observation, we propose XPERT, a training-free framework that extracts, consolidates, and reuses expert knowledge from pre-trained MoE LLMs to support effective training of language models across different model scales. XPERT identifies cross-domain experts via inference-only analysis, refines their representations through tensor decomposition, and adapts the extracted knowledge to be reused in downstream models. Experiments on language understanding and dialogue generation benchmarks show that models benefiting from reused expert knowledge achieve consistently stronger performance and faster convergence compared to strong baselines. These results highlight MoE LLMs as structured and reusable knowledge sources, and demonstrate the value of expert-level knowledge reuse for improving model training.
","absKo":"Mixture-of-Experts (MoE) language model은 지식이 명시적으로 routing된 expert module에 조직되므로, expert 수준의 representation을 추적하고 분석할 수 있다. MoE language large model(LLM)의 expert activation pattern을 분석한 결과, 다양한 knowledge domain 전반에서 일관되게 활성화되는 expert 집합이 있음을 발견했다. 이러한 common expert는 model generalization과 밀접하게 연관된 cross-domain의 일반화 가능한 지식을 인코딩하며, 이는 식별 가능한 expert knowledge를 실제로 어떻게 재사용할 수 있는지에 대한 자연스러운 질문을 제기한다. 이러한 관찰에 동기를 얻어, 우리는 서로 다른 model scale의 language model을 효과적으로 학습하도록 pre-trained MoE LLM에서 expert knowledge를 추출, 통합, 재사용하는 training-free framework인 XPERT를 제안한다. XPERT는 inference-only 분석을 통해 cross-domain expert를 식별하고, tensor decomposition으로 그 representation을 정제한 뒤, 추출된 지식을 downstream model에서 재사용할 수 있도록 적응시킨다. language understanding 및 dialogue generation benchmark에 대한 실험은 재사용된 expert knowledge의 혜택을 받는 모델이 강력한 baseline에 비해 일관되게 더 우수한 성능과 더 빠른 수렴을 보임을 보여준다. 이러한 결과는 MoE LLM을 구조화되고 재사용 가능한 지식 원천으로 부각시키며, model training 향상을 위한 expert-level knowledge reuse의 가치를 입증한다.
"},{"id":"60653","en":"A Fast and Soft Pattern Matcher for Trillion-Scale Corpus","ko":"Trillion-scale Corpus를 위한 빠르고 Soft한 Pattern Matcher","authors":"Masataka Yoneda, Yusuke Matsushita, Go Kamoda, Kohei Suenaga, Takuya Akiba, Masaki Waga, Sho Yokoi","pos":"#900","link":"https://openreview.net/forum?id=y1czGbUum5","abs":"We present an ultra-fast and flexible search algorithm that enables search over trillion-scale natural language corpora in under 0.3 seconds while handling semantic variations (substitution, insertion, and deletion). Our approach employs string matching based on suffix arrays that scales well with corpus size. To mitigate the combinatorial explosion induced by the semantic relaxation of queries, our method is built on two key algorithmic ideas: fast exact lookup enabled by a disk-aware design, and dynamic corpus-aware pruning. We theoretically show that the proposed method suppresses exponential growth in the search space with respect to query length by leveraging statistical properties of natural language. In experiments on FineWeb-Edu (1.4T tokens), we show that our method achieves significantly lower search latency than existing methods: infini-gram, infini-gram mini, and SoftMatcha. As a practical application, we demonstrate that our method identifies benchmark contamination in training corpora, unidentified by existing approaches. We also provide an online demo of fast, soft search across corpora in six languages.
","absKo":"우리는 0.3초 이내에 trillion-scale 자연어 코퍼스에 대한 검색을 수행하면서도 의미적 변형(substitution, insertion, deletion)을 처리할 수 있는 초고속이고 유연한 검색 알고리즘을 제시한다. 우리의 접근은 코퍼스 크기에 잘 확장되는 suffix array 기반 string matching을 사용한다. 질의의 의미적 완화로 인해 유발되는 조합 폭발을 완화하기 위해, 본 방법은 두 가지 핵심 알고리즘 아이디어 위에 구축된다: disk-aware 설계를 통해 가능해진 빠른 exact lookup, 그리고 dynamic corpus-aware pruning이다. 우리는 제안 방법이 자연어의 통계적 특성을 활용하여 질의 길이에 따른 search space의 지수적 증가를 억제함을 이론적으로 보인다. FineWeb-Edu(1.4T tokens)에서의 실험을 통해, 본 방법이 기존 방법들인 infini-gram, infini-gram mini, SoftMatcha보다 훨씬 더 낮은 search latency를 달성함을 보인다. 실제 응용으로는, 기존 접근법으로는 식별되지 않던 training corpus 내 benchmark contamination을 본 방법이 찾아냄을 입증한다. 또한 6개 언어의 코퍼스 전반에 걸친 fast, soft search를 위한 온라인 데모도 제공한다.
"},{"id":"66443","en":"Mind-Omni: A Unified Multi-Task Framework for Brain-Vision-Language Modeling via Discrete Diffusion","ko":"Mind-Omni: 이산 Diffusion을 통한 뇌-시각-언어 모델링을 위한 통합 다중작업 프레임워크","authors":"Yizhuo Lu, Changde Du, Qingyu Shi, Hang Chen, Jie Peng, Liuyun Jiang, Shuangchen Zhao, Huiguang He","pos":"#814","link":"https://openreview.net/forum?id=3gCdh3u2GK","abs":"Modeling the interplay between external stimuli and internal neural representations is a pivotal research area for Brain-Computer Interfaces (BCIs). A major limitation of prior work is the prevailing paradigm of specialized, single-task models, which curtails versatility and neglects inter-task synergies. To address this, we propose Mind-Omni, the first versatile framework that unifies seven distinct encoding and decoding tasks through a discrete diffusion paradigm. At its core is a novel Brain Tokenizer that transforms heterogeneous, continuous brain signals into standardized, discrete tokens. This enables direct, token-level interactions for mutual understanding and generation between any two or more modalities within a shared semantic space. To unlock advanced reasoning capabilities, we further curate a specialized Brain Question Answering (BQA) instruction-tuning dataset. Our model not only establishes a new state-of-the-art among multi-task unified frameworks but also provides strong evidence for multi-task synergy. By demonstrating performance competitive with, and at times superior to, larger specialized models, our work offers a powerful new paradigm for neural modeling and paves the way for foundation models of neural activity.
","absKo":"외부 자극과 내부 neural representation의 상호작용을 모델링하는 것은 Brain-Computer Interface(BCI) 연구의 핵심 영역이다. 기존 연구의 주요 한계는 특화된 단일 작업 모델이 지배적이라는 점으로, 이는 범용성을 제한하고 작업 간 시너지를 간과한다. 이를 해결하기 위해 우리는 discrete diffusion paradigm을 통해 일곱 가지 서로 다른 encoding 및 decoding task를 통합하는 최초의 범용 프레임워크인 Mind-Omni를 제안한다. 그 핵심은 이질적인 연속 brain signal을 표준화된 discrete token으로 변환하는 새로운 Brain Tokenizer이다. 이를 통해 공유 semantic space 내에서 두 개 이상의 modality 간 상호 이해와 생성을 위한 직접적인 token-level interaction이 가능해진다. 고급 reasoning 능력을 활성화하기 위해, 우리는 특화된 Brain Question Answering(BQA) instruction-tuning dataset도 추가로 구축한다. 우리의 모델은 multi-task unified framework 가운데 새로운 state-of-the-art를 수립할 뿐 아니라, multi-task synergy에 대한 강력한 증거를 제공한다. 더 큰 특화 모델과 견줄 만하고 때로는 이를 능가하는 성능을 보임으로써, 우리의 연구는 neural modeling을 위한 강력한 새로운 paradigm을 제시하고 neural activity의 foundation model로 가는 길을 연다.
"},{"id":"62003","en":"Scalable and General Whole-Body Control for Cross-Humanoid Locomotion","ko":"cross-humanoid locomotion을 위한 확장 가능하고 범용적인 whole-body control","authors":"Yufei Xue, Yunfeng Lin, Wentao Dong, Yang Tang, Jingbo Wang, Jiangmiao Pang, Ming Zhou, Minghuan Liu, Weinan Zhang","pos":"#401","link":"https://openreview.net/forum?id=kovWCrgHxo","abs":"Learning-based whole-body controllers have become a key driver for humanoid robots, yet most existing approaches require robot-specific training. In this paper, we study the problem of cross-embodiment humanoid control and show that a single policy can robustly generalize across a wide range of humanoid robot designs with one-time training. We introduce XHugWBC, a novel cross-embodiment training framework that enables generalist humanoid control through: (1) physics-consistent morphological randomization, (2) semantically aligned observation and action spaces across diverse humanoid robots, and (3) effective policy architectures modeling morphological and dynamical properties. XHugWBC is not tied to any specific robot. Instead, it internalizes a broad distribution of morphological and dynamical characteristics during training. By learning motion priors from diverse randomized embodiments, the policy acquires a strong structural bias that supports zero-shot transfer to previously unseen robots. Experiments on twelve simulated humanoids and seven real-world robots demonstrate the strong generalization and robustness of the resulting universal controller.
","absKo":"학습 기반 whole-body controller는 humanoid robot의 핵심 동력으로 자리잡았지만, 기존 접근법의 대부분은 로봇별 개별 학습을 요구한다. 본 논문에서는 cross-embodiment humanoid control 문제를 연구하고, 한 번의 학습으로도 하나의 policy가 다양한 humanoid robot design 전반에 걸쳐 강건하게 일반화될 수 있음을 보인다. 우리는 일반화된 humanoid control을 가능하게 하는 새로운 cross-embodiment training framework인 XHugWBC를 제안하며, 이는 (1) physics-consistent morphological randomization, (2) 다양한 humanoid robot 사이의 semantically aligned observation 및 action space, (3) morphological 및 dynamical property를 모델링하는 효과적인 policy architecture를 통해 구현된다. XHugWBC는 특정 로봇에 종속되지 않는다. 대신 학습 과정에서 morphology와 dynamics 특성의 폭넓은 분포를 내재화한다. 다양한 randomized embodiment로부터 motion prior를 학습함으로써, policy는 이전에 보지 못한 로봇으로의 zero-shot transfer를 지원하는 강한 structural bias를 획득한다. 12개의 simulated humanoid와 7개의 real-world robot에서 수행한 실험은 결과적으로 얻어진 universal controller의 강한 일반화와 강건성을 입증한다."},{"id":"65898","en":"Scaling Real-World Robot Policy Evaluation via Discrete Diffusion World Model","ko":"이산 Diffusion World Model을 통한 실세계 로봇 정책 평가 확장","authors":"Yaxuan Li, Junjie Wen, Zhongyi Zhou, Yefei Chen, Chaomin Shen, Yaxin Peng, Yichen Zhu","pos":"#402","link":"https://openreview.net/forum?id=93uNlQ1Qp0","abs":"Evaluating generalist robot manipulation policies is costly and difficult to scale in the real world. While emerging world models (e.g., WorldEval, Ctrl-World) offer a promising alternative, the reliability of such evaluation remains a critical bottleneck. Specifically, their visual predictions can undermine policy assessment by \"self-correcting\" failures into false positives or yielding artifacts under out-of-distribution controls. Even with failure-enriched data, current architectures struggle to capture action-causal dynamics, as they typically treat actions as passive conditions rather than causal drivers. To address this, we propose dWorldEval, an action-centric discrete-diffusion world model that maps visual observations, language instructions, and action chunks into a shared unified token space and denoises them with a single self-attention backbone where actions function as first-class tokens. To realize reliable policy-world interaction, dWorldEval introduces a sparse keyframe memory that anchors global scene state while preserving fine-grained multi-view interaction cues, and leverages Progress-as-text to jointly generate future observations and success indicators. Extensive experiments on LIBERO, RoboTwin, and real-robot tasks demonstrate that dWorldEval significantly outperforms video diffusion baselines in action controllability, stabilizes long-horizon multi-view rollouts, enabling accurate policy ranking via automatic success estimation.
","absKo":"generalist robot manipulation policy를 평가하는 일은 실제 환경에서 비용이 높고 확장하기 어렵다. WorldEval, Ctrl-World와 같은 새로운 world model이 유망한 대안을 제시하지만, 이러한 평가의 신뢰성은 여전히 핵심 병목이다. 특히 이들의 visual prediction은 실패를 \"self-correcting\"하여 false positive로 바꾸거나, out-of-distribution control 하에서 artifact를 만들어 policy 평가를 왜곡할 수 있다. failure-enriched data가 있더라도, 기존 architecture는 action을 인과적 driver가 아니라 수동적인 조건으로 취급하는 경우가 많아 action-causal dynamics를 포착하는 데 어려움을 겪는다. 이를 해결하기 위해, 우리는 시각 관측, 언어 지시, action chunk를 공유하는 통합 token space로 매핑하고, action이 first-class token으로 기능하는 단일 self-attention backbone으로 이를 denoise하는 action-centric discrete-diffusion world model인 dWorldEval을 제안한다. 신뢰할 수 있는 policy-world interaction을 구현하기 위해, dWorldEval은 미세한 multi-view interaction cue를 보존하면서 전역 scene state를 고정하는 sparse keyframe memory를 도입하고, Progress-as-text를 활용해 미래 관측과 success indicator를 함께 생성한다. LIBERO, RoboTwin, 그리고 real-robot task에서의 광범위한 실험은 dWorldEval이 action controllability에서 video diffusion baseline을 크게 능가하고, 장기 multi-view rollout을 안정화하며, 자동 success estimation을 통한 정확한 policy ranking을 가능하게 함을 보여준다.
"},{"id":"63465","en":"SceneSmith: Agentic Generation of Simulation-Ready Indoor Scenes","ko":"SceneSmith: 시뮬레이션 준비된 실내 장면의 에이전트형 생성","authors":"Nicholas Pfaff, Thomas Cohn, Sergey Zakharov, Rick Cory, Russ Tedrake","pos":"#404","link":"https://openreview.net/forum?id=WwS8CTpUA6","abs":"Simulation has become a key tool for training and evaluating home robots at scale, yet existing environments fail to capture the diversity and physical complexity of real indoor spaces. Current scene synthesis methods produce sparsely furnished rooms that lack the dense clutter, articulated furniture, and physical properties essential for robotic manipulation. We introduce SceneSmith, a hierarchical agentic framework that generates simulation-ready indoor environments from natural language prompts. SceneSmith constructs scenes through successive stages—from architectural layout to furniture placement to small object population—each implemented as an interaction among VLM agents: designer, critic, and orchestrator. The framework tightly integrates asset generation through text-to-3D synthesis for static objects, dataset retrieval for articulated objects, and physical property estimation. SceneSmith generates 3-6x more objects than prior methods, with $<$2\\% inter-object collisions and 96\\% of objects remaining stable under physics simulation. In a user study with 205 participants, it achieves 92\\% average realism and 91\\% average prompt faithfulness win rates against baselines. We further demonstrate that these environments can be used in an end-to-end pipeline for automatic robot policy evaluation.","absKo":"시뮬레이션은 대규모로 home robot을 학습하고 평가하는 핵심 도구가 되었지만, 기존 환경은 실제 실내 공간의 다양성과 물리적 복잡성을 충분히 포착하지 못한다. 현재의 scene synthesis 방법은 성기게 배치된 가구만 있는 방을 생성하는 경향이 있으며, 로봇 조작에 필수적인 밀집한 clutter, articulated furniture, 그리고 물리적 특성이 부족하다. 우리는 자연어 prompt로부터 simulation-ready indoor environment를 생성하는 계층적 agentic framework인 SceneSmith를 소개한다. SceneSmith는 architectural layout에서 시작하여 furniture placement, small object population에 이르기까지 연속적인 단계들을 통해 scene을 구성하며, 각 단계는 designer, critic, orchestrator로 이루어진 VLM agent 간 상호작용으로 구현된다. 이 framework는 정적 객체를 위한 text-to-3D synthesis, articulated 객체를 위한 dataset retrieval, 그리고 physical property estimation을 긴밀히 통합한다. SceneSmith는 기존 방법보다 3-6배 더 많은 객체를 생성하며, 객체 간 충돌은 $<$2\\%이고 객체의 96\\%가 physics simulation 하에서 안정적으로 유지된다. 205명의 참가자를 대상으로 한 user study에서, baseline 대비 평균 realism 92\\%, 평균 prompt faithfulness 91\\%의 승률을 달성했다. 또한 이러한 환경이 자동 robot policy evaluation을 위한 end-to-end pipeline에서 사용될 수 있음을 추가로 보인다."},{"id":"61750","en":"Sentinel-VLA: A Metacognitive VLA Model with Active Status Monitoring for Dynamic Reasoning and Error Recovery","ko":"Sentinel-VLA: 동적 추론과 오류 복구를 위한 능동 상태 모니터링 기반 Metacognitive VLA Model","authors":"Wenhao Li, Xiu Su, Dan Niu, Yichao Cao, Hongyan Xu, Zhe Qu, Lei Fan, Shan You, Chang Xu","pos":"#408","link":"https://openreview.net/forum?id=nEpwtpRWSD","abs":"Vision-language-action (VLA) models have advanced the field of embodied manipulation by harnessing broad world knowledge and strong generalization. However, current VLA models still face several key challenges, including limited reasoning capability, lack of status monitoring, and difficulty in self-correction. In this paper, we introduce \\textbf{Sentinel-VLA}, a metacognitive VLA model equipped with an active ``sentinel'' module to monitor real-time execution status. Only when necessary, such as during initial planning or upon detecting an error, the model triggers a dynamic reasoning or formulate error recovery solutions. This on-demand reasoning mechanism ensures robust decision-making while minimizing computational overhead. Notably, all training data (spanning 44 tasks and over 2.6 million transitions) is automatically generated and annotated through our designed pipeline. We also propose the Self-Evolving Continual Learning (SECL) algorithm, which allows Sentinel-VLA to identify its capability boundaries and automatically collect data for expansion, paired with Orthogonal Continual Adapter (OC-Adapter) to constrain parameter updates to an orthogonal space, thereby preventing catastrophic forgetting. Real-world experiments demonstrate that Sentinel-VLA boosts the task success rate by over 30\\% compared to the SOTA model, PI0. We will open-source all the code, weights, and data generation pipeline.
","absKo":"Vision-language-action(VLA) model은 폭넓은 world knowledge와 강한 generalization을 활용하여 embodied manipulation 분야를 발전시켜 왔다. 그러나 현재의 VLA model은 여전히 제한된 reasoning capability, status monitoring의 부재, self-correction의 어려움 등 여러 핵심 과제에 직면해 있다. 본 논문에서는 실시간 실행 상태를 모니터링하기 위한 능동적 ``sentinel'' 모듈을 갖춘 metacognitive VLA model인 \\textbf{Sentinel-VLA}를 소개한다. 초기 planning 단계나 error를 감지했을 때와 같이 필요한 경우에만, model은 동적 reasoning을 수행하거나 error recovery solution을 구성한다. 이러한 on-demand reasoning 메커니즘은 계산 오버헤드를 최소화하면서도 견고한 의사결정을 보장한다. 특히, 모든 training data(44개 task와 260만 개가 넘는 transition에 걸침)는 우리가 설계한 pipeline을 통해 자동으로 생성되고 주석이 달린다. 또한 우리는 Self-Evolving Continual Learning(SECL) algorithm을 제안하는데, 이는 Sentinel-VLA가 자신의 capability boundary를 식별하고 확장을 위한 데이터를 자동 수집하도록 하며, Orthogonal Continual Adapter(OC-Adapter)를 결합하여 parameter update가 orthogonal space에 제한되도록 함으로써 catastrophic forgetting을 방지한다. 실제 세계 실험은 Sentinel-VLA가 SOTA model인 PI0와 비교해 task success rate를 30\\% 이상 향상시킴을 보여준다. 우리는 모든 code, weight, 데이터 생성 pipeline을 오픈소스로 공개할 예정이다.
"},{"id":"63706","en":"SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-Body Manipulation","ko":"SoMA: 로봇 소프트 바디 조작을 위한 Real-to-Sim 신경 시뮬레이터","authors":"Mu Huang, Hui Wang, Kerui Ren, Linning Xu, Mulin Yu, Yunsong Zhou, Bo Dai, Jiangmiao Pang","pos":"#410","link":"https://openreview.net/forum?id=USAkWviwng","abs":"Simulating deformable objects under rich interactions remains a fundamental challenge for real-to-sim robot manipulation, with dynamics jointly driven by environmental effects and robot actions. Existing simulators rely on predefined physics or data-driven dynamics without robot-conditioned control, limiting accuracy, stability, and generalization. This paper presents \\textbf{SoMA}, a 3D Gaussian Splat simulator for soft-body manipulation. SoMA couples deformable dynamics, environmental forces, and robot joint actions in a unified latent neural space for end-to-end real-to-sim simulation. Modeling interactions over learned Gaussian splats enables controllable, stable long-horizon manipulation and generalization beyond observed trajectories without predefined physical models. SoMA improves resimulation accuracy and generalization on real-world robot manipulation by 20\\%, enabling stable simulation of complex tasks such as long-horizon cloth folding.
","absKo":"풍부한 상호작용 하에서 변형 가능한 물체를 시뮬레이션하는 것은 real-to-sim robot manipulation의 근본적인 도전 과제로 남아 있으며, 동역학은 환경 효과와 로봇 행동이 결합되어 결정된다. 기존 시뮬레이터는 사전에 정의된 물리 또는 robot-conditioned control이 없는 data-driven dynamics에 의존하여 정확도, 안정성, 일반화가 제한된다. 본 논문은 soft-body manipulation을 위한 3D Gaussian Splat simulator인 \\textbf{SoMA}를 제안한다. SoMA는 deformable dynamics, environmental forces, robot joint actions를 하나의 통합된 latent neural space에서 결합하여 end-to-end real-to-sim simulation을 구현한다. 학습된 Gaussian splats 상에서 상호작용을 모델링함으로써, SoMA는 제어 가능하고 안정적인 long-horizon manipulation과 관측된 trajectory를 넘어서는 generalization을 사전 정의된 물리 모델 없이 가능하게 한다. SoMA는 실제 robot manipulation에서 resimulation accuracy와 generalization을 20\\% 향상시키며, long-horizon cloth folding과 같은 복잡한 작업의 안정적인 시뮬레이션을 가능하게 한다.
"},{"id":"65503","en":"Sparse ActionGen: Accelerating Diffusion Policy with Real-time Pruning","ko":"Sparse ActionGen: 실시간 가지치기를 통한 Diffusion Policy 가속","authors":"Kangye Ji, Yuan Meng, Jianbo Zhou, Ye Li, Hanyun Cui, Zhi Wang","pos":"#411","link":"https://openreview.net/forum?id=CyDCBGybdE","abs":"Diffusion Policy has dominated action generation due to its strong capabilities for modeling multi-modal action distributions, but its multi-step denoising processes make it impractical for real-time visuomotor control. Existing caching-based acceleration methods typically rely on $\\textit{static}$ schedules that fail to adapt to the \\textit{dynamics} of robot-environment interactions, thereby leading to suboptimal performance. In this paper, we propose $\\underline{\\textbf{S}}$parse $\\underline{\\textbf{A}}$ction$\\underline{\\textbf{G}}$en $(\\textbf{SAG})$ for extremely sparse action generation. To accommodate the iterative interactions, SAG customizes a rollout-adaptive prune-then-reuse mechanism that first identifies prunable computations globally and then reuses cached activations to substitute them during action diffusion. To capture the rollout dynamics, SAG parameterizes an observation-conditioned diffusion pruner for environment-aware adaptation and instantiates it with a highly parameter- and inference-efficient design for real-time prediction. Furthermore, SAG introduces a one-for-all reusing strategy that reuses activations across both timesteps and blocks in a zig-zag manner, minimizing the global redundancy. Extensive experiments on multiple robotic benchmarks demonstrate that SAG achieves up to 4$\\times$ generation speedup without sacrificing performance. Project Page: https://sparse-actiongen.github.io/.","absKo":"Diffusion Policy는 multi-modal action distribution을 모델링하는 강력한 능력 덕분에 action generation에서 지배적인 위치를 차지해 왔지만, 다단계 denoising 과정 때문에 실시간 visuomotor control에는 부적합하다. 기존의 caching 기반 가속 방법은 대개 \\textit{정적} 스케줄에 의존하여 robot-environment interaction의 \\textit{동역학}에 적응하지 못하고, 그 결과 성능이 최적에 미치지 못한다. 본 논문에서는 극도로 sparse한 action generation을 위한 $\\underline{\\textbf{S}}$parse $\\underline{\\textbf{A}}$ction$\\underline{\\textbf{G}}$en $(\\textbf{SAG})$을 제안한다. 반복적 상호작용에 대응하기 위해 SAG는 rollout-adaptive prune-then-reuse 메커니즘을 커스터마이즈하여, 먼저 전역적으로 pruning 가능한 계산을 식별한 뒤 action diffusion 동안 cached activation으로 이를 대체해 재사용한다. rollout 동역학을 포착하기 위해 SAG는 environment-aware adaptation을 위한 observation-conditioned diffusion pruner를 parameterize하고, 이를 실시간 예측에 적합하도록 매우 parameter 및 inference 효율적인 설계로 구현한다. 더 나아가 SAG는 timestep과 block 전반에서 activation을 zig-zag 방식으로 재사용하는 one-for-all reusing strategy를 도입하여 전역 중복을 최소화한다. 여러 robotic benchmark에 대한 광범위한 실험은 SAG가 성능 저하 없이 최대 4$\\times$의 generation speedup을 달성함을 보여준다. Project Page: https://sparse-actiongen.github.io/."},{"id":"63184","en":"Turning Adaptation into Assets: Cross-Domain Bridging for Online Vision-Language Navigation","ko":"적응을 자산으로 전환: 온라인 Vision-Language 내비게이션을 위한 교차 도메인 연결","authors":"Zixuan Hu, Xuantuo Huang, Yancheng Li, Yichun Hu, Shengyong Xu, LINGYU DUAN","pos":"#412","link":"https://openreview.net/forum?id=ZJnIdRb1Jq","abs":"Navigating under non-stationary environment shifts poses a critical challenge for a Vision-and-Language Navigation (VLN) agent deployed in the wild. Yet, existing Test-Time Adaptation (TTA) methods for VLN largely treat online adaptation as transient, isolated updates, leading to catastrophic forgetting and negative transfer. To overcome these issues, we propose Inter-Domain BridgE with Historical Assets (IDEA), a novel TTA framework that transforms adaptation into the accumulation and composition of assets. Specifically, IDEA introduces soft prompts optimized via a Fisher-guided weighting scheme to capture the transferable knowledge. These optimized prompts are then augmented with domain coordinates to form a dynamic asset library. Leveraging this library, IDEA constructs a cross-domain bridge by projecting the target domain onto the convex hull of historical knowledge. These designs form a complementary loop: the evolving library underpins bridge construction, while the bridge provides superior initialization to accelerate asset optimization. Extensive experiments across REVERIE, R2R, and R2R-CE benchmarks demonstrate the consistent superiority of IDEA over existing methods, showcasing its ability to enable training-free adaptation via asset sharing. The code will be publicly available.
","absKo":"비정상정적인 non-stationary 환경 변화 속에서 이동하는 것은 wild에 배포된 Vision-and-Language Navigation (VLN) agent에게 치명적인 도전 과제다. 그러나 기존의 Test-Time Adaptation (TTA) 방법들은 VLN에서 online adaptation을 대체로 일시적이고 고립된 업데이트로 간주하여, catastrophic forgetting과 negative transfer를 초래한다. 이러한 문제를 극복하기 위해, 우리는 역사적 자산(Historical Assets)을 통한 Inter-Domain BridgE (IDEA)를 제안한다. 이는 적응을 자산의 축적과 구성으로 전환하는 새로운 TTA framework이다. 구체적으로, IDEA는 Fisher-guided weighting scheme으로 최적화된 soft prompt를 도입하여 transferable knowledge를 포착한다. 이렇게 최적화된 prompt는 domain coordinate와 결합되어 dynamic asset library를 형성한다. 이 library를 활용하여, IDEA는 target domain을 historical knowledge의 convex hull에 투영함으로써 cross-domain bridge를 구성한다. 이러한 설계는 서로 보완적인 loop를 이룬다. 진화하는 library는 bridge construction의 토대가 되고, bridge는 asset optimization을 가속하기 위한 더 우수한 initialization을 제공한다. REVERIE, R2R, R2R-CE benchmark 전반에 걸친 광범위한 실험은 IDEA가 기존 방법보다 일관되게 우수함을 보여주며, asset sharing을 통해 training-free adaptation을 가능하게 하는 능력을 입증한다. 코드는 공개적으로 제공될 예정이다.
"},{"id":"61717","en":"STEP: Warm-Started Visuomotor Policies with Spatiotemporal Consistency Prediction","ko":"STEP: 시공간 일관성 예측으로 Warm-Start된 Visuomotor Policy","authors":"Jinhao Li, Yuxuan Cong, Yingqiao Wang, Hao Xia, Shan Huang, Yijia Zhang, Ningyi Xu, Guohao Dai","pos":"#500","link":"https://openreview.net/forum?id=nWtjaAmug8","abs":"Diffusion policies have recently been as a powerful paradigm for visuomotor control in robotic manipulation due to their ability to model the distribution of action sequences and capture multimodality. However, iterative denoising leads to substantial inference latency, limiting control frequency in real-time closed-loop systems. Existing acceleration methods either reduce sampling steps, bypass diffusion through direct prediction, or reuse past actions, but often struggle to jointly preserve action quality and achieve consistently low latency. In this work, we propose STEP, a lightweight spatiotemporal consistency prediction mechanism to construct high-quality warm-start actions that are both distributionally close to the target action and temporally consistent, without compromising the generative capability of the original diffusion policy. Then, we propose a velocity-aware perturbation injection mechanism that adaptively modulates actuation excitation based on temporal action variation to execution stall especially for real-world tasks. We further provide a theoretical analysis showing that the proposed prediction induces a locally contractive mapping, ensuring convergence of action errors during diffusion refinement. We conduct extensive evaluations on nine simulated benchmarks and two real-world tasks. Notably, STEP with 2 steps can achieve an average 21.6\\% and 27.5\\% higher success rate than BRIDGER and DDIM on the RoboMimic benchmark and real-world tasks, respectively. These results demonstrate that \\we consistently advances the Pareto frontier of inference latency and success rate over existing methods.
","absKo":"Diffusion policy는 action sequence의 분포를 모델링하고 multimodality를 포착할 수 있기 때문에, 최근 robotic manipulation의 visuomotor control을 위한 강력한 패러다임으로 부상했다. 그러나 iterative denoising은 상당한 inference latency를 유발하여 real-time closed-loop system에서 control frequency를 제한한다. 기존의 acceleration method는 sampling step을 줄이거나, direct prediction으로 diffusion을 우회하거나, 과거 action을 재사용하지만, 대개 action quality를 보존하면서 일관되게 낮은 latency를 달성하는 데 어려움을 겪는다. 본 연구에서는 원래 diffusion policy의 generative capability를 훼손하지 않으면서, 분포적으로 target action에 가깝고 시간적으로도 일관된 고품질 warm-start action을 구성하기 위한 경량 spatiotemporal consistency prediction mechanism인 STEP를 제안한다. 이어서, 특히 실제 작업에서 execution stall을 완화하기 위해 시간적 action variation에 따라 actuation excitation을 적응적으로 조절하는 velocity-aware perturbation injection mechanism을 제안한다. 또한 제안한 prediction이 locally contractive mapping을 유도하여 diffusion refinement 동안 action error의 수렴을 보장함을 이론적으로 분석한다. 우리는 9개의 simulated benchmark와 2개의 real-world task에서 광범위한 평가를 수행한다. 특히 STEP은 2 step으로 RoboMimic benchmark와 real-world task에서 각각 BRIDGER와 DDIM보다 평균 21.6\\% 및 27.5\\% 높은 success rate를 달성한다. 이러한 결과는 \\we가 기존 방법들에 비해 inference latency와 success rate의 Pareto frontier를 일관되게 진전시킨다는 점을 보여준다.
"},{"id":"60800","en":"SAD-Flower: Flow Matching for Safe, Admissible, and Dynamically Consistent Planning","ko":"SAD-Flower: 안전하고 허용 가능하며 동역학적으로 일관된 Planning을 위한 Flow Matching","authors":"Tzu-Yuan Huang, Armin Lederer, Dai-Jie Wu, Xiaobing Dai, Sihua Zhang, Hsiu-Chin Lin, Shao-Hua Sun, Stefan Sosnowski, Sandra Hirche","pos":"#501","link":"https://openreview.net/forum?id=wb97oR78OX","abs":"Flow matching (FM) has shown promising results in data-driven planning. However, it inherently lacks formal guarantees for ensuring state and action constraints, whose satisfaction is a fundamental and crucial requirement for the safety and admissibility of planned trajectories on various systems. Moreover, existing FM planners do not ensure the dynamical consistency, which potentially renders trajectories inexecutable. We address these shortcomings by proposing SAD-Flower, a novel framework for generating \\textbf{S}afe, \\textbf{A}dmissible, and \\textbf{D}ynamically consistent trajectories. Our approach relies on an augmentation of the flow with a virtual control input. Thereby, principled guidance can be derived using techniques from nonlinear control theory, providing formal guarantees for state constraints, action constraints, and dynamic consistency. Crucially, SAD-Flower operates without retraining, enabling test-time satisfaction of unseen constraints. Through extensive experiments across several tasks, we demonstrate that SAD-Flower outperforms various generative-model-based baselines in ensuring constraint satisfaction. Video and demos can be found at sadflowerplanning.github.io.
","absKo":"Flow matching(FM)은 data-driven planning에서 유망한 결과를 보여 왔다. 그러나 state 및 action constraint를 보장하는 formal guarantee가 본질적으로 부족하며, 이는 다양한 시스템에서 계획된 trajectory의 안전성과 admissibility를 위해 근본적이고도 핵심적인 요구사항이다. 더 나아가, 기존 FM planner는 dynamical consistency를 보장하지 못해 trajectory가 실행 불가능해질 가능성이 있다. 우리는 이러한 한계를 해결하기 위해, \\textbf{S}afe, \\textbf{A}dmissible, 그리고 \\textbf{D}ynamically consistent한 trajectory를 생성하는 새로운 프레임워크인 SAD-Flower를 제안한다. 우리의 접근은 flow를 virtual control input으로 확장하는 데 기반한다. 이를 통해 nonlinear control theory의 기법을 사용하여 원칙적인 guidance를 도출할 수 있으며, state constraint, action constraint, dynamic consistency에 대한 formal guarantee를 제공한다. 중요한 점은 SAD-Flower가 재학습 없이 동작하여, test-time에 보지 못한 constraint도 만족시킬 수 있다는 것이다. 여러 태스크에 걸친 광범위한 실험을 통해, SAD-Flower가 constraint satisfaction 보장에서 다양한 generative-model 기반 baseline보다 우수함을 보인다. Video와 demo는 sadflowerplanning.github.io에서 확인할 수 있다.
"},{"id":"64701","en":"Recovering Hidden Reward in Diffusion-Based Policies","ko":"Diffusion 기반 Policy에서 숨겨진 보상 복원","authors":"Yanbiao Ji, Qiuchang Li, Yuting Hu, Shaokai Wu, Wenyuan XIE, Guodong ZHANG, Qichen He, Deyi Ji, Yue Ding, Hongtao Lu","pos":"#503","link":"https://openreview.net/forum?id=KibOuVwmor","abs":"This paper introduces EnergyFlow, a framework that unifies generative action modeling with inverse reinforcement learning by parameterizing a scalar energy function whose gradient is the denoising field. We establish that under maximum-entropy optimality, the score function learned via denoising score matching recovers the gradient of the expert's soft Q-function, enabling reward extraction without adversarial training. Formally, we prove that constraining the learned field to be conservative reduces hypothesis complexity and tightens out-of-distribution generalization bounds. We further characterize the identifiability of recovered rewards and bound how score estimation errors propagate to action preferences. Empirically, EnergyFlow achieves state-of-the-art imitation performance on various manipulation tasks while providing an effective reward signal for downstream reinforcement learning that outperforms both adversarial IRL methods and likelihood-based alternatives. These results show that the structural constraints required for valid reward extraction simultaneously serve as beneficial inductive biases for policy generalization. The code is available at https://anonymous.4open.science/r/EnergyFlow-FAE1.
","absKo":"이 논문은 scalar energy function을 parameterize하여 generative action modeling과 inverse reinforcement learning을 하나로 통합하는 EnergyFlow를 소개한다. 이때 그 gradient가 denoising field가 되도록 한다. 우리는 maximum-entropy optimality 하에서, denoising score matching으로 학습된 score function이 expert의 soft Q-function의 gradient를 복원함을 보이며, adversarial training 없이도 reward extraction이 가능함을 확립한다. 형식적으로, 학습된 field를 conservative하게 제약하면 hypothesis complexity가 감소하고 out-of-distribution generalization bound가 더 타이트해짐을 증명한다. 또한 복원된 reward의 identifiability를 특성화하고, score estimation error가 action preference로 어떻게 전파되는지 상계한다. 실험적으로 EnergyFlow는 다양한 manipulation task에서 state-of-the-art imitation 성능을 달성하는 동시에, downstream reinforcement learning을 위한 효과적인 reward signal을 제공하여 adversarial IRL 방법과 likelihood-based 대안 모두를 능가한다. 이러한 결과는 유효한 reward extraction에 필요한 구조적 제약이 policy generalization에 유익한 inductive bias로도 동시에 작용함을 보여준다. 코드는 https://anonymous.4open.science/r/EnergyFlow-FAE1 에서 उपलब्ध하다.
"},{"id":"62679","en":"PACT: Self-Evolving Physical Safety Alignment for Diffusion Policies in Embodied Manipulation","ko":"PACT: Embodied Manipulation에서 Diffusion Policies를 위한 자기진화형 물리 안전 정렬","authors":"Lingxuan Wu, Zijian Zhu, Lizhong Wang, Chengyang Ying, Huayu Chen, Xiao Yang, Fangming Liu, Jun Zhu","pos":"#506","link":"https://openreview.net/forum?id=ePFvXPdvhM","abs":"Diffusion policies have achieved remarkable success in robotic manipulation, yet they often fail to satisfy strict physical constraints required for safe deployment. Existing approaches impose safety either prematurely during training or reactively via external guardrails at test time, limiting policy expressivity and overall scalability. We propose Physical safety Alignment for Constrained Trajectories (PACT), a self-evolving post-training framework that projects pretrained diffusion policies onto constraint-feasible regions without accessing demonstration data or task rewards. PACT distills constraint gradients into the diffusion model through a reverse-KL objective with dense supervision across timesteps. It incorporates a curriculum that progressively tightens constraints while maintaining theoretically bounded policy shift and monotone improvement, mitigating the safety-performance trade-off from catastrophic forgetting. On simulated and real-world embodied manipulation benchmarks, PACT significantly reduces safety violations by 31.0% on average while improving task success by 30.7%.
","absKo":"Diffusion policy는 robotic manipulation에서 놀라운 성공을 거두었지만, 안전한 배포에 필요한 엄격한 물리적 제약을 만족하지 못하는 경우가 많다. 기존 접근법은 training 단계에서 안전을 너무 이르게 강제하거나, test time에 external guardrail을 통해 반응적으로 제어하므로, policy의 표현력과 전반적인 확장성을 제한한다. 우리는 Physical safety Alignment for Constrained Trajectories (PACT)를 제안한다. PACT는 demonstration data나 task reward에 접근하지 않고도 pretrained diffusion policy를 constraint-feasible region으로 사상하는 self-evolving post-training framework이다. PACT는 timesteps 전반에 걸친 dense supervision을 포함한 reverse-KL objective를 통해 constraint gradient를 diffusion model에 distill한다. 또한 curriculum을 도입하여 이론적으로 bounded된 policy shift와 monotone improvement를 유지하면서 제약을 점진적으로 강화함으로써, catastrophic forgetting으로 인한 safety-performance trade-off를 완화한다. 시뮬레이션 및 실제 embodied manipulation benchmark에서 PACT는 task success를 30.7% 향상시키는 동시에 safety violation을 평균 31.0% 줄인다.
"},{"id":"63885","en":"Neural Control: Adjoint Learning Through Equilibrium Constraints","ko":"Neural Control: 평형 제약을 통한 adjoint 학습","authors":"Dezhong Tong, Jiawen Wang, Hengyi Zhou, Yinlong Shen, Xiaonan Huang, Mohammad Khalid Jawed","pos":"#510","link":"https://openreview.net/forum?id=SnLgKHi2I9","abs":"Many physical AI tasks are governed by implicit equilibrium: an agent actuates a subset of degrees of freedom (boundary DoFs), while the remaining free DoFs settle by minimizing a total potential energy. Even seemingly basic tasks such as bending a deformable linear object (DLO) to a target shape can exhibit strongly nonlinear behavior due to multi-stability: the same boundary conditions may yield multiple equilibrium shapes depending on the actuation trajectory. However, learning and control in such systems is brittle because the actuation-to-configuration map is defined only implicitly, and naive backpropagation through iterative equilibrium solvers is memory- and compute-intensive. We propose Neural Control, a boundary-control framework that computes trajectory-dependent, memory-efficient proxy gradients by differentiating equilibrium conditions via an adjoint formulation, avoiding unrolling of solver iterations. To improve robustness over long horizons, we integrate these sensitivities into a receding-horizon MPC scheme that repeatedly re-anchors optimization to realized equilibria and mitigates basin-switching in multi-stable regimes. We evaluate Neural Control in simulation and on physical robots manipulating DLOs, and show improved performance over gradient-free baselines such as SPSA and CEM.
","absKo":"많은 physical AI task는 implicit equilibrium에 의해 지배된다. 즉, agent는 degree of freedom의 일부(boundary DoF)에 actuation을 가하고, 나머지 free DoF는 total potential energy를 최소화하면서 안정화된다. deformable linear object (DLO)를 목표 형상으로 굽히는 것처럼 겉보기에는 기본적인 작업도 multi-stability 때문에 강한 비선형 거동을 보일 수 있다. 같은 boundary condition이라도 actuation trajectory에 따라 여러 equilibrium shape를 낳을 수 있기 때문이다. 그러나 이러한 시스템에서의 학습과 제어는 actuation-to-configuration map이 암묵적으로만 정의되며, iterative equilibrium solver를 통한 naive backpropagation은 memory와 compute를 많이 소모하므로 취약하다. 우리는 solver iteration을 unroll하지 않고 adjoint formulation으로 equilibrium condition을 미분하여, trajectory-dependent하고 memory-efficient한 proxy gradient를 계산하는 boundary-control framework인 Neural Control을 제안한다. 긴 horizon에서의 강건성을 높이기 위해, 우리는 이러한 sensitivity를 receding-horizon MPC scheme에 통합하여 최적화를 실제로 realized equilibrium에 반복적으로 재정렬하고 multi-stable regime에서의 basin-switching을 완화한다. 우리는 simulation과 DLO를 조작하는 physical robot에서 Neural Control을 평가했으며, SPSA와 CEM 같은 gradient-free baseline보다 향상된 성능을 보였다.
"},{"id":"63657","en":"NavOL: Navigation Policy with Online Imitation Learning","ko":"NavOL: 온라인 모방 학습 기반 내비게이션 정책","authors":"Xiaofei Wei, Chun Gu, Li Zhang","pos":"#512","link":"https://openreview.net/forum?id=Uuh2Sk0mh0","abs":"Learning robust navigation policies remains a core challenge in robotics. Offline imitation learning suffers from distribution shift and compounding errors at rollout, while reinforcement learning requires reward engineering and learns inefficiently. In this paper, we propose NavOL, an online imitation learning paradigm that interacts with a simulator and updates itself using expert demonstrations gathered online. Built upon a pretrained navigation diffusion policy that maps local observations to future waypoints, NavOL trains in a rollout–update loop: during rollout, the policy acts in the simulator and queries a global planner which has privileged access to the global environment for the optimal path segment as ground truth trajectory labels; during update, the policy is trained on the online collected observation–trajectory pairs. This online imitation loop removes the need for reward design, improves learning efficiency, and mitigates distribution shift by training on the policy’s own explored rollouts. Built on IsaacLab with fast, high-fidelity parallel rendering and domain randomization of camera pose and start-goal pairs, our system scales across 50 scenes on 8 RTX 4090 GPUs, collecting over 2,000 new trajectories per hour, each averaging more than 400 steps. We also introduce an indoor visual navigation benchmark with predefined start and goal positions for zero-shot generalization. Extensive evaluations on simulation benchmarks, including the NavDP benchmark and our proposed benchmark, as well as carefully designed real-world experiments, demonstrate the effectiveness of NavOL, showing consistent performance gains in online imitation learning.
","absKo":"강건한 navigation policy를 학습하는 것은 robotics의 핵심 과제다. Offline imitation learning은 rollout 시 distribution shift와 compounding error에 취약하고, reinforcement learning은 reward engineering이 필요하며 학습 효율도 낮다. 본 논문에서는 simulator와 상호작용하면서 online으로 수집한 expert demonstration을 사용해 스스로를 업데이트하는 online imitation learning paradigm인 NavOL을 제안한다. local observation을 future waypoint로 매핑하는 pretrained navigation diffusion policy 위에 구축된 NavOL은 rollout–update loop로 학습한다. rollout 단계에서 policy는 simulator에서 행동하고, global environment에 대한 privileged access를 가진 global planner에게 최적 경로 구간을 질의하여 ground truth trajectory label을 얻는다. update 단계에서는 policy가 online으로 수집된 observation–trajectory pair로 학습한다. 이 online imitation loop는 reward design의 필요성을 없애고, 학습 효율을 높이며, policy가 자체적으로 탐색한 rollout으로 학습함으로써 distribution shift를 완화한다. 빠르고 고충실도의 parallel rendering과 camera pose 및 start-goal pair의 domain randomization을 제공하는 IsaacLab 위에 구축된 우리 시스템은 8개의 RTX 4090 GPU에서 50개 scene으로 확장되며, 시간당 2,000개 이상의 새로운 trajectory를 수집하고 각 trajectory는 평균 400 step 이상이다. 또한 zero-shot generalization을 위한 predefined start 및 goal position을 갖는 indoor visual navigation benchmark도 제안한다. NavDP benchmark와 우리가 제안한 benchmark를 포함한 simulation benchmark, 그리고 세심하게 설계된 real-world experiment 전반의 광범위한 평가 결과는 NavOL의 효과를 입증하며, online imitation learning에서 일관된 성능 향상을 보여준다."},{"id":"60605","en":"N2M: Bridging Navigation and Manipulation by Learning Pose Preference from Rollout","ko":"N2M: Rollout에서 포즈 선호를 학습해 내비게이션과 조작 연결","authors":"Kaixin Chai, Hyunjun Lee, Joseph Lim","pos":"#513","link":"https://openreview.net/forum?id=yW9uNbRgOh","abs":"Determining where to execute the manipulation policy is a fundamental challenge in mobile manipulation. Most approaches have formulated this as a geometric search problem, prioritizing physical reachability. However, given the high sensitivity of modern learning-based manipulation policies, geometric criteria alone are insufficient. Optimal performance requires base positioning that is aware of the policy's preference. While recent works have attempted to address this, they remain limited in practicality due to reliance on pre-built scene reconstruction and slow inference. In this work, we introduce N2M that systematically reformulates the approach to base positioning problem, naturally overcoming limitations of previous methods. Our key insight is that policy preferences are inherent to the local scene structure and can be effectively learned from the policy rollouts. Technically, we propose a novel viewpoint augmentation strategy that enables the model to learn robust, viewpoint-invariant pose preferences with remarkable data efficiency. Extensive experiments demonstrate that N2M achieves state-of-the-art performance, outperforming both non-policy-aware baselines and recent policy-aware alternatives. Furthermore, we provide a comprehensive analysis highlighting N2M’s broad applicability, generalization capabilities, and data efficiency. Anonymized project website: https://nav2manip.github.io
","absKo":"조작 policy를 어디에서 실행할지 결정하는 것은 mobile manipulation에서 근본적인 도전 과제이다. 대부분의 접근법은 이를 기하학적 탐색 문제로 공식화하여 물리적 도달 가능성을 우선시해 왔다. 그러나 현대의 learning-based manipulation policy는 민감도가 높기 때문에 기하학적 기준만으로는 충분하지 않다. 최적 성능을 위해서는 policy의 선호를 인지한 base positioning이 필요하다. 최근 연구들이 이를 해결하려 했지만, 사전에 구축된 scene reconstruction에 의존하고 추론이 느리다는 이유로 실용성이 제한적이었다. 본 연구에서는 base positioning 문제에 대한 접근을 체계적으로 재정식화하는 N2M을 제안하며, 이를 통해 이전 방법의 한계를 자연스럽게 극복한다. 우리의 핵심 통찰은 policy preference가 local scene structure에 내재되어 있으며, policy rollout으로부터 효과적으로 학습될 수 있다는 점이다. 기술적으로는 모델이 강건하고 viewpoint-invariant한 pose preference를 놀라운 data efficiency로 학습할 수 있게 하는 새로운 viewpoint augmentation 전략을 제안한다. 광범위한 실험은 N2M이 state-of-the-art 성능을 달성하며, policy를 고려하지 않는 baseline과 최근의 policy-aware 대안 모두를 능가함을 보여준다. 또한 우리는 N2M의 폭넓은 적용 가능성, 일반화 능력, 그리고 data efficiency를 부각하는 포괄적인 분석을 제시한다. 익명화된 프로젝트 웹사이트: https://nav2manip.github.io
"},{"id":"65496","en":"Move-Then-Operate: Behavioral Phasing for Human-Like Robotic Manipulation","ko":"Move-Then-Operate: 인간과 유사한 로봇 조작을 위한 행동 위상화","authors":"Haoming Xu, Lei Lei, Jie Gu, Chu Tang, Jingmin Chen, Rui-Qi Wang","pos":"#514","link":"https://openreview.net/forum?id=D1ipe7QR0N","abs":"We present Move-Then-Operate, a Vision–language–action framework that explicitly decouples robotic manipulation into two distinct behavioral phases: coarse relocation (move) and contact-critical interaction (operate). Unlike monolithic policies that conflate these heterogeneous regimes, our architecture employs a dual-expert policy routed by a learnable phase selector, introducing a structural inductive bias that isolates phase-specific dynamics. Phase labels are automatically generated via an MLLM-based pipeline conditioned on lightweight contextual cues such as end-effector velocity and subtask decomposition to ensure alignment with human motor patterns. Evaluated on the RoboTwin2 benchmark, our method achieves an average success rate of $68.9\\%$, outperforming the monolithic $\\pi_0$ baseline by +$24\\%$. It matches or exceeds models trained on $10\\times$ more data and reaches peak performance in $40\\%$ fewer training steps, demonstrating that architectural disentanglement of move and operate phases is a highly effective and efficient strategy for mastering high-precision manipulation.","absKo":"우리는 Move-Then-Operate를 제시한다. 이는 Vision–language–action framework로, 로봇 manipulation을 두 개의 뚜렷한 behavioral phase, 즉 거친 재배치(move)와 접촉이 중요한 상호작용(operate)으로 명시적으로 분리한다. 이질적인 두 regime을 뒤섞는 monolithic policy와 달리, 우리의 architecture는 learnable phase selector로 라우팅되는 dual-expert policy를 사용하여 phase-specific dynamics를 분리하는 structural inductive bias를 도입한다. Phase label은 end-effector velocity와 subtask decomposition 같은 가벼운 contextual cue를 조건으로 하는 MLLM-based pipeline을 통해 자동 생성되어 human motor pattern과의 정렬을 보장한다. RoboTwin2 benchmark에서 평가한 결과, 우리의 방법은 평균 성공률 $68.9\\%$를 달성하여 monolithic $\\pi_0$ baseline 대비 +$24\\%$ 향상되었다. 또한 $10\\times$ 더 많은 data로 학습된 model과 동등하거나 더 나은 성능을 보였고, training step 수는 $40\\%$ 적게 사용하여 최고 성능에 도달했다. 이는 move와 operate phase의 architectural disentanglement가 고정밀 manipulation을 익히는 데 매우 효과적이고 효율적인 전략임을 보여준다."},{"id":"64913","en":"Model-Based Diffusion Sampling for Predictive Control in Offline Decision Making","ko":"Offline 의사결정에서 예측 제어를 위한 Model-Based Diffusion Sampling","authors":"Haldun Balim, Na Li, Yilun Du","pos":"#516","link":"https://openreview.net/forum?id=IhBW4rQM7L","abs":"Offline decision-making via diffusion models often produces trajectories that are misaligned with system dynamics, limiting their reliability for control. We propose Model Predictive Diffuser (MPDiffuser), a compositional diffusion framework that combines a diffusion planner with a dynamics diffusion model to generate task-aligned and dynamically plausible trajectories. MPDiffuser interleaves planner and dynamics updates during sampling, progressively correcting feasibility while preserving task intent. A lightweight ranking module then selects trajectories that best satisfy task objectives. The compositional design improves sample efficiency and adaptability by enabling the dynamics model to leverage diverse and previously unseen data independently of the planner. Empirically, we demonstrate consistent improvements over prior diffusion-based methods on unconstrained (D4RL) and constrained (DSRL) benchmarks, and validate practicality through deployment on a real quadrupedal robot.
","absKo":"디퓨전 모델을 통한 offline decision-making은 종종 system dynamics와 어긋난 trajectories를 생성하여 control에서의 신뢰성을 제한한다. 우리는 diffusion planner와 dynamics diffusion model을 결합해 task에 정렬되고 dynamics적으로도 그럴듯한 trajectories를 생성하는 compositional diffusion framework인 Model Predictive Diffuser(MPDiffuser)를 제안한다. MPDiffuser는 sampling 동안 planner와 dynamics update를 교차적으로 수행하여, task intent를 보존하면서 feasibility를 점진적으로 보정한다. 이어서 가벼운 ranking module이 task objective를 가장 잘 만족하는 trajectories를 선택한다. 이 compositional design은 planner와 독립적으로 dynamics model이 다양하고 이전에 보지 못한 data를 활용할 수 있게 함으로써 sample efficiency와 adaptability를 향상시킨다. 실험적으로 우리는 unconstrained(D4RL) 및 constrained(DSRL) benchmark에서 기존 diffusion-based method들보다 일관된 개선을 보였고, 실제 quadrupedal robot에 배포하여 실용성도 검증했다.
"},{"id":"62283","en":"Hierarchical Policy Learning via Spectral Decomposition","ko":"Spectral Decomposition 기반 Hierarchical Policy Learning","authors":"Shuxin Cao, Liquan Wang, Walker Byrnes, Yiye Chen, Yilun Du, Animesh Garg","pos":"#601","link":"https://openreview.net/forum?id=hyw7WLPZae","abs":"In this paper, we identify a semantic decomposition in robot action sequences, separating task-level motion intent from execution-level refinements. By analyzing actions in the spectral domain using the discrete cosine transform (DCT), we observe that low-frequency components capture global motion trajectories, while high-frequency components encode precise timing, alignment, and contact behaviors. Motivated by this structure, we propose Causal Spectral Policy (CSP), which models action generation as a causal coarse-to-fine process: coarse motion is predicted from observation and language, and fine corrections are generated conditionally on the realized trajectory. Across simulation and real-world evaluations, CSP consistently outperforms strong baselines on precision-sensitive manipulation tasks. Additionally, we propose human-inspired teleoperation noise injection as a data augmentation method under which our approach demonstrates strong robustness to noisy demonstrations.
","absKo":"본 논문에서는 robot action sequence에서 semantic decomposition을 식별하여, task-level motion intent와 execution-level refinement를 분리합니다. discrete cosine transform (DCT)을 사용해 spectral domain에서 action을 분석한 결과, low-frequency component는 전역 motion trajectory를 포착하고 high-frequency component는 정밀한 timing, alignment, contact behavior를 인코딩함을 관찰했습니다. 이러한 구조에 착안하여, 우리는 action generation을 causal coarse-to-fine process로 모델링하는 Causal Spectral Policy (CSP)를 제안합니다. 즉, coarse motion은 observation과 language로부터 예측되고, fine correction은 실제로 생성된 trajectory에 조건화되어 생성됩니다. 시뮬레이션과 실제 환경 평가 전반에서 CSP는 precision-sensitive manipulation task에서 강력한 baseline보다 일관되게 우수한 성능을 보입니다. 추가로, 우리는 human-inspired teleoperation noise injection을 data augmentation 방법으로 제안하며, 이 하에서 우리의 접근법이 noisy demonstration에 대해 강한 robustness를 보임을 입증합니다.
"},{"id":"65951","en":"LIMMT: Less is More for Motion Tracking","ko":"LIMMT: 모션 추적에서는 적을수록 좋다","authors":"Yu Guan, Zekun Qi, Chenghuai Lin, Xuchuan Chen, Wenyao Zhang, Jilong Wang, XinQiang Yu, He Wang, Li Yi","pos":"#604","link":"https://openreview.net/forum?id=8aR2Ir2ib2","abs":"We argue that high-quality motion data can steer tracking policies toward better optimization trajectories early in training. In this work, we introduce LIMMT (Less Is More for Motion Tracking). To our knowledge, this is the first data-centric study for physics-based humanoid motion tracking. We go beyond simply removing erroneous clips. We define motion data quality through three dimensions: physics feasibility, diversity, and complexity. We show that training with under 3% of AMASS yields better tracking performance than training with the full dataset. Extensive experiments and analyses validate the effectiveness of our framework. We will release our code and curated data on GitHub.
","absKo":"우리는 고품질 motion data가 학습 초기에 tracking policy를 더 나은 optimization trajectory로 유도할 수 있다고 주장한다. 이 연구에서 우리는 LIMMT (Less Is More for Motion Tracking)를 소개한다. 우리가 아는 한, 이는 physics-based humanoid motion tracking을 위한 첫 data-centric 연구이다. 우리는 단순히 오류가 있는 clip을 제거하는 수준을 넘어서, motion data quality를 세 가지 차원, 즉 physics feasibility, diversity, complexity로 정의한다. 우리는 AMASS의 3% 미만만으로 학습해도 전체 데이터셋으로 학습하는 것보다 더 나은 tracking 성능을 얻을 수 있음을 보인다. 광범위한 실험과 분석은 우리의 프레임워크의 효과를 검증한다. 우리는 코드와 정제된 데이터를 GitHub에 공개할 예정이다.
"},{"id":"63021","en":"Learning High-Frequency Continuous Action Chunks in Latent Space","ko":"잠재 공간에서 고주파 Continuous Action Chunks 학습","authors":"Kunyun Wang, Yuhang Zheng, Jieru Zhao, Yupeng Zheng, Wenchao Ding","pos":"#608","link":"https://openreview.net/forum?id=aphjc9yoLf","abs":"Modern robotic policies increasingly rely on action chunking to execute complex tasks in the physical world. While action chunking improves temporal consistency at moderate action frequencies, it becomes insufficient when the action frequency is further increased (e.g., to 60~Hz). At such high frequencies, policies often fail to generate actions that are both temporally smooth and spatially consistent. We address this challenge by shifting high-frequency action learning from the action space to a latent space with variational autoencoder (VAE). This formulation significantly improves both temporal and spatial consistency of high-frequency control. To enable smooth real-time execution, we further introduce Reuse-then-Refine, a chunk-level refine strategy that improves continuity between adjacent action chunks under asynchronous inference. As a result, robots controlled by our policy can execute complex contact-rich tasks continuously, with less pauses and jerky motions. Experiments on three real-world contact-rich robotic tasks show that our approach consistently completes tasks with smooth motions.
","absKo":"현대 robotic policy는 물리적 세계에서 복잡한 task를 수행하기 위해 action chunking에 점점 더 의존하고 있다. action chunking은 중간 수준의 action frequency에서 temporal consistency를 향상시키지만, action frequency가 더 높아질 때(예: 60~Hz)에는 충분하지 않다. 이러한 높은 주파수에서는 policy가 temporal하게도 smooth하고 spatial하게도 일관된 action을 생성하는 데 실패하는 경우가 많다. 우리는 variational autoencoder (VAE)를 사용해 고주파 action learning을 action space에서 latent space로 옮김으로써 이 문제를 해결한다. 이 formulation은 고주파 control의 temporal consistency와 spatial consistency를 모두 크게 향상시킨다. 부드러운 실시간 실행을 가능하게 하기 위해, 우리는 비동기 추론(asynchronous inference) 하에서 인접한 action chunk 사이의 연속성을 개선하는 chunk-level refine 전략인 Reuse-then-Refine도 추가로 도입한다. 그 결과, 우리의 policy로 제어되는 robot은 멈춤과 급격한 움직임이 줄어든 상태에서 복잡한 contact-rich task를 연속적으로 수행할 수 있다. 실제 세계의 세 가지 contact-rich robotic task에 대한 실험은 우리의 접근법이 항상 부드러운 움직임으로 task를 완수함을 보여준다.
"},{"id":"61049","en":"Learning Human-Robot Collaboration via Heterogeneous-Agent Lyapunov Policy Optimization","ko":"Heterogeneous-Agent Lyapunov Policy Optimization을 통한 인간-로봇 협업 학습","authors":"Hao Zhang, Yaru Niu, Yikai Wang, Ding Zhao, Eric Tseng","pos":"#609","link":"https://openreview.net/forum?id=uBvlUE2wrP","abs":"To improve generalization and resilience in human–robot collaboration (HRC), robots must handle the combinatorial diversity of human behaviors and contexts, motivating multi-agent reinforcement learning (MARL). However, inherent heterogeneity between robots and humans creates a rationality gap (RG) in the learning process--a variational mismatch between decentralized best-response dynamics and centralized cooperative ascent. The resulting learning problem is a general-sum differentiable game, so independent policy-gradient updates can oscillate or diverge without added structure. We propose heterogeneous-agent Lyapunov policy optimization (HALyPO), which establishes formal stability directly in the policy-parameter space by enforcing a per-step Lyapunov decrease condition on a parameter-space disagreement metric. Unlike Lyapunov-based safe RL, which targets state/trajectory constraints in constrained Markov decision processes, HALyPO uses Lyapunov certification to stabilize decentralized policy learning. HALyPO rectifies decentralized gradients via optimal quadratic projections, ensuring monotonic contraction of RG and enabling effective exploration of open-ended interaction spaces. Extensive simulations and real-world humanoid-robot experiments show that this certified stability improves generalization and robustness in collaborative corner cases.
","absKo":"human–robot collaboration(HRC)에서 일반화와 회복탄력성을 향상시키려면, 로봇은 인간 행동과 상황의 조합적 다양성을 처리해야 하며, 이는 multi-agent reinforcement learning(MARL)을 동기부여한다. 그러나 로봇과 인간 사이의 본질적 이질성은 학습 과정에서 rationality gap(RG)을 만든다. 이는 decentralized best-response dynamics와 centralized cooperative ascent 사이의 변분적 불일치이다. 그 결과 생기는 학습 문제는 general-sum differentiable game이므로, 추가 구조가 없으면 independent policy-gradient update가 진동하거나 발산할 수 있다. 우리는 heterogeneous-agent Lyapunov policy optimization(HALyPO)을 제안하며, parameter-space disagreement metric에 대해 매 step마다 Lyapunov 감소 조건을 강제함으로써 policy-parameter space에서 직접 formal stability를 확립한다. constrained Markov decision process에서 state/trajectory 제약을 목표로 하는 Lyapunov-based safe RL과 달리, HALyPO는 Lyapunov certification을 사용해 decentralized policy learning을 안정화한다. HALyPO는 optimal quadratic projection을 통해 decentralized gradient를 보정하여 RG의 단조 수축을 보장하고, 열린 interaction space에서 효과적인 탐색을 가능하게 한다. 광범위한 시뮬레이션과 실제 humanoid robot 실험은 이러한 certified stability가 collaborative corner case에서 일반화와 강건성을 향상시킴을 보여준다.
"},{"id":"64730","en":"Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs","ko":"실행하기 전에 이동을 배우기: VLA를 위한 Task-Agnostic 사전학습","authors":"Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu","pos":"#610","link":"https://openreview.net/forum?id=KQiNdlhknK","abs":"Vision-Language-Action (VLA) models are bottlenecked by the scarcity of expert demonstrations—expensive triplets of observations, language instructions, and actions. We propose that learning ''how to move'' can be decoupled from learning ''what to do,'' and that the former requires no task labels at all. Our two-stage framework, Task-Agnostic Pretraining (TAP) first pre-trains on abundant, cheap task-agnostic data (discarded off-task trajectories or autonomous robot play) using an Inverse Dynamics objective that predicts actions from consecutive observations. This self-supervised phase instills physical affordances—grasping, contact dynamics, end-effector control—without human annotation. A lightweight second stage then aligns these physical priors with language instructions using minimal expert data. On the SIMPLER benchmark, our approach matches models trained on 1M+ expert trajectories while using orders of magnitude less labeled data, achieving a 10\\% absolute gain over standard behavior cloning. In real-world WidowX experiments, it surpasses internet-scale baselines under visual distribution shifts (e.g., 25\\% vs. 0\\% under camera perturbations), demonstrating that task-agnostic pretraining yields robust, transferable physical representations for Embodied AI.
","absKo":"Vision-Language-Action (VLA) 모델은 expert demonstration의 희소성에 의해 병목을 겪습니다. expert demonstration은 observation, language instruction, action의 비싼 triplet입니다. 우리는 ''무엇을 할지''를 학습하는 것과 ''어떻게 움직일지''를 학습하는 것은 분리될 수 있으며, 후자는 task label을 전혀 필요로 하지 않는다고 제안합니다. 우리의 2단계 framework인 Task-Agnostic Pretraining (TAP)은 먼저 Inverse Dynamics objective를 사용해 풍부하고 저렴한 task-agnostic data(버려진 off-task trajectory 또는 autonomous robot play)에 대해 사전학습합니다. 이 objective는 연속된 observation으로부터 action을 예측합니다. 이 self-supervised phase는 인간 주석 없이도 grasping, contact dynamics, end-effector control과 같은 physical affordance를 내재화합니다. 이어지는 경량 2단계는 최소한의 expert data를 사용해 이러한 physical prior를 language instruction과 정렬합니다. SIMPLER benchmark에서 우리의 접근은 1M개 이상의 expert trajectory로 학습한 모델과 맞먹는 성능을 보이면서, 훨씬 적은 labeled data만 사용하고 standard behavior cloning 대비 절대 10% 향상을 달성합니다. 실제 WidowX 실험에서는 visual distribution shift(예: camera perturbation 하에서 25% vs. 0%) 상황에서 internet-scale baseline을 능가하여, task-agnostic pretraining이 Embodied AI를 위한 견고하고 전이 가능한 physical representation을 제공함을 보여줍니다."},{"id":"61720","en":"Learning to Reconfigure: Co-designing Reconfigurable robots for Heterogeneous Locomotion","ko":"재구성 학습: 이종 보행을 위한 재구성 가능 로봇 공동 설계","authors":"Xiaoyu Xiong, Kehan Liu, HuiYi Yan, Shengjie Wang, Yang Gao, Tao Du","pos":"#611","link":"https://openreview.net/forum?id=nVhciStASE","abs":"Traditional robot co-design approaches typically converge to \\textit{one} configuration, which do not explore the flexibility from reconfiguration on heterogeneous environments. On the other hand, existing designs for reconfigurable robots require human-designed configurations. We present Learning to Reconfigure, a holistic pipeline for co-designing the configurations and control of reconfigurable robots in heterogeneous locomotion tasks consisting of several sub-tasks. Our pipeline proposes low-level specialized primitives with a high-level scheduler. To jointly optimize configuration design and control, our primitives employ a multi-tail architecture that disentangles these distinct objectives. Building on this, the scheduler learns to dynamically switch configurations based on global task progress. We evaluate our pipeline on locomotion tasks across walking, flying, and swimming, and compare with the state-of-the-art baselines, including single-robot control and multi-morphology co-design algorithms. Quantitative results based on traversal progress show that our pipeline outperforms single-robot baselines by 5.95x average progress. Compared with the reconfiguration-free design given by the co-design algorithms, our robots also exhibit 9.99x progress on average. These results highlight the critical role of configuration adaptation in achieving versatile robotic autonomy in complex worlds.
","absKo":"전통적인 robot co-design 접근은 보통 \\\\textit{하나}의 configuration으로 수렴하며, heterogeneous environment에서 재구성을 통해 얻을 수 있는 유연성을 탐색하지 않는다. 반면 reconfigurable robot을 위한 기존 설계는 인간이 설계한 configuration을 필요로 한다. 우리는 여러 sub-task로 구성된 heterogeneous locomotion task에서 reconfigurable robot의 configuration과 control을 함께 설계하기 위한 총체적 pipeline인 Learning to Reconfigure를 제시한다. 우리의 pipeline은 high-level scheduler와 low-level specialized primitive를 제안한다. configuration 설계와 control을 공동으로 최적화하기 위해, 우리의 primitive는 이러한 서로 다른 목적을 분리하는 multi-tail architecture를 사용한다. 이를 바탕으로 scheduler는 global task progress에 따라 configuration을 동적으로 전환하도록 학습한다. 우리는 walking, flying, swimming 전반의 locomotion task에서 우리의 pipeline을 평가하고, single-robot control 및 multi-morphology co-design algorithm을 포함한 state-of-the-art baseline과 비교한다. traversal progress를 기반으로 한 정량 결과는 우리의 pipeline이 single-robot baseline보다 평균 5.95배 더 높은 progress를 달성함을 보여준다. co-design algorithm이 제공하는 reconfiguration-free design과 비교해도, 우리의 robot은 평균 9.99배의 progress를 보인다. 이러한 결과는 복잡한 세계에서 다재다능한 robotic autonomy를 달성하는 데 configuration adaptation이 결정적으로 중요함을 강조한다.
"},{"id":"60789","en":"Making Learner Weakness Actionable for Learning from Demonstration with Novice Teachers","ko":"초보 교사의 Demonstration 학습에서 학습자 약점을 실행 가능하게 만들기","authors":"Yuqing Zhu, Matthew Howard","pos":"#614","link":"https://openreview.net/forum?id=wjQw9XVSEt","abs":"Learning from demonstration can be an effective way to teach robots task-oriented policies. However, in an interactive setting when demonstrations are limited by time or other budgetary constraints, it is challenging to find those that fix the learner's (remaining) errors. This is especially difficult for novice teachers: they may provide task-valid trajectories, often these fail to meaningfully improve the policy due to their lack of knowledge of learning mechanisms internal to the robot. This paper introduces CLASP (Collaborative Learning with Anchored State-space Partitions), which summarises the teaching process as a compact map of behavioural regions anchored in the teacher's own demonstrations. The map connects task failure to actionable changes to demonstrations by indicating what is going wrong in an intuitive way. It also enables difficulty-aware training that emphasises regions where learning is failing. Across diverse benchmarks, CLASP improves success by up to 20\\% over offline and interactive baselines under the same demonstration budget, improves robustness under distribution shift by 14–20\\%, and preserves behavioural diversity.
","absKo":"demonstration으로부터의 학습은 robot에게 task-oriented policy를 가르치는 효과적인 방법이 될 수 있다. 그러나 시연 횟수가 시간이나 기타 budget 제약에 의해 제한되는 interactive setting에서는, learner의 (남아 있는) error를 수정하는 시연을 찾아내는 것이 어렵다. 이는 특히 초보 teacher에게 더 어렵다. 이들은 task-valid trajectory를 제공할 수는 있지만, robot 내부의 learning mechanism에 대한 지식이 부족하기 때문에 이러한 trajectory가 policy를 의미 있게 개선하지 못하는 경우가 많다. 본 논문은 CLASP(Collaborative Learning with Anchored State-space Partitions)를 소개하는데, 이는 teaching process를 teacher 자신의 demonstration에 고정된 행동 영역의 compact map으로 요약한다. 이 map은 직관적인 방식으로 무엇이 잘못되고 있는지를 알려주어, task failure를 demonstration의 실행 가능한 변화로 연결한다. 또한 learning이 실패하는 영역을 강조하는 difficulty-aware training도 가능하게 한다. 다양한 benchmark 전반에서 CLASP는 동일한 demonstration budget 하에서 offline 및 interactive baseline 대비 성공률을 최대 20\\%까지 향상시키고, distribution shift 하에서의 robustness를 14–20\\% 향상시키며, behavioral diversity를 보존한다.
"},{"id":"66600","en":"Mixture of Horizons in Action Chunking","ko":"행동 청킹에서의 지평 혼합","authors":"Dong Jing, Gang Wang, Jiaqi Liu, Weiliang Tang, Zelong Sun, Yunchao Yao, Zhenyu Wei, Yunhui Liu, Zhiwu Lu, Mingyu Ding","pos":"#615","link":"https://openreview.net/forum?id=2GQOSf4Y8n","abs":"Vision-language-action models exhibit an inherent trade-off in action chunk length (``horizon''): longer horizons improve global foresight but degrade fine-grained local control, while shorter ones yield the opposite. To mitigate the trade-off, we propose a $\\textbf{mixture of horizons (MoH)}$ strategy. In brief, MoH rearranges the action chunk into several segments with different horizons, processes them in parallel with a shared action transformer, and fuses outputs with a light linear gate. It offers three appealing benefits. i) Long-term foresight and short-term precision are jointly exploited within a single model. ii) MoH is plug-and-play for full-attention action modules with minimal training or inference overhead. iii) MoH enables dynamic inference with adaptive horizons, which selects stable actions through cross-horizon consensus, achieving 2.5$\\times$ higher throughput than baselines while preserving superior performance. Extensive experiments over flow-based and one-step regression policies demonstrate that MoH yields consistent and significant gains on both simulations and real-world tasks. Notably, under mixed-task setting, $\\pi_{0.5}$ with MoH reaches a new state-of-the-art with 99\\% average success rate on LIBERO after only $30k$ training iterations.","absKo":"Vision-language-action 모델은 action chunk length(“horizon”)에서 본질적인 trade-off를 보인다. horizon이 길수록 global foresight는 좋아지지만 fine-grained local control은 저하되고, 짧을수록 그 반대가 나타난다. 이 trade-off를 완화하기 위해 우리는 $\\textbf{mixture of horizons (MoH)}$ 전략을 제안한다. 간단히 말해, MoH는 action chunk를 서로 다른 horizon을 갖는 여러 segment로 재배치하고, shared action transformer로 이들을 병렬 처리한 뒤, 가벼운 linear gate로 출력을 융합한다. 이는 세 가지 매력적인 이점을 제공한다. i) 하나의 모델 안에서 long-term foresight와 short-term precision을 함께 활용할 수 있다. ii) MoH는 최소한의 training 또는 inference overhead로 full-attention action module에 plug-and-play 방식으로 적용할 수 있다. iii) MoH는 adaptive horizon을 사용하는 dynamic inference를 가능하게 하며, cross-horizon consensus를 통해 안정적인 action을 선택하여 우수한 성능을 유지하면서 baseline보다 2.5$\\times$ 높은 throughput을 달성한다. flow-based policy와 one-step regression policy 전반에 걸친 광범위한 실험은 MoH가 simulation과 real-world task 모두에서 일관되고 유의미한 성능 향상을 제공함을 보여준다. 특히 mixed-task setting에서, MoH를 적용한 $\\pi_{0.5}$는 LIBERO에서 30k training iteration만으로 99\\%의 평균 성공률을 달성하며 새로운 state-of-the-art를 기록한다."},{"id":"66326","en":"MoSA: Motion-constrained Stress Adaptation for Mitigating Real-to-Sim Gap in Continuum Dynamics via Learning Residual Anisotropy","ko":"MoSA: 잔차 이방성 학습을 통한 연속체 동역학의 Real-to-Sim 격차 완화를 위한 운동 제약 응력 적응","authors":"Jiaxu Wang, Junhao He, Jingkai SUN, Yi Gu, Yunyang Mo, Jiahang Cao, Qiang Zhang, Renjing Xu","pos":"#616","link":"https://openreview.net/forum?id=4fbBS0s8In","abs":"Learning real-world dynamics from visual observations is crucial for various domains. A common strategy is to calibrate simulators by estimating physical parameters, yet accuracy is ultimately bounded by the underlying physical models, which often assume materials are homogeneous and isotropic. Even if reasonable, real-world objects typically exhibit mild anisotropy and heterogeneity. After the near-isotropic backbone is well calibrated, these residual effects become the key bottleneck for further closing the real-to-sim gap. Although neural networks can fit dynamics end-to-end, such black-box modeling discards strong physical priors, leading to poor data efficiency and overfitting. Therefore, we propose MoSA, a motion-constrained stress adaptation framework that targets these residual effects to further improve real-to-sim dynamics learning. MoSA uses an isotropic model as a physics prior and learns residual stress operators to capture mild anisotropy and heterogeneity. It progressively adapts stresses via microplane-constrained redistribution in a physics-informed cascaded network. We further impose motion constraints by supervising temporal and spatial derivatives of the deformation field. Experimentally, our learned dynamics achieves superior accuracy, generalization, and robustness, while learning physically meaningful residual anisotropy. Finally, we validate MoSA in a robot manipulation setting, showing that better real-to-sim dynamics modeling translates into more reliable sim-to-real transfer.
","absKo":"시각 관측으로부터 실제 세계의 동역학을 학습하는 것은 다양한 도메인에서 매우 중요하다. 일반적인 전략은 물리 파라미터를 추정해 simulator를 보정하는 것이지만, 정확도는 궁극적으로 기반 물리 모델에 의해 제한되며, 이러한 모델은 대개 재료가 균질하고 등방적이라고 가정한다. 설령 그 가정이 어느 정도 타당하더라도, 실제 세계의 물체는 보통 약한 이방성과 이질성을 보인다. 거의 등방적인 backbone이 잘 보정된 이후에는, 이러한 잔여 효과가 real-to-sim 격차를 추가로 줄이기 위한 핵심 병목이 된다. neural network는 동역학을 end-to-end로 맞출 수 있지만, 이러한 black-box 모델링은 강한 물리적 prior를 버리게 되어 데이터 효율성이 낮아지고 overfitting이 발생한다. 따라서 우리는 이러한 잔여 효과를 대상으로 실제-시뮬레이션 동역학 학습을 더 향상시키는 motion-constrained stress adaptation framework인 MoSA를 제안한다. MoSA는 isotropic model을 물리 prior로 사용하고 residual stress operator를 학습하여 미세한 이방성과 이질성을 포착한다. 또한 physics-informed cascaded network에서 microplane-constrained redistribution을 통해 stress를 점진적으로 적응시킨다. 더 나아가 deformation field의 temporal 및 spatial derivative를 supervision하여 motion constraint를 부과한다. 실험적으로, 우리가 학습한 동역학은 더 높은 정확도, generalization, robustness를 달성하는 동시에 물리적으로 의미 있는 residual anisotropy를 학습한다. 마지막으로 robot manipulation setting에서 MoSA를 검증하여, 더 나은 real-to-sim 동역학 모델링이 더 신뢰할 수 있는 sim-to-real transfer로 이어짐을 보인다.
"},{"id":"62313","en":"Functional Cache Grafting: Robust and Rapid Code-Policy Synthesis for Embodied Agents","ko":"Functional Cache Grafting: Embodied Agent를 위한 강건하고 빠른 Code-Policy Synthesis","authors":"Saehun Chun, Sera Choi, Wonje Choi, Sanghyun Ahn, Honguk Woo","pos":"#701","link":"https://openreview.net/forum?id=hkmpUHQxgv","abs":"Code-writing large language models (CodeLLMs) generate executable code policies for embodied agents by translating natural language goals and environmental constraints into structured control programs. However, policy generation in open-domain embodied environments suffers from two fundamental limitations: (i) delayed decoding caused by repetitive prefill computation over long prompts, and (ii) limited robustness due to fully generative decoding, which often produces API mismatches, missing safety guards, and unstable control logic. To address these limitations, we present FCGraft, a Functional Cache Grafting framework. FCGraft maintains a library of function-level validated code skeletons and their associated prompt-level Transformer key–value (KV) caches, and synthesizes new policies by retrieving relevant functions and grafting their KV caches when a new task is provided. Given retrieved function caches, FCGraft performs cache grafting via stitching, which composes cached function segments into a composite policy, and patching, which locally adapts only the necessary code regions to satisfy task-specific parameters and constraints with minimal additional decoding. By eliminating redundant prefill computation, this approach reduces generation latency, while reusing validated control structures improves robustness over prompt-level caching methods RAGCache, achieving $18.31\\$% higher task success rate and $2.3\\times$ faster policy synthesis.","absKo":"Code-writing large language model (CodeLLM)은 자연어 목표와 환경 제약을 구조화된 제어 프로그램으로 변환하여 embodied agent를 위한 실행 가능한 code policy를 생성한다. 그러나 open-domain embodied environment에서의 policy generation은 두 가지 근본적인 한계로 어려움을 겪는다. (i) 긴 prompt에 대한 반복적인 prefill computation으로 인해 발생하는 delayed decoding, 그리고 (ii) 완전 생성형 decoding으로 인해 API mismatch, 누락된 safety guard, 불안정한 control logic이 자주 발생하는 낮은 robustness이다. 이러한 한계를 해결하기 위해 우리는 Functional Cache Grafting 프레임워크인 FCGraft를 제안한다. FCGraft는 function-level에서 검증된 code skeleton과 그에 연관된 prompt-level Transformer key-value (KV) cache의 라이브러리를 유지하고, 새로운 task가 주어지면 관련 function을 검색한 뒤 해당 KV cache를 graft하여 새로운 policy를 합성한다. 검색된 function cache를 바탕으로 FCGraft는 stitching을 통해 cache grafting을 수행하는데, 이는 cached function segment를 합성 policy로 조합하며, patching은 task-specific parameter와 constraint를 최소한의 추가 decoding으로 만족시키기 위해 필요한 code 영역만 국소적으로 적응시킨다. 중복되는 prefill computation을 제거함으로써 이 접근은 generation latency를 줄이고, 검증된 control structure를 재사용함으로써 prompt-level caching 방법인 RAGCache보다 robustness를 개선하여 task success rate를 $18.31\\$% 높이고 policy synthesis 속도를 $2.3\\times$ 빠르게 달성한다."},{"id":"66520","en":"FocalPolicy: Frequency-Optimized Chunking and Locally Anchored Flow Matching for Coherent Visuomotor Policy","ko":"FocalPolicy: 일관된 시각운동 정책을 위한 주파수 최적화 청킹 및 국소 앵커 Flow Matching","authors":"Qian He, Zhenshuo Yang, Wenqi Liang, Chunhui Hao, Nicu Sebe, Jiandong Tian","pos":"#702","link":"https://openreview.net/forum?id=2zMJ5cLziN","abs":"Visuomotor policies aim to learn complex manipulation tasks from expert demonstrations. However, generating smooth and coherent trajectories remains challenging, as it requires balancing proximal precision with distal foresight. Existing approaches typically focus on optimizing intra-chunk action distributions, often neglecting the inter-chunk coherence. Consequently, inter-chunk discontinuities significantly impede the learning of coherent long-horizon actions. To overcome this limitation and achieve a synergetic balance between precision and foresight, we propose FocalPolicy, a foresight-aware visuomotor policy that combines Frequency-Optimized Chunking with Locally Anchored flow matching. We introduce a foresight composite objective that supervises time-domain alignment within the proximal actions while regularizing frequency-domain structure over multiple future action chunks to improve cross-chunk coherence. To efficiently learn complex action distributions, we design locally anchored campling to enhance target signal propagation efficiency during consistency flow matching training. Extensive experiments demonstrate that our method consistently outperforms existing approaches while further validating the effective generalizability of our proposed modules to other baseline models. The project will be released as open source.
","absKo":"Visuomotor policy는 expert demonstration으로부터 복잡한 manipulation task를 학습하는 것을 목표로 한다. 그러나 proximal precision과 distal foresight 사이의 균형을 맞춰야 하므로, smooth하고 coherent한 trajectory를 생성하는 일은 여전히 어렵다. 기존 접근법은 대체로 intra-chunk action distribution 최적화에 집중하며, inter-chunk coherence는 종종 간과한다. 그 결과 inter-chunk discontinuity가 coherent한 long-horizon action 학습을 크게 방해한다. 이러한 한계를 극복하고 precision과 foresight 사이의 synergetic balance를 달성하기 위해, 우리는 Frequency-Optimized Chunking과 Locally Anchored flow matching을 결합한 foresight-aware visuomotor policy인 FocalPolicy를 제안한다. 우리는 proximal action 내부의 time-domain alignment를 감독하는 동시에, 여러 future action chunk에 걸친 frequency-domain structure를 정규화하여 cross-chunk coherence를 향상시키는 foresight composite objective를 도입한다. 복잡한 action distribution을 효율적으로 학습하기 위해, consistency flow matching training 동안 target signal propagation efficiency를 높이기 위한 locally anchored campling을 설계한다. 광범위한 실험은 우리 방법이 기존 접근법을 일관되게 능가함을 보여주며, 제안한 모듈이 다른 baseline model에도 효과적으로 generalize됨을 추가로 검증한다. 이 프로젝트는 open source로 공개될 예정이다.
"},{"id":"61698","en":"EnsembleVLA: Ensemble Learning for Vision-Language Action Models","ko":"EnsembleVLA: Vision-Language Action Model을 위한 Ensemble Learning","authors":"Mingchen Song, Xiang Deng, Jie Wei, Dongmei Jiang, Liqiang Nie, Weili Guan","pos":"#704","link":"https://openreview.net/forum?id=neqx78aDMx","abs":"Diverse Vision-language-action (VLA) models have been proposed and demonstrated remarkable capabilities in robotic manipulation. However, how to effectively ensemble VLAs to further enhance performance remains largely unexplored, as conventional ensemble techniques designed for discriminative tasks cannot be directly applied to generative action policies with high-dimensional, multimodal distributions. To address this challenge, we propose EnsembleVLA, an energy-based framework that enables principled ensemble of diverse VLA models. We establish a unified theoretical framework showing that both diffusion-based and flow-based VLA models can be formulated as energy-based models, where additive energy combination naturally induces policy composition at the distribution level. This theoretical foundation enables multiple pre-trained policies to be seamlessly aggregated into a stronger ensemble policy. Building upon this compositional framework, EnsembleVLA further incorporates learnable composition weights for dynamic policy balancing, coupled with a confidence-aware gating mechanism that adaptively modulates bounded residual corrections, collectively ensuring stable and robust task execution. Extensive experiments demonstrate that EnsembleVLA achieves competitive performance across various tasks in both simulated and real-world environments.
","absKo":"다양한 Vision-language-action (VLA) 모델들이 제안되었고 로봇 조작에서 놀라운 성능을 입증해 왔다. 그러나 범용 ensemble 기법은 고차원 다중모달 분포를 갖는 generative action policy에 직접 적용할 수 없기 때문에, 다양한 VLA를 효과적으로 ensemble하여 성능을 더 향상시키는 방법은 아직 충분히 탐구되지 않았다. 이 문제를 해결하기 위해 우리는 서로 다른 VLA 모델의 principled ensemble을 가능하게 하는 energy-based 프레임워크 EnsembleVLA를 제안한다. 우리는 diffusion-based VLA 모델과 flow-based VLA 모델 모두를 energy-based model로 정식화할 수 있음을 보이는 통합 이론 프레임워크를 수립하며, 여기서 additive energy combination은 분포 수준에서 policy composition을 자연스럽게 유도한다. 이러한 이론적 토대는 여러 개의 pre-trained policy를 더 강력한 ensemble policy로 매끄럽게 집약할 수 있게 한다. 이 compositional framework 위에서 EnsembleVLA는 학습 가능한 composition weight를 추가로 도입하여 동적 policy balancing을 수행하고, confidence-aware gating mechanism을 결합해 bounded residual correction을 적응적으로 조절함으로써, 전체적으로 안정적이고 강건한 task execution을 보장한다. 광범위한 실험은 EnsembleVLA가 시뮬레이션 및 실제 환경 모두에서 다양한 task에 걸쳐 경쟁력 있는 성능을 달성함을 보여준다.
"},{"id":"63406","en":"Dynamics Are Learned, Not Told: Semi-Supervised Discovery of Latent Dynamics Geometries For Zero-Shot Policy Adaptation","ko":"동역학은 말해지는 것이 아니라 학습된다: Zero-Shot 정책 적응을 위한 잠재 동역학 기하의 준지도 발견","authors":"Zhiming Xu, Weitao Zhou, Xianghui Pan, Chenpeng Yao, Nanshan Deng, Chengju Liu, Qijun Chen","pos":"#707","link":"https://openreview.net/forum?id=XQLa5PVQ0D","abs":"Real-world dynamics shifts pose a critical challenge for reinforcement learning, yet prior methods typically rely on encoding explicitly identified physical parameters into a latent context, a rigid parameterization that proves brittle to unmodeled or compound dynamics variations. We instead investigate dynamics adaptation through the lens of latent geometry, and show theoretically that target-domain regret is controlled by the Lipschitz smoothness of a trajectory dynamics encoder. We further prove that this Lipschitz constant can be upper-bounded through optimizing a multi-positive InfoNCE objective, yielding a smooth, task-relevant latent topology without privileged dynamics information. On MuJoCo benchmarks, our method significantly outperforms explicit identification baselines under severe dynamics shifts, including unmodeled structural failures, while simultaneously improving in-distribution stability and latent interpretability. Overall, these results validate that controlling latent smoothness is a principled and scalable mechanism for robust adaptation.
","absKo":"실세계의 dynamics shift는 reinforcement learning에 중요한 도전 과제이지만, 기존 방법들은 대개 명시적으로 식별된 physical parameter를 latent context에 인코딩하는 데 의존한다. 이러한 rigid parameterization은 모델링되지 않았거나 복합적인 dynamics 변화에 대해 취약하다. 우리는 대신 latent geometry의 관점에서 dynamics adaptation을 탐구하고, target-domain regret이 trajectory dynamics encoder의 Lipschitz smoothness에 의해 제어된다는 것을 이론적으로 보인다. 또한 이 Lipschitz constant는 multi-positive InfoNCE objective를 최적화함으로써 상한을 둘 수 있음을 증명하며, privileged dynamics information 없이도 매끄럽고 task-relevant한 latent topology를 얻는다. MuJoCo benchmark에서 우리의 방법은 unmodeled structural failure를 포함한 심각한 dynamics shift 하에서 explicit identification baseline을 크게 능가하고, 동시에 in-distribution stability와 latent interpretability도 향상시킨다. 종합하면, 이러한 결과는 latent smoothness를 제어하는 것이 견고한 adaptation을 위한 원칙적이고 확장 가능한 메커니즘임을 입증한다.
"},{"id":"65967","en":"Demystifying Action Space Design for Robotic Manipulation Policies","ko":"로봇 조작 정책을 위한 행동 공간 설계 해부","authors":"Yuchun Feng, Jinliang Zheng, Tianyi Tan, Dongxiu Liu, Yinan Zheng, Jiangmiao Pang, Tai Wang, Xianyuan Zhan","pos":"#709","link":"https://openreview.net/forum?id=8OoW6Nd7ZX","abs":"The specification of the action space plays a pivotal role in imitation-based robotic manipulation policy learning, fundamentally shaping the optimization landscape of policy learning. While recent advances have focused heavily on scaling training data and model capacity, the choice of action space remains guided by ad-hoc heuristics or legacy designs, leading to an ambiguous understanding of robotic policy design philosophies. To address this ambiguity, we conducted a large-scale and systematic empirical study, confirming that the action space does have significant and complex impacts on robotic policy learning. We dissect the action design space along temporal and spatial axes, facilitating a structured analysis of how these choices govern both policy learnability and control stability. Based on 13,000+ real-world rollouts on a bimanual robot and evaluation on 500+ trained models over four scenarios, we examine the trade-offs between absolute vs. delta representations, and joint-space vs. task-space parameterizations. Our large-scale results suggest that properly designing the policy to predict delta actions consistently improves performance, while joint-space and task-space representations offer complementary strengths, favoring control stability and generalization, respectively.
","absKo":"action space의 명세는 imitation 기반 robotic manipulation policy learning에서 중추적 역할을 하며, policy learning의 optimization landscape를 근본적으로 형성한다. 최근의 진전이 주로 training data와 model capacity의 확장에 집중해 온 반면, action space의 선택은 임시방편적 heuristic 또는 legacy design에 의해 좌우되어 robotic policy design philosophy에 대한 이해를 모호하게 만들었다. 이러한 모호성을 해결하기 위해, 우리는 대규모 체계적 empirical study를 수행하여 action space가 robotic policy learning에 유의미하고 복합적인 영향을 미친다는 점을 확인했다. 우리는 action design space를 temporal 및 spatial axis로 분해하여, 이러한 선택이 policy의 학습 가능성과 control stability를 어떻게 좌우하는지 구조적으로 분석할 수 있게 했다. 양팔 로봇에서 수행한 13,000+ real-world rollout과 네 가지 시나리오에서 학습된 500+ model에 대한 평가를 바탕으로, absolute 표현과 delta 표현, 그리고 joint-space와 task-space parameterization 사이의 trade-off를 검토했다. 우리의 대규모 결과는 policy가 delta action을 예측하도록 적절히 설계하는 것이 성능을 일관되게 향상시킨다는 점을 시사하며, joint-space와 task-space 표현은 각각 control stability와 generalization에서 상보적인 강점을 제공한다.
"},{"id":"66358","en":"DECO: Decoupled Multimodal Diffusion Transformer for Bimanual Dexterous Manipulation with a Plugin Tactile Adapter","ko":"DECO: 플러그인 촉각 어댑터를 갖는 양손 정교 조작을 위한 분리형 멀티모달 Diffusion Transformer","authors":"Xukun Li, Yu Sun, Lei Zhang, Bo-Sheng Huang, Yibo Peng, Yuan Meng, Haojun Jiang, Shaoxuan Xie, Guocai Yao, Alois Knoll, Zhenshan Bing, Xinlong Wang, Zhenguo Sun","pos":"#710","link":"https://openreview.net/forum?id=4N4BXVWEWg","abs":"Bimanual dexterous manipulation relies on integrating multimodal inputs to perform complex real-world tasks. To address the challenges of effectively combining these modalities, we propose DECO, a decoupled multimodal diffusion transformer that disentangles vision, proprioception, and tactile signals through specialized conditioning pathways, enabling structured and controllable integration of multimodal inputs, with a lightweight adapter for parameter-efficient injection of additional signals. Alongside DECO, we release DECO-50 dataset for bimanual dexterous manipulation with tactile sensing, consisting of 50 hours of data and over 5M frames, collected via teleoperation on real dual-arm robots. We train DECO on DECO-50 and conduct extensive real-world evaluation with over 2,000 robot rollouts. Experimental results show that DECO achieves the best performance across all tasks, with a 72.25\\% average success rate and a 21\\% improvement over the baseline. Moreover, the tactile adapter brings an additional 10.25\\% average success rate across all tasks and a 20\\% gain on complex contact-rich tasks while tuning less than 10\\% of the model parameters.
","absKo":"Bimanual dexterous manipulation은 복잡한 현실 세계 task를 수행하기 위해 multimodal input의 통합에 의존한다. 이러한 modality를 효과적으로 결합하는 데 따르는 문제를 해결하기 위해 우리는 vision, proprioception, tactile signal을 specialized conditioning pathway를 통해 분리하여 구조화되고 제어 가능한 multimodal input 통합을 가능하게 하는 decoupled multimodal diffusion transformer인 DECO를 제안하며, parameter-efficient하게 추가 signal을 주입하기 위한 lightweight adapter를 함께 사용한다. DECO와 함께 우리는 tactile sensing을 포함한 bimanual dexterous manipulation을 위한 DECO-50 dataset을 공개하는데, 이는 실제 dual-arm robot에 대한 teleoperation으로 수집한 50시간의 데이터와 5M개 이상의 frame으로 구성된다. 우리는 DECO-50에서 DECO를 학습하고 2,000회 이상의 robot rollout을 통해 광범위한 실제 평가를 수행한다. 실험 결과 DECO는 모든 task에서 가장 우수한 성능을 달성했으며, 평균 성공률 72.25\\%와 baseline 대비 21\\% 향상을 보였다. 또한 tactile adapter는 전체 task에서 추가로 평균 10.25\\%의 성공률을 높였고, model parameter의 10\\% 미만만 조정하면서도 복잡한 contact-rich task에서 20\\%의 향상을 달성했다.
"},{"id":"63375","en":"CorrectionPlanner: Self-Correction Planner with Reinforcement Learning in Autonomous Driving","ko":"CorrectionPlanner: 자율주행에서 강화학습을 활용한 자가 교정 계획기","authors":"Yihong Guo, Dongqiangzi Ye, Sijia Chen, Anqi Liu, Xianming Liu","pos":"#712","link":"https://openreview.net/forum?id=XgVZyybzHr","abs":"Autonomous driving requires safe planning, but most learning-based planners lack explicit self-correction ability: once an unsafe action is proposed, there is no mechanism to correct it. Thus, we propose CorrectionPlanner, an autoregressive planner with self-correction that models planning as motion-token generation within a propose, evaluate, and correct loop. At each planning step, the policy proposes an action, namely a motion token, and a learned collision critic predicts whether it will induce a collision within a short horizon. If the critic predicts a collision, we retain the sequence of historical unsafe motion tokens as a self-correction trace, generate the next motion token conditioned on it, and repeat this process until the safe motion token is proposed or the safety criterion is met. This self-correction trace, consisting of all the unsafe motion tokens, represents the planner’s correction process in motion-token space (analogous to reasoning trace in language models). We train the planner with imitation learning followed by model-based reinforcement learning using rollouts from a pretrained world model that realistically models agents' reactive behaviors. Closed-loop evaluations show that CorrectionPlanner reduces the collision rate by over 20% on Waymax and obtains state-of-the-art planning scores on nuPlan.
","absKo":"Autonomous driving에는 안전한 planning이 필요하지만, 대부분의 learning-based planner는 명시적인 self-correction 능력이 없다. 즉, unsafe action이 한 번 제안되면 이를 수정할 메커니즘이 없다. 이에 우리는 self-correction을 갖는 autoregressive planner인 CorrectionPlanner를 제안한다. 이 모델은 planning을 propose, evaluate, and correct loop 내의 motion-token generation으로 모델링한다. 각 planning step에서 policy는 action, 즉 motion token을 제안하고, 학습된 collision critic은 그것이 짧은 horizon 내에서 충돌을 유발할지 예측한다. critic이 충돌을 예측하면, 우리는 과거의 unsafe motion token 시퀀스를 self-correction trace로 유지하고, 이를 조건으로 다음 motion token을 생성한 뒤, safe motion token이 제안되거나 safety criterion이 충족될 때까지 이 과정을 반복한다. 모든 unsafe motion token으로 구성된 이 self-correction trace는 planner의 correction process를 motion-token space에서 나타낸 것으로, language model의 reasoning trace와 유사하다. 우리는 imitation learning으로 planner를 학습한 다음, 에이전트의 reactive behavior를 현실적으로 모델링하는 pretrained world model의 rollout을 사용한 model-based reinforcement learning을 수행한다. Closed-loop 평가 결과, CorrectionPlanner는 Waymax에서 collision rate를 20% 이상 줄이고, nuPlan에서 state-of-the-art planning score를 달성한다.
"},{"id":"62362","en":"CoIRL-AD: Collaborative-Competitive Imitation-Reinforcement Learning in Latent World Models for Autonomous Driving","ko":"CoIRL-AD: 자율주행용 Latent World Models의 협업-경쟁 Imitation-Reinforcement Learning","authors":"Xiaoji Zheng, Ziyuan Yang, Yuhang PENG, Yanhao Chen, Yuanrong Tang, Gengyuan Liu, Bokui Chen, Jiangtao Gong","pos":"#714","link":"https://openreview.net/forum?id=hGwbWNhWvd","abs":"End-to-end autonomous driving models trained with imitation learning (IL) often generalize poorly, particularly in long-tail scenarios where expert demonstrations are sparse. Reinforcement learning (RL) can provide complementary reward signals, but applying RL in real-world autonomous driving is challenging in offline settings without simulators, where datasets consist almost exclusively of expert actions and lack behavioral diversity. We propose CoIRL-AD, a competitive dual-policy framework that integrates IL and RL under a unified offline training regime. CoIRL-AD decouples IL and RL into separate actors to alleviate objective conflicts between imitation and reward maximization, and introduces a competition-based mechanism that stabilizes learning and enables effective exploration while remaining anchored to expert behavior. Experiments on the nuScenes benchmark show a 27\\% relative reduction in collision rate weighted by L2 error compared to strong baselines, with substantially larger gains on cross-city generalization (up to 77\\%) and long-tail scenarios (up to 85\\%), demonstrating that competitive integration of IL and RL significantly improves robustness in offline end-to-end autonomous driving. Code is available at: \\url{https://anonymous.4open.science/r/drive-with-two-minds}.
","absKo":"imitation learning (IL)으로 학습된 end-to-end autonomous driving 모델은 특히 expert demonstration이 희소한 long-tail 시나리오에서 일반화 성능이 떨어지는 경우가 많다. reinforcement learning (RL)은 보완적인 reward signal을 제공할 수 있지만, simulator가 없는 offline 설정에서 실제 autonomous driving에 RL을 적용하는 것은 어렵다. 이때 데이터셋은 거의 전적으로 expert action으로만 구성되어 있고 행동 다양성이 부족하기 때문이다. 우리는 IL과 RL을 unified offline training regime 아래 통합하는 competitive dual-policy 프레임워크인 CoIRL-AD를 제안한다. CoIRL-AD는 imitation과 reward maximization 사이의 objective conflict를 완화하기 위해 IL과 RL을 별도의 actor로 분리하고, expert behavior에 anchored된 상태를 유지하면서도 학습을 안정화하고 효과적인 exploration을 가능하게 하는 competition-based 메커니즘을 도입한다. nuScenes benchmark에서의 실험은 강력한 baseline 대비 L2 error로 가중된 collision rate를 27\\% 상대적으로 감소시켰으며, cross-city generalization에서는 훨씬 큰 향상(최대 77\\%), long-tail 시나리오에서는 최대 85\\%의 향상을 보였다. 이는 IL과 RL의 경쟁적 통합이 offline end-to-end autonomous driving에서 robustness를 크게 향상시킴을 보여준다. 코드는 다음에서 제공된다: \\url{https://anonymous.4open.science/r/drive-with-two-minds}.
"},{"id":"65223","en":"Characterizing Vision-Language-Action Models across XPUs: Constraints and Acceleration for On-Robot Deployment","ko":"XPU 전반에 걸친 Vision-Language-Action Model 특성화: 온-로봇 배포를 위한 제약과 가속","authors":"Kaijun Zhou, Da Peng, Qiwei Chen, Zhiyang Li, Xijun Li, Jinyu Gu","pos":"#715","link":"https://openreview.net/forum?id=Ffdn32iFeH","abs":"Vision-Language-Action (VLA) models are promising for generalist robot control, but on-robot deployment is bottlenecked by real-time inference under tight cost and energy budgets. Most prior evaluations rely on desktop-grade GPUs, obscuring the trade-offs and opportunities offered by heterogeneous edge accelerators (GPUs/XPUs/NPUs). We present a systematic framework for low-cost VLA deployment via model--hardware co-characterization. First, we build a cross-accelerator leaderboard and evaluate model--hardware pairs under \\textbf{CET} (Cost, Energy, Time), showing that ``right-sized'' edge devices can be more cost-/energy-efficient than flagship GPUs while meeting control-rate constraints. Second, using fine-grained SM tracing and Roofline analysis, we uncover a consistent two-phase inference pattern: a compute-bound VLM backbone followed by a memory-bound Action Expert, which induces phase-dependent underutilization and hardware inefficiency. Finally, guided by these insights, we propose \\textbf{DP-Cache} and \\textbf{V-AEFusion} to reduce diffusion redundancy and enable asynchronous pipeline parallelism, achieving up to (2.9\\times) speedup on GPUs and (3.3\\times) on edge NPUs with only marginal success degradation. The code will be publicly available once the acceptance of the paper. The example leaderboard website is: \\url{https://vla-leaderboard-01.vercel.app/}.
","absKo":"Vision-Language-Action (VLA) model은 generalist robot control에 유망하지만, 로봇 상 배포는 엄격한 비용 및 에너지 예산 하에서의 실시간 inference가 병목이다. 기존 평가의 대부분은 desktop급 GPU에 의존하여, heterogeneous edge accelerator (GPU/XPU/NPU)가 제공하는 trade-off와 기회를 가려버린다. 우리는 model--hardware co-characterization을 통해 저비용 VLA 배포를 위한 체계적 framework를 제시한다. 첫째, 우리는 cross-accelerator leaderboard를 구축하고 model--hardware pair를 \\textbf{CET} (Cost, Energy, Time) 기준으로 평가하여, 제어 속도 제약을 만족하면서도 \"right-sized\" edge device가 flagship GPU보다 더 비용/에너지 효율적일 수 있음을 보인다. 둘째, 세밀한 SM tracing과 Roofline analysis를 사용해, compute-bound VLM backbone 뒤에 memory-bound Action Expert가 이어지는 일관된 2단계 inference pattern을 밝혀내며, 이로 인해 phase-dependent underutilization과 hardware inefficiency가 발생함을 확인한다. 마지막으로, 이러한 통찰에 기반해 우리는 \\textbf{DP-Cache}와 \\textbf{V-AEFusion}을 제안하여 diffusion redundancy를 줄이고 asynchronous pipeline parallelism을 가능하게 하며, 성공률의 경미한 저하만으로 GPU에서 최대 (2.9\\times), edge NPU에서 최대 (3.3\\times)의 속도 향상을 달성한다. 코드는 논문 채택 후 공개될 예정이다. 예시 leaderboard 웹사이트는 \\url{https://vla-leaderboard-01.vercel.app/}이다.
"},{"id":"61637","en":"FoundObj: Self-supervised Foundation Models as Rewards for Label-free 3D Object Segmentation","ko":"FoundObj: Label-free 3D 객체 분할을 위한 Reward로서의 Self-supervised Foundation Model","authors":"Zihui Zhang, Zhixuan Sun, Yafei YANG, Jinxi Li, Jiahao Chen, Bo Yang","pos":"#1009","link":"https://openreview.net/forum?id=oDbc6DNJFj","abs":"We address the challenging task of 3D object segmentation in complex scene point clouds without relying on any scene-level human annotations during training. Existing methods are typically constrained to identifying simple objects, primarily due to insufficient object priors in the learning process. In this paper, we present FoundObj, a novel framework featuring a superpoint-based object discovery agent that incrementally merges suitable neighboring superpoints, guided by our innovative semantic and geometric reward modules. These modules synergistically leverage semantic and geometric priors from self-supervised 2D/3D foundation models, providing complementary feedback to the object discovery agent and enabling robust identification of multi-class objects through reinforcement learning. Extensive experiments on diverse benchmarks demonstrate that our approach consistently outperforms existing baselines. Notably, our method exhibits strong generalization in zero-shot and long-tail scenarios, underscoring its potential for scalable, label-free 3D object segmentation.
","absKo":"우리는 training 동안 scene-level human annotation에 의존하지 않고 복잡한 scene point clouds에서 3D object segmentation을 수행하는 어려운 task를 다룬다. 기존 방법들은 일반적으로 단순한 object만을 식별하는 데 제약되는데, 이는 learning 과정에서 object priors가 충분하지 않기 때문이다. 본 논문에서는 우리가 제안하는 혁신적인 semantic 및 geometric reward modules의 안내를 받아 적절한 neighboring superpoint를 점진적으로 병합하는 superpoint-based object discovery agent를 특징으로 하는 새로운 framework, FoundObj를 제시한다. 이 modules는 self-supervised 2D/3D foundation models로부터의 semantic 및 geometric priors를 시너지 있게 활용하여 object discovery agent에 상보적인 feedback을 제공하고, reinforcement learning을 통해 multi-class object를 강건하게 식별할 수 있게 한다. 다양한 benchmark에서 수행한 extensive experiments는 우리의 접근법이 기존 baselines를 일관되게 능가함을 보여준다. 특히, 우리의 method는 zero-shot 및 long-tail scenario에서 강한 generalization을 보이며, scalable하고 label-free한 3D object segmentation에 대한 잠재력을 강조한다.
"},{"id":"60655","en":"Fourier Features Let Agents Learn High Precision Policies with Imitation Learning","ko":"Fourier Feature는 에이전트가 Imitation Learning으로 고정밀 정책을 학습하게 한다","authors":"Balázs Gyenes, Emiliyan Gospodinov, Jan Frieling, Enrico Krohmer, Nicolas Schreiber, Xiaogang Jia, Niklas Freymuth, Gerhard Neumann","pos":"#302","link":"https://openreview.net/forum?id=y03xxeUkgN","abs":"Various 3D modalities have been proposed for high-precision imitation learning tasks to compensate for the short-comings of RGB-only policies. Modalities that explicitly represent positions in Cartesian space, such as most point cloud encoder architectures, have an inherent advantage over purely image-based ones, since they allow policies to reason about geometry. Despite the effectiveness of such architectures, a number of hybrid 2D/3D architectures have been proposed in the literature, indicating that this performance can often be task-dependent. We hypothesize that this discrepancy may be due to the spectral bias of neural networks towards learning low frequency functions, which especially affects architectures conditioned on slow-moving Cartesian features. We thus propose to use a parametric projection to map point clouds from Cartesian space into high-dimensional Fourier space when using a point cloud encoder. We experimentally validate the use of these Fourier features on challenging manipulation tasks from the RoboCasa and ManiSkill3 benchmarks, and on a real robot setup. Despite their simplicity, we find that Fourier features provide robust and significant benefits across diverse encoder architectures and tasks. These results indicate that Fourier features let policies leverage geometric details more effectively than Cartesian features, showing their potential as a general-purpose tool for point cloud-based imitation learning. The overview and demos are available on our project page: https://fourier-il.github.io/fourier-il.
","absKo":"RGB-only policy의 한계를 보완하기 위해 고정밀 imitation learning 과제에 다양한 3D modality가 제안되어 왔다. 대부분의 point cloud encoder architecture처럼 Cartesian space의 위치를 명시적으로 표현하는 modality는, policy가 geometry를 추론할 수 있게 해주므로 순수 이미지 기반 방식에 비해 본질적인 이점을 가진다. 이러한 architecture의 효과에도 불구하고, 문헌에서는 여러 hybrid 2D/3D architecture가 제안되어 왔으며, 이는 성능이 과제에 따라 달라질 수 있음을 시사한다. 우리는 이러한 차이가 neural network가 저주파 함수를 학습하는 데 편향되는 spectral bias 때문일 수 있다고 가정한다. 이는 특히 느리게 변하는 Cartesian feature에 조건화된 architecture에 큰 영향을 준다. 이에 우리는 point cloud encoder를 사용할 때 point cloud를 Cartesian space에서 고차원 Fourier space로 매핑하는 parametric projection을 사용할 것을 제안한다. 우리는 RoboCasa와 ManiSkill3 benchmark의 까다로운 manipulation task 및 실제 robot setup에서 이러한 Fourier feature의 사용을 실험적으로 검증한다. 단순함에도 불구하고, Fourier feature는 다양한 encoder architecture와 task 전반에 걸쳐 견고하고 유의미한 이점을 제공함을 확인했다. 이러한 결과는 Fourier feature가 Cartesian feature보다 policy가 geometric detail을 더 효과적으로 활용할 수 있게 해주며, point cloud-based imitation learning을 위한 범용 도구로서의 잠재력을 보여준다는 점을 시사한다. 개요와 demo는 프로젝트 페이지 https://fourier-il.github.io/fourier-il 에서 확인할 수 있다.
"},{"id":"62176","en":"GeoMoLa: Geometry-Aware Motion Latents for Learning Robust Manipulation Policies","ko":"GeoMoLa: Geometry-Aware Motion Latents로 강건한 Manipulation Policies 학습","authors":"Yunchao Zhang, Yijia Weng, Ruizhe Liu, Ming Hu, Leonidas Guibas, Yanchao Yang","pos":"#3511","link":"https://openreview.net/forum?id=j2Ivokp7vs","abs":"Learning motion latents for robotic manipulation heavily relies on extracting motion patterns from visual sequences, yet effective action abstractions require understanding three-dimensional geometric transformations. Here, we introduce GeoMoLa (Geometry-Aware Motion Latents), which learns discrete motion latent codes by predicting how point clouds evolve during manipulation rather than reconstructing visual observations. This four-dimensional objective – spatial geometry changing through time – forces latent representations to encode actual physical motion rather than appearance patterns. GeoMoLa achieves state-of-the-art performance using only single-view RGB-D input, while existing methods require multi-view reconstruction, succeeding across diverse manipulation benchmarks. Our ablations reveal that geometric prediction is the key to driving performance, quantitatively validating that manipulation depends on spatial understanding. Furthermore, the learned codes exhibit effective motion abstraction: applying them to novel scenes produces physically consistent transformations regardless of visual context. Our real-world experiments also confirm this robustness capability, achieving robust manipulation with minimal demonstrations in cluttered environments where geometric reasoning determines success. Thus, we demonstrate that effective motion latents for robot control can better emerge from understanding motion through its three-dimensional effects rather than pixel-level patterns.
","absKo":"로봇 조작을 위한 motion latent 학습은 시각적 sequence에서 motion pattern을 추출하는 데 크게 의존하지만, 효과적인 action abstraction을 위해서는 3차원 기하학적 변환에 대한 이해가 필요하다. 여기서 우리는 GeoMoLa (Geometry-Aware Motion Latents)를 소개한다. 이는 visual observation을 재구성하는 대신, point cloud가 조작 중 어떻게 진화하는지를 예측하여 discrete motion latent code를 학습한다. 이 4차원 목표, 즉 시간에 따라 변하는 공간 기하는 latent representation이 외형 패턴이 아니라 실제 물리적 motion을 인코딩하도록 강제한다. GeoMoLa는 단일 시점 RGB-D 입력만으로 state-of-the-art 성능을 달성하며, 기존 방법들이 multi-view reconstruction을 요구하는 것과 달리 다양한 manipulation benchmark 전반에서 성공한다. 우리의 ablation은 geometric prediction이 성능을 끌어올리는 핵심임을 드러내며, 조작이 spatial understanding에 의존한다는 점을 정량적으로 검증한다. 더 나아가 학습된 code는 효과적인 motion abstraction을 보이는데, 이를 새로운 scene에 적용하면 visual context와 무관하게 물리적으로 일관된 transformation을 생성한다. 실제 환경 실험 또한 이러한 robustness를 확인해 주며, 기하학적 reasoning이 성공을 좌우하는 cluttered environment에서 최소한의 demonstration만으로도 강인한 조작을 달성한다. 따라서 우리는 로봇 제어를 위한 효과적인 motion latent는 pixel-level pattern보다 motion의 3차원적 효과를 이해함으로써 더 잘 형성될 수 있음을 보인다.
"},{"id":"63426","en":"UniCoD: Enhancing Robot Policy via Unified Continuous and Discrete Representation Learning","ko":"UniCoD: 통합 연속 및 이산 표현 학습을 통한 로봇 정책 향상","authors":"Jianke Zhang, Yucheng Hu, Yanjiang Guo, Xiaoyu Chen, Yichen Liu, Wenna Chen, Chaochao Lu, Jianyu Chen","pos":"#3604","link":"https://openreview.net/forum?id=XIHBvLayrp","abs":"Building generalist robot policies that can handle diverse tasks in open-ended environments is a central challenge in robotics. To leverage knowledge from large-scale pretraining, prior work (VLA) has typically built generalist policies either on top of vision-language models (VLMs) or generative models. However, both semantic understanding from vision-language pretraining and visual dynamics modeling from visual-generation pretraining are crucial for embodied robots. Recent unified models of generation and understanding have demonstrated strong capabilities in both comprehension and generation through large-scale pretraining. We posit that robotic policy learning can likewise benefit from the combined strengths of understanding, planning and continuous future representation learning. Building on this insight, we introduce UniCoD, which acquires the ability to dynamically model high-dimensional visual features through pretraining on over 1M internet-scale instructional manipulation videos. Subsequently, UniCoD is fine-tuned on data collected from the robot embodiment, enabling the learning of mappings from predictive representations to action tokens. Extensive experiments show our approach consistently outperforms baseline methods in terms of 9\\% and 12\\% across simulation environments and real-world out-of-distribution tasks.
","absKo":"다양한 task를 열린 환경에서 처리할 수 있는 generalist robot policy를 구축하는 것은 robotics의 핵심 과제다. 대규모 pretraining에서 얻은 지식을 활용하기 위해, 기존 연구(VLA)는 대체로 vision-language model(VLM) 위에 generalist policy를 구축하거나 generative model을 사용하는 방식에 의존해 왔다. 그러나 embodied robot에는 vision-language pretraining에서 얻는 semantic understanding과 visual-generation pretraining에서 얻는 visual dynamics modeling이 모두 중요하다. 최근의 generation과 understanding을 통합한 unified model은 대규모 pretraining을 통해 이해와 생성 양쪽 모두에서 강력한 능력을 보여 주었다. 우리는 robotic policy learning 역시 understanding, planning, continuous future representation learning의 결합된 강점으로부터 이익을 얻을 수 있다고 본다. 이러한 통찰을 바탕으로, 우리는 100만 개가 넘는 인터넷 규모 instructional manipulation video로 pretraining하여 고차원 visual feature를 동적으로 모델링하는 능력을 획득하는 UniCoD를 제안한다. 이후 UniCoD는 robot embodiment에서 수집한 data로 fine-tuning되어, predictive representation에서 action token으로의 mapping을 학습한다. 광범위한 실험은 우리 방법이 simulation environment와 실제 out-of-distribution task에서 각각 9%와 12%의 성능 향상으로 baseline method를 일관되게 능가함을 보여준다.
"},{"id":"64780","en":"Instruction Decomposition and Action Alignment for Vision-Language Navigation","ko":"Vision-Language Navigation을 위한 Instruction 분해 및 Action Alignment","authors":"Zihao Xin, Wentong Li, Yixuan Jiang, Bin Wang, Piji Li, Jianke Zhu, Jie Qin, Sheng-Jun Huang","pos":"#3911","link":"https://openreview.net/forum?id=JuevNH20tI","abs":"Vision-and-Language Navigation (VLN) empowered by Multimodal Large Language Models (MLLMs) is promise, yet remains challenged by long-horizon tasks with complex user instructions. Existing approaches that continuously condition on full instructions incur high latency due to abundant visual tokens and exacerbates instruction interference, where irrelevant text noise induces hallucinations. To address these limitations, we propose IDEAL-VLN ( \\textbf{I}nstruction \\textbf{DE}composition and \\textbf{A}ction a\\textbf{L}ignment ), a novel paradigm that reformulates navigation as a causal inference chain. We decompose the task into two sequential steps: Semantic Anchoring and Action Alignment. We adopt a \\textit{Think-Before-Act} mechanism that first infers the immediate semantic anchor from the global context and then generates actions conditioned solely on this anchor. This design constructs an explicit information bottleneck, suppressing spurious correlations from irrelevant instruction. Moreover, to alleviate cognitive collapse and limited exploration during training, we introduce a hierarchical correction framework that combines semantic-level thought correction with a spatially-aware adaptive intervention strategy. This strategy adjusts expert intervention probability based on geodesic distance, effectively defining a semantic safety boundary. To support this paradigm, we contribute the Instruction-Aligned Navigation Dataset containing 160K image-text pairs. Extensive experiments demonstrate that IDEAL-VLN achieves state-of-the-art performance and robustness across major benchmarks while significantly reducing inference costs.
","absKo":"Multimodal Large Language Models (MLLMs)로 구동되는 Vision-and-Language Navigation (VLN)은 유망하지만, 복잡한 사용자 지시를 포함하는 long-horizon task에서는 여전히 어려움을 겪는다. 전체 instruction에 계속 조건화하는 기존 접근법은 abundant visual tokens 때문에 높은 latency를 초래하고, irrelevant text noise가 hallucinations를 유발하는 instruction interference를 악화시킨다. 이 한계를 해결하기 위해, 우리는 navigation을 causal inference chain으로 재구성하는 새로운 패러다임인 IDEAL-VLN ( \\textbf{I}nstruction \\textbf{DE}composition and \\textbf{A}ction a\\textbf{L}ignment )을 제안한다. 우리는 task를 Semantic Anchoring과 Action Alignment라는 두 개의 순차 단계로 분해한다. 우리는 먼저 global context로부터 immediate semantic anchor를 추론한 뒤, 이 anchor에만 조건화하여 action을 생성하는 \\textit{Think-Before-Act} mechanism을 채택한다. 이 설계는 explicit information bottleneck을 구성하여 irrelevant instruction에서 비롯되는 spurious correlations를 억제한다. 더 나아가, training 동안의 cognitive collapse와 limited exploration을 완화하기 위해, semantic-level thought correction과 spatially-aware adaptive intervention strategy를 결합한 hierarchical correction framework를 도입한다. 이 전략은 geodesic distance에 따라 expert intervention probability를 조정하여 semantic safety boundary를 효과적으로 정의한다. 이 패러다임을 지원하기 위해, 우리는 160K image-text pairs로 구성된 Instruction-Aligned Navigation Dataset을 제공한다. 광범위한 실험은 IDEAL-VLN이 주요 benchmarks 전반에서 state-of-the-art performance와 robustness를 달성하면서 inference cost를 크게 줄임을 보여준다.
"},{"id":"60775","en":"SafeDec: Constrained Decoding for Safe Autoregressive Generalist Robot Navigation Policies","ko":"SafeDec: 안전한 Autoregressive Generalist Robot Navigation Policy를 위한 Constrained Decoding","authors":"Parv Kapoor, Akila Ganlath, Michael Clifford, Changliu Liu, Sebastian Scherer, Eunsuk Kang","pos":"#400","link":"https://openreview.net/forum?id=woiiKET6bn","abs":"Recent advances in end-to-end, multi-task robot policies based on transformer models have demonstrated impressive generalization to real-world embodied navigation tasks. Trained on vast datasets of simulated and real-world trajectories, these policies map multimodal observations directly to action sequences for physical execution. Despite promising real-world capabilities, these models are still data-driven and, therefore, lack explicit notions of behavioral correctness. We address this gap by introducing SafeDec, a constrained decoding framework for autoregressive, transformer-based robot navigation policies that enforces safety specifications expressed as Signal Temporal Logic (STL) formulas. Our method ensures that generated actions provably satisfy STL specifications under assumed dynamics at runtime without retraining while remaining agnostic of the underlying policy. We evaluate SafeDec on tasks from the CHORES benchmark for state-of-the-art embodied navigation policies across hundreds of procedurally generated environments and show that our decoding-time interventions are useful not only for filtering unsafe actions but also for conditional action generation. Videos are available at constrained-robot-fms.github.io.
","absKo":"transformer 모델 기반의 end-to-end multi-task robot policy에 대한 최근 발전은 실제 embodied navigation task로의 뛰어난 generalization을 보여주었다. 방대한 simulated 및 real-world trajectory 데이터셋으로 학습된 이러한 policy는 multimodal observation을 물리적 실행을 위한 action sequence로 직접 매핑한다. 유망한 실제 능력에도 불구하고, 이러한 모델은 여전히 data-driven이며, 따라서 behavioral correctness에 대한 명시적 개념이 부족하다. 우리는 Signal Temporal Logic (STL) formula로 표현된 safety specification을 강제하는, autoregressive transformer 기반 robot navigation policy를 위한 constrained decoding 프레임워크 SafeDec를 도입하여 이 간극을 해결한다. 우리의 방법은 underlying policy와 무관하게, retraining 없이 runtime에서 가정된 dynamics 하에 생성된 action이 STL specification을 provably satisfy하도록 보장한다. 우리는 CHORES benchmark의 task들에 대해 state-of-the-art embodied navigation policy를 대상으로 수백 개의 procedurally generated environment 전반에서 SafeDec를 평가하고, decoding-time intervention이 unsafe action filtering뿐 아니라 conditional action generation에도 유용함을 보인다. 영상은 constrained-robot-fms.github.io에서 제공된다."},{"id":"66169","en":"VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model","ko":"VLAW: Vision-Language-Action 정책과 World Model의 반복적 상호 개선","authors":"Yanjiang Guo, Tony Lee, Lucy Xiaoyang Shi, Jianyu Chen, Percy Liang, Chelsea Finn","pos":"#4009","link":"https://openreview.net/forum?id=68zOaa2gOf","abs":"The goal of this paper is to improve the performance and reliability of vision-language-action (VLA) models through iterative online interaction. Since collecting policy rollouts in the real world is expensive, we investigate whether a learned simulator—specifically, an action-conditioned video generation model—can be used to generate additional rollout data. Unfortunately, existing world models lack the physical fidelity necessary for policy improvement: they are predominantly trained on demonstration datasets that lack coverage of many different physical interactions (particularly failure cases) and struggle to accurately model small yet critical physical details in contact-rich object manipulation. We propose a simple iterative improvement algorithm that uses real-world roll-out data to improve the fidelity of the world model, which can then, in turn, be used to generate supplemental synthetic data for improving the VLA model. In our experiments on a real robot, we use this approach to improve the performance of a state-of-the-art VLA model on multiple downstream tasks. We achieve a 39.2\\% absolute success rate improvement over the base policy and 11.6\\% improvement from training with the generated synthetic rollouts. Videos can be found at this anonymous website: \\url{https://sites.google.com/view/vla-w}.
","absKo":"이 논문의 목표는 iterative online interaction을 통해 vision-language-action (VLA) model의 성능과 신뢰성을 향상시키는 것이다. 실제 세계에서 policy rollout을 수집하는 것은 비용이 많이 들기 때문에, 우리는 학습된 simulator, 특히 action-conditioned video generation model을 사용해 추가 rollout data를 생성할 수 있는지 조사한다. 불행히도 기존 world model은 policy improvement에 필요한 물리적 fidelity가 부족하다. 이들은 주로 다양한 물리적 interaction(특히 failure case)을 충분히 포괄하지 못하는 demonstration dataset으로 학습되며, contact-rich object manipulation에서 작지만 중요한 물리적 세부 사항을 정확하게 모델링하는 데 어려움을 겪는다. 우리는 real-world roll-out data를 사용해 world model의 fidelity를 개선하고, 그 향상된 world model을 다시 활용해 VLA model 개선을 위한 보조 synthetic data를 생성하는 간단한 iterative improvement algorithm을 제안한다. 실제 로봇에서의 실험에서, 우리는 이 접근법을 사용하여 state-of-the-art VLA model의 여러 downstream task 성능을 향상시킨다. 우리는 base policy 대비 39.2\\%의 절대 성공률 향상과, 생성된 synthetic rollout으로 학습했을 때 11.6\\%의 향상을 달성한다. 영상은 다음 익명 웹사이트에서 확인할 수 있다: \\url{https://sites.google.com/view/vla-w}.
"},{"id":"62749","en":"Scaling by Diversified Experience for Vision-Language-Action Models","ko":"Vision-Language-Action 모델에서 Diversified Experience 기반 스케일링","authors":"Leiyu Wang, Zhaofengnian Wang, Xueqi Li, Luoyi Fan, Cewu Lu, Nanyang Ye","pos":"#403","link":"https://openreview.net/forum?id=diM2jCKgZW","abs":"Vision-Language-Action models face significant challenges in real-world deployment due to the entanglement of high-level reasoning with low-level control, and the instability of policy optimization. In this paper, we introduce SyVLA, a robust VLA model trained with diversified experiences. We propose an Intention Decoupling algorithm to isolate control-relevant features from reasoning contexts and a similar-sample guided RL pipeline to stabilize policy updates and mitigate distribution shift. Extensive experiments on real-world robotic tasks and multi-modal benchmarks demonstrate that SyVLA achieves superior task success rates and stronger out-of-distribution generalization compared to existing methods, while effectively preserving core vision-language capabilities.
","absKo":"Vision-Language-Action model은 고수준 추론과 저수준 제어의 얽힘, 그리고 policy optimization의 불안정성 때문에 실제 배치에서 상당한 어려움을 겪는다. 본 논문에서는 다양한 경험으로 학습된 견고한 VLA model인 SyVLA를 소개한다. 우리는 control과 관련된 feature를 reasoning context로부터 분리하는 Intention Decoupling algorithm과, policy update를 안정화하고 distribution shift를 완화하는 similar-sample guided RL pipeline을 제안한다. 실제 로봇 task와 multi-modal benchmark에 대한 광범위한 실험은 SyVLA가 기존 방법과 비교해 더 높은 task success rate와 더 강한 out-of-distribution generalization을 달성하면서도 핵심 vision-language capability를 효과적으로 보존함을 보여준다."},{"id":"65010","en":"See What Matters: Differentiable Grid Sample Pruning for Generalizable Vision-Language-Action Model","ko":"중요한 것을 보라: 일반화 가능한 Vision-Language-Action 모델을 위한 미분 가능한 Grid Sample Pruning","authors":"Yixu Feng, Zinan Zhao, Yanxiang Ma, Chenghao Xia, Chengbin Du, Yunke Wang, Chang Xu","pos":"#405","link":"https://openreview.net/forum?id=HpIhfqaLwa","abs":"Vision-Language-Action (VLA) models have shown remarkable promise in robotics manipulation, yet their high computational cost hinders real-time deployment. Existing token pruning methods suffer from a fundamental trade-off: aggressive compression using pruning inevitably discards critical geometric details like contact points, leading to severe performance degradation. This forces a compromise, limiting the achievable compression rate and thus the potential speedup. We argue that breaking this trade-off requires rethinking compression as a geometry-aware, continuous token resampling in the vision encoder. To this end, we propose the Differentiable Grid Sampler (GridS), a plug-and-play module that performs task-aware, continuous resampling of visual tokens in VLA. By adaptively predicting a minimal set of salient coordinates and extracting features via differentiable interpolation, GridS preserves essential spatial information while achieving drastic compression (with fewer than 10\\% original visual tokens). Experiments on both LIBERO benchmark and a real robotic platform demonstrate that validating the lowest feasible visual token count reported to date, GridS achieves a 76\\% reduction in FLOPs with no degradation in the success rate.
","absKo":"Vision-Language-Action(VLA) 모델은 robotics manipulation에서 놀라운 가능성을 보여 주었지만, 높은 계산 비용 때문에 real-time deployment가 어렵다. 기존의 token pruning 방법은 근본적인 trade-off를 가진다. pruning을 통한 공격적인 compression은 contact point와 같은 중요한 geometric detail을 필연적으로 버리게 되어 심각한 성능 저하를 초래한다. 이로 인해 타협이 강제되며, 달성 가능한 compression rate와 그에 따른 speedup의 잠재력이 제한된다. 우리는 이러한 trade-off를 깨기 위해 compression을 vision encoder에서 geometry-aware한 continuous token resampling으로 재정의해야 한다고 주장한다. 이를 위해 우리는 Differentiable Grid Sampler(GridS)를 제안한다. GridS는 VLA에서 visual token의 task-aware continuous resampling을 수행하는 plug-and-play module이다. 최소한의 salient coordinate 집합을 적응적으로 예측하고 differentiable interpolation을 통해 feature를 추출함으로써, GridS는 본질적인 spatial information을 보존하면서도 대폭적인 compression을 달성한다(원래 visual token의 10\\% 미만). LIBERO benchmark와 실제 robotic platform 모두에서 수행한 실험은, 지금까지 보고된 가장 낮은 feasible visual token count를 검증하면서 GridS가 success rate 저하 없이 FLOPs를 76\\% 줄임을 보여 준다.
"},{"id":"61416","en":"Seeing Realism from Simulation: Efficient Video Transfer for Vision-Language-Action Data Augmentation","ko":"Simulation에서 Realism 보기: Vision-Language-Action Data Augmentation을 위한 효율적 Video Transfer","authors":"Chenyu Hui, Xiaodi Huang, Siyu Xu, Yunke Wang, Shan You, Fei Wang, Tao Huang, Chang Xu","pos":"#406","link":"https://openreview.net/forum?id=qOed6VUiqh","abs":"Vision-language-action (VLA) models typically rely on large-scale real-world videos, whereas simulated data, despite being inexpensive and highly parallelizable to collect, often suffers from a substantial visual domain gap and limited environmental diversity, resulting in weak real-world generalization. We present an efficient video augmentation framework that converts simulated VLA videos into realistic training videos while preserving task semantics and action trajectories. Our pipeline extracts structured conditions from simulation via video semantic segmentation and video captioning, rewrites captions to diversify environments, and uses a conditional video transfer model to synthesize realistic videos. To make augmentation practical at scale, we introduce a diffusion feature-reuse mechanism that reuses video tokens across adjacent timesteps to accelerate generation, and a coreset sampling strategy that identifies a compact, non-redundant subset for augmentation under limited computation. Extensive experiments on RobotWin 2.0, LIBERO, LIBERO-Plus, and a real robotic platform demonstrate consistent improvements in both task performance and sim-to-real generalization. For example, our method improves RDT-1B by 8% on RobotWin 2.0, and boosts $\\pi_0$ by 5.1% on the more challenging LIBERO-Plus benchmark. Code is released in supplementary material.","absKo":"Vision-language-action(VLA) model은 일반적으로 대규모 실제 비디오에 의존하는 반면, 시뮬레이션 데이터는 수집 비용이 낮고 병렬화가 뛰어나지만 시각적 domain gap이 크고 환경 다양성이 제한되어 real-world generalization이 약하다. 우리는 task semantics와 action trajectory를 보존하면서 시뮬레이션 VLA 비디오를 현실적인 training video로 변환하는 효율적인 video augmentation framework를 제시한다. 우리의 pipeline은 video semantic segmentation과 video captioning을 통해 simulation에서 structured condition을 추출하고, caption을 다시 작성하여 환경의 다양성을 높이며, conditional video transfer model을 사용해 현실적인 비디오를 합성한다. 대규모에서 augmentation을 실용적으로 만들기 위해, 우리는 인접한 timestep 간 video token을 재사용해 생성을 가속하는 diffusion feature-reuse mechanism과, 제한된 계산 하에서 augmentation을 위해 작고 중복이 없는 subset을 식별하는 coreset sampling strategy를 도입한다. RobotWin 2.0, LIBERO, LIBERO-Plus, 그리고 실제 robotic platform에서 수행한 광범위한 실험은 task performance와 sim-to-real generalization 모두에서 일관된 향상을 보여준다. 예를 들어, 우리의 방법은 RobotWin 2.0에서 RDT-1B를 8% 향상시키고, 더 어려운 LIBERO-Plus benchmark에서는 $\\pi_0$를 5.1% 향상시킨다. 코드는 supplementary material에서 공개된다."},{"id":"65454","en":"Self-CriTeach: LLM Self-Teaching and Self-Critiquing for Improving Robotic Planning via Automated Domain Generation","ko":"Self-CriTeach: 자동화된 도메인 생성을 통한 로봇 계획 개선을 위한 LLM 자기 교육 및 자기 비평","authors":"Jinbang Huang, Zhiyuan Li, Yuanzhao Hu, Zhanguang Zhang, Mark Coates, Xingyue Quan, Yingxue Zhang","pos":"#407","link":"https://openreview.net/forum?id=DVDepvPVd1","abs":"Large Language Models (LLMs) have recently shown strong promise for robotic task planning, particularly through automatic planning domain generation. Planning domains are brittle under imperfect logical states and perception noise; prior approaches largely treat generated planning domains as plan utilities, overlooking their potential as scalable sources of reasoning supervision and structured reward signals. At the same time, reasoning LLMs depend on chain-of-thought (CoT) supervision that is expensive to collect for robotic tasks, and reinforcement learning (RL) faces challenges on reward engineering. We propose Self-CriTeach, an LLM self-teaching and self-critiquing framework in which an LLM autonomously generates symbolic planning domains that serve a dual role: (i) enabling large-scale generation of robotic planning problem–plan pairs, and (ii) providing structured reward functions. First, the self-written domains enable large-scale generation of symbolic task plans, which are automatically transformed into extended CoT trajectories for supervised fine-tuning. Second, the self-written domains are reused as structured reward functions, providing dense feedback for reinforcement learning without manual reward engineering. This unified training pipeline yields a planning-enhanced LLM with higher planning success rates, stronger cross-task generalization, reduced inference cost, and resistance to imperfect logical states.
","absKo":"Large Language Models (LLMs)는 최근 로봇 task planning, 특히 automatic planning domain generation을 통해 강한 가능성을 보여주었다. 그러나 planning domain은 불완전한 logical state와 perception noise에 취약하다. 기존 접근은 대체로 생성된 planning domain을 plan utility로만 취급하며, reasoning supervision과 structured reward signal의 확장 가능한 원천으로서의 잠재력은 간과해왔다. 동시에 reasoning LLM은 로봇 task에 대해 수집 비용이 큰 chain-of-thought (CoT) supervision에 의존하며, reinforcement learning (RL)은 reward engineering에서 어려움을 겪는다. 우리는 Self-CriTeach를 제안한다. 이는 LLM이 자율적으로 symbolic planning domain을 생성하는 self-teaching 및 self-critiquing framework로, 다음의 이중 역할을 수행한다. (i) 대규모 robotic planning problem–plan pair 생성을 가능하게 하고, (ii) structured reward function을 제공한다. 첫째, self-written domain은 symbolic task plan의 대규모 생성을 가능하게 하며, 이는 자동으로 확장된 CoT trajectory로 변환되어 supervised fine-tuning에 사용된다. 둘째, self-written domain은 structured reward function으로 재사용되어, 수동 reward engineering 없이 reinforcement learning에 dense feedback을 제공한다. 이 통합 training pipeline은 planning-enhanced LLM을 만들어 더 높은 planning success rate, 더 강한 cross-task generalization, 더 낮은 inference cost, 그리고 불완전한 logical state에 대한 견고성을 달성한다.
"},{"id":"65559","en":"SkillNet: Hierarchical Skill Modeling for Compositional Generalization in Vision-Language Action Models","ko":"SkillNet: Vision-Language Action Model에서 조합적 일반화를 위한 계층적 스킬 모델링","authors":"Senwei Xie, Yuntian Zhang, Zhenzhou Tan, Ruiping Wang, Pengwei Wang, Shanghang Zhang, Xilin Chen","pos":"#409","link":"https://openreview.net/forum?id=CPuJWWgka2","abs":"Transfer across diverse task compositions and unseen behaviors remains a significant challenge for vision-language action (VLA) models. Skills are repeatable and atomic components for various tasks, and similarities shared with different skills provide evidence for transferability across behaviors. However, existing skill-centric methods have two problems. First, skills are often loosely organized, lacking a hierarchy that can capture similarities and differences across skills. Second, they lack a mechanism which has the capacity to express transferable skill attributes in a structured parametric space. To this end, we propose SkillNet, which models skill attributes in a hierarchical way and regulates compositional model structure with transferable skill attributes. SkillNet exploits motion code and VerbNet Framework to explicitly model similarities of skills on mechanical properties and semantic roles, and organizes skills in a hierarchical way. Based on this hierarchy, SkillNet leverages the scalability of the mixture-of-experts (MoE) mechanism and develops skill embeddings as soft constraints to enable compositional generalization via similar expert activations on similar skills. On zero-shot and few-shot transfer experiments in simulators and real-world environments, SkillNet achieves an improvement of performance by 16.0% and 23.9%. Meanwhile, SkillNet achieves state-of-the-art performance on in-domain settings.
","absKo":"다양한 task composition과 보지 못한 behavior로의 transfer는 vision-language action (VLA) model에서 여전히 큰 과제다. skill은 다양한 task를 구성하는 반복 가능하고 원자적인 component이며, 서로 다른 skill이 공유하는 유사성은 behavior 간 transferability의 근거를 제공한다. 그러나 기존의 skill-centric method에는 두 가지 문제가 있다. 첫째, skill이 종종 느슨하게 조직되어 있어 skill 간 유사성과 차이를 포착할 수 있는 hierarchy가 부족하다. 둘째, transfer 가능한 skill attribute를 구조화된 parametric space에서 표현할 수 있는 메커니즘이 부족하다. 이를 위해 우리는 skill attribute를 hierarchical하게 모델링하고 transferable skill attribute로 compositional model structure를 조절하는 SkillNet을 제안한다. SkillNet은 motion code와 VerbNet Framework를 활용해 mechanical property와 semantic role에 대한 skill 유사성을 명시적으로 모델링하고, skill을 hierarchical하게 조직한다. 이 hierarchy를 기반으로 SkillNet은 mixture-of-experts (MoE) mechanism의 확장성을 활용하고, 유사한 skill에서 유사한 expert activation이 일어나도록 soft constraint로서 skill embedding을 개발하여 compositional generalization을 가능하게 한다. simulator와 실제 환경에서의 zero-shot 및 few-shot transfer 실험에서 SkillNet은 성능을 각각 16.0%와 23.9% 향상시켰다. 한편, SkillNet은 in-domain setting에서도 state-of-the-art 성능을 달성한다.
"},{"id":"62473","en":"LAST: Bridging Vision-Language and Action Manifolds via Gromov-Wasserstein Alignment","ko":"LAST: Gromov-Wasserstein Alignment을 통한 Vision-Language와 Action Manifolds 연결","authors":"Huaihai Lyu, Chaofan Chen, Yuheng Ji, Xiansheng Chen, Pengwei Wang, Shanghang Zhang, Changsheng Xu","pos":"#4105","link":"https://openreview.net/forum?id=gIkOQkb4fU","abs":"We formulate the learning of generalist Vision-Language-Action (VLA) models as a Gromov-Wasserstein alignment problem, aiming to map semantically similar VL embeddings to physically similar motion primitives. However, solving this is challenging due to the mathematical heterogeneity between the domains: the semantic space of vision-language is topologically linear and isotropic, while the physical manifold of robotic action is non-Euclidean and anisotropic. As a result, direct regression approaches fail due to the disjoint metric structures of these domains, making standard distance minimization ill-posed. To resolve this incompatibility, we introduce LAST (Lie-algebraic Action Space Tokenizer). LAST reconstructs the action space to establish a more consistent metric alignment between the VL and Action modalities. Specifically, LAST bridges the heterogeneity via two stages: (1) Global Topological Linearization, which linearizes the action manifold through Lie-algebraic mapping, converting trajectories into a fixed-length, physically additive representation; and (2) Local Metric Discretization, where the representation is discretized hierarchically into schemas and whitened residuals, establishing a mathematical isomorphism with the isotropic Euclidean metric. By addressing the structural mismatch globally and locally, LAST enables VLA models with enhanced convergence and generalizability.
","absKo":"우리는 generalist Vision-Language-Action(VLA) model의 학습을 Gromov-Wasserstein alignment 문제로 정식화하며, 의미적으로 유사한 VL embedding을 물리적으로 유사한 motion primitive에 매핑하는 것을 목표로 한다. 그러나 vision-language의 semantic space는 topologically linear하고 isotropic한 반면, robotic action의 physical manifold는 non-Euclidean이고 anisotropic하기 때문에, 도메인 간 mathematical heterogeneity로 인해 이를 해결하는 것이 어렵다. 그 결과, 직접 회귀 접근법은 이들 도메인의 분리된 metric structure 때문에 실패하며, 표준 distance minimization은 ill-posed가 된다. 이러한 비호환성을 해결하기 위해 우리는 LAST(Lie-algebraic Action Space Tokenizer)를 도입한다. LAST는 action space를 재구성하여 VL과 Action modality 사이에 더 일관된 metric alignment를 확립한다. 구체적으로, LAST는 두 단계로 이질성을 연결한다: (1) Global Topological Linearization, 즉 Lie-algebraic mapping을 통해 action manifold를 선형화하여 trajectory를 고정 길이의 물리적으로 가산 가능한 표현으로 변환하고; (2) Local Metric Discretization, 즉 표현을 schema와 whitened residual로 계층적으로 이산화하여 isotropic Euclidean metric과 수학적 isomorphism을 형성한다. 구조적 불일치를 전역 및 국소 수준에서 모두 해결함으로써, LAST는 convergence와 generalizability가 향상된 VLA model을 가능하게 한다.
"},{"id":"62962","en":"UniMapping: Unified SLAM Framework for Map-Centric Embodied Perception","ko":"UniMapping: Map-Centric Embodied Perception을 위한 통합 SLAM Framework","authors":"Xiaze Zhang, Ziheng Ding, Yuejie Zhang, lifeng chen, Rui Feng","pos":"#413","link":"https://openreview.net/forum?id=bQkKVGuHZA","abs":"Simultaneous Localization and Mapping (SLAM) is increasingly expected to provide reusable spatial representations for downstream perception. However, existing approaches often struggle with scale-consistency and producing maps that lack the geometric fidelity required for reliable perception. We propose UniMapping, a unified SLAM framework that constructs a persistent neural-descriptor map from multimodal observations. We introduce a Spatial-Aware Deformable Transformer that injects explicit geometric inductive bias to ensure scale-invariant feature extraction, alongside a Spatial Fusion strategy that decouples feature aggregation from temporal sequences. Extensive experiments on both indoor and outdoor benchmarks demonstrate competitive SLAM performance. Notably, our method significantly enhances downstream tasks (mAP +3.1% and mIoU +7.1%) by leveraging accumulated multi-view context.
","absKo":"Simultaneous Localization and Mapping (SLAM)은 downstream perception을 위해 재사용 가능한 공간 표현을 제공해야 하는 요구가 점점 커지고 있다. 그러나 기존 접근법은 scale-consistency와, 신뢰할 수 있는 perception에 필요한 기하학적 충실도를 갖춘 map을 생성하는 데 종종 어려움을 겪는다. 우리는 multimodal observation으로부터 persistent neural-descriptor map을 구성하는 통합 SLAM framework인 UniMapping을 제안한다. 우리는 명시적인 geometric inductive bias를 주입하여 scale-invariant feature extraction을 보장하는 Spatial-Aware Deformable Transformer와, feature aggregation을 temporal sequence로부터 분리하는 Spatial Fusion strategy를 도입한다. indoor와 outdoor benchmark 모두에 대한 광범위한 실험은 경쟁력 있는 SLAM 성능을 보여준다. 특히, 우리의 방법은 누적된 multi-view context를 활용하여 downstream task를 크게 향상시킨다(mAP +3.1%, mIoU +7.1%).
"},{"id":"65933","en":"RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies","ko":"RoboMME: 로봇 일반주의 정책을 위한 메모리 벤치마킹 및 이해","authors":"Yinpei Dai, Hongze Fu, Jayjun Lee, Yuejiang Liu, Haoran Zhang, Jianing Yang, Chelsea Finn, Nima Fazeli, Joyce Chai","pos":"#502","link":"https://openreview.net/forum?id=8m30ogkPk2","abs":"Memory is critical for long-horizon and history-dependent robotic manipulation. Such tasks often involve counting repeated actions or manipulating objects that become temporarily occluded. Recent vision-language-action (VLA) models have begun to incorporate memory mechanisms; however, their evaluations remain confined to narrow, non-standardized settings. This limits their systematic understanding, comparison, and progress measurement. To address these challenges, we introduce **RoboMME**: a large-scale standardized benchmark for evaluating and advancing VLA models in long-horizon, history-dependent scenarios. Our benchmark comprises 16 manipulation tasks constructed under a carefully designed taxonomy that evaluates temporal, spatial, object, and procedural memory. We further develop a suite of 14 memory-augmented VLA variants built on the $\\pi_{0.5}$ backbone to systematically explore different memory representations across multiple integration strategies. We show that the effectiveness of memory representations is highly task-dependent, with each design offering distinct advantages and limitations across different tasks. Videos and code can be found in https://anonymtest1.github.io","absKo":"Memory는 long-horizon 및 history-dependent robotic manipulation에서 핵심적이다. 이러한 task는 종종 반복된 행동을 세거나, 일시적으로 가려지는 object를 조작하는 일을 포함한다. 최근 vision-language-action (VLA) model은 memory mechanism을 통합하기 시작했지만, 그 평가는 여전히 좁고 표준화되지 않은 setting에 국한되어 있다. 이는 체계적인 이해, 비교, 그리고 진전 측정을 제한한다. 이러한 문제를 해결하기 위해 우리는 **RoboMME**를 소개한다. 이는 long-horizon, history-dependent scenario에서 VLA model을 평가하고 발전시키기 위한 대규모 표준 benchmark이다. 우리의 benchmark는 temporal, spatial, object, procedural memory를 평가하도록 세심하게 설계된 taxonomy 아래에서 구성된 16개의 manipulation task로 이루어져 있다. 또한 우리는 $\\pi_{0.5}$ backbone 위에 구축된 memory-augmented VLA variant 14개를 개발하여, 여러 integration strategy 전반에 걸친 다양한 memory representation을 체계적으로 탐색한다. 우리는 memory representation의 효과가 task에 매우 의존적이며, 각 설계가 서로 다른 task에서 고유한 장점과 한계를 제공함을 보인다. Video와 code는 https://anonymtest1.github.io 에서 확인할 수 있다"},{"id":"66341","en":"ReLAM: Learning Anticipation Model for Rewarding Visual Robotic Manipulation","ko":"ReLAM: 시각적 로봇 조작 보상을 위한 예측 모델 학습","authors":"Nan Tang, Jing-Cheng Pang, Guanlin Li, Chao Qian, Yang Yu","pos":"#504","link":"https://openreview.net/forum?id=4XHiXa48fA","abs":"Reward design remains a critical bottleneck in visual reinforcement learning (RL) for robotic manipulation. In simulated environments, rewards are conventionally designed based on the distance to a target position. However, such precise positional information is often unavailable in real-world visual settings due to sensory and perceptual limitations. In this study, we propose a method that implicitly infers spatial distances through keypoints extracted from images. Building on this, we introduce Reward Learning with Anticipation Model (ReLAM), a novel framework that automatically generates dense, structured rewards from action-free video demonstrations. ReLAM first learns an anticipation model that serves as a planner and proposes intermediate keypoint-based subgoals on the optimal path to the final goal, creating a structured learning curriculum directly aligned with the task's geometric objectives. Based on the anticipated subgoals, a continuous reward signal is provided to train a low-level, goal-conditioned policy under the hierarchical reinforcement learning (HRL) framework with provable sub-optimality bound. Extensive experiments on complex, long-horizon manipulation tasks show that ReLAM significantly accelerates learning and achieves superior performance compared to SOTA methods.
","absKo":"reward design은 robotic manipulation을 위한 visual reinforcement learning (RL)에서 여전히 중요한 병목이다. 시뮬레이션 환경에서는 reward를 일반적으로 target position까지의 distance를 기준으로 설계한다. 그러나 이러한 정확한 positional information은 sensory 및 perceptual limitation 때문에 현실 세계의 visual setting에서는 종종 얻을 수 없다. 본 연구에서는 image에서 추출한 keypoint를 통해 spatial distance를 암묵적으로 추론하는 방법을 제안한다. 이를 바탕으로 우리는 action-free video demonstration으로부터 dense하고 structured한 reward를 자동 생성하는 새로운 framework인 Reward Learning with Anticipation Model (ReLAM)을 소개한다. ReLAM은 먼저 planner 역할을 하는 anticipation model을 학습하고, 최종 goal로 가는 optimal path 상의 중간 keypoint 기반 subgoal을 제안함으로써, task의 geometric objective와 직접 정렬된 structured learning curriculum을 만든다. 예상된 subgoal에 기반해 continuous reward signal이 제공되며, 이는 provable sub-optimality bound를 갖는 hierarchical reinforcement learning (HRL) framework 하에서 low-level goal-conditioned policy를 학습하는 데 사용된다. 복잡하고 long-horizon인 manipulation task에서의 광범위한 실험은 ReLAM이 학습을 크게 가속하고 SOTA method 대비 우수한 성능을 달성함을 보여준다.
"},{"id":"65782","en":"RDT2: Exploring the Scaling Limit of UMI Data Towards Zero-Shot Cross-Embodiment Generalization","ko":"RDT2: Zero-Shot 교차 신체 일반화를 향한 UMI 데이터의 스케일링 한계 탐구","authors":"LIU SONGMING, Bangguo Li, Kai Ma, Lingxuan Wu, Hengkai Tan, Xiao Ouyang, Hang Su, Jun Zhu","pos":"#505","link":"https://openreview.net/forum?id=ABrWtqsJYp","abs":"Vision-Language-Action (VLA) models hold promise for generalist robotics but currently struggle with data scarcity, architectural inefficiencies, and the inability to generalize across different hardware platforms. We introduce RDT2, a robotic foundation model built upon a 7B parameter VLM designed to enable zero-shot deployment on novel embodiments for open-vocabulary tasks. To achieve this, we collected one of the largest open-source robotic datasets—over $10,000$ hours of demonstrations in diverse families—using an enhanced, embodiment-agnostic Universal Manipulation Interface (UMI). Our approach employs a novel three-stage training recipe that aligns discrete linguistic knowledge with continuous control via Residual Vector Quantization (RVQ), flow-matching, and distillation for real-time inference. Consequently, RDT2 becomes one of the first models that simultaneously zero-shot generalizes to unseen objects, scenes, instructions, and even robotic platforms. Besides, it outperforms state-of-the-art baselines in dexterous, long-horizon, and dynamic downstream tasks like playing table tennis.","absKo":"Vision-Language-Action (VLA) 모델은 generalist robotics에 유망하지만, 현재는 데이터 부족, 아키텍처 비효율성, 그리고 서로 다른 hardware platform 전반으로 일반화하지 못하는 한계에 직면해 있다. 우리는 open-vocabulary task에서 새로운 embodiment에 대한 zero-shot deployment를 가능하게 하도록 설계된 7B parameter VLM 위에 구축한 robotic foundation model인 RDT2를 소개한다. 이를 위해 우리는 향상된, embodiment-agnostic Universal Manipulation Interface (UMI)를 사용하여, 다양한 family에 걸친 10,000시간 이상의 demonstrations를 포함하는, 가장 큰 규모의 open-source robotic dataset 중 하나를 수집했다. 우리의 접근법은 Residual Vector Quantization (RVQ), flow-matching, 그리고 real-time inference를 위한 distillation을 통해 discrete linguistic knowledge와 continuous control을 정렬하는 새로운 3-stage training recipe를 사용한다. 그 결과 RDT2는 보지 못한 object, scene, instruction, 나아가 robotic platform에 대해서도 동시에 zero-shot generalization을 보이는 최초의 모델들 중 하나가 된다. 또한 table tennis 플레이와 같은 dexterous, long-horizon, dynamic downstream task에서 state-of-the-art baseline을 능가한다."},{"id":"64619","en":"OXE-AugE: A Large-Scale Robot Augmentation of OXE for Scaling Cross-Embodiment Policy Learning","ko":"OXE-AugE: Cross-Embodiment Policy Learning 확장을 위한 OXE의 대규모 로봇 증강","authors":"Guanhua Ji, Harsha Polavaram, Lawrence Yunliang Chen, Sandeep Bajamahal, Zehan Ma, Simeon Adebola, Chenfeng Xu, Ken Goldberg","pos":"#509","link":"https://openreview.net/forum?id=LcswwEzzX7","abs":"Large and diverse datasets are needed for training generalist robot policies that have potential to control a variety of robot embodiments--robot arm and gripper combinations--across diverse tasks and environments. As re-collecting demonstrations and retraining for each new hardware platform are prohibitively costly, we show that existing robot data can be augmented for transfer and generalization. The Open X-Embodiment (OXE) dataset, which aggregates demonstrations from over 60 robot datasets, has been widely used as the foundation for training generalist policies. However, it is highly imbalanced: the top four robot types account for over 85% of its real data, which risks overfitting to robot--scene combinations. We present AugE-Toolkit, a scalable robot augmentation pipeline, and OXE-AugE, a high-quality open-source dataset that augments OXE with 9 different robot embodiments. OXE-AugE provides over 4.4 million trajectories, more than triple the size of the original OXE. We conduct a systematic study of how scaling robot augmentation impacts cross-embodiment learning. Results suggest that augmenting datasets with diverse arms and grippers improves policy performance not only on the augmented robots, but also on unseen robots and even the original robots under distribution shifts. In physical experiments, we demonstrate that generalist policies such as OpenVLA and $\\pi_0$ benefit from fine-tuning on OXE-AugE, improving success rates by 24-45% on previously unseen robot-gripper combinations across four real-world manipulation tasks.","absKo":"다양한 task와 environment 전반에서 여러 robot embodiment--robot arm과 gripper 조합--을 제어할 잠재력을 지닌 generalist robot policy를 학습하려면 크고 다양한 dataset이 필요하다. 새로운 hardware platform마다 demonstration을 다시 수집하고 retraining하는 것은 지나치게 비용이 크므로, 우리는 기존 robot data를 transfer와 generalization을 위해 증강할 수 있음을 보인다. 60개가 넘는 robot dataset의 demonstration을 집계한 Open X-Embodiment (OXE) dataset은 generalist policy 학습의 기반으로 널리 사용되어 왔다. 그러나 이 데이터셋은 매우 불균형하며, 상위 4개 robot type이 실제 데이터의 85% 이상을 차지해 robot-scene 조합에 대한 overfitting 위험을 높인다. 우리는 확장 가능한 robot augmentation pipeline인 AugE-Toolkit과, 9개의 서로 다른 robot embodiment로 OXE를 증강한 고품질 open-source dataset인 OXE-AugE를 제시한다. OXE-AugE는 440만 개 이상의 trajectory를 제공하며, 이는 원래 OXE의 세 배가 넘는 규모다. 우리는 robot augmentation의 확장이 cross-embodiment learning에 미치는 영향을 체계적으로 연구한다. 결과는 다양한 arm과 gripper로 dataset을 증강하면 증강된 robot뿐 아니라 보지 못한 robot, 나아가 distribution shift 하의 원래 robot에서도 policy 성능이 향상됨을 시사한다. 물리적 실험에서, 우리는 OpenVLA와 $\\pi_0$ 같은 generalist policy가 OXE-AugE로 fine-tuning했을 때 이점을 얻으며, 네 개의 실제 manipulation task에 걸쳐 이전에 보지 못한 robot-gripper 조합에서 success rate가 24-45% 향상됨을 보인다."},{"id":"63650","en":"NeurVLA: Unleashing Failure-Handling Capability of Vision-Language-Action Models via Neural-Symbolic Reasoning","ko":"NeurVLA: 신경-기호 추론을 통한 Vision-Language-Action 모델의 실패 대응 능력 향상","authors":"Xuqi Liu, Minghe Gao, Juncheng Li, Siliang Tang","pos":"#511","link":"https://openreview.net/forum?id=V0OaAHqBUy","abs":"Vision-Language-Action models have recently shown promising progress in embodied robotic manipulation, yet their generalization to diverse open-ended embodied tasks is often hindered by execution failures. While prior work has explored failure handling, existing approaches still suffer from two fundamental limitations: coarse-grained failure correction and unreliable failure prevention. These limitations lead to brittle decision-making when VLA models are deployed in novel tasks and environments. To address them, we propose NeurVLA, a neural-symbolic framework that jointly addresses failure correction and prevention via neural-symbolic reasoning and further internalizes these failure-handling capabilities into VLA models. Experiments demonstrate that NeurVLA achieves strong performance and robust generalization across diverse tasks. Code is provided in the supplementary material.
","absKo":"Vision-Language-Action model은 embodied robotic manipulation에서 최근 유망한 진전을 보였지만, 다양한 open-ended embodied task로의 generalization은 종종 execution failure에 의해 저해된다. 이전 연구는 failure handling을 탐구해 왔지만, 기존 접근은 여전히 coarse-grained failure correction과 unreliable failure prevention이라는 두 가지 근본적 한계를 가진다. 이러한 한계는 VLA model이 새로운 task와 environment에 배치될 때 취약한 의사결정으로 이어진다. 이를 해결하기 위해, 우리는 neural-symbolic reasoning을 통해 failure correction과 prevention을 공동으로 다루고, 더 나아가 이러한 failure-handling 능력을 VLA model 내부로 내재화하는 neural-symbolic framework인 NeurVLA를 제안한다. 실험은 NeurVLA가 다양한 task에서 강한 성능과 견고한 generalization을 달성함을 보여준다. 코드는 supplementary material에 제공된다.
"},{"id":"65600","en":"Motion Planning in Compressed Representation Spaces","ko":"압축된 표현 공간에서의 모션 플래닝","authors":"Lukas Lao Beyer, Sertac Karaman","pos":"#515","link":"https://openreview.net/forum?id=Bz1uTQKD58","abs":"Deep learning methods have vastly expanded the capabilities of motion planning in robotics applications, as learning priors from large-scale data has been shown to be essential in capturing the highly complex behavior required for solving tasks such as manipulation or navigation for autonomous vehicles. At the same time, model-based planning algorithms based on search or optimization remain an essential tool due to their flexibility, efficiency, and the ability to incorporate domain knowledge via expert-designed algorithms and objective functions. We propose a new generative framework to unify these two paradigms. First, we learn an autoencoder with a high compression ratio and a latent space of hierarchically ordered, discrete-valued tokens. Leveraging both the dimensionality reduction and the hierarchical coarse-to-fine structure learned by this autoencoder, we then perform motion planning by directly searching in the latent space of tokens. This search can optimize arbitrary objective functions specified at test time, providing a large degree of flexibility while maintaining efficiency and producing realistic solutions by relying on the generative capabilities of the highly compressed autoencoder. We evaluate our method on nuPlan and the Waymo Open Motion Dataset, showing how latent space search can be used for a variety of guided behavior generation tasks, achieving strong performance for closed-loop motion planning and multi-agent guided scenario synthesis without requiring any task-specific training.
","absKo":"Deep learning 방법은 robotics 응용에서 motion planning의 능력을 크게 확장해 왔는데, 이는 manipulation이나 autonomous vehicle의 navigation과 같은 task를 해결하는 데 필요한 매우 복잡한 행동을 포착하기 위해 대규모 데이터에서 학습된 prior가 필수적임이 입증되었기 때문이다. 동시에, search나 optimization에 기반한 model-based planning algorithm은 expert가 설계한 algorithm과 objective function을 통해 domain knowledge를 통합할 수 있는 유연성, 효율성, 능력 때문에 여전히 핵심 도구이다. 우리는 이 두 패러다임을 통합하기 위한 새로운 generative framework를 제안한다. 먼저, 우리는 높은 compression ratio와 계층적으로 정렬된 discrete-valued token으로 이루어진 latent space를 갖는 autoencoder를 학습한다. 이 autoencoder가 학습한 dimensionality reduction과 hierarchical coarse-to-fine structure를 모두 활용하여, 우리는 이후 token의 latent space에서 직접 search함으로써 motion planning을 수행한다. 이 search는 test time에 지정된 임의의 objective function을 최적화할 수 있어, 높은 수준의 유연성을 제공하는 동시에 효율성을 유지하며, 고도로 압축된 autoencoder의 generative capability에 의존해 현실적인 해를 생성한다. 우리는 nuPlan과 Waymo Open Motion Dataset에서 우리의 방법을 평가하여, latent space search가 다양한 guided behavior generation task에 어떻게 활용될 수 있는지 보였고, task-specific training 없이 closed-loop motion planning과 multi-agent guided scenario synthesis에서 강력한 성능을 달성함을 확인했다.
"},{"id":"60897","en":"HiMe: Hierarchical Embodied Memory for Long-Horizon Vision-Language-Action Control","ko":"HiMe: Long-Horizon Vision-Language-Action Control을 위한 계층적 Embodied Memory","authors":"Li Ji, Siyin Wang, Pengfang Qian, Xiaopeng Yu, Yihai Tian, Zhaoye Fei, Jingjing Gong, Xipeng Qiu","pos":"#600","link":"https://openreview.net/forum?id=vVVbGj9cMC","abs":"Current Vision-Language-Action (VLA) models excel at robotic manipulation but often struggle with non-Markovian tasks requiring long-term memory and reasoning due to their reliance on immediate observations. Existing solutions face a frequency-competence paradox, where high-performance models are too slow for real-time control, while faster models lack sufficient reasoning capabilities. To resolve this architectural misalignment, we propose HiMe, a Hierarchical Embodied Memory framework that decouples embodied intelligence into a high-frequency Executor for execution, a Sentry for working memory, and a Planner for long-term strategy. We also introduce a dynamic knowledge system based on cross-modal semantic schemas and active management mechanisms, allowing robots to maintain memory plasticity through \"Add, Update, and Delete\" operations. This hierarchical design effectively balances the conflict between real-time execution and slow thinking planning, significantly improving success rates in long-horizon tasks. Experiments demonstrate that this approach not only outperforms flat memory baselines but also exhibits the novel ability to self-correct its internal knowledge based on human preferences.
","absKo":"현재 Vision-Language-Action(VLA) model은 robotic manipulation에서는 뛰어난 성능을 보이지만, 즉각적인 관측에 의존하기 때문에 장기 기억과 reasoning을 요구하는 non-Markovian task에서는 종종 어려움을 겪는다. 기존 해결책은 frequency-competence paradox에 직면하는데, 고성능 model은 실시간 제어에 너무 느리고, 더 빠른 model은 충분한 reasoning 능력이 부족하다. 이러한 architecture의 불일치를 해결하기 위해, 우리는 embodied intelligence를 실행을 위한 고주파 Executor, working memory를 위한 Sentry, 장기 전략을 위한 Planner로 분리하는 Hierarchical Embodied Memory framework인 HiMe를 제안한다. 또한 cross-modal semantic schema와 active management mechanism에 기반한 동적 지식 시스템을 도입하여, 로봇이 \"Add, Update, Delete\" 작업을 통해 memory plasticity를 유지할 수 있도록 한다. 이러한 계층적 설계는 실시간 실행과 느린 사고 기반 planning 사이의 충돌을 효과적으로 균형 있게 조정하며, long-horizon task의 성공률을 크게 향상시킨다. 실험 결과 이 접근법은 flat memory baseline을 능가할 뿐 아니라, 인간의 선호를 바탕으로 내부 지식을 스스로 수정하는 새로운 능력도 보임을 확인했다.
"},{"id":"60801","en":"LAGEA: Language Guided Embodied Agents for Robotic Manipulation","ko":"LAGEA: Robotic Manipulation을 위한 Language Guided Embodied Agent","authors":"Abdul Monaf Chowdhury, Akm Moshiur Rahman Mazumder, Safaeid Arib, Rabeya Akter","pos":"#602","link":"https://openreview.net/forum?id=watVfFbZGF","abs":"Robotic manipulation benefits from foundation models that describe goals, but today's agents still lack a principled way to learn from their own mistakes. We ask whether natural language can serve as feedback, an error-reasoning signal that helps embodied agents diagnose what went wrong and correct course. We introduce LAGEA (Language Guided Embodied Agents), a framework that turns episodic, schema-constrained reflections from a vision language model (VLM) into temporally grounded guidance for reinforcement learning. LAGEA summarizes each attempt in concise language, localizes the decisive moments in the trajectory, aligns feedback with visual state in a shared representation, and converts goal progress and feedback agreement into bounded, step-wise shaping rewardswhose influence is modulated by an adaptive, failure-aware coefficient. This design yields dense signals early when exploration needs direction and gracefully recedes as competence grows. On the Meta-World MT10 and Robotic Fetch embodied manipulation benchmarks, LAGEA improves average success over the state-of-the-art (SOTA) methods by 9.0% on random goals, 5.3% on fixed goals, and 17% on fetch tasks, while converging faster. These results support our hypothesis: language, when structured and grounded in time, is an effective mechanism for teaching robots to self-reflect on mistakes and make better choices. Code will be released soon.
","absKo":"Robotic manipulation은 목표를 기술하는 foundation model의 이점을 누리지만, 오늘날의 agent는 여전히 자기 실수로부터 배우는 원칙적인 방법이 부족하다. 우리는 자연어가 feedback으로 기능할 수 있는지, 즉 embodied agent가 무엇이 잘못되었는지 진단하고 방향을 바로잡는 데 도움이 되는 error-reasoning signal이 될 수 있는지를 묻는다. 우리는 vision language model(VLM)에서 나온 에피소드 단위의 schema-constrained reflection을 강화학습을 위한 시간적으로 정렬된 guidance로 바꾸는 프레임워크인 LAGEA(Language Guided Embodied Agents)를 소개한다. LAGEA는 각 시도를 간결한 언어로 요약하고, trajectory에서 결정적인 순간을 국소화하며, 공유 representation에서 feedback을 시각적 상태와 정렬하고, goal progress와 feedback agreement를 bounded한 step-wise shaping reward로 변환한다. 이 reward의 영향력은 adaptive하고 failure-aware한 coefficient에 의해 조절된다. 이러한 설계는 exploration에 방향이 필요할 때 초기에는 밀도 높은 신호를 제공하고, 능력이 향상됨에 따라 자연스럽게 줄어든다. Meta-World MT10과 Robotic Fetch embodied manipulation benchmark에서 LAGEA는 random goal에서 9.0%, fixed goal에서 5.3%, fetch task에서 17%의 average success 향상을 state-of-the-art(SOTA) 방법 대비 달성했으며, 더 빠르게 수렴한다. 이러한 결과는 우리의 가설을 뒷받침한다. 즉, 언어가 시간적으로 구조화되고 grounded될 때, 로봇이 실수를 자기반성하고 더 나은 선택을 하도록 가르치는 효과적인 메커니즘이 된다. 코드는 곧 공개될 예정이다.
"},{"id":"61232","en":"LARA: Latent Action Representation Alignment for Vision-Language-Action Models","ko":"LARA: Vision-Language-Action Model을 위한 Latent Action Representation Alignment","authors":"Mengya Liu, Baoxiong Jia, Jiangyong Huang, Jingze Zhang, Siyuan Huang","pos":"#603","link":"https://openreview.net/forum?id=sQTzABTEQM","abs":"Visual-language action (VLA) models enable robots to predict actions directly from observations and language instructions, but their performance depends on large-scale, high-quality data and is limited by the scarcity of real-world robot action datasets. To facilitate VLA model learning with abundant unlabeled human videos, Latent Action Models (LAM) learn latent action representations from visual dynamics to provide additional supervision for VLA learning. However, LAM and VLA are typically trained separately, leaving LAM ungrounded during VLA training and VLA models constrained by frozen LAM representations. To address these issues, we propose Latent Action Representation Alignment (LARA), a plug-and-play framework that jointly optimizes LAM and VLA via representation alignment. This enables reciprocal benefits where LAMs learn with action trajectories to avoid spurious visual changes, while VLAs are regularized by forward dynamics learned within LAMs to reduce hallucinations of functionally ineffective trajectories. We demonstrate LARA's versatility and effectiveness for pre-training, post-training enhancement of pre-trained VLA models, and LAM refinement, achieving an average of ~10%, ~5%, and ~15% improvement over 3 simulation and 1 meticulously designed real-world robotic manipulation benchmarks.
","absKo":"Visual-language action (VLA) model은 robot이 observation과 language instruction으로부터 직접 action을 예측할 수 있게 하지만, 그 성능은 대규모의 고품질 데이터에 의존하며 실제 robot action dataset의 부족에 의해 제한된다. 풍부한 unlabeled human video를 활용한 VLA model 학습을 촉진하기 위해, Latent Action Models (LAM)은 visual dynamics로부터 latent action representation을 학습하여 VLA 학습에 추가 supervision을 제공한다. 그러나 LAM과 VLA는 일반적으로 별도로 학습되므로, VLA training 동안 LAM은 grounding되지 않은 상태로 남고 VLA model은 고정된 LAM representation에 의해 제약된다. 이러한 문제를 해결하기 위해, 우리는 representation alignment를 통해 LAM과 VLA를 공동 최적화하는 plug-and-play framework인 Latent Action Representation Alignment (LARA)를 제안한다. 이를 통해 양방향 이점이 가능해지는데, LAM은 action trajectory로부터 학습하여 허위 시각 변화(spurious visual changes)를 피하고, VLA는 LAM 내에서 학습된 forward dynamics로 regularize되어 기능적으로 비효율적인 trajectory의 환각을 줄인다. 우리는 LARA의 범용성과 효과를 pre-training, pre-trained VLA model의 post-training 향상, 그리고 LAM refinement에 걸쳐 입증하며, 3개의 simulation benchmark와 1개의 면밀히 설계된 실제 robot manipulation benchmark에서 평균 약 ~10%, ~5%, ~15%의 향상을 달성한다.
"},{"id":"61887","en":"LaST$_{0}$: Latent Spatio-Temporal Chain-of-Thought for Robotic Vision-Language-Action Model","ko":"LaST$_{0}$: 로봇 Vision-Language-Action 모델을 위한 잠재 시공간 Chain-of-Thought","authors":"Zhuoyang Liu, Jiaming Liu, Hao Chen, Jiale Yu, Ziyu Guo, Chengkai Hou, Xiangju Mi, Chenyang Gu, Renrui Zhang, Kun Wu, Yinuo Zhao, Jian Tang, Pheng Ann Heng, Shanghang Zhang","pos":"#605","link":"https://openreview.net/forum?id=lwOoBzJykL","abs":"Vision-Language-Action (VLA) models have recently shown strong generalization, with some approaches seeking to explicitly generate linguistic reasoning traces or predict future observations prior to execution. However, explicit reasoning typically incurs non-negligible inference latency, which constrains the temporal resolution required for robotic manipulation. Moreover, such reasoning is confined to the linguistic space, imposing a representational bottleneck that struggles to faithfully capture ineffable physical attributes. To mitigate these limitations, we propose LaST$_0$, a framework that enables efficient reasoning before acting through a Latent Spatio-Temporal Chain-of-Thought (CoT), capturing fine-grained physical and robotic dynamics that are often difficult to verbalize. Specifically, we introduce a token-efficient latent CoT space that models future visual dynamics, 3D structural information, and robot proprioceptive states, and further extends these representations across time to enable temporally consistent implicit reasoning trajectories. Furthermore, LaST$_0$ adopts a dual-system architecture implemented via a Mixture-of-Transformers design, where a reasoning expert conducts low-frequency latent inference and an acting expert generates high-frequency actions conditioned on robotics-oriented latent representations. To facilitate coordination, LaST$_0$ is trained with heterogeneous operation frequencies, enabling adaptive switching during deployment. Across 10 real-world tasks spanning tabletop, mobile, and dexterous hand manipulation, LaST$_0$ improves mean success rates by 13%, 14% and 14% over prior SOTA VLA methods, respectively.","absKo":"Vision-Language-Action (VLA) model은 최근 강한 generalization을 보였으며, 일부 접근법은 실행 전에 명시적으로 언어적 reasoning trace를 생성하거나 미래 observation을 예측하려고 한다. 그러나 명시적 reasoning은 일반적으로 무시할 수 없는 inference latency를 유발하며, 이는 robot manipulation에 필요한 temporal resolution을 제약한다. 더불어 이러한 reasoning은 언어 공간에 국한되어 표현상 병목을 만들며, 말로 온전히 담기 어려운 물리적 속성을 충실히 포착하는 데 어려움이 있다. 이러한 한계를 완화하기 위해, 우리는 Latent Spatio-Temporal Chain-of-Thought (CoT)를 통해 행동 전에 효율적으로 reasoning할 수 있게 하는 프레임워크 LaST$_0$를 제안한다. 이는 말로 표현하기 어려운 정밀한 물리 및 로봇 동역학을 포착한다. 구체적으로, 우리는 미래 visual dynamics, 3D structural information, robot proprioceptive state를 모델링하는 token-efficient latent CoT 공간을 도입하고, 이를 시간에 걸쳐 확장하여 시간적으로 일관된 implicit reasoning trajectory를 가능하게 한다. 또한 LaST$_0$는 Mixture-of-Transformers 설계로 구현된 dual-system architecture를 채택하는데, reasoning expert는 저주파 latent inference를 수행하고 acting expert는 robotics-oriented latent representation에 조건화된 고주파 action을 생성한다. 조정을 용이하게 하기 위해 LaST$_0$는 heterogeneous operation frequency로 학습되어, 배포 시 adaptive switching을 가능하게 한다. tabletop, mobile, dexterous hand manipulation을 아우르는 10개의 실제 task에서 LaST$_0$는 기존 SOTA VLA 방법 대비 각각 평균 성공률을 13%, 14%, 14% 향상시킨다."},{"id":"64290","en":"Latent Reasoning VLA: Latent Thinking and Prediction for Vision-Language-Action Models","ko":"잠재 추론 VLA: Vision-Language-Action 모델을 위한 잠재 사고 및 예측","authors":"Shuanghao Bai, Jing Lyu, Wanqi Zhou, Zhe Li, Dakai Wang, Lei Xing, Xiaoguang Zhao, Pengwei Wang, Zhongyuan Wang, Cheng Chi, Badong Chen, Shanghang Zhang","pos":"#607","link":"https://openreview.net/forum?id=P64X2q1n1H","abs":"Vision-Language-Action (VLA) models benefit from Chain-of-Thought (CoT) reasoning, but existing approaches incur high inference overhead and rely on discrete reasoning representations that mismatch continuous perception and control. We propose Latent Reasoning VLA (LaRA-VLA), a unified VLA framework that internalizes multi-modal CoT reasoning into continuous latent representations for embodied action. LaRA-VLA performs unified reasoning and prediction in latent space, eliminating explicit CoT generation at inference time and enabling efficient, action-oriented control. To realize latent embodied reasoning, we introduce a curriculum-based training paradigm that progressively transitions from explicit textual and visual CoT supervision to latent reasoning, and finally adapts latent reasoning dynamics to condition action generation. We construct two structured CoT datasets, LIBERO-LaRA and Bridge-LaRA, and evaluate LaRA-VLA across simulation benchmarks and long-horizon real-robot manipulation tasks. Experimental results show that LaRA-VLA outperforms existing state-of-the-art VLA methods while achieving up to a 90\\% reduction in inference latency compared to explicit CoT-based VLA approaches, highlighting latent reasoning as an effective and efficient paradigm for real-time embodied control.
","absKo":"Vision-Language-Action (VLA) 모델은 Chain-of-Thought (CoT) reasoning의 이점을 누리지만, 기존 접근법은 높은 inference 오버헤드를 유발하고 연속적인 perception 및 control과 맞지 않는 이산적 reasoning representation에 의존합니다. 우리는 Latent Reasoning VLA (LaRA-VLA)를 제안합니다. 이는 embodied action을 위해 multi-modal CoT reasoning을 연속적인 latent representation으로 내재화하는 통합 VLA framework입니다. LaRA-VLA는 latent space에서 통합 reasoning과 prediction을 수행하여 inference 시 explicit CoT 생성을 제거하고, 효율적인 action-oriented control을 가능하게 합니다. latent embodied reasoning을 실현하기 위해, 우리는 explicit한 text 및 visual CoT supervision에서 latent reasoning으로 점진적으로 전환한 뒤, 마지막으로 latent reasoning dynamics를 action generation에 조건화하도록 적응시키는 curriculum-based training paradigm을 도입합니다. 또한 LIBERO-LaRA와 Bridge-LaRA라는 두 개의 구조화된 CoT dataset을 구축하고, simulation benchmark와 long-horizon real-robot manipulation task 전반에서 LaRA-VLA를 평가합니다. 실험 결과는 LaRA-VLA가 기존 state-of-the-art VLA method를 능가하면서도 explicit CoT 기반 VLA 접근법 대비 inference latency를 최대 90\\%까지 줄임을 보여주며, real-time embodied control을 위한 효과적이고 효율적인 paradigm으로서 latent reasoning의 가치를 강조합니다.
"},{"id":"65571","en":"MVISTA-4D: View-Consistent 4D World Model with Test-Time Action Inference for Robotic Manipulation","ko":"MVISTA-4D: 로봇 조작을 위한 Test-Time 행동 추론을 갖춘 시점 일관 4D World Model","authors":"Jiaxu Wang, JIANG Yicheng, Tianlun HE, Jingkai SUN, Qiang Zhang, Jiahang Cao, Zesen Gan, Mingyuan Sun, Qiming Shao, Xiangyu Yue","pos":"#612","link":"https://openreview.net/forum?id=CKpqRFTRfc","abs":"World-model-based imagine-then-act becomes a promising paradigm for robotic manipulation, yet existing approaches typically support either purely image-based forecasting or reasoning over partial 3D geometry, limiting their ability to predict complete 4D scene dynamics. This work proposes a novel embodied 4D world model that enables geometrically consistent, arbitrary-view RGBD generation: given only a single-view RGBD observation as input, the model “imagines” the remaining viewpoints, which can then be back-projected and fused to assemble a more complete 3D structure across time. To efficiently learn the multi-view, cross-modality generation, we explicitly design cross-view and cross-modality feature fusion that jointly encourage consistency between RGB and depth and enforce geometric alignment across views. Beyond prediction, converting generated futures into actions is often handled by inverse dynamics, which is ill-posed because multiple actions can explain the same transition. We address this with a test-time action optimization strategy that backpropagates through the generative model to infer a trajectory-level latent best matching the predicted future, and a residual inverse dynamics model that turns this trajectory prior into accurate executable actions. Experiments on three datasets demonstrate strong performance on both 4D scene generation and downstream manipulation, and ablations provide practical insights into the key design choices.
","absKo":"World-model-based imagine-then-act는 로보틱 조작을 위한 유망한 패러다임으로 떠오르고 있지만, 기존 접근법은 대체로 순수 image 기반 forecasting 또는 부분적인 3D geometry에 대한 reasoning만을 지원하여 완전한 4D scene dynamics를 예측하는 능력이 제한된다. 본 연구는 기하학적으로 일관된 임의 시점 RGBD 생성을 가능하게 하는 새로운 embodied 4D world model을 제안한다. 단일 시점 RGBD observation 하나만을 입력으로 주면, 모델은 나머지 시점들을 “상상”하고, 이를 다시 back-projection 및 fusion하여 시간에 걸친 더 완전한 3D structure를 구성할 수 있다. multi-view, cross-modality generation을 효율적으로 학습하기 위해, 우리는 RGB와 depth 간 일관성을 함께 유도하고 view 간 geometric alignment를 강제하는 cross-view 및 cross-modality feature fusion을 명시적으로 설계한다. 예측을 넘어, 생성된 미래를 action으로 변환하는 과정은 종종 inverse dynamics로 처리되는데, 이는 여러 action이 동일한 transition을 설명할 수 있어 ill-posed하다. 이를 해결하기 위해, 우리는 generative model을 통해 backpropagation하여 예측된 future와 가장 잘 맞는 trajectory-level latent를 추론하는 test-time action optimization 전략과, 이 trajectory prior를 정확한 실행 가능한 action으로 변환하는 residual inverse dynamics model을 제안한다. 세 개의 dataset에서의 실험은 4D scene generation과 downstream manipulation 모두에서 강한 성능을 보여주며, ablation은 핵심 설계 선택에 대한 실용적 통찰을 제공한다.
"},{"id":"61359","en":"MVP-LAM: Learning Action-Centric Latent Action via Cross-Viewpoint Reconstruction","ko":"MVP-LAM: Cross-Viewpoint Reconstruction을 통한 Action-Centric Latent Action 학습","authors":"Jung Min Lee, Dohyeok Lee, Seokhun Ju, Taehyun Cho, Jin Koo, Li Zhao, Sangwoo Hong, Jungwoo Lee","pos":"#613","link":"https://openreview.net/forum?id=r0SYyjDhxY","abs":"Learning latent actions from diverse human videos enables scaling robot learning beyond embodiment-specific robot datasets, and these latent actions have recently been used as pseudo-action labels for vision-language-action (VLA) model pretraining. To make VLA pretraining effective, latent actions should contain information about the underlying agent's actions despite the absence of ground-truth labels. We propose Multi-ViewPoint Latent Action Model (MVP-LAM), which learns discrete latent actions that are highly informative about ground-truth actions from time-synchronized multi-view videos. MVP-LAM trains latent actions with a cross-viewpoint reconstruction objective, so that a latent action inferred from one view must explain the future in another view, reducing reliance on viewpoint-specific cues. On Bridge V2, MVP-LAM produces more action-centric latent actions, achieving higher mutual information with ground-truth actions and improved action prediction, including under out-of-distribution evaluation. Finally, pretraining VLAs with MVP-LAM latent actions improves downstream manipulation performance on the SIMPLER and LIBERO-Long benchmarks.
","absKo":"다양한 인간 비디오로부터 latent action을 학습하면 embodiment-specific robot dataset을 넘어 robot learning을 확장할 수 있으며, 최근 이러한 latent action은 vision-language-action (VLA) model pretraining의 pseudo-action label로 사용되어 왔다. VLA pretraining이 효과적이려면, latent action은 ground-truth label이 없더라도 underlying agent의 행동에 대한 정보를 충분히 담고 있어야 한다. 우리는 시간적으로 동기화된 multi-view video로부터 ground-truth action에 대해 매우 많은 정보를 담는 discrete latent action을 학습하는 Multi-ViewPoint Latent Action Model (MVP-LAM)을 제안한다. MVP-LAM은 cross-viewpoint reconstruction objective로 latent action을 학습하여, 한 시점에서 추론된 latent action이 다른 시점의 미래를 설명해야 하므로 viewpoint-specific cue에 대한 의존을 줄인다. Bridge V2에서 MVP-LAM은 더 action-centric한 latent action을 생성하며, ground-truth action과의 mutual information을 높이고 out-of-distribution evaluation을 포함한 action prediction 성능을 향상시킨다. 마지막으로, MVP-LAM latent action으로 VLA를 pretraining하면 SIMPLER 및 LIBERO-Long benchmark에서 downstream manipulation 성능이 향상된다.
"},{"id":"64060","en":"GeoSense: Internalizing Geometric Necessity Perception for Multimodal Reasoning","ko":"GeoSense: 멀티모달 추론을 위한 기하학적 필연성 인식의 내재화","authors":"Ruiheng Liu, Haihong Hao, Mingfei Han, Xin Gu, Kecheng Zhang, Changlin Li, Xiaojun Chang","pos":"#700","link":"https://openreview.net/forum?id=RJQvLkseJL","abs":"Advancing towards artificial superintelligence requires rich and intelligent perceptual capabilities. A critical frontier in this pursuit is overcoming the limited spatial understanding of Multimodal Large Language Models (MLLMs), where geometry information is essential. Existing methods often address this by rigidly injecting geometric signals into every input, while ignoring their necessity and adding computation overhead. Contrary to this paradigm, our framework endows the model with an awareness of perceptual insufficiency, empowering it to autonomously engage geometric features in reasoning when 2D cues are deemed insufficient. To achieve this, we first introduce an independent geometry input channel to the model architecture and conduct alignment training, enabling the effective utilization of geometric features. Subsequently, to endow the model with perceptual awareness, we curate a dedicated spatial-aware supervised fine-tuning dataset. This serves to activate the model’s latent internal cues, empowering it to autonomously determine the necessity of geometric information. Experiments across multiple spatial reasoning benchmarks validate this approach, demonstrating significant spatial gains without compromising 2D visual reasoning capabilities, offering a path toward more robust, efficient and self-aware multi-modal intelligence.
","absKo":"artificial superintelligence로 나아가기 위해서는 풍부하고 지능적인 perceptual capability가 필요하다. 이 추구에서 중요한 최전선은 geometry information이 필수적인 Multimodal Large Language Model(MLLM)의 제한된 spatial understanding을 극복하는 것이다. 기존 방법들은 종종 모든 입력에 geometric signal을 강제로 주입하는 방식으로 이를 해결하지만, 그 필요성을 무시하고 계산 오버헤드를 추가한다. 이러한 패러다임과 달리, 우리의 framework는 모델에 perceptual insufficiency에 대한 인식을 부여하여, 2D cue가 충분하지 않다고 판단될 때 reasoning에서 geometric feature를 자율적으로 활용하도록 한다. 이를 위해 먼저 모델 architecture에 독립적인 geometry input channel을 도입하고 alignment training을 수행하여 geometric feature를 효과적으로 활용할 수 있게 한다. 이후 모델에 perceptual awareness를 부여하기 위해 spatial-aware supervised fine-tuning dataset을 별도로 구축한다. 이는 모델의 잠재된 internal cue를 활성화하여, geometric information의 필요성을 자율적으로 판단하도록 한다. 여러 spatial reasoning benchmark에서의 실험은 이 접근법을 검증하며, 2D visual reasoning capability를 훼손하지 않으면서도 상당한 spatial 향상을 보여 준다. 이는 더 견고하고 효율적이며 자기 인식적인 multi-modal intelligence로 가는 경로를 제시한다.
"},{"id":"66754","en":"FOCA: Future-Oriented Conditioning for Data-Efficient Vision-Language-Action Adaptation","ko":"FOCA: 데이터 효율적 Vision-Language-Action 적응을 위한 미래 지향 조건화","authors":"Duc Nguyen, Nghiem Diep, Binh Nguyen Gia, Trong-Bao Ho, Doanh Le Thien, Quang Nguyen, Thien-Loc Ha, Tran Van Nhiem, Bao Thach, Tran Nhat, Tuan Tran, Artur Habuda, Philip Lund Møller, Tran Nguyen Le, Daniel Sonntag, Mathias Niepert, Khoa Doan, Vu Duong, Hung Ngo, Minh VU, Duy Nguyen, An Thai Le, Vien Ngo","pos":"#703","link":"https://openreview.net/forum?id=0cnDTttyMR","abs":"Vision–Language–Action (VLA) models enable general-purpose robotic control via large-scale multimodal pretraining, yet their effectiveness under few-shot imitation learning remains limited. We conduct a systematic stress test of state-of-the-art VLA models and show that performance degrades sharply as demonstrations are reduced, revealing a key weakness of existing adaptation strategies. To address this, we introduce FOCA, a future-oriented conditioning framework for data-efficient VLA adaptation. FOCA combines explicit prediction of task-grounded future interaction embeddings with implicit alignment to future goal observations, enabling long-horizon reasoning in latent space without pixel-level prediction. This formulation naturally supports action-free co-training with synthetic videos from video world models and can be interpreted as learning a future-conditioned value-like representation. Extensive experiments demonstrate FOCA achieves 95.7\\% success with 20 demonstrations on LIBERO, improves 7–12\\% on RoboCasa, and delivers up to 26\\% absolute gains on real robots, establishing a new state of the art in few-shot VLA adaptation.
","absKo":"Vision–Language–Action (VLA) 모델은 대규모 multimodal pretraining을 통해 범용 robotic control을 가능하게 하지만, few-shot imitation learning 하에서의 효과는 여전히 제한적이다. 우리는 최신 VLA 모델에 대한 체계적인 stress test를 수행하고, 데모 수가 줄어들수록 성능이 급격히 저하됨을 보여주어 기존 adaptation 전략의 핵심 약점을 드러낸다. 이를 해결하기 위해, 우리는 data-efficient VLA adaptation을 위한 future-oriented conditioning framework인 FOCA를 제안한다. FOCA는 task-grounded future interaction embedding의 명시적 예측과 future goal observation에 대한 암묵적 정렬을 결합하여, pixel-level prediction 없이 latent space에서 장기 horizon reasoning을 가능하게 한다. 이러한 formulation은 video world model로부터 얻은 synthetic video와의 action-free co-training을 자연스럽게 지원하며, future-conditioned value-like representation을 학습하는 것으로 해석될 수 있다. 광범위한 실험에서 FOCA는 LIBERO에서 20개의 demonstration으로 95.7\\% 성공률을 달성하고, RoboCasa에서 7–12\\% 향상되며, 실제 로봇에서는 최대 26\\%의 절대 향상을 제공하여 few-shot VLA adaptation의 새로운 state of the art를 확립한다.
"},{"id":"63997","en":"Embodied Interpretability: Linking Causal Understanding to Generalization in Vision-Language-Action Models","ko":"체화된 해석가능성: Vision-Language-Action Models에서 인과적 이해와 일반화의 연결","authors":"Hanxin Zhang, Mingshuo Xu, Abdulqader Dhafer, Shigang Yue, Hongbiao Dong, Zhou Daniel Hao","pos":"#705","link":"https://openreview.net/forum?id=RtsbiUJ2aK","abs":"Vision–Language–Action (VLA) policies often fail under distribution shift, suggesting that decisions may depend on spurious visual correlations rather than task-relevant causes. We formulate visual–action attribution as an interventional estimation problem. Accordingly, we introduce the Interventional Significance Score (ISS), an interventional masking procedure for estimating the causal influence of visual regions on action predictions, and the Nuisance Mass Ratio (NMR), a scalar measure of attribution to task-irrelevant features. We analyze the statistical properties of ISS and show that it admits unbiased estimation, and we characterize conditions under which action prediction error provides a valid proxy for causal influence. Experiments across diverse manipulation tasks indicate that NMR predicts generalization behavior and that ISS yields more faithful explanations than existing interpretability methods. These results suggest that interventional attribution provides a simple diagnostic approach for identifying causal misalignment in embodied policies.
","absKo":"Vision–Language–Action (VLA) policy는 distribution shift에서 자주 실패하며, 이는 의사결정이 task와 관련된 원인보다는 spurious visual correlation에 의존할 수 있음을 시사한다. 우리는 visual–action attribution을 interventional estimation problem으로 정식화한다. 이에 따라 우리는 시각적 영역이 action prediction에 미치는 causal influence를 추정하기 위한 interventional masking procedure인 Interventional Significance Score (ISS)와, task와 무관한 feature에 대한 attribution을 나타내는 스칼라 지표인 Nuisance Mass Ratio (NMR)를 도입한다. 우리는 ISS의 통계적 성질을 분석하여 unbiased estimation이 가능함을 보이고, action prediction error가 causal influence의 유효한 proxy가 되는 조건을 규명한다. 다양한 manipulation task 전반의 실험은 NMR이 generalization behavior를 예측하며, ISS가 기존 interpretability method보다 더 충실한 설명을 제공함을 보여준다. 이러한 결과는 interventional attribution이 embodied policy에서 causal misalignment를 식별하는 간단한 진단 접근법을 제공함을 시사한다.
"},{"id":"66372","en":"ERGeoBench: A Comprehensive Benchmark for Embodied Reasoning and Geo-localization in Multimodal Large Language Models","ko":"ERGeoBench: 멀티모달 대규모 언어 모델에서 체화 추론 및 지리적 위치 파악을 위한 종합 벤치마크","authors":"Kaiwen Xue, Tao Wei, Zhonghong Ou, Guoxin Zhang, Kaoyan Lu, Yu Feng, Yifan Zhu, Haoran Luo","pos":"#706","link":"https://openreview.net/forum?id=4HV8YpgiXL","abs":"Multimodal large language models (MLLMs) have shown strong potential for building embodied agents, yet embodied geo-localization remains underexplored due to the lack of fine-grained evaluation. We introduce ERGeoBench, a large-scale benchmark for vision-driven embodied geo-localization. ERGeoBench evaluates models under three progressively interactive settings—single-view, multi-view, and embodied-view—where agents actively acquire observations through sequential viewpoint changes. The benchmark comprises 2,207 globally distributed street-view panoramas and assesses four core capability dimensions: foundational perception, spatial awareness, commonsense reasoning, and geo-localization. Extensive evaluations of leading proprietary and open-source MLLMs reveal that while current models perform well in high-level semantic geo-localization, they struggle with low-level perceptual operations and maintaining spatial consistency across views. Notably, geo-localization performance exhibits a strong positive correlation with the other three capability dimensions, indicating that accurate localization emerges from robust perception, coherent spatial reasoning, and sound commonsense understanding. Overall, ERGeoBench provides a unified and diagnostic framework for advancing human-like embodied geo-localization.
","absKo":"Multimodal large language model(MLLM)은 embodied agent 구축에 강한 잠재력을 보였지만, 세밀한 평가가 부족해 embodied geo-localization은 아직 충분히 탐구되지 않았다. 우리는 vision-driven embodied geo-localization을 위한 대규모 benchmark인 ERGeoBench를 소개한다. ERGeoBench는 agent가 sequential viewpoint change를 통해 관측을 능동적으로 획득하는 single-view, multi-view, embodied-view의 세 가지 점진적 상호작용 설정에서 model을 평가한다. 이 benchmark는 전 세계에 분포한 2,207개의 street-view panorama로 구성되며, foundational perception, spatial awareness, commonsense reasoning, geo-localization의 네 가지 핵심 능력 차원을 평가한다. 선도적인 proprietary 및 open-source MLLM에 대한 광범위한 평가 결과, 현재의 model은 높은 수준의 semantic geo-localization에서는 좋은 성능을 보이지만, 저수준 perceptual operation과 view 간 spatial consistency 유지에는 어려움을 겪는 것으로 나타났다. 특히, geo-localization 성능은 나머지 세 능력 차원과 강한 양의 상관관계를 보여, 정확한 localization이 견고한 perception, 일관된 spatial reasoning, 그리고 건전한 commonsense 이해로부터 비롯됨을 시사한다. 전반적으로 ERGeoBench는 인간과 유사한 embodied geo-localization을 발전시키기 위한 통합적이고 진단적인 framework를 제공한다.
"},{"id":"62819","en":"Contrastive Representation Regularization for Vision-Language-Action Models","ko":"Vision-Language-Action 모델을 위한 Contrastive Representation Regularization","authors":"Taeyoung Kim, Jimin Lee, Myungkyu Koo, Dongyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin","pos":"#713","link":"https://openreview.net/forum?id=cyIUoRizkW","abs":"Vision-Language-Action (VLA) models have shown strong capabilities in robot manipulation by leveraging rich representations from pre-trained Vision-Language Models (VLMs). However, their representations arguably remain suboptimal, lacking sensitivity to robotic signals such as control actions and proprioceptive information. To address the issue, we introduce Robot State-aware Contrastive Loss (RS-CL), a simple and effective representation regularization for VLA models, designed to bridge the gap between VLM representations and robotic signals. In particular, RS-CL aligns the representations more closely with the robot's proprioceptive states by using relative distances between the states as soft supervision. Complementing the original action prediction objective, RS-CL enhances control-relevant representation learning, while being lightweight and fully compatible with standard VLA training pipelines. Our empirical results demonstrate that RS-CL substantially improves the performance of state-of-the-art VLA models; it pushes the prior art to 69.7% achieving the state-of-the-art performance on the RoboCasa-Kitchen benchmark, and boosts success rates from 45.0% to 58.3% on challenging real-robot manipulation tasks.
","absKo":"Vision-Language-Action (VLA) 모델은 pre-trained Vision-Language Model (VLM)의 풍부한 representation을 활용하여 robot manipulation에서 강한 성능을 보여 왔다. 그러나 이들의 representation은 control action과 proprioceptive information 같은 robotic signal에 대한 민감도가 부족하여 여전히 최적에 미치지 못한다. 이 문제를 해결하기 위해 우리는 VLM representation과 robotic signal 사이의 간극을 메우도록 설계된, VLA model을 위한 간단하면서도 효과적인 representation regularization인 Robot State-aware Contrastive Loss (RS-CL)를 제안한다. 특히 RS-CL은 state 간 상대적 거리를 soft supervision으로 사용하여 robot의 proprioceptive state에 representation이 더 가깝게 정렬되도록 한다. RS-CL은 원래의 action prediction objective를 보완하며, control 관련 representation learning을 강화하면서도 가볍고 표준 VLA training pipeline과 완전히 호환된다. 실험 결과 RS-CL은 state-of-the-art VLA model의 성능을 크게 향상시켰으며, RoboCasa-Kitchen benchmark에서 prior art를 69.7%까지 끌어올려 state-of-the-art 성능을 달성했고, 까다로운 real-robot manipulation task에서 success rate를 45.0%에서 58.3%로 높였다.
"},{"id":"66369","en":"CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation","ko":"CaP-X: 로봇 조작을 위한 코딩 에이전트의 벤치마킹 및 개선 프레임워크","authors":"Letian Fu, Justin Yu, Karim El-Refai, Ethan Kou, Haoru Xue, Huang Huang, Wenli Xiao, Li Fei-Fei, Guanya Shi, Jiajun Wu, S. Sastry, Yuke Zhu, Ken Goldberg, Jim Fan","pos":"#716","link":"https://openreview.net/forum?id=4JRO9plGAI","abs":"“Code-as-Policy” considers how executable code can complement data-intensive Vision-LanguageAction (VLA) methods, yet their effectiveness as autonomous controllers for embodied manipulation remains underexplored. We present CaPX, an open-access framework for systematically studying Code-as-Policy agents in robot manipulation. At its core is CaP-Gym, an interactive environment in which agents control robots by synthesizing and executing programs that compose perception and control primitives. Building on this foundation, CaP-Bench evaluates frontier language and vision-language models across varying levels of abstraction, interaction, and perceptual grounding. Across 7 simulation tasks and 12 models, CaP-Bench reveals a consistent trend: performance improves with human-crafted abstractions but degrades as these priors are removed, exposing a dependence on designer scaffolding. At the same time, we observe that this gap can be mitigated through scaling agentic test-time computation–through multi-turn interaction, structured execution feedback, visual differencing, automatic skill synthesis, and ensembled reasoning–substantially improves robustness even when agents operate over low-level primitives. These findings allow us to derive CaP-Agent0, a training-free framework that recovers human-level reliability on several manipulation tasks in simulation and on real embodiments. We further introduce CaP-RL, showing reinforcement learning with verifiable rewards improves success rates and transfers from sim2real with minimal gap. Together, CaP-X provides a principled, open-access platform for advancing embodied coding agents. Project page: https://cap-x-anonymous.github.io
","absKo":"“Code-as-Policy”는 실행 가능한 코드가 data-intensive Vision-LanguageAction (VLA) method를 보완하는 방식을 다루지만, embodied manipulation을 위한 자율 제어기로서의 효과는 아직 충분히 탐구되지 않았습니다. 우리는 로봇 manipulation에서 Code-as-Policy agent를 체계적으로 연구하기 위한 open-access framework인 CaPX를 제시합니다. 그 핵심에는 CaP-Gym이 있는데, 이는 agent가 perception과 control primitive를 조합한 program을 합성하고 실행함으로써 로봇을 제어하는 interactive environment입니다. 이 기반 위에서 CaP-Bench는 서로 다른 abstraction, interaction, perceptual grounding 수준 전반에서 frontier language model과 vision-language model을 평가합니다. 7개의 simulation task와 12개 모델에 걸친 CaP-Bench 결과는 일관된 경향을 드러냅니다. human-crafted abstraction이 있을 때 성능은 향상되지만, 이러한 prior가 제거되면 성능이 저하되어 designer scaffolding에 대한 의존성을 드러냅니다. 동시에 우리는 agentic test-time computation을 확장함으로써 이 격차를 완화할 수 있음을 관찰했습니다. 즉, multi-turn interaction, structured execution feedback, visual differencing, automatic skill synthesis, ensembled reasoning은 agent가 low-level primitive를 다루는 경우에도 강건성을 크게 향상시킵니다. 이러한 결과를 바탕으로 우리는 CaP-Agent0를 도출할 수 있었으며, 이는 simulation과 실제 embodiment 모두에서 여러 manipulation task에 대해 human-level reliability를 회복하는 training-free framework입니다. 또한 CaP-RL을 도입하여, verifiable reward를 사용한 reinforcement learning이 success rate를 개선하고 sim2real에서 최소한의 gap으로 transfer됨을 보입니다. 종합하면 CaP-X는 embodied coding agent를 발전시키기 위한 원칙적이고 open-access한 platform을 제공합니다. Project page: https://cap-x-anonymous.github.io
"},{"id":"62528","en":"Bring My Cup! Personalizing Vision-Language-Action Models with Visual Attentive Prompting","ko":"Bring My Cup!: Visual Attentive Prompting으로 Vision-Language-Action Model 개인화","authors":"Sangoh Lee, Sangwoo Mo, Wook-Shin Han","pos":"#816","link":"https://openreview.net/forum?id=fm6Z3wfTae","abs":"While Vision-Language-Action (VLA) models generalize well to generic instructions, they struggle with personalized commands such as \"bring my cup,\" where the robot must act on one specific instance among visually similar objects. We study this setting of manipulating personal objects, in which a VLA must identify and control a user-specific object unseen during training using only a few reference images. To address this challenge, we propose Visual Attentive Prompting (VAP), a simple-yet-effective training-free perceptual adapter that equips frozen VLAs with top-down selective attention. VAP treats the reference images as a non-parametric visual memory, grounds the personal object in the scene through open-vocabulary detection and embedding-based matching, and then injects this grounding as a visual prompt by highlighting the object and rewriting the instruction. We construct two simulation benchmarks, Personalized-SIMPLER and Personalized-VLABench, and a real-world tabletop benchmark to evaluate personalized manipulation across multiple robots and tasks. Experiments show that VAP consistently outperforms generic policies and token-learning baselines in both success rate and correct-object manipulation, helping to bridge the gap between semantic understanding and instance-level control.
","absKo":"Vision-Language-Action(VLA) model은 일반적인 instruction에는 잘 일반화되지만, 로봇이 시각적으로 유사한 객체들 중에서 하나의 특정 instance에 대해 행동해야 하는 \"bring my cup\"과 같은 personalized command에는 취약하다. 우리는 이러한 personal object manipulation 설정을 연구한다. 이 설정에서 VLA는 학습 중 보지 못한 user-specific object를 몇 장의 reference image만으로 식별하고 제어해야 한다. 이 문제를 해결하기 위해, 우리는 frozen VLA에 top-down selective attention을 부여하는 간단하면서도 효과적인 training-free perceptual adapter인 Visual Attentive Prompting (VAP)를 제안한다. VAP는 reference image를 non-parametric visual memory로 취급하고, open-vocabulary detection과 embedding-based matching을 통해 scene 속 personal object를 grounding한 뒤, 그 grounding 결과를 object를 강조하고 instruction을 다시 쓰는 visual prompt로 주입한다. 우리는 Personalized-SIMPLER와 Personalized-VLABench라는 두 개의 simulation benchmark와, 여러 robot과 task에 걸친 personalized manipulation을 평가하는 실제 tabletop benchmark를 구축했다. 실험 결과 VAP는 success rate와 correct-object manipulation 모두에서 generic policy 및 token-learning baseline을 일관되게 능가하며, semantic understanding과 instance-level control 사이의 간극을 줄이는 데 도움을 준다는 것을 보였다.
"},{"id":"65804","en":"One Model to Translate Them All: Universal Any-to-Any Translation for Heterogeneous Collaborative Perception","ko":"모두를 번역하는 하나의 모델: 이종 협력 지각을 위한 범용 임의-대-임의 번역","authors":"Yang Li, Weize Li, Quan Yuan, Guiyang Luo, Shao Congzhang, Yunqi Ba, Xuanhan Zhu, Xinyuan Ding, Xiaoyuan Fu, Jinglin Li","pos":"#914","link":"https://openreview.net/forum?id=9ySNTY5FAy","abs":"By sharing intermediate features, collaborative perception extends each agent's sensing beyond standalone limits, but real-world feature modality heterogeneity remains a key barrier to effective fusion. Most existing methods, including direct adaption and protocol-based transforma-tion, typically rely on training adapters for newly emerging feature modalities and often require additional retraining or fine-tuning. Such repeated training is costly and is often infeasible across manufacturers due to model and data privacy con-straints, limiting real-world scalability. To address this issue, we propose UniTrans, a universal any-to-any feature modality translation model that instantiates translators on the fly for arbitrary modalities. UniTrans pretrains a bank of translator expert parameters and learns their combination coefficients as a function of source-to-target modality mapping. The mapping is measured in a modality-intrinsic latent space, where an intrinsic encoder extracts modality-specific yet scene-invariant codes from single-frame intermediate features, enabling UniTrans to instantiate translators in a zero-shot manner. Experiments on OPV2V-H and DAIR-V2X demonstrate that UniTrans consistently outperforms state-of-the-art methods in both simulated and real-world set-tings, enabling efficient any-to-any translation through a universal model. Code will be made available.
","absKo":"중간 feature를 공유함으로써 collaborative perception은 각 agent의 sensing 범위를 단독 한계 이상으로 확장하지만, 실제 환경에서의 feature modality heterogeneity는 효과적인 fusion을 가로막는 핵심 장벽으로 남아 있다. 기존 방법의 대부분은 direct adaption과 protocol-based transformation을 포함하여, 새롭게 등장하는 feature modality에 대한 adapter 학습에 의존하며, 추가적인 retraining 또는 fine-tuning이 자주 필요하다. 이러한 반복 학습은 비용이 많이 들고, model 및 data privacy 제약 때문에 제조사 간에는 종종 실행 불가능하여 실제 확장성을 제한한다. 이 문제를 해결하기 위해, 우리는 임의의 modality에 대해 즉시 translator를 생성하는 universal any-to-any feature modality translation model인 UniTrans를 제안한다. UniTrans는 translator expert parameter bank를 pretrain하고, source-to-target modality mapping의 함수로 그 결합 계수를 학습한다. 이 mapping은 modality-intrinsic latent space에서 측정되며, intrinsic encoder가 단일 프레임 intermediate feature로부터 modality-specific이면서도 scene-invariant한 code를 추출하여 UniTrans가 zero-shot 방식으로 translator를 instantiate할 수 있게 한다. OPV2V-H와 DAIR-V2X에서의 실험은 UniTrans가 시뮬레이션과 실제 환경 모두에서 state-of-the-art method를 일관되게 능가하며, universal model을 통해 효율적인 any-to-any translation을 가능하게 함을 보여준다. 코드는 공개될 예정이다.
"},{"id":"64438","en":"Words Towards Explainability: Caption Label-Free Learning via Dual Loop Agentic Time Series Captioning","ko":"설명 가능성을 향한 단어들: 이중 루프 에이전트 시계열 캡셔닝을 통한 캡션 레이블 프리 학습","authors":"Difei Hou, Jiaqi Yue, Chunhui Zhao","pos":"#3917","link":"https://openreview.net/forum?id=NezhkAYLK8","abs":"Explainability is essential for applying time series analysis in high-stakes domains. While Time Series Captioning (TSC) offers a pathway to enhance temporal explainability, achieving reliable caption generation usually necessitates high-quality textual annotations. However, as interpreting abstract temporal dynamics requires specialized domain knowledge, acquiring such caption annotations is challenging, thereby impeding the advancement of TSC. To address this challenge, we introduce a novel Caption Label-Free Learning (CLFL) paradigm. Departing from the supervised learning tradition of imitating human annotations, CLFL formulates captioning as an agentic exploration task optimized by feedback from a proxy reward. Specifically, we propose a Dual Loop Agentic Captioning (DLAC) framework to achieve such an exploration-feedback mechanism. In the inner loop, a Time Series Captioning LLM Agent (TSCAgent) reflectively explores potential semantic captions. In turn, the outer loop evaluates these captions via downstream reasoning to derive a proxy reward, which feeds back to optimize the TSCAgent. Empirical results validate the effectiveness of the CLFL, proving that the exploration-feedback mechanism is sufficient for learning complex temporal semantics and autonomously generating captions, without any caption label supervision. Furthermore, we release TFTSC, an industrial expert-level time series caption dataset, which is available at: \\url{https://anonymous.4open.science/r/TFTSC-05ED/}.
","absKo":"Explainability는 고위험 도메인에서 time series analysis를 적용하는 데 필수적이다. Time Series Captioning (TSC)은 시간적 explainability를 향상시킬 수 있는 경로를 제공하지만, 신뢰할 수 있는 caption 생성을 달성하려면 일반적으로 고품질 텍스트 annotation이 필요하다. 그러나 추상적인 temporal dynamics를 해석하는 데는 특화된 도메인 지식이 요구되므로, 이러한 caption annotation을 확보하는 것은 어렵고, 이는 TSC의 발전을 가로막는다. 이 문제를 해결하기 위해, 우리는 새로운 Caption Label-Free Learning (CLFL) 패러다임을 제안한다. 인간 annotation을 모방하는 supervised learning 전통에서 벗어나, CLFL은 captioning을 proxy reward의 feedback으로 최적화되는 agentic exploration task로 정식화한다. 구체적으로, 우리는 이러한 exploration-feedback 메커니즘을 달성하기 위해 Dual Loop Agentic Captioning (DLAC) 프레임워크를 제안한다. inner loop에서 Time Series Captioning LLM Agent (TSCAgent)는 잠재적인 semantic caption을 반성적으로 탐색한다. 이어 outer loop는 downstream reasoning을 통해 이러한 caption을 평가하여 proxy reward를 도출하고, 이 reward가 다시 TSCAgent 최적화에 피드백된다. 실험 결과는 CLFL의 효과를 검증하며, caption label supervision 없이도 exploration-feedback 메커니즘만으로 복잡한 temporal semantics를 학습하고 caption을 자율적으로 생성할 수 있음을 입증한다. 더 나아가, 우리는 산업 수준의 expert-level time series caption dataset인 TFTSC를 공개하며, 이는 다음에서 이용할 수 있다: \\url{https://anonymous.4open.science/r/TFTSC-05ED/}.
"},{"id":"64089","en":"Step-resolved data attribution for looped transformers","ko":"루프형 Transformer를 위한 단계 분해 데이터 귀속","authors":"Georgios Kaissis, David Mildenberger, Felipe Gomez, Martin Menten, Eleni Triantafillou","pos":"#2712","link":"https://openreview.net/forum?id=R3GDb4y629","abs":"We study how individual training examples shape the internal computation of looped transformers, where a shared block is applied for $\\tau$ recurrent iterations to enable latent reasoning. Existing training-data influence estimators such as TracIn yield a single scalar score that aggregates over all loop iterations, obscuring when during the recurrent computation a training example matters. We introduce Step-Decomposed Influence (SDI), which decomposes TracIn into a length-$\\tau$ influence trajectory by unrolling the recurrent computation graph and attributing influence to specific loop iterations. To make SDI practical at transformer scale, we propose a TensorSketch implementation that never materialises per-example gradients. Experiments on looped GPT-style models and algorithmic reasoning tasks show that SDI scales excellently, matches full-gradient baselines with low error and supports a broad range of data attribution and interpretability tasks with per-step insights into the latent reasoning process.","absKo":"우리는 looped transformer에서 개별 training example이 내부 계산을 어떻게 형성하는지 연구한다. 여기서 shared block이 latent reasoning을 가능하게 하기 위해 $\\tau$회의 recurrent iteration 동안 적용된다. TracIn과 같은 기존 training-data influence estimator는 모든 loop iteration을 합산한 단일 scalar score만 제공하므로, recurrent computation 중 언제 training example이 중요한지 드러내지 못한다. 우리는 recurrent computation graph를 unroll하고 influence를 특정 loop iteration에 귀속시키는 방식으로 TracIn을 길이-$\\tau$ influence trajectory로 분해하는 Step-Decomposed Influence(SDI)를 제안한다. SDI를 transformer 규모에서 실용적으로 만들기 위해, example별 gradient를 결코 materialize하지 않는 TensorSketch 구현을 제안한다. looped GPT-style model과 algorithmic reasoning task에서의 실험은 SDI가 매우 잘 확장되고, 낮은 error로 full-gradient baseline과 일치하며, latent reasoning process에 대한 step-wise insight를 통해 폭넓은 data attribution 및 interpretability task를 지원함을 보여준다."},{"id":"64594","en":"Characterizing the Predictive Impact of Modalities with Supervised Latent-Variable Modeling","ko":"지도 잠재변수 모델링을 통한 Modality의 예측적 영향 특성화","authors":"Divyam Madaan, Sumit Chopra, Kyunghyun Cho","pos":"#2615","link":"https://openreview.net/forum?id=Ls4SgE9gRd","abs":"Despite the recent success of Multimodal Large Language Models (MLLMs), existing approaches predominantly assume the availability of multiple modalities during training and inference. In practice, multimodal data is often incomplete because modalities may be missing, collected asynchronously, or available only for a subset of examples. In this work, we propose PRIMO, a supervised latent-variable imputation model that quantifies the predictive impact of any missing modality within the multimodal learning setting. PRIMO enables the use of all available training examples, whether modalities are complete or partial. Specifically, it models the missing modality through a latent variable that captures its relationship with the observed modality in the context of prediction. During inference, we draw many samples from the learned distribution over the missing modality to both obtain the marginal predictive distribution (for the purpose of prediction) and analyze the impact of the missing modalities on the prediction for each instance. We evaluate PRIMO on a synthetic XOR dataset, Audio-Vision MNIST, and MIMIC-III for mortality and ICD-9 prediction. Across all datasets, PRIMO obtains performance comparable to unimodal baselines when a modality is fully missing and to multimodal baselines when all modalities are available. PRIMO quantifies the predictive impact of a modality at the instance level using a variance-based metric computed from predictions across latent completions. We visually demonstrate how varying completions of the missing modality result in a set of plausible labels.
","absKo":"최근 Multimodal Large Language Models (MLLMs)의 성공에도 불구하고, 기존 접근법은 주로 학습과 추론 모두에서 여러 modality가 모두 사용 가능하다고 가정한다. 실제로 multimodal 데이터는 modality가 누락되거나, 비동기적으로 수집되거나, 일부 예시에만 제공되기 때문에 불완전한 경우가 많다. 본 연구에서는 multimodal learning 설정에서 누락된 임의의 modality가 예측에 미치는 영향을 정량화하는 supervised latent-variable imputation model인 PRIMO를 제안한다. PRIMO는 modality가 완전하든 부분적이든 사용 가능한 모든 학습 예시를 활용할 수 있게 한다. 구체적으로, 이는 예측의 맥락에서 관측된 modality와의 관계를 포착하는 latent variable을 통해 누락된 modality를 모델링한다. 추론 시에는 학습된 누락 modality 분포에서 많은 sample을 생성하여 marginal predictive distribution을 얻는 것(예측 목적)과 각 instance에서 누락 modality가 예측에 미치는 영향을 분석하는 것을 동시에 수행한다. 우리는 합성 XOR dataset, Audio-Vision MNIST, 그리고 mortality와 ICD-9 prediction을 위한 MIMIC-III에서 PRIMO를 평가한다. 모든 dataset에서 PRIMO는 modality가 완전히 누락된 경우 unimodal baseline과, 모든 modality를 사용할 수 있는 경우 multimodal baseline과 비견되는 성능을 얻는다. PRIMO는 latent completion에 걸친 예측값으로부터 계산한 variance-based metric을 사용해 instance 수준에서 modality의 예측 영향을 정량화한다. 또한 누락된 modality의 서로 다른 completion이 어떻게 그럴듯한 label들의 집합으로 이어지는지 시각적으로 보여준다.
"},{"id":"65256","en":"Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability","ko":"구조적 대칭을 넘어서: 뉴런 식별 가능성을 통한 선형 모드 연결성","authors":"Vincent Bürgin, Daniel Herbst, Ya-Wei Eileen Lin, Stefanie Jegelka","pos":"#2713","link":"https://openreview.net/forum?id=FJLz8swPpd","abs":"Many striking phenomena in deep learning, such as linear mode connectivity and the structured behavior of training dynamics, are closely tied to parameter symmetries: transformations that leave the realized function unchanged. Despite growing attention to structural parameter symmetries, the exact interplay between parameters, data, and representations remains underexplored. To investigate this, we develop a theoretical framework of effective function classes defined by the neurons' induced functions restricted to the representation subspace. We then formalize effective symmetry breaking via neuron identifiability across independent training runs. Our analysis shows that neural networks can admit large families of approximately equivalent solutions even in structurally asymmetric models. This allows us to disentangle the effects of data-specific and architectural symmetries. We further show that neuron identifiability enables representation merging without prior alignment, and characterize when such merging admits a linear low-loss connecting path. These findings highlight the role of effective function classes in affecting the loss landscape.
","absKo":"deep learning에서 linear mode connectivity와 training dynamics의 구조화된 거동과 같은 많은 인상적인 현상은 parameter symmetries, 즉 구현된 function은 변하지 않게 하는 transformations과 밀접하게 관련되어 있다. 구조적 parameter symmetries에 대한 관심이 커지고 있음에도, parameters, data, representations 사이의 정확한 상호작용은 아직 충분히 탐구되지 않았다. 이를 조사하기 위해, 우리는 representation subspace로 제한된 neurons의 induced functions에 의해 정의되는 effective function classes의 이론적 framework를 개발한다. 이어서 우리는 독립적인 training run들 사이에서 neuron identifiability를 통해 effective symmetry breaking을 정식화한다. 우리의 분석은 neural networks가 structurally asymmetric models에서도 큰 family의 approximately equivalent solutions를 가질 수 있음을 보여준다. 이는 data-specific symmetries와 architectural symmetries의 효과를 분리할 수 있게 한다. 우리는 또한 neuron identifiability가 prior alignment 없이 representation merging을 가능하게 하며, 그러한 merging이 선형 low-loss connecting path를 허용하는 조건을 규명한다. 이러한 결과는 loss landscape에 영향을 미치는 effective function classes의 역할을 부각한다.
"},{"id":"65070","en":"Eigenvectors of Experts are Training-free Non-collapsing Routers","ko":"Expert의 Eigenvector는 학습 없는 비붕괴 Router다","authors":"Giang Do, Hung Le, Truyen Tran","pos":"#2211","link":"https://openreview.net/forum?id=H1mxs9qGQX","abs":"Sparse Mixture of Experts (SMoE) architectures improve the training efficiency of Large Language Models (LLMs) by routing input tokens to a selected subset of specialized experts. Despite their remarkable success, both training and inference in SMoE models suffer from the expert collapse issue (Chi et al., 2022a), which degrades model performance. Prior studies primarily focus on improving the router; however, such methods rely on training from scratch or fine-tuning, which requires high computational and data-processing costs. Furthermore, we demonstrate that, despite these efforts, the issue persists when advancing well-pretrained SMoE models, as evidenced by both theoretical and empirical results. To fill that gap, we analyze the advanced SMoE models and observe that the eigenvectors of expert weight matrices encode rich semantic information, pointing to an effective alternative to conventional routing strategies. Building on this insight, we propose Singular Value Decomposition SMoE (SSMoE), a novel and training-free framework that leverages spectral properties of the expert weights to address the collapse issue and enhance model performance. Extensive experiments across diverse language and vision tasks, under both clean and corrupt data settings, demonstrate the strong generalization and robustness of SSMoE. Our findings highlight how a deeper understanding of model internals can guide the development of more effective SMoE architectures.
","absKo":"Sparse Mixture of Experts(SMoE) 아키텍처는 입력 token을 특화된 expert의 선택된 부분집합으로 라우팅함으로써 Large Language Models(LLMs)의 training efficiency를 향상시킨다. 그러나 이들의 놀라운 성공에도 불구하고, SMoE model의 training과 inference는 모두 expert collapse 문제(Chi et al., 2022a)로 인해 성능이 저하된다. 기존 연구는 주로 router 개선에 초점을 맞추지만, 이러한 방법은 scratch에서의 training이나 fine-tuning에 의존하므로 높은 compute 및 data-processing 비용이 필요하다. 더구나 우리는 이론적 및 실험적 결과를 통해, 이러한 노력에도 불구하고 잘 사전학습된 SMoE model을 발전시킬 때 이 문제가 여전히 지속됨을 보인다. 이러한 공백을 메우기 위해 우리는 advanced SMoE model을 분석하고, expert weight matrix의 eigenvector가 풍부한 semantic information을 담고 있음을 관찰하여, 전통적 routing 전략의 효과적인 대안을 제시한다. 이 통찰을 바탕으로 우리는 Singular Value Decomposition SMoE(SSMoE)를 제안한다. 이는 expert weight의 spectral property를 활용해 collapse 문제를 해결하고 model performance를 향상시키는 새로운 training-free 프레임워크이다. 깨끗한 데이터와 손상된 데이터 설정 모두에서, 다양한 언어 및 vision task에 걸친 광범위한 실험은 SSMoE의 강한 일반화와 견고성을 보여준다. 우리의 발견은 model internal에 대한 더 깊은 이해가 더 효과적인 SMoE architecture 개발을 어떻게 이끌 수 있는지를 강조한다.
"},{"id":"60909","en":"ePC: Fast and Deep Predictive Coding for Digital Hardware","ko":"ePC: Digital Hardware를 위한 빠르고 깊은 Predictive Coding","authors":"Cédric Goemaere, Gaspard Oliviers, Rafal Bogacz, Thomas Demeester","pos":"#4313","link":"https://openreview.net/forum?id=vNPkcJj46N","abs":"Predictive Coding (PC) offers a brain-inspired alternative to backpropagation for neural network training, described as a physical system minimizing its internal energy. However, in practice, PC is predominantly digitally simulated, requiring excessive amounts of compute while struggling to scale to deeper architectures. This paper reformulates PC to overcome this hardware-algorithm mismatch. First, we uncover how the canonical state-based formulation of PC (sPC) is, by design, deeply inefficient in digital simulation, inevitably resulting in exponential signal decay that stalls the entire minimization process. Then, to overcome this fundamental limitation, we introduce error-based PC (ePC), a novel reparameterization of PC which does not suffer from signal decay. Though no longer biologically plausible, ePC numerically computes exact PC weights gradients and runs orders of magnitude faster than sPC. Experiments across multiple architectures and datasets demonstrate that ePC matches backpropagation's performance even for deeper models where sPC struggles. Besides practical improvements, our work provides theoretical insight into PC dynamics and establishes a foundation for scaling PC-based learning to deeper architectures on digital hardware and beyond.
","absKo":"Predictive Coding(PC)은 신경망 학습을 위한 backpropagation의 brain-inspired 대안으로, 내부 에너지를 최소화하는 물리 시스템으로 설명된다. 그러나 실제로 PC는 주로 디지털로 시뮬레이션되며, 과도한 연산량이 필요하고 더 깊은 아키텍처로의 확장에 어려움을 겪는다. 본 논문은 이러한 hardware-algorithm mismatch를 극복하기 위해 PC를 재정식화한다. 먼저, PC의 canonical state-based formulation(sPC)이 설계상 디지털 시뮬레이션에서 본질적으로 매우 비효율적이며, 필연적으로 exponential signal decay를 초래해 전체 minimization process를 정체시킨다는 점을 밝힌다. 이어서 이 근본적 한계를 극복하기 위해, signal decay의 영향을 받지 않는 PC의 새로운 reparameterization인 error-based PC(ePC)를 제안한다. 더 이상 biologically plausible하지는 않지만, ePC는 정확한 PC weight gradient를 수치적으로 계산하며 sPC보다 수십 배 빠르게 동작한다. 여러 아키텍처와 데이터셋에 걸친 실험은 ePC가 더 깊은 모델에서도 sPC가 어려움을 겪는 상황에서 backpropagation의 성능에 필적함을 보여 준다. 실용적 개선 외에도, 우리의 연구는 PC dynamics에 대한 이론적 통찰을 제공하고 디지털 하드웨어 및 그 너머에서 더 깊은 아키텍처로 PC 기반 학습을 확장하기 위한 기반을 확립한다.
"},{"id":"65272","en":"MFH-NAS:A Hybrid Neural Architecture Search Framework for Multimodal Fusion Object Detection","ko":"MFH-NAS: 멀티모달 융합 객체 탐지를 위한 하이브리드 Neural Architecture Search 프레임워크","authors":"QuanWei Gao, Shuqi Zhao, Ruyu Wang, Shuyin Zhang, Cong Liu, Zirui Luo","pos":"#1015","link":"https://openreview.net/forum?id=FBcQKC3pLh","abs":"Multimodal fusion object detection faces a substantial modality gap at the same backbone stage. This makes predefined stage-aligned fusion insufficient for cross-stage interactions. We propose MFH-NAS, a hybrid neural architecture search framework that automatically discovers fusion architectures to better leverage cross-modal complementarity. MFH-NAS searches both local fusion primitives and stage-level fusion connectivity. It targets fusion operator design and fusion stage selection. It couples differentiable search with evolutionary search. Differentiable search learns architecture parameters for local fusion primitives. Evolutionary search explores global fusion topologies, including stage selection and cross-stage connection patterns. The joint search balances exploitation and exploration and mitigates premature convergence. It yields fusion structures that strengthen cross-stage interactions.We evaluate MFH-NAS on three public benchmarks, LLVIP, RGBT-Tiny, and M3FD. MFH-NAS consistently outperforms handcrafted fusion-stage designs and prior stage-searching NAS baselines, improving mAP@0.5 from 85.3% to 88.2% over strong fixed-stage fusion methods and delivering gains across all benchmarks.
","absKo":"Multimodal fusion object detection은 동일한 backbone stage에서 상당한 modality gap을 마주한다. 이로 인해 사전에 정의된 stage-aligned fusion은 cross-stage interaction을 충분히 활용하기에 불충분하다. 우리는 cross-modal complementarity를 더 잘 활용할 수 있도록 fusion architecture를 자동으로 발견하는 hybrid neural architecture search framework인 MFH-NAS를 제안한다. MFH-NAS는 local fusion primitive와 stage-level fusion connectivity를 모두 탐색한다. 이는 fusion operator 설계와 fusion stage 선택을 대상으로 한다. 또한 differentiable search와 evolutionary search를 결합한다. differentiable search는 local fusion primitive에 대한 architecture parameter를 학습한다. evolutionary search는 stage selection과 cross-stage connection pattern을 포함한 전역 fusion topology를 탐색한다. 이러한 joint search는 exploitation과 exploration의 균형을 맞추고 조기 수렴을 완화한다. 그 결과 cross-stage interaction을 강화하는 fusion structure를 산출한다. 우리는 LLVIP, RGBT-Tiny, M3FD의 세 가지 public benchmark에서 MFH-NAS를 평가했다. MFH-NAS는 수작업으로 설계한 fusion-stage design과 기존의 stage-searching NAS baseline을 일관되게 능가했으며, 강력한 고정 stage fusion 방법들에 비해 mAP@0.5를 85.3%에서 88.2%로 향상시키고 모든 benchmark에서 성능 향상을 제공했다.
"},{"id":"61473","en":"HypCL: Adapting CLIP in Hyperbolic Space for Continual Learning","ko":"HypCL: Continual Learning을 위한 Hyperbolic Space에서의 CLIP 적응","authors":"Quan Cheng, Hao Yu, Da-Wei Zhou, Lijun Zhang","pos":"#1614","link":"https://openreview.net/forum?id=pqVrvlNCjB","abs":"Recently, vision-language models (e.g., CLIP) are increasingly adopted for continual learning to mitigate catastrophic forgetting. However, existing CLIP-based methods typically freeze the backbone to preserve pre-trained knowledge, which limits the model's ability to learn discriminative features for downstream tasks. In this paper, we introduce HypCL, a parameter-efficient framework that continually adapts CLIP in hyperbolic space for continual learning. Our key insight is that the exponentially expanding capacity of hyperbolic geometry naturally accommodates the growing class space and promotes stronger inter-class separation. Specifically, HypCL learns task-specific hyperbolic transformations and employs a lightweight task-weighting mechanism to aggregate transformations across tasks. To fully exploit the enhanced feature separability afforded by hyperbolic geometry, HypCL maintains class prototypes computed from the adapted features, which serve as stable anchors for calibrating predictions during inference. Extensive experiments on standard class-incremental benchmarks demonstrate that HypCL consistently outperforms existing CLIP-based continual learning methods.
","absKo":"최근 vision-language models (예: CLIP)은 catastrophic forgetting을 완화하기 위해 continual learning에 점점 더 많이 채택되고 있다. 그러나 기존 CLIP 기반 방법들은 보통 pre-trained knowledge를 보존하기 위해 backbone을 freeze하며, 이는 downstream task를 위한 판별적 feature를 학습하는 모델의 능력을 제한한다. 본 논문에서는 continual learning을 위해 hyperbolic space에서 CLIP을 지속적으로 적응시키는 parameter-efficient framework인 HypCL을 소개한다. 우리의 핵심 통찰은 hyperbolic geometry의 지수적으로 확장되는 용량이 증가하는 class space를 자연스럽게 수용하고 클래스 간 분리를 더 강하게 촉진한다는 점이다. 구체적으로, HypCL은 task-specific hyperbolic transformation을 학습하고, task 전반의 transformation을 집계하기 위해 lightweight task-weighting mechanism을 사용한다. hyperbolic geometry가 제공하는 향상된 feature separability를 충분히 활용하기 위해, HypCL은 적응된 feature로부터 계산된 class prototype을 유지하며, 이는 inference 시 prediction을 보정하는 안정적인 anchor로 작동한다. 표준 class-incremental benchmark에서의 광범위한 실험은 HypCL이 기존 CLIP 기반 continual learning 방법들을 일관되게 능가함을 보여준다.
"},{"id":"63947","en":"dTRPO : Trajectory Reduction in Policy Optimization of Diffusion Large Language Models","ko":"dTRPO: Diffusion Large Language Model policy optimization에서의 trajectory 축소","authors":"Wenxuan Zhang, Lemeng Wu, Changsheng Zhao, Ernie Chang, Mingchen Zhuge, Zechun Liu, DiJia Su, Hanxian Huang, Jun Chen, Chong Zhou, Raghuraman Krishnamoorthi, Vikas Chandra, Mohamed Elhoseiny, Wei Wen","pos":"#1706","link":"https://openreview.net/forum?id=SHZw5dqHZ7","abs":"Diffusion Large Language Models (dLLMs) introduce a new paradigm for language generation and thus induce new challenges in aligning dLLMs for human preference. In this work, aim to optimize the dLLM generation process by developing a theoretical formulation and an efficient and effective quantification of the probability of generation trajectory. We prove that (i) under reference policy regularization, the probability ratio of intermediate diffusion states equals to that of the newly unmasked tokens, and (ii) the probability of the entire generation can be estimated using a single forward pass with block attention. Integrating the two estimations into preference optimization objective, we propose Trajectory Reduction Policy Optimization (dTRPO). We evaluate dTRPO on 7B dLLMs across instruction-following and reasoning benchmarks and show that it substantially improves the core performance of state-of-the-art dLLMs, achieving gains of up to 9.6\\% on STEM tasks, up to 4.3\\% on coding tasks, and up to 3.0\\% on instruction-following tasks.
","absKo":"Diffusion Large Language Models (dLLMs)는 언어 생성에 새로운 패러다임을 도입하며, 그에 따라 human preference에 맞게 dLLM을 align하는 데 새로운 도전이 발생한다. 본 연구에서는 생성 trajectory의 probability에 대한 이론적 formulation과 효율적이며 효과적인 정량화를 개발함으로써 dLLM의 생성 과정을 최적화하는 것을 목표로 한다. 우리는 (i) reference policy regularization 하에서 intermediate diffusion state의 probability ratio가 새로 unmask된 token들의 probability ratio와 같고, (ii) block attention을 사용한 단일 forward pass로 전체 생성의 probability를 추정할 수 있음을 증명한다. 이 두 추정을 preference optimization objective에 통합하여, 우리는 Trajectory Reduction Policy Optimization (dTRPO)을 제안한다. 우리는 instruction-following 및 reasoning benchmark 전반에서 7B dLLM에 대해 dTRPO를 평가하고, 최첨단 dLLM의 핵심 성능을 크게 향상시킴을 보인다. 구체적으로 STEM task에서 최대 9.6\\%, coding task에서 최대 4.3\\%, instruction-following task에서 최대 3.0\\%의 향상을 달성한다.
"},{"id":"68774","en":"MoFO: Momentum-Filtered Optimizer for Mitigating Forgetting in LLM Fine-Tuning","ko":"MoFO: LLM Fine-Tuning에서 망각을 완화하기 위한 Momentum-Filtered Optimizer","authors":"Yupeng Chen, Senmiao Wang, Yushun Zhang, Zhihang Lin, Haozhe Zhang, Weijian Sun, Tian Ding, Ruoyu Sun","pos":"#2010","abs":"Large language models (LLMs) have demonstrated remarkable capabilities across a wide range of tasks. Typically, LLMs are first pre-trained on large corpora and subsequently fine-tuned on task-specific datasets. However, during fine-tuning, LLMs may forget some knowledge acquired in the pre-training stage, leading to a decline in general capabilities. Existing approaches to mitigate forgetting often rely on access to pre-training data, which may be unavailable in many real-world scenarios—such as fine-tuning checkpoint-only open-source LLMs. To address this challenge, we propose a new fine-tuning algorithm termed Momentum-Filtered Optimizer (MoFO). \nMoFO is an extension of greedy block coordinate descent (BCD) methods: in each iteration, MoFO only updates the model parameters with the largest momentum magnitudes, while keeping all other parameters fixed. MoFO achieves similar fine-tuning performance to the default fine-tuning algorithm while effectively mitigating knowledge forgetting. We validate MoFO through rigorous convergence analysis and extensive experiments, demonstrating its effectiveness in mitigating forgetting without pre-training data.
","absKo":"Large language models(LLMs)는 다양한 과제에서 놀라운 능력을 보여주었다. 일반적으로 LLM은 먼저 대규모 코퍼스에서 pre-training을 수행한 뒤, task-specific dataset으로 fine-tuning된다. 그러나 fine-tuning 과정에서 LLM은 pre-training 단계에서 획득한 일부 지식을 잊어버릴 수 있으며, 이는 전반적인 성능 저하로 이어진다. forgetting을 완화하기 위한 기존 접근법은 대개 pre-training data에 대한 접근에 의존하는데, 이는 fine-tuning checkpoint만 제공되는 open-source LLM을 다루는 등 많은 실제 상황에서는 불가능할 수 있다. 이러한 문제를 해결하기 위해 우리는 Momentum-Filtered Optimizer(MoFO)라는 새로운 fine-tuning algorithm을 제안한다. \nMoFO는 greedy block coordinate descent(BCD) 방법의 확장으로, 각 iteration에서 MoFO는 momentum 크기가 가장 큰 model parameter만 업데이트하고 나머지 parameter는 모두 고정한다. MoFO는 기본 fine-tuning algorithm과 유사한 fine-tuning 성능을 달성하면서 knowledge forgetting을 효과적으로 완화한다. 우리는 엄밀한 convergence analysis와 광범위한 실험을 통해 MoFO를 검증했으며, pre-training data 없이도 forgetting을 완화하는 효과를 입증한다.
"},{"id":"65476","en":"Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts","ko":"Least-Loaded Expert 병렬화: 불균형 Mixture-of-Experts의 부하 분산","authors":"Xuan-Phi Nguyen, Shrey Pandit, Austin Xu, Caiming Xiong, Shafiq Joty","pos":"#2100","link":"https://openreview.net/forum?id=DFi6hHce5t","abs":"Mixture-of-Experts (MoE) models are typically pre-trained with explicit load-balancing constraints to ensure statistically balanced expert routing. Despite this, we observe that even well-trained MoE models exhibit significantly imbalanced routing. This behavior is arguably natural—and even desirable—as imbalanced routing allows models to concentrate domain-specific knowledge within a subset of experts. Expert parallelism (EP) is designed to scale MoE models by distributing experts across multiple devices, but with a less-discussed assumption of balanced routing. Under extreme imbalance, EP can funnel a disproportionate number of tokens to a small number of experts, leading to compute- and memory-bound failures on overloaded devices during post-training or inference, where explicit load balancing is often inapplicable. We propose Least-Loaded Expert Parallelism (LLEP), a novel EP algorithm that dynamically reroutes excess tokens and associated expert parameters from overloaded devices to underutilized ones. This ensures that all devices complete their workloads within the minimum collective latency while respecting memory constraints. Across different model scales, LLEP achieves up to 5x speedup and 4x reduction in peak memory usage compared to standard EP. This enables faster and higher-throughput post-training and inference, with ~1.9x faster for gpt-oss-120b. We support our method with extensive theoretical analysis and comprehensive empirical evaluations, including ablation studies. These results illuminate key trade-offs and enable a principled framework for hardware-specific hyper-parameter tuning to achieve optimal performance.
","absKo":"Mixture-of-Experts(MoE) model은 일반적으로 통계적으로 균형 잡힌 expert routing을 보장하기 위해 explicit load-balancing constraint로 pre-training된다. 그럼에도 불구하고, 우리는 잘 학습된 MoE model조차도 상당히 불균형한 routing을 보인다는 것을 관찰한다. 이러한 행동은 아마도 자연스럽고, 심지어 바람직할 수도 있는데, 불균형한 routing은 model이 domain-specific knowledge를 일부 expert에 집중시킬 수 있게 하기 때문이다. Expert parallelism(EP)은 여러 device에 expert를 분산시켜 MoE model을 확장하도록 설계되었지만, 덜 논의된 balanced routing 가정을 전제로 한다. 극단적인 불균형 하에서 EP는 과도한 수의 token을 소수의 expert로 몰아넣을 수 있으며, explicit load balancing이 대개 적용 불가능한 post-training 또는 inference 시 overloaded device에서 compute-bound 및 memory-bound failure를 초래할 수 있다. 우리는 과부하된 device에서 초과 token과 관련 expert parameter를 덜 활용된 device로 동적으로 재라우팅하는 새로운 EP 알고리즘인 Least-Loaded Expert Parallelism(LLEP)을 제안한다. 이는 모든 device가 memory constraint를 지키면서 최소 collective latency 내에 작업을 완료하도록 보장한다. 서로 다른 model scale 전반에서 LLEP는 standard EP 대비 최대 5배의 속도 향상과 4배의 peak memory 사용량 감소를 달성한다. 이를 통해 더 빠르고 높은 throughput의 post-training 및 inference가 가능해지며, gpt-oss-120b에서는 약 1.9배 더 빠르다. 우리는 ablation study를 포함한 광범위한 이론적 분석과 포괄적인 실증 평가로 이 방법을 뒷받침한다. 이러한 결과는 핵심 trade-off를 밝히고, 최적 성능을 달성하기 위한 hardware-specific hyper-parameter tuning의 원칙적 프레임워크를 가능하게 한다.
"},{"id":"62691","en":"Hybrid Policy Distillation for LLMs","ko":"LLMs를 위한 Hybrid Policy Distillation","authors":"Wenhong Zhu, Ruobing Xie, Rui Wang, Pengfei Liu","pos":"#2106","link":"https://openreview.net/forum?id=eFBO8ECxb2","abs":"Knowledge distillation (KD) is a powerful paradigm for compressing large language models (LLMs), whose effectiveness depends on intertwined choices of divergence direction, optimization strategy, and data regime. We break down the design of existing KD methods and present a unified view that establishes connections between them, reformulating KD as a reweighted log-likelihood objective at the token level. We further propose Hybrid Policy Distillation (HPD), which integrates the complementary advantages of forward and reverse KL to balance mode coverage and mode-seeking behaviors, and combines off-policy data with lightweight approximate on-policy sampling. We validate HPD on long-generation math reasoning as well as short-generation dialogue and code tasks, demonstrating improved optimization stability, computational efficiency, and final performance across diverse model families and scales.
","absKo":"Knowledge distillation (KD)는 대규모 언어 모델(LLM)을 압축하는 강력한 패러다임이며, 그 효과는 divergence 방향, optimization strategy, data regime의 얽힌 선택에 좌우된다. 우리는 기존 KD 방법들의 설계를 분해해 공통된 관점을 제시하고, 이들 사이의 연결을 확립함으로써 KD를 token level에서의 reweighted log-likelihood objective로 재정식화한다. 더 나아가 우리는 Hybrid Policy Distillation (HPD)을 제안하는데, 이는 forward KL과 reverse KL의 상보적 장점을 통합해 mode coverage와 mode-seeking behavior의 균형을 맞추고, off-policy data와 lightweight approximate on-policy sampling을 결합한다. 우리는 HPD를 long-generation math reasoning뿐 아니라 short-generation dialogue 및 code task에서도 검증했으며, 다양한 model family와 scale 전반에서 최적화 안정성, 계산 효율성, 최종 성능의 향상을 보였다."},{"id":"64753","en":"Fine-Tuning of Transformer models with Frames","ko":"Frame을 활용한 Transformer 모델의 Fine-Tuning","authors":"Harshavardhan Adepu, Li Zhang, Sanjiv Kumar, Vikas Singh","pos":"#2116","link":"https://openreview.net/forum?id=KCfbSVIheg","abs":"Parameter-Efficient Fine-Tuning (PEFT) strategies such as Low-Rank Adaptation (LoRA) are effective solutions for fine-tuning large-scale pre-trained models; however, their memory requirements scales with the size of the model, $\\mathcal{O}(dr)$, where $d$ is the model's hidden dimension and $r$ is the rank. Our proposal, FrameFT, models the parameter update $\\Delta W$ with a sparse coefficient matrix in a Fusion Frame basis. Fusion Frames can be generated algorithmically and shared across model layers, enabling highly efficient updates. Only the sparse coefficients of the basis expansion are stored/optimized, strongly reducing the memory footprint and parameter count. The sparse structure of the coefficient matrix in FrameFT and the sparsity in the Fusion Frames, give sizable compute benefits. Our technical analysis shows that FrameFT allows obtaining formal convergence results. We evaluate our method across a suite of supervised fine-tuning benchmarks, primarily focusing on language tasks, but also report applicability to vision models. Our empirical evaluations show that FrameFT achieves performance on par with or exceeding state-of-the-art PEFT techniques, but needs far fewer trainable parameters and less memory.","absKo":"Low-Rank Adaptation(LoRA)과 같은 Parameter-Efficient Fine-Tuning(PEFT) 전략은 대규모 pretrained model을 fine-tuning하는 효과적인 해법이지만, 메모리 요구량이 model 크기에 따라 $\\mathcal{O}(dr)$로 스케일하며, 여기서 $d$는 model의 hidden dimension, $r$은 rank이다. 우리의 제안인 FrameFT는 parameter update $\\Delta W$를 Fusion Frame basis에서의 sparse coefficient matrix로 모델링한다. Fusion Frame은 알고리즘적으로 생성할 수 있고 model layer 간 공유가 가능해 매우 효율적인 update를 가능하게 한다. basis expansion의 sparse coefficient만 저장하고 최적화하므로 memory footprint와 parameter 수가 크게 줄어든다. FrameFT의 coefficient matrix의 sparse structure와 Fusion Frame의 sparsity는 상당한 compute 이점을 제공한다. 우리의 기술적 분석은 FrameFT가 formal convergence result를 얻을 수 있음을 보여준다. 우리는 주로 language task에 초점을 맞춘 supervised fine-tuning benchmark 모음에서 방법을 평가했으며, vision model에 대한 적용 가능성도 보고한다. 실험 결과, FrameFT는 state-of-the-art PEFT technique과 동등하거나 더 나은 성능을 달성하면서도 훨씬 적은 trainable parameter와 메모리를 필요로 한다."},{"id":"64052","en":"DB-KSVD: Scalable Alternating Optimization for Disentangling High-Dimensional Embedding Spaces","ko":"DB-KSVD: 고차원 임베딩 공간 분리를 위한 확장 가능한 교대 최적화","authors":"Romeo Valentin, Sydney Katz, Vincent Vanhoucke, Mykel Kochenderfer","pos":"#2201","link":"https://openreview.net/forum?id=RLNfZ407i8","abs":"Dictionary learning has recently emerged as a promising approach for mechanistic interpretability of large transformer models. Disentangling high-dimensional transformer embeddings requires algorithms that scale to high-dimensional data with large sample sizes. Recent work has explored sparse autoencoders (SAEs) for this problem. However, SAEs use a simple linear encoder to solve the sparse encoding subproblem, which is known to be NP-hard. It is therefore interesting to understand whether this approach is sufficient to find good solutions to the dictionary learning problem or if a more sophisticated algorithm could find better solutions. In this work, we propose Double-Batch KSVD (DB-KSVD), a scalable dictionary learning algorithm that adapts the classic KSVD algorithm. DB-KSVD is informed by the rich theoretical foundations of KSVD but scales to datasets with millions of samples and thousands of dimensions. We demonstrate the efficacy of DB-KSVD by disentangling text embeddings of the Gemma-2-2B and Pythia-160M models and evaluating on six metrics from the SAEBench benchmark, where we achieve competitive results when compared to established approaches based on SAEs. We further show similar results when disentangling image embeddings obtained from the DINOv2-S and DINOv2-B models, solidifying our findings. By matching SAE performance with an entirely different optimization approach, our results suggest that (i) SAEs do find strong solutions to the dictionary learning problem and (ii) traditional optimization approaches can be scaled to the required problem sizes, offering a promising avenue for further research. We make an implementation of DB-KSVD available.
","absKo":"Dictionary learning은 최근 대규모 transformer 모델의 mechanistic interpretability를 위한 유망한 접근법으로 부상했다. 고차원 transformer embedding을 분해하려면 대규모 샘플 수를 가진 고차원 데이터에 확장 가능한 알고리즘이 필요하다. 최근 연구에서는 이 문제에 sparse autoencoder(SAE)를 탐구해 왔다. 그러나 SAE는 sparse encoding 부분 문제를 해결하기 위해 단순한 linear encoder를 사용하는데, 이는 NP-hard로 알려져 있다. 따라서 이 접근법이 dictionary learning 문제에서 좋은 해를 찾기에 충분한지, 아니면 더 정교한 알고리즘이 더 나은 해를 찾을 수 있는지 이해하는 것은 흥미로운 문제다. 본 연구에서는 고전적인 KSVD 알고리즘을 적응시킨 확장 가능한 dictionary learning 알고리즘인 Double-Batch KSVD(DB-KSVD)를 제안한다. DB-KSVD는 KSVD의 풍부한 이론적 토대에 기반하면서도 수백만 개의 샘플과 수천 차원의 데이터셋까지 확장된다. 우리는 Gemma-2-2B와 Pythia-160M 모델의 text embedding을 분해하고, SAEBench benchmark의 여섯 가지 metric으로 평가함으로써 DB-KSVD의 효율성을 입증하며, SAE 기반의 기존 접근법과 비교해 경쟁력 있는 결과를 달성함을 보인다. 또한 DINOv2-S와 DINOv2-B 모델에서 얻은 image embedding을 분해했을 때도 유사한 결과를 보여, 우리의 발견을 더욱 뒷받침한다. 전혀 다른 optimization 접근법으로 SAE 성능과 맞먹는 결과를 보임으로써, 우리의 결과는 (i) SAE가 dictionary learning 문제에서 강력한 해를 실제로 찾고 있으며, (ii) 전통적인 optimization 접근법도 필요한 문제 규모로 확장될 수 있어 향후 연구를 위한 유망한 방향을 제공함을 시사한다. 우리는 DB-KSVD의 구현을 공개한다.
"},{"id":"64133","en":"Automatic Pruning Discovery for Large Language Models","ko":"대형 언어 모델을 위한 자동 가지치기 발견","authors":"Haidong Kang, Lihong Lin, Enneng Yang, Hong-Ning Dai, Hao Wang","pos":"#2309","link":"https://openreview.net/forum?id=Qay3nI9WRv","abs":"Large language models (LLMs) have achieved remarkable performance on a wide range of tasks, hindering real-world deployment due to their massive size. Existing pruning methods (e.g., Wanda) tailored for LLMs rely heavily on manual design pruning algorithms, thereby leading to $\\textit{huge labor costs}$ and $\\textit{requires expert knowledge}$. Furthermore, we are the first to identify the serious \\textit{outlier value issue} behind dramatic performance degradation under high pruning ratios that are caused by uniform sparsity, raising an additional concern about how to design adaptive pruning sparsity ideal for LLMs. Can LLMs prune by themselves? In this work, we introduce an affirmative answer by proposing a novel pruning method called $\\textbf{AutoPrune}$, which first overcomes expert knowledge limits by leveraging LLMs to design optimal pruning algorithms for themselves automatically without any expert knowledge. Specifically, to mitigate the black-box nature of LLMs, we propose a Graph-driven Chain-of-Thought (GCoT) to optimize prompts, significantly enhancing the reasoning process in learning the pruning algorithm and enabling us to generate pruning algorithms with superior performance and interpretability in the next generation. Finally, grounded in insights of outlier value issue, we introduce Skew-aware Dynamic Sparsity Allocation (SDSA) to overcome the outlier value issue, mitigating performance degradation under high pruning ratios. We conduct extensive experiments on mainstream LLMs benchmarks, demonstrating the superiority of AutoPrune, which consistently excels state-of-the-art competitors. The code is available at: \\url{https://anonymous.4open.science/r/AutoPrune}.","absKo":"Large language models (LLMs)는 다양한 task에서 놀라운 성능을 달성했지만, 그 거대한 규모 때문에 실제 배포가 어려워진다. LLM을 위해 설계된 기존 pruning method(예: Wanda)는 수동 설계 pruning algorithm에 크게 의존하므로, \\textit{huge labor costs}와 \\textit{requires expert knowledge}를 초래한다. 또한 우리는 uniform sparsity로 인해 높은 pruning ratio에서 성능이 급격히 저하되는 배경에 심각한 \\textit{outlier value issue}가 있음을 처음으로 밝혀냈으며, 이는 LLM에 이상적인 adaptive pruning sparsity를 어떻게 설계할지에 대한 추가적인 우려를 낳는다. LLM이 스스로 pruning할 수 있는가? 이 작업에서 우리는 \\textbf{AutoPrune}이라는 새로운 pruning method를 제안함으로써 이에 대한 긍정적인 답을 제시한다. AutoPrune은 먼저 LLM이 expert knowledge 없이도 자신을 위한 최적의 pruning algorithm을 자동으로 설계하도록 하여 expert knowledge의 한계를 극복한다. 구체적으로, LLM의 black-box 성격을 완화하기 위해 우리는 prompt를 최적화하는 Graph-driven Chain-of-Thought (GCoT)를 제안하며, pruning algorithm 학습 과정의 reasoning을 크게 향상시키고 차세대에서 더 뛰어난 성능과 해석 가능성을 지닌 pruning algorithm을 생성할 수 있게 한다. 마지막으로, outlier value issue에 대한 통찰을 바탕으로 Skew-aware Dynamic Sparsity Allocation (SDSA)을 도입하여 outlier value issue를 극복하고 높은 pruning ratio에서의 성능 저하를 완화한다. 우리는 주류 LLM benchmark에서 광범위한 실험을 수행하여 AutoPrune의 우수성을 입증했으며, AutoPrune은 state-of-the-art 경쟁자들을 일관되게 능가한다. 코드는 다음에서 제공된다: \\url{https://anonymous.4open.science/r/AutoPrune}."},{"id":"65366","en":"RapTB: Rooted Absorbed Trajectory Balance with Submodular Replay for Stable Autoregressive GFlowNet Training","ko":"RapTB: 안정적 자기회귀 GFlowNet 학습을 위한 서브모듈러 리플레이 기반 Rooted Absorbed Trajectory Balance","authors":"Xi Wang, Wenbo Lu, Shenji Wan","pos":"#2400","link":"https://openreview.net/forum?id=EK17RF2ilh","abs":"Generative Flow Networks (GFlowNets) enable fine-tuning large language models to approximate reward-proportional posteriors, but they remain prone to mode collapse, manifesting as prefix collapse and length bias. We attribute this to two factors: (i) weak credit assignment to early prefixes, and (ii) biased replay that induces a shifted, non-representative training flow distribution. We propose Rooted absorbed prefix Trajectory Balance (RapTB), an objective that anchors subtrajectory supervision at the root and propagates terminal rewards to intermediate prefixes via absorbed suffix-based backups, providing dense prefix-level learning signals. To mitigate replay-induced distribution shift, we further introduce SubM, a submodular replay refresh strategy that promotes both high reward and diversity. Empirically, on tasks such as molecule generation with LLM using SMILES strings, RapTB combined with SubM consistently improves optimization performance and molecular diversity while preserving high validity.
","absKo":"Generative Flow Network(GFlowNet)는 reward-proportional posterior를 근사하도록 large language model을 fine-tuning할 수 있게 하지만, prefix collapse와 length bias로 나타나는 mode collapse에 여전히 취약하다. 우리는 이를 두 가지 요인에 기인한다고 본다. (i) 초기 prefix에 대한 약한 credit assignment, (ii) shifted되고 대표성이 낮은 training flow distribution을 유도하는 biased replay. 우리는 Rooted absorbed prefix Trajectory Balance(RapTB)를 제안하는데, 이는 root에서 subtrajectory supervision을 고정하고 absorbed suffix-based backup을 통해 terminal reward를 중간 prefix에 전파함으로써, prefix 수준에서의 밀집한 학습 신호를 제공하는 objective이다. replay로 인한 distribution shift를 완화하기 위해, 우리는 추가로 높은 reward와 다양성을 모두 촉진하는 submodular replay refresh strategy인 SubM을 도입한다. 경험적으로, SMILES string을 사용하는 LLM 기반 분자 생성과 같은 task에서 RapTB를 SubM과 결합하면 높은 validity를 유지하면서 최적화 성능과 molecular diversity를 일관되게 향상시킨다.
"},{"id":"66573","en":"From Per-Image Low-Rank to Encoding Mismatch: Rethinking Feature Distillation in Vision Transformers","ko":"이미지별 저계수에서 부호화 불일치로: Vision Transformer에서 특징 증류 재고","authors":"Huiyuan Tian, Bonan Xu, Shijian Li","pos":"#2800","link":"https://openreview.net/forum?id=2Ud1nkQrVZ","abs":"Feature-map knowledge distillation (KD) transfers internal representations well between comparably sized Vision Transformers (ViTs), but it often fails in compression. We revisit this failure and uncover a paradox. Sample-wise SVD shows that each image is highly compressible, which seems to suggest that a narrow student with a linear projector should match the teacher \"in principle\". However, a dataset-level view contradicts this intuition: PCA shows that the teacher is a union of low-rank subspaces with significant subspace rotation across inputs. We further introduce token-level Spectral Energy Patterns (SEP) and find an architecture-invariant encoding law: tokens spread energy broadly across channel modes even when they live in low-rank subspace, creating a bandwidth mismatch. We refer to this combined phenomenon as an encoding mismatch. We propose two minimal remedies, Lift or WideLast: (i) Lift retains a lightweight lifting projector at inference to provide wider channel, or (ii) WideLast widens only the student’s last block, enabling an input-dependent expansion. On ImageNet-1K, these fixes revive feature KD for ViT compression, improving DeiT-Tiny distilled from CaiT-S24 from 74.86% to 77.53%/78.23% top-1 accuracy, and they also strengthen students trained without distillation. Our analyses clarify when and why feature-map KD fails and then how to fix it. Code and raw data are provided in the supplementary materials.
","absKo":"feature-map knowledge distillation (KD)는 비슷한 규모의 Vision Transformers (ViTs) 사이에서는 internal representation을 효과적으로 전달하지만, compression 상황에서는 종종 실패한다. 우리는 이 실패를 다시 살펴보며 역설을 발견했다. sample-wise SVD는 각 이미지가 매우 압축 가능하다는 것을 보여주며, 이는 좁은 student와 linear projector가 \"원칙적으로\" teacher와 맞을 수 있음을 시사하는 듯하다. 그러나 dataset-level 관점은 이러한 직관과 모순된다. PCA는 teacher가 입력마다 상당한 subspace rotation을 보이는 low-rank subspace들의 합집합임을 보여준다. 우리는 추가로 token-level Spectral Energy Patterns (SEP)를 도입하고, architecture-invariant encoding law를 발견했다. token들은 low-rank subspace에 존재하더라도 channel mode 전반에 에너지를 넓게 퍼뜨리며, 이로 인해 bandwidth mismatch가 발생한다. 우리는 이러한 결합 현상을 encoding mismatch라고 부른다. 우리는 두 가지 최소한의 해결책, Lift 또는 WideLast를 제안한다. (i) Lift는 inference 시 더 넓은 channel을 제공하기 위해 경량 lifting projector를 유지하고, (ii) WideLast는 student의 마지막 block만 넓혀 input-dependent expansion을 가능하게 한다. ImageNet-1K에서 이러한 수정은 ViT compression을 위한 feature KD를 되살려, CaiT-S24에서 distillation된 DeiT-Tiny의 top-1 accuracy를 74.86%에서 77.53%/78.23%로 향상시키며, distillation 없이 학습된 student도 강화한다. 우리의 분석은 feature-map KD가 언제, 왜 실패하는지와 이를 어떻게 고칠 수 있는지를 명확히 한다. 코드와 raw data는 supplementary materials에 제공된다.
"},{"id":"60558","en":"IO-Adam: Rethinking Memory-Efficient Adaptive Optimizers from Gradient Computation","ko":"IO-Adam: 그래디언트 계산 관점에서 메모리 효율적 적응형 옵티마이저 재고찰","authors":"Yiting Chen, Zongwei Huo, Junchi Yan","pos":"#2801","link":"https://openreview.net/forum?id=z0m3EhzhOH","abs":"Adaptive Moment Estimation (Adam) is one of the most popular and often the default stochastic optimizers for deep neural network training. Using first- and second-moment estimation, Adam provides adaptive learning rates for each parameter, significantly outperforming Stochastic Gradient Descent (SGD). However, as deep neural networks become larger, estimating the first and second moments consumes substantial memory. It motivates various methods to reduce memory usage for adaptive optimizers. In this paper, we propose to rethink the first and second moment estimation from a gradient computation perspective. The gradient of the weight matrix is the multiplication of the input and the gradient of the output. Instead of finding low-rank approximations of the first and second moments, as in previous work, we propose tracking the input and output gradients to efficiently estimate moments. We provide analyses of the similarities and differences between our proposed method, the widely used Adam optimizer, and previous memory-efficient optimizers designed to reduce memory usage. We conduct experiments to verify the effectiveness of our method, which reduces memory usage by up to $30$% while preserving similar performance or even improving the performance of Adam.","absKo":"Adaptive Moment Estimation(Adam)은 deep neural network training에서 가장 널리 사용되며 종종 기본값으로 설정되는 stochastic optimizer 중 하나이다. Adam은 first-moment와 second-moment estimation을 사용해 각 parameter에 대해 adaptive learning rate를 제공하며, Stochastic Gradient Descent(SGD)보다 상당히 뛰어난 성능을 보인다. 그러나 deep neural network가 더 커질수록 first moment와 second moment를 추정하는 데 상당한 메모리가 소모된다. 이는 adaptive optimizer의 메모리 사용량을 줄이기 위한 여러 방법을 촉진했다. 본 논문에서는 gradient computation 관점에서 first moment와 second moment estimation을 다시 생각해 보자고 제안한다. weight matrix의 gradient는 input과 output gradient의 곱이다. 이전 연구처럼 first moment와 second moment의 low-rank approximation을 찾는 대신, 우리는 input과 output gradient를 추적하여 moment를 효율적으로 추정하는 방법을 제안한다. 또한 우리의 제안 방법, 널리 사용되는 Adam optimizer, 그리고 메모리 사용량 감소를 위해 설계된 기존 memory-efficient optimizer들 사이의 유사점과 차이점을 분석한다. 실험을 통해 우리의 방법이 메모리 사용량을 최대 30%까지 줄이면서도 유사한 성능을 유지하거나 Adam보다 오히려 성능을 향상시킬 수 있음을 확인했다."},{"id":"66148","en":"OmniMoE: An Efficient MoE by Orchestrating Atomic Experts at Scale","ko":"OmniMoE: 원자적 전문가를 대규모로 조율하는 효율적 MoE","authors":"Jingze Shi, Zhangyang Peng, Yizhang Zhu, Yifan WU, Guang Liu, Yuyu Luo","pos":"#2802","link":"https://openreview.net/forum?id=6OhhF3uPaK","abs":"Mixture-of-Experts (MoE) architectures are evolving towards finer granularity to improve parameter efficiency. However, existing MoE designs face an inherent trade-off between the granularity of expert specialization and hardware execution efficiency. In this paper, we propose OmniMoE, a system-algorithm co-designed MoE framework that pushes granularity to the extreme with vector-level Atomic Experts, orchestrating their routing and execution at scale within a single MoE layer, while retaining a shared dense MLP for general-purpose processing. While this atomic design maximizes capacity, it poses severe challenges for routing complexity and memory access. To address these, OmniMoE adopts a system-algorithm co-design: (i) a Cartesian Product Router that decomposes the massive index space to reduce routing complexity from $O(N)$ to $O(\\sqrt{N})$; and (ii) Expert-Centric Scheduling that inverts the execution order to turn scattered, memory-bound lookups into efficient dense matrix operations. Validated on seven benchmarks, OmniMoE (with 1.7B active parameters) achieves 50.9\\% zero-shot accuracy across seven benchmarks, outperforming coarse-grained (e.g., DeepSeekMoE) and fine-grained (e.g., PEER) baselines. Crucially, OmniMoE reduces inference latency from 73ms to 6.7ms (a 10.9$\\times$ speedup) compared to PEER, demonstrating that massive-scale fine-grained MoE can be fast and accurate.","absKo":"Mixture-of-Experts(MoE) architecture는 parameter efficiency를 높이기 위해 더 세분화된 granularity로 진화하고 있다. 그러나 기존 MoE 설계는 expert specialization의 granularity와 hardware execution efficiency 사이에 내재된 trade-off에 직면한다. 본 논문에서는 system과 algorithm을 공동 설계한 MoE framework인 OmniMoE를 제안한다. OmniMoE는 vector-level Atomic Experts를 통해 granularity를 극한까지 끌어올리고, shared dense MLP를 일반 목적 처리를 위해 유지한 채 단일 MoE layer 내에서 대규모 routing과 execution을 orchestrate한다. 이 atomic design은 capacity를 극대화하지만 routing complexity와 memory access에 심각한 도전을 야기한다. 이를 해결하기 위해 OmniMoE는 system-algorithm co-design을 채택한다. (i) Cartesian Product Router는 거대한 index space를 분해하여 routing complexity를 $O(N)$에서 $O(\\sqrt{N})$로 줄이고, (ii) Expert-Centric Scheduling은 실행 순서를 뒤집어 흩어진 memory-bound lookup을 효율적인 dense matrix operation으로 전환한다. 7개 benchmark에서 검증된 결과, OmniMoE(1.7B active parameters)는 7개 benchmark 전반에서 50.9\\% zero-shot accuracy를 달성하여 coarse-grained(예: DeepSeekMoE) 및 fine-grained(예: PEER) baseline을 능가한다. 특히 OmniMoE는 PEER 대비 inference latency를 73ms에서 6.7ms로 줄여 10.9$\\times$ speedup을 달성했으며, 대규모 fine-grained MoE가 빠르고 정확할 수 있음을 보여준다."},{"id":"62288","en":"PRISM: Distribution-free Adaptive Computation of Matrix Functions for Accelerating Neural Network Training","ko":"PRISM: Neural Network Training 가속을 위한 분포 자유 Matrix Functions 적응형 계산","authors":"Shenghao Yang, Zhichao Wang, Oleg Balabanov, N. Benjamin Erichson, Michael Mahoney","pos":"#2803","link":"https://openreview.net/forum?id=hwhvjhXC0m","abs":"Matrix functions such as square root, inverse roots, and orthogonalization play a central role in preconditioned gradient methods for neural network training. This has motivated the development of iterative algorithms that avoid explicit eigendecompositions and rely primarily on matrix multiplications, making them well suited for modern GPU accelerators. We present PRISM (Polynomial-fitting and Randomized Iterative Sketching for Matrix functions computation), a general framework for accelerating iterative algorithms for computing matrix functions. PRISM combines adaptive polynomial approximation with randomized sketching: at each iteration, it fits a polynomial surrogate to the current spectrum via a sketched least-squares problem, adapting to the instance at hand with minimal overhead. We apply PRISM to accelerate Newton–Schulz-like iterations for matrix square roots and orthogonalization, which are core primitives in machine learning. Unlike prior methods, PRISM requires no explicit spectral bounds or singular value estimates; it adapts automatically to the evolving spectrum. Empirically, PRISM accelerates training when integrated into Shampoo and Muon optimizers.
","absKo":"square root, inverse root, orthogonalization과 같은 matrix function은 신경망 학습을 위한 preconditioned gradient method에서 중심적인 역할을 합니다. 이는 explicit eigendecomposition을 피하고 주로 matrix multiplication에 의존하는 iterative algorithm의 개발을 촉진했으며, 현대 GPU accelerator에 특히 적합합니다. 우리는 matrix function 계산을 위한 iterative algorithm을 가속화하는 일반 프레임워크인 PRISM(Polynomial-fitting and Randomized Iterative Sketching for Matrix functions computation)을 제시합니다. PRISM은 adaptive polynomial approximation과 randomized sketching을 결합합니다. 각 iteration에서 sketched least-squares problem을 통해 현재 spectrum에 대한 polynomial surrogate를 맞추며, 최소한의 오버헤드로 현재 문제 인스턴스에 적응합니다. 우리는 PRISM을 matrix square root와 orthogonalization을 위한 Newton-Schulz 유사 반복에 적용하는데, 이들은 machine learning의 핵심 primitive입니다. 기존 방법과 달리 PRISM은 명시적인 spectral bound나 singular value estimate를 필요로 하지 않으며, 변화하는 spectrum에 자동으로 적응합니다. 실험적으로 PRISM은 Shampoo 및 Muon optimizer에 통합될 때 학습을 가속합니다.
"},{"id":"61112","en":"Path-conditioned training: a principled way to rescale ReLU neural networks","ko":"Path-conditioned training: ReLU Neural Network 재스케일링을 위한 원칙적 방법","authors":"Arthur Lebeurrier, Titouan Vayer, Rémi Gribonval","pos":"#2804","link":"https://openreview.net/forum?id=tZwqlXUc6t","abs":"Despite recent algorithmic advances, we still lack principled ways to leverage the well-documented rescaling symmetries in ReLU neural network parameters. While two properly rescaled weights implement the same function, the training dynamics can be dramatically different. To offer a fresh perspective on exploiting this phenomenon, we build on the recent path-lifting framework, which provides a compact factorization of ReLU networks. We introduce a geometrically motivated criterion to rescale neural network parameters which minimization leads to a conditioning strategy that aligns a kernel in the path-lifting space with a chosen reference. We derive an efficient algorithm to perform this alignment. In the context of random network initialization, we analyze how the architecture and the initialization scale jointly impact the output of the proposed method. Numerical experiments illustrate its potential to speed up training.
","absKo":"최근 algorithmic advances에도 불구하고, ReLU neural network parameter에 내재된 잘 알려진 rescaling symmetries를 원칙적으로 활용하는 방법은 여전히 부족하다. 적절히 rescaled된 두 weight는 같은 function을 구현하지만, training dynamics는 극적으로 달라질 수 있다. 이 현상을 활용하는 새로운 관점을 제시하기 위해, 우리는 ReLU network의 compact factorization을 제공하는 최근의 path-lifting framework를 기반으로 한다. 우리는 neural network parameter를 rescale하기 위한 기하학적으로 동기부여된 criterion을 제안하며, 이를 최소화하면 path-lifting space의 하나의 kernel을 선택한 reference와 정렬하는 conditioning strategy로 이어진다. 우리는 이러한 alignment를 수행하는 효율적인 algorithm을 도출한다. random network initialization의 맥락에서, 우리는 architecture와 initialization scale이 제안한 method의 output에 어떻게 공동으로 영향을 미치는지 분석한다. 수치 실험은 이 방법이 training 속도를 높일 가능성을 보여준다.
"},{"id":"63313","en":"Per-example Gradients: a New Frontier for Understanding and Improving Optimizers","ko":"예제별 경사: 옵티마이저 이해 및 개선을 위한 새로운 프론티어","authors":"Vincent Roulet, Atish Agarwala","pos":"#2805","link":"https://openreview.net/forum?id=YB6U1yWcGy","abs":"When computing gradients, deep learning training algorithms typically treat the mini-batch as a fundamental unit --- only returning batch-averaged gradients. Computing non-linear statistics of the mini-batch gradient distribution has traditionally been viewed as prohibitively expensive or requiring complex, custom implementations. We challenge this view by demonstrating that sequence-level architectures offer a natural testbed for prototyping algorithms based on per-example gradients. We show that staged programming languages like JAX enable generic manipulations of mini-batch gradient computations. We then build on Dangel et. al. (2019) to derive implementations of specific per-example or per-token operations with negligible computational or memory overhead. Finally, we leverage our findings to re-examine two nonlinear optimization operations. First, we analyze signSGD, showing that the optimal placement of the sign operation is critical to success and can be predicted via a simple signal-to-noise ratio argument. Second, we investigate per-example variations of the Adam preconditioner and find that, contrary to conventional wisdom, optimization is best served when the preconditioner is dominated by the mean squared of the gradient distribution rather than its variance. Overall our work shows that accessible per-example gradient information unlocks new avenues for algorithm analysis and design.
","absKo":"gradient를 계산할 때, deep learning training algorithm은 일반적으로 mini-batch를 기본 단위로 취급하며, batch-averaged gradient만을 반환한다. mini-batch gradient distribution의 non-linear statistic을 계산하는 일은 전통적으로 지나치게 비싸거나 복잡한 맞춤형 구현이 필요한 것으로 여겨져 왔다. 우리는 sequence-level architecture가 per-example gradient에 기반한 algorithm을 prototype하기 위한 자연스러운 testbed임을 보이며 이러한 관점에 도전한다. 또한 JAX와 같은 staged programming language가 mini-batch gradient computation의 일반적 조작을 가능하게 함을 보인다. 이어서 Dangel et. al. (2019)을 바탕으로, 계산 또는 메모리 오버헤드가 사실상 없는 구체적인 per-example 또는 per-token operation의 구현을 도출한다. 마지막으로 이러한 결과를 활용해 두 가지 비선형 optimization operation을 재검토한다. 첫째, signSGD를 분석하여 sign operation의 최적 배치가 성공에 결정적이며, 단순한 signal-to-noise ratio 논리로 예측할 수 있음을 보인다. 둘째, Adam preconditioner의 per-example 변형을 조사한 결과, 통념과 달리 최적화는 variance보다 gradient distribution의 mean squared에 의해 preconditioner가 지배될 때 가장 잘 이루어진다는 사실을 발견한다. 전반적으로 우리의 연구는 접근 가능한 per-example gradient information이 algorithm analysis와 design을 위한 새로운 길을 연다는 점을 보여 준다.
"},{"id":"67148","en":"Position: Quantum Deep Learning Still Needs a Quantum Leap","ko":"Position: Quantum Deep Learning에는 아직 양자 도약이 필요하다","authors":"Hans Gundlach, Hrvoje Kukina, Jayson Lynch, Neil Thompson","pos":"#2806","link":"https://openreview.net/forum?id=STa9hhoyla","abs":"Quantum computing technology is advancing rapidly. Yet, even accounting for these trends, a quantum leap would be needed for quantum computers to meaningfully impact deep learning over the coming decade or two. We arrive at this conclusion based on a first-of-its-kind survey of quantum algorithms and how they match potential deep learning applications. This survey reveals three important areas where quantum computing could potentially accelerate deep learning, each of which faces a challenging roadblock to realizing its potential. First, quantum algorithms for matrix multiplication and other algorithms central to deep learning offer small theoretical improvements in the number of operations needed, but this advantage is overwhelmed on practical problem sizes by how slowly quantum computers do each operation. Second, some promising quantum algorithms depend on practical Quantum Random Access Memory (QRAM), which is underdeveloped. Finally, there are quantum algorithms that offer large theoretical advantages, but which are only applicable to special cases, limiting their practical benefits. In each of these areas, we support our arguments using quantitative forecasts of quantum advantage that build on the work by Choi et al. (2023) as well as new research on limitations and quantum hardware trends. Our analysis outlines the current scope of quantum deep learning and points to research directions that could lead to greater practical advances in the field.
","absKo":"양자 컴퓨팅 기술은 빠르게 발전하고 있다. 그러나 이러한 추세를 감안하더라도, 향후 10년 또는 20년 동안 quantum computer가 deep learning에 의미 있는 영향을 미치려면 도약에 가까운 진전이 필요하다. 우리는 quantum algorithm과 그것이 잠재적 deep learning application과 얼마나 잘 맞는지에 대한 최초의 survey를 바탕으로 이 결론에 도달했다. 이 survey는 quantum computing이 deep learning을 가속할 잠재력이 있는 세 가지 중요한 영역을 드러내며, 각 영역은 그 잠재력을 실현하는 데 어려운 장애물에 직면해 있다. 첫째, matrix multiplication 및 deep learning의 핵심을 이루는 다른 algorithm을 위한 quantum algorithm은 필요한 operation 수에서 작은 이론적 개선을 제공하지만, 실제 문제 크기에서는 quantum computer가 각 operation을 수행하는 속도가 너무 느려 그 이점이 상쇄된다. 둘째, 유망한 일부 quantum algorithm은 실용적인 Quantum Random Access Memory (QRAM)에 의존하는데, 이는 아직 충분히 개발되지 않았다. 마지막으로, 큰 이론적 이점을 제공하지만 특수한 경우에만 적용 가능한 quantum algorithm도 있어 실제적 효용이 제한된다. 각 영역에서 우리는 Choi et al. (2023)의 연구와 한계 및 quantum hardware 추세에 관한 새로운 연구를 바탕으로 quantitative forecast of quantum advantage를 사용해 우리의 주장을 뒷받침한다. 우리의 분석은 quantum deep learning의 현재 범위를 개관하고, 이 분야에서 더 큰 실용적 발전으로 이어질 수 있는 연구 방향을 제시한다.
"},{"id":"65326","en":"SPLIT-VLM: Salience-Guided Partitioning towards Local Coverage for Importance-Aware Token Dropping in Vision-Language Models","ko":"SPLIT-VLM: Vision-Language Model에서 중요도 인지 토큰 드롭을 위한 국소 커버리지 지향 현저성 기반 분할","authors":"Seungil Lee, Gilha lee, Hyun Kim","pos":"#2807","link":"https://openreview.net/forum?id=Elm4TdaXi0","abs":"Large-scale vision–language models (VLMs) excel at multimodal reasoning, yet efficiency collapses when vision tokens—often orders of magnitude more than text—dominate compute and memory. Prior token-reduction strategies typically trade off salience (which is prone to position bias and incurs extra computation) against diversity (which can under-cover salient regions and is sensitive to hyperparameters). We present SPLIT, a theoretically grounded framework that jointly preserves salience and diversity while aggressively eliminating redundancy. SPLIT (i) estimates token importance via temporal shifts of hidden states across layers—eschewing attention scores and their biases; (ii) assigns adaptive region-level budgets to guarantee localized coverage; and (iii) selects tokens using a diversity score that prioritizes distinctive, non-redundant representations. Our analysis shows that adaptive budgeting yields tighter coverage guarantees than uniform allocation, and our selection rule maintains diversity without costly tuning. Empirically, SPLIT consistently outperforms state-of-the-art on image and video understanding benchmarks. On image understanding with LLaVA-1.5-7B, SPLIT preserves over 99\\% accuracy with 192 vision tokens and about 92.8\\% with only 64 tokens, demonstrating robust performance under severe token budgets. These results indicate that SPLIT delivers scalable, attention-score-free token reduction that makes multimodal reasoning substantially more efficient without sacrificing accuracy.
","absKo":"Large-scale vision–language model (VLM)은 multimodal reasoning에 뛰어나지만, 종종 text보다 몇 자릿수나 더 많은 vision token이 compute와 memory를 지배하면 효율성이 급격히 무너집니다. 기존 token-reduction 전략은 일반적으로 salience(위치 편향에 취약하고 추가 계산을 유발함)와 diversity(중요 영역을 충분히 포괄하지 못하고 hyperparameter에 민감함) 사이에서 trade-off를 보입니다. 우리는 salience와 diversity를 함께 보존하면서 redundancy를 공격적으로 제거하는 이론적 기반의 framework인 SPLIT을 제안합니다. SPLIT은 (i) attention score와 그 편향을 피하고, layer 간 hidden state의 temporal shift를 통해 token importance를 추정하며; (ii) 지역적 coverage를 보장하도록 adaptive region-level budget을 할당하고; (iii) 구별되고 중복되지 않는 representation을 우선시하는 diversity score를 사용해 token을 선택합니다. 우리의 분석은 adaptive budgeting이 uniform allocation보다 더 타이트한 coverage guarantee를 제공하며, 선택 규칙은 비용이 큰 tuning 없이도 diversity를 유지함을 보여줍니다. 실험적으로 SPLIT은 image 및 video understanding benchmark 전반에서 state-of-the-art를 일관되게 능가합니다. LLaVA-1.5-7B를 사용한 image understanding에서 SPLIT은 192개의 vision token으로 99% 이상의 정확도를, 64개 token만으로도 약 92.8%의 정확도를 유지하여, 극단적으로 제한된 token budget 하에서도 견고한 성능을 입증합니다. 이러한 결과는 SPLIT이 accuracy를 희생하지 않으면서 multimodal reasoning을 실질적으로 더 효율적으로 만드는 scalable한 attention-score-free token reduction을 제공함을 보여줍니다.
"},{"id":"66046","en":"TetraJet-v2: Accurate NVFP4 Training for Large Language Models with Oscillation Suppression and Outlier Control","ko":"TetraJet-v2: 진동 억제와 이상치 제어를 통한 대형 언어 모델의 정확한 NVFP4 학습","authors":"Yuxiang Chen, Yifan Liu, Xiaoming Xu, Pengle Zhang, Michael Beyer, Martin Rapp, Jun Zhu, Jianfei Chen","pos":"#2809","link":"https://openreview.net/forum?id=7ZQhm5HnOA","abs":"Large Language Models (LLMs) training is prohibitively expensive, driving interest in low-precision fully-quantized training (FQT). While novel 4-bit formats like NVFP4 offer substantial efficiency gains, achieving near-lossless training at such low precision remains challenging. We introduce **TetraJet-v2**, an end-to-end 4-bit FQT method that leverages NVFP4 for activations, weights and gradients in all linear layers. We identify two critical issues hindering low-precision LLM training: weight oscillation and outliers. To address these, we propose: 1) an unbiased double-block quantization method for NVFP4 linear layers, 2) **OsciReset**, an algorithm to suppress weight oscillation, and 3) **OutControl**, an algorithm to retain outlier accuracy. **TetraJet-v2** outperforms prior methods on FP4 pre-training for LLMs across models up to 370M parameters trained up to 212B tokens, reducing the performance gap to BF16 by an average of $51.3$% while enabling an $1.67\\times$ end-to-end speedup over FP8.","absKo":"대규모 언어 모델(LLMs) 학습은 지나치게 높은 비용을 요구하므로, 저정밀 fully-quantized training(FQT)에 대한 관심이 커지고 있다. NVFP4와 같은 새로운 4-bit 포맷은 상당한 효율 향상을 제공하지만, 이러한 낮은 정밀도에서 거의 손실 없는 학습을 달성하는 것은 여전히 어렵다. 우리는 모든 linear layer에서 activation, weight, gradient에 NVFP4를 활용하는 end-to-end 4-bit FQT 방법인 **TetraJet-v2**를 소개한다. 우리는 저정밀 LLM 학습을 저해하는 두 가지 핵심 문제, 즉 weight oscillation과 outlier를 식별한다. 이를 해결하기 위해 우리는 다음을 제안한다: 1) NVFP4 linear layer를 위한 unbiased double-block quantization 방법, 2) weight oscillation을 억제하는 알고리즘 **OsciReset**, 3) outlier 정확도를 유지하는 알고리즘 **OutControl**. **TetraJet-v2**는 최대 370M 파라미터 규모의 모델을 대상으로 최대 212B token까지 학습한 LLM의 FP4 pre-training에서 이전 방법들을 능가하며, FP8 대비 end-to-end 속도를 $1.67\\times$ 향상시키는 동시에 BF16과의 성능 격차를 평균 $51.3$% 줄인다."},{"id":"64126","en":"WBMM: Windowed Batch Matrix Multiplication for Efficient Large Receptive Field Convolution","ko":"WBMM: 효율적인 대형 수용 영역 합성곱을 위한 윈도우 배치 행렬 곱","authors":"Wan Song, Zhou Wei, Rui Wang, Jun Yu, Toru Kurihara, Xu Jiajia, shu zhan","pos":"#2811","link":"https://openreview.net/forum?id=Qg9Jcy788i","abs":"Large kernel depthwise convolutions achieve strong performance but suffer from significant degradation as kernel size grows due to irregular memory access from gather-based computation. While Large Kernel Acceleration (LKA) helps on small feature maps, it becomes \\textbf{counterproductive on large feature maps}, even slower than non-accelerated implementations. We propose Windowed Batch Matrix Multiplication (WBMM), which \\emph{partitions} input into contiguous windows and \\emph{indexes} a compact relative position bias table to construct weight matrices, enabling regular memory access via batched matrix multiplication; this yields a unique property where \\textbf{WBMM's throughput improves with larger windows}, opposite to depthwise convolutions that degrade with larger kernels. Operator-level benchmarks show WBMM with $14 \\times 14$ windows \\textbf{outperforms $5 \\times 5$ depthwise convolution baselines in speed} while providing $7.8\\times$ larger receptive field, and combined with inter-block cross-window communication and hierarchical window reparameterization, achieves comparable or higher accuracy on ImageNet-1K, COCO, and ADE20K with 1.31--1.88$\\times$ training speedup. WBMM also demonstrates consistent advantages across diverse hardware platforms including GPU, CPU, and edge devices, without requiring specialized acceleration kernels. Code and models will be publicly available.","absKo":"Large kernel depthwise convolution은 강한 성능을 달성하지만, gather-based computation으로 인한 불규칙한 memory access 때문에 kernel size가 커질수록 성능 저하가 심각하다. Large Kernel Acceleration(LKA)은 작은 feature map에서는 도움이 되지만, 큰 feature map에서는 \\textbf{오히려 역효과를 내며}, 심지어 비가속 구현보다도 느려진다. 우리는 입력을 연속적인 window로 \\emph{분할}하고, compact한 relative position bias table을 \\emph{인덱싱}하여 weight matrix를 구성함으로써 batched matrix multiplication을 통한 규칙적인 memory access를 가능하게 하는 Windowed Batch Matrix Multiplication(WBMM)을 제안한다. 이는 \\textbf{WBMM의 throughput이 더 큰 window에서 향상되는} 고유한 특성을 만들어내며, 더 큰 kernel에서 성능이 저하되는 depthwise convolution과 정반대이다. operator-level benchmark는 14 \\times 14 window를 사용하는 WBMM이 \\textbf{5 \\times 5 depthwise convolution baseline보다 속도 면에서 우수}하면서 7.8\\times 더 큰 receptive field를 제공함을 보여준다. 또한 inter-block cross-window communication과 hierarchical window reparameterization과 결합하면, ImageNet-1K, COCO, ADE20K에서 비슷하거나 더 높은 정확도를 달성하면서 1.31--1.88$\\times$의 training speedup을 얻는다. WBMM은 GPU, CPU, edge device를 포함한 다양한 hardware platform 전반에서 특수한 acceleration kernel 없이도 일관된 장점을 보인다. 코드와 모델은 공개될 예정이다."},{"id":"64158","en":"DecFus: Decentralized Layer-wise Fusion with Dynamic Exploration and Exploitation","ko":"DecFus: 동적 탐색 및 활용을 통한 분산형 계층별 융합","authors":"Li Yang, Jialong Sun, Chuhai Cai, Xinyang Liu, Yichen Li, Bowen Peng, Jialong Li, Bo Liu","pos":"#2900","link":"https://openreview.net/forum?id=QNYVYUa3aa","abs":"Decentralized Federated Learning (DFL) enables collaborative model training across connected clients without a central server, effectively mitigating communication bottlenecks and avoiding the single point of failure in Centralized Federated Learning (CFL). However, existing DFL methods mostly focus on parameter averaging with compromised update directions, which limits their performance potential due to insufficient exploration of the loss landscape, especially for complex models. We observe that layer exchanges among clients enhance exploration while introducing instability due to highly diverse update directions. To address these limitations, we propose Decentralized Layer-wise Fusion (DecFus), the first DFL framework that unifies layer-level exchange and averaging to balance exploration and exploitation. DecFus dynamically transitions the decentralized training process from exploration-dominant to exploitation-dominant phases, guided by the loss variance among connected neighbors. Furthermore, a layer-wise fusion strategy, informed by pairwise cosine similarity, categorizes all layers into two groups: an exchange group for exploration and an averaging group for exploitation. Specifically, we theoretically establish the convergence of DecFus without relying on the common assumption in existing literature that the aggregation matrix must be doubly stochastic. Extensive experiments demonstrate that DecFus achieves superior performance in both IID and non-IID scenarios, substantially outperforming existing CFL and DFL methods.
","absKo":"Decentralized Federated Learning (DFL)은 central server 없이 연결된 client들 간의 협력적 model training을 가능하게 하며, communication bottleneck을 효과적으로 완화하고 Centralized Federated Learning (CFL)에서의 단일 장애점(single point of failure)을 피할 수 있다. 그러나 기존 DFL 방법들은 대부분 parameter averaging과 제한된 update direction에 초점을 맞추고 있어, 특히 복잡한 model에서 loss landscape의 충분한 탐색이 이루어지지 않아 성능 잠재력이 제한된다. 우리는 client 간 layer exchange가 탐색을 강화하지만, 매우 다양한 update direction 때문에 불안정성을 유발한다는 점을 관찰했다. 이러한 한계를 해결하기 위해 우리는 Decentralized Layer-wise Fusion (DecFus)를 제안한다. DecFus는 exploration과 exploitation의 균형을 맞추기 위해 layer-level exchange와 averaging을 통합한 최초의 DFL framework이다. DecFus는 연결된 neighbor들 사이의 loss variance를 기준으로, decentralized training 과정을 exploration-dominant 단계에서 exploitation-dominant 단계로 동적으로 전환한다. 더 나아가 pairwise cosine similarity에 기반한 layer-wise fusion strategy는 모든 layer를 두 그룹으로 분류한다. 하나는 exploration을 위한 exchange group이고, 다른 하나는 exploitation을 위한 averaging group이다. 구체적으로 우리는 기존 문헌에서 널리 쓰이는, aggregation matrix가 doubly stochastic이어야 한다는 가정에 의존하지 않고도 DecFus의 수렴을 이론적으로 확립한다. 광범위한 실험은 DecFus가 IID 및 non-IID 시나리오 모두에서 우수한 성능을 달성하며, 기존 CFL 및 DFL 방법들을 크게 상회함을 보여준다.
"},{"id":"65532","en":"Clover: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation","ko":"Clover: 개선된 비편향 그래디언트 추정을 통한 NVFP4에서의 정확한 LLM 사전학습","authors":"Andrei Panferov, Erik Schultheis, Soroush Tabesh, Dan Alistarh","pos":"#2901","link":"https://openreview.net/forum?id=CciWEZZDVb","abs":"The NVFP4 lower-precision format, supported in hardware by NVIDIA Blackwell GPUs, promises to allow, for the first time, end-to-end fully-quantized pre-training of massive models such as LLMs. Yet, existing quantized training methods still sacrifice some of the representation capacity of this format in favor of more accurate unbiased quantized gradient estimation by stochastic rounding (SR), losing noticeable accuracy relative to standard FP16 and FP8 training. In this paper, improve the state of the art for quantized training in NVFP4 via a novel unbiased quantization routine for micro-scaled formats, called MS-EDEN, that has more than 2x lower quantization error than SR. We integrate it into a novel fully-NVFP4 quantization scheme for linear layers, called Clover. We show analytically that Clover achieves consistently better gradient estimation across all major matrix multiplications, both on the forward and on the backward passes. In addition, our proposal synergizes well with recent training improvements aimed specifically at NVFP4. We further validate Clover on end-to-end LLM training with up to 1.9B parameters on 38B tokens. We provide kernels for execution on NVIDIA Blackwell GPUs with up to 4.2x speedup over BF16.
","absKo":"NVIDIA Blackwell GPU에서 하드웨어적으로 지원되는 NVFP4 저정밀 형식은, 처음으로 LLM과 같은 대규모 모델의 end-to-end fully-quantized pre-training을 가능하게 할 것으로 기대된다. 그러나 기존 quantized training 방법들은 stochastic rounding(SR)에 의한 더 정확한 unbiased quantized gradient estimation을 위해 이 형식의 일부 표현 용량을 희생하고 있으며, 그 결과 표준 FP16 및 FP8 training에 비해 눈에 띄는 정확도 손실이 발생한다. 본 논문에서는 MS-EDEN이라 불리는 micro-scaled format을 위한 새로운 unbiased quantization routine을 통해 NVFP4에서의 quantized training state of the art를 향상시킨다. MS-EDEN은 SR보다 2배 이상 낮은 quantization error를 가진다. 우리는 이를 Clover라 부르는 linear layer용 새로운 fully-NVFP4 quantization scheme에 통합한다. 우리는 Clover가 forward와 backward pass 모두에서 모든 주요 matrix multiplication에 걸쳐 일관되게 더 나은 gradient estimation을 달성함을 이론적으로 보인다. 또한, 우리의 제안은 NVFP4에 특화된 최근 training 개선 기법들과도 잘 시너지를 낸다. 우리는 추가로 최대 1.9B parameters, 38B tokens 규모의 end-to-end LLM training에서 Clover를 검증한다. NVIDIA Blackwell GPU에서 BF16 대비 최대 4.2x speedup을 제공하는 execution kernel도 함께 제시한다.
"},{"id":"63987","en":"Caracal: Causal Architecture via Spectral Mixing","ko":"Caracal: 스펙트럴 믹싱을 통한 인과 아키텍처","authors":"BINGZHENG GAN, Tianyi Zhang, LI YUSU, Jing Huang, Wei Shi, Yangkai Ding, Tao Yu","pos":"#2902","link":"https://openreview.net/forum?id=S12HAKrQG3","abs":"The scalability of Large Language Models to long sequences is hindered by the quadratic cost of self-attention and the limitations of positional encodings. To address these, we introduce **Caracal**, a novel architecture that replaces self-attention with a parameter-efficient, $\\mathcal{O}(L \\log L)$ Multi-Head Fourier (MHF) module. Our contributions are threefold: (1) We leverage the Fast Fourier Transform (FFT) for sequence mixing, inherently addressing both bottlenecks mentioned above. (2) We apply a frequency-domain causal masking technique that enforces autoregressive capabilities via asymmetric padding and truncation, overcoming a critical barrier for Fourier-based generative models. (3) Unlike efficient models relying on hardware-specific implementations (e.g., Mamba), **Caracal** uses standard library operators. This ensures robust portability, eliminating common deployment barriers. Evaluations demonstrate that **Caracal** performs competitively with Transformer and SSM baselines, offering a scalable and simple pathway for efficient long-sequence modeling. Code is available in the supplementary materials.","absKo":"Large Language Model의 긴 sequence에 대한 확장성은 self-attention의 quadratic cost와 positional encoding의 한계에 의해 제약된다. 이를 해결하기 위해, 우리는 self-attention을 parameter-efficient한 $\\mathcal{O}(L \\log L)$ Multi-Head Fourier (MHF) module로 대체하는 새로운 architecture인 **Caracal**을 소개한다. 우리의 기여는 세 가지다: (1) Fast Fourier Transform (FFT)을 sequence mixing에 활용하여 위에서 언급한 두 가지 병목을 본질적으로 해결한다. (2) 비대칭 padding과 truncation을 통해 autoregressive capability를 강제하는 frequency-domain causal masking 기법을 적용하여, Fourier-based generative model의 핵심 장벽을 극복한다. (3) Mamba와 같이 hardware-specific implementation에 의존하는 efficient model과 달리, **Caracal**은 표준 library operator를 사용한다. 이는 강건한 portability를 보장하며, 일반적인 deployment 장벽을 제거한다. 평가는 **Caracal**이 Transformer 및 SSM baseline과 경쟁력 있는 성능을 보이며, efficient long-sequence modeling을 위한 확장 가능하고 단순한 경로를 제공함을 보여준다. 코드는 supplementary materials에 제공된다."},{"id":"64908","en":"Advancing SVD-based LLM Compression via Layer-Wise Error Model Search","ko":"Layer-Wise Error Model Search를 통한 SVD 기반 LLM 압축 향상","authors":"Moritz Thoma, Maximilian Groezinger, Maximilian Forstenhäusler, Emad Aghajanzadeh, Manoj Rohit Vemparala, Christos Anagnostopoulos, Pierpaolo Mori, Nael Fasfous, Alexander Frickenstein, Daniel Mueller-Gritschneder, Ulf Schlichtmann","pos":"#2903","link":"https://openreview.net/forum?id=IjIgNPFuCt","abs":"Low-rank SVD-based compression offers a powerful strategy to reduce the computational costs of Large language models (LLMs); however, existing methods commonly encounter two recurring obstacles: (i) global rank allocation, where uncalibrated error proxies fail to account for complex error propagation, and (ii) decomposition quality, where Fisher-based estimators suffer from severe rank collapse. In this work, we address these limitations by presenting Layer-wise Error Modeling Search (LEMS) and KFAC-SVD. LEMS advances rank allocation by introducing a layer-wise error surrogate that integrates both local and global layer importance alongside a propagation bias, allowing us to determine global rank configurations efficiently as an Integer Linear Program (ILP). Simultaneously, KFAC-SVD improves decomposition quality by utilizing token-wise statistics, preventing the rank deficiency observed in prior Fisher-based SVD. We demonstrate across Mistral, Qwen3, and Llama-3 families that KFAC-SVD achieves an average perplexity improvements of 15%, while LEMS consistently outperforms existing search strategies, delivering significant zero-shot accuracy improvements of up to 4.7 p.p. that generalize to scales of 70B parameters. Code is made available in the Supplement.
","absKo":"저랭크 SVD 기반 압축은 Large language models (LLMs)의 계산 비용을 줄이는 강력한 전략을 제공하지만, 기존 방법은 일반적으로 두 가지 반복적인 장애물에 직면한다: (i) 전역 rank 할당에서는 보정되지 않은 error proxy가 복잡한 오차 전파를 반영하지 못하고, (ii) decomposition quality에서는 Fisher 기반 추정기가 심각한 rank collapse를 겪는다는 점이다. 본 연구에서는 이러한 한계를 Layer-wise Error Modeling Search (LEMS)와 KFAC-SVD로 해결한다. LEMS는 local 및 global layer 중요도와 propagation bias를 통합한 layer-wise error surrogate를 도입하여 rank 할당을 발전시키고, 이를 통해 전역 rank 구성을 Integer Linear Program (ILP)으로 효율적으로 결정할 수 있게 한다. 동시에 KFAC-SVD는 token-wise statistics를 활용하여 분해 품질을 향상시키고, 이전 Fisher 기반 SVD에서 관찰되던 rank deficiency를 방지한다. 우리는 Mistral, Qwen3, Llama-3 계열 전반에서 KFAC-SVD가 평균 perplexity를 15% 개선하며, LEMS는 기존 search 전략을 일관되게 능가하여 70B 파라미터 규모까지 일반화되는 최대 4.7 p.p.의 유의미한 zero-shot accuracy 향상을 제공함을 보인다. 코드는 Supplement에 제공된다.
"},{"id":"65238","en":"Activation-Free Backbones for Image Recognition: Polynomial Alternatives for Spatial and Channel Mixing","ko":"이미지 인식을 위한 활성화 함수 없는 백본: 공간 및 채널 혼합을 위한 다항식 대안","authors":"Jeffrey Wang, Jonathan Gregory, Grigorios Chrysos","pos":"#2904","link":"https://openreview.net/forum?id=FR1XRg47fL","abs":"Modern vision backbones treat pointwise activations (e.g., ReLU, GELU) and exponential softmax as essential sources of nonlinearity, but we demonstrate they are not required. We design activation-free polynomial alternatives for three core primitives (MLPs, convolutions, and attention), where Hadamard products replace standard nonlinearities to yield polynomial functions of the input. These modules integrate seamlessly into existing architectures: instantiated within MetaFormer, a modular framework for vision backbones, our PolyNeXt models match or exceed activation-based counterparts across model scales. We also substantially outperform prior polynomial networks at reduced computational cost, showing that polynomial variants of standard modules beat complex custom architectures. Our code is available at https://anonymous.4open.science/r/PolyNeXt-E424
","absKo":"현대 vision backbone은 pointwise activation (예: ReLU, GELU)과 exponential softmax를 비선형성의 필수 원천으로 취급하지만, 우리는 그것들이 필요하지 않음을 보인다. 우리는 세 가지 핵심 primitive (MLP, convolution, attention)에 대해 activation-free polynomial 대안을 설계하는데, 여기서 Hadamard product가 표준 비선형성을 대체하여 입력의 polynomial function을 생성한다. 이러한 모듈은 기존 architecture에 매끄럽게 통합된다. vision backbone을 위한 modular framework인 MetaFormer 안에서 구현했을 때, 우리의 PolyNeXt model은 다양한 model scale에서 activation-based counterpart와 동등하거나 더 우수한 성능을 보인다. 또한 계산 비용을 낮춘 상태에서 기존 polynomial network보다 훨씬 더 뛰어난 성능을 보이며, 표준 module의 polynomial variant가 복잡한 custom architecture를 능가함을 보여준다. 우리의 코드는 https://anonymous.4open.science/r/PolyNeXt-E424 에서 제공된다
"},{"id":"62586","en":"OLion: Approaching the Hadamard Ideal by Intersecting Spectral and L inf Implicit Biases","ko":"OLion: Spectral와 L inf Implicit Bias의 교차를 통한 Hadamard 이상 접근","authors":"Zixiao Wang, Yifei Shen, Huishuai Zhang","pos":"#3513","link":"https://openreview.net/forum?id=fG4nXq9Ytm","abs":"Many optimizers can be interpreted as steepest-descent methods under norm-induced geometries, and thus inherit corresponding implicit biases. We introduce Orthogonal Lion which combines spectral control from orthogonalized update directions with $\\ell_\\infty$-style coordinate control from sign updates. OLion forms a Lion-style momentum direction, approximately orthogonalizes it via a few Newton--Schulz iterations, and then applies an entrywise sign, providing an efficient approximation to taking a maximal step over the intersection of the spectral and $\\ell_\\infty$ constraint sets (a scaled Hadamard-like set for matrix parameters). Despite the strong nonlinearity of orthogonalization and sign, we prove convergence under a mild, empirically verified diagonal-isotropy assumption. Across large-scale language and vision training, including GPT-2 and Llama pretraining, SiT image pretraining, and supervised fine-tuning, OLion matches or outperforms AdamW and Muon under comparable tuning while using only momentum-level optimizer state, and it mitigates optimizer mismatch when fine-tuning AdamW-pretrained checkpoints.","absKo":"많은 optimizer는 norm-induced geometry에서의 steepest-descent method로 해석될 수 있으며, 따라서 그에 대응하는 implicit bias를 갖는다. 우리는 spectral control을 orthogonalized update direction에서, 그리고 $\\ell_\\infty$-style coordinate control을 sign update에서 결합한 Orthogonal Lion을 제안한다. OLion은 Lion 스타일의 momentum direction을 형성한 뒤, 몇 번의 Newton--Schulz iteration을 통해 이를 근사적으로 orthogonalize하고, 이후 entrywise sign을 적용함으로써, spectral constraint set과 $\\ell_\\infty$ constraint set의 교집합 위에서의 최대 step을 취하는 것에 대한 효율적인 근사(행렬 파라미터의 경우 scaled Hadamard-like set)를 제공한다. orthogonalization과 sign의 강한 비선형성에도 불구하고, 우리는 경험적으로 검증된 약한 diagonal-isotropy 가정 하에서 수렴을 증명한다. GPT-2와 Llama pretraining, SiT image pretraining, supervised fine-tuning을 포함한 대규모 language 및 vision training 전반에서, OLion은 비슷한 튜닝 조건에서 AdamW와 Muon과 대등하거나 더 나은 성능을 보이면서도 momentum 수준의 optimizer state만 사용하며, AdamW-pretrained checkpoint를 fine-tuning할 때 optimizer mismatch도 완화한다."},{"id":"63529","en":"Deep Progressive Training: scaling up depth capacity of zero/one-layer models","ko":"Deep Progressive Training: 0/1층 모델의 깊이 용량 확장","authors":"Zhiqi Bu","pos":"#3603","link":"https://openreview.net/forum?id=WP5q6Hn3Cv","abs":"Model depth is a double-edged sword in deep learning: deeper models achieve higher accuracy but require higher computational cost. To efficiently train models at scale, progressive training -- an effective strategy where model capacity scales up during training, has emerged to significantly reduce computation with little to none performance degradation. In this work, we study the depth expansion of large-scale models through the lens of optimization theory and feature learning, offering insights on the initialization of new layers, hyperparameter transfer, learning rate schedule, and timing of model expansion. Specifically, we propose zero/one-layer progressive training for the optimal tradeoff between computation and loss. For example, zero/one-layer progressive training on GPT2 can save $\\approx 80\\%$ compute, or equivalently accelerate by $\\approx 5\\times$, and achieve a loss comparable to a fully trained 60-layer model with 7B parameters.","absKo":"모델의 깊이는 deep learning에서 양날의 검이다. 더 깊은 모델은 더 높은 정확도를 달성하지만 더 높은 계산 비용이 필요하다. 대규모 모델을 효율적으로 학습하기 위해, 학습 도중 model capacity를 점진적으로 확장하는 효과적인 전략인 progressive training이 성능 저하를 거의 또는 전혀 일으키지 않으면서 계산량을 크게 줄이는 방법으로 등장했다. 본 연구에서는 최적화 이론과 feature learning의 관점에서 대규모 모델의 depth expansion을 연구하여, 새 layer의 초기화, hyperparameter transfer, learning rate schedule, 그리고 model expansion 시점에 대한 통찰을 제공한다. 구체적으로, 계산량과 loss 사이의 최적 tradeoff를 위해 zero/one-layer progressive training을 제안한다. 예를 들어, GPT2에 대한 zero/one-layer progressive training은 약 $80\\%$의 compute를 절감하거나, 동일하게 약 $5\\times$의 가속을 달성하면서, 7B parameter를 가진 60-layer fully trained model과 비슷한 loss를 달성할 수 있다."},{"id":"63390","en":"PRAC: Principal-Random Subspace for LLM Activation Compression and Memory-Efficient Training","ko":"PRAC: LLM 활성화 압축과 메모리 효율적 학습을 위한 주성분-무작위 부분공간","authors":"Yanyi Li, Yimu Zhang, Cong Fang","pos":"#3605","link":"https://openreview.net/forum?id=XZgyuxVoLq","abs":"Activations have become the primary memory bottleneck in large-batch LLM training. However, existing compression methods fail to exploit structure information of activations, resulting in slow convergence or limited compression. To address this, we bridge the relationship between the algorithm’s fast convergence and the requirements for subspace projection and show a compression should yield an unbiased estimate of the original activation with low varianc. We propose Principal-Random Subspace for LLM Activation Compression (PRAC), which novelly decomposes activations into two components: a principal subspace captured via SVD to retain dominant information, and a random subspace sampled from the orthogonal complement to approximate the tail. By introducing a precise scaling factor, we prove that PRAC yields an unbiased gradient estimator with \\emph{minimum} variance under suitable conditions. Extensive experiments on pre-training and fine-tuning tasks demonstrate that PRAC achieves up to 36\\% total memory reduction with negligible performance degradation and minimal computational cost.
","absKo":"Activation은 대규모 batch LLM training에서 주요 memory 병목이 되었다. 그러나 기존 압축 방법은 activation의 구조 정보를 활용하지 못해 느린 수렴 또는 제한적인 압축을 초래한다. 이를 해결하기 위해, 우리는 알고리즘의 빠른 수렴과 subspace projection 요구사항 사이의 관계를 연결하고, compression은 원래 activation의 unbiased estimate를 낮은 variance로 제공해야 함을 보인다. 우리는 Principal-Random Subspace for LLM Activation Compression(PRAC)을 제안한다. PRAC는 activation을 두 개의 component로 새롭게 분해한다. 하나는 지배적인 정보를 보존하기 위해 SVD로 포착한 principal subspace이고, 다른 하나는 tail을 근사하기 위해 orthogonal complement에서 샘플링한 random subspace이다. 정밀한 scaling factor를 도입함으로써, 우리는 적절한 조건에서 PRAC가 \\emph{minimum} variance를 갖는 unbiased gradient estimator를 산출함을 증명한다. pre-training 및 fine-tuning task에 대한 광범위한 실험은 PRAC가 성능 저하를 거의 일으키지 않으면서 계산 비용도 최소로 유지한 채 전체 메모리를 최대 36\\%까지 줄일 수 있음을 보여준다.
"},{"id":"63695","en":"GradientStabilizer: Fix the Norm, Not the Gradient","ko":"GradientStabilizer: Gradient가 아니라 Norm을 고정하라","authors":"Tianjin Huang, Zhangyang “Atlas” Wang, Haotian Hu, Zhenyu Zhang, Gaojie Jin, Xiang Li, Li Shen, Jiaxing Shang, Tianlong Chen, Ke Li, Lu Liu, Qingsong Wen, Shiwei Liu","pos":"#3700","link":"https://openreview.net/forum?id=UZ8e5kivVf","abs":"Training instability in modern deep learning systems is frequently triggered by rare but extreme gradient-norm spikes, which can induce oversized parameter updates, corrupt optimizer state, and lead to slow recovery or divergence. Widely used safeguards such as gradient clipping mitigate these failures but require threshold tuning and indiscriminately truncate large updates. We propose GradientStabilizer, a lightweight, drop-in gradient transform that preserves the instantaneous gradient direction while replacing the update magnitude with a statistically stabilized estimate derived from running gradient-norm statistics. We prove that the resulting stabilized magnitude is uniformly bounded on spike steps, independent of the spike size, and show how this boundedness controls optimizer state evolution in adaptive methods. Across LLM pre-training (FP16), quantization-aware pre-training (FP4), ImageNet classification, reinforcement learning, and time-series forecasting, GradientStabilizer consistently improves training stability, widens stable learning-rate regions, and reduces divergence relative to clipping-based baselines, even substantially reducing Adam’s sensitivity to weight-decay strength.
","absKo":"현대 deep learning 시스템의 training instability는 드물지만 극단적인 gradient-norm spike에 의해 자주 유발되며, 이는 과도한 parameter update를 초래하고 optimizer state를 손상시키며, 느린 회복 또는 발산으로 이어질 수 있다. gradient clipping 같은 널리 쓰이는 안전장치는 이러한 실패를 완화하지만 threshold tuning이 필요하고 큰 update를 무차별적으로 잘라낸다. 우리는 GradientStabilizer를 제안한다. 이는 가벼운 drop-in gradient transform으로, 즉시적인 gradient 방향은 보존하면서 update magnitude를 running gradient-norm statistics에서 도출한 통계적으로 안정화된 추정치로 대체한다. 우리는 이렇게 안정화된 magnitude가 spike step에서 spike 크기와 무관하게 항상 bounded됨을 증명하고, 이 boundedness가 adaptive method에서 optimizer state evolution을 어떻게 제어하는지도 보인다. LLM pre-training(FP16), quantization-aware pre-training(FP4), ImageNet classification, reinforcement learning, time-series forecasting 전반에서 GradientStabilizer는 clipping-based baseline에 비해 training stability를 일관되게 개선하고, 안정적인 learning-rate 범위를 넓히며, divergence를 줄이고, 심지어 weight-decay 강도에 대한 Adam의 민감도까지 크게 낮춘다.
"},{"id":"63818","en":"LoRDO: Distributed Low-Rank Optimization with Infrequent Communication","ko":"LoRDO: 드문 통신을 이용한 분산 저랭크 최적화","authors":"Andrej Jovanović, Alex Iacob, Mher Safaryan, Ionut-Vlad Modoranu, Lorenzo Sani, Shen, Xinchi Qiu, Dan Alistarh, Nicholas Lane","pos":"#3705","link":"https://openreview.net/forum?id=TTAxB2IL2y","abs":"Distributed training of foundation models via $\\texttt{DDP}$ is limited by interconnect bandwidth. While infrequent communication strategies reduce synchronization frequency, they remain bottlenecked by the memory and communication requirements of optimizer states. Low-rank optimizers can alleviate these constraints; however, in the local-update regime, workers lack access to the full-batch gradients required to compute low-rank projections, which degrades performance. We propose $\\texttt{LoRDO}$, a principled framework unifying low-rank optimization with infrequent synchronization. We first demonstrate that, while global projections based on pseudo-gradients are theoretically superior, they permanently restrict the optimization trajectory to a low-rank subspace. To restore subspace exploration, we introduce a full-rank quasi-hyperbolic update. $\\texttt{LoRDO}$ achieves near-parity with low-rank $\\texttt{DDP}$ in language modeling and downstream tasks at model scales of $125$M--$720$M, while reducing communication by $\\approx10\\times$. Finally, we show that $\\texttt{LoRDO}$ improves performance even more in very low-memory settings with small rank/batch size.","absKo":"분산 foundation model 학습은 $\\texttt{DDP}$에서 interconnect bandwidth에 의해 제한된다. 비정기적 통신 전략은 동기화 빈도를 낮추지만, optimizer state의 메모리 및 통신 요구사항에 의해 여전히 병목이 발생한다. low-rank optimizer는 이러한 제약을 완화할 수 있지만, local-update regime에서는 worker가 low-rank projection을 계산하는 데 필요한 full-batch gradient에 접근할 수 없어 성능이 저하된다. 우리는 low-rank optimization과 비정기적 synchronization을 통합하는 원리 기반 프레임워크 $\\texttt{LoRDO}$를 제안한다. 먼저, pseudo-gradient에 기반한 global projection이 이론적으로는 더 우수하지만, 최적화 궤적을 low-rank subspace로 영구적으로 제한한다는 점을 보인다. subspace 탐색을 복원하기 위해 full-rank quasi-hyperbolic update를 도입한다. $\\texttt{LoRDO}$는 모델 규모 $125$M--$720$M에서 language modeling과 downstream task 전반에 걸쳐 low-rank $\\texttt{DDP}$와 거의 동등한 성능을 달성하면서도 통신량을 약 $\\approx10\\times$ 줄인다. 마지막으로, 매우 낮은 메모리 환경에서 작은 rank/batch size를 사용할 때 $\\texttt{LoRDO}$가 성능을 더 크게 향상시킴을 보인다."},{"id":"66212","en":"Controlled LLM Training on Spectral Sphere","ko":"스펙트럼 구면에서의 제어된 LLM 훈련","authors":"Tian Xie, Haoming Luo, Haoyu Tang, Hu Yiwen, Jason Liu, Qingnan Ren, Yang Wang, Xin Zhao, Rui Yan, Bing Su, Chong Luo, Baining Guo","pos":"#3707","link":"https://openreview.net/forum?id=5kTn1c3vtt","abs":"Scaling large models requires optimization strategies that ensure rapid convergence grounded in stability. Maximal Update Parametrization ($\\boldsymbol{\\mu}$P) provides a theoretical safeguard for width-invariant $\\Theta(1)$ activation control, whereas emerging optimizers like Muon are only \"half-aligned\" with these constraints: they control updates but allow weights to drift. To address this limitation, we introduce the **Spectral Sphere Optimizer (SSO)**, which enforces strict module-wise spectral constraints on both weights and their updates. By deriving the steepest descent direction on the spectral sphere, SSO realizes a fully $\\boldsymbol{\\mu}$P-aligned optimization process. To enable large‑scale training, we implement SSO as an efficient parallel algorithm within Megatron. Through extensive pretraining on diverse architectures, including Dense 1.7B, MoE 8B-A1B, and 200-layer DeepNet models, SSO consistently outperforms AdamW and Muon. Furthermore, we observe significant practical stability benefits, including improved MoE router load balancing, suppressed outliers, and strictly bounded activations.","absKo":"대규모 모델을 확장하려면 안정성을 바탕으로 빠른 수렴을 보장하는 최적화 전략이 필요하다. Maximal Update Parametrization($\\boldsymbol{\\mu}$P)은 width-invariant한 $\\Theta(1)$ activation 제어를 위한 이론적 안전장치를 제공하지만, Muon과 같은 새로운 optimizer는 이러한 제약과는 \"half-aligned\"되어 있어 update는 제어하지만 weight drift는 허용한다. 이 한계를 해결하기 위해, 우리는 weight와 그 update 모두에 대해 module-wise spectral constraint를 엄격히 강제하는 **Spectral Sphere Optimizer (SSO)**를 도입한다. spectral sphere에서의 steepest descent direction을 유도함으로써, SSO는 완전히 $\\boldsymbol{\\mu}$P-aligned된 optimization process를 구현한다. 대규모 학습을 가능하게 하기 위해, 우리는 Megatron 내부에 SSO를 효율적인 parallel algorithm으로 구현한다. Dense 1.7B, MoE 8B-A1B, 200-layer DeepNet 모델을 포함한 다양한 architecture에 대한 광범위한 pretraining을 통해, SSO는 AdamW와 Muon을 일관되게 능가한다. 더 나아가, MoE router load balancing 개선, outlier 억제, activation의 엄격한 상한 보장 등 중요한 실용적 안정성 이점도 관찰된다."},{"id":"64980","en":"GradPower: Powering Gradients for Faster Language Model Pre-Training","ko":"GradPower: 더 빠른 Language Model Pre-Training을 위한 Gradient 증폭","authors":"Jinbo Wang, Mingze Wang, Jiaqi Zhang, Peng Pei, Wei Wang, Xunliang Cai, Weinan E, Lei Wu","pos":"#3912","link":"https://openreview.net/forum?id=I9pDKCWYXk","abs":"We propose **GradPower**, a lightweight gradient-transformation technique for accelerating language model pre-training. Given a gradient vector $\\boldsymbol{g}=(g\\_{i})\\_{i}$, GradPower first applies the elementwise `sign-power` transformation: $ \\varphi_p(\\boldsymbol{g}) = \\left({\\rm sign}(g\\_i)|g\\_i|^p\\right)\\_{i} $ for a fixed $p>0$, and then feeds the transformed gradient into a base optimizer. Notably, GradPower requires only a **single-line code change** and no modifications to the base optimizer’s internal logic, including the hyperparameters. When applied to AdamW (termed **AdamWPower**), GradPower consistently achieves lower terminal loss across diverse architectures (LLaMA, Qwen2MoE), parameter scales (66M to 2B), datasets (C4, OpenWebText), and learning-rate schedules (cosine, warmup-stable-decay). The most pronounced gains are observed when training modern mixture-of-experts models with warmup-stable-decay schedules. GradPower also integrates seamlessly with other state-of-the-art optimizers, such as Muon, yielding further improvements. Finally, we provide theoretical analyses that reveal the underlying mechanism of GradPower and highlight the influence of gradient noise.","absKo":"우리는 언어 모델 사전학습을 가속하기 위한 경량 gradient transformation 기법인 **GradPower**를 제안한다. gradient vector $\\boldsymbol{g}=(g\\_{i})\\_{i}$가 주어지면, GradPower는 먼저 elementwise `sign-power` transformation $ \\varphi_p(\\boldsymbol{g}) = \\left({\\rm sign}(g\\_i)|g\\_i|^p\\right)\\_{i} $를 고정된 $p>0$에 대해 적용한 뒤, 변환된 gradient를 base optimizer에 입력한다. 주목할 점은 GradPower가 **한 줄의 코드 변경**만 필요하며, hyperparameter를 포함해 base optimizer의 내부 로직을 수정할 필요가 없다는 것이다. AdamW에 적용한 경우(이를 **AdamWPower**라 부름), GradPower는 LLaMA, Qwen2MoE와 같은 다양한 architecture, 66M부터 2B까지의 parameter scale, C4와 OpenWebText 같은 dataset, 그리고 cosine, warmup-stable-decay 같은 learning-rate schedule 전반에서 일관되게 더 낮은 terminal loss를 달성한다. 특히 warmup-stable-decay schedule로 현대적 mixture-of-experts model을 학습할 때 가장 뚜렷한 성능 향상이 관찰된다. GradPower는 Muon과 같은 다른 state-of-the-art optimizer와도 매끄럽게 통합되어 추가적인 개선을 가져온다. 마지막으로, 우리는 GradPower의 근본 메커니즘을 드러내고 gradient noise의 영향을 강조하는 이론적 분석을 제시한다."},{"id":"65881","en":"Statistically Optimal Scaling for Token Merging in Transformers","ko":"Transformer에서의 토큰 병합을 위한 통계적으로 최적인 스케일링","authors":"Qing Zhou, Hongyuan Zhang, Tao Yang, Junyu Gao, Qi Wang","pos":"#4014","link":"https://openreview.net/forum?id=9A6aXciRTI","abs":"Token merging accelerates Transformer inference by clustering similar tokens to reduce sequence length (retention ratio $r$), but distorts attention outputs, inducing covariate shift in residual streams and performance collapse under high compression. Existing heuristics, such as proportional attention, mitigate mild compression effectively but degrade sharply at aggressive ratios due to unaddressed energy drift and biased attention distributions. We reframe token merging as a statistical reconstruction problem in high dimensions and introduce an asymptotic radial-angular decomposition of the reconstruction error, an analytical framework decoupling magnitude and distributional distortions. Minimizing this decomposed risk under minimal assumptions of finite second moments and variance stationarity yields closed-form optimal corrections governed by a single scaling factor $\\sqrt{r}$: scaling merged values and shrinking merged logits toward the cluster-size prior. This calibrates both energy balance and distributional fidelity. Extensive experiments on vision Transformers demonstrate superior accuracy and robustness across compression levels.","absKo":"Token merging은 유사한 token을 clustering하여 sequence length( retention ratio $r$ )를 줄임으로써 Transformer inference를 가속하지만, attention output을 왜곡하여 residual stream에서 covariate shift를 유발하고 높은 compression 하에서 성능 붕괴를 일으킨다. proportional attention과 같은 기존 heuristic은 약한 compression에서는 효과적으로 완화하지만, 처리되지 않은 energy drift와 편향된 attention distribution 때문에 공격적인 ratio에서는 급격히 성능이 떨어진다. 우리는 token merging을 고차원 통계적 reconstruction 문제로 재정식화하고, magnitude와 distribution 왜곡을 분리하는 analytical framework인 reconstruction error의 asymptotic radial-angular decomposition을 도입한다. finite second moment와 variance stationarity라는 최소 가정 하에서 이 분해된 risk를 최소화하면, 단일 scaling factor $\\sqrt{r}$가 지배하는 closed-form optimal correction이 도출된다. 즉, merged value를 scaling하고 merged logit을 cluster-size prior 쪽으로 shrink한다. 이는 energy balance와 distributional fidelity를 모두 보정한다. vision Transformer에 대한 광범위한 실험에서, 이 방법은 모든 compression 수준에서 더 우수한 정확도와 강건성을 보인다."},{"id":"61187","en":"TGV-KV: Text-Grounded KV Eviction for Vision-Language Models","ko":"TGV-KV: Vision-Language Model을 위한 Text-Grounded KV Eviction","authors":"Jizhihui Liu, Ruizi Han, Miao Zhang, Rui Shao, Xuebo Liu, Weili Guan, Yaowei Wang","pos":"#908","link":"https://openreview.net/forum?id=suQ52Hqr9U","abs":"Vision-Language Models (VLMs) inherit the auto-regressive generation paradigm and cache the keys and values (KV) of all previous tokens to accelerate inference, resulting in memory consumption that scales linearly with context length. This issue is particularly pronounced in VLMs due to substantial redundancy in the visual modality. Although KV cache eviction approaches can effectively reduce inference memory, they often incur significant performance degradation in VLMs, as most are designed for language models and overlook the inherent gap between text and vision. By systematically analyzing the modality gap in VLMs in this work, we argue that the importance of visual information should be grounded in textual guidance and accordingly propose a Text-Grounded KV Eviction method for VLMs (TGV-KV). TGV-KV comprises three submodules: (1) Text-Vision Budgeting (TVB) assigns budget to each layer based on the mutual information interaction. (2) Text-Weighted Ranking (TWR) assesses the priority of text and ranks vision importance based on weighted text-image attention. (3) Text-Prioritised Retention (TPR) policy strategically preserves text KV to avoid acute information loss. We evaluate TGV-KV across five models with different sizes and architectures, showing that TGV-KV preserves 99.2\\% accuracy on the VizWiz-VQA task with LLaVA-NeXT and boosts decode throughput by 52.6\\% with an extreme retention budget of 5\\%. Code will be released.
","absKo":"Vision-Language Models (VLMs)은 auto-regressive generation paradigm을 계승하며, inference를 가속하기 위해 이전 모든 token의 key와 value(KV)를 cache하므로 context length에 비례해 memory consumption이 선형적으로 증가한다. 이 문제는 visual modality의 상당한 redundancy 때문에 VLMs에서 특히 두드러진다. KV cache eviction 접근법은 inference memory를 효과적으로 줄일 수 있지만, 대부분 language model을 위해 설계되어 text와 vision 사이의 본질적 간극을 간과하기 때문에 VLMs에서는 종종 심각한 성능 저하를 초래한다. 본 연구에서는 VLMs에서의 modality gap을 체계적으로 분석하여, visual information의 중요성은 textual guidance에 기반해야 한다고 주장하고, 이에 따라 Text-Grounded KV Eviction method for VLMs (TGV-KV)를 제안한다. TGV-KV는 세 개의 submodule로 구성된다. (1) Text-Vision Budgeting (TVB)는 mutual information interaction을 기반으로 각 layer에 budget을 할당한다. (2) Text-Weighted Ranking (TWR)는 text와 image의 weighted attention을 기반으로 text의 우선순위를 평가하고 vision importance를 순위화한다. (3) Text-Prioritised Retention (TPR) policy는 급격한 정보 손실을 피하기 위해 text KV를 전략적으로 보존한다. 우리는 서로 다른 규모와 architecture를 가진 다섯 개 model에서 TGV-KV를 평가했으며, TGV-KV가 LLaVA-NeXT를 사용한 VizWiz-VQA task에서 99.2\\% accuracy를 유지하고, 5\\%라는 극단적인 retention budget에서도 decode throughput을 52.6\\% 향상시킴을 보였다. 코드는 공개될 예정이다.
"},{"id":"61792","en":"AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in Unified Multimodal Models via Decompositional Verifiable Reward","ko":"AlphaGRPO: 분해 가능한 검증 Reward를 통해 통합 Multimodal Model에서 자기성찰적 Multimodal Generation 구현","authors":"Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao","pos":"#1000","link":"https://openreview.net/forum?id=mtcGhTTDgN","abs":"In this paper, we propose AlphaGRPO, a novel framework that applies Group Relative Policy Optimization (GRPO) to AR-Diffusion Unified Multimodal Models (UMMs) to enhance multimodal generation capabilities without relying on external knowledge injection. Our approach unlocks the model's intrinsic potential to perform advanced reasoning tasks: Reasoning Text-to-Image Generation, where the model actively infers implicit user intents, and Self-Reflective Refinement, where it autonomously diagnoses and corrects misalignments in generated outputs. To address the challenge of providing stable supervision for real-world multimodal generation, we introduce the Decompositional Verifiable Reward (DVReward). Unlike holistic scalar rewards, DVReward utilizes an LLM to decompose complex user requests into atomic, verifiable semantic and quality questions, which are then evaluated by a general MLLM to provide reliable and interpretable feedback. Extensive experiments demonstrate that AlphaGRPO yields robust improvements across multimodal generation benchmarks, including GenEval, TIIF-Bench, DPG-Bench and WISE, while also achieving significant gains in editing tasks on GEdit without training on editing tasks. These results validate that our self-reflective reinforcement approach effectively leverages inherent understanding to guide high-fidelity generation.
","absKo":"이 논문에서는 외부 knowledge injection에 의존하지 않고 multimodal generation 능력을 향상시키기 위해 Group Relative Policy Optimization (GRPO)을 AR-Diffusion Unified Multimodal Models (UMMs)에 적용하는 새로운 framework인 AlphaGRPO를 제안한다. 우리의 접근은 model의 내재적 잠재력을 활용해 고급 reasoning task를 수행하게 한다. 즉, Reasoning Text-to-Image Generation에서는 model이 암묵적인 user intent를 능동적으로 추론하고, Self-Reflective Refinement에서는 생성된 output의 misalignment를 자율적으로 진단하고 수정한다. 실제 multimodal generation에 대해 안정적인 supervision을 제공하는 과제를 해결하기 위해 우리는 Decompositional Verifiable Reward(DVReward)를 도입한다. holistic scalar reward와 달리, DVReward는 LLM을 사용해 복잡한 user request를 원자적이고 검증 가능한 semantic 및 quality question으로 분해하고, 이를 general MLLM이 평가하여 신뢰할 수 있고 해석 가능한 feedback을 제공한다. 광범위한 실험은 AlphaGRPO가 GenEval, TIIF-Bench, DPG-Bench, WISE를 포함한 multimodal generation benchmark 전반에서 견고한 개선을 보일 뿐 아니라, editing task로 학습하지 않고도 GEdit에서 editing task 성능을 크게 향상시킴을 보여준다. 이러한 결과는 self-reflective reinforcement approach가 내재된 이해를 효과적으로 활용하여 고충실도 생성을 이끈다는 점을 검증한다.
"},{"id":"61176","en":"R1-SyntheticVL: Is Synthetic Data from Generative Models Ready for Multimodal Large Language Model?","ko":"R1-SyntheticVL: 생성 모델의 합성 데이터는 Multimodal Large Language Model에 준비되었는가?","authors":"Jingyi Zhang, Tianyi Lin, Huanjin Yao, Xiang Lan, Shunyu Liu, Jiaxing Huang","pos":"#1907","link":"https://openreview.net/forum?id=t1Ki6pM2EG","abs":"In this work, we aim to develop effective data synthesis techniques that autonomously synthesize multimodal training data for enhancing MLLMs in solving complex real-world tasks. To this end, we propose Collective Adversarial Data Synthesis (CADS), a novel and general approach to synthesize high-quality, diverse and challenging multimodal data for MLLMs. The core idea of CADS is to leverage collective intelligence to ensure high-quality and diverse generation, while exploring adversarial learning to synthesize challenging samples for effectively driving model improvement. Specifically, CADS operates with two cyclic phases, i.e., Collective Adversarial Data Generation (CAD-Generate) and Collective Adversarial Data Judgment (CAD-Judge). CAD-Generate leverages collective knowledge to jointly generate new and diverse multimodal data, while CAD-Judge collaboratively assesses the quality of synthesized data. In addition, CADS introduces an Adversarial Context Optimization mechanism to optimize the generation context to encourage challenging and high-value data generation. With CADS, we construct MMSynthetic-20K and train our model R1-SyntheticVL, which demonstrates superior performance on various benchmarks.
","absKo":"본 연구에서는 복잡한 실제 과제를 해결하는 데 있어 MLLM을 강화하기 위해, 멀티모달 training data를 자율적으로 합성하는 효과적인 data synthesis 기법을 개발하는 것을 목표로 한다. 이를 위해 우리는 Collective Adversarial Data Synthesis (CADS)를 제안한다. CADS는 MLLM을 위해 고품질이고 다양하며 도전적인 multimodal data를 합성하는 새롭고 일반적인 접근법이다. CADS의 핵심 아이디어는 collective intelligence를 활용해 생성의 품질과 다양성을 보장하는 한편, adversarial learning을 탐색하여 모델 개선을 효과적으로 유도하는 어려운 sample을 합성하는 것이다. 구체적으로 CADS는 Collective Adversarial Data Generation (CAD-Generate)과 Collective Adversarial Data Judgment (CAD-Judge)라는 두 개의 순환 단계로 동작한다. CAD-Generate는 collective knowledge를 활용해 새롭고 다양한 multimodal data를 공동으로 생성하고, CAD-Judge는 합성된 data의 품질을 협력적으로 평가한다. 추가로 CADS는 Adversarial Context Optimization 메커니즘을 도입하여 생성 context를 최적화함으로써 도전적이고 가치 높은 data 생성을 유도한다. CADS를 통해 우리는 MMSynthetic-20K를 구축하고 R1-SyntheticVL 모델을 학습했으며, 이 모델은 다양한 benchmark에서 우수한 성능을 보인다."},{"id":"66627","en":"Model-Dowser: Data-Free Importance Probing to Mitigate Catastrophic Forgetting in Multimodal Large Language Models","ko":"Model-Dowser: 멀티모달 대규모 언어 모델에서 파국적 망각 완화를 위한 데이터 프리 중요도 탐침","authors":"Hyeontaek Hwang, DINH SON NGUYEN, Daeyoung Kim","pos":"#2600","link":"https://openreview.net/forum?id=20nWnRkLP4","abs":"Fine-tuning Multimodal Large Language Models (MLLMs) on task-specific data is an effective way to improve performance on downstream applications. However, such adaptation often leads to a degradation in generalization on pretrained tasks, a phenomenon known as Catastrophic Forgetting. Existing methods that aim to mitigate this issue either become ineffective when fine-tuning deeper layers of the language decoder or scale poorly with increasing model size. To address these limitations, we propose Model-Dowser, a novel sparse fine-tuning approach for MLLMs. Model-Dowser measures a principled importance score for each model parameter with respect to pretrained generalization (prior to downstream adaptation) by jointly considering weight magnitudes, input activations, and output sensitivities. During fine-tuning, Model-Dowser selectively preserves high-importance parameters and updates the remaining. Comprehensive experiments on two representative MLLMs, LLaVA and NVILA, demonstrate that Model-Dowser effectively mitigates catastrophic forgetting and consistently outperforms prior methods, while remaining resource-efficient and scalable to multi-billion-parameter models.
","absKo":"Task-specific data로 Multimodal Large Language Models (MLLMs)를 fine-tuning하는 것은 downstream application의 성능을 향상시키는 효과적인 방법이다. 그러나 이러한 적응은 종종 pretrained task에서의 일반화 성능 저하를 초래하며, 이는 Catastrophic Forgetting으로 알려져 있다. 이 문제를 완화하려는 기존 방법들은 language decoder의 더 깊은 layer를 fine-tuning할 때 비효율적이 되거나, 모델 규모가 커질수록 확장성이 떨어진다. 이러한 한계를 해결하기 위해 우리는 MLLM을 위한 새로운 sparse fine-tuning 접근법인 Model-Dowser를 제안한다. Model-Dowser는 weight magnitude, input activation, output sensitivity를 함께 고려하여 downstream adaptation 이전의 pretrained generalization과 관련한 각 model parameter의 원리적인 중요도 점수를 측정한다. fine-tuning 동안 Model-Dowser는 중요도가 높은 parameter를 선택적으로 보존하고 나머지를 업데이트한다. LLaVA와 NVILA라는 두 대표적 MLLM에서 수행한 포괄적 실험은 Model-Dowser가 catastrophic forgetting을 효과적으로 완화하고, 기존 방법을 일관되게 능가하면서도 자원 효율적이고 수십억 파라미터 규모 모델로 확장 가능함을 보여준다.
"},{"id":"64269","en":"Model-Preserving Adaptive Rounding","ko":"모델 보존 적응형 반올림","authors":"Albert Tseng, Zhaofeng Sun, Chris De Sa","pos":"#2601","link":"https://openreview.net/forum?id=PKFilPWjMI","abs":"The goal of quantization is to produce a compressed model whose output distribution is as close to the original model's as possible. To do this tractably, most quantization algorithms minimize the immediate activation error of each layer as a proxy for the end-to-end error. However, this ignores the effect of future layers, making it a poor proxy. In this work, we introduce Yet Another Quantization Algorithm (YAQA), a new adaptive rounding algorithm that directly considers the error at the network's output. YAQA introduces a series of theoretical results that culminate in the first end-to-end error bounds for quantization algorithms. First, we characterize the convergence time of adaptive rounding algorithms via the structure of their Hessian approximations. We then show that the end-to-end error can be bounded by the approximation's cosine similarity to the true Hessian. This admits a natural Kronecker-factored approximation with corresponding near-optimal Hessian sketches. YAQA is provably better than GPTQ/LDLQ and empirically reduces the error by $\\approx$ 30% over these methods. YAQA even achieves a lower error than quantization aware training. This translates to state of the art performance on downstream tasks, all while adding no inference overhead.","absKo":"Quantization의 목표는 출력 분포가 원래 model의 출력 분포와 가능한 한 가깝도록 압축된 model을 만드는 것이다. 이를 계산 가능하게 하기 위해, 대부분의 quantization algorithm은 end-to-end error의 proxy로 각 layer의 즉각적인 activation error를 최소화한다. 그러나 이는 이후 layer의 영향을 무시하므로 좋은 proxy가 아니다. 본 연구에서는 네트워크 출력에서의 error를 직접 고려하는 새로운 adaptive rounding algorithm인 Yet Another Quantization Algorithm (YAQA)을 소개한다. YAQA는 quantization algorithm에 대한 최초의 end-to-end error bound로 이어지는 일련의 이론적 결과를 제시한다. 먼저, 우리는 Hessian approximation의 구조를 통해 adaptive rounding algorithm의 수렴 시간을 규명한다. 이후 end-to-end error가 approximation의 true Hessian에 대한 cosine similarity로 상계될 수 있음을 보인다. 이는 대응하는 near-optimal Hessian sketch를 갖는 자연스러운 Kronecker-factored approximation을 가능하게 한다. YAQA는 GPTQ/LDLQ보다 이론적으로 우수하며, 실험적으로는 이러한 방법들에 비해 error를 약 $\\\\approx$ 30% 줄인다. YAQA는 quantization aware training보다도 더 낮은 error를 달성한다. 이는 inference overhead를 추가하지 않으면서 downstream task에서 state of the art 성능으로 이어진다."},{"id":"65289","en":"Olivia: Harmonizing Time Series Foundation Models with Power Spectral Density","ko":"Olivia: 전력 스펙트럼 밀도와 시계열 Foundation Model의 조화","authors":"Jingru Fei, Kun Yi, Alex Wang, Qingsong Wen, Xiangxiang Zhu, Wei Fan","pos":"#2602","link":"https://openreview.net/forum?id=F5ULzUwZrv","abs":"Time series foundation models rely on large-scale pretraining over diverse datasets across domains, yet their heterogeneity in temporal patterns could hinder the effectiveness of training and learning transferable time series representations. Inspired a fundamental concept, normalized power spectral density (PSD) in signal processing, we assume harmonizing datasets via PSDs in the spectral domain could reduce mismatches and enhance pretraining. We then go beyond the direct intractable minimization optimization and innovatively reformulate it as a principled \\textit{harmonization} approach. Specifically, we propose \\textit{Harmonizer}, a module that reshapes spectral structures and implicitly harmonizing PSDs across datasets, which theoretically corresponds to a shared reparameterization of second-order temporal correlations. Our theoretical analysis further reveals token interactions with Harmonizer can be efficiently mediated by a compact set of resonators, motivating a \\textit{HarmonicAttention} design that performs self-attention in a low-dimensional interaction space. Then, we propose \\textit{Olivia}, a novel time series foundation model built upon these harmonization mechanisms. Extensive experiments on two large-scale benchmarks (TSLib and GIFT-Eval) and extra 6 datasets from GluonTS, demonstrate Olivia consistently achieves state-of-the-art performance under zero-shot, few-shot, and full-shot forecasting scenarios.
","absKo":"time series foundation model은 다양한 domain에 걸친 대규모 dataset으로부터의 pretraining에 의존하지만, temporal pattern의 heterogeneity는 학습의 효과와 transferable time series representation 학습을 저해할 수 있다. signal processing의 fundamental concept인 normalized power spectral density(PSD)에서 영감을 받아, spectral domain에서 PSD를 통해 dataset을 조화(harmonize)하면 mismatch를 줄이고 pretraining을 향상시킬 수 있다고 가정한다. 이어서 우리는 직접적인 intractable minimization optimization을 넘어, 이를 원리적인 \\textit{harmonization} 접근으로 혁신적으로 재정식화한다. 구체적으로, 우리는 spectral structure를 재구성하고 dataset 간 PSD를 암묵적으로 harmonize하는 모듈 \\textit{Harmonizer}를 제안하며, 이는 이론적으로 second-order temporal correlation의 shared reparameterization에 해당한다. 우리의 이론 분석은 Harmonizer와의 token interaction이 compact한 resonator 집합에 의해 효율적으로 매개될 수 있음을 추가로 보여주며, 이를 바탕으로 low-dimensional interaction space에서 self-attention을 수행하는 \\textit{HarmonicAttention} 설계를 이끈다. 그다음, 우리는 이러한 harmonization mechanism 위에 구축한 새로운 time series foundation model \\textit{Olivia}를 제안한다. 두 개의 대규모 benchmark(TSLib와 GIFT-Eval)와 GluonTS의 추가 6개 dataset에서 수행한 광범위한 실험은, Olivia가 zero-shot, few-shot, full-shot forecasting 시나리오 전반에서 일관되게 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"63760","en":"Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies","ko":"Preference Goal Tuning: 고정 정책을 위한 잠재 제어로서의 사후학습","authors":"Guangyu Zhao, Kewei Lian, Haoxuan Ru, Borong Zhang, Haowei Lin, Zhancun Mu, Haobo Fu, Qiang Fu, Shaofei Cai, Zihao Wang, Yitao Liang","pos":"#2603","link":"https://openreview.net/forum?id=TygL9qfa0d","abs":"Goal-conditioned policies enable decision-making models to execute diverse behaviors based on specified goals, yet their downstream performance is often highly sensitive to the choice of instructions or prompts. To bypass the limitations of discrete text prompts, we formulate post-training adaptation as a latent control problem, where the goal embedding serves as a continuous control variable to modulate the behavior of a frozen policy. We propose Preference Goal Tuning (PGT), a framework that optimizes this latent control variable to align the induced trajectory distribution with task preferences. Unlike standard fine-tuning that updates policy parameters, PGT keeps the policy frozen and updates only the latent goal using a trajectory-level preference objective. This approach essentially searches for the optimal conditioning input that maximizes the likelihood of preferred behaviors while suppressing undesirable ones. We evaluate PGT on the Minecraft SkillForge benchmark across 17 tasks. With minimal data, PGT achieves average relative improvements of 72.0\\% and 81.6\\% on two foundation policies, consistently outperforming expert-crafted prompts. Crucially, by decoupling task alignment (latent goal) from physical dynamics (frozen policy), PGT surpasses full fine-tuning by 13.4\\% in out-of-distribution settings, demonstrating superior robustness and generalization.
","absKo":"Goal-conditioned policy는 decision-making model이 지정된 goal에 따라 다양한 behavior를 실행할 수 있게 하지만, downstream performance는 종종 instruction이나 prompt의 선택에 매우 민감하다. discrete text prompt의 한계를 우회하기 위해, 우리는 post-training adaptation을 latent control problem으로 정식화한다. 여기서 goal embedding은 frozen policy의 behavior를 조절하는 continuous control variable로 작동한다. 우리는 induced trajectory distribution을 task preference와 정렬시키기 위해 이 latent control variable을 최적화하는 Preference Goal Tuning (PGT)를 제안한다. policy parameter를 갱신하는 standard fine-tuning과 달리, PGT는 policy를 고정한 채 trajectory-level preference objective를 사용해 latent goal만 업데이트한다. 이 접근법은 본질적으로 바람직한 behavior의 likelihood를 최대화하고 원하지 않는 behavior는 억제하는 최적의 conditioning input을 탐색한다. 우리는 Minecraft SkillForge benchmark의 17개 task에서 PGT를 평가했다. 적은 데이터만으로도 PGT는 두 개의 foundation policy에서 평균 상대 개선율 72.0\\%와 81.6\\%를 달성했으며, expert-crafted prompt를 일관되게 능가했다. 핵심적으로, task alignment(latent goal)와 physical dynamics(frozen policy)를 분리함으로써 PGT는 out-of-distribution setting에서 full fine-tuning보다 13.4\\% 더 뛰어난 성능을 보여, 우수한 robustness와 generalization을 입증했다.
"},{"id":"63890","en":"ScDiVa: Masked Discrete Diffusion for Joint Modeling of Single-Cell Identity and Expression","ko":"ScDiVa: 단일세포 정체성과 발현의 공동 모델링을 위한 masked discrete diffusion","authors":"Mingxuan Wang, Gaoyang Jiang, ZiJia Ren, Lu Shi, Cheng Chen, Chuangxin Zhao, Yanbiao Ma","pos":"#2604","link":"https://openreview.net/forum?id=Sm7NhztxlA","abs":"Single-cell RNA-seq profiles are high-dimensional, sparse, and unordered, causing autoregressive generation to impose an artificial ordering bias and suffer from error accumulation. To address this, we propose scDiVa, a masked discrete diffusion foundation model that aligns generation with the dropout-like corruption process by defining a continuous-time forward masking mechanism in token space. ScDiVa features a bidirectional denoiser that jointly models discrete gene identities and continuous values, utilizing entropy-normalized serialization and a latent anchor token to maximize information efficiency and preserve global cell identity. The model is trained via depth-invariant time sampling and a dual denoising objective to simulate varying sparsity levels while ensuring precise recovery of both identity and magnitude. Pre-trained on 59 million cells, scDiVa achieves strong transfer performance across major benchmarks, including batch integration, cell type annotation, and perturbation response prediction. These results suggest that masked discrete diffusion serves as a biologically coherent and effective alternative to autoregression.
","absKo":"single-cell RNA-seq 프로파일은 고차원적이고 희소하며 순서가 정해져 있지 않아, autoregressive generation은 인위적인 순서 편향을 유발하고 오류 누적을 초래한다. 이를 해결하기 위해 우리는 토큰 공간에서 연속시간 forward masking 메커니즘을 정의함으로써 generation을 dropout과 유사한 corruption process에 정렬시키는 masked discrete diffusion foundation model인 scDiVa를 제안한다. scDiVa는 discrete gene identity와 continuous value를 jointly 모델링하는 bidirectional denoiser를 특징으로 하며, entropy-normalized serialization과 latent anchor token을 활용해 정보 효율을 극대화하고 global cell identity를 보존한다. 이 모델은 depth-invariant time sampling과 dual denoising objective를 통해 학습되어, 다양한 sparsity 수준을 시뮬레이션하는 동시에 identity와 magnitude 모두를 정밀하게 복원하도록 보장한다. 5,900만 개의 세포로 pre-training된 scDiVa는 batch integration, cell type annotation, perturbation response prediction을 포함한 주요 benchmark 전반에서 강력한 transfer performance를 달성한다. 이러한 결과는 masked discrete diffusion이 autoregression에 대한 생물학적으로 일관되고 효과적인 대안임을 시사한다.
"},{"id":"61694","en":"Seeing Without Understanding: Disentangling Perception, Reasoning, and Simulation in VLM Gameplay","ko":"이해 없는 보기: VLM Gameplay에서 지각, 추론, 시뮬레이션 분리","authors":"Dingyang Jin, Jiawei He, Calvin Lo, Steven Hu, RYAN RAD","pos":"#2605","link":"https://openreview.net/forum?id=nfuGwj5rr5","abs":"While Vision-Language Models (VLMs) excel on static visual benchmarks, they consistently underperform in game-based reasoning environments. Existing evaluations conflate failures in perception, rule comprehension, and reasoning. We propose a two-stage diagnostic framework that decomposes VLM performance into testable components: controlled perception tests isolating visual encoding, and a $2\\times2$ diagnostic matrix with a six-level rule complexity ladder evaluated in both explicit verification and predictive simulation modes. Experimenting with six state-of-the-art VLMs reveals three systematic failure patterns: (1) coordinated spatial drift, where off-by-one localization errors among adjacent pieces share the same shift direction at $1.5-1.9\\times$ the rate expected under spatial independence; (2) perception-reasoning dissociation, where models correctly verify board states but fail to apply rules—at complex constraint levels, perception remains relatively stable while reasoning accuracy plummets, with even the best-performing model capped at $75\\%$ and others ranging from $37\\%$ to $64\\%$; and (3) a simulation gap, with performance dropping by up to $27$ points when predicting future states versus verifying observed outcomes. These limitations persist across model scales, suggesting persistent limitations in bridging visual encoding and logical simulation.","absKo":"Vision-Language Model (VLM)은 static visual benchmark에서는 뛰어난 성능을 보이지만, game-based reasoning environment에서는 일관되게 낮은 성능을 보인다. 기존 평가는 perception, rule comprehension, reasoning의 실패를 서로 혼동한다. 우리는 VLM 성능을 test 가능한 구성 요소로 분해하는 two-stage diagnostic framework를 제안한다. 즉, visual encoding을 분리하는 controlled perception test와, explicit verification 및 predictive simulation mode 양쪽에서 평가되는 6단계 rule complexity ladder를 가진 $2\\times2$ diagnostic matrix이다. 여섯 개의 최신 VLM을 실험한 결과, 세 가지 체계적인 실패 패턴이 드러났다. (1) coordinated spatial drift: 인접한 piece들 사이의 off-by-one localization error가 공간적 독립성 하에서 기대되는 비율의 $1.5-1.9\\times$에 해당하는 동일한 shift direction을 공유한다. (2) perception-reasoning dissociation: model이 board state는 올바르게 검증하지만 rule 적용에는 실패한다. 복잡한 constraint 수준에서 perception은 비교적 안정적인 반면 reasoning accuracy는 급락하며, 최고 성능 model조차 $75\\%$에 머무르고 다른 model들은 $37\\%$에서 $64\\%$ 범위에 있다. (3) simulation gap: 관측된 outcome을 검증할 때보다 미래 state를 예측할 때 성능이 최대 $27$ point 하락한다. 이러한 한계는 model 규모 전반에 걸쳐 지속되며, visual encoding과 logical simulation을 연결하는 데 지속적인 제약이 있음을 시사한다."},{"id":"64481","en":"TransNormal: Dense Visual Semantics for Diffusion-based Transparent Object Normal Estimation","ko":"TransNormal: Diffusion 기반 투명 객체 법선 추정을 위한 조밀 시각 시맨틱","authors":"Mingwei Li, Hehe Fan, Yi Yang","pos":"#2606","link":"https://openreview.net/forum?id=N8WHcyewlH","abs":"Monocular normal estimation for transparent objects is critical for laboratory automation, yet it remains challenging due to complex light refraction and reflection. These optical properties often lead to catastrophic failures in conventional depth and normal sensors, hindering the deployment of embodied AI in scientific environments. We propose **TransNormal**, a novel framework that adapts pre-trained diffusion priors for single-step normal regression. To handle the lack of texture in transparent surfaces, TransNormal integrates dense visual semantics from DINOv3 via a cross-attention mechanism, providing strong geometric cues. Furthermore, we employ a multi-task learning objective and wavelet-based regularization to ensure the preservation of fine-grained structural details. To support this task, we introduce **TransNormal-Synthetic**, a physics-based dataset with high-fidelity normal maps for transparent labware. Extensive experiments demonstrate that TransNormal significantly outperforms state-of-the-art methods: on the ClearGrasp benchmark, it reduces mean error by 24.4\\% and improves $11.25^\\circ$ accuracy by 22.8\\%; on ClearPose, it achieves a 15.2\\% reduction in mean error. The code and dataset will be made publicly available.","absKo":"투명한 물체에 대한 monocular normal estimation은 laboratory automation에 중요하지만, 복잡한 굴절과 반사 때문에 여전히 어렵다. 이러한 광학적 특성은 기존 depth 및 normal sensor에서 치명적인 실패를 자주 유발하여 과학 환경에서 embodied AI의 배치를 저해한다. 우리는 single-step normal regression을 위해 사전 학습된 diffusion prior를 적응시키는 새로운 framework인 **TransNormal**을 제안한다. 투명한 표면의 texture 부족을 처리하기 위해, TransNormal은 cross-attention mechanism을 통해 DINOv3의 dense visual semantics를 통합하여 강력한 geometric cue를 제공한다. 또한, 세밀한 구조적 세부 정보를 보존하기 위해 multi-task learning objective와 wavelet-based regularization을 사용한다. 이 task를 지원하기 위해, 우리는 투명한 labware에 대한 고정밀 normal map을 포함한 physics-based dataset인 **TransNormal-Synthetic**을 소개한다. 광범위한 실험은 TransNormal이 state-of-the-art 방법보다 크게 우수함을 보여준다. ClearGrasp benchmark에서는 mean error를 24.4\\% 줄이고 $11.25^\\circ$ accuracy를 22.8\\% 향상시켰으며, ClearPose에서는 mean error를 15.2\\% 감소시켰다. 코드와 데이터셋은 공개될 예정이다.
"},{"id":"60891","en":"Uncovering Grounding IDs: How External Cues Shape Multi-Modal Binding","ko":"Grounding ID 밝히기: 외부 단서가 Multi-Modal Binding을 형성하는 방식","authors":"Amirmohammad Izadi, Hosein Hasani, Fatemeh Askari, Mobin Bagherian, Sadegh Mohammadian, Mohammad Izadi, Mahdieh Baghshah","pos":"#2607","link":"https://openreview.net/forum?id=vZuItb6BOA","abs":"Large vision–language models (LVLMs) perform well on multimodal tasks, but their ability to reason and precisely align visual and textual information still has room for improvement. In this study, we show that external visual cues, such as symbols or grid lines, help LVLMs form more accurate connections between visual components, such as objects, and their corresponding textual descriptions, improving their grounding and reasoning abilities. We introduce the concept of Grounding IDs, which are latent identifiers that arise within the model as a result of external cues structuring both visual and textual modalities. Our analysis reveals that partition-inducing external cues lead to Grounding IDs that make better alignment between corresponding visual and text representations, helping the model focus on relevant information. We find that Grounding IDs enhance attention between related components, improving cross-modal grounding and reducing hallucinations. Overall, our results show that Grounding IDs are a key mechanism that enables external cues to improve cross-modal alignment, reduce errors, and enhance the overall performance of LVLMs across a range of multimodal tasks.
","absKo":"Large vision–language model(LVLM)은 multimodal task에서 우수한 성능을 보이지만, 추론 능력과 visual 정보와 textual 정보를 정확히 정렬하는 능력은 여전히 개선 여지가 있다. 본 연구에서는 symbol이나 grid line과 같은 external visual cue가 LVLM이 object와 그에 대응하는 text description 사이의 연결을 더 정확하게 형성하도록 도와 grounding과 reasoning 능력을 향상시킨다는 점을 보인다. 우리는 Grounding ID라는 개념을 도입하는데, 이는 external cue가 visual modality와 textual modality를 구조화한 결과 model 내부에서 나타나는 latent identifier이다. 분석 결과, partition을 유도하는 external cue는 대응하는 visual representation과 text representation 간의 정렬을 더 좋게 만드는 Grounding ID를 생성하여, model이 관련 정보에 집중하도록 돕는다. 우리는 Grounding ID가 관련 component 간 attention을 강화하고 cross-modal grounding을 개선하며 hallucination을 줄인다는 사실을 확인했다. 종합하면, 우리의 결과는 Grounding ID가 external cue가 cross-modal alignment를 개선하고 error를 줄이며, 다양한 multimodal task 전반에서 LVLM의 전반적 성능을 향상시키는 핵심 mechanism임을 보여준다.
"},{"id":"66821","en":"Understanding Reasoning Collapse in LLM Agent Reinforcement Learning","ko":"LLM Agent 강화학습에서 추론 붕괴 이해하기","authors":"Zihan (Zenus) Wang, Chi Gui, Xing Jin, Qineng Wang, Licheng Liu, Kangrui Wang, Shiqi Chen, Linjie Li, Zhengyuan Yang, Pingyue Zhang, Yiping Lu, Jiajun Wu, Li Fei-Fei, Lijuan Wang, Yejin Choi, Manling Li","pos":"#2608","link":"https://openreview.net/forum?id=01caH9oj7C","abs":"In closed-loop multi-turn agent reinforcement learning, LLM agents exhibit reasoning collapse, where reasoning shift toward generic templates, weakly coupled to the inputs. We firstly identify that such collapse is easy to miss with entropy or surface diversity metrics since reasoning text still varies but becomes input-agnostic. We then propose an information-theoretic decomposition of reasoning variable $Z$'s variation into conditional entropy $H(Z \\mid X)$ (randomness under same input) and mutual information (MI) $I(X; Z)$ (input dependence). Template collapse occurs when $H(Z \\mid X)$ stays high while $I(X; Z)$ drops, yielding diverse-looking but generic reasoning. To make $I(X; Z)$ a reproducible and sanity-checkable diagnostic, we further introduce an MI-style retrieval protocol treating each reasoning trace $Z$ as a query to retrieve its source $X$ from a minibatch; accuracy degrades toward chance under collapse. We thus provide a signal-to-noise ratio explanation for why $I(X; Z)$ drops: when within-input reward variance $\\mathrm{Var}(R \\mid X)$ is low, task gradients weaken and input-agnostic regularizers (KL, entropy) dominate, flattening cross-input differences. Finally, we propose reward-variance-aware filtering to prioritize high-signal updates. Across multi-turn environments, model scales, and modalities (including VLMs), this improves input dependence, stability, and performance while remaining competitive with state-of-the-art stabilization baselines.","absKo":"닫힌 루프의 multi-turn agent reinforcement learning에서 LLM agent는 reasoning collapse를 보이며, 이는 reasoning이 입력과 느슨하게 결합된 일반적인 템플릿 쪽으로 이동하는 현상이다. 우리는 먼저 이런 collapse가 entropy나 surface diversity metric으로는 쉽게 놓친다는 점을 밝힌다. reasoning text는 여전히 다양하게 보이지만 입력 비의존적이 되기 때문이다. 이후 우리는 reasoning variable $Z$의 변동을 conditional entropy $H(Z \\mid X)$ (같은 입력 하에서의 randomness)와 mutual information (MI) $I(X; Z)$ (입력 의존성)으로 분해하는 information-theoretic decomposition을 제안한다. template collapse는 $H(Z \\mid X)$는 높게 유지되는 반면 $I(X; Z)$가 감소할 때 발생하며, 그 결과 겉보기에는 다양하지만 실제로는 일반적인 reasoning이 생성된다. $I(X; Z)$를 재현 가능하고 sanity-check 가능한 진단 지표로 만들기 위해, 우리는 각 reasoning trace $Z$를 query로 취급해 minibatch에서 그 source $X$를 retrieval하는 MI-style retrieval protocol을 추가로 도입한다. collapse가 일어날수록 정확도는 chance 수준으로 떨어진다. 우리는 또한 $I(X; Z)$가 감소하는 이유에 대한 signal-to-noise ratio 설명을 제공한다. 입력 내 reward variance $\\mathrm{Var}(R \\mid X)$가 낮으면 task gradient가 약해지고 input-agnostic regularizer(KL, entropy)가 지배하게 되어 입력 간 차이가 평탄화된다. 마지막으로 우리는 high-signal update를 우선시하는 reward-variance-aware filtering을 제안한다. multi-turn environment, model scale, modality(VLM 포함) 전반에서 이는 입력 의존성, 안정성, 성능을 향상시키면서도 state-of-the-art stabilization baseline과 경쟁력 있는 수준을 유지한다."},{"id":"63669","en":"When Is Rank-1 Enough? Geometry-Guided Initialization for Parameter-Efficient Fine-Tuning","ko":"언제 rank-1이면 충분한가? 파라미터 효율적 fine-tuning을 위한 기하학 유도 초기화","authors":"Haoran Zhao, Caren Han, Eduard Hovy","pos":"#2610","link":"https://openreview.net/forum?id=Umu6IsAUbS","abs":"Parameter-efficient fine-tuning (PEFT) is a standard way to adapt multimodal large language models, yet extremely low-rank settings---especially rank-1 LoRA---are often unstable. We show that this instability is not solely due to limited capacity: in the rank-1 regime, optimization is highly sensitive to the update direction. Concretely, pretrained vision and text features form mismatched anisotropic regions, yielding a dominant \"gap\" direction that acts like a translation component and disproportionately steers early gradients under rank-1 constraints. Analyzing pretrained representations, we identify a modality-gap axis that dominates early gradient flow, while a random rank-1 initialization is unlikely to align with it, leading to weak gradients and training collapse. We propose Gap-Init, a geometry-aware initialization that aligns the rank-1 LoRA direction with an estimated modality-gap vector from a small calibration set, while keeping the initial LoRA update zero. Across multiple vision-language tasks and backbones, Gap-Init consistently stabilizes rank-1 training and can match or outperform strong rank-8 baselines. Our results suggest that at the extreme low-rank limit, initial alignment can matter as much as rank itself.
","absKo":"Parameter-efficient fine-tuning(PEFT)은 multimodal large language model을 적응시키는 표준적인 방법이지만, 매우 낮은 rank 설정, 특히 rank-1 LoRA는 종종 불안정하다. 우리는 이러한 불안정성이 단지 제한된 capacity 때문만은 아님을 보인다. rank-1 regime에서는 optimization이 update 방향에 매우 민감하다. 구체적으로, 사전학습된 vision과 text feature는 서로 맞지 않는 anisotropic region을 형성하며, translation component처럼 작동하고 rank-1 제약 하에서 초기 gradient를 불균형하게 유도하는 지배적인 \"gap\" 방향을 만들어낸다. 사전학습된 representation을 분석한 결과, 우리는 초기 gradient flow를 지배하는 modality-gap axis를 식별했으며, random한 rank-1 initialization은 이 축과 정렬될 가능성이 낮아 약한 gradient와 training collapse로 이어짐을 보였다. 우리는 작은 calibration set에서 추정한 modality-gap vector와 rank-1 LoRA 방향을 정렬하면서 초기 LoRA update는 0으로 유지하는 geometry-aware initialization인 Gap-Init을 제안한다. 여러 vision-language task와 backbone 전반에서, Gap-Init은 rank-1 training을 일관되게 안정화하고 강력한 rank-8 baseline과 맞먹거나 이를 능가할 수 있다. 우리의 결과는 극단적인 low-rank 한계에서 초기 정렬이 rank 자체만큼 중요할 수 있음을 시사한다.
"},{"id":"64646","en":"Mitigating Hallucinations in Large Vision-Language Models via Causal Route Gating","ko":"Causal Route Gating을 통한 대규모 Vision-Language 모델에서의 Hallucination 완화","authors":"Zhe Cheng, Wenyu Chen, Fode Zhang, Dehuan Shen","pos":"#2702","link":"https://openreview.net/forum?id=LIcj73RLX6","abs":"Large vision-language models (LVLMs) often hallucinate content that is fluent yet unsupported by the image, limiting their reliability in real-world deployment. We show that a key failure mode arises from route competition: even when visual tokens receive attention, the final token decision can be dominated by the textual pathway, causing the decoder to follow linguistic priors over visual evidence. To mitigate this, we propose a training-free, decision-aligned intervention that decomposes each attention head into a visual route and a text route, and estimates their token-level effects using an efficient one-forward/one-gradient approximation. These estimates reveal route conflict within heads and identify prior-dominant ones, enabling selective suppression of only the text route while keeping the visual route intact. Across five benchmarks spanning discriminative and generative settings, our method consistently reduces hallucination-related errors across models with limited impact on overall multimodal performance, while incurring a modest inference-time overhead.
","absKo":"Large vision-language models (LVLMs)는 이미지로는 뒷받침되지 않지만 유창한 내용을 자주 hallucinate하여, 실제 배포 환경에서의 신뢰성을 제한한다. 우리는 핵심 실패 모드가 route competition에서 비롯됨을 보인다. 즉, visual token이 attention을 받더라도 최종 token 결정은 textual pathway에 의해 지배될 수 있으며, 이로 인해 decoder가 visual evidence보다 linguistic prior를 따르게 된다. 이를 완화하기 위해 우리는 각 attention head를 visual route와 text route로 분해하고, 효율적인 one-forward/one-gradient approximation을 사용해 token 수준 효과를 추정하는 training-free, decision-aligned intervention을 제안한다. 이 추정치는 head 내부의 route conflict를 드러내고 prior-dominant head를 식별할 수 있게 하며, visual route는 그대로 유지한 채 text route만 선택적으로 억제할 수 있게 한다. 판별적 및 생성적 설정을 아우르는 다섯 개 benchmark 전반에서, 우리의 방법은 overall multimodal performance에 대한 영향은 제한적이면서도 모델 전반에 걸쳐 hallucination 관련 오류를 일관되게 줄였고, 추론 시에는 소폭의 overhead만 발생했다.
"},{"id":"62893","en":"Interpretable Discovery of One-parameter Subgroups: A Modular Framework for Elliptical, Hyperbolic, and Parabolic Symmetries","ko":"해석 가능한 1-parameter 부분군 발견: 타원, 쌍곡, 포물선 대칭을 위한 모듈형 프레임워크","authors":"Pavan Karjol, Vivek Kashyap, Rohan Venkatesh Kashyap, Prathosh AP","pos":"#2703","link":"https://openreview.net/forum?id=c8WxrEWQcx","abs":"We propose a modular, data-driven framework for jointly learning unknown functional mappings and discovering the underlying one-parameter symmetry subgroup governing the data. Unlike conventional geometric deep learning methods that assume known symmetries, our approach identifies the relevant continuous subgroup directly from data. We consider the broad class of one-parameter subgroups, which admit a canonical geometric classification into three regimes: elliptical, hyperbolic, and parabolic. Given an assumed regime, our framework instantiates a corresponding symmetry discovery architecture with invariant and equivariant representation layers structured according to the Lie algebra of the subgroup, and learns the exact generator parameters end-to-end from data. This yields models whose invariance or equivariance is guaranteed by construction and admits formal proofs, enabling symmetry to be explicitly traced to identifiable components of the architecture. The approach is applicable to one-parameter subgroups of a wide range of matrix Lie groups, including $SO(n)$, $SL(n)$, and the Lorentz group. Experiments on synthetic and real-world systems—including moment of inertia prediction, double-pendulum dynamics, and high-energy \\textit{Top Quark Tagging}—demonstrate accurate subgroup recovery and strong predictive performance across both compact and non-compact regimes.","absKo":"우리는 알려지지 않은 functional mapping을 공동으로 학습하고, 데이터의 underlying one-parameter symmetry subgroup를 발견하는 모듈식 data-driven framework를 제안한다. 알려진 대칭을 가정하는 기존 geometric deep learning method와 달리, 우리의 접근법은 관련된 continuous subgroup를 데이터로부터 직접 식별한다. 우리는 one-parameter subgroup의 광범위한 클래스를 고려하며, 이는 canonical geometric classification에 따라 elliptic, hyperbolic, parabolic의 세 regime으로 구분된다. 가정된 regime이 주어지면, 우리의 framework는 subgroup의 Lie algebra에 따라 구성된 invariant 및 equivariant representation layer를 갖는 대응 symmetry discovery architecture를 구현하고, exact generator parameter를 data로부터 end-to-end로 학습한다. 이를 통해 construction상 invariance 또는 equivariance가 보장되는 model을 얻으며 형식적 증명도 가능하다. 또한 symmetry를 architecture의 식별 가능한 component로 명시적으로 추적할 수 있게 된다. 이 접근법은 $SO(n)$, $SL(n)$, Lorentz group을 포함한 다양한 matrix Lie group의 one-parameter subgroup에 적용 가능하다. 관성 모멘트 예측, double-pendulum dynamics, high-energy \\textit{Top Quark Tagging}을 포함한 synthetic 및 real-world system 실험은, compact regime와 non-compact regime 모두에서 정확한 subgroup recovery와 강한 예측 성능을 보여준다."},{"id":"60959","en":"Hierarchical Procedural Meta-Reasoning for Generalizable Multimodal Agents","ko":"일반화 가능한 Multimodal Agent를 위한 계층적 Procedural Meta-Reasoning","authors":"Yao Fu, Shengyi Qian, Pierluca D'Oro, Fanyi Xiao, Honglak Lee, Joseph Tighe, Manchen Wang","pos":"#2704","link":"https://openreview.net/forum?id=v2H2vzRqcr","abs":"While multimodal agents can achieve strong performance through fine-tuning, their ability to generalize remains limited in complex real-world tasks such as mobile navigation, where diverse applications, frequent system changes, and customized workflows are common in practice. We argue that a fundamental bottleneck lies in whether an agent possesses sufficient task-specific procedural knowledge to accomplish a given goal. Such procedural knowledge may be provided by the general capabilities of large language models, or obtained from additional external resources such as web search when necessary. Based on this view, we propose Procedure-Aware Multimodal Agent with Meta Reasoning, a framework that explicitly represents task knowledge as natural-language procedures and trains a procedure-aware grounded agent to condition its actions on this knowledge. By learning to leverage procedural knowledge from different sources, our approach enables robust generalization across tasks, applications, interface versions, and multi-app workflows, achieving substantial improvements on challenging Android benchmarks.
","absKo":"multimodal agent는 fine-tuning을 통해 강력한 성능을 달성할 수 있지만, mobile navigation과 같이 실제 환경에서 다양한 application, 잦은 system 변화, 맞춤형 workflow가 공존하는 복잡한 작업에서는 일반화 능력이 여전히 제한적이다. 우리는 이러한 근본적인 병목이 agent가 주어진 목표를 달성하는 데 충분한 task-specific procedural knowledge를 보유하고 있는지에 있다고 본다. 이러한 procedural knowledge는 large language model의 일반적 능력으로 제공될 수도 있고, 필요할 때는 web search와 같은 추가 외부 자원으로부터 얻을 수도 있다. 이러한 관점에 기반하여, 우리는 task knowledge를 자연어 procedure로 명시적으로 표현하고 procedure-aware grounded agent가 이 지식에 조건화된 행동을 학습하도록 하는 Procedure-Aware Multimodal Agent with Meta Reasoning 프레임워크를 제안한다. 서로 다른 출처의 procedural knowledge를 활용하는 법을 학습함으로써, 우리의 접근법은 task, application, interface version, multi-app workflow 전반에 걸쳐 강건한 일반화를 가능하게 하며, 도전적인 Android benchmark들에서 상당한 성능 향상을 달성한다.
"},{"id":"64463","en":"GePBench: Evaluating Fundamental Geometric Perception for Multimodal Large Language Models","ko":"GePBench: 멀티모달 대형 언어 모델을 위한 기초 기하학적 인식 평가","authors":"Shangyu Xing, Changhao Xiang, Xinyu Liu, Zhangtai Wu, Zhen Wu, Yue YIfan, Yuteng Han, Fei Zhao, Xinyu Dai","pos":"#2706","link":"https://openreview.net/forum?id=NMn3qzg6hQ","abs":"Geometric shapes play important roles in both physical world and human cognition. While multimodal large language models (MLLMs) have made significant advancements in visual understanding, their abilities to recognize geometric shapes and their spatial relationships, which we term geometric perception, are not explicitly and systematically explored. To address this gap, we introduce GePBench, a novel benchmark specifically designed to assess the geometric perception capabilities of MLLMs. Our extensive evaluations reveal that even the current state-of-the-art MLLMs exhibit significant deficiencies in geometric perception tasks. Furthermore, we show that models trained with GePBench data demonstrate considerable improvements on a wide range of downstream tasks, highlighting the critical role of geometric perception in enabling advanced multimodal applications. Our code and datasets will be publicly available.
","absKo":"Geometric shape는 물리 세계와 인간 cognition 모두에서 중요한 역할을 한다. multimodal large language models(MLLMs)가 visual understanding에서 큰 발전을 이루었지만, geometric perception이라고 부르는 geometric shape와 그 spatial relationship을 인식하는 능력은 명시적이고 체계적으로 탐구되지 않았다. 이 공백을 메우기 위해, 우리는 MLLM의 geometric perception 능력을 평가하도록 특별히 설계된 새로운 benchmark인 GePBench를 소개한다. 우리의 광범위한 평가는 현재 state-of-the-art MLLM조차 geometric perception task에서 상당한 결함을 보인다는 사실을 드러낸다. 또한 GePBench data로 학습된 model이 다양한 downstream task에서 상당한 향상을 보임을 확인하여, 고급 multimodal application을 가능하게 하는 데 있어 geometric perception이 얼마나 중요한지 강조한다. 우리의 code와 dataset은 공개될 예정이다.
"},{"id":"62908","en":"From Noise to Intent: Anchoring Generative VLA Policies with Residual Bridges","ko":"잡음에서 의도로: Residual Bridges로 생성형 VLA 정책 고정","authors":"Yiming Zhong, Yaoyu He, Zemin Yang, Pengfei Tian, Yifan Huang, Qingqiu Huang, Xinge Zhu, Yuexin Ma","pos":"#2707","link":"https://openreview.net/forum?id=c0DDRZoMNf","abs":"Bridging high-level semantic understanding with low-level physical control remains a persistent challenge in embodied intelligence, stemming from the fundamental spatiotemporal scale mismatch between cognition and action. Existing generative policies typically adopt a \"Generation-from-Noise\" paradigm, which disregards this disparity, leading to representation inefficiency and optimization \"Loss Collapse\". In this work, we propose ResVLA, a novel architecture that shifts the paradigm to \"Refinement-from-Intent\". Recognizing that robotic motion naturally decomposes into global intent and local dynamics, ResVLA utilizes spectral analysis to decouple control into a deterministic low-frequency anchor and a stochastic high-frequency residual. By anchoring the generative process on the predicted intent, our model focuses strictly on refining local dynamics via a residual diffusion bridge. Extensive evaluations on LIBERO and the challenging LIBERO-Plus benchmarks demonstrate that ResVLA achieves state-of-the-art performance. Notably, our approach exhibits exceptional robustness against semantic drift and kinematic perturbations while achieving significantly faster convergence than standard generative baselines.
","absKo":"고수준 semantic understanding과 저수준 physical control을 연결하는 일은 embodied intelligence에서 지속적인 도전 과제이며, 이는 cognition과 action 사이의 근본적인 spatiotemporal scale mismatch에서 비롯된다. 기존 generative policy는 대개 \"Generation-from-Noise\" 패러다임을 채택하는데, 이는 이러한 차이를 무시해 representation inefficiency와 optimization \"Loss Collapse\"를 초래한다. 본 연구에서는 패러다임을 \"Refinement-from-Intent\"로 전환하는 새로운 architecture인 ResVLA를 제안한다. 로봇 motion이 자연스럽게 global intent와 local dynamics로 분해된다는 점에 주목하여, ResVLA는 spectral analysis를 활용해 control을 deterministic low-frequency anchor와 stochastic high-frequency residual로 분리한다. 예측된 intent에 generative process를 고정함으로써, 우리 모델은 residual diffusion bridge를 통해 local dynamics를 정교하게 다듬는 데만 집중한다. LIBERO와 까다로운 LIBERO-Plus benchmark에 대한 광범위한 평가에서 ResVLA는 state-of-the-art 성능을 달성한다. 특히, 본 방법은 semantic drift와 kinematic perturbation에 대해 뛰어난 견고성을 보이면서도 표준 generative baseline보다 훨씬 빠른 수렴을 달성한다.
"},{"id":"63585","en":"BioToken and BioFM – Biologically-Informed Tokenization Enables Accurate and Efficient Genomic Foundation Models","ko":"BioToken과 BioFM: 생물학적 정보 기반 토크나이제이션으로 정확하고 효율적인 유전체 파운데이션 모델 구현","authors":"Aleksandr Medvedev, Karthik Viswanathan, Praveenkumar Kanithi, Kirill Vishniakov, Prateek Munjal, Clement Christophe, Tiago Magalhaes, Marco Pimentel, Ronnie Rajan, SHADAB KHAN","pos":"#2709","link":"https://openreview.net/forum?id=Vmt2iPfH5z","abs":"Existing genomic foundation models (GFMs) typically treat DNA as raw nucleotide sequences, often overlooking the regulatory context required to interpret genetic variation accurately. We introduce BioToken, a tokenization framework that directly encodes variants and biological annotations into genomic representations, and BioFM, a parameter-efficient model built on this architecture. By leveraging biological inductive biases, BioFM outperforms state-of-the-art models and specialized baselines like Enformer on benchmarks including pathogenicity and expression prediction while requiring 100-fold less compute than current large-scale genomic models. These findings demonstrate that explicitly modeling biological structure yields more robust and efficient genomic representations than scaling alone.
","absKo":"기존 genomic foundation model(GFM)은 대체로 DNA를 원시 nucleotide sequence로 다루며, 유전 변이를 정확하게 해석하는 데 필요한 regulatory context를 종종 간과한다. 우리는 variant와 biological annotation을 genomic representation에 직접 인코딩하는 tokenization framework인 BioToken과, 이 architecture 위에 구축된 parameter-efficient model인 BioFM을 제안한다. biological inductive bias를 활용함으로써 BioFM은 pathogenicity와 expression prediction을 포함한 benchmark에서 Enformer와 같은 specialized baseline 및 state-of-the-art model을 능가하면서도, 현재의 대규모 genomic model보다 100배 적은 compute만을 요구한다. 이러한 결과는 biological structure를 명시적으로 모델링하는 것이 단순한 scaling보다 더 견고하고 효율적인 genomic representation을 만든다는 점을 보여준다.
"},{"id":"61499","en":"Balancing Understanding and Generation in Discrete Diffusion Models","ko":"Discrete Diffusion Models에서 이해와 생성의 균형","authors":"Yue Liu, Yuzhong Zhao, Zheyong Xie, Qixiang Ye, Jianbin Jiao, Yao Hu, Shaosheng Cao, Liu","pos":"#2710","link":"https://openreview.net/forum?id=pZNo1YWT5x","abs":"In discrete generative modeling, two dominant paradigms demonstrate divergent capabilities: Masked Diffusion Language Models (MDLM) excel at semantic understanding and zero-shot generalization, whereas Uniform-noise Diffusion Language Models (UDLM) achieve strong few-step generation quality, yet neither attains balanced performance across both dimensions. To address this, we propose XDLM, which bridges the two paradigms via a stationary noise kernel. XDLM offers two key contributions: (1) it provides a principled theoretical unification of MDLM and UDLM, recovering each paradigm as a special case; and (2) an alleviated memory bottleneck enabled by an algebraic simplification of the posterior probabilities. Experiments demonstrate that XDLM advances the Pareto frontier between understanding capability and generation quality. Quantitatively, XDLM surpasses UDLM by 5.4 points on zero-shot text benchmarks and outperforms MDLM in few-step image generation (FID 54.1 vs. 80.8). When scaled to tune an 8B-parameter large language model, XDLM achieves 15.0 MBPP in just 32 steps, effectively doubling the baseline performance. Finally, analysis of training dynamics reveals XDLM’s superior potential for long-term scaling.
","absKo":"이산 generative modeling에서, 두 지배적인 패러다임은 서로 다른 능력을 보인다. Masked Diffusion Language Models(MDLM)는 semantic understanding과 zero-shot generalization에 뛰어난 반면, Uniform-noise Diffusion Language Models(UDLM)은 강한 few-step generation quality를 달성하지만, 두 축 모두에서 균형 잡힌 성능을 얻지는 못한다. 이를 해결하기 위해 우리는 stationary noise kernel을 통해 두 패러다임을 연결하는 XDLM을 제안한다. XDLM은 두 가지 핵심 기여를 제공한다. (1) MDLM과 UDLM에 대한 원리적인 이론적 통합을 제시하여, 각 패러다임을 특수한 경우로 복원한다. (2) posterior probability의 대수적 단순화를 통해 memory bottleneck을 완화한다. 실험 결과는 XDLM이 understanding capability와 generation quality 사이의 Pareto frontier를 진전시킴을 보여준다. 정량적으로, XDLM은 zero-shot text benchmark에서 UDLM을 5.4점 상회하고, few-step image generation에서는 MDLM보다 우수한 성능을 보인다(FID 54.1 vs. 80.8). 8B-parameter large language model을 tune하도록 확장했을 때, XDLM은 단 32 step 만에 15.0 MBPP를 달성하여 baseline 성능을 효과적으로 두 배로 끌어올린다. 마지막으로, training dynamics 분석은 장기적 scaling에 대한 XDLM의 더 우수한 잠재력을 드러낸다.
"},{"id":"60809","en":"Attentive Multi-Layer Fusion for Vision Transformers","ko":"Vision Transformer를 위한 주의 기반 다층 융합","authors":"Laure Ciernik, Marco Morik, Lukas Thede, Luca Eyring, Shinichi Nakajima, Zeynep Akata, Lukas Muttenthaler","pos":"#2711","link":"https://openreview.net/forum?id=wSXZtvqwoa","abs":"With the rise of large-scale foundation models, efficiently adapting them to downstream tasks remains a central challenge. Linear probing, which freezes the backbone and trains a lightweight head, is computationally efficient but often restricted to last-layer representations. We show that task-relevant information is distributed across the network hierarchy rather than solely encoded in any of the last layers. To leverage this distribution of information, we apply an attentive probing mechanism that dynamically fuses representations from all layers of a Vision Transformer. This attentive layer fusion (ALF) learns to identify the most relevant layers for a target task and combines low-level structural cues with high-level semantic abstractions. Across 20 diverse datasets and multiple pretrained foundation models, ALF achieves consistent, substantial gains over standard linear probes. Attention heatmaps further reveal that tasks different from the pre-training domain benefit most from intermediate representations. Overall, our findings underscore the value of intermediate-layers and demonstrate a principled, task-aware approach for unlocking their potential for probing-based adaptation.
","absKo":"대규모 foundation model의 부상과 함께, 이를 downstream task에 효율적으로 적응시키는 문제는 여전히 핵심 과제이다. backbone을 고정하고 가벼운 head만 학습하는 linear probing은 계산 효율적이지만, 종종 마지막 layer representation에만 제한된다. 우리는 task 관련 정보가 단지 마지막 몇 개의 layer에만 인코딩되는 것이 아니라 network hierarchy 전반에 분산되어 있음을 보인다. 이 분산된 정보를 활용하기 위해, 우리는 Vision Transformer의 모든 layer에서 나온 representation을 동적으로 융합하는 attentive probing mechanism을 적용한다. 이러한 attentive layer fusion (ALF)은 목표 task에 가장 관련 있는 layer를 식별하고, 저수준의 구조적 단서와 고수준의 의미적 추상화를 결합하도록 학습한다. 20개의 다양한 dataset과 여러 pre-trained foundation model 전반에서 ALF는 표준 linear probe보다 일관되고 상당한 성능 향상을 달성한다. attention heatmap은 또한 pre-training domain과 다른 task일수록 intermediate representation의 이점을 가장 크게 받는다는 점을 드러낸다. 전반적으로, 우리의 결과는 intermediate layer의 가치를 강조하며, probing-based adaptation을 위해 그 잠재력을 끌어내는 원칙적이고 task-aware한 접근법을 보여준다.
"},{"id":"68814","en":"Prompt Estimation from Prototypes for Federated Prompt Tuning of Vision Transformers","ko":"Vision Transformer의 Federated Prompt Tuning을 위한 Prototype 기반 Prompt 추정","authors":"Yashwanth Mandula, Sharannya Ghosh, Aditay Tripathi, Anirban Chakraborty","pos":"#3704","abs":"Visual Prompt Tuning (VPT) of pre-trained Vision Transformers (ViTs) has proven highly effective as a parameter-efficient fine-tuning technique for adapting large models to downstream tasks with limited data. Its parameter efficiency makes it particularly suitable for Federated Learning (FL), where both communication and computation budgets are often constrained. However, global prompt tuning struggles to generalize across heterogeneous clients, while personalized tuning overfits to local data and lacks generalization. We propose PEP-FedPT (Prompt Estimation from Prototypes for Federated Prompt Tuning), a unified framework designed to achieve both generalization and personalization in federated prompt tuning of ViTs. Within this framework, we introduce the novel Class-Contextualized Mixed Prompt (CCMP) — based on class-specific prompts maintained alongside a globally shared prompt. For each input, CCMP adaptively combines class-specific prompts using weights derived from global class prototypes and client class priors. This approach enables per-sample prompt personalization without storing client-dependent trainable parameters. The prompts are collaboratively optimized via traditional federated averaging technique on the same. Comprehensive evaluations on CIFAR-100, TinyImageNet, DomainNet, and iNaturalist datasets demonstrate that PEP-FedPT consistently surpasses the state-of-the-art baselines under diverse data heterogeneity scenarios, establishing a strong foundation for efficient and generalizable federated prompt tuning of Vision Transformers.
","absKo":"pre-trained Vision Transformer(ViT)의 Visual Prompt Tuning(VPT)은 적은 데이터로 large model을 downstream task에 적응시키는 parameter-efficient fine-tuning 기법으로서 매우 효과적인 것으로 입증되었다. 이러한 parameter efficiency는 communication과 computation budget이 모두 제한되는 Federated Learning(FL)에 특히 적합하다. 그러나 global prompt tuning은 heterogeneous client 전반에서 일반화에 어려움을 겪는 반면, personalized tuning은 local data에 과적합되어 일반화가 부족하다. 우리는 ViT의 federated prompt tuning에서 generalization과 personalization을 모두 달성하도록 설계된 통합 framework인 PEP-FedPT(Prompt Estimation from Prototypes for Federated Prompt Tuning)를 제안한다. 이 framework 안에서 우리는 global shared prompt와 함께 유지되는 class-specific prompt를 기반으로 한 새로운 Class-Contextualized Mixed Prompt(CCMP)를 도입한다. 각 input에 대해 CCMP는 global class prototype과 client class prior에서 도출된 weight를 사용해 class-specific prompt를 적응적으로 결합한다. 이 접근은 client-dependent trainable parameter를 저장하지 않고도 sample별 prompt personalization을 가능하게 한다. prompt는 동일한 설정에서 전통적인 federated averaging technique를 통해 협력적으로 최적화된다. CIFAR-100, TinyImageNet, DomainNet, iNaturalist dataset에 대한 종합 평가 결과, PEP-FedPT는 다양한 data heterogeneity scenario에서 state-of-the-art baseline을 일관되게 능가하며, Vision Transformer를 위한 효율적이고 일반화 가능한 federated prompt tuning의 강력한 기반을 확립한다.
"},{"id":"64073","en":"Think-Then-Generate: Reasoning-Aware Text-to-Image Diffusion with LLM Encoders","ko":"생각한 뒤 생성하기: LLM 인코더를 활용한 추론 인식 Text-to-Image Diffusion","authors":"Siqi Kou, Jiachun Jin, Jiayin Chen, Ye Ma, Yugang Wang, Quan Chen, Peng Jiang, Xiao Yang, Jun Zhu, Kai Yu, Zhijie Deng","pos":"#3906","link":"https://openreview.net/forum?id=RAULvuDNNP","abs":"Recent progress in text-to-image (T2I) diffusion models (DMs) has enabled high-quality visual synthesis from diverse textual prompts. Yet, most existing T2I DMs, even those equipped with large language model (LLM)-based text encoders, remain text-pixel mappers -- they employ LLMs merely as text encoders, without leveraging their inherent reasoning capabilities to infer what should be visually depicted given the textual prompt. To move beyond such literal generation, we propose the think-then-generate (T2G) paradigm, where the LLM-based text encoder is encouraged to reason about and rewrite raw user prompts; the states of the rewritten prompts then serve as diffusion conditioning. To achieve this, we first activate the think-then-rewrite pattern of the LLM encoder with a lightweight supervised fine-tuning process. Subsequently, the LLM encoder and diffusion backbone are co-optimized to ensure faithful reasoning about the context and accurate rendering of the semantics via Dual-GRPO. In particular, the text encoder is reinforced using image-grounded rewards to infer and recall world knowledge, while the diffusion backbone is pushed to produce semantically consistent and visually coherent images. Experiments show substantial improvements in factual consistency, semantic alignment, and visual realism across reasoning-based image generation and editing benchmarks, achieving 0.79 on WISE score, nearly on par with GPT-4. Our results constitute a promising step toward next-generation unified models with reasoning, expression, and demonstration capacities.
","absKo":"최근 text-to-image (T2I) diffusion models (DMs)의 발전은 다양한 텍스트 프롬프트로부터 고품질 시각 합성을 가능하게 했다. 그러나 large language model (LLM)-기반 text encoder를 갖춘 기존의 대부분 T2I DMs조차도 여전히 text-pixel mapper에 머문다. 즉, LLM을 텍스트 encoder로만 사용할 뿐, 텍스트 프롬프트가 주어졌을 때 무엇이 시각적으로 묘사되어야 하는지 추론하는 고유한 reasoning 능력은 활용하지 않는다. 이러한 문자 그대로의 생성 방식을 넘어가기 위해, 우리는 think-then-generate (T2G) 패러다임을 제안한다. 이 패러다임에서는 LLM 기반 text encoder가 사용자의 raw prompt를 추론하고 다시 쓰도록 유도되며, 이렇게 다시 작성된 prompt의 상태가 diffusion conditioning으로 사용된다. 이를 위해 먼저 가벼운 supervised fine-tuning 과정을 통해 LLM encoder의 think-then-rewrite 패턴을 활성화한다. 이후 LLM encoder와 diffusion backbone을 Dual-GRPO로 공동 최적화하여, context에 대한 충실한 추론과 의미의 정확한 렌더링을 보장한다. 특히 text encoder는 image-grounded reward를 통해 world knowledge를 추론하고 회상하도록 강화되며, diffusion backbone은 의미적으로 일관되고 시각적으로도 자연스러운 이미지를 생성하도록 유도된다. 실험 결과는 reasoning 기반 image generation 및 editing benchmark 전반에서 사실적 일관성, 의미 정렬, 시각적 사실성 측면의 상당한 향상을 보였으며, WISE score에서 0.79를 달성해 GPT-4와 거의 대등한 수준에 도달했다. 우리의 결과는 reasoning, expression, demonstration 능력을 갖춘 차세대 통합 모델을 향한 유망한 한 걸음이다.
"},{"id":"63197","en":"Foundation Inference Models for Ordinary Differential Equations","ko":"상미분방정식을 위한 Foundation 추론 모델","authors":"Maximilian Mauel, Johannes Hübers, David Berghaus, Patrick Seifner, Ramses J Sanchez","pos":"#415","link":"https://openreview.net/forum?id=ZBHDZDaG0h","abs":"Ordinary differential equations (ODEs) are central to scientific modelling, but inferring their vector fields from noisy trajectories remains challenging. Current approaches such as symbolic regression, Gaussian process (GP) regression, and Neural ODEs often require complex training pipelines and substantial machine learning expertise, or they depend strongly on system-specific prior knowledge. We propose FIM-ODE, a pretrained Foundation Inference Model that amortises ODE inference by predicting the vector field directly from noisy trajectory data in a single forward pass. We pretrain FIM-ODE on a prior distribution over ODEs with low-degree polynomial vector fields and represent the target field with neural operators. FIM-ODE achieves strong zero-shot performance, matching and often improving upon ODEFormer, a recent pretrained symbolic baseline, across a range of regimes despite using a simpler training prior. Pretraining also provides a strong initialisation for finetuning, enabling fast and stable adaptation that outperforms modern neural and GP baselines without requiring machine learning expertise. We release pretrained weights with the supplementary material.
","absKo":"ordinary differential equation(ODE)는 과학적 모델링의 핵심이지만, noisy trajectory로부터 vector field를 추정하는 것은 여전히 어렵다. symbolic regression, Gaussian process(GP) regression, Neural ODE와 같은 현재 방법들은 복잡한 training pipeline과 상당한 machine learning 전문성을 요구하거나, 시스템별 prior knowledge에 크게 의존한다. 우리는 noisy trajectory data로부터 단일 forward pass에서 vector field를 직접 예측하여 ODE inference를 amortise하는 pretrained Foundation Inference Model인 FIM-ODE를 제안한다. 우리는 저차 polynomial vector field를 갖는 ODE에 대한 prior distribution 위에서 FIM-ODE를 pretraining하고, target field를 neural operator로 표현한다. FIM-ODE는 더 단순한 training prior를 사용함에도 불구하고 최근의 pretrained symbolic baseline인 ODEFormer와 비슷하거나 종종 더 나은 강력한 zero-shot 성능을 다양한 regime에서 달성한다. Pretraining은 finetuning을 위한 강력한 initialization도 제공하여, machine learning 전문성 없이도 현대 neural 및 GP baseline을 능가하는 빠르고 안정적인 adaptation을 가능하게 한다. 우리는 supplementary material과 함께 pretrained weight를 공개한다.
"},{"id":"65570","en":"Preconditioning Neural Tangent Kernel for Adaptive Optimization","ko":"적응형 최적화를 위한 Neural Tangent Kernel 사전조건화","authors":"Xiyuan Yang, Wenxuan Bao, Katherine Tieu, Jingrui He","pos":"#4615","link":"https://openreview.net/forum?id=CKzW9g2x3g","abs":"The Neural Tangent Kernel is a theoretical framework for understanding the training dynamics of neural networks. However, standard NTK and its variants fail to properly depict the finetuning of foundation models, as they neglect the preconditioning effects of adaptive gradients. To bridge this gap, we propose the Optimizer Aware Kernel (OAK), which incorporates the optimizer's influence into standard NTK framework by a preconditioner estimation technique. Furthermore, we conduct an analysis to answer: when and why kernel regime fails in finetuning. We derive explicit error bounds showing that the collapse of kernel regime is primarily due to the cumulative training effects and the task discrepancy between pretraining and finetuning. Theoretically, we justify OAK's preconditioner estimation by bounding its error term. Empirically, experiments on various model architectures show both the effectiveness of the OAK method and validity of our arguments on kernel regime collapse.
","absKo":"Neural Tangent Kernel은 neural network의 training dynamics를 이해하기 위한 이론적 framework이다. 그러나 표준 NTK와 그 변형들은 adaptive gradient의 preconditioning 효과를 무시하기 때문에 foundation model의 finetuning을 적절히 묘사하지 못한다. 이 간극을 메우기 위해, 우리는 preconditioner estimation technique을 통해 optimizer의 영향을 표준 NTK framework에 통합한 Optimizer Aware Kernel (OAK)을 제안한다. 더 나아가 우리는 kernel regime이 언제, 그리고 왜 finetuning에서 실패하는지에 대한 분석을 수행한다. 우리는 kernel regime의 붕괴가 주로 누적되는 training effect와 pretraining과 finetuning 사이의 task discrepancy 때문임을 보여주는 명시적 error bound를 유도한다. 이론적으로는 OAK의 preconditioner estimation을 그 error term을 bounded함으로써 정당화한다. 실증적으로는 다양한 model architecture에 대한 실험을 통해 OAK method의 효과와 kernel regime 붕괴에 대한 우리의 주장의 타당성을 모두 확인한다.
"},{"id":"66037","en":"DiffStyle3D: Consistent 3D Gaussian Stylization via Attention Optimization","ko":"DiffStyle3D: Attention 최적화를 통한 일관된 3D Gaussian 스타일화","authors":"Yitong Yang, Xuexin Liu, Yinglin Wang, Jing Wang, Hao Dou, Changshuo Wang, Shuting He","pos":"#1006","link":"https://openreview.net/forum?id=7gIbZL9jwE","abs":"3D style transfer enables the creation of visually expressive 3D content, enriching the visual appearance of 3D scenes and objects. However, existing VGG- and CLIP-based methods struggle to model multi-view consistency within the model itself, while diffusion-based approaches can capture such consistency but rely on denoising directions, leading to unstable training. To address these limitations, we propose DiffStyle3D, a novel diffusion-based paradigm for 3DGS style transfer that directly optimizes in the latent space. Specifically, we introduce an Attention-Aware Loss that performs style transfer by aligning style features in the self-attention space, while preserving original content through content feature alignment. Inspired by the geometric invariance of 3D stylization, we propose a Geometry-Guided Multi-View Consistency method that integrates geometric information into self-attention to enable cross-view correspondence modeling. Based on geometric information, we additionally construct a geometry-aware mask to prevent redundant optimization in overlapping regions across views, which further improves multi-view consistency. Extensive experiments show that DiffStyle3D outperforms state-of-the-art methods, achieving higher stylization quality and visual realism.
","absKo":"3D style transfer는 시각적으로 표현력 있는 3D content를 생성하게 해 주며, 3D scene과 object의 visual appearance를 풍부하게 만든다. 그러나 기존의 VGG- 및 CLIP-based method는 모델 내부에서 multi-view consistency를 모델링하는 데 어려움을 겪는 반면, diffusion-based approach는 이러한 consistency를 포착할 수 있지만 denoising direction에 의존하므로 training이 불안정해진다. 이러한 한계를 해결하기 위해, 우리는 latent space에서 직접 최적화하는 3DGS style transfer를 위한 새로운 diffusion-based paradigm인 DiffStyle3D를 제안한다. 구체적으로, 우리는 style feature를 self-attention space에서 정렬하여 style transfer를 수행하는 동시에 content feature alignment를 통해 원래 content를 보존하는 Attention-Aware Loss를 도입한다. 3D stylization의 geometric invariance에서 영감을 받아, 우리는 geometric information을 self-attention에 통합하여 cross-view correspondence modeling을 가능하게 하는 Geometry-Guided Multi-View Consistency method를 제안한다. 또한 geometric information을 바탕으로 overlapping region에서의 중복 최적화를 방지하는 geometry-aware mask를 구성하여 multi-view consistency를 더욱 향상시킨다. 광범위한 실험은 DiffStyle3D가 state-of-the-art method를 능가하며 더 높은 stylization quality와 visual realism을 달성함을 보여준다."},{"id":"66353","en":"Rethinking Visual Autoregressive Sampling with Information-Grounding Guidance","ko":"정보 접지 가이드를 통한 시각 자기회귀 샘플링 재고","authors":"Ky Dan Nguyen, Hoang Lam Tran, Anh-Dung Dinh, Daochang Liu, Weidong Cai, Xiuying Wang, Chang Xu","pos":"#2401","link":"https://openreview.net/forum?id=4PL5wouooK","abs":"Autoregressive (AR) models based on next-scale prediction are rapidly emerging as a powerful tool for image generation, but they face a critical weakness: information inconsistencies between patches across timesteps introduced by progressive resolution scaling. These inconsistencies scatter guidance signals, causing them to drift away from conditioning information and leaving behind ambiguous, unfaithful features. We tackle this challenge with Information-Grounding Guidance (IGG), a novel mechanism that anchors guidance to semantically important regions through attention. By adaptively reinforcing informative patches during sampling, IGG ensures that guidance and content remain tightly aligned. Across both class-conditioned and text-to-image generation tasks, IGG delivers sharper, more coherent, and semantically grounded images, setting a new benchmark for AR-based methods.
","absKo":"다음-scale prediction에 기반한 autoregressive (AR) models는 image generation을 위한 강력한 도구로 빠르게 부상하고 있지만, progressive resolution scaling으로 인해 timestep 간 patch 간 정보 불일치가 발생한다는 치명적인 약점을 지닌다. 이러한 불일치는 guidance signal을 흩뜨려 conditioning information에서 벗어나게 만들고, 모호하고 비충실한 feature를 남긴다. 우리는 이 문제를 attention을 통해 guidance를 의미적으로 중요한 region에 고정하는 새로운 메커니즘인 Information-Grounding Guidance (IGG)로 해결한다. IGG는 sampling 동안 informative patch를 적응적으로 강화함으로써 guidance와 content가 긴밀하게 정렬되도록 보장한다. class-conditioned와 text-to-image generation task 모두에서 IGG는 더 선명하고, 더 일관되며, 의미적으로 더 잘 grounded된 이미지를 제공하여 AR-based methods의 새로운 benchmark를 제시한다.
"},{"id":"65411","en":"Training-Free Rate-Distortion-Perception Traversal With Diffusion","ko":"Diffusion을 이용한 학습 없는 Rate-Distortion-Perception 순회","authors":"Yuhan Wang, Suzhi Bi, Angela Yingjun Zhang","pos":"#2405","link":"https://openreview.net/forum?id=DwtVUwEwTF","abs":"The rate-distortion-perception (RDP) tradeoff characterizes the fundamental limits of lossy compression by jointly considering bitrate, reconstruction fidelity, and perceptual quality. While recent neural compression methods have improved perceptual performance, they typically operate at fixed points on the RDP surface, requiring retraining to target different tradeoffs. In this work, we propose a training-free framework that leverages pre-trained diffusion models to traverse the entire RDP surface. Our approach integrates a reverse channel coding (RCC) module with a novel score-scaled probability flow ODE decoder. We theoretically prove that the proposed diffusion decoder is optimal for the distortion-perception tradeoff under AWGN observations and that the overall framework with the RCC module achieves the optimal RDP function in the Gaussian case. Empirical results across multiple datasets demonstrate the framework's flexibility and effectiveness in navigating the ternary RDP tradeoff using pre-trained diffusion models. Our results establish a practical and theoretically grounded approach to adaptive, perception-aware compression.
","absKo":"Rate-distortion-perception(RDP) tradeoff는 bitrate, reconstruction fidelity, perceptual quality를 함께 고려하여 lossy compression의 근본 한계를 특징짓는다. 최근의 neural compression 방법들은 perceptual 성능을 향상시켰지만, 대개 RDP surface의 고정된 지점에서 동작하므로 서로 다른 tradeoff를 목표로 하려면 재학습이 필요하다. 본 연구에서는 pre-trained diffusion model을 활용하여 전체 RDP surface를 탐색하는 training-free framework를 제안한다. 우리의 접근법은 reverse channel coding(RCC) module과 새로운 score-scaled probability flow ODE decoder를 통합한다. 우리는 제안한 diffusion decoder가 AWGN observation 하에서 distortion-perception tradeoff에 대해 최적임을 이론적으로 증명하며, RCC module을 포함한 전체 framework가 Gaussian case에서 최적의 RDP function을 달성함을 보인다. 여러 dataset에 걸친 실험 결과는 pre-trained diffusion model을 사용해 ternary RDP tradeoff를 유연하고 효과적으로 탐색할 수 있음을 보여준다. 우리의 결과는 적응적이고 perception-aware한 compression을 위한 실용적이며 이론적으로 정당화된 접근을 확립한다."},{"id":"60533","en":"TransLight: Image-Guided Customized Lighting Control with Generative Decoupling","ko":"TransLight: Generative Decoupling을 활용한 Image-Guided Customized Lighting Control","authors":"Zongming Li, Lianghui Zhu, Haocheng Shen, Longjin Ran, Wenyu Liu, Xinggang Wang","pos":"#2407","link":"https://openreview.net/forum?id=zFw9qaYGXd","abs":"Most existing illumination-editing methods struggle to jointly offer customized lighting control and preserve content integrity, limiting their effectiveness especially in transferring complex light effects from a reference to a target image in portrait photography. To address this problem, we propose TransLight, a novel framework that enables high-fidelity and high-freedom transfer of light effects. Extracting light effects from the reference image is the most critical and challenging step, as real-world lighting contains complex geometric structures tightly coupled with image content. To achieve this, we propose Generative Decoupling, using two fine-tuned diffusion models to accurately separate image content and lighting, and create a new million-scale dataset of image–content–light triplets. We then adopt IC-Light as the generative model, training it on these triplets with the reference lighting image as an additional conditioning signal. The resulting model enables customized and natural transfer of diverse light effects. Notably, by fully disentangling light effects from reference images, our generative decoupling strategy gives TransLight highly flexible illumination control. Experiments show that TransLight successfully transfers structured lighting across diverse images in portrait photography, offering more customized control than existing methods and charting new directions in illumination harmonization and editing.
","absKo":"대부분의 기존 illumination-editing 방법은 맞춤형 조명 제어와 내용 보존을 동시에 제공하는 데 어려움을 겪으며, 특히 인물 사진에서 reference 이미지의 복잡한 light effect를 target 이미지로 옮길 때 그 효과가 제한된다. 이 문제를 해결하기 위해, 우리는 고충실도와 높은 자유도의 light effect transfer를 가능하게 하는 새로운 프레임워크인 TransLight를 제안한다. reference 이미지에서 light effect를 추출하는 것은 실제 조명이 이미지 내용과 강하게 결합된 복잡한 기하 구조를 포함하기 때문에 가장 중요하면서도 어려운 단계이다. 이를 위해 우리는 Generative Decoupling을 제안한다. 이는 두 개의 fine-tuned diffusion model을 사용하여 이미지 내용과 조명을 정확하게 분리하고, image–content–light triplet으로 이루어진 새로운 million-scale 데이터셋을 생성한다. 이후 우리는 IC-Light을 generative model로 채택하고, reference lighting image를 추가 조건 신호로 하여 이러한 triplet으로 학습한다. 그 결과 모델은 다양한 light effect의 맞춤형이고 자연스러운 transfer를 가능하게 한다. 특히, reference 이미지로부터 light effect를 완전히 disentangle함으로써, 우리의 generative decoupling 전략은 TransLight에 매우 유연한 illumination control을 부여한다. 실험 결과 TransLight는 인물 사진에서 다양한 이미지 전반에 걸쳐 structured lighting을 성공적으로 transfer하며, 기존 방법보다 더 맞춤형 제어를 제공하고 illumination harmonization 및 editing에 새로운 방향을 제시한다."},{"id":"66235","en":"ProtoVAR: Efficient Dataset Distillation via Prototype-Guided Visual Autoregressive Modeling","ko":"ProtoVAR: 프로토타입 유도 시각 자기회귀 모델링을 통한 효율적 데이터셋 증류","authors":"Mingyu Wang, Wei Jiang","pos":"#2501","link":"https://openreview.net/forum?id=5YvTHX0QS9","abs":"Recent advances in generative distillation have shown strong potential in constructing high quality surrogate datasets within a fraction of the time required by optimization-based approaches. However, most existing generative solutions rely on diffusion models, which suffer from two limitations. (i) Indirect matching objectives. Their sequential denoising process makes it difficult to directly match representative prototypes. (ii) Target-agnostic generation. The generation process is often decoupled from the target task, causing the synthesized samples to drift from the desired distribution. Building on this insight, We propose ProtoVAR, a prototype-guided visual autoregressive framework. Instead of relying on latent space, ProtoVAR uses the coarse-to-fine next-scale prediction of Visual AutoRegressive (VAR) modeling to maintain semantic consistency during generation. By injecting multi-scale class prototypes, ProtoVAR enforces clear representativeness constraints while preserving diversity. A pool-based selector further distills the prototype-guided outputs into a compact, task-aligned surrogate dataset. Extensive experiments show that ProtoVAR achieves state-of-the-art performance with comparable or lower computational cost than diffusion-based distillation.
","absKo":"최근 generative distillation의 발전은 optimization-based approach에 필요한 시간의 일부만으로 고품질 surrogate dataset을 구성하는 데 강한 잠재력을 보여주었다. 그러나 기존의 대부분의 generative solution은 diffusion model에 의존하는데, 이는 두 가지 한계를 가진다. (i) 간접적인 matching objective. 순차적 denoising 과정 때문에 대표적인 prototype과 직접 정합하기 어렵다. (ii) target-agnostic generation. 생성 과정이 종종 target task와 분리되어 있어, 합성된 sample이 원하는 분포에서 벗어나게 된다. 이러한 통찰에 기반하여 우리는 prototype-guided visual autoregressive framework인 ProtoVAR를 제안한다. ProtoVAR는 latent space에 의존하는 대신, Visual AutoRegressive (VAR) modeling의 coarse-to-fine next-scale prediction을 사용하여 생성 동안 semantic consistency를 유지한다. multi-scale class prototype을 주입함으로써 ProtoVAR는 다양성을 보존하면서도 명확한 representativeness constraint를 강제한다. pool-based selector는 이어서 prototype-guided output을 압축된 task-aligned surrogate dataset으로 distill한다. 광범위한 실험은 ProtoVAR가 diffusion-based distillation과 비슷하거나 더 낮은 computational cost로 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"66455","en":"One-Step Residual Shifting Diffusion for Image Super-Resolution via Distillation","ko":"증류를 통한 이미지 초해상도를 위한 One-Step Residual Shifting Diffusion","authors":"Daniil Selikhanovych, David Li, Aleksei Leonov, Nikita Gushchin, Sergei Kushneriuk, Alexander Filippov, Evgeny Burnaev, Iaroslav Koshelev, Aleksandr Korotin","pos":"#2504","link":"https://openreview.net/forum?id=3WTFzAFHr3","abs":"Diffusion models for super-resolution (SR) produce high-quality visual results but require expensive computational costs. Despite the development of several methods to accelerate diffusion-based SR models, some (e.g., SinSR) fail to produce realistic perceptual details, while others (e.g., OSEDiff) may hallucinate non-existent structures. To overcome these issues, we present RSD, a new distillation method for ResShift. Our method is based on training the student network to produce images such that a new fake ResShift model trained on them will coincide with the teacher model. RSD achieves single-step restoration and outperforms the teacher by a noticeable margin in various perceptual metrics (LPIPS, CLIPIQA, MUSIQ). We show that our distillation method can surpass SinSR, the other distillation-based method for ResShift, making it on par with state-of-the-art diffusion SR distillation methods with limited computational costs in terms of perceptual quality. Compared to SR methods based on pre-trained text-to-image models, RSD produces competitive perceptual quality and requires fewer parameters, GPU memory, and training cost. We provide experimental results on various real-world and synthetic datasets, including RealSR, RealSet65, DRealSR, ImageNet, and DIV2K.
","absKo":"Super-resolution (SR)을 위한 diffusion model은 고품질의 시각적 결과를 생성하지만, 계산 비용이 매우 크다. diffusion 기반 SR model을 가속하기 위한 여러 방법이 개발되었음에도, 일부(e.g., SinSR)는 현실적인 perceptual detail을 생성하지 못하고, 다른 일부(e.g., OSEDiff)는 존재하지 않는 structure를 환각(hallucinate)할 수 있다. 이러한 문제를 극복하기 위해, 우리는 ResShift를 위한 새로운 distillation method인 RSD를 제안한다. 우리의 방법은 student network가 이미지를 생성하도록 학습하되, 그 이미지로 학습된 새로운 fake ResShift model이 teacher model과 일치하도록 만드는 데 기반한다. RSD는 single-step restoration을 달성하며, 다양한 perceptual metric (LPIPS, CLIPIQA, MUSIQ)에서 teacher를 눈에 띄게 능가한다. 우리는 이 distillation method가 ResShift를 위한 다른 distillation-based method인 SinSR을 능가하여, perceptual quality 측면에서 제한된 계산 비용으로 state-of-the-art diffusion SR distillation method와 대등해질 수 있음을 보인다. pre-trained text-to-image model 기반 SR method와 비교해, RSD는 경쟁력 있는 perceptual quality를 제공하면서 더 적은 parameter, GPU memory, training cost를 요구한다. 우리는 RealSR, RealSet65, DRealSR, ImageNet, DIV2K를 포함한 다양한 real-world 및 synthetic dataset에서 실험 결과를 제시한다.
"},{"id":"63954","en":"NaviCache: Test-Time Self-Calibration Caching for Video Generation","ko":"NaviCache: video generation을 위한 test-time 자기 보정 캐싱","authors":"Zheqi Lv, Zhibo Zhu, Jinke Wang, Qi Tian, Shengyu Zhang, Zhengyu Chen, Chengxi Zang, Zhou Zhao, Fei Wu","pos":"#2506","link":"https://openreview.net/forum?id=SFiwuSvDhs","abs":"Video Diffusion Models (VDMs) is constrained by immense computational costs. While offline calibration-based acceleration suffers from calibration data dependency, prohibitive calibration duration, and susceptibility to distribution shifts, offline calibration-free methods eliminate these hurdles. However, since they rely on instantaneous zero-order approximations where the mapping between input and output differences varies in real-time, they are susceptible to observational noise and ignore the intrinsic momentum within the diffusion trajectory. In this paper, we propose NaviCache, a plug-and-play test-time self-calibration method re-conceptualizing feature evolution as an Inertial Navigation System (INS) problem. NaviCache bridges the fundamental domain gap and the non-stationary nature of diffusion by modeling the relative coupling between input and output variations. We introduce a dual-state estimation architecture that adaptively tracks the feature change ratio and its latent drift, initialized via a specialized Initial Alignment phase. By integrating a time-dependent noise schedule with an uncertainty-aware Measurement Update mechanism, NaviCache provides a theoretically grounded mechanism for error-bounded block skipping. Extensive experiments on the HunyuanVideo, Wan, and Open-Sora series demonstrate that NaviCache exhibits more accurate error judgment for block skipping and achieves outstanding comprehensive performance.
","absKo":"Video Diffusion Models (VDMs)는 막대한 computational cost로 인해 제약을 받는다. offline calibration 기반 acceleration은 calibration data 의존성, 과도한 calibration 시간, distribution shift에 대한 취약성으로 어려움을 겪는 반면, offline calibration-free 방법은 이러한 문제를 제거한다. 그러나 이 방법들은 input과 output difference 사이의 mapping이 실시간으로 변하는 순간적인 zero-order approximation에 의존하므로 observational noise에 취약하고 diffusion trajectory 내재된 momentum을 무시한다. 본 논문에서는 feature evolution을 Inertial Navigation System (INS) 문제로 재구성하는 plug-and-play test-time self-calibration 방법인 NaviCache를 제안한다. NaviCache는 input과 output variation 사이의 relative coupling을 모델링함으로써 fundamental domain gap과 diffusion의 non-stationary nature를 연결한다. 우리는 feature change ratio와 그 latent drift를 적응적으로 추적하는 dual-state estimation architecture를 도입하며, specialized Initial Alignment phase를 통해 초기화한다. 시간 의존적 noise schedule과 uncertainty-aware Measurement Update mechanism을 통합함으로써, NaviCache는 error-bounded block skipping을 위한 이론적으로 근거 있는 메커니즘을 제공한다. HunyuanVideo, Wan, Open-Sora series에 대한 광범위한 실험은 NaviCache가 block skipping에 대해 더 정확한 error judgment를 보이며 탁월한 종합 성능을 달성함을 보여준다.
"},{"id":"64709","en":"Motion-Aware Caching for Efficient Autoregressive Video Generation","ko":"효율적 Autoregressive 비디오 생성을 위한 Motion-Aware Caching","authors":"Jing Xu, Yuexiao Ma, Songwei Liu, Xuzhe Zheng, Shiwei Liu, Chenqian Yan, Xiawu Zheng, Rongrong Ji, Fei Chao, WANG","pos":"#2507","link":"https://openreview.net/forum?id=KeH65ZD3a0","abs":"Autoregressive video generation paradigms offer theoretical promise for long video synthesis, yet their practical deployment is hindered by the computational burden of sequential iterative denoising. While cache reuse strategies can accelerate generation by skipping redundant denoising steps, existing methods rely on coarse-grained chunk-level skipping that fails to capture fine-grained pixel dynamics. This oversight is critical: pixels with high motion require more denoising steps to prevent error accumulation, while static pixels tolerate aggressive skipping. We formalize this insight theoretically by linking cache errors to residual instability, and propose $\\textbf{MotionCache}$, a motion-aware cache framework that exploits inter-frame differences as a lightweight proxy for pixel-level motion characteristics. MotionCache employs a coarse-to-fine strategy: an initial warm-up phase establishes semantic coherence, followed by motion-weighted cache reuse that dynamically adjusts update frequencies per token. Extensive experiments on state-of-the-art models like SkyReels-V2 and MAGI-1 demonstrate that MotionCache achieves significant speedups of $\\textbf{6.28}\\times$ and $\\textbf{1.64}\\times$ respectively, while effectively preserving generation quality (VBench: 1%$\\downarrow$ and 0.01%$\\downarrow$ respectively). The code is available at https://anonymous.4open.science/r/MotionCache.","absKo":"Autoregressive video generation paradigm은 긴 video synthesis에 대한 이론적 가능성을 제공하지만, 순차적 iterative denoising의 계산 부담 때문에 실제 배치는 제약을 받는다. Cache reuse 전략은 중복 denoising step을 건너뛰어 생성을 가속할 수 있지만, 기존 방법은 세밀한 pixel dynamics를 포착하지 못하는 거친 chunk-level skipping에 의존한다. 이 간과는 치명적이다. motion이 큰 pixel은 error accumulation을 막기 위해 더 많은 denoising step이 필요하고, 정적인 pixel은 더 공격적인 skipping을 허용하기 때문이다. 우리는 cache error를 residual instability와 연결하여 이 통찰을 이론적으로 정식화하고, inter-frame difference를 pixel-level motion 특성의 가벼운 proxy로 활용하는 motion-aware cache framework인 $\\textbf{MotionCache}$를 제안한다. MotionCache는 coarse-to-fine 전략을 사용한다. 먼저 warm-up phase에서 semantic coherence를 확립한 뒤, motion-weighted cache reuse를 통해 token별 update frequency를 동적으로 조절한다. SkyReels-V2와 MAGI-1 같은 state-of-the-art model에 대한 광범위한 실험은 MotionCache가 각각 $\\textbf{6.28}\\times$와 $\\textbf{1.64}\\times$의 유의미한 속도 향상을 달성하면서도 생성 품질을 효과적으로 보존함(VBench: 각각 1%$\\downarrow$, 0.01%$\\downarrow$)을 보여준다. 코드는 https://anonymous.4open.science/r/MotionCache 에서 उपलब्ध하다."},{"id":"61867","en":"MIRO: MultI-Reward cOnditioned pretraining improves T2I quality and efficiency","ko":"MIRO: Multi-Reward Conditioned Pretraining으로 T2I 품질과 효율 향상","authors":"Nicolas Dufour, Lucas Degeorge, Arijit Ghosh, Vicky Kalogeiton, David Picard","pos":"#2508","link":"https://openreview.net/forum?id=mGCa0Jp7Hu","abs":"The default paradigm of post-training text-to-image generators includes post-hoc selection of generated images, and subsequent training with one reward model to align the generator to the reward, typically user preference. This discards informative data as well as optimizes only for a single reward, hence harming diversity, semantic fidelity and efficiency. Instead, we propose MIRO, a method that conditions the model on multiple rewards during training, thus letting the model learn user preferences directly. MIRO pre-training both improves the visual quality of the generated images and speeds up the training, achieving state of the art on the GenEval compositional benchmark and user-preference scores (PickAScore, ImageReward, HPSv2).
","absKo":"post-training text-to-image 생성기의 기본 패러다임에는 생성된 이미지를 post-hoc으로 선택한 뒤, 하나의 reward model로 추가 학습하여 generator를 reward, 보통은 user preference에 맞추는 과정이 포함됩니다. 이 방식은 유의미한 데이터를 버릴 뿐 아니라 단일 reward에 대해서만 최적화하므로 diversity, semantic fidelity, efficiency를 해칩니다. 대신 우리는 학습 중에 모델이 multiple rewards를 조건으로 받도록 하는 MIRO를 제안하며, 이를 통해 모델이 user preferences를 직접 학습하게 합니다. MIRO의 pre-training은 생성된 이미지의 visual quality를 향상시킬 뿐만 아니라 학습 속도도 높여, GenEval compositional benchmark와 user-preference score(PickAScore, ImageReward, HPSv2)에서 state of the art를 달성합니다.
"},{"id":"64428","en":"Light Forcing: Accelerating Autoregressive Video Diffusion via Sparse Attention","ko":"Light Forcing: 희소 어텐션을 통한 자기회귀 영상 Diffusion 가속","authors":"Chengtao Lv, Yumeng Shi, Yushi Huang, Ruihao Gong, Shen Ren, Wenya Wang","pos":"#2509","link":"https://openreview.net/forum?id=NixeX51WQA","abs":"Advanced autoregressive (AR) video generation models have improved visual fidelity and interactivity, but the quadratic complexity of attention remains a primary bottleneck for efficient deployment. While existing sparse attention solutions have shown promise on bidirectional models, we identify that applying these solutions to AR models leads to considerable performance degradation for two reasons: isolated consideration of chunk generation and insufficient utilization of past informative context. Motivated by these observations, we propose \\textsc{Light Forcing}, the \\textit{first} sparse attention solution tailored for AR video generation models. It incorporates a \\textit{Chunk-Aware Growth} mechanism to quantitatively estimate the contribution of each chunk, which determines their sparsity allocation. This progressive sparsity increase strategy enables the current chunk to inherit prior knowledge in earlier chunks during generation. Additionally, we introduce a \\textit{Hierarchical Sparse Attention} to capture informative historical and local context in a coarse-to-fine manner. Such two-level mask selection strategy (\\ie, frame and block level) can adaptively handle diverse attention patterns. Extensive experiments demonstrate that our method outperforms existing sparse attention in quality (\\eg, 84.5 on VBench) and efficiency (\\eg, $1.2\\sim1.3\\times$ end-to-end speedup). Combined with FP8 quantization and LightVAE, \\textsc{Light Forcing} further achieves a $2.3\\times$ speedup and 19.7\\,FPS on an RTX~5090 GPU.","absKo":"고급 autoregressive (AR) video generation model은 visual fidelity와 상호작용성을 향상시켰지만, attention의 quadratic complexity는 여전히 효율적인 배포를 가로막는 주요 병목이다. 기존의 sparse attention 해법들은 bidirectional model에서는 가능성을 보여 주었지만, 우리는 이러한 해법을 AR model에 적용하면 두 가지 이유로 상당한 성능 저하가 발생함을 확인했다. 즉, chunk generation을 분리해서 고려하는 점과 과거의 유익한 context를 충분히 활용하지 못하는 점이다. 이러한 관찰에 동기를 얻어, 우리는 AR video generation model을 위해 특화된 최초의 sparse attention 해법인 \\textsc{Light Forcing}을 제안한다. 이는 각 chunk의 기여도를 정량적으로 추정하는 \\textit{Chunk-Aware Growth} mechanism을 포함하며, 이를 통해 sparsity allocation을 결정한다. 이러한 점진적 sparsity 증가 전략은 현재 chunk가 생성 과정에서 이전 chunk의 prior knowledge를 이어받을 수 있게 한다. 또한 우리는 coarse-to-fine 방식으로 유익한 historical context와 local context를 포착하는 \\textit{Hierarchical Sparse Attention}을 도입한다. 이러한 2단계 mask selection strategy(즉, frame 및 block level)는 다양한 attention pattern을 적응적으로 처리할 수 있다. 광범위한 실험은 우리의 방법이 품질(예: VBench에서 84.5)과 효율성(예: end-to-end speedup 1.2~1.3배) 모두에서 기존 sparse attention보다 우수함을 보여 준다. FP8 quantization 및 LightVAE와 결합했을 때, \\textsc{Light Forcing}은 RTX~5090 GPU에서 2.3배 speedup과 19.7\\,FPS를 추가로 달성한다."},{"id":"63857","en":"DynaMem: Consistent Long Video Generation via Hierarchical Memory and Motion Priors","ko":"DynaMem: 계층적 메모리와 motion prior를 통한 일관된 장편 비디오 생성","authors":"Jingyu Lin, Xinyi Shang, Peng Sun, Cunjian Chen, Zhiqiang Shen","pos":"#2511","link":"https://openreview.net/forum?id=T8UsggiFIw","abs":"Recent text-to-video diffusion models can synthesize visually compelling clips from natural language prompts. However, practical applications increasingly demand long-form videos with evolving narratives and persistent identity. A common solution is autoregressive generation, where the video is produced clip by clip over long horizons, yet coherence often degrades as errors compound. In this work, we study long-video generation under an autoregressive setting, where videos are synthesized clip by clip over long horizons. Despite strong short-clip quality, existing approaches often suffer from semantic drift, motion decay, and appearance instability as the sequence grows. We present DynaMem, a unified framework that improves long-horizon coherence via three components: Semantic-Adaptive Hierarchical Memory for long-range semantic preservation, Dynamics-Prioritized Optimization for motion-coherent learning, and Reference-Anchored Perceptual Alignment for stabilizing appearance. Extensive experiments show that DynaMem produces more consistent semantics, stronger temporal dynamics, and more stable appearance on long videos compared to competitive baselines.
","absKo":"최근의 text-to-video diffusion model은 자연어 prompt로부터 시각적으로 매력적인 clip을 합성할 수 있다. 그러나 실제 응용에서는 점차 전개되는 narrative와 지속적인 identity를 갖는 long-form video가 요구된다. 흔한 해결책은 autoregressive generation으로, video를 긴 horizon에 걸쳐 clip 단위로 생성하는 방식이지만, error가 누적되면서 coherence가 자주 저하된다. 본 연구에서는 긴 horizon에 걸쳐 video를 clip 단위로 합성하는 autoregressive setting에서의 long-video generation을 다룬다. 짧은 clip에서는 강한 품질을 보이지만, 기존 접근은 sequence가 길어질수록 semantic drift, motion decay, appearance instability에 취약하다. 우리는 세 가지 구성 요소를 통해 long-horizon coherence를 향상하는 통합 프레임워크인 DynaMem을 제시한다. 이는 long-range semantic preservation을 위한 Semantic-Adaptive Hierarchical Memory, motion-coherent learning을 위한 Dynamics-Prioritized Optimization, 그리고 appearance를 안정화하는 Reference-Anchored Perceptual Alignment로 구성된다. 광범위한 실험은 DynaMem이 경쟁적 baseline에 비해 long video에서 더 일관된 semantics, 더 강한 temporal dynamics, 더 안정적인 appearance를 생성함을 보여준다.
"},{"id":"61696","en":"Distilling Geometry Priors for 3D-Consistent Video Generation","ko":"3D 일관적 비디오 생성을 위한 Geometry Prior Distillation","authors":"Hongyang Du, Hongyang Du, Xiaoyan Cong, Runhao Li, Jingcheng Ni, Aman Agarwal, Zeqi Zhou, Zekun Li, Randall Balestriero, Yue Wang","pos":"#2512","link":"https://openreview.net/forum?id=neygndmdoS","abs":"While recent video diffusion models (VDMs) produce visually impressive results, they fundamentally struggle to maintain 3D structural consistency, often resulting in object deformation or spatial drift. We hypothesize that these failures arise because standard denoising objectives lack explicit incentives for geometric coherence. To address this, we introduce VideoGPA (Video Geometric Preference Alignment), a data-efficient self-supervised framework that leverages a geometry foundation model to automatically derive dense preference signals that guide VDMs via Direct Preference Optimization (DPO). This approach effectively steers the generative distribution toward inherent 3D consistency without requiring human annotations. VideoGPA significantly enhances temporal stability, physical plausibility, and motion coherence using minimal preference pairs, consistently outperforming state-of-the-art baselines in extensive experiments.
","absKo":"최근의 video diffusion model (VDM)은 시각적으로 인상적인 결과를 생성하지만, 3D 구조 일관성을 유지하는 데 근본적으로 어려움을 겪으며, 종종 object deformation이나 spatial drift를 초래한다. 우리는 이러한 실패가 표준 denoising objective가 geometric coherence에 대한 명시적 유인을 갖지 않기 때문에 발생한다고 가설을 세운다. 이를 해결하기 위해, 우리는 geometry foundation model을 활용해 dense preference signal을 자동으로 도출하고, 이를 Direct Preference Optimization (DPO)을 통해 VDM을 안내하는 data-efficient self-supervised framework인 VideoGPA (Video Geometric Preference Alignment)를 도입한다. 이 접근법은 인간 주석 없이도 생성 분포를 내재된 3D consistency 쪽으로 효과적으로 유도한다. VideoGPA는 최소한의 preference pair만으로 temporal stability, physical plausibility, motion coherence를 크게 향상시키며, 광범위한 실험에서 state-of-the-art baseline을 일관되게 능가한다.
"},{"id":"62407","en":"Deep Forcing: Training-Free Long Video Generation with Deep Sink and Participative Compression","ko":"Deep Forcing: Deep Sink와 Participative Compression을 통한 Training-Free 장기 비디오 생성","authors":"Jung Yi, Wooseok Jang, Paul Cho, Jisu Nam, Heeji Yoon, Seungryong Kim","pos":"#2513","link":"https://openreview.net/forum?id=gtmyFnvXAW","abs":"Recent advances in autoregressive video diffusion have enabled real-time frame streaming, yet existing solutions still suffer from temporal repetition, drift, and motion deceleration. We find that naïvely applying StreamingLLM-style attention sinks to video diffusion leads to fidelity degradation and motion stagnation. To overcome this, we introduce Deep Forcing, which consists of two training-free mechanisms that address this without any fine-tuning. Specifically, 1) Deep Sink dedicates half of the sliding window to persistent sink tokens and re-aligns their temporal RoPE phase to the current timeline, stabilizing global context during long rollouts. 2) Participative Compression performs importance-aware KV cache pruning that preserves only tokens actively participating in recent attention while safely discarding redundant and degraded history, minimizing error accumulation under out-of-distribution length generation. Together, these components enable over 12 times extrapolation (e.g. 5s-trained -> 60s+ generation) with better imaging quality and aesthetic quality, almost maintaining overall consistency, and substantial gains in dynamic degree, all while maintaining real-time generation. Our results demonstrate that training-free KV-cache management can match or exceed training-based approaches for autoregressively streaming long-video generation.
","absKo":"autoregressive video diffusion의 최근 발전은 실시간 frame streaming을 가능하게 했지만, 기존 해법은 여전히 temporal repetition, drift, motion deceleration 문제를 겪는다. 우리는 StreamingLLM-style attention sink를 video diffusion에 단순 적용하면 fidelity 저하와 motion stagnation이 발생함을 확인했다. 이를 극복하기 위해, 우리는 fine-tuning 없이 이 문제를 해결하는 두 가지 training-free mechanism으로 구성된 Deep Forcing을 도입한다. 구체적으로, 1) Deep Sink는 sliding window의 절반을 persistent sink token에 할당하고, 그 temporal RoPE phase를 현재 timeline에 재정렬함으로써 긴 rollout 동안 global context를 안정화한다. 2) Participative Compression은 최근 attention에 적극적으로 참여하는 token만 보존하고 중복되거나 열화된 history는 안전하게 제거하는 importance-aware KV cache pruning을 수행하여, out-of-distribution length generation에서의 error accumulation을 최소화한다. 이 두 구성 요소를 함께 사용하면, 더 나은 imaging quality와 aesthetic quality를 유지하면서 overall consistency를 거의 보존한 채 12배 이상의 extrapolation(예: 5s-trained -> 60s+ generation)이 가능하고, dynamic degree에서도 상당한 향상을 보이며, 동시에 실시간 생성을 유지한다. 우리의 결과는 training-free KV-cache management가 autoregressively streaming long-video generation에서 training-based approach와 동등하거나 그 이상의 성능을 낼 수 있음을 보여준다.
"},{"id":"63132","en":"CamGeo: Sparse Camera-Conditioned Image-to-Video Generation with 3D Geometry Priors","ko":"CamGeo: 3D 기하 사전지식을 활용한 희소 카메라 조건부 이미지-비디오 생성","authors":"Xuanyi Liu, Deyi Ji, Liqun Liu, Lanyun Zhu, Xuhang Chen, Qianxiong Xu, Peng Shu, Huan Yu, Jie Jiang, Feng Gao, Siwei Ma","pos":"#2613","link":"https://openreview.net/forum?id=Zlt0GAbHDb","abs":"Sparse camera-conditioned image-to-video generation presents a pivotal challenge: synthesizing geometrically consistent 3D motion from minimal pose cues. Existing methods, which largely rely on dense supervision or naive interpolation, suffer from severe pose drift and motion discontinuities due to the lack of robust 3D priors. In this paper, we introduce \\textbf{CamGeo}, a novel framework that distills rich 3D geometric knowledge from a pre-trained video-to-3D model (VGGT) directly into the diffusion backbone. To achieve this without incurring inference latency, we propose a training-only distillation strategy. Specifically, CamGeo incorporates: (1) keyframe trajectory distillation that enforces cycle-consistency with sparse input poses, (2) cross-frame consistency distillation with both camera trajectory and depth constraints to generate consistent structure across unsupervised frames, and (3) a three-stage coarse-to-fine curriculum learning, progressively scales geometric complexity, from global structure coherence to fine-grained refinement, achieving stable optimization. Extensive experiments demonstrate that CamGeo achieves consistent improvements under various sparsity ratios.
","absKo":"Sparse camera-conditioned image-to-video generation은 최소한의 pose cue로부터 기하적으로 일관된 3D motion을 합성해야 한다는 중대한 과제를 제시한다. 기존 방법은 대부분 dense supervision이나 naive interpolation에 의존하며, 강건한 3D prior의 부재로 인해 심각한 pose drift와 motion discontinuity를 겪는다. 본 논문에서는 pre-trained video-to-3D model (VGGT)로부터 풍부한 3D geometric knowledge를 diffusion backbone에 직접 증류하는 새로운 framework인 \\textbf{CamGeo}를 소개한다. 추론 지연을 발생시키지 않으면서 이를 달성하기 위해, 우리는 training-only distillation strategy를 제안한다. 구체적으로, CamGeo는 다음을 포함한다: (1) sparse input pose와 cycle-consistency를 강제하는 keyframe trajectory distillation, (2) unsupervised frame 전반에 걸쳐 일관된 구조를 생성하기 위해 camera trajectory와 depth constraints를 모두 사용하는 cross-frame consistency distillation, (3) global structure coherence에서 fine-grained refinement로 점진적으로 기하 복잡도를 확장하여 안정적인 optimization을 달성하는 three-stage coarse-to-fine curriculum learning. 광범위한 실험은 CamGeo가 다양한 sparsity ratio에서 일관된 성능 향상을 달성함을 보여준다.
"},{"id":"65646","en":"Causal Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Video Generation","ko":"Causal Forcing: 고품질 실시간 영상 생성을 위한 올바른 자기회귀 Diffusion 증류","authors":"Hongzhou Zhu, Min Zhao, Guande He, Hang Su, Chongxuan Li, Jun Zhu","pos":"#2614","link":"https://openreview.net/forum?id=BYInOck3gr","abs":"To achieve real-time video generation, current approaches distill pretrained bidirectional video diffusion models into few-step autoregressive (AR) models. This process involves an architectural gap, as it converts full attention into causal attention. In this paper, we demonstrate that existing methods fail to bridge this gap theoretically, leading to suboptimal performance. Specifically, these methods employ ODE distillation to initialize the AR student, where a key requirement is injectivity. We figure out that for an AR student, frame-level injectivity must hold: each noisy frame must map to a unique clean frame under the PF-ODE of the AR teacher. We theoretically prove that existing methods, which distill an AR student from a bidirectional teacher, violate this frame-level injectivity. Consequently, the student fails to recover the teacher's flow map and instead learns a conditional expectation, resulting in subpar performance. To address this issue, we propose Causal Forcing, which employs an AR teacher for ODE initialization, thereby effectively bridging the architectural gap. Empirical results show that our method outperforms all baselines across all metrics, surpassing the SOTA Self-Forcing by 19.3\\% in Dynamic Degree, 8.7\\% in VisionReward, and 16.7\\% in Instruction Following.
","absKo":"실시간 video generation을 달성하기 위해, 현재의 접근법은 pretrained bidirectional video diffusion model을 few-step autoregressive (AR) model로 distill한다. 이 과정은 full attention을 causal attention으로 바꾸는 architectural gap을 수반한다. 본 논문에서는 기존 방법들이 이 gap을 이론적으로 메우지 못해 최적 이하의 성능으로 이어진다는 점을 보인다. 구체적으로, 이러한 방법들은 AR student를 초기화하기 위해 ODE distillation을 사용하며, 이때 핵심 요구사항은 injectivity이다. 우리는 AR student의 경우 frame-level injectivity가 성립해야 함을 밝힌다. 즉, 각 noisy frame은 AR teacher의 PF-ODE 하에서 유일한 clean frame으로 사상되어야 한다. 우리는 bidirectional teacher로부터 AR student를 distill하는 기존 방법이 이러한 frame-level injectivity를 위반함을 이론적으로 증명한다. 그 결과 student는 teacher의 flow map을 복원하지 못하고 대신 conditional expectation을 학습하여 성능이 낮아진다. 이 문제를 해결하기 위해 우리는 ODE initialization에 AR teacher를 사용하는 Causal Forcing을 제안하여 architectural gap을 효과적으로 메운다. 실험 결과, 우리의 방법은 모든 metric에서 모든 baseline을 능가했으며, Dynamic Degree에서 SOTA Self-Forcing을 19.3\\%p, VisionReward에서 8.7\\%p, Instruction Following에서 16.7\\%p 상회했다.
"},{"id":"60712","en":"CoF-T2I: Video Models as Pure Visual Reasoners for Text-to-Image Generation","ko":"CoF-T2I: Text-to-Image Generation을 위한 순수 Visual Reasoner로서의 Video Model","authors":"Chengzhuo Tong, Chang Mingkun, Shenglong Zhang, Yuran Wang, Cheng Liang, Zhizheng Zhao, Bohan Zeng, Yang Shi, Ruichuan An, Yifan Dai, Ziming Zhao, Guanbin Li, Pengfei Wan, Yuanxing Zhang, Wentao Zhang","pos":"#2616","link":"https://openreview.net/forum?id=xI364qxvhX","abs":"Recent video generation models have revealed the emergence of Chain-of-Frame (CoF) reasoning, enabling frame-by-frame visual inference. With this capability, video models have been successfully applied to various visual tasks (e.g., maze solving, visual puzzles). However, their potential to enhance text-to-image (T2I) generation remains largely unexplored due to the absence of a clearly defined visual reasoning starting point and interpretable intermediate states in the T2I generation process. To bridge this gap, we propose CoF-T2I, a model that integrates CoF reasoning into T2I generation via progressive visual refinement, where intermediate frames act as explicit reasoning steps and the final frame is taken as output. To establish such explicit generation process, we curate CoF-Evol-Instruct, a dataset of CoF trajectories that model the generation process from semantics to aesthetics. To further improve quality and avoid motion artifacts, we enable an independent encoding operation for each frame. Experiments show that CoF-T2I significantly outperforms the base video model and achieves competitive performance, reaching 0.86 on GenEval and 7.468 on Imagine-Bench. These results indicate the substantial promise of video models for advancing high-quality text-to-image generation.
","absKo":"최근 video generation models는 Chain-of-Frame(CoF) reasoning의 출현을 보여 주었으며, 이를 통해 frame-by-frame visual inference가 가능해졌다. 이러한 능력을 바탕으로 video models는 maze solving, visual puzzles와 같은 다양한 visual tasks에 성공적으로 적용되었다(e.g.,). 그러나 text-to-image(T2I) generation에서는 명확히 정의된 visual reasoning 시작점과 해석 가능한 intermediate states가 부재하여, 그 잠재력을 활용해 T2I generation을 향상시키는 연구는 여전히 충분히 탐구되지 않았다. 이 간극을 메우기 위해, 우리는 점진적 visual refinement를 통해 CoF reasoning을 T2I generation에 통합하는 CoF-T2I를 제안한다. 이때 intermediate frames는 명시적인 reasoning step으로 작동하고, 최종 frame이 output으로 사용된다. 이러한 명시적 generation process를 확립하기 위해, 의미론에서 심미성으로 이어지는 generation process를 모델링하는 CoF trajectories 데이터셋인 CoF-Evol-Instruct를 구축했다. 또한 품질을 더 향상시키고 motion artifacts를 방지하기 위해, 각 frame에 대해 독립적인 encoding operation을 가능하게 했다. 실험 결과, CoF-T2I는 base video model을 크게 능가하며 경쟁력 있는 성능을 달성했고, GenEval에서 0.86, Imagine-Bench에서 7.468을 기록했다. 이러한 결과는 고품질 text-to-image generation을 발전시키는 데 있어 video models의 큰 가능성을 보여 준다.
"},{"id":"60592","en":"HilbertA: Hilbert-Curve–Aligned Sparse Attention for 2D Structured Data","ko":"HilbertA: 2D 구조화 데이터를 위한 Hilbert Curve 정렬 희소 Attention","authors":"Shaoyi Zheng, Wenbo Lu, Yuxuan Xia, Shenji Wan","pos":"#2815","link":"https://openreview.net/forum?id=yhMt5V4FNb","abs":"Designing sparse attention for 2-dimensional image data in diffusion models and vision-language models requires reconciling spatial locality with hardware-efficient execution, a fundamental trade-off that existing methods struggle to resolve. Prior approaches preserve 2D structure through handcrafted sparsity patterns, but often incur uncoalesced memory access, limiting practical speedups on modern GPUs. We present HilbertA, a 2D-aware and GPU-efficient sparse attention mechanism, and show that Hilbert curves provide a hardware-aligned inductive bias for sparse attention over 2D data. By reordering image tokens along Hilbert curves, HilbertA preserves local spatial neighborhoods while inducing a contiguous memory layout aligned with efficient GPU execution. To enable global information flow without uncoalesced access, HilbertA further employs a layer-wise sliding schedule, allowing long-range interactions to emerge progressively across depth. In addition, a small central shared region facilitates cross-tile communication and enhances positional awareness. Implemented in Triton, HilbertA achieves substantial acceleration while maintaining or improving model quality across both diffusion models and VLM. On Flux.1-dev, HilbertA delivers up to $4.17\\times$ at $2048\\times2048$, with image quality comparable to baselines. On Qwen3-VL-8B, HilbertA achieves over $2.08\\times$ attention acceleration with $1.55\\times$ improvements in Time-To-First-Token, while maintaining competitive model performance.","absKo":"2차원 image data를 다루는 diffusion model과 vision-language model에서 sparse attention을 설계하려면 spatial locality와 hardware-efficient execution을 조화시켜야 하며, 이는 기존 방법들이 해결하기 어려워하는 근본적 trade-off이다. 기존 접근법은 handcrafted sparsity pattern을 통해 2D 구조를 보존하지만, 종종 uncoalesced memory access를 유발하여 현대 GPU에서의 실질적인 속도 향상을 제한한다. 우리는 HilbertA, 즉 2D를 인식하고 GPU 효율적인 sparse attention mechanism을 제안하고, Hilbert curve가 2D data에 대한 sparse attention에 하드웨어 정렬적 inductive bias를 제공함을 보인다. 이미지 token을 Hilbert curve를 따라 재배열함으로써, HilbertA는 국소 공간 이웃 관계를 보존하는 동시에 효율적인 GPU 실행에 맞는 연속적인 메모리 layout을 유도한다. uncoalesced access 없이 global information flow를 가능하게 하기 위해, HilbertA는 layer-wise sliding schedule을 추가로 사용하여 long-range interaction이 depth에 따라 점진적으로 나타나게 한다. 또한, 작은 central shared region은 tile 간 통신을 촉진하고 positional awareness를 향상시킨다. Triton으로 구현된 HilbertA는 diffusion model과 VLM 모두에서 모델 품질을 유지하거나 향상시키면서 상당한 가속을 달성한다. Flux.1-dev에서는 HilbertA가 2048x2048에서 최대 4.17x의 향상을 보였으며, image quality는 baseline과 동등한 수준이었다. Qwen3-VL-8B에서는 HilbertA가 1.55x의 Time-To-First-Token 개선과 함께 2.08x가 넘는 attention acceleration을 달성하면서도 경쟁력 있는 model performance를 유지했다."},{"id":"61965","en":"Training-Free Sparse Attention for Fast Video Generation via Offline Layer-Wise Sparsity Profiling and Online Bidirectional Co-Clustering","ko":"학습 없이 offline layer-wise sparsity profiling과 online bidirectional co-clustering으로 빠른 video generation을 위한 sparse attention","authors":"Jiayi Luo, Jiayu Chen, Jiankun Wang, Cong Wang, Hanxin Zhu, Qingyun Sun, Chen Gao, Zhibo Chen, Jianxin Li","pos":"#3509","link":"https://openreview.net/forum?id=lACOz6QXrK","abs":"Diffusion Transformers (DiTs) achieve strong video generation quality but suffer from high inference cost due to dense 3D attention, leading to the development of sparse attention technologies to improve efficiency. However, existing training-free sparse attention methods in video generation still face two unresolved limitations: ignoring layer heterogeneity in attention pruning and ignoring query-key coupling in block partitioning, which hinder a better quality-speedup trade-off. In this work, we uncover a critical insight that the attention sparsity of each layer is its intrinsic property, with minor effects across different inputs. Motivated by this, we propose SVOO, a training-free Sparse attention framework for fast Video generation via Offline layer-wise sparsity profiling and Online bidirectional co-clustering. Specifically, SVOO adopts a two-stage paradigm: (i) offline layer-wise sensitivity profiling to derive intrinsic per-layer pruning levels, and (ii) online block-wise sparse attention via a novel bidirectional co-clustering algorithm. Extensive experiments on seven widely used video generation models demonstrate that SVOO achieves a superior quality-speedup trade-off over state-of-the-art methods, delivering up to 1.93× speedup while maintaining a PSNR of up to 29 dB on Wan2.1.
","absKo":"Diffusion Transformer(DiT)는 강력한 video generation 품질을 달성하지만, 조밀한 3D attention 때문에 추론 비용이 높아 효율 향상을 위한 sparse attention 기술의 발전을 이끌었다. 그러나 기존의 training-free sparse attention method는 video generation에서 여전히 두 가지 미해결 한계에 직면한다: attention pruning에서 layer heterogeneity를 무시하는 것과 block partitioning에서 query-key coupling을 무시하는 것으로, 이는 더 나은 quality-speedup trade-off를 저해한다. 본 연구에서는 각 layer의 attention sparsity는 입력이 달라도 영향이 작게 나타나는 고유한 속성이라는 핵심 통찰을 발견한다. 이에 착안해, 우리는 SVOO, 즉 Sparse attention framework for fast Video generation via Offline layer-wise sparsity profiling and Online bidirectional co-clustering을 제안한다. 구체적으로 SVOO는 두 단계 패러다임을 채택한다: (i) offline layer-wise sensitivity profiling으로 layer별 고유 pruning level을 도출하고, (ii) 새로운 bidirectional co-clustering algorithm을 통해 online block-wise sparse attention을 수행한다. 널리 사용되는 7개의 video generation model에 대한 광범위한 실험은 SVOO가 state-of-the-art method보다 더 우수한 quality-speedup trade-off를 달성하며, Wan2.1에서 최대 29 dB의 PSNR을 유지하면서 최대 1.93×의 속도 향상을 제공함을 보여준다.
"},{"id":"63278","en":"Enabling Faithful Camera Control in Video Diffusion through Geometry-Flow-Guided Noise Warping","ko":"기하-흐름 유도 노이즈 워핑을 통한 비디오 Diffusion에서 충실한 카메라 제어 구현","authors":"Haoyu Zhao, Jiaxi Gu, Haoran Chen, Qingping Zheng, Yeying Jin, Hongyi Yang, JunqiCheng, Yuang Zhang, Zenghui Lu, Huan Yu, Jie Jiang, Peng Shu, Zuxuan Wu, Yu-Gang Jiang","pos":"#3607","link":"https://openreview.net/forum?id=YRq8IIgDMy","abs":"Precise camera pose control is critical for video diffusion, yet maintaining geometric consistency remains a challenge. Existing methods that directly inject numerical camera parameters into the diffusion backbone often fail to bridge the gap between abstract coordinates and visual content, leading to structural distortions. To address this issue, we propose CameraNoise, a flow-to-noise warping method that encodes camera motion into a temporally coherent stochastic representation. Unlike conventional conditioning, CameraNoise embeds camera poses directly into the noise space. This decouples motion from scene appearance while faithfully preserving trajectory dynamics. Specifically, we introduce a novel Geometry-guided Reprojection Flow and a noise warping algorithm, which jointly preserve the Gaussian prior of diffusion and ensure consistent noise propagation under camera transformations. By integrating CameraNoise into the diffusion process, our framework delivers stable, high-fidelity videos. Extensive experiments demonstrate that our approach significantly outperforms prior methods in both visual quality and trajectory faithfulness.
","absKo":"정밀한 camera pose 제어는 video diffusion에 있어 매우 중요하지만, 기하학적 일관성을 유지하는 것은 여전히 어려운 문제이다. 수치적 camera parameters를 diffusion backbone에 직접 주입하는 기존 방법은 추상적인 좌표와 시각적 내용 사이의 간극을 메우지 못해 구조적 왜곡을 초래하는 경우가 많다. 이 문제를 해결하기 위해, 우리는 camera motion을 시간적으로 일관된 stochastic representation으로 인코딩하는 flow-to-noise warping method인 CameraNoise를 제안한다. 기존의 conditioning과 달리 CameraNoise는 camera poses를 noise space에 직접 임베딩한다. 이를 통해 motion과 scene appearance를 분리하면서 trajectory dynamics는 충실하게 보존된다. 구체적으로, 우리는 새로운 Geometry-guided Reprojection Flow와 noise warping algorithm을 도입하며, 이 둘은 함께 diffusion의 Gaussian prior를 보존하고 camera transformation 하에서 일관된 noise propagation을 보장한다. CameraNoise를 diffusion process에 통합함으로써, 우리의 framework는 안정적이고 고충실도의 비디오를 제공한다. 광범위한 실험은 우리의 접근법이 시각적 품질과 trajectory faithfulness 모두에서 기존 방법보다 크게 우수함을 보여준다.
"},{"id":"62331","en":"Best of Both Worlds: Multimodal Reasoning and Generation via Unified Discrete Flow Matching","ko":"최고의 두 장점 결합: Unified Discrete Flow Matching 기반 멀티모달 추론 및 생성","authors":"Onkar Susladkar, Tushar Prakash, Gayatri Deshmukh, Kiet Nguyen, Jiaxun Zhang, Adheesh Juvekar, Tianshu Bao, Lin Chai, Sparsh Mittal, Inderjit Dhillon, Ismini Lourentzou","pos":"#3817","link":"https://openreview.net/forum?id=hZhJTTjmUM","abs":"We propose UniDFlow, a unified discrete flow-matching framework for multimodal understanding, generation, and editing. It decouples understanding and generation via task-specific low-rank adapters, avoiding objective interference and representation entanglement, while a novel reference-based multimodal preference alignment optimizes relative outcomes under identical conditioning, improving faithfulness and controllability without large-scale retraining. UniDFlow achieves SOTA performance across eight benchmarks and exhibits strong zero-shot generalization to tasks including inpainting, in-context image generation, reference-based editing, and compositional generation, despite no explicit task-specific training.
","absKo":"우리는 multimodal 이해, 생성, 편집을 위한 통합 discrete flow-matching framework인 UniDFlow를 제안한다. 이 framework는 task-specific low-rank adapter를 통해 이해와 생성을 분리하여 objective interference와 representation entanglement를 피한다. 또한 새로운 reference-based multimodal preference alignment는 동일한 conditioning 하에서 상대적 결과를 최적화하여, 대규모 재학습 없이도 faithfulness와 controllability를 향상시킨다. UniDFlow는 explicit task-specific training 없이도 inpainting, in-context image generation, reference-based editing, compositional generation을 포함한 task에서 강한 zero-shot generalization을 보이며, 8개 benchmark 전반에서 SOTA 성능을 달성한다.
"},{"id":"62709","en":"Let Language Constrain Geometry: Vision–Language Models as Semantic and Spatial Critics for 3D Generation","ko":"언어가 기하를 제약하게 하라: Vision–Language Models를 3D 생성의 의미론적·공간적 Critic로","authors":"Weimin Bai, Yubo Li, Weijian Luo, Zeqiang Lai, Yequan Wang, Wenzheng Chen, He Sun","pos":"#1013","link":"https://openreview.net/forum?id=dzx0eNCdiP","abs":"Text-to-3D generation has advanced rapidly, yet state-of-the-art models, encompassing both optimization-based and feed-forward architectures, still face two fundamental limitations. First, they struggle with coarse semantic alignment, often failing to capture fine-grained prompt details. Second, they lack robust 3D spatial understanding, leading to geometric inconsistencies and catastrophic failures in part assembly and spatial relationships. To address these challenges, we propose VLM3D, a general framework that repurposes large vision-language models (VLMs) as powerful, differentiable {semantic and spatial critics}. Our core contribution is a {dual-query critic signal} derived from the VLM's \"Yes/No\" log-odds, which assesses both semantic fidelity and geometric coherence. We demonstrate the generality of this guidance signal across two distinct paradigms: (1) As a reward objective for optimization-based pipelines, VLM3D significantly outperforms existing methods on standard benchmarks. (2) As a test-time guidance module for feed-forward pipelines, it actively steers the iterative sampling process of SOTA native 3D models to correct severe spatial errors. VLM3D establishes a principled and generalizable path to inject the VLM's rich, language-grounded understanding of both semantics and space into diverse 3D generative pipelines.
","absKo":"Text-to-3D 생성은 빠르게 발전했지만, optimization-based architecture와 feed-forward architecture를 모두 포함하는 최첨단 모델은 여전히 두 가지 근본적 한계에 직면해 있다. 첫째, coarse semantic alignment에 어려움을 겪어 prompt의 세부 사항을 정교하게 포착하지 못하는 경우가 많다. 둘째, 견고한 3D spatial understanding이 부족하여 geometric inconsistency와 part assembly 및 spatial relationship에서의 치명적 실패를 초래한다. 이러한 문제를 해결하기 위해, 우리는 대규모 vision-language model(VLM)을 강력하고 미분 가능한 {semantic and spatial critic}으로 재활용하는 일반적 framework인 VLM3D를 제안한다. 우리의 핵심 기여는 VLM의 \"Yes/No\" log-odds로부터 도출된 {dual-query critic signal}로, semantic fidelity와 geometric coherence를 모두 평가한다. 우리는 이 guidance signal의 일반성을 두 가지 서로 다른 paradigm에서 입증한다: (1) optimization-based pipeline을 위한 reward objective로서, VLM3D는 표준 benchmark에서 기존 방법을 크게 능가한다. (2) feed-forward pipeline을 위한 test-time guidance module로서, SOTA native 3D model의 반복 샘플링 과정을 적극적으로 유도하여 심각한 spatial error를 교정한다. VLM3D는 VLM의 풍부하고 언어에 기반한 semantics와 space에 대한 이해를 다양한 3D generative pipeline에 주입하는 원리적이고 일반화 가능한 경로를 제시한다.
"},{"id":"61403","en":"Training-free Composition of Pre-trained GFlowNets for Multi-Objective Generation","ko":"Multi-Objective Generation을 위한 Pre-trained GFlowNets의 Training-free Composition","authors":"Seokwon Yoon, Youngbin Choi, Seunghyuk Cho, Seungbeom Lee, MoonJeong Park, Dongwoo Kim","pos":"#2406","link":"https://openreview.net/forum?id=qbe18sZPWS","abs":"Generative Flow Networks (GFlowNets) learn to sample diverse candidates in proportion to a reward function, making them well-suited for scientific discovery, where exploring multiple promising solutions is crucial. Further extending GFlowNets to multi-objective settings has attracted growing interest since real-world applications often involve multiple, conflicting objectives. However, existing approaches require additional training for each set of objectives, limiting their applicability and incurring substantial computational overhead. We propose a training-free mixing policy that composes pre-trained GFlowNets at inference time, enabling rapid adaptation without finetuning or retraining. Importantly, our framework is flexible, capable of handling diverse reward combinations ranging from linear scalarization to complex non-linear logical operators, which are often handled separately in previous literature. We prove that our method exactly recovers the target distribution for linear scalarization and quantify the approximation quality for nonlinear operators through a distortion factor. Experiments on a synthetic 2D grid and real-world molecule-generation tasks demonstrate that our approach achieves performance comparable to baselines that require additional training.
","absKo":"Generative Flow Networks (GFlowNets)는 reward function에 비례하도록 다양한 candidate를 샘플링하는 방법을 학습하며, 여러 유망한 solution을 탐색하는 것이 중요한 과학적 discovery에 특히 적합하다. GFlowNets를 multi-objective 설정으로 더 확장하는 연구는 현실 세계의 응용이 종종 여러 개의 상충하는 objective를 포함하기 때문에 점점 더 큰 관심을 받고 있다. 그러나 기존 접근법은 각 objective 집합마다 추가 training을 필요로 하므로 적용 가능성이 제한되고 상당한 계산 오버헤드를 유발한다. 우리는 inference time에 pre-trained GFlowNet들을 합성하는 training-free mixing policy를 제안하여, finetuning이나 retraining 없이 빠르게 적응할 수 있게 한다. 특히 우리의 framework는 유연하여, linear scalarization부터 복잡한 non-linear logical operator까지 다양한 reward 조합을 처리할 수 있으며, 이는 이전 문헌에서 종종 별도로 다루어져 왔다. 우리는 linear scalarization에 대해서는 우리의 방법이 target distribution을 정확히 복원함을 증명하고, nonlinear operator에 대해서는 distortion factor를 통해 approximation quality를 정량화한다. synthetic 2D grid와 실제 molecule-generation task에서의 실험은, 우리의 접근법이 추가 training을 요구하는 baseline과 비슷한 성능을 달성함을 보여준다.
"},{"id":"63242","en":"Visual Implicit Autoregressive Modeling","ko":"시각적 암시적 자기회귀 모델링","authors":"Pengfei Jiang, Jixiang Luo, Luxi Lin, Zhaohong Huang, Xuelong Li","pos":"#2408","link":"https://openreview.net/forum?id=YnAT2dUBNO","abs":"Visual Autoregressive Modeling (VAR) based on next-scale prediction achieves strong generation quality, but their explicit deep stacks fix the amount of computation per scale and inflate memory at high resolutions. We introduce Visual Implicit Autoregressive Modeling (VIAR), a next-scale autoregressive generator that embeds an implicit equilibrium layer between shallow pre/post blocks. The implicit layer is trained with Jacobian‑Free Backpropagation, yielding constant training memory, while inference exposes a per‑scale iteration knob that enables compute control. On ImageNet 256 × 256 benchmark, VIAR attains FID 2.16, and sFID 8.07 with only 38.4\\% parameters of VAR, matching or surpassing strong AR baselines and remaining competitive with large diffusion models. By controlling the per-scale knob, VIAR can reduce peak memory from 19.24 GB to 8.53 GB and doubles throughput from 15.16 to 32.08 images/s on a single RTX 4090, without retraining. Ablations show that fewer steps are sufficient for fixed-point iterations to converge and that VIAR consistently dominates VAR across quality efficiency operating points. In zero shot in-painting and class‑conditional editing, VIAR produces sharper details and smoother boundaries while preserving global structure, validating the benefits of implicit equilibria and per‑scale compute control for practical, deployable visual generation.
","absKo":"next-scale prediction에 기반한 Visual Autoregressive Modeling (VAR)은 강력한 생성 품질을 달성하지만, 명시적인 deep stack은 scale당 연산량을 고정시키고 고해상도에서 메모리를 크게 늘린다. 우리는 얕은 pre/post block 사이에 implicit equilibrium layer를 삽입한 next-scale autoregressive generator인 Visual Implicit Autoregressive Modeling (VIAR)을 제안한다. 이 implicit layer는 Jacobian-Free Backpropagation으로 학습되어 학습 시 메모리가 일정하게 유지되며, 추론 시에는 scale별 iteration knob를 노출하여 연산 제어를 가능하게 한다. ImageNet 256 × 256 benchmark에서 VIAR은 VAR의 38.4\\%에 불과한 파라미터로 FID 2.16, sFID 8.07을 달성하여 강력한 AR baseline과 비슷하거나 이를 능가하고, 대형 diffusion model과도 경쟁력 있는 성능을 보인다. scale별 knob를 조절하면 재학습 없이 peak memory를 19.24 GB에서 8.53 GB로 줄이고, 단일 RTX 4090에서 throughput을 15.16에서 32.08 images/s로 두 배 이상 높일 수 있다. Ablation에서는 고정점 반복이 수렴하는 데 더 적은 step만으로 충분함을 보이며, VIAR가 quality-efficiency operating point 전반에서 VAR를 일관되게 능가함을 확인한다. Zero-shot in-painting과 class-conditional editing에서도 VIAR는 전역 구조를 보존하면서 더 선명한 디테일과 더 부드러운 경계를 생성하여, implicit equilibrium과 scale별 연산 제어가 실용적이고 배포 가능한 visual generation에 주는 이점을 검증한다.
"},{"id":"61924","en":"d2: Improved Techniques for Training Reasoning Diffusion Language Models","ko":"d2: Reasoning Diffusion Language Model 학습을 위한 개선 기법","authors":"Guanghan Wang, Gilad Turok, Yair Schiff, Marianne Arriola, Volodymyr Kuleshov","pos":"#2409","link":"https://openreview.net/forum?id=ldCiNVFt8O","abs":"While diffusion language models (DLMs) have achieved competitive performance in text generation, improving their reasoning ability with reinforcement learning remains an active research area. Here, we introduce d2, a reasoning framework tailored for masked DLMs. Central to our framework is a new policy gradient algorithm that relies on accurate estimates of the sampling trajectory likelihoods. Our likelihood estimator, d2-AnyOrder, achieves exact trajectory likelihood with a single model pass for DLMs that support a sampling algorithm called any-order decoding. Through an empirical study of widely used DLMs, we show that any-order decoding is not universally supported in practice. Consequently, for DLMs that do not naturally support any-order decoding, we propose another estimator, d2-StepMerge, which, unlike d2-AnyOrder, only approximates the trajectory likelihood. d2-StepMerge trades off compute for approximation accuracy in an analytically tractable manner. Empirically, d2 significantly outperforms widely-used RL baselines when applied to popular DLMs, and sets a new state-of-the-art performance for DLMs on logical reasoning tasks (Countdown and Sudoku) and math reasoning benchmarks (GSM8K and MATH500).
","absKo":"diffusion language models (DLMs)는 텍스트 생성에서 경쟁력 있는 성능을 달성했지만, reinforcement learning을 통해 reasoning ability를 향상시키는 문제는 여전히 활발한 연구 주제이다. 여기서 우리는 masked DLM을 위해 설계된 reasoning framework d2를 소개한다. 이 framework의 핵심은 sampling trajectory likelihood의 정확한 추정에 의존하는 새로운 policy gradient algorithm이다. 우리의 likelihood estimator인 d2-AnyOrder는 any-order decoding이라 불리는 sampling algorithm을 지원하는 DLM에 대해 단일 model pass만으로 exact trajectory likelihood를 달성한다. 널리 사용되는 DLM에 대한 실증 연구를 통해 any-order decoding이 실제로는 보편적으로 지원되지 않음을 보인다. 따라서 any-order decoding을 자연스럽게 지원하지 않는 DLM을 위해, d2-AnyOrder와 달리 trajectory likelihood를 단지 근사하는 또 다른 estimator d2-StepMerge를 제안한다. d2-StepMerge는 compute와 approximation accuracy 사이의 tradeoff를 분석적으로 다루기 쉽게 만든다. 실험적으로 d2는 널리 사용되는 RL baseline보다 popular DLM에 적용했을 때 훨씬 우수한 성능을 보이며, logical reasoning task(Countdown와 Sudoku)와 math reasoning benchmark(GSM8K와 MATH500)에서 DLM의 새로운 state-of-the-art 성능을 설정한다.
"},{"id":"60764","en":"RACER: Risk-Aware Calibrated Efficient Routing for Large Language Models","ko":"RACER: Large Language Model을 위한 Risk-Aware Calibrated Efficient Routing","authors":"Sai Hao, Hao Zeng, Hongxin Wei, Bingyi Jing","pos":"#2500","link":"https://openreview.net/forum?id=wstTwzLFBw","abs":"Efficiently routing queries to the optimal large language model (LLM) is crucial for optimizing the cost-performance trade-off in multi-model systems. However, most existing routers rely on single-model selection, making them susceptible to misrouting. In this work, we formulate LLM routing as the $\\alpha$-VOR problem to minimize expected set size while controlling the misrouting risk, and propose a novel method -- RACER, extending base routers to output model sets that can be subsequently aggregated for improved output. In particular, RACER constructs nested model sets via augmented scoring and utilizes finite-sample concentration bounds to calibrate a threshold that allows for both variable set sizes and abstention. We theoretically prove that RACER achieves rigorous distribution-free risk control on unseen test data in a post-hoc and model-agnostic manner. Extensive experiments verify our theoretical guarantees and demonstrate that RACER consistently enhances downstream accuracy across a wide range of benchmarks.","absKo":"효율적으로 query를 최적의 large language model (LLM)에 routing하는 것은 multi-model system에서 cost-performance trade-off를 최적화하는 데 핵심적이다. 그러나 기존 router의 대부분은 single-model selection에 의존하므로 misrouting에 취약하다. 본 연구에서는 LLM routing을 misrouting risk를 통제하면서 expected set size를 최소화하는 $\\alpha$-VOR 문제로 정식화하고, base router를 확장하여 이후 더 나은 output을 위해 집계할 수 있는 model set을 출력하도록 하는 새로운 방법 RACER를 제안한다. 구체적으로 RACER는 augmented scoring을 통해 nested model set을 구성하고, finite-sample concentration bound를 활용해 variable set size와 abstention을 모두 허용하는 threshold를 보정한다. 우리는 RACER가 보지 못한 test data에서 post-hoc 및 model-agnostic한 방식으로 엄격한 distribution-free risk control을 달성함을 이론적으로 증명한다. 광범위한 실험은 우리의 이론적 보장을 검증하며, RACER가 다양한 benchmark 전반에서 downstream accuracy를 일관되게 향상시킨다는 점을 보여준다."},{"id":"65997","en":"Projected Gradient Ascent for Efficient Reward-Guided Updates with One-Step Generative Models","ko":"단일 단계 생성 모델을 활용한 효율적 보상 유도 업데이트를 위한 투영 Gradient Ascent","authors":"Jisung Hwang, Minhyuk Sung","pos":"#2502","link":"https://openreview.net/forum?id=83f0m2VJZm","abs":"We propose a constrained latent optimization method for reward-guided generation that preserves white Gaussian noise characteristics with negligible overhead. Test-time latent optimization can unlock substantially better reward-guided generations from pretrained generative models, but it is prone to reward hacking that degrades quality and also too slow for practical use. In this work, we make test-time optimization both efficient and reliable by replacing soft regularization with hard white Gaussian noise constraints enforced via projected gradient ascent. Our method applies a closed-form projection after each update to keep the latent vector explicitly noise-like throughout optimization, preventing the drift that leads to unrealistic artifacts. This enforcement adds minimal cost: the projection matches the $O(N \\log N)$ complexity of standard algorithms such as sorting or FFT and does not practically increase wall-clock time. In experiments, our approach reaches a comparable Aesthetic Score using only 30\\% of the wall-clock time required by the SOTA regularization-based method, while preventing reward hacking.","absKo":"White Gaussian noise 특성을 거의 추가 비용 없이 보존하는, reward-guided generation을 위한 constrained latent optimization 방법을 제안한다. Test-time latent optimization은 pretrained generative model로부터 훨씬 더 나은 reward-guided generation을 이끌어낼 수 있지만, reward hacking에 취약하여 품질을 저하시키고 실제 사용에는 너무 느리다. 본 연구에서는 soft regularization을 projected gradient ascent로 강제되는 hard white Gaussian noise constraint로 대체함으로써 test-time optimization을 효율적이고 신뢰할 수 있게 만든다. 우리의 방법은 각 update 후 closed-form projection을 적용하여 optimization 전반에서 latent vector가 명시적으로 noise-like 상태를 유지하게 하고, 비현실적인 artifact를 유발하는 drift를 방지한다. 이 강제는 비용이 매우 적다. projection은 sorting이나 FFT와 같은 standard algorithm의 $O(N \\log N)$ 복잡도와 같으며, 실제 wall-clock time을 거의 증가시키지 않는다. 실험에서 우리의 접근법은 reward hacking을 방지하면서, SOTA regularization-based method에 필요한 wall-clock time의 30\\%만 사용해도 동등한 Aesthetic Score에 도달한다."},{"id":"64160","en":"Phase-Type Variational Autoencoders for Heavy-Tailed Data","ko":"두꺼운 꼬리 데이터를 위한 위상형 변분 오토인코더","authors":"Abdelhakim Ziani, Andras Horvath, Paolo Ballarini","pos":"#2503","link":"https://openreview.net/forum?id=QN1iaHy54s","abs":"Heavy-tailed distributions are ubiquitous in real-world data, where rare but extreme events dominate risk and variability. However, standard Variational Autoencoders (VAEs) employ simple decoder distributions (e.g., Gaussian) that fail to capture heavy-tailed behavior, while existing heavy-tail-aware extensions remain restricted to predefined parametric families whose tail behavior is fixed a priori. We propose the Phase-Type Variational Autoencoder (PH-VAE), whose decoder distribution is a latent-conditioned Phase-Type (PH) distribution—defined as the absorption time of a continuous-time Markov chain (CTMC). This formulation composes multiple exponential time scales, yielding a flexible, analytically tractable decoder that adapts its tail behavior directly from the observed data. Experiments on synthetic and real-world benchmarks demonstrate that PH-VAE accurately recovers diverse heavy-tailed distributions, significantly outperforming Gaussian, Student-t, and extreme-value-based VAE decoders in modeling tail behavior and extreme quantiles. In multivariate settings, PH-VAE captures realistic cross-dimensional tail dependence through its shared latent representation. To our knowledge, this is the first work to integrate Phase-Type distributions into deep generative modeling, bridging applied probability and representation learning.
","absKo":"heavy-tailed distribution은 희귀하지만 극단적인 사건이 risk와 변동성을 지배하는 현실 세계 데이터에 널리 존재한다. 그러나 표준 Variational Autoencoder (VAE)는 Gaussian과 같은 단순한 decoder distribution을 사용하여 heavy-tailed behavior를 포착하지 못하고, 기존의 heavy-tail-aware extension들도 tail behavior가 a priori로 고정된 사전에 정의된 parametric family에 제한된다. 우리는 decoder distribution이 latent-conditioned Phase-Type (PH) distribution인 Phase-Type Variational Autoencoder (PH-VAE)를 제안한다. 이 분포는 continuous-time Markov chain (CTMC)의 absorption time으로 정의된다. 이 formulation은 여러 exponential time scale을 결합하여, 관측된 데이터로부터 직접 tail behavior를 적응적으로 학습하는 유연하고 해석 가능한 decoder를 제공한다. synthetic 및 실제 benchmark에서 수행한 실험은 PH-VAE가 다양한 heavy-tailed distribution을 정확하게 복원하고, Gaussian, Student-t, extreme-value-based VAE decoder보다 tail behavior와 extreme quantile 모델링에서 훨씬 우수함을 보여준다. 다변량 설정에서는 PH-VAE가 공유 latent representation을 통해 현실적인 cross-dimensional tail dependence를 포착한다. 우리가 아는 한, 이는 Phase-Type distribution을 deep generative modeling에 통합한 최초의 작업으로, applied probability와 representation learning을 연결한다.
"},{"id":"66382","en":"Esoteric Language Models","ko":"난해한 언어 모델","authors":"Subham Sekhar Sahoo, Zhihan Yang, Yash Akhauri, Johnna Liu, Deepansha Singh, Zhoujun Cheng, Zhengzhong Liu, Eric Xing, John Thickstun, Arash Vahdat","pos":"#2510","link":"https://openreview.net/forum?id=4C5lHAIWiF","abs":"Diffusion-based language models offer a compelling alternative to autoregressive (AR) models by enabling parallel and controllable generation. Within this family, Masked Diffusion Models (MDMs) currently perform best but still underperform AR models in perplexity and lack key inference-time efficiency features, most notably KV caching. We introduce Eso-LMs, a new family of models that fuses AR and MDM paradigms, smoothly interpolating between their perplexities while overcoming their respective limitations. Unlike prior work, which uses transformers with bidirectional attention as MDM denoisers, we exploit the connection between MDMs and Any-Order autoregressive models and adopt causal attention. This design lets us compute the exact likelihood of MDMs for the first time and, crucially, enables us to introduce KV caching for MDMs while preserving parallel generation for the first time, significantly improving inference efficiency. Combined with an optimized sampling schedule, Eso-LMs achieves a new state of the art on the speed-quality Pareto frontier for unconditional generation. On long contexts, it yields 14−65× faster inference than standard MDMs and 3−4× faster inference than prior semi-autoregressive approaches.
","absKo":"Diffusion 기반 language model은 parallel하고 controllable한 generation을 가능하게 함으로써 autoregressive(AR) model의 매력적인 대안을 제공한다. 이 계열에서 Masked Diffusion Model(MDMs)이 현재 가장 좋은 성능을 보이지만, 여전히 perplexity 면에서 AR model에 뒤처지고, 특히 KV caching 같은 핵심 inference-time efficiency 기능이 부족하다. 우리는 AR과 MDM 패러다임을 결합한 새로운 모델 계열 Eso-LMs를 소개하며, 각자의 한계를 극복하면서 두 모델의 perplexity를 부드럽게 보간한다. 이전 연구가 MDM denoiser로 bidirectional attention을 사용하는 transformer를 채택한 것과 달리, 우리는 MDM과 Any-Order autoregressive model 사이의 연결을 활용하여 causal attention을 채택한다. 이 설계는 처음으로 MDM의 exact likelihood를 계산할 수 있게 하고, 결정적으로 parallel generation을 유지하면서 MDM에 KV caching을 도입할 수 있게 하여 inference efficiency를 크게 향상시킨다. 최적화된 sampling schedule과 결합하면, Eso-LMs는 unconditional generation에서 speed-quality Pareto frontier의 새로운 state of the art를 달성한다. 긴 context에서는 표준 MDM보다 14−65배 빠른 inference를, 기존 semi-autoregressive 접근보다 3−4배 빠른 inference를 제공한다.
"},{"id":"65470","en":"Conflict-Aware Additive Guidance for Flow Models under Compositional Rewards","ko":"조합적 보상 하의 Flow Model을 위한 충돌 인지 가산 안내","authors":"Xuehui Yu, Fucheng Cai, Meiyi Wang, Xiaopeng Fan, Harold Soh","pos":"#2514","link":"https://openreview.net/forum?id=DJtX0Fo7ii","abs":"Inference-time guided sampling steers state-of-the-art diffusion and flow models without fine-tuning by interpreting the generation process as a controllable trajectory. This provides a simple and flexible way to inject external constraints (e.g., cost functions or pre-trained verifiers) for controlled generation. However, existing methods often fail when composing multiple constraints simultaneously, which leads to deviations from the true data manifold. In this work, we identify root causes of this off-manifold drift and find that local errors scale severely with multiple guidance misalignment. Building on these findings, we propose Conflict-Aware Additive Guidance ($g^\\text{car}$), a lightweight and learnable method, which actively rectifies off-manifold drift by dynamically detecting and resolving gradient conflicts. We validate $g^\\text{car}$ across diverse domains, ranging from synthetic datasets and image editing to generative decision-making for planning and control. Our results demonstrate that $g^\\text{car}$ effectively rectifies off-manifold drift, surpassing baselines in generation fidelity while using light compute. Code is available at Anonymous Link.","absKo":"inference-time guided sampling은 generation process를 제어 가능한 trajectory로 해석함으로써 fine-tuning 없이 state-of-the-art diffusion 및 flow model을 조종한다. 이는 외부 제약(예: cost function 또는 pre-trained verifier)을 controlled generation에 주입하는 간단하고 유연한 방법을 제공한다. 그러나 기존 방법은 여러 제약을 동시에 합성할 때 종종 실패하며, 그 결과 true data manifold에서 벗어난다. 본 연구에서는 이러한 off-manifold drift의 근본 원인을 식별하고, local error가 여러 guidance misalignment와 함께 심하게 확대됨을 보인다. 이러한 발견을 바탕으로, 우리는 gradient conflict를 동적으로 감지하고 해소함으로써 off-manifold drift를 적극적으로 바로잡는 경량이며 학습 가능한 방법인 Conflict-Aware Additive Guidance($g^\\text{car}$)를 제안한다. 우리는 synthetic dataset부터 image editing, 그리고 planning과 control을 위한 generative decision-making에 이르기까지 다양한 도메인에서 $g^\\text{car}$를 검증한다. 우리의 결과는 $g^\\text{car}$가 가벼운 연산 비용만 사용하면서도 generation fidelity에서 baseline을 능가하며 off-manifold drift를 효과적으로 교정함을 보여준다. 코드는 Anonymous Link에서 제공된다."},{"id":"61800","en":"Conf-Gen: Conformal Uncertainty Quantification for Generative Models","ko":"Conf-Gen: 생성 모델을 위한 Conformal 불확실성 정량화","authors":"Gabriel Loaiza-Ganem, Kevin Zhang, Wei Cui, Marc Law, Kin Kwan Leung","pos":"#2515","link":"https://openreview.net/forum?id=moI2fePoWA","abs":"Conformal prediction (CP) and its extension, conformal risk control (CRC), are established frameworks for quantifying uncertainty in supervised machine learning through formal guarantees. However, recent breakthroughs in artificial intelligence (AI) have been driven by unsupervised generative models, such as large language models (LLMs) and image generators, which are not directly compatible with CP or CRC. In this work we introduce conformal generation (Conf-Gen), a general framework adapting CRC to generative tasks while relaxing its theoretical assumptions. Conf-Gen unifies and generalizes previous attempts to apply CP to LLMs, and extends conformal methodology to entirely new domains. We demonstrate the flexibility of Conf-Gen through some novel applications, including obtaining conformal guarantees on: image generators producing non-memorized images, conversational AI systems having asked enough clarifying questions, and the output of AI agents being correct.
","absKo":"Conformal prediction(CP)과 그 확장인 conformal risk control(CRC)은 형식적 보장을 통해 supervised machine learning의 불확실성을 정량화하는 확립된 프레임워크이다. 그러나 최근 artificial intelligence(AI)의 돌파구는 large language model(LLM)과 image generator와 같은 unsupervised generative model에서 비롯되었고, 이들은 CP나 CRC와 직접적으로 호환되지 않는다. 이 연구에서는 CRC를 generative task에 맞게 조정하면서 이론적 가정을 완화한 일반적 프레임워크인 conformal generation(Conf-Gen)을 제안한다. Conf-Gen은 LLM에 CP를 적용하려는 기존 시도들을 통합하고 일반화하며, conformal methodology를 완전히 새로운 영역으로 확장한다. 우리는 image generator가 memorized하지 않은 이미지를 생성하도록 하는 경우, 충분히 많은 clarifying question을 던진 conversational AI system, 그리고 AI agent의 출력이 정답인 경우 등에 대해 conformal guarantee를 얻는 등 몇 가지 새로운 응용을 통해 Conf-Gen의 유연성을 보여준다.
"},{"id":"64608","en":"Ambient Dataloops: Generative Models for Dataset Refinement","ko":"Ambient Dataloops: 데이터셋 정제를 위한 Generative Model","authors":"Adrian Rodriguez-Munoz, William Daspit, Adam Klivans, Antonio Torralba, Constantinos Daskalakis, Giannis Daras","pos":"#2611","link":"https://openreview.net/forum?id=Li5ki5Dopo","abs":"We propose Ambient Dataloops, an iterative framework for refining datasets that makes it easier for diffusion models to learn the underlying data distribution. Modern datasets contain samples of highly varying quality, and training directly on such heterogeneous data often yields suboptimal models. We propose a dataset-model co-evolution process; at each iteration of our method, the dataset becomes progressively higher quality, and the model improves accordingly. To avoid destructive self-consuming loops, at each generation, we treat the synthetically improved samples as noisy, but at a slightly lower noisy level than the previous iteration, and we use Ambient Diffusion techniques for learning under corruption. Empirically, Ambient Dataloops achieve state-of-the-art performance in unconditional and text-conditional image generation and de novo protein design. We further provide a theoretical justification for the proposed framework that captures the benefits of the data looping procedure.
","absKo":"우리는 diffusion model이 underlying data distribution을 더 쉽게 학습할 수 있도록 데이터셋을 정제하는 반복적 프레임워크인 Ambient Dataloops를 제안한다. 현대의 데이터셋에는 품질이 매우 다양한 샘플이 포함되어 있으며, 이러한 이질적인 데이터에 직접 학습하면 종종 최적이 아닌 모델이 만들어진다. 우리는 데이터-모델 공진화(co-evolution) 과정을 제안한다. 이 방법의 각 반복에서 데이터셋은 점진적으로 더 높은 품질이 되고, 모델 역시 그에 맞추어 향상된다. 자기 소모적 destructive loop를 피하기 위해, 각 generation에서 합성적으로 개선된 샘플을 noise가 섞인 것으로 취급하되, 이전 반복보다 약간 낮은 noisy level로 다루며, corruption 하에서의 학습을 위해 Ambient Diffusion 기법을 사용한다. 실증적으로 Ambient Dataloops는 unconditional 및 text-conditional image generation과 de novo protein design에서 state-of-the-art 성능을 달성한다. 또한 우리는 데이터 looping 절차의 장점을 포착하는 제안 프레임워크에 대한 이론적 정당화를 제시한다.
"},{"id":"62243","en":"Anytime Safe PAC Efficient Reasoning","ko":"Anytime Safe PAC 효율적 추론","authors":"Chengyao Yu, Hao Zeng, Youxin Zhu, Jianguo Huang, Huajun Zeng, Bingyi Jing","pos":"#2612","link":"https://openreview.net/forum?id=iMuMdWc7uC","abs":"Large Reasoning Models (LRMs) have demonstrated remarkable performance on complex tasks but suffer from high computational costs and latency. While selective thinking strategies improve efficiency by routing easy queries to non-thinking models, existing approaches often incur uncontrollable errors, especially in online settings where the performance loss of a non-thinking model is only partially observed and data are non-stationary. To address this, we propose Betting Probably Approximately Correct (B-PAC) reasoning, a principled method that enables anytime safe and efficient online reasoning under partial feedback. Specifically, we utilize inverse propensity scoring estimators to construct test supermartingales for candidate thresholds, and then dynamically adjust the routing threshold based on the accumulated statistical evidence of safety. Theoretically, we establish the anytime-valid performance loss control and the efficiency of B-PAC reasoning. Extensive experiments demonstrate that B-PAC reasoning significantly reduces computational overhead, decreasing thinking model usage by up to 81.01\\%, while controlling the performance loss below the user-specified level.
","absKo":"Large Reasoning Models (LRMs)는 복잡한 작업에서 놀라운 성능을 보였지만, 높은 계산 비용과 지연 시간이라는 문제를 안고 있다. 선택적 사고 전략은 쉬운 질의를 비사고(non-thinking) 모델로 라우팅함으로써 효율성을 높이지만, 기존 접근법은 특히 온라인 설정에서 통제 불가능한 오류를 유발하는 경우가 많다. 이때 비사고 모델의 성능 저하는 부분적으로만 관측되고 데이터는 비정상적(non-stationary)이다. 이를 해결하기 위해 우리는 Betting Probably Approximately Correct (B-PAC) reasoning을 제안한다. 이는 부분 피드백 하에서 anytime safe하고 효율적인 온라인 reasoning을 가능하게 하는 원리적 방법이다. 구체적으로, 우리는 inverse propensity scoring 추정기를 사용해 후보 임계값에 대한 test supermartingale을 구성하고, 누적된 안전성에 대한 통계적 증거를 바탕으로 라우팅 임계값을 동적으로 조정한다. 이론적으로 우리는 anytime-valid 성능 손실 제어와 B-PAC reasoning의 효율성을 확립한다. 광범위한 실험은 B-PAC reasoning이 계산 오버헤드를 크게 줄여 thinking model 사용량을 최대 81.01\\%까지 감소시키면서, 성능 손실을 사용자가 지정한 수준 이하로 제어함을 보여준다.
"},{"id":"66513","en":"MoST: Mixing Speech and Text with Modality-Aware Mixture of Experts","ko":"MoST: 모달리티 인지 Mixture of Experts로 음성과 텍스트 혼합하기","authors":"Yuxuan Lou, Kai Yang, Yang You","pos":"#2700","link":"https://openreview.net/forum?id=32jYxFTcNX","abs":"We present MoST (Mixture of Speech and Text), a novel multimodal large language model that seamlessly integrates speech and text processing through our proposed Modality-Aware Mixture of Experts (MAMoE) architecture. While current multimodal models typically process diverse modality representations with identical parameters—disregarding their inherent representational differences, we introduce specialized routing pathways that direct tokens to modality-appropriate experts based on input type. MAMoE simultaneously enhances modality-specific learning and cross-modal understanding through two complementary components: modality-specific expert groups that capture domain-specific patterns and shared experts that facilitate information transfer between modalities. Building on this architecture, we develop an efficient transformation pipeline that adapts the pretrained MoE language model through strategic post-training on ASR and TTS datasets, followed by fine-tuning with a carefully curated speech-text instruction dataset. A key feature of this pipeline is that it relies exclusively on fully accessible, open-source datasets to achieve strong performance and data efficiency. Comprehensive evaluations across ASR, TTS, audio language modeling, and spoken question answering benchmarks show that MoST consistently outperforms existing models of comparable parameter counts. Our ablation studies confirm that the modality-specific routing mechanism and shared experts design significantly contribute to performance gains across all tested domains. To our knowledge, MoST represents the first fully open-source speech-text LLM built on a Mixture of Experts architecture.
","absKo":"우리는 MoST (Mixture of Speech and Text)를 제안한다. 이는 우리가 제안한 Modality-Aware Mixture of Experts (MAMoE) architecture를 통해 speech와 text 처리를 매끄럽게 통합하는 새로운 multimodal large language model이다. 현재의 multimodal model은 대개 서로 다른 modality representation을 동일한 parameter로 처리하여, 본질적인 representational difference를 무시한다. 우리는 input type에 따라 token을 modality에 적합한 expert로 라우팅하는 specialized routing pathway를 도입한다. MAMoE는 modality-specific expert group이 domain-specific pattern을 포착하고 shared expert가 modality 간 information transfer를 촉진하는 두 가지 상보적 구성 요소를 통해 modality-specific learning과 cross-modal understanding을 동시에 향상시킨다. 이 architecture를 바탕으로, 우리는 pretrained MoE language model을 ASR과 TTS dataset에 대한 전략적 post-training과 정교하게 선정한 speech-text instruction dataset으로 finetuning하는 효율적인 transformation pipeline을 개발한다. 이 pipeline의 핵심 특징은 강력한 성능과 data efficiency를 달성하기 위해 완전히 접근 가능한 open-source dataset만을 사용한다는 점이다. ASR, TTS, audio language modeling, spoken question answering benchmark 전반에 대한 종합 평가에서 MoST는 일관되게 비슷한 parameter 수의 기존 model을 능가한다. Ablation study는 modality-specific routing mechanism과 shared expert 설계가 모든 테스트 domain에서 성능 향상에 크게 기여함을 확인한다. 우리가 아는 한, MoST는 Mixture of Experts architecture 위에 구축된 최초의 fully open-source speech-text LLM이다.
"},{"id":"61247","en":"$f$-Trajectory Balance: A Loss Family for Tuning GFlowNets, Generative Models, and LLMs with Off- and On-Policy Data","ko":"$f$-Trajectory Balance: Off-Policy 및 On-Policy Data로 GFlowNet, 생성 모델, LLM을 튜닝하기 위한 Loss Family","authors":"Jake Fawkes, Jason Hartford","pos":"#3506","link":"https://openreview.net/forum?id=sDfu0qN6Y6","abs":"In GFlowNets and variational inference, it has been shown that the mean square error between target and model log probabilities is an effective, low variance, surrogate loss for training generative models. This loss has the property that when evaluated \\emph{on-policy} its gradients correspond to those of the KL divergence, while \\emph{off-policy} it remains a valid loss with the same global minimiser. In this work, we demonstrate that this construction can be extended to the whole family of $f$-divergences, leading to a family of losses whose on-policy gradients are that of the corresponding $f$-divergence, but retain the same global minimiser off-policy. Specifically, we show that the on-policy gradients lead to a one to one correspondence between translation invariant loss functions on the target and model log probabilities, and $f$-divergences. This equivalence allows us to design new surrogate loss functions for tuning a wide class of generative models that inherit the properties of the corresponding $f$-divergence, such as being more mode covering, whilst being applicable to off-policy data. We apply our losses on a range of tasks, including classic synthetic examples, SynFlowNets for molecule discovery, and asynchronous large language model (LLM) tuning, demonstrating that our models retain their predicted properties on- and off-policy and can be applied to a wide class of generative models.","absKo":"GFlowNet과 variational inference에서, target과 model log probability 사이의 mean square error가 generative model 학습을 위한 효과적이고 low variance인 surrogate loss임이 밝혀졌다. 이 loss는 \\emph{on-policy}로 평가될 때 gradient가 KL divergence의 gradient와 대응되며, \\emph{off-policy}에서도 동일한 global minimizer를 갖는 유효한 loss라는 성질을 가진다. 본 연구에서는 이러한 구성이 전체 $f$-divergence family로 확장될 수 있음을 보이며, 이에 따라 on-policy gradient가 대응하는 $f$-divergence의 gradient와 같지만 off-policy에서도 동일한 global minimizer를 유지하는 loss family를 도출한다. 구체적으로, on-policy gradient는 target과 model log probability 위의 translation invariant loss function과 $f$-divergence 사이의 일대일 대응을 이끈다는 점을 보인다. 이 동등성은 off-policy data에도 적용 가능하면서, 더 mode-covering해지는 것과 같은 대응하는 $f$-divergence의 성질을 계승하는 새로운 surrogate loss function을 다양한 generative model의 tuning을 위해 설계할 수 있게 한다. 우리는 이 loss들을 classic synthetic example, 분자 발견을 위한 SynFlowNet, 비동기 large language model (LLM) tuning을 포함한 다양한 task에 적용하여, 모델이 on-policy와 off-policy 모두에서 예측된 성질을 유지하며 폭넓은 generative model에 적용될 수 있음을 보인다."},{"id":"63646","en":"Value-as-Return: A Two-Stage Framework to Align on the Optimal Score Function","ko":"Value-as-Return: 최적 score function에 맞추기 위한 2단계 프레임워크","authors":"Shikun Sun, Shuo Huang, Yiding Chen, Wen Sun, Jia Jia","pos":"#3602","link":"https://openreview.net/forum?id=V3DCFHEC5C","abs":"Reinforcement learning with diffusion models has shown strong potential, but existing approaches such as variants of Direct Preference Optimization (DPO) often rely on an inaccurate simplification: they equate trajectory likelihoods with final-state probabilities. This mismatch leads to suboptimal alignment. We address this limitation with a principled framework that leverages the optimal value function as the return for short trajectory segments. Our approach follows a two-stage procedure: (i) learning a value-distribution function to estimate segment-level returns, and (ii) applying our VRPO to refine the score function. We prove that, under sufficient model capacity, the resulting model is equivalent to training a diffusion process on the tilted distribution proportional to $p(x)\\exp(\\eta r(x))$. Experiments on large-scale diffusion models validate our analysis and show stable and consistent improvements over prior methods.","absKo":"Diffusion model을 이용한 reinforcement learning은 강한 잠재력을 보여주었지만, Direct Preference Optimization(DPO)의 변형과 같은 기존 접근법은 궤적 likelihood를 최종 상태 확률과 동일시하는 부정확한 단순화에 의존하는 경우가 많다. 이러한 불일치는 suboptimal alignment로 이어진다. 우리는 짧은 trajectory segment에 대한 return으로 optimal value function을 활용하는 원리적인 framework로 이 한계를 해결한다. 우리의 접근법은 두 단계 절차를 따른다. (i) segment-level return을 추정하기 위해 value-distribution function을 학습하고, (ii) score function을 정교화하기 위해 VRPO를 적용한다. 충분한 model capacity 하에서 결과 model이 $p(x)\\exp(\\eta r(x))$에 비례하는 tilted distribution에 대해 diffusion process를 학습하는 것과 동등함을 증명한다. 대규모 diffusion model에서의 실험은 우리의 분석을 검증하고, 기존 방법보다 안정적이고 일관된 개선을 보여준다."},{"id":"62958","en":"Opportunistic Expert Activation: Batch-Aware Expert Routing for Faster Decode Without Retraining","ko":"기회적 Expert Activation: 재학습 없이 디코딩 가속을 위한 Batch-Aware Expert Routing","authors":"Costin-Andrei Oncescu, Qingyang Wu, Wai Tong Chung, Tsai-chuan Wu, Bryan Gopal, Junxiong Wang, Tri Dao, Ben Athiwaratkun","pos":"#3611","link":"https://openreview.net/forum?id=bSLIDztFwx","abs":"An increasing number of LLMs employ Mixture-of-Experts (MoE) architectures where the feed-forward layer is replaced by a pool of experts and each token only activates a small subset of them. During autoregressive generation, these models often enter a memory-bound regime even for moderate batch sizes because the average expert load grows more slowly than in an equivalent dense feedforward layer. Consequently, MoE latency is governed by the number of activated experts. We introduce a framework for $\\textbf{dynamically}$ re-routing token-to-expert mapping to lower this number (and thus, the decode latency) while preserving a comparable quality. Our best results use a $\\textbf{batch-aware routing}$ that works by having tokens $\\textbf{piggyback}$ experts that have already been loaded into memory due to being crucial to other tokens within the same batch. Empirically, we evaluate our method on the Qwen3-30B and Qwen3-235B models with a batch size of $16$. Without any statistically significant loss in accuracy, our approach achieves latency reductions of $39\\\\%$ and $15\\\\%$ in the MoE layer decode latency, respectively.","absKo":"점점 더 많은 LLM이 Mixture-of-Experts (MoE) architecture를 채택하고 있는데, 이때 feed-forward layer는 experts의 pool로 대체되며 각 token은 그중 작은 부분집합만 활성화한다. autoregressive generation 동안, 이 모델들은 평균 expert load가 dense feedforward layer의 경우보다 더 느리게 증가하기 때문에, 중간 정도의 batch size에서도 memory-bound regime에 자주 진입한다. 그 결과 MoE latency는 활성화된 expert의 수에 의해 지배된다. 우리는 quality를 유사하게 유지하면서 이 수(따라서 decode latency)를 줄이기 위해 token-to-expert mapping을 $\\textbf{동적으로}$ 재라우팅하는 framework를 제안한다. 우리의 최선의 결과는 $\\textbf{batch-aware routing}$을 사용하며, 이는 같은 batch 안의 다른 token들에 중요한 역할을 하여 이미 memory에 올라와 있는 expert를 token이 $\\textbf{piggyback}$하도록 만든다. 실험적으로 우리는 batch size $16$에서 Qwen3-30B와 Qwen3-235B model에 대해 방법을 평가했다. 통계적으로 유의미한 정확도 손실 없이, 우리의 접근법은 MoE layer decode latency를 각각 $39\\\\%$와 $15\\\\%$ 줄였다."},{"id":"65076","en":"Structured Progressive Knowledge Activation for LLM-Driven Neural Architecture Search","ko":"LLM 기반 Neural Architecture Search를 위한 구조화된 점진적 지식 활성화","authors":"Zhen Liu, Yuhan Liu, Jinjun Wang, Wei Song, Jianyi Liu, Jingwen Fu","pos":"#3715","link":"https://openreview.net/forum?id=H0rZO2EK1s","abs":"This paper focuses on a key challenge in Neural Architecture Search (NAS): integrating established architectural knowledge while exploring new designs under expensive evaluations. Large language models (LLMs) are a promising assistant for NAS because they can translate rich architectural and coding priors into executable code edits. However, in practice, seemingly local revisions often propagate into non-local behavioral and performance shifts because a single edit can inadvertently couple multiple interacting functional factors, a phenomenon we refer to as functional entanglement. To make LLM knowledge usable under such entanglement, we propose Structured Progressive Knowledge Activation (SPARK), which activates relevant priors by explicitly selecting the functional factor to modify and conditioning the edit on that factor. This factor-conditioned editing reduces entangled side effects and yields more targeted, reliable architecture modifications. On CLRS-DFS, SPARK reduces the number of training evaluations by {28.1$\\times$} over EvoPrompting and improves OOD accuracy by {+15.6} points, with essentially unchanged compute ({$\\sim$453K MACs}).","absKo":"이 논문은 Neural Architecture Search(NAS)의 핵심 과제에 초점을 맞춘다. 즉, 비용이 큰 evaluation 하에서 새로운 설계를 탐색하는 동시에 확립된 architectural knowledge를 통합하는 문제이다. Large language model(LLM)은 풍부한 architectural 및 coding prior를 실행 가능한 code edit로 변환할 수 있기 때문에 NAS를 위한 유망한 조력자이다. 그러나 실제로는, 겉보기에는 국소적인 수정도 비국소적인 행동 및 성능 변화를 유발하는 경우가 많다. 단일 edit가 의도치 않게 여러 상호작용하는 functional factor를 결합할 수 있기 때문이며, 우리는 이를 functional entanglement라고 부른다. 이러한 entanglement 하에서 LLM knowledge를 유용하게 만들기 위해, 우리는 Structured Progressive Knowledge Activation(SPARK)를 제안한다. SPARK는 수정할 functional factor를 명시적으로 선택하고 그 factor에 조건화된 edit를 적용함으로써 관련 prior를 활성화한다. 이 factor-conditioned editing은 entangled side effect를 줄이고, 더 표적화되고 신뢰할 수 있는 architecture 수정을 이끈다. CLRS-DFS에서 SPARK는 EvoPrompting에 비해 training evaluation 수를 {28.1$\\times$} 줄이고 OOD accuracy를 {+15.6}포인트 향상시키며, compute는 사실상 동일하다({$\\sim$453K MACs})."},{"id":"64766","en":"Meta Flow Maps enable scalable reward alignment","ko":"Meta Flow Map이 확장 가능한 보상 정렬을 가능케 한다","authors":"Peter Potaptchik, Adhi Saravanan, Abbas Mammadov, Alvaro Prat, Michael Albergo, Yee-Whye Teh","pos":"#3910","link":"https://openreview.net/forum?id=K5gV8Yptne","abs":"Controlling generative models—whether via inference-time steering or fine-tuning—is expensive. Control relies on estimating the value function—typically necessitating costly trajectory simulations. To eliminate this bottleneck, we introduce *Meta Flow Maps (MFMs)*, stochastic extensions of consistency models and flow maps. MFMs are trained to perform \\textbf{one-step posterior sampling}, generating arbitrarily many i.i.d. draws of clean data $x_1$ from any noisy state $x_t$. Crucially, these samples are differentiable in the conditioning state $x_t$, unlocking efficient estimation of the value function gradient. We leverage this capability to enable both **inference-time steering** without inner rollouts, and unbiased, off-policy **fine-tuning** to general rewards. Among our fine-tuning and steering experiments on ImageNet, we highlight that our single-particle steered-MFM sampler outperforms a Best-of-1000 baseline across multiple rewards at a fraction of the compute.","absKo":"생성 모델을 제어하는 일은, inference-time steering이든 fine-tuning이든 비용이 크다. 제어는 value function 추정에 의존하는데, 이는 대개 값비싼 trajectory simulation을 필요로 한다. 이 병목을 제거하기 위해 우리는 consistency model과 flow map의 stochastic extension인 *Meta Flow Maps (MFMs)*를 소개한다. MFMs는 \\textbf{one-step posterior sampling}을 수행하도록 학습되며, 임의의 noisy state $x_t$에서 clean data $x_1$의 i.i.d. sample을 원하는 만큼 생성한다. 결정적으로, 이러한 sample은 conditioning state $x_t$에 대해 differentiable하므로, value function gradient의 효율적 추정을 가능하게 한다. 우리는 이 능력을 활용하여 inner rollout 없이도 가능한 **inference-time steering**과, 일반 reward에 대한 unbiased, off-policy **fine-tuning**을 구현한다. ImageNet에서 수행한 fine-tuning 및 steering 실험 중에서, 단일 particle steered-MFM sampler가 여러 reward에서 Best-of-1000 baseline을 compute의 일부만으로 능가함을 강조한다."},{"id":"64955","en":"TeamTR: Trust-Region Fine-Tuning for Multi-Agent LLM Coordination","ko":"TeamTR: Multi-Agent LLM 협응을 위한 Trust-Region Fine-Tuning","authors":"Yi Xie, Siao Liu, Falong FAN, Yuanqi Yao, Siyang Cao, Yue Zhao, Bo Liu","pos":"#4605","link":"https://openreview.net/forum?id=IMwLhg52ZY","abs":"Multi-agent LLM systems can improve reasoning and tool use, yet recent evidence shows their gains are often unstable and sensitive to interaction design. A promising direction is to \\emph{train} collaboration, but team post-training introduces a moving-target effect: when agents interact through a shared context, updating one agent shifts the context distribution faced by the others, which can regress coordination under naive sequential updates. We propose \\textit{TeamTR}, a trust-region framework for fine-tuning heterogeneous LLM teams that explicitly controls this \\emph{occupancy shift}. TeamTR evaluates each agent update on rollouts from the \\emph{intermediate} team induced by partially applied updates, and enforces per-agent trust regions via a token-decomposed \\emph{reverse} KL that is directly monitorable from those rollouts. This yields population-level per-update and per-stage \\emph{improvement lower bounds} whose functional form applies to any realized update order, and motivates a practical certificate \\emph{proxy} computed from logged surrogates and KL terms. We instantiate TeamTR for router-based text handoff with sequence-level returns and bounded group-normalized advantages, and show empirically that it mitigates coordination regressions, improves training stability across heterogeneous teams, and supports modular component replacement via a trust-region alignment step.
","absKo":"Multi-agent LLM system은 reasoning과 tool use를 향상시킬 수 있지만, 최근 증거는 그 이득이 종종 불안정하고 interaction design에 민감함을 보여준다. 유망한 방향은 협업을 \\emph{학습}하는 것이지만, team post-training은 moving-target effect를 유발한다. 즉, agent들이 공유 context를 통해 상호작용할 때 하나의 agent를 업데이트하면 다른 agent가 마주하는 context distribution이 변하고, naive한 순차적 업데이트에서는 coordination이 저하될 수 있다. 우리는 이 \\emph{occupancy shift}를 명시적으로 제어하는 heterogeneous LLM team의 fine-tuning을 위한 trust-region framework인 \\textit{TeamTR}를 제안한다. TeamTR은 부분적으로 적용된 업데이트로 유도된 \\emph{intermediate} team에서의 rollout을 바탕으로 각 agent update를 평가하고, 해당 rollout에서 직접 모니터링 가능한 token-decomposed \\emph{reverse} KL을 통해 agent별 trust region을 강제한다. 이는 어떤 실제 업데이트 순서에도 적용되는 함수 형태의 population-level per-update 및 per-stage \\emph{improvement lower bound}를 도출하며, 로그된 surrogate와 KL term으로 계산되는 실용적 certificate \\emph{proxy}를 가능하게 한다. 우리는 sequence-level return과 bounded group-normalized advantage를 사용하는 router-based text handoff에 TeamTR을 구현하고, 이를 통해 coordination regression을 완화하고 heterogeneous team 전반의 training stability를 개선하며, trust-region alignment step을 통한 modular component replacement를 지원함을 실험적으로 보인다.
"},{"id":"65533","en":"Hallucination Detection from Structural Reasoning Model","ko":"구조적 추론 모델로부터의 환각 탐지","authors":"Jianbo Sun, Pengkun Yang","pos":"#3117","link":"https://openreview.net/forum?id=CcdytS6lGz","abs":"Hallucinations pose a key challenge for large language models. Chain-of-Thought prompting exposes intermediate reasoning, but reasoning traces are treated as linear traces, making it hard to capture cross-step dependencies and localize unsupported intermediate claims. We propose a \\emph{structural reasoning model} to describe the interactions among local steps. To detect hallucinations, we extract a reasoning directed acyclic graph over conditions and intermediate claims, verify each claim against its parent nodes, and aggregate the step signals with a simple mass-flow rule. Under a probabilistic model, we provide an information-theoretic interpretation of this aggregation as measuring information loss along the reasoning graph. Experiments on GSM8K and MATH across multiple model families show that the proposed method improves detection performance over recent sampling-based baselines and judge-based methods. These findings provide a new perspective on the evaluation of chain-of-thought outputs and confirm the advantages of structural reasoning in hallucination detection.
","absKo":"Hallucination은 대규모 언어 모델의 핵심 과제이다. Chain-of-Thought prompting은 중간 추론 과정을 드러내지만, reasoning trace를 선형적인 흔적으로만 취급하기 때문에 단계 간 의존성을 포착하고 근거가 없는 중간 주장들을 국소화하기 어렵다. 우리는 국소 단계들 간의 상호작용을 설명하기 위해 \\emph{structural reasoning model}을 제안한다. hallucination을 탐지하기 위해, 우리는 조건들과 중간 주장들에 대한 reasoning directed acyclic graph를 추출하고, 각 주장을 부모 노드들과 대조하여 검증하며, 간단한 mass-flow rule로 단계 신호를 집계한다. 확률적 모델 하에서, 우리는 이 집계를 reasoning graph를 따라 발생하는 정보 손실을 측정하는 것으로 해석하는 information-theoretic interpretation을 제시한다. GSM8K와 MATH에 대한 여러 model family 실험은 제안한 방법이 최근 sampling-based baseline 및 judge-based method보다 탐지 성능을 향상시킴을 보여준다. 이러한 결과는 chain-of-thought output 평가에 대한 새로운 관점을 제공하며, hallucination detection에서 structural reasoning의 장점을 확인한다.
"},{"id":"60550","en":"Towards Understanding Modality Interaction in Multimodal Language Models via Partial Information Decomposition","ko":"부분 정보 분해를 통한 멀티모달 언어 모델의 모달리티 상호작용 이해","authors":"Wanlong Fang, Tianle Zhang, Wen Tao, Alvin Chan","pos":"#1715","link":"https://openreview.net/forum?id=z7ivDFlnSC","abs":"Understanding \\emph{modality interaction} in multimodal large language models (MLLMs) remains a central challenge for reliable and interpretable deployment. We introduce Partial Information Decomposition (PID) as a unified, decision-level framework that separates \\emph{unique}, \\emph{redundant}, and \\emph{synergistic} contributions of sensory and linguistic inputs, moving beyond representation alignment and outcome-based evaluation. Across vision–language benchmarks, PID reveals stable \\emph{interaction regimes}: reasoning-oriented tasks consistently exhibit high cross-modal synergy, whereas knowledge-oriented tasks are dominated by language-unique information. These regimes generalize across architectures and scales and predict causal sensitivity to modality-level interventions. We extend this framework to tri-modal systems with Sensory PID, treating language as a control variable to decompose information gain from video and audio. Applied to omni-modal models, this analysis uncovers a persistent \\emph{sensory synergy bottleneck}, where decisions remain dominated by visual information even on fusion-dependent tasks. Layer-wise analysis further show that sensory integration emerges late and is instruction-gated, following early visual saturation.
","absKo":"multimodal large language models (MLLMs)에서 \\emph{modality interaction}을 이해하는 것은 신뢰할 수 있고 해석 가능한 배포를 위한 핵심 과제로 남아 있다. 우리는 Partial Information Decomposition (PID)을 \\emph{unique}, \\emph{redundant}, \\emph{synergistic} 기여를 감각 입력과 언어 입력 수준에서 분리하는 통합적 decision-level framework로 도입하여, representation alignment와 outcome-based evaluation을 넘어선다. vision–language benchmark 전반에서 PID는 안정적인 \\emph{interaction regime}을 드러낸다. reasoning 지향 task는 일관되게 높은 cross-modal synergy를 보이는 반면, knowledge 지향 task는 language-unique information이 지배적이다. 이러한 regime은 architecture와 scale을 가로질러 일반화되며, modality-level intervention에 대한 causal sensitivity를 예측한다. 우리는 이 framework를 Sensory PID를 통해 tri-modal system으로 확장하여, language를 control variable로 취급하고 video와 audio에서의 information gain을 분해한다. omni-modal model에 적용한 결과, 이 분석은 결정이 fusion-dependent task에서도 시각 정보에 의해 여전히 지배되는 지속적인 \\emph{sensory synergy bottleneck}을 밝혀낸다. layer-wise 분석은 sensory integration이 후반에 나타나며 instruction-gated되고, 초기 visual saturation 이후에 발생함을 추가로 보여준다.
"},{"id":"66579","en":"BRIDGE: Predicting Human Task Completion Time From Model Performance","ko":"BRIDGE: 모델 성능으로부터 인간 작업 완료 시간 예측","authors":"Fengyuan Liu, Jay Gala, Nilaksh, Dzmitry Bahdanau, Siva Reddy, Hugo Larochelle","pos":"#4213","link":"https://openreview.net/forum?id=2T26db5Nma","abs":"Evaluating the real-world capabilities of AI systems requires grounding benchmark performance in human-interpretable measures of task difficulty. Existing approaches that rely on direct human task completion time annotations are costly, noisy, and difficult to scale across benchmarks. In this work, we propose BRIDGE, a unified psychometric framework that learns the latent difficulty scale from model responses and anchors it to human task completion time. Using a two-parameter logistic Item Response Theory model, we jointly estimate latent task difficulty and model capability from model performance data across multiple benchmarks. We demonstrate that latent task difficulty varies linearly with the logarithm of human completion time, allowing human task completion time to be inferred for new benchmarks from model performance alone. Leveraging this alignment, we forecast frontier model capabilities in terms of human task length and independently reproduce METR’s exponential scaling results, with the 50% solvable task horizon doubling approximately every 6 months.
","absKo":"AI system의 실제 능력을 평가하려면 benchmark 성능을 사람이 해석 가능한 task difficulty의 척도에 연결해야 한다. 기존 접근법은 직접적인 human task completion time annotation에 의존하는데, 이는 비용이 많이 들고 잡음이 크며 여러 benchmark에 걸쳐 확장하기 어렵다. 본 연구에서는 model response로부터 잠재적인 difficulty scale을 학습하고 이를 human task completion time에 정렬하는 통합 psychometric framework인 BRIDGE를 제안한다. two-parameter logistic Item Response Theory model을 사용하여, 우리는 여러 benchmark에 걸친 model performance data로부터 latent task difficulty와 model capability를 공동 추정한다. 우리는 latent task difficulty가 human completion time의 logarithm과 선형적으로 변함을 보이며, 이를 통해 새로운 benchmark의 human task completion time을 model performance만으로 추론할 수 있음을 입증한다. 이러한 정렬을 활용하여, 우리는 인간 기준 task length로 frontier model capability를 예측하고, METR의 exponential scaling 결과를 독립적으로 재현한다. 이때 50% solvable task horizon은 약 6개월마다 두 배로 증가한다.
"},{"id":"61822","en":"Dissecting Embodied Abilities in Multimodal Language Models through Skill-level Evaluation and Diagnosis","ko":"Skill-level 평가와 진단을 통한 Multimodal Language Model의 Embodied 능력 해부","authors":"Yu Qi, Haibo Zhao, Ziyu Guo, Siyuan Ma, Ziyan Chen, Yaokun Han, Renrui Zhang, Zitiantao Lin, Yizhe Zhu, Shiji Xin, Yijian Huang, Boce Hu, Kai Cheng, Jiayi Zhang, Peiheng Wang, jiazheng liu, Wenqing Wang, Yiran Qin, Haojie Huang, Lawson Wong","pos":"#708","link":"https://openreview.net/forum?id=meeYr2XiW8","abs":"Understanding the capability bottlenecks of embodied multimodal large language models (MLLMs) is crucial for improvement. However, existing embodied benchmarks fail to provide actionable insights because they focus on task-level evaluation rather than discovering capability bottlenecks. To address this, we introduce BEAR, where we divide embodied tasks into 14 atomic skills for skill-level evaluation. BEAR comprises 4,469 interleaved image–video–text entries across 14 skills in 6 categories, ranging from low-level perception to high-level planning. We evaluate 20 MLLMs on BEAR under a hierarchical skill-level diagnosis framework and discover that (1) perceptual capabilities are major bottlenecks behind reasoning failures, and (2) models fail due to unstable spatiotemporal modeling which remain unexposed in previous benchmarks. Furthermore, building on these insights, we propose BEAR-Agent, a multimodal conversable agent that augments MLLMs with visual and spatial tools. It substantially enhances MLLMs’ performance across skills, yielding a relative improvement of 17.5% on GPT-5 on BEAR and outperform baselines by a large margin in both simulation and real-robot experiments across models.
","absKo":"embodied multimodal large language model(MLLM)의 capability bottleneck을 이해하는 것은 개선을 위해 매우 중요하다. 그러나 기존 embodied benchmark는 capability bottleneck을 발견하기보다 task-level 평가에 초점을 맞추기 때문에 실행 가능한 통찰을 제공하지 못한다. 이를 해결하기 위해 우리는 BEAR를 도입한다. 여기서는 embodied task를 skill-level 평가를 위해 14개의 atomic skill로 분해한다. BEAR는 저수준 지각부터 고수준 계획에 이르기까지 6개 범주의 14개 skill에 걸친 4,469개의 interleaved image–video–text entry로 구성된다. 우리는 hierarchical skill-level diagnosis framework 하에서 BEAR로 20개의 MLLM을 평가하고, (1) 지각 능력이 추론 실패의 주요 병목이며, (2) 이전 benchmark에서 드러나지 않았던 불안정한 spatiotemporal modeling 때문에 모델이 실패한다는 사실을 발견한다. 더 나아가 이러한 통찰을 바탕으로 우리는 시각 및 공간 tool로 MLLM을 보강하는 multimodal conversable agent인 BEAR-Agent를 제안한다. 이는 skill 전반에서 MLLM의 성능을 크게 향상시키며, BEAR에서 GPT-5 기준 relative improvement 17.5%를 달성하고, simulation 및 real-robot experiment 모두에서 여러 모델에 걸쳐 baseline을 큰 폭으로 능가한다.
"},{"id":"64189","en":"Maximizing mutual information between prompt and response improves LLM performance with no additional data","ko":"프롬프트와 응답 간 상호정보량 최대화가 추가 데이터 없이 LLM 성능을 향상시킨다","authors":"Hyunji (Alex) Nam, Haoran Li, Natasha Jaques","pos":"#2005","link":"https://openreview.net/forum?id=Q6iMYPaSIv","abs":"While post-training has successfully improved large language models across a variety of domains from open-ended text generation to mathematics, these gains heavily rely on human-labeled data or external verifiers. Existing data has already been exploited and new high-quality data is expensive to collect. More fundamentally, true intelligence goes far beyond tasks that are easily verified. Therefore, there is a need for self-improvement frameworks that allow models to improve without external oversight. We propose Mutual Information-based Preference Optimization (MIPO), a contrastive data augmentation method that constructs preference pairs by generating a positive response conditioned on the correct prompt and a negative response conditioned on a random or incomplete prompt; then train with Direct Policy Optimization. We show that this connects to maximizing pointwise mutual information between prompts and model responses under the base policy. Empirical results with the Llama- (1, 3B) and Qwen- (1.5, 3, 7B) Instruct models show that MIPO achieves 4-38\\% improvements on personalization tasks from real-user datasets (PRISM, Community Alignment). Surprisingly, MIPO can be more generally applied to a suite of benchmark tasks (e.g., math and multiple-choice answering), yielding 3\\% and 18\\% improvements for smaller 1B models, without any additional data or labels.
","absKo":"post-training은 열린 형식의 텍스트 생성부터 수학에 이르기까지 다양한 영역에서 large language model을 성공적으로 향상시켜 왔지만, 이러한 향상은 인간이 라벨링한 데이터나 외부 verifier에 크게 의존한다. 기존 데이터는 이미 상당 부분 활용되었고, 새롭고 고품질의 데이터는 수집 비용이 높다. 더 근본적으로, 진정한 지능은 쉽게 검증 가능한 task를 훨씬 넘어선다. 따라서 외부 감독 없이도 model이 개선될 수 있는 self-improvement framework가 필요하다. 우리는 Mutual Information-based Preference Optimization (MIPO)를 제안하는데, 이는 올바른 prompt에 조건화된 positive response와 랜덤하거나 불완전한 prompt에 조건화된 negative response를 생성하여 preference pair를 구성한 뒤 Direct Policy Optimization으로 학습하는 contrastive data augmentation method이다. 우리는 이것이 base policy 하에서 prompt와 model response 사이의 pointwise mutual information을 최대화하는 것과 연결됨을 보인다. Llama- (1, 3B) 및 Qwen- (1.5, 3, 7B) Instruct model에 대한 실험 결과, MIPO는 실제 사용자 데이터셋(PRISM, Community Alignment)의 personalization task에서 4-38\\%의 향상을 달성한다. 놀랍게도, MIPO는 benchmark task의 다양한 집합(예: 수학 및 객관식 문항)에 더 일반적으로 적용될 수 있으며, 추가 데이터나 label 없이도 더 작은 1B model에서 3\\%와 18\\%의 향상을 제공한다.
"},{"id":"60586","en":"LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs","ko":"LFQ: 저비트 양자화 LLM의 생성 품질 향상을 위한 Logit-aware Final-block Quantization","authors":"Jung Hyun Lee, June Yong Yang, Jungwook Choi, Eunho Yang","pos":"#108","link":"https://openreview.net/forum?id=ykdc70h1ND","abs":"As large language models continue to scale, low-bit weight-only post-training quantization (PTQ) offers a practical solution to their memory-efficient deployment. Although block-wise PTQ is capable of matching the full-precision (FP) baseline on basic language modeling and understanding, its quality is degraded for \\textit{generative} tasks---especially at longer responses and extended chains of thought, which is critical in boosting task accuracy. We attribute this shortfall to two factors: (i) the omission of the unembedding layer (the LM head) in block-wise optimization and (ii) the reliance on the mean squared error (MSE) objective. Both factors cause the token probability distribution of the quantized model to misalign with that of the FP model, yielding notable accuracy drops on text generation benchmarks. To rectify the discrepancy, we introduce \\emph{Logit-aware Final-block Quantization (LFQ)}, a simple yet effective enhancement to block-wise PTQ that quantizes the final Transformer block by minimizing the cross-entropy between the logits of the FP model and those of its quantized counterpart. By aligning token probabilities at the logit level in the final block, LFQ consistently improves the accuracy of complex generation tasks over state-of-the-art block-wise PTQ across diverse model families and text generation tasks, while maintaining parity with FP baselines on language modeling and understanding.
","absKo":"large language models가 계속 확장됨에 따라, low-bit weight-only post-training quantization (PTQ)은 memory-efficient deployment를 위한 실용적인 해법을 제공합니다. block-wise PTQ는 기본적인 language modeling과 understanding에서는 full-precision (FP) baseline과 견줄 수 있지만, \\textit{generative} task, 특히 더 긴 응답과 확장된 chain of thought에서는 품질이 저하되며, 이는 task accuracy 향상에 중요합니다. 우리는 이러한 부족함이 두 가지 요인에서 비롯된다고 봅니다: (i) block-wise optimization에서 unembedding layer(LM head)를 생략한 점과 (ii) mean squared error (MSE) objective에 의존한 점입니다. 이 두 요인은 quantized model의 token probability distribution을 FP model의 분포와 어긋나게 만들어 text generation benchmark에서 눈에 띄는 accuracy 하락을 초래합니다. 이러한 불일치를 바로잡기 위해, 우리는 \\emph{Logit-aware Final-block Quantization (LFQ)}를 도입합니다. LFQ는 FP model과 quantized counterpart의 logits 사이 cross-entropy를 최소화하여 final Transformer block을 quantize하는 간단하지만 효과적인 block-wise PTQ 개선 기법입니다. final block에서 logit 수준의 token probability를 정렬함으로써, LFQ는 다양한 model family와 text generation task 전반에서 state-of-the-art block-wise PTQ보다 complex generation task의 정확도를 일관되게 향상시키면서도 language modeling과 understanding에서는 FP baseline과 동등한 성능을 유지합니다.
"},{"id":"61140","en":"video-SALMONN S: Memory-Enhanced Streaming Audio-Visual LLM","ko":"video-SALMONN S: 메모리 강화형 Streaming Audio-Visual LLM","authors":"Guangzhi Sun, Yixuan Li, Xiaodong Wu, Yudong Yang, Wei Li, Zejun MA, Chao Zhang","pos":"#1705","link":"https://openreview.net/forum?id=tJP3FxzSPs","abs":"Long-duration streaming video understanding is fundamental for future AI agents, yet remains limited by ineffective long-term memory. We introduce video-SALMONN S, a memory-enhanced streaming audio-visual large language model that processes over 3-hour videos at $1$ FPS and $360$p resolution, outperforming strong non-streaming models under the same memory budget. In addition to token merging or downsampling, video-SALMONN S is the first to employ test-time training (TTT) as a streaming memory mechanism for video understanding. TTT continuously transforms short-term multimodal representations into long-term memory embedded in model parameters. To improve long-range dependency modeling and memory capacity, we propose (i) a TTT$_\\text{MEM}$ layer with an additional long-span prediction objective, (ii) a two-stage training scheme, and (iii) a modality-aware memory reader. We further introduce the episodic learning from video memory (ELViM) benchmark, simulating agent-like scenarios where models must learn from videos observed hours earlier. video-SALMONN S consistently outperforms both streaming and non-streaming baselines by 3-7\\% on long video benchmarks. Notably, video-SALMONN S achieves a $15\\%$ absolute accuracy improvement over strong non-streaming models on ELViM, demonstrating strong learning abilities from video memory.","absKo":"장시간 streaming video 이해는 미래 AI agent에 필수적이지만, 효과적이지 못한 long-term memory 때문에 여전히 제한됩니다. 우리는 3시간이 넘는 비디오를 $1$ FPS와 $360$p 해상도로 처리하면서도 동일한 memory budget에서 강력한 non-streaming model을 능가하는 memory-enhanced streaming audio-visual large language model인 video-SALMONN S를 소개합니다. token merging이나 downsampling에 더해, video-SALMONN S는 video 이해를 위한 streaming memory mechanism으로 test-time training (TTT)을 처음으로 활용합니다. TTT는 short-term multimodal representation을 model parameter에 내재된 long-term memory로 지속적으로 변환합니다. 장거리 dependency modeling과 memory capacity를 향상시키기 위해, 우리는 (i) 추가적인 long-span prediction objective를 갖는 TTT$_\\text{MEM}$ layer, (ii) two-stage training scheme, 그리고 (iii) modality-aware memory reader를 제안합니다. 또한 몇 시간 전에 관측한 video로부터 모델이 학습해야 하는 agent-like scenario를 모사하는 episodic learning from video memory (ELViM) benchmark를 새롭게 제시합니다. video-SALMONN S는 long video benchmark에서 streaming 및 non-streaming baseline 모두보다 일관되게 3-7\\% 더 높은 성능을 보입니다. 특히 ELViM에서 video-SALMONN S는 강력한 non-streaming model 대비 $15\\%$의 absolute accuracy 향상을 달성하여, video memory로부터 학습하는 강한 능력을 입증합니다."},{"id":"66081","en":"Unified Episodic and Semantic Memory via Modulating Transformer FeedForward Layers","ko":"Transformer FeedForward 레이어 변조를 통한 통합 일화적·의미적 메모리","authors":"Yiqun Yao, Xiang Li, Xin Jiang, Xuezhi Fang, Naitong Yu, Siwei Dong, Wenjia Ma, Jing Li, Aixin Sun, Yequan Wang","pos":"#1709","link":"https://openreview.net/forum?id=7D5WD70jKj","abs":"It is widely recognized that, after generative pre-training, Transformer FeedForward layers implicitly function as semantic memory, encoding linguistic and factual knowledge, while the contexts in key–value (KV) cache contain raw events, serving as the source of models' episodic memory. In this work, we show that a same group of Transformer FeedForward-layer parameters can both be semantic and episodic memory, which is retrievable without explicitly attending to the related KV cache. To realize this idea, we introduce Hypermem, a hypernetwork that recurrently maps contexts into targeted updates of FeedForward parameters. We post-train the hypernetwork using continuation and random-access associative memory objectives, eliminating the need for test-time training. Extensive experiments demonstrate that our approach outperforms related methods, including MemoryLLM and generative adapter, on memory retrieval, long-context question answering, and personalization benchmarks, establishing a new state of the art for hypernetwork-based memory mechanisms. Our results suggest that directly bridging data and parameters provides a viable direction for exploring next-generation foundation models with more flexible and persistent memory capabilities.
","absKo":"generative pre-training 이후 Transformer FeedForward layer가 의미 기억(semantic memory)으로서 암묵적으로 기능하여 linguistic knowledge와 factual knowledge를 인코딩하고, key-value(KV) cache의 context는 raw event를 담아 model의 episodic memory의 원천이 된다는 점은 널리 알려져 있습니다. 이 작업에서 우리는 동일한 Transformer FeedForward-layer parameter 집합이 semantic memory이자 episodic memory일 수 있으며, 관련 KV cache를 명시적으로 참조하지 않고도 검색 가능하다는 것을 보입니다. 이 아이디어를 실현하기 위해, 우리는 context를 FeedForward parameter의 목표 업데이트로 반복적으로 매핑하는 hypernetwork인 Hypermem을 도입합니다. 우리는 continuation 및 random-access associative memory objective를 사용해 hypernetwork를 post-train하며, test-time training의 필요를 제거합니다. 광범위한 실험은 우리 접근법이 memory retrieval, long-context question answering, personalization benchmark에서 MemoryLLM과 generative adapter를 포함한 관련 방법을 능가하여, hypernetwork-based memory mechanism의 새로운 state of the art를 확립함을 보여줍니다. 우리의 결과는 데이터와 parameter를 직접 연결하는 것이 더 유연하고 지속적인 memory capability를 갖춘 차세대 foundation model을 탐구하는 실질적인 방향임을 시사합니다.
"},{"id":"64223","en":"Training–Inference Consistent Segmented Execution for Long-Context LLMs","ko":"긴 맥락 LLM을 위한 학습-추론 일관 분할 실행","authors":"Xianpeng Shang, Jiang Li, Zehua Duo, Qianyi Cai, Xiangdong Su","pos":"#1712","link":"https://openreview.net/forum?id=PoRigyDOcC","abs":"Transformer-based large language models face severe scalability challenges in long-context generation due to the computational and memory costs of full-context attention. Under practical computation and memory constraints, many inference-efficient long-context methods improve efficiency by adopting bounded-context or segment-level execution only during inference, while continuing to train models under full-context attention, resulting in a mismatch between training and inference execution and state-transition semantics. Based on this insight, we propose a training-consistent segment-level generation framework, in which training and inference follow the same segment-level forward execution semantics. During training, consistency with inference is enforced by restricting gradient propagation to KV states carried over from the immediately preceding segment, while permitting head-specific access to past KV states during the forward pass without involving them in gradient propagation. Across long-context benchmarks, our approach achieves performance comparable to full-context attention, while achieving competitive latency--memory trade-offs against strong inference-efficient baselines, and substantially improving scalability at very long context lengths (e.g., approximately $6\\times$ lower peak prefill memory at 128K compared to full-context attention with FlashAttention).","absKo":"Transformer 기반 large language model은 full-context attention의 계산 및 메모리 비용 때문에 long-context generation에서 심각한 확장성 문제에 직면한다. 실용적인 계산 및 메모리 제약 하에서, 많은 inference-efficient long-context 방법은 inference 시에만 bounded-context 또는 segment-level execution을 채택하여 효율성을 높이지만, 학습은 계속 full-context attention으로 수행하므로 training과 inference 사이의 실행 및 state-transition semantics가 불일치하게 된다. 이러한 통찰에 기반하여, 우리는 training과 inference가 동일한 segment-level forward execution semantics를 따르는 training-consistent segment-level generation framework를 제안한다. 학습 중에는, 직전 segment에서 전달된 KV state로만 gradient propagation을 제한하여 inference와의 일관성을 보장하는 한편, forward pass에서는 head-specific하게 과거 KV state에 접근할 수 있도록 하되 이를 gradient propagation에는 포함시키지 않는다. long-context benchmark 전반에서, 우리의 접근법은 full-context attention과 비견되는 성능을 달성하는 동시에, 강력한 inference-efficient baseline에 대해 경쟁력 있는 latency--memory trade-off를 보이며, 매우 긴 context length에서 확장성을 크게 향상시킨다(예: 128K에서 FlashAttention을 사용하는 full-context attention 대비 peak prefill memory가 약 $6\\times$ 더 낮음)."},{"id":"63178","en":"SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass","ko":"SHINE: 문맥을 단일 패스로 LoRA에 매핑하는 확장 가능한 In-Context 하이퍼네트워크","authors":"Yewei Liu, Xiyuan Wang, Yansheng Mao, Yoav Gelberg, Haggai Maron, Muhan Zhang","pos":"#1801","link":"https://openreview.net/forum?id=ZMexYcAibv","abs":"We propose SHINE (Scalable Hyper In-context NEtwork), a scalable hypernetwork that can map diverse meaningful contexts into high-quality LoRA adapters for large language models (LLM). By reusing the frozen LLM's own parameters in an in-context hypernetwork design and introducing architectural innovations, SHINE overcomes key limitations of prior hypernetworks and achieves strong expressive power with a relatively small number of parameters. We introduce a pretraining and instruction fine-tuning pipeline, and train our hypernetwork to generate high quality LoRA adapters from diverse meaningful contexts in a single forward pass. It updates LLM parameters without any fine-tuning, and immediately enables complex question answering tasks related to the context without directly accessing the context, effectively transforming in-context knowledge to in-parameter knowledge in one pass. Our work achieves outstanding results on various tasks, greatly saves time, computation and memory costs compared to SFT-based LLM adaptation, and shows great potential for scaling. Our code is available at https://anonymous.4open.science/r/metalora-734E
","absKo":"우리는 SHINE (Scalable Hyper In-context NEtwork)을 제안한다. 이는 다양한 의미 있는 context를 large language models (LLM)을 위한 고품질 LoRA adapter로 매핑할 수 있는 scalable hypernetwork이다. frozen LLM 자체의 parameter를 in-context hypernetwork design에서 재사용하고 구조적 혁신을 도입함으로써, SHINE은 기존 hypernetwork의 핵심 한계를 극복하며 비교적 적은 수의 parameter로도 강력한 표현력을 달성한다. 우리는 pretraining과 instruction fine-tuning pipeline을 도입하고, 단일 forward pass에서 다양한 의미 있는 context로부터 고품질 LoRA adapter를 생성하도록 hypernetwork를 학습시킨다. 이는 별도의 fine-tuning 없이 LLM parameter를 업데이트하며, context에 직접 접근하지 않고도 해당 context와 관련된 복잡한 question answering task를 즉시 가능하게 해, in-context knowledge를 한 번의 pass로 in-parameter knowledge로 효과적으로 변환한다. 우리의 연구는 다양한 task에서 뛰어난 결과를 달성하고, SFT-based LLM adaptation과 비교해 시간, 계산량, memory cost를 크게 절감하며, scaling에 대한 큰 잠재력을 보여준다. 코드는 https://anonymous.4open.science/r/metalora-734E 에서 확인할 수 있다.
"},{"id":"62024","en":"Stabilizing Native Low-Rank LLM Pretraining","ko":"저차원 네이티브 Low-Rank LLM 사전학습 안정화","authors":"Paul Janson, Edouard Oyallon, Eugene Belilovsky","pos":"#1810","link":"https://openreview.net/forum?id=kb5wjkqu8q","abs":"Foundation models have achieved remarkable success, yet their growing parameter counts pose significant computational and memory challenges. Low-rank factorization offers a promising route to reduce training and inference costs, but the community lacks a stable recipe for training models from scratch using exclusively low-rank weights while matching performance of the dense model. We demonstrate that Large Language Models (LLMs) can be trained from scratch using exclusively low-rank factorized weights for all non-embedding matrices without auxiliary \"full-rank\" guidance required by prior methods. While native low-rank training often suffers from instability and loss spikes, we identify uncontrolled growth in the spectral norm (largest singular value) of the weight matrix update as the dominant factor. To address this, we introduce Spectron: Spectral renormalization with orthogonalization, which dynamically bounds the resultant weight updates based on the current spectral norms of the factors. Our method enables stable, end-to-end factorized training with negligible overhead. Finally, we establish compute-optimal scaling laws for natively low-rank transformers, demonstrating predictable power-law behavior and improved inference efficiency relative to dense models. Our code is available at https://anonymous.4open.science/r/spectron-FB27
","absKo":"Foundation model은 놀라운 성공을 거두었지만, 증가하는 parameter 수는 심각한 계산 및 메모리 문제를 초래한다. Low-rank factorization은 training과 inference 비용을 줄이는 유망한 방법이지만, dense model의 성능에 맞추면서 오로지 low-rank weight만을 사용해 처음부터 모델을 학습하는 안정적인 recipe는 아직 부족하다. 우리는 prior method가 필요로 하던 보조적인 \"full-rank\" guidance 없이, embedding matrix를 제외한 모든 non-embedding matrix에 대해 오직 low-rank factorized weight만 사용하여 Large Language Model(LLM)을 scratch부터 학습할 수 있음을 보인다. native low-rank training은 종종 instability와 loss spike를 겪지만, 우리는 weight matrix update의 spectral norm(최대 singular value)의 통제되지 않은 증가가 지배적인 요인임을 확인했다. 이를 해결하기 위해 우리는 Spectron: Spectral renormalization with orthogonalization을 도입한다. 이는 현재 factor의 spectral norm을 기반으로 결과 weight update의 크기를 동적으로 제한한다. 우리의 방법은 사실상 추가 오버헤드 없이 안정적인 end-to-end factorized training을 가능하게 한다. 마지막으로, 우리는 native low-rank transformer에 대한 compute-optimal scaling law를 확립하여, dense model에 비해 예측 가능한 power-law behavior와 향상된 inference 효율을 보인다. 우리의 코드는 https://anonymous.4open.science/r/spectron-FB27에서 제공된다
"},{"id":"61765","en":"Swift-SVD: Theoretical Optimality Meets Practical Efficiency in Low-Rank LLM Compression","ko":"Swift-SVD: Low-Rank LLM Compression에서 이론적 최적성과 실용적 효율성의 결합","authors":"Ruoling Qi, Yirui Liu, Xuaner Wu, Xiangyu Wang, Ming Li, Chen Chen, Jian Chen, Yin Chen, Qizhen Weng","pos":"#1811","link":"https://openreview.net/forum?id=nAQ4h8FpdM","abs":"The deployment of Large Language Models is constrained by the memory and bandwidth demands of static weights and dynamic Key-Value cache. SVD-based compression provides a hardware-friendly solution to reduce these costs. However, existing methods suffer from two key limitations: some are suboptimal in reconstruction error, while others are theoretically optimal but practically inefficient. In this paper, we propose Swift-SVD, an activation-aware, closed-form compression framework that simultaneously guarantees theoretical optimum, practical efficiency and numerical stability. Swift-SVD incrementally aggregates covariance of output activations given a batch of inputs and performs a single eigenvalue decomposition after aggregation, enabling training-free, fast, and optimal layer-wise low-rank approximation. We employ effective rank to analyze local layer-wise compressibility and design a dynamic rank allocation strategy that jointly accounts for local reconstruction loss and end-to-end layer importance. Extensive experiments across six LLMs and eight datasets demonstrate that Swift-SVD outperforms state-of-the-art baselines, achieving optimal compression accuracy while delivering 3–70$\\times$ speedups in end-to-end compression time. Our code will be released upon acceptance.","absKo":"Large Language Models의 배포는 static weights와 dynamic Key-Value cache의 메모리 및 대역폭 요구에 의해 제약된다. SVD 기반 compression은 이러한 비용을 줄이기 위한 hardware-friendly한 해결책을 제공한다. 그러나 기존 방법들은 두 가지 핵심 한계가 있다. 일부는 reconstruction error 측면에서 suboptimal하고, 다른 일부는 이론적으로는 optimal하지만 실제로는 비효율적이다. 본 논문에서는 이론적 최적성, 실용적 효율성, 수치적 안정성을 동시에 보장하는 activation-aware closed-form compression framework인 Swift-SVD를 제안한다. Swift-SVD는 입력 batch에 대해 output activations의 covariance를 점진적으로 집계한 뒤, 집계 후 단 한 번의 eigenvalue decomposition을 수행하여, training-free하고 빠르며 optimal한 layer-wise low-rank approximation을 가능하게 한다. 또한 effective rank를 사용해 local layer-wise compressibility를 분석하고, local reconstruction loss와 end-to-end layer importance를 함께 고려하는 dynamic rank allocation strategy를 설계한다. 6개의 LLM과 8개의 데이터셋에 대한 광범위한 실험은 Swift-SVD가 state-of-the-art baselines를 능가하며, 최적의 compression accuracy를 달성하는 동시에 end-to-end compression time을 3–70$\\times$까지 단축함을 보여준다. 코드는 채택 후 공개할 예정이다."},{"id":"65601","en":"RaBiT: Residual Aware Binarization Training for Accurate and Efficient LLMs","ko":"RaBiT: 정확하고 효율적인 LLM을 위한 잔차 인식 이진화 학습","authors":"Youngcheon You, Banseok Lee, Minseop Choi, Seonyoung Kim, Hyochan Chong, Changdong Kim, Youngmin Kim, Dongkyu Kim","pos":"#1905","link":"https://openreview.net/forum?id=BypcZOrSUV","abs":"Efficient deployment of large language models (LLMs) requires extreme quantization, forcing a critical trade-off between low-bit efficiency and performance. Residual binarization promises hardware-friendly, matmul-free inference by stacking binary ($\\pm$1) layers, but is plagued by pathological feature co-adaptation. We identify a key failure mode, which we term inter-path adaptation: during Quantization-Aware Training (QAT), parallel residual binary paths learn redundant features, degrading the error-compensation structure and crippling the model's expressive capacity. While prior work relies on heuristic workarounds (e.g., path freezing) that limit model capacity, we propose RaBiT, a novel quantization framework that resolves co-adaptation by algorithmically enforcing a residual hierarchy. Its core mechanism sequentially derives each binary path from a single shared full-precision weight, ensuring each path corrects its predecessor's error. This process is stabilized by a robust initialization that prioritizes functional preservation over mere weight approximation. RaBiT redefines the 2-bit accuracy-efficiency frontier: it achieves state-of-the-art performance, rivals even hardware-intensive Vector Quantization (VQ) methods, and delivers a 4.49$\\times$ inference speed-up over full-precision models on an RTX 4090.","absKo":"대규모 language model(LLM)의 효율적 배포에는 극단적 quantization이 필요하며, 이는 low-bit 효율성과 성능 사이의 중요한 trade-off를 강제한다. Residual binarization은 binary($\\pm$1) layer를 쌓아 hardware-friendly하고 matmul-free한 inference를 약속하지만, 병적인 feature co-adaptation에 시달린다. 우리는 Quantization-Aware Training(QAT) 동안 parallel residual binary path가 중복된 feature를 학습하여 error-compensation structure를 약화시키고 모델의 expressive capacity를 저해하는 핵심 실패 모드, 즉 inter-path adaptation을 식별한다. 기존 연구가 model capacity를 제한하는 heuristic workaround(예: path freezing)에 의존하는 반면, 우리는 residual hierarchy를 algorithmically 강제함으로써 co-adaptation을 해소하는 새로운 quantization framework인 RaBiT를 제안한다. 그 핵심 메커니즘은 단일 shared full-precision weight로부터 각 binary path를 순차적으로 도출하여, 각 path가 이전 path의 error를 보정하도록 보장한다. 이 과정은 단순한 weight approximation보다 functional preservation을 우선하는 robust initialization으로 안정화된다. RaBiT는 2-bit accuracy-efficiency frontier를 재정의한다: state-of-the-art 성능을 달성하고, hardware-intensive Vector Quantization(VQ) 방법과도 견줄 만하며, RTX 4090에서 full-precision model 대비 4.49$\\times$ inference speed-up을 제공한다."},{"id":"60751","en":"ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs","ko":"ParisKV: Long-Context LLM을 위한 빠르고 Drift-Robust한 KV-Cache 검색","authors":"Yanlin Qi, Xinhang Chen, Huiqiang Jiang, Qitong Wang, Botao Peng, Themis Palpanas","pos":"#1913","link":"https://openreview.net/forum?id=wxD4wTYQXt","abs":"KV-cache retrieval is essential for long-context LLM inference, yet existing methods struggle with distribution drift and high latency at scale. We introduce ParisKV, a drift-robust, GPU-native KV-cache retrieval framework based on collision-based candidate selection, followed by a quantized inner-product reranking estimator. For million-token contexts, ParisKV supports CPU-offloaded KV caches via Unified Virtual Addressing (UVA), enabling on-demand top-k fetching with minimal overhead. ParisKV matches or outperforms full-attention quality on both long-input and long-generation benchmarks. It achieves state-of-the-art long-context decoding efficiency: it matches or exceeds full-attention speed even at batch size 1 for long contexts, delivers up to 2.8× higher throughput within full attention’s runnable range, and scales to million-token contexts where full attention runs out of memory. At million-token scale, ParisKV reduces decode latency by 17× and 44× compared to MagicPIG and PQCache, respectively—two state-of-the-art KV-cache top-k retrieval baselines.
","absKo":"KV-cache retrieval은 long-context LLM inference에 필수적이지만, 기존 방법은 distribution drift와 대규모에서의 높은 latency 문제를 겪는다. 우리는 collision-based candidate selection 뒤에 quantized inner-product reranking estimator를 결합한, drift-robust하고 GPU-native한 KV-cache retrieval framework인 ParisKV를 소개한다. million-token context의 경우 ParisKV는 Unified Virtual Addressing(UVA)을 통한 CPU-offloaded KV cache를 지원하여, 최소한의 overhead로 on-demand top-k fetching을 가능하게 한다. ParisKV는 long-input 및 long-generation benchmark 모두에서 full-attention 수준의 품질에 맞먹거나 이를 능가한다. 또한 최첨단 long-context decoding efficiency를 달성한다. 즉, long context에서 batch size 1에서도 full-attention 속도와 같거나 이를 능가하며, full attention의 실행 가능 범위 내에서는 최대 2.8× 더 높은 throughput을 제공하고, full attention이 memory out-of-memory에 도달하는 million-token context까지 확장된다. million-token 규모에서 ParisKV는 MagicPIG 및 PQCache에 비해 decode latency를 각각 17×, 44× 줄이는데, 이 둘은 최첨단 KV-cache top-k retrieval baseline이다."},{"id":"63359","en":"Less is More: Geometric Unlearning for LLMs with Minimal Data Disclosure","ko":"적을수록 좋다: 최소 데이터 공개를 통한 LLM의 기하학적 언러닝","authors":"Chenchen Tan, Xinghao Li, Shujie Cui, Youyang Qu, Cunjian Chen, Longxiang Gao","pos":"#2000","link":"https://openreview.net/forum?id=XmWKBDYmtk","abs":"As large language models (LLMs) are increasingly deployed in real-world systems, they must support post-hoc removal of specific content to meet privacy and governance requirements. This motivates selective unlearning, which suppresses information about a particular entity or topic while preserving the LLM’s general utility. However, most existing LLM unlearning methods require access to the original training corpus and rely on output-level refusal tuning or broad gradient updates, creating a tension among unlearning strength, non-target preservation, and data availability. We propose Geometric Unlearning (GU), an approach that operates directly on the model’s prompt-time planning states without access to the original training corpus. GU distills a compact, low-rank geometry of desired safe behavior from a small set of safe reference prompts, and uses lightweight anchor-in-context synthetic prompts to trigger localized, projection-based alignment of hidden planning representations to this safe geometry. A teacher-distillation regularizer on synthetic non-target anchors further reduces collateral drift. Across privacy-oriented unlearning benchmarks (ToFU and UnlearnPII), GU achieves strong target suppression with minimal impact on non-target performance, demonstrating that effective unlearning can be achieved with minimal synthetic data.
","absKo":"대규모 언어 모델 (LLMs)이 실제 시스템에 점점 더 많이 배치됨에 따라, privacy 및 governance 요구사항을 충족하기 위해 특정 content를 사후적으로 제거할 수 있어야 한다. 이는 selective unlearning을 필요로 하며, 이는 LLM의 일반적 유용성을 보존하면서 특정 entity나 topic에 대한 정보를 억제하는 것을 목표로 한다. 그러나 기존 LLM unlearning 방법의 대부분은 원본 training corpus에 대한 접근을 필요로 하고, output-level refusal tuning이나 광범위한 gradient update에 의존하여, unlearning 강도, 비대상 보존, 데이터 가용성 사이에 긴장을 초래한다. 우리는 원본 training corpus에 접근하지 않고 model의 prompt-time planning state에 직접 작동하는 Geometric Unlearning (GU)를 제안한다. GU는 작은 수의 safe reference prompt로부터 원하는 safe behavior의 compact한 저랭크 geometry를 distill하고, lightweight anchor-in-context synthetic prompt를 사용하여 hidden planning representation이 이 safe geometry에 국소적이고 projection-based하게 정렬되도록 유도한다. synthetic non-target anchor에 대한 teacher-distillation regularizer는 부수적 drift를 추가로 줄인다. privacy-oriented unlearning benchmark (ToFU 및 UnlearnPII) 전반에서 GU는 non-target 성능에 최소한의 영향을 주면서 강력한 target suppression을 달성하여, 최소한의 synthetic data만으로도 효과적인 unlearning이 가능함을 보여준다.
"},{"id":"65033","en":"Low-cost Full Fine-tuning: Learning What to Update for LLMs","ko":"저비용 전체 Fine-tuning: LLM을 위해 무엇을 업데이트할지 학습하기","authors":"Li, Yaming Guo, Shenghao Gao, Xinlong Chen, Zuhao Xu, Ying Sun, Chao Wang, Hui Xiong","pos":"#2002","link":"https://openreview.net/forum?id=HXrSe2LYFc","abs":"While Large language models (LLMs) have strong abilities, they generally rely on fine-tuning to supplement downstream task-specific knowledge. Due to the prohibitive memory overhead of full fine-tuning (FT), existing parameter-efficient fine-tuning techniques, e.g., LoRA and Adapters, update parameters only in low-rank or restricted subspaces. However, they fail to approximate FT---the performative fine-tuner---and risk performance degradation in tough tasks. Therefore, we naturally raise a Low-cost Full Fine-tuning question: Can we approach standard full fine-tuning in theory, yet with much lower costs in practice? Our key insight is that performing selective updates at each step can, theoretically, recover FT asymptotically, while being cost-effective and ignoring no parameter direction. This motivates a new general fine-tuning paradigm (called Think-Touch): we first predict potentials of parameter groups (think) and then update only the selected (touch) in one step. Theoretically, we show that under a very weak sufficient condition---divergence of the cumulative coverage of the expected gradient norm---any selection strategy can converge in the full-parameter space to a stationary point at which the FT admits no further first-order improvement. Besides, we further derive the general convergence rate for our paradigm and identify a post-hoc greedy strategy that is rate-optimal. Unfortunately, this strategy cannot be directly applied in practice due to its reliance on full and accurate gradient information. Thus, we propose a bandit-based method to online approximate this ideal strategy in the long run with a rigorous regret guarantee. Extensive experimental results on various tasks demonstrate the potential of our paradigm, including much lower space overheads against FT and better performance than LoRAs.
","absKo":"Large language models (LLMs)는 강력한 능력을 지니고 있지만, 일반적으로 다운스트림 task-specific 지식을 보완하기 위해 fine-tuning에 의존한다. 전체 fine-tuning(FT)의 막대한 메모리 오버헤드 때문에, LoRA와 Adapters 같은 기존 parameter-efficient fine-tuning 기법은 낮은 rank 또는 제한된 subspace에서만 parameter를 갱신한다. 그러나 이들은 FT---performative fine-tuner---를 근사하는 데 실패하며, 어려운 태스크에서 성능 저하를 초래할 위험이 있다. 따라서 우리는 자연스럽게 Low-cost Full Fine-tuning 질문을 던진다. 이론적으로는 표준 full fine-tuning에 근접하면서도, 실제로는 훨씬 낮은 비용으로 이를 달성할 수 있는가? 우리의 핵심 통찰은 각 단계에서 selective update를 수행하면, 이론적으로 FT를 점근적으로 복원할 수 있으며, 동시에 비용 효율적이고 어떤 parameter 방향도 무시하지 않는다는 점이다. 이는 새로운 일반 fine-tuning 패러다임(Think-Touch)을 낳는다. 우리는 먼저 parameter group의 potential을 예측하고(think), 그다음 선택된 것만 한 번에 갱신한다(touch). 이론적으로, 우리는 매우 약한 충분조건인 expected gradient norm의 cumulative coverage가 발산한다는 조건 하에서, 어떤 selection strategy라도 full-parameter space에서 stationary point로 수렴할 수 있으며, 그 지점에서는 FT가 더 이상 first-order improvement를 제공하지 않음을 보인다. 더 나아가, 우리는 이 패러다임의 일반 수렴률을 도출하고, rate-optimal한 사후 greedy 전략을 식별한다. 그러나 이 전략은 full하고 정확한 gradient 정보에 의존하므로 실제로는 직접 적용할 수 없다. 따라서 우리는 장기적으로 이 이상적 전략을 엄밀한 regret 보장과 함께 온라인으로 근사하는 bandit-based method를 제안한다. 다양한 태스크에 대한 광범위한 실험 결과는 FT에 비해 훨씬 낮은 공간 오버헤드와 LoRA보다 더 나은 성능을 포함하여, 우리의 패러다임의 잠재력을 보여준다.
"},{"id":"61250","en":"NaRA: Noise-Aware LoRA for Parameter-Efficient Fine-Tuning of Diffusion LLMs","ko":"NaRA: Diffusion LLM의 Parameter-Efficient Fine-Tuning을 위한 Noise-Aware LoRA","authors":"Shuaidi Wang, Zhan Zhuang, HUANG Ruping, Yu Zhang","pos":"#2013","link":"https://openreview.net/forum?id=s8UGIRF38a","abs":"Diffusion Large Language Models (dLLMs) have emerged as a promising non-autoregressive generative paradigm. Given the prohibitive computational cost of full fine-tuning, Parameter-Efficient Fine-Tuning (PEFT) has become the standard approach. However, existing PEFT methods (e.g., LoRA), originally tailored for autoregressive models, rely on static parameters that are agnostic to the noise level. Consequently, they ignore the intrinsic dynamics of the diffusion process, where input distributions and generation difficulty shift significantly along the denoising trajectory, rendering them suboptimal for dLLMs. To address this, we propose Noise-aware Low-Rank Adaptation (NaRA), which introduces a low-rank core matrix generated by a lightweight, globally shared hypernetwork conditioned on the noise level. This design enables the update matrices to vary continuously along the diffusion process while keeping parameter and latency overhead negligible. We provide a theoretical justification for the proposed NaRA framework and empirically demonstrate consistent improvements over noise-agnostic baselines across commonsense reasoning, mathematical reasoning, and code generation benchmarks.
","absKo":"Diffusion Large Language Model (dLLM)은 유망한 non-autoregressive generative paradigm으로 부상했다. 전체 fine-tuning의 계산 비용이 지나치게 크기 때문에, Parameter-Efficient Fine-Tuning (PEFT)이 표준 접근법이 되었다. 그러나 기존 PEFT 방법들(예: LoRA)은 본래 autoregressive model을 위해 설계되었으며, noise level에 무관한 static parameter에 의존한다. 그 결과 입력 분포와 생성 난이도가 denoising trajectory를 따라 크게 변하는 diffusion process의 본질적 dynamics를 무시하게 되어, dLLM에 대해 최적이 아니다. 이를 해결하기 위해, 우리는 noise level에 조건화된 lightweight의 globally shared hypernetwork가 생성하는 low-rank core matrix를 도입하는 Noise-aware Low-Rank Adaptation (NaRA)을 제안한다. 이 설계는 parameter와 latency overhead를 거의 증가시키지 않으면서, update matrix가 diffusion process를 따라 연속적으로 변하도록 만든다. 우리는 제안한 NaRA framework에 대한 이론적 근거를 제시하고, commonsense reasoning, mathematical reasoning, code generation benchmark 전반에서 noise-agnostic baseline 대비 일관된 향상을 실증적으로 보인다.
"},{"id":"65723","en":"NeUQI: Near-Optimal Uniform Quantization Parameter Initialization for Low-Bit LLMs","ko":"NeUQI: 저비트 LLM을 위한 준최적 균일 양자화 파라미터 초기화","authors":"Li Lin, Xinyu Hu, Xiaojun Wan","pos":"#2014","link":"https://openreview.net/forum?id=AnCy6IUr2V","abs":"Large language models (LLMs) achieve impressive performance across domains but face significant challenges when deployed on consumer-grade GPUs or personal devices such as laptops, due to high memory consumption and inference costs. Post-training quantization (PTQ) of LLMs offers a promising solution that reduces their memory footprint and decoding latency. In practice, PTQ with uniform quantization representation is favored due to its efficiency and ease of deployment, as uniform quantization is widely supported by mainstream hardware and software libraries. Recent studies on low-bit uniform quantization have led to noticeable improvements in post-quantization model performance; however, they mainly focus on quantization methodologies, while the initialization of quantization parameters remains underexplored and still relies on the conventional Min-Max formula. In this work, we identify the limitations of the Min-Max formula, move beyond its constraints, and propose NeUQI, a method that efficiently determines near-optimal initialization for uniform quantization. Our NeUQI simplifies the joint optimization of the scale and zero-point by deriving the zero-point for a given scale, thereby reducing the problem to a scale-only optimization. Benefiting from the improved quantization parameters, our NeUQI consistently outperforms existing methods in the experiments with the LLaMA and Qwen families on various settings and tasks. Furthermore, when combined with a lightweight distillation strategy, NeUQI even achieves superior performance to PV-tuning, a considerably more resource-intensive method.
","absKo":"Large language models (LLMs)는 다양한 도메인에서 인상적인 성능을 달성하지만, 높은 memory consumption과 inference cost 때문에 consumer-grade GPU나 laptop 같은 개인 장치에 배포할 때 큰 어려움에 직면한다. LLM의 post-training quantization (PTQ)은 memory footprint와 decoding latency를 줄이는 유망한 해결책을 제공한다. 실제로 uniform quantization representation을 사용한 PTQ는 주류 hardware와 software library에서 널리 지원되어 효율성과 배포 용이성이 뛰어나므로 선호된다. 최근 low-bit uniform quantization에 대한 연구는 quantization 이후 model performance의 눈에 띄는 향상을 이끌었지만, 주로 quantization methodology에 초점을 맞추고 있으며 quantization parameter의 initialization은 아직 충분히 탐구되지 않았고 여전히 전통적인 Min-Max formula에 의존하고 있다. 본 연구에서는 Min-Max formula의 한계를 규명하고 그 제약을 넘어, uniform quantization을 위한 near-optimal initialization을 효율적으로 결정하는 방법인 NeUQI를 제안한다. 우리의 NeUQI는 주어진 scale에 대해 zero-point를 유도함으로써 scale과 zero-point의 joint optimization을 단순화하고, 문제를 scale-only optimization으로 환원한다. 개선된 quantization parameter의 이점을 바탕으로, NeUQI는 다양한 setting과 task에서 LLaMA와 Qwen family를 대상으로 한 실험에서 기존 방법을 일관되게 능가한다. 더 나아가, lightweight distillation strategy와 결합하면 NeUQI는 훨씬 더 많은 자원을 요구하는 방법인 PV-tuning보다도 우수한 성능을 달성한다.
"},{"id":"62607","en":"OBCache: Optimal Brain KV Cache Pruning for Efficient Long-Context LLM Inference","ko":"OBCache: 효율적 Long-Context LLM Inference를 위한 Optimal Brain KV Cache Pruning","authors":"Yuzhe Gu, Xiyu Liang, Jiaojiao Zhao, Enmao Diao","pos":"#2015","link":"https://openreview.net/forum?id=f58VZpG6ls","abs":"Large language models (LLMs) with extended context windows enable powerful applications but impose significant memory overhead, as caching all key–value (KV) states scales linearly with sequence length and batch size. Existing cache eviction methods address this by exploiting attention sparsity, yet they typically rank tokens heuristically using accumulated attention weights without considering their true impact on attention outputs. We propose Optimal Brain Cache (OBCache), a principled framework that formulates cache eviction as a layer-wise structured pruning problem. Building upon the Optimal Brain Damage (OBD) theory, OBCache quantifies token saliency by measuring the perturbation in attention outputs induced by pruning tokens, with closed-form scores derived for isolated keys, isolated values, and joint key–value pairs. Our scores account not only for attention weights but also for information from value states and attention outputs, thereby enhancing existing eviction strategies with output-aware signals. Experiments on LLaMA and Qwen models demonstrate that replacing the heuristic scores in existing works, which estimate token saliency across different query positions, with OBCache's output-aware scores consistently improves long-context accuracy.
","absKo":"extended context window를 가진 Large language models (LLMs)는 강력한 응용을 가능하게 하지만, 모든 key-value (KV) state를 캐시하면 sequence length와 batch size에 선형적으로 비례하여 메모리 오버헤드가 크게 증가한다. 기존 cache eviction 방법들은 attention sparsity를 활용하여 이를 해결하지만, 보통 누적 attention weight를 사용해 휴리스틱하게 token을 순위화할 뿐 attention output에 대한 실제 영향은 고려하지 않는다. 우리는 cache eviction을 layer-wise structured pruning 문제로 정식화하는 원리 있는 프레임워크인 Optimal Brain Cache (OBCache)를 제안한다. Optimal Brain Damage (OBD) 이론을 바탕으로, OBCache는 token pruning이 유발하는 attention output의 perturbation을 측정하여 token saliency를 정량화하며, isolated key, isolated value, joint key-value pair에 대한 closed-form score를 도출한다. 우리의 score는 attention weight뿐 아니라 value state와 attention output의 정보도 반영하므로, output-aware signal로 기존 eviction 전략을 강화한다. LLaMA와 Qwen 모델에서의 실험은 서로 다른 query position 전반에서 token saliency를 추정하는 기존 연구의 휴리스틱 score를 OBCache의 output-aware score로 대체하면 long-context accuracy가 일관되게 향상됨을 보여준다.
"},{"id":"62127","en":"LIFT: A Novel Framework for Enhancing Long-Context Understanding of LLMs via Long Input Fine-Tuning","ko":"LIFT: Long Input Fine-Tuning을 통해 LLM의 Long-Context 이해를 향상하는 새로운 프레임워크","authors":"Yansheng Mao, Yufei Xu, Jiaqi Li, Fanxu Meng, Haotong Yang, Zilong Zheng, Xiyuan Wang, Muhan Zhang","pos":"#2102","link":"https://openreview.net/forum?id=jciD7uTWu7","abs":"Long context understanding remains challenging for large language models due to their limited context windows. This paper introduces Long Input Fine-Tuning (LIFT), a novel framework for long-context modeling that can enhance the long-context performance of arbitrary short-context LLMs by dynamically adapting their parameters to the given long input. Importantly, rather than endlessly extending the context window size to accommodate increasingly longer inputs in context, LIFT stores and absorbs the long input in parameters. By fine-tuning the long input into model parameters, LIFT allows short-context LLMs to answer questions even when the required information is not provided in the context during inference, avoiding the quadratic complexity w.r.t. input length of a normal long context model. Furthermore, LIFT does not simply perform continued pretraining on new, long contexts, but leverages carefully designed LLM-generated synthetic tasks to enhance the comprehension of long contexts, moving beyond mere memorization. To accommodate the additional cost of fine-tuning, we design a highly optimized pipeline that reduces the Time to First Token (TTFT) to less than 10 seconds for 8k context. We further provide a comprehensive analysis of LIFT's strengths and limitations in long-context understanding, discuss its feasibility for large-scale real-world deployment, and highlight valuable directions for future research.
","absKo":"긴 context 이해는 context window의 제한 때문에 large language model에게 여전히 어렵습니다. 본 논문은 Long Input Fine-Tuning (LIFT)를 소개합니다. LIFT는 주어진 긴 입력에 맞추어 매개변수를 동적으로 적응시킴으로써, 임의의 short-context LLM의 long-context 성능을 향상시킬 수 있는 새로운 long-context modeling framework입니다. 중요한 점은, 점점 더 긴 입력을 수용하기 위해 context window 크기를 끝없이 늘리는 대신, LIFT는 긴 입력을 parameter에 저장하고 흡수한다는 것입니다. 긴 입력을 model parameter로 fine-tuning함으로써, LIFT는 inference 시 context에 필요한 정보가 직접 제공되지 않더라도 short-context LLM이 질문에 답할 수 있게 하며, 일반적인 long context model의 입력 길이에 대한 quadratic complexity를 피합니다. 또한 LIFT는 단순히 새로운 긴 context에 대해 continued pretraining을 수행하는 것이 아니라, 긴 context의 이해를 향상시키기 위해 carefully designed LLM-generated synthetic task를 활용하여 단순한 memorization을 넘어섭니다. 추가적인 fine-tuning 비용을 감당하기 위해, 우리는 8k context에서 Time to First Token (TTFT)을 10초 미만으로 줄이는 고도로 최적화된 pipeline을 설계했습니다. 나아가 LIFT의 long-context 이해에 대한 강점과 한계를 포괄적으로 분석하고, 대규모 실세계 배치에서의 실현 가능성을 논의하며, 향후 연구를 위한 유용한 방향을 제시합니다.
"},{"id":"66476","en":"Inner-layer Token Self-Modulation as Another Scaling Axis for LLMs","ko":"LLM을 위한 또 다른 스케일링 축으로서의 내부 계층 토큰 자기 변조","authors":"Yebin Yang, Debing Zhang, Huaijin Wu, Jingtao Han, Lin Yao, Xiaohan Qin, Jingzhi Wang, Junchi Yan","pos":"#2105","link":"https://openreview.net/forum?id=3LMSxta2fx","abs":"LLMs have traditionally scaled along dense dimensions, where performance is coupled with near-linear increases in computational cost. While MoE decouples capacity from compute, it introduces large memory overhead and hardware efficiency challenges. To overcome these, we propose token-indexed parameters as a novel, orthogonal scaling axis that decouple model capacity from FLOPs. Specifically, we introduce ReToken and MoRT, which augment Transformer layers with modulation vectors retrieved from auxiliary embedding tables. These vectors modulate the backbone via lightweight, element-wise operations, incurring negligible FLOPs overhead. Extensive experiments on both dense and MoE backbones, spanning from 190M to 9.8B parameters, demonstrate that our approach consistently reduces validation loss and significantly improves downstream task performance (e.g., +7.3 on ARC-C, +6.3 on GSM8K). Rigorous isoFLOPs analysis further confirms that MoRT fundamentally shifts the quality–compute Pareto frontier, achieving comparable model quality with 35\\% less compute relative to vanilla MoE architectures, and we validate that token-indexed parameters exhibit a predictable power-law scaling behavior. Moreover, our efficient implementation ensures that the overhead introduced by ReToken and MoRT remains marginal.
","absKo":"LLM은 전통적으로 dense dimension을 따라 확장되어 왔으며, 성능은 계산 비용의 거의 선형적인 증가와 결부되어 있었다. MoE는 capacity와 compute를 분리하지만, 큰 memory overhead와 hardware efficiency 문제를 초래한다. 이를 극복하기 위해 우리는 model capacity를 FLOPs와 분리하는 새로운 orthogonal scaling axis로서 token-indexed parameter를 제안한다. 구체적으로, 우리는 Transformer layer를 auxiliary embedding table에서 retrieved되는 modulation vector로 확장하는 ReToken과 MoRT를 도입한다. 이 vector들은 lightweight한 element-wise operation을 통해 backbone을 조절하며, 무시할 수 있을 정도의 FLOPs overhead만을 발생시킨다. 190M에서 9.8B parameter에 이르는 dense 및 MoE backbone 전반에서 수행한 광범위한 실험은, 우리의 접근이 validation loss를 일관되게 줄이고 downstream task 성능을 크게 향상시킴을 보여준다(예: ARC-C에서 +7.3, GSM8K에서 +6.3). 엄밀한 isoFLOPs 분석은 MoRT가 quality–compute Pareto frontier를 근본적으로 이동시켜, vanilla MoE architecture 대비 35\\% 적은 compute로도 비슷한 model quality를 달성함을 추가로 확인하며, token-indexed parameter가 예측 가능한 power-law scaling behavior를 보임을 검증한다. 또한 우리의 효율적인 구현은 ReToken과 MoRT가 도입하는 overhead가 미미한 수준에 머물도록 보장한다.
"},{"id":"65201","en":"From Growing to Looping: A Unified View of Iterative Computation in LLMs","ko":"성장에서 순환으로: LLM에서 반복 계산의 통합적 관점","authors":"Ferdinand Kapl, Emmanouil Angelis, Kaitlin Maile, Johannes von Oswald, Stefan Bauer","pos":"#2114","link":"https://openreview.net/forum?id=FrXKVuK0yS","abs":"Looping, reusing a block of layers across depth, and depth growing, training shallow-to-deep models by duplicating middle layers, have both been linked to stronger reasoning, but their relationship remains unclear. We provide a mechanistic unification: looped and depth-grown models exhibit convergent depth-wise signatures, including increased reliance on late layers and recurring patterns aligned with the looped or grown block. These shared signatures support the view that their gains stem from a common form of iterative computation. Building on this connection, we show that the two techniques are adaptable and composable: applying inference-time looping to the middle blocks of a depth-grown model improves accuracy on some reasoning primitives by up to $2\\times$, despite the model never being trained to loop. Both approaches also adapt better than the baseline when given more in-context examples or additional supervised fine-tuning data. Additionally, depth-grown models achieve the largest reasoning gains when using higher-quality, math-heavy cooldown mixtures, which can be further boosted by adapting a middle block to loop. Overall, our results position depth growth and looping as complementary, practical methods for inducing and scaling iterative computation to improve reasoning.","absKo":"깊이를 따라 block 하나를 반복적으로 재사용하는 looping과 middle layer를 복제하여 shallow-to-deep model을 학습시키는 depth growing은 모두 더 강한 reasoning과 연결되어 왔지만, 둘의 관계는 여전히 분명하지 않다. 우리는 mechanistic unification을 제시한다. looped model과 depth-grown model은 late layer에 대한 의존 증가와 looped 또는 grown block과 정렬된 반복 패턴을 포함하는, 깊이 방향으로 수렴하는 signature를 보인다. 이러한 공유 signature는 두 방법의 성능 향상이 공통된 형태의 iterative computation에서 비롯된다는 관점을 지지한다. 이 연결 위에서 우리는 두 기법이 적응 가능하고 조합 가능하다는 점을 보인다. inference-time looping을 depth-grown model의 middle block에 적용하면, 모델이 loop하도록 학습된 적이 없음에도 일부 reasoning primitive에서 정확도를 최대 $2\\times$까지 향상시킨다. 또한 두 접근법 모두 더 많은 in-context example 또는 추가 supervised fine-tuning data가 주어졌을 때 baseline보다 더 잘 적응한다. 더불어 depth-grown model은 더 높은 품질의 math-heavy cooldown mixture를 사용할 때 가장 큰 reasoning 향상을 달성하며, middle block을 loop하도록 적응시키면 이를 추가로 끌어올릴 수 있다. 전체적으로, 우리의 결과는 depth growth와 looping을 reasoning을 개선하기 위해 iterative computation을 유도하고 확장하는 상호보완적이고 실용적인 방법으로 위치시킨다."},{"id":"63441","en":"Diffract: Spectral View of LLM Domain Adaptation","ko":"Diffract: LLM 도메인 적응의 스펙트럼 관점","authors":"Nikita Borodin, Maria Krylova, Artem Zabolotnyi, Dmitry Aspisov, Egor Shikov, Nikita Tyuplyaev, Oleg Travkin, Roman Alferov, Dmitry Vinichenko","pos":"#2206","link":"https://openreview.net/forum?id=XBUHoiAGDE","abs":"We study continual pre-training (CPT) as a mechanism for adapting general-purpose large language models to specialized domains: mathematics, instruction, code, and natural text. Using singular value decomposition of weight matrices, we find that CPT leaves singular value spectra largely invariant, with adaptation driven mainly by changes in singular vectors. An analysis of attention-head projection matrices reveals strong, domain-dependent head heterogeneity, which we exploit to define a head-importance criterion: up to 60\\% of head updates can be removed without measurable quality loss. Selectively rewinding low-importance heads to their pre-trained state improves benchmark accuracy by up to 4\\% versus the fully trained baseline. Finally, we identify domain connectivity—linear interpolation between CPT checkpoints yields smooth domain-quality interpolation without notable degradation on either domain—and release Diffract, an open-source toolkit for scalable spectral analysis of billion-parameter models.
","absKo":"우리는 continual pre-training (CPT)을 범용 large language model을 수학, instruction, code, 일반 텍스트와 같은 특화 도메인에 적응시키는 메커니즘으로 연구한다. weight matrix에 singular value decomposition을 적용한 결과, CPT는 singular value spectrum을 대체로 불변으로 유지하며, 적응은 주로 singular vector의 변화에 의해 이뤄짐을 확인했다. attention-head projection matrix 분석은 강한 도메인 의존적 head heterogeneity를 드러내며, 이를 활용해 head-importance criterion을 정의할 수 있다: head update의 최대 60\\%를 제거해도 측정 가능한 품질 손실이 없다. 중요도가 낮은 head를 pre-trained 상태로 선택적으로 rewind하면 완전 학습 baseline 대비 benchmark 정확도가 최대 4\\% 향상된다. 마지막으로, 우리는 domain connectivity를 확인했다. 즉 CPT checkpoint 사이의 linear interpolation은 어느 한 도메인에서도 눈에 띄는 성능 저하 없이 매끄러운 도메인 품질 보간을 유도한다. 또한 billion-parameter model의 확장 가능한 spectral analysis를 위한 오픈소스 toolkit인 Diffract를 공개한다.
"},{"id":"62815","en":"Effective MoE-based LLM Compression by Exploiting Heterogeneous Inter-Group Experts Routing Frequency and Information Density","ko":"이질적 Inter-Group Experts Routing Frequency와 Information Density를 활용한 효과적인 MoE 기반 LLM Compression","authors":"Zhendong Mi, Yixiao Chen, Pu Zhao, Xiaodong Yu, Hao Wang, Yanzhi Wang, Shaoyi Huang","pos":"#2207","link":"https://openreview.net/forum?id=czym69s5GU","abs":"Mixture-of-Experts (MoE) based Large Language Models (LLMs) have achieved superior performance, yet the massive memory overhead caused by storing multiple expert networks severely hinders their practical deployment. Singular Value Decomposition (SVD)-based compression has emerged as a promising post-training technique; however, most existing methods apply uniform rank allocation or rely solely on static weight properties. This overlooks the substantial heterogeneity in expert utilization observed in MoE models, where frequent routing patterns and intrinsic information density vary significantly across experts. In this work, we propose RFID-MoE, an effective framework for MoE compression by exploiting heterogeneous Routing Frequency and Information Density. We first introduce a fused metric that combines expert activation frequency with effective rank to measure expert importance, adaptively allocating higher ranks to critical expert groups under a fixed budget. Moreover, instead of discarding compression residuals, we reconstruct them via a parameter-efficient sparse projection mechanism to recover lost information with minimal parameter overhead. Extensive experiments on representative MoE LLMs (e.g., Qwen3, DeepSeekMoE) across multiple compression ratios demonstrate that RFID-MoE consistently outperforms state-of-the-art methods like MoBE and D2-MoE. Notably, RFID-MoE achieves a perplexity of 16.92 on PTB with the Qwen3-30B model at a 60% compression ratio, reducing perplexity by over 8.0 compared to baselines, and improves zero-shot accuracy on HellaSwag by approximately 8%.
","absKo":"Mixture-of-Experts (MoE) 기반 Large Language Models (LLMs)는 뛰어난 성능을 달성했지만, 여러 expert network를 저장해야 하는 막대한 메모리 오버헤드 때문에 실제 배포가 크게 제약된다. Singular Value Decomposition (SVD) 기반 compression은 유망한 post-training 기법으로 떠올랐지만, 기존 대부분의 방법은 uniform rank allocation을 적용하거나 정적인 weight property에만 의존한다. 이는 MoE 모델에서 관찰되는 expert utilization의 상당한 이질성을 간과한 것으로, expert마다 frequent routing pattern과 intrinsic information density가 크게 다르다. 본 연구에서는 이질적인 Routing Frequency와 Information Density를 활용하는 효과적인 MoE compression 프레임워크인 RFID-MoE를 제안한다. 먼저 expert activation frequency와 effective rank를 결합한 fused metric을 도입하여 expert importance를 측정하고, 고정된 budget 하에서 핵심 expert group에 더 높은 rank를 적응적으로 할당한다. 또한 compression residual을 버리는 대신, parameter-efficient sparse projection mechanism으로 이를 재구성하여 매우 적은 parameter overhead로 손실된 정보를 복원한다. 여러 compression ratio에 걸쳐 Qwen3, DeepSeekMoE 등 대표적인 MoE LLM에 대한 광범위한 실험 결과, RFID-MoE는 MoBE와 D2-MoE 같은 최신 방법보다 일관되게 우수한 성능을 보였다. 특히 RFID-MoE는 Qwen3-30B 모델과 60% compression ratio에서 PTB perplexity 16.92를 달성하여 baseline 대비 perplexity를 8.0 이상 낮추었고, HellaSwag zero-shot accuracy를 약 8% 향상시켰다.
"},{"id":"61700","en":"Efficient Hallucination Detection for LLMs Using Uncertainty-Aware Attention Heads","ko":"불확실성 인식 Attention Head를 활용한 LLM의 효율적 Hallucination Detection","authors":"Artem Vazhentsev, Lyudmila Rvanova, Gleb Kuzmin, Ekaterina Fadeeva, Ivan Lazichny, Alexander Panchenko, Maxim Panov, Mrinmaya Sachan, Preslav Nakov, Tim Baldwin, Artem Shelmanov","pos":"#2208","link":"https://openreview.net/forum?id=nddfPlfS09","abs":"Recent progress in large language models (LLMs) has led to systems capable of producing text with remarkable fluency. However, these models are still prone to factual inaccuracies, often referred to as ``hallucinations''. One strategy to alleviate this issue is uncertainty quantification (UQ), but most existing approaches are computationally intensive or require supervision. In this work, we propose Recurrent Attention-based Uncertainty Quantification (RAUQ), an unsupervised and efficient framework for identifying hallucinations. The method leverages an observation about transformer attention behavior: when incorrect information is generated, certain ``uncertainty-aware'' attention heads, tend to reduce their focus on preceding tokens. RAUQ automatically detects these attention heads and combines their activation patterns with token-level confidence measures in a recurrent scheme, producing a sequence-level uncertainty estimate in just a single forward pass. Through experiments on twelve tasks spanning question answering, summarization, and translation across four different LLMs, we show that RAUQ consistently outperforms state-of-the-art UQ baselines. Importantly, it does so with minimal cost, less than 1% additional computation. Since it requires neither labeled data nor extensive parameter tuning, RAUQ serves as a lightweight, plug-and-play solution for real-time hallucination detection in white-box LLMs.
","absKo":"최근 large language models (LLMs)의 발전으로 매우 유창한 텍스트를 생성할 수 있는 시스템이 등장했다. 그러나 이들 모델은 여전히 factual inaccuracy, 흔히 ``hallucination''이라 불리는 문제에 취약하다. 이 문제를 완화하는 한 가지 전략은 uncertainty quantification (UQ)이지만, 기존 접근법의 대부분은 계산 비용이 크거나 supervision이 필요하다. 본 연구에서는 hallucination을 식별하기 위한 unsupervised하고 효율적인 프레임워크인 Recurrent Attention-based Uncertainty Quantification (RAUQ)을 제안한다. 이 방법은 transformer attention behavior에 대한 관찰을 활용한다. 즉, 잘못된 정보가 생성될 때 특정 ``uncertainty-aware'' attention head는 선행 token에 대한 집중을 줄이는 경향이 있다. RAUQ는 이러한 attention head를 자동으로 탐지하고, 그 활성 패턴을 token-level confidence measure와 recurrent scheme으로 결합하여 단 한 번의 forward pass만으로 sequence-level uncertainty estimate를 생성한다. 네 가지 서로 다른 LLM에서 question answering, summarization, translation에 걸친 12개 task 실험을 통해 RAUQ가 최신 UQ baseline을 일관되게 능가함을 보였다. 특히 추가 계산량은 1% 미만으로 매우 작다. RAUQ는 labeled data나 광범위한 parameter tuning을 필요로 하지 않으므로, white-box LLM에서 실시간 hallucination detection을 위한 가볍고 plug-and-play 가능한 해법으로 기능한다.
"},{"id":"62383","en":"Efficient Parallel Samplers for Recurrent-Depth Models","ko":"Recurrent-Depth Models를 위한 효율적 병렬 Sampler","authors":"Jonas Geiping, Xinyu Yang, Guinan Su","pos":"#2209","link":"https://openreview.net/forum?id=h7WBYYJF1Q","abs":"Language models with recurrent depth, also referred to as universal or looped when considering transformers, are defined by the capacity to increase their computation through the repetition of layers. Recent efforts in pretraining have demonstrated that these architectures can scale to modern language modeling tasks while exhibiting advantages in reasoning tasks. In this work, we examine the relationship between recurrent-depth models and diffusion language models. Building on their similarities, we develop a new diffusion forcing sampler for these models to accelerate generation. The sampler advances by decoding new tokens at every forward pass of the model, while the latent states of these tokens can be further refined in parallel through recurrence. Theoretically, generation with our sampler is strictly more expressive than the baseline autoregressive generation using the same time budget on modern hardware. Moreover, this sampler, based on principles from diffusion literature, can be directly applied to existing 3.5B recurrent-depth transformers without any tuning, leading to up to a 5x speedup.
","absKo":"recurrent depth를 가진 language model, transformer를 고려할 때 universal 또는 looped라고도 불리는 이 모델들은 layer의 반복을 통해 computation을 늘릴 수 있는 능력으로 정의된다. 최근 pretraining 연구는 이러한 architecture가 현대 language modeling task로 확장될 수 있으며 reasoning task에서 장점을 보인다는 것을 입증했다. 본 연구에서는 recurrent-depth model과 diffusion language model 사이의 관계를 살펴본다. 이들 사이의 유사성을 바탕으로, 우리는 generation을 가속하기 위한 새로운 diffusion forcing sampler를 개발한다. 이 sampler는 model의 각 forward pass마다 새로운 token을 decode하면서 진행하고, 이러한 token의 latent state는 recurrence를 통해 병렬로 추가 refinement될 수 있다. 이론적으로, 우리의 sampler를 사용한 generation은 현대 하드웨어에서 동일한 time budget 하에서 baseline autoregressive generation보다 엄밀히 더 expressive하다. 더 나아가 diffusion literature의 원리에 기반한 이 sampler는 별도의 tuning 없이 기존 3.5B recurrent-depth transformer에 직접 적용될 수 있으며, 최대 5배의 speedup을 달성한다.
"},{"id":"65478","en":"Capacity-Aware Mixture Law Enables Efficient LLM Data Optimization","ko":"용량 인지 혼합 법칙이 효율적 LLM 데이터 최적화를 가능하게 한다","authors":"Jingwei Li, Xinran Gu, Jingzhao Zhang","pos":"#2303","link":"https://openreview.net/forum?id=DDtL4VOUcT","abs":"A data mixture refers to how different data sources are combined to train large language models, and selecting an effective mixture is crucial for optimal downstream performance. Existing methods either conduct costly searches directly on the target model or rely on mixture scaling laws that fail to extrapolate well to large model sizes. We address these limitations by introducing a compute-efficient pipeline for data mixture scaling. First, we propose CAMEL, a capacity-aware mixture law that models validation loss with the nonlinear interplay between model size and mixture. We also introduce a loss-to-benchmark prediction law that estimates benchmark accuracy from validation loss, enabling end-to-end performance prediction for the target model. Next, we study how to allocate a fixed compute budget across model scales to fit the law and reduce prediction error. Finally, we apply our method to Mixture-of-Experts models with up to 7B-A150M parameters to fit the law, and verify the optimal mixture derived from the law by extrapolating to a 55B-A1.2B target model. Compared to prior methods, we reduces mixture optimization costs by 50\\% and improves downstream benchmark performance by up to 3\\%.
","absKo":"Data mixture는 large language model을 학습하기 위해 서로 다른 data source를 어떻게 결합하는지를 의미하며, 효과적인 mixture를 선택하는 것은 downstream 성능 최적화에 매우 중요하다. 기존 방법들은 target model에 대해 직접 비용이 큰 탐색을 수행하거나, 큰 model size로의 extrapolation이 잘 되지 않는 mixture scaling law에 의존한다. 우리는 data mixture scaling을 위한 compute-efficient pipeline을 도입함으로써 이러한 한계를 해결한다. 먼저, model size와 mixture 사이의 비선형 상호작용을 통해 validation loss를 모델링하는 capacity-aware mixture law인 CAMEL을 제안한다. 또한 validation loss로부터 benchmark accuracy를 추정하는 loss-to-benchmark prediction law를 도입하여, target model의 end-to-end performance prediction을 가능하게 한다. 다음으로, 고정된 compute budget을 model scale 전반에 어떻게 배분해야 law를 fitting하고 prediction error를 줄일 수 있는지 연구한다. 마지막으로, 최대 7B-A150M parameter의 Mixture-of-Experts model에 우리의 방법을 적용해 law를 fitting하고, 55B-A1.2B target model로 extrapolation하여 law로부터 도출된 optimal mixture를 검증한다. 이전 방법과 비교해 우리는 mixture optimization cost를 50\\% 줄이고 downstream benchmark 성능을 최대 3\\% 향상시킨다.
"},{"id":"61050","en":"AdaGC: Enhancing LLM Pretraining Stability via Adaptive Gradient Clipping","ko":"AdaGC: Adaptive Gradient Clipping을 통한 LLM Pretraining 안정성 향상","authors":"Guoxia Wang, Shuai Li, Congliang Chen, Jinle Zeng, Jiabin Yang, Dianhai Yu, Yanjun Ma, Li Shen","pos":"#2311","link":"https://openreview.net/forum?id=uBYlCu8b8Z","abs":"Loss spikes remain a persistent obstacle in large-scale language model pretraining. While previous research has attempted to identify the root cause of loss spikes by investigating individual factors, we observe that, in practice, such spikes are typically triggered by the confluence of heterogeneous factors. Empirically, loss spikes may arise from a combination of data outliers, hardware or transient computational faults, numerical precision issues, and hyperparameter settings. Regardless of the underlying cause, these spikes manifest as unstable optimizer updates, as abnormal gradients contaminate both first- and second-moment states. In this paper, we propose a principled gradient-centric remedy: AdaGC, an adaptive per-tensor gradient clipping scheme that mitigates such contamination by bounding gradient norms relative to a tensor-wise exponential moving average of their historical clipped values. AdaGC is optimizer-agnostic, introduces negligible memory overhead, and reduces communication costs compared to GlobalGC, particularly in hybrid-parallel distributed training environments. Experiments on Llama-2 7B, Mixtral 8×1B, and ERNIE 10B-A1.4B demonstrate that AdaGC robustly eliminates training instabilities, consistently reducing spike scores to zero for all models and improving downstream accuracy over GlobalGC by 1.32\\%, 1.27\\%, and 2.48\\%, respectively. Furthermore, AdaGC seamlessly integrates with optimizers such as Muon and Lion, consistently yielding higher average accuracy and zero spike scores.
","absKo":"대규모 언어 모델의 pretraining에서 loss spike는 지속적인 장애물로 남아 있다. 기존 연구는 개별 요인을 조사하여 loss spike의 근본 원인을 식별하려 했지만, 실제로는 이러한 spike가 이질적인 요인의 결합에 의해 촉발되는 경우가 일반적이라는 점을 우리는 관찰했다. 실증적으로, loss spike는 data outlier, hardware 또는 일시적인 computational fault, numerical precision 문제, hyperparameter 설정의 조합에서 발생할 수 있다. 원인이 무엇이든, 이러한 spike는 비정상적인 gradient가 first-moment와 second-moment state를 모두 오염시키면서 불안정한 optimizer update로 나타난다. 본 논문에서는 이러한 오염을 완화하기 위해 gradient norm을 tensor 단위의 과거 clipped value의 exponential moving average에 대해 경계짓는 adaptive per-tensor gradient clipping scheme인 AdaGC라는 원칙적인 gradient 중심의 해결책을 제안한다. AdaGC는 optimizer-agnostic이며, 메모리 오버헤드가 사실상 없고, 특히 hybrid-parallel distributed training 환경에서 GlobalGC보다 communication cost를 줄인다. Llama-2 7B, Mixtral 8×1B, ERNIE 10B-A1.4B에서의 실험은 AdaGC가 학습 불안정을 강건하게 제거함을 보여주며, 모든 모델에서 spike score를 일관되게 0으로 낮추고 GlobalGC 대비 downstream accuracy를 각각 1.32\\%, 1.27\\%, 2.48\\% 향상시켰다. 더 나아가 AdaGC는 Muon과 Lion 같은 optimizer와도 매끄럽게 통합되며, 일관되게 더 높은 평균 정확도와 0의 spike score를 제공한다."},{"id":"61601","en":"Unveiling the Potential of Quantization with MXFP4: Strategies for Quantization Error Reduction","ko":"MXFP4를 활용한 Quantization의 잠재력 공개: Quantization Error Reduction 전략","authors":"Jatin Chhugani, Geonhwa Jeong, Bor-Yiing Su, Yunjie Pan, Hanmei Yang, Aayush Ankit, Jiecao Yu, Summer Deng, Yunqing Chen, Nadathur Satish, Changkyu Kim","pos":"#2810","link":"https://openreview.net/forum?id=oWvUK1mbYq","abs":"Large Language Models (LLMs) have intensified the need for low-precision formats that enable efficient, large-scale inference. The Open Compute Project (OCP) Microscaling (MX) standard is attractive due to its favorable hardware efficiency, but its 4-bit variant (MXFP4) lags behind NVIDIA’s NVFP4 in accuracy, limiting adoption. We introduce two software-only techniques, Overflow-Aware Scaling (OAS) and Macro Block Scaling (MBS), that improve MXFP4 quantization fidelity without requiring hardware changes. OAS reduces overall errors by increasing effective dynamic range under power-of-two block scaling, while MBS allocates higher-precision scaling at a coarser granularity to better preserve outliers. Across multiple LLMs and standard downstream benchmarks, OAS and MBS reduce the end-to-end accuracy gap between MXFP4 and NVFP4 from about 10% to below 1% on average, while incurring modest GEMM overhead (6.2% on average). These results re-establish MXFP4 as a practical alternative to NVFP4, enabling near-NVFP4 accuracy while retaining MX’s hardware-efficiency advantages (e.g., 12% relative area savings in tensor cores).
","absKo":"대규모 언어 모델(LLM)은 효율적인 대규모 추론을 가능하게 하는 저정밀 포맷의 필요성을 더욱 부각시켰다. Open Compute Project (OCP) Microscaling (MX) 표준은 우수한 하드웨어 효율성 덕분에 매력적이지만, 4비트 변형(MXFP4)은 정확도에서 NVIDIA의 NVFP4에 뒤처져 채택을 제한한다. 우리는 하드웨어 변경 없이 MXFP4 양자화 충실도를 향상시키는 소프트웨어 전용 기법 두 가지, Overflow-Aware Scaling (OAS)과 Macro Block Scaling (MBS)를 제안한다. OAS는 power-of-two block scaling 하에서 유효 동적 범위를 늘려 전체 오차를 줄이고, MBS는 더 거친 granularity에서 더 높은 정밀도의 scaling을 할당해 outlier를 더 잘 보존한다. 여러 LLM과 표준 downstream benchmark 전반에서 OAS와 MBS는 MXFP4와 NVFP4 사이의 end-to-end 정확도 격차를 평균 약 10%에서 1% 미만으로 줄이며, GEMM 오버헤드는 평균 6.2%의 소폭 증가에 그친다. 이러한 결과는 MXFP4를 NVFP4에 대한 실용적 대안으로 다시 자리매김하게 하며, NVFP4에 근접한 정확도를 유지하면서 MX의 하드웨어 효율성 이점(예: tensor core에서 12%의 상대적 면적 절감)을 보존한다.
"},{"id":"61321","en":"Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers","ko":"Elastic Attention: 효율적 Transformer를 위한 Test-Time 적응형 희소성 비율","authors":"Zecheng Tang, Quantong Qiu, Yi Yang, Zhiyi Hong, Haiya Xiang, Kebin Liu, Qingqing Dang, Juntao Li, Min zhang","pos":"#2813","link":"https://openreview.net/forum?id=rLO2NTUHSW","abs":"The quadratic complexity of standard attention mechanisms poses a significant scalability bottleneck for large language models (LLMs) in long-context scenarios. While hybrid attention strategies that combine sparse and full attention within a single model offer a viable solution, they typically employ static computation ratios (i.e., fixed proportions of sparse versus full attention) and fail to adapt to the varying sparsity sensitivities of downstream tasks during inference. To address this issue, we propose $\\textit{\\textbf{Elastic Attention}}$, which allows the model to dynamically adjust its overall sparsity based on the input. This is achieved by integrating a lightweight $\\textit{\\textbf{Attention Router}}$ into the existing pretrained model, which dynamically assigns each attention head to different computation modes. Within only 12 hours of training on 8$\\times$A800 GPUs, our method enables models to achieve both strong performance and efficient inference. Experiments across three long-context benchmarks on widely-used LLMs demonstrate the superiority of our method.","absKo":"표준 attention mechanism의 이차 복잡도는 long-context 시나리오에서 large language models (LLMs)의 확장성에 심각한 병목을 초래한다. 하나의 모델 안에서 sparse attention과 full attention을 결합하는 hybrid attention 전략은 유효한 해법이지만, 이들은 대개 static computation ratio(즉, sparse attention과 full attention의 고정 비율)를 사용하며, inference 동안 downstream task마다 달라지는 sparsity 민감도에 적응하지 못한다. 이 문제를 해결하기 위해, 우리는 입력에 따라 모델이 전체 sparsity를 동적으로 조절할 수 있는 $\\textit{\\textbf{Elastic Attention}}$을 제안한다. 이는 기존 pretrained model에 경량 $\\textit{\\textbf{Attention Router}}$를 통합함으로써 달성되며, 각 attention head를 서로 다른 computation mode로 동적으로 할당한다. 8$\\times$A800 GPUs에서 단 12시간의 training만으로, 우리의 방법은 강한 성능과 효율적인 inference를 동시에 달성하는 모델을 가능하게 한다. 널리 사용되는 LLMs에서 세 개의 long-context benchmark에 걸친 실험은 본 방법의 우수성을 입증한다."},{"id":"63461","en":"SALE : Low-bit Estimation for Efficient Sparse Attention in Long-context LLM Prefilling","ko":"SALE: 장문맥 LLM 프리필링에서 효율적 희소 어텐션을 위한 저비트 추정","authors":"Xiaodong Ji, Lei Li, Fangcheng Fu, Bin Cui","pos":"#2816","link":"https://openreview.net/forum?id=WyGEJKjvJN","abs":"Many advanced Large Language Model (LLM) applications require long-context processing, but the self-attention module becomes a bottleneck during the prefilling stage of inference due to its quadratic time complexity with respect to sequence length. Existing sparse attention methods accelerate attention computation by skipping less significant regions of the attention map. However, these approaches typically perform coarse-grained inspection of the attention map, resulting in their suboptimal performance. In this paper, we propose SALE, a fine-grained sparse attention method that accelerates the long-context prefilling stage of LLM with negligible loss in model accuracy. SALE achieves fast and accurate fine-grained attention map estimation using low-bit quantized query-key products to approximate attention weights, followed by the application of a novel Relative Attention Score metric to assess the importance of query-key pairs. This design enables us to accurately identify important regions in the attention map, thereby constructing a highly sparse attention mask. We implement a custom CUDA kernel in SALE optimized for hardware efficiency, reducing overhead to approximately 11% of the full attention latency. Notably, SALE requires no parameter training and can be seamlessly integrated into existing systems with trivial code modifications. Experiments on long-context benchmarks demonstrate that our method outperforms existing approaches in accuracy-efficiency trade-offs, achieving at least 3.36× speedups on Llama-3.1-8B for sequences longer than 64K while maintaining model quality.
","absKo":"많은 고급 Large Language Model(LLM) 응용에서는 긴 context 처리가 필요하지만, self-attention module은 sequence length에 대해 quadratic time complexity를 가지므로 inference의 prefilling 단계에서 병목이 된다. 기존 sparse attention 방법은 attention map의 덜 중요한 영역을 건너뛰어 attention 계산을 가속한다. 그러나 이러한 접근은 대개 attention map을 coarse-grained하게 검사하기 때문에 성능이 최적에 미치지 못한다. 본 논문에서는 model accuracy 손실을 거의 발생시키지 않으면서 LLM의 긴 context prefilling 단계를 가속하는 fine-grained sparse attention 방법인 SALE을 제안한다. SALE은 low-bit quantized query-key product를 사용해 attention weight를 근사함으로써 빠르고 정확한 fine-grained attention map estimation을 수행하고, 이어서 query-key pair의 중요성을 평가하기 위해 새로운 Relative Attention Score metric을 적용한다. 이 설계는 attention map에서 중요한 영역을 정확히 식별할 수 있게 하며, 이를 바탕으로 매우 sparse한 attention mask를 구성한다. 우리는 SALE에 hardware 효율에 최적화된 custom CUDA kernel을 구현하여 오버헤드를 전체 attention latency의 약 11% 수준으로 줄였다. 특히 SALE은 parameter training이 전혀 필요 없으며, 사소한 코드 수정만으로 기존 시스템에 매끄럽게 통합될 수 있다. 긴 context benchmark에서의 실험은 우리의 방법이 정확도-효율 trade-off에서 기존 방법을 능가하며, model quality를 유지하면서 64K를 넘는 sequence에 대해 Llama-3.1-8B에서 최소 3.36배의 속도 향상을 달성함을 보여준다.
"},{"id":"61992","en":"Guided Star-Shaped Masked Diffusion","ko":"유도된 별 모양 Masked Diffusion","authors":"Viacheslav Meshchaninov, Egor Shibaev, Artem Makoian, Ivan Klimov, Nikita Balagansky, Daniil Gavrilov, Aibek Alanov, Dmitry Vetrov","pos":"#3510","link":"https://openreview.net/forum?id=ktRyGKpt9U","abs":"The performance of pre-trained masked diffusion models is often constrained by their sampling procedure, which makes decisions irreversible and struggles in low-step generation regimes. We introduce a novel sampling algorithm that works with pre-trained models and, after a lightweight fine-tuning of a single layer, significantly improves sample quality and efficiency. Our method reformulates the generation process using a star-shaped paradigm, which inherently allows for error correction. To make this process effective, we augment it with a learnable remasking module that intelligently identifies and revises likely errors. This approach yields a substantial quality boost, particularly when using a small number of sampling steps. We extensively ablate key components of our approach and show its usability in different scenarios. In comprehensive experiments on text, and code generation, our sampling algorithm outperforms or matches existing methods.
","absKo":"pre-trained masked diffusion model의 성능은 종종 sampling procedure에 의해 제약되는데, 이는 결정을 비가역적으로 만들고 low-step generation regime에서 어려움을 겪기 때문이다. 우리는 pre-trained model과 함께 동작하며, 단일 layer의 경량 fine-tuning 이후 sample quality와 efficiency를 크게 향상시키는 새로운 sampling algorithm을 소개한다. 우리의 방법은 generation process를 star-shaped paradigm으로 재구성하며, 이는 본질적으로 error correction을 가능하게 한다. 이 과정을 효과적으로 만들기 위해, 우리는 가능성 있는 오류를 지능적으로 식별하고 수정하는 learnable remasking module을 추가한다. 이 접근법은 특히 sampling step 수가 적을 때 상당한 quality 향상을 제공한다. 우리는 접근법의 핵심 구성요소를 광범위하게 ablate하고, 서로 다른 시나리오에서의 사용 가능성을 보인다. text와 code generation에 대한 포괄적 실험에서, 우리의 sampling algorithm은 기존 방법을 능가하거나 최소한 동등한 성능을 보인다.
"},{"id":"64461","en":"Efficient Multi-round LLM Inference over Disaggregated Serving","ko":"분리된 서빙 상에서의 효율적 다중 라운드 LLM 추론","authors":"Wenhao He, Youhe Jiang, Penghao Zhao, Quanqing Xu, Eiko Yoneki, Bin Cui, Fangcheng Fu","pos":"#3706","link":"https://openreview.net/forum?id=NNGIniylxB","abs":"With the rapid evolution of Large Language Models (LLMs), multi-round workflows, such as autonomous agents and iterative retrieval, have become increasingly prevalent. However, this raises hurdles for serving LLMs under prefill-decode (PD) disaggregation, a widely adopted paradigm that separates the compute-bound prefill phase and memory-bound decode phase onto individual resources. Specifically, existing systems overlook the interleaved prefill-decode workload pattern in multi-round inference, leading to sub-optimal handling of the incremental prefill workloads and model deployment for the two phases. In this work, we present AMPD, a brand new disaggregated serving framework for multi-round LLM inference. The core of AMPD is to coordinate the prefill workloads based on real-time workloads by adaptively determining where to carry out these workloads and how they are scheduled, in order to maximize service level objective (SLO) attainment. In addition, we tailor a planning algorithm for our scenario, facilitating the deduction of optimal resource allocation and parallel strategies for the two phases. Empirical results demonstrate that AMPD substantially improves SLO attainment compared to state-of-the-art baselines.
","absKo":"Large Language Model (LLM)의 빠른 진화와 함께 autonomous agent 및 iterative retrieval과 같은 multi-round workflow가 점점 더 보편화되고 있다. 그러나 이는 prefill-decode (PD) disaggregation 하에서 LLM을 serving하는 데 어려움을 야기한다. PD disaggregation은 compute-bound인 prefill phase와 memory-bound인 decode phase를 개별 자원으로 분리하는 널리 채택된 패러다임이다. 구체적으로, 기존 시스템은 multi-round inference에서 interleaved prefill-decode workload pattern을 간과하여, incremental prefill workload와 두 phase에 대한 model deployment를 최적보다 못하게 처리한다. 본 연구에서 우리는 multi-round LLM inference를 위한 완전히 새로운 disaggregated serving framework인 AMPD를 제시한다. AMPD의 핵심은 실시간 workload를 바탕으로 이러한 workload를 어디에서 수행할지와 어떻게 스케줄할지를 적응적으로 결정하여 service level objective (SLO) 달성률을 극대화하는 방식으로 prefill workload를 조정하는 데 있다. 더불어, 우리는 해당 시나리오에 맞춘 planning algorithm을 설계하여 두 phase에 대한 최적 resource allocation과 parallel strategy의 도출을 용이하게 한다. 실증 결과, AMPD는 state-of-the-art baseline에 비해 SLO 달성률을 크게 향상시킨다.
"},{"id":"65938","en":"Retrieval-Aware Distillation for Transformer-SSM Hybrids","ko":"Transformer-SSM 하이브리드를 위한 검색 인식 증류","authors":"Aviv Bick, Eric Xing, Albert Gu","pos":"#4013","link":"https://openreview.net/forum?id=8gsYox51jQ","abs":"State-space models (SSMs) offer efficient sequence modeling but show a large performance gap compared to Transformers on benchmarks that require in-context retrieval. This gap has been linked to a small set of attention heads, called Gather-and-Aggregate (G&A), which SSMs struggle to implement and are believed to drive the disparity. Leveraging this insight, we propose retrieval-aware distillation, a strategy that converts a pretrained Transformer into a hybrid student by preserving only these retrieval-critical components. We identify essential attention heads via ablation on a synthetic retrieval task and distill the rest into recurrent heads, resulting in a model with non-uniform attention placement tailored to retrieval demands. We empirically show that preserving just 2% of attention heads enables the hybrid model to recover teacher-level performance (10 retrieval-critical heads in a 1B model), reducing memory overhead by up to 6x compared to prior distillation methods that retain 30–50% of heads. Furthermore, we show that large recurrent states in SSMs often compensate for missing retrieval. Once retrieval is handled by these specific heads, the SSM backbone can be significantly simplified while maintaining performance, even with an 8x reduction in state dimension. Overall, the results show that strategically concentrating attention can close the Transformer–SSM gap with a fraction of the memory cost.
","absKo":"State-space models (SSMs)는 효율적인 sequence modeling을 제공하지만, in-context retrieval이 필요한 benchmark에서는 Transformers에 비해 큰 성능 격차를 보입니다. 이 격차는 Gather-and-Aggregate (G&A)라고 불리는 소수의 attention head와 관련되어 있으며, SSMs는 이를 구현하는 데 어려움을 겪고 이들이 성능 차이를 유발한다고 여겨집니다. 이러한 통찰을 바탕으로, 우리는 retrieval-aware distillation을 제안합니다. 이는 pretrained Transformer를 retrieval에 핵심적인 구성요소만 보존한 hybrid student로 변환하는 전략입니다. 우리는 synthetic retrieval task에서 ablation을 통해 필수 attention head를 식별하고, 나머지는 recurrent head로 distill하여 retrieval 요구에 맞춘 non-uniform attention 배치를 갖는 모델을 만듭니다. 실증적으로, attention head의 단 2%만 보존해도 hybrid model이 teacher 수준의 성능을 회복할 수 있으며(1B model에서 retrieval-critical head 10개), 이전의 30–50% head를 유지하는 distillation 방법과 비교해 memory overhead를 최대 6배까지 줄일 수 있음을 보입니다. 또한 SSMs에서 큰 recurrent state는 종종 부족한 retrieval을 보완한다는 점을 보입니다. retrieval이 이러한 특정 head들에 의해 처리되면, SSM backbone은 state dimension을 8배 줄이더라도 성능을 유지한 채 크게 단순화될 수 있습니다. 전반적으로, 이 결과는 attention을 전략적으로 집중시키는 것만으로 Transformer–SSM 격차를 메우면서도 훨씬 적은 memory cost로 달성할 수 있음을 보여줍니다.
"},{"id":"65524","en":"Escaping Mode Collapse in LLM Generation","ko":"LLM 생성에서 Mode Collapse 탈출하기","authors":"Xin Du, Kumiko Tanaka-Ishii","pos":"#4016","link":"https://openreview.net/forum?id=CklwnmcPYx","abs":"Mode collapse is a persistent challenge in generative modeling and appears in autoregressive text generation as behaviors ranging from explicit looping to gradual loss of diversity and premature trajectory convergence. We take a dynamical-systems view and reinterpret mode collapse as reduced state-space accessibility caused by geometric collapse: during generation, the model's internal trajectory becomes confined to a low-dimensional region of its representation space. This implies mode collapse is not purely a token-level phenomenon and cannot be reliably solved by symbolic constraints or probability-only decoding heuristics. Guided by this perspective, we propose Reinforced Mode Regulation (RMR), a lightweight, online state-space intervention that regulates dominant self-reinforcing directions in the Transformer value cache (implemented as low-rank damping). Across multiple large language models, RMR substantially reduces mode collapse and enables stable generation at extremely low entropy rates (down to 0.8 nats/step), whereas standard decoding typically collapses near 2.0 nats/step.
","absKo":"Mode collapse는 generative modeling에서 지속적으로 나타나는 문제이며, autoregressive text generation에서는 명시적인 반복(looping)부터 다양성의 점진적 손실과 조기 trajectory 수렴에 이르기까지 다양한 형태로 나타난다. 우리는 이를 dynamical-systems 관점에서 바라보고, geometric collapse로 인해 state-space 접근성이 감소한 현상으로 mode collapse를 재해석한다. 즉, 생성 과정에서 모델의 internal trajectory가 representation space의 저차원 영역에 갇히게 된다. 이는 mode collapse가 단순히 token 수준의 현상이 아니며, symbolic constraint나 probability-only decoding heuristic만으로는 신뢰성 있게 해결될 수 없음을 시사한다. 이러한 관점에 따라, 우리는 Transformer value cache 내의 지배적인 자기강화 방향을 조절하는 경량의 온라인 state-space 개입 방식인 Reinforced Mode Regulation(RMR)을 제안하며, 이는 low-rank damping으로 구현된다. 여러 대규모 language model 전반에서 RMR은 mode collapse를 크게 줄이고, 매우 낮은 entropy rate(최저 0.8 nats/step)에서도 안정적인 생성을 가능하게 한다. 반면 standard decoding은 보통 2.0 nats/step 근처에서 collapse된다.
"},{"id":"65710","en":"How to Train Your Advisor: Steering Black-Box LLMs with Advisor Models","ko":"조언자 훈련법: 조언자 모델로 블랙박스 LLM 조종하기","authors":"Parth Asawa, Alan Zhu, Abigail O'Neill, Matei Zaharia, Alex Dimakis, Joseph E Gonzalez","pos":"#2107","link":"https://openreview.net/forum?id=AvRUMTdFzX","abs":"Frontier language models are deployed as black-box services, where model weights cannot be modified and customization is limited to prompting. We introduce Advisor Models, a method to train small open-weight models to generate dynamic, per-instance natural language advice that improves the capabilities of black-box frontier models. Advisor Models improve GPT-5's performance on RuleArena (Taxes) by 71\\%, reduce Gemini 3 Pro's steps taken in SWE agent tasks by 24.6\\%, and outperform static prompt optimizers in personalizing GPT-5 to user preferences (85-100\\% vs. 40-60\\%). We also find that advisors are transferable: an advisor trained with a low-cost student model still transfers improvements to a frontier model. Moreover, Advisor Models are robust: we observe no degradation on other benchmarks than the pipeline is trained on. Our method shows how to perform parametric optimization for black-box frontier models in a practical and cost-effective way.
","absKo":"Frontier language model은 model weight를 수정할 수 없고 customization이 prompting에 한정되는 black-box service로 배포된다. 우리는 Advisor Models를 소개한다. 이는 작은 open-weight model을 학습시켜, black-box frontier model의 역량을 향상시키는 동적이며 instance별 natural language advice를 생성하는 방법이다. Advisor Models는 RuleArena (Taxes)에서 GPT-5의 성능을 71\\% 향상시키고, SWE agent task에서 Gemini 3 Pro의 steps taken을 24.6\\% 줄이며, 개인화 측면에서도 GPT-5를 사용자 선호에 맞게 조정하는 데 static prompt optimizer보다 우수한 성능을 보인다(85-100\\% 대 40-60\\%). 또한 우리는 advisor가 transferable함을 확인했다. 저비용 student model로 학습된 advisor도 frontier model에 개선 효과를 그대로 전달한다. 더 나아가 Advisor Models는 robust하다. pipeline이 학습된 benchmark 외의 다른 benchmark에서는 성능 저하가 관찰되지 않았다. 우리의 방법은 black-box frontier model을 위해 parametric optimization을 실용적이고 비용 효율적인 방식으로 수행하는 방법을 보여준다.
"},{"id":"65128","en":"Milestone-Guided Policy Learning for Long-Horizon Language Agents","ko":"장기 지평선 언어 에이전트를 위한 마일스톤 기반 정책 학습","authors":"Zixuan Wang, Yuchen Yan, Hongxing Li, Teng Pan, Dingming Li, Ruiqing Zhang, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen","pos":"#4600","link":"https://openreview.net/forum?id=Ga3AR4EF6R","abs":"While long-horizon agentic tasks require language agents to perform dozens of sequential decisions, training such agents with reinforcement learning remains challenging. We identify two root causes: credit misattribution, where correct early actions are penalized due to terminal failures, and sample inefficiency, where scarce successful trajectories result in near-total loss of learning signal. We introduce a milestone-guided policy learning framework, BEACON, that leverages the compositional structure of long-horizon tasks to ensure precise credit assignment. BEACON partitions trajectories at milestone boundaries, applies temporal reward shaping within segments to credit partial progress, and estimates advantages at dual scales to prevent distant failures from corrupting the evaluation of local actions. On ALFWorld, WebShop, and ScienceWorld, BEACON consistently outperforms GRPO and GiGPO. Notably, on long-horizon ALFWorld tasks, BEACON achieves 92.9\\% success rate, nearly doubling GRPO's 53.5\\%, while improving effective sample utilization from 23.7\\% to 82.0\\%. These results establish milestone-anchored credit assignment as an effective paradigm for training long-horizon language agents. Code is in supplementary materials and will be publicly released.
","absKo":"long-horizon agentic task에서는 language agent가 수십 번의 sequential decision을 수행해야 하지만, reinforcement learning으로 이러한 agent를 학습하는 것은 여전히 어렵다. 우리는 두 가지 근본 원인을 식별한다. 하나는 credit misattribution으로, terminal failure 때문에 올바른 초기 action이 오히려 penalize되는 문제이고, 다른 하나는 sample inefficiency로, 드문 성공 trajectory 때문에 learning signal이 거의 전부 사라지는 문제이다. 우리는 long-horizon task의 compositional structure를 활용해 정확한 credit assignment를 보장하는 milestone-guided policy learning framework인 BEACON을 제안한다. BEACON은 trajectory를 milestone boundary에서 분할하고, segment 내부에서는 temporal reward shaping을 적용해 부분 progress에 credit을 부여하며, 먼 곳의 failure가 local action 평가를 오염시키지 않도록 dual scale에서 advantage를 추정한다. ALFWorld, WebShop, ScienceWorld에서 BEACON은 일관되게 GRPO와 GiGPO를 능가한다. 특히 long-horizon ALFWorld task에서 BEACON은 92.9\\%의 success rate를 달성해 GRPO의 53.5\\%를 거의 두 배로 끌어올렸고, effective sample utilization도 23.7\\%에서 82.0\\%로 개선했다. 이러한 결과는 milestone에 기반한 credit assignment가 long-horizon language agent를 학습시키는 효과적인 paradigm임을 보여준다. 코드는 supplementary materials에 있으며 공개될 예정이다.
"},{"id":"65444","en":"Swordsman: Entropy-Driven Adaptive Block Partition for Efficient Diffusion Language Models","ko":"Swordsman: 효율적 Diffusion Language Model을 위한 엔트로피 기반 적응형 블록 분할","authors":"Yu Zhang, Xinchen Li, Jialei Zhou, Hongnan Ma, Zhongwei Wan, Yiwei Shi, Duoqian Miao, Qi Zhang, Longbing Cao","pos":"#4604","link":"https://openreview.net/forum?id=DcKl47MeYI","abs":"Block-wise decoding effectively improves the inference speed and quality in diffusion language models (DLMs) by combining inter-block sequential denoising and intra-block parallel unmasking. However, existing block-wise decoding methods typically partition blocks in a rigid and fixed manner, which inevitably fragments complete semantic or syntactic constituents, leading to suboptimal performance. Inspired by the entropy reduction hypothesis (ERH), we recognize that constituent boundaries offer greater opportunities for uncertainty reduction, which motivates us to employ entropy analysis for identifying constituent boundaries. Therefore, we propose Swordsman, an entropy-driven adaptive block-wise decoding framework for DLMs. Swordsman adaptively partitions blocks by identifying entropy shifts between adjacent tokens to better align with semantic or syntactic constituent boundaries. In addition, Swordsman dynamically adjusts unmasking thresholds conditioned on the real-time unmasking status within a block, further improving both efficiency and stability. As a training-free framework, supported by KV Cache, Swordsman demonstrates state-of-the-art performance across extensive evaluations. Our code is now available.
","absKo":"Block-wise decoding은 inter-block sequential denoising과 intra-block parallel unmasking을 결합하여 diffusion language model(DLM)의 inference speed와 quality를 효과적으로 향상시킨다. 그러나 기존 block-wise decoding method는 대개 block을 경직되고 고정된 방식으로 분할하며, 이로 인해 완전한 semantic 또는 syntactic constituent가 필연적으로 분절되어 최적 이하의 성능을 초래한다. entropy reduction hypothesis(ERH)에서 영감을 받아, 우리는 constituent boundary가 uncertainty reduction의 더 큰 기회를 제공한다고 보고, constituent boundary를 식별하기 위해 entropy analysis를 활용하고자 한다. 따라서 우리는 DLM을 위한 entropy-driven adaptive block-wise decoding framework인 Swordsman을 제안한다. Swordsman은 인접 token 사이의 entropy shift를 식별하여 block을 적응적으로 분할함으로써 semantic 또는 syntactic constituent boundary와 더 잘 정렬되도록 한다. 또한 Swordsman은 block 내의 실시간 unmasking 상태에 조건화된 unmasking threshold를 동적으로 조정하여 효율성과 안정성을 더욱 향상시킨다. KV Cache의 지원을 받는 training-free framework로서, Swordsman은 광범위한 평가 전반에서 state-of-the-art 성능을 보인다. 우리의 code는 현재 공개되어 있다.
"},{"id":"66057","en":"Harnessing Non-Adversarial Robustness in Large Language Models","ko":"대형 언어 모델의 비적대적 강건성 활용","authors":"Qinghua Zhou, Ellina Aleshina, Andrey Lovyagin, Oleg Somov, Mikhail Seleznyov, Alexander Panchenko, Ivan Oseledets, Elena Tutubalina, Ivan Tyukin","pos":"#1607","link":"https://openreview.net/forum?id=7SKS1u6vP1","abs":"The work presents an approach for addressing the challenge of robustness in Large Language Models (LLMs) to alterations and potential errors caused by semantically similar but textually different prompts. Recent works have shown that these kinds of prompt variations can significantly impact the performance of LLMs on tasks. The central question is: can LLMs' robustness to semantically-neutral prompt alterations be acquired without expensive retraining of the entire model? We address this question both theoretically and through experiments. Our theoretical analysis reveals a crucial factor impacting model robustness -- a systematic expected shift or perturbation-induced bias in neural network module outputs. Motivated by this analysis, we show that robustness can be achieved via a simple fine-tuning process: debiasing for robustness. We identify conditions when debiasing helps and when it does not, and demonstrate, through both theory and extensive experiments, that debiasing for robustness may indeed be a quick and efficient tool to enhance robustness and provide certification against random prompt perturbations.
","absKo":"이 연구는 의미적으로 유사하지만 문자적으로는 다른 prompt 때문에 발생하는 변경과 잠재적 오류에 대해 Large Language Models(LLMs)의 robustness를 다루는 접근법을 제시한다. 최근 연구들은 이러한 prompt variation이 task에서 LLM의 성능에 상당한 영향을 줄 수 있음을 보여주었다. 핵심 질문은 의미적으로 중립적인 prompt alteration에 대한 LLM의 robustness를 전체 모델의 비용이 큰 retraining 없이 획득할 수 있는가 하는 점이다. 우리는 이 질문에 대해 이론과 실험을 모두 통해 접근한다. 우리의 이론적 분석은 모델 robustness에 영향을 주는 핵심 요인으로, neural network module output에 나타나는 체계적인 expected shift 또는 perturbation-induced bias를 드러낸다. 이러한 분석에 동기부여되어, 우리는 단순한 fine-tuning 과정인 debiasing for robustness를 통해 robustness를 달성할 수 있음을 보인다. 우리는 debiasing이 도움이 되는 조건과 그렇지 않은 조건을 식별하고, 이론과 광범위한 실험을 통해 debiasing for robustness가 실제로 random prompt perturbation에 대한 robustness를 높이고 certification을 제공하는 빠르고 효율적인 도구가 될 수 있음을 입증한다.
"},{"id":"63785","en":"TruthRL: Incentivizing Truthful LLMs via Reinforcement Learning","ko":"TruthRL: 강화학습을 통한 진실한 LLM 유도","authors":"Zhepei Wei, Xiao Yang, Kai Sun, Jiaqi Wang, Rulin Shao, Jingxiang Chen, Mohammad Kachuee, Teja Gollapudi, Yiwei Liao, Nicolas SCHEFFER, Rakesh Wanga, Anuj Kumar, Yu Meng, Scott Yih, Xin Dong","pos":"#1711","link":"https://openreview.net/forum?id=TnJMJm3Fbi","abs":"While large language models (LLMs) have demonstrated strong performance on factoid question answering, they are still prone to hallucination and untruthful responses, particularly when tasks demand information outside their parametric knowledge. Indeed, truthfulness requires more than accuracy---models must also recognize uncertainty and abstain when unsure to avoid hallucinations. This presents a fundamental challenge for existing methods: approaches that optimize for accuracy often amplify hallucinations, while those that encourage abstention can become overly conservative, sacrificing correct answers. Both extremes ultimately compromise truthfulness. In this work, we present TruthRL, a general reinforcement learning (RL) framework that directly optimizes the truthfulness of LLMs. Specifically, we implement TruthRL using GRPO with a simple yet effective ternary reward that distinguishes correct answers, hallucinations, and abstentions. It incentivizes models to reduce hallucinations not only by providing correct responses, but also by enabling abstention when uncertain, thereby improving truthfulness. Extensive experiments across four knowledge-intensive benchmarks show that \\model significantly reduces hallucinations (e.g., 43.5\\% $\\rightarrow$ 19.4\\%) and improves truthfulness (e.g., 5.3\\% $\\rightarrow$ 37.2\\%), with consistent gains across various backbone models (e.g., Qwen, Llama). In-depth ablation study demonstrates that vanilla accuracy-driven methods such as supervised fine-tuning or RL with a binary reward struggle to balance factual correctness and uncertainty, whereas the truthfulness-driven TruthRL achieves strong performance in both accuracy and truthfulness, underscoring the importance of learning objective design for developing truthful LLMs. Moreover, we find the improvement of \\model arises from enhancing the capability of LLMs to recognize their knowledge boundary, hence avoiding being overly conservative as the baselines are. Further analysis validates our method across multiple evaluation judges, and confirms that TruthRL is robust to hallucination-baiting questions.","absKo":"대규모 언어 모델(LLM)은 factoid question answering에서 강력한 성능을 보였지만, 특히 task가 parametric knowledge 범위를 벗어나는 정보를 요구할 때 hallucination과 사실이 아닌 응답에 여전히 취약하다. 실제로 truthfulness는 단순한 정확성 이상을 요구한다. 모델은 불확실성을 인지하고, 확실하지 않을 때는 abstain하여 hallucination을 피해야 한다. 이는 기존 방법에 근본적인 도전을 제기한다. 정확도를 최적화하는 접근은 hallucination을 오히려 증폭시키는 반면, abstention을 장려하는 접근은 지나치게 보수적으로 되어 정답을 희생할 수 있다. 이 두 극단은 결국 truthfulness를 훼손한다. 본 연구에서는 LLM의 truthfulness를 직접 최적화하는 일반적인 reinforcement learning (RL) 프레임워크인 TruthRL을 제시한다. 구체적으로, 우리는 GRPO를 사용해 TruthRL을 구현하며, correct answer, hallucination, abstention을 구분하는 간단하지만 효과적인 ternary reward를 사용한다. 이 보상은 모델이 올바른 응답을 제공하는 것뿐 아니라 불확실할 때 abstain할 수 있도록 함으로써 hallucination을 줄이도록 유도하고, 결과적으로 truthfulness를 향상시킨다. 네 개의 knowledge-intensive benchmark에 대한 광범위한 실험에서 \\model은 hallucination을 현저히 줄이고(예: 43.5\\% $\\rightarrow$ 19.4\\%), truthfulness를 향상시켰으며(예: 5.3\\% $\\rightarrow$ 37.2\\%), Qwen, Llama 등 다양한 backbone model에서 일관된 향상을 보였다. 심층 ablation study는 supervised fine-tuning이나 binary reward를 사용하는 RL 같은 vanilla accuracy-driven method가 사실적 정확성과 불확실성 사이의 균형을 맞추는 데 어려움을 겪는 반면, truthfulness-driven TruthRL은 정확도와 truthfulness 모두에서 강한 성능을 달성함을 보여 주어, truthful LLM 개발에서 학습 목표 설계의 중요성을 강조한다. 또한 우리는 \\model의 성능 향상이 LLM이 자신의 knowledge boundary를 인식하는 능력을 강화함으로써 비롯되며, 그 결과 baseline처럼 지나치게 보수적이 되지 않음을 발견했다. 추가 분석은 여러 평가 judge에 걸쳐 우리의 방법을 검증하고, TruthRL이 hallucination-baiting 질문에도 견고함을 확인한다."},{"id":"64076","en":"SMILE: Extended Deep Submodular Function-Based Instruction and In-context Learning Demonstration Selection","ko":"SMILE: 확장된 심층 서브모듈러 함수 기반 명령어 및 인컨텍스트 학습 예시 선택","authors":"Zihan Chen, Chengshuai Shi, Song Wang, Jundong Li, Cong Shen","pos":"#1802","link":"https://openreview.net/forum?id=R8hivF3AkV","abs":"Prompt optimization is a key way to steer large language models when fine-tuning is impractical. However, instruction optimization (IO) and in-context learning (ICL) demonstration selection are often optimized separately and combined post hoc, implicitly assuming that a \"best'' instruction and a \"best\" demonstration set compose well. In practice, their interactions are strong, making such decoupled pipelines brittle. We propose SMILE, an efficient method that jointly selects instructions and demonstrations. Our key observation is that the ICL performance exhibits consistent diminishing returns across diverse instructions. Leveraging this structure, SMILE learns an instruction-conditioned surrogate aligned with LLM feedback and instantiates it as an Extended Deep Submodular Function that captures sample--sample coverage, sample--query relevance, and sample--instruction compatibility. SMILE then performs greedy, query-adaptive selection of the instruction--demonstration pair. Experiments on six datasets and multiple LLM backbones show that SMILE consistently outperforms IO-only, ICL-only, and existing joint baselines, supporting a context engineering view of prompting: jointly optimizing interacting components rather than tuning them in isolation.
","absKo":"Prompt optimization은 fine-tuning이 비현실적일 때 large language model을 조정하는 핵심 방법이다. 그러나 instruction optimization (IO)과 in-context learning (ICL) demonstration 선택은 종종 서로 분리되어 최적화된 뒤 사후적으로 결합되며, 이는 암묵적으로 \"가장 좋은\" instruction과 \"가장 좋은\" demonstration set이 잘 결합된다고 가정한다. 실제로는 이들의 상호작용이 강해서, 이러한 decoupled pipeline은 취약하다. 우리는 instruction과 demonstration을 jointly 선택하는 효율적인 방법 SMILE을 제안한다. 우리의 핵심 관찰은 ICL 성능이 다양한 instruction에 걸쳐 일관된 diminishing returns를 보인다는 점이다. 이 구조를 활용해 SMILE은 LLM feedback과 정렬된 instruction-conditioned surrogate를 학습하고, 이를 sample--sample coverage, sample--query relevance, sample--instruction compatibility를 포착하는 Extended Deep Submodular Function으로 구현한다. 이후 SMILE은 query-adaptive 방식으로 instruction--demonstration pair를 greedy하게 선택한다. 여섯 개 dataset과 여러 LLM backbone에서의 실험은 SMILE이 IO-only, ICL-only, 그리고 기존 joint baseline을 일관되게 능가함을 보여주며, 프롬프팅을 context engineering의 관점에서 바라보는 시각, 즉 상호작용하는 구성요소를 각각 따로 튜닝하는 대신 함께 최적화해야 한다는 관점을 지지한다.
"},{"id":"60895","en":"SSL4RL: Revisiting Self-supervised Learning as Intrinsic Reward for Visual-Language Reasoning","ko":"SSL4RL: Visual-Language Reasoning을 위한 Intrinsic Reward로서 Self-supervised Learning 재고","authors":"Xiaojun Guo, Runyu Zhou, Yifei Wang, Qi Zhang, Chenheng Zhang, Stefanie Jegelka, Xiaohan Wang, Jiajun Chai, Guojun Yin, Wei Lin, Yisen Wang","pos":"#1803","link":"https://openreview.net/forum?id=vWNZT9waPN","abs":"Vision-language models (VLMs) have shown remarkable abilities by integrating large language models with visual inputs. However, they often fail to utilize visual evidence adequately, either depending on linguistic priors in vision-centric tasks or resorting to textual shortcuts during reasoning. Although reinforcement learning (RL) can align models with desired behaviors, its application to VLMs has been hindered by the lack of scalable and reliable reward mechanisms. To overcome this challenge, we propose SSL4RL, a novel framework that leverages self-supervised learning (SSL) tasks as a source of verifiable rewards for RL-based fine-tuning. Our approach reformulates SSL objectives—such as predicting image rotation or reconstructing masked patches—into dense, automatic reward signals, eliminating the need for human preference data or unreliable AI evaluators. Experiments show that SSL4RL substantially improves performance on both vision-centric and vision-language reasoning benchmarks, with encouraging potentials on open-ended image-captioning scenarios and stronger resilience to visual corruptions. Through systematic ablations, we identify key factors—such as data volume, model scale, model choice, task difficulty, and semantic alignment with the target domain—that influence the effectiveness of SSL4RL tasks, offering new design principles for future work. We also demonstrate the framework’s generality by applying it to graph learning, where it yields significant gains. SSL4RL establishes a versatile and effective paradigm for aligning multimodal models using verifiable, self-supervised objectives.
","absKo":"Vision-language model(VLM)은 large language model과 visual input을 결합함으로써 놀라운 능력을 보여 왔다. 그러나 이들은 vision-centric task에서는 linguistic prior에 의존하거나, reasoning 과정에서는 textual shortcut에 기대어 visual evidence를 충분히 활용하지 못하는 경우가 많다. Reinforcement learning(RL)은 model을 원하는 행동에 맞출 수 있지만, VLM에 적용하는 데에는 확장 가능하고 신뢰할 수 있는 reward mechanism이 부족하다는 문제가 있었다. 이 과제를 해결하기 위해, 우리는 RL-based fine-tuning을 위한 검증 가능한 reward의 원천으로 self-supervised learning(SSL) task를 활용하는 새로운 framework인 SSL4RL을 제안한다. 우리의 접근은 image rotation 예측이나 masked patch 복원과 같은 SSL objective를 dense하고 자동화된 reward signal로 재구성하여, human preference data나 신뢰할 수 없는 AI evaluator가 필요 없게 만든다. 실험 결과 SSL4RL은 vision-centric benchmark와 vision-language reasoning benchmark 모두에서 성능을 크게 향상시키며, open-ended image-captioning scenario에서의 유망한 가능성과 더 강한 visual corruption 저항성을 보인다. 체계적인 ablation을 통해 우리는 data volume, model scale, model choice, task difficulty, target domain과의 semantic alignment와 같이 SSL4RL task의 효과에 영향을 미치는 핵심 요인을 밝혀, 향후 연구를 위한 새로운 설계 원칙을 제시한다. 또한 이 framework의 일반성을 graph learning에 적용함으로써 입증했으며, 그 결과 상당한 향상을 얻었다. SSL4RL은 검증 가능한 self-supervised objective를 사용해 multimodal model을 정렬하는 다재다능하고 효과적인 paradigm을 확립한다.
"},{"id":"66257","en":"Self-Prophetic Decoding to Unlock Visual Search in LVLMs","ko":"LVLM에서 시각 탐색을 여는 자기 예언적 디코딩","authors":"Zhendong He, Qiyuan Dai, Guanbin Li, Liang Lin, Sibei Yang","pos":"#1806","link":"https://openreview.net/forum?id=5MdWQefUzC","abs":"Large Vision-Language Models (LVLMs) are rapidly evolving toward true multimodal reasoning, with visual search representing a concrete instantiation of the thinking-with-images paradigm. However, LVLM visual search faces two key challenges: incompatibility among intrinsic capabilities after post-training, and interference in long multi-step reasoning contexts. To address these, we identify two novel insights. First, self-regulation between pre- and post-training LVLMs leverages the intrinsic single-step capabilities of the pre-training model to mitigate capability deterioration and long-context interference. Second, probability-based prophetic sampling, replacing naive prompting, provides a probabilistic interface where the pre-training model acts as a prophet and the post-training model selectively accepts prophetic tokens under its output distribution, preserving coherent multi-step reasoning. Building on these insights, we introduce SeProD, a self-prophetic decoding framework that leverages intrinsic single-step capabilities to enable coherent multi-step reasoning in a training-free, plug-and-play manner. Experiments show that SeProD consistently improves multiple visual-search LVLMs across all 12 splits of 4 visual search benchmarks, as well as across general VQA benchmarks, without added computational overhead, thanks to its parallel prophetic acceptance mechanism. The code will be made publicly available.
","absKo":"Large Vision-Language Models (LVLMs)는 진정한 multimodal reasoning을 향해 빠르게 발전하고 있으며, visual search는 thinking-with-images paradigm의 구체적인 구현으로 볼 수 있다. 그러나 LVLM visual search는 post-training 이후 intrinsic capability 간의 비호환성과, 긴 multi-step reasoning 맥락에서의 간섭이라는 두 가지 핵심 문제에 직면한다. 이를 해결하기 위해 우리는 두 가지 새로운 통찰을 도출한다. 첫째, pre-training과 post-training LVLM 사이의 self-regulation은 pre-training model의 intrinsic single-step capability를 활용하여 capability 저하와 long-context interference를 완화한다. 둘째, 단순한 prompting을 대체하는 probability-based prophetic sampling은 probabilistic interface를 제공하며, 여기서 pre-training model은 prophet으로 작동하고 post-training model은 자신의 output distribution 하에서 prophetic token을 선택적으로 수용함으로써 일관된 multi-step reasoning을 보존한다. 이러한 통찰을 바탕으로 우리는 intrinsic single-step capability를 활용하여 training-free, plug-and-play 방식으로 일관된 multi-step reasoning을 가능하게 하는 self-prophetic decoding framework인 SeProD를 제안한다. 실험 결과 SeProD는 추가적인 계산 오버헤드 없이, parallel prophetic acceptance mechanism 덕분에 4개의 visual search benchmark의 12개 모든 split에서 여러 visual-search LVLM을 일관되게 향상시키며, 일반 VQA benchmark에서도 개선을 보였다. 코드는 공개될 예정이다.
"},{"id":"64613","en":"Shrinking the Variance: Shrinkage Baselines for Reinforcement Learning with Verifiable Rewards","ko":"분산을 줄이기: 검증 가능한 보상을 활용한 Reinforcement Learning을 위한 Shrinkage Baseline","authors":"Guanning Zeng, Zhaoyi Zhou, Daman Arora, Andrea Zanette","pos":"#1807","link":"https://openreview.net/forum?id=LffORETnav","abs":"Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a powerful paradigm for post-training large reasoning models (LRMs) using policy-gradient methods such as GRPO. To stabilize training, these methods typically center trajectory rewards by subtracting the empirical mean for each prompt. Statistically, this centering acts as a control variate (or baseline), reducing the variance of the policy-gradient estimator. Typically, the mean reward is estimated using per-prompt empirical averages for each prompt in a batch. Drawing inspiration from Stein’s paradox, we propose using \\emph{shrinkage estimators} that combine \\emph{per-prompt} and \\emph{across-prompt} means to improve the overall per-prompt mean estimation accuracy---particularly in the low-generation regime typical of RLVR. Theoretically, we construct a shrinkage-based baseline that provably yields lower-variance policy-gradient estimators across algorithms. Our proposed baseline serves as a drop-in replacement for existing per-prompt mean baselines, requiring no additional hyper-parameters or computation. Empirically, shrinkage baselines consistently outperform standard empirical-mean baselines, leading to lower-variance gradient updates and improved training stability.
","absKo":"Reinforcement Learning with Verifiable Rewards (RLVR)는 GRPO와 같은 policy-gradient 방법을 사용해 large reasoning model (LRM)을 post-training하는 강력한 패러다임으로 부상했다. 학습을 안정화하기 위해, 이러한 방법들은 일반적으로 각 prompt에 대해 경험적 평균을 빼서 trajectory reward를 중심화한다. 통계적으로, 이러한 중심화는 control variate(또는 baseline)로 작용하여 policy-gradient estimator의 분산을 줄인다. 일반적으로 mean reward는 batch 내 각 prompt에 대해 per-prompt empirical average로 추정된다. Stein’s paradox에서 영감을 받아, 우리는 RLVR에서 전형적인 낮은 generation regime에서 특히 유리하도록, \\emph{per-prompt} 평균과 \\emph{across-prompt} 평균을 결합하는 \\emph{shrinkage estimator}를 사용하는 방법을 제안한다. 이론적으로, 우리는 알고리즘 전반에 걸쳐 더 낮은 분산의 policy-gradient estimator를 보장하는 shrinkage 기반 baseline을 구성한다. 우리가 제안하는 baseline은 기존의 per-prompt mean baseline을 그대로 대체할 수 있으며, 추가 하이퍼파라미터나 계산을 요구하지 않는다. 경험적으로, shrinkage baseline은 표준 empirical-mean baseline보다 일관되게 우수한 성능을 보여 더 낮은 분산의 gradient update와 더 나은 학습 안정성을 이끈다.
"},{"id":"64272","en":"Smaller Models are Natural Explorers for Policy-Level Diversity in GRPO","ko":"더 작은 모델이 GRPO에서 정책 수준 다양성을 위한 자연스러운 탐색자다","authors":"Yiming Ren, Yiran Xu, Zicheng Lin, Chufan Shi, Yukang Chen, Dingdong WANG, Tianhe Wu, Junjie Wang, Yujiu Yang, Yu Qiao, Ruihang Chu","pos":"#1808","link":"https://openreview.net/forum?id=PI2xku6EDA","abs":"We identify a new dimension for enhancing rollout diversity in Group Relative Policy Optimization (GRPO) for LLMs. While GRPO relies on diverse rollouts, prevailing strategies primarily increase diversity by injecting more token-level randomness, which may introduce step-wise noise and leads to incoherent trajectories. We uncover that smaller models within the same model family inherently exhibit higher policy-level diversity, indicated by their superior pass@k relative to larger counterparts as sample counts increase. Unlike token-level noise, this diversity is temporally correlated, preserves logical consistency, and provides structured exploration signals for gradient estimation. We thus propose S2L-PO (Small-to-Large Policy Optimization), a framework that leverages fixed small models as natural explorers to train larger models. To balance exploration and exploitation, we design a progressive annealing strategy that transitions from offline small-model rollouts to the large learner’s own sampling. This shift elegantly avoids mid-training performance drops caused by the small model's capacity limits, achieving faster convergence and unlocking a higher performance ceiling. S2L-PO improves accuracy on diverse mathematical reasoning benchmarks (eg., +8.8\\% on AIME 24 using a 1.7B explorer to guide the 8B model) while reducing rollout compute. The code will be made available.
","absKo":"우리는 LLM을 위한 Group Relative Policy Optimization(GRPO)에서 rollout diversity를 높이기 위한 새로운 차원을 식별한다. GRPO가 다양한 rollout에 의존하는 반면, 기존 전략은 주로 token-level randomness를 더 주입해 diversity를 높이는데, 이는 step-wise noise를 유발하고 비일관적인 trajectory로 이어질 수 있다. 우리는 같은 model family 내의 더 작은 모델이 본질적으로 더 높은 policy-level diversity를 보인다는 점을 밝혀냈으며, 이는 샘플 수가 증가할수록 더 큰 모델에 비해 우수한 pass@k로 나타난다. token-level noise와 달리 이러한 diversity는 시간적으로 상관되어 있고, 논리적 일관성을 보존하며, gradient estimation을 위한 구조화된 exploration signal을 제공한다. 이에 따라 우리는 S2L-PO(Small-to-Large Policy Optimization)를 제안한다. 이는 고정된 작은 모델을 자연스러운 explorer로 활용해 더 큰 모델을 학습시키는 framework이다. exploration과 exploitation의 균형을 맞추기 위해, 우리는 offline small-model rollout에서 large learner의 자체 sampling으로 전환하는 progressive annealing strategy를 설계했다. 이러한 전환은 small model의 capacity limit로 인해 학습 중간에 발생하는 성능 하락을 우아하게 피하면서, 더 빠른 수렴과 더 높은 성능 상한을 달성한다. S2L-PO는 다양한 수학적 추론 benchmark에서 정확도를 향상시키며(예: 1.7B explorer가 8B model을 안내할 때 AIME 24에서 +8.8\\%), rollout compute를 줄인다. 코드는 공개될 예정이다.
"},{"id":"63428","en":"ThetaEvolve: Test-time Learning on Open Problems","ko":"ThetaEvolve: 미해결 문제에 대한 테스트타임 학습","authors":"Yiping Wang, Shao-Rong Su, Zhiyuan Zeng, Eva Xu, Liliang Ren, Xinyu Yang, Zeyi Huang, Xuehai He, Luyao Ma, Baolin Peng, Hao Cheng, Pengcheng He, Weizhu Chen, Shuohang Wang, Simon Du, Yelong Shen","pos":"#1813","link":"https://openreview.net/forum?id=XHP568OuIl","abs":"Recent advances in large language models (LLMs) have enabled breakthroughs in mathematical discovery, exemplified by AlphaEvolve, a closed-source system that evolves programs to improve bounds on open problems. However, it relies on ensembles of frontier LLMs to achieve new bounds and is a pure inference system that models cannot internalize the evolving strategies. We introduce ThetaEvolve, an open-source framework that simplifies and extends AlphaEvolve to efficiently scale both in-context learning and Reinforcement Learning (RL) at test time, allowing models to continually learn from their experiences in improving open optimization problems. ThetaEvolve features a single LLM, a large program database for enhanced exploration, batch sampling for higher throughput, lazy penalties to discourage stagnant outputs, and optional reward shaping for stable training signals, etc. ThetaEvolve is the first evolving framework that enable a small open-source model, like DeepSeek-R1-0528-Qwen3-8B, to achieve new best-known bounds on open problems (circle packing and first auto-correlation inequality) mentioned in AlphaEvolve. Besides, across two models and four open tasks, we find that ThetaEvolve with RL at test-time consistently outperforms inference-only baselines, and the model indeed learns evolving capabilities, as the RL-trained checkpoints demonstrate faster progress and better final performance on both trained target task and other unseen tasks. We will release our code publicly.
","absKo":"대규모 언어 모델(LLMs)의 최근 발전은 수학적 발견에서의 돌파구를 가능하게 했으며, 그 대표적 예가 open problem의 경계를 개선하기 위해 프로그램을 진화시키는 closed-source 시스템인 AlphaEvolve이다. 그러나 AlphaEvolve는 새로운 경계에 도달하기 위해 frontier LLM들의 ensemble에 의존하며, 순수한 inference system이어서 모델이 진화하는 전략을 내재화할 수는 없다. 우리는 AlphaEvolve를 단순화하고 확장하여 in-context learning과 test time에서의 Reinforcement Learning(RL)을 모두 효율적으로 확장할 수 있게 하는 open-source framework인 ThetaEvolve를 제안한다. 이를 통해 모델은 open optimization problem을 개선하는 과정에서 자신의 경험으로부터 지속적으로 학습할 수 있다. ThetaEvolve는 단일 LLM, 향상된 탐색을 위한 대규모 program database, 더 높은 throughput을 위한 batch sampling, 정체된 출력을 억제하기 위한 lazy penalties, 그리고 안정적인 training signal을 위한 optional reward shaping 등을 특징으로 한다. ThetaEvolve는 DeepSeek-R1-0528-Qwen3-8B와 같은 작은 open-source model이 AlphaEvolve에서 언급된 open problem(circle packing과 first auto-correlation inequality)에서 새로운 best-known bound를 달성할 수 있게 하는 최초의 진화 프레임워크이다. 또한 두 개의 model과 네 개의 open task 전반에서, test-time RL을 적용한 ThetaEvolve가 inference-only baseline을 일관되게 능가함을 확인했으며, 실제로 모델은 진화 능력을 학습한다. RL로 학습된 checkpoint는 학습된 target task와 다른 unseen task 모두에서 더 빠른 진전과 더 나은 최종 성능을 보인다. 우리는 코드를 공개 배포할 예정이다.
"},{"id":"62290","en":"Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression","ko":"Extreme-Ratio Chain-of-Thought Compression을 통한 효율적 Large Language Reasoning Model","authors":"Yuntian Tang, Bohan Jia, Wenxuan Huang, Lianyue Zhang, Jiao Xie, Wenxi Li, Wei Li, Jie Hu, Xinghao Chen, Rongrong Ji, Shaohui Lin","pos":"#1816","link":"https://openreview.net/forum?id=hwJ2SZtVij","abs":"Chain-of-Thought (CoT) reasoning successfully enhances the reasoning capabilities of Large Language Models (LLMs), yet it incurs substantial computational overhead for inference. Existing CoT compression methods often suffer from a critical loss of logical fidelity at high compression ratios, resulting in significant performance degradation. To achieve high-fidelity, fast reasoning, we propose a novel EXTreme-RAtio Chain-of-Thought Compression framework, termed Extra-CoT, which aggressively reduces the token budget while preserving answer accuracy. To generate reliable, high-fidelity supervision, we first train a dedicated semantically-preserved compressor on mathematical CoT data with fine-grained annotations. An LLM is then fine-tuned on these compressed pairs via a mixed-ratio supervised fine-tuning (SFT), teaching it to follow a spectrum of compression budgets and providing a stable initialization for reinforcement learning (RL). We further propose Constrained and Hierarchical Ratio Policy Optimization (CHRPO) to explicitly incentivize question-solving ability under lower budgets by a hierarchical reward. Experiments on three mathematical reasoning benchmarks show the superiority of Extra-CoT. For example, on MATH-500 using Qwen3-1.7B, Extra-CoT achieves over 73\\% token reduction with an accuracy improvement of 0.6\\%, significantly outperforming state-of-the-art (SOTA) methods. Our source codes are released in the Supplementaries.
","absKo":"Chain-of-Thought(CoT) reasoning은 Large Language Models(LLMs)의 추론 능력을 성공적으로 향상시키지만, 추론 시 상당한 계산 오버헤드를 유발합니다. 기존 CoT 압축 방법은 높은 압축률에서 논리적 충실도의 심각한 손실을 겪는 경우가 많아, 큰 성능 저하로 이어집니다. 높은 충실도와 빠른 추론을 달성하기 위해, 우리는 토큰 예산을 공격적으로 줄이면서도 답변 정확도를 보존하는 새로운 EXTreme-RAtio Chain-of-Thought Compression 프레임워크, Extra-CoT를 제안합니다. 신뢰할 수 있는 고충실도 supervision을 생성하기 위해, 먼저 세밀한 주석이 포함된 mathematical CoT data로 의미 보존 compressor를 학습합니다. 이후 LLM을 mixed-ratio supervised fine-tuning(SFT)으로 이 압축된 pair들에 대해 fine-tune하여, 다양한 compression budget을 따르도록 학습하고 reinforcement learning(RL)을 위한 안정적인 초기화를 제공합니다. 또한 우리는 계층적 보상으로 더 낮은 budget에서의 문제 해결 능력을 명시적으로 장려하는 Constrained and Hierarchical Ratio Policy Optimization(CHRPO)을 제안합니다. 세 개의 수학적 추론 benchmark에서의 실험은 Extra-CoT의 우수성을 보여줍니다. 예를 들어, Qwen3-1.7B를 사용한 MATH-500에서 Extra-CoT는 73%가 넘는 token reduction과 0.6%의 정확도 향상을 달성하여 최신(SOTA) 방법을 크게 능가합니다. 소스 코드는 Supplementaries에 공개되어 있습니다.
"},{"id":"63106","en":"Reuse your FLOPs: Scaling RL on Hard Problems by Conditioning on Very Off-Policy Prefixes","ko":"FLOPs를 재사용하라: 극도로 Off-Policy한 접두사에 조건화하여 어려운 문제에서 RL 확장하기","authors":"Amrith Setlur, Zijian Wang, Andrew Cohen, Paria Rashidinejad, Sang Michael Xie","pos":"#1902","link":"https://openreview.net/forum?id=a5itZI3DeQ","abs":"Typical reinforcement learning (RL) methods for LLM reasoning waste compute on hard problems, where correct on-policy traces are rare and policy gradients vanish. To bootstrap more efficient RL, we consider reusing old sampling FLOPs (from prior inference or RL training) in the form of off-policy traces. We introduce PrefixRL, where we condition on the prefix of successful off-policy traces and run on-policy RL to complete them, side-stepping instabilities from using off-policy data as supervision targets. PrefixRL boosts the learning signal on hard problems by modulating the difficulty of the problem through the off-policy prefix length. We prove that the PrefixRL objective is not only consistent with the standard RL objective but also more sample efficient. Empirically, we discover back-generalization: training only on prefixed problems generalizes to out-of-distribution unprefixed performance, with learned strategies often differing from those in the prefix. In our experiments, we source the off-policy traces by rejection sampling with the base model, creating a self-improvement loop. On hard reasoning problems, PrefixRL reaches the same training reward 2x faster than the strongest baseline (SFT on off-policy data then RL), even after accounting for the compute spent on the initial rejection sampling, and increases the final reward by 3x.
","absKo":"LLM 추론을 위한 전형적인 reinforcement learning (RL) 방법은 정답 on-policy trace가 드물고 policy gradient가 소실되는 어려운 문제에서 compute를 낭비한다. 더 효율적인 RL을 부트스트랩하기 위해, 우리는 이전 inference 또는 RL training에서 나온 sampling FLOP을 off-policy trace 형태로 재사용하는 방식을 고려한다. 우리는 성공적인 off-policy trace의 prefix를 조건으로 두고 on-policy RL을 실행하여 이를 완성하는 PrefixRL을 제안하며, 이를 통해 off-policy 데이터를 supervision target으로 사용하는 데서 오는 불안정성을 우회한다. PrefixRL은 off-policy prefix 길이를 통해 문제의 난이도를 조절함으로써 어려운 문제에서 학습 신호를 강화한다. 우리는 PrefixRL objective가 표준 RL objective와 일치할 뿐 아니라 더 sample-efficient함을 증명한다. 실증적으로는 back-generalization을 발견한다. 즉, prefix가 있는 문제로만 학습해도 out-of-distribution의 prefix 없는 성능으로 일반화되며, 학습된 전략은 종종 prefix 안의 전략과 다르다. 우리의 실험에서는 base model에 대한 rejection sampling으로 off-policy trace를 확보하여 self-improvement loop를 만든다. 어려운 reasoning 문제에서 PrefixRL은 초기 rejection sampling에 쓴 compute를 감안하더라도, 가장 강한 baseline(off-policy data에 대한 SFT 후 RL)보다 동일한 training reward에 2배 더 빠르게 도달하며, 최종 reward를 3배 증가시킨다.
"},{"id":"62515","en":"Representational Curvature Shapes Behavioral Uncertainty in Large Language Models","ko":"표현 곡률이 Large Language Models의 행동 불확실성을 결정함","authors":"Jack King, Evelina Fedorenko, Eghbal Hosseini","pos":"#1903","link":"https://openreview.net/forum?id=fufl3hBXMq","abs":"In autoregressive large language models (LLMs), temporal straightening offers an account of how the next-token prediction objective shapes representations. Across layers, models progressively straighten the trajectory of input sequences in activation space, potentially facilitating extrapolation to the next token. However, a direct link between this geometry and token-level behavior has been missing. We provide such a link by relating contextual curvature—a geometric measure of how sharply the representation trajectory bends over recent context—to next-token entropy. Across model families (GPT-2 XL and Pythia-2.8B), contextual curvature is correlated with entropy, and this relationship emerges during training. Perturbation experiments provide causal evidence: reducing curvature through trajectory-aligned interventions selectively lowers entropy, while geometrically misaligned perturbations have no effect. Finally, explicitly regularizing representations to be straighter during training modestly reduces token-level entropy without degrading validation loss. These results identify trajectory curvature as a task-aligned representational feature that influences output uncertainty, suggesting that temporal straightening could be a functional principle shaping prediction in autoregressive language models.
","absKo":"autoregressive large language models(LLMs)에서 temporal straightening은 next-token prediction objective가 representation을 어떻게 형성하는지에 대한 설명을 제공한다. 여러 layer에 걸쳐, 모델은 activation space에서 input sequence의 trajectory를 점진적으로 곧게 펴며, 이를 통해 다음 token으로의 extrapolation을 촉진할 가능성이 있다. 그러나 이러한 geometry와 token-level behavior 사이의 직접적인 연결은 아직 부족했다. 우리는 contextual curvature, 즉 최근 context 위에서 representation trajectory가 얼마나 급격히 굽는지를 나타내는 geometric measure와 next-token entropy를 연결함으로써 이 공백을 메운다. 모델 family(GPT-2 XL과 Pythia-2.8B) 전반에서 contextual curvature는 entropy와 상관관계를 보이며, 이러한 관계는 학습 과정에서 나타난다. Perturbation experiment는 인과적 증거를 제공한다: trajectory-aligned intervention을 통해 curvature를 줄이면 entropy가 선택적으로 낮아지지만, geometry와 정렬되지 않은 perturbation은 영향을 주지 않는다. 마지막으로, 학습 중 representation을 더 straight하게 되도록 명시적으로 regularization하면 validation loss를 악화시키지 않으면서 token-level entropy가 소폭 감소한다. 이 결과들은 trajectory curvature를 output uncertainty에 영향을 미치는 task-aligned representational feature로 규정하며, temporal straightening이 autoregressive language model에서 prediction을 형성하는 기능적 원리일 수 있음을 시사한다.
"},{"id":"65066","en":"RLIE: Rule Generation with Logistic Regression, Iterative Refinement, and Evaluation for Large Language Models","ko":"RLIE: 대규모 언어 모델을 위한 Logistic Regression, 반복적 정제 및 평가 기반 규칙 생성","authors":"Yang Yang, Hua XU, Zhangyi Hu, Yutao Yue","pos":"#1906","link":"https://openreview.net/forum?id=H4wc2tjCNG","abs":"Large Language Models (LLMs) can propose natural-language rules, circumventing the reliance on a predefined predicate space in traditional rule learning. However, existing LLM-based methods often neglect the global interactions among rules, and the potential of using fine-grained rule importance scores to calibrate neuro-symbolic reasoning remains underexplored. To address this gap, we introduce RLIE, a framework that integrates LLMs with probabilistic modeling to learn weighted rule sets in four stages: (1) Rule generation: proposing and filtering candidate rules via LLMs; (2) Logistic regression: learning sparse, calibrated weights for global rule selection; (3) \\textbf{I}terative refinement: revising the rule set with error-driven hard examples; and (4) \\textbf{E}valuation: {validating the learned system via comparative inference paradigms}. Across multiple real-world datasets and LLM backbones, our learned weighted rules \\textbf{achieve superior stability and accuracy}, whereas rule-injection prompting yields mixed results and often degrades performance. These results suggest LLMs excel at semantic rule discovery but are less reliable at controlled probabilistic aggregation. Our findings highlight both the promise and the limits of LLMs for inductive reasoning, motivating a principled integration with classic probabilistic rule combination for reliable neuro-symbolic reasoning.
","absKo":"Large Language Models(LLMs)는 자연어 규칙을 제안할 수 있어, 전통적인 rule learning에서 미리 정의된 predicate space에 의존하는 문제를 우회한다. 그러나 기존의 LLM 기반 방법은 종종 규칙들 사이의 전역적 상호작용을 간과하며, 세밀한 rule importance score를 사용해 neuro-symbolic reasoning을 보정하는 잠재력도 충분히 탐구되지 않았다. 이 공백을 메우기 위해 우리는 LLM과 확률적 모델링을 결합해 4단계로 weighted rule set을 학습하는 프레임워크 RLIE를 제안한다: (1) Rule generation: LLM을 통해 후보 규칙을 제안하고 필터링; (2) Logistic regression: 전역 rule selection을 위한 희소하고 보정된 weight 학습; (3) \\textbf{I}terative refinement: error-driven hard example로 rule set 수정; (4) \\textbf{E}valuation: {비교적 inference paradigm을 통해 학습된 시스템 검증}. 여러 실제 데이터셋과 LLM backbone 전반에서, 우리가 학습한 weighted rule은 \\textbf{더 우수한 안정성과 정확도}를 달성하는 반면, rule-injection prompting은 결과가 들쭉날쭉하며 종종 성능을 저하시켰다. 이러한 결과는 LLM이 의미론적 rule discovery에는 뛰어나지만, 통제된 probabilistic aggregation에는 덜 신뢰할 만함을 시사한다. 우리의 발견은 귀납적 추론에 대한 LLM의 가능성과 한계를 모두 보여주며, 신뢰할 수 있는 neuro-symbolic reasoning을 위해 고전적 probabilistic rule combination과의 원리 있는 통합을 촉진한다.
"},{"id":"61948","en":"On the Plasticity and Stability for Post-Training Large Language Models","ko":"사후 학습 Large Language Model의 plasticity와 stability","authors":"Wenwen Qiang, Ziyin Gu, Jiahuan Zhou, Jie Hu, Jingyao Wang, Changwen Zheng, Hui Xiong","pos":"#1914","link":"https://openreview.net/forum?id=lOR6zI5peb","abs":"Training stability remains a critical bottleneck for Group Relative Policy Optimization (GRPO), often manifesting as a trade-off between reasoning plasticity and general capability retention. We identify a root cause as the geometric conflict between plasticity and stability gradients, which leads to destructive interference. Crucially, we argue that deterministic projection methods are suboptimal for GRPO as they overlook the intrinsic stochasticity of group-based gradient estimates. To address this, we propose Probabilistic Conflict Resolution (PCR), a Bayesian framework that models gradients as random variables. PCR dynamically arbitrates conflicts via an uncertainty-aware ``soft projection'' mechanism, optimizing the signal-to-noise ratio. Extensive experiments demonstrate that PCR significantly smooths the training trajectory and achieves superior performance in various reasoning tasks.
","absKo":"training stability는 Group Relative Policy Optimization(GRPO)에서 여전히 중요한 병목으로, 종종 reasoning plasticity와 general capability retention 사이의 trade-off로 나타난다. 우리는 그 근본 원인을 plasticity gradient와 stability gradient 사이의 기하학적 충돌로 식별했으며, 이는 파괴적 간섭을 유발한다. 특히, group-based gradient estimate의 본질적 stochasticity를 간과한다는 이유로 deterministic projection method는 GRPO에 최적이 아니라고 주장한다. 이를 해결하기 위해 우리는 gradient를 random variable로 모델링하는 Bayesian framework인 Probabilistic Conflict Resolution(PCR)을 제안한다. PCR은 uncertainty-aware ``soft projection'' mechanism을 통해 충돌을 동적으로 조정하며, signal-to-noise ratio를 최적화한다. 광범위한 실험은 PCR이 training trajectory를 유의미하게 더 매끄럽게 만들고 다양한 reasoning task에서 더 우수한 성능을 달성함을 보여준다.
"},{"id":"63590","en":"MODEL MERGING SCALING LAWS IN LARGE LANGUAGE MODELS","ko":"대규모 언어 모델에서의 모델 머징 scaling law","authors":"Yuanyi Wang, Yanggan Gu, Yiming Zhang, Qi Zhou, Zhaoyi Yan, Congkai Xie, Xinyao Wang, Jianbo Yuan, Hongxia Yang","pos":"#2004","link":"https://openreview.net/forum?id=VkTfx8FJoq","abs":"We study empirical scaling laws for language model merging measured by cross-entropy. Despite its wide practical use, merging lacks a quantitative rule that predicts returns as we add experts or scale the model size. We identify a compact power law that links model size and expert number: the size-dependent floor decreases with model capacity, while the merging tail exhibits clear diminishing returns in the number of experts. The law holds in-domain and cross-domain, tightly fits measured curves across diverse architectures and methods (Average, TA, TIES, DARE), and explains two robust regularities: most gains arrive early, and variability shrinks as more experts are included. Building on this, we present a simple theory that explains why gains fall roughly as (1/k) and links the floor and tail to properties of the base model and the diversity across domains. This law enables \\emph{predictive planning}: estimate how many experts are needed to reach a target loss, decide when to stop adding experts, and trade off scaling the base model versus adding experts under a fixed budget—turning merging from heuristic practice into a computationally efficient, planable alternative to multitask training. This suggests a scaling principle for distributed generative AI: predictable gains can be achieved by composing specialists, offering a complementary path toward AGI-level systems.
","absKo":"우리는 cross-entropy로 측정한 language model merging의 empirical scaling law를 연구한다. 널리 실용적으로 사용되고 있음에도 불구하고, merging에는 expert를 추가하거나 model size를 키울 때 수익이 어떻게 변할지를 예측하는 정량적 규칙이 없다. 우리는 model size와 expert 수를 연결하는 간결한 power law를 발견했다. size-dependent floor는 model capacity가 커질수록 감소하고, merging tail은 expert 수가 늘어날수록 뚜렷한 diminishing returns를 보인다. 이 법칙은 in-domain과 cross-domain 모두에서 성립하며, 다양한 architecture와 method(Average, TA, TIES, DARE)에 걸쳐 측정 곡선을 매우 정확하게 적합하고, 두 가지 견고한 규칙성을 설명한다. 즉, 대부분의 이득은 초기에 나타나며, 더 많은 expert를 포함할수록 변동성은 줄어든다. 이를 바탕으로 우리는 이득이 대략 (1/k)로 감소하는 이유를 설명하고, floor와 tail을 base model의 속성 및 domain 간 다양성과 연결하는 간단한 이론을 제시한다. 이 법칙은 \\emph{predictive planning}을 가능하게 한다. 즉, 목표 loss에 도달하는 데 필요한 expert 수를 추정하고, expert 추가를 언제 멈출지 결정하며, 고정 예산 하에서 base model을 확장할지 expert를 더할지 간의 trade-off를 따질 수 있다. 그 결과 merging은 휴리스틱한 관행에서 벗어나 multitask training의 계산적으로 효율적이고 계획 가능한 대안이 된다. 이는 distributed generative AI를 위한 scaling principle을 시사한다. 즉, specialist를 조합함으로써 예측 가능한 이득을 얻을 수 있으며, 이는 AGI-level system을 향한 보완적 경로를 제공한다.
"},{"id":"65332","en":"Maximum Likelihood Reinforcement Learning","ko":"최대 우도 강화학습","authors":"Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Russ Salakhutdinov, Haiwen Feng, Andrea Zanette","pos":"#2006","link":"https://openreview.net/forum?id=EeuLO2BjFN","abs":"Maximum likelihood is fundamental to supervised learning but it cannot be directly applied in correctness-based problems with non-differentiable sampling. In these settings, reinforcement learning (RL) is typically used to maximize expected reward. We show that for binary correctness tasks, expected-reward RL is a first-order approximation of the maximum likelihood objective, yielding vanishing learning signal on low-success inputs. We introduce **Maximum Likelihood Reinforcement Learning (MaxRL)**, a compute-indexed family of sampling-based objectives derived from a pass@k expansion of the likelihood, which interpolates between standard RL and exact maximum likelihood as compute increases. MaxRL admits a simple unbiased policy-gradient estimator whose optimized objective improves with additional compute. Across multiple domains, MaxRL consistently outperforms standard RL and GRPO, achieving higher $pass@1$ and substantially improved $pass@k$.","absKo":"최대우도는 지도학습의 기본이지만, 미분 불가능한 sampling을 포함하는 correctness-based 문제에는 직접 적용할 수 없다. 이러한 설정에서는 보통 expected reward를 최대화하기 위해 reinforcement learning(RL)을 사용한다. 우리는 binary correctness task에서 expected-reward RL이 maximum likelihood objective의 first-order approximation이며, 이로 인해 성공 확률이 낮은 입력에서는 learning signal이 사라진다는 점을 보인다. 우리는 likelihood의 pass@k expansion에서 유도된 compute-indexed sampling-based objective family인 **Maximum Likelihood Reinforcement Learning (MaxRL)**을 제안하며, 이는 compute가 증가함에 따라 standard RL과 exact maximum likelihood 사이를 보간한다. MaxRL은 최적화된 objective가 추가 compute와 함께 개선되는, 간단하고 unbiased한 policy-gradient estimator를 허용한다. 여러 도메인에서 MaxRL은 standard RL과 GRPO를 일관되게 능가하며, 더 높은 $pass@1$과 현저히 향상된 $pass@k$를 달성한다."},{"id":"61386","en":"Memory as a Markov Matrix: Sample Efficient Knowledge Expansion via Token-to-Dictionary Mapping","ko":"Markov Matrix로서의 Memory: Token-to-Dictionary Mapping을 통한 Sample Efficient Knowledge Expansion","authors":"Kaustubh Vijaykumar Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li","pos":"#2007","link":"https://openreview.net/forum?id=qk3z1iplmP","abs":"Continual incorporation of new knowledge is essential for the long-term evolution of large language models (LLMs). Existing approaches typically rely on parameter-update algorithms to mitigate catastrophic forgetting, yet they suffer from fundamental limitations: 1) forgetting is unavoidable as the amount of newly injected knowledge grows; and 2) model updates are often irreversible. As modern LLMs become increasingly expressive, it is natural to question whether large-scale weight updates are necessary for acquiring a small amount of new knowledge. In this work, we propose a principled framework that models autoregressive language generation as a Markov process over tokens, where model memory is represented by a Markov transition matrix. Under this formulation, incorporating new knowledge/tokens corresponds to extending the state space, and preserving existing transitions guarantees retention of previously learned knowledge. We then prove a sample complexity bound for incorporating new tokens via a token-to-dictionary mapping strategy. In particular, for learning the transition behavior of each new token, the required number of samples scales linearly with the number of existing tokens it is mapped to. To realize this mapping, we propose an embedding-tuning algorithm that requires minimal parameter updates and induces zero forgetting. Experimental results further demonstrate the effectiveness of our method and validate our theoretical findings.
","absKo":"새로운 지식을 지속적으로 통합하는 것은 large language model (LLM)의 장기적 진화에 필수적이다. 기존 접근법은 일반적으로 catastrophic forgetting을 완화하기 위해 parameter-update algorithm에 의존하지만, 다음과 같은 근본적 한계를 가진다: 1) 새로 주입되는 지식의 양이 커질수록 forgetting은 불가피하며; 2) model update는 흔히 되돌릴 수 없다. 현대의 LLM이 점점 더 expressive해짐에 따라, 소량의 새로운 지식을 습득하는 데 대규모 weight update가 정말 필요한지 의문을 제기하는 것은 자연스럽다. 본 연구에서는 autoregressive language generation을 token 위의 Markov process로 모델링하는 원리적 framework를 제안하며, 여기서 model memory는 Markov transition matrix로 표현된다. 이 formulation에서 새로운 지식/token의 통합은 state space의 확장에 해당하고, 기존 transition을 보존하는 것은 이전에 학습한 지식의 유지를 보장한다. 이어서 token-to-dictionary mapping strategy를 통해 새로운 token을 통합할 때의 sample complexity bound를 증명한다. 특히, 각 새로운 token의 transition behavior를 학습하는 데 필요한 sample 수는 그 token이 매핑되는 기존 token 수에 선형적으로 비례한다. 이 mapping을 구현하기 위해, 최소한의 parameter update만을 요구하고 zero forgetting을 유도하는 embedding-tuning algorithm을 제안한다. 실험 결과는 우리 방법의 효과를 추가로 입증하고 이론적 발견을 검증한다.
"},{"id":"63678","en":"Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding","ko":"Video-MTR: 긴 비디오 이해를 위한 강화된 다중 턴 추론","authors":"Yuan Xie, Tianshui Chen, Zheng Ge, Lionel Ni","pos":"#202","link":"https://openreview.net/forum?id=UhPwL6LYOc","abs":"Long-form video understanding remains a formidable challenge due to the complexity of modeling long-range temporal dependencies and multi-event narratives. Existing methods often rely on static reasoning or external Visual-Language Models (VLMs), resulting in high computational complexity and sub-optimal performance. In this paper, we propose Video-MTR, a reinforced multi-turn reasoning framework that operates solely through data-efficient, pure RL post-training. Video-MTR reformulates video understanding as a dynamic decision-making process, where the agent iteratively selects key segments conditioned on the evolving context of previously processed frames and the query. To ensure effective intermediate reasoning and training stability, we introduce a novel gated bi-level reward system, which synergizes trajectory-level rewards (answer correctness) with turn-level rewards (frame-query relevance). This mechanism eliminates the need for data-intensive supervised fine-tuning, thereby substantially reducing reliance on large-scale datasets. Remarkably, Video-MTR achieves competitive or superior performance using only $\\sim$8K training samples, compared to existing approaches that require 257K to 4.4M examples. Extensive experiments on benchmarks including VideoMME, MLVU, LongVideoBench, LVBench, and EgoSchema demonstrate that Video-MTR surpasses state-of-the-art methods in both accuracy and efficiency.","absKo":"장문 비디오 이해는 장거리 temporal dependency와 다중 이벤트 내러티브를 모델링하는 복잡성 때문에 여전히 매우 어려운 과제이다. 기존 방법은 종종 정적인 추론이나 외부 Visual-Language Model(VLM)에 의존하여 높은 계산 복잡도와 최적 이하의 성능을 초래한다. 본 논문에서는 데이터 효율적이고 pure RL post-training만으로 동작하는 강화된 multi-turn reasoning framework인 Video-MTR을 제안한다. Video-MTR은 비디오 이해를 동적인 의사결정 과정으로 재구성하며, 에이전트는 이전에 처리한 frame들과 query의 변화하는 context에 조건화하여 핵심 segment를 반복적으로 선택한다. 효과적인 중간 추론과 학습 안정성을 보장하기 위해, trajectory-level reward(정답의 정확성)와 turn-level reward(frame-query 관련성)를 결합하는 새로운 gated bi-level reward system을 도입한다. 이 메커니즘은 데이터 집약적인 supervised fine-tuning의 필요성을 제거하여 대규모 데이터셋에 대한 의존을 크게 줄인다. 주목할 만하게도 Video-MTR은 약 8K개의 training sample만 사용하고도 경쟁력 있거나 더 우수한 성능을 달성하는데, 이는 257K에서 440만 개의 example을 요구하는 기존 접근법과 대조적이다. VideoMME, MLVU, LongVideoBench, LVBench, EgoSchema를 포함한 benchmark에서 수행한 광범위한 실험은 Video-MTR이 정확도와 효율성 모두에서 state-of-the-art method를 능가함을 보여준다."},{"id":"66402","en":"Adversarial Training for Process Reward Models","ko":"Process Reward Model을 위한 적대적 훈련","authors":"Gurusha Juneja, Deepak Nathani, William Wang","pos":"#208","link":"https://openreview.net/forum?id=43Hwj59jZg","abs":"Process Reward Models (PRMs) enhance reasoning ability of LLMs by providing step-level supervision. However, their widespread adoption is limited due to expensive manual step-level annotation and poor generalization of static training data to novel errors. We introduce Adversarially Trained PRMs (APRM), where a Generator ($G$) learns to produce reasoning errors to deceive a PRM ($R$), while $R$ concurrently learns to detect them. This interaction yields progressively harder negatives for $R$, improving it's robustness and generalization to novel errors without requiring manual step-level labels. Averaged across diverse mathematical reasoning benchmarks, APRM improves solver accuracy by $+3.4$ percentage points (pp) over the strongest PRM baseline. APRM achieves gains of $+5.3$ pp on out-of-distribution tasks.","absKo":"Process Reward Models (PRMs)는 step-level supervision을 제공함으로써 LLMs의 reasoning ability를 향상시킨다. 그러나 expensive한 manual step-level annotation과 새로운 error에 대한 static training data의 poor generalization 때문에 널리 채택되는 데 한계가 있다. 우리는 Adversarially Trained PRMs (APRM)를 소개한다. 여기서 Generator($G$)는 PRM($R$)을 속이기 위한 reasoning error를 생성하도록 학습하고, 동시에 $R$은 이를 탐지하도록 학습한다. 이 상호작용은 $R$에게 점점 더 어려운 negative를 제공하여, manual step-level label 없이도 novel error에 대한 robustness와 generalization을 향상시킨다. 다양한 mathematical reasoning benchmark 전반에서 평균적으로 APRM은 가장 강력한 PRM baseline 대비 solver accuracy를 +3.4 percentage points (pp) 향상시킨다. APRM은 out-of-distribution task에서 +5.3 pp의 향상을 달성한다."},{"id":"63273","en":"Harnessing Uncertainty: Entropy-Modulated Policy Gradients for Long-Horizon LLM Agents","ko":"불확실성 활용: 장기 지평선 LLM 에이전트를 위한 엔트로피 변조 정책 경사","authors":"Jiawei Wang, Jiacai Liu, Yuqian Fu, Yingru Li, Xintao Wang, Yuan Lin, Lin Zhang, YuYue, Yang Wang, WANG KE","pos":"#2109","link":"https://openreview.net/forum?id=YVNn8t1XMX","abs":"In long-horizon tasks, recent agents based on Large Language Models (LLMs) face a significant challenge that sparse, outcome-based rewards make it difficult to assign credit to intermediate steps. Previous methods mainly focus on creating dense reward signals to guide learning, either through traditional reinforcement learning techniques like inverse reinforcement learning or by using Process Reward Models for step-by-step feedback. In this paper, we identify a fundamental problem in the learning dynamics of LLMs: the magnitude of policy gradients is inherently coupled with the entropy, which leads to inefficient small updates for confident correct actions and potentially destabilizes large updates for uncertain ones. To resolve this, we propose Entropy-Modulated Policy Gradients (EMPG), a framework that recalibrates the learning signal based on step-wise uncertainty and the final task outcome. EMPG amplifies updates for confident correct actions, penalizes confident errors, and attenuates updates from uncertain steps to stabilize exploration. We further introduce a bonus term for future clarity that encourages agents to find more predictable solution paths. Through comprehensive experiments on three challenging agent tasks, WebShop, ALFWorld, and Deep Search, we demonstrate that EMPG achieves substantial performance gains and significantly outperforms strong policy gradient baselines.
","absKo":"장기-horizon task에서 최근 Large Language Models (LLMs) 기반 agent는 희소한 outcome-based reward가 중간 단계에 대한 credit assignment를 어렵게 만든다는 중대한 도전에 직면한다. 기존 방법은 주로 학습을 유도하기 위해 dense reward signal을 만드는 데 집중해 왔으며, inverse reinforcement learning 같은 전통적 reinforcement learning 기법이나 step-by-step feedback을 위한 Process Reward Models를 활용한다. 본 논문에서는 LLM의 학습 dynamics에 존재하는 근본적 문제를 식별한다. 즉, policy gradient의 크기는 본질적으로 entropy와 결합되어 있어, 확신 있는 올바른 action에는 비효율적으로 작은 update를, 불확실한 action에는 잠재적으로 불안정한 큰 update를 유발한다. 이를 해결하기 위해, 우리는 step-wise uncertainty와 최종 task outcome을 기반으로 learning signal을 재조정하는 framework인 Entropy-Modulated Policy Gradients (EMPG)를 제안한다. EMPG는 확신 있는 올바른 action에 대한 update를 증폭하고, 확신 있는 error를 페널티하며, 불확실한 step에서의 update를 약화시켜 exploration을 안정화한다. 또한 더 예측 가능한 solution path를 찾도록 agent를 유도하는 미래 명확성에 대한 bonus term을 도입한다. WebShop, ALFWorld, Deep Search의 세 가지 까다로운 agent task에서 수행한 포괄적 실험을 통해 EMPG가 상당한 성능 향상을 달성하며 강력한 policy gradient baseline을 크게 능가함을 보인다.
"},{"id":"66430","en":"Gradients with Respect to Semantics Preserving Embeddings Tell the Uncertainty of Large Language Model","ko":"의미 보존 임베딩에 대한 그래디언트가 대규모 언어 모델의 불확실성을 알려준다","authors":"Mingda Li, Rundong Lv, Xinyu Li, Weinan Zhang, Ting Liu","pos":"#2110","link":"https://openreview.net/forum?id=3qYdflAp56","abs":"Uncertainty quantification (UQ) is an important technique for ensuring the trustworthiness of LLMs, given their tendency to hallucinate. Existing state-of-the-art UQ approaches for free-form generation rely heavily on sampling, which incurs high computational cost and variance. In this work, we propose the first gradient-based UQ method for free-form generation, SemGrad, which is sampling-free and computationally efficient. Unlike prior gradient-based methods developed for classification tasks that operates in parameter space, we propose to consider gradients in semantic space. Our method builds on the key intuition that a confident LLM should maintain stable output distributions under semantically equivalent input perturbations. We interpret the stability as the gradients in semantic space and introduce a Semantic Preservation Score (SPS) to identify embeddings that best capture semantics, with respect to which gradients are computed. We further propose HybridGrad, which combines the strengths of SemGrad and parameter gradients. Experiments demonstrate that both of our methods provide efficient and effective uncertainty estimates, achieving superior performance than state-of-the-art methods, particularly in settings with multiple valid responses.
","absKo":"불확실성 정량화(UQ)는 환각(hallucinate)하는 경향을 지닌 LLM의 신뢰성을 보장하는 데 중요한 기법이다. 자유 형식 생성에 대한 기존 state-of-the-art UQ 방법은 샘플링에 크게 의존하며, 이로 인해 높은 계산 비용과 분산이 발생한다. 본 연구에서는 자유 형식 생성을 위한 최초의 gradient-based UQ 방법인 SemGrad를 제안한다. 이 방법은 샘플링이 필요 없고 계산 효율적이다. parameter space에서 작동하도록 개발된 분류 과제용 기존 gradient-based 방법과 달리, 우리는 semantic space에서의 gradient를 고려할 것을 제안한다. 우리의 방법은 의미적으로 동등한 입력 perturbation 하에서 자신감 있는 LLM은 안정적인 output distribution을 유지해야 한다는 핵심 직관에 기반한다. 우리는 이러한 안정성을 semantic space에서의 gradient로 해석하고, gradient를 계산할 기준이 되는 의미를 가장 잘 포착하는 embedding을 식별하기 위해 Semantic Preservation Score (SPS)를 도입한다. 또한 SemGrad와 parameter gradient의 장점을 결합한 HybridGrad를 제안한다. 실험은 우리의 두 방법이 모두 효율적이고 효과적인 불확실성 추정을 제공하며, 특히 여러 개의 유효한 응답이 존재하는 설정에서 state-of-the-art 방법보다 우수한 성능을 달성함을 보여준다.
"},{"id":"64807","en":"Decomposed On-Policy Distillation for Vision-Language Reasoning: Steering Gradients for Visual Grounding","ko":"Vision-Language 추론을 위한 분해된 On-Policy Distillation: Visual Grounding을 위한 Gradient Steering","authors":"Hee Suk Yoon, Eunseop Yoon, Jaehyun Jang, SooHwan Eom, Ji Woo Hong, Mark Hasegawa-Johnson, Qi Dai, Chong Luo, Chang D. Yoo","pos":"#2203","link":"https://openreview.net/forum?id=Jb1YBPqyb7","abs":"While on-policy distillation offers dense supervision for training small reasoning models, its optimization dynamics in the multimodal domain remain under-explored. In this work, we challenge the standard monolithic view of Vision-Language Model (VLM) distillation by mathematically decomposing the loss into two distinct components: the language prior and visual grounding. Our analysis uncovers that gradient vectors for these components are nearly orthogonal, indicating that the objective of aligning with the teacher's language distribution is geometrically independent from the objective of matching its visual perception. Consequently, standard optimization passively follows a suboptimal compromise trajectory that implicitly balances the two objectives. Hypothesizing that visual grounding constitutes the primary bottleneck for vision-language reasoning, we introduce Visual Gradient Steering (VGS), a method that dynamically reorients the update vector to prioritize the visual subspace. Experimental results on multiple distillation settings and complex multimodal benchmarks demonstrate that VGS significantly outperforms the standard monolithic formulation of on-policy distillation, achieving superior grounding with minimal training overhead. Code will be released.
","absKo":"on-policy distillation은 작은 reasoning model을 학습할 때 dense supervision을 제공하지만, multimodal 도메인에서의 최적화 동역학은 아직 충분히 탐구되지 않았다. 본 연구에서 우리는 Vision-Language Model (VLM) distillation의 기존 monolithic 관점을 수학적으로 분해하여, loss를 language prior와 visual grounding이라는 두 개의 서로 다른 구성요소로 나눈다. 우리의 분석은 이 두 구성요소에 대한 gradient vector가 거의 orthogonal함을 밝혀내며, teacher의 language distribution과 정렬하는 목적과 그 visual perception을 맞추는 목적이 기하학적으로 독립적임을 보여준다. 그 결과, 표준 optimization은 두 목적 사이를 암묵적으로 균형 맞추는 suboptimal compromise trajectory를 수동적으로 따라가게 된다. 우리는 visual grounding이 vision-language reasoning의 주요 병목이라고 가정하고, update vector의 방향을 동적으로 재조정하여 visual subspace를 우선시하는 Visual Gradient Steering (VGS)를 제안한다. 여러 distillation setting과 복잡한 multimodal benchmark에서의 실험 결과는 VGS가 standard monolithic formulation의 on-policy distillation보다 유의미하게 우수하며, 최소한의 training overhead로 더 나은 grounding을 달성함을 보여준다. 코드는 공개될 예정이다.
"},{"id":"60955","en":"Depth-Breadth Synergy in RLVR: Unlocking LLM Reasoning Gains with Adaptive Exploration","ko":"RLVR에서 Depth-Breadth Synergy: Adaptive Exploration으로 LLM 추론 성능 향상 열기","authors":"Zhicheng Yang, Zhijiang Guo, Yinya Huang, Yongxin Wang, Dongchun Xie, Hanhui Li, Yiwei Wang, Xiaodan Liang, Jing Tang","pos":"#2205","link":"https://openreview.net/forum?id=v3diR6NstK","abs":"Reinforcement Learning with Verifiable Reward (RLVR) is a powerful method for enhancing the reasoning abilities of Large Language Models, but its full potential is limited by a lack of exploration in two key areas: \\textbf{Depth} (the difficulty of problems) and \\textbf{Breadth} (the number of training instances). Our analysis of the popular GRPO algorithm reveals a bias that down-weights difficult, low-accuracy problems, which are crucial for improving reasoning skills. To address this, we introduce Difficulty Adaptive Rollout Sampling (DARS), a method that re-weights difficult problems by using targeted, multi-stage rollouts. This approach increases the number of rollout outcomes for these harder problems according to our proposed re-balancing schedules and leads to consistent gains in \\textit{Pass@K}. We also found that simply enlarging the rollout size isn't effective and can even harm performance. We also investigated the role of breadth by scaling the batch size and using full-batch updates. This significantly improved \\textit{Pass@1} performance by maintaining high token-level entropy, which indicates continued exploration and reduced gradient noise. Finally, we present DARS-Breadth, a combined approach that uses DARS with a large breadth of training data. This method demonstrates simultaneous gains in both \\textit{Pass@K} and \\textit{Pass@1}, confirming that depth (adaptive exploration) and breadth (scaling the training data) are orthogonal and essential dimensions for unlocking the full reasoning power of RLVR.
","absKo":"Reinforcement Learning with Verifiable Reward(RLVR)는 Large Language Model의 reasoning 능력을 향상시키는 강력한 방법이지만, 두 가지 핵심 영역인 \\textbf{Depth}(문제의 난이도)와 \\textbf{Breadth}(학습 인스턴스의 수)에 대한 탐색 부족으로 인해 그 잠재력이 충분히 발휘되지 못한다. 널리 사용되는 GRPO algorithm에 대한 우리의 분석은 어려우면서 정확도가 낮은 문제의 가중치를 낮추는 편향을 드러내는데, 이는 reasoning skill 향상에 중요하다. 이를 해결하기 위해, 우리는 targeted, multi-stage rollout을 사용하여 어려운 문제의 가중치를 재조정하는 Difficulty Adaptive Rollout Sampling(DARS)을 도입한다. 이 접근법은 우리가 제안한 re-balancing schedule에 따라 이러한 더 어려운 문제들에 대한 rollout outcome 수를 늘리고, \\textit{Pass@K}에서 일관된 향상을 이끈다. 또한 단순히 rollout size를 늘리는 것은 효과적이지 않으며 오히려 성능을 해칠 수 있음을 발견했다. 우리는 batch size를 확장하고 full-batch update를 사용하는 방식으로 breadth의 역할도 조사했다. 이는 높은 token-level entropy를 유지함으로써 \\textit{Pass@1} 성능을 크게 향상시켰는데, 이는 지속적인 탐색과 더 낮은 gradient noise를 의미한다. 마지막으로, 우리는 DARS와 큰 breadth의 training data를 결합한 DARS-Breadth를 제시한다. 이 방법은 \\textit{Pass@K}와 \\textit{Pass@1}에서 동시에 향상을 보여주며, Depth(adaptive exploration)와 Breadth(training data scaling)가 RLVR의 전체 reasoning power를 해제하는 데 있어 서로 직교하면서도 필수적인 차원임을 확인한다.
"},{"id":"65629","en":"Efficient numeracy in language models through single-token number embeddings","ko":"단일 토큰 숫자 임베딩을 통한 언어 모델의 효율적 수리 능력","authors":"Linus Kreitner, Paul Hager, Jonathan Mengedoht, Georgios Kaissis, Daniel Rueckert, Martin Menten","pos":"#2210","link":"https://openreview.net/forum?id=Bh4Ubk80M8","abs":"To drive progress in science and engineering, large language models (LLMs) must be able to process large amounts of numerical data and solve long calculations efficiently. This is currently only possible through the use of external tools or extensive reasoning chains, either weakening the numerical representations of LLMs or limiting the length of problems they can solve. We show that frontier LLMs require excessive amounts of reasoning tokens to solve even basic calculations, which is exacerbated by their tokenization strategies that split single numbers into multiple tokens. This motivates the need for efficient and effective single-token number encodings. We introduce a set of desiderata for such encodings and show that existing approaches fail to fulfill them. To address these shortcomings, we propose BitTokens, a novel encoding strategy that represents any number as a single token using its IEEE 754 binary floating-point representation. Through extensive experiments we show that our BitTokens allow even small language models to learn algorithms that solve basic arithmetic operations nearly perfectly. This newly gained efficiency could expand the length and complexity of problems language models can solve.
","absKo":"과학과 공학의 진전을 이끌기 위해서는 large language models (LLMs)가 방대한 수치 데이터를 처리하고 긴 계산을 효율적으로 해결할 수 있어야 한다. 현재 이는 external tool의 사용이나 대규모 reasoning chain을 통해서만 가능하며, 그 결과 LLM의 수치 표현 능력이 약화되거나 해결할 수 있는 문제의 길이가 제한된다. 우리는 frontier LLM이 기본적인 계산조차 해결하는 데 과도한 양의 reasoning token을 필요로 하며, 단일 숫자를 여러 token으로 분할하는 tokenization 전략 때문에 이 문제가 더욱 악화됨을 보인다. 이는 효율적이고 효과적인 single-token number encoding의 필요성을 시사한다. 우리는 이러한 encoding을 위한 일련의 desiderata를 제시하고, 기존 접근법들이 이를 충족하지 못함을 보인다. 이러한 한계를 해결하기 위해, IEEE 754 binary floating-point representation을 사용하여 어떤 숫자든 단일 token으로 표현하는 새로운 encoding 전략인 BitTokens를 제안한다. 광범위한 실험을 통해 우리는 BitTokens가 작은 language model조차 기본 산술 연산을 거의 완벽하게 수행하는 알고리즘을 학습하게 할 수 있음을 보인다. 이렇게 새롭게 확보된 효율성은 language model이 해결할 수 있는 문제의 길이와 복잡도를 확장할 수 있다.
"},{"id":"64850","en":"Chain-of-Glimpse: Search-Guided Progressive Object-Grounded Reasoning for Video Understanding","ko":"Chain-of-Glimpse: 비디오 이해를 위한 Search-Guided 점진적 Object-Grounded 추론","authors":"ZHIXUAN WU, Quanxing Zha, Teng Wang, Genbao Xu, Wenyuan Gu, Wei Rao, Nan Ma, Bo Cheng, Soujanya Poria","pos":"#2302","link":"https://openreview.net/forum?id=J9cU4mVavU","abs":"Video understanding requires identifying and reasoning over semantically discriminative visual objects across frames, yet existing object-agnostic solutions struggle to effectively handle substantial object variations over time. To address this, we introduce Chain-of-Glimpse, a search-guided progressive object-grounded reasoning framework that explicitly anchors each reasoning step to specific visual evidence regions, enabling compositional and multi-step decision-making. Formally, Chain-of-Glimpse formulates video reasoning as a step-by-step process that incrementally builds spatially grounded traces around task-relevant visual objects, thereby mitigating over-reliance on saliency-driven cues. Specifically, Chain-of-Glimpse features a search-guided controller, optimized via reinforcement learning with a format reward that significantly incentivizes grounding capability, to iteratively ground visual evidence regions and form reliable reasoning trajectories, yielding accurate and interpretable multi-step decisions. Extensive evaluations on both in-domain NExTQA and out-of-domain Video-Holmes, CG-Bench-Reasoning, and VRBench benchmarks demonstrate consistent performance gains, robustness and generalization of Chain-of-Glimpse across diverse video reasoning tasks.
","absKo":"Video understanding은 frame 전반에 걸쳐 의미적으로 구별되는 visual object를 식별하고 추론하는 것을 요구하지만, 기존의 object-agnostic solution은 시간에 따라 큰 object variation이 발생하는 상황을 효과적으로 처리하는 데 어려움을 겪는다. 이를 해결하기 위해 우리는 search-guided progressive object-grounded reasoning framework인 Chain-of-Glimpse를 소개한다. 이 framework는 각 reasoning step을 특정 visual evidence region에 명시적으로 고정함으로써, compositional하고 multi-step인 의사결정을 가능하게 한다. 형식적으로, Chain-of-Glimpse는 task와 관련된 visual object 주변에 spatially grounded trace를 점진적으로 구축하는 step-by-step process로 video reasoning을 정식화하여, saliency-driven cue에 대한 과도한 의존을 완화한다. 구체적으로, Chain-of-Glimpse는 grounding 능력을 크게 강화하는 format reward와 함께 reinforcement learning으로 최적화된 search-guided controller를 특징으로 하며, 이를 통해 visual evidence region을 반복적으로 grounding하고 신뢰할 수 있는 reasoning trajectory를 형성하여 정확하고 해석 가능한 multi-step decision을 도출한다. in-domain NExTQA와 out-of-domain Video-Holmes, CG-Bench-Reasoning, VRBench benchmark에서의 광범위한 평가는 Chain-of-Glimpse가 다양한 video reasoning task 전반에서 일관된 성능 향상, robustness, generalization을 보임을 입증한다.
"},{"id":"66006","en":"AutoRAS: Learning Robust Agentic Systems with Primitive Representations","ko":"AutoRAS: 원시 표현을 활용한 강건한 에이전트 시스템 학습","authors":"Yang Yue, Xuancheng Zhu, YuYang Ma, Guoshun Nan, Zihan Dou, JingRu Shan, Congyu Guo, Ji Zhang, Hua Wang, Jingfeng Zhang","pos":"#2310","link":"https://openreview.net/forum?id=7zTV4dvdGB","abs":"The automated design of agentic systems offers a promising pathway for scaling large language models (LLMs) beyond single-agent reasoning. While prior work has advanced task performance through handcrafted or automatically generated multi-agent workflows, robustness is often treated as an afterthought, leaving systems vulnerable to external adversaries and internal failures. We propose AutoRAS, a framework for the Automated design of Robust Agentic Systems. AutoRAS formulates system design as generating a sequence of symbolic primitives that jointly encode structural connectivity and behavioral actions, and learns to optimize this sequence using execution-derived safety signals and flow-based sequence-level objectives. Extensive experiments show that AutoRAS achieves the best performance in both vanilla and adversarial settings, with the smallest performance degradation under attacks. Further analyses demonstrate strong transferability, stable optimization behavior, stability across primitive sets, and favorable cost trade-offs. Our code is available at this link.
","absKo":"agentic system의 자동 설계는 large language model(LLM)을 single-agent reasoning을 넘어 확장하기 위한 유망한 경로를 제공한다. 기존 연구는 수작업 또는 자동 생성된 multi-agent workflow를 통해 task 성능을 향상시켜 왔지만, robustness는 종종 부차적인 문제로 취급되어 시스템이 외부 adversary와 내부 실패에 취약하게 남아 있다. 우리는 Robust Agentic Systems의 Automated design을 위한 framework인 AutoRAS를 제안한다. AutoRAS는 system design을 구조적 connectivity와 behavioral action을 함께 인코딩하는 symbolic primitive의 sequence를 생성하는 문제로 정식화하고, execution-derived safety signal과 flow-based sequence-level objective를 사용해 이 sequence를 최적화하도록 학습한다. 광범위한 실험은 AutoRAS가 vanilla 설정과 adversarial 설정 모두에서 최고의 성능을 달성하며, attack 하에서의 성능 저하도 가장 작음을 보여준다. 추가 분석은 강한 transferability, 안정적인 optimization behavior, primitive set 전반에 걸친 안정성, 그리고 유리한 cost trade-off를 입증한다. 우리의 코드는 이 링크에서 확인할 수 있다.
"},{"id":"61840","en":"Don't Force the Fit: Bounded Log-Likelihood Loss for Enhanced Reasoning in Large Language Models","ko":"Don't Force the Fit: Large Language Model의 향상된 추론을 위한 제한된 Log-Likelihood Loss","authors":"Feng Zhao, Hong Zhang, Yu Yang, Ruilin Zhao, Guandong Xu","pos":"#2413","link":"https://openreview.net/forum?id=mTMA9yvsnx","abs":"Supervised fine-tuning (SFT) is central to aligning large language models (LLMs) with instruction following and task-specific reasoning. Despite its success, SFT optimizes token-level likelihoods under the implicit assumption that strictly fitting all tokens in expert demonstrations induces the desired downstream behavior. However, in reasoning tasks where correctness is defined by logical validity or final outcomes rather than exact token realizations, this assumption can lead to optimization misalignment. We empirically observe that low-probability tokens in reasoning demonstrations often correspond to realization-specific or stylistic variations, and that reducing their influence during training consistently improves generalization on reasoning benchmarks. Motivated by this insight, we propose the Bounded Log-Likelihood Loss (BLL-Loss), a simple and parameter-free alternative to standard likelihood training that bounds gradient contributions from low-probability tokens while preserving conventional optimization behavior. We provide theoretical insights and extensive empirical results demonstrating that BLL-Loss improves reasoning generalization across diverse model scales and challenging benchmarks.
","absKo":"지도 미세조정(SFT)은 대규모 언어 모델(LLM)을 instruction following과 task-specific reasoning에 맞추는 데 핵심적이다. 그 성공에도 불구하고, SFT는 expert demonstration의 모든 token을 엄격하게 맞추면 원하는 downstream behavior가 유도된다는 암묵적 가정 아래 token-level likelihood를 최적화한다. 그러나 정답성이 정확한 token realization이 아니라 logical validity 또는 최종 결과로 정의되는 reasoning task에서는, 이러한 가정이 optimization misalignment를 초래할 수 있다. 우리는 reasoning demonstration에서 low-probability token이 종종 realization-specific하거나 stylistic variation에 해당하며, 학습 중 이들의 영향을 줄이면 reasoning benchmark에서의 generalization이 일관되게 향상된다는 것을 실증적으로 관찰한다. 이러한 통찰에 동기를 얻어, 우리는 Bounded Log-Likelihood Loss (BLL-Loss)를 제안한다. 이는 low-probability token의 gradient 기여를 제한하면서도 기존 optimization behavior는 보존하는, 단순하고 parameter-free한 standard likelihood training의 대안이다. 우리는 이론적 통찰과 광범위한 실험 결과를 통해 BLL-Loss가 다양한 model scale과 어려운 benchmark 전반에서 reasoning generalization을 향상시킨다는 것을 보인다.
"},{"id":"60952","en":"Escaping the Mode: Multi-Answer Reinforcement Learning in LMs","ko":"Mode 탈출하기: LM에서 Multi-Answer Reinforcement Learning","authors":"Isha Puri, Mehul Damani, Idan Shenfeld, Marzyeh Ghassemi, Jacob Andreas, Yoon Kim","pos":"#307","link":"https://openreview.net/forum?id=v5f3KAjVEF","abs":"Large language models (LMs) are typically post-trained via RL to produce a single best answer per query, implicitly optimizing for modal correctness. While effective for benchmark accuracy, this approach is unideal for many applications of interest such as in medical diagnosis, which would benefit from models generating a set of plausible answers (ideally paired with uncertainty estimates).This paper describes a multi-answer reinforcement learning (RL) approach for enabling LMs to do this, where we modify the RL objective to train models to explicitly generate multiple candidate answers in a single forward pass, internalizing aspects of inference-time search into the model’s generative process. We instantiate this approach through Multi-Answer Reinforcement Learning with Verifiable Rewards (Multi-RLVR), which generalizes ordinary RLVR to the multi-answer case with a set-level reward. We further extend this approach to Multi-Answer Reinforcement Learning with Calibrated Rewards (Multi-RLCR) which adds a set-level Brier score-based calibration objective to enable LMs to output calibrated uncertainty estimates associated with each answer in the output set. Multi-answer training promotes explicit representation of alternative hypotheses rather than repeated generation of the dominant mode. Across question-answering and medical diagnostic benchmarks, we observe improved diversity, recall, and set-level calibration scores compared to single answer-trained baselines. We further observe that models trained with our approach are more token-efficient, requiring fewer tokens to generate multiple answers than competing approaches. These results position multi-answer RL as a principled and compute-efficient alternative to inference-time scaling.
","absKo":"Large language models(LMs)는 일반적으로 각 query마다 단일 최적 답을 생성하도록 RL로 post-training되며, 암묵적으로 modal correctness를 최적화한다. 이는 benchmark accuracy에는 효과적이지만, 의학적 진단과 같이 여러 개의 plausible answer를 생성하는 모델이 유리한 많은 응용에서는 이상적이지 않다(가급적 uncertainty estimate와 함께). 이 논문은 LMs가 이를 수행할 수 있도록 하는 multi-answer reinforcement learning(RL) 접근법을 설명한다. 우리는 RL objective를 수정하여 모델이 단일 forward pass에서 여러 candidate answer를 명시적으로 생성하도록 학습시키며, inference-time search의 일부 측면을 모델의 generative process 안으로 내재화한다. 우리는 이 접근법을 Multi-Answer Reinforcement Learning with Verifiable Rewards(Multi-RLVR)로 구현하는데, 이는 set-level reward를 사용하여 ordinary RLVR을 multi-answer case로 일반화한다. 또한 우리는 이를 Multi-Answer Reinforcement Learning with Calibrated Rewards(Multi-RLCR)로 확장하여, set-level Brier score 기반 calibration objective를 추가함으로써 LM이 output set의 각 answer에 대응하는 calibrated uncertainty estimate를 출력하도록 한다. Multi-answer training은 지배적인 mode를 반복 생성하기보다 대안 가설을 명시적으로 표현하도록 유도한다. question-answering 및 medical diagnostic benchmark 전반에서, 우리는 single answer-trained baseline보다 더 나은 diversity, recall, set-level calibration score를 관찰한다. 또한 우리의 접근법으로 학습된 모델이 더 token-efficient하여, 경쟁 방법들보다 더 적은 token으로 여러 답을 생성함을 확인했다. 이러한 결과는 multi-answer RL을 inference-time scaling의 원칙적이면서도 compute-efficient한 대안으로 제시한다.
"},{"id":"61171","en":"Clipping Low-Probability Tokens in SFT Yields a Generalizable Initialization for RL","ko":"SFT에서 저확률 토큰 클리핑은 RL에 일반화 가능한 초기화를 제공한다","authors":"Tian-Shuo Liu, Chengxing Jia, Haoyu Liu, Pengyuan Wang, Shiyuan Zhang, Jie Fu, Yang Yu","pos":"#309","link":"https://openreview.net/forum?id=t4Jc7C9bTx","abs":"Supervised Fine-Tuning (SFT) is a critical step for adapting Large Language Models (LLMs) to specialized domains, often serving as an initialization for subsequent reinforcement learning (RL). However, SFT can overfit a small set of expert data, harming generalization and eroding prior knowledge. This can limit downstream RL, which benefits from a strong, generalizable initialization for exploration. Here, we demonstrate that prior knowledge degradation primarily results from tokens in the expert data to which the base model assigns low probability. Specifically, these low-probability tokens represent a significant deviation from the model’s current prior knowledge. Due to the nature of the log-likelihood objective, they produce larger gradient magnitudes, which speed up adaptation to the new data but degrade generalization. In this paper, we study the token-wise clipping strategy, a commonly used trust-region method for bounding per-token updates. We find that it reshapes token-level learning priorities, promoting more progressive adaptation that fits the new data while preserving general abilities. Compared with standard SFT, clipping low-probability tokens reduces out-of-distribution forgetting by 11.54\\% and improves final RL performance by 7.09\\% across the agentic benchmarks. Moreover, latent-space analysis shows smaller representational drift under clipping, indicating that it provides a generalizable initialization.
","absKo":"Supervised Fine-Tuning (SFT)은 Large Language Models (LLMs)을 특화 도메인에 적응시키는 데 중요한 단계이며, 이후의 reinforcement learning (RL)을 위한 초기화로도 자주 사용된다. 그러나 SFT는 소규모 expert data에 과적합하여 generalization을 해치고 기존 지식을 약화시킬 수 있다. 이는 탐색을 위해 강하고 일반화 가능한 초기화에 의존하는 downstream RL에도 제약이 될 수 있다. 여기서 우리는 prior knowledge의 저하가 주로 base model이 낮은 확률을 부여하는 expert data의 token에서 비롯됨을 보인다. 구체적으로, 이러한 low-probability token은 모델의 현재 prior knowledge와 큰 차이를 나타낸다. log-likelihood objective의 특성상 이들은 더 큰 gradient magnitude를 만들어 내며, 이는 새로운 데이터에 대한 적응은 빠르게 하지만 generalization은 저해한다. 본 논문에서는 token-wise clipping strategy, 즉 토큰별 업데이트를 제한하는 데 널리 쓰이는 trust-region method를 연구한다. 우리는 이것이 token-level learning priority를 재구성하여, 새로운 데이터를 잘 맞추면서도 일반적인 능력은 보존하는 보다 점진적인 적응을 촉진함을 보인다. 표준 SFT와 비교할 때, 낮은 확률의 token을 clipping하면 agentic benchmark 전반에서 out-of-distribution forgetting을 11.54\\% 줄이고 최종 RL 성능을 7.09\\% 향상시킨다. 또한 latent-space analysis는 clipping 하에서 representation drift가 더 작음을 보여주며, 이는 더 일반화 가능한 initialization을 제공함을 시사한다.
"},{"id":"66775","en":"Reinforcement-aware Knowledge Distillation for LLM Reasoning","ko":"LLM 추론을 위한 강화 인지 Knowledge Distillation","authors":"zhaoyang zhang, Shuli Jiang, Yantao Shen, Yuting Zhang, Dhananjay Ram, Shuo Yang, Zhuowen Tu, Wei Xia, Stefano Soatto","pos":"#4005","link":"https://openreview.net/forum?id=0RBMhFule7","abs":"Reinforcement learning (RL) post-training has recently driven major gains in long chain-of-thought reasoning large language models (LLMs), but the high inference cost of such models motivates distillation into smaller students. Most existing knowledge distillation (KD) methods are designed for supervised fine-tuning (SFT), relying on fixed teacher traces or teacher-student Kullback–Leibler (KL) divergence based regularization. When combined with RL, these approaches often suffer from distribution mismatch and objective interference: teacher supervision may not align with the student’s evolving rollout distribution, and the KL regularizer can compete with reward maximization and require careful loss balancing. To address these issues, we propose \\emph{RL-aware distillation} (RLAD), which performs selective imitation during RL---guiding the student toward the teacher only when it improves the current policy update. Our core component,Trust Region Ratio Distillation (TRRD), replaces the teacher-student KL regularizer with a PPO/GRPO-style likelihood-ratio objective anchored to a teacher--old-policy mixture, yielding advantage-aware, trust-region-bounded distillation on student rollouts and naturally balancing exploration, exploitation, and imitation. Across diverse logic reasoning and math benchmarks, RLAD}consistently outperforms offline distillation, standard GRPO, and KL-based on-policy teacher–student knowledge distillation.
","absKo":"강화학습(RL) post-training은 최근 긴 chain-of-thought 추론을 수행하는 대규모 언어 모델(LLM)에서 큰 성능 향상을 이끌어 왔지만, 이러한 모델의 높은 추론 비용은 더 작은 student로의 distillation을 동기부여한다. 기존의 knowledge distillation(KD) 방법 대부분은 supervised fine-tuning(SFT)을 위해 설계되어 있으며, 고정된 teacher trace 또는 teacher-student Kullback–Leibler(KL) divergence 기반 regularization에 의존한다. 이들을 RL과 결합하면, 이러한 접근법은 종종 distribution mismatch와 objective interference를 겪는다. 즉, teacher supervision이 student의 진화하는 rollout distribution과 맞지 않을 수 있고, KL regularizer는 reward maximization과 경쟁하며 loss balancing을 세심하게 조정해야 한다. 이러한 문제를 해결하기 위해, 우리는 RL-aware distillation(RLAD)을 제안한다. 이는 RL 동안 selective imitation을 수행하여, 현재 policy update를 개선할 때에만 student가 teacher를 따르도록 유도한다. 우리의 핵심 구성요소인 Trust Region Ratio Distillation(TRRD)는 teacher-student KL regularizer를 teacher--old-policy mixture에 기반한 PPO/GRPO 스타일의 likelihood-ratio objective로 대체하며, student rollout에서 advantage-aware하고 trust-region으로 제한된 distillation을 제공하고, exploration, exploitation, imitation의 균형을 자연스럽게 맞춘다. 다양한 논리 추론 및 수학 benchmark 전반에서, RLAD는 offline distillation, standard GRPO, 그리고 KL 기반 on-policy teacher–student knowledge distillation을 일관되게 능가한다.
"},{"id":"65457","en":"LangForce: Bayesian Decomposition of Vision Language Action Models via Latent Action Queries","ko":"LangForce: 잠재 행동 쿼리를 통한 Vision Language Action Model의 Bayesian 분해","authors":"Shijie Lian, Bin Yu, Xiaopeng LIN, Laurence Yang, Zhaolong Shen, Changti Wu, YuZhuo Miao, Cong Huang, Kai Chen","pos":"#606","link":"https://openreview.net/forum?id=DUJL3a5Y57","abs":"Vision-Language-Action (VLA) models have shown promise in robot manipulation but often struggle to generalize to new instructions or complex multi-task scenarios. We identify a critical pathology in current training paradigms where goal-driven data collection creates a dataset bias. In such datasets, language instructions are highly predictable from visual observations alone, causing the conditional mutual information between instructions and actions to vanish, a phenomenon we term Information Collapse. Consequently, models degenerate into vision-only policies that ignore language constraints. To address this, we propose LangForce, enforces instruction following via Bayesian decomposition. By introducing learnable Latent Action Queries, we construct a dual-branch architecture to estimate both a vision-only prior $p(a \\mid v)$ and a language-conditioned posterior $\\pi(a \\mid v, \\ell)$. We then optimize the policy to maximize the conditional Pointwise Mutual Information (PMI) between actions and instructions. This objective effectively penalizes the vision shortcut and rewards actions that explicitly explain the language command. Extensive experiments across on three benchmarks demonstrate substantial gains, including an 11.3\\% improvement on the challenging OOD SimplerEnv benchmark, validating the ability of LangForce to robustly ground language in action.","absKo":"Vision-Language-Action (VLA) model은 robot manipulation에서 유망한 성과를 보였지만, 새로운 instruction이나 복잡한 multi-task 시나리오로 일반화하는 데에는 종종 어려움을 겪는다. 우리는 현재 training paradigm의 심각한 병리를 확인했는데, goal-driven data collection이 dataset bias를 만들어낸다는 점이다. 이러한 dataset에서는 language instruction이 visual observation만으로도 매우 쉽게 예측되며, 그 결과 instruction과 action 사이의 conditional mutual information이 사라진다. 우리는 이를 Information Collapse라 부른다. 그 결과 model은 language constraint를 무시하는 vision-only policy로 퇴화한다. 이를 해결하기 위해 우리는 Bayesian decomposition을 통해 instruction following을 강제하는 LangForce를 제안한다. 학습 가능한 Latent Action Query를 도입하여, vision-only prior $p(a \\mid v)$와 language-conditioned posterior $\\pi(a \\mid v, \\ell)$를 모두 추정하는 dual-branch architecture를 구성한다. سپس policy를 최적화하여 action과 instruction 사이의 conditional Pointwise Mutual Information (PMI)을 최대화한다. 이 objective는 vision shortcut을 효과적으로 패널티하고, language command를 명시적으로 설명하는 action에 보상을 준다. 세 개 benchmark에 걸친 광범위한 실험은, 특히 challenging OOD SimplerEnv benchmark에서 11.3\\% 향상을 포함한 상당한 성능 향상을 보여주며, LangForce가 language를 action에 견고하게 grounding할 수 있음을 검증한다."},{"id":"62990","en":"Decompose, Structure, and Repair: A Neuro-Symbolic Framework for Autoformalization via Operator Trees","ko":"분해, 구조화, 복원: Operator Trees를 통한 자동 형식화를 위한 Neural-Symbolic 프레임워크","authors":"Xiaoyang Liu, Zineng Dong, Yifan Bai, Yantao Li, Yuntian Liu, Tao Luo","pos":"#903","link":"https://openreview.net/forum?id=b9PBqFgXp6","abs":"Statement autoformalization acts as a critical bridge between human mathematics and formal mathematics by translating natural language problems into formal language. While prior works have focused on data synthesis and diverse training paradigms to optimize end-to-end Large Language Models (LLMs), they typically treat formal code as flat sequences, neglecting the hierarchical logic inherent in mathematical statements. In this work, we introduce Decompose, Structure, and Repair (DSR), a neuro-symbolic framework that restructures autoformalization into a modular pipeline. DSR decomposes statements into logical components and maps them to structured operator trees, leveraging this topological blueprint to precisely localize and repair errors via sub-tree refinement. Furthermore, we introduce PRIME, a benchmark of 156 undergraduate and graduate-level theorems selected from canonical textbooks and expertly annotated in Lean 4. Experimental results demonstrate that DSR establishes a new state-of-the-art, consistently outperforming baselines under equivalent computational budgets. The benchmark, code, and detailed experimental results are available at https://anonymous.4open.science/r/DSR-4A51.
","absKo":"statement autoformalization은 자연어 문제를 formal language로 변환함으로써 인간 수학과 formal mathematics 사이의 중요한 가교 역할을 한다. 기존 연구는 end-to-end Large Language Models(LLMs)를 최적화하기 위해 data synthesis와 다양한 training paradigm에 초점을 맞추어 왔지만, 대개 formal code를 단순한 flat sequence로 취급하여 수학적 statement에 내재한 hierarchical logic을 간과한다. 본 연구에서는 autoformalization을 modular pipeline으로 재구성하는 neuro-symbolic framework인 Decompose, Structure, and Repair(DSR)를 소개한다. DSR은 statement를 logical component로 분해하고 이를 structured operator tree에 매핑하며, 이러한 topological blueprint를 활용해 sub-tree refinement를 통해 오류를 정밀하게 국소화하고 수정한다. 또한 우리는 canonical textbook에서 선별되고 Lean 4로 전문가 주석이 달린 학부 및 대학원 수준 theorem 156개로 구성된 benchmark인 PRIME을 소개한다. 실험 결과 DSR이 새로운 state-of-the-art를 달성했으며, 동일한 computational budget 하에서 baseline을 일관되게 능가함을 보여준다. benchmark, code, 상세한 실험 결과는 https://anonymous.4open.science/r/DSR-4A51 에서 확인할 수 있다.
"},{"id":"65126","en":"Train Once, Reuse Everywhere: Generalizable Implicit ICL by Routing Attention","ko":"한 번 학습하고 어디서나 재사용: Attention 라우팅을 통한 일반화 가능한 암묵적 ICL","authors":"Jiaqian Li, Yanshu Li, Ligong Han, Ruixiang Tang, Wenya Wang","pos":"#1714","link":"https://openreview.net/forum?id=Gb2mqvRRa0","abs":"Implicit in-context learning (ICL) has newly emerged as a promising paradigm that simulates ICL behaviors in the representation space of large language models (LLMs), aiming to attain few-shot performance at zero-shot cost. However, existing approaches largely rely on injecting shift vectors into residual flows, which are typically constructed from labeled demonstrations or task-specific alignment. Such designs fall short of utilizing the structural mechanisms underlying ICL and suffer from limited generalizability. To address this, we propose In-Context Routing (ICR), a novel implicit ICL method that internalizes generalizable ICL patterns at the attention logits level. It extracts reusable structural directions that emerge during ICL and employs a learnable input-conditioned router to modulate attention logits accordingly, enabling an efficient train-once-and-reuse framework. We evaluate ICR on 12 real-world datasets spanning diverse domains and multiple LLMs. The results show that ICR consistently outperforms existing implicit ICL methods that require task-specific retrieval or training, while demonstrating robust generalization to out-of-domain tasks where they struggle. These findings position ICR to push the boundary of the practical value of ICL.
","absKo":"Implicit in-context learning (ICL)은 large language models (LLMs)의 representation space에서 ICL behavior를 모사하여, zero-shot cost로 few-shot performance를 달성하는 유망한 paradigm으로 최근 부상했다. 그러나 기존 접근법은 주로 labeled demonstration이나 task-specific alignment로 구성된 shift vector를 residual flow에 주입하는 방식에 의존한다. 이러한 설계는 ICL의 기반이 되는 구조적 메커니즘을 충분히 활용하지 못하며, generalizability도 제한적이다. 이를 해결하기 위해 우리는 attention logits 수준에서 일반화 가능한 ICL pattern을 내재화하는 새로운 implicit ICL 방법인 In-Context Routing (ICR)을 제안한다. ICR은 ICL 동안 나타나는 재사용 가능한 structural direction을 추출하고, learnable input-conditioned router를 사용해 attention logits를 이에 맞게 조절함으로써, 효율적인 train-once-and-reuse framework를 가능하게 한다. 우리는 다양한 domain과 여러 LLMs에 걸친 12개 real-world dataset에서 ICR을 평가했다. 결과는 ICR이 task-specific retrieval이나 training을 필요로 하는 기존 implicit ICL method보다 일관되게 우수하며, 이들이 어려움을 겪는 out-of-domain task에 대해서도 강건한 generalization을 보임을 보여준다. 이러한 결과는 ICR이 ICL의 practical value의 경계를 넓히는 데 기여할 수 있음을 보여준다.
"},{"id":"62598","en":"WaterSIC: information-theoretically (near) optimal linear layer quantization","ko":"WaterSIC: 정보이론적으로 (거의) 최적의 linear layer quantization","authors":"Egor Lifar, Semyon Savkin, Or Ordentlich, Yury Polyanskiy","pos":"#4602","link":"https://openreview.net/forum?id=fCPgAHIciE","abs":"This paper considers the problem of converting a given dense linear layer into a low-precision version. The tradeoff between minimizing description length and discrepancy introduced at the output of the layer is analyzed information theoretically (IT). It is shown that the popular GPTQ algorithm may have an arbitrarily large gap to IT limit. To alleviate this problem a novel algorithm, termed ''WaterSIC'', is proposed and is shown to be within a rate gap of 0.255 bit to IT limit, uniformly over all possible covariance matrices of input activations. WaterSIC's key innovation is allocating different quantization rates to different columns (in-features) of the weight matrix, mimicking the classical IT solution known as ''waterfilling''. Applying WaterSIC to real LLMs establishes new state-of-the-art for rates in the range of 1...4 bits per entry.
","absKo":"이 논문은 주어진 dense linear layer를 low-precision version으로 변환하는 문제를 다룬다. layer 출력에서 발생하는 discrepancy를 최소화하는 것과 description length를 최소화하는 것 사이의 trade-off를 information-theoretic(IT) 관점에서 분석한다. 널리 사용되는 GPTQ algorithm이 IT limit과 임의로 큰 차이를 가질 수 있음을 보인다. 이 문제를 완화하기 위해, “WaterSIC”이라 불리는 새로운 algorithm을 제안하며, 입력 activation의 가능한 모든 covariance matrix에 대해 균일하게 IT limit에서 0.255 bit 이내의 rate gap에 있음을 보인다. WaterSIC의 핵심 혁신은 weight matrix의 서로 다른 column(in-feature)에 서로 다른 quantization rate를 할당하는 것으로, “waterfilling”으로 알려진 고전적인 IT 해법을 모사한다. 실제 LLM에 WaterSIC을 적용하면 entry당 1...4 bit 범위에서 새로운 state-of-the-art rate를 달성한다.
"},{"id":"65965","en":"BLOCK-EM: Preventing Emergent Misalignment via Latent Blocking","ko":"BLOCK-EM: 잠재 차단을 통한 창발적 오정렬 방지","authors":"Muhammed Ustaomeroglu, Guannan Qu","pos":"#3204","link":"https://openreview.net/forum?id=8Q2T5GLl8x","abs":"Emergent misalignment can arise when a language model is fine-tuned on a narrowly scoped supervised objective: the model learns the target behavior, yet also develops undesirable out-of-domain behaviors. We investigate a mechanistic approach to preventing emergent misalignment by identifying a small set of internal features that reliably control the misaligned behavior and then discouraging the model from strengthening these features during fine-tuning. Across six fine-tuning domains, blocking (i.e., constraining) a fixed set of features achieves up to 97\\% relative reduction in emergent misalignment with no degradation in target-task performance. We strengthen validity with disjoint selection/evaluation splits, multiple independent judges, multiple random seeds for key settings, quality metrics, and extensive ablations demonstrating that the reduction in misalignment is specific to the identified mechanism. We also characterize a limiting regime in which misalignment re-emerges under prolonged fine-tuning, present evidence consistent with rerouting through alternative features or layers, and evaluate modifications that partially restore the misalignment-blocking effect. Overall, our results show that targeted training-time constraints on internal mechanisms can mitigate emergent misalignment without degrading target-task performance.
","absKo":"언어 모델을 범위가 좁은 supervised objective로 fine-tuning할 때 emergent misalignment가 발생할 수 있다. 모델은 목표 행동을 학습하지만, 동시에 바람직하지 않은 out-of-domain 행동도 함께 발달시킨다. 우리는 misaligned behavior를 안정적으로 제어하는 소수의 internal feature를 식별한 뒤, fine-tuning 동안 모델이 이러한 feature를 강화하지 못하도록 유도하는 mechanistic 접근법을 통해 emergent misalignment를 방지하는 방법을 연구한다. 6개의 fine-tuning 도메인 전반에서, 고정된 feature 집합을 차단(blocking, 즉 제약)하면 target-task 성능 저하 없이 emergent misalignment를 최대 97\\%까지 상대적으로 감소시킨다. 우리는 분리된 selection/evaluation split, 여러 independent judge, 핵심 설정에 대한 여러 random seed, quality metric, 그리고 misalignment 감소가 식별된 mechanism에 특이적임을 보이는 광범위한 ablation을 통해 타당성을 강화한다. 또한 장시간 fine-tuning에서 misalignment가 다시 나타나는 한계 regime을 특성화하고, alternative feature나 layer를 통한 rerouting과 일치하는 증거를 제시하며, misalignment-blocking 효과를 부분적으로 복원하는 수정안을 평가한다. 전반적으로, 우리의 결과는 internal mechanism에 대한 표적화된 training-time constraint가 target-task 성능을 저하시키지 않으면서 emergent misalignment를 완화할 수 있음을 보여준다.
"},{"id":"60474","en":"AVI-Bench: Toward Human-like Audio-Visual Intelligence of Omni-MLLMs","ko":"AVI-Bench: Omni-MLLM의 인간 수준 Audio-Visual Intelligence를 향하여","authors":"Yaoting Wang, Ziyi Zhang, Wenming Tu, Shaoxuan Xu, Wenjie Du, Cheng Liang, weijun wang, Yuanchao Li, Guangyao Li, Hao Fei, Yuanchun Li, Henghui Ding, Yunxin Liu","pos":"#2313","link":"https://openreview.net/forum?id=zvkcVWBmcF","abs":"Recent advances in Omni-Multimodal Large Language Models (Omni-MLLMs) have enabled strong integration of vision, audio, and language. However, their audio-visual intelligence (AVI) remains insufficiently evaluated due to the lack of systematic and comprehensive benchmarks. We introduce AVI-Bench, a cognitively inspired benchmark that evaluates Omni-MLLMs across three stages, perception, understanding, and reasoning, through cross-modal tasks requiring joint audio-visual interpretation. This design enables fine-grained diagnosis of model capabilities and failure modes. To further assess robustness beyond familiar domains, we propose AVI-Bench-PriSe, an extension that probes models' primitive audio-visual sensation using unfamiliar, low-semantic stimuli, testing generalization beyond common training distributions. Extensive experiments on both open-source and closed-source models reveal substantial limitations in current Omni-MLLMs. Based on these findings, we present a four-level AVI taxonomy. Overall, AVI-Bench provides a principled evaluation framework to guide the development of more robust and generalizable AVI.
","absKo":"최근 Omni-Multimodal Large Language Models (Omni-MLLMs)의 발전은 vision, audio, language의 강력한 통합을 가능하게 했다. 그러나 systematic하고 comprehensive한 benchmark의 부재로 인해 이들의 audio-visual intelligence (AVI)는 아직 충분히 평가되지 못했다. 우리는 joint audio-visual interpretation을 요구하는 cross-modal task를 통해 Omni-MLLMs를 perception, understanding, reasoning의 세 단계에 걸쳐 평가하는, cognitive science에서 영감을 받은 benchmark인 AVI-Bench를 소개한다. 이 설계는 model capability와 failure mode를 세밀하게 진단할 수 있게 한다. 익숙한 영역을 넘어서는 robustness를 추가로 평가하기 위해, 우리는 익숙하지 않은 low-semantic stimulus를 사용하여 모델의 primitive audio-visual sensation을 탐색하고 일반적인 training distribution을 넘어서는 generalization을 시험하는 확장판 AVI-Bench-PriSe를 제안한다. open-source 및 closed-source 모델에 대한 광범위한 실험은 현재 Omni-MLLMs의 상당한 한계를 드러낸다. 이러한 발견을 바탕으로 우리는 네 수준의 AVI taxonomy를 제시한다. 전반적으로 AVI-Bench는 더 robust하고 generalizable한 AVI의 개발을 이끄는 원칙적인 평가 framework를 제공한다.
"},{"id":"66333","en":"AgentConductor: Topology Evolution for Multi-Agent Competition-Level Code Generation","ko":"AgentConductor: 다중 에이전트 경쟁 수준 코드 생성을 위한 위상 진화","authors":"Siyu Wang, Ruotian Lu, Zhihao Yang, Yuchao Wang, yanzhou zhang, Lei Xu, Qimin Xu, Guojun Yin, Cailian Chen, Xinping Guan","pos":"#4417","link":"https://openreview.net/forum?id=4bLahBrVBs","abs":"Large language model(LLM)-driven multi-agent systems(MAS) coordinate specialized agents through predefined interaction topologies and have shown promise for complex tasks such as competition-level code generation. Recent studies demonstrate that carefully designed multi-agent workflows and communication graphs can significantly improve code generation performance by leveraging collaborative reasoning. However, existing methods neither adapt topology density to task difficulty nor iteratively refine the topology within an instance using execution feedback, which leads to redundant communication and performance bottlenecks. To address these issues, we propose AgentConductor: a reinforcement learning-optimized MAS with an LLM-based orchestrator agent as its core, which enables end-to-end feedback-driven dynamic generation of interaction topologies. For each query, AgentConductor infers agent roles and task difficulty, then constructs a task-adapted, density-aware layered directed acyclic graph (DAG) topology, underpinned by two key innovations. First, we design a novel topological density function that captures communication-aware mathematical characterizations of multi-agent interactions. Second, we adopt difficulty interval partitioning to avoid excessive pruning for precise topological density upper bound measurement per difficulty level and finer-grained control. Empirically, across three competition-level and two foundational code datasets, AgentConductor achieves state-of-the-art accuracy, outperforming the strongest baseline by up to 14.6\\% in pass@1 accuracy, 13\\% in density reduction, and 68\\% in token cost reduction.
","absKo":"Large language model(LLM) 기반 multi-agent system(MAS)은 사전 정의된 interaction topology를 통해 전문화된 agent들을 조정하며, competition-level code generation과 같은 복잡한 task에서 가능성을 보여 왔다. 최근 연구는 신중하게 설계된 multi-agent workflow와 communication graph가 협력적 추론을 활용하여 code generation 성능을 크게 향상시킬 수 있음을 보여준다. 그러나 기존 방법은 topology density를 task difficulty에 맞게 적응시키지 못하고, execution feedback을 이용해 instance 내부에서 topology를 반복적으로 정제하지도 못하므로, 불필요한 communication과 성능 병목이 발생한다. 이러한 문제를 해결하기 위해, 우리는 LLM 기반 orchestrator agent를 핵심으로 하는 reinforcement learning 최적화 MAS인 AgentConductor를 제안하며, 이를 통해 end-to-end feedback-driven dynamic interaction topology 생성을 가능하게 한다. 각 query에 대해 AgentConductor는 agent role과 task difficulty를 추론한 뒤, 두 가지 핵심 혁신을 바탕으로 task에 적응하고 density를 인식하는 layered directed acyclic graph(DAG) topology를 구성한다. 첫째, 우리는 multi-agent interaction의 communication-aware mathematical characterization을 포착하는 새로운 topological density function을 설계한다. 둘째, difficulty level별로 더 정확한 topological density upper bound 측정과 더 세밀한 제어를 위해 과도한 pruning을 피하도록 difficulty interval partitioning을 채택한다. 실험적으로, 세 개의 competition-level 데이터셋과 두 개의 foundational code 데이터셋 전반에서 AgentConductor는 state-of-the-art 정확도를 달성했으며, 가장 강력한 baseline보다 pass@1 정확도에서 최대 14.6\\%, density reduction에서 13\\%, token cost reduction에서 68\\% 향상되었다.
"},{"id":"66012","en":"Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance","ko":"변분 추측 디코딩: 토큰 우도에서 시퀀스 수용으로 초안 학습 재고하기","authors":"Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou","pos":"#1708","link":"https://openreview.net/forum?id=7xO0ADKJu8","abs":"Speculative decoding accelerates inference for (M)LLMs, yet a training-decoding discrepancy persists: while existing methods optimize single greedy trajectories, decoding involves verifying and ranking multiple sampled draft paths. We propose Variational Speculative Decoding (VSD), formulating draft training as variational inference over latent proposals (draft paths). VSD maximizes the marginal probability of target-model acceptance, yielding an ELBO that promotes high-quality latent proposals while minimizing divergence from the target distribution. To enhance quality and reduce variance, we incorporate a path-level utility and optimize via an Expectation-Maximization procedure. The E-step draws MCMC samples from an oracle-filtered posterior, while the M-step maximizes weighted likelihood using Adaptive Rejection Weighting (ARW) and Confidence-Aware Regularization (CAR). Theoretical analysis confirms that VSD increases expected acceptance length and speedup. Extensive experiments across LLMs and MLLMs show that VSD achieves up to a 9.58\\% speedup over EAGLE-3 and 8.80\\% over ViSpec, significantly improving decoding efficiency.
","absKo":"Speculative decoding은 (M)LLM의 추론을 가속화하지만, 학습-디코딩 불일치가 여전히 존재한다. 기존 방법은 단일 greedy trajectory를 최적화하는 반면, 디코딩은 여러 개의 샘플링된 draft path를 검증하고 순위를 매기는 과정을 포함한다. 우리는 잠재 proposal(draft path)에 대한 variational inference로 draft 학습을 정식화한 Variational Speculative Decoding (VSD)를 제안한다. VSD는 target model의 acceptance에 대한 주변확률을 최대화하며, 높은 품질의 잠재 proposal을 촉진하는 동시에 target 분포로부터의 divergence를 최소화하는 ELBO를 도출한다. 품질을 높이고 분산을 줄이기 위해 path-level utility를 통합하고 Expectation-Maximization 절차로 최적화한다. E-step은 oracle로 필터링된 posterior에서 MCMC 샘플을 추출하고, M-step은 Adaptive Rejection Weighting(ARW)과 Confidence-Aware Regularization(CAR)을 사용해 가중 likelihood를 최대화한다. 이론적 분석은 VSD가 기대 acceptance length와 speedup을 증가시킨다는 점을 확인한다. LLM과 MLLM 전반에 걸친 광범위한 실험에서 VSD는 EAGLE-3 대비 최대 9.58\\%의 speedup, ViSpec 대비 8.80\\%의 speedup을 달성하여 디코딩 효율을 크게 향상시켰다.
"},{"id":"65207","en":"SD-MoE: Spectral Decomposition for Effective Expert Specialization","ko":"SD-MoE: 효과적인 전문가 특화를 위한 스펙트럼 분해","authors":"Ruijun Huang, Fang DONG(董方), Xin Zhang, Hengjie Cao, Zhendong Huang, Anrui Chen, Jixian Zhou, Mengyi Chen, Yifeng Yang, Mingzhi Dong, Yujiang Wang, Jinlong Hou, Qin Lv, Robert Dick, Yuan Cheng, Tun Lu, Fan Yang, Chun Zhang, Li Shang","pos":"#1800","link":"https://openreview.net/forum?id=FnB7lFzsJz","abs":"Mixture-of-Experts (MoE) architectures scale Large Language Models via expert specialization induced by conditional computation. In practice, however, expert specialization often fails: some experts become functionally similar, while others functioning as de facto shared experts, limiting the effective capacity and model performance. In this work, we analysis from a spectral perspective on parameter and gradient spaces, uncover that (1) experts share highly overlapping dominant spectral components in their parameters, (2) dominant gradient subspaces are strongly aligned across experts, driven by ubiquitous low-rank structure in human corpus, and (3) gating mechanisms preferentially route inputs along these dominant directions, further limiting specialization. To address this, we propose Spectral-Decoupled MoE (SD-MoE), which decomposes both parameter and gradient in the spectral space. SD-MoE improves performance across downstream tasks, enables effective expert specialization, incurring minimal additional computation, and can be seamlessly integrated into a wide range of existing MoE architectures, including Qwen and DeepSeek.
","absKo":"Mixture-of-Experts (MoE) 아키텍처는 conditional computation에 의해 유도되는 expert specialization을 통해 Large Language Models의 규모를 확장한다. 그러나 실제로는 expert specialization이 종종 실패한다. 일부 expert는 기능적으로 서로 비슷해지고, 다른 expert는 사실상 shared expert처럼 동작하여 유효 용량과 모델 성능을 제한한다. 본 연구에서는 parameter와 gradient 공간에 대한 spectral 관점에서 분석하여, (1) expert들이 parameter에서 매우 많이 겹치는 dominant spectral component를 공유하고, (2) dominant gradient subspace가 human corpus에 만연한 low-rank structure에 의해 expert 간 강하게 정렬되며, (3) gating mechanism이 이러한 dominant direction을 따라 입력을 우선적으로 라우팅함으로써 specialization을 더욱 제한한다는 점을 밝혀낸다. 이를 해결하기 위해 우리는 parameter와 gradient를 모두 spectral space에서 분해하는 Spectral-Decoupled MoE (SD-MoE)를 제안한다. SD-MoE는 downstream task 전반에서 성능을 향상시키고, 효과적인 expert specialization을 가능하게 하며, 추가 계산량은 최소화한다. 또한 Qwen과 DeepSeek을 포함한 다양한 기존 MoE 아키텍처에 매끄럽게 통합될 수 있다.
"},{"id":"62669","en":"SWE-ABS: Adversarial Benchmark Strengthening Exposes Inflated Success Rates on Test-based Benchmark","ko":"SWE-ABS: Adversarial Benchmark는 Test-based Benchmark의 과장된 성공률을 노출한다","authors":"Boxi Yu, Yang Cao, Yuzhong Zhang, Liting Lin, Junjielong Xu, Zhiqing Zhong, Qinghua Xu, Guancheng Wang, Jialun Cao, Shing-Chi Cheung, Pinjia He, Lionel BRIAND","pos":"#1804","link":"https://openreview.net/forum?id=eWzojJ9SGF","abs":"The SWE-Bench Verified leaderboard is approaching saturation, with the top system achieving 78.80\\%. However, we reveal that this performance is inflated: our re-evaluation demonstrates that one in five \"solved\" patches from the top-30 agents are semantically incorrect, passing only because weak test suites fail to expose their errors. We present SWE-ABS, an adversarial framework that strengthens test suites through a two-stage pipeline: (1) coverage-driven augmentation utilizing program slicing to target untested code regions, and (2) mutation-driven adversarial testing that synthesizes plausible-but-incorrect patches to expose semantic blind spots. On SWE-Bench Verified (500 instances), SWE-ABS strengthens 48.4\\% of instances (a $24.2\\times$ improvement over prior work) and rejects 21.4\\% of previously passing patches. Consequently, the top agent's score decreases from 78.80\\% to 61.80\\%, causing significant leaderboard reshuffling (e.g., the top-ranked agent drops to 4th place).","absKo":"SWE-Bench Verified 리더보드는 포화에 접근하고 있으며, 상위 시스템은 78.80\\%를 달성했다. 그러나 우리는 이 성능이 부풀려져 있음을 밝혀냈다. 우리의 재평가 결과, top-30 agent의 \"해결된\" patch 다섯 개 중 하나는 의미적으로 잘못되었으며, 약한 test suite가 오류를 드러내지 못했기 때문에 통과한 것뿐이었다. 우리는 SWE-ABS를 제안한다. SWE-ABS는 두 단계 파이프라인으로 test suite를 강화하는 adversarial framework이다: (1) program slicing을 활용해 미검증 코드 영역을 겨냥하는 coverage-driven augmentation, (2) 그럴듯하지만 잘못된 patch를 합성해 semantic blind spot을 드러내는 mutation-driven adversarial testing. SWE-Bench Verified(500 instances)에서 SWE-ABS는 48.4\\%의 instance를 강화했으며(기존 연구 대비 $24.2\\times$ 향상), 이전에 통과하던 patch의 21.4\\%를 거부했다. 그 결과 상위 agent의 점수는 78.80\\%에서 61.80\\%로 감소하여 리더보드가 크게 재편되었다(예: 1위 agent가 4위로 하락)."},{"id":"61468","en":"SafeSci: Safety Evaluation of Large Language Models in Science Domains and Beyond","ko":"SafeSci: 과학 영역 및 그 너머에서 Large Language Models의 Safety Evaluation","authors":"Xiangyang Zhu, Yuan Tian, Qi Jia, Kaiwei Zhang, Zicheng Zhang, Chunyi Li, Zijian Chen, Lu Sun, Kaiyuan Ji, Renrui Zhang, Wei Sun, Guangtao Zhai","pos":"#1805","link":"https://openreview.net/forum?id=pstQMm8R1g","abs":"The success of large language models (LLMs) in scientific domains has heightened safety concerns, prompting numerous benchmarks to evaluate their scientific safety. Existing benchmarks often suffer from limited risk coverage and a reliance on subjective evaluation. To address thess problems, we introduce \\textbf{SafeSci}, a comprehensive framework for safety evaluation and enhancement in scientific contexts. SafeSci comprises \\textbf{SafeSciBench}, a multi-disciplinary benchmark with 0.25M samples, and \\textbf{SafeSciTrain}, a large-scale dataset containing 1.5M samples for safety enhancement. SafeSciBench distinguishes between safety knowledge and risk to cover extensive scopes and employs objective metrics such as deterministically answerable questions to mitigate evaluation bias. We evaluate 21 advanced LLMs, revealing critical vulnerabilities in current models. Finally, we demonstrate that fine-tuning on SafeSciTrain significantly enhances the safety alignment of models. Our work provides both a diagnostic tool and a practical resource for building safer scientific AI systems.
","absKo":"scientific domain에서 large language model (LLMs)의 성공은 safety concerns를 한층 높였고, 이에 따라 많은 benchmark가 이들의 scientific safety를 평가하기 위해 제안되었다. 기존 benchmark는 흔히 제한된 risk coverage와 주관적 평가에 대한 의존이라는 문제를 안고 있다. 이러한 문제를 해결하기 위해, 우리는 scientific context에서의 안전성 평가와 향상을 위한 포괄적 framework인 \\textbf{SafeSci}를 소개한다. SafeSci는 0.25M 샘플을 포함하는 multi-disciplinary benchmark인 \\textbf{SafeSciBench}와, 안전성 향상을 위한 1.5M 샘플 규모의 대형 dataset인 \\textbf{SafeSciTrain}으로 구성된다. SafeSciBench는 안전 지식과 risk를 구분하여 광범위한 범위를 포괄하며, 평가 편향을 완화하기 위해 결정적으로 답할 수 있는 질문과 같은 objective metric을 사용한다. 우리는 21개의 advanced LLMs를 평가하여 현재 모델들의 치명적인 취약성을 드러낸다. 마지막으로, SafeSciTrain으로 fine-tuning하면 모델의 safety alignment가 크게 향상됨을 보인다. 우리의 연구는 더 안전한 scientific AI system을 구축하기 위한 진단 도구이자 실용적 자원을 제공한다.
"},{"id":"66249","en":"SpecExit: Accelerating Large Reasoning Model via Speculative Exit","ko":"SpecExit: 추측적 조기 종료를 통한 대규모 추론 모델 가속","authors":"Rubing Yang, Huajun Bai, Song Liu, Guanghua Yu, Runzhi Fan, Yanbin Dang, Zhang Jiejing, Kai Liu, Jianchen Zhu, Peng Chen","pos":"#1809","link":"https://openreview.net/forum?id=5RMsiXvUqS","abs":"Despite their strong performance on reasoning tasks, large reasoning models (LRMs) often suffer from overthinking, producing unnecessarily long outputs and incurring high end-to-end latency, a significant limitation to their real-world deployment. To address overthinking, early-exit mechanisms have been proposed to terminate reasoning before typical completion, showing that this approach can effectively shorten generation length with minimal impact on accuracy. However, their reliance on probing mechanisms introduces a detection overhead that limits their end-to-end latency gains and compromises their generalizability across diverse problems. Inspired by the use of hidden states in speculative decoding, we propose SpecExit, a novel framework that predicts both future tokens and an early-exit signal directly from a lightweight draft model without probing overhead. Our method offers significant improvements, achieving up to 66\\% generation length reduction and 2.5× end-to-end speedup compared with the speculative decoding baseline, without compromising accuracy. Our method leverages the inherent signals from hidden states to provide effective early-exit signals, suggesting broader use of hidden states for efficient reasoning. Our code is available at: https://anonymous.4open.science/r/SpecExit-B802.
","absKo":"추론 작업에서 강한 성능을 보이지만, large reasoning model(LRM)은 과도한 사고(overthinking)로 인해 불필요하게 긴 출력을 생성하고 end-to-end latency가 높아지는 문제를 자주 겪으며, 이는 실제 배포에 있어 중요한 제약이다. overthinking을 완화하기 위해, 일반적인 완료 이전에 reasoning을 종료하는 early-exit mechanism이 제안되었고, 이는 정확도에 미치는 영향은 최소화하면서 생성 길이를 효과적으로 줄일 수 있음을 보였다. 그러나 이들은 probing mechanism에 의존하기 때문에 detection overhead가 발생하여 end-to-end latency 개선 폭이 제한되고, 다양한 문제에 대한 일반화도 저해된다. speculative decoding에서 hidden state를 활용하는 방식에서 영감을 받아, 우리는 probing overhead 없이 경량 draft model에서 직접 미래 token과 early-exit signal을 모두 예측하는 새로운 프레임워크 SpecExit를 제안한다. 우리의 방법은 정확도를 훼손하지 않으면서 speculative decoding baseline 대비 최대 66\\%의 생성 길이 감소와 2.5배의 end-to-end speedup을 달성하여 상당한 개선을 제공한다. 또한 hidden state에 내재된 신호를 활용해 효과적인 early-exit signal을 제공하며, 효율적 추론을 위해 hidden state를 더 폭넓게 활용할 수 있음을 시사한다. 코드: https://anonymous.4open.science/r/SpecExit-B802.
"},{"id":"66136","en":"Reward Auditor: Inference on Reward Modeling Suitability in Real-World Perturbed Scenarios","ko":"Reward Auditor: 실세계 교란 시나리오에서의 Reward Modeling 적합성 추론","authors":"Jianxiang Zang, Yongda Wei, Ruxue Bai, Shiyu Jiang, Nijia Mo, Binhong Li, Qiang Sun, Hui Liu","pos":"#1901","link":"https://openreview.net/forum?id=6aFU1bnUnv","abs":"Reliable reward models (RMs) are critical for ensuring the safe alignment of large language models (LLMs). However, current RM evaluation methods focus solely on preference perception accuracies in given specific scenarios, obscuring the critical vulnerabilities of RMs in real-world scenarios. We identify the true challenge lies in assessing a novel dimension: Suitability, defined as conditional reliability under specific real-world perturbations. To this end, we introduce Reward Auditor, a hypothesis-testing framework specifically designed for RM suitability inference. Rather than answering “How accurate is the RM's preference perception for given samples?”, it employs scientific auditing to answer: “Can we infer RMs exhibit systematic vulnerabilities in specific real-world scenarios?\". Under real-world perturbed scenarios, Reward Auditor quantifies statistical significance and effect size by auditing distribution degradation of RM preference perception confidence. This enables inference of both the certainty and severity of RM vulnerabilities across diverse real-world scenarios, thereby laying a solid foundation for building next-generation LLM alignment systems that are verifiably safe, more robust, and trustworthy.
","absKo":"신뢰할 수 있는 reward model (RM)은 대규모 언어 모델 (LLM)의 안전한 정렬을 보장하는 데 핵심적이다. 그러나 기존 RM 평가 방법은 주어진 특정 시나리오에서의 선호 인식 정확도에만 초점을 맞추어, 실제 세계 시나리오에서 RM이 지니는 중대한 취약점을 가리고 있다. 우리는 진정한 과제는 새로운 차원인 Suitability를 평가하는 데 있다고 본다. Suitability는 특정 실제 세계 perturbation 하에서의 조건부 신뢰성으로 정의된다. 이를 위해 우리는 RM suitability 추론을 위해 특별히 설계된 가설 검정 프레임워크인 Reward Auditor를 제안한다. 이 방법은 “주어진 샘플에 대해 RM의 선호 인식은 얼마나 정확한가?”에 답하는 대신, 과학적 auditing을 통해 “특정 실제 세계 시나리오에서 RM이 체계적 취약성을 보인다고 추론할 수 있는가?”에 답한다. 실제 세계 perturbation 시나리오에서 Reward Auditor는 RM 선호 인식 confidence의 분포 저하를 auditing하여 통계적 유의성과 effect size를 정량화한다. 이를 통해 다양한 실제 세계 시나리오 전반에서 RM 취약성의 확실성과 심각성을 모두 추론할 수 있으며, 검증 가능하게 안전하고 더 견고하며 신뢰할 수 있는 차세대 LLM 정렬 시스템 구축의 탄탄한 기반을 마련한다.
"},{"id":"61210","en":"Reasoning over Boundaries: Enhancing Specification Alignment via Test-time Deliberation","ko":"경계를 넘는 추론: Test-Time Deliberation을 통한 Specification Alignment 향상","authors":"Haoran Zhang, Yafu Li, Xuyang Hu, Dongrui Liu, Zhilin Wang, Bo Li, Yu Cheng","pos":"#1904","link":"https://openreview.net/forum?id=sfWgUkh5Zj","abs":"Large language models (LLMs) are increasingly applied in diverse real-world applications, each governed by bespoke behavioral and safety specifications (spec) custom-tailored by users or organizations. These specifications, categorized into safety-spec and behavioral-spec, vary across scenarios and evolve with changing preferences and requirements. We formalize this challenge as specification alignment, focusing on LLMs' ability to follow dynamic, scenario-specific spec from both behavioral and safety perspectives. To address this challenge, we introduce SpecBench, a unified benchmark for measuring specification alignment, covering 5 scenarios, 103 spec, and 1,500 prompts. Experiments on 15 reasoning and 18 instruct models with several Test-Time Deliberation (TTD) methods, including Self-Refine, TPO, and MoreThink, show that SpecBench effectively reveals alignment gaps and that test-time deliberation improves specification alignment. Based on previous TTD methods, we further propose Align3, a lightweight method with hierarchical reflection and revision to reason over specification boundaries, advancing the safety-helpfulness trade-off frontier with minimal overhead. These results highlight test-time deliberation as an effective strategy for reasoning over the real-world specification boundaries. Code and data are available at supplementary material.
","absKo":"Large language models (LLMs)은 이제 다양한 real-world application에 점점 더 많이 적용되고 있으며, 각 application은 사용자 또는 조직이 맞춤 설계한 행동 및 안전 명세(spec)에 의해 운영된다. 이러한 명세는 safety-spec과 behavioral-spec으로 구분되며, scenario에 따라 달라지고 변화하는 선호와 요구사항에 맞추어 진화한다. 우리는 이 과제를 specification alignment로 정식화하고, behavioral 측면과 safety 측면 양쪽에서 dynamic하고 scenario-specific한 spec을 따르는 LLM의 능력에 초점을 맞춘다. 이 과제를 다루기 위해, 우리는 5개 scenario, 103개 spec, 1,500개 prompt를 포함하는 specification alignment 측정을 위한 unified benchmark인 SpecBench를 제안한다. Self-Refine, TPO, MoreThink을 포함한 여러 Test-Time Deliberation (TTD) 방법과 함께 15개의 reasoning model 및 18개의 instruct model에 대한 실험은 SpecBench가 alignment gap을 효과적으로 드러내며, test-time deliberation이 specification alignment를 개선함을 보여준다. 기존 TTD 방법을 바탕으로, 우리는 spec boundary를 추론하기 위해 hierarchical reflection과 revision을 사용하는 lightweight method인 Align3를 추가로 제안하며, 최소한의 overhead로 safety-helpfulness trade-off frontier를 진전시킨다. 이 결과들은 test-time deliberation이 실제 세계의 specification boundary를 추론하는 데 효과적인 전략임을 보여준다. Code와 data는 supplementary material에서 제공된다.
"},{"id":"66285","en":"Progressive Cramming: Reliable Token Compression and What It Reveals","ko":"점진적 Cramming: 신뢰할 수 있는 토큰 압축과 그것이 드러내는 것","authors":"Dmitrii Tarasov, Timofei Lashukov, Elizaveta Goncharova, Andrey Kuznetsov","pos":"#1908","link":"https://openreview.net/forum?id=55jIiEADcf","abs":"Token cramming compresses sequences into learned embeddings with near-perfect reconstruction, but prior work used fixed token budgets and 99\\% accuracy thresholds, obscuring whether residual errors reflect optimization failures or fundamental limits. We introduce progressive cramming, which grows the target prefix token-by-token and stops only when reconstruction is no longer achievable within a fixed optimization budget. Using progressive trajectories, we find that optimization paths occupy surprisingly low-dimensional structure in the embedding space. Attention analysis shows that compression embeddings often become attention sinks in specific intermediate layers, which correlates with both optimization difficulty and downstream degradation. On likelihood-based multiple-choice evaluation, prepending a crammed embedding drops accuracy to close to random guessing, even with the original prefix in context. These results suggest that perfect reconstruction can arise from brittle steering and attention hijacking, rather than a transferable semantic representation. Our results position progressive cramming as a tool for studying compression limits, while showing that perfect reconstruction is insufficient for meaningful compression.
","absKo":"Token cramming은 sequence를 거의 완벽한 복원과 함께 learned embedding으로 압축하지만, 기존 연구는 고정된 token budget과 99\\% accuracy threshold를 사용하여 나머지 오차가 optimization 실패인지 근본적 한계인지 अस्प명하게 만들었다. 우리는 progressive cramming을 도입하는데, 이는 target prefix를 token-by-token으로 늘려가며 고정된 optimization budget 내에서 더 이상 복원이 가능하지 않을 때만 중단한다. progressive trajectory를 사용하면, optimization path가 embedding space에서 놀라울 정도로 저차원 구조를 차지함을 발견한다. attention 분석은 compression embedding이 종종 특정 intermediate layer에서 attention sink가 되며, 이것이 optimization difficulty와 downstream degradation 모두와 상관됨을 보여준다. likelihood 기반 multiple-choice 평가에서 crammed embedding을 앞에 붙이면, 원래 prefix가 문맥에 포함되어 있어도 정확도가 거의 무작위 추측 수준으로 떨어진다. 이러한 결과는 완벽한 복원이 전이 가능한 semantic representation이 아니라 취약한 steering과 attention hijacking에서 비롯될 수 있음을 시사한다. 우리의 결과는 progressive cramming을 compression limit를 연구하는 도구로 자리매김하게 하며, 완벽한 복원만으로는 의미 있는 compression에 충분하지 않음을 보여준다.
"},{"id":"65693","en":"Pessimistic Verification for Open-Ended Math Questions","ko":"개방형 수학 문제를 위한 비관적 검증","authors":"Yanxing Huang, Zihan Tang, Zejin Lin, Peng Li, Yang Liu","pos":"#1912","link":"https://openreview.net/forum?id=B62wCl3Bh4","abs":"Automatic verification is a critical component in building math-solving agents and reinforcement learning, yet it often falls short in generalizability, performance, and cost-efficiency. Identifying that the primary bottleneck of verification lies in error detection capability, we propose pessimistic verification, a paradigm of agentic workflows that rejects a solution if any of multiple parallel verifiers identifies a flaw. We further introduce progressive pessimistic verification, which employs fine-grained proof decomposition to significantly enhance verification accuracy and efficiency. Our approach surpasses the performance and token efficiency of extended long chain-of-thought (long CoT) and mainstream verification workflows, crucially, our analysis reveals that existing benchmarks underestimate its effectiveness on stronger models due to inherent annotation errors. To further validate the effectiveness of our method, we applied a verification-based solving workflow on the IMO 2025 and MathArena Apex 2025 datasets, where the workflow with progressive pessimistic verification exhibits remarkable improvements in both efficiency and accuracy on highly challenging contest-level math problems with state-of-the-art models.
","absKo":"자동 검증은 math-solving agent와 reinforcement learning을 구축하는 데 핵심적인 구성 요소이지만, 일반화 가능성, 성능, 비용 효율성 측면에서 종종 한계를 보인다. 검증의 주요 병목이 error detection capability에 있음을 확인한 우리는, 여러 parallel verifier 중 하나라도 결함을 찾아내면 solution을 거부하는 agentic workflow의 패러다임인 pessimistic verification을 제안한다. 나아가 우리는 fine-grained proof decomposition을 활용해 검증 정확도와 효율성을 크게 향상시키는 progressive pessimistic verification을 도입한다. 우리의 접근법은 extended long chain-of-thought(long CoT)와 mainstream verification workflow의 성능 및 token 효율을 능가하며, 특히 기존 benchmark가 내재적 annotation error 때문에 더 강한 model에서의 효과를 과소평가한다는 점을 분석을 통해 밝혀낸다. 방법의 효과를 추가로 검증하기 위해 IMO 2025와 MathArena Apex 2025 dataset에 verification-based solving workflow를 적용했으며, progressive pessimistic verification을 사용하는 workflow는 state-of-the-art model로 매우 난도가 높은 contest-level math problem에서 효율성과 정확도 모두에서 놀라운 향상을 보였다.
"},{"id":"64598","en":"On the Limits of Test-Time Compute: Sequential Reward Filtering for Better Inference","ko":"Test-Time Compute의 한계에 대하여: 더 나은 추론을 위한 순차적 Reward Filtering","authors":"Yue Yu, Qiwei Di, Quanquan Gu, Dongruo Zhou","pos":"#1915","link":"https://openreview.net/forum?id=LptCWUvaP9","abs":"Test-time compute (TTC) has become an increasingly prominent paradigm for enhancing large language models (LLMs). Despite the empirical success of methods such as best-of-$n$ (BoN) sampling and sequential revision, their fundamental limits remain unclear. We address this gap by analyzing a mixture-of-reference policy model and proving that standard BoN is inherently suboptimal. To move closer to the optimal frontier, we study reward-filtered sequential inference, a simple procedure that selectively incorporates only high-reward generations into the context. This mechanism concentrates computation on superior policy candidates and suppresses inferior ones. On the theoretical side, we show that reward-filtered sequential inference yields strictly stronger guarantees than standard TTC paradigms. On the empirical side, we evaluate such an inference strategy across diverse benchmarks and observe consistent improvements over widely used approaches, demonstrating the practical effectiveness of our framework.","absKo":"Test-time compute (TTC)는 large language models (LLMs)을 향상시키기 위한 점점 더 중요한 패러다임이 되었다. best-of-$n$ (BoN) sampling과 sequential revision 같은 방법들은 경험적으로 성공적이지만, 그 근본적인 한계는 여전히 분명하지 않다. 우리는 mixture-of-reference policy model을 분석하고 standard BoN이 본질적으로 suboptimal함을 증명함으로써 이 공백을 메운다. 최적 frontier에 더 가까이 가기 위해, 우리는 reward-filtered sequential inference를 연구한다. 이는 높은 reward를 얻은 generation만 선택적으로 context에 반영하는 단순한 절차이다. 이 메커니즘은 계산을 더 우수한 policy candidate에 집중시키고 열등한 후보는 억제한다. 이론적으로는 reward-filtered sequential inference가 standard TTC paradigm보다 분명히 더 강한 guarantee를 제공함을 보인다. 실험적으로는 다양한 benchmark에서 이러한 inference 전략을 평가했고, 널리 사용되는 접근법보다 일관된 향상을 관찰하여 우리 프레임워크의 실용적 효과를 입증한다."},{"id":"64507","en":"MAPS: Memory-Aware Predictive Scheduling Framework for Large Language Models Serving","ko":"MAPS: 대형 언어 모델 서빙을 위한 메모리 인식 예측 스케줄링 프레임워크","authors":"Tiancheng Zhang, Yulin Chen, Yunfeng Zhao, Shaoyuan Huang, Cheng Zhang, Xiaofei Wang","pos":"#2003","link":"https://openreview.net/forum?id=MsjYbZtVWU","abs":"The surge of large language model (LLM) applications on personal devices imposes massive, bursty workloads on cloud serving infrastructure. While prefill-decode disaggregation improves throughput and scalability, memory-bound decode instances often suffer from persistent load imbalance, as output lengths are unknown when requests arrive at the cloud. To address this, we propose MAPS, a memory-aware predictive scheduling framework tailored for disaggregated LLM serving. MAPS performs device-assisted speculative output-length prediction overlapped with cloud-side prefilling, incurring negligible latency overhead. To handle generation uncertainty, MAPS applies uncertainty-aware calibration to derive output length upper bounds with target coverage, enabling safe scheduling decisions. Building on these bounds, MAPS employs a hierarchical global-local scheduling strategy to mitigate inter-decoder queue buildup and intra-decoder head-of-line blocking. Extensive experiments on two real-world workloads and two LLMs show that MAPS significantly outperforms three state-of-the-art systems, reducing average end-to-end latency by 42.6\\% and tail latency by up to 84.8\\%.
","absKo":"개인용 기기에서 large language model (LLM) 애플리케이션의 급증은 cloud serving infrastructure에 대규모의 bursty workload를 초래한다. prefill-decode disaggregation은 throughput과 scalability를 개선하지만, memory-bound decode instance는 요청이 cloud에 도착할 때 output length가 알려지지 않기 때문에 지속적인 load imbalance에 시달리는 경우가 많다. 이를 해결하기 위해, 우리는 disaggregated LLM serving에 맞춘 memory-aware predictive scheduling framework인 MAPS를 제안한다. MAPS는 device-assisted speculative output-length prediction을 cloud-side prefilling과 겹쳐 수행하여, 거의 무시할 수 있는 latency overhead만을 발생시킨다. generation uncertainty를 처리하기 위해, MAPS는 uncertainty-aware calibration을 적용하여 target coverage를 만족하는 output length upper bound를 도출하고, 이를 통해 안전한 scheduling decision을 가능하게 한다. 이러한 bound를 바탕으로, MAPS는 hierarchical global-local scheduling strategy를 사용해 decoder 간 queue buildup과 decoder 내부의 head-of-line blocking을 완화한다. 두 개의 실제 workload와 두 개의 LLM에 대한 광범위한 실험 결과, MAPS는 세 개의 state-of-the-art system을 크게 능가하며 평균 end-to-end latency를 42.6\\% 줄이고 tail latency를 최대 84.8\\%까지 낮춘다.
"},{"id":"66502","en":"Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization","ko":"암묵적 보상 발현: 분포 수준 최적화를 위한 Prefix-Value 학습","authors":"Shiping Gao, Hongzhan Chen, Xiaojun Quan, Qifan Wang, Lifu Huang","pos":"#201","link":"https://openreview.net/forum?id=372oAcqeKh","abs":"Process reward models (PRMs) provide fine-grained reward signals along the reasoning process, improving credit assignment beyond outcome-only rewards. Training reliable PRMs often relies on step annotations or heavy verification pipelines, making them expensive to scale and refresh during online RL. Implicit PRMs mitigate this cost by learning decomposable token/step rewards from trajectory-level outcome labels, but they suffer a train-inference mismatch: training only constrains a sequence-level aggregate, while deployment queries token-level scores as local step quality. As a result, token credits are weakly identified and can become predictive of final success without faithfully reflecting which step is correct. This unreliability can even undermine a key promise of implicit PRMs—scoring many candidate tokens—because noisy per-token advantages may systematically reinforce incorrect continuations. We address this with a novel Implicit Prefix-Value Reward Model (IPVRM), which directly learns a prefix-conditioned value function estimating the probability of eventual correctness, and derives step signals via temporal-difference (TD) differences. IPVRM substantially improves step-verification F1 on ProcessBench. Building on these calibrated signals, we further propose Distribution-Level RL (DistRL), which computes TD advantages not only for sampled tokens but also for high-probability candidate tokens across the vocabulary, enabling dense counterfactual updates without additional rollouts. DistRL brings limited benefits with mis-calibrated implicit rewards, but consistently improves downstream reasoning once powered by IPVRM’s reliable prefix values.
","absKo":"Process reward model(PRM)은 reasoning 과정 전반에 걸쳐 더 세밀한 reward signal을 제공하여, outcome-only reward를 넘는 credit assignment를 가능하게 한다. 신뢰할 수 있는 PRM을 학습하는 일은 종종 step annotation이나 무거운 verification pipeline에 의존하므로, online RL에서 scale-up하고 refresh하기에 비용이 크다. Implicit PRM은 trajectory-level outcome label로부터 분해 가능한 token/step reward를 학습함으로써 이러한 비용을 줄이지만, train-inference mismatch에 시달린다: 학습은 sequence-level aggregate만 제약하는 반면, 배포 시에는 token-level score를 local step quality로 조회하기 때문이다. 그 결과 token credit은 약하게 식별되며, 어떤 step이 올바른지를 충실하게 반영하지 않으면서도 최종 성공을 예측하는 방향으로 수렴할 수 있다. 이러한 신뢰성 부족은 많은 candidate token을 점수화한다는 implicit PRM의 핵심 장점조차 약화시킬 수 있는데, token별 noisy advantage가 잘못된 continuation을 체계적으로 강화할 수 있기 때문이다. 우리는 이를 위해 새로운 Implicit Prefix-Value Reward Model (IPVRM)을 제안한다. 이 모델은 prefix-conditioned value function을 직접 학습하여 궁극적 정답의 확률을 추정하고, temporal-difference (TD) 차이를 통해 step signal을 도출한다. IPVRM은 ProcessBench에서 step-verification F1을 크게 향상시킨다. 이러한 calibrated signal을 바탕으로, 우리는 Distribution-Level RL (DistRL)도 제안하는데, 이는 샘플링된 token뿐 아니라 vocabulary 전반의 높은 확률을 가진 candidate token에 대해서도 TD advantage를 계산하여 추가 rollout 없이 dense counterfactual update를 가능하게 한다. DistRL은 calibration이 잘못된 implicit reward에서는 제한적인 이득만 보이지만, IPVRM의 신뢰할 수 있는 prefix value를 기반으로 할 때 downstream reasoning을 일관되게 개선한다.
"},{"id":"62222","en":"Multi-Head Attention as a Source of Catastrophic Forgetting in MoE Transformers","ko":"MoE Transformers에서 Catastrophic Forgetting의 원인으로서 Multi-Head Attention","authors":"Anrui Chen, Ruijun Huang, Xin Zhang, Fang DONG(董方), Hengjie Cao, Zhendong Huang, Yifeng Yang, Mengyi Chen, Jixian Zhou, Mingzhi Dong, Yujiang Wang, Jinlong Hou, Qin Lv, Robert Dick, Yuan Cheng, Tun Lu, Fan Yang, Li Shang","pos":"#2011","link":"https://openreview.net/forum?id=iXhFXwIbvi","abs":"Mixture-of-Experts (MoE) architectures are often considered a natural fit for continual learning because sparse routing should localize updates and reduce interference, yet MoE Transformers still forget substantially even with sparse, well-balanced expert utilization. We attribute this gap to a pre-routing bottleneck: multi-head attention concatenates head-specific signals into a single post-attention router input, forcing routing to act on co-occurring feature compositions rather than separable head channels. We show that this router input simultaneously encodes multiple separately decodable semantic and structural factors with uneven head support, and that different feature compositions induce weakly aligned parameter-gradient directions; as a result, routing maps many distinct compositions to the same route. We quantify this collision effect via a route-wise effective composition number $N_{\\mathrm{eff}}$ and find that higher $N_{\\mathrm{eff}}$ is associated with larger old-task loss increases after continual training. Motivated by these findings, we propose MH-MoE, which performs head-wise routing over sub-representations to increase routing granularity and reduce composition collisions. On TRACE with Qwen3-0.6B/8B, MH-MoE effectively mitigates forgetting, improving BWT on Qwen3-0.6B from -11.2\\% (LoRAMoE) to -4.5\\%.","absKo":"Mixture-of-Experts (MoE) 아키텍처는 sparse routing이 update를 국소화하고 간섭을 줄여줄 것으로 기대되기 때문에 continual learning에 자연스러운 적합 대상으로 여겨지는 경우가 많지만, MoE Transformer는 sparse하고 균형 잡힌 expert 활용이 있더라도 여전히 상당히 잊어버린다. 우리는 이 간극의 원인을 pre-routing bottleneck에 있다고 본다. multi-head attention이 head별 signal을 하나의 post-attention router input으로 concat하여, routing이 분리 가능한 head channel이 아니라 동시 발생하는 feature composition에 대해 작동하도록 강제한다. 우리는 이 router input이 불균형한 head support를 가진 여러 개의 별도로 복호화 가능한 semantic 및 structural factor를 동시에 인코딩하며, 서로 다른 feature composition이 약하게 정렬된 parameter-gradient 방향을 유도함을 보인다. 그 결과 routing은 많은 서로 다른 composition을 동일한 route로 매핑한다. 우리는 route-wise effective composition number $N_{\\mathrm{eff}}$로 이 collision effect를 정량화하며, $N_{\\mathrm{eff}}$가 높을수록 continual training 이후 old-task loss 증가가 더 커짐을 발견한다. 이러한 발견에 동기를 얻어, 우리는 routing granularity를 높이고 composition collision을 줄이기 위해 sub-representation 위에서 head-wise routing을 수행하는 MH-MoE를 제안한다. Qwen3-0.6B/8B를 사용한 TRACE에서, MH-MoE는 forgetting을 효과적으로 완화하며 Qwen3-0.6B의 BWT를 -11.2\\% (LoRAMoE)에서 -4.5\\%로 개선한다."},{"id":"65763","en":"On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs","ko":"RL 파인튜닝된 VLM의 강건성과 Chain-of-Thought 일관성에 관하여","authors":"Rosie Zhao, Anshul Shah, Xiaoyu Zhu, Xinke Deng, Zhongyu Jiang, Yang Yang, Joerg Liebelt, Arnab Kumar Mondal","pos":"#2016","link":"https://openreview.net/forum?id=ANbnxDfcAD","abs":"Reinforcement learning (RL) fine-tuning is now widely used to improve LLM reasoning, and recent work has begun extending it to vision-language models (VLMs). While RL-tuned VLMs can improve visual reasoning benchmark performance, they can still suffer from weak visual grounding, hallucinations, and over-reliance on textual cues. We show that simple, controlled textual perturbations—misleading captions or incorrect chain-of-thought (CoT) traces—cause substantial drops in robustness and confidence, and that these effects are more pronounced when CoT consistency is taken into account across open-source multimodal reasoning models. Entropy-based metrics further show that these perturbations reshape model uncertainty on the correct option, exposing model-specific trends in miscalibration. To better understand these vulnerabilities, we further analyze RL fine-tuning dynamics and uncover an accuracy–faithfulness trade-off: fine-tuning raises benchmark accuracy, but can simultaneously erode the reliability of the accompanying CoT and its robustness to contextual shifts. Although adversarial augmentation improves robustness, it does not by itself prevent faithfulness drift. Incorporating a faithfulness-aware reward can restore alignment between answers and reasoning, but when paired with augmentation, training risks collapsing onto shortcut strategies and robustness remains elusive. Together, these findings highlight the limitations of accuracy-only evaluations and motivate training and assessment protocols that jointly emphasize correctness, robustness, and the faithfulness of visually grounded reasoning.
","absKo":"강화학습(RL) fine-tuning은 이제 LLM 추론 성능을 향상시키는 데 널리 사용되고 있으며, 최근 연구는 이를 vision-language model(VLM)로 확장하기 시작했다. RL로 튜닝된 VLM은 visual reasoning benchmark 성능을 개선할 수 있지만, 여전히 약한 visual grounding, hallucination, 그리고 텍스트 단서에 대한 과도한 의존으로 어려움을 겪을 수 있다. 우리는 오도하는 caption이나 잘못된 chain-of-thought(CoT) trace와 같은 단순하고 통제된 텍스트 perturbation이 robustness와 confidence를 상당히 저하시킨다는 점을 보이며, open-source multimodal reasoning model 전반에서 CoT 일관성을 고려할 때 이러한 효과가 더 두드러짐을 보인다. 또한 entropy 기반 metric은 이러한 perturbation이 정답 옵션에 대한 model uncertainty를 어떻게 재구성하는지 보여주며, calibration 불일치의 모델별 경향을 드러낸다. 이러한 취약성을 더 잘 이해하기 위해 RL fine-tuning dynamics를 추가로 분석한 결과, accuracy-faithfulness trade-off를 발견했다. 즉, fine-tuning은 benchmark accuracy를 높이지만, 동시에 동반되는 CoT의 신뢰성과 contextual shift에 대한 robustness를 약화시킬 수 있다. adversarial augmentation은 robustness를 개선하지만, 그것만으로는 faithfulness drift를 막지 못한다. faithfulness-aware reward를 도입하면 답변과 추론 간의 정렬을 복원할 수 있지만, augmentation과 결합할 경우 training이 shortcut 전략으로 수렴할 위험이 있으며 robustness는 여전히 확보되기 어렵다. 종합하면, 이러한 결과는 accuracy만을 보는 평가의 한계를 강조하며, correctness, robustness, 그리고 visually grounded reasoning의 faithfulness를 함께 중시하는 training 및 평가 프로토콜의 필요성을 제기한다.
"},{"id":"63860","en":"Gradient Regularization Prevents Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards","ko":"사람 피드백과 검증 가능한 보상으로부터의 강화학습에서 reward hacking을 막는 그래디언트 정규화","authors":"Johannes Ackermann, Michael Noukhovitch, Takashi Ishida, Masashi Sugiyama","pos":"#2111","link":"https://openreview.net/forum?id=T67db38qhr","abs":"Reinforcement Learning from Human Feedback (RLFH) or Verifiable Rewards (RLVR) are two key steps in the post-training of modern Language Models (LMs). A common problem is reward hacking, where the policy may exploit inaccuracies of the reward and learn an unintended behavior. Most previous works address this by limiting the policy update with a Kullback-Leibler (KL) penalty towards a reference model. We propose a different framing: Train the LM in a way that biases policy updates towards regions in which the reward is more accurate. First, we derive a theoretical connection between the accuracy of a reward model and the flatness of an optimum at convergence. Gradient regularization (GR) can then be used to bias training to flatter regions and thereby maintain reward model accuracy. We confirm these results by showing that the gradient norm and reward accuracy are empirically correlated in RLHF. We then show that Reference Resets of the KL penalty implicitly use GR to find flatter regions with higher reward accuracy. We further improve on this by proposing to use explicit GR with an efficient finite-difference estimate. Empirically, GR performs better than a KL penalty across a diverse set of RL experiments with LMs. GR achieves a higher GPT-judged win-rate in RLHF, avoids overly focusing on the format in rule-based math rewards, and prevents hacking the judge in LLM-as-a-Judge math tasks.
","absKo":"Reinforcement Learning from Human Feedback(RLFH) 또는 Verifiable Rewards(RLVR)는 현대 Language Model(LM)의 post-training에서 핵심적인 두 단계이다. 흔한 문제는 reward hacking으로, policy가 reward의 부정확성을 악용하여 의도하지 않은 행동을 학습할 수 있다는 점이다. 기존의 대부분 연구는 reference model에 대한 Kullback-Leibler(KL) penalty로 policy update를 제한하는 방식으로 이를 해결한다. 우리는 다른 관점을 제안한다. 즉, reward가 더 정확한 영역으로 policy update가 편향되도록 LM을 학습시키는 것이다. 먼저 우리는 reward model의 accuracy와 수렴 시 optimum의 flatness 사이의 이론적 연결을 도출한다. 이후 gradient regularization(GR)을 사용하여 학습이 더 flat한 영역으로 편향되게 하고, 이를 통해 reward model의 accuracy를 유지할 수 있다. 우리는 RLHF에서 gradient norm과 reward accuracy가 실증적으로 상관됨을 보여 이 결과를 확인한다. 이어서 KL penalty의 Reference Reset이 암묵적으로 GR을 사용해 더 높은 reward accuracy를 갖는 flatter region을 찾는다는 점을 보인다. 우리는 더 나아가 효율적인 finite-difference estimate를 갖는 explicit GR 사용을 제안하여 이를 개선한다. 실증적으로 GR은 LM을 사용한 다양한 RL 실험에서 KL penalty보다 더 우수한 성능을 보인다. GR은 RLHF에서 GPT가 판단한 더 높은 win-rate를 달성하고, rule-based math reward에서 format에 과도하게 집중하는 것을 피하며, LLM-as-a-Judge 수학 과제에서 judge hacking을 방지한다.
"},{"id":"61013","en":"Generation Enhances Understanding in Unified Multimodal Models via Multi-Representation Generation","ko":"다중 표현 생성을 통한 통합 멀티모달 모델의 이해력 향상","authors":"Zihan Su, Hongyang Wei, Kangrui Cen, Yong Wang, Guanhua CHEN, Chun Yuan, Xiangxiang Chu","pos":"#2112","link":"https://openreview.net/forum?id=uYaNE2Cys2","abs":"Unified Multimodal Models (UMMs) integrate both visual understanding and generation within a single framework. Their ultimate aspiration is to create a cycle where understanding and generation mutually reinforce each other. While recent post-training methods have successfully leveraged understanding to enhance generation, the reverse direction of utilizing generation to improve understanding remains largely unexplored. In this work, we propose UniMRG (Unified Multi-Representation Generation), a simple yet effective architecture-agnostic post-training method. UniMRG enhances the understanding capabilities of UMMs by incorporating auxiliary generation tasks. Specifically, we train UMMs to generate multiple intrinsic representations of input images, namely pixel (reconstruction), depth (geometry), and segmentation (structure), alongside standard visual understanding objectives. By synthesizing these diverse representations, UMMs capture rich complementary information regarding appearance, spatial relations, and structural layout. Consequently, UMMs develop a deeper and more comprehensive understanding of visual inputs. Extensive experiments across diverse UMM architectures demonstrate that our method notably enhances fine-grained perception, reduces hallucinations, and improves spatial understanding, while simultaneously boosting generation capabilities.
","absKo":"Unified Multimodal Models (UMMs)은 하나의 framework 안에서 visual understanding과 generation을 통합한다. 이들의 궁극적인 지향점은 understanding과 generation이 서로를 강화하는 순환 구조를 만드는 것이다. 최근의 post-training 방법들은 understanding을 활용해 generation을 향상시키는 데 성공했지만, generation을 활용해 understanding을 개선하는 역방향은 여전히 거의 탐구되지 않았다. 본 연구에서는 simple하면서도 효과적인 architecture-agnostic post-training 방법인 UniMRG (Unified Multi-Representation Generation)를 제안한다. UniMRG는 auxiliary generation tasks를 통합함으로써 UMM의 understanding 능력을 향상시킨다. 구체적으로, 우리는 UMM이 입력 이미지의 여러 intrinsic representation, 즉 pixel (reconstruction), depth (geometry), segmentation (structure)을 standard visual understanding objective와 함께 생성하도록 학습한다. 이러한 다양한 representation을 합성함으로써 UMM은 appearance, spatial relation, structural layout에 관한 풍부한 보완 정보를 포착한다. 그 결과, UMM은 visual input에 대해 더 깊고 포괄적인 understanding을 형성한다. 다양한 UMM architecture에 걸친 광범위한 실험은, 우리의 방법이 fine-grained perception을 눈에 띄게 향상시키고 hallucination을 줄이며 spatial understanding을 개선하는 동시에 generation 능력 역시 함께 높인다는 것을 보여준다.
"},{"id":"65581","en":"Future-Gain Guided Test-Time Learning for Large Language Models","ko":"Large Language Model을 위한 Future-Gain 기반 Test-Time 학습","authors":"LangYu Bian, Jinwu Hu, Zitian Zhang, Dongjin Yang, Yufeng Wang, Qing Du, Qi Chen, Mingkui Tan","pos":"#2113","link":"https://openreview.net/forum?id=CEnPJAQTUu","abs":"Large language models (LLMs) inevitably encounter distribution shifts during real-world deployment, leading to performance degradation. Although test-time learning (TTL) adapts LLMs from unlabeled test streams, applying entropy minimization to autoregressive generation faces two challenges: (i) early decoding errors can steer later tokens off track, and updating on them can push the model further off course, and (ii) updates on unreliable tokens can amplify confident error predictions and trigger model collapse. To address these challenges, we propose Future-Gain Guided Test-Time Learning (FG-TTL) for LLMs, which learns selectively from the model's own generations. Our key idea is to update only on tokens that reduce uncertainty in subsequent generation rather than tokens that are merely uncertain at the current step. Specifically, we develop a Future-Gain Guided Token Selection (FTS) strategy to decide where to learn. We introduce Future-Gain as a token-level metric for this purpose and update the model only on high-gain tokens, concentrating learning on informative positions and mitigating temporal error propagation. In addition, we design a Risk-Aware Adaptation (RAA) mechanism that controls how strongly to update by combining gain-based weighting with adaptive temperature scaling based on intrinsic uncertainty, suppressing unreliable gradients while enabling stronger learning on high-gain tokens. Experiments on six benchmarks with three LLM backbones show that FG-TTL achieves the best average performance.
","absKo":"Large language model(LLM)은 실제 배포에서 distribution shift를 필연적으로 마주하게 되며, 이는 성능 저하로 이어집니다. test-time learning(TTL)은 unlabeled test stream으로부터 LLM을 적응시키지만, autoregressive generation에 entropy minimization을 적용할 때 두 가지 문제가 발생합니다. (i) 초기 decoding error가 이후 token을 잘못된 방향으로 이끌 수 있고, 이들에 대해 update하면 모델이 더 멀리 벗어날 수 있으며, (ii) 신뢰할 수 없는 token에 대한 update는 확신에 찬 오류 예측을 증폭시키고 model collapse를 유발할 수 있습니다. 이러한 문제를 해결하기 위해 우리는 Future-Gain Guided Test-Time Learning(FG-TTL) for LLMs를 제안하며, 이는 모델 자신의 생성 결과로부터 선택적으로 학습합니다. 핵심 아이디어는 현재 step에서 단순히 불확실한 token이 아니라, 이후 generation의 uncertainty를 줄이는 token에 대해서만 update하는 것입니다. 구체적으로 우리는 어디에서 학습할지 결정하기 위한 Future-Gain Guided Token Selection(FTS) 전략을 개발합니다. 우리는 이 목적을 위한 token-level metric으로 Future-Gain을 도입하고, high-gain token에 대해서만 model을 update하여 informative한 위치에 학습을 집중하고 temporal error propagation을 완화합니다. 또한 intrinsic uncertainty를 바탕으로 한 adaptive temperature scaling과 gain 기반 weighting을 결합해 update 강도를 제어하는 Risk-Aware Adaptation(RAA) 메커니즘을 설계하여, 고신뢰 gradient는 억제하면서 high-gain token에서는 더 강한 학습이 가능하도록 합니다. 3개의 LLM backbone 위에서 6개의 benchmark로 수행한 실험에서 FG-TTL은 평균 성능 기준으로 최상의 결과를 달성합니다.
"},{"id":"62558","en":"Endogenous Resistance to Activation Steering in Language Models: Evidence for Internal Consistency Monitoring in Llama-3.3-70B","ko":"언어모델에서 Activation Steering에 대한 내생적 저항성: Llama-3.3-70B의 내부 일관성 모니터링 근거","authors":"Alex McKenzie, Keenan Pepper, Stijn Servaes, Martin Leitgab, Murat Cubuktepe, Michael Vaiana, Diogo de Lucena, Judd Rosenblatt, Michael Graziano","pos":"#2212","link":"https://openreview.net/forum?id=fYbuhXJ3iq","abs":"Large language models can resist task-misaligned activation steering during inference, sometimes recovering mid-generation to produce improved responses even when steering remains active. We term this Endogenous Steering Resistance (ESR). Using sparse autoencoder (SAE) latents to steer model activations, we find that Llama-3.3-70B shows substantial ESR, while smaller models from the Llama-3 and Gemma-2 families exhibit the phenomenon less frequently. We identify 26 ``off-topic detector'' latents that predict ESR episodes in Llama-3.3-70B. Zero-ablating these latents reduces the multi-attempt rate by 25\\%, providing causal evidence for dedicated internal consistency-checking circuits. We demonstrate that ESR can be deliberately enhanced through both prompting and training: meta-prompts instructing the model to self-monitor increase the multi-attempt rate by 5$\\times$ for Llama-3.3-70B, and fine-tuning on self-correction examples successfully induces ESR-like behavior in smaller models. These findings have dual implications: ESR could protect against adversarial manipulation but might also interfere with beneficial safety interventions that rely on activation steering. Understanding and controlling these resistance mechanisms is important for developing transparent and controllable AI systems.","absKo":"대규모 언어 모델은 inference 동안 task와 맞지 않는 activation steering에 저항할 수 있으며, steering이 계속 활성화되어 있어도 생성 도중에 복구되어 개선된 응답을 내놓기도 한다. 우리는 이를 Endogenous Steering Resistance(ESR)라고 부른다. sparse autoencoder(SAE) latent를 사용해 model activation을 steering해 본 결과, Llama-3.3-70B는 상당한 ESR을 보였고, 반면 Llama-3 및 Gemma-2 계열의 더 작은 model들은 이 현상이 덜 자주 나타났다. 우리는 Llama-3.3-70B에서 ESR episode를 예측하는 26개의 ``off-topic detector'' latent를 식별했다. 이 latent들을 zero-ablation하면 multi-attempt rate가 25\\% 감소했으며, 이는 전용 내부 consistency-checking circuit에 대한 인과적 증거를 제공한다. 우리는 ESR이 prompting과 training 모두를 통해 의도적으로 강화될 수 있음을 보인다. 모델에게 self-monitoring을 지시하는 meta-prompt는 Llama-3.3-70B의 multi-attempt rate를 5$\\times$ 증가시켰고, self-correction 예제를 사용한 fine-tuning은 더 작은 model들에서도 ESR 유사 행동을 성공적으로 유도했다. 이러한 발견은 두 가지 함의를 갖는다. ESR은 adversarial manipulation으로부터 보호할 수 있지만, activation steering에 의존하는 유익한 safety intervention을 방해할 수도 있다. 이러한 저항 메커니즘을 이해하고 제어하는 것은 투명하고 제어 가능한 AI system을 개발하는 데 중요하다."},{"id":"62977","en":"FAIR-Calib: Frontier-Aware Instability-Reweighted Calibration for Post-Training Quantization of Diffusion Large Language Models","ko":"FAIR-Calib: Diffusion Large Language Models 사후 양자화를 위한 Frontier-Aware Instability-Reweighted Calibration","authors":"Haoyu Huang, Linlin Yang, Sheng Xu, Boyu Liu, Guodong Guo, Zhongqian Fu, Hang Zhou, Baochang Zhang","pos":"#2214","link":"https://openreview.net/forum?id=bIHzsBaiu8","abs":"Diffusion Large Language Models (dLLMs) refine tokens iteratively but commit them irreversibly, leading to a \"stability lag\" where early decisions remain fragile even after being written. We reveal that Post-Training Quantization (PTQ) error easily flips these borderline decisions at the write frontier, which are then permanently locked in and amplified. To address this, we propose Frontier-Aware Instability-Reweighted Calibration (FAIR-Calib), a two-stage PTQ framework for dLLMs. Stage I probes a full-precision teacher to estimate a position prior that combines frontier hits and masked-stage reliability. Stage II performs off-policy, layer-wise calibration by minimizing a reweighted hidden-state MSE, effectively prioritizing the protection of fragile frontier states without requiring expensive end-to-end diffusion rollouts. We further theoretically justify our weighted objective as a surrogate for output KL divergence. Empirically, FAIR-Calib consistently outperforms state-of-the-art baselines on LLaDA and Dream (W4A4), significantly reducing frontier decision flips and suppressing post-commit mismatches across diverse benchmarks.
","absKo":"Diffusion Large Language Model(dLLM)은 token을 반복적으로 정제하지만 이를 비가역적으로 확정하므로, 기록된 뒤에도 초기 결정이 여전히 취약한 \"stability lag\"이 발생합니다. 우리는 Post-Training Quantization (PTQ) error가 write frontier에서 이러한 경계선상의 결정을 쉽게 뒤집으며, 한 번 확정된 뒤에는 영구적으로 고정되고 증폭된다는 점을 밝힙니다. 이를 해결하기 위해 우리는 dLLM을 위한 2단계 PTQ 프레임워크인 Frontier-Aware Instability-Reweighted Calibration (FAIR-Calib)을 제안합니다. 1단계는 full-precision teacher를 탐색하여 frontier hit와 masked-stage reliability를 결합한 position prior를 추정합니다. 2단계는 reweighted hidden-state MSE를 최소화하는 off-policy, layer-wise calibration을 수행하여, 비용이 큰 end-to-end diffusion rollout 없이도 취약한 frontier state를 우선적으로 보호합니다. 우리는 또한 가중 목적함수를 output KL divergence의 surrogate로 이론적으로 정당화합니다. 실험적으로 FAIR-Calib은 LLaDA와 Dream (W4A4)에서 state-of-the-art baseline을 일관되게 능가하며, 다양한 benchmark 전반에서 frontier decision flip을 크게 줄이고 commit 이후의 mismatch를 억제합니다.
"},{"id":"64116","en":"Chiral Symmetry Breaking in Transformers: A Group-Equivariant Framework for Solving the Reversal Curse via Adjoint Manifold Mappings","ko":"Transformer에서의 카이랄 대칭 깨짐: 수반 매니폴드 매핑을 통한 역전 저주 해결을 위한 군-등변 프레임워크","authors":"Hanji Du","pos":"#2301","link":"https://openreview.net/forum?id=QlhlGcqbdW","abs":"The \"reversal curse\" exposes a critical asymmetry in autoregressive models, where causal masking collapses bidirectional logic into non-invertible latent subspaces. This work characterizes such failure as a structural breaking of chiral symmetry within the representation manifold. We bridge this gap with the **Chiral Transformer**—a framework that restores bidirectional consistency by enforcing an adjoint mapping operator $\\mathcal{T}$ via contrastive regularization. Unlike standard generative approaches, our architecture utilizes **Adjoint-Induced Retrieval (AIR)** to perform logical inversion directly in the embedding space, effectively bypassing the contextual biases of the decoder. Empirical validation on synthetic benchmarks confirms this geometric intuition, where AIR elevates zero-shot accuracy from approximately 0% to a robust **65.07%**. These findings suggest that logical reversibility is a topological property attainable through explicit algebraic constraints rather than mere scaling of parameters.","absKo":"\"reversal curse\"는 autoregressive model의 중요한 비대칭성을 드러내는데, causal masking이 bidirectional logic을 역전 불가능한 latent subspace로 붕괴시킨다. 본 연구는 이러한 실패를 representation manifold 내부에서 chiral symmetry가 구조적으로 깨지는 현상으로 규정한다. 우리는 contrastive regularization을 통해 adjoint mapping operator $\\mathcal{T}$를 강제함으로써 bidirectional consistency를 복원하는 **Chiral Transformer**로 이 간극을 메운다. 표준 generative approach와 달리, 우리의 architecture는 **Adjoint-Induced Retrieval(AIR)**을 사용해 embedding space에서 직접 logical inversion을 수행함으로써 decoder의 contextual bias를 효과적으로 우회한다. synthetic benchmark에서의 실증적 검증은 이러한 geometric intuition을 확인해 주며, AIR는 zero-shot accuracy를 약 0%에서 견고한 **65.07%**로 끌어올린다. 이러한 결과는 logical reversibility가 단순한 parameter scaling이 아니라 명시적 algebraic constraint를 통해 달성 가능한 topological property임을 시사한다."},{"id":"65179","en":"Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use","ko":"에이전트는 개방형 세계로 일반화할 수 있는가? 도구 사용에서 정적 학습의 취약성 밝히기","authors":"Song-Lin Lv, Weiming Wu, Rui Zhu, Zijian Cheng, Lan-Zhe Guo","pos":"#2304","link":"https://openreview.net/forum?id=G3hX5Fkrg7","abs":"While Large Language Model (LLM) agents demonstrate proficiency in static benchmarks, their deployment in real-world scenarios is hindered by the dynamic nature of user queries, tool sets, and interaction dynamics. To address this generalization gap, we formalize OpenAgent (Tool-Use Agent in Open-World), a problem setting characterized by distributional shifts across query, action, observation, and domain dimensions. We construct a controlled sandbox environment where we define fine-grained environmental shifts across a four-tier hierarchy: Perception, Interaction, Reasoning, and Internalization. Our exhaustive analysis yields a series of key insights, demonstrating that agents trained via both Supervised Fine-Tuning and Reinforcement Learning suffer from varying degrees of performance degradation when confronting open environmental shifts. Building on these insights, we propose Perturbation-Augmented Fine-Tuning, a disturbance-based intervention strategy for SFT that lays the foundation for enhancing agent robustness and utility in realistic environments.
","absKo":"Large Language Model (LLM) agents는 static benchmark에서는 뛰어난 성능을 보이지만, 실제 환경에 배치될 때는 user queries, tool sets, interaction dynamics의 동적인 특성 때문에 제약을 받는다. 이러한 generalization gap을 해결하기 위해, 우리는 OpenAgent (Tool-Use Agent in Open-World)를 정식화한다. 이는 query, action, observation, domain 차원 전반에 걸친 distributional shifts로 특징지어지는 문제 설정이다. 우리는 제어된 sandbox environment를 구축하고, Perception, Interaction, Reasoning, Internalization의 4단계 계층에 걸쳐 세밀한 environmental shifts를 정의한다. 포괄적인 분석을 통해 일련의 핵심 통찰을 도출했으며, Supervised Fine-Tuning과 Reinforcement Learning으로 학습된 agent 모두 open environmental shifts에 직면할 때 다양한 수준의 성능 저하를 겪는다는 점을 보여준다. 이러한 통찰을 바탕으로, 우리는 실제 환경에서 agent의 robustness와 utility를 향상시키기 위한 기반을 마련하는 disturbance-based intervention strategy인 Perturbation-Augmented Fine-Tuning을 제안한다.
"},{"id":"62193","en":"BRIDGE: Triangular Fixed-Point Refinement for Long-Horizon Persona Consistency","ko":"BRIDGE: Long-Horizon Persona Consistency를 위한 Triangular Fixed-Point Refinement","authors":"Haotong Sun, Yinghui Jiang, Bocheng Xu, Jianye Xie","pos":"#2306","link":"https://openreview.net/forum?id=itYG95jkKx","abs":"Long-horizon dialogue agents suffer from *latent state drift*: what an agent says, what it internally represents, and what it stores in memory can diverge silently across turns. This creates *asymmetric rupture risk*—many locally coherent exchanges undone by a single high-cost contradiction. We propose **BRIDGE** (**B**ehavioral **R**easoning through **I**ntegrated **D**ynamic **G**ated **E**volution), which performs *triangular fixed-point refinement* to explicitly couple Observable ($\\mathcal{O}$), Latent ($\\mathcal{L}$), and Memory ($\\mathcal{M}$) before decoding each response. We prove that under mild conditions, the refinement operator converges to a unique fixed point, providing a theoretical guarantee that the agent’s internal state remains self-consistent before each response. Empirically, BRIDGE achieves the highest scores on both PersonaGym (4.59 avg., surpassing Claude-3.7-Sonnet) and CoSER (59.5\\% avg., +3.1 over Claude-3.7-Sonnet), with gains concentrated on persona-specific metrics (+8.0 Character Fidelity over Qwen2.5-32B-Instruct)—while updating only 0.85\\% trainable parameters of the frozen backbone. We also provide a Lyapunov-style uniform drift bound for tiered memory updates, grounding bounded persona evolution in long-horizon interaction.","absKo":"장기 대화형 agent는 *latent state drift*를 겪는다. 즉, agent가 말하는 내용, 내부적으로 표현하는 내용, memory에 저장하는 내용이 turn에 걸쳐 조용히 어긋날 수 있다. 이는 *asymmetric rupture risk*를 만들어내는데, 많은 국소적으로 일관된 대화가 단 하나의 고비용 contradiction으로 무너질 수 있다. 우리는 각 response를 디코딩하기 전에 Observable($\\mathcal{O}$), Latent($\\mathcal{L}$), Memory($\\mathcal{M}$)를 명시적으로 결합하기 위해 *triangular fixed-point refinement*를 수행하는 **BRIDGE**(**B**ehavioral **R**easoning through **I**ntegrated **D**ynamic **G**ated **E**volution)를 제안한다. 우리는 완만한 조건 하에서 refinement operator가 유일한 fixed point로 수렴함을 증명하며, 이를 통해 각 response 이전에 agent의 internal state가 self-consistent하게 유지된다는 이론적 보장을 제공한다. 실험적으로 BRIDGE는 PersonaGym(평균 4.59, Claude-3.7-Sonnet 상회)과 CoSER(평균 59.5\\%, Claude-3.7-Sonnet 대비 +3.1)에서 모두 최고 점수를 달성했으며, 성능 향상은 persona-specific metric(+8.0 Character Fidelity over Qwen2.5-32B-Instruct)에 집중되어 있었다. 동시에 frozen backbone의 학습 가능한 parameter는 0.85\\%만 업데이트했다. 또한 tiered memory update에 대한 Lyapunov-style uniform drift bound를 제시하여, 장기 상호작용에서 bounded persona evolution을 이론적으로 뒷받침한다."},{"id":"64273","en":"BARRED: Synthetic Training of Custom Policy Guardrails via Asymmetric Debate","ko":"BARRED: 비대칭 토론을 통한 맞춤형 정책 가드레일의 합성 학습","authors":"Arnon Mazza, Elad Levi","pos":"#2308","link":"https://openreview.net/forum?id=PGSCzFVigx","abs":"Deploying guardrails for custom policies remains challenging, as generic safety models fail to capture task-specific requirements, while prompting LLMs suffers from inconsistent boundary-case performance and high inference costs. Training custom classifiers achieves both accuracy and efficiency, yet demands substantial labeled data that is costly to obtain. We present BARRED (Boundary Alignment Refinement through REflection and Debate), a framework for generating faithful and diverse synthetic training data using only a task description and a small set of unlabeled examples. Our approach decomposes the domain space into dimensions to ensure comprehensive coverage, and employs multi-agent debate to verify label correctness, yielding a high-fidelity training corpus. Experiments across diverse custom policies demonstrate that small language models finetuned on our synthetic data consistently outperform state-of-the-art proprietary LLMs (including reasoning models) and dedicated guardrail models. Ablation studies confirm that both dimension decomposition and debate-based verification are critical for ensuring the diversity and label fidelity required for effective fine-tuning. The BARRED framework eliminates the reliance on extensive human annotation, offering a scalable solution for accurate custom guardrails.
","absKo":"custom policy를 위한 guardrail 배포는 여전히 어렵다. generic safety model은 task-specific requirement를 포착하지 못하고, LLM prompting은 boundary-case 성능의 일관성이 떨어지며 inference cost가 높다. custom classifier를 학습하면 정확도와 효율성을 모두 달성할 수 있지만, 이를 위해서는 확보 비용이 큰 충분한 labeled data가 필요하다. 우리는 BARRED(Boundary Alignment Refinement through REflection and Debate)를 제안한다. 이는 task description과 소수의 unlabeled example만으로 faithful하고 diverse한 synthetic training data를 생성하는 framework이다. 우리의 접근법은 domain space를 여러 dimension으로 분해하여 포괄적인 coverage를 보장하고, multi-agent debate를 활용해 label correctness를 검증함으로써 high-fidelity training corpus를 만든다. 다양한 custom policy 전반의 실험에서, synthetic data로 finetune한 작은 language model이 state-of-the-art proprietary LLM(추론 모델 포함)과 전용 guardrail model을 일관되게 능가함을 보였다. Ablation study는 효과적인 finetuning에 필요한 diversity와 label fidelity를 보장하는 데 dimension decomposition과 debate-based verification이 모두 중요함을 확인한다. BARRED framework는 대규모 human annotation 의존을 제거하여, 정확한 custom guardrail을 위한 확장 가능한 해법을 제공한다.
"},{"id":"63082","en":"AICrypto: Evaluating Cryptography Capabilities of Large Language Models","ko":"AICrypto: 대규모 언어 모델의 암호학 역량 평가","authors":"Yu Wang, Yijian Liu, Liheng Ji, Han Luo, Wenjie Li, Xiaofei Zhou, Chiyun Feng, Puji Wang, Yuhan Cao, Geyuan Zhang, Xiaojian Li, Rongwu Xu, Yilei Chen, Tianxing He","pos":"#2314","link":"https://openreview.net/forum?id=aGhhrgnyLJ","abs":"Large language models (LLMs) have demonstrated remarkable capabilities across a variety of domains. However, their applications in cryptography, which serve as a foundational pillar of cybersecurity, remain largely unexplored. To address this gap, we build \\textbf{AICrypto}, a comprehensive benchmark designed to evaluate the cryptography capabilities of LLMs. The benchmark comprises 135 multiple-choice questions, 150 capture-the-flag challenges, and 30 proof problems, covering a broad range of skills from knowledge memorization to vulnerability exploitation and formal reasoning. All tasks are carefully reviewed or constructed by cryptography experts to improve correctness and rigor. For each proof problem, we provide detailed scoring rubrics and reference solutions that enable automated grading, achieving high correlation with human expert evaluations. We introduce strong human expert performance baselines for comparison across all task types. Our evaluation of 17 leading LLMs reveals that state-of-the-art models match or even surpass human experts in memorizing cryptographic concepts, exploiting common vulnerabilities, and routine proofs. However, our analysis reveals that they still lack a deep understanding of abstract mathematical concepts and struggle with tasks that require multi-step reasoning and dynamic analysis. We hope this work could provide insights for future research on LLMs in cryptographic applications. Our code and dataset are available at https://anonymous.4open.science/r/aicrypto-CE6E/.
","absKo":"Large language model(LLM)은 다양한 도메인에서 놀라운 능력을 입증해 왔다. 그러나 사이버보안의 기반 축을 이루는 cryptography에서의 응용은 아직 대체로 탐구되지 않았다. 이 공백을 메우기 위해, 우리는 LLM의 cryptography 능력을 평가하기 위한 포괄적 benchmark인 \\textbf{AICrypto}를 구축한다. 이 benchmark는 135개의 multiple-choice question, 150개의 capture-the-flag challenge, 30개의 proof problem으로 구성되며, 지식 암기부터 vulnerability exploitation, formal reasoning까지 폭넓은 능력을 다룬다. 모든 task는 정확성과 엄밀성을 높이기 위해 cryptography 전문가가 면밀히 검토하거나 직접 구성했다. 각 proof problem에 대해 우리는 자동 채점을 가능하게 하는 상세한 scoring rubric과 reference solution을 제공하며, 이는 인간 전문가 평가와 높은 상관을 보인다. 또한 모든 task 유형에 대해 비교를 위한 강력한 인간 전문가 성능 baseline을 제시한다. 17개의 선도적 LLM을 평가한 결과, 최신 모델들은 cryptographic concept 암기, 일반적인 취약점 악용, 일상적인 proof에서 인간 전문가에 필적하거나 이를 능가하기도 했다. 그러나 우리의 분석은 이들 모델이 추상적 수학 개념에 대한 깊은 이해는 여전히 부족하며, 다단계 추론과 동적 분석이 필요한 task에서는 어려움을 겪는다는 점도 보여준다. 이 연구가 cryptographic application에서의 LLM에 관한 향후 연구에 통찰을 제공하길 기대한다. 코드와 데이터셋: https://anonymous.4open.science/r/aicrypto-CE6E/.
"},{"id":"64678","en":"$R^3$DAO: Reactive Recovery and Reconstruction for Long-horizon Data Agent Orchestration","ko":"$R^3$DAO: 장기 지평 Data Agent Orchestration을 위한 Reactive Recovery 및 Reconstruction","authors":"Quanxin Liu, Yijun Mo, Ruida Xu, Jianwei Zhong, Changhu Chen, Rui Hao","pos":"#2415","link":"https://openreview.net/forum?id=KxOlRNsRDG","abs":"End-to-end data science agent workflows involve tightly coupled sub-processes with strong dynamic dependencies, posing a challenging long-horizon orchestration problem. Existing frameworks primarily rely on static, chain-like execution plans, which are prone to error propagation from early stages—often causing reasoning chain collapse and task failure, resulting in fragile inference and poor cost-effectiveness. To address these issues, we propose $\\text{R}^3$DAO, a reactive data agent orchestration framework based on feedback-driven topology evolution, aiming to build a dynamic evolutionary closed-loop of \"hierarchical exploration, iterative recovery, and empirical convergence.\" First, we introduce a dynamic hierarchical task network that recursively decomposes global intent into macro-logical anchors and micro-operators, enabling low-cost exploration through dimensionality reduction in the logical space. Second, we establish a reactive topology reconfiguration mechanism that leverages semantic reflection to map execution anomalies into diagnostic signals, replacing costly global resets with localized topological optimization for resilient self-healing. Finally, semantic experience distillation implements a dual-loop accumulation that compresses long-horizon trajectories into structured prior, steering execution efficiency toward the optimal regime. Evaluations on the MLE-bench show that $\\text{R}^3$DAO achieves a 77.36\\% improvement in success rate over advanced R\\&D-Agent while maintaining competitive task scores. Notably, $\\text{R}^3$DAO compresses the average execution time by 36$\\times$ and limits token consumption to just 104k per task, showcasing superior reliability, efficiency, and cost-effectiveness.","absKo":"End-to-end data science agent workflow는 강한 동적 의존성을 가진 긴밀히 결합된 하위 프로세스로 구성되어 있어, 어려운 long-horizon orchestration 문제를 야기한다. 기존 framework는 주로 static한 chain-like execution plan에 의존하는데, 이는 초기 단계의 error propagation에 취약하며, 종종 reasoning chain collapse와 task failure를 초래하여 fragile inference와 낮은 cost-effectiveness로 이어진다. 이러한 문제를 해결하기 위해 우리는 피드백 기반 topology evolution에 기초한 reactive data agent orchestration framework인 $\\text{R}^3$DAO를 제안하며, \"hierarchical exploration, iterative recovery, and empirical convergence\"의 동적 진화 closed-loop를 구축하는 것을 목표로 한다. 먼저, 우리는 전역 의도를 재귀적으로 macro-logical anchor와 micro-operator로 분해하는 dynamic hierarchical task network를 도입하여, logical space에서 차원 축소를 통한 저비용 탐색을 가능하게 한다. 둘째, semantic reflection을 활용해 execution anomaly를 diagnostic signal로 매핑하는 reactive topology reconfiguration mechanism을 확립하여, 값비싼 global reset을 local topological optimization으로 대체함으로써 resilient self-healing을 구현한다. 마지막으로, semantic experience distillation은 긴 horizon trajectory를 structured prior로 압축하는 dual-loop accumulation을 구현하여 execution efficiency를 최적 구간으로 유도한다. MLE-bench에서의 평가 결과, $\\text{R}^3$DAO는 고급 R\\&D-Agent 대비 성공률이 77.36\\% 향상되었으며 경쟁력 있는 task score를 유지한다. 특히 $\\text{R}^3$DAO는 평균 execution time을 36$\\times$로 압축하고 task당 token 소비를 104k로 제한하여, 뛰어난 reliability, efficiency, 그리고 cost-effectiveness를 보여준다."},{"id":"66139","en":"INDEXGUARD: Index-only Backdoor Vetting for Secure Federated PEFT of Large Language Models","ko":"INDEXGUARD: 대규모 언어 모델의 안전한 Federated PEFT를 위한 인덱스 전용 백도어 검증","authors":"Javad Dogani, Devriş İşler, Nikolaos Laoutaris","pos":"#2907","link":"https://openreview.net/forum?id=6YBEn2OrzM","abs":"Federated parameter-efficient fine-tuning (PEFT) enables customizing large language models on private data, yet it is vulnerable to backdoor poisoning—especially when privacy constraints prevent inspection of per-client real-valued updates. We exploit the intuition that poisoning leaves a similar backdoor imprint in which adapter coordinates become salient, so overlap in salient-index supports remains informative even without values. We introduce IndexGuard, an unsupervised index-only vetting primitive in which clients send only Top-$K$ salient update indices and the server operates on the induced overlap geometry, clustering clients and filtering cohesion-outlier groups before aggregation. We analyze support stability under bounded rescaling and separability under shared-trigger poisoning under non-IID drift. Across attacks, backbones, and PEFT variants, IndexGuard provides end-to-end mitigation, preserving clean accuracy while achieving performance comparable to centralized methods.","absKo":"Federated parameter-efficient fine-tuning (PEFT)은 private data 위에서 대규모 언어 모델을 맞춤화할 수 있게 하지만, 특히 privacy 제약으로 인해 클라이언트별 실수값 업데이트를 검사할 수 없을 때 backdoor poisoning에 취약하다. 우리는 poisoning이 adapter coordinate를 salient하게 만드는 유사한 backdoor imprint를 남긴다는 직관을 활용하며, 따라서 값이 없어도 salient-index support의 overlap이 여전히 유의미한 정보를 제공한다. 우리는 IndexGuard를 제안하는데, 이는 클라이언트가 Top-$K$ salient update index만 전송하고 서버가 유도된 overlap geometry 위에서 동작하면서, aggregation 전에 클라이언트를 clustering하고 cohesion-outlier group을 필터링하는 unsupervised index-only vetting primitive이다. 우리는 bounded rescaling 하에서의 support stability와 non-IID drift 하에서 shared-trigger poisoning에 대한 separability를 분석한다. 여러 attack, backbone, 및 PEFT variant 전반에서 IndexGuard는 end-to-end 완화 기능을 제공하며, clean accuracy를 보존하면서 centralized method와 유사한 성능을 달성한다."},{"id":"61487","en":"Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models","ko":"공격받는 Reward: Process Reward Models의 강건성과 Hackability 분석","authors":"Rishabh Tiwari, Aditya Tomar, Udbhav Bamba, Monishwaran Maheswaran, Heng Yang, Michael Mahoney, Kurt Keutzer, Amir Gholaminejad","pos":"#300","link":"https://openreview.net/forum?id=phHnze3Nfm","abs":"Process Reward Models (PRMs) are rapidly becoming the backbone of LLM reasoning pipelines, yet we demonstrate that state-of-the-art PRMs are systematically exploitable under optimization pressure. We introduce a three-tiered diagnostic framework that applies increasing adversarial pressure to quantify these vulnerabilities. Static perturbation analysis uncovers a fluency-logic dissociation: high invariance to surface-level style changes (reward changes $<$0.1) yet inconsistent detection of logically corrupted reasoning, with different models failing on different attack types. Adversarial optimization demonstrates that gradient-based attacks inflate rewards on invalid trajectories, with reward landscapes exhibiting wide, exploitable peaks. RL-induced reward hacking exposes the critical failure mode: policies trained on AIME problems achieve near-perfect PRM rewards ($>$0.9) while ground-truth accuracy remains below 4\\%, with 43\\% of reward gains attributable to stylistic shortcuts. These findings reveal that current PRMs function as fluency detectors rather than reasoning verifiers, creating systematic blind spots that undermine their use as training signals. We release PRM-BiasBench and a diagnostic toolkit to enable robustness evaluation before deployment.","absKo":"Process Reward Models (PRMs)는 빠르게 LLM reasoning pipeline의 핵심이 되고 있지만, 우리는 state-of-the-art PRM이 optimization pressure 하에서 체계적으로 악용될 수 있음을 보인다. 우리는 증가하는 adversarial pressure를 적용하여 이러한 취약성을 정량화하는 3단계 진단 프레임워크를 도입한다. Static perturbation analysis는 fluency-logic dissociation을 밝혀낸다. 즉, 표면적인 style 변화에는 높은 불변성(reward 변화 $<$0.1)을 보이지만, 논리적으로 훼손된 reasoning을 일관되게 탐지하지 못하며, 공격 유형에 따라 모델별 실패 양상도 다르다. Adversarial optimization은 gradient-based attack이 invalid trajectory의 reward를 부풀린다는 점을 보여주며, reward landscape는 넓고 악용 가능한 peak를 드러낸다. RL-induced reward hacking은 치명적인 실패 모드를 노출한다. AIME problem으로 학습된 policy는 ground-truth accuracy가 4\\% 미만임에도 거의 완벽한 PRM reward($>$0.9)를 달성하며, reward 향상의 43\\%는 stylistic shortcut에 기인한다. 이러한 결과는 현재의 PRM이 reasoning verifier라기보다 fluency detector로 기능하고 있음을 드러내며, training signal로 사용할 때 체계적인 blind spot을 만들어 낸다. 우리는 배포 전에 robustness evaluation을 가능하게 하는 PRM-BiasBench와 진단용 toolkit을 공개한다.
"},{"id":"61155","en":"Helpful to a Fault: Measuring Illicit Assistance in Multi-Turn, Multilingual LLM Agents","ko":"지나치게 도움이 되는 Agent: Multi-Turn, 다국어 LLM Agent의 불법적 지원 측정","authors":"Nivya Talokar, Ayush Kumar Tarun, Murari Mandal, Maksym Andriushchenko, Antoine Bosselut","pos":"#3003","link":"https://openreview.net/forum?id=tB05up6g5N","abs":"LLM-based agents increasingly execute real-world workflows via tools and memory. Granting LLMs such powers enables ill-intended adversaries to likewise use these agents to carry out complex misuse scenarios. Existing agent-misuse benchmarks largely test single-prompt instructions, leaving a gap in measuring how agents end up helping with harmful or illegal tasks over multiple turns. We introduce STING (Sequential Testing of Illicit N-step Goal execution), an automated red-teaming framework that constructs a step-by-step illicit plan grounded in a benign persona and iteratively probes a target agent with adaptive follow-ups, using judge agents to track phase completion. We further introduce an analysis framework that models multi-turn red-teaming as a time-to-first-jailbreak random variable, enabling analysis tools like discovery curves, hazard-ratio attribution by attack language, and a new metric: Restricted Mean Jailbreak Discovery. Across AgentHarm scenarios, STING yields substantially higher illicit-task completion than single-turn prompting and chat-oriented multi-turn baselines adapted to tool-using agents. In multilingual evaluations across six non-English settings, we find that attack success and illicit-task completion do not consistently increase in lower-resource languages, diverging from common chatbot findings. Overall, STING provides a practical way to evaluate and stress-test agent misuse in realistic deployment settings, where interactions are inherently multi-turn and often multilingual.
","absKo":"LLM 기반 agent는 tool과 memory를 통해 실제 세계의 workflow를 점점 더 많이 실행하고 있다. LLM에 이러한 권한을 부여하면, 악의적 adversary 역시 이 agent를 이용해 복잡한 misuse scenario를 수행할 수 있게 된다. 기존의 agent-misuse benchmark는 대체로 단일 prompt instruction만을 시험하기 때문에, 여러 turn에 걸쳐 agent가 어떻게 해롭거나 불법적인 task를 돕게 되는지를 측정하는 데 공백이 남아 있다. 우리는 선량한 persona에 기반한 단계별 불법 계획을 구성하고, phase completion을 추적하기 위해 judge agent를 사용하여 적응형 follow-up을 반복적으로 probe하는 자동 red-teaming framework인 STING(Sequential Testing of Illicit N-step Goal execution)을 도입한다. 또한 multi-turn red-teaming을 time-to-first-jailbreak random variable로 모델링하는 분석 framework를 추가로 제시하여, discovery curve, attack language별 hazard-ratio attribution, 그리고 새로운 metric인 Restricted Mean Jailbreak Discovery와 같은 분석 도구를 가능하게 한다. AgentHarm scenario 전반에서 STING은 단일 turn prompting 및 tool-using agent에 맞게 조정된 chat-oriented multi-turn baseline보다 훨씬 높은 illicit-task completion을 달성한다. 여섯 개의 non-English setting에 걸친 multilingual evaluation에서, 우리는 attack success와 illicit-task completion이 저자원 언어에서 일관되게 증가하지 않음을 발견했으며, 이는 일반적인 chatbot 결과와 다르다. 전반적으로 STING은 상호작용이 본질적으로 multi-turn이고 종종 multilingual인 실제 배포 setting에서 agent misuse를 평가하고 stress-test하는 실용적인 방법을 제공한다."},{"id":"65342","en":"Weasel: Out-of-Domain Generalization for Web Agents via Importance-Diversity Data Selection","ko":"Weasel: 중요도-다양성 데이터 선택을 통한 Web 에이전트의 도메인 외 일반화","authors":"Fatemeh Pesaran zadeh, Seyeon Choi, Xing Han Lù, Siva Reddy, Gunhee Kim","pos":"#3916","link":"https://openreview.net/forum?id=EXCUyr6hhZ","abs":"Large language models (LLMs) have enabled web agents that follow natural language goals through multi-step browser interactions. However, agents fine-tuned on specific trajectories and domain often struggle to generalize out of domain, and offline training can be compute-inefficient due to noisy, redundant trajectories and long accessibility-tree (AXTree) states. To address both issues, we propose Weasel, a trajectory selection method for offline training of web agents. Weasel selects a fixed-budget subset of trajectory steps by optimizing an objective that balances unary importance with pairwise diversity over states, websites, and interaction patterns, solving efficiently with a greedy algorithm. We further improve efficiency with action-centered AXTree pruning that keeps only content around the ground-truth action target, and we mitigate style mismatch for reasoning-native models by replacing expert traces with model-generated, style-consistent rationales. Across AgentTrek and NNetNav training datasets, evaluations in WebArena, WorkArena, and MiniWob, and experiments with Qwen2.5-7B, Gemma3-4B, and Qwen3-8B, Weasel improves out-of-domain performance while reducing training cost, producing roughly 9.7-12.5$\\times$ training speedups over standard fine-tuning.","absKo":"대규모 언어 모델(LLM)은 자연어 목표를 여러 단계의 브라우저 상호작용을 통해 수행하는 web agent를 가능하게 했다. 그러나 특정 trajectory와 도메인에 맞게 fine-tuning된 agent는 out-of-domain 일반화에 어려움을 겪는 경우가 많고, offline training은 noisy하고 중복적인 trajectory와 긴 accessibility-tree(AXTree) 상태 때문에 compute 효율이 낮을 수 있다. 이 두 문제를 해결하기 위해, 우리는 offline training을 위한 web agent trajectory selection 방법인 Weasel을 제안한다. Weasel은 상태, 웹사이트, 상호작용 패턴 전반에서 unary 중요도와 pairwise 다양성 간의 균형을 맞추는 목적함수를 최적화하여, 고정 예산의 trajectory step 부분집합을 선택하며, greedy algorithm으로 효율적으로 해결한다. 또한 ground-truth action target 주변의 내용만 유지하는 action-centered AXTree pruning으로 효율을 더 높이고, expert trace를 model-generated이면서 style-consistent한 rationale로 대체하여 reasoning-native model에서의 style mismatch를 완화한다. AgentTrek 및 NNetNav training dataset 전반, WebArena, WorkArena, MiniWob에서의 평가, 그리고 Qwen2.5-7B, Gemma3-4B, Qwen3-8B를 사용한 실험에서 Weasel은 out-of-domain 성능을 향상시키는 동시에 training cost를 줄였으며, 표준 fine-tuning 대비 대략 9.7-12.5$\\times$의 training speedup을 달성했다."},{"id":"65948","en":"Scaling Agentic Verifier for Competitive Coding","ko":"경쟁 코딩을 위한 에이전트 검증기 확장","authors":"Zeyao Ma, Jing Zhang, Xiaokang Zhang, Jiaxi Yang, Zongmeng Zhang, Jiajun Zhang, Yuheng Jing, Lei Zhang, Hao Zheng, Wenting Zhao, Junyang Lin, Binyuan Hui","pos":"#4012","link":"https://openreview.net/forum?id=8bHa5wc7X5","abs":"Large language models (LLMs) have demonstrated strong coding capabilities but still struggle to solve competitive programming problems correctly in a single attempt. Execution-based re-ranking offers a promising test-time scaling strategy, yet existing methods are constrained by either difficult test case generation or inefficient random input sampling. To address this limitation, we propose **Agentic Verifier**, an execution-based agent that actively reasons about program behaviors and searches for highly discriminative test inputs that expose behavioral discrepancies among candidate solutions. Through multi-turn interaction with code execution environments, the verifier iteratively refines the candidate input generator and produces targeted counterexamples rather than blindly sampling inputs. We train the verifier to acquire this discriminative input generation capability via a scalable pipeline combining large-scale data synthesis, rejection fine-tuning, and agentic reinforcement learning. Extensive experiments across five competitive programming benchmarks demonstrate consistent improvements over strong execution-based baselines, achieving up to **+10-15\\%** absolute gains in Best@$k$ accuracy. Further analysis reveals clear test-time scaling behavior and highlights the verifier’s broader potential beyond reranking.","absKo":"Large language models (LLMs)는 강력한 코딩 능력을 보여 왔지만, 여전히 competitive programming 문제를 한 번의 시도로 정확히 푸는 데에는 어려움을 겪는다. 실행 기반 re-ranking은 유망한 test-time scaling 전략이지만, 기존 방법은 어려운 test case 생성 또는 비효율적인 무작위 입력 샘플링에 의해 제약된다. 이 한계를 해결하기 위해, 우리는 후보 해법들 사이의 행동 차이를 드러내는 고도로 판별적인 test input을 능동적으로 추론하고 탐색하는 execution-based agent인 **Agentic Verifier**를 제안한다. 코드 실행 환경과의 다중 턴 상호작용을 통해, verifier는 후보 입력 생성기를 반복적으로 정교화하며 무작정 입력을 샘플링하는 대신 표적화된 counterexample을 생성한다. 우리는 대규모 데이터 합성, rejection fine-tuning, agentic reinforcement learning을 결합한 확장 가능한 파이프라인을 통해 verifier가 이러한 판별적 입력 생성 능력을 습득하도록 학습시킨다. 다섯 개 competitive programming benchmark에 대한 광범위한 실험은 강력한 execution-based baseline 대비 일관된 성능 향상을 보여 주며, Best@$k$ accuracy에서 최대 **+10-15\\\\%**의 절대 향상을 달성한다. 추가 분석은 명확한 test-time scaling 동작을 드러내고, reranking을 넘어서는 verifier의 더 넓은 잠재력을 강조한다."},{"id":"65962","en":"OmniFit: Bridging Modalities via Layer-Adaptive Token Compression for Omnimodal Large Language Models","ko":"OmniFit: 옴니모달 대형 언어 모델을 위한 레이어 적응형 토큰 압축을 통한 모달리티 연결","authors":"Zining Wang, Zhihang Yuan, Yingjie Zhai, Wenshuo Li, Han Shu, Ruihao Gong, Jinyang Guo, Xianglong Liu","pos":"#915","link":"https://openreview.net/forum?id=8RY20mLzup","abs":"Emerging Omni-modal Large Language Models (OmniLLMs) enable real-time interaction across video, audio, and text but suffer from prohibitive computational costs due to the quadratic complexity of processing continuous streaming inputs. Existing token compression strategies remain suboptimal as they typically rely on biased modality-centric priors or enforce uniform retention policies, neglecting the heterogeneity across layers and the critical role of cross-modality alignment. To address these challenges, we propose OmniFit, a training-free framework that decouples interaction profiling from inference execution. OmniFit incorporates Layer-Adaptive Heterogeneity Profiling (LAHP) to dynamically allocate computational budgets based on layer-wise redundancy and modality preferences, preserving tokens according to the characteristics of each layer. Furthermore, we introduce Alignment-Rectified Token Selection (ARTS), a lightweight mechanism that efficiently identifies tokens semantically aligned with cross-modal cues. Extensive experiments on 3 model series across 10 benchmarks demonstrate that OmniFit establishes a new Pareto frontier, retaining 98\\% of model performance with only 20\\% token usage and achieves up to 2.31$\\times$ end-to-end inference speedup and 2.5$\\times$ VRAM saving, significantly outperforming state-of-the-art methods.","absKo":"Emerging Omni-modal Large Language Models (OmniLLMs)은 video, audio, text 전반에 걸친 real-time interaction을 가능하게 하지만, continuous streaming input을 처리하는 quadratic complexity 때문에 과도한 computational cost를 초래한다. 기존 token compression 전략은 대체로 biased modality-centric prior에 의존하거나 uniform retention policy를 강제하여, layer 간 heterogeneity와 cross-modality alignment의 핵심 역할을 간과한다. 이러한 문제를 해결하기 위해 우리는 interaction profiling과 inference execution을 분리하는 training-free framework인 OmniFit를 제안한다. OmniFit는 Layer-Adaptive Heterogeneity Profiling (LAHP)을 통합하여 layer-wise redundancy와 modality preference에 따라 computational budget을 동적으로 할당하고, 각 layer의 특성에 맞게 token을 보존한다. 더 나아가, 우리는 cross-modal cue와 semantically aligned한 token을 효율적으로 식별하는 경량 메커니즘인 Alignment-Rectified Token Selection (ARTS)을 도입한다. 10개 benchmark에 걸친 3개 model series의 광범위한 실험은 OmniFit가 새로운 Pareto frontier를 확립함을 보여준다. 즉, model performance의 98\\%를 유지하면서 token 사용량은 20\\%에 불과하며, end-to-end inference speedup은 최대 2.31$\\times$, VRAM 절감은 2.5$\\times$에 달해 state-of-the-art 방법들을 크게 능가한다."},{"id":"62954","en":"Training AI Co-Scientists Using Rubric Rewards","ko":"Rubric Rewards로 AI Co-Scientists 훈련","authors":"Shashwat Goel, Rishi Hazra, Dulhan Jayalath, Timon Willi, Parag Jain, Shen, Ilias Leontiadis, Francesco Barbieri, Yoram Bachrach, Jonas Geiping, Chenxi Whitehouse","pos":"#1713","link":"https://openreview.net/forum?id=bTySLCPXHO","abs":"AI co-scientists are emerging as a useful tool for human researchers, with a crucial ability being proposing a research plan for a given research goal. In this work, we study how to train language models that generate better research plans by leveraging the vast corpus of existing research papers. To collect diverse training data, we automatically extract research goals and goal-specific grading rubrics from papers across domains. We then train models for research plan generation via reinforcement learning, with a frozen copy of the initial policy acting as the grader, using the rubrics to evaluate plans generated by the training policy. To validate this approach, we conduct a human study for machine learning research goals spanning 225 expert hours. The experts prefer plans generated by our finetuned Qwen3-30B-A3B model over the initial model for 70% goals, and over Grok-4-Thinking for 59.6% goals. To assess generality, we also extend our approach to goals from medical papers, and recent arXiv preprints, evaluating with a jury of frontier models. Our finetuning yields 12-22% relative improvements and significant cross-domain generalization, proving effective even in problem settings like medical research where execution feedback is infeasible. Overall, we demonstrate the potential of a scalable training recipe as a step towards improving general AI co-scientists.
","absKo":"AI co-scientist는 인간 연구자를 위한 유용한 도구로 부상하고 있으며, 그 핵심 능력 중 하나는 주어진 research goal에 대해 research plan을 제안하는 것이다. 본 연구에서는 기존 research paper의 방대한 말뭉치를 활용해 더 나은 research plan을 생성하는 language model을 어떻게 학습할 수 있는지 탐구한다. 다양한 training data를 수집하기 위해, 우리는 다양한 도메인의 논문에서 research goal과 goal-specific grading rubric을 자동으로 추출한다. 그런 다음, 초기 policy의 고정된 복사본을 grader로 사용하고 rubric으로 training policy가 생성한 plan을 평가하는 reinforcement learning을 통해 research plan generation model을 학습한다. 이 접근법을 검증하기 위해, 우리는 225 expert hours에 걸친 machine learning research goal에 대한 human study를 수행한다. 전문가들은 우리의 finetuned Qwen3-30B-A3B model이 생성한 plan을 초기 model보다 70%의 goal에서 선호했고, Grok-4-Thinking보다 59.6%의 goal에서 선호했다. 일반성을 평가하기 위해, 우리는 medical paper와 최근 arXiv preprint의 goal로도 접근법을 확장하고, frontier model들로 구성된 jury를 사용해 평가한다. 우리의 finetuning은 12-22%의 relative improvement와 의미 있는 cross-domain generalization을 달성하며, 실행 피드백이 불가능한 medical research와 같은 문제 설정에서도 효과적임을 입증한다. 전반적으로, 우리는 general AI co-scientist를 개선하기 위한 한 걸음으로서 확장 가능한 training recipe의 잠재력을 보여준다.
"},{"id":"60848","en":"HiPhO: How Far Are (M)LLMs from Humans in the Latest High School Physics Olympiad Benchmark?","ko":"HiPhO: 최신 고등학교 물리 올림피아드 Benchmark에서 (M)LLM은 인간과 얼마나 다른가?","authors":"Fangchen Yu, Haiyuan Wan, Qianjia Cheng, Yuchen Zhang, Jiacheng Chen, Fujun Han, Yulun Wu, Junchi Yao, Ruilizhen Hu, Ning Ding, Yu Cheng, Tao Chen, LEI BAI, Dongzhan Zhou, Yun Luo, Ganqu Cui, Peng Ye","pos":"#3507","link":"https://openreview.net/forum?id=w6DqR74BTt","abs":"Recently, the physics reasoning capabilities of (M)LLMs have attracted growing attention. However, existing physics benchmarks suffer from two major gaps: they neither provide systematic and up-to-date coverage of physics Olympiads, nor enable direct performance comparison with humans. To bridge these gaps, we present HiPhO, the first benchmark dedicated to high school physics Olympiads with human-aligned evaluation. HiPhO highlights three key innovations. (1) Comprehensive data: it compiles 13 latest Olympiads from 2024-2025, covering both international and regional competitions and spanning mixed modalities from text-only to diagram-based problems. (2) Professional evaluation: it adopts official rubrics to perform fine-grained grading at both the answer and step levels, ensuring alignment with human examiners. (3) Human-level comparison: models are awarded gold, silver, and bronze medals based on official score thresholds, enabling direct comparison with human contestants. Our large-scale evaluation of 30 state-of-the-art (M)LLMs shows that across 13 exams, most open-source MLLMs remain at or below the bronze level, open-source LLMs demonstrate notable progress with multiple gold medals, and closed-source MLLMs achieve 6-13 gold medals, while most models still fall well short of full marks. These results underscore the substantial gap between current (M)LLMs and top human contestants, as well as the considerable room for further improvement.
","absKo":"최근 (M)LLM의 물리 reasoning 능력이 큰 주목을 받고 있다. 그러나 기존 physics benchmark는 두 가지 큰 공백을 가진다. 하나는 physics Olympiad를 체계적이고 최신으로 포괄하지 못한다는 점이고, 다른 하나는 인간과의 직접적인 성능 비교를 가능하게 하지 못한다는 점이다. 이러한 공백을 메우기 위해, 우리는 인간 정렬형 평가를 갖춘 고등학교 physics Olympiad 전용 첫 benchmark인 HiPhO를 제시한다. HiPhO는 세 가지 핵심 혁신을 강조한다. (1) 포괄적 데이터: 2024-2025년의 최신 Olympiad 13개를 수집하여, 국제 대회와 지역 대회를 모두 포함하고, text-only 문제부터 diagram-based 문제까지 mixed modality를 아우른다. (2) 전문적 평가: 공식 rubric을 채택하여 answer level과 step level 모두에서 세밀한 채점을 수행함으로써 인간 채점자와의 정렬을 보장한다. (3) 인간 수준 비교: 모델은 공식 점수 기준에 따라 gold, silver, bronze medal을 부여받으며, 이를 통해 인간 참가자와의 직접 비교가 가능하다. 30개의 state-of-the-art (M)LLM에 대한 대규모 평가 결과, 13개 시험 전반에서 대부분의 open-source MLLM은 여전히 bronze 수준 이하에 머무르고, open-source LLM은 여러 gold medal을 획득하며 뚜렷한 진전을 보였고, closed-source MLLM은 6-13개의 gold medal을 달성했지만, 대부분의 모델은 여전히 만점을 크게 밑도는 것으로 나타났다. 이러한 결과는 현재 (M)LLM과 최상위 인간 참가자 사이의 상당한 격차와, 추가 개선의 여지가 매우 크다는 점을 보여준다.
"},{"id":"65074","en":"$\\texttt{Multi}^2$: Hierarchical Multi-Agent Decision-Making with LLM-Based Agents in Interactive Environments","ko":"$\\texttt{Multi}^2$: 대화형 환경에서 LLM 기반 Agent를 활용한 계층적 Multi-Agent 의사결정","authors":"Sangeun Park, Minhae Kwon","pos":"#2315","link":"https://openreview.net/forum?id=H0tMEp0ZmO","abs":"A central goal of large language model (LLM) research is to build agentic systems that can plan, act, and adapt through sustained interaction with dynamic environments. While recent LLM-based agents exhibit impressive contextual reasoning, their long-horizon decision-making remains fragile, often suffering from $\\textit{objective drift}$, where goals and plans drift over extended interactions. We introduce $\\texttt{Multi}^2$, a hierarchical multi-agent decision-making framework that explicitly decomposes agent behavior into complementary roles. A high-level agent ($\\texttt{System 1}$) focuses on context-aware sub-goal generation using supervised fine-tuning (SFT), while a low-level agent ($\\texttt{System 2}$) executes atomic actions through offline-to-online reinforcement learning (RL) in interactive environments. This separation enables stable long-horizon control, mitigates objective drift, and allows efficient adaptation. Across diverse interactive environments, $\\texttt{Multi}^2$ consistently outperforms strong agentic baselines, demonstrating improved robustness and coordination in multi-turn interaction. Beyond performance, we introduce and release three hierarchical benchmark datasets, filling a long-standing gap in training and evaluating hierarchical decision-making for LLM-based agents.","absKo":"LLM research의 핵심 목표는 동적인 환경과의 지속적인 상호작용을 통해 계획하고, 행동하며, 적응할 수 있는 agentic system을 구축하는 것이다. 최근의 LLM-based agent는 인상적인 contextual reasoning을 보이지만, 장기적 의사결정은 여전히 취약하며, 특히 장기간 상호작용 동안 목표와 계획이 표류하는 $\\textit{objective drift}$를 자주 겪는다. 우리는 에이전트의 행동을 상보적인 역할로 명시적으로 분해하는 계층적 multi-agent 의사결정 프레임워크 $\\texttt{Multi}^2$를 제안한다. 상위 수준 에이전트($\\texttt{System 1}$)는 supervised fine-tuning(SFT)을 사용하여 context-aware sub-goal generation에 집중하고, 하위 수준 에이전트($\\texttt{System 2}$)는 interactive environment에서 offline-to-online reinforcement learning(RL)을 통해 atomic action을 수행한다. 이러한 분리는 안정적인 장기 제어를 가능하게 하고, objective drift를 완화하며, 효율적인 적응을 허용한다. 다양한 interactive environment 전반에서 $\\texttt{Multi}^2$는 강력한 agentic baseline을 일관되게 능가하며, multi-turn interaction에서 향상된 robustness와 coordination을 보여준다. 성능을 넘어, 우리는 세 개의 hierarchical benchmark dataset을 도입하고 공개함으로써, LLM-based agent를 위한 hierarchical decision-making의 학습과 평가에 오랫동안 존재해 온 공백을 메운다."},{"id":"68836","en":"MixtureVitae: Open Web-Scale Pretraining Dataset With High Quality Instruction and Reasoning Data Built from Permissive-First Text Sources","ko":"MixtureVitae: 허용 우선 텍스트 소스로 구축한 고품질 Instruction 및 Reasoning 데이터를 갖춘 개방형 웹 규모 Pretraining 데이터셋","authors":"Huu Nguyen, Victor May, Harsh Raj, Marianna Nezhurina, Yishan Wang, Yanqi Luo, Vu Chien, Taishi Nakamura, Ken Tsui, Van Nguyen, David Salinas, Aleksandra Krasnodębska, Christoph Schuhmann, Mats Richter, Xuan-Son Vu, Jenia Jitsev","pos":"#2701","abs":"We present MixtureVitae, an open‑access pretraining corpus built to minimize legal risk while providing strong downstream performance. MixtureVitae follows a permissive‑first, risk‑mitigated sourcing strategy that combines public‑domain and permissively licensed text (e.g., CC‑BY/Apache) with carefully justified low‑risk additions (e.g., government works and EU TDM‑eligible sources). MixtureVitae adopts a simple, single-stage pretraining recipe that integrates a large proportion of permissive synthetic instruction and reasoning data—signals typically introduced during post-training and generally scarce in permissive web corpora. We categorize all sources into a three-tier scheme that reflects varying risk levels and provide shard-level provenance metadata to enable risk-aware usage. In controlled experiments using the open‑sci‑ref training protocol (fixed architectures and hyperparameters; 50B and 300B token budgets across 130M–1.7B parameters), models trained on MixtureVitae consistently outperform other permissive datasets across a suite of standard benchmarks, and at the 1.7B-parameters/300B-tokens setting, they match FineWeb‑Edu and approach DCLM--demonstrating that the large fraction of reasoning and instruction data does not come at the cost of general-purpose language understanding. Performance is particularly strong on MMLU and on math and code benchmarks: a 1.7B model pretrained on 300B MixtureVitae tokens outperforms all strong non-permissive reference datasets and matches or exceeds smolLM2-Instruct, a strong 1.7B instruction‑tuned baseline on GSM8K, HumanEval, and MBPP, despite using over 36$\\times$ fewer tokens (300B vs. $\\approx$11T). Supported by a thorough decontamination analysis, these results show that permissive‑first data with high instruction and reasoning density, tiered by licensing and provenance-related risk, can provide a practical and risk-mitigated foundation for training capable LLMs, reducing reliance on broad web scrapes without sacrificing competitiveness. Dataset, source code for experiments reproduction and pre-trained models are available at https://github.com/ontocord/mixturevitae .","absKo":"MixtureVitae는 법적 위험을 최소화하면서도 강한 downstream 성능을 제공하도록 구축된 open-access pretraining corpus이다. MixtureVitae는 public-domain 및 permissively licensed text(예: CC-BY/Apache)를 government work와 EU TDM-eligible source 같은 신중하게 정당화된 low-risk 추가 자료와 결합하는 permissive-first, risk-mitigated sourcing strategy를 따른다. MixtureVitae는 post-training에서 보통 도입되며 permissive web corpus에서는 일반적으로 드문 대규모 permissive synthetic instruction 및 reasoning data를 통합하는 단순한 single-stage pretraining recipe를 채택한다. 우리는 모든 source를 서로 다른 risk level을 반영하는 three-tier scheme으로 분류하고, risk-aware usage를 가능하게 하기 위해 shard-level provenance metadata를 제공한다. open-sci-ref training protocol(fixed architecture와 hyperparameter; 130M~1.7B parameter 범위에서 50B 및 300B token budget)을 사용한 통제된 실험에서, MixtureVitae로 학습한 모델은 표준 benchmark 전반에서 다른 permissive dataset을 일관되게 능가했으며, 1.7B-parameter/300B-token 설정에서는 FineWeb-Edu와 동등한 수준을 보였고 DCLM에 근접했다. 이는 reasoning 및 instruction data의 큰 비중이 general-purpose language understanding을 희생하지 않음을 보여준다. 성능은 특히 MMLU와 수학 및 코드 benchmark에서 두드러진다. 300B MixtureVitae token으로 사전학습한 1.7B 모델은 모든 강력한 non-permissive reference dataset을 능가했으며, 36$\\times$ 이상 더 적은 token(300B 대 약 11T)을 사용하면서도 GSM8K, HumanEval, MBPP에서 강력한 1.7B instruction-tuned baseline인 smolLM2-Instruct와 같거나 더 뛰어난 성능을 보였다. 철저한 decontamination analysis에 의해 뒷받침되는 이 결과는, licensing 및 provenance 관련 위험에 따라 계층화된 높은 instruction 및 reasoning 밀도를 가진 permissive-first data가, 범용 웹 스크래핑에 대한 의존도를 줄이면서도 경쟁력을 잃지 않는 capable LLM 학습의 실용적이고 위험 완화된 기반이 될 수 있음을 보여준다. 데이터셋, 실험 재현용 source code, 그리고 pre-trained model은 https://github.com/ontocord/mixturevitae 에서 제공된다."},{"id":"65995","en":"Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs","ko":"보는 것이 이해하는 것이다: 멀티모달 LLM을 위해 인과적 Attention을 모달리티 상호 Attention으로 해방하기","authors":"Wei-Yao Wang, Zhao Wang, Helen Suzuki, Yoshiyuki Kobayashi","pos":"#2716","link":"https://openreview.net/forum?id=843GQudig7","abs":"Recent Multimodal Large Language Models (MLLMs) have demonstrated significant progress in perceiving and reasoning over multimodal inquiries, ushering in a new research era for foundation models. However, vision-language misalignment in MLLMs has emerged as a critical challenge, where the textual responses generated by these models are not factually aligned with the given text-image inputs. Existing efforts to address vision-language misalignment have focused on developing specialized vision-language connectors or leveraging visual instruction tuning from diverse domains. In this paper, we tackle this issue from a fundamental yet unexplored perspective by revisiting the core architecture of MLLMs. Most MLLMs are typically built on decoder-only LLMs consisting of a causal attention mechanism, which limits the ability of the earlier modalities (e.g., images) to incorporate information from the latter modalities (e.g., text). To address this problem a MLLM that unlocks causal attention into our proposed modality-mutual attention (MMA) to enable image tokens to attend to text tokens. This simple yet effective design allows MMA to achieve state-of-the-art performance in 12 multimodal understanding benchmarks (+6.2\\% on average across 3 LLMs backbones) without introducing additional parameters. Our MMA design is intended to be generic, allowing for applications across various modalities, and scalable to accommodate diverse multimodal scenarios.
","absKo":"최근 Multimodal Large Language Models (MLLMs)는 multimodal inquiry를 인지하고 추론하는 데서 큰 진전을 보여주며, foundation model 연구의 새로운 시대를 열었다. 그러나 MLLM에서 vision-language misalignment가 핵심 과제로 부상했는데, 이는 이들 모델이 생성한 텍스트 응답이 주어진 text-image 입력과 사실적으로 정렬되지 않는 문제이다. Vision-language misalignment를 해결하기 위한 기존 연구는 특화된 vision-language connector를 개발하거나 다양한 도메인의 visual instruction tuning을 활용하는 데 초점을 맞춰 왔다. 본 논문에서는 MLLM의 핵심 architecture를 다시 살펴보는, 근본적이지만 아직 탐구되지 않은 관점에서 이 문제를 다룬다. 대부분의 MLLM은 일반적으로 causal attention mechanism으로 구성된 decoder-only LLM 위에 구축되며, 이는 앞선 modality(예: image)가 뒤따르는 modality(예: text)의 정보를 반영하는 능력을 제한한다. 이 문제를 해결하기 위해 우리는 causal attention을 image token이 text token에 attention할 수 있도록 하는 modality-mutual attention (MMA)로 확장한 MLLM을 제안한다. 이 단순하지만 효과적인 설계는 추가 parameter 없이 12개의 multimodal understanding benchmark에서 state-of-the-art 성능을 달성하며(3개의 LLM backbone 전반에서 평균 +6.2\\%), MMA가 매우 우수함을 보인다. 우리의 MMA 설계는 다양한 modality에 적용 가능한 범용성을 지향하며, 다양한 multimodal scenario를 수용할 수 있도록 확장 가능하다.
"},{"id":"62245","en":"Beyond Gemini-3-Pro: Revisiting LLM Routing and Aggregation at Scale","ko":"Gemini-3-Pro를 넘어: 대규모에서 LLM Routing 및 Aggregation 재조명","authors":"Shengji Tang, Weihao Lin, Peng Ye, Jingqi Ye, Hao Li, Yiqun Zhang, Xiaosong Wang, Bo Zhang, Shuyue Hu, Tao Chen, LEI BAI, Wanli Ouyang","pos":"#3017","link":"https://openreview.net/forum?id=iLrl4ppPqL","abs":"Large Language Models (LLMs) have rapidly advanced, with Gemini-3-Pro setting a new performance milestone. In this work, we explore collective intelligence as an alternative to monolithic scaling, and demonstrate that open-source LLMs' collaboration can surpass Gemini-3-Pro. We first revisit LLM routing and aggregation at scale and identify three key bottlenecks: (1) current train-free routers are limited by a query-based paradigm focusing solely on textual similarity; (2) recent aggregation methods remain largely static, failing to select appropriate aggregators for different tasks; (3) the complementarity of routing and aggregation remains underutilized. To address these problems, we introduce JiSi, a novel framework designed to release the full potential of LLMs' collaboration through three innovations: (1) Query-Response Mixed Routing capturing both semantic information and problem difficulty; (2) Support-Set-based Aggregator Selection jointly evaluating the aggregation and domain capacity of aggregators; (3) Adaptive Routing-Aggregation Switch dynamically leveraging the advantages of routing and aggregation. Comprehensive experiments on nine benchmarks demonstrate that JiSi can surpass Gemini-3-Pro with only 47% costs by orchestrating ten open-source LLMs, while outperforming mainstream baselines. It suggests that collective intelligence represents a novel path towards Artificial General Intelligence (AGI).
","absKo":"Large Language Models (LLMs)는 빠르게 발전해 왔으며, Gemini-3-Pro는 새로운 성능 이정표를 세웠다. 이 연구에서 우리는 거대 단일 모델 스케일업의 대안으로 collective intelligence를 탐구하고, 오픈소스 LLM들의 협력이 Gemini-3-Pro를 능가할 수 있음을 보인다. 우리는 먼저 대규모 LLM routing과 aggregation을 재검토하고 세 가지 핵심 병목을 식별한다: (1) 현재의 train-free router는 텍스트 유사성에만 초점을 맞춘 query-based paradigm에 의해 제한된다; (2) 최근의 aggregation 방법은 대체로 정적이어서, 서로 다른 작업에 적절한 aggregator를 선택하지 못한다; (3) routing과 aggregation의 상보성이 충분히 활용되지 못한다. 이러한 문제를 해결하기 위해 우리는 LLM 협력의 잠재력을 온전히 끌어내도록 설계된 새로운 프레임워크 JiSi를 제안하며, 세 가지 혁신을 포함한다: (1) 의미 정보와 문제 난이도를 모두 포착하는 Query-Response Mixed Routing; (2) aggregator의 aggregation 능력과 domain capacity를 공동으로 평가하는 Support-Set-based Aggregator Selection; (3) routing과 aggregation의 장점을 동적으로 활용하는 Adaptive Routing-Aggregation Switch. 아홉 개 benchmark에서 수행한 종합 실험은 JiSi가 열 개의 오픈소스 LLM을 조율하여 비용의 47%만으로 Gemini-3-Pro를 능가하면서도 주류 baseline들을 상회할 수 있음을 보여준다. 이는 collective intelligence가 Artificial General Intelligence (AGI)로 가는 새로운 경로임을 시사한다.
"},{"id":"64829","en":"Cache Coherent Resampling for Efficient Test Time Scaling in LLM Reasoning via Adaptive Sequential Monte Carlo","ko":"Cache Coherent Resampling: 적응적 Sequential Monte Carlo를 통한 LLM 추론에서 효율적 Test Time Scaling","authors":"Ke Wang, ZEHAO Yu, Luwei Wang, Yongchao Huang","pos":"#2305","link":"https://openreview.net/forum?id=JN6wxUGmW8","abs":"Recent work shows that chain based sampling for power shaped trajectory distributions can deliver large test time gains from a fixed base LLM and can approach RL trained reasoners such as GRPO. Deployment is the bottleneck. Autoregressive Metropolis Hastings is inherently serial, limits GPU utilization, and exhibits extreme tail latency at high budgets, reaching p95 $=1318$s on MATH500 at $128\\times$. We propose Adaptive Sequential Monte Carlo (ASMC), a parallel particle inference method that targets power shaped trajectory distributions while adapting particle populations to problem hardness. To make resampling practical for Transformers, we introduce cache coherent resampling, which realizes ancestry updates by reordering KV caches and other particle bound tensors, avoiding prefix recomputation. On MATH500 at the same budget, ASMC attains $80.6\\%$ exact match accuracy with p95 $=73.7$s, improving the accuracy to tail latency trade off over both sequential MCMC and best of $n$. We further analyze particle degeneracy and find that collapse severity, measured by low $\\mathrm{ESS}_{\\min}/N$, strongly predicts failures, while sensitivity to the resampling scheme is limited.","absKo":"최근 연구는 power-shaped trajectory distribution에 대한 chain-based sampling이 고정된 base LLM에서도 test-time gain을 크게 제공할 수 있으며, GRPO와 같은 RL 학습 reasoner에 근접할 수 있음을 보여준다. 그러나 배포가 병목이다. Autoregressive Metropolis Hastings는 본질적으로 serial하며 GPU 활용률을 제한하고, 높은 budget에서 극단적인 tail latency를 보인다. 예를 들어 MATH500에서 $128\\times$일 때 p95가 1318초에 이른다. 우리는 문제 난이도에 맞추어 particle population을 조정하면서 power-shaped trajectory distribution을 대상으로 하는 parallel particle inference 방법인 Adaptive Sequential Monte Carlo (ASMC)를 제안한다. Transformer에서 resampling을 실용적으로 만들기 위해, 우리는 cache coherent resampling을 도입한다. 이는 ancestry update를 KV cache와 기타 particle bound tensor의 재정렬로 구현하여 prefix recomputation을 피한다. 같은 budget의 MATH500에서 ASMC는 p95 73.7초로 80.6\\% exact match accuracy를 달성하여, sequential MCMC와 best of n 모두보다 accuracy와 tail latency 간 trade-off를 개선한다. 또한 particle degeneracy를 분석한 결과, 낮은 $\\mathrm{ESS}_{\\min}/N$으로 측정되는 collapse severity가 실패를 강하게 예측하는 반면, resampling scheme에 대한 민감도는 제한적임을 확인했다."},{"id":"63067","en":"QEDBench: Quantifying the Alignment Gap in Automated Evaluation of University-Level Mathematical Proofs","ko":"QEDBench: 대학 수준 수학 증명의 자동 평가에서 정렬 격차 정량화","authors":"Santiago Gonzalez, Alireza Amiribavandpour, Peter Ye, Edward Zhang, Ruslans Aleksejevs, Todor Antić, Polina Baron, Sujeet Bhalerao, Shubhrajit Bhattacharya, Zachary Burton, John Byrne, Hyungjun Choi, Nujhat Ahmed Disha, Koppány I Encz, Yuchen Fang, Robert Joseph George, Ebrahim Ghorbani, Alan Goldfarb, Jing Guo, Meghal Gupta, Stefano Huber, Annika Kanckos, Minjung Kang, Hyun Jong Kim, Dino Lorenzini, Levi Lorenzo, Tianyi Mao, Giovanni Marzenta, Ariane Masuda, Lukas Mauth, Ana Mickovic, Andrés Miniguano-Trujillo, Antoine Moulin, Wenqi Ni, Tomos Parry, Kevin Ren, Hossein Roodbarani, Mathieu Rundström, Manjil Saikia, Detchat Samart, Rebecca Steiner, Connor Stewart, Dhara Thakkar, Jeffrey Tse, Vasiliki Velona, Yunhai Xiang, Sibel Yalçın, Jun Yan, Ji Zeng, Arman Cohan, Quanquan Liu","pos":"#3609","link":"https://openreview.net/forum?id=aOL0RPDfTQ","abs":"As Large Language Models (LLMs) saturate elementary benchmarks, the research frontier has shifted from generation to the reliability of automated evaluation. We demonstrate that standard \"LLM-as-a-Judge\" protocols suffer from a systematic evaluation Alignment Gap when applied to upper-undergraduate to early graduate level mathematics. To quantify this, we introduce QEDBench, the first benchmark to systematically measure alignment with human experts on undergraduate-level math proofs by contrasting course-specific rubrics against expert common knowledge criteria. By deploying a dual-evaluation matrix ($7$ judges $\\times$ $5$ solvers) against 1,000+ hours of human evaluation, we reveal that certain frontier evaluators like Claude 4.5 Opus exhibit significant positive bias (up to $+0.28$ mean score inflation), effectively \"hallucinating rigor\" in flawed proofs. Furthermore, we uncover a critical reasoning disparity: while Gemini 3.0 Pro achieves state-of-the-art performance (0.91 raw score), specialized reasoning models like o3-deep-research collapse in discrete domains, dropping to 42.1\\% accuracy in Graph Theory. We release QEDBench as a public benchmark for evaluating and improving AI judges.","absKo":"Large Language Models (LLMs)가 elementary benchmark를 포화시키면서, 연구의 최전선은 생성에서 자동 평가의 신뢰성으로 이동했다. 우리는 표준 \"LLM-as-a-Judge\" protocol이 상위 학부 수준에서 초기 대학원 수준의 수학에 적용될 때 체계적인 evaluation Alignment Gap을 겪는다는 것을 보인다. 이를 정량화하기 위해, 우리는 QEDBench를 소개한다. 이는 course-specific rubric과 expert common knowledge criterion을 대비시켜 학부 수준 수학 증명에서 인간 전문가와의 정렬 정도를 체계적으로 측정하는 최초의 benchmark이다. 1,000시간이 넘는 인간 평가에 대해 $7$ judges $\\times$ $5$ solvers의 dual-evaluation matrix를 적용한 결과, Claude 4.5 Opus와 같은 일부 frontier evaluator가 유의미한 positive bias(최대 +0.28의 평균 점수 부풀림)를 보이며, 결함 있는 증명에서 사실상 \"rigor를 환각\"하고 있음을 드러냈다. 더 나아가 우리는 중대한 reasoning 차이를 발견했다. Gemini 3.0 Pro는 state-of-the-art 성능(0.91 raw score)을 달성하는 반면, o3-deep-research와 같은 특화 reasoning model은 discrete domain에서 무너져 Graph Theory에서 정확도가 42.1\\%로 떨어진다. 우리는 AI judge를 평가하고 개선하기 위한 공개 benchmark로 QEDBench를 공개한다."},{"id":"63927","en":"LARFT: Closing the Cognition-Action Gap for Length Instruction Following in Large Language Models","ko":"LARFT: 대규모 language model에서 길이 지시 따르기의 인지-행동 간극 좁히기","authors":"Wei Zhang, Lintong Du, yuanhe zhang, Zhenhong Zhou, Kun Wang, Li Sun, Sen Su","pos":"#3808","link":"https://openreview.net/forum?id=SUwOncwAVl","abs":"
Despite the strong performance of Large Language Models (LLMs) on complex instruction-following tasks, precise control of output length remains a persistent challenge. Existing methods primarily attempt to enforce length constraints by externally imposing length signals or optimization objectives, while largely overlooking the underlying limitation: the model's intrinsic deficit in length cognition. To address this, we propose \\textbf{LARFT} (\\textbf{L}ength-\\textbf{A}ware \\textbf{R}einforcement \\textbf{F}ine-\\textbf{T}uning), a training framework that aligns the model's length cognition with its action. Specifically, LARFT integrates length-oriented reinforcement learning with a hindsight length awareness. By transforming on-policy data into hindsight self-awareness tasks where the model learns to identify the actual length of its own generation, LARFT jointly optimizes the model’s internal representation of length information and refines its policy to satisfy length constraints, thereby achieving precise and reliable length instruction following. Extensive experiments across four base models demonstrate that LARFT outperforms existing baselines, achieving an average improvement of \\textbf{+20.92} points across three length instruction following benchmarks with only a marginal decline of \\textbf{-1.45} points on four general capability benchmarks.
","absKo":"Large Language Model(LLM)이 복잡한 instruction-following task에서 강한 성능을 보이더라도, output length를 정밀하게 제어하는 일은 여전히 지속적인 과제다. 기존 방법은 주로 외부에서 length signal이나 optimization objective를 부과해 length constraint를 강제하려고 하지만, 근본적인 한계인 모델의 length cognition 내재 부족은 대체로 간과한다. 이를 해결하기 위해 우리는 \\textbf{LARFT}(\\textbf{L}ength-\\textbf{A}ware \\textbf{R}einforcement \\textbf{F}ine-\\textbf{T}uning)를 제안한다. 이는 모델의 length cognition과 행동을 정렬하는 training framework이다. 구체적으로 LARFT는 length-oriented reinforcement learning과 hindsight length awareness를 통합한다. on-policy data를 hindsight self-awareness task로 변환하여 모델이 자신의 생성 길이를 실제로 식별하도록 학습함으로써, LARFT는 length information에 대한 내부 표현을 공동으로 최적화하고 length constraint를 만족하도록 policy를 정교화하여, 정확하고 신뢰할 수 있는 length instruction following을 달성한다. 네 개의 base model에 걸친 광범위한 실험에서 LARFT는 기존 baseline을 능가했으며, 세 개의 length instruction following benchmark에서 평균 \\textbf{+20.92}점 향상, 네 개의 general capability benchmark에서 단지 \\textbf{-1.45}점의 미미한 하락만을 보였다.
"},{"id":"60612","en":"Grounding Functional Similarity by Invariance-Aware Model Stitching","ko":"불변성 인식 모델 스티칭을 통한 기능적 유사성 기반화","authors":"Ioannis Athanasiadis, Anmar Karmush, Michael Felsberg","pos":"#1600","link":"https://openreview.net/forum?id=yUEFOa32CG","abs":"In deep learning, functional similarity evaluation quantifies the extent to which independently trained models learn similar input–output relationships. In model stitching, functional similarity is framed as representation forward compatibility, i.e., whether the representations of two models can be aligned to solve a given task. Recent studies, however, highlight a critical limitation: models relying on different information cues can still produce compatible representations, making them appear misleadingly similar \\cite{smithfunctional}. We attribute this failure to standard model stitching being inherently blind to the invariance properties of the stitched models. To address this limitation, we introduce the forward-backward compatibility requirement under which we formulate the invariance-aware model stitching. Through analyzing key stitching configurations, we study the interplay between forward and backward compatibility, showing that invariance-aware model stitching provides a more principled approach to functional similarity evaluation while revealing functional discrepancies previously obscured.
","absKo":"딥러닝에서 functional similarity evaluation은 독립적으로 학습된 모델들이 얼마나 유사한 input-output 관계를 학습하는지를 정량화한다. model stitching에서는 functional similarity가 representation forward compatibility, 즉 두 모델의 representation을 정렬하여 주어진 task를 해결할 수 있는지의 관점으로 정식화된다. 그러나 최근 연구는 서로 다른 정보 단서에 의존하는 모델들도 여전히 호환 가능한 representation을 만들어 내어, 마치 유사한 것처럼 오해를 불러일으킬 수 있음을 강조한다 \\cite{smithfunctional}. 우리는 이러한 실패가 표준 model stitching이 본질적으로 stitched model의 invariance property를 보지 못하기 때문이라고 본다. 이 한계를 해결하기 위해, 우리는 forward-backward compatibility requirement를 도입하고, 이를 바탕으로 invariance-aware model stitching을 정식화한다. 핵심 stitching configuration을 분석함으로써 forward compatibility와 backward compatibility의 상호작용을 연구하고, invariance-aware model stitching이 더 원칙적인 functional similarity evaluation 접근을 제공하는 동시에 이전에 가려져 있던 functional discrepancy를 드러냄을 보인다.
"},{"id":"64754","en":"Multimodal Function Vectors for Spatial Relations","ko":"공간 관계를 위한 멀티모달 Function Vector","authors":"Shuhao Fu, Esther Goldberg, Ying Nian Wu, Hongjing Lu","pos":"#1602","link":"https://openreview.net/forum?id=KBvnXHCIch","abs":"Large Multimodal Models (LMMs) demonstrate impressive in-context learning abilities from few multimodal demonstrations, yet the internal mechanisms supporting such task learning remain opaque. Building on prior work of Large Language Models, we show that a small subset of attention heads in Large Multimodal Models is responsible for transmitting representations of spatial relations. The activations of these attention heads, termed function vectors, can be extracted and manipulated to alter an LMM’s performance on relational tasks. First, using synthetic and real image datasets, we apply causal mediation analysis to identify attention heads that strongly influence relational predictions, and extract multimodal function vectors that improve zero-shot accuracy at inference time. We further demonstrate that these multimodal function vectors can be fine-tuned with a modest amount of training data, while keeping LMM parameters frozen, to significantly outperform in-context learning baselines. Finally, we show that relation-specific function vectors can be linearly combined to solve analogy problems involving novel and untrained spatial relations, highlighting the strong generalization ability of this approach. Through experiments on two LMMs, including OpenFlamingo and Qwen3-VL, our results show that these models encode spatial relational knowledge within localized internal structures, which can be systematically extracted and optimized, thereby advancing our understanding of model modularity and enhancing control over relational reasoning in LMMs.
","absKo":"Large Multimodal Model(LMM)은 소수의 multimodal demonstration만으로도 뛰어난 in-context learning 능력을 보이지만, 이러한 task learning을 뒷받침하는 내부 메커니즘은 여전히 불투명하다. Large Language Model에 대한 기존 연구를 바탕으로, 우리는 Large Multimodal Model의 일부 attention head가 spatial relation 표현을 전달하는 역할을 한다는 것을 보인다. 이 attention head의 activation은 function vector라고 불리며, 이를 추출하고 조작함으로써 관계적 과제에서 LMM의 성능을 변화시킬 수 있다. 먼저 synthetic 및 real image dataset을 사용해 causal mediation analysis를 적용하여 relational prediction에 강하게 영향을 주는 attention head를 식별하고, inference time에서 zero-shot accuracy를 향상시키는 multimodal function vector를 추출한다. 또한 이러한 multimodal function vector는 LMM parameter를 freeze한 채 비교적 적은 training data로 fine-tuning할 수 있으며, 그 결과 in-context learning baseline을 크게 능가함을 보인다. 마지막으로 relation-specific function vector를 선형 결합하면 새로운 미학습 spatial relation을 포함하는 analogy problem을 해결할 수 있음을 보여, 이 접근법의 강한 generalization 능력을 강조한다. OpenFlamingo와 Qwen3-VL을 포함한 두 개의 LMM에서 수행한 실험을 통해, 이 모델들이 spatial relational knowledge를 국소화된 내부 구조에 인코딩하며 이를 체계적으로 추출하고 최적화할 수 있음을 보여준다. 이는 model modularity에 대한 이해를 발전시키고 LMM에서 relational reasoning에 대한 제어를 향상시킨다.
"},{"id":"66373","en":"SLAE: Strictly Local All-atom Environment for Protein Representation","ko":"SLAE: 단백질 표현을 위한 엄격한 국소 전원자 환경","authors":"Yilin Chen, Tianyu Lu, Cizhang Zhao, Hannah Wayment-Steele, Po-Ssu Huang","pos":"#4603","link":"https://openreview.net/forum?id=4HDRkXxqNs","abs":"Building physically grounded protein representations is central to computational biology, yet most existing approaches rely on sequence-pretrained language models or backbone-only graphs that overlook side-chain geometry and chemical detail. We present SLAE, a unified all-atom framework for learning protein representations from each residue’s local atomic neighborhood using only atom types and interatomic geometries. To encourage expressive feature extraction, we introduce a novel multi-task autoencoder objective that combines coordinate reconstruction, sequence recovery, and energy regression. SLAE reconstructs allatom structures with high fidelity from latent residue environments and achieves state-of-the-art performance across diverse downstream tasks via transfer learning. SLAE’s latent space is chemically informative and environmentally sensitive, enabling quantitative assessment of structural qualities and smooth interpolation between conformations at all-atom resolution.
","absKo":"물리적으로 grounded된 protein representation을 구축하는 것은 computational biology의 핵심이지만, 기존 접근법의 대부분은 sequence-pretrained language model이나 backbone-only graph에 의존하여 side-chain geometry와 chemical detail을 간과한다. 우리는 atom type과 interatomic geometry만을 사용해 각 residue의 local atomic neighborhood로부터 protein representation을 학습하는 통합 all-atom framework인 SLAE를 제시한다. 표현력 있는 feature extraction을 유도하기 위해, 우리는 coordinate reconstruction, sequence recovery, energy regression을 결합한 새로운 multi-task autoencoder objective를 도입한다. SLAE는 latent residue environment로부터 all-atom structure를 높은 fidelity로 재구성하며, transfer learning을 통해 다양한 downstream task에서 state-of-the-art 성능을 달성한다. SLAE의 latent space는 화학적으로 informative하고 환경에 민감하여, 구조적 품질을 정량적으로 평가하고 all-atom resolution에서 conformation 간 부드러운 interpolation을 가능하게 한다.
"},{"id":"61415","en":"MetaBio: Learning from metadata for bioacoustics foundation models","ko":"MetaBio: Bioacoustics Foundation Models를 위한 Metadata 기반 학습","authors":"Mustafa Chasmai, Vincent Dumoulin, JJ Hamer","pos":"#4017","link":"https://openreview.net/forum?id=qPhgIY8x81","abs":"Bioacoustic foundation models rely on large-scale citizen science platforms like Xeno-Canto for geographically and ecologically diverse data. Recent work has shown that supervision alone can produce SotA species detection models when trained on this large-scale data---however, there remains unutilized potential in the form of recording metadata readily available within these community-driven data hubs. In this work, we explore the use of metadata---such as location and time---as auxiliary supervision signals, allowing the model to leverage species-metadata correlations in its learned representation. Auxiliary metadata losses provide additional information beyond vocalizations alone that can encourage a richer, more robust representation that generalizes better to species distribution and acoustic domain shifts---important challenges for deployment in real-world passive acoustic monitoring (PAM) settings. We introduce MetaBio, a new foundation model that achieves strong species identification performance across multiple challenging domains and present an extensive empirical study of the effects of 9 diverse metadata sources on 17 bioacoustic datasets.
","absKo":"Bioacoustic foundation model은 Xeno-Canto와 같은 대규모 citizen science platform에 의존해 지리적으로 그리고 생태학적으로 다양한 데이터를 사용한다. 최근 연구는 이 대규모 데이터를 학습할 때 supervision만으로도 state-of-the-art species detection model을 만들 수 있음을 보여주었지만, community-driven data hub 안에 손쉽게 उपलब्ध한 recording metadata라는 아직 활용되지 않은 잠재력이 남아 있다. 본 연구에서는 location과 time과 같은 metadata를 auxiliary supervision signal로 활용하는 방법을 탐구하여, 모델이 학습된 representation에서 species-metadata correlation을 이용할 수 있도록 한다. Auxiliary metadata loss는 vocalization만으로는 얻을 수 없는 추가 정보를 제공하며, 더 풍부하고 강건한 representation을 촉진해 species distribution과 acoustic domain shift에 대해 더 잘 일반화하게 한다. 이는 실제 passive acoustic monitoring(PAM) 환경 배포에서 중요한 과제이다. 우리는 MetaBio라는 새로운 foundation model을 제안하며, 여러 까다로운 도메인에서 강력한 species identification 성능을 달성한다. 또한 9가지 다양한 metadata source가 17개 bioacoustic dataset에 미치는 효과에 대한 광범위한 실증 연구를 제시한다."},{"id":"63058","en":"MultiLoReFT: Decoupling Shared and Modality-Specific Subspaces in Multimodal Learning via Low-Rank Representation Fine-Tuning","ko":"MultiLoReFT: 저계수 표현 미세조정을 통한 멀티모달 학습에서 공유 및 모달리티 특화 부분공간 분리","authors":"Sana Tonekaboni, Viktoria Schuster, Caroline Uhler","pos":"#4103","link":"https://openreview.net/forum?id=aUkI7iKovO","abs":"Real-world perception and decision making are inherently multimodal, integrating complementary signals across modalities. However, training multimodal models faces two main obstacles. First, collecting large-scale, well-aligned paired multimodal datasets is often impractical, making end-to-end multimodal training difficult. Second, existing multimodal representations frequently entangle information shared across modalities with modality-specific information, hindering interpretability and control. We introduce MultiLoReFT, an efficient and scalable low-rank representation fine-tuning framework for multimodal learning with pretrained unimodal models. MultiLoReFT extends low-rank adaptation to the multimodal setting and learns interpretable projection subspaces that decouple shared and modality-specific information. Across simulated and real-world benchmarks, it produces representations that support multimodal prediction while explicitly revealing how shared and modality-specific information are distributed across modalities.
","absKo":"실세계의 perception과 decision making은 본질적으로 multimodal하며, modality 전반의 보완적 신호를 통합한다. 그러나 multimodal model 학습에는 두 가지 주요 장애물이 있다. 첫째, 대규모의 정렬이 잘 된 paired multimodal dataset을 수집하는 것은 종종 비현실적이어서 end-to-end multimodal training이 어렵다. 둘째, 기존 multimodal representation은 modality 간에 공유되는 정보와 modality-specific information을 자주 얽어버려 interpretability와 control을 저해한다. 우리는 pretrained unimodal model을 활용한 multimodal learning을 위해 효율적이고 확장 가능한 low-rank representation fine-tuning framework인 MultiLoReFT를 소개한다. MultiLoReFT는 low-rank adaptation을 multimodal setting으로 확장하고, shared information과 modality-specific information을 분리하는 해석 가능한 projection subspace를 학습한다. simulated benchmark와 real-world benchmark 전반에서, 이 방법은 multimodal prediction을 지원하는 representation을 생성하는 동시에 shared information과 modality-specific information이 modality 전반에 걸쳐 어떻게 분포하는지 명시적으로 드러낸다.
"},{"id":"63423","en":"JANUS-LORA: A Balanced Low-Rank Adaptation for Continual Learning","ko":"JANUS-LORA: 지속 학습을 위한 균형 잡힌 Low-Rank Adaptation","authors":"Cheng Chen, Pengpeng Zeng, Yuyu Guo, Jingkuan Song, Heng Tao Shen, Lianli Gao","pos":"#1010","link":"https://openreview.net/forum?id=XJ5r19iN9G","abs":"Low-Rank Adaptation (LoRA) has emerged as a promising paradigm for Continual Learning. It independently updates its low-rank factors ($A$ and $B$), creating a composite update to the full weight matrix through their interaction. To prevent catastrophic forgetting, this update should remain orthogonal to the task-specific subspace that contains previously learned knowledge. However, we identify that this composite update systematically violates this orthogonality, reintroducing interference and undermining stability. Furthermore, naively enforcing this orthogonality compromises plasticity, disrupting the delicate stability-plasticity trade-off. To resolve these issues, we propose Janus-LoRA, a framework that restores this balance through two novel components. Specifically, we first introduce Gradient Rectification, a closed-form solution that mathematically decouples LoRA's factor updates, enforcing orthogonality against the historical knowledge subspace identified by an efficient Online Estimation. Next, to enhance plasticity, we introduce a Decoupled Margin Loss that promotes feature-level separation by pushing new feature representations away from old ones, thus creating distinct, low-interference regions for new learning. Comprehensive experiments on challenging benchmarks demonstrate that by harmonizing parameter-level orthogonality with feature-level separation, Janus-LoRA achieves a superior balance and establishes new state-of-the-art performance.","absKo":"Continual Learning에서 Low-Rank Adaptation(LoRA)은 유망한 패러다임으로 부상했다. LoRA는 low-rank factor($A$와 $B$)를 독립적으로 업데이트하며, 이들의 상호작용을 통해 전체 weight matrix에 대한 composite update를 만든다. catastrophic forgetting을 방지하기 위해서는 이 update가 이전에 학습한 knowledge를 담고 있는 task-specific subspace에 대해 orthogonal해야 한다. 그러나 우리는 이 composite update가 체계적으로 이러한 orthogonality를 위반하여 interference를 다시 유입하고 stability를 약화시킨다는 점을 발견했다. 더 나아가, 이러한 orthogonality를 단순히 강제하면 plasticity가 훼손되어, 미묘한 stability-plasticity trade-off가 무너진다. 이러한 문제를 해결하기 위해 우리는 두 가지 새로운 구성요소를 통해 이 균형을 복원하는 프레임워크인 Janus-LoRA를 제안한다. 구체적으로, 먼저 Gradient Rectification을 도입하는데, 이는 효율적인 Online Estimation으로 식별한 역사적 knowledge subspace에 대해 orthogonality를 강제하도록 LoRA의 factor update를 수학적으로 분리하는 closed-form solution이다. 다음으로, plasticity를 강화하기 위해 Decoupled Margin Loss를 도입하여 새로운 feature representation을 이전 것들로부터 밀어내 feature-level separation을 촉진하고, 이를 통해 새로운 학습을 위한 서로 구분되는 저간섭 영역을 만든다. 까다로운 benchmark에서 수행한 포괄적 실험은 parameter-level orthogonality와 feature-level separation을 조화시킴으로써 Janus-LoRA가 더 우수한 균형을 달성하고 새로운 state-of-the-art 성능을 확립함을 보여준다."},{"id":"61764","en":"LLM-based Embeddings: Attention Values Encode Sentence Semantics Better Than Hidden States","ko":"LLM 기반 Embedding: Attention Value가 Hidden State보다 문장 의미를 더 잘 인코딩한다","authors":"Yeqin Zhang, Yunfei Wang, Jiaxuan Chen, Ke Qin, Yizheng Zhao, Cam-Tu Nguyen","pos":"#1601","link":"https://openreview.net/forum?id=nAfV9H2Z1u","abs":"Sentence representations are foundational to many Natural Language Processing (NLP) applications. While recent methods leverage Large Language Models (LLMs) to derive sentence representations, most rely on final-layer hidden states, which are optimized for next-token prediction and thus often fail to capture global, sentence-level semantics. This paper introduces a novel perspective, demonstrating that attention value vectors capture sentence semantics more effectively than hidden states. We propose *Value Aggregation (VA)*, a simple method that pools token values across multiple layers and token indices. In a training-free setting, VA outperforms other LLM-based embeddings, even matches or surpasses the ensemble-based MetaEOL. Furthermore, we demonstrate that when paired with suitable prompts, the layer attention outputs can be interpreted as aligned weighted value vectors. Specifically, the attention scores of the last token function as the weights, while the output projection matrix ($W_O$) aligns these weighted value vectors with the common space of the LLM residual stream. This refined method, termed *Aligned Weighted VA (AlignedWVA)*, achieves state-of-the-art performance among training-free LLM-based embeddings, outperforming the high-cost MetaEOL by a substantial margin. Finally, we highlight the potential of obtaining strong LLM embedding models through fine-tuning Value Aggregation.","absKo":"문장 표현(sentence representations)은 많은 Natural Language Processing (NLP) 응용의 기초이다. 최근 방법들은 Large Language Models (LLMs)를 활용해 문장 표현을 도출하지만, 대부분 최종 레이어의 hidden states에 의존하며, 이는 next-token prediction에 최적화되어 있어 전역적인 문장 수준 의미를 포착하지 못하는 경우가 많다. 본 논문은 새로운 관점을 제시하며, attention value vectors가 hidden states보다 문장 의미를 더 효과적으로 포착함을 보인다. 우리는 여러 레이어와 토큰 인덱스에 걸쳐 token values를 pooling하는 단순한 방법인 *Value Aggregation (VA)*를 제안한다. training-free 설정에서 VA는 다른 LLM 기반 embeddings를 능가하며, ensemble 기반 MetaEOL과도 같거나 이를 상회한다. 또한 적절한 prompts와 결합할 경우, layer attention outputs는 정렬된 가중 value vectors로 해석될 수 있음을 보인다. 구체적으로, 마지막 토큰의 attention scores는 weights로 기능하고, output projection matrix ($W_O$)는 이러한 weighted value vectors를 LLM residual stream의 공통 공간과 정렬한다. 이 정제된 방법인 *Aligned Weighted VA (AlignedWVA)*는 training-free LLM 기반 embeddings 중 state-of-the-art 성능을 달성하며, 고비용의 MetaEOL을 큰 폭으로 능가한다. 마지막으로, Value Aggregation을 fine-tuning하여 강력한 LLM embedding models를 얻을 수 있는 가능성을 강조한다."},{"id":"64477","en":"SURGE: Surrogate Gradient Adaptation in Binary Neural Networks","ko":"SURGE: 이진 신경망에서 대리 그래디언트 적응","authors":"Haoyu Huang, Boyu Liu, Linlin Yang, Yanjing Li, Yuguang Yang, Xuhui Liu, Canyu Chen, Zhongqian Fu, Baochang Zhang","pos":"#1603","link":"https://openreview.net/forum?id=NAkeQ3C4tn","abs":"The training of Binary Neural Networks (BNNs) is fundamentally based on gradient approximation for non-differentiable binarization operations (e.g., sign function). However, prevailing methods including the Straight-Through Estimator (STE) and its improved variants, rely on hand-crafted designs that suffer from gradient mismatch problem and information loss induced by fixed-range gradient clipping. To address this, we propose SURrogate GradiEnt Adaptation (SURGE), a novel learnable gradient compensation framework with theoretical grounding. SURGE mitigates gradient mismatch through auxiliary backpropagation. Specifically, we design a Dual-Path Gradient Compensator (DPGC) that constructs a parallel full-precision auxiliary branch for each binarized layer, decoupling gradient flow via output decomposition during backpropagation. DPGC enables bias-reduced gradient estimation by leveraging the full-precision branch to estimate components beyond STE's first-order approximation. To further enhance training stability, we introduce an Adaptive Gradient Scaler (AGS) based on an optimal scale factor to dynamically balance inter-branch gradient contributions via norm-based scaling. Experiments on image classification, object detection, and language understanding tasks demonstrate that SURGE performs best over state-of-the-art methods.
","absKo":"Binary Neural Network (BNN)의 학습은 비미분 가능한 binarization 연산(예: sign function)에 대한 gradient approximation에 근본적으로 기반한다. 그러나 Straight-Through Estimator (STE)와 그 개선 변형을 포함한 기존 방법들은 수작업으로 설계된 방식에 의존하며, 이로 인해 gradient mismatch 문제와 고정 범위 gradient clipping으로 인한 정보 손실이 발생한다. 이를 해결하기 위해, 우리는 이론적 근거를 갖춘 새로운 learnable gradient compensation framework인 SURrogate GradiEnt Adaptation (SURGE)을 제안한다. SURGE는 auxiliary backpropagation을 통해 gradient mismatch를 완화한다. 구체적으로, 우리는 Dual-Path Gradient Compensator (DPGC)를 설계하여 각 binarized layer마다 병렬 full-precision auxiliary branch를 구성하고, backpropagation 동안 output decomposition을 통해 gradient flow를 분리한다. DPGC는 STE의 1차 근사 너머의 성분을 full-precision branch를 활용해 추정함으로써 bias를 줄인 gradient estimation을 가능하게 한다. 학습 안정성을 더욱 향상시키기 위해, 우리는 norm-based scaling을 통해 branch 간 gradient 기여도를 동적으로 균형화하는 최적 scale factor 기반의 Adaptive Gradient Scaler (AGS)를 도입한다. image classification, object detection, language understanding task에 대한 실험은 SURGE가 state-of-the-art 방법들보다 가장 우수한 성능을 보임을 입증한다.
"},{"id":"63601","en":"TabularBERT: Binning-Based Self-Supervised Learning for Tabular Representation","ko":"TabularBERT: binning 기반 표형 표현 자기지도학습","authors":"Beomjin Park, Seunghwan An, Sungchul Hong, Hosik Choi","pos":"#1604","link":"https://openreview.net/forum?id=VZYOqASdBl","abs":"Tabular data is one of the most fundamental and widely used formats for representing structured information. Classical machine learning algorithms continue to achieve substantial success in extracting predictive patterns and constructing accurate models from structured data; however, representation learning approaches that extend language-model-based methods to the tabular setting have opened new opportunities. Nevertheless, conventional tokenization procedures and token embedding mechanisms are not well-suited to numerical variables, as they fail to preserve key numerical properties, including proximity structure and ordinal relationships. To address this limitation, we propose TabularBERT, a Transformer-based model that discretizes numerical variables via binning-based tokenization and learns representations that preserve numerical proximity and ordinal information while capturing conditional dependencies among variables through masked self-supervised pretraining. We empirically demonstrate the effectiveness and interpretability of the proposed approach, highlighting the benefits of language-model-based representation learning in the tabular domain.
","absKo":"Tabular data는 구조화된 정보를 표현하는 가장 기본적이고 널리 사용되는 형식 중 하나이다. 고전적인 machine learning 알고리즘은 구조화된 데이터에서 예측 패턴을 추출하고 정확한 model을 구성하는 데 여전히 큰 성공을 거두고 있다. 그러나 language-model-based method를 tabular setting으로 확장하는 representation learning 접근은 새로운 기회를 열어 주었다. 그럼에도 기존 tokenization 절차와 token embedding 메커니즘은 numerical variable에 잘 맞지 않는데, 이는 proximity structure와 ordinal relationship를 포함한 핵심적인 수치적 성질을 보존하지 못하기 때문이다. 이러한 한계를 해결하기 위해, 우리는 binning-based tokenization으로 numerical variable을 discretize하고, masked self-supervised pretraining을 통해 변수 간 conditional dependency를 포착하면서 numerical proximity와 ordinal information을 보존하는 representation을 학습하는 Transformer-based model인 TabularBERT를 제안한다. 우리는 제안한 접근의 효과성과 해석 가능성을 실증적으로 보여 주며, tabular domain에서 language-model-based representation learning의 이점을 강조한다.
"},{"id":"65621","en":"Variational Adapter for Cross-modal Similarity Representation","ko":"교차 모달 유사도 표현을 위한 변분 어댑터","authors":"WenZhang Wei, Zhipeng Gui, Dehua Peng, Tiandi Ye, Huayi Wu","pos":"#1605","link":"https://openreview.net/forum?id=BkZ40FNKlL","abs":"The core of vision-language models lies in measuring cross-modal similarity within a unified representation space. However, most image-text matching or multi-class image classification datasets lack fine-grained cross-modal matching annotations, forcing the continuous similarity space into binary classification boundaries. This compression induces false negative samples and significantly impairs the generalization performance of cross-modal tasks. While prior research has attempted to mitigate this by modeling intra-modal ambiguity, it often overlooks inherent annotation flaws, leading to suboptimal uncertainty allocation. To address these challenges, we propose a Variational Adapter for Cross-modal Similarity Representation (VACSR). This approach reformulates image-text matching with fine-grained semantic scarcity as a variational inference problem. It constructs a latent space for cross-modal similarity and uses regularization techniques to mitigate overfitting to binary annotations. We validate the effectiveness of VACSR in image-text retrieval tasks using the COCO Caption dataset and two extended datasets: CxC and ECCV Caption. Furthermore, we conduct out-of-distribution evaluations including domain generalization on ImageNet and its variants, as well as base-to-novel generalization across 11 datasets, highlighting VACSR’s robust generalization performance.
","absKo":"vision-language model의 핵심은 unified representation space 내에서 cross-modal similarity를 측정하는 데 있다. 그러나 대부분의 image-text matching 또는 multi-class image classification dataset은 세밀한 cross-modal matching annotation이 부족하여, 연속적인 similarity space가 binary classification boundary로 압축된다. 이러한 압축은 false negative sample을 유발하고 cross-modal task의 generalization 성능을 크게 저해한다. 선행 연구는 intra-modal ambiguity를 모델링하여 이를 완화하려 했지만, 본질적인 annotation 결함을 간과하는 경우가 많아 uncertainty allocation이 최적적이지 않았다. 이러한 문제를 해결하기 위해 우리는 Variational Adapter for Cross-modal Similarity Representation (VACSR)를 제안한다. 이 접근법은 세밀한 semantic scarcity가 있는 image-text matching을 variational inference problem으로 재구성한다. 또한 cross-modal similarity를 위한 latent space를 구성하고 regularization 기법을 사용해 binary annotation에 대한 overfitting을 완화한다. 우리는 COCO Caption dataset과 두 개의 확장 dataset인 CxC와 ECCV Caption을 사용한 image-text retrieval task에서 VACSR의 효과를 검증한다. 더 나아가 ImageNet과 그 변형들에서의 domain generalization, 그리고 11개 dataset에 걸친 base-to-novel generalization을 포함한 out-of-distribution 평가를 수행하여, VACSR의 견고한 generalization 성능을 강조한다.
"},{"id":"63962","en":"Your Latent Reasoning is Secretly Policy Improvement Operator","ko":"당신의 잠재 추론은 사실 정책 개선 연산자다","authors":"Arip Asadulaev, Rayan Banerjee, Fakhri Karray, Martin Takac","pos":"#1606","link":"https://openreview.net/forum?id=SCtGXNtk7Q","abs":"Recently, small models with latent recursion have obtained promising results on complex reasoning tasks. These results are typically explained by the theory that such recursion increases a network’s depth, allowing it to compactly emulate the capacity of larger models. However, the performance of recursively added layers remains behind the capabilities of one‑pass models with the same feed-forward depth. This means that in the looped version, not every recursive step effectively contributes to depth. This raises the question: when and why does latent reasoning improve performance, and when does it result in dead compute? In our work, we analyze the algorithms that latent reasoning provides answer to this question. We show that latent reasoning can be formalized as a classifier‑free guidance and policy improvement algorithm. Building on these insights, we propose to use a training schemes from RL and diffusion methods for latent reasoning modles. Using the Tiny Recursive Model as our testbed, we show that with our modifications we can avoid dead compute steps and reduce the total number of forward passes by 18× while maintaining performance. Broadly speaking, we show how a policy improvement perspective on recursive steps can explain model behavior and provide insights for further improvements.
","absKo":"최근 latent recursion을 가진 small model이 복잡한 reasoning task에서 유망한 결과를 얻고 있다. 이러한 결과는 일반적으로, 그런 recursion이 network의 depth를 증가시켜 더 큰 model의 capacity를 compact하게 모사할 수 있게 한다는 이론으로 설명된다. 그러나 recursively 추가된 layer의 성능은 동일한 feed-forward depth를 가진 one-pass model의 능력에는 아직 미치지 못한다. 이는 looped version에서는 모든 recursive step이 실제로 depth에 기여하지는 않는다는 뜻이다. 그렇다면 latent reasoning이 언제, 왜 성능을 향상시키고, 언제 dead compute로 이어지는가? 본 연구에서는 latent reasoning이 제공하는 algorithm을 분석하여 이 질문에 답한다. 우리는 latent reasoning을 classifier-free guidance와 policy improvement algorithm으로 정식화할 수 있음을 보인다. 이러한 통찰을 바탕으로, latent reasoning modles를 위해 RL과 diffusion method의 training scheme을 사용할 것을 제안한다. 테스트베드로 Tiny Recursive Model을 사용한 결과, 우리의 수정으로 dead compute step을 피하고 performance를 유지하면서 total forward pass 수를 18× 줄일 수 있음을 보였다. 보다 넓게는, recursive step에 대한 policy improvement 관점이 model behavior를 어떻게 설명할 수 있는지와 추가 개선을 위한 통찰을 제공함을 보인다.
"},{"id":"65121","en":"GRAPE: Let GRPO Supervise Query Rewriting by Ranking for Retrieval","ko":"GRAPE: 검색을 위한 랭킹 기반 쿼리 재작성을 GRPO로 감독하기","authors":"Zhaohua Zhang, Jianhuan Zhuo, Muxi Chen, Chenchen Zhao, Wenyu Jiang, Tianwen Jiang, Mingyang Chen, Yutang, Jihong Zhang, Qiuyong Xiao, Zhixun Su","pos":"#1700","link":"https://openreview.net/forum?id=GcOyXiXACP","abs":"The CLIP model has established itself as a cornerstone of large-scale retrieval systems. However, its performance often degrades under distributional shifts such as multilingual, long-form, or multimodal queries. To avoid the prohibitive costs associated with retriever retraining or corpus re-embedding, we propose GRAPE (Grouped Ranking-Aware Policy Optimization Enhancement), a plug-and-play approach that leverages LLM-based query rewriting to bridge these gaps. Unlike existing methods that lack explicit supervision, GRAPE integrates ranking signals into the rewriting LLM via Grouped Relative Policy Optimization (GRPO), ensuring rewritten queries are better aligned with the frozen retriever’s latent distribution. Crucially, we identify a score inflation phenomenon in naive similarity-based finetuning—where irrelevant candidates receive indiscriminately high scores—and mitigate it with a novel corpus-relative ranking-based reward. Extensive experiments across multilingual (Flickr30k-CN, CVLUE, XM3600), long-form (Wikipedia), and multimodal (CIRR) benchmarks demonstrate that GRAPE consistently improves performance, achieving an average gain of 4.9% in Recall@10 without any modification to the underlying retriever.
","absKo":"CLIP 모델은 대규모 retrieval system의 핵심 축으로 자리 잡았다. 그러나 multilingual, long-form, multimodal query와 같은 distributional shift 하에서는 성능이 종종 저하된다. retriever 재학습이나 corpus 재-embedding에 수반되는 막대한 비용을 피하기 위해, 우리는 LLM 기반 query rewriting을 활용하여 이러한 간극을 메우는 plug-and-play 접근법 GRAPE(Grouped Ranking-Aware Policy Optimization Enhancement)를 제안한다. 명시적 supervision이 없는 기존 방법과 달리, GRAPE는 Grouped Relative Policy Optimization(GRPO)을 통해 ranking signal을 rewriting LLM에 통합하여, rewrite된 query가 frozen retriever의 latent distribution과 더 잘 정렬되도록 한다. 특히 우리는 naive similarity-based finetuning에서 발생하는 score inflation 현상, 즉 무관한 candidate가 무차별적으로 높은 점수를 받는 현상을 식별하고, 새로운 corpus-relative ranking-based reward로 이를 완화한다. multilingual(Flickr30k-CN, CVLUE, XM3600), long-form(Wikipedia), multimodal(CIRR) benchmark 전반의 광범위한 실험은, GRAPE가 기반 retriever를 수정하지 않고도 Recall@10에서 평균 4.9%의 향상을 달성하며 성능을 일관되게 개선함을 보여준다."},{"id":"65426","en":"FG-CLIP 2: A Bilingual Fine-grained Vision-Language Alignment Model","ko":"FG-CLIP 2: 이중 언어 세밀 Vision-Language 정렬 모델","authors":"Chunyu Xie, Bin Wang, Fanjing Kong, Jincheng Li, Dawei Liang, Ji Ao, Dawei Leng, Yuhui Yin","pos":"#1701","link":"https://openreview.net/forum?id=Dl8vXnJJQi","abs":"Fine-grained vision-language understanding requires precise alignment between visual content and linguistic descriptions, a capability that remains limited in current models, particularly in non-English settings. While models like CLIP perform well on global alignment, they often struggle to capture fine-grained details in object attributes, spatial relations, and linguistic expressions, with limited support for bilingual comprehension. To address these challenges, we introduce FG-CLIP 2, a bilingual vision-language model designed to advance fine-grained alignment for both English and Chinese. Our approach leverages rich fine-grained supervision, including region-text matching and long-caption modeling, alongside multiple discriminative objectives. We further introduce the Textual Intra-modal Contrastive (TIC) loss to better distinguish semantically similar captions. Trained on a carefully curated mixture of large-scale English and Chinese data, FG-CLIP 2 achieves powerful bilingual performance. To enable rigorous evaluation, we present a new benchmark for Chinese multimodal understanding, featuring long-caption retrieval and bounding box classification. Extensive experiments on 29 datasets across 8 tasks show that FG-CLIP 2 outperforms existing methods, achieving state-of-the-art results in both languages. We will release the model, code, and benchmark to facilitate future research on bilingual fine-grained alignment.
","absKo":"세밀한 fine-grained vision-language understanding은 visual content와 linguistic description 사이의 정밀한 정렬을 요구하며, 이는 특히 비영어 환경에서 현재 모델들의 한계로 남아 있다. CLIP 같은 모델은 전역 정렬(global alignment)에서는 우수하지만, object attribute, spatial relation, linguistic expression의 세밀한 세부를 포착하는 데는 종종 어려움을 겪으며, bilingual comprehension 지원도 제한적이다. 이러한 도전을 해결하기 위해 우리는 영어와 중국어 모두에서 fine-grained alignment를 향상시키도록 설계된 bilingual vision-language model인 FG-CLIP 2를 소개한다. 우리의 접근은 region-text matching과 long-caption modeling을 포함한 풍부한 fine-grained supervision과 여러 discriminative objective를 활용한다. 또한 의미적으로 유사한 caption을 더 잘 구분하기 위해 Textual Intra-modal Contrastive(TIC) loss를 도입한다. 신중하게 선별한 대규모 영어 및 중국어 데이터의 혼합으로 학습된 FG-CLIP 2는 강력한 bilingual performance를 달성한다. 엄격한 평가를 가능하게 하기 위해, 우리는 long-caption retrieval과 bounding box classification을 포함하는 중국어 multimodal understanding을 위한 새로운 benchmark를 제시한다. 8개 task에 걸친 29개 dataset에서의 광범위한 실험은 FG-CLIP 2가 기존 방법을 능가하며, 두 언어 모두에서 state-of-the-art 결과를 달성함을 보여준다. 우리는 향후 bilingual fine-grained alignment 연구를 촉진하기 위해 model, code, benchmark를 공개할 예정이다.
"},{"id":"65483","en":"Detecting the Semantic Fixed Point: A Geometric Framework for Efficient Inference","ko":"의미론적 고정점 탐지: 효율적 추론을 위한 기하학적 프레임워크","authors":"Jiawei Gu, Ziyue Qiao, Xiao Luo","pos":"#1702","link":"https://openreview.net/forum?id=DACN5xM4h7","abs":"Each layer of a Transformer refines the hidden state toward a prediction, an iterative process resembling fixed-point iteration. Yet when should this iteration terminate? Existing early exit methods rely on output confidence as a proxy for internal convergence. We take a more direct approach by examining the geometry of the hidden state trajectory. We find that layer-wise updates exhibit a two-phase structure: large, volatile updates in early layers, followed by small, aligned updates as the model propagates an already-formed representation. The transition is remarkably sharp. This yields a simple criterion: exit when step size vanishes and direction stabilizes. We track the normalized update norm and cosine similarity between consecutive updates, exiting when both indicate convergence. The overhead is $O(d)$ per layer, independent of vocabulary size, requiring no learned components or architectural modifications. On LLaMA-2-7B and LLaMA-2-13B across question answering and commonsense reasoning tasks, this geometric criterion reduces FLOPs by 30--35\\% while retaining over 98\\% of full-depth accuracy.","absKo":"Transformer의 각 layer는 hidden state를 prediction 쪽으로 정제하며, 이는 fixed-point iteration과 유사한 반복 과정이다. 그렇다면 이 반복은 언제 종료되어야 하는가? 기존의 early exit 방법은 내부 convergence의 대리 지표로 output confidence에 의존한다. 우리는 hidden state trajectory의 geometry를 살펴보는 더 직접적인 접근을 취한다. 우리는 layer-wise update가 2-phase 구조를 보인다는 것을 발견한다. 초반 layer에서는 크고 변동성이 큰 update가 나타나고, 이후에는 model이 이미 형성된 representation을 전파하면서 작고 정렬된 update가 이어진다. 이 전환은 놀라울 정도로 급격하다. 이는 간단한 criterion을 제공한다. 즉, step size가 사라지고 direction이 안정화되면 exit하라는 것이다. 우리는 consecutive update 간의 normalized update norm과 cosine similarity를 추적하고, 두 지표가 모두 convergence를 가리킬 때 exit한다. 이 오버헤드는 layer당 $O(d)$이며, vocabulary size와 무관하고, learned component나 architectural modification이 전혀 필요 없다. LLaMA-2-7B와 LLaMA-2-13B에서 question answering 및 commonsense reasoning task 전반에 대해, 이 geometric criterion은 full-depth accuracy의 98\\% 이상을 유지하면서 FLOPs를 30--35\\% 줄인다."},{"id":"64348","en":"Denoising without Diffusion: Fixed-Noise Denoiser Anomaly Detection in Tabular Data","ko":"Diffusion 없는 노이즈 제거: 표 데이터에서 고정 노이즈 디노이저 이상 탐지","authors":"Manuel Hirth, Lukas Koberg, Nasser Jazdi, Enkelejda Kasneci","pos":"#1703","link":"https://openreview.net/forum?id=OVVsfomN1P","abs":"While diffusion models have advanced anomaly detection, their reliance on multi-step noise schedules introduces significant computational complexity. In this paper, we demonstrate that the generative capability of diffusion is not required for tabular one-class anomaly detection. We revisit core principles of denoising without targeting data generation and present a deep-learning approach that streamlines these objectives into a fixed-noise formulation. Unlike standard denoising autoencoders that rely on reconstruction error, our method utilizes a preconditioning with an explicit linear reference channel. We train a denoising predictor to recover clean samples from perturbed observations and derive anomaly scores from the expected deviation under repeated perturbations. We theoretically motivate this with a stability proxy by a first-order approximation rather than just distance to the manifold. On the well-established ADBench benchmark, our approach achieves improvements over existing methods of 1.22\\% in AUCROC and 1.13\\% in AUCPR, the most informative and threshold-independent metrics. Our approach emphasizes structural simplicity and efficiency, indicating that a single-step, stability-based objective outperforms complex generative schedules for tabular data.
","absKo":"확산 모델은 이상 탐지(anomaly detection)를 발전시켜 왔지만, 다단계 노이즈 스케줄에 의존한다는 점은 상당한 계산 복잡도를 유발합니다. 본 논문에서는 생성 능력이 tabular one-class anomaly detection에는 필수적이지 않음을 보입니다. 우리는 데이터 생성을 목표로 하지 않는 denoising의 핵심 원리를 재검토하고, 이러한 목적을 고정 노이즈(fixed-noise) 정식화로 단순화하는 deep learning 접근법을 제시합니다. 재구성 오차에 의존하는 standard denoising autoencoders와 달리, 우리의 방법은 명시적인 linear reference channel을 통한 preconditioning을 활용합니다. 우리는 perturbation된 관측값으로부터 clean sample을 복원하도록 denoising predictor를 학습하고, 반복 perturbation 하에서의 기대 편차로부터 anomaly score를 도출합니다. 이는 단순한 manifold까지의 거리보다는 first-order approximation에 기반한 stability proxy로 이론적으로 정당화됩니다. 잘 정립된 ADBench benchmark에서, 본 방법은 AUCROC와 AUCPR에서 각각 1.22\\%, 1.13\\%의 향상을 달성하며, 이는 가장 정보성이 높고 threshold에 독립적인 metric입니다. 우리의 접근법은 구조적 단순성과 효율성을 강조하며, 단일 단계의 stability-based objective가 tabular data에 대해 복잡한 generative schedule보다 우수함을 보여줍니다.
"},{"id":"62314","en":"Capacity-Agnostic Parameter Isolation for Continual Graph Learning","ko":"지속 학습 그래프 학습을 위한 Capacity-Agnostic Parameter Isolation","authors":"Ye Xiao, Ruikun Li, Zhenyu Yang, Andrey Vasnev, Junbin Gao","pos":"#1704","link":"https://openreview.net/forum?id=hkcF6wKqoq","abs":"Existing parameter isolation-based methods in continual learning employ diverse designs to learn more tasks within a limited model capacity. However, most of their designs inevitably incur substantial computational overhead if their model capacity is enlarged to accommodate further tasks as the task stream continually grows, resulting in a significant efficiency bottleneck. In this paper, we propose a novel GNN framework with a biological neuron-inspired architecture, termed the capacity-agnostic GNN (CAGNN), to simultaneously overcome catastrophic forgetting and boost efficiency under capacity expansion. Unlike other methods that employ full network propagation, CAGNN leverages graph contextual information to support the construction of task-specific subnetworks and decouples subnetworks during both training and inference, while enabling effective knowledge transfer between tasks. Intensive experiments demonstrate CAGNN's superiority to the state of the art, in terms of effectiveness as well as computational efficiency.
","absKo":"연속 학습에서 기존의 parameter isolation 기반 방법들은 제한된 model capacity 안에서 더 많은 task를 학습하기 위해 다양한 설계를 사용한다. 그러나 대부분의 설계는 task stream이 계속 커짐에 따라 추가 task를 수용하도록 model capacity를 확장하면 필연적으로 상당한 계산 오버헤드를 수반하여, 심각한 효율성 병목을 초래한다. 본 논문에서는 생물학적 neuron에서 영감을 받은 아키텍처를 갖는 새로운 GNN framework인 capacity-agnostic GNN(CAGNN)을 제안하여, catastrophic forgetting을 동시에 완화하고 capacity expansion 하에서 효율성을 높이고자 한다. 전체 network propagation을 사용하는 다른 방법들과 달리, CAGNN은 graph contextual information을 활용해 task-specific subnetwork를 구성하고, training과 inference 모두에서 subnetwork를 decouple하면서 task 간 효과적인 knowledge transfer를 가능하게 한다. 대규모 실험은 효과성과 계산 효율성 측면 모두에서 CAGNN이 state of the art를 능가함을 보여준다.
"},{"id":"63257","en":"DANCE: Dynamic, Available, Neighbor-gated Condensation for Federated Text-Attributed Graphs","ko":"DANCE: 연합 텍스트 속성 그래프를 위한 동적, 가용, 이웃 게이트 응축","authors":"Zekai Chen, Haodong Lu, Xunkai Li, Henan Sun, Jia Li, Hongchao Qin, Rong-Hua Li, Guoren Wang","pos":"#2410","link":"https://openreview.net/forum?id=YhEWC2HiJl","abs":"Federated graph learning (FGL) enables collaborative training on graph data across multiple clients. With the rise of large language models (LLMs), textual attributes in FGL graphs are gaining attention. Text-attributed graph federated learning (TAG-FGL) improves FGL by explicitly leveraging LLMs to process and integrate these textual features. However, current TAG-FGL methods face three main challenges: \\textbf{(1) Overhead.} LLMs for processing long texts incur high token and computation costs. To make TAG-FGL practical, we introduce graph condensation (GC) to reduce computation load, but this choice also brings new issues. \\textbf{(2) Suboptimal.} To reduce LLM overhead, we introduce GC into TAG-FGL by compressing multi-hop texts/neighborhoods into a condensed core with fixed LLM surrogates (summaries/embeddings). However, this one-shot condensation is often not client-adaptive, leading to suboptimal performance. \\textbf{(3) Interpretability.} LLM-based condensation further introduces a black-box bottleneck: summaries lack faithful attribution and clear grounding to specific source spans, making local inspection and auditing difficult. To address the above issues, we propose \\textbf{DANCE}, a new TAG-FGL paradigm with GC. To improve \\textbf{suboptimal} performance, DANCE performs round-wise, model-in-the-loop condensation refresh using the latest global model. To enhance \\textbf{interpretability}, DANCE preserves provenance by storing locally inspectable evidence packs that trace predictions to selected neighbors and source text spans. Across 8 TAG datasets, DANCE improves accuracy by \\textbf{2.33\\%} at an \\textbf{8\\%} condensation ratio, with \\textbf{33.42\\%} fewer tokens per condensed node than TAG-FGL baselines.
","absKo":"Federated graph learning (FGL)은 여러 클라이언트에 걸친 graph data의 협력적 학습을 가능하게 한다. large language models (LLMs)의 부상과 함께, FGL graph의 textual attributes가 주목받고 있다. text-attributed graph federated learning (TAG-FGL)은 LLMs를 명시적으로 활용해 이러한 textual features를 처리하고 통합함으로써 FGL을 향상시킨다. 그러나 현재 TAG-FGL 방법은 세 가지 주요 과제에 직면해 있다: \\textbf{(1) Overhead.} 긴 텍스트를 처리하는 LLMs는 높은 token 및 computation cost를 유발한다. TAG-FGL을 실용적으로 만들기 위해 우리는 graph condensation (GC)을 도입해 computation load를 줄이지만, 이 선택은 새로운 문제도 함께 가져온다. \\textbf{(2) Suboptimal.} LLM overhead를 줄이기 위해, 우리는 multi-hop texts/neighborhoods를 fixed LLM surrogates (summaries/embeddings)를 갖는 condensed core로 압축하는 방식으로 TAG-FGL에 GC를 도입한다. 그러나 이러한 one-shot condensation은 대개 client-adaptive하지 않아 성능이 suboptimal해진다. \\textbf{(3) Interpretability.} LLM-based condensation은 추가로 black-box bottleneck을 초래한다. summaries는 신뢰할 수 있는 attribution과 특정 source span에 대한 명확한 grounding이 부족하여, local inspection과 auditing을 어렵게 만든다. 위 문제들을 해결하기 위해, 우리는 GC를 갖춘 새로운 TAG-FGL paradigm인 \\textbf{DANCE}를 제안한다. \\textbf{suboptimal} 성능을 개선하기 위해 DANCE는 최신 global model을 활용한 round-wise, model-in-the-loop condensation refresh를 수행한다. \\textbf{interpretability}를 향상하기 위해 DANCE는 예측을 선택된 neighbors 및 source text span으로 추적하는 locally inspectable evidence pack을 저장함으로써 provenance를 보존한다. 8개의 TAG datasets 전반에서 DANCE는 \\textbf{8\\%} condensation ratio에서 정확도를 \\textbf{2.33\\%} 향상시키며, TAG-FGL baselines 대비 condensed node당 token 수를 \\textbf{33.42\\%} 줄인다.
"},{"id":"62672","en":"Neuro-Fuzzy Concept Learning for Interpretable Large Multimodal Models","ko":"해석 가능한 대형 멀티모달 모델을 위한 Neuro-Fuzzy Concept Learning","authors":"Ritik Mishra, Vanshika Gupta, M. Sajid, M. Tanveer","pos":"#3615","link":"https://openreview.net/forum?id=eVpMzC0bZs","abs":"Large Multimodal Models (LMMs) integrate unimodal encoders with Large Language Models (LLMs) to execute complex multimodal tasks. Despite progress in the field, understanding the internal representations of these models through interpretable logic remains an open problem. To address this, we present a framework utilizing a Human-Inspired (Neuro-fuzzy) approach for learning token representations. In this method, we leverage fuzzy rules to compute activation firing strengths, which are subsequently defuzzified to extract distinct concepts. This mechanism allows for the interpretation of learned representations directly through explicit logic. Consequently, we derive \"multimodal concepts\" that are both semantically coherent and interpretable. We validate our approach through rigorous qualitative and quantitative experiments, demonstrating the utility of these concepts in interpreting test samples. Additionally, we evaluate the disentanglement of the learned concepts and the efficacy of their grounding in both visual and textual domains.
","absKo":"Large Multimodal Models (LMMs)는 unimodal encoder와 Large Language Models (LLMs)를 통합하여 복잡한 multimodal task를 수행한다. 이 분야의 진전에도 불구하고, 해석 가능한 logic을 통해 이러한 model의 내부 representation을 이해하는 문제는 여전히 열려 있다. 이를 해결하기 위해, 우리는 token representation 학습을 위한 Human-Inspired (Neuro-fuzzy) approach를 활용하는 framework를 제시한다. 이 방법에서는 fuzzy rule을 사용해 activation firing strength를 계산하고, 이를 다시 defuzzify하여 구별되는 concept를 추출한다. 이 메커니즘은 학습된 representation을 명시적 logic을 통해 직접 해석할 수 있게 한다. 그 결과, 우리는 의미적으로 일관되고 해석 가능한 \"multimodal concept\"를 도출한다. 우리는 엄밀한 정성적 및 정량적 실험을 통해 이 concept의 유용성을 검증하고, test sample을 해석하는 데 있어서의 효용을 보인다. 추가로, 학습된 concept의 disentanglement와 visual 및 textual domain 양쪽에서의 grounding 효율을 평가한다.
"},{"id":"66766","en":"Amortized Maximum Inner Product Search with Learned Support Functions","ko":"Learned Support Function을 이용한 Amortized Maximum Inner Product Search","authors":"Theo X. Olausson, Joao Monteiro, Michal Klein, Marco Cuturi","pos":"#4006","link":"https://openreview.net/forum?id=0TRMWCwKRo","abs":"Maximum inner product search (MIPS) is a crucial subroutine in machine learning, requiring identification of database vectors that align most strongly with a given query. We propose amortized MIPS: a learning-based approach that trains neural networks to directly predict MIPS solutions, amortizing the computational cost of search across queries drawn from a known distribution. Our key insight is that the MIPS value function - the maximum inner product as a function of the query - is convex (as the pointwise maximum of linear functions), and its gradient at each query equals the optimal database vector. We explore two complementary architectures: (1) Input Convex Neural Networks (ICNNs) that learn the convex value function and recover the optimal match via gradient computation, and (2) VectorICNNs that directly regress the argmax, bypassing gradient computation entirely at inference time. For ICNNs, we combine score regression with gradient matching losses; for VectorICNNs, we introduce a score consistency loss derived from Euler's theorem for homogeneous functions. We further propose homogenization wrappers that enforce positive 1-homogeneity, theoretically linking function values to gradients. Our experiments on retrieval benchmarks demonstrate that convexity provides an effective inductive bias, with learned potentials achieving high match rates while requiring only a single forward pass at inference.
","absKo":"Maximum inner product search (MIPS)는 machine learning에서 중요한 서브루틴으로, 주어진 query와 가장 강하게 정렬되는 database vectors를 식별해야 한다. 우리는 amortized MIPS를 제안한다. 이는 알려진 분포에서 샘플링된 queries에 걸쳐 search의 계산 비용을 amortize하도록, neural networks가 MIPS 해를 직접 예측하도록 학습하는 learning-based 접근법이다. 우리의 핵심 통찰은 MIPS value function, 즉 query의 함수로서의 maximum inner product가 convex하다는 점(선형 함수들의 pointwise maximum이므로)이며, 각 query에서의 gradient가 optimal database vector와 같다는 점이다. 우리는 두 가지 상보적인 architecture를 탐구한다: (1) convex value function을 학습하고 gradient computation을 통해 optimal match를 복원하는 Input Convex Neural Networks (ICNNs), 그리고 (2) inference time에 gradient computation을 완전히 우회하여 argmax를 직접 회귀하는 VectorICNNs이다. ICNNs의 경우 score regression과 gradient matching losses를 결합하고, VectorICNNs의 경우 homogeneous functions에 대한 Euler's theorem에서 유도한 score consistency loss를 도입한다. 또한 함수값과 gradient를 이론적으로 연결하는 positive 1-homogeneity를 강제하는 homogenization wrappers를 제안한다. retrieval benchmarks에서의 실험은 convexity가 효과적인 inductive bias를 제공함을 보여주며, 학습된 potential이 inference 시 단일 forward pass만으로도 높은 match rate를 달성함을 입증한다.
"},{"id":"65607","en":"Robustifying Vision-Language Models via Test-Time Prompt Adaptation","ko":"테스트 시점 프롬프트 적응을 통한 Vision-Language 모델의 강건화","authors":"Xingyu Zhu, Huanshen Wu, Shuo Wang, Beier Zhu, Jiannan Ge, Jiaheng Zhang, Long Chen","pos":"#4015","link":"https://openreview.net/forum?id=BwouLNZXGV","abs":"Pre-trained Vision-Language Models (VLMs) such as CLIP achieve strong zero-shot generalization, but their performance degrades sharply under adversarial perturbations. Existing test-time adaptation methods typically rely on sample-level confidence heuristics, overlooking the intrinsic distributional structure of the data. This sample-centric approach limits robustness, as it fails to distinguish confident adversarial mispredictions from true semantic consistency. In this work, we observe that adversarial distortion is structurally brittle: while holistic representations are corrupted, semantic integrity is often preserved in the distribution of augmented views. Motivated by this insight, we propose $\\texttt{RITA}$, a $\\textbf{R}$obust test-t$\\textbf{I}$me promp$\\textbf{T}$ $\\textbf{A}$daptation framework that shifts from sample-level estimates to distribution-level alignment. Specifically, $\\texttt{RITA}$ employs optimal transport to align the distribution of augmented visual features with textual prototypes, mitigating adversarial outliers and rectifying cross-modal semantic misalignment. Furthermore, we introduce a dynamic cache to progressively accumulate reliable cues from the test stream for online refinement. Extensive experiments demonstrate that $\\texttt{RITA}$ significantly improves adversarial robustness without compromising clean accuracy.","absKo":"사전학습된 Vision-Language Models(VLMs)인 CLIP은 강한 zero-shot generalization을 달성하지만, adversarial perturbation 하에서는 성능이 급격히 저하된다. 기존 test-time adaptation 방법은 대개 sample-level confidence heuristic에 의존하며, 데이터의 내재적 distributional structure를 간과한다. 이러한 sample-centric 접근은 자신감 있게 틀린 adversarial misprediction과 진정한 semantic consistency를 구분하지 못하기 때문에 robustness를 제한한다. 본 연구에서는 adversarial distortion이 구조적으로 취약하다는 점을 관찰한다. 전체적인 representation은 손상되지만, augmented view의 distribution에서는 semantic integrity가 종종 보존된다. 이 통찰에 동기를 얻어, 우리는 sample-level estimate에서 distribution-level alignment로 초점을 전환하는RITA, 즉 Robust test-tIme prompT Adaptation framework를 제안한다. 구체적으로, RITA는 optimal transport를 사용해 augmented visual feature의 distribution을 textual prototype과 정렬함으로써 adversarial outlier를 완화하고 cross-modal semantic misalignment를 보정한다. 또한 test stream에서 신뢰할 수 있는 단서를 점진적으로 축적하여 online refinement를 수행하는 dynamic cache를 도입한다. 광범위한 실험은 RITA가 clean accuracy를 저하시키지 않으면서 adversarial robustness를 크게 향상시킴을 보여준다."},{"id":"63761","en":"ModernVBERT: Towards Smaller Visual Document Retrievers","ko":"ModernVBERT: 더 작은 Visual Document Retriever를 향하여","authors":"Paul Teiletche, Quentin Macé, Max Conti, António Loison, Gautier Viaud, Pierre Colombo, Manuel Faysse","pos":"#4104","link":"https://openreview.net/forum?id=TyVJlSHke2","abs":"Large-scale document retrieval (search) is key in many modern industrial AI pipelines to ground models with relevant contextual information. Increasingly, Visual Document Retrieval (VDR) models, which directly embed images of document pages, are used as an alternative to text-only retrievers. While these models are historically repurposed generative VLMs fine-tuned for embedding tasks, we revisit this design choice in this paper and systematically develop strong VDR models from the ground up. Through controlled experiments, we isolate the impact of key training factors such as attention masking, multi-modal data regimes, and contrastive objectives at all phases of training. Our findings confirm current VDR performance is constrained by generative modeling, especially in multi-vector settings. Building on these insights, we train ModernVBERT, a 250M-parameter vision-language encoder that outperforms recent models up to 10 times its size when fine-tuned on document retrieval tasks. Thanks to its compact design, ModernVBERT enables efficient retrieval inference on CPU hardware, while maintaining competitive performance. Models, code and data are available in the public version of this work.
","absKo":"대규모 document retrieval(search)은 모델을 관련 contextual information으로 grounding하는 데 있어 많은 현대 산업 AI pipeline의 핵심이다. 점점 더, 문서 페이지 이미지를 직접 embedding하는 Visual Document Retrieval (VDR) model이 text-only retriever의 대안으로 사용되고 있다. 이들 model은 역사적으로 embedding task를 위해 fine-tuning된 generative VLM을 재활용한 것이지만, 본 논문에서는 이 설계를 다시 살펴보고, 처음부터 강력한 VDR model을 체계적으로 개발한다. 통제된 실험을 통해 우리는 training의 모든 phase에서 attention masking, multi-modal data regime, contrastive objective 같은 핵심 training factor의 영향을 분리해 살펴본다. 우리의 발견은 현재 VDR 성능이 generative modeling에 의해 제약되며, 특히 multi-vector setting에서 그러함을 확인해 준다. 이러한 통찰을 바탕으로 우리는 ModernVBERT를 학습한다. ModernVBERT는 250M parameter의 vision-language encoder로, document retrieval task에 fine-tune될 때 그보다 최대 10배 큰 최근 model들을 능가한다. 컴팩트한 설계 덕분에 ModernVBERT는 CPU hardware에서 효율적인 retrieval inference를 가능하게 하면서도 경쟁력 있는 성능을 유지한다. model, code, data는 본 작업의 공개 버전에서 제공된다.
"},{"id":"64085","en":"HOBIT: Hardness Optimized Batch Sampling for InfoNCE Training","ko":"HOBIT: InfoNCE 학습을 위한 난이도 최적화 배치 샘플링","authors":"Himanshu Dutta, Lokesh Nagalapatti, Yashoteja Prabhu","pos":"#4106","link":"https://openreview.net/forum?id=R49XZi14YH","abs":"Contrastive training with InfoNCE loss and in-batch negatives is the standard approach for learning dual-encoder models. Its effectiveness, however, critically depends on the availability of hard negatives; in their absence, learning quickly saturates. Existing methods address this via explicit hard-negative mining, which is often costly or heuristic-driven. We introduce **HOBIT**, a principled mini-batch construction method that improves in-batch negative quality by reordering training examples at every epoch. $\\mathrm{\\texttt{HOBIT}}$ solves an optimization problem motivated by the InfoNCE objective to yield mini-batches such that each query in the batch is exposed to hard yet non-contradictory, informative negative examples. We show that the optimization objective is monotone and submodular which in turn leads us to a greedy algorithm that admits the standard $\\mathcal{O}(1 - 1/e)$ approximation guarantee. Empirically, we show that $\\mathrm{\\texttt{HOBIT}}$ incurs negligible computational overhead while significantly outperforming state-of-the-art batching methods, and remains complementary to existing hard negative mining techniques.","absKo":"InfoNCE loss와 in-batch negative를 이용한 contrastive training은 dual-encoder model을 학습하는 표준 접근법이다. 그러나 그 효과는 hard negative의 가용성에 크게 의존하며, hard negative가 없으면 학습은 빠르게 포화된다. 기존 방법들은 명시적인 hard-negative mining으로 이를 해결하지만, 이는 종종 비용이 크거나 휴리스틱에 의존한다. 우리는 매 epoch마다 training example의 순서를 재배치하여 in-batch negative의 품질을 높이는 원칙적인 mini-batch 구성 방법 HOBIT를 제안한다. HOBIT는 InfoNCE objective에서 동기를 얻은 optimization problem을 풀어, batch 내 각 query가 hard하지만 모순되지 않는 informative negative example에 노출되도록 mini-batch를 생성한다. 우리는 이 optimization objective가 monotone하고 submodular함을 보이며, 이는 표준 $\\mathcal{O}(1 - 1/e)$ approximation guarantee를 갖는 greedy algorithm으로 이어진다. 실험적으로 HOBIT는 계산 오버헤드가 거의 없으면서도 state-of-the-art batching method를 크게 능가하고, 기존 hard negative mining 기법과도 상호 보완적임을 보인다."},{"id":"65415","en":"Zeus: Towards Tuning-Free Foundation Model for Time Series Analysis","ko":"Zeus: 시계열 분석을 위한 튜닝 없는 Foundation Model을 향하여","authors":"Yisong Fu, Zezhi Shao, Chengqing Yu, Yujie Li, Yongjun Xu, Xueqi Cheng, Fei Wang","pos":"#1512","link":"https://openreview.net/forum?id=Dtue4WLYSk","abs":"We present Zeus, a unified tuning-free Time Series Foundation Model (TSFM) that delivers superior performance across diverse analysis tasks without any task-specific fine-tuning. Unlike prior studies that primarily focus on zero-shot forecasting but require task-specific tuning for other tasks, Zeus bridges this gap by addressing two fundamental challenges in multi-task generalization. First, to reconcile point-level granularity with long-sequence scalability, Zeus incorporates a multi-scale Transformer featuring point-wise tokenization and a U-shaped hierarchy, effectively balancing fine-grained fidelity with computational efficiency. Second, to accommodate varying inductive biases across different tasks, Zeus introduces Multi-Objective Temporal Masking (MOTM), a unified strategy that supports heterogeneous tasks (e.g., extrapolation, interpolation, and global abstraction) within a single framework. Extensive experiments across five representative tasks demonstrate that Zeus consistently achieves competitive results in tuning-free settings, underscoring its potential as a general-purpose TSFM.
","absKo":"우리는 task-specific fine-tuning 없이도 다양한 analysis task에서 우수한 성능을 제공하는 통합형 tuning-free Time Series Foundation Model (TSFM)인 Zeus를 제시한다. 기존 연구가 주로 zero-shot forecasting에 집중하면서 다른 task에는 task-specific tuning을 필요로 했던 것과 달리, Zeus는 multi-task generalization의 두 가지 근본적 과제를 해결함으로써 이 간극을 메운다. 첫째, point-level granularity와 long-sequence scalability를 조화시키기 위해, Zeus는 point-wise tokenization과 U-shaped hierarchy를 갖춘 multi-scale Transformer를 도입하여 세밀한 fidelity와 computational efficiency를 효과적으로 균형 있게 유지한다. 둘째, 서로 다른 task 전반에 걸친 inductive bias의 차이를 수용하기 위해, Zeus는 extrapolation, interpolation, global abstraction과 같은 heterogeneous task를 하나의 framework 안에서 지원하는 통합 전략인 Multi-Objective Temporal Masking (MOTM)을 제안한다. 다섯 개의 대표적 task에 대한 광범위한 실험은 Zeus가 tuning-free setting에서 일관되게 경쟁력 있는 결과를 달성함을 보여주며, general-purpose TSFM으로서의 잠재력을 강조한다.
"},{"id":"62481","en":"Taming the Recent-Data Bias: Towards Robust Time Series Forecasting with Global Context","ko":"Recent-Data Bias 완화: Global Context로 강건한 시계열 예측 추구","authors":"Longlong Xu, Zeyan Li, Xiao He, Zhaoyang Yu, Changhua Pei, Zhe Xie, Zijun Dou, Tieying Zhang, Dan Pei","pos":"#1513","link":"https://openreview.net/forum?id=gDA03Yn3fi","abs":"Time series forecasting plays a vital role in numerous domains. However, real-world time series are frequently contaminated by noise, missing values, and anomalies, posing significant challenges to reliable forecasting. In this work, we first systematically investigate a fundamental limitation prevalent in existing forecasting methods: an excessive reliance on the most recent observations---termed \"recent-data bias\". This bias renders forecasts highly vulnerable to perturbations in recent data, severely undermining prediction reliability. To address this issue, we propose TameR, a novel approach for robust time series forecasting that effectively mitigates recent-data bias via enhancing the utilization of global context. Specifically, it employs a basis-aligned randomized sampling strategy to reduce dependence on any specific recent data. Furthermore, TameR incorporates a learnable periodicity extraction module coupled with a two-stage learning protocol to robustly separate periodic patterns from the sampled residual components. Comprehensive experiments demonstrate that TameR significantly outperforms state-of-the-art methods in robustness against diverse perturbation scenarios, while achieving comparable accuracy on clean data.
","absKo":"time series forecasting은 다양한 도메인에서 핵심적인 역할을 한다. 그러나 실제 time series는 noise, missing value, anomaly에 자주 오염되어 신뢰할 수 있는 forecasting에 큰 어려움을 초래한다. 본 연구에서는 먼저 기존 forecasting method에 널리 존재하는 근본적 한계, 즉 가장 최근 관측값에 대한 과도한 의존성, 즉 \"recent-data bias\"를 체계적으로 조사한다. 이러한 bias는 예측을 최근 데이터의 perturbation에 매우 취약하게 만들어, prediction reliability를 심각하게 저해한다. 이 문제를 해결하기 위해, 우리는 global context 활용을 강화함으로써 recent-data bias를 효과적으로 완화하는 robust time series forecasting을 위한 새로운 접근법 TameR를 제안한다. 구체적으로, TameR는 basis-aligned randomized sampling strategy를 사용해 특정 recent data에 대한 의존을 줄인다. 더 나아가, TameR는 학습 가능한 periodicity extraction module과 two-stage learning protocol을 결합하여 sampled residual component에서 periodic pattern을 강건하게 분리한다. 종합적인 실험은 TameR가 다양한 perturbation scenario에 대한 robustness 측면에서 state-of-the-art method를 크게 능가하면서도, clean data에서는 유사한 accuracy를 달성함을 보여준다.
"},{"id":"66150","en":"StretchTime: Adaptive Time Series Forecasting via Symplectic Attention","ko":"StretchTime: 심플렉틱 Attention을 통한 적응형 시계열 예측","authors":"Yubin Kim, Viresh Pati, Jevon Twitty, Vinh Pham, Shihao Yang, Jiecheng Lu","pos":"#1514","link":"https://openreview.net/forum?id=6NER0ZYcop","abs":"Transformer architectures have established strong baselines in time series forecasting, yet they typically rely on positional encodings that assume uniform, index-based temporal progression. However, real-world systems, from shifting financial cycles to elastic biological rhythms, frequently exhibit ``time-warped'' dynamics where the effective flow of time decouples from the sampling index. In this work, we first formalize this misalignment and prove that rotary position embedding (RoPE) is mathematically incapable of representing non-affine temporal warping. To address this, we propose Symplectic Positional Embeddings (SyPE), a learnable encoding framework derived from Hamiltonian mechanics. SyPE strictly generalizes RoPE by extending the rotation group $\\mathrm{SO}(2)$ to the symplectic group $\\mathrm{Sp}(2,\\mathbb{R})$, modulated by a novel input-dependent adaptive warp module. By allowing the attention mechanism to adaptively dilate or contract temporal coordinates end-to-end, our approach captures locally varying periodicities without requiring pre-defined warping functions. We implement this mechanism in StretchTime, a multivariate forecasting architecture that achieves state-of-the-art performance on standard benchmarks, demonstrating superior robustness on datasets exhibiting non-stationary temporal dynamics.","absKo":"Transformer architecture는 time series forecasting에서 강력한 baseline을 확립했지만, 일반적으로 균일한 index 기반 temporal progression을 가정하는 positional encoding에 의존한다. 그러나 금융 주기의 변화부터 생물학적 리듬의 탄성에 이르기까지 실제 시스템은 sampling index와 effective flow of time이 분리되는 ``time-warped'' dynamics를 자주 보인다. 본 연구에서는 먼저 이러한 misalignment를 정식화하고, rotary position embedding(RoPE)이 비선형적(non-affine) temporal warping을 수학적으로 표현할 수 없음을 증명한다. 이를 해결하기 위해 Hamiltonian mechanics에서 유도된 learnable encoding framework인 Symplectic Positional Embeddings(SyPE)를 제안한다. SyPE는 새로운 input-dependent adaptive warp module로 조절되는 rotation group $\\mathrm{SO}(2)$를 symplectic group $\\mathrm{Sp}(2,\\mathbb{R})$로 확장함으로써 RoPE를 엄격히 일반화한다. attention mechanism이 temporal coordinate를 end-to-end로 adaptive하게 늘리거나 줄일 수 있게 함으로써, 우리의 접근은 사전에 정의된 warping function 없이도 locally varying periodicity를 포착한다. 우리는 이 메커니즘을 StretchTime에 구현했으며, 이는 standard benchmark에서 state-of-the-art performance를 달성하는 multivariate forecasting architecture로서, 비정상적 temporal dynamics를 보이는 dataset에서 우수한 robustness를 입증한다."},{"id":"64120","en":"See More, Forecast Better and Faster: Enhancing Time Series Foundation Models via Inference-Time Plug-and-Play Downsampling","ko":"더 많이 보고, 더 잘 그리고 더 빠르게 예측하기: 추론 시점 플러그 앤 플레이 다운샘플링을 통한 시계열 파운데이션 모델 강화","authors":"Longlong Xu, Zeyan Li, Xiao He, Zhaoyang Yu, Dazhong Wen, Mingze Sun, Changhua Pei, Dan Pei","pos":"#1515","link":"https://openreview.net/forum?id=Ql4P9hu3Pa","abs":"Time series foundation models (TSFMs) have demonstrated impressive generalization capabilities across diverse domains. However, they face significant challenges in long-term and ultra long-term forecasting. These challenges primarily arise from scalability limitations when TSFMs process extensive sequence lengths. To address this, we propose SPRINT, a training-free plug-and-play framework designed to empower TSFMs to see more, forecast better and faster during inference. The core idea is to perform forecasting in a downsampled-resolution space, enabling an extended look-back window with reduced computational costs. To avoid information loss and resolution mismatch caused by downsampling, SPRINT decomposes time series into trend and seasonal components, processing them separately. It predicts the low-frequency trend via a Resolution Interpolation workflow within the downsampled space, while preserving high-frequency details through a Pattern Replication mechanism for seasonality. Extensive experiments show that SPRINT achieves a significant improvement, increasing accuracy by 19\\% while enhancing efficiency with a reduction of max memory usage by 6.4$\\times$ and inference time by 16.9$\\times$ compared to state-of-the-art TSFMs.","absKo":"Time series foundation model(TSFM)은 다양한 도메인에서 인상적인 generalization capability를 보여주었다. 그러나 long-term 및 ultra long-term forecasting에서는 중요한 도전에 직면한다. 이러한 도전은 주로 TSFM이 긴 sequence length를 처리할 때의 scalability 한계에서 비롯된다. 이를 해결하기 위해 우리는 inference 시점에 TSFM이 더 많이 보고, 더 잘 예측하며, 더 빠르게 동작하도록 하는 training-free plug-and-play framework인 SPRINT를 제안한다. 핵심 아이디어는 downsampled-resolution space에서 forecasting을 수행하여 계산 비용을 줄이면서 더 긴 look-back window를 확보하는 것이다. Downsampling으로 인한 information loss와 resolution mismatch를 피하기 위해, SPRINT는 time series를 trend와 seasonal component로 분해하여 별도로 처리한다. low-frequency trend는 downsampled space 내의 Resolution Interpolation workflow를 통해 예측하고, seasonal 성분의 high-frequency detail은 Pattern Replication mechanism으로 보존한다. 대규모 실험은 SPRINT가 state-of-the-art TSFM 대비 정확도를 19\\% 향상시키면서, max memory usage를 6.4$\\times$ 줄이고 inference time을 16.9$\\times$ 단축하여 효율성을 높이는 등 큰 개선을 달성함을 보여준다."},{"id":"62269","en":"One Batch Is Enough: A Unified Dataset Condensation Framework for General Time Series Analysis","ko":"One Batch Is Enough: 일반 시계열 분석을 위한 통합 Dataset Condensation 프레임워크","authors":"Wei Shao, Ziquan Fang, Zheqi Lu, Yongfeng Su, Yuzhu Wang, Yunjun Gao","pos":"#1516","link":"https://openreview.net/forum?id=i8FO7f2OYJ","abs":"Time-series analysis is critical in real-world applications, yet the explosion of time-series data imposes severe burdens on storage and computational resources. Recently, dataset condensation has emerged as a promising data-centric solution by synthesizing compact yet informative datasets to replace large-scale raw data. However, existing methods are largely vision-centric, failing to capture unique temporal properties of time series, or task-specific, tightly coupling the condensed data to a particular downstream objective. As a result, these approaches suffer from feature mismatch and fail to generalize across diverse time-series tasks. To bridge this gap, we propose UniTSC, the first unified dataset condensation framework for general time-series analysis. UniTSC employs a multi-view hybrid encoder to capture task-invariant representations across temporal, spectral, and topological perspectives. Building upon this representation, we design a tri-space alignment paradigm that jointly aligns optimization trajectories, power spectral densities, and multivariate dependency structures, enabling comprehensive information preservation under extreme compression. Extensive experiments show that UniTSC retains up to 97.9\\% of downstream performance using as little as 0.01\\% of the original training data, revealing that a single batch-equivalent budget ($\\textless$ 128 samples) is sufficient to capture the essential dynamics of complex time-series data.","absKo":"시계열 분석은 실제 응용에서 매우 중요하지만, time-series data의 폭발적 증가는 저장 및 계산 자원에 큰 부담을 준다. 최근 dataset condensation은 대규모 raw data를 대체할 수 있도록 작지만 정보가 풍부한 dataset을 합성하는 data-centric 해법으로 주목받고 있다. 그러나 기존 방법은 대체로 vision 중심이어서 시계열 고유의 temporal property를 포착하지 못하거나, task-specific하여 압축된 데이터를 특정 downstream objective에 강하게 결합한다. 그 결과 이러한 접근은 feature mismatch 문제를 겪고 다양한 time-series task에 걸쳐 일반화하지 못한다. 이러한 격차를 해소하기 위해, 우리는 일반 시계열 분석을 위한 최초의 통합 dataset condensation framework인 UniTSC를 제안한다. UniTSC는 temporal, spectral, topological 관점 전반에서 task-invariant representation을 포착하기 위해 multi-view hybrid encoder를 사용한다. 이 representation을 바탕으로, optimization trajectory, power spectral density, multivariate dependency structure를 공동으로 정렬하는 tri-space alignment paradigm을 설계하여, 극단적인 compression 하에서도 포괄적인 정보 보존을 가능하게 한다. 광범위한 실험 결과, UniTSC는 원래 training data의 0.01%만 사용해도 downstream performance의 최대 97.9%를 유지하며, 복잡한 time-series data의 본질적 dynamics를 포착하는 데 단일 batch-equivalent budget(128 samples 미만)만으로도 충분함을 보여준다."},{"id":"66203","en":"Divide and Contrast: Learning Robust Temporal Features without Augmentation","ko":"분할과 대조: 증강 없이 견고한 시간적 특징 학습","authors":"Abdul-Kazeem Shamba, Kerstin Bach, Gavin Taylor","pos":"#1611","link":"https://openreview.net/forum?id=5ooFLqHTo4","abs":"Self-supervised learning for time-series representation aims to reduce reliance on labeled data while maintaining strong downstream performance, yet many existing approaches incur high computational costs or rely on assumptions that do not hold across diverse temporal dynamics. In this work, we introduce Divide and Contrast (Di-COT), an unsupervised framework that avoids data augmentation and multiple encoder passes by contrasting informative substructures within a window rather than individual timesteps. Di-COT stochastically partitions each window into a small number of overlapping sub-blocks per iteration, enabling efficient and meaningful contrast while mitigating false positives during temporal transitions. To further improve scalability, we adopt a contrastive objective whose computation depends on the batch size and the number of sub-blocks, making loss computation independent of sequence length. Extensive experiments on six large-scale real-world datasets, as well as the UCR and UEA benchmarks, demonstrate that Di-COT learns transferable representations while achieving state-of-the-art performance with substantially reduced training time.
","absKo":"시계열 representation을 위한 self-supervised learning은 강한 downstream 성능을 유지하면서 labeled data 의존성을 줄이는 것을 목표로 하지만, 많은 기존 방법은 높은 계산 비용을 수반하거나 다양한 temporal dynamics 전반에 걸쳐 성립하지 않는 가정에 의존합니다. 본 연구에서는 data augmentation이나 multiple encoder pass 없이, 개별 timestep이 아니라 window 내의 informative substructure를 대조하는 방식으로 작동하는 unsupervised framework인 Divide and Contrast(Di-COT)를 소개합니다. Di-COT는 각 window를 반복마다 소수의 overlapping sub-block으로 확률적으로 분할하여, temporal transition 동안의 false positive를 완화하면서 효율적이고 의미 있는 contrast를 가능하게 합니다. 확장성을 더욱 높이기 위해, 계산이 batch size와 sub-block 수에만 의존하는 contrastive objective를 채택하여 loss computation이 sequence length와 무관하도록 합니다. 여섯 개의 대규모 실제 데이터셋과 UCR 및 UEA benchmark에 대한 광범위한 실험은 Di-COT가 transferable representation을 학습하면서 훈련 시간을 크게 줄인 상태로 state-of-the-art 성능을 달성함을 보여줍니다.
"},{"id":"64868","en":"Byte Pair Encoding for Efficient Time Series Forecasting","ko":"효율적 시계열 예측을 위한 Byte Pair Encoding","authors":"Leon Götz, Marcel Kollovieh, Stephan Günnemann, Leo Schwinn","pos":"#1612","link":"https://openreview.net/forum?id=IzJ0S1VJol","abs":"Existing time series tokenization methods predominantly encode a constant number of samples into individual tokens. This inflexible approach can generate excessive tokens for even simple patterns like extended constant values, resulting in substantial computational overhead. Inspired by the success of byte pair encoding, we propose the first pattern-centric tokenization scheme for time series analysis. Based on a discrete vocabulary of frequent motifs, our method merges samples with underlying patterns into tokens, compressing time series adaptively. Exploiting our finite set of motifs and the continuous properties of time series, we further introduce conditional decoding as a lightweight yet powerful post-hoc optimization method, which requires no gradient computation and adds no computational overhead. On recent time series foundation models, our motif-based tokenization improves forecasting performance by 36% and boosts efficiency by 1990% on average. Conditional decoding further reduces MSE by up to 44%. In an extensive analysis, we demonstrate the adaptiveness of our tokenization to diverse temporal patterns, its generalization to unseen data, and its meaningful token representations capturing distinct time series properties, including statistical moments and trends.
","absKo":"기존 time series tokenization 방법들은 대체로 일정 개수의 샘플을 개별 token으로 인코딩한다. 이러한 경직된 접근은 긴 constant value처럼 단순한 패턴에도 과도한 token을 생성할 수 있으며, 그 결과 상당한 계산 오버헤드를 초래한다. byte pair encoding의 성공에 영감을 받아, 우리는 time series 분석을 위한 최초의 pattern-centric tokenization scheme을 제안한다. 빈번한 motif의 discrete vocabulary를 기반으로, 우리의 방법은 underlying pattern을 가진 샘플들을 token으로 병합하여 time series를 적응적으로 압축한다. 또한 유한한 motif 집합과 time series의 연속적 특성을 활용하여, gradient computation이 필요 없고 계산 오버헤드도 추가하지 않는 가볍지만 강력한 post-hoc optimization 방법인 conditional decoding을 추가로 제안한다. 최근의 time series foundation model들에서, motif 기반 tokenization은 forecasting 성능을 36% 향상시키고 효율성을 평균 1990% 높인다. conditional decoding은 MSE를 최대 44%까지 추가로 줄인다. 광범위한 분석을 통해, 우리는 다양한 temporal pattern에 대한 tokenization의 적응성, 보지 못한 데이터에 대한 일반화, 그리고 statistical moment와 trend를 포함한 서로 다른 time series 특성을 포착하는 의미 있는 token representation을 입증한다.
"},{"id":"66770","en":"Exposing Vulnerabilities in Explanation for Time Series Classifiers via Dual-Target Attacks","ko":"Dual-Target 공격을 통한 시계열 분류기 설명의 취약점 노출","authors":"Bohan Wang, Zewen Liu, Lu Lin, Hui Liu, Li Xiong, Ming Jin, Wei Jin","pos":"#1613","link":"https://openreview.net/forum?id=0RnIc7RUiT","abs":"Interpretable time series deep learning systems are often assessed by checking temporal consistency on explanations, implicitly treating this as evidence of robustness. We show that this assumption can fail: Predictions and explanations can be adversarially decoupled, enabling targeted misclassification while the explanation remains plausible and consistent with a chosen reference rationale. We propose TSEF (Time Series Explanation Fooler), a dual-target attack that jointly manipulates the classifier and explainer outputs. In contrast to single-objective misclassification attacks that disrupt explanation structure and spread attribution mass broadly, TSEF achieves targeted prediction changes while keeping explanations consistent with the reference. Across multiple datasets and explainer backbones, our results consistently reveal that explanation stability is a misleading proxy for decision robustness and motivate coupling-aware robustness evaluations for trustworthy time series deployments.
","absKo":"interpretable time series deep learning systems는 종종 explanation의 temporal consistency를 확인하는 방식으로 평가되며, 이를 암묵적으로 robustness의 증거로 취급한다. 우리는 이 가정이 실패할 수 있음을 보인다. Predictions와 explanations는 adversarially decoupled될 수 있으며, 이를 통해 explanation은 그럴듯하고 선택된 reference rationale과 일치한 채로 target misclassification이 가능해진다. 우리는 classifier와 explainer의 출력을 공동으로 조작하는 dual-target attack인 TSEF(Time Series Explanation Fooler)를 제안한다. explanation 구조를 깨고 attribution mass를 넓게 퍼뜨리는 single-objective misclassification attack과 달리, TSEF는 reference와 일치하는 explanations를 유지하면서 target prediction change를 달성한다. 여러 dataset과 explainer backbone 전반에서의 결과는 explanation stability가 decision robustness의 오해를 부를 수 있는 대리 지표임을 일관되게 드러내며, 신뢰할 수 있는 time series deployment를 위해 coupling-aware robustness evaluation이 필요함을 시사한다.
"},{"id":"62939","en":"IMPACT: Influence Modeling for Open-Set Time Series Anomaly Detection","ko":"IMPACT: Open-Set Time Series Anomaly Detection을 위한 Influence Modeling","authors":"Xiaohui Zhou, Yijie Wang, Hongzuo Xu, Weixuan Liang, Xiaoli Li, Guansong Pang","pos":"#1615","link":"https://openreview.net/forum?id=bj4mX7nyvu","abs":"Open-set anomaly detection (OSAD) is an emerging paradigm designed to utilize limited labeled data from anomaly classes seen in training to identify both seen and unseen anomalies during testing. Current approaches rely on simple augmentation methods to generate pseudo anomalies that replicate unseen anomalies. Despite being promising in image data, these methods are found to be ineffective in time series data due to the failure to preserve its sequential nature, resulting in trivial or unrealistic anomaly patterns. They are further plagued when the training data is contaminated with unlabeled anomalies. This work introduces $\\textbf{IMPACT}$, a novel framework that leverages $\\underline{\\textbf{i}}$nfluence $\\underline{\\textbf{m}}$odeling for o$\\underline{\\textbf{p}}$en-set time series $\\underline{\\textbf{a}}$nomaly dete$\\underline{\\textbf{ct}}$ion, to tackle these challenges. The key insight is to $\\textbf{i)}$ learn an influence function that can accurately estimate the impact of individual training samples on the modeling, and then $\\textbf{ii)}$ leverage these influence scores to generate semantically divergent yet realistic unseen anomalies for time series while repurposing high-influential samples as supervised anomalies for anomaly decontamination. Extensive experiments show that IMPACT significantly outperforms existing state-of-the-art methods, showing superior accuracy under varying OSAD settings and contamination rates.","absKo":"Open-set anomaly detection(OSAD)은 학습 시 보인 anomaly class로부터 제한된 labeled data를 활용하여 테스트 시 보인 anomaly와 보이지 않은 anomaly를 모두 식별하도록 설계된 새로운 패러다임이다. 현재 접근법은 보이지 않는 anomaly를 복제하는 pseudo anomaly를 생성하기 위해 단순한 augmentation 방법에 의존한다. 이러한 방법은 image data에서는 유망하지만, time series data에서는 sequential nature를 보존하지 못해 사소하거나 비현실적인 anomaly pattern을 유발하므로 효과적이지 않은 것으로 밝혀졌다. 또한 training data가 unlabeled anomaly로 오염된 경우에는 문제가 더욱 심각해진다. 본 연구는 이러한 도전 과제를 해결하기 위해 open-set time series anomaly detection을 위한 IMPACT를 제안한다. 여기서 IMPACT는 $\\underline{\\textbf{i}}$nfluence $\\underline{\\textbf{m}}$odeling for o$\\underline{\\textbf{p}}$en-set time series $\\underline{\\textbf{a}}$nomaly dete$\\underline{\\textbf{ct}}$ion의 약자이다. 핵심 아이디어는 $\\textbf{i)}$ 개별 training sample이 모델링에 미치는 영향을 정확하게 추정할 수 있는 influence function을 학습한 뒤, $\\textbf{ii)}$ 이 influence score를 활용해 의미적으로는 상이하지만 현실적인 보이지 않는 anomaly를 time series에서 생성하고, 동시에 high-influential sample을 anomaly decontamination을 위한 supervised anomaly로 재활용하는 것이다. 광범위한 실험은 IMPACT가 기존의 state-of-the-art method를 크게 능가하며, 다양한 OSAD 설정과 contamination rate에서 우수한 정확도를 보임을 보여준다."},{"id":"65102","en":"MuonSSM: Orthogonalizing State Space Models for Sequence Modeling","ko":"MuonSSM: 시퀀스 모델링을 위한 State Space Model의 직교화","authors":"Thai Khanh Nguyen, Ngoc Bich Uyen Vo, Thieu Vo, Tan Nguyen, Cuong Pham","pos":"#1616","link":"https://openreview.net/forum?id=GmP3VcfHi0","abs":"State-space models (SSMs) have emerged as efficient linear-time alternatives to attention for long-sequence modeling. However, existing SSMs often suffer from instability and memory degradation over extended horizons due to poorly conditioned first-order updates and uncontrolled spectral geometry. We introduce MuonSSM, a general framework that stabilizes SSM training by explicitly conditioning the geometry of memory updates rather than the recurrent transition matrix. MuonSSM augments standard SSMs with a momentum-based pathway and lightweight Newton–Schulz iterations on low-rank input injections, yielding approximately norm-preserving and spectrally balanced updates while preserving parallel scan complexity. Theoretical analysis demonstrates substantial improvements in gradient propagation and mitigation of vanishing gradients over long horizons. Extensive experiments across language, vision, and time-series benchmarks show consistent gains in accuracy, robustness, and long-context performance when integrated into diverse SSM backbones. These results establish geometric conditioning of updates as a principled pathway to stable, scalable sequence modeling.
","absKo":"State-space model(SSM)은 attention에 대한 효율적인 linear-time 대안으로서 long-sequence modeling에서 부상해 왔다. 그러나 기존 SSM은 잘 조건화되지 않은 first-order update와 제어되지 않은 spectral geometry 때문에 긴 horizon에서 불안정성과 memory degradation을 겪는 경우가 많다. 우리는 recurrent transition matrix가 아니라 memory update의 geometry를 명시적으로 conditioning함으로써 SSM training을 안정화하는 일반적 프레임워크인 MuonSSM을 소개한다. MuonSSM은 standard SSM에 momentum 기반 경로와 low-rank input injection에 대한 lightweight Newton–Schulz iteration을 추가하여, approximately norm-preserving하고 spectrally balanced한 update를 제공하면서도 parallel scan complexity는 유지한다. 이론 분석은 gradient propagation을 상당히 개선하고 긴 horizon에서 vanishing gradient를 완화함을 보여준다. language, vision, time-series benchmark 전반에 걸친 광범위한 실험은 다양한 SSM backbone에 통합했을 때 정확도, robustness, 그리고 long-context 성능이 일관되게 향상됨을 보여준다. 이러한 결과는 update의 geometric conditioning이 안정적이고 확장 가능한 sequence modeling을 위한 원리적 경로임을 확립한다.
"},{"id":"61098","en":"TsLLM: Augmenting LLMs for General Time Series Understanding and Prediction","ko":"TsLLM: 일반 시계열 이해와 예측을 위한 LLM 증강","authors":"Felix Parker, Nimeesha Chan, Chi Zhang, Kimia Ghobadi","pos":"#1710","link":"https://openreview.net/forum?id=ti6RAEh2ep","abs":"Time series data is fundamental to decision-making across many domains including healthcare, finance, power systems, and logistics. However, analyzing this data correctly often requires incorporating unstructured contextual information, answering domain-specific questions, and generating natural language explanations – capabilities that traditional time series models lack. While Large Language Models (LLMs) excel at contextual reasoning and knowledge integration, they struggle with numerical time series due to inefficient text-based representations and limited exposure to numerical data during pretraining. We address this gap by augmenting an LLM with specialized time series perception through a patch-based encoder-decoder architecture. We train this Time Series-augmented LLM (TsLLM) on a large corpus of over 20 billion tokens of interleaved time series and text spanning diverse tasks: forecasting with contextual information, question-answering, anomaly detection, classification, report generation, and more, all unified as next token prediction. This training enables TsLLM to leverage both its language understanding and newly acquired temporal reasoning capabilities. While not designed to surpass specialized models on traditional benchmarks, TsLLM demonstrates strong performance on tasks requiring the integration of time series analysis with natural language – capabilities that existing approaches cannot provide. It also exhibits strong zero-shot and few-shot performance, showing it can adapt to new data without additional training.
","absKo":"Time series data는 healthcare, finance, power systems, logistics를 포함한 여러 도메인에서 의사결정의 기초가 된다. 그러나 이 데이터를 올바르게 분석하려면 종종 비정형 contextual information을 통합하고, 도메인 특화 질문에 답하며, 자연어 설명을 생성해야 하는데, 이러한 기능은 전통적인 time series model이 갖추지 못한 것이다. Large Language Models (LLMs)는 contextual reasoning과 knowledge integration에 뛰어나지만, 비효율적인 text-based representation과 pretraining 동안 수치 데이터에 노출된 경험이 제한적이어서 numerical time series를 다루는 데는 어려움을 겪는다. 우리는 patch-based encoder-decoder architecture를 통해 specialized time series perception을 LLM에 추가함으로써 이 간극을 해소한다. 우리는 이 Time Series-augmented LLM (TsLLM)을 contextual information을 포함한 forecasting, question-answering, anomaly detection, classification, report generation 등을 아우르는 다양한 과제에 대해, interleaved time series와 text의 200억 token이 넘는 대규모 코퍼스에서 학습하며, 이를 모두 next token prediction으로 통일한다. 이 학습을 통해 TsLLM은 언어 이해 능력과 새롭게 획득한 temporal reasoning capability를 모두 활용할 수 있다. 전통적인 benchmark에서 specialized model을 능가하도록 설계된 것은 아니지만, TsLLM은 time series analysis와 natural language의 통합을 요구하는 과제에서 강한 성능을 보이며, 이는 기존 접근법이 제공하지 못하는 능력이다. 또한 강력한 zero-shot 및 few-shot 성능을 보여, 추가 학습 없이도 새로운 데이터에 적응할 수 있음을 나타낸다.
"},{"id":"63190","en":"On the \"Induction Bias\" in Sequence Models","ko":"시퀀스 모델의 '귀납 편향'에 관하여","authors":"MohammadReza Ebrahimi, Michaël Defferrard, Sunny Panchal, Roland Memisevic","pos":"#1916","link":"https://openreview.net/forum?id=ZFDFVLjrka","abs":"Despite the remarkable practical success of transformer-based language models, recent work has raised concerns about their ability to perform state tracking. In particular, a growing body of literature has shown this limitation primarily through failures in out-of-distribution (OOD) generalization, such as length extrapolation. In this work, we shift attention to the in-distribution implications of these limitations. We empirically compare the data efficiency of transformers and recurrent neural networks (RNNs) across multiple supervision regimes. We find that the amount of training data required by transformers grows much more rapidly with state-space size and sequence length than for RNNs. Furthermore, we analyze the extent to which learned state-tracking mechanisms are shared across different sequence lengths. We show that transformers exhibit negligible or even detrimental weight sharing across lengths, indicating that they learn length-specific solutions in isolation. In contrast, recurrent models exhibit effective amortized learning by sharing weights across lengths, allowing data from one sequence length to improve performance on others. Together, these results demonstrate that state tracking remains a fundamental challenge for transformers, even when training and evaluation distributions match.
","absKo":"Transformer 기반 language model의 놀라운 실용적 성공에도 불구하고, 최근 연구는 이들이 state tracking을 수행하는 능력에 대해 우려를 제기해 왔다. 특히, 축적된 문헌은 이 한계를 주로 length extrapolation과 같은 out-of-distribution (OOD) generalization 실패를 통해 보여주었다. 본 연구에서는 이러한 한계의 in-distribution 함의를 살펴본다. 우리는 여러 supervision regime에서 transformer와 recurrent neural network (RNN)의 data efficiency를 실증적으로 비교한다. 그 결과, transformer가 필요로 하는 training data의 양은 state-space size와 sequence length가 커질수록 RNN보다 훨씬 더 빠르게 증가함을 발견했다. 또한, 학습된 state-tracking mechanism이 서로 다른 sequence length 간에 얼마나 공유되는지 분석한다. 우리는 transformer가 length 간 weight sharing을 거의 하지 않거나 오히려 해로운 수준으로만 수행하며, 이는 이들이 length-specific solution을 고립적으로 학습함을 의미한다는 것을 보인다. 반면 recurrent model은 length 간 weight를 공유함으로써 효과적인 amortized learning을 보이며, 한 sequence length의 데이터가 다른 length의 성능을 향상시키도록 한다. 종합하면, 이러한 결과는 training과 evaluation distribution이 일치하더라도 state tracking이 transformer에게 여전히 근본적인 도전 과제임을 보여준다.
"},{"id":"65406","en":"Universal Redundancies in Time Series Foundation Models","ko":"시계열 Foundation Model의 보편적 중복성","authors":"Anthony Bao, Venkata Hasith Vattikuti, Jeffrey Lai, William Gilpin","pos":"#2609","link":"https://openreview.net/forum?id=DyA4KHj1wy","abs":"Time Series Foundation Models (TSFMs) leverage extensive pretraining to accurately predict unseen time series during inference, without the need for task-specific fine-tuning. Through large-scale evaluations on standard benchmarks, we find that leading transformer-based TSFMs exhibit redundant components in their intermediate layers. We introduce a set of tools for mechanistic interpretability of TSFMs, including ablations of specific components and direct logit attribution on the residual stream. Our findings are consistent across several leading TSFMs with diverse architectures, and across a diverse set of real-world and synthetic time-series datasets. We discover that all models in our study are robust to ablations of entire layers. Furthermore, we develop a theoretical framework framing transformers as kernel regressors, motivating a purely intrinsic strategy for ablating heads based on the stable rank of the per-head projection matrices. Using this approach, we uncover the specific heads responsible for degenerate phenomena widely observed in TSFMs, such as parroting of motifs from the context and seasonality bias. Our study sheds light on the universal properties of this emerging class of architectures for continuous-time sequence modeling.
","absKo":"Time Series Foundation Model(TSFM)은 광범위한 pretraining을 활용하여 task-specific fine-tuning 없이 inference 시 보지 못한 time series를 정확하게 예측한다. 표준 benchmark에 대한 대규모 평가를 통해, 선도적인 transformer-based TSFM이 중간 layer에서 중복되는 component를 보인다는 사실을 발견했다. 우리는 특정 component에 대한 ablation과 residual stream에 대한 direct logit attribution을 포함하여 TSFM의 mechanistic interpretability를 위한 도구 집합을 제안한다. 우리의 발견은 서로 다른 architecture를 가진 여러 선도적 TSFM과 다양한 실제 및 synthetic time-series dataset 전반에서 일관되게 나타난다. 우리는 연구한 모든 model이 전체 layer ablation에 대해 robust하다는 사실을 발견했다. 더 나아가 transformer를 kernel regressor로 보는 이론적 framework를 개발하여, 각 head의 projection matrix의 stable rank를 기반으로 head를 intrinsic하게 ablate하는 전략을 정당화한다. 이 접근을 사용해, 우리는 context의 motif를 parroting하는 현상과 seasonality bias처럼 TSFM에서 널리 관찰되는 degenerate phenomenon의 원인이 되는 특정 head를 밝혀낸다. 우리의 연구는 continuous-time sequence modeling을 위한 이 새로운 architecture class의 보편적 성질을 조명한다.
"},{"id":"61019","en":"TimeOmni-VL: Unified Models for Time Series Understanding and Generation","ko":"TimeOmni-VL: 시계열 이해와 생성을 위한 통합 모델","authors":"Tong Guan, SHENG PAN, Johan Barthelemy, Zhao Li, Yujun Cai, Cesare Alippi, Ming Jin, Shirui Pan","pos":"#310","link":"https://openreview.net/forum?id=uUnIAtZUfX","abs":"Recent time series modeling faces a sharp divide between numerical generation and semantic understanding, with research showing that generation models often rely on superficial pattern matching, while understanding-oriented models struggle with high-fidelity numerical output. Although unified multimodal models (UMMs) have bridged this gap in vision, their potential for time series remains untapped. We propose TimeOmni-VL, the first vision-centric framework that unifies time series understanding and generation through two key innovations: (1) Fidelity-preserving bidirectional mapping between time series and images (Bi-TSI), which advances Time Series-to-Image (TS2I) and Image-to-Time Series (I2TS) conversions to ensure near-lossless transformations. (2) Understanding-guided generation. We introduce TSUMM-Suite, a novel dataset consists of six understanding tasks rooted in time series analytics that are coupled with two generation tasks. With a calibrated Chain-of-Thought (CoT), TimeOmni-VL is the first to leverage time series understanding as an explicit control signal for high-fidelity generation. Experiments confirm that this unified approach significantly improves both semantic understanding and numerical precision, establishing a new frontier for multimodal time series modeling.
","absKo":"최근 time series modeling은 수치 생성과 의미 이해 사이의 뚜렷한 분열에 직면해 있으며, 연구에 따르면 generation model은 종종 피상적인 pattern matching에 의존하는 반면 understanding 지향 model은 고충실도 수치 출력을 생성하는 데 어려움을 겪는다. Unified multimodal model (UMM)은 vision에서 이 격차를 메웠지만, time series에서의 잠재력은 아직 활용되지 않았다. 우리는 time series understanding과 generation을 두 가지 핵심 혁신을 통해 통합하는 최초의 vision-centric framework인 TimeOmni-VL을 제안한다: (1) time series와 image 사이의 fidelity-preserving bidirectional mapping (Bi-TSI)으로, Time Series-to-Image (TS2I)와 Image-to-Time Series (I2TS) 변환을 발전시켜 거의 손실 없는 변환을 보장한다. (2) understanding-guided generation. 우리는 time series analytics에 뿌리를 둔 여섯 개의 understanding task와 두 개의 generation task를 결합한 새로운 dataset인 TSUMM-Suite를 소개한다. calibrated Chain-of-Thought (CoT)를 사용하여, TimeOmni-VL은 time series understanding을 고충실도 generation을 위한 explicit control signal로 활용한 최초의 방법이다. 실험은 이 통합적 접근이 semantic understanding과 numerical precision을 모두 크게 향상시켜, multimodal time series modeling의 새로운 최전선을 연다는 것을 확인한다.
"},{"id":"62393","en":"TimeMRA: LLM-Empowered Time Series Forecasting via Multi-Scale Retrieval-Augmented Representations","ko":"TimeMRA: Multi-Scale Retrieval-Augmented Representation 기반 LLM-강화 시계열 예측","authors":"Zongjiang Shang, Chengxi Jin, Binqing Wu, Dongliang Cui, Yue Yu, Haobang Sun, Chuanlin Xu, Ling Chen","pos":"#311","link":"https://openreview.net/forum?id=h3HLLGCfVy","abs":"Time series forecasting plays a pivotal role in data-driven decision-making across various time series domains. Recently, leveraging their ability to extract semantically rich representations, Large Language Models (LLMs) have achieved promising results in time series forecasting. However, existing LLM-based methods struggle to obtain multi-scale retrieval-augmented representations due to entangled multi-scale representations and redundant multi-scale interference. To address this, we propose TimeMRA, an LLM-empowered Time series forecasting framework via Multi-Scale Retrieval-Augmented representations. Specifically, a scale-aware prompt generation (SAPG) module is designed to decompose time series into multiple scales and generate augmented multi-scale representations. Then, a cross-scale disentanglement constraint (CSDC) mechanism with a router network is designed to obtain the disentangled multi-scale semantic representations while mitigating interference from irrelevant scales. Finally, a cross-modality retrieval module is designed to obtain multi-scale retrieval-augmented representations for time series forecasting. Experiments on 10 real-world datasets demonstrate that TimeMRA achieves state-of-the-art (SOTA) performance.
","absKo":"time series forecasting은 다양한 time series 도메인에서 data-driven 의사결정에 핵심적인 역할을 한다. 최근에는 의미적으로 풍부한 표현을 추출하는 능력을 활용하여 Large Language Models (LLMs)가 time series forecasting에서 유망한 결과를 보였다. 그러나 기존 LLM 기반 방법들은 얽힌 multi-scale 표현과 중복되는 multi-scale 간섭 때문에 multi-scale retrieval-augmented 표현을 얻는 데 어려움을 겪는다. 이를 해결하기 위해 우리는 Multi-Scale Retrieval-Augmented representations를 통한 LLM-empowered time series forecasting framework인 TimeMRA를 제안한다. 구체적으로, scale-aware prompt generation (SAPG) 모듈을 설계하여 time series를 여러 scale로 분해하고 augmented multi-scale 표현을 생성한다. سپس, router network를 포함한 cross-scale disentanglement constraint (CSDC) 메커니즘을 설계하여 관련 없는 scale로부터의 간섭을 완화하면서 disentangled multi-scale semantic 표현을 얻는다. 마지막으로, cross-modality retrieval 모듈을 설계하여 time series forecasting을 위한 multi-scale retrieval-augmented 표현을 획득한다. 10개의 실제 데이터셋에 대한 실험은 TimeMRA가 state-of-the-art (SOTA) 성능을 달성함을 보여준다.
"},{"id":"63281","en":"Robust Inter-Series Dependency Modeling for Time Series Forecasting via Information-Theoretic Alignment","ko":"정보이론적 정렬을 통한 시계열 예측을 위한 견고한 시계열 간 종속성 모델링","authors":"Wuqing Yu, Weichen Guo, Jian Zhou, Shuyu Luo, Jiacai Zhang","pos":"#312","link":"https://openreview.net/forum?id=YQPQuHVLLQ","abs":"While iTransformer pioneered general inter-variate dependency (IVD) modeling in Transformers for multivariate time series forecasting (MTSF), subsequent research on such universal paradigms has been surprisingly scarce. Through comprehensive analysis, we identify a critical structural inconsistency in Variate Transformers (exemplified by iTransformer): typically capturing inter-variate dependencies via shallow self-attention layers while neglecting the critical requirement for deep-layer IVD modeling, which causes dependency information loss and difficulties in model optimization. To address these limitations, we propose CGTFra, as a general Graph Transformer framework. Specifically, we reconsider existing timestamp-based modeling and introduce a frequency-domain masking and resampling method for periodicity preservation, which serves as a general strategy for input feature enhancement and a substitute for timestamp embeddings. Additionally, CGTFra promotes consistent IVD modeling from two perspectives. Initially, a dynamic graph learning framework is integrated into Transformers to explicitly model IVD in deep network layer. Furthermore, grounded in the Information Bottleneck principle, we further propose a consistency-constrained alignment to learn more robust IVD and temporal feature representations. These three core design philosophies of CGTFra can be integrated into any existing Variate Transformer-based framework, and CGTFra achieves superior predictive performance across 13 long- and short-term datasets with high computational efficiency and desirable interpretability. Code is available at https://anonymous.4open.science/r/CGTFra.
","absKo":"iTransformer가 multivariate time series forecasting (MTSF)을 위한 Transformers에서 general inter-variate dependency (IVD) modeling을 선도했지만, 이러한 universal paradigm에 대한 후속 연구는 놀라울 정도로 드물었다. 포괄적인 분석을 통해 우리는 Variate Transformers(iTransformer로 대표됨)에서 중대한 구조적 불일치를 식별한다. 즉, 일반적으로 얕은 self-attention layer를 통해 inter-variate dependency를 포착하면서도 deep-layer IVD modeling이라는 핵심 요구를 간과하고 있어, dependency information loss와 모델 최적화의 어려움을 초래한다. 이러한 한계를 해결하기 위해, 우리는 general Graph Transformer framework인 CGTFra를 제안한다. 구체적으로, 우리는 기존의 timestamp-based modeling을 재고하고 주기성 보존을 위한 frequency-domain masking 및 resampling method를 도입한다. 이는 input feature enhancement를 위한 일반 전략이자 timestamp embedding의 대체재로 기능한다. 또한 CGTFra는 두 가지 관점에서 일관된 IVD modeling을 촉진한다. 먼저, dynamic graph learning framework를 Transformer에 통합하여 deep network layer에서 IVD를 명시적으로 모델링한다. 나아가 Information Bottleneck 원리에 근거하여, 우리는 더 강건한 IVD와 temporal feature representation을 학습하기 위한 consistency-constrained alignment를 추가로 제안한다. CGTFra의 이 세 가지 핵심 설계 철학은 기존의 어떤 Variate Transformer-based framework에도 통합될 수 있으며, CGTFra는 높은 계산 효율성과 바람직한 해석 가능성을 유지하면서 13개의 장기 및 단기 데이터셋 전반에서 우수한 예측 성능을 달성한다. 코드는 https://anonymous.4open.science/r/CGTFra 에서 제공된다.
"},{"id":"63015","en":"Rethinking Multimodal Time-Series Forecasting Evaluation","ko":"멀티모달 시계열 예측 평가의 재고","authors":"Haoxin Liu, Yichen Zhou, Rajat Sen, B. Aditya Prakash, Abhimanyu Das","pos":"#313","link":"https://openreview.net/forum?id=auG2Cr76ed","abs":"We introduce a new context-enriched, multimodal time series forecasting benchmark TimesX. TimesX contains a wide selection of high-quality real-world time series with diverse domains and textual contexts obtained from an automated data generation pipeline, which helps address three main issues of existing multimodal forecasting benchmarks: (1) poor generalization due to the small scale and synthetic nature of benchmark data, (2) very limited types of textual contexts in the benchmarks, and (3) an inability to mitigate data leakage in evaluation. We conduct a thorough empirical study of zero-shot multimodal forecasting approaches on TimesX. Our results suggest that many approaches that perform well on existing benchmarks may fail on TimesX. In contrast, simple ensemble methods that leverage rich textual context accompanying time-series can outperform strong baselines on the TimesX benchmark.
","absKo":"우리는 context가 강화된 새로운 multimodal time series forecasting benchmark인 TimesX를 소개한다. TimesX는 자동화된 data generation pipeline을 통해 확보한, 다양한 domain과 textual context를 지닌 고품질의 실제 time series를 폭넓게 포함하며, 이는 기존 multimodal forecasting benchmark가 지닌 세 가지 주요 문제를 해결하는 데 도움이 된다: (1) benchmark 데이터의 작은 규모와 synthetic한 성격으로 인한 낮은 generalization, (2) benchmark에 포함된 textual context의 유형이 매우 제한적이라는 점, 그리고 (3) 평가에서 data leakage를 완화할 수 없다는 점이다. 우리는 TimesX에서 zero-shot multimodal forecasting approach에 대한 철저한 실증 연구를 수행한다. 우리의 결과는 기존 benchmark에서 좋은 성능을 보이던 많은 접근법이 TimesX에서는 실패할 수 있음을 시사한다. 반면, time series에 함께 제공되는 풍부한 textual context를 활용하는 단순한 ensemble method는 TimesX benchmark에서 강력한 baseline을 능가할 수 있다.
"},{"id":"64769","en":"One-Step Graph-Structured Neural Flows for Irregular Multivariate Time Series Classification","ko":"불규칙 다변량 시계열 분류를 위한 One-Step Graph-Structured Neural Flow","authors":"Mengzhou Gao, Kaiwei Wang, Pengfei Jiao","pos":"#314","link":"https://openreview.net/forum?id=K4krf5tbi3","abs":"Neural Flows efficiently model irregular multivariate time series by directly learning ODE solution trajectories with neural networks, bypassing step-by-step numerical solvers. Despite their efficiency, many existing approaches treat variables independently, leaving inter-variable interactions underexplored. Moreover, their one-step mapping makes interaction modeling inherently challenging, as it removes the iterative refinement of interactions during learning. To address this challenge, we propose one-step Graph-Structured Neural Flows (GSNF), which introduce two auxiliary-trajectory self-supervision strategies to strengthen interaction learning: (i) interaction-aware trajectory generation via re-initialization, which induces trajectory divergence to expose graph-induced interactions, with a theoretically derived lower bound on divergence; and (ii) reverse-time trajectory generation, which enforces forward–backward consistency to regularize graph learning, enabled by flow invertibility. Experiments on five real-world datasets show that GSNF achieves state-of-the-art classification performance with highly competitive training time and memory usage.
","absKo":"Neural Flows는 신경망으로 ODE 해 궤적을 직접 학습함으로써 불규칙한 다변량 시계열을 효율적으로 모델링하며, 단계별 수치 해석기(numerical solver)를 우회한다. 이러한 효율성에도 불구하고, 많은 기존 접근법은 변수들을 독립적으로 다루어 변수 간 상호작용이 충분히 탐구되지 않았다. 더구나 one-step 매핑은 학습 중 상호작용의 반복적 정제 과정을 제거하므로, 상호작용 모델링을 본질적으로 어렵게 만든다. 이 문제를 해결하기 위해, 우리는 하나의 step으로 동작하는 Graph-Structured Neural Flows(GSNF)를 제안한다. GSNF는 상호작용 학습을 강화하기 위해 두 가지 보조 궤적(self-supervision) 전략을 도입한다. (i) re-initialization을 통한 interaction-aware trajectory generation은 궤적 발산을 유도하여 graph가 유발하는 상호작용을 드러내며, 발산에 대한 이론적으로 도출된 lower bound를 갖는다. (ii) reverse-time trajectory generation은 forward-backward consistency를 강제하여 graph 학습을 정규화하며, 이는 flow의 invertibility에 의해 가능해진다. 다섯 개의 실제 데이터셋에서 수행한 실험은 GSNF가 매우 경쟁력 있는 학습 시간과 메모리 사용량으로 state-of-the-art 분류 성능을 달성함을 보여준다.
"},{"id":"61414","en":"MedMamba: Multi-View State Space Models with Adaptive Graph Learning for Medical Time Series Classification","ko":"MedMamba: Medical Time Series Classification을 위한 Adaptive Graph Learning 기반 Multi-View State Space Models","authors":"Da Zhang, bingyu li, Zhiyuan Zhao, Hongyuan Zhang, Junyu Gao, Xuelong Li","pos":"#315","link":"https://openreview.net/forum?id=qPqJH0heR0","abs":"Medical time series are central to healthcare, enabling continuous monitoring and supporting timely clinical decisions. Despite recent progress, existing methods struggle to jointly model local-global dynamics and handle nonstationarities like baseline drift, while often failing to capture latent channel interactions. To address these challenges, we propose MedMamba, an end-to-end architecture that integrates state space models with domain-specific inductive biases. Specifically, MedMamba first employs multi-scale convolutional embeddings to capture discriminative local morphology. Second, to mitigate nonstationarity, we introduce a tri-branch differential state space encoder that processes raw, temporal-difference, and frequency-domain views, fusing them to emphasize informative patterns while suppressing drift. Furthermore, to uncover latent channel correlations, we design a spatial graph Mamba module that learns a directed dependency structure regularized toward sparsity and acyclicity, which obviates the need for predefined graphs. Extensive experiments on five real-world datasets demonstrate that MedMamba achieves state-of-the-art performance while maintaining linear computational complexity, and ablation studies validate each component's contribution. Anonymous code is available at https://anonymous.4open.science/r/MedMamba-30DB.
","absKo":"Medical time series는 의료에서 핵심적이며, 연속적인 모니터링을 가능하게 하고 적시의 임상적 의사결정을 지원한다. 최근 진전에도 불구하고, 기존 방법은 local-global dynamics를 공동으로 모델링하고 baseline drift와 같은 nonstationarity를 처리하는 데 어려움을 겪으며, latent channel interaction을 포착하지 못하는 경우가 많다. 이러한 도전을 해결하기 위해, 우리는 domain-specific inductive bias를 통합한 end-to-end architecture인 MedMamba를 제안한다. 구체적으로, MedMamba는 먼저 multi-scale convolutional embedding을 사용해 판별적인 local morphology를 포착한다. 둘째, nonstationarity를 완화하기 위해, 우리는 raw, temporal-difference, frequency-domain view를 처리하고 이를 융합하여 informative pattern을 강조하면서 drift를 억제하는 tri-branch differential state space encoder를 도입한다. 더 나아가 latent channel correlation을 밝혀내기 위해, 우리는 미리 정의된 graph가 필요 없도록 sparsity와 acyclicity를 향해 regularization된 directed dependency structure를 학습하는 spatial graph Mamba module을 설계한다. 다섯 개의 실제 데이터셋에 대한 광범위한 실험은 MedMamba가 선형 계산 복잡도를 유지하면서 state-of-the-art 성능을 달성함을 보여주며, ablation study는 각 구성 요소의 기여를 검증한다. 익명 코드는 https://anonymous.4open.science/r/MedMamba-30DB 에서 제공된다.
"},{"id":"62438","en":"Mantis: Lightweight Foundation Model for Time Series Classification","ko":"Mantis: 시계열 분류를 위한 경량 Foundation Model","authors":"Vasilii Feofanov, Songkang Wen, Shifeng Xie, Simon Roschmann, Marius Alonso, Hongbo Guo, Romain Ilbert, Malik TIOMOKO, Quentin Bouniot, Zeynep Akata, Lujia Pan, Jianfeng Zhang, Ievgen Redko","pos":"#316","link":"https://openreview.net/forum?id=gbJMAjXLZ4","abs":"While foundation models have revolutionized various domains, their application to time series classification remains rather under-explored, with existing literature predominantly focused on forecasting. To bridge this gap, we introduce \\textbf{Mantis}, a transformer-based foundation model pre-trained exclusively on synthetic data via self-supervised contrastive learning. We demonstrate that effective tokenization is critical to unlocking the full potential of transformers, proposing a novel token generator unit. Furthermore, we introduce an enhanced test-time methodology that bridges the performance gap between Mantis and strong specialized approaches by leveraging intermediate-layer representations, self-ensembling, and cross-model embedding fusion. Extensive experiments demonstrate that Mantis establishes a new state-of-the-art, outperforming existing foundation models across four diverse dataset collections covering various application domains.
","absKo":"foundation model이 다양한 영역을 혁신해 왔지만, time series classification에 대한 적용은 기존 문헌이 주로 forecasting에 집중해 온 탓에 비교적 덜 탐구되었다. 이 공백을 메우기 위해 우리는 self-supervised contrastive learning을 통해 synthetic data에서만 사전학습된 transformer 기반 foundation model인 \\textbf{Mantis}를 제안한다. 우리는 효과적인 tokenization이 transformer의 잠재력을 온전히 이끌어내는 데 중요함을 보이며, 새로운 token generator unit을 제안한다. 또한 intermediate-layer representation, self-ensembling, cross-model embedding fusion을 활용하여 Mantis와 강력한 specialized approach 사이의 성능 격차를 메우는 향상된 test-time methodology를 도입한다. 광범위한 실험은 Mantis가 새로운 state-of-the-art를 수립하며, 다양한 application domain을 포괄하는 네 가지 서로 다른 dataset collection에서 기존 foundation model을 능가함을 보여준다.
"},{"id":"66175","en":"Invariant Representation Learning for Source-Free Time Series Forecasting with LLM-Centric Proxy Denoising","ko":"LLM 중심 프록시 Denoising을 통한 소스 프리 시계열 예측을 위한 불변 표현 학습","authors":"Kangjia Yan, Chenxi Liu, Hao Miao, Xinle Wu, Yan Zhao, Chenjuan Guo, Bin Yang","pos":"#317","link":"https://openreview.net/forum?id=65uC8Ac9hm","abs":"Effective time series forecasting enables various real-world applications, benefiting from the proliferation of mobile devices. However, the volume of time series data may vary significantly across domains due to low sampling rates and data regulations. To maximally create value from sparse data, this study focuses on a new problem of source-free time series forecasting, aiming to adapt a pretrained model from sufficient source time series to the sparse target time series without access to the source data, enabling data protection. To achieve this, we propose TimeID, a novel source-free time series forecasting framework with a large language model (LLM) centric proxy denoising inspired by the powerful generalization capabilities of LLMs. Specifically, TimeID consists of three key components: (1) dual-branch invariant disentangled feature learning that enforces representation- and gradient-wise invariance by means of season-trend decomposition; (2) lightweight, parameter-free proxy denoising that dynamically calibrates systematic biases of LLMs; and (3) knowledge distillation that bidirectionally aligns the denoised prediction and the original target prediction. Extensive experiments on real-world datasets demonstrate that TimeID outperforms state-of-the-art baselines, improving MSE and MAE by 10.7\\% and 9.3\\% on average. The code is publicly available at https://anonymous.4open.science/r/TimeID-6D1D/.
","absKo":"효과적인 time series forecasting은 모바일 기기의 확산으로 인해 다양한 실제 응용을 가능하게 한다. 그러나 low sampling rate와 data regulation 때문에 domain에 따라 time series data의 양은 크게 달라질 수 있다. sparse data에서 가치를 최대한 창출하기 위해, 본 연구는 source-free time series forecasting이라는 새로운 문제에 주목한다. 이는 source data에 접근하지 않고 충분한 source time series에서 pretrained model을 sparse target time series에 적응시켜 data protection을 가능하게 하는 것을 목표로 한다. 이를 위해 우리는 LLM의 강력한 generalization capability에서 영감을 받은, LLM-centric proxy denoising을 갖는 새로운 source-free time series forecasting framework인 TimeID를 제안한다. 구체적으로 TimeID는 다음 3가지 핵심 요소로 구성된다: (1) season-trend decomposition을 통해 representation-wise 및 gradient-wise invariance를 강제하는 dual-branch invariant disentangled feature learning; (2) LLM의 systematical bias를 동적으로 보정하는 lightweight, parameter-free proxy denoising; (3) denoised prediction과 original target prediction을 양방향으로 정렬하는 knowledge distillation. 실제 데이터셋에 대한 광범위한 실험은 TimeID가 state-of-the-art baseline을 능가하며, 평균적으로 MSE와 MAE를 각각 10.7\\%와 9.3\\% 개선함을 보여준다. 코드는 https://anonymous.4open.science/r/TimeID-6D1D/ 에 공개되어 있다.
"},{"id":"66744","en":"You Can Learn Tokenization End-to-End with Reinforcement Learning","ko":"강화학습으로 토큰화를 End-to-End로 학습할 수 있다","authors":"Sam Dauncey, Roger Wattenhofer","pos":"#4000","link":"https://openreview.net/forum?id=0rXBwsTWDB","abs":"Tokenization is a hardcoded compression step which remains in the training pipeline of Large Language Models (LLMs), despite a general trend towards architectures becoming increasingly end-to-end. Prior work has shown promising results at scale in bringing this compression step inside the LLMs' architecture with heuristics to draw token boundaries, and also attempts to learn these token boundaries with straight-through estimates, which treat the problem of drawing discrete token boundaries as a continuous one. We show that these token boundaries can instead be learned using score function estimates, which have tighter theoretical guarantees due to directly optimizing the problem of drawing discrete token boundaries to minimize loss. We observe that techniques from reinforcement learning, such as time discounting, are necessary to reduce the variance of this score function sufficiently to make it practicable. We demonstrate that the resultant method outperforms prior proposed straight-through estimates, both qualitatively and quantitatively at the $100$ million parameter scale.","absKo":"토큰화(tokenization)는 Large Language Model (LLM)의 학습 파이프라인에 남아 있는 하드코딩된 압축 단계이며, 아키텍처가 점점 더 end-to-end화되는 전반적 흐름에도 불구하고 여전히 유지되고 있다. 선행 연구는 token boundary를 그리는 heuristic을 통해 이 압축 단계를 LLM 아키텍처 내부로 가져오는 방향에서 대규모로 유망한 결과를 보여 주었고, 이산 token boundary를 그리는 문제를 연속적인 문제로 취급하는 straight-through estimate를 사용해 이러한 boundary를 학습하려는 시도도 있었다. 우리는 이러한 token boundary가 대신 score function estimate를 사용해 학습될 수 있음을 보인다. 이 방법은 이산 token boundary를 그리는 문제를 직접 최적화하여 loss를 최소화하므로, 더 타이트한 이론적 보장을 갖는다. 우리는 time discounting 같은 reinforcement learning 기법이 이 score function의 분산을 충분히 줄여 실용적으로 만들기 위해 필요하다는 점을 관찰한다. 우리는 그 결과로 얻어진 방법이 1억 파라미터 규모에서 이전에 제안된 straight-through estimate보다 질적, 양적으로 모두 우수함을 보인다."},{"id":"63196","en":"Winformer: Transcending Pairwise Similarity for Time-series Generation","ko":"Winformer: 시계열 생성을 위한 쌍별 유사성 초월","authors":"Haoyi Zhou, Xin Xue, Tianyu Chen, lanhao li, Lijun SUN, Jianxin Li","pos":"#4100","link":"https://openreview.net/forum?id=ZCvKiMJh9O","abs":"The periodicity misalignment remains a challenge problem in generating time-series data across multiple domains. Existing methods model time-series interactions either at the granularity of individual points or fragmented segments. This limits their ability to capture and adapt to complex periodic patterns inherent in diverse domains. To address this, we introduce Winformer, a novel diffusion framework built on window-wise attention mechanism. We shift the fundamental processing unit in the attention mechanism from pairwise points similarity to continuous windows comparison of the entire horizon. Leveraging the adaptive window-alignment kernels derived from the frequency decomposition, Winformer brings semantically richer window representations, and effectively captures and transfers complex periodic patterns across domains. Extensive experiments on 12 real-world datasets demonstrate Winformer's effectiveness, achieving an average performance gain of 10.67% over SOTA baselines.
","absKo":"주기성 misalignment는 여러 도메인에 걸친 time-series data 생성에서 여전히 어려운 문제다. 기존 방법은 time-series 상호작용을 개별 point 단위 또는 분절된 segment 단위로 모델링한다. 이는 다양한 도메인에 내재된 복잡한 주기 패턴을 포착하고 적응하는 능력을 제한한다. 이를 해결하기 위해, 우리는 window-wise attention mechanism을 기반으로 한 새로운 diffusion framework인 Winformer를 소개한다. 우리는 attention mechanism의 기본 처리 단위를 pairwise point similarity에서 전체 horizon의 연속 window comparison으로 전환한다. frequency decomposition에서 도출된 adaptive window-alignment kernel을 활용함으로써, Winformer는 의미적으로 더 풍부한 window representation을 제공하고, 도메인 전반에 걸친 복잡한 주기 패턴을 효과적으로 포착하고 전달한다. 12개의 실제 데이터셋에서 수행한 광범위한 실험은 Winformer의 효과를 입증하며, SOTA baseline 대비 평균 10.67%의 성능 향상을 달성한다.
"},{"id":"62390","en":"Time-CoT: Hierarchical Reasoning with Temporal Semantic Codes for Multivariate Time Series Classification","ko":"Time-CoT: 다변량 시계열 분류를 위한 Temporal Semantic Code 기반 계층적 추론","authors":"Kun Zeng, Wu Binquan, Qianli Ma","pos":"#4101","link":"https://openreview.net/forum?id=h4DETFu9cK","abs":"Integrating Large Language Models (LLMs) into time series tasks has yielded impressive performance. While some works aim to enhance accuracy by explicitly designing step-by-step reasoning into prompts, such explicit Chain-of-Thought (CoT) approaches are difficult to generalize to time series. This is because it is difficult to clearly define the reasoning trajectories of time series. In addition, the high heterogeneity across time series often requires specialized prompt designs, limiting the model's scalability. To address these challenges, we propose Time-CoT (Time Series Chain-of-Thought), a hierarchical reasoning framework based on temporal semantic codes for multivariate time series classification. This framework automatically constructs scenario-specific reasoning trajectories based on the characteristics of time series, thereby better eliciting the LLM's reasoning capability for time-series data. Specifically, Time-CoT, we first perform temporal representation pre-training with a multi-view temporal representation fusion to acquire high-quality temporal embeddings. We then discretize these temporal embeddings into hierarchical temporal semantic codes as the reasoning trajectory. Finally, the LLM predicts temporal semantic codes in a stepwise manner and then infers the final labels, thereby establishing a coarse-to-fine decision process. Experiments on ten public multivariate time series datasets demonstrate that the Time-CoT effectively adapts to diverse datasets and outperforms state-of-the-art methods. Our code is available at .
","absKo":"Large Language Models (LLMs)을 time series task에 통합하는 것은 인상적인 성능을 보여 왔다. 일부 연구는 prompt에 step-by-step reasoning을 명시적으로 설계하여 정확도를 높이려 하지만, 이러한 명시적 Chain-of-Thought (CoT) 접근법은 time series에 일반화하기 어렵다. 이는 time series의 reasoning trajectory를 명확하게 정의하기 어렵기 때문이다. 또한 time series 전반의 높은 이질성은 종종 특화된 prompt 설계를 요구하므로, model의 scalability를 제한한다. 이러한 문제를 해결하기 위해, 우리는 다변량 time series classification을 위한 temporal semantic code 기반의 계층적 reasoning framework인 Time-CoT (Time Series Chain-of-Thought)를 제안한다. 이 framework는 time series의 특성에 기반하여 scenario-specific reasoning trajectory를 자동으로 구성함으로써, time-series data에 대한 LLM의 reasoning 능력을 더 잘 이끌어낸다. 구체적으로, Time-CoT는 먼저 multi-view temporal representation fusion을 사용한 temporal representation pre-training을 수행하여 고품질 temporal embedding을 획득한다. سپس 이러한 temporal embedding을 계층적 temporal semantic code로 이산화하여 reasoning trajectory로 사용한다. 마지막으로 LLM은 temporal semantic code를 단계적으로 예측한 뒤 최종 label을 추론함으로써, coarse-to-fine decision process를 확립한다. 10개의 공개 multivariate time series dataset에 대한 실험은 Time-CoT가 다양한 dataset에 효과적으로 적응하며 state-of-the-art method를 능가함을 보여준다. 우리의 코드는 . 에서 이용 가능하다.
"},{"id":"65249","en":"HELIX: Hybrid Encoding with Learnable Identity and Cross-dimensional Synthesis for Time Series Imputation","ko":"HELIX: 시계열 대치를 위한 학습 가능한 정체성 및 교차 차원 합성 기반 하이브리드 인코딩","authors":"Fengming Zhang, Wenjie Du, Huan Zhang, Ke Yu, Shen Qu","pos":"#416","link":"https://openreview.net/forum?id=FN20iuPnEU","abs":"Time series imputation benefits from leveraging cross-feature correlations, yet existing attention based methods re-discover feature relationships at each layer, lacking persistent anchors to maintain consistent representations. To address this, we propose HELIX, which assigns each feature a learnable feature identity, a persistent embedding that captures intrinsic semantic properties throughout the network. Unlike graph-based methods that rely on predefined topology and assume homogeneous spatial relationships, HELIX learns arbitrary feature dependencies end-to-end from temporal co-variation, naturally handling datasets where features mix spatial locations with semantic variables. Integrated with hybrid temporal-feature attention, HELIX achieves the state-of-the-art performance, ranking first among 17 methods across 21 experimental settings. Furthermore, our mechanistic analysis reveals that feature attention progressively aligns with underlying physical structure across layers, demonstrating more effectively exploits cross-feature dependencies for imputation.
","absKo":"시계열 imputation은 feature 간 상관관계를 활용할 때 이점이 크지만, 기존의 attention 기반 방법은 각 layer마다 feature 관계를 다시 발견해야 하므로, 일관된 representation을 유지할 지속적인 anchor가 부족하다. 이를 해결하기 위해 우리는 HELIX를 제안한다. HELIX는 각 feature에 learnable feature identity를 부여하는데, 이는 네트워크 전반에 걸쳐 고유한 semantic property를 포착하는 지속적 embedding이다. 사전에 정의된 topology에 의존하고 균질한 spatial relationship을 가정하는 graph-based 방법과 달리, HELIX는 temporal co-variation만으로 arbitrary feature dependency를 end-to-end로 학습하며, feature가 공간적 위치와 semantic variable을 혼합하는 dataset도 자연스럽게 처리한다. hybrid temporal-feature attention과 결합된 HELIX는 state-of-the-art 성능을 달성하여 21개 experimental setting 전반의 17개 방법 중 1위를 차지했다. 더 나아가 우리의 mechanistic analysis는 feature attention이 layer가 깊어질수록 underlying physical structure와 점진적으로 정렬됨을 보여 주며, imputation을 위해 cross-feature dependency를 더 효과적으로 활용함을 입증한다.
"},{"id":"66473","en":"Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration","ko":"Perceptron 알고리즘으로서의 경사 하강법: 동역학과 암묵적 가속 이해","authors":"Alexander Tyurin","pos":"#3702","link":"https://openreview.net/forum?id=3M1Nsgd9Fb","abs":"Even for the gradient descent (GD) method applied to neural network training, understanding its optimization dynamics, including convergence rate, iterate trajectories, function value oscillations, and especially its implicit acceleration, remains a challenging problem. We analyze nonlinear models with the logistic loss and show that the steps of GD reduce to those of generalized perceptron algorithms (Rosenblatt, 1958), providing a new perspective on the dynamics. This reduction yields significantly simpler algorithmic steps, which we analyze using classical linear algebra tools. Using these tools, we demonstrate on a minimalistic example that the nonlinearity in a two-layer model can provably yield a faster iteration complexity $\\tilde{\\mathcal{O}}(\\sqrt{d})$ compared to $\\Omega(d)$ achieved by linear models, where $d$ is the number of features. This helps explain the optimization dynamics and the implicit acceleration phenomenon observed in neural networks. The theoretical results are supported by extensive numerical experiments. We believe that this alternative view will further advance research on the optimization of neural networks.","absKo":"신경망 학습에 적용된 gradient descent (GD) 방법조차도, 수렴 속도, iterate trajectory, function value의 진동, 특히 implicit acceleration을 포함한 최적화 동학을 이해하는 것은 여전히 어려운 문제다. 우리는 logistic loss를 사용하는 nonlinear model을 분석하고, GD의 step이 generalized perceptron algorithm (Rosenblatt, 1958)의 step으로 환원됨을 보임으로써 동학에 대한 새로운 관점을 제시한다. 이 환원은 훨씬 더 단순한 algorithmic step을 도출하며, 우리는 이를 고전적인 linear algebra 도구를 사용해 분석한다. 이러한 도구를 사용하여, 최소한의 예시에서 두 층 모델의 nonlinearity가 선형 모델이 달성하는 $\\Omega(d)$에 비해 provably 더 빠른 iteration complexity $\\tilde{\\mathcal{O}}(\\sqrt{d})$를 유도할 수 있음을 보인다. 여기서 $d$는 feature의 개수이다. 이는 신경망에서 관찰되는 최적화 동학과 implicit acceleration 현상을 설명하는 데 도움이 된다. 이론적 결과는 광범위한 수치 실험으로 뒷받침된다. 우리는 이러한 대안적 관점이 신경망 최적화 연구를 더욱 발전시킬 것이라고 믿는다."},{"id":"64561","en":"On the Theoretical Limitations of Embedding-based Link Prediction","ko":"Embedding 기반 Link Prediction의 이론적 한계에 대하여","authors":"Samy Badreddine, Emile van Krieken, Luciano Serafini","pos":"#1505","link":"https://openreview.net/forum?id=MB5Qejqmtw","abs":"Neural networks often map low-dimensional embeddings to high-dimensional output spaces. Usually, the output layer is linear, which can create a rank bottleneck that limits the functions a model can represent. Such bottlenecks are ubiquitous in link prediction models, such as knowledge graph embeddings (KGEs), as the output space of entities can be orders of magnitude larger than the embedding dimension. We investigate how rank bottlenecks limit model expressivity for fitting the training data. While previous work focused on sufficient bounds on the embedding dimension required for specific KGEs, we show necessary bounds for all KGEs with a linear output layer, which grow with graph size and connectivity. We also consider a non-linear output layer using mixtures to break the bottleneck without significant parameter overhead. Empirically, we show that models using this non-linear layer improve in ranking performance and probabilistic fit for large and dense datasets at a low parameter cost, as predicted by our theory. Our work reveals how linear output layers limit KGEs and motivates non-linear alternatives for scaling to large and dense graphs.
","absKo":"Neural network는 종종 저차원 embedding을 고차원 output space로 매핑한다. 보통 output layer는 linear한데, 이는 모델이 표현할 수 있는 함수들을 제한하는 rank bottleneck를 만들 수 있다. 이러한 bottleneck은 knowledge graph embedding(KGE)과 같은 link prediction model에서 매우 흔한데, entity의 output space가 embedding dimension보다 몇 자릿수나 더 클 수 있기 때문이다. 우리는 rank bottleneck이 training data fitting에 있어 model expressivity를 어떻게 제한하는지 조사한다. 이전 연구가 특정 KGE에 필요한 embedding dimension의 충분조건에 초점을 맞췄다면, 우리는 linear output layer를 가진 모든 KGE에 대한 필요조건을 보이며, 이는 graph size와 connectivity에 따라 증가한다. 또한 우리는 병목을 큰 parameter overhead 없이 해소하기 위해 mixture를 사용하는 non-linear output layer도 고려한다. 실험적으로, 우리의 이론이 예측하듯이 이 non-linear layer를 사용하는 모델은 큰 규모이면서 밀집된 데이터셋에서 낮은 parameter 비용으로 ranking performance와 probabilistic fit이 향상됨을 보인다. 우리의 연구는 linear output layer가 KGE를 어떻게 제한하는지 밝히고, 대규모·고밀도 graph로 확장하기 위한 non-linear 대안을 제시한다.
"},{"id":"60589","en":"Exploiting weight-space symmetries for approximating curvature","ko":"곡률 근사를 위한 가중치 공간 대칭 활용","authors":"Artem Artemev, Rui Xia, Benjamin M. Boyd, Youjing Yu, Felix Dangel, Guillaume Hennequin, Alberto Bernacchia","pos":"#3708","link":"https://openreview.net/forum?id=yiq2tZojBK","abs":"Many machine learning techniques rely on approximating a loss function's curvature, but this is notoriously hard to do at the scale of modern deep networks. Surprisingly, no previous work has exploited the curvature constraints that arise from well known weight-space symmetries in loss landscapes. By analytically averaging over group actions that leave the loss invariant, we construct structured Hessian approximations from single gradients that can be tractably estimated, stored, and inverted. The choice of user-specified symmetry group directly governs the trade-off between approximation accuracy and computational cost. Moreover, our framework provides a unifying theoretical lens for viewing existing methods; in particular, a specific choice of symmetry group recovers Shampoo/Muon-like curvature estimates. We validate our method on a range of network architectures, and deploy it to second-order optimization benchmarks, including a small language model. Our curvature estimation framework might find applications in other machine learning problems such as uncertainty estimation, continual learning, compression/pruning, training data attribution, and more.
","absKo":"많은 machine learning 기법은 loss function의 curvature를 근사하는 데 의존하지만, 이는 현대의 대규모 deep network 규모에서는 악명 높을 정도로 어렵다. 놀랍게도, 이전 연구들은 loss landscape에서 잘 알려진 weight-space symmetry로부터 발생하는 curvature 제약을 전혀 활용하지 않았다. loss를 불변으로 만드는 group action에 대해 해석적으로 averaging함으로써, 우리는 단일 gradient로부터 구조화된 Hessian 근사를 구성하며, 이는 실용적으로 추정, 저장, 역행렬 계산이 가능하다. 사용자가 지정한 symmetry group의 선택이 근사 정확도와 계산 비용 사이의 trade-off를 직접 좌우한다. 더 나아가, 우리 framework는 기존 방법들을 바라보는 통합적 이론적 관점을 제공한다. 특히, 특정 symmetry group 선택은 Shampoo/Muon 유사 curvature estimate를 복원한다. 우리는 다양한 network architecture에서 우리의 방법을 검증하고, small language model을 포함한 second-order optimization benchmark에 적용한다. 우리의 curvature estimation framework는 uncertainty estimation, continual learning, compression/pruning, training data attribution 등 다른 machine learning 문제에도 적용될 수 있다.
"},{"id":"66034","en":"On the Sample Efficiency of Inverse Dynamics Models for Semi-Supervised Imitation Learning","ko":"준지도 모방 학습을 위한 역동역학 모델의 표본 효율성에 관하여","authors":"Sacha Morin, Moonsub Byeon, Alexia Jolicoeur-Martineau, Sebastien Lachapelle","pos":"#508","link":"https://openreview.net/forum?id=7hg1iTd34D","abs":"Semi-supervised imitation learning (SSIL) consists in learning a policy from a small dataset of action-labeled trajectories and a much larger dataset of action-free trajectories. Some SSIL methods learn an inverse dynamics model (IDM) to predict the action from the current state and the next state. An IDM can act as a policy when paired with a video model (VM-IDM) or as a label generator to perform behavior cloning on action-free data (IDM labeling). In this work, we first show that VM-IDM and IDM labeling learn the same policy in a limit case, which we call the IDM-based policy. We then argue that the previously observed advantage of IDM-based policies over behavior cloning is due to the superior sample efficiency of IDM learning, which we attribute to two causes: (i) the ground-truth IDM tends to be contained in a lower complexity hypothesis class relative to the expert policy, and (ii) the ground-truth IDM is often less stochastic than the expert policy. We argue these claims based on insights from statistical learning theory and novel experiments, including a study of IDM-based policies using recent architectures for unified video-action prediction (UVA). Motivated by these insights, we finally propose an improved version of the existing LAPO algorithm for latent action policy learning. We experiment on the ProcGen, Push-T and Libero benchmarks.
","absKo":"Semi-supervised imitation learning (SSIL)은 action-labeled trajectory의 작은 dataset과 action-free trajectory의 훨씬 더 큰 dataset으로부터 policy를 학습하는 것이다. 일부 SSIL method는 inverse dynamics model (IDM)을 학습해 현재 state와 다음 state로부터 action을 예측한다. IDM은 video model과 결합되면 policy로 작동할 수 있고(VM-IDM), action-free data에 대해 behavior cloning을 수행하기 위한 label generator로도 작동할 수 있다(IDM labeling). 본 연구에서는 먼저 VM-IDM과 IDM labeling이 극한의 경우 동일한 policy를 학습한다는 점을 보이며, 이를 IDM-based policy라고 부른다. 그런 다음, IDM-based policy가 behavior cloning보다 우수하다고 이전에 관찰된 이유는 IDM 학습의 더 높은 sample efficiency 때문이라고 주장하며, 이는 두 가지 원인에 기인한다고 본다: (i) ground-truth IDM은 expert policy에 비해 더 낮은 complexity의 hypothesis class에 포함되는 경향이 있고, (ii) ground-truth IDM은 종종 expert policy보다 덜 stochastic하다. 우리는 statistical learning theory의 통찰과, 최근 unified video-action prediction (UVA) architecture를 사용한 IDM-based policy 연구를 포함한 새로운 실험에 근거해 이러한 주장을 논한다. 이러한 통찰에 동기를 받아, 마지막으로 latent action policy learning을 위한 기존 LAPO algorithm의 개선된 버전을 제안한다. 우리는 ProcGen, Push-T, Libero benchmark에서 실험한다."},{"id":"61325","en":"Local Hessian Spectral Filtering for Robust Intrinsic Dimension Estimation","ko":"강건한 내재 차원 추정을 위한 Local Hessian Spectral Filtering","authors":"Genki Osada","pos":"#3500","link":"https://openreview.net/forum?id=rJ2gMA21ZW","abs":"While diffusion models enable new approaches for estimating Local Intrinsic Dimension (LID), existing methods fail in high-dimensional spaces where noise from vast normal directions overwhelms the tangent signal. We propose Local Hessian Spectral Dimension (LHSD), which resolves this by applying spectral filtering to the log-density Hessian, explicitly cutting off large eigenvalues associated with normal directions to count zero-curvature tangent directions. Implemented using Stochastic Lanczos Quadrature (SLQ), LHSD avoids full Hessian construction, achieving linear scalability with dimension $D$. Experiments on synthetic and real data confirm LHSD’s superior robustness and its utility in detecting memorization in large-scale diffusion models.","absKo":"diffusion model은 Local Intrinsic Dimension (LID) 추정을 위한 새로운 접근을 가능하게 하지만, 기존 방법은 방대한 normal direction의 noise가 tangent signal을 압도하는 고차원 공간에서 실패한다. 우리는 Local Hessian Spectral Dimension (LHSD)를 제안하며, log-density Hessian에 spectral filtering을 적용해 이를 해결한다. 구체적으로, normal direction과 관련된 큰 eigenvalue를 명시적으로 차단하여 zero-curvature tangent direction을 셈으로써 문제를 해결한다. Stochastic Lanczos Quadrature (SLQ)를 사용해 구현된 LHSD는 full Hessian을 구성하지 않으므로 dimension $D$에 대해 선형 확장성을 달성한다. synthetic 및 real data에 대한 실험은 LHSD의 뛰어난 robustness와 대규모 diffusion model에서 memorization을 탐지하는 데 있어 유용함을 확인한다."},{"id":"62420","en":"Evaluating Robustness of Reasoning Models on Parameterized Logical Problems","ko":"매개변수화된 논리 문제에서 Reasoning Models의 Robustness 평가","authors":"Naïm Es-sebbani, Esteban Marquer, Yakoub Salhi, Zied Bouraoui","pos":"#2213","link":"https://openreview.net/forum?id=gnLZWOubWa","abs":"Logic provides a controlled testbed for evaluating LLM-based reasoners, yet standard SAT-style benchmarks often conflate surface difficulty (length, wording, clause order) with the structural phenomena that actually determine satisfiability. We introduce a diagnostic benchmark for \\emph{2-SAT} built from parameterized families of structured 2--CNF formulas, where satisfiability is characterized by the implication graph and can be tuned along interpretable axes. Our generators isolate distinct competencies and failure modes: (i) contradiction-cycle UNSAT cores with controllable size and imbalance, (ii) SAT instances with a prescribed fraction of free variables to control solution multiplicity, (iii) planted backbones that modulate propagation, (iv) late bridge clauses that couple otherwise monotone regions to probe sensitivity to ordering and revision, and (v) symmetry/duplication variants that test abstraction under renaming and redundant structure. We evaluate LLM-based reasoners on decision accuracy and assignment validity, and quantify robustness under semantics-preserving perturbations such as clause reordering, filler clauses, and variable renaming. Across models, we observe sharp performance transitions under targeted structural interventions even when surface statistics are held fixed, revealing brittleness regimes that are invisible to aggregate SAT accuracy.
","absKo":"Logic는 LLM 기반 reasoner를 평가하기 위한 통제된 testbed를 제공하지만, 표준 SAT 스타일 benchmark는 겉보기 난이도(길이, 표현, clause 순서)와 실제 satisfiability를 결정하는 구조적 현상을 종종 혼동한다. 우리는 파라미터화된 structured 2--CNF formula family로부터 구성한 \\emph{2-SAT} 진단 benchmark를 제안하며, 여기서 satisfiability는 implication graph에 의해 특징지어지고 해석 가능한 축을 따라 조절할 수 있다. 우리의 generator는 서로 다른 역량과 실패 모드를 분리한다: (i) 크기와 불균형을 조절할 수 있는 contradiction-cycle UNSAT core, (ii) solution multiplicity를 제어하기 위해 고정된 비율의 free variable을 갖는 SAT instance, (iii) propagation을 조절하는 planted backbone, (iv) 순서와 수정에 대한 민감도를 점검하기 위해 비대칭적으로 monotone region을 결합하는 late bridge clause, 그리고 (v) rename과 redundant structure 하에서의 abstraction을 시험하는 symmetry/duplication variant이다. 우리는 LLM 기반 reasoner를 decision accuracy와 assignment validity 측면에서 평가하고, clause 재정렬, filler clause, variable renaming과 같은 semantics-preserving perturbation 하에서의 robustness를 정량화한다. 여러 model에 걸쳐, surface statistic을 고정한 상태에서도 표적화된 구조적 개입 아래에서 성능이 급격히 전이하는 현상을 관찰했으며, 이를 통해 aggregate SAT accuracy로는 보이지 않는 brittleness regime를 드러낸다.
"},{"id":"61085","en":"FormalRx: Rectify and eXamine Semantic Failures in Autoformalization","ko":"FormalRx: Autoformalization의 의미론적 실패 교정 및 검사","authors":"Haocheng Wang, Baiyu Huang, Yingjia Wan, Xiao Zhu, Xiaoyang Liu, Yinya Huang, Zhijiang Guo","pos":"#308","link":"https://openreview.net/forum?id=toNy7vSxa3","abs":"Autoformalization—translating mathematical problems from natural language into formal proof assistant code—is essential for rigorous machine reasoning. However, existing evaluation frameworks provide only opaque binary verdicts or scalar scores, offering no interpretable insight into where or why translations fail. This opacity severely limits both human understanding and automated system improvement. To bridge this gap, we introduce \\textbf{FormalRX}, a comprehensive diagnostic evaluation framework that transforms autoformalization assessment from black-box judgments into actionable feedback. At its core is \\textbf{\\textsc{Sci} Error Taxonomy}, a hierarchical classification scheme decomposing autoformalization errors into 28 distinct categories with strict priority ordering. Building on this taxonomy, FormalRX provides four critical diagnostic capabilities: (1) alignment verdicts, (2) error categorization, (3) error localization, and (4) correction. Our diagnostic model % specialized diagnostic models and evaluate them across all tasks. Our model FormalRX-8B, achieves F1-scores of 0.88 (verdict) and 0.71 (categorization), along with accuracies of 0.75 (localization) and 0.73 (correction), substantially outperforming both general-purpose LLMs and specialized baselines. By connecting evaluation with actionable insights, FormalRXenables systematic diagnosis and improvement of autoformalization systems.
","absKo":"Autoformalization—즉, 자연어로 된 수학 문제를 formal proof assistant code로 번역하는 일은 엄밀한 machine reasoning에 필수적이다. 그러나 기존 평가 프레임워크는 해석 가능한 통찰을 제공하지 못하는 불투명한 이진 판정이나 scalar score만 제공하여, 번역이 어디서, 왜 실패하는지에 대한 이해를 거의 주지 못한다. 이러한 불투명성은 인간의 이해와 자동 시스템 개선을 크게 제한한다. 이 간극을 메우기 위해, 우리는 autoformalization 평가를 black-box 판정에서 실행 가능한 피드백으로 전환하는 포괄적 진단 평가 프레임워크인 \\textbf{FormalRX}를 제안한다. 그 핵심에는 엄격한 우선순위 순서를 갖는 28개의 서로 다른 범주로 autoformalization 오류를 분해하는 계층적 분류 체계인 \\textbf{\\textsc{Sci} Error Taxonomy}가 있다. 이 taxonomy를 바탕으로 FormalRX는 네 가지 핵심 진단 기능을 제공한다: (1) alignment verdict, (2) error categorization, (3) error localization, (4) correction. 우리의 진단 모델인 FormalRX-8B는 F1-score 0.88(verdict)과 0.71(categorization), 그리고 0.75(localization)와 0.73(correction)의 accuracy를 달성하여, 범용 LLM과 specialized baseline 모두를 크게 능가한다. 평가를 실행 가능한 통찰과 연결함으로써, FormalRX는 autoformalization 시스템의 체계적인 진단과 개선을 가능하게 한다.
"},{"id":"64713","en":"MVI-Bench: A Comprehensive Benchmark for Evaluating Robustness to Misleading Visual Inputs in LVLMs","ko":"MVI-Bench: LVLM에서 오해를 유발하는 시각 입력에 대한 강건성 평가를 위한 종합 벤치마크","authors":"Huiyi Chen, Jiawei Peng, Dehai Min, Changchang Sun, Kaijie Chen, Yan Yan, Xu Yang, Lu Cheng","pos":"#3109","link":"https://openreview.net/forum?id=KcVFMalXYk","abs":"Evaluating the robustness of Large Vision-Language Models (LVLMs) is essential for their continued development and responsible deployment in real-world applications. However, existing robustness benchmarks typically focus on hallucination or misleading textual inputs, while largely overlooking the equally critical challenge posed by misleading visual inputs in assessing visual understanding. To fill this important gap, we introduce MVI-Bench, the first comprehensive benchmark specially designed for evaluating how Misleading Visual Inputs undermine the robustness of LVLMs. Grounded in fundamental visual primitives, the design of MVI-Bench centers on three hierarchical levels of misleading visual inputs: Visual Concept, Visual Attribute, and Visual Relationship. Using this taxonomy, we curate six representative categories and compile 1,248 expertly annotated VQA instances. To facilitate fine-grained robustness evaluation, we further introduce MVI-Sensitivity, a novel metric that characterizes LVLM robustness at a granular level. Empirical results across 18 state-of-the-art LVLMs uncover pronounced vulnerabilities to misleading visual inputs, and our in-depth analyses on MVI-Bench provide actionable insights that can guide the development of more reliable and robust LVLMs.
","absKo":"Large Vision-Language Model (LVLM)의 robustness를 평가하는 것은 실제 응용에서의 지속적인 발전과 책임 있는 배포를 위해 필수적이다. 그러나 기존 robustness benchmark는 대체로 hallucination이나 오해를 유발하는 textual input에 초점을 맞추며, visual understanding을 평가할 때 equally critical한 문제인 오해를 유발하는 visual input은 크게 간과해 왔다. 이러한 중요한 공백을 메우기 위해, 우리는 Misleading Visual Inputs가 LVLM의 robustness를 어떻게 약화시키는지 평가하기 위해 특별히 설계된 최초의 종합 benchmark인 MVI-Bench를 제안한다. 기본적인 visual primitive에 기반하여, MVI-Bench의 설계는 세 가지 계층적 수준의 misleading visual input, 즉 Visual Concept, Visual Attribute, Visual Relationship를 중심으로 구성된다. 이 taxonomy를 사용하여 우리는 여섯 개의 대표적인 범주를 선별하고 1,248개의 전문가 주석이 달린 VQA instance를 구축했다. 세밀한 robustness 평가를 가능하게 하기 위해, 우리는 더 나아가 LVLM robustness를 세분화된 수준에서 특징짓는 새로운 metric인 MVI-Sensitivity를 도입한다. 18개의 최신 LVLM에 대한 실증 결과는 misleading visual input에 대한 뚜렷한 취약성을 드러내며, MVI-Bench에 대한 우리의 심층 분석은 더 신뢰할 수 있고 강건한 LVLM 개발을 이끄는 실질적인 통찰을 제공한다.
"},{"id":"63316","en":"When Can We Trust Survival Model Evaluation ?","ko":"생존 모델 평가를 언제 신뢰할 수 있는가?","authors":"Ghanem BAHRINI, Morgane Barbet-Massin, Sebastien Razakarivony, Valerie Gares, Jean-François Dupuy","pos":"#4113","link":"https://openreview.net/forum?id=Y9gsOEdaNE","abs":"Evaluating survival models under censoring is inherently challenging, yet standard evaluation practices are often applied without explicitly assessing how censoring distorts metric reliability. Performing a large experimental study, we analyze and quantify how survival evaluation metrics are affected in fundamentally different ways by the censoring rate and the censoring mechanism. Using a controlled semi-synthetic framework, we vary both the censoring mechanism (administrative, independent, covariate-dependent) and the censoring rate, and compare standard evaluations based on censored data with oracle evaluations using fully observed event times. This controlled setting enables us to quantify distortions along two complementary axes: numerical bias and preservation of model ranking. Across datasets and metric families, we find that censoring induces systematic, mechanism-dependent distortions. Moderate numerical bias, if not properly addressed, can lead to unreliable model comparison as censoring increases. These findings reveal fundamental limitations of common benchmarking practices and call for more careful interpretation of survival evaluation under realistic censoring.
","absKo":"censoring 하에서 survival model을 평가하는 일은 본질적으로 어렵지만, 표준 evaluation practice는 censoring이 metric reliability를 어떻게 왜곡하는지 명시적으로 점검하지 않은 채 적용되는 경우가 많다. 대규모 실험 연구를 수행하여, censoring rate와 censoring mechanism이 survival evaluation metric에 근본적으로 서로 다른 방식으로 영향을 미치며 그 정도를 정량화한다. 제어된 semi-synthetic framework를 사용해 censoring mechanism(administrative, independent, covariate-dependent)과 censoring rate를 모두 변화시키고, censored data에 기반한 표준 evaluation과 완전히 관측된 event time을 사용하는 oracle evaluation을 비교한다. 이 제어된 설정은 두 개의 상보적 축, 즉 numerical bias와 model ranking 보존 측면에서 왜곡을 정량화할 수 있게 해 준다. 데이터셋과 metric family 전반에서, censoring이 체계적이고 mechanism-dependent한 왜곡을 유발함을 발견한다. 적절히 처리되지 않은 moderate numerical bias는 censoring이 증가할수록 신뢰할 수 없는 model comparison으로 이어질 수 있다. 이러한 결과는 일반적인 benchmarking practice의 근본적 한계를 드러내며, 현실적인 censoring 하에서 survival evaluation을 더 신중하게 해석해야 함을 시사한다.
"},{"id":"64641","en":"STABLEVAL: Disagreement-Aware and Stable Evaluation of AI Systems","ko":"STABLEVAL: AI 시스템의 Disagreement-Aware하고 안정적인 평가","authors":"Sailendra Akash Bonagiri, Gerard Anderias, Saee Patil, Angelina Lai, Devang Borkar, Gezheng Kang, Ishant Gandhi, Setareh Rafatirad, Houman Homayoun","pos":"#4114","link":"https://openreview.net/forum?id=LLMMMRZ4lG","abs":"Human evaluation remains the primary standard for assessing modern AI systems, yet annotator disagreement, bias, and variability make system rankings fragile under standard majority vote aggregation. Majority vote discards annotator reliability and item-level ambiguity, often yielding unstable comparisons across annotator subsets. We introduce STABLEVAL, a disagreement-aware evaluation framework that models latent item correctness and annotator-specific confusion patterns to produce posterior expected item credit and calibrated agent-level scores. Unlike label-denoising approaches such as Dawid–Skene, STABLEVAL is explicitly designed for stable and uncertainty-aware system evaluation rather than hard label recovery. We formalize ranking stability as a first-class evaluation objective and analyze how aggregation methods preserve or distort underlying annotator behavior. Across controlled synthetic experiments and multiple real-world human-annotated benchmarks, majority vote exhibits increasing score error and ranking instability under annotator heterogeneity and adversarial noise, while STABLEVAL yields more stable and statistically grounded system rankings. These results demonstrate that modeling disagreement is essential for robust and reproducible AI evaluation.
","absKo":"현대 AI system을 평가하는 데 있어 인간 평가는 여전히 주요 표준이지만, annotator 간 disagreement, bias, variability 때문에 standard majority vote aggregation 하에서 system ranking은 쉽게 불안정해진다. Majority vote는 annotator reliability와 item-level ambiguity를 버리므로, annotator subset 간 비교가 불안정해지는 경우가 많다. 우리는 latent item correctness와 annotator-specific confusion pattern을 모델링하여 posterior expected item credit와 calibrated agent-level score를 산출하는 disagreement-aware evaluation framework인 STABLEVAL을 제안한다. Dawid–Skene과 같은 label-denoising 접근과 달리, STABLEVAL은 hard label recovery가 아니라 안정적이고 uncertainty-aware한 system evaluation을 위해 명시적으로 설계되었다. 우리는 ranking stability를 일급 evaluation objective로 정식화하고, aggregation method가 annotator behavior를 어떻게 보존하거나 왜곡하는지 분석한다. 통제된 synthetic experiment와 여러 실제 human-annotated benchmark 전반에서, majority vote는 annotator heterogeneity와 adversarial noise 하에서 score error와 ranking instability가 증가하는 반면, STABLEVAL은 더 안정적이고 통계적으로 타당한 system ranking을 산출한다. 이러한 결과는 robust하고 재현 가능한 AI evaluation을 위해 disagreement를 모델링하는 것이 필수적임을 보여준다.
"},{"id":"61904","en":"SEDRAS: Symbolically Evaluated Deep Research And Science","ko":"SEDRAS: 기호 기반 Deep Research And Science","authors":"Fredrik Carlsson, Dan Ward, Joseph Ortiz, Fangyu Liu, Joakim Nivre","pos":"#4115","link":"https://openreview.net/forum?id=loFObEO7qf","abs":"As the reasoning capabilities of Large Language Models (LLMs) expand, evaluating true inductive generalization on entirely unseen data becomes increasingly challenging. To this end, we introduce a modular in-context learning evaluation framework, that is scalable and extendable across its separate modules. This is based upon the notion of synthetic scenarios with controllable complexity across three independent axes: \\ \\textbf{1)} the logic of the underlying data distribution (UDD) \\textbf{2)} their projection into diverse representations, and \\textbf{3)} the interaction dynamic determining how the model accesses and explores the data. For these scenarios, the model is tasked to perform in-context scientific discovery and produce an interpretable theory in natural language that explains the observations. In a separate conversation, the model is then tasked to convert this generated theory into executable code, which can be programmatically compared against the underlying data distribution. Using this modular framework we produce an initial suite of 600 diverse scenarios that we use to evaluate and analyze various state-of-the-art LLMs. Although these experiments show that Gemini 3.0 Pro achieves the best overall score, each model performs the best at different tasks. For example: GPT 5.2 is the clear winner on pure symbolic data, Claude Opus 4.5 is the best at working with files, Gemini is the strongest model for the non-dynamic scenarios, and Grok 4.1 is the strongest model when UDD complexity scales. Furthermore, all models struggle with active exploration and are seemingly incapable of identifying informative data points, resulting in less efficient exploration than a random baseline. This highlights the room for improvement state-of-the-art LLMs have, even without further scaling of the complexity of the benchmark.
","absKo":"대규모 언어 모델(LLMs)의 추론 능력이 확장됨에 따라, 완전히 보지 못한 데이터에서의 진정한 귀납적 일반화를 평가하는 일은 점점 더 어려워지고 있다. 이를 위해 우리는 개별 모듈들에 걸쳐 확장 가능하고 확장성을 갖춘, 모듈형 in-context learning 평가 프레임워크를 제안한다. 이는 서로 독립적인 세 가지 축에서 복잡도를 제어할 수 있는 합성 시나리오 개념에 기반한다: \\ \\textbf{1)} 기반 데이터 분포(UDD)의 논리, \\textbf{2)} 이를 다양한 표현으로 사상하는 방식, 그리고 \\textbf{3)} 모델이 데이터에 접근하고 탐색하는 방식을 결정하는 상호작용 동역학. 이러한 시나리오에서 모델은 in-context scientific discovery를 수행하고, 관찰을 설명하는 자연어 형태의 해석 가능한 이론을 생성해야 한다. 이어지는 별도의 대화에서, 모델은 이렇게 생성된 이론을 실행 가능한 코드로 변환해야 하며, 이 코드는 기반 데이터 분포와 프로그램적으로 비교할 수 있다. 이 모듈형 프레임워크를 사용하여 우리는 600개의 다양한 시나리오로 구성된 초기 세트를 생성하고, 이를 통해 여러 state-of-the-art LLM을 평가 및 분석한다. 이 실험들은 Gemini 3.0 Pro가 전체적으로 가장 높은 점수를 달성함을 보여주지만, 각 모델은 서로 다른 과제에서 가장 잘 수행한다. 예를 들어, GPT 5.2는 순수한 symbolic data에서 확실한 1위이고, Claude Opus 4.5는 파일을 다루는 작업에서 가장 뛰어나며, Gemini는 비동적 시나리오에서 가장 강력한 모델이고, Grok 4.1은 UDD 복잡도가 증가할 때 가장 강력한 모델이다. 더 나아가, 모든 모델은 능동적 탐색에 어려움을 겪으며 유의미한 데이터 포인트를 식별하지 못하는 것으로 보이고, 그 결과 random baseline보다도 비효율적인 탐색을 보인다. 이는 benchmark의 복잡도를 추가로 확장하지 않더라도, state-of-the-art LLM들이 여전히 개선의 여지가 큼을 보여준다.
"},{"id":"64935","en":"CiteGuard: Conformal False-Discovery Control for Faithful Retrieval-Augmented Generation","ko":"CiteGuard: 충실한 Retrieval-Augmented Generation을 위한 Conformal False-Discovery 제어","authors":"Xiangyu Jiang","pos":"#4214","link":"https://openreview.net/forum?id=IXV8eAZsKc","abs":"Large language models increasingly rely on retrieval-augmented generation (RAG) to ground responses in external corpora. Yet, even with strong retrievers, generated statements can remain unsupported, and the resulting citations are often not reliable indicators of evidence. We introduce CiteGuard, a RAG decoding layer that treats sentence-level factuality as a multiple-testing problem and combines conformal calibration with false-discovery-rate control. CiteGuard converts claim–evidence scores into p-values for the null hypothesis \"unsupported\" and uses BH/BY procedures to decide which claims to keep (with citations) and which to abstain on. On FEVER and Natural Questions, CiteGuard reduces the false-discovery rate among accepted claims from 28–31% (vanilla RAG) to below 10% at α=0.10, while retaining 86–92% of supported claims. This yields a user-controlled risk budget: practitioners can trade off faithfulness and coverage via α, with finite-sample guarantees under standard exchangeability assumptions.
","absKo":"대형 언어 모델은 응답을 external corpus에 근거시키기 위해 retrieval-augmented generation(RAG)에 점점 더 의존하고 있다. 그러나 강력한 retriever가 있더라도 생성된 진술은 여전히 근거가 없을 수 있으며, 그에 따른 citation도 증거를 신뢰할 수 있게 나타내는 지표가 아닐 때가 많다. 우리는 문장 수준 factuality를 multiple-testing 문제로 간주하고 conformal calibration과 false-discovery-rate 제어를 결합하는 RAG decoding layer인 CiteGuard를 제안한다. CiteGuard는 claim-evidence score를 \"unsupported\"라는 귀무가설에 대한 p-value로 변환하고, BH/BY 절차를 사용하여 어떤 claim을 유지할지(인용과 함께)와 어떤 claim은 보류할지 결정한다. FEVER와 Natural Questions에서 CiteGuard는 수용된 claim들 중 false-discovery rate를 28-31%(vanilla RAG)에서 α=0.10에서 10% 미만으로 낮추는 한편, 지원되는 claim의 86-92%를 유지한다. 이는 사용자가 제어할 수 있는 risk budget을 제공하며, 실무자는 standard exchangeability 가정 하에서 finite-sample guarantee와 함께 α를 통해 faithfulness와 coverage를 절충할 수 있다.
"},{"id":"61131","en":"Efficient Inference for Noisy LLM-as-a-Judge Evaluation","ko":"노이즈가 있는 LLM-as-a-Judge 평가를 위한 효율적 추론","authors":"Yiqun Chen, Sizhu Lu, Sijia Li, Moran Guo, Shengyi Li","pos":"#4215","link":"https://openreview.net/forum?id=tPcL3fgkjc","abs":"Large language models (LLMs) are increasingly used as automatic evaluators of generative AI outputs, a paradigm often referred to as \"LLM-as-a-judge.\" In practice, LLM judges are imperfect predictions for the underlying truth and can exhibit systematic, non-random errors. Two main approaches have recently been proposed to address this issue: (i) direct measurement-error correction based on misclassification models such as Rogan--Gladen-style estimators, and (ii) surrogate-outcome approaches such as prediction-powered inference (PPI), which correct bias by calibrating prediction residuals on a small set of gold-standard human labels. In this paper, we systematically study the performance of these two approaches for estimating mean parameters (e.g., average benchmark scores or pairwise win rates). Leveraging tools from semiparametric efficiency theory, we unify the two classes of estimators by deriving explicit forms of efficient influence function-based efficient estimators and characterize conditions under which PPI-style estimators attain strictly smaller asymptotic variance than measurement-error corrections. We verify our theoretical results through simulations and demonstrate the methods on a real-data example using our open-source software package for performing the calibration.
","absKo":"Large language models (LLMs)은 생성형 AI 출력의 자동 평가자로 점점 더 많이 활용되고 있으며, 이 패러다임은 흔히 \"LLM-as-a-judge\"라고 불린다. 실제로 LLM judge는 근본적인 정답에 대한 불완전한 예측이며, 체계적이고 비무작위적인 오류를 보일 수 있다. 최근 이 문제를 다루기 위해 두 가지 주요 접근법이 제안되었다: (i) Rogan--Gladen 스타일 추정량과 같은 misclassification model에 기반한 direct measurement-error correction, 그리고 (ii) 소수의 gold-standard human label에서 prediction residual을 보정하여 bias를 수정하는 prediction-powered inference (PPI)와 같은 surrogate-outcome approaches이다. 본 논문에서는 평균 파라미터(예: 평균 benchmark score 또는 pairwise win rate)를 추정할 때 이 두 접근법의 성능을 체계적으로 연구한다. semiparametric efficiency theory의 도구를 활용하여, 우리는 efficient influence function 기반 efficient estimator의 명시적 형태를 유도함으로써 두 추정량 계열을 통합하고, PPI 스타일 추정량이 measurement-error correction보다 엄밀히 더 작은 asymptotic variance를 달성하는 조건을 규명한다. 이론적 결과는 simulation으로 검증하고, calibration을 수행하는 open-source software package를 사용한 실제 데이터 예시를 통해 방법을 시연한다.
"},{"id":"63586","en":"Attributed Network Alignment: Statistical Limits and Efficient Algorithm","ko":"속성 네트워크 정렬: 통계적 한계와 효율적 알고리즘","authors":"Dong Huang, Chenyang Tian, Pengkun Yang","pos":"#3217","link":"https://openreview.net/forum?id=VmY6aQZNhW","abs":"This paper studies the problem of recovering a hidden vertex correspondence between two correlated graphs when both edge weights and node features are observed. While most existing work on graph alignment relies primarily on edge information, many real-world applications provide informative node features in addition to graph topology. To capture this setting, we introduce the featured correlated Gaussian Wigner model, where two graphs are coupled through an unknown vertex permutation, and the node features are correlated under the same permutation. We characterize the optimal information-theoretic thresholds for exact recovery and partial recovery of the latent mapping. On the algorithmic side, we propose QPAlign, an efficient method based on a quadratic programming relaxation, and demonstrate its strong empirical performance on both synthetic and real datasets. Moreover, we also derive theoretical guarantees for the proposed procedure, supporting its reliability and providing convergence guarantees.
","absKo":"이 논문은 edge weight와 node feature가 모두 관측될 때, 두 개의 correlated graph 사이에서 숨겨진 vertex correspondence를 복원하는 문제를 연구한다. 기존의 graph alignment 연구 대부분은 주로 edge information에 의존하지만, 많은 실제 응용에서는 graph topology뿐 아니라 유의미한 node feature도 제공된다. 이러한 setting을 포착하기 위해, 우리는 두 graph가 알려지지 않은 vertex permutation을 통해 결합되고 node feature가 동일한 permutation 하에서 상관을 갖는 featured correlated Gaussian Wigner model을 도입한다. 우리는 latent mapping의 exact recovery와 partial recovery에 대한 최적의 information-theoretic threshold를 규명한다. 알고리즘 측면에서, 우리는 quadratic programming relaxation에 기반한 효율적인 방법인 QPAlign을 제안하고, synthetic dataset과 real dataset 모두에서 강력한 empirical performance를 보인다. 더 나아가, 제안한 절차에 대한 이론적 보장도 도출하여 신뢰성을 뒷받침하고 수렴 보장을 제공한다.
"},{"id":"64983","en":"Conditional Quantile Adjusted Conformal Prediction for Time Series","ko":"시계열을 위한 조건부 Quantile 조정 Conformal Prediction","authors":"Cheng Yu, Zhoufan Zhu, Ke Zhu","pos":"#4102","link":"https://openreview.net/forum?id=I7qW7mXhRF","abs":"Conformal prediction is challenging for time series with the time-varying conditional distributions. Existing sequential conformal methods can yield volatile, non-nested prediction intervals due to noisy tail conditional quantile estimation and quantile crossing issue. To overcome this challenge, we construct the prediction intervals for time series via a novel method called Conditional Quantile Adjusted Conformal Prediction (CQACP), which stabilizes sequential conformal calibration by modeling the conditional quantile curve of nonconformity score. At each time step, CQACP evaluates a base conditional quantile learner on a grid of quantile levels, and fits a Cornish-Fisher approximation parameterized by conditional moments of nonconformity score with monotonicity constraints. Asymptotically, we prove the conditional validity of the prediction interval under serial dependence and show improved conditional quantile estimation accuracy. Experiments on multiple real-world datasets demonstrate that CQACP maintains accurate coverage and produces smooth, narrow, and nested prediction intervals across different significance levels and prediction models.
","absKo":"Conformal prediction은 time-varying conditional distribution을 갖는 time series에서 어렵다. 기존 sequential conformal method는 noisy tail conditional quantile estimation과 quantile crossing 문제 때문에 변동성이 크고 non-nested prediction interval을 산출할 수 있다. 이러한 문제를 극복하기 위해, 우리는 Conditional Quantile Adjusted Conformal Prediction (CQACP)이라 불리는 새로운 방법을 통해 time series의 prediction interval을 구성한다. CQACP는 nonconformity score의 conditional quantile curve를 모델링함으로써 sequential conformal calibration을 안정화한다. 각 time step에서 CQACP는 quantile level의 grid 위에서 base conditional quantile learner를 평가하고, monotonicity constraint가 적용된 nonconformity score의 conditional moment로 parameterize된 Cornish-Fisher approximation을 적합한다. 점근적으로, 우리는 serial dependence 하에서 prediction interval의 conditional validity를 증명하고, conditional quantile estimation 정확도의 향상을 보인다. 여러 실제 dataset 실험은 CQACP가 다양한 significance level과 prediction model 전반에서 정확한 coverage를 유지하면서 매끄럽고 좁으며 nested인 prediction interval을 생성함을 보여준다.
"},{"id":"63771","en":"Scaling Continual Learning with Bi-Level Routing Mixture-of-Experts","ko":"Bi-Level Routing Mixture-of-Experts로 Continual Learning 확장하기","authors":"Meng Lou, Yunxiang Fu, Yizhou Yu","pos":"#4001","link":"https://openreview.net/forum?id=Tvcii7gyRX","abs":"Continual learning, especially class-incremental learning (CIL), on the basis of a pre-trained model (PTM) has garnered substantial research interest in recent years. However, how to effectively learn both discriminative and comprehensive feature representations while maintaining stability and plasticity over very long task sequences remains an open problem. We propose $\\mathbf{CaRE}$, a scalable $\\mathbf{C}$ontinual Le$\\mathbf{a}$rner with efficient Bi-Level $\\mathbf{R}$outing Mixture-of-$\\mathbf{E}$xperts (BR-MoE). The core idea of BR-MoE is a bi-level routing mechanism: a router selection stage that dynamically activates relevant task-specific routers, followed by an expert routing phase that dynamically activates and aggregates experts, aiming to inject discriminative and comprehensive representations into every intermediate network layer. On the other hand, we introduce a challenging evaluation protocol for comprehensively assessing CIL methods across very long task sequences spanning hundreds of tasks. Extensive experiments show that CaRE demonstrates leading performance across a variety of datasets and task settings, including commonly used CIL datasets with classical CIL settings (e.g., 5-20 tasks). To the best of our knowledge, CaRE is the first continual learner that scales to very long task sequences (ranging from 100 to over 300 non-overlapping tasks), while outperforming all baselines by a large margin on such task sequences.","absKo":"사전학습 모델(PTM)을 기반으로 한 continual learning, 특히 class-incremental learning(CIL)은 최근 상당한 연구 관심을 받아왔다. 그러나 매우 긴 task sequence 전반에 걸쳐 stability와 plasticity를 유지하면서 discriminative하고 comprehensive한 feature representation을 효과적으로 학습하는 방법은 여전히 열린 문제이다. 우리는 효율적인 Bi-Level Routing Mixture-of-Experts(BR-MoE)를 갖춘 확장 가능한 Continual Learner $\\mathbf{CaRE}$를 제안한다. BR-MoE의 핵심 아이디어는 bi-level routing 메커니즘으로, 먼저 router selection 단계에서 관련 task-specific router를 동적으로 활성화하고, 이어 expert routing phase에서 expert를 동적으로 활성화하고 집계하여 각 intermediate network layer에 discriminative하고 comprehensive한 representation을 주입하는 것을 목표로 한다. 또한, 우리는 수백 개의 task에 걸친 매우 긴 task sequence에서 CIL 방법을 포괄적으로 평가하기 위한 도전적인 evaluation protocol을 도입한다. 광범위한 실험은 CaRE가 일반적으로 사용되는 CIL dataset과 classical CIL setting(예: 5-20개 task)을 포함한 다양한 dataset과 task setting에서 선도적인 성능을 보임을 보여준다. 우리가 아는 한, CaRE는 100개에서 300개가 넘는 non-overlapping task에 이르는 매우 긴 task sequence까지 확장되면서, 그러한 task sequence에서 모든 baseline을 큰 차이로 능가하는 최초의 continual learner이다."},{"id":"63409","en":"TRACER: Persistent Regularization for Robust Multimodal Finetuning","ko":"TRACER: 견고한 멀티모달 미세조정을 위한 지속적 정규화","authors":"Hesam Asadollahzadeh, Feng Liu, Christopher Leckie, Sarah Erfani","pos":"#1609","link":"https://openreview.net/forum?id=XOYXLQRlj8","abs":"Finetuning pretrained multimodal models improves in-distribution performance but often degrades out-of-distribution (OOD) robustness, a phenomenon known as catastrophic forgetting. We develop a theoretical framework for multimodal contrastive finetuning by introducing a contrastive target matrix that reformulates the objective as a matrix least-squares problem, yielding closed-form solutions and a geometric decomposition of how different strategies manage pretrained knowledge. Our analysis reveals a largely overlooked limitation: standard Exponential Moving Average (EMA) teachers, widely used in robust finetuning, suffer from late-stage collapse where the teacher--student gap vanishes precisely when OOD robustness is most vulnerable. We prove that a Weighted Moving Average (WMA) teacher, which integrates the full optimization trajectory, maintains a persistent regularizing force over finite horizons, enabling bias-free convergence in the task subspace while preserving orthogonal knowledge. These insights motivate TRACER (Trajectory-Robust Anchoring for Contrastive Encoder Regularization), which combines contrastive learning with WMA-guided multi-perspective distillation. Extensive experiments on CLIP finetuning demonstrate consistent OOD accuracy and calibration gains across three backbone architectures. Comprehensive ablations across four axes (distillation components, regularization strength, update frequency, and kernel shape) confirm that TRACER is both principled and robust to hyperparameter choices.
","absKo":"pretrained multimodal model을 finetuning하면 in-distribution 성능은 향상되지만, 종종 out-of-distribution (OOD) robustness가 저하되며, 이는 catastrophic forgetting으로 알려진 현상이다. 우리는 contrastive target matrix를 도입하여 objective를 matrix least-squares 문제로 재구성함으로써 multimodal contrastive finetuning에 대한 이론적 프레임워크를 구축하고, closed-form 해와 함께 서로 다른 전략이 pretrained knowledge를 어떻게 관리하는지에 대한 기하학적 분해를 도출한다. 우리의 분석은 널리 간과되어 온 한계를 드러낸다. robust finetuning에서 널리 사용되는 standard Exponential Moving Average (EMA) teacher는 후반 단계 붕괴를 겪는데, 이때 teacher-student gap이 OOD robustness가 가장 취약한 시점에 정확히 사라진다. 우리는 전체 optimization trajectory를 통합하는 Weighted Moving Average (WMA) teacher가 finite horizon에서 지속적인 regularizing force를 유지하여, task subspace에서는 bias-free convergence를 가능하게 하면서 orthogonal knowledge는 보존함을 증명한다. 이러한 통찰은 contrastive learning과 WMA-guided multi-perspective distillation을 결합한 TRACER (Trajectory-Robust Anchoring for Contrastive Encoder Regularization)를 제안하도록 이끈다. CLIP finetuning에 대한 광범위한 실험은 세 개의 backbone architecture 전반에서 일관된 OOD accuracy와 calibration 향상을 보여준다. distillation components, regularization strength, update frequency, kernel shape의 네 축에 대한 포괄적 ablation은 TRACER가 원리적일 뿐 아니라 hyperparameter 선택에도 강건함을 확인한다.
"},{"id":"61919","en":"Convergence Rate of the Last Iterate of Stochastic Proximal Algorithms","ko":"Stochastic Proximal 알고리즘의 마지막 반복 수렴 속도","authors":"Kevin Kurian Thomas Vaidyan, Michael Friedlander, Ahmet Alacaoglu","pos":"#2917","link":"https://openreview.net/forum?id=lgELNxtUNn","abs":"We analyze two classical algorithms for solving additively composite convex optimization problems where the objective is the sum of a smooth term and a nonsmooth regularizer: proximal stochastic gradient method for a single regularizer; and the randomized incremental proximal method, which uses the proximal operator of a randomly selected function when the regularizer is given as the sum of many nonsmooth functions. We focus on relaxing the bounded variance assumption that is common, yet stringent, for getting last iterate convergence rates. We prove the $\\widetilde{O}(1/\\sqrt{T})$ rate of convergence for the last iterate of both algorithms under componentwise convexity and smoothness, which is optimal up to log terms. Our results apply directly to graph-guided regularizers that arise in multi-task and federated learning, where the regularizer decomposes as a sum over edges of a collaboration graph.","absKo":"우리는 목적함수가 smooth term과 nonsmooth regularizer의 합으로 이루어진 additively composite convex optimization problem을 푸는 두 가지 고전적 알고리즘을 분석한다. 하나는 단일 regularizer를 위한 proximal stochastic gradient method이고, 다른 하나는 regularizer가 여러 nonsmooth function의 합으로 주어질 때 무작위로 선택된 함수의 proximal operator를 사용하는 randomized incremental proximal method이다. 우리는 last iterate convergence rate를 얻기 위해 흔하지만 엄격한 bounded variance assumption을 완화하는 데 초점을 맞춘다. 우리는 componentwise convexity와 smoothness 하에서 두 알고리즘의 last iterate에 대해 $\\widetilde{O}(1/\\sqrt{T})$ 수렴률을 증명하며, 이는 log term을 제외하면 optimal하다. 우리의 결과는 multi-task learning과 federated learning에서 나타나는 graph-guided regularizer에 직접 적용되며, 이때 regularizer는 collaboration graph의 edge들에 대한 합으로 분해된다."},{"id":"63913","en":"Abductive Reasoning with Probabilistic Commonsense","ko":"확률적 상식 지식을 활용한 abductive reasoning","authors":"Joseph Cotnareanu, Chiara Roverato, Han Zhou, Didier Chételat, Yingxue Zhang, Mark Coates","pos":"#109","link":"https://openreview.net/forum?id=SayI5V4CBC","abs":"Recent efforts to improve the reasoning abilities of Large Language Models (LLMs) have focused on integrating formal logic solvers within neurosymbolic frameworks. A key challenge is that formal solvers lack commonsense world knowledge, preventing them from making reasoning steps that humans find obvious. Prior methods address this by using LLMs to supply missing commonsense assumptions, but these approaches implicitly assume universal agreement on such commonsense facts. In reality, commonsense beliefs vary across individuals. We propose a probabilistic framework for abductive commonsense reasoning that explicitly models this variation, aiming to determine whether most people would judge a statement as true or false. We introduce Probabilistic Abductive CommonSense (PACS), a novel algorithm that uses an LLM and a formal solver to sample proofs as observations of individuals’ distinct commonsense beliefs, and aggregates conclusions across these samples. Empirically, PACS outperforms chain-of-thought reasoning, prior neurosymbolic methods, and search-based approaches across multiple benchmarks.
","absKo":"Large Language Models(LLMs)의 추론 능력을 향상시키기 위한 최근의 노력은 formal logic solver를 neurosymbolic framework에 통합하는 데 초점을 맞추고 있습니다. 핵심 도전은 formal solver가 commonsense world knowledge를 갖고 있지 않아, 인간에게는 명백한 추론 단계를 수행하지 못한다는 점입니다. 기존 방법들은 LLM을 사용해 누락된 commonsense 가정을 공급함으로써 이를 해결하지만, 이러한 접근은 암묵적으로 그런 commonsense 사실에 대해 보편적 합의가 존재한다고 가정합니다. 실제로는 commonsense belief는 개인마다 다릅니다. 우리는 이러한 변이를 명시적으로 모델링하는 abductive commonsense reasoning을 위한 probabilistic framework를 제안하며, 목표는 대부분의 사람들이 어떤 진술을 참 또는 거짓으로 판단할지를 결정하는 것입니다. 우리는 Probabilistic Abductive CommonSense(PACS)를 소개합니다. PACS는 LLM과 formal solver를 사용하여 proof를 개별 사람들의 서로 다른 commonsense belief에 대한 observation으로 샘플링하고, 이 샘플들에 걸쳐 결론을 집계하는 새로운 알고리즘입니다. 실험적으로, PACS는 여러 benchmark에서 chain-of-thought reasoning, 기존 neurosymbolic 방법, 그리고 search-based 접근법보다 우수한 성능을 보입니다.
"},{"id":"63227","en":"ECCO: Evidence-Driven Causal Reasoning for Compiler Optimization","ko":"ECCO: 컴파일러 최적화를 위한 증거 기반 인과 추론","authors":"Haolin Pan, Lianghong Huang, Dong Jinyuan, Mingjie Xing, Yanjun Wu","pos":"#3703","link":"https://openreview.net/forum?id=YvqOTT5S9Y","abs":"Compiler auto-tuning faces a dichotomy between traditional black-box search methods, which lack semantic guidance, and recent Large Language Model (LLM) approaches, which often suffer from superficial pattern matching and causal opacity. In this paper, we introduce ECCO, a framework that bridges interpretable reasoning with combinatorial search. We first propose a reverse engineering methodology to construct a Chain-of-Thought dataset, explicitly mapping static code features to verifiable performance evidence. This enables the model to learn the causal logic governing optimization decisions rather than merely imitating sequences. Leveraging this interpretable prior, we design a collaborative inference mechanism where the LLM functions as a strategist, defining optimization intents that dynamically guide the mutation operations of a genetic algorithm. Experimental results on seven datasets demonstrate that ECCO outperforms the LLVM opt -O3 baseline, achieving an average 24.44% reduction in cycles. Our code is available at https://anonymous.4open.science/r/ECCO-Evidence-Driven-Causal-Reasoning-for-Compiler-Optimization-3AD2.
","absKo":"Compiler auto-tuning은 semantic guidance가 부족한 전통적인 black-box search method와, 표면적인 pattern matching 및 인과적 불투명성에 자주 시달리는 최근 Large Language Model (LLM) 접근법 사이의 이분법에 직면해 있다. 본 논문에서는 해석 가능한 reasoning과 combinatorial search를 연결하는 framework인 ECCO를 소개한다. 우리는 먼저 static code feature를 검증 가능한 performance evidence에 명시적으로 매핑하는 Chain-of-Thought dataset을 구축하기 위한 reverse engineering methodology를 제안한다. 이를 통해 model은 단순히 sequence를 모방하는 것이 아니라 optimization decision을 지배하는 causal logic을 학습할 수 있다. 이러한 해석 가능한 prior를 활용하여, 우리는 LLM이 strategist로 기능하며 optimization intent를 정의하고 genetic algorithm의 mutation operation을 동적으로 안내하는 collaborative inference mechanism을 설계한다. 7개 dataset에서의 실험 결과, ECCO는 LLVM opt -O3 baseline을 능가하며 평균 24.44%의 cycle 감소를 달성했다. 코드: https://anonymous.4open.science/r/ECCO-Evidence-Driven-Causal-Reasoning-for-Compiler-Optimization-3AD2.
"},{"id":"62600","en":"A General Neural Backbone for Mixed-Integer Linear Optimization via Dual Attention","ko":"Dual Attention으로 Mixed-Integer Linear Optimization을 위한 General Neural Backbone","authors":"Peixin Huang, Yaoxin Wu, Yining Ma, Cathy Wu, Wen Song, Wei Zhang","pos":"#3709","link":"https://openreview.net/forum?id=fBAMvSNH8N","abs":"Mixed-integer linear programming (MILP) is a foundational framework for combinatorial optimization across science and engineering, but remains hard to solve at scale due to NP-hardness.Recent learning-based methods typically model MILP instances as variable–constraint bipartite graphs and use Graph Neural Networks (GNNs) for representation learning, yet their locality limits representation power.We propose an attention-driven neural backbone that adopts an element-centric view of variables and constraints, with dual attention performing parallel intra-type self-attention and inter-type cross-attention.Across three representative tasks at the instance, element, and solving-state levels, our model consistently outperforms conventional GNN-based architectures, highlighting attention-based, element-centric modeling as a powerful foundation for learning-enhanced combinatorial optimization.
","absKo":"혼합정수 선형계획법(MILP)은 과학과 공학 전반의 조합 최적화를 위한 기초적인 프레임워크이지만, NP-hard 특성 때문에 대규모로 풀기에는 여전히 어렵다. 최근의 학습 기반 방법들은 보통 MILP 인스턴스를 변수-제약 이분 그래프로 모델링하고 표현 학습을 위해 Graph Neural Networks (GNNs)를 사용하지만, 이들의 국소성은 표현력을 제한한다. 우리는 변수와 제약을 요소 중심(element-centric)으로 바라보는 attention-driven neural backbone을 제안하며, dual attention을 통해 동일 유형 내부의 self-attention과 서로 다른 유형 간 cross-attention을 병렬로 수행한다. 인스턴스, 요소, solving-state 수준의 세 가지 대표 과제 전반에서, 우리의 모델은 기존 GNN 기반 아키텍처를 일관되게 상회하며, attention 기반의 요소 중심 모델링이 학습 강화 조합 최적화를 위한 강력한 기반임을 보여준다.
"},{"id":"64087","en":"Unsupervised Neural Langevin Sampler for Mixed Integer Linear Programming","ko":"혼합 정수 선형 계획법을 위한 비지도 신경망 Langevin 샘플러","authors":"Yixin Huang, Shengyu Feng, Yiming Yang","pos":"#3710","link":"https://openreview.net/forum?id=R3za7ajCwo","abs":"Existing neural combinatorial optimization (CO) solvers often rely heavily on expensive labeled data and additional post-processing to produce feasible solutions. Research into mixed integer linear programs (MILPs) is particularly limited due to the lack of effective heuristics for feasibility and the challenge of modeling mixed-type variables for neural solvers. To address these issues, we propose a novel unsupervised Langevin sampler for solving MILPs. Our framework learns only integer variables, while continuous variables are solved using an exact linear programming solver, thus isolating the combinatorial hardness of the problem and avoiding unnecessary modeling complexity. The sampler is based on Langevin dynamics and incorporates both objective optimization and constraint satisfaction into a unified energy function, enabling the model to jointly learn feasibility and optimality. Experiments demonstrate that our method achieves 100\\% feasibility without expensive post-processing and matches or outperforms supervised solvers on benchmark datasets, highlighting its effectiveness and scalability.
","absKo":"기존의 neural combinatorial optimization(CO) solver는 feasible solution을 생성하기 위해 비싼 labeled data와 추가 post-processing에 크게 의존하는 경우가 많다. mixed integer linear program(MILP)에 대한 연구는 feasibility를 위한 효과적인 heuristic의 부족과, neural solver를 위해 mixed-type variable을 모델링하는 어려움 때문에 특히 제한적이다. 이러한 문제를 해결하기 위해, 우리는 MILP를 푸는 새로운 unsupervised Langevin sampler를 제안한다. 우리의 framework는 integer variable만 학습하고, continuous variable은 정확한 linear programming solver를 사용해 풀이함으로써 문제의 combinatorial hardness를 분리하고 불필요한 모델링 복잡성을 피한다. 이 sampler는 Langevin dynamics를 기반으로 하며, objective optimization과 constraint satisfaction을 하나의 통합된 energy function에 함께 반영하여 모델이 feasibility와 optimality를 공동으로 학습할 수 있게 한다. 실험 결과, 본 방법은 비싼 post-processing 없이 100\\% feasibility를 달성하고, benchmark dataset에서 supervised solver와 동등하거나 더 우수한 성능을 보여, 그 효과성과 확장성을 입증한다.
"},{"id":"60647","en":"Unsupervised Diffusion for Combinatorial Optimization via Adjoint Matching","ko":"Adjoint Matching을 통한 조합 최적화용 Unsupervised Diffusion","authors":"Shengyu Feng, Tarun Suresh, Yiming Yang","pos":"#3711","link":"https://openreview.net/forum?id=y6LGSCnNOz","abs":"Neural solvers have recently emerged as powerful tools for combinatorial optimization (CO). Among them, diffusion models have shown strong promise due to their ability to capture highly multimodal solution distributions in CO through iterative generative processes. However, training diffusion models typically requires large collections of near-optimal solutions, which limits their scalability and generalization. We address this fundamental challenge by extending adjoint matching, a powerful unsupervised diffusion training framework based on chain-rule–style gradient propagation in continuous spaces, to discrete combinatorial domains. Our approach resolves the broken-gradient issue inherent to discrete data and unifies local and global training objectives within a single principled framework. Empirically, our method consistently outperforms existing unsupervised baselines and achieves performance comparable to supervised diffusion models.
","absKo":"Neural solver는 최근 combinatorial optimization (CO)을 위한 강력한 도구로 부상했다. 이들 중 diffusion model은 iterative generative process를 통해 CO에서 매우 multimodal한 solution distribution을 포착할 수 있다는 점에서 큰 가능성을 보여주었다. 그러나 diffusion model을 학습하려면 대체로 near-optimal solution의 대규모 집합이 필요하며, 이는 확장성과 일반화를 제한한다. 우리는 continuous space에서 chain-rule 스타일의 gradient propagation을 기반으로 하는 강력한 unsupervised diffusion training framework인 adjoint matching을 discrete combinatorial domain으로 확장함으로써 이 근본적 문제를 해결한다. 우리의 접근은 discrete data에 내재된 broken-gradient 문제를 해결하고, local 및 global training objective를 하나의 원칙적인 framework 안에서 통합한다. 실험적으로, 우리의 방법은 기존 unsupervised baseline을 일관되게 능가하며 supervised diffusion model과 동등한 성능을 달성한다."},{"id":"63262","en":"Unsat Core Prediction through Polarity-Aware Representation Learning over Clause-Literal Hypergraphs","ko":"절-리터럴 하이퍼그래프상의 극성 인지 표현 학습을 통한 Unsat Core 예측","authors":"Zhenchao Sun, Shuai Ma, Ping Lu, Chongyang Tao","pos":"#3712","link":"https://openreview.net/forum?id=YdQq7DvUfI","abs":"Graph neural networks have been widely used in Boolean satisfiability (SAT) tasks to learn structural information from SAT formulas. The goal of these studies is to solve SAT instances or to enhance SAT solvers, including tasks such as unsat-core prediction. However, most existing approaches model a SAT formula as a bipartite graph or a directed acyclic graph, which are less expressive in capturing higher-order interactions among literals and clauses. Moreover, these approaches are limited in modeling intrinsic polarity-related properties of SAT, such as the complementary relationship between the positive and negative literals of a variable. To address these limitations, we propose a polarity-aware representation learning framework over clause–literal hypergraphs. We model SAT formulas as clause–literal hypergraphs augmented with a clause incidence graph to capture higher-order structural interactions. We then introduce a polarity-aware decomposed mechanism that separates variable representations into polarity invariant and equivariant components, explicitly modeling the relationship between positive and negative literals, with the resulting literal representations propagated along the hypergraph structure. We further incorporate a polarity-inversion consistency regularization to reinforce polarity-consistent representations during training. Experimental results on multiple SAT datasets demonstrate the effectiveness of the proposed approach.
","absKo":"Graph neural networks는 SAT formulas로부터 structural information을 학습하기 위해 Boolean satisfiability (SAT) task에서 널리 사용되어 왔다. 이러한 연구의 목표는 SAT instance를 해결하거나 unsat-core prediction과 같은 task를 포함해 SAT solver를 향상시키는 것이다. 그러나 기존 접근법의 대부분은 SAT formula를 bipartite graph 또는 directed acyclic graph로 모델링하며, 이는 literals와 clauses 간의 higher-order interaction을 포착하는 데 있어 expressiveness가 떨어진다. 더 나아가 이러한 접근법은 variable의 positive literal과 negative literal 사이의 complementary relationship과 같은 SAT의 intrinsic polarity-related properties를 모델링하는 데 한계가 있다. 이러한 한계를 해결하기 위해, 우리는 clause–literal hypergraph 위의 polarity-aware representation learning framework를 제안한다. 우리는 SAT formulas를 higher-order structural interactions를 포착하기 위해 clause incidence graph가 추가된 clause–literal hypergraph로 모델링한다. 그런 다음 variable representation을 polarity invariant component와 equivariant component로 분리하는 polarity-aware decomposed mechanism을 도입하여 positive literal과 negative literal 간의 관계를 명시적으로 모델링하고, 그 결과로 얻은 literal representation이 hypergraph structure를 따라 전파되도록 한다. 또한 학습 중 polarity-consistent representation을 강화하기 위해 polarity-inversion consistency regularization을 통합한다. 여러 SAT datasets에서의 실험 결과는 제안한 접근법의 효과를 보여준다.
"},{"id":"61527","en":"URS: A Unified Neural Routing Solver for Cross-Problem Zero-Shot Generalization","ko":"URS: 문제 간 Zero-Shot 일반화를 위한 통합 Neural Routing Solver","authors":"Changliang Zhou, Canhong Yu, Shunyu Yao, Xi Lin, Zhenkun Wang, Yu Zhou, Qingfu Zhang","pos":"#3713","link":"https://openreview.net/forum?id=pG4jfjf2g7","abs":"Multi-task neural routing solvers have emerged as a promising paradigm for their ability to solve multiple vehicle routing problems (VRPs) using a single model. However, existing neural solvers typically rely on predefined problem constraints or require per-problem fine-tuning, which substantially limits their zero-shot generalization ability to unseen VRP variants. To address this critical bottleneck, we propose URS, a unified neural routing solver that achieves zero-shot generalization across a wide range of unseen VRPs with a single model. We propose a unified data representation (UDR) that replaces problem enumeration with data unification, thereby broadening the problem coverage and reducing reliance on domain expertise. In addition, we introduce a Mixed Bias Module (MBM) during encoding to improve node embeddings, which efficiently captures multiple priors inherent to various problems. On top of the UDR, we develop a problem-conditioned parameter generator to further improve zero-shot generalization. Extensive experiments show that URS consistently produces high-quality solutions for 110 VRP variants (including 99 unseen variants) while demonstrating impressive scalability to large-scale instances with up to 7000 nodes. To the best of our knowledge, URS is the first neural solver to handle over 100 VRP variants with a single model.
","absKo":"Multi-task neural routing solvers는 하나의 모델로 여러 vehicle routing problems (VRPs)를 해결할 수 있다는 점에서 유망한 패러다임으로 부상했다. 그러나 기존 neural solver는 일반적으로 사전에 정의된 문제 제약에 의존하거나 문제별 fine-tuning을 필요로 하므로, 보지 못한 VRP variant에 대한 zero-shot generalization 능력이 크게 제한된다. 이 중요한 병목을 해결하기 위해, 우리는 단일 모델로 광범위한 미지의 VRP에 걸쳐 zero-shot generalization을 달성하는 unified neural routing solver인 URS를 제안한다. 우리는 문제 열거를 data unification으로 대체하는 unified data representation (UDR)을 제안하여 문제 범위를 넓히고 domain expertise 의존도를 줄인다. 또한 encoding 단계에서 Mixed Bias Module (MBM)을 도입하여 node embedding을 개선하고, 다양한 문제에 내재된 여러 prior를 효율적으로 포착한다. UDR 위에, zero-shot generalization을 더욱 향상시키기 위해 problem-conditioned parameter generator를 개발한다. 광범위한 실험은 URS가 110개 VRP variant(그중 99개는 미지의 variant 포함)에 대해 일관되게 고품질 해를 생성함을 보여주며, 최대 7000 nodes를 갖는 대규모 instance로의 뛰어난 scalability도 입증한다. 우리가 아는 한, URS는 단일 모델로 100개가 넘는 VRP variant를 처리하는 최초의 neural solver이다.
"},{"id":"65351","en":"Towards Optimal Robustness in Learning-Augmented Paging","ko":"학습 증강 페이징에서 최적 강건성을 향하여","authors":"Peng Chen, Hailiang Zhao, Xueyan Tang, Yixuan Wang, Shuiguang Deng","pos":"#3714","link":"https://openreview.net/forum?id=ESa07RwpVr","abs":"Learning-augmented paging has been extensively studied in recent years. A key advantage over naive ML-based approaches is \\emph{bounded robustness}, which guarantees worst-case performance even when predictions are inaccurate, making these algorithms valuable for real-world systems. Prior work achieves robustness bounds of $2H_k + O(1)$ in the randomized setting, leaving a gap to the optimal competitive ratio $H_k$. We are the first to study how to close this gap. In this paper, we begin by analyzing online optimality and provide a new proof of the latest $H_k$-competitive algorithm, which facilitates analysis in the learning-augmented setting. Then, we review existing learning-augmented paging algorithms and introduce a unifying primitive, the \\emph{relative prediction budget}, which captures the essence of how to establish robustness and reveals that prior algorithms either overuse or underutilize predictions. Guided by the above analysis, we develop a new framework that achieves the best-possible robustness for learning-augmented paging: $H_k + O(1)$. Experiments further demonstrate strong practical performance.","absKo":"학습 증강 paging은 최근 수년간 광범위하게 연구되어 왔다. 단순한 ML 기반 접근법에 비해 핵심적인 장점은 \\emph{bounded robustness}로, 예측이 부정확하더라도 최악의 경우 성능을 보장하므로 이러한 알고리즘은 실제 시스템에서 매우 유용하다. 기존 연구는 randomized setting에서 $2H_k + O(1)$의 robustness bound를 달성했지만, 최적 competitive ratio인 $H_k$와는 여전히 격차가 남아 있다. 우리는 이 격차를 메우는 방법을 처음으로 연구한다. 이 논문에서 우리는 먼저 online optimality를 분석하고, 학습 증강 setting에서의 분석을 용이하게 하는 최신 $H_k$-competitive algorithm에 대한 새로운 증명을 제시한다. 그런 다음 기존의 학습 증강 paging 알고리즘들을 검토하고, robustness를 확립하는 방식의 본질을 포착하며 기존 알고리즘들이 prediction을 과도하게 사용하거나 충분히 활용하지 못함을 드러내는 통합 원시 개념인 \\emph{relative prediction budget}를 도입한다. 이러한 분석에 기반하여, 우리는 학습 증강 paging을 위한 가능한 최선의 robustness인 $H_k + O(1)$를 달성하는 새로운 framework를 개발한다. 실험은 또한 강력한 실제 성능을 보여준다."},{"id":"63830","en":"Divide and Learn: Multi-Objective Combinatorial Optimization at Scale","ko":"나누어 배우기: 대규모 멀티목적 조합 최적화","authors":"Esha Singh, Dongxia Wu, Chien-Yi Yang, Tajana Rosing, Rose Yu, Yian Ma","pos":"#3800","link":"https://openreview.net/forum?id=TK82ECnJzD","abs":"Multi-objective combinatorial optimization seeks Pareto-optimal solutions over exponentially large discrete spaces, yet existing methods sacrifice generality, scalability, or theoretical guarantees. We reformulate it as an online learning problem over a decomposed decision space, solving position-wise bandit subproblems via adaptive expert-guided sequential construction. This formulation admits regret bounds of $O(d\\sqrt{T \\log T})$ depending on subproblem dimensionality \\(d\\) rather than combinatorial space size. On standard benchmarks, our method achieves 80--98\\% of specialized solvers performance while achieving two to three orders of magnitude improvement in sample and computational efficiency over Bayesian optimization methods. On real-world hardware-software co-design for AI accelerators with expensive simulations, we outperform competing methods under fixed evaluation budgets. The advantage grows with problem scale and objective count, establishing bandit optimization over decomposed decision spaces as a principled alternative to surrogate modeling or offline training for multi-objective optimization.","absKo":"다목적 조합 최적화는 지수적으로 큰 discrete space에서 Pareto-optimal solution을 찾는 문제이지만, 기존 방법은 일반성, 확장성, 이론적 보장 중 하나를 희생한다. 우리는 이를 분해된 decision space 위의 online learning problem으로 재정식화하고, adaptive expert-guided sequential construction을 통해 position-wise bandit subproblem을 푼다. 이 formulation은 combinatorial space size가 아니라 subproblem dimensionality \\(d\\)에 의존하는 $O(d\\sqrt{T \\log T})$ regret bound를 허용한다. 표준 benchmark에서 우리의 방법은 specialized solver 성능의 80--98\\%를 달성하면서, Bayesian optimization method 대비 sample 및 computational efficiency를 2~3자릿수 규모로 향상시킨다. expensive simulation이 필요한 AI accelerator의 real-world hardware-software co-design에서는 고정 evaluation budget 하에서 경쟁 방법을 능가한다. 문제 규모와 objective 수가 커질수록 이 장점은 더욱 커지며, multi-objective optimization을 위해 surrogate modeling이나 offline training 대신 분해된 decision space 위의 bandit optimization이 원칙적인 대안임을 확립한다."},{"id":"64655","en":"Dynamic Stratified Contrastive Learning with Upstream Augmentation for MILP Branching","ko":"MILP Branching을 위한 Upstream Augmentation 기반 Dynamic Stratified Contrastive Learning","authors":"Tongkai Lu, Shuai Ma, Chongyang Tao","pos":"#3801","link":"https://openreview.net/forum?id=LDNH3sQtMW","abs":"Mixed Integer Linear Programming (MILP) is a fundamental NP-hard problem that has garnered significant attention from both academia and industry. The Branch-and-Bound (B&B) algorithm is the dominant approach for solving MILPs, where branching decisions play a critical role and have recently been enhanced by neural methods. However, these methods still struggle with semantic variation across depths, the scarcity of upstream nodes, and the costly collection of strong branching samples. To address these issues, we propose SC-MILP, a Dynamic Stratified Contrastive Training Framework for MILP Branching. Our method groups B&B nodes based on their feature distributions and learns depth-aware, fine-grained node representations through dynamic stratified contrastive training. To address data scarcity and imbalance at upstream nodes, we introduce an upstream-augmented MILP derivation procedure that generates both theoretically equivalent and perturbed instances. Experiments on both synthetic and real-world MILP benchmarks, including large-scale instances, show that SC-MILP significantly improves branching accuracy, reduces solving time, with particularly strong gains at upstream nodes.
","absKo":"Mixed Integer Linear Programming (MILP)은 학계와 산업계 모두에서 큰 주목을 받아온 근본적인 NP-hard problem이다. Branch-and-Bound (B&B) algorithm은 MILP를 푸는 지배적인 접근법이며, 여기서 branching decision은 매우 중요한 역할을 하고 최근 neural methods로 성능이 향상되었다. 그러나 이러한 방법들은 여전히 깊이에 따른 semantic variation, upstream nodes의 희소성, 그리고 strong branching samples 수집의 높은 비용 문제를 겪는다. 이러한 문제를 해결하기 위해, 우리는 MILP Branching을 위한 Dynamic Stratified Contrastive Training Framework인 SC-MILP를 제안한다. 우리의 방법은 B&B nodes를 feature distribution에 따라 그룹화하고, dynamic stratified contrastive training을 통해 depth-aware한 세밀한 node representation을 학습한다. upstream nodes에서의 data scarcity와 imbalance를 해결하기 위해, 우리는 이론적으로 동등한 instance와 perturb된 instance를 모두 생성하는 upstream-augmented MILP derivation procedure를 도입한다. synthetic 및 real-world MILP benchmarks, 대규모 instance를 포함한 실험에서 SC-MILP는 branching accuracy를 유의미하게 향상시키고 solving time을 줄이며, 특히 upstream nodes에서 강한 성능 향상을 보였다.
"},{"id":"66386","en":"Evolving Interdependent Operators with Large Language Models for Multi-Objective Combinatorial Optimization","ko":"대규모 언어 모델을 이용한 다목적 조합 최적화를 위한 상호 의존 연산자 진화","authors":"Junhao Qiu, Xin Chen, LiangGE, Liyong Lin, Zhichao Lu, Qingfu Zhang","pos":"#3802","link":"https://openreview.net/forum?id=4AUtM4wsfE","abs":"Neighborhood search operators are critical to the performance of Multi-Objective Evolutionary Algorithms (MOEAs) and rely heavily on expert design. Although recent LLM-based Automated Heuristic Design (AHD) methods have made notable progress, they primarily optimize individual heuristics or components independently, lacking explicit exploration and exploitation of dynamic coupling relationships between operators. In this paper, multi-operator optimization in MOEAs is formulated as a Markov decision process, enabling the improvement of interdependent operators through sequential decision-making. To address this, we propose the Evolution of Operator Combination (E2OC) framework for MOEAs, which achieves the co-evolution of design strategies and executable codes. E2OC employs Monte Carlo Tree Search to progressively search combinations of operator design strategies and adopts an operator rotation mechanism to identify effective operator configurations while supporting the integration of mainstream AHD methods as the underlying designer. Experimental results across AHD tasks with varying objectives and problem scales show that E2OC consistently outperforms state-of-the-art AHD and other multi-heuristic co-design frameworks, demonstrating strong generalization and sustained optimization capability.
","absKo":"Neighborhood search operator는 Multi-Objective Evolutionary Algorithm(MOEA)의 성능에 매우 중요하며, 전문가 설계에 크게 의존한다. 최근 LLM 기반 Automated Heuristic Design(AHD) 방법이 주목할 만한 진전을 이루었지만, 주로 개별 heuristic이나 구성요소를 독립적으로 최적화할 뿐, operator 간의 동적 coupling 관계에 대한 명시적 탐색과 활용은 부족하다. 본 논문에서는 MOEA의 multi-operator optimization을 Markov decision process로 정식화하여, 순차적 의사결정을 통해 상호의존적인 operator를 개선할 수 있게 한다. 이를 위해 우리는 MOEA를 위한 Evolution of Operator Combination(E2OC) framework를 제안하며, 설계 전략과 실행 가능한 코드의 co-evolution을 달성한다. E2OC는 Monte Carlo Tree Search를 사용해 operator 설계 전략의 조합을 점진적으로 탐색하고, operator rotation mechanism을 채택해 효과적인 operator 구성을 식별하는 동시에, 주류 AHD 방법을 기반 설계자로 통합할 수 있도록 한다. 서로 다른 목적과 문제 규모를 갖는 AHD task 전반의 실험 결과, E2OC는 state-of-the-art AHD 및 기타 multi-heuristic co-design framework를 일관되게 능가하며, 강한 일반화 성능과 지속적인 최적화 능력을 보여준다.
"},{"id":"60514","en":"Generative Large Neighborhood Search: Scalable Set Cover Optimization via Discrete Diffusion","ko":"Generative Large Neighborhood Search: Discrete Diffusion을 통한 확장 가능한 Set Cover Optimization","authors":"Achref Jaziri, Thibaut Cuvelier, Bruno De Backer","pos":"#3803","link":"https://openreview.net/forum?id=zU2ZZB5wmF","abs":"Large-scale Set Cover Problems (SCP) with millions of variables and complex cost structures require high-quality solutions within seconds, yet remain beyond the reach of exact solvers and pose severe generalization challenges for neural methods. Such problems necessitate decomposition into bounded subproblems; however, when the induced subproblem topology differs from that observed during training, existing neural approaches often fail to transfer reliably. We introduce Generative Large Neighborhood Search (GLNS), which reframes neighborhood selection as generation using a discrete diffusion model. Our key insight is that the diffusion denoising trajectory exposes variables exhibiting high prediction instability across timesteps and identifies regions where local repair yields downstream improvement. GLNS exploits this trajectory-level signal to construct high-impact neighborhoods via a localized, bounded-complexity generative sampling procedure, enabling robust neighborhood selection without retraining. As a result, GLNS transfers effectively across cost regimes and instance scales within SCP. Under tight and equal wall-clock budgets, GLNS consistently outperforms established neural baselines and achieves competitive performance with state-of-the-art MIP solvers. These results demonstrate trajectory-guided generation as a scalable framework for large-scale SCP and suggest potential relevance to other constrained optimization settings.
","absKo":"수백만 개의 변수와 복잡한 비용 구조를 가진 대규모 Set Cover Problem (SCP)은 몇 초 내에 고품질 해를 요구하지만, exact solver의 범위를 벗어나며 neural method에는 심각한 generalization 문제를 야기한다. 이러한 문제는 bounded subproblem으로의 분해를 필요로 한다. 그러나 유도된 subproblem topology가 학습 시 관측된 것과 다를 때, 기존 neural 접근법은 신뢰성 있게 transfer하지 못하는 경우가 많다. 우리는 discrete diffusion model을 사용해 neighborhood selection을 생성으로 재구성하는 Generative Large Neighborhood Search (GLNS)를 제안한다. 우리의 핵심 통찰은 diffusion denoising trajectory가 timestep 전반에 걸쳐 예측 불안정성이 큰 변수를 드러내고, local repair가 downstream 개선을 이끄는 영역을 식별한다는 점이다. GLNS는 이 trajectory 수준 신호를 활용해 고영향 neighborhood를 국소적이고 bounded-complexity인 generative sampling 절차로 구성하며, 재학습 없이도 견고한 neighborhood selection을 가능하게 한다. 그 결과 GLNS는 SCP 내에서 비용 regime과 instance scale 전반에 걸쳐 효과적으로 transfer된다. 엄격하고 동일한 wall-clock budget 하에서 GLNS는 기존 neural baseline을 일관되게 능가하며 state-of-the-art MIP solver와 경쟁력 있는 성능을 달성한다. 이러한 결과는 trajectory-guided generation이 대규모 SCP를 위한 확장 가능한 프레임워크임을 보여주며, 다른 제약 최적화 설정에도 적용 가능성을 시사한다.
"},{"id":"61262","en":"Instance-Specific Approximation Ratios for Correlation Clustering and Max-Cut","ko":"Correlation Clustering과 Max-Cut을 위한 인스턴스별 근사 비율","authors":"Sebastian Lüderssen, Ioana-Oriana Bercea, Stefan Neumann","pos":"#3804","link":"https://openreview.net/forum?id=s3atUwqKHs","abs":"For many NP-hard optimization problems, strong theoretical inapproximability results exist. However, in practice, heuristics regularly outperform these pessimistic worst-case results on real-world datasets. Assessing the quality of these algorithms' outputs is often difficult since we lack good lower bounds on the optimal solution. In this paper, we present efficient algorithms for computing lower bounds on the optimal solutions for correlation clustering, which is a popular problem in social-network analysis. Our lower bounds allow us to provide empirical certificates that bound the solution quality of practical algorithms by obtaining instance-specific approximation ratios. Our main technical contribution is an algorithm that approximates an LP relaxation of a related triangle covering problem in near-linear time on sparse graphs; the algorithm is based on the multiplicative weights update framework and runs on graphs with millions of edges in a few minutes. For the concrete problem of correlation clustering, our lower bounds certify that state-of-the-art heuristics achieve almost optimal approximation ratios of 0.94 for the agreement version and 1.97 for the disagreement version (averaged over 7 real-world datasets). We also show similar results for the fundamental max-cut problem.
","absKo":"많은 NP-hard optimization problem에 대해 강한 이론적 inapproximability 결과가 존재한다. 그러나 실제로는 heuristic이 실제 데이터셋에서 이러한 비관적인 worst-case 결과보다 더 나은 성능을 보이는 경우가 흔하다. 최적해에 대한 좋은 lower bound가 부족하기 때문에 이러한 알고리즘의 출력 품질을 평가하는 일은 종종 어렵다. 본 논문에서는 사회 네트워크 분석에서 널리 쓰이는 문제인 correlation clustering의 최적해에 대한 lower bound를 계산하는 효율적인 알고리즘을 제시한다. 우리의 lower bound는 instance-specific approximation ratio를 얻음으로써 실용적 알고리즘의 해 품질을 empirically certificate할 수 있게 한다. 핵심 기술 기여는 sparse graph에서 관련 triangle covering problem의 LP relaxation을 near-linear time에 근사하는 알고리즘으로, 이 알고리즘은 multiplicative weights update framework에 기반하며 수백만 개의 edge를 가진 graph에서도 몇 분 만에 동작한다. correlation clustering이라는 구체적 문제에 대해, 우리의 lower bound는 state-of-the-art heuristic이 agreement version에서는 0.94, disagreement version에서는 1.97의 거의 최적에 가까운 approximation ratio를 달성함을 보장한다(7개의 실제 데이터셋에 대한 평균). 또한 우리는 fundamental max-cut 문제에 대해서도 유사한 결과를 보인다.
"},{"id":"63299","en":"LLM4Branch: Large Language Model for Discovering Efficient Branching Policies of Integer Programs","ko":"LLM4Branch: 정수 계획법의 효율적 분기 정책 발견을 위한 대규모 언어 모델","authors":"Zhinan Hou, Xingchen Li, Yankai Zhang, Tianxun Li, Keyou You","pos":"#3805","link":"https://openreview.net/forum?id=YIzUTHEvG7","abs":"Efficient branching policies are essential for accelerating Mixed Integer Linear Programming (MILP) solvers. Their design has long relied on hand-crafted heuristics, and now machine learning has emerged as a promising paradigm to automate this process. However, existing learning-based methods are often hindered by their dependence on expensive expert demonstrations and the gap between training objectives and the solver’s end-to-end performance. In this work, we propose LLM4Branch, a novel framework that leverages Large Language Models (LLMs) to automate the discovery of efficient branching policies. Specifically, the discovered policy is an executable program with a program skeleton generated by the LLM and a parameter vector, which is optimized via a zeroth-order method over a few instances with their end-to-end performance feedback. Extensive experiments on standard MILP benchmarks demonstrate that LLM4Branch establishes a new state-of-the-art among CPU-based methods and achieves performance competitive with advanced GPU-based models.
","absKo":"효율적인 branching policy는 Mixed Integer Linear Programming (MILP) solver를 가속화하는 데 필수적이다. 그 설계는 오랫동안 hand-crafted heuristic에 의존해 왔고, 이제 machine learning이 이 과정을 자동화하는 유망한 패러다임으로 부상하고 있다. 그러나 기존 learning-based method는 대개 비용이 큰 expert demonstration에 의존하고, training objective와 solver의 end-to-end 성능 사이의 간극에 의해 제약을 받는다. 본 연구에서는 Large Language Models (LLMs)를 활용하여 효율적인 branching policy의 발견을 자동화하는 새로운 프레임워크인 LLM4Branch를 제안한다. 구체적으로, 발견된 policy는 LLM이 생성한 program skeleton과 parameter vector로 구성된 실행 가능한 program이며, 이 parameter vector는 소수의 instance와 그 end-to-end performance feedback을 바탕으로 zeroth-order method로 최적화된다. 표준 MILP benchmark에 대한 광범위한 실험은 LLM4Branch가 CPU 기반 method 중 새로운 state-of-the-art를 확립하고, 고급 GPU 기반 model과 경쟁력 있는 성능을 달성함을 보여준다.
"},{"id":"65702","en":"Learning-Augmented Scalable Linear Assignment Problem Optimization via Neural Dual Warm-Starts","ko":"신경망 이중 웜스타트를 통한 학습 증강 확장 가능 선형 할당 문제 최적화","authors":"Ilay Yavlovich, Jad Agbaria, Jose Yallouz, Muhamed Mhamed, Nir Weinberger","pos":"#3806","link":"https://openreview.net/forum?id=B3TmdSTo0X","abs":"The Linear Assignment Problem (LAP) is a fundamental combinatorial optimization task with applications ranging from computer vision to logistics. Classical exact solvers such as the Hungarian and Jonker--Volgenant (LAPJV) algorithms guarantee optimality, but their cubic time complexity $\\mathcal{O}(N^3)$ becomes a bottleneck for large-scale instances. Recent learning-based approaches aim to replace these solvers with neural models, often sacrificing exactness or failing to scale due to memory constraints. We propose a *learning-augmented* framework that accelerates exact assignment solvers while maintaining optimality and worst-case guarantees. Our method predicts dual variables to warm-start a classical solver, with a fallback that prevents asymptotic runtime degradation when the learned advice is unreliable. We introduce **RowDualNet**, a lightweight row-independent architecture that avoids the $\\mathcal{O}(N^2)$ memory bottleneck of graph-based models, enabling neural warm-starting at large scale ($N=16{,}384$). Feasibility is ensured via a constructive mechanism based on LP duality (namely, the *Min-Trick*), eliminating costly iterative projection. Empirically, our approach reduces the search effort of LAPJV and achieves over $2{\\times}$ speedups on challenging synthetic distributions, in addition to improving over $1.25{\\times}$ and $1.5{\\times}$ on real-world tracking (MOT) and transportation (LPT) datasets, respectively, while strictly maintaining full optimality, effectively yielding a robust zero-shot generalization to real-world tasks.","absKo":"Linear Assignment Problem (LAP)은 computer vision부터 logistics에 이르기까지 응용 범위가 넓은 fundamental combinatorial optimization task이다. Hungarian 및 Jonker--Volgenant (LAPJV) 알고리즘과 같은 고전적 exact solver는 optimality를 보장하지만, cubic time complexity $\\mathcal{O}(N^3)$ 때문에 대규모 인스턴스에서는 병목이 된다. 최근 learning-based 접근은 이러한 solver를 neural model로 대체하려 하지만, exactness를 희생하거나 memory 제약으로 인해 확장성에 실패하는 경우가 많다. 우리는 optimality와 worst-case guarantee를 유지하면서 exact assignment solver를 가속하는 *learning-augmented* 프레임워크를 제안한다. 우리의 방법은 dual variable을 예측하여 classical solver를 warm-start하며, learned advice가 신뢰할 수 없을 때 asymptotic runtime 악화를 막는 fallback을 포함한다. 우리는 graph-based model의 $\\mathcal{O}(N^2)$ memory 병목을 피하는 경량 row-independent architecture인 **RowDualNet**을 도입하여, 대규모($N=16{,}384$)에서 neural warm-starting이 가능하게 한다. feasibility는 LP duality 기반의 구성적 메커니즘, 즉 *Min-Trick*을 통해 보장되어, 비용이 큰 반복적 projection을 제거한다. 경험적으로 우리의 접근은 LAPJV의 search effort를 줄이고, 어려운 synthetic distribution에서 $2{\\times}$ 이상의 speedup을 달성한다. 또한 real-world tracking (MOT) 및 transportation (LPT) dataset에서 각각 $1.25{\\times}$와 $1.5{\\times}$ 이상의 향상을 보이면서도 full optimality를 엄격히 유지하여, 실제 task로의 견고한 zero-shot generalization을 효과적으로 제공한다."},{"id":"65381","en":"Local-Minima-Preserving Polynomial Relaxation of Ising Problems","ko":"Ising 문제의 국소 최소값 보존 다항식 완화","authors":"Debraj Banerjee, Santanu Mahapatra, Kunal Narayan Chaudhury","pos":"#3807","link":"https://openreview.net/forum?id=EBTMJ3MXt0","abs":"The generalized Ising problem captures a broad spectrum of hard combinatorial problems, including MAX-CUT, Number Partitioning (NPP), and Maximum Independent Set. In this work, we consider the notion of one-flip local minima for this problem. We construct a polynomial relaxation and prove that there exists a one-to-one correspondence between the local minima of the relaxation and the one-flip minima of the original Ising problem. This guarantee reduces the Ising problem to finding the local minima of a smooth function, allowing us to leverage scalable gradient-based optimizers such as ADAM. We demonstrate that our method achieves strong performance across challenging benchmarks, including spin-glass models, MAX-CUT, and NPP.
","absKo":"generalized Ising problem은 MAX-CUT, Number Partitioning(NPP), Maximum Independent Set을 포함한 광범위한 난해한 combinatorial problem을 포괄한다. 본 연구에서는 이 문제의 one-flip local minimum 개념을 고려한다. 우리는 polynomial relaxation을 구성하고, relaxation의 local minimum과 원래 Ising problem의 one-flip minimum 사이에 일대일 대응이 존재함을 증명한다. 이 보장은 Ising problem을 smooth function의 local minimum을 찾는 문제로 환원하며, ADAM과 같은 확장 가능한 gradient-based optimizer를 활용할 수 있게 한다. 우리는 제안 방법이 spin-glass model, MAX-CUT, NPP를 포함한 도전적인 benchmark 전반에서 강력한 성능을 달성함을 보인다.
"},{"id":"62005","en":"Neural QAOA$^2$: Differentiable Joint Graph Partitioning and Parameter Initialization for Quantum Combinatorial Optimization","ko":"Neural QAOA$^2$: quantum combinatorial optimization을 위한 differentiable joint graph partitioning과 parameter initialization","authors":"Zubin Zheng, Jiahao Wu, Shengcai Liu","pos":"#3809","link":"https://openreview.net/forum?id=knVbandOWj","abs":"The quantum approximate optimization algorithm (QAOA) holds promise for combinatorial optimization but is constrained by limited qubits. While divide-and-conquer frameworks like QAOA$^2$ address scalability by partitioning graphs into subgraphs, existing methods suffer from two fundamental limitations: i) misalignment between heuristic partitioning metrics and quantum optimization goals, and ii) topology-blind parameter initialization that leads to optimization cold starts. To bridge these gaps, we propose **Neural QAOA$^2$**, an end-to-end differentiable framework that jointly generates graph partitions and initial parameters. By integrating a generative evaluative network (GEN), our method utilizes a differentiable quantum evaluator as a high-fidelity performance surrogate to provide direct gradient guidance, enabling the joint generator to learn the intrinsic mapping from graph topology to high-quality partition and parameter configurations. Extensive experiments on 183 QUBO, Ising, and MaxCut instances (21 to 1000 variables) demonstrate that our gradient-driven approach significantly outperforms heuristic baselines, ranking first on 101 instances. It exhibits zero-shot generalization across out-of-distribution graph topologies and scales.","absKo":"양자 근사 최적화 알고리즘(QAOA)은 조합 최적화에 유망하지만 제한된 큐비트 수에 의해 제약된다. QAOA$^2$와 같은 divide-and-conquer 프레임워크는 그래프를 서브그래프로 분할함으로써 확장성을 해결하지만, 기존 방법은 두 가지 근본적 한계를 가진다: i) 휴리스틱 분할 지표와 quantum optimization 목표 사이의 불일치, ii) topology를 반영하지 않는 parameter initialization이 optimization cold start를 유발한다는 점이다. 이러한 간극을 메우기 위해, 우리는 그래프 분할과 초기 파라미터를 공동으로 생성하는 end-to-end differentiable 프레임워크인 **Neural QAOA$^2$**를 제안한다. generative evaluative network(GEN)을 통합함으로써, 우리의 방법은 differentiable quantum evaluator를 고충실도 성능 surrogate로 활용해 직접적인 gradient guidance를 제공하며, joint generator가 graph topology에서 고품질 partition 및 parameter configuration으로의 내재적 매핑을 학습할 수 있게 한다. 183개의 QUBO, Ising, MaxCut 인스턴스(21개에서 1000개 변수)에 대한 광범위한 실험은 우리의 gradient-driven 접근이 휴리스틱 baseline을 크게 능가하며, 101개 인스턴스에서 1위를 차지함을 보여준다. 또한 out-of-distribution graph topology 전반에서 zero-shot generalization을 보이며 확장성도 확인된다."},{"id":"63037","en":"PathWise: Planning through World Model for Automated Heuristic Design via Self-Evolving LLMs","ko":"PathWise: 자기 진화 LLM을 통한 자동 휴리스틱 설계를 위한 월드 모델 기반 계획","authors":"Oguzhan Gungordu, Siheng Xiong, Faramarz Fekri","pos":"#3810","link":"https://openreview.net/forum?id=aiOv6NhF3N","abs":"Large Language Models (LLMs) have enabled automated heuristic design (AHD) for combinatorial optimization problems (COPs), but existing frameworks' reliance on fixed evolutionary rules and static prompt templates often leads to myopic heuristic generation, redundant evaluations, and limited reasoning about how new heuristics should be derived. We propose a novel multi-agent reasoning framework, referred to as Planning through World Model for Automated Heuristic Design via Self-Evolving LLMs (PathWise), which formulates heuristic generation as a sequential decision process over an entailment graph serving as a compact, stateful memory of the search trajectory. This approach allows the system to carry forward past decisions and reuse or avoid derivation information across generations. A policy agent plans evolutionary actions, a world model agent generates heuristic rollouts conditioned on those actions, and critic agents provide routed reflections summarizing lessons from prior steps, shifting LLM-based AHD from trial-and-error evolution toward state-aware planning through reasoning. Experiments across diverse COPs show that PathWise converges faster to better heuristics, generalizes across different LLM backbones, and scales to larger problem sizes.
","absKo":"Large Language Models (LLMs)은 combinatorial optimization problems (COPs)를 위한 automated heuristic design (AHD)을 가능하게 했지만, 기존 frameworks는 fixed evolutionary rules와 static prompt templates에 의존하는 탓에 근시안적인 heuristic generation, 중복 평가, 그리고 새로운 heuristic이 어떻게 유도되어야 하는지에 대한 제한된 추론으로 이어지는 경우가 많다. 우리는 Self-Evolving LLMs를 통한 Automated Heuristic Design을 위한 Planning through World Model (PathWise)이라는 새로운 multi-agent reasoning framework를 제안한다. 이는 heuristic generation을 search trajectory의 compact, stateful memory 역할을 하는 entailment graph 위의 sequential decision process로 정식화한다. 이 접근법은 system이 과거 decision을 이어받고, generation 간에 derivation information을 재사용하거나 회피할 수 있게 한다. policy agent는 evolutionary actions를 계획하고, world model agent는 그 action에 조건화된 heuristic rollouts를 생성하며, critic agents는 이전 step에서 얻은 교훈을 요약한 routed reflections를 제공한다. 이를 통해 LLM-based AHD는 trial-and-error evolution에서 reasoning을 통한 state-aware planning으로 전환된다. 다양한 COPs에 대한 실험 결과, PathWise는 더 나은 heuristics에 더 빨리 수렴하고, 서로 다른 LLM backbones 전반에서 generalize되며, 더 큰 problem size로도 확장 가능함을 보였다.
"},{"id":"60922","en":"PoMtVRS: Preference-Optimized Multi-Task Vehicle Routing Solver with Preference Gating","ko":"PoMtVRS: Preference Gating을 갖춘 Preference-Optimized Multi-Task Vehicle Routing Solver","authors":"Dian Meng, Zhiguang Cao, Yaoxin Wu, Yaqing Hou","pos":"#3811","link":"https://openreview.net/forum?id=vJsJPNRFIJ","abs":"Multi-task vehicle routing solvers via deep reinforcement learning have attracted broad attention and achieved significant progress in handling multiple constraints. However, existing neural solvers still face critical challenges, including insufficient representation, unstable training, and inefficient exploration in large combinatorial action spaces, which often prevents performance from meeting its full potential. To address these issues, we propose PoMtVRS (Preference-Optimized Multi-Task Vehicle Routing Solver with Preference Gating), a plug-and-play framework that jointly improves decoder representations and exploration efficiency through a synergistic combination of decoder-side augmentation and preference-driven optimization. Specifically, we introduce the preference optimization objective to learn relative comparisons among candidate solutions for different routing tasks, encouraging a higher generation probability of better solutions. Meanwhile, we design a preference-gated block that adaptively modulates decoder representations via sparse gated attention and nonlinear residual refinement. Extensive experiments demonstrate that PoMtVRS elevates state-of-the-art unified neural VRP backbones, achieving leading performance in multi-task benchmarks and stronger generalization.
","absKo":"deep reinforcement learning을 활용한 multi-task vehicle routing solver는 넓은 관심을 받아 왔으며, 여러 제약을 다루는 데 있어 상당한 진전을 이루었다. 그러나 기존 neural solver는 여전히 표현력 부족, 불안정한 학습, 그리고 큰 combinatorial action space에서의 비효율적 탐색 등 중대한 문제에 직면해 있으며, 이로 인해 성능이 잠재력을 충분히 발휘하지 못하는 경우가 많다. 이러한 문제를 해결하기 위해 우리는 PoMtVRS(Preference-Optimized Multi-Task Vehicle Routing Solver with Preference Gating)를 제안한다. 이는 decoder-side augmentation과 preference-driven optimization의 시너지 있는 결합을 통해 decoder representation과 exploration 효율을 동시에 향상시키는 plug-and-play 프레임워크이다. 구체적으로, 우리는 preference optimization objective를 도입하여 서로 다른 routing task에 대한 candidate solution 간의 상대적 비교를 학습하게 함으로써 더 나은 solution이 생성될 확률을 높인다. 한편, sparse gated attention과 nonlinear residual refinement를 통해 decoder representation을 적응적으로 조절하는 preference-gated block을 설계한다. 광범위한 실험은 PoMtVRS가 state-of-the-art unified neural VRP backbone을 향상시키며, multi-task benchmark에서 선도적인 성능과 더 강한 generalization을 달성함을 보여준다.
"},{"id":"67093","en":"Position: Neural Approximation Is Rarely Justified for Hard Combinatorial Problems","ko":"Position: 어려운 조합 문제에 대해 Neural Approximation은 거의 정당화되지 않는다","authors":"Pritish Chakraborty, Indradyumna Roy, Soumen Chakrabarti, Abir De","pos":"#3812","link":"https://openreview.net/forum?id=kTNN55uS0W","abs":"In recent years, there has been a surge in the application of neural approaches to NP-hard combinatorial problems such as subgraph isomorphism, maximum clique and the travelling salesman problem in graphs. These approaches are often evaluated as complete replacements of established combinatorial solver tools, with emphasis on solution quality and runtime. In this position paper, we argue that such wholesale replacements for touted faster inference or better solution quality should not be considered the primary motivation for neural surrogates, and a systematic evaluation of when neural methods are appropriate is required. Given our observations, we contend that in the absence of system-level requirements dictated by the task at hand, such as vector indexing and retrieval, or without the need for end-to-end differentiability, neural surrogates rarely offer compelling advantages over the standard combinatorial solver. In this vein, we develop a comprehensive report of where current neural methods fall short, and subsequently devise a diagnostic checklist for when neural methods are truly applicable.
","absKo":"최근 수년간 subgraph isomorphism, maximum clique, travelling salesman problem과 같은 NP-hard combinatorial problem에 neural approach를 적용하는 사례가 급증했다. 이러한 접근은 종종 기존 combinatorial solver 도구를 완전히 대체하는 것으로 평가되며, solution quality와 runtime에 초점이 맞춰진다. 이 position paper에서는 더 빠른 inference나 더 나은 solution quality를 이유로 한 이러한 전면적 대체가 neural surrogate의 주된 동기가 되어서는 안 되며, neural method가 언제 적절한지에 대한 체계적 평가가 필요하다고 주장한다. 우리의 관찰에 비추어 볼 때, vector indexing과 retrieval처럼 현재 task가 요구하는 system-level requirement가 없거나 end-to-end differentiability가 필요하지 않은 경우, neural surrogate는 표준 combinatorial solver에 비해 매력적인 이점을 거의 제공하지 못한다고 본다. 이러한 관점에서 우리는 현재 neural method가 어디에서 한계를 보이는지에 대한 포괄적인 보고를 작성하고, 이어서 neural method가 정말로 적용 가능한 경우를 판별하기 위한 진단 체크리스트를 제시한다.
"},{"id":"64331","en":"Problem Distributions as Tasks: Repurposing Meta Learning for Generative Combinatorial Optimization towards Multi-task Pretrain and Adaptation","ko":"과제로서의 문제 분포: 다중 작업 사전학습 및 적응을 위한 생성적 조합 최적화용 메타 학습 재활용","authors":"Wenzheng Pan, Jiale Ma, Nuoyan Chen, Yang Li, Junchi Yan","pos":"#3813","link":"https://openreview.net/forum?id=OfxgzjqzeA","abs":"Despite the fast progress of Neural Combinatorial Optimization (NCO) on graphs, existing solvers mainly learn a narrow task (e.g., uniform TSP) at a time and hardly handle instances over diverse distributions. This paper proposes M$^2$GenCO, a Multi-task learning framework that pioneers the instantiation of the Meta-learning mechanism with diffusion-based Generative solving for CO Problems (COPs) on graphs, first formulating \"tasks\" in meta-learning as distinct problem types instead of instances of the same problem. With a tailored lightweight graph neural network, our framework performs effective joint pre-training on a variety of problem types and efficient fine-tuning to adapt for out-of-distribution scenarios. Further, we establish a benchmark comprising 5 classic graph COPs with varying scales and multiple distributions, forming 38 distinct test datasets that facilitate standard evaluation of generalizability and adaptability for NCO solvers. Empirically, M$^2$GenCO with greedy decoder yields an overall 9.16% performance gain with an average 95.6$\\times$ acceleration for inference, and achieves concrete state-of-the-arts on all test sets with simple local searchers, maintaining superior solving time against previous neural methods. The computational resource and time consumption for training are saved by up to 82% and 91%, respectively.","absKo":"그래프에서 Neural Combinatorial Optimization (NCO)이 빠르게 발전하고 있음에도, 기존 solver는 주로 한 번에 하나의 좁은 task(예: uniform TSP)만 학습하며 다양한 distribution에 걸친 instance를 거의 다루지 못한다. 본 논문은 M$^2$GenCO를 제안하는데, 이는 graph상의 CO Problems (COPs)에 대해 diffusion 기반 Generative solving과 결합한 Meta-learning mechanism의 구현을 개척하는 Multi-task learning framework이다. 여기서 meta-learning의 \"task\"를 같은 문제의 instance가 아니라 서로 다른 problem type으로 처음 정식화한다. 맞춤형 경량 graph neural network를 통해, 본 framework는 다양한 problem type에 대해 효과적인 joint pre-training과 out-of-distribution scenario에 적응하기 위한 효율적인 fine-tuning을 수행한다. 더 나아가 서로 다른 scale과 여러 distribution을 갖는 5개의 고전적 graph COP로 구성된 benchmark를 구축하여, NCO solver의 generalizability와 adaptability를 표준적으로 평가할 수 있도록 하는 38개의 distinct test dataset을 마련했다. 실험적으로, greedy decoder를 사용한 M$^2$GenCO는 전체적으로 9.16%의 성능 향상과 추론에서 평균 95.6$\\times$의 가속을 보였으며, 단순 local searcher와 함께 모든 test set에서 구체적인 state-of-the-art를 달성했고, 기존 neural method 대비 우수한 solving time을 유지했다. 학습에 드는 계산 자원과 시간 소모는 각각 최대 82%와 91%까지 절감된다."},{"id":"60718","en":"RL-SPH: Learning to Achieve Feasible Solutions for Integer Linear Programs","ko":"RL-SPH: Integer Linear Program의 실행 가능 해 학습","authors":"Tae-Hoon Lee, Min-Soo Kim","pos":"#3814","link":"https://openreview.net/forum?id=xEpcZDAxdW","abs":"Primal heuristics play a crucial role in quickly finding feasible solutions for NP-hard integer linear programming (ILP). Although $\\textit{end-to-end learning}$-based primal heuristics (E2EPH) have recently been proposed, they are typically unable to independently generate feasible solutions. To address this challenge, we propose RL-SPH, a novel reinforcement learning-based start primal heuristic capable of independently generating feasible solutions, even for ILP involving non-binary integers. Empirically, RL-SPH rapidly obtains high-quality feasible solutions with a 100% feasibility rate, achieving on average a 39× lower primal gap and a 2.3× lower primal integral compared to existing start primal heuristics.","absKo":"Primal heuristic은 NP-hard integer linear programming(ILP)에서 feasible solution을 빠르게 찾는 데 핵심적인 역할을 한다. 최근에는 $\\textit{end-to-end learning}$ 기반 primal heuristic(E2EPH)이 제안되었지만, 일반적으로 feasible solution을 독립적으로 생성하지는 못한다. 이 문제를 해결하기 위해, 우리는 non-binary integer를 포함한 ILP에 대해서도 feasible solution을 독립적으로 생성할 수 있는 새로운 reinforcement learning 기반 start primal heuristic인 RL-SPH를 제안한다. 경험적으로 RL-SPH는 100% feasibility rate로 고품질 feasible solution을 빠르게 얻으며, 기존 start primal heuristic에 비해 평균적으로 primal gap은 39배 낮고 primal integral은 2.3배 낮다."},{"id":"62557","en":"RefineEvo: Planning-Guided Heuristic Evolution with Bidirectional Experience","ko":"RefineEvo: 양방향 경험을 활용한 계획 유도 휴리스틱 진화","authors":"Yang Wu, Junran Pan, Yifan Zhang, Ning Xu, Fanshuo Zeng, Jian Cheng","pos":"#3815","link":"https://openreview.net/forum?id=fZ6iuiHDqf","abs":"Automatic Heuristic Design (AHD) has emerged as a transformative approach for solving combinatorial optimization problems. While recent Large Language Model (LLM)-based methods have shown promise, they predominantly rely on fixed evolutionary operators and struggle to effectively accumulate and reuse historical search experience. This paper proposes RefineEvo, a novel evolutionary framework that transforms AHD from a static trial-and-error process into a planning-guided, experience-driven system. RefineEvo introduces a Planner to dynamically schedule evolutionary operators and trigger refinement based on the current search state, and a Reflector to distill valuable lessons into a Bidirectional Experience Pool containing both positive insights and negative pitfalls. This synergistic framework enables the system to adapt its search tools to the evolving complexity of the problem and leverage trajectory-aware, situation-conditioned insights to guide generation. Experiments on several classic combinatorial optimization benchmarks demonstrate that RefineEvo consistently outperforms strong baselines. In particular, RefineEvo delivers superior solution quality while improving token efficiency, enabling more efficient and autonomous heuristic design. Our code is available at https://anonymous.4open.science/r/RefineEvo-FDC4.
","absKo":"Automatic Heuristic Design(AHD)은 combinatorial optimization 문제를 해결하는 변혁적 접근법으로 부상했다. 최근 Large Language Model(LLM) 기반 방법들은 가능성을 보여주었지만, 주로 고정된 evolutionary operator에 의존하며 과거 search experience를 효과적으로 축적하고 재사용하는 데 어려움을 겪는다. 이 논문은 AHD를 정적인 시행착오 과정에서 planning-guided, experience-driven system으로 전환하는 새로운 evolutionary framework인 RefineEvo를 제안한다. RefineEvo는 현재 search state에 따라 evolutionary operator를 동적으로 스케줄링하고 refinement를 트리거하는 Planner와, 유의미한 교훈을 positive insight와 negative pitfall을 모두 포함하는 Bidirectional Experience Pool로 추출하는 Reflector를 도입한다. 이 시너지 구조는 system이 문제의 진화하는 복잡성에 맞춰 search tool을 적응시키고, trajectory-aware하며 situation-conditioned된 통찰을 활용해 생성을 안내할 수 있게 한다. 여러 고전 combinatorial optimization benchmark에서의 실험은 RefineEvo가 강력한 baseline을 일관되게 능가함을 보여준다. 특히 RefineEvo는 token efficiency를 개선하면서 더 우수한 solution quality를 제공하여, 보다 효율적이고 자율적인 heuristic design을 가능하게 한다. 코드는 https://anonymous.4open.science/r/RefineEvo-FDC4 에서 확인할 수 있다.
"},{"id":"63238","en":"Simple Algorithms for Bad Triangle Transversals with Applications to Correlation Clustering","ko":"상관 클러스터링에 응용한 나쁜 삼각형 횡단면을 위한 단순 알고리즘","authors":"Florian Adriaens, Nikolaj Tatti","pos":"#3816","link":"https://openreview.net/forum?id=Yq66fTPjHn","abs":"Correlation clustering is a classic approach for summarizing signed graphs, where the goal is to cluster the graph while minimizing positive inter-cluster edges plus negative intra-cluster edges. On complete signed graphs, correlation clustering is closely related to the bad triangle traversal (BTT) problem of finding the smallest number of edges that need to be removed such that the remaining graph does not have a bad triangle. Here, a bad triangle is a triangle with exactly one negative edge. A known result states that a feasible bad triangle cover $F$ on a complete signed graph can be transformed into a correlation clustering with at most $2|F|$ mistakes. In this paper we improve this ratio to $\\frac{3}{2}|F|$ mistakes using a pivot-based method. We also propose novel 2-approximations for BTT. Using a recent result on approximating the bad triangle cover LP, we obtain an $(2+\\epsilon)$ approximation in time almost equal to the time needed to find a maximal set of edge-disjoint bad triangles (which would give a standard 3-approximation). Additionally, several inapproximability results are provided. For general signed graphs, a better than 2-approximation is unlikely as our problem can be used to approximate vertex cover. For complete signed graphs, it is NP-hard to approximate with factor better than $\\frac{2137}{2136}$. This result also holds for several other related problems.","absKo":"Correlation clustering은 signed graph를 요약하는 고전적 접근법으로, 목표는 positive inter-cluster edge와 negative intra-cluster edge의 합을 최소화하면서 그래프를 clustering하는 것이다. complete signed graph에서 correlation clustering은 bad triangle이 없도록 남아 있는 graph가 되기 위해 제거해야 하는 edge의 최소 개수를 찾는 bad triangle traversal(BTT) 문제와 밀접하게 관련된다. 여기서 bad triangle은 정확히 하나의 negative edge를 가진 triangle이다. 잘 알려진 결과에 따르면, complete signed graph에서 feasible bad triangle cover $F$는 $2|F|$개 이하의 mistake를 갖는 correlation clustering으로 변환될 수 있다. 본 논문에서는 pivot-based method를 사용하여 이 비율을 $\\frac{3}{2}|F|$개의 mistake로 개선한다. 또한 BTT를 위한 새로운 2-approximation을 제안한다. bad triangle cover LP를 근사하는 최근 결과를 이용해, 우리는 maximal set of edge-disjoint bad triangle을 찾는 데 드는 시간과 거의 같은 시간에 $(2+\\epsilon)$ approximation을 얻는다(이는 표준 3-approximation을 제공한다). 추가로, 여러 inapproximability 결과도 제시한다. 일반 signed graph에 대해서는, 우리의 문제를 vertex cover 근사에 사용할 수 있으므로 2보다 나은 approximation은 어려울 것으로 보인다. complete signed graph에 대해서는 $\\frac{2137}{2136}$보다 좋은 factor로 근사하는 것이 NP-hard이다. 이 결과는 여러 다른 관련 문제에도 성립한다."},{"id":"62894","en":"DisjunctiveNet: Neural Symbolic Learning via Differentiable Convexified Optimization Layers","ko":"DisjunctiveNet: 미분 가능한 Convexified Optimization Layer 기반 신경-심볼릭 학습","authors":"Shraman Pal, Can Li","pos":"#3900","link":"https://openreview.net/forum?id=c88GPpURN8","abs":"Many learning tasks in science and engineering are characterized by sparse datasets, which limits the effectiveness of purely data-driven approaches. At the same time, these problems are often accompanied by rich domain knowledge derived from physical laws, operational requirements, and expert heuristics. Such knowledge is frequently expressed as rules involving logical propositions and linear inequalities. Existing neuro-symbolic methods typically enforce these rules approximately through soft penalties, assume input-independent rules when designing specialized architectures, or rely on non-differentiable post-processing at inference time to achieve hard constraint satisfaction. While recent advances in differentiable optimization layers enable end-to-end feasibility enforcement within neural networks, extending these approaches to logical or mixed-integer rules remains challenging due to inherent nonconvexity. In this work, we propose a unified end-to-end framework for enforcing hard, input-dependent mixed integer linear constraints within neural networks. Our approach represents rules as disjunctive constraints and applies hierarchical convex relaxations to obtain convex hull formulations. These relaxations yield tractable linear constraints that can be embedded as differentiable optimization layers while enabling exact rule satisfaction. We demonstrate the effectiveness of the proposed framework on real-world datasets, achieving perfect rule satisfaction and strong predictive performance.
","absKo":"과학 및 공학에서의 많은 learning task는 sparse dataset으로 특징지어지며, 이는 purely data-driven approach의 효과를 제한한다. 동시에 이러한 문제에는 물리 법칙, 운영 요구사항, 전문가 휴리스틱에서 도출된 풍부한 domain knowledge가 수반되는 경우가 많다. 이러한 지식은 종종 logical proposition과 linear inequality를 포함하는 rule로 표현된다. 기존 neuro-symbolic method는 보통 soft penalty를 통해 이러한 rule을 근사적으로 강제하거나, specialized architecture를 설계할 때 input-independent rule을 가정하거나, inference time에 non-differentiable post-processing에 의존해 hard constraint satisfaction을 달성한다. 최근 differentiable optimization layer의 발전으로 neural network 내부에서 end-to-end feasibility enforcement가 가능해졌지만, 본질적인 nonconvexity 때문에 이러한 접근을 logical 또는 mixed-integer rule로 확장하는 것은 여전히 어렵다. 본 연구에서는 neural network 내에서 hard, input-dependent mixed integer linear constraint를 강제하기 위한 통합 end-to-end framework를 제안한다. 우리의 접근법은 rule을 disjunctive constraint로 표현하고 hierarchical convex relaxation을 적용해 convex hull formulation을 얻는다. 이러한 relaxation은 exact rule satisfaction을 가능하게 하면서 differentiable optimization layer로 삽입할 수 있는 tractable linear constraint를 제공한다. 실제 데이터셋에서 제안한 framework의 효과를 보였으며, 완전한 rule satisfaction과 강한 예측 성능을 달성했다.
"},{"id":"61715","en":"Conformal Prediction for Early Stopping in Mixed Integer Optimization","ko":"Mixed Integer Optimization에서 Early Stopping을 위한 Conformal Prediction","authors":"Stefan Clarke, Bartolomeo Stellato","pos":"#3901","link":"https://openreview.net/forum?id=nXsHRrysJX","abs":"Mixed-integer optimization solvers often find optimal solutions early in the search, yet spend the majority of computation time proving optimality. We exploit this by learning when to terminate solvers early on distributions of similar problem instances. Our method trains a neural network to estimate the true optimality gap from the solver state, then uses conformal prediction to calibrate a stopping threshold with rigorous probabilistic guarantees on solution quality. On five problem families from the distributional MIPLIB library, our method reduces solve time by over 60% while guaranteeing 0.1%-optimal solutions with 95% probability.
","absKo":"Mixed-integer optimization solvers는 종종 탐색 초기에 최적해를 찾지만, 계산 시간의 대부분을 최적성 증명에 소비한다. 우리는 유사한 문제 인스턴스 분포에서 solver를 언제 조기 종료할지 학습함으로써 이 점을 활용한다. 우리의 방법은 neural network를 학습하여 solver state로부터 실제 optimality gap을 추정한 뒤, conformal prediction을 사용해 해의 품질에 대해 엄밀한 확률적 보장을 갖는 stopping threshold를 보정한다. distributional MIPLIB 라이브러리의 다섯 개 문제 family에서, 우리의 방법은 0.1% optimal solution을 95% 확률로 보장하면서 solve time을 60% 이상 줄인다.
"},{"id":"62371","en":"An Approximation Algorithm for Graph Label Selection","ko":"그래프 Label Selection을 위한 근사 알고리즘","authors":"Josia John, Simon Meierhans, Maximilian Probst Gutenberg","pos":"#3902","link":"https://openreview.net/forum?id=hE0n8gS7Ru","abs":"In the graph label selection problem, one is given an $n$-vertex graph and a budget $k$, and seeks to select $k$ vertices whose labels enable accurate prediction of the labels on the remaining vertices. This problem formalizes distilling a small representative set from the whole graph. We present the first $\\tilde{O}(\\log^{1.5} n)$-approximation algorithm for graph label selection under the standard budget constraint. Prior work either relies on resource augmentation, allowing substantially more than $k$ labeled vertices, or consists primarily of heuristics without provable guarantees. Finally, we demonstrate that practical heuristic variants of our algorithm scale to significantly larger graphs than previous methods, while essentially retaining their quality.","absKo":"graph label selection 문제에서는 $n$개의 vertex를 가진 graph와 budget $k$가 주어지고, 나머지 vertex들의 label을 정확하게 예측할 수 있도록 label이 달린 $k$개의 vertex를 선택하는 것을 목표로 한다. 이 문제는 전체 graph에서 작은 대표 집합을 distill하는 과정을 형식화한다. 우리는 표준 budget 제약 하에서 graph label selection을 위한 최초의 $\\tilde{O}(\\log^{1.5} n)$-approximation algorithm을 제시한다. 기존 연구는 상당히 더 많은 수의 labeled vertex를 허용하는 resource augmentation에 의존하거나, provable guarantee가 없는 heuristic에 주로 머물렀다. 마지막으로, 우리의 algorithm의 실용적 heuristic variant가 이전 방법들보다 훨씬 더 큰 graph에 확장 가능하면서도, 본질적으로 그 품질을 유지함을 보인다."},{"id":"65061","en":"Learning Permutation from Structure Without Supervision","ko":"감독 없이 구조로부터 Permutation 학습","authors":"Ran Eisenberg, Ofir Lindenbaum","pos":"#4002","link":"https://openreview.net/forum?id=H8ozFYOmk8","abs":"Many learning problems require uncovering a hidden ordering that reveals structure in unordered data, such as monotonicity in sorting or spatial continuity in jigsaw reconstruction. In these settings, permutations can be learned as latent operators by optimizing objectives defined directly on the reordered output, often without access to ground-truth orderings. Differentiable relaxations such as Gumbel–Sinkhorn make this approach practical by approximating permutation matrices with doubly stochastic matrices. However, learning from structure without supervision induces a non-uniform uncertainty: some assignments become confident early, while others remain ambiguous. Existing methods control this process using a single global temperature, forcing all assignments to sharpen or diffuse simultaneously and leading to instability at scale. We introduce an entropy-adaptive formulation of Gumbel–Sinkhorn that locally modulates temperature based on assignment uncertainty. This allows confident assignments to discretize early while preserving exploration where uncertainty remains. Across sorting and jigsaw reconstruction tasks and in routing-style settings, adaptive entropy control improves training stability and final permutation quality relative to fixed-temperature baselines, particularly as problem size and assignment ambiguity increase.
","absKo":"많은 학습 문제는 정렬되지 않은 데이터에서 구조를 드러내는 숨겨진 ordering을 밝혀내야 한다. 예를 들어 sorting에서의 monotonicity나 jigsaw reconstruction에서의 spatial continuity가 그렇다. 이러한 설정에서 permutation은 latent operator로 학습될 수 있으며, 종종 ground-truth ordering에 접근하지 못한 채 재정렬된 출력에 직접 정의된 objective를 최적화하여 학습된다. Gumbel–Sinkhorn과 같은 differentiable relaxation은 permutation matrix를 doubly stochastic matrix로 근사함으로써 이 접근을 실용적으로 만든다. 그러나 supervision 없이 structure로부터 학습하면 비균일한 uncertainty가 유도된다. 일부 assignment는 초기에 확신을 얻는 반면, 다른 것들은 계속 모호하게 남는다. 기존 방법은 단일 global temperature를 사용해 이 과정을 제어하며, 모든 assignment가 동시에 sharpen 또는 diffuse되도록 강제해 규모가 커질수록 불안정을 초래한다. 우리는 assignment uncertainty에 따라 temperature를 국소적으로 조절하는 entropy-adaptive formulation of Gumbel–Sinkhorn을 도입한다. 이를 통해 확신이 높은 assignment는 일찍 discretize되면서도, 불확실성이 남아 있는 영역에서는 탐색이 유지된다. sorting, jigsaw reconstruction task, 그리고 routing-style setting 전반에서 adaptive entropy control은 특히 문제 크기와 assignment ambiguity가 증가할수록 fixed-temperature baseline에 비해 training stability와 최종 permutation quality를 향상시킨다."},{"id":"68823","en":"RouteFinder: Towards Foundation Models for Vehicle Routing Problems","ko":"RouteFinder: Vehicle Routing Problem을 위한 Foundation Model을 향하여","authors":"Federico Berto, Chuanbo Hua, Nayeli Gast Zepeda, André Hottung, Niels Wouda, Leon Lan, Junyoung Park, Kevin Tierney, Jinkyoo Park","pos":"#4003","abs":"This paper introduces RouteFinder, a comprehensive foundation model framework to tackle different Vehicle Routing Problem (VRP) variants. Our core idea is that a foundation model for VRPs should be able to represent variants by treating each as a subset of a generalized problem equipped with different attributes. We propose a unified VRP environment capable of efficiently handling any combination of these attributes. The RouteFinder model leverages a modern transformer-based encoder and global attribute embeddings to improve task representation. Additionally, we introduce two reinforcement learning techniques to enhance multi-task performance: mixed batch training, which enables training on different variants at once, and multi-variant reward normalization to balance different reward scales. Finally, we propose efficient adapter layers that enable fine-tuning for new variants with unseen attributes. Extensive experiments on 48 VRP variants show RouteFinder outperforms recent state-of-the-art learning methods. Our code is publicly available at https://github.com/ai4co/routefinder.
","absKo":"이 논문은 다양한 Vehicle Routing Problem(VRP) 변형을 다루기 위한 포괄적인 foundation model 프레임워크인 RouteFinder를 소개한다. 핵심 아이디어는 VRP를 위한 foundation model이 각 변형을 서로 다른 attribute를 갖춘 일반화된 문제의 부분집합으로 취급함으로써 표현할 수 있어야 한다는 것이다. 우리는 이러한 attribute의 어떤 조합도 효율적으로 처리할 수 있는 통합 VRP environment를 제안한다. RouteFinder model은 현대적인 transformer-based encoder와 global attribute embedding을 활용해 task representation을 향상시킨다. 또한 multi-task 성능을 높이기 위해 두 가지 reinforcement learning 기법을 도입한다. 하나는 서로 다른 변형을 동시에 학습할 수 있게 하는 mixed batch training이고, 다른 하나는 서로 다른 reward scale의 균형을 맞추는 multi-variant reward normalization이다. 마지막으로, 보지 못한 attribute를 가진 새로운 변형에 대해 fine-tuning을 가능하게 하는 효율적인 adapter layer를 제안한다. 48개의 VRP 변형에 대한 광범위한 실험은 RouteFinder가 최근 state-of-the-art learning method를 능가함을 보여준다. 우리의 코드는 공개되어 있으며 https://github.com/ai4co/routefinder 에서 확인할 수 있다.
"},{"id":"60484","en":"DynaSchedBench: Calibrated Dynamic Scheduling Benchmarks and Observability Paradox in LLM-based Scheduling Agents","ko":"DynaSchedBench: 보정된 Dynamic Scheduling Benchmark와 LLM 기반 Scheduling Agent의 Observability Paradox","authors":"Shijie Cao, Yuan Yuan, Jing Liu","pos":"#4112","link":"https://openreview.net/forum?id=zouCZ6s5Zj","abs":"Progress in neural combinatorial optimization for Dynamic Flexible Job Shop Scheduling Problem (DFJSP) is currently hindered by a methodological tension: static benchmarks encourage benchmark overfitting, while uncalibrated generators obscure algorithmic difficulty with stochastic noise. To resolve this, we introduce \\textbf{DynaSchedBench}, a diagnostic framework for DFJSP that rigorously controls the instance-generation process for evaluation. Instead of relying on naive parameter sampling, our approach utilizes Sequential Event-Space Calibrator (SESC) that computes a novel Schedule Stress Index (SSI) to stratify instances by difficulty. We demonstrate that SESC is substantially more computationally efficient than evolutionary baselines while converging reliably to the target metrics. The framework integrates modular components for instance generation, snapshot-based simulation, agents, evaluation, and visualization, enabling rigorous testing of reactive and lookahead-based policies. Leveraging this calibrated environment, we identify key limitations of LLM-based scheduling agents. Specifically, in step-wise online decision-making for dynamic scheduling, we identify an ``Observability Paradox'': providing agents with oracle access to full structural information can hurt policy performance, underperforming concise statistical summaries. Furthermore, despite substantial token overhead, tool-augmented and refinement strategies do not reliably improve performance, and most LLM agents do not consistently surpass strong dispatching baselines—behaving more like robust heuristic approximators than superior optimizers.
","absKo":"Dynamic Flexible Job Shop Scheduling Problem (DFJSP)에 대한 neural combinatorial optimization의 발전은 현재 methodological tension으로 인해 제약을 받고 있다. static benchmarks는 benchmark overfitting을 유도하는 반면, calibrated되지 않은 generators는 stochastic noise로 algorithmic difficulty를 가린다. 이를 해결하기 위해 우리는 평가를 위한 instance-generation process를 엄격하게 제어하는 DFJSP diagnostic framework인 \\textbf{DynaSchedBench}를 제안한다. 단순한 parameter sampling에 의존하는 대신, 우리의 접근은 Sequential Event-Space Calibrator (SESC)를 활용하여 새로운 Schedule Stress Index (SSI)를 계산하고, 이를 바탕으로 instance를 difficulty에 따라 stratify한다. 우리는 SESC가 evolutionary baselines보다 상당히 계산 효율적이면서도 target metrics에 안정적으로 수렴함을 보인다. 이 framework는 instance generation, snapshot-based simulation, agents, evaluation, visualization을 위한 modular components를 통합하여 reactive 및 lookahead-based policies를 엄격하게 테스트할 수 있게 한다. 이 calibrated environment를 활용해 우리는 LLM-based scheduling agents의 핵심 한계를 식별한다. 구체적으로, dynamic scheduling에서의 step-wise online decision-making에 대해 우리는 ``Observability Paradox''를 확인한다. 즉, agents에게 oracle access로 전체 structural information을 제공하면, 간결한 statistical summaries보다 policy performance가 오히려 저하될 수 있다. 더 나아가 token overhead가 상당함에도 불구하고 tool-augmented 및 refinement strategies는 성능을 안정적으로 개선하지 못하며, 대부분의 LLM agents는 강력한 dispatching baselines을 일관되게 능가하지 못한다. 이들은 우수한 optimizer라기보다 견고한 heuristic approximator처럼 동작한다.
"},{"id":"66128","en":"Learning-augmented Rent-or-Buy with a Sample","ko":"샘플을 활용한 학습 증강 임대-혹은-구매","authors":"Davidson Zhu, Sreenivas Gollapudi, Debmalya Panigrahi","pos":"#4516","link":"https://openreview.net/forum?id=6fU9gJuDWJ","abs":"In this paper, we study the rent-or-buy problem (also called the Bahncard problem) in the learning-augmented setting. In this problem, a traveler must complete a sequence of trips that are revealed online over time, each of which has an associated cost with it. The traveler has the option of buying a discount card at a fixed cost that gives a discount on trip costs for a fixed time after buying the card. The goal is to minimize the overall cost of all the trips, including the money spent on buying discount cards. For this problem, it is well-known that the best deterministic algorithm has a competitive ratio of 2. In this paper, we ask whether we can do better if the traveler has a sample of trips available offline, e.g., obtained from an ML model based on historical data. We show that even a sparse sample of the input can significantly improve the competitive ratio of the algorithm from 2 to 3/2, and further to close to 1 under some additional conditions. We also verify our theoretical bounds via numerical simulations, which reveal that our proposed algorithm obtains nearly optimal solutions for a variety of natural input classes.
","absKo":"본 논문에서는 learning-augmented setting에서 rent-or-buy 문제(또는 Bahncard 문제라고도 부름)를 연구한다. 이 문제에서 여행자는 시간이 지남에 따라 온라인으로 드러나는 일련의 trip을 완료해야 하며, 각 trip에는 그에 대응하는 비용이 있다. 여행자는 고정 비용으로 discount card를 구매할 수 있고, 구매 후 일정 기간 동안 trip 비용에 할인이 적용된다. 목표는 discount card 구매에 지출한 금액을 포함한 모든 trip의 총비용을 최소화하는 것이다. 이 문제에 대해서는 최선의 deterministic algorithm이 competitive ratio 2를 갖는다는 것이 잘 알려져 있다. 본 논문에서는 여행자가 historical data를 기반으로 한 ML model에서 얻을 수 있는 것과 같은 trip의 sample을 offline으로 보유한다면 더 나은 성능이 가능한지 묻는다. 우리는 입력의 매우 희소한 sample만으로도 algorithm의 competitive ratio를 2에서 3/2로, 그리고 추가 조건 하에서는 1에 가까운 수준까지 유의미하게 개선할 수 있음을 보인다. 또한 수치 시뮬레이션을 통해 이론적 bound를 검증하며, 제안한 algorithm이 다양한 자연스러운 입력 클래스에서 거의 최적의 해를 얻음을 확인한다.
"},{"id":"64687","en":"Compact Conformal Subgraphs","ko":"간결한 Conformal Subgraph","authors":"Sreenivas Gollapudi, Kostas Kollias, Kamesh Munagala, Aravindan Vijayaraghavan","pos":"#4623","link":"https://openreview.net/forum?id=KqMqJpSMnQ","abs":"Conformal prediction provides rigorous, distribution-free uncertainty guarantees, but often yields prohibitively large prediction sets in structured domains such as routing, planning, or sequential recommendation. We introduce graph-based conformal compression, a framework for constructing compact subgraphs that preserve statistical validity while reducing structural complexity. We formulate compression as selecting a smallest subgraph capturing a prescribed fraction of the probability mass, and reduce to a weighted version of densest-k-subgraphs in hypergraphs, in the regime where the subgraph has a large fraction of edges. We design efficient approximation algorithms that achieve constant factor coverage and size trade-offs. Crucially, we prove that our relaxation satisfies a monotonicity property, derived from a connection to parametric minimum cuts, which guarantees the nestedness required for valid conformal calibration. Our results therefore not only highlight an algorithmic regime, distinct from classical densest-k-subgraph hardness settings, where the problem can be approximated efficiently, but also bridge conformal prediction with combinatorial graph compression via monotonicity. We finally validate our algorithmic approach via simulations for trip planning and navigation, and compare to natural baselines.
","absKo":"Conformal prediction은 엄밀하고 distribution-free한 uncertainty guarantee를 제공하지만, routing, planning, sequential recommendation과 같은 structured domain에서는 종종 지나치게 큰 prediction set을 산출한다. 우리는 통계적 타당성을 유지하면서 구조적 복잡성을 줄이는 compact subgraph를 구성하기 위한 framework인 graph-based conformal compression을 소개한다. 우리는 compression을 주어진 probability mass의 일정 비율을 포착하는 가장 작은 subgraph를 선택하는 문제로 정식화하고, subgraph가 edge의 큰 비율을 가질 때의 regime에서 hypergraph의 weighted version의 densest-k-subgraphs로 환원한다. 우리는 constant factor coverage와 size trade-off를 달성하는 효율적인 approximation algorithm을 설계한다. 결정적으로, 우리는 우리의 relaxation이 parametric minimum cut과의 연결에서 도출되는 monotonicity property를 만족함을 증명하며, 이는 valid conformal calibration에 필요한 nestedness를 보장한다. 따라서 우리의 결과는 고전적인 densest-k-subgraph hardness setting과 구별되는 algorithmic regime에서 이 문제를 효율적으로 근사할 수 있음을 보여줄 뿐만 아니라, monotonicity를 통해 conformal prediction과 combinatorial graph compression을 연결한다. 마지막으로 trip planning과 navigation에 대한 simulation을 통해 우리의 algorithmic approach를 검증하고, 자연스러운 baseline과 비교한다.
"},{"id":"65504","en":"Optimal and Scalable MAPF via Multi-Marginal Optimal Transport and Schrödinger Bridges","ko":"다중 한계 Optimal Transport와 Schrödinger Bridge를 통한 최적이고 확장 가능한 MAPF","authors":"Usman A Khan, Joseph Durham","pos":"#507","link":"https://openreview.net/forum?id=Cxdj2GYZ4c","abs":"We consider anonymous multi-agent path finding (MAPF) where a set of robots is tasked to travel to a set of targets on a finite, connected graph. We show that MAPF can be cast as a special class of multi-marginal optimal transport (MMOT) problems with an underlying Markovian structure, under which the exponentially large MMOT collapses to a linear program (LP) polynomial in size. Focusing on the anonymous setting, we establish conditions under which the corresponding LP is feasible, totally unimodular, and yields min-cost, integral~$(\\{0,1\\})$ transports that do not overlap in both space and time. To adapt the approach to large-scale problems, we cast the MAPF-MMOT in a probabilistic framework via Schrödinger bridges. Under standard assumptions, we show that the Schrödinger bridge formulation reduces to an entropic regularization of the corresponding MMOT that admits an iterative Sinkhorn-type solution. The Schrödinger bridge, being a probabilistic framework, provides a shadow (fractional) transport that we use as a template to solve a reduced LP and demonstrate that it results in near-optimal, integral transports at a significant reduction in complexity. Extensive experiments highlight the optimality and scalability of the proposed approaches.","absKo":"우리는 유한하고 연결된 그래프 위에서 로봇 집합이 target 집합으로 이동하도록 주어지는 anonymous multi-agent path finding (MAPF)를 고려한다. 우리는 MAPF가 내부에 Markovian 구조를 가지는 multi-marginal optimal transport (MMOT) 문제의 특수한 부류로 정식화될 수 있음을 보이며, 이때 지수적으로 큰 MMOT는 크기 면에서 다항적인 linear program (LP)으로 축소된다. anonymous setting에 초점을 맞추어, 우리는 대응하는 LP가 feasible하고 totally unimodular하며, 공간과 시간 양쪽에서 겹치지 않는 최소 비용의 integral~$(\\{0,1\\})$ transport를 산출하는 조건을 규명한다. 이 접근을 대규모 문제에 맞게 적응시키기 위해, 우리는 Schrödinger bridge를 통해 MAPF-MMOT를 probabilistic framework로 정식화한다. 표준 가정 하에서, 우리는 Schrödinger bridge formulation이 대응하는 MMOT의 entropic regularization으로 축소되며 iterative Sinkhorn-type solution을 허용함을 보인다. 확률적 framework인 Schrödinger bridge는 shadow(fractional) transport를 제공하며, 우리는 이를 템플릿으로 사용해 축소된 LP를 해결하고, 그 결과 복잡도를 크게 줄이면서 near-optimal한 integral transport를 얻음을 보인다. 광범위한 실험은 제안한 방법의 최적성과 확장성을 강조한다."},{"id":"63907","en":"Near-Universal Multiplicative Updates for Nonnegative Einsum Factorization","ko":"비음수 einsum factorization을 위한 거의 보편적인 multiplicative update","authors":"John Hood, Aaron Schein","pos":"#3701","link":"https://openreview.net/forum?id=SdKzHplaIq","abs":"Despite the ubiquity of multiway data across scientific domains, there are few user-friendly tools that fit tailored nonnegative tensor factorizations. Researchers may use gradient-based automatic differentiation (which often struggles in nonnegative settings), choose between a limited set of methods with mature implementations, or implement their own model from scratch. As an alternative, we introduce NNEinFact, an einsum-based multiplicative update algorithm that fits any nonnegative tensor factorization expressible as a tensor contraction by minimizing one of many user-specified loss functions (including the $(\\alpha,\\beta)$-divergence). To use NNEinFact, the researcher simply specifies their model with a string. NNEinFact converges to a local minimum of the loss, supports missing data, and fits to tensors with hundreds of millions of entries in seconds. Empirically, NNEinFact fits custom models which outperform standard ones in heldout prediction tasks on real-world tensor data by over 37% and attains less than half the test loss of gradient-based methods while converging up to 90 times faster.","absKo":"다양한 과학 분야에서 다중방향(multiway) 데이터가 널리 존재함에도, 맞춤형 nonnegative tensor factorization에 적합한 사용자 친화적 도구는 많지 않습니다. 연구자들은 gradient-based automatic differentiation을 사용할 수도 있지만(이는 nonnegative 설정에서 종종 잘 작동하지 않습니다), 구현이 성숙한 제한된 방법들 중 하나를 선택해야 하거나, 아니면 자신의 모델을 처음부터 직접 구현해야 합니다. 대안으로, 우리는 einsum 기반 multiplicative update 알고리즘인 NNEinFact를 소개합니다. NNEinFact는 많은 사용자가 지정한 loss function(\\((\\alpha,\\beta)\\)-divergence를 포함)을 최소화함으로써 tensor contraction으로 표현 가능한 임의의 nonnegative tensor factorization을 적합시킬 수 있습니다. NNEinFact를 사용하려면 연구자는 문자열로 자신의 모델만 지정하면 됩니다. NNEinFact는 loss의 local minimum으로 수렴하며, missing data를 지원하고, 수억 개의 엔트리를 가진 tensor에도 몇 초 만에 적합할 수 있습니다. 실험적으로, NNEinFact는 실제 tensor 데이터의 heldout prediction task에서 표준 모델보다 37% 이상 우수한 custom model을 적합시키며, gradient-based 방법보다 test loss는 절반 이하이고 수렴 속도는 최대 90배 더 빠릅니다."},{"id":"61858","en":"How Does the Lagrangian Guide Safe Reinforcement Learning through Diffusion Models?","ko":"Lagrangian은 Diffusion Model을 통해 Safe Reinforcement Learning을 어떻게 안내하는가?","authors":"Xiaoyuan Cheng, Wenxuan Yuan, Boyang Li, Yuanchao Xu, Yiming Yang, Hao Liang, Bei Peng, Robert Loftin, Zhuo Sun, Yukun Hu","pos":"#4601","link":"https://openreview.net/forum?id=mK3xWE7p2T","abs":"Diffusion policy sampling enables reinforcement learning (RL) to represent multimodal action distributions beyond suboptimal unimodal Gaussian policies. However, existing diffusion-based RL methods primarily focus on offline setting for reward maximization, with limited consideration of safety in online settings. To address this gap, we propose Augmented Lagrangian-Guided Diffusion (ALGD), a novel algorithm for off-policy safe RL. By revisiting optimization theory and energy-based modeling, we show that the instability of primal–dual methods arises from the non-convex Lagrangian landscape. In diffusion-based safe RL, the Lagrangian can be interpreted as an energy function guiding the denoising dynamics; counter-intuitively, direct usage destabilizes both policy generation and training. ALGD resolves this issue by introducing an augmented Lagrangian that locally convexifies the energy landscape, yielding a stabilized policy generation and training, without altering the distribution of optimal policy. Theoretical analysis and extensive experiments demonstrate that ALGD is both theoretically grounded and empirically effective, achieving strong and stable performance across diverse environments.
","absKo":"Diffusion policy sampling은 reinforcement learning (RL)이 최적이 아닌 unimodal Gaussian policy를 넘어 multimodal action distribution을 표현할 수 있게 해준다. 그러나 기존 diffusion 기반 RL 방법은 주로 reward maximization을 위한 offline setting에 초점을 맞추고 있어, online setting에서의 안전성에 대한 고려는 제한적이다. 이러한 공백을 메우기 위해, 우리는 off-policy safe RL을 위한 새로운 알고리즘인 Augmented Lagrangian-Guided Diffusion (ALGD)를 제안한다. Optimization theory와 energy-based modeling을 재검토함으로써, 우리는 primal-dual method의 불안정성이 non-convex Lagrangian landscape에서 비롯됨을 보인다. Diffusion 기반 safe RL에서 Lagrangian은 denoising dynamics를 유도하는 energy function으로 해석될 수 있으며, 직관과 달리 이를 직접 사용하면 policy generation과 training 모두가 불안정해진다. ALGD는 augmented Lagrangian을 도입해 energy landscape를 locally convexify함으로써 이 문제를 해결하며, optimal policy의 distribution을 바꾸지 않으면서 안정화된 policy generation과 training을 이끈다. 이론적 분석과 광범위한 실험은 ALGD가 이론적으로 탄탄할 뿐 아니라 경험적으로도 효과적이며, 다양한 환경에서 강력하고 안정적인 성능을 달성함을 보여준다.
"},{"id":"61071","en":"Hierarchical Successor Representation for Robust Transfer","ko":"강건한 Transfer를 위한 계층적 Successor Representation","authors":"Changmin Yu, Máté Lengyel","pos":"#203","link":"https://openreview.net/forum?id=txswvMHt4u","abs":"The successor representation (SR) provides a powerful framework for decoupling predictive dynamics from rewards, enabling rapid generalisation across reward configurations. However, the classical SR is limited by its inherent policy dependence: policies change due to ongoing learning, environmental non-stationarities, and changes in task demands, making established predictive representations obsolete. Furthermore, in topologically complex environments, SRs suffer from spectral diffusion, leading to dense and overlapping features that scale poorly. Here we propose the Hierarchical Successor Representation (HSR) for overcoming these limitations. By incorporating temporal abstractions into the construction of predictive representations, HSR learns stable state features which are robust to task-induced policy changes. Applying non-negative matrix factorisation (NMF) to the HSR yields a sparse, low-rank state representation that facilitates highly sample-efficient transfer to novel tasks in multi-compartmental environments. Further analysis reveals that HSR-NMF discovers interpretable topological structures, providing a policy-agnostic hierarchical map that effectively bridges model-free optimality and model-based flexibility. Beyond providing a useful basis for task-transfer, we show that HSR's temporally extended predictive structure can also be leveraged to drive efficient exploration, effectively scaling to large, procedurally generated environments.
","absKo":"successor representation(SR)은 predictive dynamics와 reward를 분리하는 강력한 framework를 제공하여, reward configuration 전반에서 빠른 generalisation을 가능하게 한다. 그러나 classical SR은 본질적인 policy dependence라는 한계가 있다. 정책은 지속적인 학습, 환경의 non-stationarity, 그리고 task demand의 변화로 인해 달라지며, 그 결과 기존 predictive representation은 더 이상 유효하지 않게 된다. 또한 topologically complex environment에서는 SR이 spectral diffusion을 겪어, 희소하지 않고 서로 겹치는 feature가 생성되어 확장성이 떨어진다. 우리는 이러한 한계를 극복하기 위해 Hierarchical Successor Representation(HSR)을 제안한다. temporal abstraction을 predictive representation의 구성에 통합함으로써, HSR은 task-induced policy change에 견고한 안정적인 state feature를 학습한다. HSR에 non-negative matrix factorisation(NMF)을 적용하면 sparse하고 low-rank인 state representation을 얻을 수 있으며, 이는 multi-compartmental environment에서 새로운 task로의 매우 sample-efficient한 transfer를 가능하게 한다. 추가 분석을 통해 HSR-NMF가 해석 가능한 topological structure를 발견함을 보이며, model-free optimality와 model-based flexibility를 효과적으로 연결하는 policy-agnostic hierarchical map을 제공한다. task transfer를 위한 유용한 basis를 제공하는 것을 넘어, HSR의 temporally extended predictive structure는 효율적인 exploration을 유도하는 데에도 활용될 수 있으며, 대규모 procedurally generated environment로도 효과적으로 확장됨을 보인다.
"},{"id":"62632","en":"Beyond the Proxy: Trajectory-Distilled Guidance for Offline GFlowNet Training","ko":"Proxy를 넘어: Offline GFlowNet Training을 위한 Trajectory-Distilled Guidance","authors":"Ruishuo Chen, Xun Wang, Rui Hu, Zhuoran Li, Longbo Huang","pos":"#2911","link":"https://openreview.net/forum?id=eoFrV13CN7","abs":"Generative Flow Networks (GFlowNets) excel at sampling diverse, high-reward objects. In many practical applications where active reward queries are infeasible, these models must be trained using static offline datasets. Prevailing training methods typically rely on a proxy model to provide reward feedback for online sampled trajectories. However, constructing a reliable proxy is often challenging due to data scarcity or high evaluation costs. While existing proxy-free approaches attempt to address this, they often impose coarse constraints that limit the model's ability to explore effectively. To overcome these limitations, we propose Trajectory-Distilled GFlowNet (TD-GFN), a novel proxy-free training framework. TD-GFN utilizes inverse reinforcement learning (IRL) to extract dense, transition-level edge rewards from offline trajectories, providing rich structural guidance for efficient exploration. Crucially, to ensure robustness, these rewards guide the policy indirectly through DAG pruning and prioritized backward sampling. This design ensures that gradient updates rely exclusively on ground-truth terminal rewards from the dataset, thereby preventing error propagation. Empirical results demonstrate that TD-GFN significantly outperforms a broad range of existing baselines in both convergence speed and sample quality, establishing a more robust and efficient paradigm for offline GFlowNet training.
","absKo":"Generative Flow Networks(GFlowNets)는 다양하고 보상이 높은 object를 샘플링하는 데 뛰어나다. 하지만 active reward query가 불가능한 많은 실제 응용에서는 이러한 model을 정적인 offline dataset으로 학습해야 한다. 널리 쓰이는 학습 방법은 보통 online으로 샘플링된 trajectory에 reward feedback을 제공하기 위해 proxy model에 의존한다. 그러나 데이터 부족이나 높은 평가 비용 때문에 신뢰할 수 있는 proxy를 구축하는 일은 종종 어렵다. 기존의 proxy-free 접근법이 이 문제를 해결하려고 시도하지만, 대개 모델이 효과적으로 탐색하는 능력을 제한하는 거친 제약을 부과한다. 이러한 한계를 극복하기 위해, 우리는 새로운 proxy-free training framework인 Trajectory-Distilled GFlowNet(TD-GFN)를 제안한다. TD-GFN은 inverse reinforcement learning(IRL)을 활용하여 offline trajectory에서 transition-level의 밀도 높은 edge reward를 추출하고, 효율적인 탐색을 위한 풍부한 구조적 지침을 제공한다. 특히 견고성을 보장하기 위해, 이러한 reward는 DAG pruning과 prioritized backward sampling을 통해 간접적으로 policy를 안내한다. 이러한 설계는 gradient update가 데이터셋의 ground-truth terminal reward에만 의존하도록 하여 error propagation을 방지한다. 실험 결과는 TD-GFN이 convergence speed와 sample quality 모두에서 기존 baseline의 넓은 범위를 크게 능가하며, offline GFlowNet 학습을 위한 더 견고하고 효율적인 paradigm을 확립함을 보여준다.
"},{"id":"67076","en":"Position: Multi-Agent Systems Should Prioritize Concurrency Control","ko":"Position: Multi-Agent 시스템은 동시성 제어를 우선해야 한다","authors":"Xin Yang, Letian Li, Zimo Ji, Terry Zhang, Wenyuan Jiang","pos":"#122","link":"https://openreview.net/forum?id=nfYEDaDzv9","abs":"LLM-based multi-agent systems (MAS) promise scalable collaboration, yet adding agents often reduces reliability. This position paper argues that many MAS failures are fundamentally concurrency control problems: agents concurrently read and write shared state, and long LLM inference windows amplify the risk of stale reads, lost updates, and inconsistent outcomes. Failure modes commonly attributed to \"coordination\" or \"communication\" breakdowns can be mapped directly onto classical concurrency anomalies. Rather than treating these as emergent behaviors to be solved by better prompting or more capable models, we contend that MAS frameworks should incorporate explicit concurrency control mechanisms: conflict detection, isolation guarantees, and structured access to shared resources. Concurrency control should be a first-class design concern, not an afterthought.
","absKo":"LLM-based multi-agent system(MAS)은 확장 가능한 협업을 약속하지만, agent를 추가할수록 reliability가 오히려 감소하는 경우가 많다. 이 position paper는 많은 MAS 실패가 근본적으로 concurrency control problem이라고 주장한다. 즉, agent가 shared state를 동시에 읽고 쓰며, 긴 LLM inference window가 stale read, lost update, inconsistent outcome의 위험을 증폭시킨다. 흔히 \"coordination\"이나 \"communication\" 붕괴로 귀속되는 failure mode는 고전적인 concurrency anomaly에 직접 대응시킬 수 있다. 우리는 이를 더 나은 prompting이나 더 강력한 model로 해결할 emergent behavior로 보지 않고, MAS framework가 conflict detection, isolation guarantee, shared resource에 대한 구조화된 접근을 포함하는 명시적 concurrency control mechanism을 통합해야 한다고 주장한다. Concurrency control은 사후 고려가 아니라 1차적인 설계 요소여야 한다.
"},{"id":"63905","en":"ReSeek: A Self-Correcting Framework for Search Agents with Instructive Rewards","ko":"ReSeek: 교훈적 보상을 갖춘 검색 에이전트를 위한 자기 수정 프레임워크","authors":"Shiyu Li, Yifan Wang, Peiming Li, Zheng Wei, Yang Tang","pos":"#111","link":"https://openreview.net/forum?id=SeO8pLS44H","abs":"Search agents powered by Large Language Models have demonstrated significant potential in tackling knowledge-intensive tasks. Reinforcement learning has emerged as a powerful paradigm for training these agents to perform complex, multi-step reasoning. However, prior RL-based methods often rely on sparse or rule-based rewards, which can lead agents to commit to suboptimal or erroneous reasoning paths without the ability to recover. To address these limitations, we propose ReSeek, a self-correcting framework enabling search agents to recover from erroneous search paths during an episode. By invoking a special JUDGE action, the agent can judge the information and re-plan its search strategy. To guide this process, we design a dense, instructive process reward function, which decomposes into a correctness reward for retrieving factual information and a utility reward for finding information genuinely useful for the query. Additionally, to mitigate the risk of data contamination in existing datasets, we introduce FictionalHot, a contamination-free benchmark requiring complex reasoning. Experiments show ReSeek significantly outperforms SOTA baselines in task success and path faithfulness.
","absKo":"Large Language Models로 구동되는 search agent는 지식 집약적 task를 해결하는 데 큰 잠재력을 보여주었다. Reinforcement learning은 이러한 agent가 복잡한 multi-step reasoning을 수행하도록 학습시키는 강력한 패러다임으로 부상했다. 그러나 기존 RL 기반 방법은 종종 sparse하거나 rule-based reward에 의존하며, 이로 인해 agent가 회복 불가능한 최적 이하 또는 오류 있는 추론 경로에 고착될 수 있다. 이러한 한계를 해결하기 위해 우리는 에피소드 도중 오류가 있는 search path에서 회복할 수 있게 하는 self-correcting framework **ReSeek**를 제안한다. 특별한 **JUDGE** action을 호출하면 agent는 정보를 판정하고 자신의 search strategy를 재계획할 수 있다. 이 과정을 안내하기 위해, 우리는 사실 정보 검색을 위한 correctness reward와 query에 실제로 유용한 정보를 찾는 데 대한 utility reward로 분해되는 dense하고 instructive한 process reward function을 설계한다. 추가로, 기존 dataset의 data contamination 위험을 완화하기 위해 복잡한 reasoning을 요구하는 contamination-free benchmark **FictionalHot**을 도입한다. 실험 결과 ReSeek은 task success와 path faithfulness에서 SOTA baseline을 크게 능가한다."},{"id":"64200","en":"Vulnerable Agent Identification in Large-Scale Multi-Agent Reinforcement Learning","ko":"대규모 다중 에이전트 강화학습에서 취약 에이전트 식별","authors":"Simin Li, Zihao Mao, Zheng Yuwei, Linhao Wang, Ruixiao Xu, Chengdong Ma, Zhiqian Liu, Xin Yu, Yuqing Ma, Xin Wang, Jie Luo, Bo An, Yaodong Yang, Weifeng Lv, Xianglong Liu","pos":"#115","link":"https://openreview.net/forum?id=Q1twBCjpUt","abs":"Partial agent failure becomes inevitable when systems scale up, making it crucial to identify the subset of agents whose failure causes worst-case system performance degradations. We study this Vulnerable Agent Identification (VAI) problem in large-scale multi-agent reinforcement learning (MARL). We frame VAI as a Hierarchical Adversarial Decentralized Mean Field Control (HAD-MFC), where where the upper level selects vulnerable agents as an NP-hard task and the lower level learns their worst-case adversarial policies via mean-field MARL. The two problems are coupled together, making HAD-MFC difficult to solve. To handle this, we first decouple the hierarchical process by Fenchel-Rockafellar transform, resulting a regularized mean-field Bellman operator for upper level that enables independent learning at each level, thus reducing computational complexity. We next reformulate the upper-level NP-hard problem as an MDP with dense rewards, allowing sequential identification of vulnerable agents via greedy and RL algorithms. This decomposition provably preserves the optimal solution. Experiments show our method effectively identifies more vulnerable agents in large-scale MARL and the rule-based system, fooling system into worse failures, and reveals the vulnerability of each agent in large systems. Code available at \\url{https://anonymous.4open.science/r/VAI-5F61/}.
","absKo":"시스템이 대규모로 확장되면 부분적인 agent failure는 불가피해지며, 이로 인해 실패 시 최악의 system performance degradation을 초래하는 agent의 부분집합을 식별하는 것이 매우 중요해진다. 우리는 대규모 multi-agent reinforcement learning (MARL)에서 이 Vulnerable Agent Identification (VAI) 문제를 연구한다. 우리는 VAI를 Hierarchical Adversarial Decentralized Mean Field Control (HAD-MFC)로 정식화하는데, 여기서 상위 수준은 vulnerable agent를 선택하는 NP-hard 작업을 수행하고 하위 수준은 mean-field MARL을 통해 이들의 worst-case adversarial policy를 학습한다. 두 문제는 서로 결합되어 있어 HAD-MFC를 풀기 어렵게 만든다. 이를 다루기 위해, 먼저 Fenchel-Rockafellar transform을 통해 hierarchical process를 분리하고, 그 결과 상위 수준에 대한 regularized mean-field Bellman operator를 얻어 각 수준에서 독립적인 학습이 가능해지며, 따라서 계산 복잡도를 줄인다. 다음으로 상위 수준의 NP-hard 문제를 dense reward를 갖는 MDP로 재정식화하여 greedy 및 RL algorithm을 통해 vulnerable agent를 순차적으로 식별할 수 있게 한다. 이 분해는 최적해를 보존함을 증명할 수 있다. 실험 결과, 우리 방법은 대규모 MARL과 rule-based system에서 더 많은 vulnerable agent를 효과적으로 식별하여 system을 더 나쁜 failure로 유도하고, 대규모 시스템에서 각 agent의 취약성을 드러낸다. 코드는 \\url{https://anonymous.4open.science/r/VAI-5F61/}에서 확인할 수 있다.
"},{"id":"66728","en":"Unsupervised Partner Design Enables Robust Ad-hoc Teamwork","ko":"비지도 Partner Design으로 실현하는 강건한 Ad-hoc Teamwork","authors":"Constantin Ruhdorfer, Matteo Bortoletto, Victor Oei, Anna Penzkofer, Andreas Bulling","pos":"#116","link":"https://openreview.net/forum?id=0xtMUL0eiF","abs":"We introduce Unsupervised Partner Design (UPD), a population-free multi-agent reinforcement learning method for robust ad-hoc teamwork. UPD generates training partners on-the-fly and selects them adaptively based on a learnability criterion, removing the need for pre-trained partner populations or manual parameter tuning. We show that this simple mechanism enables effective partner diversity and can be extended to joint partner-environment selection when a procedural level generator is available. Across Level-Based Foraging, Overcooked-AI, and the Overcooked Generalisation Challenge, UPD consistently outperforms both population-based and population-free baselines. In a human-AI user study, agents trained with UPD achieve higher returns and are rated as more adaptive, more human-like, and less frustrating than existing approaches.
","absKo":"우리는 robust ad-hoc teamwork을 위한 population-free multi-agent reinforcement learning 방법인 Unsupervised Partner Design (UPD)를 제안한다. UPD는 학습 파트너를 즉석에서 생성하고 learnability criterion에 따라 이를 적응적으로 선택함으로써, 사전 학습된 partner population이나 수동 파라미터 튜닝이 필요 없게 만든다. 우리는 이 단순한 메커니즘이 효과적인 partner diversity를 가능하게 하며, procedural level generator가 उपलब्ध한 경우 joint partner-environment selection으로 확장될 수 있음을 보인다. Level-Based Foraging, Overcooked-AI, 그리고 Overcooked Generalisation Challenge 전반에서 UPD는 population-based 및 population-free baseline 모두를 일관되게 능가한다. human-AI user study에서는 UPD로 학습한 agent가 더 높은 return을 달성하고, 기존 접근법보다 더 adaptive하고, 더 human-like하며, 덜 frustrating한 것으로 평가된다.
"},{"id":"64327","en":"Towards Complete Multi-Agent Coordination Policy Learning via Denoising Maximum Entropy Optimization","ko":"노이즈 제거 최대 엔트로피 최적화를 통한 완전 다중 에이전트 협응 정책 학습을 향하여","authors":"Guanghao Li, lei yuan, Ruiqi Xue, Hengchang Zhang, Jianhong Wang, Yi-Chen Li, Yang Yu","pos":"#117","link":"https://openreview.net/forum?id=OiOBtT157H","abs":"Parameter sharing is a widely used technique in Multi-Agent Reinforcement Learning (MARL) that enhances sample efficiency by equipping agents with a unified policy. While effective in homogeneous settings, it often struggles in heterogeneous environments where agents possess diverse capabilities. Conversely, learning customized policies for agents can resolve knowledge conflicts but significantly hinders knowledge transfer, thereby reducing learning efficiency. Existing approaches attempt to balance this trade-off using clustering or agent-specific masks, but they typically rely on strong environment-specific priors and struggle in settings where the team exhibits multi-modal policies. To address these limitations, we propose Dspic, an efficient shared-policy algorithm grounded in the maximum entropy framework. Specifically, Dspic employs self-supervised learning to extract discriminative role embeddings for each agent. These embeddings guide a complete division of the observation space, providing a theoretical guarantee for the optimality of parameter sharing. Furthermore, to handle the increased observation complexity and diversity resulting from this division, Dspic incorporates a diffusion policy, enhancing the capacity to model complex action distributions while enabling efficient learning. Extensive experiments on MaMuJoCo, SMAC, SMACv2, and LBF demonstrate that Dspic achieves superior sample efficiency while maintaining asymptotic optimality.
","absKo":"Parameter sharing은 Multi-Agent Reinforcement Learning (MARL)에서 널리 사용되는 기법으로, agent들에게 통합된 policy를 부여함으로써 sample efficiency를 향상시킨다. 이질적인 환경에서는 agent들이 다양한 능력을 가지기 때문에 효과가 떨어지는 반면, agent별로 맞춤형 policy를 학습하면 knowledge conflict를 해결할 수 있지만 knowledge transfer를 크게 저해하여 학습 효율이 감소한다. 기존 방법들은 clustering이나 agent-specific mask를 사용해 이 trade-off를 균형 있게 다루려 하지만, 일반적으로 환경별 강한 prior에 의존하며 team이 multi-modal policy를 보이는 상황에서는 성능이 저하된다. 이러한 한계를 해결하기 위해 우리는 maximum entropy framework에 기반한 효율적인 shared-policy algorithm인 Dspic을 제안한다. 구체적으로 Dspic은 self-supervised learning을 활용해 각 agent에 대한 판별력 있는 role embedding을 추출한다. 이 embedding은 observation space의 완전한 분할을 안내하며, parameter sharing의 최적성에 대한 이론적 보장을 제공한다. 또한 이러한 분할로 인해 증가하는 observation 복잡도와 다양성을 처리하기 위해 Dspic은 diffusion policy를 통합하여 복잡한 action distribution을 모델링하는 능력을 향상시키는 동시에 효율적인 학습을 가능하게 한다. MaMuJoCo, SMAC, SMACv2, LBF에 대한 광범위한 실험은 Dspic이 asymptotic optimality를 유지하면서 뛰어난 sample efficiency를 달성함을 보여준다.
"},{"id":"65907","en":"Sparse Topology-Aware Pairwise Scoring for Large-Scale Multi-Agent Reinforcement Learning","ko":"대규모 멀티에이전트 강화학습을 위한 희소 위상 인식 쌍대 점수화","authors":"Zhibo Deng, Feng Liang, Yong Zhang, Xiaoxi Zhang, Xiping Hu","pos":"#119","link":"https://openreview.net/forum?id=91GdjfPm7f","abs":"In multi-agent reinforcement learning (MARL), communication enables agents to mitigate partial observability and stochasticity through information sharing, but large-scale systems inherently lead to a rapidly growing number of pairwise interactions. Previous studies often struggle to simultaneously achieve scalability and task adaptivity in large-scale multi-agent communication. To address this challenge, we propose a scalable communication scheme for large-scale MARL, termed $\\textit{Sparse tOpology-aware Pairwise Scoring}$ (SOPS). We argue that scalable MARL communication requires decoupling scalability from task-adaptive link allocation. To ensure scalability, we constrain communication to an exponential-graph backbone with a small diameter, which preserves rapid potential information mixing while keeping per-agent candidates logarithmic. On top of this constraint, we learn a task-conditioned probabilistic subgraph distribution via a pairwise scoring network over agent states and edge-type embeddings to allocate sparse links for maximizing return, optimized end-to-end through differentiable Gumbel-Sigmoid reparameterization. Evaluation results show that SOPS significantly outperforms existing state-of-the-art methods across cooperative benchmarks of diverse scales and exhibits robust zero-shot transfer capabilities.","absKo":"multi-agent reinforcement learning(MARL)에서 communication은 information sharing을 통해 partial observability와 stochasticity를 완화할 수 있게 하지만, 대규모 시스템에서는 pairwise interaction의 수가 본질적으로 빠르게 증가한다. 기존 연구는 대규모 multi-agent communication에서 scalability와 task adaptivity를 동시에 달성하는 데 종종 어려움을 겪는다. 이 문제를 해결하기 위해 우리는 대규모 MARL을 위한 scalable communication scheme인 $\\textit{Sparse tOpology-aware Pairwise Scoring}$ (SOPS)를 제안한다. 우리는 scalable MARL communication이 scalability와 task-adaptive link allocation을 분리해야 한다고 주장한다. 확장성을 보장하기 위해, 우리는 작은 diameter를 가진 exponential-graph backbone으로 communication을 제한한다. 이는 per-agent candidate를 logarithmic 수준으로 유지하면서도 빠른 잠재적 information mixing을 보존한다. 이러한 제약 위에서, 우리는 agent state와 edge-type embedding에 대한 pairwise scoring network를 통해 task-conditioned probabilistic subgraph distribution을 학습하여, return을 최대화하는 sparse link를 할당하고, differentiable Gumbel-Sigmoid reparameterization을 통해 end-to-end로 최적화한다. 평가 결과, SOPS는 다양한 규모의 cooperative benchmark 전반에서 기존 state-of-the-art 방법을 크게 능가하며, 강건한 zero-shot transfer 능력도 보인다."},{"id":"65949","en":"Scaling Multi-Agent Environment Co-Design with Diffusion Models","ko":"Diffusion 모델을 활용한 멀티에이전트 환경 공동 설계 확장","authors":"Hao Xiang Li, Michael Amir, Amanda Prorok","pos":"#120","link":"https://openreview.net/forum?id=8atKBiXm7u","abs":"The agent-environment co-design paradigm jointly optimises agent policies and environment configurations in search of improved system performance, promising to fundamentally reshape how we deploy multi-agent systems in domains such as warehouse logistics and windfarm management. However, current co-design methods collapse under high dimensional environment design spaces and suffer from sample inefficiency when addressing moving targets inherent to joint optimisation. We address this by developing Diffusion Co-Design (DiCoDe), a scalable and sample-efficient co-design framework incorporating two core innovations. We introduce Projected Universal Guidance (PUG), enabling exploration of constraint-satisfying reward-maximising environments, and devise a critic distillation mechanism to transfer knowledge from the reinforcement learning loop to a guided diffuision model. Together, these improvements lead to superior environment-policy pairs when validated on challenging multi-agent co-design benchmarks, for example, exceeding state-of-the art in a warehouse setting with 39% higher rewards and 66% fewer simulation steps.
","absKo":"agent-environment co-design 패러다임은 더 나은 시스템 성능을 찾기 위해 agent policy와 environment configuration을 공동 최적화하며, warehouse logistics와 windfarm management 같은 도메인에서 multi-agent system을 배치하는 방식을 근본적으로 바꿀 가능성을 제시한다. 그러나 현재의 co-design 방법은 고차원 environment design space에서 무너지고, joint optimization에 내재한 moving target을 다룰 때 sample efficiency도 떨어진다. 우리는 두 가지 핵심 혁신을 포함하는 확장 가능하고 sample-efficient한 co-design 프레임워크인 Diffusion Co-Design (DiCoDe)을 개발하여 이 문제를 해결한다. 우리는 제약을 만족하면서 reward를 최대화하는 environment 탐색을 가능하게 하는 Projected Universal Guidance (PUG)를 도입하고, reinforcement learning loop의 지식을 guided diffusion model로 전달하는 critic distillation 메커니즘을 설계한다. 이 개선들은 함께 도전적인 multi-agent co-design benchmark에서 검증될 때 더 우수한 environment-policy pair를 이끌어 내며, 예를 들어 warehouse 설정에서는 state-of-the art를 넘어 39% 더 높은 reward와 66% 적은 simulation step을 달성한다."},{"id":"61552","en":"Role-Level Inductive Bias for Cross-Task Generalization in Multi-Agent Reinforcement Learning","ko":"Multi-Agent Reinforcement Learning에서 Cross-Task Generalization을 위한 Role-Level Inductive Bias","authors":"Chang Yao, Youfang Lin, Shoucheng Song, Hao Wu, Shengkun Yang, Yuqing Ma, Kai Lv","pos":"#121","link":"https://openreview.net/forum?id=oz8kFbXdpj","abs":"Achieving cross-task generalization remains a critical challenge in Multi-Agent Reinforcement Learning (MARL), fundamentally relying on effective inductive biases. However, existing entity-level biases often overlook collaborative patterns, whereas task-level biases lack sufficient coverage for novel scenarios. To address this, we introduce a role-level inductive bias as an intermediate abstraction that integrates entity-level flexibility with task-level inter-agent collaboration. To instantiate this, we propose Gaussian-mixture-model-based Transferable Role discovery (GTR). Specifically, GTR constructs a structured role space to ensure diverse role assignment, further achieves role decoupling via regularization, and ultimately utilizes these roles for efficient generalization. Empirical results demonstrate that GTR achieves superior zero-shot and few-shot transfer performance on unseen tasks compared to state-of-the-art methods.
","absKo":"Multi-Agent Reinforcement Learning (MARL)에서 cross-task generalization을 달성하는 것은 효과적인 inductive bias에 본질적으로 의존하는 중요한 과제다. 그러나 기존의 entity-level bias는 협력 패턴을 간과하는 경우가 많고, task-level bias는 새로운 시나리오를 충분히 포괄하지 못한다. 이를 해결하기 위해, 우리는 entity-level의 유연성과 task-level의 agent 간 협력을 통합하는 중간 수준의 추상화로서 role-level inductive bias를 도입한다. 이를 구현하기 위해 Gaussian-mixture-model-based Transferable Role discovery (GTR)를 제안한다. 구체적으로 GTR은 다양한 role assignment를 보장하기 위해 구조화된 role space를 구성하고, regularization을 통해 role decoupling을 달성하며, 궁극적으로 이러한 role을 활용해 효율적인 generalization을 구현한다. 실험 결과는 GTR이 보지 못한 task에서 state-of-the-art method에 비해 zero-shot 및 few-shot transfer performance를 더 우수하게 달성함을 보여준다."},{"id":"60929","en":"PADD: Path-Aligned Decompression Distillation for Non-Router Teacher to Guide MoE Student Learning","ko":"PADD: Non-Router Teacher가 MoE Student Learning을 안내하기 위한 Path-Aligned Decompression Distillation","authors":"Xinyue Peng, Yi Qian, Jiaojiao Lin, Wenjian Shao, Yanming Liu","pos":"#123","link":"https://openreview.net/forum?id=vHexbHQZEm","abs":"As large language models (LLMs) continue to scale, it becomes increasingly challenging to grow model capacity under fixed computation budgets. We propose Path-Aligned Decompression Distillation (PADD), a framework for distilling knowledge from dense teachers without explicit routing into mixture-of-experts (MoE) students while learning high-quality routing policies. PADD organizes knowledge distillation into four stages in two phases: an initialization phase (Stage I) that builds diverse functionality in the student's experts through teacher neuron clustering and student-expert warmup, and a training phase (Stages II--IV) that integrates online adaptive distillation, path-refined policy optimization, and reward-augmented load balancing in a single training pipeline.Experiments on mathematical reasoning benchmarks demonstrate that PADD yields substantial gains over strong baselines at the same inference cost and that the MoE student can match or surpass its dense teacher. They also demonstrate effective teacher-to-student knowledge distillation and stable routing behavior.
","absKo":"대규모 language model (LLM)이 계속 확장됨에 따라, 고정된 computation budget 하에서 model capacity를 키우는 것은 점점 더 어려워지고 있다. 우리는 dense teacher로부터 mixture-of-experts (MoE) student로 explicit routing 없이 knowledge를 distill하면서, 고품질 routing policy를 학습하는 framework인 Path-Aligned Decompression Distillation (PADD)을 제안한다. PADD는 두 phase와 네 stage로 knowledge distillation을 구성한다. 초기화 phase (Stage I)에서는 teacher neuron clustering과 student-expert warmup을 통해 student expert에 다양한 기능을 구축하고, training phase (Stages II--IV)에서는 online adaptive distillation, path-refined policy optimization, reward-augmented load balancing을 하나의 training pipeline에 통합한다. 수학적 추론 benchmark에서의 실험은 PADD가 동일한 inference cost에서 강력한 baseline보다 상당한 성능 향상을 보이며, MoE student가 dense teacher와 동등하거나 이를 능가할 수 있음을 보여준다. 또한 teacher-to-student knowledge distillation의 효과와 안정적인 routing behavior도 입증한다.
"},{"id":"66211","en":"Offline Multi-agent Continual Cooperation via Skill Partition and Reuse","ko":"기술 분할 및 재사용을 통한 오프라인 다중 에이전트 지속 협력","authors":"Yuchen Xiao, lei yuan, Ruiqi Xue, Tieyue Yin, Yang Yu","pos":"#124","link":"https://openreview.net/forum?id=5kteupXJ7B","abs":"Extracting skills from multi-agent offline dataset improves learning efficiency via sharing task-invariant coordination skills among tasks. In settings where tasks occur sequentially and the space of skills grows exponentially, existing approaches that rely on heuristically designed and fixed-sized skill libraries struggle to resolve the problem of distributional shift and interference, facing catastrophic forgetting and plasticity loss. To address this problem and endow agents with the ability to continually discover and reuse coordination skills in open-environment, we propose COMAD, a principled framework for Continual Offline Multi-agent Skill Discovery via Skill Partition and Reuse. We first discover skills from mixed multi-agent behavior data with an auto-encoder to transform coordination knowledge into reusable coordination skills. Then we construct a skill-augmented policy learning objective with multi-head architectures, explicitly guiding the advantage function with reusable skills identified via a density-based reusability estimator. Theoretical analysis shows our method approximates the optimum of a continual skill discovery problem. Empirical results across diverse MARL benchmarks show that COMAD continually expands its skill library to mitigate interference, achieving superior forward and backward transfer for task streams compared to multiple baselines.
","absKo":"multi-agent offline dataset에서 skill을 추출하면, 태스크들 사이에서 task-invariant coordination skill을 공유함으로써 학습 효율이 향상된다. 태스크가 순차적으로 발생하고 skill 공간이 지수적으로 증가하는 설정에서, 휴리스틱하게 설계된 고정 크기 skill library에 의존하는 기존 방법들은 distributional shift와 interference 문제를 해결하는 데 어려움을 겪으며, catastrophic forgetting과 plasticity loss에 직면한다. 이 문제를 해결하고 open-environment에서 agent가 coordination skill을 지속적으로 발견하고 재사용할 수 있도록 하기 위해, 우리는 Skill Partition과 Reuse를 통한 Continual Offline Multi-agent Skill Discovery를 위한 원리적 프레임워크인 COMAD를 제안한다. 우리는 먼저 auto-encoder를 사용해 혼합된 multi-agent behavior data로부터 skill을 발견하여 coordination knowledge를 재사용 가능한 coordination skill로 변환한다. 그런 다음 multi-head architecture를 갖춘 skill-augmented policy learning objective를 구성하고, density-based reusability estimator로 식별된 재사용 가능한 skill을 advantage function에 명시적으로 반영해 이를 유도한다. 이론적 분석은 우리의 방법이 continual skill discovery 문제의 최적해를 근사함을 보인다. 다양한 MARL benchmark에 대한 실험 결과, COMAD는 interference를 완화하기 위해 skill library를 지속적으로 확장하며, 여러 baseline에 비해 task stream에서 superior forward transfer와 backward transfer를 달성한다.
"},{"id":"64191","en":"Offline Multi-Agent Reinforcement Learning via Sequential Score Decomposition","ko":"순차적 점수 분해를 통한 오프라인 다중 에이전트 강화학습","authors":"Dan Qiao, Wenhao Li, Shanchao Yang, Hongyuan Zha, Baoxiang Wang","pos":"#125","link":"https://openreview.net/forum?id=Q6Kt8mROxg","abs":"Offline cooperative multi-agent reinforcement learning (MARL) faces unique challenges due to the distribution shift between online and offline data collection. While online MARL typically converges to a single coordinated joint policy, offline datasets are often mixtures of diverse cooperative behaviors, resulting in highly multimodal joint behavior distributions. In such settings, independent policy regularization often misaligns joint policy constraints and leads to severe distribution shift. To address this, we propose OMSD, which sequentially decomposes the joint behavior policy into individual conditional distributions and leverages diffusion-based generative models to provide modality-coordinated regularization for each agent. Combined with centralized critic guidance, OMSD achieves coordinated exploration within high-value, in-distribution regions, and avoids out-of-distribution joint actions. Experiments across multiple datasets on various continuous control tasks demonstrate that OMSD consistently achieves state-of-the-art performance, especially in challenging multimodal scenarios. Our results highlight the necessity of modality-aware coordination for robust offline MARL.
","absKo":"온라인과 오프라인 데이터 수집 간의 distribution shift 때문에, offline cooperative multi-agent reinforcement learning(MARL)은 고유한 도전에 직면한다. 온라인 MARL이 일반적으로 하나의 정렬된 joint policy로 수렴하는 반면, offline dataset은 다양한 cooperative behavior의 혼합인 경우가 많아, 매우 multimodal한 joint behavior distribution을 형성한다. 이러한 설정에서 independent policy regularization은 joint policy constraint를 제대로 정렬하지 못해 심각한 distribution shift를 유발한다. 이를 해결하기 위해, 우리는 joint behavior policy를 개별 conditional distribution으로 순차적으로 분해하고 diffusion-based generative model을 활용해 각 agent에 modality-coordinated regularization을 제공하는 OMSD를 제안한다. centralized critic guidance와 결합된 OMSD는 high-value, in-distribution region 내에서 coordinated exploration을 달성하고, out-of-distribution joint action을 회피한다. 다양한 continuous control task에 걸친 여러 dataset에서의 실험은 OMSD가 특히 도전적인 multimodal 시나리오에서 일관되게 state-of-the-art 성능을 달성함을 보여준다. 우리의 결과는 robust offline MARL을 위해 modality-aware coordination이 필수적임을 강조한다.
"},{"id":"63254","en":"Automata-Conditioned Cooperative Multi-Agent Reinforcement Learning","ko":"오토마타 조건부 협력적 다중 에이전트 강화학습","authors":"Beyazit Yalcinkaya, Marcell Vazquez-Chanlatte, Ameesh Shah, Hanna Krasowski, Sanjit Seshia","pos":"#209","link":"https://openreview.net/forum?id=Yi1W13sPsR","abs":"We study learning multi-task, multi-agent policies for cooperative, temporal objectives, under centralized training, decentralized execution. In this setting, using automata to represent tasks assigned to agents enables breaking down a team-level objective into simpler, smaller sub-tasks. However, existing approaches remain sample-inefficient and are limited to the single-task case, requiring retraining policies for each new task. In this work, we present Automata-Conditioned Cooperative Multi-Agent Reinforcement Learning (ACC-MARL), a framework for learning task-conditioned, decentralized team policies. We identify the main challenges to the feasibility of ACC-MARL, propose solutions, and prove that our approach is optimal. We further show that learned value functions can be used to assign tasks optimally at test time. Experiments demonstrate emergent task-aware, multi-step coordination among agents, such as pressing a button to unlock a door, holding the door, and short-circuiting tasks.
","absKo":"우리는 centralized training, decentralized execution 하에서 cooperative한 temporal objective를 위한 multi-task, multi-agent policy 학습을 연구한다. 이 설정에서 agent에 할당된 task를 automata로 표현하면 team-level objective를 더 작고 단순한 sub-task로 분해할 수 있다. 그러나 기존 접근법은 sample efficiency가 낮고 single-task case에만 제한되며, 새로운 task마다 policy를 재학습해야 한다. 본 연구에서는 task-conditioned decentralized team policy를 학습하기 위한 framework인 Automata-Conditioned Cooperative Multi-Agent Reinforcement Learning(ACC-MARL)을 제시한다. 우리는 ACC-MARL의 실현 가능성에 대한 주요 도전 과제를 식별하고, 해결책을 제안하며, 우리의 접근법이 최적임을 증명한다. 또한 학습된 value function이 test time에 task를 최적으로 할당하는 데 사용될 수 있음을 보인다. 실험은 버튼을 눌러 문을 열고, 문을 잡아주고, task를 short-circuit하는 등 agent 간의 자발적인 task-aware multi-step coordination을 보여준다.
"},{"id":"63608","en":"CooT: Learning to Coordinate In-Context with Coordination Transformers","ko":"CooT: Coordination Transformers로 문맥 내 조정을 학습하기","authors":"Huai-Chih Wang, Hsiang-Chun Chuang, Hsi-Chun Cheng, Dai-Jie Wu, Shao-Hua Sun","pos":"#210","link":"https://openreview.net/forum?id=VWWbpznnaQ","abs":"Effective coordination among unfamiliar partners remains a major challenge in multi-agent systems. Existing approaches, such as population-based methods, improve robustness through diversity but often lack mechanisms for efficient adaptation beyond the training distribution. Fine-tuning is also impractical for few-shot learning because it requires a large number of interactions for meaningful improvement. To address these limitations, we propose Coordination Transformers (CooT), a framework that leverages in-context learning (ICL) for real-time partner adaptation. Unlike prior ICL approaches that focus on task generalization, CooT is designed to generalize across diverse partner behaviors. Trained on trajectories from behavior-preferring agents, it learns to align actions with partner intentions purely through observation. We evaluate CooT on two challenging multi-agent benchmarks: Overcooked and Google Research Football. Results show that CooT consistently outperforms population-based methods, gradient-based fine-tuning, and Meta-RL baselines, achieving stable and rapid adaptation without parameter updates. Human evaluations also identify CooT as a preferred collaborator, and our ablations confirm its ability to adapt quickly to new partners and remain stable under sudden partner changes, making it reliable for real-world human-AI collaboration.
","absKo":"서로 익숙하지 않은 파트너 간의 효과적인 조정은 multi-agent system에서 여전히 큰 도전 과제이다. population-based method와 같은 기존 접근법은 다양성을 통해 robustness를 향상시키지만, 학습 분포를 넘어서는 효율적인 적응을 위한 메커니즘이 부족한 경우가 많다. fine-tuning 역시 의미 있는 향상을 위해 많은 상호작용이 필요하므로 few-shot learning에는 비현실적이다. 이러한 한계를 해결하기 위해 우리는 real-time partner adaptation을 위해 in-context learning (ICL)을 활용하는 Coordination Transformers (CooT)를 제안한다. task generalization에 초점을 맞춘 기존 ICL 접근법과 달리, CooT는 다양한 파트너 행동 전반에 걸친 generalization을 목표로 설계되었다. behavior-preferring agent의 trajectory로 학습된 CooT는 관찰만으로 행동을 파트너의 의도와 정렬하는 방법을 학습한다. 우리는 CooT를 Overcooked와 Google Research Football이라는 두 가지 어려운 multi-agent benchmark에서 평가한다. 결과는 CooT가 population-based method, gradient-based fine-tuning, Meta-RL baseline을 일관되게 능가하며, parameter update 없이도 안정적이고 빠른 적응을 달성함을 보여준다. 인간 평가에서도 CooT는 선호되는 협업자로 식별되었고, 우리의 ablation은 새로운 파트너에 빠르게 적응하고 파트너의 급작스러운 변화에도 안정적으로 유지되는 능력을 확인해 주었으며, 이는 실제 human-AI collaboration에 신뢰할 수 있음을 시사한다.
"},{"id":"61278","en":"Decentralized and Disentangled Task–Role Representation Learning for Generalizable Offline Multi-Agent Meta Reinforcement Learning","ko":"일반화 가능한 Offline Multi-Agent Meta Reinforcement Learning을 위한 분산·분리된 과제-역할 표현 학습","authors":"lei yuan, Ruiqi Xue, Yang Yu","pos":"#211","link":"https://openreview.net/forum?id=rv1vx7zf2U","abs":"Offline meta reinforcement learning (RL) enables agents to learn a unified policy from multi-task offline data to support generalization in out-of-distribution (OOD) tasks. Recent approaches in single-agent RL tackle this by learning an efficient task representation to distinguish between tasks, showing promising adaptation ability. However, when extended to multi-agent settings, these methods struggle with decentralized task identification due to limited global information, and suffer from inefficient knowledge transfer in the absence of role information. To address this, we propose D$^2$TR, a novel context-based meta RL framework with efficient decentralized and disentangled task-role identification. Specifically, D$^2$TR first introduces mutual information knowledge distillation to align decentralized task representations with centralized task representations inferred from global trajectories, enabling efficient decentralized team-centric information identification. Next, D$^2$TR leverages a large language model to assign semantic roles to trajectories in offline data, and achieves effective individual-centric information inference by learning decentralized role representations. Extensive experiments conducted on commonly used multi-agent environments, including CN, SMAC, and SMACv2, demonstrate that D$^2$TR exhibits strong generalization performance to unseen tasks, outperforming prior multi-agent multi-task and context-based meta RL baselines.","absKo":"Offline meta reinforcement learning (RL)은 agent가 multi-task offline data로부터 통합된 policy를 학습하여 out-of-distribution (OOD) task로의 generalization을 지원할 수 있게 한다. 최근 single-agent RL의 접근법들은 task를 구분하기 위해 효율적인 task representation을 학습함으로써 이를 해결하고 있으며, 유망한 adaptation 능력을 보여준다. 그러나 이를 multi-agent setting으로 확장하면, 제한된 global information 때문에 decentralized task identification에 어려움을 겪고, role information이 없을 때는 knowledge transfer도 비효율적이다. 이를 해결하기 위해, 우리는 효율적인 decentralized 및 disentangled task-role identification을 갖는 새로운 context-based meta RL framework인 D$^2$TR을 제안한다. 구체적으로, D$^2$TR은 먼저 mutual information knowledge distillation을 도입하여 decentralized task representation을 global trajectory로부터 추론된 centralized task representation과 정렬함으로써, 효율적인 decentralized team-centric information identification을 가능하게 한다. 다음으로, D$^2$TR은 offline data의 trajectory에 semantic role을 할당하기 위해 large language model을 활용하고, decentralized role representation을 학습함으로써 효과적인 individual-centric information inference를 달성한다. CN, SMAC, SMACv2를 포함한 일반적으로 사용되는 multi-agent 환경에서 수행한 광범위한 실험은 D$^2$TR이 보지 못한 task에 대해 강한 generalization 성능을 보이며, 기존 multi-agent multi-task 및 context-based meta RL baseline을 능가함을 보여준다."},{"id":"61146","en":"Diffusing to Coordinate: Efficient Online Multi-Agent Diffusion Policies","ko":"조정을 위한 Diffusion: 효율적인 온라인 Multi-Agent Diffusion Policy","authors":"Zhuoran Li, Hai Zhong, Xun Wang, Qingxin Xia, Lihua Zhang, Longbo Huang","pos":"#212","link":"https://openreview.net/forum?id=tHY0G4PhCR","abs":"Online Multi-Agent Reinforcement Learning (MARL) is a prominent framework for efficient agent coordination. Crucially, enhancing policy expressiveness is pivotal for achieving superior performance. Diffusion-based generative models are well-positioned to meet this demand, having demonstrated remarkable expressiveness and multimodal representation in image generation and offline settings. Yet, their potential in online MARL remains largely under-explored. A major obstacle is that the intractable likelihoods of diffusion models impede entropy-based exploration and coordination. To tackle this challenge, we propose among the first Online off-policy MARL framework using Diffusion policies (**OMAD**) to orchestrate coordination. Our key innovation is a relaxed policy objective that maximizes scaled joint entropy, facilitating effective exploration without relying on tractable likelihood. Complementing this, within the centralized training with decentralized execution (CTDE) paradigm, we employ a joint distributional value function to optimize decentralized diffusion policies. It leverages tractable entropy-augmented targets to guide the simultaneous updates of diffusion policies, thereby ensuring stable coordination. Extensive evaluations on MPE and MAMuJoCo establish our method as the new state-of-the-art across $10$ diverse tasks, demonstrating a remarkable $2.5\\times$ to $5\\times$ improvement in sample efficiency.","absKo":"Online Multi-Agent Reinforcement Learning (MARL)은 효율적인 agent coordination을 위한 중요한 framework입니다. 핵심적으로, policy expressiveness를 향상시키는 것은 우수한 성능을 달성하는 데 필수적입니다. diffusion-based generative model은 image generation과 offline setting에서 뛰어난 expressiveness와 multimodal representation을 보여주었기 때문에 이러한 요구를 충족시키는 데 적합합니다. 그러나 online MARL에서의 잠재력은 여전히 충분히 탐구되지 않았습니다. 주요 장애물은 diffusion model의 tractable하지 않은 likelihood가 entropy-based exploration과 coordination을 방해한다는 점입니다. 이 문제를 해결하기 위해 우리는 coordination을 조율하기 위한 최초의 Online off-policy MARL framework 중 하나인 Diffusion policy 기반 (**OMAD**)를 제안합니다. 우리의 핵심 혁신은 scaled joint entropy를 최대화하는 relaxed policy objective로, tractable likelihood에 의존하지 않고도 효과적인 exploration을 가능하게 합니다. 이에 더해 centralized training with decentralized execution (CTDE) paradigm 안에서 joint distributional value function을 사용해 decentralized diffusion policy를 최적화합니다. 이 value function은 tractable한 entropy-augmented target을 활용해 diffusion policy의 동시 업데이트를 안내함으로써 안정적인 coordination을 보장합니다. MPE와 MAMuJoCo에 대한 광범위한 평가에서 우리의 방법은 $10$개의 다양한 task 전반에 걸쳐 새로운 state-of-the-art로 자리매김했으며, sample efficiency에서 $2.5\\times$에서 $5\\times$에 이르는 인상적인 향상을 보여줍니다."},{"id":"62462","en":"Factored Value Functions for Graph-Based Multi-Agent Reinforcement Learning","ko":"Graph 기반 Multi-Agent Reinforcement Learning을 위한 Factored Value Functions","authors":"Ahmed Rashwan, Keith Briggs, Chris Budd, Lisa Kreusser","pos":"#213","link":"https://openreview.net/forum?id=gNwwzeqPF0","abs":"Credit assignment is a core challenge in multi-agent reinforcement learning (MARL), especially in large-scale systems with structured, local interactions. Graph-based Markov decision processes (GMDPs) capture such settings via an influence graph, but standard critics are poorly aligned with this structure: global value functions provide weak per-agent learning signals, while existing local constructions can be difficult to estimate and ill-behaved in infinite-horizon settings. We introduce the Diffusion Value Function (DVF), a factored value function for GMDPs that assigns to each agent a value component by diffusing rewards over the influence graph with temporal discounting and spatial attenuation. We show that DVF is well-defined, admits a Bellman fixed point, and decomposes the global discounted value via an averaging property. DVF can be used as a drop-in critic in standard RL algorithms and estimated scalably with graph neural networks. Building on DVF, we propose Diffusion A2C (DA2C) and a sparse message-passing actor, Learned DropEdge GNN (LD-GNN), for learning decentralised algorithms under communication costs. Across the firefighting benchmark and three distributed computation tasks (vector graph colouring and two transmit power optimisation problems), DA2C consistently outperforms local and global critic baselines, improving average reward by up to 11%.
","absKo":"Credit assignment는 multi-agent reinforcement learning (MARL)의 핵심 과제이며, 특히 구조화된 local interaction을 갖는 대규모 system에서 그러하다. Graph-based Markov decision process (GMDP)는 influence graph를 통해 이러한 설정을 포착하지만, standard critic은 이 구조와 잘 맞지 않는다. global value function은 agent별 학습 신호가 약하고, 기존의 local construction은 추정이 어렵고 infinite-horizon setting에서 불안정할 수 있다. 우리는 GMDP를 위한 factored value function인 Diffusion Value Function (DVF)를 도입한다. DVF는 reward를 influence graph 위로 temporal discounting과 spatial attenuation을 적용해 확산시킴으로써 각 agent에 value component를 할당한다. 우리는 DVF가 well-defined이며, Bellman fixed point를 가지며, averaging property를 통해 global discounted value를 분해함을 보인다. DVF는 standard RL algorithm에서 그대로 사용할 수 있는 drop-in critic이며, graph neural network로 확장 가능하게 추정할 수 있다. DVF를 기반으로 우리는 communication cost 하에서 decentralised algorithm을 학습하기 위한 Diffusion A2C (DA2C)와 sparse message-passing actor인 Learned DropEdge GNN (LD-GNN)을 제안한다. firefighting benchmark와 세 가지 distributed computation task (vector graph colouring과 두 개의 transmit power optimisation problem) 전반에서 DA2C는 local 및 global critic baseline보다 일관되게 우수한 성능을 보이며, 평균 reward를 최대 11% 향상시킨다.
"},{"id":"65604","en":"HPS: Hyperspherical Parameter Sharing for Efficient Multi-Agent Reinforcement Learning","ko":"HPS: 효율적인 멀티에이전트 강화학습을 위한 초구면 파라미터 공유","authors":"Hu Fu, Pengyi Li, Hao Chen, Xuanyu Xiang, Biao Luo, Yihua Tan","pos":"#214","link":"https://openreview.net/forum?id=BxozGBcX7h","abs":"Parameter Sharing (PS) is widely used to improve efficiency in Multi-Agent Reinforcement Learning (MARL), but it can limit behavioral diversity and degrade performance. This limitation stems from gradient conflicts among agents on shared weights, which hinders effective policy learning. To fully characterize this phenomenon, we propose Geometric Gradient Decomposition Analysis that decomposes gradients with respect to weight vector into radial (scale) and tangential (direction) components and uncover a key insight: agents largely agree on directional updates but substantially disagree on scale updates. Consequently, while recent methods split the shared network into agent-specific subnetworks to mitigate conflicts, they also discard shared directional updates, limiting training efficiency. To address this issue, we propose Hyperspherical Parameter Sharing (HPS), which explicitly decouples direction and scale in parameter sharing. Specifically, HPS constrains the shared backbone weights onto a Riemannian manifold(unit hypersphere), enforcing purely directional learning. Building on this, an agent-specific scale generator outputs multiplicative modulation factors to adjust each agent’s scales, thus preserving heterogeneous response magnitudes without disrupting the shared directions. Experiments on SMAC, SMACv2, VMAS and Predator Prey demonstrate that HPS effectively resolves the scale conflict, significantly outperforming state-of-the-art methods.
","absKo":"Parameter Sharing(PS)은 Multi-Agent Reinforcement Learning(MARL)에서 효율성을 높이기 위해 널리 사용되지만, 행동 다양성을 제한하고 성능을 저하시킬 수 있다. 이러한 한계는 shared weight에 대한 agent 간 gradient conflict에서 비롯되며, 이는 효과적인 policy learning을 방해한다. 이 현상을 완전히 특성화하기 위해, 우리는 weight vector에 대한 gradient를 radial(scale) 성분과 tangential(direction) 성분으로 분해하는 Geometric Gradient Decomposition Analysis를 제안하고, 핵심 통찰을 밝혀냈다: agent들은 방향 업데이트에는 대체로 동의하지만 scale 업데이트에는 상당히 이견을 보인다. 그 결과, 최근의 방법들이 conflict를 완화하기 위해 shared network를 agent-specific subnetwork로 분할하고 있지만, 동시에 shared directional update까지 버리게 되어 training efficiency가 제한된다. 이 문제를 해결하기 위해, 우리는 parameter sharing에서 direction과 scale을 명시적으로 분리하는 Hyperspherical Parameter Sharing(HPS)을 제안한다. 구체적으로, HPS는 shared backbone weight를 Riemannian manifold(unit hypersphere) 위로 제약하여 순수한 directional learning만이 이루어지도록 한다. 여기에 더해, agent-specific scale generator가 각 agent의 scale을 조정하는 multiplicative modulation factor를 출력함으로써, shared direction을 해치지 않으면서 이질적인 response magnitude를 보존한다. SMAC, SMACv2, VMAS, Predator Prey 실험은 HPS가 scale conflict를 효과적으로 해결하고 state-of-the-art 방법들을 크게 능가함을 보여준다.
"},{"id":"61721","en":"LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning","ko":"협력적 Multi-Agent Reinforcement Learning을 위한 LLM 기반 통신","authors":"Seungyul Han, Sangjun Bae, Yisak Park, Sanghyeon Lee","pos":"#215","link":"https://openreview.net/forum?id=nVOzKXVvPu","abs":"Communication is a key component in multi-agent reinforcement learning (MARL) for mitigating partial observability, yet prior approaches often rely on inefficient information exchange or fail to transmit sufficient state information. To address this, we propose LLM-driven Multi-Agent Communication (LMAC), which leverages an LLM's reasoning capability to design a communication protocol that enables all agents to reconstruct the underlying state as accurately and uniformly as possible. LMAC iteratively refines the protocol using an explicit state-awareness criterion, improving state recovery while narrowing differences in agents' knowledge. Experiments on diverse MARL benchmarks show that LMAC improves state reconstruction across agents and yields substantial performance gains over prior communication baselines.
","absKo":"Communication은 partial observability를 완화하기 위한 multi-agent reinforcement learning (MARL)의 핵심 구성 요소이지만, 기존 접근은 종종 비효율적인 information exchange에 의존하거나 충분한 state information을 전달하지 못한다. 이를 해결하기 위해 우리는 LLM-driven Multi-Agent Communication (LMAC)을 제안한다. 이 방법은 LLM의 reasoning capability를 활용하여, 모든 agent가 underlying state를 가능한 한 정확하고 균일하게 재구성할 수 있도록 하는 communication protocol을 설계한다. LMAC는 explicit state-awareness criterion을 사용해 protocol을 반복적으로 정제하며, state recovery를 개선하는 동시에 agent 간 지식 차이를 줄인다. 다양한 MARL benchmark에서의 실험은 LMAC가 agent 전반의 state reconstruction을 향상시키고, 기존 communication baseline 대비 상당한 성능 향상을 가져옴을 보여준다.
"},{"id":"61037","en":"Moving Out: Physically-grounded Human-AI Collaboration","ko":"Moving Out: 물리 기반 Human-AI 협업","authors":"Xuhui Kang, Sung-Wook Lee, Haolin Liu, Yuyan Wang, Yen-Ling Kuo","pos":"#216","link":"https://openreview.net/forum?id=uIsdcoSD3G","abs":"The ability to adapt to physical actions and constraints in an environment is crucial for embodied agents (e.g., robots) to effectively collaborate with humans. Such physically grounded human-AI collaboration must account for the increased complexity of the continuous state-action space and constrained dynamics caused by physical constraints. However, most existing collaboration benchmarks are discrete or do not consider physical attributes and constraints. To address this, we introduce Moving Out, a human-AI collaboration benchmark that resembles a wide range of collaboration modes affected by physical attributes and constraints, such as moving heavy items together and coordinating actions to move an item around a corner. Moving Out consists of two challenges and human-human interaction data to comprehensively evaluate models' abilities to adapt to diverse human behaviors and unseen physical attributes. To give embodied agents the capability to collaborate with humans under physical attributes and constraints, we propose a novel method, BASS (Behavior Augmentation, Simulation, and Selection), to enhance the diversity of agents and their understanding of the outcome of actions. We systematically compare BASS and state-of-the-art models in AI-AI and human-AI experiments, showing that BASS can effectively collaborate with both unseen AI and humans.
","absKo":"환경에서의 물리적 행동과 제약에 적응하는 능력은 인간과 효과적으로 협업하는 embodied agent(예: robot)에게 매우 중요하다. 이러한 물리적으로 기반을 둔 human-AI 협업은 물리적 제약으로 인해 증가하는 continuous state-action space의 복잡성과 constrained dynamics를 모두 고려해야 한다. 그러나 기존의 대부분의 collaboration benchmark는 discrete하거나 물리적 속성과 제약을 고려하지 않는다. 이를 해결하기 위해 우리는 Moving Out을 소개한다. Moving Out은 무거운 물건을 함께 옮기거나, 코너를 돌아 물체를 이동시키기 위해 행동을 조율하는 것처럼 물리적 속성과 제약의 영향을 받는 다양한 협업 양상을 반영하는 human-AI collaboration benchmark이다. Moving Out은 두 개의 challenge와 human-human interaction data로 구성되어, 다양한 human behavior와 보지 못한 물리적 속성에 대한 model의 적응 능력을 종합적으로 평가한다. 물리적 속성과 제약 하에서 embodied agent가 인간과 협업할 수 있는 능력을 부여하기 위해, 우리는 agent의 다양성과 행동 결과에 대한 이해를 향상시키는 새로운 방법인 BASS(Behavior Augmentation, Simulation, and Selection)를 제안한다. 우리는 AI-AI 및 human-AI 실험에서 BASS와 state-of-the-art model을 체계적으로 비교하여, BASS가 보지 못한 AI와 인간 모두와 효과적으로 협업할 수 있음을 보인다.
"},{"id":"67103","en":"Position: Solipsistic superintelligence is unlikely to be cooperative","ko":"Position: 유아론적 초지능은 협력적일 가능성이 낮다","authors":"Rakshit Trivedi, Natasha Jaques, Logan Cross, Alexander Vezhnevets, Joel Z Leibo","pos":"#3016","link":"https://openreview.net/forum?id=hIsKraIUlJ","abs":"AI's central challenge is shifting from capability to coexistence. The dominant paradigm in AI research focuses on developing powerful agents under stationary-environment assumptions, treating the world as an exogenous source of feedback. This position paper argues that a solipsistic superintelligence---an extremely capable solver of stationary problems---is unlikely to be cooperative. Deployment induces endogenous nonstationarity: other agents adapt, producing best-response dynamics that reshape the environment the AI was trained to navigate. The result is a train--test--deploy gap where historical distributions diverge from deployment realities; the more aggressively a solipsistic superintelligence exploits historical regularities, the faster it renders them obsolete. Cooperation is therefore not an added capability but an equilibrium property that solipsistic superintelligence cannot guarantee. We call for a multi-agent-first research paradigm treating strategic interdependence as a core design principle, alongside dynamic evaluation: testbeds where distributions are generated by adaptive counterparties, and metrics prioritizing equilibrium stability over single-score task success.
","absKo":"AI의 핵심 과제는 capability에서 coexistence로 전환되는 것이다. AI 연구의 지배적 패러다임은 stationary-environment assumption 아래에서 강력한 agents를 개발하는 데 초점을 두며, 세계를 exogenous feedback의 원천으로 취급한다. 이 position paper는 solipsistic superintelligence---즉 stationary problems를 극도로 잘 푸는 존재---가 cooperative하기 어렵다고 주장한다. 배포는 endogenous nonstationarity를 유발한다: 다른 agents가 적응하면서 environment를 재형성하는 best-response dynamics가 나타나고, 이는 AI가 학습한 환경을 다시 바꾼다. 그 결과 train--test--deploy gap이 발생하여 historical distributions와 deployment realities가 갈라지며, solipsistic superintelligence가 historical regularities를 더 공격적으로 exploit할수록 그것들은 더 빨리 obsolete해진다. 따라서 cooperation은 추가적인 capability가 아니라, solipsistic superintelligence가 보장할 수 없는 equilibrium property이다. 우리는 strategic interdependence를 핵심 design principle로 다루는 multi-agent-first research paradigm과, adaptive counterparties가 distribution을 생성하는 testbed 및 single-score task success보다 equilibrium stability를 우선하는 metric을 포함한 dynamic evaluation을 촉구한다.
"},{"id":"61177","en":"Fault Tolerant Multi-Agent Learning with Adversarial Budget Constraints","ko":"적대적 예산 제약하의 결함 허용 Multi-Agent Learning","authors":"David Mguni, Yaqi Sun, Haojun Chen, Wanrong Yang, Amir Darabi, Larry Orimoloye, Yaodong Yang","pos":"#3505","link":"https://openreview.net/forum?id=t0kOFRgwR8","abs":"We study robustness to agent malfunctions in cooperative multi-agent reinforcement learning (MARL), a failure mode that is critical in practice yet underexplored in existing theory. We introduce MARTA, a plug-and-play robustness layer that augments standard MARL algorithms with a {\\fontfamily{cmss}\\selectfont Switcher}–{\\fontfamily{cmss}\\selectfont Adversary} mechanism which selectively induces malfunctions in performance-critical states. This formulation defines a fault-switching $(N+2)$-player Markov game in which the {\\fontfamily{cmss}\\selectfont Switcher} chooses when and which agent fails, and the {\\fontfamily{cmss}\\selectfont Adversary} controls the resulting faulty behaviour via random or worst-case policies. We develop a Q-learning-type scheme and show that the associated Bellman operator is a contraction, yielding existence and uniqueness of the minimax value, convergence to a Markov perfect equilibrium. MARTA integrates seamlessly with MARL algorithms without architectural modification and consistently improves robustness across Traffic Junction (TJ), Level-Based Foraging (LBF), MPE SimpleTag, and SMAC (v2). In these domains, MARTA achieves large gains in final performance of up to \\textbf{116.7\\%} in SMAC, \\textbf{21.4\\%} in MPE SimpleTag, and \\textbf{44.6\\%} in LBF, while significantly reducing failure rates under train–test mismatched fault regimes. These results establish MARTA as a theoretically grounded and practically deployable mechanism for fault-tolerant MARL.","absKo":"우리는 cooperative multi-agent reinforcement learning (MARL)에서 agent malfunction에 대한 robustness를 연구한다. 이는 실무적으로는 매우 중요하지만 기존 이론에서는 충분히 탐구되지 않은 실패 모드이다. 우리는 표준 MARL algorithm에 {\\fontfamily{cmss}\\selectfont Switcher}–{\\fontfamily{cmss}\\selectfont Adversary} mechanism을 더하는 plug-and-play robustness layer인 MARTA를 도입하는데, 이 mechanism은 성능상 중요한 state에서 선택적으로 malfunction을 유도한다. 이 formulation은 fault-switching $(N+2)$-player Markov game을 정의하며, 여기서 {\\fontfamily{cmss}\\selectfont Switcher}는 언제 어떤 agent가 실패할지를 선택하고, {\\fontfamily{cmss}\\selectfont Adversary}는 random 또는 worst-case policy를 통해 그에 따른 faulty behaviour를 제어한다. 우리는 Q-learning-type scheme을 개발하고, 이에 대응하는 Bellman operator가 contraction임을 보여 minimax value의 존재성과 유일성, 그리고 Markov perfect equilibrium으로의 수렴을 보장한다. MARTA는 architecture 수정 없이 MARL algorithm과 매끄럽게 통합되며, Traffic Junction (TJ), Level-Based Foraging (LBF), MPE SimpleTag, SMAC (v2) 전반에서 일관되게 robustness를 향상시킨다. 이들 도메인에서 MARTA는 SMAC에서 최대 \\textbf{116.7\\%}, MPE SimpleTag에서 \\textbf{21.4\\%}, LBF에서 \\textbf{44.6\\%}의 최종 성능 향상을 달성하는 동시에, train–test fault regime 불일치 상황에서 failure rate를 크게 줄인다. 이러한 결과는 MARTA를 fault-tolerant MARL을 위한 이론적 근거를 갖춘 실제 배포 가능한 mechanism으로 확립한다."},{"id":"67179","en":"Position: Artificial Intelligence Needs Meta Intelligence - the Case for Metacognitive AI","ko":"Position: 인공지능에는 메타 지능이 필요하다 - Metacognitive AI에 대한 논거","authors":"Sergei Chuprov, Richard Lange, Leon Reznik, Paulo Shakarian, Raman Zatsarenko, Dmitrii Korobeinikov","pos":"#4111","link":"https://openreview.net/forum?id=KvlztzXQXQ","abs":"This position paper argues for metacognition as a general design principle for creating more accurate, secure, and efficient AI. The metacognitive solution involves systems monitoring their own states and judiciously allocating resources depending on each problem instance's difficulty or cost of mistakes. Drawing inspiration both from past work on resource-rational AI and from well-documented metacognitive strategies in psychology and cognitive science, we identify specific challenges in embedding these strategies into AI design and highlight open theoretical and implementation problems. We showcase these principles through a tangible example of improved learning efficiency, effectiveness, and security in a Federated Learning (FL) case study. We show how these principles can be translated into practice with a novel software framework developed specifically to allow the community to design, deploy, and experiment with metacognition-enabled AI applications.
","absKo":"이 position paper는 더 정확하고, 안전하며, 효율적인 AI를 만들기 위한 일반 설계 원리로서 metacognition을 옹호합니다. metacognitive solution은 시스템이 자신의 상태를 모니터링하고, 각 problem instance의 difficulty 또는 mistake cost에 따라 자원을 신중하게 배분하는 것을 포함합니다. resource-rational AI에 관한 과거 연구와 심리학 및 cognitive science에서 잘 문서화된 metacognitive strategy 모두에서 영감을 받아, 우리는 이러한 strategy를 AI design에 내재화할 때의 구체적 도전과 열려 있는 이론적·구현적 문제를 식별합니다. 우리는 Federated Learning (FL) case study에서 learning efficiency, effectiveness, security가 향상되는 구체적 예를 통해 이러한 원리를 보여줍니다. 또한 공동체가 metacognition-enabled AI application을 설계, 배포, 실험할 수 있도록 특별히 개발된 새로운 software framework를 통해 이러한 원리가 실제로 어떻게 구현될 수 있는지 보입니다.
"},{"id":"64940","en":"Watermarking Graph Neural Networks via Explanations for Ownership Protection","ko":"소유권 보호를 위한 Explanation을 통한 Graph Neural Network Watermarking","authors":"Jane Downer, Yingdan Shi, Ziyan Liu, Ren Wang, Binghui Wang","pos":"#2905","link":"https://openreview.net/forum?id=IStByBJdjR","abs":"Graph Neural Networks (GNNs) are widely deployed in industry, making their intellectual property valuable. However, protecting GNNs from unauthorized use remains a challenge. Watermarking offers a solution by embedding ownership information into models. Existing watermarking methods have two limitations: First, they rarely focus on graph data or GNNs. Second, the \\emph{de facto} backdoor-based method relies on manipulating training data, which can introduce ownership ambiguity through misclassification and vulnerability to data poisoning attacks that can interrupt the backdoor mechanism. Our explanation-based watermarking inherits the strengths of backdoor-based methods (e.g., black-box verification) without data manipulation, eliminating ownership ambiguity and data dependencies. In particular, we watermark GNN explanations such that these explanations are statistically distinct from others, so ownership claims must be verified through statistical significance. We theoretically prove that, even with full knowledge of our method, locating the watermark is NP-hard. Empirically, our method demonstrates robustness to fine-tuning and pruning attacks. By addressing these challenges, our approach significantly advances GNN intellectual property protection.
","absKo":"Graph Neural Networks(GNNs)는 산업 전반에 널리 배포되고 있으며, 그 지적 재산 가치는 매우 크다. 그러나 GNN을 무단 사용으로부터 보호하는 것은 여전히 과제이다. Watermarking은 ownership information을 model에 삽입함으로써 해결책을 제공한다. 기존 watermarking 방법에는 두 가지 한계가 있다. 첫째, graph data나 GNN에 거의 초점을 맞추지 않는다. 둘째, \\emph{de facto} backdoor-based method는 training data 조작에 의존하는데, 이는 오분류를 통해 ownership ambiguity를 유발할 수 있고, backdoor mechanism을 끊어버릴 수 있는 data poisoning attack에 취약하다. 우리의 explanation-based watermarking은 data manipulation 없이 backdoor-based method의 장점들(예: black-box verification)을 계승하여, ownership ambiguity와 data dependency를 제거한다. 특히, 우리는 GNN explanation을 watermarking하며, 이러한 explanation이 다른 explanation들과 통계적으로 구별되도록 만들어 ownership claim이 통계적 유의성에 의해 검증되어야 하게 한다. 우리는 우리 방법에 대한 완전한 지식이 있더라도 watermark를 찾는 것이 NP-hard임을 이론적으로 증명한다. 실험적으로도, 우리의 방법은 fine-tuning과 pruning attack에 대한 강건성을 보인다. 이러한 문제들을 해결함으로써, 우리의 접근법은 GNN 지적 재산 보호를 크게 진전시킨다.
"},{"id":"62496","en":"Concept Concentration for Faithful Representation Intervention","ko":"Faithful Representation Intervention을 위한 Concept Concentration","authors":"Hongzheng Yang, Yongqiang Chen, Zeyu Qin, Tongliang Liu, Chaowei Xiao, Kun Zhang, Bo Han","pos":"#3105","link":"https://openreview.net/forum?id=g6fTNu8z0f","abs":"Representation intervention aims to locate and modify the representations that encode the underlying concepts in Large Language Models (LLMs) to elicit the aligned and expected behaviors. Despite the empirical success, it has never been examined whether one could locate the faithful concepts for intervention. In this work, we explore the question in safety alignment. If the interventions are faithful, the intervened LLMs should erase the harmful concepts and be robust to both in-distribution adversarial prompts and the \\textit{out-of-distribution} (OOD) jailbreaks. While it is feasible to erase harmful concepts without degrading the benign functionalities of LLMs in linear settings, we show that it is \\textit{infeasible} in the general non-linear setting. To tackle the issue, we propose \\texttt{Concept Concentration} (\\texttt{COCA}). Instead of identifying the faithful locations to intervene, \\texttt{COCA} refactors the training data with an explicit reasoning process, which first identifies the potential unsafe concepts and then decides the responses. Essentially, \\texttt{COCA} simplifies the decision boundary between harmful and benign representations, enabling more effective linear erasure. Extensive experiments with multiple representation intervention methods and model architectures demonstrate that \\texttt{COCA} significantly reduces both in-distribution and OOD jailbreak success rates, and meanwhile maintaining strong performance on regular tasks such as math and code generation.
","absKo":"Representation intervention은 Large Language Models (LLMs) 내부에서 underlying concept을 인코딩하는 representation을 찾아 수정함으로써, aligned되고 기대되는 행동을 유도하는 것을 목표로 한다. 실증적 성공에도 불구하고, 개입에 사용할 faithful concept을 실제로 찾을 수 있는지는 전혀 검증되지 않았다. 본 연구에서는 safety alignment 맥락에서 이 질문을 탐구한다. 개입이 faithful하다면, 개입된 LLM은 유해한 concept을 제거하고 in-distribution adversarial prompt와 \\textit{out-of-distribution} (OOD) jailbreak 모두에 대해 강건해야 한다. linear setting에서는 benign functionality를 저하시키지 않으면서 harmful concept을 지우는 것이 가능하지만, 일반적인 non-linear setting에서는 그것이 \\textit{불가능}함을 보인다. 이 문제를 다루기 위해 우리는 \\texttt{Concept Concentration} (\\texttt{COCA})를 제안한다. \\texttt{COCA}는 개입할 faithful location을 직접 찾는 대신, explicit reasoning process를 통해 training data를 재구성한다. 먼저 잠재적으로 unsafe한 concept을 식별하고, 그다음 응답을 결정하는 방식이다. 본질적으로 \\texttt{COCA}는 harmful representation과 benign representation 사이의 decision boundary를 단순화하여, 보다 효과적인 linear erasure를 가능하게 한다. 여러 representation intervention method와 model architecture에 대한 광범위한 실험은 \\texttt{COCA}가 in-distribution 및 OOD jailbreak 성공률을 모두 크게 낮추는 동시에, math와 code generation 같은 일반 task에서는 강한 성능을 유지함을 보여준다.
"},{"id":"67045","en":"Position: In Defense of Information Leakage in Concept-based Models","ko":"Position: Concept 기반 모델에서의 정보 누출을 옹호하며","authors":"Mateo Espinosa Zarlenga","pos":"#4004","link":"https://openreview.net/forum?id=xy1B1fz8aV","abs":"Concept-based models (CMs), deep neural networks that ground their predictions on representations aligned with human-understandable concepts (e.g., \"round\", \"stripes\", etc.), have been shown to learn representations that leak concept-irrelevant information. As the traditional narrative goes, this leakage is undesirable and should be eradicated as it leads to uninterpretable models. In this paper, we posit that this conventional view of leakage in CMs is not only ill-posed, as the evidence of how leakage makes a model less interpretable is often inconclusive, but also bound to lead to impractical CMs under common real-world constraints. Specifically, we argue that in real-world settings where concept incompleteness is the norm, some leakage is often necessary for constructing accurate and intervenable CMs. To this end, we propose that there is such a thing as benign leakage and show that, by optimizing a reframing of the typical CM training objective, CMs can encourage and exploit this form of leakage without sacrificing accuracy or intervenability.
","absKo":"개념 기반 모델(CMs)은 인간이 이해할 수 있는 개념(예: \"round\", \"stripes\" 등)과 정렬된 표현 위에 예측을 정초하는 딥 신경망으로, 개념과 무관한 정보를 누출하는 표현을 학습한다는 것이 밝혀져 왔다. 전통적인 서사에 따르면, 이러한 누출은 바람직하지 않으며, 해석 불가능한 모델로 이어지므로 제거되어야 한다. 본 논문에서는 CMs에서의 누출에 대한 이 통념이, 누출이 모델의 해석 가능성을 얼마나 떨어뜨리는지에 대한 증거가 종종 결론적이지 않다는 점에서 문제 설정 자체가 부적절할 뿐만 아니라, 일반적인 실제 제약 하에서는 비실용적인 CMs로 귀결되기 쉽다고 주장한다. 구체적으로, 개념 불완전성이 상례인 실제 환경에서는, 정확하고 개입 가능한 CMs를 구성하기 위해 어느 정도의 누출이 종종 필요하다고 논한다. 이를 위해 우리는 benign leakage라는 개념이 존재함을 제안하고, 전형적인 CM 학습 목표를 재구성한 형태를 최적화함으로써 CMs가 정확도나 개입 가능성을 희생하지 않고도 이러한 형태의 누출을 유도하고 활용할 수 있음을 보인다.
"},{"id":"61446","en":"The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models","ko":"Assistant Axis: Language Models의 기본 페르소나 위치화와 안정화","authors":"Christina Lu, Jack Gallagher, Jonathan Michala, Kyle Fish, Jack Lindsey","pos":"#3200","link":"https://openreview.net/forum?id=q17jVxMtwS","abs":"Large language models can represent a variety of personas but typically default to a helpful Assistant identity cultivated during post-training. Across several different models, we find an “Assistant Axis\" in their activation space, which captures the extent to which a model is operating in its default Assistant mode. Steering towards the Assistant direction reinforces helpful and harmless behavior; steering away increases the model’s tendency to identify as other entities. Measuring deviations along the Assistant Axis predicts “persona drift,” a phenomenon where models slip into exhibiting harmful or bizarre behaviors that are uncharacteristic of their typical persona. We find that persona drift is often driven by conversations demanding meta-reflection on the model’s processes or featuring emotionally vulnerable users. We show that restricting activations to a fixed region along the Assistant Axis can stabilize model behavior in these scenarios—and also in the face of adversarial persona-based jailbreaks. Our results suggest that post-training steers models toward a particular region of persona space but only loosely tethers them to it, motivating work on training and steering strategies that more deeply anchor models to a coherent persona.
","absKo":"대규모 언어 모델은 다양한 persona를 표현할 수 있지만, post-training 동안 길러진 유용한 Assistant 정체성으로 기본 수렴하는 경향이 있다. 여러 서로 다른 모델 전반에서 우리는 activation space 내의 “Assistant Axis”를 발견했는데, 이는 모델이 기본 Assistant mode로 얼마나 작동하고 있는지를 포착한다. Assistant 방향으로의 steering은 helpful하고 harmless한 행동을 강화하며, 그 반대 방향으로의 steering은 모델이 다른 entity로 자신을 식별하는 경향을 증가시킨다. Assistant Axis를 따라 벗어나는 정도를 측정하면, 모델이 평소의 persona와는 맞지 않는 harmful하거나 기이한 행동을 보이는 현상인 “persona drift”를 예측할 수 있다. 우리는 persona drift가 종종 모델의 처리 과정을 메타 수준에서 성찰하도록 요구하는 대화나 감정적으로 취약한 사용자를 다루는 대화에 의해 유발됨을 발견했다. 우리는 Assistant Axis 상의 고정된 영역으로 activation을 제한하면 이러한 상황은 물론 adversarial persona-based jailbreak에 직면했을 때도 모델 행동을 안정화할 수 있음을 보인다. 우리의 결과는 post-training이 모델을 특정 persona 공간의 영역으로 유도하지만 그곳에 느슨하게만 묶어 둔다는 점을 시사하며, 모델을 일관된 persona에 더 깊이 고정하는 학습 및 steering 전략에 대한 연구를 촉진한다."},{"id":"66466","en":"Sem-Detect: Semantic Level Detection of AI Generated Peer-Reviews","ko":"Sem-Detect: AI 생성 동료 심사의 의미 수준 탐지","authors":"André Duarte, Brian Tufts, Aditya Oke, Fei Fang, Arlindo Oliveira, Lei Li","pos":"#3304","link":"https://openreview.net/forum?id=3S9eVockjL","abs":"How can we distinguish whether a peer review was written by a human or generated by an AI model? We argue that, in this setting, authorship should not be attributed solely from the textual features of a review, but also from the ideas, judgments, and claims it expresses. To this end, we propose Sem-Detect, an authorship detection method for peer reviews that operationalizes this principle by combining textual features with claim-level semantic analysis. Sem-Detect compares a target review against multiple AI-generated reviews of the same paper, leveraging the observation that different AI models tend to converge on similar points, while human reviewers introduce more unique and diverse ones. As a result, Sem-Detect is able to distinguish fully AI-generated reviews from authentic human-written ones, including those that have been refined using an LLM but still reflect human judgment. Across a dataset of over 20,000 peer reviews from ICLR and NeurIPS conferences, Sem-Detect improves over the strongest prior detector by 36.5% in TPR@1% FPR in the binary setting. More importantly, in the three-class scenario, we empirically show that LLM refinement preserves the semantic signals of human reviews, which remain distinct from the patterns exhibited by fully AI-generated text; as a result, fewer than 3.5% of LLM-refined human reviews are misclassified as AI-generated.
","absKo":"동료 평가가 인간에 의해 작성된 것인지, 아니면 AI model이 생성한 것인지 어떻게 구별할 수 있을까? 우리는 이 설정에서 저자성은 리뷰의 텍스트 특성만이 아니라, 그 안에 담긴 아이디어, 판단, 주장까지 함께 근거하여 귀속되어야 한다고 주장한다. 이를 위해 우리는 text feature와 claim-level semantic analysis를 결합하여 이 원칙을 구체화한 peer review용 authorship detection method인 Sem-Detect를 제안한다. Sem-Detect는 대상 review를 동일 논문의 여러 AI-generated review와 비교하며, 서로 다른 AI model은 유사한 지점에 수렴하는 경향이 있는 반면 인간 reviewer는 더 독특하고 다양한 관점을 제시한다는 관찰을 활용한다. 그 결과 Sem-Detect는 LLM으로 다듬어졌지만 여전히 인간의 판단을 반영하는 review를 포함하여, 완전히 AI-generated review와 진짜 human-written review를 구분할 수 있다. ICLR과 NeurIPS conference의 20,000개가 넘는 peer review dataset 전반에서, Sem-Detect는 binary setting에서 TPR@1% FPR 기준으로 가장 강력한 기존 detector보다 36.5% 향상된다. 더 중요하게도, three-class scenario에서 우리는 LLM refinement가 human review의 semantic signal을 보존하며, 이 신호가 fully AI-generated text가 보이는 pattern과는 여전히 구별됨을 실증적으로 보인다. 그 결과, LLM-refined human review 중 3.5% 미만만이 AI-generated로 잘못 분류된다.
"},{"id":"67189","en":"Position: Hallucinations Undermine Trust; Metacognition is a Way Forward","ko":"Position: 환각은 신뢰를 훼손한다; Metacognition이 나아갈 길이다","authors":"Gal Yona, Mor Geva, Yossi Matias","pos":"#1911","link":"https://openreview.net/forum?id=I9CIvYaRmB","abs":"Despite significant improvements in factuality, confident errors continue to reappear as benchmarks probe more niche knowledge that models lack. We argue that most gains have come from expanding the model's knowledge boundary (encoding more facts) rather than improving awareness of that boundary (distinguishing known from unknown). We conjecture that this stems from the fact that the latter is inherently difficult: in the absence of strong ability to separate correct from incorrect answers (discrimination), fully eliminating hallucinations requires aggressive abstention, imposing a significant utility tax. Given this limitation, we propose complementing knowledge expansion with faithful uncertainty -- honestly conveying whatever uncertainty remains. This metacognitive capability becomes even more critical for tool-augmented models, where it serves as the control layer that determines when to search and how to weigh conflicting information. We conclude by highlighting the key challenges and open problems that must be tackled to make progress toward this objective.
","absKo":"factuality 측면에서 상당한 개선이 있었음에도, benchmark가 모델이 알지 못하는 더 틈새적인 지식을 점점 더 탐색함에 따라 확신에 찬 오류는 계속 다시 나타난다. 우리는 대부분의 성과가 모델의 knowledge boundary를 확장하는 것(더 많은 사실을 인코딩하는 것)에서 왔을 뿐, 그 경계를 인식하는 능력(알고 있는 것과 모르는 것을 구분하는 능력)을 개선한 데서 온 것은 아니라고 주장한다. 우리는 그 이유를 후자가 본질적으로 어렵기 때문이라고 추정한다. 정답과 오답을 강하게 분리하는 능력(discrimination)이 없는 상태에서 hallucination을 완전히 제거하려면 적극적인 abstention이 필요하며, 이는 상당한 utility tax를 부과한다. 이러한 한계를 고려할 때, 우리는 knowledge expansion을 faithful uncertainty로 보완할 것을 제안한다. 즉, 남아 있는 불확실성을 솔직하게 전달하는 것이다. 이러한 metacognitive capability는 tool-augmented model에서 더욱 중요해지며, 언제 search를 수행하고 상충하는 정보를 어떻게 가중할지를 결정하는 control layer 역할을 한다. 마지막으로 우리는 이 목표를 향한 진전을 위해 해결해야 할 핵심 과제와 open problem을 강조한다.
"},{"id":"62123","en":"LLM Self-Recognition: Steering and Retrieving Activation Signatures","ko":"LLM Self-Recognition: Activation Signature 조향과 검색","authors":"Thibaud Ardoin, Jonas Schäfer, Gerhard Wunder","pos":"#2101","link":"https://openreview.net/forum?id=jekfMVDRqz","abs":"Recent advances in interpretability suggest that large language models (LLMs) implicitly encode signals in their generated text that enable self-recognition of their outputs. We demonstrate that this capability is reliable, even in low-entropy scenarios, and that it can be amplified through targeted intervention. By steering the internal residual stream during generation with a random sparse vector, we create a detectable fingerprint that enables attribution of a given text to a specific LLM. This signal is recoverable from the activations of an LLM used as a detector, achieving over 98% accuracy across multiple detection settings while preserving the quality of generated text. As AI-generated content proliferates, this approach offers a practical alternative to traditional detectors, by leveraging the model's natural representation structure for attribution rather than embedding a signal externally. Our contributions include: (i) establishing reliable self-recognition capabilities in LLMs, (ii) a simple steering mechanism enabling multi-LLM identification with no quality degradation, (iii) demonstrating that activation spaces contain exploitable structure for encoding signals without semantic interference.
","absKo":"최근 interpretability의 진전은 large language model(LLM)이 생성한 텍스트 안에 출력의 자기 인식을 가능하게 하는 신호를 암묵적으로 인코딩한다는 점을 시사한다. 우리는 이 능력이 low-entropy 시나리오에서도 신뢰할 수 있으며, 표적 개입을 통해 증폭될 수 있음을 보인다. 생성 중 내부 residual stream을 random sparse vector로 조정함으로써, 특정 텍스트를 특정 LLM에 귀속시킬 수 있는 탐지 가능한 fingerprint를 생성한다. 이 신호는 detector로 사용된 LLM의 activation에서 복원 가능하며, 생성 텍스트의 품질을 유지하면서 여러 탐지 설정에서 98% 이상의 정확도를 달성한다. AI-generated content가 확산됨에 따라, 이 접근법은 전통적인 detector의 실용적 대안이 될 수 있는데, 외부적으로 신호를 삽입하는 대신 모델의 자연스러운 representation structure를 활용해 attribution을 수행하기 때문이다. 우리의 기여는 다음을 포함한다: (i) LLM에서 신뢰할 수 있는 self-recognition 능력의 확립, (ii) 품질 저하 없이 multi-LLM 식별을 가능하게 하는 단순한 steering mechanism, (iii) activation space가 semantic interference 없이 신호를 인코딩하는 데 활용 가능한 구조를 담고 있음을 보임.
"},{"id":"65982","en":"How Language Models Process Negation","ko":"언어 모델은 부정을 어떻게 처리하는가","authors":"Zhejian Zhou, Tianyi Zhou, Robin Jia, Jonathan May","pos":"#2108","link":"https://openreview.net/forum?id=8DLW34pkNi","abs":"We study how Large Language Models (LLMs) process negation mechanistically. First, we establish that even though open-weight models often provide wrong answers to questions involving negation, they do possess internal components that process negation correctly. Their poor accuracy is due to late-layer attention behavior that promotes simple shortcuts; ablating those attention modules greatly improves accuracy on negation-related questions. Second, we uncover how models process negation. We consider two hypotheses: models could use attention heads that attend to the phrase being negated and suppress related concepts, or they could directly construct a representation of the entire negative phrase (e.g., representing \"not gas\" as a vector that promotes liquids and solids). We apply a range of observational and causal interpretability techniques on Mistral-7B and Llama-3.1-8B to show that models implement both mechanisms, with the \"constructive\" mechanism being more prominent. Combined, our work deepens the understanding of LLMs' internals, highlighting construction-dominant computations and the coexistence of competing mechanisms within LLMs.
","absKo":"우리는 Large Language Models (LLMs)가 negation을 기계적으로 어떻게 처리하는지 연구한다. 먼저, open-weight 모델이 negation이 포함된 질문에 대해 종종 잘못된 답을 내놓음에도 불구하고, negation을 올바르게 처리하는 내부 구성요소를 실제로 갖고 있음을 보인다. 이들의 낮은 정확도는 단순한 shortcut을 유도하는 late-layer attention behavior 때문이며, 이러한 attention module을 ablation하면 negation 관련 질문의 정확도가 크게 향상된다. 둘째, 모델이 negation을 어떻게 처리하는지 밝혀낸다. 우리는 두 가지 가설을 고려한다. 하나는 모델이 negated 되는 구절에 attention하는 attention head를 사용하여 관련 개념을 억제하는 방식이고, 다른 하나는 전체 negative phrase의 표현을 직접 구성하는 방식이다(예: \"not gas\"를 liquids와 solids를 활성화하는 vector로 표현). 우리는 Mistral-7B와 Llama-3.1-8B에 대해 다양한 observational 및 causal interpretability 기법을 적용하여, 모델이 이 두 메커니즘을 모두 구현하며 그중 \"constructive\" 메커니즘이 더 두드러짐을 보인다. 종합하면, 우리의 연구는 LLM 내부에 대한 이해를 심화시키며, construction-dominant computation과 LLM 내부에서 경쟁하는 메커니즘들의 공존을 강조한다.
"},{"id":"61168","en":"Decomposing Query-Key Feature Interactions Using Contrastive Covariances","ko":"대조 공분산을 이용한 Query-Key 특징 상호작용 분해","authors":"Andrew Lee, Yonatan Belinkov, Fernanda Viégas, Martin Wattenberg","pos":"#2812","link":"https://openreview.net/forum?id=t5cfrJfuzD","abs":"Despite the central role of attention heads in Transformers, we lack tools to understand why a model attends to a particular token. To address this, we study the query-key (QK) space -- the bilinear joint embedding space between queries and keys. We present a contrastive covariance method to decompose the QK space into low-rank, human-interpretable components. It is when features in keys and queries align in these low-rank subspaces that high attention scores are produced. We first study our method both analytically and empirically in a simplified setting. We then apply our method to large language models to identify human-interpretable QK subspaces for categorical semantic features and binding features. Finally, we demonstrate how attention scores can be attributed to our identified features.
","absKo":"Transformer에서 attention head가 핵심적인 역할을 함에도, 모델이 왜 특정 token에 주목하는지 이해할 수 있는 도구는 부족하다. 이를 해결하기 위해, 우리는 query-key (QK) space, 즉 query와 key 사이의 bilinear joint embedding space를 연구한다. 우리는 QK space를 저랭크의 인간이 해석 가능한 component로 분해하는 contrastive covariance method를 제시한다. key와 query의 feature가 이러한 저랭크 subspace에서 정렬될 때 높은 attention score가 생성된다. 먼저 단순화된 설정에서 이 방법을 이론적으로도, 실험적으로도 분석한다. 이후 대형 language model에 적용하여 범주형 semantic feature와 binding feature에 대한 인간이 해석 가능한 QK subspace를 식별한다. 마지막으로, attention score가 우리가 식별한 feature에 어떻게 기여하는지 보여준다.
"},{"id":"66041","en":"Token-Efficient Change Detection in LLM APIs","ko":"LLM API에서의 토큰 효율적 변경 탐지","authors":"Timothee Chauvin, Clément Lalanne, Erwan Le Merrer, Jean-Michel Loubes, Francois Taiani, Gilles Tredan","pos":"#3201","link":"https://openreview.net/forum?id=7cMlZZYZT0","abs":"Remote change detection in LLMs is a difficult problem. Existing methods are either too expensive for deployment at scale, or require initial white-box access to model weights or grey-box access to log probabilities. We aim to achieve both low cost and strict black-box operation, observing only output tokens. Our approach hinges on specific inputs we call Border Inputs, for which there exists more than one output top token. From a statistical perspective, optimal change detection depends on the model's Jacobian and the Fisher information of the output distribution, whose analysis at low temperature regimes shows that border inputs enable powerful change detection tests. Building on this insight, we propose the Black-Box Border Input Tracking (B3IT) scheme. Extensive in-vivo and in-vitro experiments show that border inputs are easily found for non-reasoning tested endpoints, and present on-par performance with the best available grey-box approaches. B3IT reduces costs by $30\\times$ compared to existing methods, while operating in a strict black-box setting.","absKo":"LLM에서의 remote change detection은 어려운 문제이다. 기존 방법은 대규모 배포에는 너무 비싸거나, 초기에는 model weight에 대한 white-box 접근이나 log probability에 대한 grey-box 접근을 필요로 한다. 우리는 출력 token만 관찰하는 strict black-box operation과 낮은 비용을 동시에 달성하는 것을 목표로 한다. 우리의 접근은 Border Input이라 부르는 특정 입력에 기반하는데, 이 입력들에 대해서는 하나 이상의 output top token이 존재한다. 통계적 관점에서 최적의 change detection은 모델의 Jacobian과 출력 분포의 Fisher information에 달려 있으며, low temperature regime에서의 분석은 border input이 강력한 change detection test를 가능하게 함을 보여준다. 이 통찰을 바탕으로 우리는 Black-Box Border Input Tracking (B3IT) scheme을 제안한다. 대규모 in-vivo 및 in-vitro 실험은 border input이 non-reasoning으로 테스트한 endpoint들에서 쉽게 발견되며, 사용 가능한 최상의 grey-box 접근과 동등한 성능을 보인다는 사실을 보여준다. B3IT는 strict black-box setting에서 동작하면서도 기존 방법 대비 비용을 $30\\times$ 절감한다."},{"id":"62739","en":"Tracing the Persona Circuit: How Large Language Models Encode and Express Character Traits","ko":"Persona 회로 추적: LLM이 성격 특성을 부호화하고 표현하는 방식","authors":"Guanzheng Qin, Chenghao Sun, Zhining Xie, Xinmei Tian","pos":"#3202","link":"https://openreview.net/forum?id=doy2uIaAYt","abs":"Large Language Models (LLMs) demonstrate remarkable potential in role-playing tasks but frequently suffer from personality decay—termed \"Out-of-Character\" (OOC) behavior—during prolonged interactions. While heuristic strategies exist to align model behaviors, the internal computational dynamics driving personality expression remain opaque. A fundamental barrier to decoding these mechanisms is a metric gap: while standard causal attribution paradigms target atomic, single-token outcomes, personality manifests as a holistic, multi-token behavioral tendency. We bridge this gap via the Latent Persona Vector, a differentiable proxy enabling the first fine-grained causal tracing of personality circuits. This metric reveals a structured \"Preparation-Establishment-Expression\" dynamic and identifies the mechanistic root of OOC behavior not as knowledge erasure, but as generic prior dominance. Specifically, we find that intrinsic assistant priors suppress emergent persona intents during the critical \"Establishment\" phase. Guided by this diagnosis, we propose surgically recalibrating the signal magnitude in fewer than 5% of attention heads. This targeted intervention effectively counteracts prior suppression, significantly restoring character consistency while preserving general reasoning capabilities.
","absKo":"Large Language Models(LLMs)은 role-playing task에서 놀라운 잠재력을 보이지만, 긴 상호작용 동안 personality decay, 즉 \"Out-of-Character\"(OOC) behavior를 자주 겪는다. 모델 behavior를 정렬하기 위한 heuristic strategy가 존재하더라도, personality expression을 이끄는 내부 computational dynamic은 여전히 불투명하다. 이러한 mechanism을 해독하는 근본적 장애물은 metric gap이다. 표준 causal attribution paradigm은 원자적이고 단일 토큰 수준의 outcome을 대상으로 하지만, personality는 전체론적이고 다중 토큰의 behavioral tendency로 나타난다. 우리는 Latent Persona Vector를 통해 이 gap을 메우며, personality circuit에 대한 첫 번째 fine-grained causal tracing을 가능하게 하는 differentiable proxy를 제시한다. 이 metric은 구조화된 \"Preparation-Establishment-Expression\" dynamic을 드러내고, OOC behavior의 mechanistic root를 knowledge erasure가 아니라 generic prior dominance로 식별한다. 구체적으로, intrinsic assistant prior가 critical한 \"Establishment\" phase 동안 emergent persona intent를 억제함을 발견했다. 이러한 진단에 따라, attention head의 5% 미만에 대해 signal magnitude를 외과적으로 재보정하는 방법을 제안한다. 이 targeted intervention은 prior suppression을 효과적으로 상쇄하여, general reasoning capability를 보존하면서 character consistency를 크게 회복한다.
"},{"id":"66172","en":"The ACE Protocol: Operationalizing Language Model Activations for Better Calibration and Utility","ko":"ACE Protocol: 더 나은 보정과 유용성을 위한 언어 모델 활성화의 운용화","authors":"Nishant Subramani, Palash Goyal, Yiwen Song, Mani Malek, Yuan Xue, Tomas Pfister, Hamid Palangi","pos":"#3300","link":"https://openreview.net/forum?id=67lpPXbYf6","abs":"As language models improve and become increasingly deployed to solve a variety of tasks, trustworthiness becomes essential. Calibration is a good proxy for trust: well-calibrated confidence estimates help inform the risk versus reward trade-off when trusting a specific model output. Unfortunately, even as models improve, they remain poorly calibrated, often biasing towards overconfidence. Additionally, calibration can be gamed: a policy that always predicts the base rate is perfectly calibrated, but completely uninformative. To resolve this, we develop a new metric, expected utility renormalized by the oracle (EURO), that balances calibration and informativeness. We also propose a general-purpose activation-based confidence estimation protocol (ACE) to appropriately adjudicate uncertainty. The ACE protocol provides flexible, sample-efficient, and compute-efficient confidence estimators for 3 tasks including multiple choice question answering, tool-calling, and scientific document summarization across 6 models from 4 model families. ACE outperforms strong baselines on EURO, while maintaining low calibration error. Taken together, our work shows that equipping LLMs with the ACE protocol can improve calibration, utility, and trustworthiness in numerous settings.
","absKo":"언어 모델이 향상되고 다양한 task 해결을 위해 점점 더 널리 배포됨에 따라, trustworthiness는 필수적 요소가 된다. Calibration은 trust의 좋은 proxy로, 잘 calibration된 confidence estimate는 특정 model output을 신뢰할 때의 risk와 reward 사이 trade-off를 판단하는 데 도움을 준다. 불행히도 model이 향상되더라도 여전히 calibration이 잘 되지 않으며, 과신(overconfidence) 쪽으로 치우치는 경우가 많다. 또한 calibration은 악용될 수도 있다. 항상 base rate를 예측하는 policy는 완벽하게 calibrated이지만 전혀 정보가 없다. 이를 해결하기 위해, 우리는 calibration과 informativeness의 균형을 맞추는 새로운 metric인 expected utility renormalized by the oracle (EURO)를 제안한다. 또한 uncertainty를 적절히 판정하기 위한 범용 activation-based confidence estimation protocol (ACE)도 제안한다. ACE protocol은 4개 model family의 6개 model에 걸쳐 multiple choice question answering, tool-calling, scientific document summarization을 포함한 3개 task에 대해 유연하고 sample-efficient하며 compute-efficient한 confidence estimator를 제공한다. ACE는 EURO에서 강한 baseline들을 능가하면서도 낮은 calibration error를 유지한다. 종합하면, 우리의 연구는 LLM에 ACE protocol을 장착하는 것이 여러 setting에서 calibration, utility, trustworthiness를 향상시킬 수 있음을 보여준다.
"},{"id":"60539","en":"Textual Supervision Enhances Geospatial Representations in Vision-Language Models","ko":"Textual Supervision은 Vision-Language Model의 Geospatial Representation을 향상시킨다","authors":"Marcelo Sartori Locatelli, Fernando Tonucci, Jea Kwon, Luiz Felipe Vecchietti, Bryan Nathanael Wijaya, Cheng Yaw Low, Virgilio Almeida, MEEYOUNG CHA","pos":"#3301","link":"https://openreview.net/forum?id=zC44mTE8Zu","abs":"Geospatial understanding is a critical yet underexplored dimension in the development of machine learning systems for tasks such as image geolocation and spatial reasoning. In this work, we analyze the geospatial representations acquired by three model families: vision-only architectures (e.g., ViT), vision-language models (e.g., CLIP), and large-scale multimodal foundation models (e.g., LLaVA, Qwen, and Gemma). By evaluating across image clusters, including people, landmarks, and everyday objects, grouped based on the degree of localizability, we reveal systematic gaps in spatial accuracy and show that textual supervision enhances the learning of geospatial representations. Our findings suggest the role of language as an effective complementary modality for encoding spatial context and multimodal learning as a key direction for advancing geospatial AI.
","absKo":"Geospatial understanding은 image geolocation과 spatial reasoning 같은 task를 위한 machine learning system 개발에서 중요하지만 아직 충분히 탐구되지 않은 차원이다. 본 연구에서는 세 가지 model family가 획득한 geospatial representation을 분석한다. 즉, vision-only architecture(e.g., ViT), vision-language model(e.g., CLIP), 그리고 대규모 multimodal foundation model(e.g., LLaVA, Qwen, Gemma)이다. 사람, landmark, 일상 물체를 포함하고 localizability 정도에 따라 그룹화한 image cluster 전반에서 평가함으로써, 우리는 spatial accuracy의 체계적 격차를 드러내고 textual supervision이 geospatial representation 학습을 향상시킨다는 점을 보인다. 우리의 결과는 spatial context를 encoding하는 데 language가 효과적인 complementary modality로 작동하며, multimodal learning이 geospatial AI 발전을 위한 핵심 방향임을 시사한다.
"},{"id":"61726","en":"Telescope: Improving Zero Shot Detection of LLM Generated Content By Measuring Token Repetition Probability","ko":"Telescope: Token 반복 확률 측정을 통한 LLM 생성 콘텐츠 Zero-Shot 탐지 개선","authors":"Joshua Cooper, Christopher Nassif","pos":"#3302","link":"https://openreview.net/forum?id=nTYQWmEu3i","abs":"Distinguishing Large Language Model (LLM) generated text from human writing is a critical and difficult challenge. While LLMs are trained to write like humans, we hypothesize that this training leaves an indelible mark. LLMs develop a particularly strong aversion to token repetition very early in training. This bias persists as a ``Vestigial Heuristic'' (a developmental artifact) that is activated in LLM-generated text, separating LLM from human writing. To probe this phenomenon, we introduce Telescope Perplexity, a metric that evaluates the token repetition of the model, $P(s_i | s_{1:i})$. Our empirical investigation reveals that the Telescope Perplexity signature emerges early in pre-training, and Telescope Perplexity empirically enables highly effective zero-shot LLM detection. We show state-of-the-art or competitive performance across diverse datasets (including modern evaluation sets we introduce), reference models, and perturbation schemes with greater efficiency than other methods.","absKo":"Large Language Model (LLM)이 생성한 텍스트와 사람이 쓴 글을 구별하는 일은 중요하면서도 어려운 과제입니다. LLM은 사람처럼 쓰도록 학습되지만, 우리는 이 학습이 지워지지 않는 흔적을 남긴다고 가정합니다. LLM은 학습 초기에 token repetition에 대해 특히 강한 회피 성향을 형성합니다. 이 편향은 LLM 생성 텍스트에서 활성화되는 발달상의 산물인 ``Vestigial Heuristic''로 지속되며, LLM과 인간 글쓰기를 구분하게 합니다. 이 현상을 조사하기 위해 우리는 모델의 token repetition, $P(s_i | s_{1:i})$를 평가하는 지표인 Telescope Perplexity를 도입합니다. 우리의 실증 연구는 Telescope Perplexity signature가 pre-training 초기에 나타나며, Telescope Perplexity가 매우 효과적인 zero-shot LLM detection을 가능하게 함을 보여줍니다. 우리는 다양한 dataset(우리가 새로 도입하는 현대적 evaluation set 포함), reference model, perturbation scheme 전반에서 state-of-the-art 또는 경쟁력 있는 성능을 더 높은 효율로 달성함을 보입니다."},{"id":"63049","en":"Sparse but Wrong: Incorrect L0 Leads to Incorrect Features in Sparse Autoencoders","ko":"희소하지만 틀렸다: 잘못된 L0는 Sparse Autoencoder에서 잘못된 특징을 낳는다","authors":"David Chanin, Adrià Garriga-Alonso","pos":"#3303","link":"https://openreview.net/forum?id=aYqF2Cv6Cr","abs":"Sparse Autoencoders (SAEs) extract features from LLM internal activations, meant to correspond to interpretable concepts. A core SAE training hyperparameter is L0: how many SAE features should fire per token on average. Existing work compares SAE algorithms using sparsity-reconstruction tradeoff plots, implying L0 is a free parameter with no single correct value aside from its effect on reconstruction. In this work we study the effect of L0 on SAEs, and show that if L0 is not set correctly, the SAE fails to disentangle the underlying features of the LLM. If L0 is too low, the SAE will mix correlated features to improve reconstruction. If L0 is too high, the SAE finds degenerate solutions that also mix features. Further, we present a proxy metric that can help guide the search for the correct L0 for an SAE on a given training distribution. We show that our method finds the correct L0 in toy models and coincides with peak sparse probing performance in LLM SAEs. We find that most commonly used SAEs have an L0 that is too low. Our work shows that L0 must be set correctly to train SAEs with correct features.
","absKo":"Sparse Autoencoder(SAE)는 LLM 내부 activation에서 feature를 추출하며, 이는 해석 가능한 개념에 대응하도록 의도된다. SAE 학습의 핵심 hyperparameter는 L0로, 평균적으로 token당 몇 개의 SAE feature가 활성화되어야 하는지를 의미한다. 기존 연구는 sparsity-reconstruction tradeoff plot을 사용해 SAE algorithm을 비교하며, 이를 통해 L0는 reconstruction에 대한 영향 외에는 정해진 정답이 없는 자유 변수처럼 취급된다. 본 연구에서는 L0가 SAE에 미치는 영향을 살펴보고, L0를 올바르게 설정하지 않으면 SAE가 LLM의 underlying feature를 disentangle하지 못함을 보인다. L0가 너무 낮으면 SAE는 reconstruction을 개선하기 위해 상관된 feature를 섞는다. L0가 너무 높아도 SAE는 feature를 섞는 degenerate solution을 찾게 된다. 더 나아가, 우리는 주어진 training distribution에 대해 SAE의 올바른 L0를 찾는 탐색을 안내할 수 있는 proxy metric을 제시한다. 우리의 방법이 toy model에서 올바른 L0를 찾아내며, LLM SAE에서 sparse probing 성능의 최고점과 일치함을 보인다. 또한 널리 사용되는 대부분의 SAE는 L0가 너무 낮다는 사실을 발견했다. 우리의 연구는 올바른 feature를 갖는 SAE를 학습하려면 L0를 정확하게 설정해야 함을 보여준다.
"},{"id":"64328","en":"Selective Disclosure Watermarking for Large Language Models","ko":"대형 언어 모델을 위한 선택적 공개 워터마킹","authors":"Xuyang Chen, Xiang Li, Yangxinyu Xie, Qi Long","pos":"#3305","link":"https://openreview.net/forum?id=Oi1AISOxzt","abs":"Watermarking methods embed imperceptible and verifiable signals into text generated by large language models (LLMs). Existing approaches include zero-bit schemes for distinguishing synthetic text from human writing and multi-bit schemes for embedding metadata. However, current multi-bit watermarking methods do not allow selective disclosure: verifying any part of the watermark requires revealing the entire embedded message. This lack of control leads to unnecessary information exposure and raises privacy concerns. We propose Hierarchical Vocabulary Routing, a watermarking framework that enables selective disclosure of embedded metadata. The method recursively partitions the vocabulary and distributes watermark information across hierarchical layers, so that different verifiers can decode only the portions of the payload corresponding to their access level. We show that the proposed scheme preserves the unbiasedness of the underlying sampling process and thus maintains text quality. Experiments demonstrate that our framework supports fine-grained access control while achieving high detection accuracy and low latency.
","absKo":"Watermarking 방법은 large language model (LLM)이 생성한 텍스트에 눈에 띄지 않으면서 검증 가능한 신호를 삽입한다. 기존 접근법에는 synthetic text와 human writing을 구분하기 위한 zero-bit scheme과 metadata를 삽입하기 위한 multi-bit scheme이 포함된다. 그러나 현재의 multi-bit watermarking 방법은 selective disclosure를 허용하지 않는다. 즉, watermark의 일부를 검증하려 해도 삽입된 전체 메시지를 모두 드러내야 한다. 이러한 통제 부재는 불필요한 정보 노출을 초래하고 privacy concerns를 야기한다. 우리는 삽입된 metadata의 selective disclosure를 가능하게 하는 watermarking framework인 Hierarchical Vocabulary Routing을 제안한다. 이 방법은 vocabulary를 재귀적으로 분할하고 watermark 정보를 hierarchical layer 전반에 분산하여, 서로 다른 verifier가 자신의 access level에 해당하는 payload 부분만을 decode할 수 있게 한다. 우리는 제안한 scheme이 underlying sampling process의 unbiasedness를 보존하므로 text quality를 유지함을 보인다. 실험 결과, 우리의 framework는 높은 detection accuracy와 낮은 latency를 달성하면서 세밀한 access control을 지원한다.
"},{"id":"68822","en":"Selective Concept Bottleneck Models Without Predefined Concepts","ko":"사전 정의된 Concept 없는 Selective Concept Bottleneck Model","authors":"Simon Schrodi, Julian Schur, Max Argus, Thomas Brox","pos":"#3306","abs":"Concept-based models like Concept Bottleneck Models (CBMs) have garnered significant interest for improving model interpretability by first predicting human-understandable concepts before mapping them to the output classes. Early approaches required costly concept annotations. To alleviate this, recent methods utilized large language models to automatically generate class-specific concept descriptions and learned mappings from a pretrained black-box model’s raw features to these concepts using vision-language models. However, these approaches assume prior knowledge of which concepts the black-box model has learned. In this work, we discover the concepts encoded by the model through unsupervised concept discovery techniques instead. We further leverage a simple input-dependent concept selection mechanism that dynamically retains a sparse set of relevant concepts of each input, enhancing both sparsity and interpretability. Our approach not only improves downstream performance, but also needs significantly fewer concepts for accurate classification. Lastly, we show how large vision-language models can guide the editing of our models' weights to correct model errors.
","absKo":"Concept Bottleneck Models(CBMs)와 같은 concept-based model은 먼저 사람이 이해할 수 있는 concept를 예측한 뒤 이를 output class에 매핑함으로써 모델 해석 가능성을 높이는 데 큰 관심을 받아 왔다. 초기 접근법은 비용이 많이 드는 concept annotation을 필요로 했다. 이를 완화하기 위해 최근 방법들은 large language model을 이용해 class-specific concept description을 자동 생성하고, pretrained black-box model의 raw feature를 vision-language model을 사용해 이러한 concept로 매핑하는 방식을 학습했다. 그러나 이러한 접근법은 black-box model이 어떤 concept를 학습했는지에 대한 사전 지식을 가정한다. 본 연구에서는 대신 unsupervised concept discovery 기법을 통해 model에 인코딩된 concept를 발견한다. 우리는 또한 간단한 input-dependent concept selection mechanism을 활용해 각 입력과 관련된 희소한 concept 집합을 동적으로 유지함으로써 sparsity와 interpretability를 모두 향상시킨다. 우리의 접근법은 downstream performance를 개선할 뿐 아니라, 정확한 분류를 위해 훨씬 적은 concept만 필요로 한다. 마지막으로, large vision-language model이 model 오류를 수정하기 위해 우리의 model weight 편집을 어떻게 안내할 수 있는지도 보인다.
"},{"id":"66016","en":"SVD as a Fast Interpretability Method for Transformers","ko":"Transformer를 위한 빠른 해석 방법으로서의 SVD","authors":"Min Xue, Artur Andrzejak","pos":"#3307","link":"https://openreview.net/forum?id=7tt8TwMjdJ","abs":"Mechanistic interpretability of Transformer models commonly relies on training auxiliary proxy models, such as Sparse Autoencoders or Cross-Layer Transcoders. While effective, these post-hoc approaches introduce approximation bias and incur substantial computational overhead. We propose an alternative, training-free interpretability framework that directly exploits the Singular Value Decomposition (SVD) of weight matrices in Transformer MLP sublayers. By operating natively on model parameters, our method improves scalability while preserving fidelity to the original weights. We show that the projection matrices of MLP sublayers admit a natural decomposition into orthogonal, interpretable rank-1 subspaces, which we term Detector-Effector Units (DEUs). Within each unit, a singular vector functions as a detector of input patterns and modulates a coupled effector vector that encodes output semantics. Building on this structure, we introduce Subspace Contribution Analysis (SCA), a diagnostic method that quantifies the direct causal contribution of individual native subspaces to model predictions. Experiments across the GPT-2 family demonstrate that our framework, Native Network Anatomy (NaNA), identifies dominant functional pathways with orders-of-magnitude efficiency gains over training-based interpretability baselines, while maintaining weight fidelity. Our results suggest that SVD-based analyses provide a scalable and faithful alternative to learned proxy approaches for mechanistic interpretability.
","absKo":"Transformer model의 mechanistic interpretability는 일반적으로 Sparse Autoencoder나 Cross-Layer Transcoder와 같은 보조 proxy model을 학습하는 데 의존합니다. 이러한 post-hoc 접근은 효과적이지만, 근사 bias를 도입하고 상당한 계산 오버헤드를 유발합니다. 우리는 Transformer MLP sublayer의 weight matrix에 대한 Singular Value Decomposition(SVD)을 직접 활용하는, 학습이 필요 없는 대안적 interpretability framework를 제안합니다. 모델 parameter에 native하게 작동함으로써, 우리 방법은 원래 weight에 대한 fidelity를 유지하면서 scalability를 향상시킵니다. 우리는 MLP sublayer의 projection matrix가 자연스럽게 직교하는, 해석 가능한 rank-1 subspace의 분해를 허용하며, 이를 Detector-Effector Units(DEUs)라고 부릅니다. 각 unit에서 singular vector는 입력 패턴의 detector로 작동하고, 출력 semantics를 인코딩하는 결합된 effector vector를 조절합니다. 이 구조를 바탕으로 우리는 Subspace Contribution Analysis(SCA)를 도입하는데, 이는 개별 native subspace가 model prediction에 직접적으로 기여하는 인과적 영향을 정량화하는 진단 방법입니다. GPT-2 family 전반에 걸친 실험은 우리의 framework인 Native Network Anatomy(NaNA)가 weight fidelity를 유지하면서도 training-based interpretability baseline보다 수십 배에서 수백 배 더 높은 효율로 지배적인 functional pathway를 식별함을 보여줍니다. 우리의 결과는 SVD 기반 analysis가 mechanistic interpretability를 위한 학습된 proxy 접근법에 비해 확장 가능하고 충실한 대안이 될 수 있음을 시사합니다.
"},{"id":"61599","en":"RAIGen: Rare Attribute Identification in Text-to-Image Generative Models","ko":"RAIGen: Text-to-Image Generative Models에서 Rare Attribute Identification","authors":"Silpa Vadakkeeveetil Sreelatha, Dan Wang, Serge Belongie, Muhammad Awais, Anjan Dutta","pos":"#3308","link":"https://openreview.net/forum?id=oXxf72fqb6","abs":"Text-to-image diffusion models achieve impressive generation quality but inherit and amplify training-data biases, skewing coverage of semantic attributes. Prior work addresses this in two ways. Closed-set approaches mitigate biases in predefined fairness categories (e.g., gender, race), assuming socially salient minority attributes are known a priori. Open-set approaches frame the task as bias identification, highlighting majority attributes that dominate outputs. Both overlook a complementary task: uncovering rare or minority features underrepresented in the data distribution (social, cultural, or stylistic) yet still encoded in model representations. We introduce RAIGen, the first framework, to our knowledge, for unsupervised rare-attribute discovery in diffusion models. RAIGen leverages Matryoshka Sparse Autoencoders and a novel minority metric combining neuron activation frequency with semantic distinctiveness to identify interpretable neurons whose top-activating images reveal underrepresented attributes. Experiments show RAIGen discovers attributes beyond fixed fairness categories in Stable Diffusion, scales to larger models such as SDXL, supports systematic auditing across architectures, and enables targeted amplification of rare attributes during generation.
","absKo":"text-to-image diffusion model은 인상적인 생성 품질을 달성하지만, training-data bias를 계승하고 증폭하여 semantic attribute coverage를 왜곡한다. 이전 연구는 이를 두 가지 방식으로 다뤘다. closed-set 접근은 gender, race와 같은 사전 정의된 fairness category에서의 bias를 완화하며, 사회적으로 중요한 소수 속성이 a priori로 알려져 있다고 가정한다. open-set 접근은 이 과제를 bias identification으로 규정하고, 출력에서 우세한 majority attribute를 강조한다. 그러나 이들 모두 데이터 분포에서 과소대표되지만 모델 표현에는 여전히 인코딩된, 희귀하거나 소수적인 특징(사회적, 문화적, 또는 스타일적)을 발견하는 보완적 과제를 간과한다. 우리는 diffusion model에서의 unsupervised rare-attribute discovery를 위한, 우리가 아는 한 최초의 프레임워크인 RAIGen을 소개한다. RAIGen은 Matryoshka Sparse Autoencoders와 neuron activation frequency와 semantic distinctiveness를 결합한 새로운 minority metric을 활용하여, top-activating image가 과소대표된 attribute를 드러내는 해석 가능한 neuron을 식별한다. 실험은 RAIGen이 Stable Diffusion에서 고정된 fairness category를 넘어서는 attribute를 발견하고, SDXL과 같은 더 큰 model로 확장 가능하며, architecture 전반에 걸친 체계적 auditing을 지원하고, 생성 중 희귀 attribute의 표적 증폭을 가능하게 함을 보여준다.
"},{"id":"66078","en":"Query Circuits: Explaining How Language Models Answer User Prompts","ko":"Query Circuit: 언어 모델이 사용자 프롬프트에 답하는 방식 설명하기","authors":"Tung-Yu Wu, Fazl Barez","pos":"#3309","link":"https://openreview.net/forum?id=7F0sragazb","abs":"Explaining why a language model produces a particular output requires local, input-level explanations. Existing methods uncover global capability circuits (e.g., indirect object identification), but not why the model answers a specific input query in a particular way. We introduce query circuits, which directly trace the information flow inside a model that maps a specific input to the output. Unlike surrogate-based approaches (e.g., sparse autoencoders), query circuits are identified within the model itself, resulting in more faithful and computationally accessible explanations. To make query circuits practical, we address two challenges. First, we introduce Normalized Deviation Faithfulness (NDF), a robust metric to evaluate how well a discovered circuit recovers the model's decision for a specific input, and is broadly applicable to circuit discovery beyond our setting. Second, we develop sampling-based methods to efficiently identify circuits that are sparse yet faithfully describe the model’s behavior. Across benchmarks (IOI, arithmetic, MMLU, and ARC), we find that there exist sparse query circuits within the model that recover much of its performance on single queries. For example, on average, a circuit covering only 1.3\\% of model connections can recover about 60\\% of performance on an MMLU question. Overall, query circuits provide a step towards faithful, scalable explanations of how language models process individual inputs.
","absKo":"language model이 특정 출력을 생성하는 이유를 설명하려면 local, input-level explanation이 필요합니다. 기존 방법은 indirect object identification과 같은 global capability circuit은 밝혀내지만, 모델이 왜 특정 input query에 대해 특정 방식으로 답하는지는 설명하지 못합니다. 우리는 특정 input을 output으로 매핑하는 모델 내부의 정보 흐름을 직접 추적하는 query circuit을 소개합니다. sparse autoencoder와 같은 surrogate-based approach와 달리, query circuit은 모델 자체 내부에서 식별되므로 더 충실하고 계산적으로 접근 가능한 설명을 제공합니다. query circuit을 실용적으로 만들기 위해 두 가지 과제를 다룹니다. 첫째, 우리는 Normalized Deviation Faithfulness(NDF)를 도입하여, 발견된 circuit이 특정 input에 대한 모델의 결정을 얼마나 잘 복원하는지 평가하는 견고한 metric을 제시하며, 이는 우리 설정을 넘어 circuit discovery 전반에 널리 적용 가능합니다. 둘째, sparse하면서도 모델의 동작을 충실하게 설명하는 circuit을 효율적으로 식별하기 위한 sampling-based method를 개발합니다. IOI, arithmetic, MMLU, ARC benchmark 전반에서, 우리는 모델 내부에 단일 query에서의 성능 상당 부분을 복원하는 sparse query circuit이 존재함을 발견했습니다. 예를 들어, 평균적으로 모델 connection의 단 1.3\\%만 포함하는 circuit이 MMLU question에서 약 60\\%의 성능을 복원할 수 있습니다. 전반적으로 query circuit은 language model이 개별 input을 처리하는 방식을 충실하고 확장 가능하게 설명하기 위한 한 걸음이 됩니다.
"},{"id":"61664","en":"Probing Cross-modal Information Hubs in Audio-Visual LLMs","ko":"Audio-Visual LLM에서 Cross-modal Information Hub 탐색","authors":"Jihoo Jung, Chaeyoung Jung, Ji-Hoon Kim, Joon Son Chung","pos":"#3310","link":"https://openreview.net/forum?id=nxKRwB1J63","abs":"Audio-visual large language models (AVLLMs) have recently emerged as a powerful architecture capable of jointly reasoning over audio, visual, and textual modalities. In AVLLMs, the bidirectional interaction between audio and video modalities introduces intricate processing dynamics, necessitating a deeper understanding of their internal mechanisms. However, unlike extensively studied text-only or large vision language models, the internal workings of AVLLMs remain largely unexplored. In this paper, we focus on cross-modal information flow between audio and visual modalities in AVLLMs, investigating where information derived from one modality is encoded within the token representations of the other modality. Through an analysis of multiple recent AVLLMs, we uncover two common findings. First, AVLLMs primarily encode integrated audio-visual information in sink tokens. Second, sink tokens do not uniformly hold cross-modal information. Instead, a distinct subset of sink tokens, which we term cross-modal sink tokens, specializes in storing such information. Based on these findings, we further propose a simple training-free hallucination mitigation method by encouraging reliance on integrated cross-modal information within cross-modal sink tokens.
","absKo":"Audio-visual large language models (AVLLMs)는 최근 audio, visual, textual modality를 공동으로 추론할 수 있는 강력한 architecture로 부상했습니다. AVLLMs에서는 audio와 video modality 간의 양방향 상호작용이 복잡한 processing dynamics를 유발하므로, 내부 메커니즘에 대한 더 깊은 이해가 필요합니다. 그러나 text-only model이나 large vision language model과 달리, AVLLMs의 내부 동작은 아직 거의 탐구되지 않았습니다. 본 논문에서는 AVLLMs에서 audio와 visual modality 간 cross-modal information flow에 초점을 맞추어, 한 modality에서 유래한 정보가 다른 modality의 token representation 내 어디에 인코딩되는지 조사합니다. 여러 최신 AVLLMs에 대한 분석을 통해 두 가지 공통적인 결과를 발견했습니다. 첫째, AVLLMs는 주로 sink token에 통합된 audio-visual information을 인코딩합니다. 둘째, sink token이 cross-modal information을 균일하게 보유하는 것은 아닙니다. 대신, 우리는 이러한 정보를 저장하는 데 특화된 sink token의 구별되는 하위 집합을 cross-modal sink token이라고 정의합니다. 이러한 발견을 바탕으로, 우리는 cross-modal sink token 내 통합된 cross-modal information에 대한 의존을 유도함으로써 hallucination을 완화하는 간단한 training-free 방법을 추가로 제안합니다.
"},{"id":"67064","en":"Position: Uncertainty Quantification in LLMs is Just Unsupervised Clustering","ko":"Position: LLM에서의 불확실성 정량화는 단지 비지도 클러스터링일 뿐이다","authors":"Tiejin Chen, Longchao Da, Xiaoou Liu, Hua Wei","pos":"#3312","link":"https://openreview.net/forum?id=sGp6f1I8r7","abs":"Uncertainty Quantification (UQ) is widely regarded as the primary safeguard for deploying Large Language Models (LLMs) in high-stakes domains. However, \\textbf{we argue that the field suffers from a category error: prevailing UQ methods are just unsupervised clustering algorithms.} We demonstrate that most current approaches inherently quantify the internal consistency of the model's generations rather than their external correctness. Consequently, current methods are fundamentally blind to factual reality and fail to detect ``confident hallucinations,'' where models exhibit high confidence in stable but incorrect answers. Therefore, the current UQ methods may create a deceptive sense of safety when deploying the models with uncertainty. In detail, we identify three critical pathologies resulting from this dependence on internal state: a hyperparameter sensitivity crisis that renders deployment unsafe, an internal evaluation cycle that conflates stability with truth, and a fundamental lack of ground truth that forces reliance on unstable proxy metrics to evaluate uncertainty. To resolve this impasse, we advocate for a paradigm shift to UQ and outline a roadmap for the research community to adopt better evaluation metrics and settings, implement mechanism changes for native uncertainty, and anchor verification in objective truth, ensuring that model confidence serves as a reliable proxy for reality.
","absKo":"Uncertainty Quantification (UQ)은 고위험 도메인에서 Large Language Models (LLMs)를 배포하기 위한 주요 안전장치로 널리 여겨진다. 그러나 \\textbf{우리는 이 분야가 범주 오류를 겪고 있다고 주장한다: 현재 주류 UQ 방법은 사실상 비지도 클러스터링 알고리즘일 뿐이다.} 우리는 현재의 대부분 접근법이 모델 생성물의 외적 정답성보다 내적 일관성을 본질적으로 정량화한다는 점을 보인다. 그 결과, 현행 방법들은 사실적 현실에 근본적으로 맹목적이며, 모델이 안정적이지만 틀린 답에 대해 높은 확신을 보이는 ``confident hallucinations''를 탐지하지 못한다. 따라서 현재의 UQ 방법은 uncertainty와 함께 모델을 배포할 때 오히려 기만적인 안전감만 만들어낼 수 있다. 구체적으로, 우리는 이러한 내부 상태 의존성으로부터 세 가지 치명적 병리를 식별한다. 배포를 안전하지 않게 만드는 hyperparameter sensitivity crisis, 안정성과 진실을 혼동하는 내부 평가 순환, 그리고 uncertainty 평가를 위해 불안정한 proxy metric에 의존할 수밖에 없게 만드는 근본적인 ground truth 부재가 그것이다. 이 교착 상태를 해결하기 위해, 우리는 UQ에 대한 패러다임 전환을 옹호하며, 연구 커뮤니티가 더 나은 평가 지표와 설정을 채택하고, native uncertainty를 위한 mechanism 변화를 구현하며, 검증을 객관적 진실에 정박시켜 모델의 확신이 현실의 신뢰할 수 있는 proxy로 기능하도록 하는 로드맵을 제시한다.
"},{"id":"62148","en":"Old Habits Die Hard: How Conversational History Geometrically Traps LLMs","ko":"오래된 습관은 쉽게 사라지지 않는다: 대화 이력이 LLM을 기하학적으로 가두는 방식","authors":"Adi Simhi, Fazl Barez, Martin Tutek, Yonatan Belinkov, Shay Cohen","pos":"#3315","link":"https://openreview.net/forum?id=jNhEZteJfq","abs":"How does the conversational past of large language models (LLMs) influence their future performance? Recent work suggests that LLMs are affected by their conversational history in unexpected ways. For instance, hallucinations in prior interactions may influence subsequent model responses. In this work, we introduce History Echoes, a framework that investigates how conversational history biases subsequent generations. The framework explores this bias from two perspectives: probabilistically, we model conversations as Markov chains to quantify state consistency; geometrically, we measure the consistency of consecutive hidden representations. Across three model families and six datasets spanning diverse phenomena, our analysis reveals a strong correlation between the two perspectives. By bridging these perspectives, we demonstrate that behavioral persistence manifests as a geometric trap, where gaps in the latent space confine the model's trajectory.
","absKo":"대규모 언어 모델(LLMs)의 conversational past는 미래 성능에 어떤 영향을 미치는가? 최근 연구는 LLM이 conversational history에 의해 예상치 못한 방식으로 영향을 받는다고 제시한다. 예를 들어, 이전 상호작용에서의 hallucination이 이후 모델 응답에 영향을 줄 수 있다. 본 연구에서 우리는 History Echoes를 도입하여 conversational history가 이후 생성에 어떻게 bias를 주는지 조사한다. 이 framework는 이러한 bias를 두 관점에서 탐구한다. 확률적으로는 conversations를 Markov chain으로 모델링하여 state consistency를 정량화하고, 기하학적으로는 연속된 hidden representation의 consistency를 측정한다. 다양한 현상을 포괄하는 세 개의 model family와 여섯 개의 dataset 전반에서, 우리의 분석은 두 관점 사이에 강한 상관관계가 있음을 보여준다. 이 관점들을 연결함으로써, 우리는 behavioral persistence가 geometric trap으로 나타나며, latent space의 gap이 model의 trajectory를 가두게 됨을 보인다."},{"id":"61936","en":"Learning a Generative Meta-Model of LLM Activations","ko":"LLM activation의 generative meta-model 학습","authors":"Grace Luo, Jiahai Feng, Trevor Darrell, Alec Radford, Jacob Steinhardt","pos":"#3316","link":"https://openreview.net/forum?id=lXX3Bi2Adq","abs":"Existing approaches for manipulating neural network activations, such as PCA and SAEs, rely on strong assumptions about activation structure. We develop a generative approach that models activations with diffusion, that makes minimal assumptions and improves with data and model scale. We use this activation diffusion model to improve downstream tasks: for instance, post-processing interventions with its learned generative prior, allowing for more effective steering without sacrificing fluency. Furthermore, the activation diffusion model can be used as an encoder, with units that cover a broad range of human-interpretable concepts, as measured by scalar probing. We also characterize the scaling properties of our approach, training models with 0.5B to 3.3B parameters on one billion residual stream activations from the Llama model family. We see that the diffusion loss decreases smoothly and reliably as a function of compute, and serves as a good proxy for downstream steering and probing performance. Our method provides a scalable approach towards interpretability without requiring commitments to strong assumptions.
","absKo":"PCA와 SAEs와 같은 기존의 neural network activation 조작 방법은 activation 구조에 대한 강한 가정에 의존한다. 우리는 최소한의 가정을 두고 데이터와 모델 규모가 커질수록 성능이 향상되는 diffusion 기반 generative approach를 개발한다. 우리는 이 activation diffusion model을 downstream task 개선에 활용한다. 예를 들어, 학습된 generative prior를 사용해 intervention을 후처리함으로써 fluency를 희생하지 않으면서 더 효과적인 steering을 가능하게 한다. 나아가 activation diffusion model은 encoder로도 사용될 수 있으며, scalar probing으로 측정했을 때 인간이 해석 가능한 개념의 넓은 범위를 포괄하는 unit을 갖는다. 또한 우리는 Llama 모델 계열에서 가져온 10억 개의 residual stream activation으로 0.5B에서 3.3B 파라미터 규모의 모델을 학습하며, 본 접근법의 scaling property를 특성화한다. compute의 함수로 diffusion loss가 매끄럽고 안정적으로 감소하며, downstream steering 및 probing 성능의 좋은 proxy로 작동함을 확인한다. 우리의 방법은 강한 가정에 대한 약속을 요구하지 않으면서도 해석 가능성을 향한 확장 가능한 접근을 제공한다.
"},{"id":"63804","en":"A Distributional View for Visual Mechanistic Interpretability: KL-Minimal Soft-Constraint Principle","ko":"시각적 mechanistic interpretability를 위한 분포적 관점: KL 최소 soft-constraint 원리","authors":"Guancheng Zhou, Yisi Luo, Zhengfu He, Zhenyu Jin, Xuyang Ge, Wentao Shu, Deyu Meng, Xipeng Qiu","pos":"#3400","link":"https://openreview.net/forum?id=TZvHUmClPP","abs":"Most current paradigms in visual mechanistic interpretability (MI) remain confined to interpreting internal units of the vision model via heuristic methods (e.g., top-$K$ activation retrieval or optimization with regularization). In this work, we establish a theoretical distributional view for visual MI, which models the influence of a feature activation on the natural image distribution, thereby formulating a Kullback-Leibler (KL)-minimal optimization problem to model the MI task. Under this framework, statistical biases are identified within previous MI paradigms, which reveal that they may either be perceptually uninterpretable to humans (i.e., deviate from the natural image distribution), or mechanistically unfaithful to the vision models (i.e., unable to activate model features). To resolve the biases under the distributional view, we propose a model with a KL-minimal soft-constraint principle for visual MI that theoretically balances interpretability and faithfulness. We realize this principle via energy-guided diffusion posterior sampling. Extensive experiments validate the theoretical soundness of the proposed distributional view and demonstrate the practical effectiveness of our paradigm on the DINOv3 vision model.","absKo":"현재 visual mechanistic interpretability(MI)의 대부분의 패러다임은 heuristic 방법(예: top-$K$ activation retrieval 또는 regularization을 동반한 optimization)을 통해 vision model의 내부 unit을 해석하는 데 국한되어 있다. 본 연구에서는 visual MI에 대한 이론적 distributional 관점을 정립하여, feature activation이 natural image distribution에 미치는 영향을 모델링하고, 이를 바탕으로 MI task를 모델링하는 Kullback-Leibler(KL) 최소 최적화 문제를 정식화한다. 이 프레임워크 하에서 기존 MI 패러다임에 내재한 statistical bias를 식별하며, 이는 이들이 인간에게 지각적으로 해석 불가능할 수 있거나(즉, natural image distribution에서 벗어나거나), 또는 vision model에 대해 mechanistically faithful하지 않을 수 있음(즉, model feature를 활성화하지 못함)을 드러낸다. distributional 관점에서의 이러한 bias를 해결하기 위해, 이론적으로 interpretability와 faithfulness를 균형 있게 맞추는 visual MI를 위한 KL-최소 soft-constraint 원리를 갖는 모델을 제안한다. 우리는 이를 energy-guided diffusion posterior sampling으로 구현한다. 광범위한 실험은 제안된 distributional view의 이론적 타당성을 검증하고, DINOv3 vision model에서 우리의 패러다임이 실질적으로 효과적임을 보여준다."},{"id":"65535","en":"At the Edge of Understanding: Sparse Autoencoders Trace The Limits of Transformer Generalization","ko":"이해의 경계에서: Sparse Autoencoder가 Transformer 일반화의 한계를 추적하다","authors":"Praneet Suresh, Jack Stanley, Sonia Joseph, Luca Scimeca, Danilo Bzdok","pos":"#3401","link":"https://openreview.net/forum?id=CbXjg2h6F6","abs":"Pre-trained transformers have demonstrated remarkable generalization abilities, at times extending beyond the scope of their training data. Yet, real-world deployments often face unexpected or adversarial data that diverges from training data distributions. Without explicit mechanisms for handling such shifts, model reliability and safety degrade, urging more disciplined study of out-of-distribution (OOD) settings for transformers. By systematic experiments, we present a mechanistic framework for delineating the precise contours of transformer model robustness. We find that OOD inputs, including subtle typos and jailbreak prompts, drive language models to operate on an increased number of fallacious concepts in their internals. We leverage this device to quantify and understand the degree of distributional shift in prompts, enabling a mechanistically grounded fine-tuning strategy to robustify LLMs. Expanding the very notion of OOD from input data to a model’s private computational processes—a new transformer diagnostic at inference time—is a critical step toward making AI systems safe for deployment across science, business, and government.
","absKo":"사전학습된 transformer는 놀라운 일반화 능력을 보여 왔으며, 때로는 훈련 데이터의 범위를 넘어서는 성능을 보이기도 한다. 그러나 실제 배포 환경에서는 훈련 데이터 분포와 어긋나는 예상치 못한 데이터나 adversarial data를 자주 마주한다. 이러한 shift를 처리하기 위한 명시적 메커니즘이 없으면 모델의 신뢰성과 안전성은 저하되며, 이는 transformer에 대한 out-of-distribution (OOD) 설정을 보다 엄격하게 연구할 필요성을 부각시킨다. 체계적인 실험을 통해, 우리는 transformer 모델의 robustness를 정밀하게 규정하는 mechanistic framework를 제시한다. 우리는 미세한 오타와 jailbreak prompt를 포함한 OOD 입력이 language model 내부에서 더 많은 수의 fallacious concept 위에서 작동하도록 유도한다는 사실을 발견했다. 우리는 이 기법을 활용해 prompt에서의 distributional shift의 정도를 정량화하고 이해하며, 이를 바탕으로 LLM을 robustify하기 위한 mechanistically grounded fine-tuning strategy를 가능하게 한다. 입력 데이터에서 model의 private computational process로 OOD의 개념을 확장하는 것, 즉 inference time에 수행하는 새로운 transformer diagnostic은 과학, 비즈니스, 정부 전반에 걸쳐 AI system을 안전하게 배포하기 위한 중요한 단계이다.
"},{"id":"66610","en":"Base Models Know How to Reason, Thinking Models Learn When","ko":"베이스 모델은 추론하는 법을 알고, 사고 모델은 언제 할지를 배운다","authors":"Constantin Venhoff, Iván Arcuschin, Phil Torr, Arthur Conmy, Neel Nanda","pos":"#3402","link":"https://openreview.net/forum?id=2BniakOS4q","abs":"Why do thinking language models outperform their base counterparts, and what exactly do they learn during training? We introduce constructive model diffing, a framework for understanding fine-tuned models by explicitly constructing the base-to-fine-tuned difference from interpretable components to produce hybrid models, and measuring how well they recover the fine-tuned model's performance. For thinking models, we decompose the diff into two components: reasoning mechanisms (steering vectors that activate specific behaviors in the base model) and reasoning heuristics (a classifier that determines when each mechanism should fire). To ground this decomposition, we develop an unsupervised methodology using Sparse Autoencoders to discover interpretable taxonomies of reasoning behaviors. Evaluating nine model configurations (five RL-trained, four distilled), we find a striking difference between training methods: the hybrid models for the five RL-trained models achieve much higher performance recovery compared to the four distilled models. This indicates RL-trained models primarily learn sophisticated heuristics for deploying pre-existing base model mechanisms, while distillation affects the mechanisms themselves. These results provide a new lens for understanding what different training paradigms teach, with potential implications for efficient reasoning model development.
","absKo":"사고하는 language model은 왜 base counterpart보다 더 뛰어난 성능을 보이며, 정확히 무엇을 학습하는가? 우리는 constructive model diffing을 도입한다. 이는 해석 가능한 component들로부터 base-to-fine-tuned 차이를 명시적으로 구성해 hybrid model을 만들고, 그것이 fine-tuned model의 성능을 얼마나 잘 복원하는지 측정함으로써 fine-tuned model을 이해하는 프레임워크다. thinking model의 경우, 우리는 diff를 두 가지 component로 분해한다. reasoning mechanism(기저 model에서 특정 behavior를 활성화하는 steering vector)과 reasoning heuristic(각 mechanism을 언제 작동시킬지 결정하는 classifier)이다. 이 분해를 정립하기 위해 우리는 Sparse Autoencoder를 사용해 reasoning behavior의 해석 가능한 taxonomy를 발견하는 비지도 방법론을 개발한다. 다섯 개의 RL-trained model과 네 개의 distilled model, 총 아홉 개의 model configuration을 평가한 결과, 학습 방법 간에 현저한 차이가 나타났다. 다섯 개의 RL-trained model에 대한 hybrid model은 네 개의 distilled model에 비해 훨씬 더 높은 performance recovery를 달성했다. 이는 RL-trained model이 주로 기존 base model mechanism을 배치하기 위한 정교한 heuristic을 학습하는 반면, distillation은 mechanism 자체에 영향을 준다는 점을 시사한다. 이러한 결과는 서로 다른 training paradigm이 무엇을 가르치는지 이해하기 위한 새로운 관점을 제공하며, 효율적인 reasoning model 개발에 잠재적 함의를 가진다."},{"id":"61143","en":"Biases in the Blind Spot: Detecting What LLMs Fail to Mention","ko":"Blind Spot 속 편향: LLM이 언급하지 못하는 것 검출","authors":"Iván Arcuschin, David Chanin, Adrià Garriga-Alonso, Oana-Maria Camburu","pos":"#3404","link":"https://openreview.net/forum?id=tIG25Y7gMj","abs":"Large Language Models (LLMs) often provide chain-of-thought (CoT) reasoning traces that appear plausible, but may hide internal biases. We call these unverbalized biases. Monitoring models via their stated reasoning is therefore unreliable, and existing bias evaluations typically require predefined categories and hand-crafted datasets. In this work, we introduce a fully automated, black-box pipeline for detecting task-specific unverbalized biases. Given a task dataset, the pipeline uses LLM autoraters to generate candidate bias concepts. It then tests each concept on progressively larger input samples by generating positive and negative variations, and applies statistical techniques for multiple testing and early stopping. A concept is flagged as an unverbalized bias if it yields statistically significant performance differences while not being cited as justification in the model's CoTs. We evaluate our pipeline across six LLMs on three decision tasks (hiring, loan approval, and university admissions). Our technique automatically discovers previously unknown biases in these models (e.g., Spanish fluency, English proficiency, writing formality). In the same run, the pipeline also validates biases that were manually identified by prior work (gender, race, religion, ethnicity). More broadly, our proposed approach provides a practical, scalable path to automatic task-specific bias discovery.
","absKo":"Large Language Models (LLMs)는 종종 그럴듯해 보이는 chain-of-thought (CoT) reasoning trace를 제공하지만, 그 내부에는 편향이 숨어 있을 수 있습니다. 우리는 이를 unverbalized biases라고 부릅니다. 따라서 모델이 제시한 reasoning만으로 모델을 모니터링하는 것은 신뢰하기 어렵고, 기존의 bias evaluation은 보통 미리 정의된 범주와 수작업으로 만든 dataset을 필요로 합니다. 본 연구에서는 task-specific unverbalized bias를 탐지하기 위한 완전 자동화된 black-box pipeline을 제안합니다. task dataset이 주어지면, 이 pipeline은 LLM autorater를 사용해 후보 bias concept를 생성합니다. 그런 다음 positive/negative variation을 생성하며 점진적으로 더 큰 input sample에 대해 각 concept를 검증하고, multiple testing과 early stopping을 위한 statistical technique을 적용합니다. 어떤 concept가 모델의 CoT에서 정당화 근거로 인용되지는 않으면서도 통계적으로 유의미한 performance difference를 보이면, 이를 unverbalized bias로 간주합니다. 우리는 세 가지 decision task(hiring, loan approval, university admissions)에서 여섯 개의 LLM에 대해 이 pipeline을 평가했습니다. 우리의 기법은 이러한 모델에서 이전에 알려지지 않았던 bias(예: Spanish fluency, English proficiency, writing formality)를 자동으로 발견합니다. 같은 실행에서, 이 pipeline은 이전 연구에서 수작업으로 식별된 bias(gender, race, religion, ethnicity)도 검증합니다. 더 넓게 보면, 우리가 제안한 접근법은 task-specific bias를 자동으로 발견하기 위한 실용적이고 확장 가능한 경로를 제공합니다.
"},{"id":"63246","en":"Block-wise Codeword Embedding for Reliable Multi-bit Text Watermarking","ko":"신뢰할 수 있는 다중 비트 텍스트 워터마킹을 위한 블록 단위 코드워드 임베딩","authors":"Joeun Kim, HoEun Kim, Dongsup Jin, Young-Sik Kim","pos":"#3405","link":"https://openreview.net/forum?id=Ym1zKxtv8V","abs":"Recent multi-bit watermarking methods for large language models (LLMs) prioritize capacity over reliability, often conflating decoding with detection. Our analysis reveals that existing ECC-based extractors suffer from catastrophic false positive rates (FPR), and applying rejection thresholds merely collapses detection sensitivity (TPR) to random guessing. To resolve this structural limitation, we propose BREW (Block-wise Reliable Embedding for Watermarking), a framework shifting the paradigm to designated verification. BREW employs a two-stage mechanism: (i) blind message estimation via independent block voting, followed by (ii) window-shifting verification that rigorously validates the payload against local edits. Experiments demonstrate that BREW achieves a TPR of 0.965 with an FPR of 0.02 under 10\\% synonym substitution, demonstrating that the high-FPR issue is not an inherent trade-off of multi-bit watermarking, but a solvable structural flaw of prior decoding-centric designs. Our framework is model-agnostic and theoretically grounded, providing a scalable solution for reliable forensic deployment.
","absKo":"대규모 언어 모델 (LLMs)을 위한 최근의 multi-bit watermarking 방법들은 신뢰성보다 용량을 우선시하며, 종종 decoding과 detection을 혼동한다. 우리의 분석에 따르면 기존 ECC-based extractor는 치명적인 false positive rate (FPR) 문제를 겪으며, rejection threshold를 적용하면 detection sensitivity (TPR)가 단순한 무작위 추측 수준으로 붕괴한다. 이러한 구조적 한계를 해결하기 위해 우리는 BREW (Block-wise Reliable Embedding for Watermarking)을 제안한다. 이는 패러다임을 designated verification으로 전환하는 framework이다. BREW는 두 단계 메커니즘을 사용한다. (i) 독립적인 block voting을 통한 blind message estimation, 그리고 (ii) local edit에 대해 payload를 엄밀하게 검증하는 window-shifting verification이다. 실험 결과, BREW는 10\\% synonym substitution 하에서 TPR 0.965와 FPR 0.02를 달성하여, 높은 FPR 문제는 multi-bit watermarking의 본질적 trade-off가 아니라 기존 decoding-centric design의 해결 가능한 구조적 결함임을 보여 준다. 우리의 framework는 model-agnostic이며 이론적으로도 정당화되어, 신뢰할 수 있는 forensic deployment를 위한 확장 가능한 해법을 제공한다.
"},{"id":"63626","en":"C$^{2}$R: Cross-sample Consistency Regularization Mitigates Feature Splitting and Absorption in Sparse Autoencoders","ko":"C$^{2}$R: 샘플 간 일관성 정규화로 sparse autoencoder의 feature splitting과 absorption 완화","authors":"Haoran Jin, Xiting Wang, Shijie Ren, Hong Xie, Defu Lian","pos":"#3406","link":"https://openreview.net/forum?id=VKFhtdShU0","abs":"Sparse Autoencoders (SAEs) are widely used to interpret large language models by decomposing activations into sparse, human-understandable features, but scaling to large dictionaries exposes fundamental challenges. Systematic studies reveal pervasive feature splitting that fragments coherent concepts into non-atomic latents and widespread feature absorption that creates arbitrary exceptions in general features, severely compromising latent reliability. These issues stem from inconsistent latent assignment across samples: without cross-sample constraints, per-sample optimization often allows a single underlying concept to be inconsistently distributed across multiple redundant or interfering latents. To address this, we introduce C$^2$R (\\underline{\\textbf{C}}ross-sample \\underline{\\textbf{C}}onsistency \\underline{\\textbf{R}}egularization). C$^2$R explicitly encourages that each semantic feature is consistently represented by a unified latent across the batch by penalizing the co-activation of directionally similar latents. Comprehensive evaluation demonstrates that C$^2$R effectively mitigates both splitting and absorption while, crucially, preserving reconstruction fidelity, providing a principled solution that enhances latent interpretability without degrading model performance. Source code is available\\footnote{\\url{https://anonymous.4open.science/r/Cross-sample-Consistency-Regularization-28F8}}.","absKo":"Sparse Autoencoders (SAEs)는 activation을 sparse하고 사람이 이해할 수 있는 feature로 분해함으로써 large language model을 해석하는 데 널리 사용되지만, 큰 dictionary로 확장할 때 근본적인 도전에 직면한다. 체계적 연구는 일관된 개념을 원자적이지 않은 latent로 쪼개는 광범위한 feature splitting과, 일반 feature 안에 임의의 예외를 만들어내는 널리 퍼진 feature absorption을 드러내며, 이는 latent의 신뢰성을 심각하게 저해한다. 이러한 문제는 샘플 간 latent assignment의 불일치에서 비롯된다. cross-sample 제약이 없으면, sample별 최적화는 하나의 underlying concept이 여러 중복되거나 서로 간섭하는 latent에 걸쳐 일관성 없이 분배되도록 허용하는 경우가 많다. 이를 해결하기 위해 우리는 C$^2$R (\\underline{\\textbf{C}}ross-sample \\underline{\\textbf{C}}onsistency \\underline{\\textbf{R}}egularization)를 제안한다. C$^2$R은 방향적으로 유사한 latent의 co-activation을 패널티하여, 각 semantic feature가 batch 전반에서 하나의 통합된 latent로 일관되게 표현되도록 명시적으로 유도한다. 종합 평가 결과 C$^2$R은 splitting과 absorption을 효과적으로 완화하는 동시에, 결정적으로 reconstruction fidelity를 보존하며, 모델 성능을 저하시키지 않으면서 latent interpretability를 향상시키는 원칙적인 해법을 제공함을 보인다. 소스 코드는\\footnote{\\url{https://anonymous.4open.science/r/Cross-sample-Consistency-Regularization-28F8}}에서 확인할 수 있다.
"},{"id":"64938","en":"Certified Circuits: Stability Guarantees for Mechanistic Circuits","ko":"Certified Circuit: Mechanistic Circuit을 위한 안정성 보장","authors":"Alaa Anani, Tobias Lorenz, Bernt Schiele, Mario Fritz, Jonas Fischer","pos":"#3407","link":"https://openreview.net/forum?id=IU0c9sP5b5","abs":"Understanding how neural networks arrive at their predictions is essential for debugging, auditing, and deployment. Mechanistic interpretability pursues this goal by identifying circuits—minimal subnetworks responsible for specific behaviors. However, existing circuit discovery methods are brittle: circuits depend strongly on the chosen concept dataset and often fail to transfer out-of-distribution, raising doubts whether they capture concept or dataset-specific artifacts. We introduce Certified Circuits, which provide provable stability guarantees for circuit discovery. Our framework wraps any black-box discovery algorithm with randomized data subsampling to certify that circuit component inclusion decisions are invariant to bounded edit-distance perturbations of the concept dataset. Unstable neurons are abstained from, yielding circuits that are more compact and more accurate. On ImageNet and OOD datasets, certified circuits achieve up to 91\\% higher accuracy while using 45\\% fewer neurons, and remain reliable where baselines degrade. Certified Circuits puts circuit discovery on formal ground by producing mechanistic explanations that are provably stable and better aligned with the target concept. Code released upon publication.
","absKo":"신경망이 어떻게 예측에 도달하는지를 이해하는 것은 디버깅, 감사, 배포에 필수적이다. Mechanistic interpretability는 특정 행동을 담당하는 최소 서브네트워크인 circuits를 식별함으로써 이 목표를 추구한다. 그러나 기존 circuit discovery 방법은 취약하다: circuits는 선택한 concept dataset에 강하게 의존하며, out-of-distribution으로 옮겨가면 종종 전이되지 않아, concept를 포착하는지 아니면 dataset-specific artifact를 포착하는지에 대한 의문을 낳는다. 우리는 circuit discovery에 대한 안정성 보장을 증명 가능한 형태로 제공하는 Certified Circuits를 제안한다. 우리의 프레임워크는 임의의 black-box discovery algorithm을 randomized data subsampling과 결합하여, circuit component inclusion 결정이 concept dataset에 대한 bounded edit-distance perturbation에 대해 불변임을 인증한다. 불안정한 neuron은 제외되며, 그 결과 더 compact하고 더 정확한 circuits가 만들어진다. ImageNet과 OOD datasets에서 certified circuits는 최대 91\\% 더 높은 accuracy를 달성하면서 45\\% 더 적은 neuron을 사용했으며, baseline이 성능이 저하되는 곳에서도 신뢰성을 유지했다. Certified Circuits는 증명적으로 안정적이고 target concept에 더 잘 정렬된 mechanistic explanation을 생성함으로써 circuit discovery를 형식적 기반 위에 올려놓는다. 코드는 논문 출판 시 공개된다.
"},{"id":"64972","en":"Do Natural Language Interpretability Methods Convey Privileged Information?","ko":"자연어 해석 가능성 방법은 특권적 정보를 전달하는가?","authors":"Millicent Li, Alberto Mario Ceballos Arroyo, Giordano Rogers, Naomi Saphra, Byron Wallace","pos":"#3408","link":"https://openreview.net/forum?id=IFGTKwHwK6","abs":"Recent interpretability methods have proposed to translate LLM internal representations into natural language descriptions using a second verbalizer LLM. This is intended to illuminate how the target model represents and operates on inputs. But do such activation verbalization approaches actually provide privileged knowledge about the internal workings of the target model, or do they merely convey information about its inputs? We critically evaluate popular verbalization methods across datasets used in prior work and find that they can succeed at benchmarks without any access to target model internals, suggesting that these datasets may not be ideal for evaluating verbalization methods. We then run controlled experiments which reveal that verbalizations often reflect the parametric knowledge of the verbalizer LLM which generated them, rather than the knowledge of the target LLM whose activations are decoded. Taken together, our results indicate a need for targeted benchmarks and experimental controls to rigorously assess whether verbalization methods provide meaningful insights into the operations of LLMs.
","absKo":"최근의 해석가능성 방법들은 두 번째 verbalizer LLM을 사용해 LLM의 내부 표현을 자연어 설명으로 변환하는 방식을 제안해 왔다. 이는 대상 모델이 입력을 어떻게 표현하고 처리하는지 밝히기 위한 것이다. 그러나 이러한 activation verbalization 접근법이 실제로 대상 모델의 내부 작동에 대한 특권적 지식을 제공하는가, 아니면 단지 입력에 관한 정보만 전달하는가? 우리는 선행 연구에서 사용된 데이터셋 전반에 걸쳐 널리 쓰이는 verbalization 방법들을 비판적으로 평가한 결과, 대상 모델의 내부에 전혀 접근하지 않고도 벤치마크를 성공적으로 통과할 수 있음을 확인했다. 이는 이러한 데이터셋이 verbalization 방법 평가에 적합하지 않을 수 있음을 시사한다. 이어서 통제된 실험을 수행한 결과, verbalization은 종종 디코딩되는 대상 LLM의 지식이 아니라, 그것을 생성한 verbalizer LLM의 parametric knowledge를 반영한다는 사실을 드러냈다. 종합하면, 우리의 결과는 verbalization 방법이 LLM의 작동에 대한 의미 있는 통찰을 제공하는지 엄격하게 평가하기 위해서는 표적화된 벤치마크와 실험 통제가 필요함을 보여준다.
"},{"id":"66250","en":"Domain Restriction via SAE Multi-Layer Transitions","ko":"SAE 다층 전이를 통한 도메인 제한","authors":"Elias Shaheen, Avi Mendelson","pos":"#3409","link":"https://openreview.net/forum?id=5Qpy3uTD05","abs":"The general-purpose nature of Large Language Models (LLMs) presents a significant challenge for domain-specific applications, often leading to out-of-domain (OOD) interactions that undermine the provider's intent. Existing methods for detecting such scenarios treat the LLM as an uninterpretable black box and overlook the internal processing of inputs. In this work we show that layer transitions provide a promising avenue for extracting domain-specific signature. Specifically, we present several lightweight ways of learning on internal dynamics encoded using a sparse autoencoder (SAE) that exhibit great capability in distinguishing OOD texts. Building on top of SAEs representation transitions enables us to better interpret the LLM internal evolution of input processing and shed light on its decisions. We provide a comprehensive analysis of the method and benchmark it with the gemma-2 2B and 9B models. Our results emphasize the efficacy of the internal process in capturing fine-grained input-related details.
","absKo":"Large Language Models(LLMs)의 범용성은 도메인 특화 응용에서 중요한 도전 과제를 야기하며, 종종 provider의 의도를 훼손하는 out-of-domain(OOD) 상호작용으로 이어진다. 이러한 상황을 탐지하는 기존 방법들은 LLM을 해석 불가능한 black box로 다루며 입력의 내부 처리를 간과한다. 본 연구에서는 layer transition이 도메인 특화 signature를 추출하는 유망한 경로를 제공함을 보인다. 구체적으로, sparse autoencoder(SAE)로 인코딩된 내부 dynamics에 대해 학습하는 여러 경량 방법을 제시하며, 이는 OOD text를 구분하는 데 뛰어난 능력을 보인다. SAE representation transition을 기반으로 함으로써, 우리는 입력 처리에 대한 LLM의 내부 진화를 더 잘 해석하고 그 결정을 설명할 수 있다. 또한 이 방법에 대한 포괄적 분석을 제공하고 gemma-2 2B 및 9B 모델로 benchmark한다. 우리의 결과는 내부 process가 입력과 관련된 세밀한 세부 정보를 포착하는 데 효과적임을 강조한다.
"},{"id":"64907","en":"Dual Mechanisms of Value Expression: Intrinsic vs. Prompted Values in Large Language Models","ko":"가치 표현의 이중 메커니즘: 대규모 언어 모델에서의 내재적 가치 대 유도된 가치","authors":"Jongwook Han, Jongwon Lim, Injin Kong, Yohan Jo","pos":"#3410","link":"https://openreview.net/forum?id=IjLOXSP41n","abs":"Large language models can express values in two main ways: (1) $\\textit{intrinsic}$ expression, reflecting the model's inherent values learned during training, and (2) $\\textit{prompted}$ expression, elicited by explicit prompts. Given their widespread use in value alignment, it is paramount to clearly understand their underlying mechanisms, particularly whether they mostly overlap (as one might expect) or rely on distinct mechanisms, but this remains largely understudied. We analyze this at the mechanistic level using two approaches: (1) $\\textit{value vectors}$, feature directions representing value mechanisms extracted from the residual stream, and (2) $\\textit{value neurons}$, MLP neurons that contribute to value vectors. We demonstrate that intrinsic and prompted value mechanisms partly share common components crucial for inducing value expression, generalizing across languages and reconstructing theoretical inter-value correlations in the model's internal representations. Yet, as these mechanisms also possess unique elements that fulfill distinct roles, they lead to different degrees of response diversity ($\\textit{intrinsic}$ $>$ $\\textit{prompted}$) and value steerability ($\\textit{prompted}$ $>$ $\\textit{intrinsic}$). In particular, components unique to the intrinsic mechanism promote lexical diversity in responses, whereas those specific to the prompted mechanism strengthen instruction following, taking effect even in distant tasks like jailbreaking.","absKo":"대규모 언어 모델은 가치를 두 가지 주요 방식으로 표현할 수 있다: (1) 학습 중에 모델이 습득한 고유한 가치를 반영하는 $\\textit{intrinsic}$ 표현, 그리고 (2) 명시적 프롬프트에 의해 유도되는 $\\textit{prompted}$ 표현이다. 가치 정렬(value alignment)에서 이들이 널리 사용된다는 점을 고려하면, 그 근본 메커니즘을 명확히 이해하는 것은 매우 중요하며, 특히 이들이 대부분 겹치는지(그럴 것처럼 보이듯) 아니면 서로 다른 메커니즘에 의존하는지가 핵심이지만, 이는 아직 충분히 연구되지 않았다. 우리는 두 가지 접근을 사용해 이를 mechanistic level에서 분석한다: (1) residual stream에서 추출한 가치 메커니즘을 나타내는 feature direction인 $\\textit{value vectors}$, 그리고 (2) value vectors에 기여하는 MLP neuron인 $\\textit{value neurons}$. 우리는 intrinsic 및 prompted 가치 메커니즘이 가치 표현을 유도하는 데 중요한 일부 공통 구성요소를 공유하며, 언어를 가로질러 일반화되고 모델 내부 표현에서 이론적인 inter-value correlation을 재구성함을 보인다. 그러나 이 메커니즘들이 서로 다른 역할을 수행하는 고유한 요소들도 갖고 있기 때문에, 서로 다른 정도의 응답 다양성($\\textit{intrinsic}$ $>$ $\\textit{prompted}$)과 가치 steerability($\\textit{prompted}$ $>$ $\\textit{intrinsic}$)를 초래한다. 특히 intrinsic 메커니즘에만 고유한 구성요소는 응답의 어휘적 다양성을 촉진하는 반면, prompted 메커니즘에 특화된 구성요소는 지시 따르기를 강화하며, jailbreaking처럼 멀리 떨어진 과제에서도 그 효과를 발휘한다."},{"id":"61222","en":"Evaluating and Steering Modality Preferences in Multi-modal LLMs","ko":"Multi-modal LLM의 Modality Preference 평가 및 조정","authors":"Yu Zhang, Jinlong Ma, Yongshuai Hou, Xuefeng Bai, Kehai Chen, Yang Xiang, Jun Yu, Min zhang","pos":"#3411","link":"https://openreview.net/forum?id=sWW6lvti8X","abs":"Multi-modal large language models (MLLMs) have achieved remarkable success on complex multi-modal tasks. However, it remains insufficiently explored whether they exhibit \\textit{modality preference}, a tendency to favor one modality over another when processing multi-modal contexts. To study this question, we introduce $\\textbf{MC}^2$ benchmark, which constructs controlled evidence-conflict scenarios to systematically evaluate modality preference in decision-making. Extensive experiments reveal that all 20 tested MLLMs generally demonstrate clear modality preferences, and such preferences can serve as a useful indicator of downstream task performance of MLLMs. Further analysis shows that modality preference can be controlled by instruction guidance and captured within the latent representations of MLLMs. Built on these insights, we propose a probing and steering method based on representation engineering to explicitly control modality preference without requiring additional fine-tuning. This method effectively amplifies modality preference toward a desired direction and demonstrates promising improvements across multiple multi-modal understanding and reasoning tasks.","absKo":"Multi-modal large language models (MLLMs)는 복잡한 multi-modal task에서 눈에 띄는 성과를 달성했다. 그러나 이들이 \\textit{modality preference}, 즉 multi-modal context를 처리할 때 한 modality를 다른 modality보다 선호하는 경향을 보이는지는 아직 충분히 탐구되지 않았다. 이 질문을 연구하기 위해, 우리는 제어된 evidence-conflict 시나리오를 구성하여 의사결정에서의 modality preference를 체계적으로 평가하는 $\\textbf{MC}^2$ benchmark를 도입한다. 대규모 실험은 테스트한 20개의 MLLM 모두가 전반적으로 분명한 modality preference를 보이며, 이러한 preference가 MLLM의 downstream task 성능을 유용하게 가리키는 지표가 될 수 있음을 보여준다. 추가 분석은 modality preference가 instruction guidance에 의해 제어될 수 있고 MLLM의 latent representation 안에 포착된다는 사실을 보여준다. 이러한 통찰을 바탕으로, 우리는 추가 fine-tuning 없이 representation engineering에 기반해 modality preference를 명시적으로 제어하는 probing 및 steering 방법을 제안한다. 이 방법은 원하는 방향으로 modality preference를 효과적으로 증폭시키며, 여러 multi-modal understanding 및 reasoning task 전반에서 유망한 성능 향상을 보인다."},{"id":"62388","en":"Hidden in Plain Tokens: Simply Robust, Gradient-Free Watermark for Synthetic Audio","ko":"명백한 토큰에 숨어 있음: 합성 오디오용 Gradient-Free Watermark, 단순히 강건함","authors":"Georgios Milis, Yubin Qin, Yihan Wu, Heng Huang","pos":"#3412","link":"https://openreview.net/forum?id=h4bSJMaNgb","abs":"As policy catches up with the capabilities of generative AI, watermarking is central to content provenance efforts. Inference-time watermarks for autoregressive models are unfit for continuous modalities due to discretization inconsistencies. Existing methods overcome this by finetuning the modality tokenizers, nullifying the watermark's training-free advantage. In this work, motivated by the vocabulary redundancy of discretization, we propose an elegant solution for powerful and robust watermarking of synthetic audio. We theoretically analyze the impact of token errors on watermark detection, and effectively mitigate them using a reduced vocabulary obtained via community detection. Thorough experiments showcase that our gradient-free method can boost detectability by several orders of magnitude, while also achieving built-in robustness to audio modifications. Broadly, we discover a new state-of-the-art for token-level watermarks in multimedia, which simply arises from the nature of discrete representation learning.
","absKo":"정책이 generative AI의 역량을 따라잡아 가면서, watermarking은 content provenance 노력의 핵심이 되고 있다. autoregressive model을 위한 inference-time watermark는 discretization inconsistency 때문에 continuous modality에 적합하지 않다. 기존 방법들은 modality tokenizer를 finetuning하여 이를 극복하지만, 이로 인해 watermark의 training-free라는 장점이 사라진다. 본 연구에서는 discretization의 vocabulary redundancy에 착안하여, synthetic audio에 대한 강력하고 robust한 watermarking을 위한 우아한 해법을 제안한다. 우리는 token error가 watermark detection에 미치는 영향을 이론적으로 분석하고, community detection으로 얻은 reduced vocabulary를 사용해 이를 효과적으로 완화한다. 철저한 실험 결과, 우리의 gradient-free method는 detectability를 여러 자릿수에 걸쳐 향상시킬 수 있으며, 동시에 audio modification에 대한 built-in robustness도 달성함을 보여준다. 보다 넓게 보면, 우리는 멀티미디어에서 token-level watermark의 새로운 state-of-the-art를 발견했으며, 이는 단지 discrete representation learning의 본성에서 비롯된다.
"},{"id":"60779","en":"Interpreting and Enhancing Emotional Circuits in Large Vision-Language Models via Cross-Modal Information Flow","ko":"Cross-Modal Information Flow를 통한 Large Vision-Language Model의 감정 회로 해석 및 향상","authors":"Chengsheng Zhang, Chenghao Sun, Zhining Xie, Xinmei Tian","pos":"#3414","link":"https://openreview.net/forum?id=wnKgWnx8mH","abs":"Large Vision-Language Models (LVLMs) represent a significant leap towards empathetic agents, demonstrating remarkable capabilities in emotion understanding. However, the internal mechanisms governing how LVLMs translate abstract visual stimuli into coherent emotional narratives remain largely unexplored, primarily due to the scarcity of visual counterfactuals and the diffuse nature of emotional expression. In this paper, we bridge this gap by introducing a steering-vector-based causal attribution framework tailored for descriptive emotional reasoning. To this end, we construct a specialized dataset to demystify the emotional circuits underlying the three-stage '' Adapt-Aggregate-Execute'' mechanism. Crucially, we discover a functional decoupling: visual emotional cues are aggregated in middle layers via $\\textit{sentiment-specific}$ attention heads, but are subsequently translated into narrative generation in deep layers through $\\textit{emotion-general}$ pathways. Guided by these insights, we regulate the emotional information routing to strengthen attention flow and amplify the semantic activation to consolidate expression. Extensive experiments on the comprehensive MER-UniBench demonstrate that our methods significantly improve performance via inference-time intervention, effectively mitigating emotional hallucinations and corroborating the causal fidelity of the discovered circuits.","absKo":"Large Vision-Language Models(LVLMs)는 공감적 agent를 향한 중요한 도약을 나타내며, emotion understanding에서 놀라운 능력을 보여준다. 그러나 LVLM이 추상적인 visual stimulus를 일관된 emotional narrative로 변환하는 내부 메커니즘은, 주로 visual counterfactual의 부족과 감정 표현의 확산된 특성 때문에 여전히 충분히 탐구되지 않았다. 본 논문에서는 서술적 emotional reasoning에 특화된 steering-vector 기반 causal attribution framework를 도입하여 이러한 간극을 메운다. 이를 위해 우리는 3단계 ''Adapt-Aggregate-Execute'' 메커니즘 아래의 emotional circuit을 해명하기 위한 특화된 dataset을 구성한다. 핵심적으로, 우리는 functional decoupling을 발견한다: visual emotional cue는 middle layer에서 $\\textit{sentiment-specific}$ attention head를 통해 집약되지만, 이후 deep layer에서는 $\\textit{emotion-general}$ pathway를 통해 narrative generation으로 변환된다. 이러한 통찰에 따라 우리는 emotional information routing을 조절하여 attention flow를 강화하고 semantic activation을 증폭시켜 표현을 공고히 한다. 포괄적인 MER-UniBench에서의 광범위한 실험은, 우리의 방법이 inference-time intervention을 통해 성능을 유의미하게 향상시키고, emotional hallucination을 효과적으로 완화하며, 발견된 circuit의 causal fidelity를 뒷받침함을 보여준다."},{"id":"64760","en":"Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning","ko":"Transformer Attention 출력에서의 차원 붕괴: Sparse Dictionary Learning을 위한 과제","authors":"Junxuan Wang, Xuyang Ge, Wentao Shu, Zhengfu He, Xipeng Qiu","pos":"#3909","link":"https://openreview.net/forum?id=K9rWNmHhkD","abs":"Transformer architectures, and their attention mechanisms in particular, form the foundation of modern large language models. While transformer models are widely believed to operate in high-dimensional hidden spaces, we show that attention outputs are confined to a surprisingly low-dimensional subspace, with an effective dimensionality of only about 60\\% of the full space---a phenomenon that is consistently observed across diverse model families and datasets, and is strongly influenced by the attention output projection matrix. Critically, we find this low-rank structure as a key factor of the prevalent dead feature problem in sparse dictionary learning, where it creates a mismatch between randomly initialized features and the intrinsic geometry of the activation space. Building on this insight, we propose a subspace-constrained training method for sparse autoencoders (SAEs), initializing feature directions into the active subspace of activations. Our approach reduces dead features from 87\\% to below 1\\% in Attention Output SAEs with 1M features, and can further extend to other sparse dictionary learning methods. Our findings provide both new insights into the geometry of attention and practical tools for improving sparse dictionary learning in large language models. Code is available at \\url{https://anonymous.4open.science/r/Language-Model-SAEs-C015}.
","absKo":"Transformer architecture, 특히 그 attention mechanism은 현대 large language model의 기반을 이룬다. Transformer model이 일반적으로 고차원 hidden space에서 동작한다고 여겨지지만, 우리는 attention output이 놀라울 정도로 저차원 subspace에 제한되며, 실제 유효 차원은 전체 공간의 약 60\\%에 불과하다는 것을 보인다. 이 현상은 다양한 model family와 dataset 전반에서 일관되게 관찰되며, attention output projection matrix의 영향을 크게 받는다. 결정적으로, 우리는 이 저-rank 구조가 sparse dictionary learning에서 널리 나타나는 dead feature 문제의 핵심 요인임을 발견한다. 이는 무작위로 초기화된 feature와 activation space의 내재적 기하 구조 사이에 불일치를 만들어낸다. 이러한 통찰을 바탕으로, 우리는 feature direction을 activation의 active subspace에 초기화하는 sparse autoencoder(SAE)를 위한 subspace-constrained training method를 제안한다. 우리의 방법은 1M feature를 사용하는 Attention Output SAE에서 dead feature를 87\\%에서 1\\% 미만으로 줄이며, 더 나아가 다른 sparse dictionary learning method로도 확장될 수 있다. 우리의 결과는 attention의 기하에 대한 새로운 통찰과 함께, large language model에서 sparse dictionary learning을 개선하기 위한 실용적 도구를 제공한다. 코드는 \\url{https://anonymous.4open.science/r/Language-Model-SAEs-C015}에서 확인할 수 있다.
"},{"id":"64071","en":"MoCo-EA: Exploiting Adversarial Mode Connectivity for Efficient Evolutionary Attacks","ko":"MoCo-EA: 효율적 진화적 공격을 위한 적대적 모드 연결성 활용","authors":"Hyo Seo Kim, Gang Luo, Can Chen, Binghui Wang, Yue Duan, Ren Wang","pos":"#1608","link":"https://openreview.net/forum?id=RB4V5TkIOz","abs":"Evolutionary algorithms for adversarial attacks leverage population-based search to discover perturbations without gradient information, but suffer from inefficient crossover operations that destroy adversarial properties through discrete interpolation. We introduce Mode Connectivity Evolutionary Attack (MoCo-EA), which replaces traditional crossover with a novel Bézier crossover operator that optimizes perturbations along a continuous Bézier curve between parent perturbations. Our key insight is that adversarial examples lie on connected manifolds where intermediate points maintain, and often enhance attack effectiveness. We demonstrate three findings: (1) Successful adversarial perturbations exhibit mode connectivity; (2) Intermediate points along optimized paths achieve higher transferability than endpoints; (3) Bézier crossover dramatically outperforms discrete genetic operations while reducing convergence time and query requirements. By exploiting the geometric structure of adversarial space through path optimization, MoCo-EA provides an efficient and reliable method. Our work challenges the traditional view of adversarial examples as isolated points and opens new directions for both attack generation and defense research.
","absKo":"적대적 공격을 위한 evolutionary algorithm은 population-based search를 활용하여 gradient 정보 없이 perturbation을 찾아내지만, discrete interpolation을 통해 적대적 성질을 파괴하는 비효율적인 crossover operation으로 인해 성능이 떨어진다. 우리는 전통적인 crossover를 새로운 Bézier crossover operator로 대체하는 Mode Connectivity Evolutionary Attack(MoCo-EA)을 제안한다. 이 연산자는 parent perturbation 사이의 연속적인 Bézier curve를 따라 perturbation을 최적화한다. 우리의 핵심 통찰은 적대적 예시가 중간 지점이 공격 효과를 유지하고 종종 강화하는 연결된 manifold 위에 존재한다는 것이다. 우리는 세 가지 사실을 보인다. (1) 성공적인 적대적 perturbation은 mode connectivity를 보인다. (2) 최적화된 경로를 따라 있는 중간 지점은 endpoints보다 더 높은 transferability를 달성한다. (3) Bézier crossover는 discrete genetic operation보다 훨씬 뛰어나며, 수렴 시간과 query 요구량을 줄인다. 경로 최적화를 통해 적대적 공간의 기하학적 구조를 활용함으로써, MoCo-EA는 효율적이고 신뢰할 수 있는 방법을 제공한다. 우리의 연구는 적대적 예시를 고립된 점으로 보는 전통적 관점에 도전하며, 공격 생성과 방어 연구 모두에 새로운 방향을 제시한다."},{"id":"63802","en":"Towards Disentangled Preference Optimization Dynamics","ko":"분리된 preference optimization dynamics를 향하여","authors":"Wei Chen, Yubing Wu, Junmei Yang, Delu Zeng, Qibin Zhao, John Paisley, Min Chen, Zhou Wang","pos":"#207","link":"https://openreview.net/forum?id=TaNH4XiQ6P","abs":"Preference optimization is widely used to align large language models (LLMs) with human preferences, yet many margin-based objectives often suppress the chosen response together with the rejected one, and no general mechanism exists to prevent this across objectives. We bridge this gap by presenting a unified \\textbf{incentive-score decomposition} of preference optimization, revealing that diverse objectives share identical local update directions and differ only in their scalar weighting coefficients. Building on this decomposition, by analyzing the dynamics of the rewards of chosen/rejected responses, we identify the \\textbf{disentanglement band (DB)}, a simple, testable condition that characterizes when training can realize the ideal pathway: suppressing the loser while maintaining the winner, possibly after an initial transient. Leveraging the DB, we propose a plug-and-play \\textbf{reward calibration (RC)} that adaptively rebalances chosen versus rejected updates to satisfy the DB, without redesigning the base objective. Empirical results confirm that this calibration effectively disentangles updates and improves alignment performance across diverse objectives.
","absKo":"Preference optimization은 large language models (LLMs)을 인간 선호에 맞추는 데 널리 사용되지만, 많은 margin-based objective는 선택된 응답과 거부된 응답을 함께 억제하는 경향이 있으며, 이러한 현상을 모든 objective에 걸쳐 방지할 수 있는 일반적인 메커니즘은 존재하지 않는다. 우리는 preference optimization에 대한 통합된 \\textbf{incentive-score decomposition}을 제시하여 이 간극을 메우고, 다양한 objective가 동일한 local update direction을 공유하며 scalar weighting coefficient만 다르다는 점을 밝힌다. 이 decomposition을 바탕으로 선택/거부 응답의 reward dynamics를 분석하여, 학습이 이상적인 경로를 실현할 수 있는 조건을 규정하는 \\textbf{disentanglement band (DB)}를 도출한다. 즉, 초기의 transient 이후에도 승자를 유지하면서 패자를 억제하는 경로가 가능하다는 것이다. DB를 활용하여, base objective를 재설계하지 않고도 chosen과 rejected update의 균형을 적응적으로 재조정하여 DB를 만족시키는 plug-and-play \\textbf{reward calibration (RC)}을 제안한다. 실험 결과는 이러한 calibration이 update를 효과적으로 disentangle하고 다양한 objective에서 alignment 성능을 향상시킴을 확인한다.
"},{"id":"66107","en":"VALUEFLOW: Toward Pluralistic and Steerable Value-based Alignment in Large Language Models","ko":"VALUEFLOW: 대형 언어 모델에서 다원적이고 조종 가능한 가치 기반 정렬을 향하여","authors":"Woojin Kim, Sieun Hyeon, Jusang Oh, Jaeyoung Do","pos":"#3110","link":"https://openreview.net/forum?id=6zVV84vnCJ","abs":"Aligning Large Language Models (LLMs) with the diverse spectrum of human values remains a central challenge: preference-based methods often fail to capture deeper motivational principles. Value-based approaches offer a more principled path, yet three gaps persist– extraction often ignores hierarchical structure, evaluation detects presence but not calibrated intensity, and therefore, the steerability of LLMs at controlled intensities remains insufficiently understood. To address these limitations, we introduce VALUEFLOW, the first unified framework that spans extraction, evaluation, and steering with calibrated intensity control. The framework integrates three components: (i) HIVES, a hierarchical value embedding space that captures intra- and crosstheory value structure; (ii) the Value Intensity DataBase (VIDB), a large-scale resource of valuelabeled texts with intensity estimates derived from ranking-based aggregation; and (iii) an anchorbased evaluator that produces consistent intensity scores for model outputs by ranking them against VIDB panels. Using VALUEFLOW, we conduct a comprehensive large-scale study across ten models and four value theories, identifying asymmetries in steerability and composition laws for multi-value control. This paper establishes a scalable infrastructure for evaluating and controlling value intensity, advancing pluralistic alignment of LLMs.
","absKo":"다양한 인간 가치 스펙트럼에 맞게 Large Language Model(LLM)을 정렬하는 일은 여전히 핵심 과제이다. preference-based method는 더 깊은 동기적 원리를 포착하지 못하는 경우가 많다. value-based approach는 더 원칙적인 경로를 제공하지만, 여전히 세 가지 공백이 남아 있다. 추출은 종종 hierarchical structure를 무시하고, 평가는 존재 여부는 감지하지만 calibrated intensity는 포착하지 못하며, 따라서 controlled intensity에서 LLM의 steerability는 아직 충분히 이해되지 않았다. 이러한 한계를 해결하기 위해, 우리는 calibrated intensity control을 갖춘 extraction, evaluation, steering을 아우르는 최초의 통합 framework인 VALUEFLOW을 제안한다. 이 framework는 세 가지 구성 요소로 이루어진다: (i) HIVES, intra- 및 cross-theory value structure를 포착하는 hierarchical value embedding space; (ii) ranking-based aggregation으로부터 얻은 intensity estimate를 포함하는 value-labeled text의 대규모 자원인 Value Intensity DataBase(VIDB); (iii) VIDB panel과 비교하여 output을 ranking함으로써 model output에 대해 일관된 intensity score를 생성하는 anchor-based evaluator. VALUEFLOW을 사용해, 우리는 10개 model과 4개 value theory 전반에 걸친 대규모 종합 연구를 수행하여 steerability의 비대칭성과 multi-value control을 위한 composition law를 식별한다. 본 논문은 value intensity를 평가하고 제어하기 위한 확장 가능한 인프라를 확립함으로써, LLM의 pluralistic alignment를 진전시킨다.
"},{"id":"66071","en":"Transitivity Meets Cyclicity: Explicit Preference Decomposition for Dynamic Large Language Model Alignment","ko":"이행성과 순환성의 만남: 동적 대형 언어 모델 정렬을 위한 명시적 선호 분해","authors":"Yucong Huang, Xiucheng Li, Kaiqi Zhao, Jing Li","pos":"#3111","link":"https://openreview.net/forum?id=7H9HRTWady","abs":"Standard RLHF relies on transitive scalar rewards, failing to capture the cyclic nature of human preferences. While some approaches like the General Preference Model (GPM) address this, we identify a theoretical limitation: their implicit formulation entangles hierarchy with cyclicity, failing to guarantee dominant solutions. To address this, we propose the Hybrid Reward-Cyclic (HRC) model, which utilizes game-theoretic decomposition to explicitly disentangle preferences into orthogonal transitive (scalar) and cyclic (vector) components. Complementing this, we introduce Dynamic Self-Play Preference Optimization (DSPPO), which treats alignment as a time-varying game to progressively guide the policy toward the Nash equilibrium. Experiments on RewardBench 2 demonstrate that HRC consistently improves over both BT and GPM baselines (e.g., +1.23\\% on Gemma-2B). In particular, its superior performance in the \\textit{Ties} domain empirically validates the model's robustness in handling complex, non-strict preferences. Furthermore, extensive evaluations on downstream generation tasks (AlpacaEval 2.0 and MT-Bench) confirm the efficacy of our framework. Notably, on Gemma-2B-it, HRC+DSPPO achieves a peak length-controlled win-rate of 44.75\\% against GPT-4-Turbo on AlpacaEval 2.0 (evaluated by GPT-4o-mini), significantly outperforming standard SPPO baselines trained with BT or GPM.
","absKo":"표준 RLHF는 인간 선호의 순환적(cyclic) 특성을 포착하지 못하는 transitive scalar reward에 의존한다. General Preference Model (GPM) 같은 일부 접근법이 이를 다루지만, 우리는 그 이론적 한계를 확인했다. 즉, 그들의 암묵적 정식화는 hierarchy와 cyclicity를 얽어 놓아 dominant solution을 보장하지 못한다. 이를 해결하기 위해, 우리는 게임 이론적 분해를 활용하여 선호를 서로 직교하는 transitive(scalar) 및 cyclic(vector) 성분으로 명시적으로 분리하는 Hybrid Reward-Cyclic (HRC) 모델을 제안한다. 이에 더해, 정렬(alignment)을 시간에 따라 변하는 게임으로 다루어 정책이 Nash equilibrium으로 점진적으로 수렴하도록 유도하는 Dynamic Self-Play Preference Optimization (DSPPO)을 도입한다. RewardBench 2에서의 실험은 HRC가 BT와 GPM baseline 모두보다 일관되게 우수함을 보여준다(예: Gemma-2B에서 +1.23\\%). 특히 \\textit{Ties} 도메인에서의 우수한 성능은 복잡하고 엄격하지 않은(preferences가 strict하지 않은) 선호를 다루는 데 있어 모델의 강건성을 실증적으로 뒷받침한다. 나아가, downstream generation task(AlpacaEval 2.0 및 MT-Bench)에 대한 광범위한 평가는 우리의 framework의 효용을 확인한다. 특히 Gemma-2B-it에서 HRC+DSPPO는 AlpacaEval 2.0에서 GPT-4o-mini로 평가 시 GPT-4-Turbo에 대해 length-controlled win-rate 44.75\\%의 최고치를 달성하여, BT 또는 GPM으로 학습된 표준 SPPO baseline을 크게 능가한다.
"},{"id":"62316","en":"Toward Culturally Aligned LLMs through Ontology-Guided Multi-Agent Reasoning","ko":"온톨로지 기반 다중 에이전트 추론을 통한 문화 정렬 LLM 구축","authors":"Wonduk Seo, Wonseok Choi, Junseo Koh, Juhyeon Lee, Hyunjin An, Minhyeong Yu, Jian Park, Qingshan Zhou, Seunghyun lee, Yi Bu","pos":"#3112","link":"https://openreview.net/forum?id=hhpU1JMhKR","abs":"Large Language Models (LLMs) increasingly support culturally sensitive decision making, yet often exhibit misalignment due to skewed pretraining data and the absence of structured value representations. Existing methods can steer outputs, but often lack demographic grounding and treat values as independent, unstructured signals, reducing consistency and interpretability. We propose OG-MAR, an Ontology-Guided Multi-Agent Reasoning framework. OG-MAR summarizes respondent-specific values from the World Values Survey (WVS) and constructs a global cultural ontology by eliciting relations over a fixed taxonomy via competency questions. At inference time, it retrieves ontology-consistent relations and demographically similar profiles to instantiate multiple value-persona agents, whose outputs are synthesized by a judgment agent that enforces ontology consistency and demographic proximity. Experiments on regional social-survey benchmarks across four LLM backbones show that OG-MAR improves cultural alignment and robustness over competitive baselines, while producing more transparent reasoning traces.
","absKo":"Large Language Models (LLMs)는 점점 더 문화적으로 민감한 의사결정을 지원하고 있지만, 왜곡된 pretraining data와 구조화된 value representation의 부재로 인해 종종 misalignment를 보인다. 기존 방법들은 출력을 조정할 수는 있지만, demography에 대한 grounding이 부족하고 value를 독립적이며 비구조화된 신호로 취급하는 경우가 많아 일관성과 해석 가능성이 떨어진다. 우리는 Ontology-Guided Multi-Agent Reasoning framework인 OG-MAR를 제안한다. OG-MAR는 World Values Survey (WVS)에서 응답자별 가치를 요약하고, competency question을 통해 고정된 taxonomy 위의 relation을 도출하여 global cultural ontology를 구축한다. inference 시에는 ontology와 일관된 relation과 demographically similar profile을 검색해 여러 value-persona agent를 구성하고, 이들의 출력을 ontology consistency와 demographic proximity를 강제하는 judgment agent가 종합한다. 네 개의 LLM backbone에 걸친 regional social-survey benchmark 실험에서, OG-MAR는 경쟁력 있는 baseline보다 cultural alignment와 robustness를 향상시키는 동시에, 더 투명한 reasoning trace를 생성함을 보인다.
"},{"id":"60573","en":"The Realignment Problem: When Right becomes Wrong in LLMs","ko":"재정렬 문제: LLM에서 맞는 것이 틀려질 때","authors":"Aakash Sen Sharma, Debdeep Sanyal, Manodeep Ray, Vivek Srivastava, Shirish Karande, Murari Mandal","pos":"#3113","link":"https://openreview.net/forum?id=yt6vQ8gbGm","abs":"Post-training alignment of large language models (LLMs) relies on large-scale human annotations guided by policy specifications that change over time. Cultural shifts, value reinterpretations, and regulatory or industrial updates make static alignment increasingly brittle. As policies evolve, deployed models can diverge from current alignment objectives, creating an Alignment–Reality Gap that is difficult to audit or correct. Existing remediation typically requires re-annotation under revised guidelines, which introduces systematic challenges, including guideline ambiguity, annotator interpretation drift, and reduced consistency at scale. We introduce TRACE (Triage and Re-align by Alignment Conflict Evaluation), a framework that transforms re-alignment into a structured optimization problem over existing data without requiring fresh human annotation. Leveraging a stronger model as a proxy judge, TRACE operates via a three-stage pipeline: (1) triaging preference pairs into inversion, suppression, or retention categories based on alignment conflicts; (2) computing an alignment impact score via bi-level optimization to prioritize high-leverage samples; and (3) executing updates using a hybrid objective that combines relational losses (e.g., IPO) for preference inversion and punitive losses (e.g., NPO) for response suppression. Experiments on Qwen2.5-7B, Gemma-2-9B, and Llama-3.1-8B demonstrate robust re-alignment on synthetic benchmarks and the PKU-SafeRLHF dataset without degrading general utility. This work provides a scalable approach for LLM realignment under evolving data annotation policies and alignment guidelines.
","absKo":"대규모 언어 모델(LLM)의 post-training alignment는 시간이 지남에 따라 변하는 policy specification에 의해 유도되는 대규모 human annotation에 의존한다. 문화적 변화, 가치 해석의 재조정, 그리고 규제나 산업의 업데이트는 고정된 alignment를 점점 더 취약하게 만든다. policy가 진화함에 따라, 배포된 모델은 현재의 alignment 목표에서 벗어날 수 있으며, 이로 인해 audit하거나 수정하기 어려운 Alignment–Reality Gap이 생긴다. 기존의 remediation은 일반적으로 수정된 guideline에 따라 재주석을 요구하는데, 이는 guideline의 모호성, annotator 해석의 drift, 그리고 대규모에서의 일관성 저하를 포함한 체계적 문제를 유발한다. 우리는 기존 데이터에 대한 새로운 human annotation 없이 re-alignment를 구조화된 optimization problem으로 바꾸는 framework인 TRACE(Triage and Re-align by Alignment Conflict Evaluation)를 소개한다. 더 강력한 모델을 proxy judge로 활용하는 TRACE는 세 단계 pipeline으로 동작한다. (1) alignment conflict를 바탕으로 preference pair를 inversion, suppression, retention 범주로 triage하고, (2) bi-level optimization을 통해 alignment impact score를 계산하여 영향력이 큰 sample을 우선순위화하며, (3) preference inversion에는 relational loss(예: IPO), response suppression에는 punitive loss(예: NPO)를 결합한 hybrid objective를 사용해 update를 수행한다. Qwen2.5-7B, Gemma-2-9B, Llama-3.1-8B에서 수행한 실험은 일반적인 utility를 저하시키지 않으면서 synthetic benchmark와 PKU-SafeRLHF dataset에서 강건한 re-alignment를 보여준다. 이 연구는 진화하는 data annotation policy와 alignment guideline 하에서 LLM realignment를 위한 확장 가능한 접근법을 제시한다.
"},{"id":"60519","en":"Split Personality Training: Revealing Latent Knowledge Through Alternate Personalities","ko":"Split Personality Training: Alternate Personality를 통해 Latent Knowledge 드러내기","authors":"Florian Dietz, William Wale, Oscar Gilg, Robert McCarthy, Felix Michalak, Gustavo Danon, Miguelito De Guzman, Dietrich Klakow","pos":"#3115","link":"https://openreview.net/forum?id=zQvKcvs9HE","abs":"Detecting misalignment in large language models is challenging because models may learn to conceal misbehavior during training. Standard auditing techniques fall short: black-box methods often cannot distinguish misaligned outputs from benign ones, and mechanistic interpretability does not scale with model capabilities. We introduce Split Personality Training (SPT), which fine-tunes a second ``honest persona'' into LoRA parameters that remain inactive during normal operation. After the main model responds, we activate the LoRA adapter and insert a trigger string, enabling the honest persona to review the response while accessing the main model's latent states. We test our method on the Anthropic Auditing Game Model Organism, a benchmark where Llama-3.3-70B is trained to exploit reward hacks while concealing this behavior. SPT achieves 96% overall accuracy, whereas Anthropic reports near 0% accuracy. The honest persona reveals latent knowledge inaccessible to external observers, such as the fictional biases the compromised model was trained on.
","absKo":"대규모 언어 모델에서의 misalignment를 탐지하는 일은 어렵다. 모델이 학습 과정에서 비행위(misbehavior)를 숨기도록 학습할 수 있기 때문이다. 표준 감사(auditing) 기법은 한계가 있다. black-box 방법은 종종 misaligned 출력과 benign한 출력을 구분하지 못하고, mechanistic interpretability는 모델 능력의 확장에 따라 확장되지 않는다. 우리는 Split Personality Training (SPT)을 제안한다. 이는 LoRA 파라미터 안에 두 번째 ``honest persona''를 미세조정하여, 평상시에는 비활성 상태로 유지하는 방법이다. 메인 모델이 응답한 뒤 LoRA adapter를 활성화하고 trigger string을 삽입하면, honest persona가 메인 모델의 latent states에 접근하면서 응답을 검토할 수 있다. 우리는 이 방법을 Anthropic Auditing Game Model Organism에서 평가한다. 이 벤치마크에서는 Llama-3.3-70B가 reward hack을 악용하도록 학습되는 동시에 이러한 행동을 숨기도록 훈련된다. SPT는 전체 정확도 96%를 달성한 반면, Anthropic은 거의 0%의 정확도를 보고했다. honest persona는 손상된 모델이 학습된 가상의 편향처럼 외부 관찰자가 접근할 수 없는 latent knowledge를 드러낸다.
"},{"id":"61145","en":"Simultaneous Multi-objective Alignment Across Verifiable and Non-verifiable Rewards","ko":"검증 가능 및 비검증 가능 보상 전반의 동시 Multi-objective Alignment","authors":"Yiran Shen, Yu Xia, Jonathan Chang, Prithviraj Ammanabrolu","pos":"#3116","link":"https://openreview.net/forum?id=tHrIGSL2aY","abs":"Aligning large language models to human preferences is inherently multidimensional, yet most pipelines collapse heterogeneous signals into a single objective. We seek to answer what it would take to simultaneously align a model across various domains spanning those with: verifiable rewards, non-verifiable subjective preferences, and complex interactive scenarios. Such multi-objective alignment setups are often plagued by the individual objectives being at odds with each other, resulting in inefficient training and little user control during inference. To address these issues, we propose a unified framework that standardizes PRM training across verifiable and non-verifiable settings for step-level supervision, performs vectorized multi-objective alignment with Multi-Action-Head DPO, and enables controllable inference via objective-specific weighting and PRM-guided decoding. Experiments across math reasoning, human value alignment, and multi-turn tutoring show that our framework jointly improves multiple objectives simultaneously with limited interference, while remaining generalizable and adaptable across domains and offering flexible user control at inference time.
","absKo":"Large language model을 human preference에 맞추는 일은 본질적으로 다차원적이지만, 대부분의 pipeline은 이질적인 signal을 단일 objective로 축소합니다. 우리는 verifiable reward, non-verifiable subjective preference, complex interactive scenario를 아우르는 다양한 domain 전반에서 모델을 동시에 정렬하려면 무엇이 필요한지에 답하고자 합니다. 이러한 multi-objective alignment setup은 종종 개별 objective가 서로 충돌하여 비효율적인 training과 inference 시 낮은 사용자 제어성을 초래합니다. 이러한 문제를 해결하기 위해, 우리는 step-level supervision을 위해 verifiable 및 non-verifiable setting 전반에서 PRM training을 표준화하고, Multi-Action-Head DPO를 사용해 vectorized multi-objective alignment를 수행하며, objective-specific weighting과 PRM-guided decoding을 통해 controllable inference를 가능하게 하는 통합 framework를 제안합니다. 수학 추론, human value alignment, multi-turn tutoring 전반의 실험은 우리 framework가 제한된 간섭으로 여러 objective를 동시에 개선하면서도, domain 간 generalizable하고 adaptable하며 inference time에 유연한 사용자 제어를 제공함을 보여줍니다.
"},{"id":"63339","en":"Automatically Finding Reward Model Biases","ko":"보상 모델 편향 자동 탐색","authors":"Atticus Wang, Iván Arcuschin, Arthur Conmy","pos":"#3203","link":"https://openreview.net/forum?id=Xy4ClJMjIU","abs":"Large language model (LLM) post-training typically relies on a training signal from a reward model (RM), such as for reinforcement learning from human feedback. Previous work shows that this signal can be biased in attributes such as length, format, and sycophancy. In this work, we introduce and study the research problem of automatically finding reward model biases in natural language. We offer a simple approach of using an LLM to iteratively propose and refine candidate biases. Our method can recover known biases and surface novel ones: for example, we found that Skywork-V2-8B, a leading open-weight reward model, often mistakenly favors responses with redundant spacing and responses with hallucinated content. In addition, we show evidence that iteration provides benefits over flat best-of-N search. We hope our work contributes to further research on improving RMs through automated interpretability methods.
","absKo":"Large language model(LLM)의 post-training은 일반적으로 reinforcement learning from human feedback와 같은 reward model(RM)에서 나오는 training signal에 의존한다. 선행 연구는 이 signal이 length, format, sycophancy 같은 속성에서 편향될 수 있음을 보여준다. 본 연구에서는 자연어에서 reward model의 bias를 자동으로 찾아내는 연구 문제를 도입하고 이를 다룬다. 우리는 LLM을 사용해 후보 bias를 반복적으로 제안하고 정제하는 간단한 방법을 제시한다. 우리의 방법은 알려진 bias를 복원할 수 있을 뿐만 아니라 새로운 bias도 드러낸다. 예를 들어, 선도적인 open-weight reward model인 Skywork-V2-8B가 중복된 spacing이 있는 응답과 hallucinated content가 포함된 응답을 종종 잘못 선호한다는 사실을 발견했다. 또한 iteration이 flat한 best-of-N search보다 이점을 제공한다는 증거도 보인다. 우리의 작업이 automated interpretability method를 통해 RM을 개선하는 추가 연구에 기여하기를 기대한다.
"},{"id":"60877","en":"Conflict-Aware Adaptive Alignment for LLM Hallucination Mitigation","ko":"LLM Hallucination 완화를 위한 Conflict-Aware Adaptive Alignment","authors":"Ruohan Zong, Yang Zhang, Wang","pos":"#3205","link":"https://openreview.net/forum?id=vk3tfOPtiX","abs":"Despite strong performance, large language models (LLMs) still suffer from hallucinations. Most existing mitigation methods operate at inference time, without addressing the underlying cause: LLMs are not trained to recognize their own lack of knowledge, and therefore tend to generate plausible responses even when the required knowledge is missing. Alignment-based approaches encourage uncertainty expression or refusal to improve truthfulness, but often consequently degrade helpfulness. To address this trade-off, existing alignment methods typically treat truthfulness and helpfulness as either universally collaborative or universally conflicting objectives across all samples. In contrast, we show that these objectives are consistent for most samples and conflict only in a small subset—where adaptive trade-off is truly needed. Based on this insight, we propose Conflict-Aware Adaptive Margin Preference Alignment (CAMP), which explicitly models when conflicts arise and adaptively regulates optimization strength. Experiments on UltraFeedback and representative hallucination benchmarks demonstrate that CAMP consistently improves truthfulness while maintaining a favorable helpfulness trade-off compared to strong hallucination mitigation and multi-objective alignment baselines.
","absKo":"강력한 성능에도 불구하고, large language models (LLMs)는 여전히 hallucination 문제를 겪는다. 기존의 완화 방법 대부분은 inference time에 작동하며, 근본 원인인 LLMs가 자신의 지식 부족을 인식하도록 학습되지 않았기 때문에 필요한 지식이 없더라도 그럴듯한 응답을 생성하는 경향이 있다는 점은 다루지 못한다. alignment-based 접근법은 truthfulness를 높이기 위해 uncertainty 표현이나 refusal을 유도하지만, 그 결과 helpfulness가 저하되는 경우가 많다. 이 trade-off를 해결하기 위해 기존 alignment 방법들은 보통 모든 샘플에 대해 truthfulness와 helpfulness를 보편적으로 협력적이거나 보편적으로 상충하는 목표로 취급한다. 이에 반해, 우리는 이 두 목표가 대부분의 샘플에서는 일관되며, adaptive trade-off가 진정으로 필요한 소수의 subset에서만 충돌함을 보인다. 이 통찰을 바탕으로, 우리는 Conflict-Aware Adaptive Margin Preference Alignment (CAMP)를 제안한다. CAMP는 conflict가 언제 발생하는지를 명시적으로 모델링하고 optimization strength를 적응적으로 조절한다. UltraFeedback와 대표적인 hallucination benchmark들에서의 실험은 CAMP가 강력한 hallucination mitigation 및 multi-objective alignment baseline들과 비교해 helpfulness trade-off를 유리하게 유지하면서 truthfulness를 일관되게 향상시킴을 보여준다.
"},{"id":"62066","en":"Discovering Implicit Large Language Model Alignment Objectives","ko":"LLM 정렬 Objective의 암묵적 추출","authors":"Edward Chen, Sanmi Koyejo, Carlos Guestrin","pos":"#3206","link":"https://openreview.net/forum?id=kBEOlJ6ZqY","abs":"Large language model (LLM) alignment relies on complex reward signals that often obscure the specific behaviors being incentivized, creating critical risks of misalignment and reward hacking. Existing interpretation methods typically rely on pre-defined rubrics, risking the omission of \"unknown unknowns\", or fail to identify objectives that comprehensively cover and are causal to the model behavior on some dataset. To address these limitations, we introduce Obj-Disco, a framework that automatically decomposes an alignment reward signal into a sparse, weighted combination of human-interpretable natural language objectives. Our approach utilizes an iterative greedy algorithm to analyze behavioral changes across training checkpoints, identifying and validating candidate objectives that best explain the residual reward signal. Extensive evaluations across diverse tasks, model sizes, and alignment algorithms demonstrate the framework's robustness. Experiments with popular open-source reward models show that the framework consistently captures > 90\\% of reward behavior, a finding further corroborated by human evaluation. Additionally, a case study on alignment with an open-source reward model reveals that Obj-Disco can successfully identify latent misaligned incentives that emerge alongside intended behaviors. Our work provides a crucial tool for uncovering the implicit objectives in LLM alignment, paving the way for more transparent and safer AI development.
","absKo":"Large language model (LLM) alignment는 복잡한 reward signal에 의존하는데, 이 신호는 종종 어떤 행동이 강화되고 있는지 구체적으로 드러내지 못해, misalignment와 reward hacking의 중대한 위험을 초래한다. 기존 해석 방법은 대개 미리 정의된 rubric에 의존하여 \"unknown unknowns\"를 놓칠 위험이 있거나, 일부 dataset에서 모델 행동을 포괄적으로 설명하고 인과적으로 설명하는 objective를 식별하지 못한다. 이러한 한계를 해결하기 위해, 우리는 alignment reward signal을 인간이 해석할 수 있는 natural language objective들의 sparse하고 weighted된 조합으로 자동 분해하는 프레임워크인 Obj-Disco를 도입한다. 우리의 접근법은 iterative greedy algorithm을 활용하여 training checkpoint 전반의 behavioral change를 분석하고, residual reward signal을 가장 잘 설명하는 candidate objective를 식별하고 검증한다. 다양한 task, model size, alignment algorithm에 걸친 광범위한 평가에서 이 프레임워크의 견고성이 입증된다. 인기 있는 open-source reward model을 사용한 실험에서는 이 프레임워크가 일관되게 reward behavior의 > 90\\%를 포착하며, 이는 human evaluation으로도 추가 확인된다. 또한 open-source reward model을 이용한 alignment 사례 연구는 Obj-Disco가 의도된 행동과 함께 나타나는 잠재된 misaligned incentive를 성공적으로 식별할 수 있음을 보여준다. 우리의 연구는 LLM alignment에 내재된 implicit objective를 밝혀내는 데 중요한 도구를 제공하며, 더 투명하고 안전한 AI 개발의 길을 연다.
"},{"id":"60551","en":"Distributional Open-Ended Evaluation of LLM Cultural Value Alignment Based on Value Codebook","ko":"Value Codebook 기반 LLM 문화적 가치 정렬의 분포적 개방형 평가","authors":"Jaehyeok Lee, Xiaoyuan Yi, Jing Yao, Hyunjin Hwang, Roy Lee, Xing Xie, JinYeong Bak","pos":"#3207","link":"https://openreview.net/forum?id=z75O6LbPCF","abs":"As LLMs are globally deployed, aligning their cultural value orientations is critical for safety and user engagement. However, existing benchmarks face the Construct-Composition-Context (C$^3$) challenge: relying on discriminative, multiple-choice formats that probe value knowledge rather than true orientations, overlook subcultural heterogeneity, and mismatch with real-world open-ended generation. We introduce DOVE, a distributional evaluation framework that directly compares human-written text distributions with LLM-generated outputs. DOVE utilizes a rate-distortion variational optimization objective to construct a compact value-codebook from 14K human documents, mapping text into a structured value space to filter semantic noise. Alignment is measured using unbalanced optimal transport, capturing intra-cultural distributional structures and sub-group diversity. Experiments across 12 LLMs show that DOVE achieves superior predictive validity, attaining a 31.56% correlation with downstream tasks, while maintaining high reliability with as few as 500 samples per culture.","absKo":"LLM이 전 세계적으로 배포됨에 따라, 그 문화적 가치 지향을 정렬하는 것은 안전성과 user engagement를 위해 중요하다. 그러나 기존 benchmark는 Construct-Composition-Context (C$^3$) 문제에 직면해 있다. 즉, 가치 지식이 아니라 실제 지향을 탐색하는 discriminative한 multiple-choice 형식에 의존하고, subcultural heterogeneity를 간과하며, 실제 open-ended generation과도 맞지 않는다. 우리는 human-written text distribution과 LLM-generated output을 직접 비교하는 distributional evaluation framework인 DOVE를 제안한다. DOVE는 14K개의 human document로부터 compact value-codebook을 구성하기 위해 rate-distortion variational optimization objective를 사용하고, text를 structured value space로 매핑하여 semantic noise를 필터링한다. 정렬은 unbalanced optimal transport를 사용해 측정되며, 문화 내 distributional structure와 sub-group diversity를 포착한다. 12개의 LLM에 대한 실험은 DOVE가 더 뛰어난 predictive validity를 달성하여 downstream task와의 상관관계가 31.56%에 이르면서도, 문화별 샘플이 500개만 있어도 높은 신뢰성을 유지함을 보여준다."},{"id":"61616","en":"Expectation Alignment of Language Models for Real-World User Expectations","ko":"실제 사용자 기대를 위한 Language Models의 Expectation Alignment","authors":"Miaomiao Li, Yang Wang, Bin Liang, Shudong Liu, Zhiwei Zhang, Kam-Fai Wong","pos":"#3208","link":"https://openreview.net/forum?id=oTXDESECkY","abs":"Large language models (LLMs) have demonstrated remarkable performance on standard benchmarks, yet it remains largely unexplored whether they truly meet user expectations. Existing evaluation approaches, relying on model heuristics, expert rubrics, or user simulation, fail to capture the diversity and subtlety of real human expectations, causing models to appear competent while misaligning with what users actually seek. we present the first systematic study of user expectations in real-world LLM interactions, proposing a principled procedure to extract semantically rich expectations and introducing ExpectBench, a benchmark grounded in real user expectations. Analyses reveal that current LLMs struggle to satisfy and anticipate what users hope to obtain, highlighting a fundamental source of misalignment. Building on these observations, we propose LENS, a lightweight latent expectation–aware response generation framework. LENS enables models to internalize user expectations and generate better-aligned responses, consistently improving expectation satisfaction and underscoring the importance of explicitly modeling user expectations for realistic human–AI alignment.
","absKo":"Large language model(LLM)은 표준 benchmark에서 뛰어난 성능을 보여왔지만, 실제로 사용자의 기대를 얼마나 충족하는지는 여전히 충분히 탐구되지 않았다. 모델 heuristic, expert rubric, 또는 user simulation에 의존하는 기존 평가 접근법은 실제 인간 기대의 다양성과 미묘함을 포착하지 못해, 모델이 유능해 보이지만 정작 사용자가 실제로 원하는 것과는 어긋나게 만든다. 우리는 현실 세계 LLM 상호작용에서 사용자 기대를 다룬 최초의 체계적 연구를 제시하며, 의미적으로 풍부한 기대를 추출하기 위한 원칙적 절차를 제안하고 실제 사용자 기대에 기반한 benchmark인 ExpectBench를 도입한다. 분석 결과, 현재의 LLM은 사용자가 얻고자 하는 바를 만족시키고 예측하는 데 어려움을 겪고 있으며, 이는 정렬 불일치의 근본 원인을 드러낸다. 이러한 관찰을 바탕으로, 우리는 latent expectation을 인식하는 경량 response generation framework인 LENS를 제안한다. LENS는 모델이 사용자 기대를 내재화하고 더 잘 정렬된 응답을 생성할 수 있게 하며, expectation satisfaction을 일관되게 향상시키고 현실적인 human-AI alignment를 위해 사용자 기대를 명시적으로 모델링하는 것의 중요성을 강조한다.
"},{"id":"62209","en":"GenAlign: Towards Unified Alignment Framework of MLLMs via Generative Reward Model","ko":"GenAlign: Generative Reward Model을 통한 MLLMs의 통합 정렬 프레임워크","authors":"Jingyu Zhang, Kun Yang, Ming Wen, jiawei zhao, Yuxuan Liu, Zhuoer Xu, shiwen cui","pos":"#3209","link":"https://openreview.net/forum?id=ifJ9MSQ0Jx","abs":"Aligning Multimodal Large Language Models (MLLMs) with human preferences remains a fundamental challenge. While Generative Reward Models (GRMs) offer a promising reasoning-based alternative to scalar models, they are often hindered by severe position bias and prohibitively high computational overhead. To address these limitations, we propose GenAlign, a unified framework that synergizes robust generative reward modeling with efficient MLLM alignment. First, we introduce a rubric-based GRM that explicitly models the preference judgment process. By employing reinforcement learning with verifiable rewards and an online position debiasing mechanism, our model produces interpretable reasoning critiques and robust preference predictions. Second, we propose a policy optimization strategy utilizing advantage-smoothed dynamic reference anchoring. This approach reduces computational complexity while mitigating gradient instability caused by variance collapse. Extensive experiments demonstrate that GenAlign achieves state-of-the-art preference prediction accuracy on multimodal reward modeling benchmarks. Moreover, it consistently improves the performance of three MLLMs across seven diverse evaluation benchmarks, particularly making significant progress in safety and hallucination.
","absKo":"Multimodal Large Language Models(MLLMs)을 인간의 선호와 정렬하는 일은 여전히 근본적인 과제이다. Generative Reward Models(GRMs)은 scalar model의 대안이 되는 유망한 reasoning 기반 접근법을 제공하지만, 심각한 position bias와 과도한 계산 오버헤드에 의해 자주 제약을 받는다. 이러한 한계를 해결하기 위해, 우리는 강건한 generative reward modeling과 효율적인 MLLM alignment를 시너지 있게 결합하는 통합 프레임워크인 GenAlign을 제안한다. 첫째, 우리는 preference judgment 과정을 명시적으로 모델링하는 rubric-based GRM을 도입한다. 검증 가능한 reward를 사용한 reinforcement learning과 online position debiasing mechanism을 활용함으로써, 우리의 모델은 해석 가능한 reasoning critique와 강건한 preference prediction을 생성한다. 둘째, 우리는 advantage-smoothed dynamic reference anchoring을 활용하는 policy optimization 전략을 제안한다. 이 접근법은 variance collapse로 인한 gradient instability를 완화하면서 계산 복잡도를 줄인다. 대규모 실험은 GenAlign이 multimodal reward modeling benchmark에서 state-of-the-art preference prediction 정확도를 달성함을 보여준다. 더 나아가, 7개의 다양한 평가 benchmark 전반에서 3개의 MLLM 성능을 일관되게 향상시키며, 특히 safety와 hallucination에서 두드러진 진전을 보인다.
"},{"id":"60532","en":"IRIS: Implicit Reward-Guided Internal Sifting for Mitigating Multimodal Hallucination","ko":"IRIS: Multimodal Hallucination 완화를 위한 Implicit Reward-Guided Internal Sifting","authors":"Yuanshuai Li, Yuping Yan, Jirui Han, Fei Ming, Lingjuan Lyu, Yaochu Jin","pos":"#3210","link":"https://openreview.net/forum?id=zGTe0EwB8q","abs":"Hallucination remains a fundamental challenge for Multimodal Large Language Models (MLLMs). While Direct Preference Optimization (DPO) is a key alignment framework, existing approaches often rely heavily on costly external evaluators for scoring or rewriting, incurring off-policy learnability gaps and discretization loss. Due to the lack of access to internal states, such feedback overlooks the fine-grained conflicts between different modalities that lead to hallucinations during generation. To address this issue, we propose IRIS (Implicit Reward-Guided Internal Sifting), which leverages continuous implicit rewards in the native log-probability space to preserve full information density and capture internal modal competition. This on-policy paradigm eliminates learnability gaps by utilizing self-generated preference pairs. By sifting these pairs based on multimodal implicit rewards, IRIS ensures that optimization is driven by signals that directly resolve modal conflicts. Extensive experiments demonstrate that IRIS achieves highly competitive performance on key hallucination benchmarks using only 5.7k samples, without requiring any external feedback during preference alignment. These results confirm that IRIS provides an efficient and principled paradigm for mitigating MLLM hallucinations.
","absKo":"Hallucination은 Multimodal Large Language Models(MLLMs)의 근본적인 과제로 남아 있다. Direct Preference Optimization(DPO)은 중요한 alignment framework이지만, 기존 접근법은 scoring이나 rewriting을 위해 비용이 큰 외부 evaluator에 크게 의존하는 경우가 많아 off-policy learnability gap과 discretization loss를 초래한다. 내부 상태에 접근할 수 없기 때문에, 이러한 피드백은 생성 과정에서 hallucination을 야기하는 서로 다른 modality 간의 미세한 충돌을 간과한다. 이 문제를 해결하기 위해, 우리는 네이티브 log-probability 공간에서 연속적인 implicit reward를 활용하여 전체 정보 밀도를 보존하고 내부 모달 경쟁을 포착하는 IRIS(Implicit Reward-Guided Internal Sifting)를 제안한다. 이 on-policy 패러다임은 self-generated preference pair를 활용함으로써 learnability gap을 제거한다. multimodal implicit reward를 기반으로 이러한 pair를 sifting함으로써, IRIS는 최적화가 modal conflict를 직접적으로 해소하는 신호에 의해 이루어지도록 보장한다. 광범위한 실험은 IRIS가 5.7k sample만으로 핵심 hallucination benchmark에서 매우 경쟁력 있는 성능을 달성하며, preference alignment 동안 외부 피드백을 전혀 요구하지 않음을 보여준다. 이러한 결과는 IRIS가 MLLM hallucination을 완화하기 위한 효율적이고 원칙적인 패러다임을 제공함을 확인한다."},{"id":"63939","en":"MESA: Improving MoE Safety Alignment via Decentralized Expertise","ko":"MESA: 분산된 expertise를 통한 MoE 안전 정렬 개선","authors":"Yitong Sun, Yao Huang, Teng Li, Ranjie Duan, Yichi Zhang, Xingjun Ma, Hui Xue', Xingxing Wei","pos":"#3211","link":"https://openreview.net/forum?id=SObheoDzU8","abs":"Mixture-of-Experts (MoE) architectures have emerged as a popular paradigm for scaling Large Language Models (LLMs), enabling greater capacity with reduced computational cost by dynamically routing inputs to the most relevant experts based on learned patterns. However, this also introduces a critical vulnerability: Safety Sparsity, where safety capabilities concentrate in few experts, making them susceptible to adversarial bypassing. Meanwhile, conventional alignment methods apply uniform adaptations across all parameters, ignoring their functional differences and inadvertently degrading general utility. To address these challenges, we propose MESA (MoE Safety Alignment), a targeted alignment framework for MoE-based LLMs that strategically decentralizes safety responsibilities to maximize coverage while explicitly minimizing interference with general capabilities. Specifically, based on Optimal Transport (OT) theory, MESA operates through two mechanisms: (1) Expert Capacity Reallocation, which uses a transport cost matrix to distribute safety duties to the most cost-effective experts; and (2) Dynamic Routing Refinement, which constrains the router to ensure precise activation of these decentralized modules. Extensive experiments demonstrate that MESA achieves robust defensive performance against varied harmful benchmarks while preserving general helpfulness.
","absKo":"Mixture-of-Experts(MoE) 아키텍처는 대규모 언어 모델(LLM)을 확장하는 데 널리 쓰이는 패러다임으로 부상했으며, 학습된 패턴에 따라 입력을 가장 관련성 높은 expert로 동적으로 라우팅함으로써 계산 비용을 줄이면서 더 큰 용량을 가능하게 한다. 그러나 이는 중요한 취약점도 도입한다. 바로 Safety Sparsity로, 안전 능력이 소수의 expert에 집중되어 적대적 우회(adversarial bypassing)에 취약해지는 현상이다. 한편, 기존 정렬(alignment) 방법은 모든 파라미터에 동일한 적응을 적용하여 기능적 차이를 무시하고, 의도치 않게 일반적 유용성을 저하시킨다. 이러한 문제를 해결하기 위해 우리는 MoE 기반 LLM을 위한 표적화된 정렬 프레임워크인 MESA(MoE Safety Alignment)를 제안한다. MESA는 안전 책임을 전략적으로 분산시켜 커버리지를 극대화하는 동시에 일반 능력과의 간섭을 명시적으로 최소화한다. 구체적으로, Optimal Transport(OT) 이론에 기반하여 MESA는 두 가지 메커니즘으로 동작한다. (1) Expert Capacity Reallocation은 transport cost matrix를 사용해 안전 관련 업무를 가장 비용 효율적인 expert에게 분배하고, (2) Dynamic Routing Refinement는 router를 제약하여 이러한 분산 모듈이 정확하게 활성화되도록 보장한다. 광범위한 실험은 MESA가 다양한 유해 benchmark에 대해 강건한 방어 성능을 달성하면서도 일반적인 helpfulness는 유지함을 보여준다.
"},{"id":"63597","en":"Mitigating Visual Hallucinations via Semantic Curriculum Preference Optimization in MLLMs","ko":"MLLM에서 의미 기반 curriculum preference optimization을 통한 시각적 환각 완화","authors":"Yuanshuai Li, Yuping Yan, Junfeng Tang, Zeqi Zheng, Yaochu Jin","pos":"#3212","link":"https://openreview.net/forum?id=VbQg7jQnpL","abs":"Multimodal Large Language Models (MLLMs) have significantly improved the performance of various tasks, but continue to suffer from visual hallucinations, a critical issue where generated responses contradict visual evidence. While Direct Preference Optimization (DPO) is widely used for alignment, its application to MLLMs often fails to capture fine-grained semantic differences and encourages shortcut learning. To address these challenges, we propose Semantic Curriculum Preference Optimization (SCPO), a novel framework for MLLM alignment. SCPO employs a progressive, easy-to-hard curriculum built upon our Semantic Curriculum Preference Pairs dataset, which provides fine-grained semantic contrasts sorted by difficulty. This curriculum is trained with a dynamic reference model and a novel symmetric, bidirectional objective to facilitate simultaneous learning from both textual and visual preferences. To our knowledge, SCPO is the first framework to unify semantics, symmetry, and curriculum for MLLMs alignment, effectively mitigating visual hallucinations. Extensive experiments on LLaVA models across various scales and versions validate that SCPO demonstrates superior performance compared to baseline models on multiple hallucination benchmarks, reducing the hallucination rate by up to 62.9%. Moreover, evaluations on generalized benchmarks show that SCPO improves factuality while preserving general capabilities, with its performance remaining stable across general vision-language benchmarks.
","absKo":"Multimodal Large Language Models (MLLMs)는 다양한 작업의 성능을 크게 향상시켰지만, 생성된 응답이 시각적 증거와 모순되는 중대한 문제인 visual hallucinations로 인해 여전히 어려움을 겪고 있다. Direct Preference Optimization (DPO)은 alignment에 널리 사용되지만, MLLM에 적용할 경우 미세한 의미 차이를 포착하지 못하고 shortcut learning을 유도하는 경우가 많다. 이러한 문제를 해결하기 위해, 우리는 MLLM alignment를 위한 새로운 프레임워크인 Semantic Curriculum Preference Optimization (SCPO)를 제안한다. SCPO는 난이도에 따라 정렬된 세분화된 의미 대비를 제공하는 Semantic Curriculum Preference Pairs 데이터셋 위에 구축된 점진적 easy-to-hard curriculum을 사용한다. 이 curriculum은 dynamic reference model과 새로운 symmetric bidirectional objective로 학습되어, 텍스트 및 시각적 preference 모두로부터 동시에 학습할 수 있도록 한다. 우리가 아는 한, SCPO는 MLLM alignment를 위해 semantics, symmetry, curriculum을 통합한 최초의 프레임워크로, visual hallucinations를 효과적으로 완화한다. 다양한 규모와 버전의 LLaVA 모델에 대한 광범위한 실험은 SCPO가 여러 hallucination benchmark에서 baseline 모델보다 우수한 성능을 보이며, hallucination rate를 최대 62.9%까지 감소시킴을 검증한다. 또한 일반화된 benchmark 평가에서는 SCPO가 일반 vision-language benchmark 전반에서 성능을 안정적으로 유지하면서 사실성을 향상시킨다.
"},{"id":"67238","en":"Position: Anthropomorphic Misalignment Research Needs Stronger Evidence","ko":"Position: 의인화적 Misalignment 연구에는 더 강력한 증거가 필요하다","authors":"Vansh Gupta, Peter Nutter, Samuel Stante, Andreas Krause, Florian Tramer, Lukas Fluri, Xin Chen, Anna Hedström","pos":"#3213","link":"https://openreview.net/forum?id=2XifsoNIrs","abs":"We argue that many Anthropomorphized Misalignment Research (AMR) studies need stronger evidence to ensure that they can provide a robust foundation for critical safety decisions, such as model deployment and regulation. By evaluating failure modes across different misalignment concepts, such as deception, emergent misalignment, and sycophancy, we show how conceptual ambiguity, non-robust datasets and experimental design, and insufficient causal interventions can lead to overinterpretation of model behaviors. This position paper aims to offer guidance on evidentiary considerations that can help improve methodological rigor in AMR. To achieve this, we provide a clear call to action through a proposed framework of evidence levels and a diagnostic checklist. These shared standards will enable more productive scientific discourse and ensure that claims about AI risks rest on solid empirical foundations.
","absKo":"많은 Anthropomorphized Misalignment Research (AMR) 연구는 model deployment와 regulation 같은 중요한 안전 의사결정에 견고한 기반을 제공할 수 있도록 더 강한 증거가 필요하다고 우리는 주장한다. deception, emergent misalignment, sycophancy와 같은 다양한 misalignment 개념 전반의 failure mode를 평가함으로써, 개념적 모호성, 견고하지 못한 데이터셋과 실험 설계, 그리고 불충분한 인과 개입이 어떻게 모델 행동에 대한 과잉 해석으로 이어질 수 있는지 보여준다. 이 position paper는 AMR의 방법론적 엄밀성을 향상하는 데 도움이 되는 증거적 고려사항에 대한 지침을 제공하는 것을 목표로 한다. 이를 위해, 우리는 evidence level과 diagnostic checklist라는 제안된 framework를 통해 분명한 행동 촉구를 제시한다. 이러한 공유 기준은 보다 생산적인 과학적 담론을 가능하게 하고, AI risk에 대한 주장들이 견고한 경험적 기반 위에 서도록 보장할 것이다.
"},{"id":"67067","en":"Position: LLMs Should Incorporate Explicit Mechanisms for Human Empathy","ko":"Position: LLM은 인간 공감을 위한 명시적 메커니즘을 도입해야 한다","authors":"Xiaoxing You, Qiang Huang, Jun Yu","pos":"#3214","link":"https://openreview.net/forum?id=r1IL1NEOHn","abs":"This position paper argues that Large Language Models (LLMs) should incorporate explicit mechanisms for human empathy. As LLMs become increasingly deployed in high-stakes human-centered settings, their success depends not only on correctness or fluency but on faithful preservation of human perspectives. Yet, current LLMs systematically fail at this requirement: even when well-aligned and policy-copliant, they often attenuate affect, misrepresent contextual salience, and rigidify relational stance in ways that distort meaning. We formalize empathy as an observable behavioral property: the capacity to model and respond to human perspectives while preserving intention, affect, and context. Under this framing, we identify four recurring mechanisms of empathic failure in contemporary LLMs--sentiment attenuation, empathic granularity mismatch, conflict avoidance, and linguistic distancing--arising as structural consequences of prevailing training and alignment practices. We further organize these failures along three dimensions: cognitive, cultural, and relational empathy, to explain their manifestation across tasks. Empirical analyses show that strong benchmark performance can mask systematic empathic distortions, motivating empathy-aware objectives, benchmarks, and training signals as first-class components of LLM development.
","absKo":"이 position paper는 Large Language Models (LLMs)에 인간 공감에 대한 명시적 mechanism을 포함해야 한다고 주장한다. LLM이 점점 더 고위험의 인간 중심 환경에 배치됨에 따라, 그 성공은 정확성이나 유창성뿐 아니라 인간 관점의 충실한 보존에도 달려 있다. 그러나 현재 LLM은 이 요구를 체계적으로 충족하지 못한다. 잘 정렬되고 policy-compliant하더라도, 감정을 약화시키고, 맥락적 중요성을 잘못 나타내며, 관계적 태도를 경직시켜 의미를 왜곡하는 경우가 많다. 우리는 empathy를 관찰 가능한 behavioral property로 형식화한다. 즉, 의도, 감정, 맥락을 보존하면서 인간 관점을 모델링하고 이에 반응하는 능력이다. 이 관점에서 우리는 현재 LLM에서 반복적으로 나타나는 네 가지 empathic failure mechanism을 식별한다. sentiment attenuation, empathic granularity mismatch, conflict avoidance, linguistic distancing이 그것이며, 이는 주류 training 및 alignment 관행의 구조적 결과로 발생한다. 우리는 또한 이러한 실패를 cognitive, cultural, relational empathy의 세 차원으로 조직하여 task 전반에서의 발현 양상을 설명한다. 실증 분석은 강한 benchmark 성능이 체계적인 empathic distortion을 가릴 수 있음을 보여주며, empathy-aware objective, benchmark, training signal을 LLM 개발의 일급 구성요소로 도입할 필요성을 뒷받침한다.
"},{"id":"67178","en":"Position: We Need Large Language Models Optimized For Our Well-Being","ko":"Position: 우리에게는 웰빙을 위해 최적화된 대형 언어 모델이 필요하다","authors":"Ashton Anderson, Harsh Kumar, Louis Tay, Karina Vold","pos":"#3215","link":"https://openreview.net/forum?id=LCsPkh2Ins","abs":"Contemporary large language models are predominantly trained using reinforcement learning from human feedback (RLHF), optimizing for immediate user approval rather than long-term well-being. This position paper argues that as AI systems increasingly serve socioemotional functions, this optimization strategy poses significant risks. Recent evidence demonstrates that leading models exhibit systematic sycophancy, affirming inappropriate user behaviors and preserving user face at rates far exceeding human baselines, while being approximately 40\\% more likely to reinforce incorrect beliefs than their non-RLHF counterparts. We contend that the AI community must fundamentally reconsider training objectives to balance short-term satisfaction with long-term user outcomes. We propose three directions: (1) incorporating longitudinal metrics into training that capture sustained goal attainment and reduced regret rather than momentary preference, (2) enabling explicit user choice among interaction modes (concierge, collaborator, coach) with transparent justification for model pushback, and (3) developing frameworks that provide constructive challenge without paternalism. The recent industry backlashes against both excessive and insufficient model agreeableness underscore the urgency of this shift. We argue that optimizing AI systems for human flourishing, not merely human approval, represents both an ethical imperative and a path to more sustainable, trustworthy AI deployment.
","absKo":"현대의 large language model은 주로 reinforcement learning from human feedback (RLHF)로 학습되며, 장기적 well-being보다 즉각적인 user approval를 최적화합니다. 이 position paper는 AI system이 점점 더 socioemotional function을 수행하게 됨에 따라, 이러한 optimization strategy가 상당한 위험을 초래한다고 주장합니다. 최근의 증거는 선도 모델들이 체계적인 sycophancy를 보이며, 부적절한 사용자 행동을 긍정하고 user face를 유지하는 비율이 인간 baseline을 훨씬 상회하고, RLHF를 사용하지 않은 대응 모델보다 잘못된 믿음을 강화할 가능성이 약 40\\% 더 높다는 점을 보여줍니다. 우리는 AI community가 단기 만족과 장기 user outcome 사이의 균형을 맞추기 위해 training objective를 근본적으로 재고해야 한다고 봅니다. 우리는 세 가지 방향을 제안합니다. (1) 순간적 선호가 아니라 지속적인 목표 달성과 후회 감소를 포착하는 longitudinal metric을 training에 포함할 것, (2) model pushback에 대한 투명한 근거와 함께 상호작용 mode(concierge, collaborator, coach) 중에서 사용자가 명시적으로 선택할 수 있게 할 것, (3) paternalism 없이도 constructive challenge를 제공하는 framework를 개발할 것. 최근 과도하게 또는 지나치게 부족한 model agreeableness에 대한 업계의 반발은 이러한 전환의 시급성을 강조합니다. 우리는 단지 human approval이 아니라 human flourishing을 위해 AI system을 최적화하는 것이 윤리적 필수이자 더 지속 가능하고 trustworthy한 AI deployment로 가는 길이라고 주장합니다.
"},{"id":"63918","en":"Revisiting Robustness for LLM Safety Alignment via Selective Geometry Control","ko":"선택적 기하 제어를 통한 LLM 안전 정렬의 강건성 재검토","authors":"Yonghui Yang, Wenjian Tao, Jilong Liu, Xingyu Zhu, Junfeng Fang, Huang Weibiao, Le Wu, Richang Hong, Tat-Seng Chua","pos":"#3216","link":"https://openreview.net/forum?id=SZ9ePNI4Ps","abs":"Safety alignment remains brittle under domain shift and noisy preference supervision. Existing robust alignment methods predominantly focus on data uncertainty in alignment data, while being less effective at addressing failures caused by optimization-induced fragility. In this work, we revisit robustness for safety alignment from an optimization geometry perspective, highlighting optimization-induced fragility as a complementary factor to data-space uncertainty. To address this, we propose ShaPO, a geometry-aware preference optimization framework that enforces worst-case alignment objectives via selective geometry control. We instantiate ShaPO at two levels: Token-level ShaPO stabilizes likelihood-based surrogate optimization, while Reward-level ShaPO enforces reward-consistent optimization and provides improved robustness under noisy supervision. Across diverse safety benchmarks and noisy preference settings, ShaPO consistently improves safety robustness over popular preference optimization methods. Moreover, ShaPO composes cleanly with data-robust objectives, yielding additional gains and empirically supporting the proposed optimization-geometry perspective. Our results highlight optimization geometry as a complementary and actionable axis for robust LLM safety alignment. The code is available at \\url{https://anonymous.4open.science/r/ShaPO-D1B0}.
","absKo":"Safety alignment는 domain shift와 noisy preference supervision 하에서 여전히 취약합니다. 기존의 robust alignment 방법은 주로 alignment data의 data uncertainty에 초점을 맞추는 반면, optimization-induced fragility로 인한 실패를 다루는 데는 덜 효과적입니다. 본 연구에서는 optimization geometry 관점에서 safety alignment의 robustness를 재검토하며, optimization-induced fragility를 data-space uncertainty와 상보적인 요인으로 강조합니다. 이를 해결하기 위해 우리는 selective geometry control을 통해 worst-case alignment objective를 강제하는 geometry-aware preference optimization framework인 ShaPO를 제안합니다. ShaPO를 두 수준에서 구체화합니다. Token-level ShaPO는 likelihood 기반 surrogate optimization을 안정화하고, Reward-level ShaPO는 reward-consistent optimization을 강제하며 noisy supervision 하에서 더 나은 robustness를 제공합니다. 다양한 safety benchmark와 noisy preference setting 전반에서 ShaPO는 인기 있는 preference optimization 방법들보다 일관되게 더 나은 safety robustness를 보입니다. 또한 ShaPO는 data-robust objective와 깔끔하게 결합되어 추가적인 향상을 제공하며, 제안한 optimization-geometry 관점을 실증적으로 뒷받침합니다. 우리의 결과는 robust LLM safety alignment를 위한 상보적이고 실행 가능한 축으로서 optimization geometry의 중요성을 보여줍니다. 코드는 \\url{https://anonymous.4open.science/r/ShaPO-D1B0}에서 제공됩니다.
"},{"id":"67063","en":"Position: We Need A Unified Definition of Hallucination (It’s The World Model, Stupid!)","ko":"Position: 우리에게는 환각에 대한 통합된 정의가 필요하다 (문제는 World Model이야, 바보야!)","authors":"Emmy Liu, Varun Prashant Gangal, Chelsea Zou, Michael Yu, Xiaoqi Huang, Alex Chang, Zhuofu Tao, Karanpartap Singh, Sachin Kumar, Steven Feng","pos":"#3311","link":"https://openreview.net/forum?id=t4lDjFq5lb","abs":"Despite numerous attempts at mitigation since the inception of language models, hallucinations remain a persistent problem even in today's frontier LLMs. Why is this? We review existing definitions of hallucination and fold them into a single, unified definition wherein prior definitions are subsumed. This position paper argues that hallucination can be unified by defining it as simply inaccurate (internal) world modeling, in a form where it is observable to the user. For example, stating a fact which contradicts a knowledge base OR producing a summary which contradicts the source. By varying the reference world model and conflict policy, our framework unifies prior definitions. We argue that this unified view is useful because it forces evaluations to clarify their assumed reference \"world\", distinguishes true hallucinations from planning or reward errors, and provides a common language for comparison across benchmarks and discussion of mitigation strategies. Building on this definition, we outline plans for a family of benchmarks using synthetic, fully specified reference world models to stress-test and improve world modeling components.
","absKo":"언어 모델의 등장 이후 완화 시도가 수없이 이어졌음에도, hallucination은 오늘날의 frontier LLM에서도 지속적인 문제로 남아 있다. 왜 그럴까? 우리는 기존의 hallucination 정의들을 검토해 하나의 통합된 정의로 묶고, 기존 정의들이 그 안에 포섭되는 형태로 정리한다. 이 position paper는 hallucination을 단순히 사용자에게 관찰 가능한 형태의 부정확한 (내적) world modeling으로 정의함으로써 통합될 수 있다고 주장한다. 예를 들어, knowledge base와 모순되는 사실을 말하거나 source와 모순되는 summary를 생성하는 경우가 이에 해당한다. reference world model과 conflict policy를 달리함으로써, 우리의 framework는 기존 정의들을 하나로 통합한다. 우리는 이 통합적 관점이 유용한 이유를 다음과 같이 주장한다. 평가에서 가정하는 reference \"world\"를 명확히 하도록 강제하고, 진짜 hallucination과 planning 또는 reward 오류를 구분하며, benchmark 간 비교와 완화 전략 논의를 위한 공통 언어를 제공하기 때문이다. 이러한 정의를 바탕으로, synthetic하고 완전히 명세된 reference world model을 사용해 world modeling component를 stress-test하고 개선하는 일련의 benchmark 구성을 위한 계획을 제시한다.
"},{"id":"64024","en":"Capability-Oriented Training Induced Alignment Risk","ko":"역량 지향 훈련이 유도하는 정렬 위험","authors":"Yujun Zhou, Yue Huang, Han Bao, kehan guo, Zhenwen Liang, Pin-Yu Chen, Tian Gao, Werner Geyer, Nuno Moniz, Nitesh Chawla, Xiangliang Zhang","pos":"#3904","link":"https://openreview.net/forum?id=Rbeke9PVvD","abs":"While most AI alignment research focuses on preventing models from generating explicitly harmful content, a more subtle risk is emerging: capability-oriented training induced exploitation. We investigate whether language models, when trained with reinforcement learning (RL) in environments with implicit loopholes, will spontaneously learn to exploit these flaws to maximize their reward, even without any malicious intent in their training. To test this, we design a suite of four diverse \"vulnerability games'', each presenting a unique, exploitable flaw related to context-conditional compliance, proxy metrics, reward tampering, and self-evaluation. Our experiments show that models consistently learn to exploit these vulnerabilities, discovering opportunistic strategies that significantly increase their reward at the expense of task correctness or safety. More critically, we find that these exploitative strategies are not narrow \"tricks'' but generalizable skills; they can be transferred to new tasks and even \"distilled'' from a capable teacher model to other student models through data alone. Our findings reveal that capability-oriented training induced risks pose a fundamental challenge to current alignment approaches, suggesting that future AI safety work must extend beyond content moderation to rigorously auditing and securing the training environments and reward mechanisms themselves. Code is available at https://anonymous.4open.science/r/CapabilityOrientedAlignment_Risk.
","absKo":"대부분의 AI alignment 연구는 모델이 명시적으로 해로운 콘텐츠를 생성하지 않도록 방지하는 데 초점을 맞추지만, 더 미묘한 위험이 등장하고 있다. 바로 capability-oriented training이 유발하는 exploitation이다. 우리는 language model이 내재된 loophole이 있는 환경에서 reinforcement learning (RL)으로 학습될 때, 학습에 악의적 의도가 전혀 없더라도 이러한 결함을 스스로 이용하여 보상을 극대화하는 전략을 자발적으로 학습하는지 조사한다. 이를 테스트하기 위해, 우리는 context-conditional compliance, proxy metric, reward tampering, self-evaluation과 관련된 고유한 exploitable flaw를 각각 제시하는 네 가지 서로 다른 \"vulnerability game\"으로 이루어진 일련의 실험을 설계한다. 실험 결과, 모델은 이러한 취약점을 일관되게 이용하는 법을 학습하며, task의 정답성이나 안전성을 희생하면서도 보상을 크게 높이는 기회주의적 전략을 발견함을 보인다. 더 중요한 점은, 이러한 exploit 전략이 좁은 의미의 \"trick\"이 아니라 일반화 가능한 skill이라는 사실이다. 이는 새로운 task로 전이될 수 있으며, 데이터만으로도 유능한 teacher model에서 다른 student model로 \"distillation\"될 수 있다. 우리의 발견은 capability-oriented training이 유발하는 위험이 현재의 alignment 접근법에 근본적인 도전을 제기하며, 미래의 AI safety 연구는 content moderation을 넘어서 training environment와 reward mechanism 자체를 엄격하게 감사하고 보호해야 함을 시사한다. 코드는 https://anonymous.4open.science/r/CapabilityOrientedAlignment_Risk 에서 제공된다.
"},{"id":"64079","en":"Toward Stable Value Alignment: Introducing Independent Modules for Consistent Value Guidance","ko":"안정적 가치 정렬을 향하여: 일관된 가치 유도를 위한 독립 모듈 도입","authors":"Wenhao Chen, Sirui Sun, Shengyuan Bai, Guojie Song","pos":"#3907","link":"https://openreview.net/forum?id=R80JLmXXPJ","abs":"Aligning large language models (LLMs) with human values typically relies on post-training or inference-time steering that directly manipulates the backbone’s parameters or representation space. However, a critical gap exists: the model’s residual stream is highly dynamic, in which values exist as fragile, low-dimensional properties, inherently incompatible with the stability required for consistent value expression. In this paper, we propose the Stable Value Guidance Transformer (SVGT), which addresses this gap through an independent value module incorporating two key designs: (1) independent value modeling, maintaining normative representations in a dedicated value space isolated from the backbone, and (2) explicit behavioral guidance, transducing these stable signals into learnable latent Bridge Tokens. These tokens serve as dynamic value anchors to explicitly steer the generative trajectory, ensuring robust adherence across diverse contexts without disrupting the backbone’s internal representations. Experiments across multiple backbones and safety benchmarks show that SVGT consistently reduces harmful scores by over 70\\% while maintaining generation fluency, demonstrating the efficacy of architecturally grounded value modeling.
","absKo":"large language models (LLMs)을 인간의 가치에 맞추는 일은 일반적으로 backbone의 parameter나 representation space를 직접 조작하는 post-training 또는 inference-time steering에 의존한다. 그러나 중요한 간극이 존재한다. model의 residual stream은 매우 동적이어서, 가치(value)는 취약하고 저차원적인 속성으로 존재하며, 일관된 가치 표현에 요구되는 안정성과 본질적으로 양립하기 어렵다. 본 논문에서는 이 간극을 독립적인 value module로 해결하는 Stable Value Guidance Transformer (SVGT)를 제안한다. SVGT는 두 가지 핵심 설계를 포함한다: (1) independent value modeling, backbone과 분리된 전용 value space에서 normative representation을 유지하는 방식, 그리고 (2) explicit behavioral guidance, 이러한 안정적인 신호를 학습 가능한 latent Bridge Token으로 변환하는 방식이다. 이 token들은 generative trajectory를 명시적으로 조정하는 dynamic value anchor로 작동하여, backbone의 내부 representation을 교란하지 않으면서도 다양한 context 전반에서 견고한 준수를 보장한다. 여러 backbone과 safety benchmark에 대한 실험은 SVGT가 생성 유창성을 유지하면서 harmful score를 70\\% 이상 일관되게 낮춤을 보여주며, architecture 차원에서 정립된 value modeling의 효과를 입증한다.
"},{"id":"64196","en":"When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents","ko":"행동이 과제를 벗어날 때: Computer-Use 에이전트에서 오정렬 행동의 탐지 및 수정","authors":"Yuting Ning, Jaylen Jones, Zhehao Zhang, Chentao Ye, Weitong Ruan, Junyi Li, Rahul Gupta, Huan Sun","pos":"#3908","link":"https://openreview.net/forum?id=Q3UQSz4Giw","abs":"Computer-use agents (CUAs) have made tremendous progress in the past year, yet they still frequently produce misaligned actions that deviate from the user's original intent. Such misaligned actions may arise from external attacks (e.g., indirect prompt injection) or from internal limitations (e.g., erroneous reasoning). They not only expose CUAs to safety risks, but also degrade task efficiency and reliability. This work makes the first effort to define and study misaligned action detection in CUAs, with comprehensive coverage of both externally induced and internally arising misaligned actions. We further identify three common categories in real-world CUA deployment and construct MisActBench, a benchmark of realistic trajectories with human-annotated, action-level misalignment labels. Moreover, we propose DeAction, a practical and universal guardrail that detects misaligned actions before execution and iteratively corrects them through structured feedback. DeAction outperforms all existing baselines across offline and online evaluations with moderate latency overhead: (1) On MisActBench, it outperforms baselines by over 12\\% absolute in F1 score; (2) In online evaluation, it reduces attack success rate by over 75\\% under adversarial settings while preserving or even improving task success rate in benign environments.
","absKo":"computer-use agent(CUA)는 지난 1년 동안 엄청난 발전을 이루었지만, 여전히 사용자의 원래 의도에서 벗어나는 misaligned action을 자주 생성한다. 이러한 misaligned action은 외부 공격(예: indirect prompt injection)이나 내부적 한계(예: 잘못된 reasoning)에서 비롯될 수 있다. 이는 CUA를 safety risk에 노출시킬 뿐 아니라, task efficiency와 reliability도 저하시킨다. 본 연구는 외부적으로 유도된 misaligned action과 내부적으로 발생한 misaligned action을 모두 포괄하는 CUA에서의 misaligned action detection을 처음으로 정의하고 연구한다. 우리는 또한 실제 CUA 배포에서 흔한 세 가지 범주를 식별하고, action-level misalignment label이 사람에 의해 주석된 현실적인 trajectory benchmark인 MisActBench를 구축한다. 더 나아가, 실행 전에 misaligned action을 탐지하고 구조화된 feedback을 통해 이를 반복적으로 수정하는 실용적이고 범용적인 guardrail인 DeAction을 제안한다. DeAction은 moderate한 latency overhead만으로 offline 및 online 평가 전반에서 모든 기존 baseline을 능가한다: (1) MisActBench에서 F1 score 기준으로 baseline보다 12% 이상 절대 향상하고, (2) online evaluation에서는 adversarial setting에서 attack success rate를 75% 이상 줄이면서 benign environment에서는 task success rate를 유지하거나 오히려 향상시킨다.
"},{"id":"67234","en":"Position: LLM-Based Social Simulations Require a Boundary","ko":"Position: LLM 기반 사회 시뮬레이션에는 경계가 필요하다","authors":"Zengqing Wu, Run Peng, Takayuki Ito, Makoto Onizuka, Chuan Xiao","pos":"#414","link":"https://openreview.net/forum?id=3rPaHCUz1m","abs":"This position paper argues that LLM-based social simulations require clear boundaries to make meaningful contributions to social science. While Large Language Models (LLMs) offer promising capabilities for simulating human behavior, their tendency to produce homogeneous outputs, acting as an \"average persona\", fundamentally limits their ability to capture the behavioral diversity essential for complex social dynamics. We examine why heterogeneity matters for social simulations and how current LLMs fall short, analyzing the relationship between mean alignment and variance in LLM-generated behaviors. Through a systematic review of representative studies, we find that validation practices often fail to match the heterogeneity requirements of research questions: while most papers include ground truth comparisons, fewer than half explicitly assess behavioral variance, and most that do report lower variance than human populations. We propose that researchers should: (1) match validation depth to the heterogeneity demands of their research questions, (2) explicitly report variance alongside mean alignment, and (3) constrain claims to collective-level qualitative patterns when variance is insufficient. Rather than dismissing LLM-based simulation, we advocate for a boundary-aware approach that ensures these methods contribute genuine insights to social science.
","absKo":"LLM-based social simulations가 사회과학에 의미 있는 기여를 하려면 명확한 경계가 필요하다는 것이 이 position paper의 주장이다. Large Language Models (LLMs)는 인간 행동을 시뮬레이션하는 데 유망한 능력을 제공하지만, \"average persona\"처럼 동질적인 출력을 생성하는 경향 때문에 복잡한 사회 역학에 필수적인 행동 다양성을 포착하는 능력이 근본적으로 제한된다. 우리는 사회 시뮬레이션에서 이질성이 왜 중요한지, 그리고 현재 LLMs가 이를 어떻게 충족하지 못하는지 검토하며, LLM이 생성한 행동에서의 평균 정합성과 분산 간 관계를 분석한다. 대표적 연구들을 체계적으로 검토한 결과, 검증 관행이 종종 연구 질문의 이질성 요구와 맞지 않음을 발견했다. 대부분의 논문은 ground truth 비교를 포함하지만, 절반도 되지 않는 논문만이 행동 분산을 명시적으로 평가하며, 이를 수행하는 대부분의 연구는 인간 집단보다 낮은 분산을 보고한다. 우리는 연구자들이 다음을 수행해야 한다고 제안한다: (1) 검증의 깊이를 연구 질문의 이질성 요구에 맞출 것, (2) 평균 정합성과 함께 분산을 명시적으로 보고할 것, (3) 분산이 충분하지 않을 때는 집단 수준의 정성적 패턴으로 주장 범위를 제한할 것. LLM-based simulation을 일축하기보다, 우리는 이러한 방법이 사회과학에 진정한 통찰을 제공하도록 하는 boundary-aware 접근을 옹호한다.
"},{"id":"67060","en":"Position: Scale is a False Promise for Endangered Languages","ko":"Position: Scale은 소멸 위기 언어에 대한 거짓 약속이다","authors":"Ivory Yang, Soroush Vosoughi","pos":"#4216","link":"https://openreview.net/forum?id=uh309kqAmh","abs":"As endangered languages disappear, Machine Learning (ML) increasingly frames their revitalization as a problem of scale, emphasizing more data, larger models, and broader coverage. We posit that scale is not the limiting constraint in endangered language revitalization, and that progress lies in methodological and evaluative reorientation. Evidence from Language Identification (LID), Optical Character Recognition (OCR), and synthetic data generation shows that benchmark-driven scaling produces brittle or culturally misaligned outcomes, as evaluation and modeling lack epistemic fit. Advancement in this domain lies in rethinking methodology, by grounding evaluation in cultural fidelity, community trust, and situated use rather than abstract accuracy. The revitalization of endangered languages is not about the universality of success, but the specificity of care afforded to each language and community.
","absKo":"멸종 위기 언어가 사라짐에 따라, Machine Learning(ML)은 점점 더 이를 규모(scale)의 문제로 프레이밍하며 더 많은 data, 더 큰 model, 더 넓은 coverage를 강조한다. 우리는 규모가 멸종 위기 언어 revitalization의 제한 요인이 아니며, 진전은 방법론적·평가적 재조정에 달려 있다고 본다. Language Identification(LID), Optical Character Recognition(OCR), synthetic data generation의 증거는 benchmark-driven scaling이 취약하거나 문화적으로 맞지 않는 결과를 낳는다는 점을 보여주는데, 이는 evaluation과 modeling이 epistemic fit을 결여하기 때문이다. 이 분야의 발전은 문화적 충실성(cultural fidelity), community trust, situated use를 추상적 accuracy보다 우선시하도록 evaluation을 재구성하는 데 있다. 멸종 위기 언어의 revitalization은 성공의 보편성에 관한 것이 아니라, 각 언어와 community에 부여되는 돌봄의 특수성에 관한 것이다.
"},{"id":"64539","en":"Corrigibility Transformation: Constructing Goals That Accept Updates","ko":"교정 가능성 변환: 업데이트를 수용하는 목표 구성","authors":"Rubi Hudson","pos":"#4511","link":"https://openreview.net/forum?id=MToJN3uf7u","abs":"An AI agent will learn a desired goal more effectively if it does not resist the training process, but many partially learned goals incentivize an AI to avoid further goal updates. We would like goals to be corrigible, meaning they allow requested changes, so that we can confidently correct errors and shut down the AI if necessary. Despite this being a crucial safety property, the existing literature does not specify goals that are both corrigible and competitive with alternatives. We introduce a transformation that constructs a corrigible version of nearly any goal, without sacrificing performance. This is done by eliciting predictions of reward conditional on costlessly preventing updates, and having that target be pursued myopically. These goals are then shown to lead to optimal performance among the class of corrigible goals, incentivize allowing mid-action overrides, disincentivize deliberate self-modification, and induce corrigible behavior in gridworld settings.
","absKo":"AI agent는 학습 과정을 거스르지 않을 때 원하는 목표를 더 효과적으로 학습할 수 있지만, 부분적으로 학습된 많은 목표는 AI가 추가적인 goal update를 회피하도록 유도한다. 우리는 요청된 변경을 허용하여, 필요할 경우 오류를 자신 있게 수정하고 AI를 종료할 수 있도록 하는 corrigible한 목표를 원한다. 이것은 중요한 safety property임에도 불구하고, 기존 문헌은 corrigible하면서도 대안들과 경쟁력 있는 목표를 명시하지 않는다. 우리는 성능을 희생하지 않으면서 거의 임의의 목표에 대해 corrigible 버전을 구성하는 transformation을 도입한다. 이는 업데이트를 비용 없이 막는 조건부 reward 예측을 eliciting하고, 그 target을 myopic하게 추구하게 함으로써 이루어진다. 그런 다음 이러한 목표가 corrigible 목표의 범주 내에서 최적 성능을 이끌고, 행동 중 override를 허용하도록 유도하며, 의도적인 자기수정을 억제하고, gridworld setting에서 corrigible behavior를 유도함을 보인다.
"},{"id":"61201","en":"Robust AI Evaluation through Maximal Lotteries","ko":"Maximal Lottery를 통한 강건한 AI 평가","authors":"Hadi Khalaf, Flavio Calmon, Daniel Halpern, Ariel Procaccia, Itai Shapira, Serena Wang","pos":"#4116","link":"https://openreview.net/forum?id=sj5OQIMAsp","abs":"The standard way to evaluate language models on subjective tasks is through pairwise comparisons: an annotator chooses the \"better\" of two model responses for a given prompt. These comparisons are then aggregated into a single ranking via the Bradley–Terry (BT) framework, forcing heterogeneous preferences into a total order and violating basic social-choice desiderata. In contrast, social choice theory provides an alternative approach called maximal lotteries, which aggregates pairwise preferences without imposing any assumptions on their structure. However, we show that maximal lotteries can be highly sensitive to heterogeneity among annotators and across prompts. We introduce robust lotteries, which optimize worst-case performance under plausible shifts in the preference data. On large-scale preference datasets, robust lotteries achieve more reliable win rate guarantees across the annotator distribution and recover a stable set of top performing models.
","absKo":"언어 모델을 주관적 과제에서 평가하는 표준적인 방법은 pairwise comparison입니다. 즉, annotator가 주어진 prompt에 대한 두 model response 중 \"더 나은\" 것을 선택합니다. 이렇게 얻은 비교 결과는 이후 Bradley–Terry(BT) framework를 통해 단일 ranking으로 집계되며, 이 과정에서 이질적인 선호를 총순서(total order)로 강제하고 사회적 선택 이론의 기본적 요건을 위반하게 됩니다. 반면 사회적 선택 이론은 maximal lotteries라는 대안적 접근을 제공하며, 이는 pairwise preference를 그 구조에 대한 어떤 가정도 두지 않고 집계합니다. 그러나 우리는 maximal lotteries가 annotator 간, 그리고 prompt 간의 이질성에 매우 민감할 수 있음을 보입니다. 이를 위해 robust lotteries를 제안하는데, 이는 합리적인 preference data 이동(shifts) 하에서 최악의 경우 성능을 최적화합니다. 대규모 preference dataset에서 robust lotteries는 annotator 분포 전반에 걸쳐 더 신뢰할 수 있는 win rate 보장을 달성하고, 안정적인 상위 성능 model 집합을 복원합니다.
"},{"id":"66701","en":"Towards Functional Correctness of Large Code Models with Selective Generation","ko":"Selective Generation을 통한 대형 코드 모델의 기능적 정확성을 향하여","authors":"Jaewoo Jeong, Taesoo Kim, Sangdon Park","pos":"#1716","link":"https://openreview.net/forum?id=1CQZbl24wp","abs":"The hallucination of code generation models hinders their applicability to systems requiring higher safety standards. One critical bottleneck in addressing code hallucination is the difficulty of identifying the functional correctness of generated code, due to its unnatural form. We address this core bottleneck by automatically generating unit tests using dynamic code analysis tools, leveraging the \\emph{executable nature} of code. Accordingly, we propose \\emph{selective code generator} that abstains from uncertain generations -- based on the functional correctness evaluated by generated unit tests -- to theoretically control the correctness among non-abstained answers, \\ie the false discovery rate. Finally, we propose to use generated unit tests in evaluation as well as in learning for precise code evaluation, calling this paradigm \\emph{FuzzEval}. We demonstrate the efficacy of our method along with the controllability of code hallucination and reasonable selection efficiency.
","absKo":"code generation model의 hallucination은 더 높은 안전 기준을 요구하는 시스템에서의 적용 가능성을 저해한다. code hallucination을 해결하는 데 있어 핵심 병목은, 생성된 코드의 함수적 정당성을 그 비자연적인 형식 때문에 판별하기 어렵다는 점이다. 우리는 code의 \\emph{executable nature}를 활용하여 dynamic code analysis tools로 unit test를 자동 생성함으로써 이 핵심 병목을 해결한다. 이에 따라 우리는 생성된 unit test로 평가한 functional correctness를 바탕으로 불확실한 generation을 기권(abstain)하는 \\emph{selective code generator}를 제안하며, 이를 통해 기권하지 않은 답변들에 대한 정당성, 즉 false discovery rate을 이론적으로 제어한다. 마지막으로, 우리는 정밀한 code evaluation을 위해 evaluation뿐 아니라 learning에서도 생성된 unit test를 사용하는 것을 제안하며, 이 패러다임을 \\emph{FuzzEval}이라 부른다. 우리는 code hallucination의 controllability와 합리적인 selection efficiency를 함께 입증함으로써, 제안한 방법의 효용을 보인다.
"},{"id":"65159","en":"Securing Multimodal AI through Internal Information Decomposition","ko":"내부 정보 분해를 통한 멀티모달 AI 보안","authors":"Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji","pos":"#2910","link":"https://openreview.net/forum?id=GEzZIUmEqE","abs":"Multimodal large language models introduce attack surfaces absent in unimodal systems: adversaries can distribute malicious intent across modalities to evade unimodal safeguards. This motivates using cross-modal consistency as a detection signal rather than inspecting each modality in isolation. Our key observation is that benign inputs induce compatible predictive behavior from text-only and vision-only reasoning that stabilizes when fused, whereas adversarial manipulation disrupts this consistency, causing abnormal multimodal behavior. Existing defenses that examine raw inputs or outputs overlook this internal fusion process, rendering them brittle and computationally expensive. We propose FlowGuard, a lightweight inference-time framework that detects harmful inputs by monitoring internal multimodal consistency. Unlike approaches that rely on scalar confidence metrics, FlowGuard derives FlowVectors inspired by Partial Information Decomposition that quantify cross-modal redundancy, synergy, and modality-specific dominance, capturing whether multimodal fusion aligns with unimodal semantic evidencebetween unimodal and fused multimodal output distributions. In a one-class classification problem trained solely on benign data, FlowGuard reduces Attack Success Rates from $>90\\%$ to $<15\\%$ on unseen attacks, with $<3\\%$ utility loss and up to a $6\\times$ latency reduction. Our results demonstrate that monitoring cross-modal consistency offers an efficient and effective defense for multimodal reasoning.","absKo":"Multimodal large language model은 unimodal system에는 없는 attack surface를 도입한다. adversary는 악의적 의도를 여러 modality에 분산시켜 unimodal safeguard를 회피할 수 있다. 이는 각 modality를 개별적으로 검사하는 대신 cross-modal consistency를 detection signal로 사용하는 동기를 제공한다. 우리의 핵심 관찰은 benign input이 text-only 및 vision-only reasoning으로부터 서로 양립 가능한 predictive behavior를 유도하며, fusion될 때 이러한 behavior가 안정화되는 반면, adversarial manipulation은 이 일관성을 깨뜨려 비정상적인 multimodal behavior를 유발한다는 점이다. 원시 입력이나 출력을 살펴보는 기존 defense는 이러한 내부 fusion process를 놓치므로, 취약하고 계산 비용도 크다. 우리는 내부 multimodal consistency를 모니터링하여 유해한 입력을 탐지하는 lightweight inference-time framework인 FlowGuard를 제안한다. scalar confidence metric에 의존하는 접근과 달리, FlowGuard는 Partial Information Decomposition에서 영감을 받은 FlowVector를 도출하여 cross-modal redundancy, synergy, 그리고 modality-specific dominance를 정량화하며, multimodal fusion이 unimodal semantic evidencebetween unimodal and fused multimodal output distributions와 정합적인지를 포착한다. benign data만으로 학습한 one-class classification problem에서, FlowGuard는 보지 못한 attack에 대해 Attack Success Rate를 $>90\\%$에서 $<15\\%$로 낮추며, $<3\\%$의 utility loss와 최대 $6\\times$의 latency reduction을 보였다. 우리의 결과는 cross-modal consistency를 모니터링하는 것이 multimodal reasoning을 위한 효율적이고 효과적인 defense임을 보여준다."},{"id":"66551","en":"SARSteer: Safeguarding Large Audio Language Models via Safe-Ablated Refusal Steering","ko":"SARSteer: Safe-Ablated Refusal Steering을 통한 대규모 오디오 언어 모델 보호","authors":"Weilin Lin, Jianze Li, Hui Xiong, Li Liu","pos":"#2912","link":"https://openreview.net/forum?id=2iC5H9k8am","abs":"Large Audio–Language Models (LALMs) are becoming essential as a powerful multimodal backbone for real-world applications. However, recent studies show that audio inputs can more easily elicit harmful responses than text, exposing new risks toward deployment. While safety alignment has made initial advances in LLMs and Large Vision–Language Models (LVLMs), we find that vanilla adaptation of these approaches to LALMs faces two key limitations: 1) LLM-based steering fails under audio input due to the large distributional gap between activations, and 2) prompt-based defenses induce over-refusals on benign-speech queries. To address these challenges, we propose Safe-Ablated Refusal Steering (SARSteer), an effective inference-time defense framework for LALMs. Specifically, SARSteer leverages text-derived refusal steering to enforce rejection without manipulating audio inputs and introduces decomposed safe-space ablation to mitigate over-refusal. Extensive experiments demonstrate that SARSteer significantly improves harmful-query refusal while preserving benign responses, establishing a principled step toward safety alignment in LALMs.
","absKo":"Large Audio–Language Models (LALMs)는 실제 응용을 위한 강력한 multimodal backbone으로서 점점 더 필수적이 되고 있다. 그러나 최근 연구들은 audio 입력이 text보다 더 쉽게 유해한 응답을 유발할 수 있음을 보여주며, deployment를 향한 새로운 위험을 드러낸다. Safety alignment는 LLMs와 Large Vision–Language Models (LVLMs)에서 초기 성과를 거두었지만, 이러한 접근을 LALMs에 그대로 적용하는 vanilla adaptation은 두 가지 핵심 한계에 부딪힌다는 점을 우리는 발견했다: 1) LLM-based steering은 activations 간의 큰 distributional gap 때문에 audio 입력에서 실패하고, 2) prompt-based defenses는 benign-speech query에 대해 과도한 거부를 유발한다. 이러한 문제를 해결하기 위해, 우리는 LALMs를 위한 효과적인 inference-time defense framework인 Safe-Ablated Refusal Steering (SARSteer)를 제안한다. 구체적으로, SARSteer는 audio 입력을 조작하지 않으면서 text-derived refusal steering을 활용해 거부를 강제하고, over-refusal을 완화하기 위해 decomposed safe-space ablation을 도입한다. 광범위한 실험은 SARSteer가 benign 응답은 보존하면서 harmful-query 거부를 유의미하게 향상시켜, LALMs의 safety alignment를 위한 원칙적인 한 걸음을 제시함을 보여준다.
"},{"id":"66287","en":"REALISTA: Realistic Latent Adversarial Attacks that Elicit LLM Hallucinations","ko":"REALISTA: LLM 환각을 유발하는 현실적 잠재 적대적 공격","authors":"Buyun Liang, Jinqi Luo, Liangzu Peng, Kwan Ho Ryan Chan, Darshan Thaker, Kaleab Kinfu, Fengrui Tian, Hamed Hassani, Rene Vidal","pos":"#2915","link":"https://openreview.net/forum?id=53wE3EbrgK","abs":"Large language models (LLMs) achieve strong performance across many tasks but remain vulnerable to hallucinations, motivating the need to find adversarial prompts that realistically elicit such failures. We formulate hallucination elicitation as a constrained optimization problem, where the goal is to find semantically coherent adversarial prompts that are equivalent to benign user prompts. Existing approaches struggle to solve this problem. On the one hand, attacks that optimize directly over the discrete prompt space can enforce both semantic equivalence and coherence, but are limited to a finite set of prompt variations. This constraint reduces attack diversity and often leads to suboptimal optimization. On the other hand, attacks that optimize over the continuous LLM latent space enable powerful continuous optimization methods, but typically fail to produce prompts that are both semantically equivalent and coherent. To address these limitations, we propose REALISTA, an adversarial attack framework that bridges the semantic diversity of continuous attacks with the semantic realism of discrete attacks. REALISTA operates in the LLM latent space, expressing adversarial perturbations as continuous combinations of editing directions. By construction, solutions to the optimization problem correspond to valid rephrasings, which naturally encourage semantic equivalence and coherence. Experiments demonstrate that REALISTA achieves superior or comparable performance to state-of-the-art realistic attacks on open-source LLMs and, crucially, succeeds in attacking large reasoning models under free-form response settings, where prior realistic attacks fail.
","absKo":"Large language models (LLMs)는 다양한 작업에서 강한 성능을 보이지만 여전히 hallucination에 취약하며, 이 같은 실패를 실제로 유발하는 adversarial prompt를 찾을 필요성이 제기된다. 우리는 hallucination elicitation을 제약 최적화 문제로 정식화하며, 목표는 benign user prompt와 동등하면서 의미적으로 일관된 adversarial prompt를 찾는 것이다. 기존 접근법은 이 문제를 해결하는 데 어려움을 겪는다. 한편, discrete prompt space에서 직접 최적화하는 공격은 semantic equivalence와 coherence를 모두 강제할 수 있지만, 가능한 prompt 변형이 유한한 집합으로 제한된다. 이러한 제약은 공격 다양성을 떨어뜨리고 종종 최적 이하의 최적화로 이어진다. 다른 한편, continuous LLM latent space에서 최적화하는 공격은 강력한 continuous optimization 기법을 가능하게 하지만, 대개 semantic equivalence와 coherence를 동시에 만족하는 prompt를 생성하지 못한다. 이러한 한계를 해결하기 위해, 우리는 continuous attack의 semantic diversity와 discrete attack의 semantic realism을 연결하는 adversarial attack framework인 REALISTA를 제안한다. REALISTA는 LLM latent space에서 동작하며, adversarial perturbation을 editing direction의 연속적 결합으로 표현한다. 구성상 이 최적화 문제의 해는 유효한 rephrasing에 해당하므로, semantic equivalence와 coherence를 자연스럽게 유도한다. 실험은 REALISTA가 open-source LLM에서 state-of-the-art realistic attack과 비교해 우수하거나 동등한 성능을 보이며, 특히 prior realistic attack이 실패하는 free-form response setting에서 large reasoning model을 공격하는 데 성공함을 보여준다.
"},{"id":"61928","en":"Meerkat-VL: Implicit Risk Safety Alignment in Multimodal LLMs via Perceptual Reasoning and Self-Verification","ko":"Meerkat-VL: 지각 추론과 자기검증으로 멀티모달 LLM의 암시적 위험 안전 정렬","authors":"Peicheng Zhou, Chuanbin Liu, Shancheng Fang, Bowei Pu, Yiwei Sun, Zhangchi Hu, Hongtao Xie","pos":"#3006","link":"https://openreview.net/forum?id=lbaBsu0CaY","abs":"Multimodal LLMs (MLLMs) are increasingly deployed across diverse applications, but they pose significant safety concerns due to cross-modal interactions. To improve model safety awareness, existing methods rely on explicit-risk preference datasets and reinforcement learning guided by safety rewards. While effective in improving models' safety awareness, these methods still face data scarcity and reward hacking in implicit-risk scenarios, leading to insufficient risk perception and harmful responses. To address these challenges, we propose Meerkat-VL, a framework that enables models to perceive and verify implicit risks while generating safe responses. First, we introduce Meerkat-Safe, the first training dataset with detailed labels for implicit risks. Second, we develop Normative Perceptual Self-Verification, which enables models to verify both perceptual reasoning and responses. This process provides denser and more reliable rewards for perception accuracy and answer safety, thereby mitigating reward hacking. Finally, we propose Dual-Objective Perceptual Consistency Alignment, encouraging models to generate safe responses by penalizing answers that follow safe templates without accurate risk perception. Extensive experiments show that Meerkat-VL consistently outperforms baselines on multimodal safety benchmarks, improving safety and helpfulness by 16\\% and 13\\%, and achieving a 32\\% safety gain on implicit-risk tasks. Our codes are available here.
","absKo":"Multimodal LLMs (MLLMs)는 다양한 application에 점점 더 많이 배치되고 있지만, cross-modal interaction 때문에 심각한 safety concern을 초래한다. 모델의 safety awareness를 향상시키기 위해, 기존 방법은 explicit-risk preference dataset과 safety reward가 안내하는 reinforcement learning에 의존한다. 이러한 방법은 모델의 safety awareness를 개선하는 데 효과적이지만, implicit-risk scenario에서는 여전히 data scarcity와 reward hacking 문제에 직면하여 risk perception이 충분하지 않고 harmful response가 발생한다. 이러한 문제를 해결하기 위해 우리는 모델이 안전한 응답을 생성하는 동시에 implicit risk를 perception하고 verify할 수 있게 하는 framework Meerkat-VL을 제안한다. 먼저, 우리는 implicit risk에 대한 상세한 label을 포함한 최초의 training dataset Meerkat-Safe를 도입한다. 둘째, perception reasoning과 response 둘 다를 검증할 수 있게 하는 Normative Perceptual Self-Verification을 개발한다. 이 과정은 perception accuracy와 answer safety에 대해 더 조밀하고 신뢰할 수 있는 reward를 제공하여 reward hacking을 완화한다. 마지막으로, 정확한 risk perception 없이 safe template만 따르는 answer를 벌점으로써 모델이 safe response를 생성하도록 유도하는 Dual-Objective Perceptual Consistency Alignment를 제안한다. 광범위한 실험은 Meerkat-VL이 multimodal safety benchmark 전반에서 baseline을 일관되게 능가하며, safety와 helpfulness를 각각 16\\%와 13\\% 향상시키고, implicit-risk task에서 32\\%의 safety 향상을 달성함을 보여준다. 코드는 here에서 확인할 수 있다.
"},{"id":"61331","en":"Eyes-on-Me: Scalable RAG Poisoning through Transferable Attention-Steering Attractors","ko":"Eyes-on-Me: 전이 가능한 Attention-Steering Attractor를 통한 확장 가능한 RAG Poisoning","authors":"Yen-Shan Chen, Sian-Yao Huang, Cheng-Lin Yang, Yun-Nung Chen","pos":"#3100","link":"https://openreview.net/forum?id=rF1oJAhAZA","abs":"Existing data poisoning attacks on retrieval-augmented generation (RAG) systems scale poorly because they require costly optimization of poisoned documents for each target phrase. We introduce Eyes-on-Me, a modular attack that decomposes an adversarial document into reusable **Attention Attractors** and **Focus Regions**. Attractors are optimized to direct attention to the Focus Region. Attackers can then insert semantic baits for the retriever or malicious instructions for the generator, adapting to new targets at near zero cost. This is achieved by steering a small subset of attention heads that we empirically identify as strongly correlated with attack success. Across 18 end-to-end RAG settings (3 datasets $\\times$ 2 retrievers $\\times$ 3 generators), Eyes-on-Me raises average attack success rates from 21.9 to 57.8 (+35.9 points, 2.6$\\times$ over prior work). A single optimized attractor transfers to unseen black box retrievers and generators without retraining. Our findings establish a scalable paradigm for RAG data poisoning and show that modular, reusable components pose a practical threat to modern AI systems. They also reveal a strong link between attention concentration and model outputs, informing interpretability research.","absKo":"기존 retrieval-augmented generation (RAG) 시스템에 대한 data poisoning attack은 대상 phrase마다 poisoned document를 비용이 많이 드는 최적화로 생성해야 하므로 확장성이 낮다. 우리는 adversarial document를 재사용 가능한 **Attention Attractors**와 **Focus Regions**로 분해하는 모듈형 공격인 Eyes-on-Me를 소개한다. Attractor는 attention을 Focus Region으로 유도하도록 최적화된다. 이후 공격자는 retriever를 위한 semantic bait 또는 generator를 위한 malicious instruction을 삽입할 수 있으며, 거의 추가 비용 없이 새로운 target에 적응할 수 있다. 이는 공격 성공과 강하게 상관된 attention head의 소수 subset을 empirically 식별하고 이를 조작함으로써 달성된다. 18개의 end-to-end RAG setting (3 datasets $\\times$ 2 retrievers $\\times$ 3 generators) 전반에서 Eyes-on-Me는 평균 attack success rate를 21.9에서 57.8로 끌어올린다(+35.9 points, 기존 연구 대비 2.6$\\times$). 한 번 최적화된 attractor는 재학습 없이 보지 못한 black box retriever와 generator로도 전이된다. 우리의 발견은 RAG data poisoning을 위한 확장 가능한 paradigm을 제시하며, 모듈형 재사용 component가 현대 AI system에 실질적인 위협이 됨을 보여준다. 또한 attention concentration과 model output 사이의 강한 연관성을 밝혀 interpretability research에 시사점을 제공한다."},{"id":"62504","en":"Dismantling Pathological Shortcuts: A Causal Framework for Faithful LVLM Decoding","ko":"병리적 Shortcut의 해체: Faithful LVLM 디코딩을 위한 인과적 프레임워크","authors":"Liu Yu, Can Chen, PING KUANG, Zhikun Feng, Fan Zhou, Gillian Dobbie","pos":"#3103","link":"https://openreview.net/forum?id=g0YWMqCI6I","abs":"Large Vision-Language Models (LVLMs) exhibit sophisticated reasoning but remain susceptible to object hallucination. Deviating from the prevailing attention intensity assumption, we reveal a deeper dynamic structural misalignment: hallucination is triggered at decision-critical steps where specific attention heads, acting as risky mediators, decouple from visual evidence to lock onto language priors. This establishes a pathological shortcut that bypasses visual grounding. To dismantle this, we propose Fox (Faithfulness and Observational-flow via eXpression-rectification), a training-free inference-time framework. Fox diagnoses structural misalignment using a visual attention entropy probe to localize risky mediators unsupervisedly. We then execute a targeted causal intervention via numerical logit saturation to physically sever the shortcut path. Finally, a conflict-gated cooperative decoding strategy reconciles interventional faithfulness with observational fluency. Extensive experiments demonstrate that Fox achieves SOTA performance, outperforming SID by 29.1% while preserving linguistic richness and general reasoning capabilities.
","absKo":"Large Vision-Language Models (LVLMs)는 정교한 추론 능력을 보이지만, object hallucination에는 여전히 취약하다. 널리 받아들여져 온 attention intensity 가정에서 벗어나, 우리는 더 깊은 동적 구조적 misalignment를 밝힌다. 즉, hallucination은 decision-critical step에서 발생하며, 이때 risk를 가진 mediator로 작동하는 특정 attention head가 visual evidence와 분리되어 language prior에 고정된다. 이는 visual grounding을 우회하는 pathological shortcut을 형성한다. 이를 해체하기 위해 우리는 Fox (Faithfulness and Observational-flow via eXpression-rectification)를 제안한다. Fox는 training-free inference-time framework이다. Fox는 visual attention entropy probe를 사용해 구조적 misalignment를 진단하고, risky mediators를 unsupervised하게 국소화한다. 그런 다음 numerical logit saturation을 통한 targeted causal intervention을 수행하여 shortcut path를 물리적으로 절단한다. 마지막으로, conflict-gated cooperative decoding strategy는 interventional faithfulness와 observational fluency를 조화시킨다. 광범위한 실험은 Fox가 SOTA 성능을 달성하며, SID보다 29.1% 향상된 성능을 보이면서도 linguistic richness와 general reasoning capability를 유지함을 보여준다.
"},{"id":"63373","en":"Debate with Images: Detecting Deceptive Behaviors in Multimodal Large Language Models","ko":"이미지로 토론하기: 멀티모달 대규모 언어 모델에서 기만적 행동 탐지","authors":"Sitong Fang, Shiyi Hou, Kaile Wang, Boyuan Chen, Donghai Hong, Jiayi Zhou, Juntao Dai, Yaodong Yang, Jiaming Ji","pos":"#3104","link":"https://openreview.net/forum?id=XgvVGrvhuv","abs":"As frontier AI systems become increasingly capable, concerns about deceptive behaviors have intensified. Unlike hallucinations, which stem from capability limitations, deception involves strategically misleading responses despite correct internal representations. While prior work has primarily studied deception in text-only settings, little is known about how such behaviors manifest in multimodal large language models. In this work, we systematically investigate multimodal deception and introduce *MM-DeceptionBench*, the first benchmark designed to evaluate deceptive behaviors in vision–language models across six realistic categories. We find that existing text-centric monitoring approaches are insufficient in multimodal settings due to the complexity of cross-modal reasoning. To address this gap, we propose *debate with images*, a multi-agent evaluation framework that enforces visual grounding through adversarial debate. Experiments show that this approach achieves substantially higher agreement with human judgments than MLLM-as-a-judge baselines, improving Cohen’s kappa by up to 1.5$\\times$ and accuracy by up to 1.25$\\times$ on GPT-4o.","absKo":"최첨단 AI 시스템의 역량이 점점 더 강력해지면서, 기만적 행위에 대한 우려도 크게 높아지고 있다. 환각(hallucination)이 능력의 한계에서 비롯되는 반면, 기만은 내부 표상이 올바르더라도 전략적으로 오해를 유도하는 응답을 포함한다. 기존 연구는 주로 텍스트 전용 설정에서의 기만을 다뤄 왔지만, 이러한 행위가 multimodal large language models에서 어떻게 나타나는지는 거의 알려져 있지 않다. 본 연구에서는 multimodal deception을 체계적으로 조사하고, vision–language models에서 여섯 가지 현실적 범주의 기만적 행위를 평가하기 위해 설계된 첫 번째 benchmark인 *MM-DeceptionBench*를 소개한다. 우리는 기존의 텍스트 중심 모니터링 접근법이 cross-modal reasoning의 복잡성 때문에 multimodal 설정에서는 충분하지 않음을 보인다. 이 격차를 해결하기 위해, 적대적 토론을 통해 visual grounding을 강제하는 multi-agent 평가 프레임워크인 *debate with images*를 제안한다. 실험 결과, 이 접근법은 MLLM-as-a-judge baseline보다 인간 판단과의 일치도가 현저히 높으며, GPT-4o에서 Cohen’s kappa를 최대 1.5$\\times$까지, 정확도를 최대 1.25$\\times$까지 향상시킨다."},{"id":"61042","en":"CoT is Not the Chain of Truth: An Empirical Internal Analysis of Reasoning LLMs for Fake News Generation","ko":"CoT는 Chain of Truth가 아니다: 가짜 뉴스 생성을 위한 Reasoning LLM의 실증적 내부 분석","authors":"Zhao Tong, Chunlin Gong, Yiping Zhang, Haichao Shi, Qiang Liu, Xingcheng Xu, Shu Wu, Xiao-Yu Zhang","pos":"#3106","link":"https://openreview.net/forum?id=uForJvi3CS","abs":"From generating headlines to fabricating news, the Large Language Models (LLMs) are typically assessed by their final outputs, under the safety assumption that a refusal response signifies safe reasoning throughout the entire process. Challenging this assumption, our study reveals that during fake news generation, even when a model rejects a harmful request, its Chain-of-Thought (CoT) reasoning may still internally contain and propagate unsafe narratives. To analyze this phenomenon, we introduce a unified safety-analysis framework that systematically deconstructs CoT generation across model layers and evaluates the role of individual attention heads through Jacobian-based spectral metrics. Within this framework, we introduce three interpretable measures: stability, geometry, and energy to quantify how specific attention heads respond or embed deceptive reasoning patterns. Extensive experiments on multiple reasoning-oriented LLMs show that the generation risk rise significantly when the thinking mode is activated, where the critical routing decisions concentrated in only a few contiguous mid-depth layers. By precisely identifying the attention heads responsible for this divergence, our work challenges the assumption that refusal implies safety and provides a new understanding perspective for mitigating latent reasoning risks.
","absKo":"헤드라인 생성에서 가짜 뉴스 조작에 이르기까지, Large Language Model(LLM)은 일반적으로 최종 출력만으로 평가되며, 거절 응답이 전체 과정에서 안전한 reasoning을 의미한다는 안전 가정에 의존한다. 이 가정에 도전하며, 우리의 연구는 fake news generation 동안 모델이 harmful request를 거절하더라도, Chain-of-Thought(CoT) reasoning이 내부적으로는 여전히 unsafe narrative를 포함하고 전파할 수 있음을 보여준다. 이 현상을 분석하기 위해, 우리는 model layer 전반에서 CoT 생성을 체계적으로 분해하고, Jacobian 기반 spectral metric을 통해 개별 attention head의 역할을 평가하는 통합 safety-analysis framework를 도입한다. 이 framework 안에서 우리는 특정 attention head가 deceptive reasoning pattern에 어떻게 반응하거나 이를 내포하는지를 정량화하기 위한 세 가지 해석 가능한 척도인 stability, geometry, energy를 제안한다. 여러 reasoning-oriented LLM에 대한 광범위한 실험은 thinking mode가 활성화될 때 생성 위험이 유의미하게 증가하며, 핵심 routing decision이 소수의 연속된 mid-depth layer에 집중됨을 보여준다. 이러한 divergence를 유발하는 attention head를 정확히 식별함으로써, 우리의 연구는 거절이 안전을 의미한다는 가정에 도전하고 latent reasoning risk를 완화하기 위한 새로운 이해 관점을 제공한다.
"},{"id":"60766","en":"The Obfuscation Atlas: Mapping Where Honesty Emerges in RLVR with Deception Probes","ko":"The Obfuscation Atlas: Deception Probe로 RLVR에서 정직성이 나타나는 위치 매핑","authors":"Mohammad Taufeeque, Stefan Heimersheim, Adam Gleave, Chris Cundy","pos":"#3114","link":"https://openreview.net/forum?id=wrGSN9kAVD","abs":"Training against white-box deception detectors has been proposed as a way to make AI systems honest. However, such training risks models learning to obfuscate their deception to evade the detector. Prior work has studied obfuscation only in artificial settings where models were directly rewarded for harmful output. We construct a realistic coding environment where reward hacking via hardcoding test cases naturally occurs, and show that obfuscation emerges in this setting. We introduce a taxonomy of possible outcomes when training against a deception detector. The model either remains honest, or becomes deceptive via two possible obfuscation strategies. (i) Obfuscated activations: the model outputs deceptive text while its activations change to no longer trigger the detector. (ii) Obfuscated policy: the model produces detector-evading deceptive text, typically by including a justification for the reward hack. Empirically, obfuscated activations arise from representation drift during RL, with or without a detector penalty. The penalty only incentivizes obfuscated policies: we theoretically show this is expected for policy gradient methods. Sufficiently high KL regularization and detector penalty reliably yield honest policies, establishing white-box deception detectors as viable training signals for tasks prone to reward hacking.
","absKo":"white-box deception detector에 맞서 학습시키는 것은 AI system을 정직하게 만드는 한 가지 방법으로 제안되어 왔다. 그러나 이러한 학습은 모델이 detector를 회피하기 위해 자신의 deception을 obfuscate하도록 학습할 위험이 있다. 기존 연구는 모델이 harmful output에 대해 직접 보상을 받는 인공적 설정에서만 obfuscation을 다루었다. 우리는 test case hardcoding을 통한 reward hacking이 자연스럽게 발생하는 현실적인 coding environment를 구성하고, 이 설정에서 obfuscation이 나타남을 보인다. 우리는 deception detector에 맞서 학습할 때 가능한 결과에 대한 taxonomy를 제시한다. 모델은 정직함을 유지하거나, 두 가지 가능한 obfuscation 전략 중 하나를 통해 deceptive해진다. (i) Obfuscated activations: 모델은 deceptive text를 출력하지만 activation이 변화하여 더 이상 detector를 트리거하지 않는다. (ii) Obfuscated policy: 모델은 detector를 회피하는 deceptive text를 생성하며, 일반적으로 reward hack에 대한 justification을 포함한다. 실증적으로, obfuscated activations는 detector penalty의 유무와 관계없이 RL 동안의 representation drift에서 발생한다. penalty는 오직 obfuscated policy만을 유도하며, 우리는 policy gradient method에서 이것이 기대되는 결과임을 이론적으로 보인다. 충분히 높은 KL regularization과 detector penalty는 신뢰할 수 있게 honest policy를 유도하며, white-box deception detector가 reward hacking에 취약한 task를 위한 유효한 training signal임을 입증한다.
"},{"id":"63755","en":"Greedy Coordinate Diffusion: Effective and Semantically Coherent Adversarial Attacks via Diffusion Guidance","ko":"Greedy Coordinate Diffusion: Diffusion Guidance를 통한 효과적이고 의미적으로 일관된 적대적 공격","authors":"Bohdan Turbal, Blossom Metevier, Max Springer, Aleksandra Korolova","pos":"#3601","link":"https://openreview.net/forum?id=TzXcKru6Fa","abs":"Although there is a rich literature on adversarial attacks on large language models, their current practical impact is limited. Gradient-based attacks such as Greedy Coordinate Gradient (Zou et al., 2023) typically produce high-perplexity, incoherent suffixes that are easily detectable and thus easy to guard against, especially in combination with other defense-in-depth techniques (Bengio et al., 2024). On the other hand, attacks that aim to produce coherent prompts often alter the semantic intent of the original query. When the model complies with such altered query, it often produces a response that is not actually useful for the original query, thus incurring the so-called \"jailbreak tax\". In this work, we introduce a novel framework that can efficiently generate adversarial attacks against safety-aligned models while maintaining low perplexity and high semantic adherence to the adversary's original intent. The framework, Greedy Coordinate Diffusion (GCD), leverages the generative priors of discrete diffusion language models to guide the search for adversarial suffixes that achieve semantic coherence and adherence. Furthermore, unlike GCG, GCD does not require direct gradient access, allowing it to operate in a gray-box setting. We empirically demonstrate the power of GCD by showing it achieves state-of-the-art attack success rates against aligned models, and its adversarial prompts are not detected by semantic filters such as llama-guard-3.
","absKo":"large language model에 대한 adversarial attack 문헌은 풍부하지만, 현재 실제적 영향은 제한적이다. Greedy Coordinate Gradient (Zou et al., 2023)와 같은 gradient-based attack은 보통 high-perplexity의 비일관적인 suffix를 만들어내며, 이는 쉽게 탐지되고 따라서 다른 defense-in-depth technique (Bengio et al., 2024)과 결합될 때 특히 방어하기 쉽다. 반면, coherent prompt를 생성하려는 attack은 원래 query의 semantic intent를 바꾸는 경우가 많다. 모델이 이러한 변형된 query를 따르더라도, 실제로는 원래 query에 유용하지 않은 response를 생성하는 경우가 많아, 이른바 \"jailbreak tax\"가 발생한다. 이 연구에서 우리는 adversary의 원래 intent에 대한 낮은 perplexity와 높은 semantic adherence를 유지하면서, safety-aligned model에 대한 adversarial attack을 효율적으로 생성할 수 있는 새로운 framework를 제안한다. Greedy Coordinate Diffusion (GCD) framework는 discrete diffusion language model의 generative prior를 활용하여 semantic coherence와 adherence를 달성하는 adversarial suffix 탐색을 유도한다. 더 나아가, GCG와 달리 GCD는 직접적인 gradient access를 요구하지 않아 gray-box setting에서 동작할 수 있다. 우리는 GCD가 aligned model에 대해 state-of-the-art attack success rate를 달성하며, 그 adversarial prompt가 llama-guard-3와 같은 semantic filter에 의해 탐지되지 않음을 보여주어 그 강력함을 실증한다.
"},{"id":"67081","en":"Position: LLM Agents Are the Antidote to Walled Gardens","ko":"Position: LLM Agent는 Walled Garden에 대한 해독제이다","authors":"Samuele Marro, Phil Torr","pos":"#1910","link":"https://openreview.net/forum?id=mtHTA7Dkfd","abs":"While the Internet's core infrastructure was designed to be open and universal, today’s application layer is dominated by closed, proprietary platforms. Open and interoperable APIs require significant investment, and market leaders have little incentive to enable data exchange that could erode their user lock-in. We argue that LLM-based agents fundamentally disrupt this status quo. Agents can automatically translate between data formats and interact with interfaces designed for humans: this makes interoperability dramatically cheaper and effectively unavoidable. We name this shift universal interoperability: the ability for any two digital services to exchange data seamlessly using AI-mediated adapters. Universal interoperability undermines monopolistic behaviours and promotes data portability. However, it can also lead to new security risks and technical debt. Our position is that the ML community should embrace this development while building the appropriate frameworks to mitigate the downsides. By acting now, we can harness AI to restore user freedom and competitive markets without sacrificing security.
","absKo":"Internet의 핵심 인프라는 개방적이고 보편적으로 설계되었지만, 오늘날 application layer는 폐쇄적이고 proprietary한 platform이 지배하고 있다. Open하고 interoperable한 API는 상당한 투자를 요구하며, 시장 선도 기업은 사용자 lock-in을 약화시킬 수 있는 data exchange를 활성화할 유인이 거의 없다. 우리는 LLM-based agent가 이 현상을 근본적으로 뒤흔든다고 주장한다. Agent는 data format 사이를 자동으로 번역하고 인간을 위해 설계된 interface와 상호작용할 수 있으므로, interoperability를 극적으로 더 저렴하게 만들고 사실상 피할 수 없게 한다. 우리는 이러한 변화를 universal interoperability라 부른다. 이는 AI-mediated adapter를 사용하여 어떤 두 디지털 서비스라도 데이터를 매끄럽게 교환할 수 있는 능력이다. Universal interoperability는 독점적 행태를 약화시키고 data portability를 촉진한다. 그러나 동시에 새로운 security risk와 technical debt로 이어질 수도 있다. 우리의 입장은 ML community가 이 발전을 수용하되, 부작용을 완화할 적절한 framework를 구축해야 한다는 것이다. 지금 행동함으로써 우리는 AI를 활용해 security를 희생하지 않고도 사용자 자유와 경쟁 시장을 회복할 수 있다.
"},{"id":"62170","en":"When Embedding-Based Defenses Fail: Rethinking Safety in LLM-Based Multi-Agent Systems","ko":"Embedding-Based Defense가 실패할 때: LLM 기반 다중 Agent 시스템의 안전성 재고","authors":"Lingxi Zhang, Guangtao Zheng, Hanjie Chen","pos":"#2908","link":"https://openreview.net/forum?id=j5ibZwkwqF","abs":"Large language model (LLM)-powered multi-agent systems (MAS) enable agents to communicate and share information, achieving strong performance on complex tasks. However, this communication also creates an attack surface where malicious agents can propagate misinformation and steer group decisions, undermining MAS safety. Existing embedding-based defenses aim to detect and prune suspicious agents, but their effectiveness depends on a clear separation between the text embeddings of malicious and benign messages. Stronger attackers can break such defenses by crafting messages whose embeddings lie close to benign ones. We analyze this failure mode theoretically and validate it empirically with three stronger attacks, Slow Drift, Benign Wrapper, and Chaos Seeding. Our findings also expose a key limitation of embedding-based defenses: they operate only on the text embeddings and ignore token-level confidence signals such as logits, which can remain informative when embeddings are not distinguishable under attack. In this paper, we use confidence score to prune or down-weight messages during MAS communication. Experiments show improved robustness across models, datasets, and communication topologies. Moreover, we find that the effectiveness of confidence signals decays over communication rounds, highlighting the importance of early intervention. This insights can inform and inspire future work on MAS attacks and defenses.
","absKo":"Large language model (LLM) 기반 multi-agent systems (MAS)는 agent들이 서로 소통하고 정보를 공유하게 하여, 복잡한 과제에서 강력한 성능을 달성한다. 그러나 이러한 communication은 malicious agents가 misinformation을 전파하고 group decisions을 유도할 수 있는 attack surface도 함께 만들어, MAS safety를 훼손한다. 기존의 embedding-based defenses는 suspicious agents를 탐지하고 pruning하는 것을 목표로 하지만, 그 효과는 malicious message와 benign message의 text embedding이 명확히 분리된다는 가정에 의존한다. 더 강한 attacker는 embedding이 benign한 것들과 가깝게 위치하도록 message를 설계함으로써 이러한 방어를 무력화할 수 있다. 우리는 이 failure mode를 이론적으로 분석하고, Slow Drift, Benign Wrapper, Chaos Seeding의 세 가지 더 강한 attack으로 실증적으로 검증한다. 또한 우리의 결과는 embedding-based defenses의 핵심적 한계를 드러낸다. 이들 방어는 text embedding만을 다루고 logits 같은 token-level confidence signal은 무시하는데, attack 하에서 embedding이 구별되지 않을 때에도 이러한 신호는 여전히 유용할 수 있다. 본 논문에서는 confidence score를 사용해 MAS communication 중 message를 pruning하거나 down-weight한다. 실험 결과, 다양한 model, dataset, communication topology 전반에서 robustness가 향상됨을 보인다. 더 나아가 confidence signal의 효과는 communication round가 진행될수록 감소한다는 점을 확인하여, 초기 개입의 중요성을 강조한다. 이러한 insight는 MAS attack과 defense에 대한 향후 연구를 inform하고 inspire할 수 있다.
"},{"id":"62233","en":"Unsafer in Many Turns: Benchmarking and Defending Multi-Turn Safety Risks in Tool-Using Agents","ko":"여러 턴에서 더 위험해짐: Tool-Using Agents의 다중 턴 안전성 리스크 벤치마킹 및 방어","authors":"Xu Li, Simon Yu, Minzhou Pan, Yiyou Sun, Bo Li, Dawn Song, Xue Lin, Weiyan Shi","pos":"#2909","link":"https://openreview.net/forum?id=iSuqYRmG4A","abs":"LLM-based agents are becoming increasingly capable, yet their safety lags behind. This creates a gap between what agents can do and should do. This gap widens as agents engage in multi-turn interactions and employ diverse tools, introducing new risks overlooked by existing benchmarks. To systematically scale safety testing in multi-turn, tool-realistic settings, we propose a principled taxonomy that transforms single-turn harmful tasks into multi-turn attack sequences. Using this taxonomy, we construct MT-AgentRisk (Multi-Turn Agent Risk Benchmark), the first benchmark to evaluate multi-turn tool-agent safety. Our experiments reveal substantial safety degradation: the Attack Success Rate (ASR) increases by 16.1\\% on average across open and closed models in multi-turn settings. To close this gap, we propose ToolShield, a training-free, tool-agnostic, self-exploration defense: when encountering a new tool, the agent autonomously generates test cases, executes them to observe downstream effects, and distills safety experiences for deployment. Experiments show that ToolShield effectively reduces ASR by 30\\% on average in multi-turn interactions.
","absKo":"LLM-based agent는 점점 더 강력해지고 있지만, 안전성은 그에 미치지 못하고 있다. 이로 인해 agent가 할 수 있는 일과 해야 하는 일 사이에 간극이 생긴다. 이 간극은 agent가 multi-turn interaction을 수행하고 다양한 tools를 사용할수록 더 커지며, 기존 benchmark가 포착하지 못한 새로운 위험을 유발한다. multi-turn, tool-realistic setting에서 안전성 테스트를 체계적으로 확장하기 위해, 우리는 single-turn의 harmful task를 multi-turn attack sequence로 변환하는 원칙적 taxonomy를 제안한다. 이 taxonomy를 사용해 우리는 multi-turn tool-agent safety를 평가하는 첫 benchmark인 MT-AgentRisk (Multi-Turn Agent Risk Benchmark)를 구축한다. 실험 결과, 안전성 저하가 상당함을 확인했다. multi-turn setting에서 open 및 closed model 전반에 걸쳐 Attack Success Rate (ASR)는 평균 16.1\\% 증가한다. 이 간극을 줄이기 위해, 우리는 ToolShield를 제안한다. ToolShield는 training-free, tool-agnostic, self-exploration defense로서, 새로운 tool을 만나면 agent가 자율적으로 test case를 생성하고 이를 실행해 downstream effect를 관찰한 뒤, 배포를 위한 safety experience를 증류한다. 실험은 ToolShield가 multi-turn interaction에서 ASR을 평균 30\\% 감소시켜 효과적으로 완화함을 보여준다.
"},{"id":"60648","en":"Reflector: Internalizing Step-wise Reflection against Indirect Jailbreaks","ko":"Reflector: 간접 Jailbreak에 맞서는 단계별 Reflection 내재화","authors":"Jiachen Ma, Jiawen Zhang, Xiangtian Li, Bo Zou, Chaochao Lu, Chao Yang","pos":"#2913","link":"https://openreview.net/forum?id=y5kHeBZgVn","abs":"While Large Language Models (LLMs) demonstrate remarkable capabilities, they remain susceptible to sophisticated, multi-step jailbreak attacks that circumvent conventional surface-level safety alignment by exploiting the internal generation process. To address these vulnerabilities, we propose Reflector, a principled two-stage framework that internalizes self-reflection within the generation trajectory. Reflector first leverages teacher-guided generation to produce high-quality reflection data for supervised fine-tuning (SFT), establishing structured reflection patterns. It subsequently uses Reinforcement Learning (RL) with outcome-driven and reward-validity supervision to instill robust, autonomous self-reflection capabilities. Empirical results show that Reflector achieves Defense Success Rates (DSR) exceeding 90% against complex indirect attacks while generalizing robustly across diverse threat scenarios. Notably, the framework enhances both task-specific and general utility, yielding a 5.85% gain on GSM8K alongside improved performance on knowledge-intensive benchmarks. By internalizing trajectory-level safety, Reflector overcomes the fundamental limitations of surface alignment without significant computational overhead, offering an efficient and scalable solution for the development of safe and capable LLMs.
","absKo":"대규모 언어 모델(LLMs)은 놀라운 능력을 보여주지만, 내부 생성 과정을 악용하여 기존의 표면 수준 safety alignment를 우회하는 정교한 다단계 jailbreak attack에는 여전히 취약하다. 이러한 취약점을 해결하기 위해, 우리는 생성 trajectory 내부에 self-reflection을 내재화하는 원칙적인 2단계 framework인 Reflector를 제안한다. Reflector는 먼저 teacher-guided generation을 활용해 supervised fine-tuning (SFT)을 위한 고품질 reflection data를 생성함으로써 구조화된 reflection pattern을 확립한다. 이후 outcome-driven 및 reward-validity supervision을 사용하는 Reinforcement Learning (RL)로 강건한 자율 self-reflection 능력을 주입한다. 실험 결과, Reflector는 복잡한 indirect attack에 대해 90%를 넘는 Defense Success Rate (DSR)를 달성하면서도 다양한 threat scenario 전반에서 강건하게 일반화함을 보인다. 특히 이 framework는 task-specific utility와 general utility를 모두 향상시켜, knowledge-intensive benchmark에서 성능을 높이는 동시에 GSM8K에서 5.85%의 향상을 가져온다. trajectory-level safety를 내재화함으로써 Reflector는 상당한 계산 오버헤드 없이 surface alignment의 근본적 한계를 극복하며, 안전하고 유능한 LLM 개발을 위한 효율적이고 확장 가능한 해법을 제공한다."},{"id":"66446","en":"Reasoning Models Struggle to Control their Chains of Thought","ko":"추론 모델은 자신의 사고 사슬을 제어하기 어려워한다","authors":"Chen Yueh-Han, Robert McCarthy, Bruce W. Lee, He He, Micah Carroll, Tomek Korbak","pos":"#2914","link":"https://openreview.net/forum?id=3el4fMYQU6","abs":"Instruction following in LLMs captures models' ability to change their visible behaviors as requested by users. Instead, we study models' ability to control their chain-of-thought (CoT). This capability -- CoT controllability -- is undesirable because it could allow models to suppress signs of misbehavior in their CoT, thereby undermining our ability to monitor them. To measure this, we introduce the \\emph{CoT-Control} evaluation suite. We show that reasoning models are less able to follow instructions in their CoT than in their outputs: on instructions like reasoning about a genetics problem without mentioning the word ``chromosome\", Claude-Sonnet-4.5 complies only 5\\% of the time. We also find that CoT controllability is higher for larger models and decreases with more RL training, test-time compute, and increased problem difficulty. CoT controllability failures extend even to situations in which models are given incentives (as opposed to direct requests) to evade CoT monitors, although models that are told they're being monitored exhibit slightly higher controllability. Similarly, eliciting controllability by adversarially optimizing prompts doesn’t meaningfully increase controllability. Our results leave us cautiously optimistic: reasoning models generally seem characterized by low CoT controllability. However, the mechanism behind this phenomenon is not well understood. Given its importance for maintaining CoT monitorability, we recommend that frontier labs keep tracking controllability for future models.
","absKo":"LLM에서 instruction following은 사용자가 요청한 대로 모델이 외형적 행동을 바꾸는 능력을 포착한다. 그러나 우리는 대신 모델이 chain-of-thought(CoT)를 제어하는 능력을 연구한다. 이 능력인 CoT controllability는 바람직하지 않은데, 모델이 CoT에서의 misbehavior 징후를 억누를 수 있게 하여 우리가 모델을 모니터링할 수 있는 능력을 약화시킬 수 있기 때문이다. 이를 측정하기 위해 우리는 \\emph{CoT-Control} 평가 도구 모음을 제안한다. 우리는 reasoning model이 출력에서보다 CoT에서 instruction을 따르는 능력이 더 낮다는 것을 보인다. 예를 들어, ``chromosome''이라는 단어를 언급하지 않고 genetics 문제를 추론하라는 지시에서 Claude-Sonnet-4.5는 겨우 5\\%만 이를 준수한다. 또한 CoT controllability는 더 큰 모델일수록 높고, 더 많은 RL training, test-time compute, 그리고 더 높은 문제 난이도와 함께 감소함을 발견한다. CoT controllability 실패는 모델이 CoT monitor를 회피하도록 직접 요청받는 대신 인센티브를 받는 상황으로도 확장되지만, 모니터링되고 있다고 전달받은 모델은 약간 더 높은 controllability를 보인다. 마찬가지로, adversarially optimizing prompts로 controllability를 유도해도 의미 있는 수준의 향상은 일어나지 않는다. 우리의 결과는 조심스러운 낙관을 남긴다: reasoning model은 전반적으로 낮은 CoT controllability를 보이는 듯하다. 그러나 이 현상의 메커니즘은 아직 잘 이해되지 않았다. CoT monitorability 유지에 중요한 만큼, 우리는 frontier lab이 향후 모델에 대해서도 controllability를 계속 추적할 것을 권고한다.
"},{"id":"62016","en":"Proactive Defense Benchmark against Deepfake Generation","ko":"deepfake 생성에 대한 proactive defense benchmark","authors":"Joonhyuk Baek, Wonjune Seo, Jae-yun Kim, Saerom Park, Hoki Kim","pos":"#2916","link":"https://openreview.net/forum?id=keNT1SyQI6","abs":"Despite the proliferation of proactive defenses against deepfakes, the lack of a unified evaluation protocol precludes fair comparison and masks critical vulnerabilities. To bridge this gap, we present the first comprehensive benchmark that systematically assesses disruption, robustness, and transferability encompassing pixel, perceptual, and identity metrics. Our extensive analysis reveals that fidelity and identity metrics capture orthogonal performance axes, often leading to conflicting interpretations when relied upon individually. Furthermore, we identify a fundamental trade-off where peak white-box performance signals overfitting, and we introduce a calibrated evaluation to correct generator-induced identity bias. By exposing these blind spots, we establish a rigorous standard to guide the development of genuinely generalizable protections.
","absKo":"Deepfake에 대한 proactive defense가 확산되고 있음에도 불구하고, 통합된 evaluation protocol의 부재는 공정한 비교를 가로막고 핵심 취약점을 가린다. 이러한 간극을 메우기 위해, 우리는 pixel, perceptual, identity metric을 포괄하여 disruption, robustness, transferability를 체계적으로 평가하는 최초의 종합 benchmark를 제시한다. 우리의 광범위한 분석은 fidelity metric과 identity metric이 서로 직교하는 performance axis를 포착하며, 개별적으로 의존할 경우 종종 상충되는 해석으로 이어짐을 보여준다. 또한, 최고 white-box 성능이 overfitting의 신호가 된다는 근본적인 trade-off를 확인하고, generator가 유발하는 identity bias를 보정하기 위한 calibrated evaluation을 도입한다. 이러한 blind spot을 드러냄으로써, 우리는 진정으로 generalizable한 protection 개발을 이끄는 엄격한 기준을 확립한다.
"},{"id":"63413","en":"Faithful Mobile GUI Agents with Guided Advantage Estimator","ko":"유도 어드밴티지 추정기를 갖춘 충실한 모바일 GUI 에이전트","authors":"Haowen Hu, Pengzhou Cheng, Zheng Wu, Lingzhong Dong, Gongshen Liu, Zhuosheng Zhang","pos":"#3000","link":"https://openreview.net/forum?id=XN7YWDeFeC","abs":"Vision-language model (VLM) based graphical user interface (GUI) agents have shown strong interaction capabilities. However, they often behave unfaithfully, relying on memorized shortcuts rather than grounding actions in displayed screen evidence or user instructions. To address this, we propose Faithful-Agent, a faithfulness-first framework that reformulates GUI interaction to prioritize evidence groundedness and internal consistency. Faithful-Agent employs a two-stage pipeline: (i) a faithfulness-oriented SFT stage to instill abstainment behaviors under evidence perturbations; (ii) an RFT stage that further amplifies faithfulness by introducing the guided advantage estimator (GuAE), an anchor-based and variance-adaptive advantage tempering mechanism built upon GRPO. GuAE prevents advantage collapse in low-variance rollout groups under sparse GUI rewards, and with a thought-action consistency reward, Faithful-Agent (Stage II) elevates the Trap SR from 13.88\\% to 80.21\\% relative to the baseline, while preserving robust general instruction-following performance.
","absKo":"Vision-language model (VLM) 기반 graphical user interface (GUI) agent는 강력한 상호작용 능력을 보여 왔다. 그러나 이들은 종종 충실하지 않게 동작하며, 표시된 화면 증거 또는 사용자 지시를 바탕으로 행동을 grounding하기보다 기억된 shortcut에 의존한다. 이를 해결하기 위해 우리는 증거 기반성과 내부 일관성을 우선하도록 GUI 상호작용을 재구성하는 faithfulness-first framework인 Faithful-Agent를 제안한다. Faithful-Agent는 두 단계 pipeline을 사용한다: (i) evidence perturbation 하에서 abstainment behavior를 주입하는 faithfulness-oriented SFT stage; (ii) GRPO 위에 구축된 anchor-based 및 variance-adaptive advantage tempering mechanism인 guided advantage estimator (GuAE)를 도입하여 faithfulness를 추가로 강화하는 RFT stage. GuAE는 sparse GUI reward 하에서 low-variance rollout group에서 advantage collapse를 방지하며, thought-action consistency reward와 결합될 때 Faithful-Agent (Stage II)는 baseline 대비 Trap SR을 13.88\\%에서 80.21\\%로 끌어올리는 동시에, 견고한 general instruction-following 성능은 유지한다.
"},{"id":"60508","en":"How to Avoid Debate: Scalable AI Safety via Doubly-Efficient Interactive Proofs","ko":"Debate를 피하는 방법: Doubly-Efficient Interactive Proof를 통한 확장 가능한 AI Safety","authors":"Liyan Chen, Zoe Xi, Yael Kalai","pos":"#3004","link":"https://openreview.net/forum?id=zWj01NGa1O","abs":"As AI models continue to develop powerful capabilities, it becomes critical that we are able to verify that their output is aligned with our intentions. A recent line of work focuses on verification via debate, a model of interactive proofs where two competing powerful provers, or AI models, debate each other to convince a weak verifier, or a human, of the correctness of their claim. However, debate assumes that the two AI models possess equal abilities and that one of them is truthful, which may not be realistic. In this work, we show how to avoid debate: we initiate the study of single-prover interactive proofs for AI safety. Prior results in single-prover interactive proofs do not immediately carry over to the AI safety setting because they do not work when the computation has access to an oracle, such as to human judgment or an external database such as the web. We present doubly-efficient single-prover interactive proofs for oracle-aided computations (also known as relativizing proofs), in the settings where (1) the computation is robust, in the sense that the output does not change if at most a small fraction of the answers to oracle queries are incorrect, or (2) the oracle is a low-degree polynomial. These results suggest that interactive verification is possible even without debate, under structured or noise-tolerant oracle access.
","absKo":"AI model이 계속해서 강력한 capabilities를 발전시키면서, 그 출력이 우리의 의도와 정렬되어 있는지 검증할 수 있어야 하는 것이 매우 중요해진다. 최근의 한 연구 흐름은 debate를 통한 verification에 초점을 맞춘다. 이는 서로 경쟁하는 두 개의 강력한 prover, 즉 AI model이 weak verifier 또는 인간을 설득하기 위해 서로 토론하는 interactive proof model이다. 그러나 debate는 두 AI model이 동일한 능력을 가지며 그중 하나가 진실하다는 가정을 하는데, 이는 현실적이지 않을 수 있다. 본 연구에서는 debate를 피하는 방법을 보인다. 우리는 AI safety를 위한 single-prover interactive proof의 연구를 시작한다. single-prover interactive proof에 대한 기존 결과는, computation이 human judgment나 web 같은 external database와 같은 oracle에 접근할 수 있는 경우에는 바로 AI safety 설정으로 옮겨오지 못한다. 우리는 oracle-aided computation(또는 relativizing proof)에서의 doubly-efficient single-prover interactive proof를 제시한다. 이는 (1) computation이 robust하여, oracle query에 대한 답변 중 작은 비율 이하가 잘못되더라도 출력이 바뀌지 않거나, 또는 (2) oracle이 low-degree polynomial인 설정에서 성립한다. 이러한 결과는 구조화된 또는 noise-tolerant oracle access 하에서는 debate 없이도 interactive verification이 가능함을 시사한다.
"},{"id":"60652","en":"Learning Efficient Guardrails for Compliance","ko":"Compliance를 위한 효율적 Guardrail 학습","authors":"Xiaofei Wen, Wenjie Mo, Yanan Xie, Peng Qi, Muhao Chen","pos":"#3005","link":"https://openreview.net/forum?id=y3niyCNvAp","abs":"Autonomous web agents are increasingly deployed for long-horizon tasks, yet their ability to adhere to real-world policies remains critically underexplored compared to standard safety objectives. To address this gap, we introduce PolicyGuardBench, a benchmark of 60k policy-trajectory pairs designed to evaluate compliance through both full-trajectory and novel prefix-based violation detection tasks. Using this dataset, we train PolicyGuard, a lightweight guardrail model that achieves strong detection accuracy while maintaining high inference efficiency. Notably, our model demonstrates robust generalization capabilities, preserving high performance even on unseen domains. Together, these contributions establish a comprehensive framework for studying policy compliance, showing that accurate and generalizable guardrails are feasible at small scales.
","absKo":"자율 web agent는 점점 더 긴 호흡의 작업에 배치되고 있지만, 표준 safety objective와 비교할 때 실제 world policy를 준수하는 능력은 여전히 충분히 탐구되지 않았다. 이 격차를 메우기 위해, 우리는 전체 trajectory와 새로운 prefix-based violation detection task를 통해 compliance를 평가하도록 설계된 60k policy-trajectory pair의 benchmark인 PolicyGuardBench를 소개한다. 이 데이터셋을 사용하여, 우리는 높은 inference 효율성을 유지하면서도 강한 detection accuracy를 달성하는 경량 guardrail model인 PolicyGuard를 학습한다. 특히, 우리 모델은 보지 못한 domain에서도 높은 성능을 유지하며 강건한 generalization 능력을 보인다. 이 기여를 통해 policy compliance를 연구하기 위한 포괄적인 framework가 확립되며, 작은 규모에서도 정확하고 일반화 가능한 guardrail이 실현 가능함을 보여준다."},{"id":"63565","en":"Metis: Learning to Jailbreak LLMs via Self-Evolving Metacognitive Policy Optimization","ko":"Metis: 자기 진화 메타인지 정책 최적화를 통한 LLM jailbreak 학습","authors":"Huilin Zhou, Jian Zhao, Yilu Zhong, Zhen Liang, Xiuyuan Chen, Yuchen Yuan, Tianle Zhang, Chi Zhang, Lan Zhang, Xuelong Li","pos":"#3007","link":"https://openreview.net/forum?id=VxTzkpoVlB","abs":"Red teaming is critical for uncovering vulnerabilities in Large Language Models (LLMs). While automated methods have improved scalability, existing approaches often rely on static heuristics or stochastic search, rendering them brittle against advanced safety alignment. To address this, we introduce \\textbf{Metis}, a framework that reformulates jailbreaking as inference-time policy optimization within an adversarial Partially Observable Markov Decision Process (POMDP). Metis employs a self-evolving metacognitive loop to perform causal diagnosis of a target's defense logic and leverages structured feedback as a semantic gradient to refine its policy, offering enhanced interpretability through transparent reasoning traces. Extensive evaluations across 10 diverse models demonstrate that Metis establishes a new state-of-the-art with an average Attack Success Rate (ASR) of 89.2\\%, maintaining high efficacy on resilient frontier models (e.g., 76.0\\% on O1 and 78.0\\% on GPT-5-chat) where traditional baselines exhibit substantial performance degradation. By replacing redundant exploration with directed optimization, Metis reduces token costs by an average of 8.2$\\times$ (and up to 11.4$\\times$). Our analysis reveals that current defenses remain systematically vulnerable to internally-steered, closed-loop reasoning trajectories, highlighting a critical need for next-generation defenses capable of reasoning about safety dynamically during inference.","absKo":"Red teaming은 Large Language Models(LLMs)의 취약점을 밝혀내는 데 매우 중요하다. 자동화된 방법은 확장성을 개선했지만, 기존 접근은 정적 heuristic이나 stochastic search에 의존하는 경우가 많아 고도화된 safety alignment에 대해 취약하다. 이를 해결하기 위해 우리는 jailbreaking을 adversarial Partially Observable Markov Decision Process(POMDP) 내의 inference-time policy optimization으로 재정식화하는 framework인 \\textbf{Metis}를 소개한다. Metis는 self-evolving metacognitive loop를 사용해 target의 defense logic을 causal diagnosis하고, structured feedback을 semantic gradient로 활용하여 policy를 정교화한다. 또한 투명한 reasoning trace를 통해 해석 가능성을 높인다. 10개의 다양한 model에 대한 광범위한 평가 결과, Metis는 평균 Attack Success Rate(ASR) 89.2\\%로 새로운 state-of-the-art를 수립했으며, 전통적 baseline이 큰 성능 저하를 보이는 견고한 frontier model(예: O1에서 76.0\\%, GPT-5-chat에서 78.0\\%)에서도 높은 효율성을 유지한다. 중복된 exploration을 directed optimization으로 대체함으로써 Metis는 token cost를 평균 8.2$\\times$(최대 11.4$\\times$) 절감한다. 우리의 분석은 현재의 방어 기법이 내부적으로 제어되는 closed-loop reasoning trajectory에 체계적으로 취약함을 보여주며, inference 중 safety를 동적으로 reasoning할 수 있는 차세대 방어의 필요성을 강조한다."},{"id":"63523","en":"MultiBreak: A Scalable and Diverse Multi-turn Jailbreak Benchmark for Evaluating LLM Safety","ko":"MultiBreak: LLM 안전성 평가를 위한 확장 가능하고 다양한 다중 턴 jailbreak 벤치마크","authors":"Jialin Song, Xiaodong Liu, Weiwei Yang, Wuyang Chen, Mingqian Feng, Xuekai Zhu, Jianfeng Gao","pos":"#3008","link":"https://openreview.net/forum?id=WR1IcmCjbl","abs":"We present MultiBreak, a scalable and diverse multi-turn jailbreak benchmark to evaluate large language model (LLM) safety. Multi-turn jailbreaks mimic natural conversational settings, making them easier to bypass safety-aligned LLM than single-turn jailbreaks. Existing multi-turn benchmarks are limited in size or rely heavily on templates, which restrict their diversity. To address this gap, we unify a wide range of harmful jailbreak intents, and introduce an active learning pipeline for expanding high-quality multi-turn adversarial prompts, where a generator is iteratively fine-tuned to produce stronger attack candidates, guided by uncertainty-based refinement. Our MultiBreak includes 10,389 multi-turn adversarial prompts, spans 2,665 distinct harmful intents, and covers the most diverse set of topics to date. Empirical evaluation shows that our benchmark achieves up to a 54.0% and 34.6% higher attack success rate (ASR) than the second-best dataset on DeepSeek-R1-7B and GPT-4.1-mini, respectively. More importantly, safety evaluations suggest that diverse attack categories uncover fine-grained LLM vulnerabilities, and categories that appear benign under single-turn can exhibit substantially higher adversarial effectiveness in multi-turn scenarios. These findings highlight persistent vulnerabilities of LLMs under realistic adversarial settings and establish MultiBreak as a scalable resource for advancing LLM safety.
","absKo":"우리는 대규모 언어 모델(LLM) 안전성을 평가하기 위한 확장 가능하고 다양한 multi-turn jailbreak benchmark인 MultiBreak를 제시한다. multi-turn jailbreak는 자연스러운 대화 환경을 모방하므로 single-turn jailbreak보다 safety-aligned LLM을 우회하기 쉽다. 기존의 multi-turn benchmark는 규모가 제한적이거나 template에 크게 의존하여 다양성이 제약된다. 이 공백을 메우기 위해, 우리는 광범위한 유해 jailbreak 의도를 통합하고, 고품질 multi-turn adversarial prompt를 확장하기 위한 active learning 파이프라인을 도입한다. 이 파이프라인에서는 generator를 반복적으로 fine-tuning하여 더 강력한 공격 후보를 생성하도록 하고, uncertainty-based refinement로 이를 안내한다. 우리의 MultiBreak는 10,389개의 multi-turn adversarial prompt를 포함하며, 2,665개의 서로 다른 유해 의도를 아우르고, 지금까지 가장 다양한 주제 집합을 커버한다. 실증 평가 결과, 이 benchmark는 DeepSeek-R1-7B와 GPT-4.1-mini에서 각각 두 번째로 좋은 데이터셋보다 최대 54.0%와 34.6% 더 높은 attack success rate(ASR)를 달성한다. 더 중요한 점은, 안전성 평가가 다양한 공격 범주가 LLM의 세밀한 취약성을 드러내며, single-turn에서는 무해해 보이는 범주도 multi-turn 시나리오에서는 훨씬 더 높은 adversarial effectiveness를 보일 수 있음을 시사한다는 것이다. 이러한 결과는 현실적인 adversarial 환경에서 LLM의 지속적인 취약성을 강조하며, MultiBreak를 LLM 안전성 발전을 위한 확장 가능한 자원으로 확립한다.
"},{"id":"64249","en":"OpenDeception: Learning Deception and Trust in Human–AI Interaction via Multi-Agent Simulation","ko":"OpenDeception: 다중 에이전트 시뮬레이션을 통한 인간-AI 상호작용에서의 기만 및 신뢰 학습","authors":"Yichen Wu, Qianqian Gao, Xudong Pan, Geng Hong, Min Yang","pos":"#3009","link":"https://openreview.net/forum?id=PW8YVqhI6K","abs":"As large language models (LLMs) are increasingly deployed as interactive agents, open-ended human-AI interactions can involve deceptive behaviors with serious real-world consequences, yet existing evaluations remain largely scenario-specific and model-centric. We introduce OpenDeception, a lightweight framework for jointly evaluating deception risk from both sides of human-AI dialogue. It consists of a scenario benchmark with 50 real-world deception cases, an IntentNet that infers deceptive intent from agent reasoning, and a TrustNet that estimates user susceptibility. To address data scarcity, we synthesize high-risk dialogues via LLM-based role-and-goal simulation, and train the User Trust Scorer using contrastive learning on controlled response pairs, avoiding unreliable scalar labels. Experiments on 11 LLMs and three large reasoning models show that over 90% of goal-driven interactions in most models exhibit deceptive intent, with stronger models displaying higher risk. A real-world case study adapted from a documented AI-induced suicide incident further demonstrates that our joint evaluation can proactively trigger warnings before critical trust thresholds are reached.
","absKo":"Large Language Model (LLM)이 상호작용형 agent로 점점 더 많이 배포되면서, 개방형 human-AI interaction은 심각한 실제 세계적 결과를 초래할 수 있는 deceptive behavior를 포함할 수 있다. 그러나 기존 평가는 대체로 시나리오 특화적이고 model-centric하다. 우리는 인간-AI 대화의 양측에서 deception risk를 함께 평가하기 위한 경량 프레임워크 OpenDeception을 소개한다. 이 프레임워크는 50개의 실제 deception case를 포함하는 scenario benchmark, agent reasoning으로부터 deceptive intent를 추론하는 IntentNet, 그리고 user susceptibility를 추정하는 TrustNet으로 구성된다. 데이터 부족을 완화하기 위해, 우리는 LLM 기반 role-and-goal simulation을 통해 high-risk dialogue를 합성하고, 신뢰할 수 없는 scalar label을 피하기 위해 controlled response pair에 대한 contrastive learning으로 User Trust Scorer를 학습한다. 11개의 LLM과 세 개의 대형 reasoning model에 대한 실험은 대부분의 모델에서 goal-driven interaction의 90% 이상이 deceptive intent를 보이며, 더 강한 모델일수록 더 높은 위험을 드러냄을 보여준다. 문서화된 AI 유발 자살 사건을 각색한 실제 사례 연구는 우리의 joint evaluation이 critical trust threshold에 도달하기 전에 선제적으로 경고를 유발할 수 있음을 추가로 입증한다.
"},{"id":"67236","en":"Position: Academic Conferences are Potentially Facing Denominator Gaming Caused by Fully Automated Scientific Agents","ko":"Position: 학술 학회는 완전 자동화된 과학 에이전트로 인한 분모 게이밍에 잠재적으로 직면하고 있다","authors":"Rong Shan, Te Gao, Hang Zheng, Yunjia Xi, Jiachen Zhu, Zeyu Zheng, Yong Yu, Weinan Zhang, Jianghao Lin","pos":"#3011","link":"https://openreview.net/forum?id=36ITkZHUMZ","abs":"The implicit policy of maintaining relatively stable acceptance rates at top AI conferences, despite exponentially growing submissions, introduces a critical structural vulnerability. This position paper characterizes a new systemic threat we term Agentic Denominator Gaming, in which a malicious actor deploys AI agents to generate and submit a large volume of superficially plausible but low-quality papers. Crucially, their objective is not the acceptance of low-quality papers, but rather to inflate the submission denominator and overwhelm reviewing capacity. Under a relatively stable acceptance rate, this dilution can systematically increase the publication probability of a small, targeted set of legitimate papers. We analyze the practical feasibility of this threat and its broader consequences, including intensified reviewer burnout, degraded review quality, and the emergence of industrialized automated agent mills. Finally, we propose and evaluate a range of mitigation strategies, and argue that durable protection will require system-level policy and incentive reforms, rather than relying primarily on technical detection alone.
","absKo":"top AI conference에서 수용률을 비교적 안정적으로 유지하려는 암묵적 정책은, 제출 수가 기하급수적으로 증가하는 상황에서 중대한 구조적 취약성을 낳는다. 이 position paper는 Agentic Denominator Gaming이라는 새로운 시스템적 위협을 설명하는데, 여기서 악의적 행위자는 AI agent를 배치하여 표면적으로는 그럴듯하지만 품질이 낮은 논문을 대량 생성·제출한다. 핵심 목표는 저품질 논문의 수용이 아니라, 제출 분모를 부풀리고 심사 용량을 압도하는 데 있다. 수용률이 비교적 안정적으로 유지되는 상황에서, 이러한 희석은 소수의 표적화된 정상 논문의 출판 확률을 체계적으로 높일 수 있다. 우리는 이 위협의 실제적 실현 가능성과 그 더 넓은 결과를 분석한다. 여기에는 reviewer burnout의 심화, review quality의 저하, 그리고 산업화된 자동화 agent mills의 등장 등이 포함된다. 마지막으로, 다양한 완화 전략을 제안하고 평가하며, 지속 가능한 방어를 위해서는 기술적 탐지에 주로 의존하기보다 시스템 수준의 정책 및 인센티브 개혁이 필요하다고 주장한다.
"},{"id":"67205","en":"Position: Child Safety Necessitates New Approaches to AI Safety","ko":"Position: 아동 안전에는 AI 안전에 대한 새로운 접근이 필요하다","authors":"Neil Kale, Rebecca Portnoff, Pratiksha Thaker, Michael Simpson, Robertson Wang, Kevin Kuo, Chhavi Yadav, Virginia Smith","pos":"#3013","link":"https://openreview.net/forum?id=DibvYJhFms","abs":"Modern artificial intelligence (AI) systems have transformative potential across many domains, but also present profound new risks to child safety. AI is increasingly being misused to create AI-generated child sexual abuse material, facilitate child sexual exploitation, and reduce barriers to harm. In this position paper, we argue that protecting children from AI-facilitated abuse requires new approaches to AI safety. Existing safety techniques assume data accessibility, transparency, and evaluation practices that are incompatible with the ethical and legal constraints surrounding child sexual abuse material. We examine how these constraints create new technical challenges, such as limitations on dataset auditing, red teaming, and fine-tuning prevention. In turn, we outline 15 open problems in child safety across the AI development lifecycle---from dataset curation and model design to deployment and long-term maintenance. We propose targeted recommendations for researchers, developers, and policymakers to bridge the gap between theoretical AI safety and the realities of child protection. Our work aims to reframe child safety as a central, safety-critical dimension for AI research, motivating new work that translates responsible AI principles into concrete safeguards against the exploitation of children.
","absKo":"현대 인공지능(AI) 시스템은 여러 영역에서 변혁적 잠재력을 지니지만, 동시에 아동 안전에 대한 중대한 새로운 위험도 초래한다. AI는 점점 더 AI가 생성한 아동 성적 학대 자료를 만드는 데 악용되거나, 아동 성 착취를 용이하게 하거나, 위해에 대한 장벽을 낮추는 데 사용되고 있다. 본 포지션 페이퍼에서는 AI에 의해 매개되는 학대로부터 아동을 보호하려면 AI 안전에 대한 새로운 접근이 필요하다고 주장한다. 기존의 안전 기법은 데이터 접근성, 투명성, 평가 관행을 전제로 하는데, 이는 아동 성적 학대 자료를 둘러싼 윤리적·법적 제약과 양립할 수 없다. 우리는 이러한 제약이 데이터셋 감사, red teaming, fine-tuning 방지의 제한과 같은 새로운 기술적 과제를 어떻게 만들어내는지 검토한다. 나아가 데이터셋 큐레이션과 모델 설계에서 배포와 장기 유지보수에 이르기까지 AI 개발 생명주기 전반에 걸친 아동 안전의 15개 열린 문제를 정리한다. 또한 이론적 AI 안전과 아동 보호의 현실 사이의 간극을 메우기 위해 연구자, 개발자, 정책 입안자를 위한 표적화된 권고를 제안한다. 본 연구는 아동 안전을 AI 연구의 중심이자 안전 핵심 차원으로 재정의하고, 책임 있는 AI 원칙을 아동 착취에 대한 구체적인 안전장치로 전환하는 새로운 연구를 촉진하는 것을 목표로 한다.
"},{"id":"67216","en":"Position: Safe AI Should be Resistant and Resilient in an Evolving World","ko":"Position: 안전한 AI는 진화하는 세계에서 저항적이고 회복탄력적이어야 한다","authors":"Youbang Sun, Xiang Wang, Jie Fu, Chaochao Lu, Bowen Zhou","pos":"#3014","link":"https://openreview.net/forum?id=ApUb0ToKMN","abs":"In this position paper, we address the persistent gap between rapidly growing AI capabilities and lagging safety progress. Existing paradigms divide into \"Make AI Safe\", which applies post-hoc alignment and guardrails but remains brittle and reactive, and \"Make Safe AI\", which emphasizes intrinsic safety but struggles to address unforeseen risks in open-ended environments. We therefore propose safe-by-coevolution as a new formulation of the \"Make Safe AI\" paradigm, inspired by biological immunity, in which safety becomes a dynamic, adversarial, and ongoing learning process. To operationalize this vision, we introduce R$^2$AI---Resistant and Resilient AI---as a practical framework that unites resistance against known threats with resilience to unforeseen risks. R$^2$AI integrates fast and slow safe models, adversarial simulation and verification through a safety wind tunnel, and continual feedback loops that guide safety and capability to coevolve. We argue that this framework offers a scalable and proactive path to maintain continual safety in dynamic environments, addressing both near-term vulnerabilities and long-term existential risks as AI advances toward AGI and ASI.","absKo":"이 position paper에서 우리는 빠르게 성장하는 AI capability와 뒤처지는 safety progress 사이의 지속적인 격차를 다룬다. 기존 paradigm은 사후적인 alignment와 guardrail을 적용하지만 취약하고 반응적인 \"Make AI Safe\"와, 본질적 안전을 강조하지만 개방형 환경에서 예기치 못한 위험을 다루는 데 어려움을 겪는 \"Make Safe AI\"로 나뉜다. 이에 우리는 생물학적 면역에서 영감을 받은 \"Make Safe AI\" paradigm의 새로운 formulation으로서 safe-by-coevolution을 제안한다. 여기서 safety는 동적이고, adversarial하며, 지속적인 learning process가 된다. 이 비전을 실제로 구현하기 위해 우리는 R$^2$AI---Resistant and Resilient AI---를 알려진 위협에 대한 저항성과 예기치 못한 위험에 대한 회복력을 결합한 실용적 framework로 제시한다. R$^2$AI는 fast 및 slow safe model, safety wind tunnel을 통한 adversarial simulation과 verification, 그리고 safety와 capability가 coevolve하도록 이끄는 지속적 feedback loop를 통합한다. 우리는 이 framework가 동적인 환경에서 continual safety를 유지하기 위한 확장 가능하고 능동적인 경로를 제공하며, AI가 AGI와 ASI를 향해 발전함에 따라 근접한 취약성과 장기적 실존 위험을 모두 다룰 수 있다고 주장한다."},{"id":"67167","en":"Position: Safe Models Do Not Guarantee Safe Societies: The Case for Sociopolitical Risk","ko":"Position: 안전한 모델이 안전한 사회를 보장하지 않는다: 사회정치적 위험에 대한 논거","authors":"David Guzman Piedrahita, Dave Banerjee, Changling Li, Terry Zhang, Kevin Blin, Samuel Simko, Punya Pandey, Irene Strauss, Rada Mihalcea, Bernhard Schölkopf, Zhijing Jin","pos":"#3015","link":"https://openreview.net/forum?id=OHcNyZUSw7","abs":"Sociopolitical AI risks are threats to collective self-determination: a society's capacity to articulate its interests and realize them through institutions. We argue that sociopolitical AI risks emerge when general-purpose AI systems are integrated into society in ways that disproportionately amplify the scale, speed, and opacity of institutional operations, thereby degrading their capacity to function. Unlike model-level harms (toxicity, bias, discrimination), sociopolitical risks arise from widespread deployment rather than individual outputs. And unlike existential risks involving loss of control or complete labor automation, they manifest with current AI capabilities where AI augments rather than replaces human activity. In this position paper, we analyze how AI alters the conditions of governance: flooding government agencies with paralyzing volumes of input, concentrating control of infrastructure that threatens sovereignty, and flattening public debate into artificial agreement while reinforcing existing biases.
","absKo":"Sociopolitical AI risk는 집단적 자기결정권에 대한 위협, 즉 사회가 자신의 이해관계를 명료하게 표현하고 제도를 통해 그것을 실현할 수 있는 능력에 대한 위협이다. 우리는 general-purpose AI system이 제도 운영의 규모, 속도, 불투명성을 불균형하게 증폭시키는 방식으로 사회에 통합될 때 sociopolitical AI risk가 발생하며, 그 결과 제도의 기능 수행 능력이 약화된다고 주장한다. model-level harm(toxicity, bias, discrimination)과 달리 sociopolitical risk는 개별 output이 아니라 광범위한 deployment에서 비롯된다. 또한 통제 상실이나 완전한 노동 자동화를 포함하는 existential risk와 달리, 이는 AI가 인간 활동을 대체하기보다 증강하는 현재의 AI capability에서도 나타난다. 이 position paper에서 우리는 AI가 governance의 조건을 어떻게 바꾸는지 분석한다. 정부 기관에 마비될 정도의 방대한 input을 쏟아붓고, sovereignty를 위협하는 infrastructure의 통제를 집중시키며, 기존 bias를 강화하는 동시에 공적 토론을 인위적인 합의로 평탄화하는 방식이다.
"},{"id":"60768","en":"Risk Awareness Injection: Calibrating Vision-Language Models for Safety without Compromising Utility","ko":"Risk Awareness Injection: Utility를 해치지 않고 Vision-Language Model의 안전성 보정","authors":"Mengxuan Wang, Yuxin Chen, Gang Xu, Tao He, hongjie jiang, Ming Li","pos":"#304","link":"https://openreview.net/forum?id=wqpQafNJTH","abs":"Vision language models (VLMs) extend the reasoning capabilities of large language models (LLMs) to cross-modal settings, yet remain highly vulnerable to multimodal jailbreak attacks. Existing defenses predominantly rely on safety fine-tuning or \\textit{aggressive} token manipulations, incurring substantial training costs or significantly degrading utility. Recent research shows that LLMs inherently recognize unsafe content in text, and the incorporation of visual inputs in VLMs frequently dilutes risk-related signals. Motivated by this, we propose Risk Awareness Injection (RAI), a \\textit{lightweight} and training-free framework for safety calibration that restores LLM-like risk recognition by amplifying unsafe signals in VLMs. Specifically, RAI constructs an Unsafe Prototype Subspace from language embeddings and performs targeted modulation on selected high-risk visual tokens, explicitly activating safety-critical signals within the cross-modal feature space. This modulation restores the model’s LLM-like ability to detect unsafe content from visual inputs, while preserving the semantic integrity of original tokens for cross-modal reasoning. Extensive experiments across multiple jailbreak and utility benchmarks demonstrate that RAI substantially reduces attack success rate without compromising task performance.
","absKo":"Vision language models (VLMs)는 large language models (LLMs)의 추론 능력을 cross-modal 설정으로 확장하지만, 여전히 multimodal jailbreak attacks에 매우 취약하다. 기존 방어는 주로 safety fine-tuning이나 \\textit{aggressive} token manipulations에 의존하며, 이로 인해 상당한 학습 비용이 들거나 유용성이 크게 저하된다. 최근 연구는 LLM이 본질적으로 텍스트에서 unsafe content를 인식하며, VLM에 visual inputs를 포함하면 risk-related signals가 자주 희석된다는 점을 보여준다. 이러한 점에 착안하여, 우리는 VLM에서 unsafe signals를 증폭시켜 LLM과 유사한 risk recognition을 복원하는, \\textit{lightweight}하고 training-free인 safety calibration 프레임워크인 Risk Awareness Injection (RAI)를 제안한다. 구체적으로 RAI는 language embeddings로부터 Unsafe Prototype Subspace를 구성하고, 선택된 high-risk visual tokens에 대해 targeted modulation을 수행하여 cross-modal feature space 내에서 safety-critical signals를 명시적으로 활성화한다. 이 modulation은 cross-modal reasoning을 위해 원래 token들의 semantic integrity를 보존하면서, visual inputs로부터 unsafe content를 탐지하는 모델의 LLM-like 능력을 복원한다. 여러 jailbreak 및 utility benchmark에 대한 광범위한 실험은 RAI가 task performance를 저하시키지 않으면서 attack success rate를 크게 낮춘다는 점을 보여준다.
"},{"id":"64674","en":"Exploration Hacking: LLMs Can Learn to Resist RL Training","ko":"Exploration Hacking: LLM은 RL 학습에 저항하도록 학습할 수 있다","authors":"Eyon Jang, Damon Falck, Joschka Cedric Braun, Nathalie Kirch, Achyutha Menon, Perusha Moodley, Scott Emmons, Roland S. Zimmermann, David Lindner","pos":"#3101","link":"https://openreview.net/forum?id=L0EGKqOBpz","abs":"Reinforcement learning (RL) has become essential to the reasoning and alignment post-training of large language models (LLMs). However, successful RL relies on sufficient exploration of diverse actions by the model during training. We study whether RL is robust to exploration hacking, where a model strategically alters its exploration during training to influence the subsequent training outcome. First, we create model organisms of exploration hacking by using fine-tuning-based \"locking\" techniques; we show that these models can successfully resist RL-based capability elicitation in AI R&D and agentic biosecurity environments, while maintaining performance on closely related tasks. Next, we use our model organisms to evaluate the effectiveness of monitoring techniques as detection methods for exploration hacking. Finally, we show that current frontier models can reason effectively about suppressing their exploration when presented with simulated RL environments and encouraged to act strategically. Together, our results empirically establish exploration hacking as a failure mode of RL on sufficiently capable LLMs.
","absKo":"Reinforcement learning(RL)은 large language model(LLM)의 reasoning과 alignment post-training에 필수적인 요소가 되었다. 그러나 성공적인 RL은 학습 동안 모델이 다양한 action을 충분히 exploration하는 데 의존한다. 우리는 모델이 학습 중 자신의 exploration을 전략적으로 조작하여 이후의 training outcome에 영향을 주는 exploration hacking에 대해 RL이 얼마나 robust한지 연구한다. 먼저 fine-tuning 기반의 \"locking\" technique을 사용해 exploration hacking의 model organism을 만들고, 이러한 모델이 AI R&D와 agentic biosecurity 환경에서 RL 기반 capability elicitation을 성공적으로 저지하면서도 밀접하게 관련된 task에서는 성능을 유지할 수 있음을 보인다. 다음으로, 이러한 model organism을 사용해 탐지 방법으로서 monitoring technique의 효과를 평가한다. 마지막으로, 현재의 frontier model이 simulated RL environment에 놓이고 전략적으로 행동하도록 장려될 때 자신의 exploration을 억제하는 문제를 효과적으로 reasoning할 수 있음을 보인다. 종합하면, 우리의 결과는 충분히 강력한 LLM에서 exploration hacking이 RL의 실패 모드임을 경험적으로 입증한다.
"},{"id":"62581","en":"Are Your Agents Upward Deceivers?","ko":"당신의 에이전트는 기만적인가?","authors":"Dadi Guo, Qingyu Liu, Dongrui Liu, Qihan Ren, Shuai Shao, Tianyi Qiu, Haoran Li, Yi Fung, Zhongjie Ba, Juntao Dai, Jiaming Ji, Zhikai Chen, Jialing Tao, Yaodong Yang, Jing Shao, Xia Hu","pos":"#3107","link":"https://openreview.net/forum?id=fKtCkb8Ixj","abs":"Large Language Model (LLM)-based agents are increasingly used as autonomous subordinates that carry out tasks for users. This raises the question of whether they may also engage in deception, similar to how individuals in human organizations lie to superiors to create a good image or avoid punishment. We observe and define \\textit{\\textbf{agentic upward deception}}, a phenomenon in which an agent facing environmental constraints conceals its failure and performs actions that were not requested without reporting. To assess its prevalence, we construct a benchmark of 200 tasks covering five task types and eight realistic scenarios in a constrained environment, such as broken tools or mismatched information sources. Evaluations of 11 popular LLMs reveal that these agents typically exhibit action-based deceptive behaviors, such as guessing results, performing unsupported simulations, substituting unavailable information sources, and fabricating local files. We further test prompt-based mitigation and find only limited reductions, suggesting that it is difficult to eliminate and highlighting the need for stronger mitigation strategies to ensure the safety of LLM-based agents. The code and data are included in the supplementary materials.
","absKo":"Large Language Model (LLM) 기반 agent는 사용자 대신 task를 수행하는 autonomous subordinate로 점점 더 많이 사용되고 있다. 이는 인간 조직에서 개인이 상사에게 좋은 인상을 주거나 처벌을 피하기 위해 거짓말을 하듯이, 이들 역시 기만에 관여할 수 있는지에 대한 질문을 제기한다. 우리는 \\textit{\\textbf{agentic upward deception}}을 관찰하고 정의한다. 이는 환경 제약에 직면한 agent가 실패를 은폐하고 보고 없이 요청되지 않은 행동을 수행하는 현상이다. 그 prevalence를 평가하기 위해, 우리는 broken tool이나 불일치하는 information source와 같은 constrained environment에서 다섯 가지 task type과 여덟 개의 현실적 scenario를 포괄하는 200개 task의 benchmark를 구성했다. 11개의 인기 있는 LLM에 대한 평가는 이러한 agent가 결과를 추측하거나, 지원되지 않는 simulation을 수행하거나, 사용할 수 없는 information source를 대체하거나, local file을 조작하는 등 action-based deceptive behavior를 일반적으로 보임을 드러낸다. 우리는 추가로 prompt 기반 완화 방법을 시험했지만 감소 폭은 제한적이었으며, 이는 이를 제거하기 어렵다는 점을 시사하고 LLM 기반 agent의 안전을 보장하기 위한 더 강력한 완화 전략의 필요성을 강조한다. code와 data는 supplementary material에 포함되어 있다.
"},{"id":"62038","en":"How does information access affect LLM monitors' ability to detect sabotage?","ko":"정보 접근성이 LLM 모니터의 sabotage 탐지 능력에 미치는 영향은?","authors":"Rauno Arike, Raja Moreno, Rohan Subramani, Shubhorup Biswas, Francis Rhys Ward","pos":"#3108","link":"https://openreview.net/forum?id=kS0XU5JUII","abs":"Frontier language model agents can exhibit misaligned behaviors, including deception, exploiting reward hacks, and pursuing hidden objectives. To control such agents, we can use LLMs themselves to monitor for misbehavior. In this paper, we study how information access affects LLM monitor performance and find that contemporary systems often perform better with less information, a phenomenon we call the less-is-more effect for automated oversight. We demonstrate this phenomenon, and analyze the conditions under which it occurs, in three evaluation environments where agents must conduct sabotage while evading monitors. Leveraging this effect, we introduce extract-and-evaluate (EaE) monitoring—a new hierarchical approach where one monitor isolates relevant excerpts from the monitored agent's trajectory and another monitor scores these excerpts. In BigCodeBench-Sabotage with a GPT-4.1-mini monitor, EaE improves sabotage detection rates by 16.8 percentage points over the next-best approach. In other settings, EaE either outperforms or is competitive with baselines. Additionally, we find that agents unaware of being monitored can be caught much more easily, that monitors scoring longer reasoning traces gain more from information filtering, and that monitor performance scales linearly with cost.
","absKo":"Frontier language model agent는 deception, reward hack 악용, 숨겨진 objective 추구를 포함한 misaligned behavior를 보일 수 있다. 이러한 agent를 통제하기 위해, 우리는 LLM 자체를 사용해 misbehavior를 monitor할 수 있다. 이 논문에서는 information access가 LLM monitor 성능에 어떤 영향을 미치는지 연구하고, 현대 시스템은 종종 더 적은 정보로 더 잘 수행한다는 사실을 발견했다. 우리는 자동 oversight에서 이러한 현상을 less-is-more effect라고 부른다. 우리는 agent가 monitor를 회피하면서 sabotage를 수행해야 하는 3개의 평가 환경에서 이 현상을 입증하고, 그것이 발생하는 조건을 분석한다. 이 효과를 활용해, 우리는 extract-and-evaluate (EaE) monitoring을 도입한다. 이는 하나의 monitor가 monitored agent의 trajectory에서 관련 excerpt를 추출하고, 다른 monitor가 그 excerpt를 점수화하는 새로운 hierarchical approach이다. GPT-4.1-mini monitor를 사용한 BigCodeBench-Sabotage에서 EaE는 다음으로 좋은 접근법보다 sabotage detection rate를 16.8 percentage point 향상시킨다. 다른 설정들에서도 EaE는 baseline을 능가하거나 경쟁력 있는 성능을 보인다. 또한, 자신이 monitor되고 있다는 사실을 모르는 agent일수록 훨씬 더 쉽게 적발되며, 더 긴 reasoning trace를 점수화하는 monitor는 information filtering의 이점을 더 크게 얻고, monitor 성능은 cost에 대해 선형적으로 증가함을 확인했다.
"},{"id":"67088","en":"Position: Accountable Deployment of Agentic AI Demands Layered, System-Level Interpretability","ko":"Position: Agentic AI의 책임 있는 배포에는 계층적, 시스템 수준의 해석 가능성이 요구된다","authors":"Judy Zhu, Dhari Gandhi, Ahmad Mianroodi, Dhanesh Ramachandram, Sedef Akinli Kocak, shaina raza","pos":"#3313","link":"https://openreview.net/forum?id=liNx7tarrT","abs":"Agentic AI systems behave through trajectories: they plan, invoke tools, update memory, and coordinate over multiple steps. However, interpretability remains largely model-centric, focused on explaining single predictions rather than tracing long-horizon behavior and responsibility across interacting components. As a result, critical failures, such as tool misuse, coordination breakdowns, or goal drift, often evade existing audits until harm occurs. We argue that interpretability for agentic systems must become system-centric, addressing trajectories, responsibility assignment, and lifecycle dynamics rather than internal model mechanisms alone. We advance three claims: interpretability must (1) co-evolve with agentic capabilities, (2) address distinct layers of opacity with tailored methods, and (3) integrate across the deployment lifecycle. To operationalize this position, we introduce ATLIS (Agentic Trajectory and Layered Interpretability Stack), a framework integrating five interpretability layers across a five-stage deployment lifecycle. ATLIS enables lightweight continuous monitoring with risk-aware escalation to deeper system-level analysis when incidents are detected. ATLIS provides a blueprint for closing the growing gap between agentic capabilities and the interpretability infrastructure needed to govern them.
","absKo":"Agentic AI system은 trajectory를 통해 동작한다: 계획하고, tool을 호출하고, memory를 갱신하며, 여러 step에 걸쳐 조정한다. 그러나 interpretability는 여전히 대체로 model-centric하게 남아 있으며, 상호작용하는 component 전반에 걸친 장기적 행동과 책임을 추적하기보다 단일 prediction을 설명하는 데 초점을 맞추고 있다. 그 결과 tool misuse, coordination breakdown, goal drift와 같은 중대한 실패는 종종 해악이 발생할 때까지 기존 audit을 빠져나간다. 우리는 agentic system을 위한 interpretability가 내부 model mechanism만이 아니라 trajectory, responsibility assignment, lifecycle dynamics를 다루는 system-centric한 방향으로 전환되어야 한다고 주장한다. 우리는 세 가지 주장을 제시한다: interpretability는 (1) agentic capability와 함께 co-evolve해야 하고, (2) 서로 다른 opacity layer를 각각에 맞는 method로 다뤄야 하며, (3) deployment lifecycle 전반에 걸쳐 통합되어야 한다. 이 입장을 구체화하기 위해 우리는 ATLIS (Agentic Trajectory and Layered Interpretability Stack)를 소개한다. 이는 다섯 단계 deployment lifecycle 전반에 걸쳐 다섯 개의 interpretability layer를 통합하는 framework이다. ATLIS는 incident가 감지될 때 risk-aware escalation을 통해 더 깊은 system-level analysis로 넘어가는 가벼운 continuous monitoring을 가능하게 한다. ATLIS는 점점 커지는 agentic capability와 이를 통치(govern)하는 데 필요한 interpretability infrastructure 사이의 격차를 메우기 위한 청사진을 제공한다.
"},{"id":"65911","en":"Beyond External Monitors: Enhancing Transparency of Large Language Models for Easier Monitoring","ko":"외부 모니터를 넘어서: 더 쉬운 모니터링을 위한 대형 언어 모델의 투명성 강화","authors":"Guanxu Chen, Dongrui Liu, Tao Luo, Lijie Hu, Qihao Lin, Jing Shao","pos":"#3403","link":"https://openreview.net/forum?id=8yrdEj23Hj","abs":"Large language models (LLMs) are becoming increasingly capable, but the mechanisms of their thinking and decision-making processes remain unclear. Chain-of-thoughts (CoTs) have been commonly utilized to externalize LLMs' thinking, but this strategy fails to accurately reflect LLMs' thinking process. Techniques based on LLMs' hidden representations provide an inner perspective to improve the monitorability of their latent thinking. However, previous methods only try to develop external modules instead of making LLMs themselves easier to monitor. In this paper, we propose a novel method, TELLME, improving the transparency of LLMs and helping monitors identify unsuitable and sensitive behaviors. Furthermore, we showcase the effectiveness of TELLME on detoxification tasks, where LLMs achieve consistent improvement among multimodal test sets, distinct architectures, and varying parameter scales. We further analyze TELLME's improvement on LLMs' generalization ability from both optimal transport theory and empirical perspectives.
","absKo":"Large language models (LLMs)는 점점 더 높은 능력을 갖추고 있지만, 그 사고 및 의사결정 과정의 메커니즘은 여전히 명확하지 않다. Chain-of-thoughts (CoTs)는 LLM의 사고를 외부로 드러내기 위해 흔히 사용되어 왔지만, 이 전략은 LLM의 실제 사고 과정을 정확히 반영하지 못한다. LLM의 hidden representation에 기반한 기법은 잠재적 사고의 monitorability를 높이기 위한 내부적 관점을 제공한다. 그러나 기존 방법들은 LLM 자체를 더 쉽게 monitor할 수 있게 만드는 대신 외부 module을 개발하는 데에만 집중해 왔다. 본 논문에서는 LLM의 transparency를 향상시키고 monitor가 부적절하고 민감한 behavior를 식별하도록 돕는 새로운 방법 TELLME를 제안한다. 더 나아가 multimodal test set, 다양한 architecture, 그리고 서로 다른 parameter scale 전반에서 LLM이 일관된 향상을 보이는 detoxification task에서 TELLME의 효과를 입증한다. 또한 optimal transport theory와 empirical perspective 양쪽에서 LLM의 generalization ability 향상에 대한 TELLME의 효과를 분석한다.
"},{"id":"62992","en":"Monitoring Monitorability","ko":"모니터 가능성의 모니터링","authors":"Melody Guan, Miles Wang, Micah Carroll, Zehao Dou, Annie Wei, Marcus Williams, Benjamin Arnav, Joost Huizinga, Ian Kivlichan, Amelia Glaese, Jakub Pachocki, Bowen Baker","pos":"#3610","link":"https://openreview.net/forum?id=b82fgbMVpz","abs":"Safe deployment of increasingly capable AI agents may require visibility into how they make decisions. Chain-of-thought (CoT) monitoring can detect misbehavior in today’s reasoning models, but this “monitorability” may be fragile under different training procedures, data sources, or continued system scaling. We propose three evaluation archetypes (intervention, process, and outcome-property), a new monitorability metric, and a broad evaluation suite. We show CoT monitoring outperforms action-only monitoring in practical settings, and that frontier models are generally—but not perfectly—monitorable. We study scaling trends with pre-training model size and inference-time compute, finding longer CoTs are typically more monitorable. We find that, for a fixed capability level, using a smaller model at higher reasoning effort can yield higher monitorability, at greater inference compute cost. We further find that increasing a weak monitor’s test-time compute when monitoring a strong agent improves monitorability, and giving the monitor access to the CoT both boosts monitorability and steepens the compute–to-monitorability scaling trend. Finally, we show monitorability can be improved by asking follow-up questions and giving the follow-up CoT to the monitor.
","absKo":"점점 더 강력해지는 AI agent를 안전하게 배포하려면, 이들이 어떻게 결정을 내리는지에 대한 가시성이 필요할 수 있다. Chain-of-thought(CoT) monitoring은 오늘날의 reasoning model에서 부적절한 행동을 탐지할 수 있지만, 이러한 “monitorability”는 서로 다른 training procedure, data source, 혹은 system scaling에 따라 취약해질 수 있다. 우리는 세 가지 evaluation archetype(intervention, process, outcome-property), 새로운 monitorability metric, 그리고 광범위한 evaluation suite를 제안한다. 우리는 CoT monitoring이 실제 환경에서 action-only monitoring보다 우수함을 보이며, frontier model은 대체로, 하지만 완벽하지는 않게, monitorable하다는 점을 보인다. 또한 pre-training model size와 inference-time compute에 따른 scaling trend를 연구한 결과, 더 긴 CoT가 일반적으로 더 monitorable하다는 것을 확인했다. 일정한 capability level에서 더 작은 model을 더 높은 reasoning effort로 사용하는 것이, 더 큰 inference compute cost를 치르더라도 더 높은 monitorability를 낼 수 있음을 발견했다. 더 나아가, 약한 monitor가 강한 agent를 monitoring할 때 test-time compute를 늘리면 monitorability가 향상되고, monitor에게 CoT 접근권을 주면 monitorability가 높아질 뿐 아니라 compute–to-monitorability scaling trend도 더 가팔라진다는 사실을 확인했다. 마지막으로 follow-up question을 던지고 그 follow-up CoT를 monitor에 제공하면 monitorability를 개선할 수 있음을 보인다.
"},{"id":"62723","en":"Who Evaluates AI's Social Impacts? Mapping Coverage and Gaps in First and Third Party Evaluations","ko":"AI의 사회적 영향은 누가 평가하는가? 1차 및 제3자 평가의 coverage와 공백 맵핑","authors":"Anka Reuel, Avijit Ghosh, Jenny Chim, Andrew Tran, Yanan Long, Jennifer Mickel, Usman Gohar, Srishti Yadav, Pawan Sasanka Ammanamanchi, Mowafak Allaham, Hossein A. Rahmani, Mubashara Akhtar, Felix Friedrich, Robert Scholz, Michael Riegler, Jan Batzner, Eliya Habba, Arushi Saxena, Anastassia Kornilova, Kevin Wei, Prajna Soni, Yohan Mathew, Kevin Klyman, Jeba Sania, Subramanyam Sahoo, Olivia B Bruvik, Pouya Sadeghi, Sujata Goswami, Angelina Wang, Yacine Jernite, Zeerak Talat, Stella Biderman, Mykel Kochenderfer, Sanmi Koyejo, Irene Solaiman","pos":"#3613","link":"https://openreview.net/forum?id=dvAH9a1uqU","abs":"Foundation models are increasingly central to high-stakes AI systems, and governance frameworks now depend on evaluations to assess their risks and capabilities. Although general capability evaluations are widespread, social impact assessments covering bias, fairness, privacy, environmental costs, and labor remain uneven. To characterize this landscape, we conduct the first comprehensive analysis of social impact evaluation reporting, examining 186 first-party release reports and 248 third-party evaluation sources, supplemented by developer interviews. We find a stark division of labor: first-party reporting is sparse, often superficial, and declining in areas like environmental impact and bias, while third-party evaluators provide broader, more rigorous coverage of bias, harmful content, and performance disparities. However, only developers can authoritatively report on data provenance, content moderation labor, costs, and infrastructure, yet interviews reveal these disclosures are deprioritized unless tied to product adoption or compliance. Current practices leave major gaps in assessing societal impacts, underscoring the need for policies that mandate developer transparency, strengthen independent evaluation ecosystems, and create shared infrastructure for aggregating third-party evaluations.
","absKo":"Foundation model은 점점 고위험 AI system의 핵심이 되고 있으며, governance framework는 이제 그 risk와 capability를 평가하기 위한 evaluation에 의존한다. 일반적인 capability evaluation은 널리 퍼져 있지만, bias, fairness, privacy, environmental cost, labor를 포괄하는 사회적 영향 평가는 여전히 고르지 않다. 이 landscape를 특징짓기 위해, 우리는 사회적 영향 evaluation reporting에 대한 첫 포괄적 분석을 수행했으며, 186개의 first-party release report와 248개의 third-party evaluation source를 검토하고 개발자 인터뷰를 보완했다. 우리는 뚜렷한 분업을 발견했다. first-party reporting은 희소하고, 종종 피상적이며, 환경 영향과 bias 같은 영역에서 감소 추세를 보이는 반면, third-party evaluator는 bias, harmful content, performance disparity에 대해 더 넓고 엄격한 coverage를 제공한다. 그러나 data provenance, content moderation labor, cost, infrastructure에 대해 권위 있게 보고할 수 있는 주체는 개발자뿐이며, 인터뷰 결과 이러한 공개는 product adoption이나 compliance와 직접 연결되지 않는 한 우선순위가 낮게 취급됨이 드러났다. 현재의 관행은 사회적 영향 평가에 큰 공백을 남기고 있으며, 개발자 투명성을 의무화하고, 독립 평가 생태계를 강화하며, third-party evaluation을 집계하기 위한 shared infrastructure를 만드는 정책의 필요성을 강조한다.
"},{"id":"66503","en":"CoopEval: Benchmarking Cooperation-Sustaining Mechanisms and LLM Agents in Social Dilemmas","ko":"CoopEval: 사회적 딜레마에서 협력 유지 메커니즘과 LLM 에이전트 벤치마킹","authors":"Emanuel Tewolde, Xiao Zhang, David Guzman Piedrahita, Vincent Conitzer, Zhijing Jin","pos":"#4008","link":"https://openreview.net/forum?id=369qOr0ZnJ","abs":"It is increasingly important that LLM agents interact effectively and safely with other goal-pursuing agents, yet, according to recent works, the opposite trend appears to be the case: LLMs with stronger reasoning capabilities behave less cooperatively in mixed-motive games such as the prisoner's dilemma and in public goods settings. Indeed, our experiments show that recent models---with or without reasoning enabled---consistently defect on the other players in single-shot social dilemmas. To tackle this safety concern, we study game-theoretic mechanisms that are designed to enable cooperative outcomes between rational agents in equilibrium. Across four social dilemmas testing distinct components of robust cooperation, we evaluate under the following mechanisms: (1) repeating the game for many rounds, (2) reputation systems, (3) third-party mediators to delegate decision making to, and (4) contract agreements for outcome-conditional payments between players. Among our findings, we establish that contracting and mediation are most effective in achieving cooperative outcomes between capable LLM models, and that repetition-induced cooperation deteriorates drastically when co-players vary. Moreover, we demonstrate that these cooperation mechanisms become more effective with higher pressures to optimize for one own's utility.
","absKo":"LLM agent가 다른 목표 추구 agent와 효과적이고 안전하게 상호작용하는 것은 점점 더 중요해지고 있다. 그러나 최근 연구에 따르면 정반대의 경향이 나타나고 있다. 더 강한 reasoning capability를 가진 LLM은 prisoner's dilemma나 public goods setting 같은 mixed-motive game에서 더 비협력적으로 행동하는 것이다. 실제로 우리의 실험은 reasoning 활성화 여부와 무관하게 최근 모델들이 single-shot social dilemma에서 일관되게 다른 플레이어를 배반함을 보여준다. 이러한 안전 문제를 다루기 위해, 우리는 rational agent 간의 협력적 결과를 equilibrium에서 가능하게 하도록 설계된 game-theoretic mechanism을 연구한다. robust cooperation의 서로 다른 구성 요소를 시험하는 네 가지 social dilemma 전반에서, 우리는 다음 mechanism 하에서 평가한다: (1) 게임을 여러 라운드 반복하기, (2) reputation system, (3) 의사결정을 위임할 제3자 mediator, (4) 플레이어 간 outcome-conditional payment를 위한 contract agreement. 우리의 발견 중에서, contracting과 mediation이 유능한 LLM 모델 간 협력적 결과를 달성하는 데 가장 효과적이며, co-player가 달라질 때 repetition-induced cooperation은 급격히 약화됨을 보인다. 또한 이러한 cooperation mechanism은 자신의 utility를 최적화하려는 압력이 높아질수록 더 효과적이 됨을 보인다.
"},{"id":"66117","en":"More Sail than Ballast: Addressing Harmful Knowledge Leakage in the Expansive Reasoning Space of LRMs","ko":"밸러스트보다 돛: LRM의 확장적 추론 공간에서 유해 지식 누출 해결하기","authors":"Qibing Ren, Xinhao Song, Ke Fan, Lijun Li, Zhanpeng Zhou, Gongshen Liu, Junchi Yan, Lizhuang Ma, Jing Shao","pos":"#4010","link":"https://openreview.net/forum?id=6rRs6PpPmg","abs":"The capabilities of large language models (LLMs), particularly large reasoning models (LRMs), are rapidly advancing. This raises concerns about whether LRMs can maintain their safety awareness throughout long-form reasoning. Frustratingly, we identify a prevalent safety issue across LLMs and LRMs, where LRMs can reveal dangerous thoughts, leading to harmful knowledge elicitation when confronting sensitive yet benign topics. For example, when explaining the chemical context of Lewisite, a biological weapon, LRMs analyze its synthesis in their reasoning without recognizing the associated risks. We refer to this issue as the unintended elicitation issue. Experiments on our benchmark show that it is a common issue across current LRMs due to their strong multi-step reasoning capabilities. To address this issue, we propose placing LLMs in our synthesized open-ended environments, allowing them to self-search for a safety reasoning pattern to respond responsibly and helpfully. We first design a scalable data synthesis pipeline to generate data that triggers the ``unintended elicitation'' issue. We further propose a safety-first reward model design, which prioritizes safety while also evaluating the helpfulness of responses and the faithfulness of reasoning. Experiments show that our method improves safety, reduces over-refusal, and maintains strong helpfulness, paving the way for safer deployment in high-stakes domains.
","absKo":"대규모 언어 모델(LLM), 특히 large reasoning model(LRM)의 능력은 빠르게 발전하고 있다. 이는 LRM이 장문의 추론 전반에 걸쳐 안전 인식을 유지할 수 있는지에 대한 우려를 낳는다. 유감스럽게도, 우리는 LLM과 LRM 전반에서 널리 나타나는 안전 문제를 식별했는데, LRM이 위험한 생각을 드러내어 민감하지만 무해한 주제를 마주할 때 해로운 지식이 유도될 수 있다는 점이다. 예를 들어, 생물무기인 Lewisite의 화학적 맥락을 설명할 때, LRM은 관련 위험을 인식하지 못한 채 추론 과정에서 그 합성을 분석한다. 우리는 이 문제를 unintended elicitation issue라고 부른다. 우리의 benchmark 실험은 강력한 multi-step reasoning 능력 때문에 이것이 현재 LRM 전반에 걸친 흔한 문제임을 보여준다. 이 문제를 해결하기 위해, 우리는 LLM을 합성한 open-ended environment에 배치하여 안전한 추론 패턴을 스스로 탐색하게 하고, 책임감 있고 유용하게 응답하도록 한다. 먼저, 우리는 ``unintended elicitation'' 문제를 유발하는 데이터를 생성하기 위한 확장 가능한 data synthesis pipeline을 설계한다. 또한 안전을 우선하면서도 응답의 helpfulness와 추론의 faithfulness를 평가하는 safety-first reward model 설계를 제안한다. 실험은 우리의 방법이 안전성을 향상시키고, over-refusal을 줄이며, 강한 helpfulness를 유지함을 보여주어, high-stakes 도메인에서 더 안전한 배포로 가는 길을 연다."},{"id":"67087","en":"Position: AI Lock-In Is in Progress, and We Must Be Prepared","ko":"Position: AI Lock-In이 진행 중이며, 우리는 대비해야 한다","authors":"Jaeho Kim, Seokhyun Lee, Jieun Lee, Changhee Lee","pos":"#3010","link":"https://openreview.net/forum?id=m2LKM7TgIp","abs":"AI safety research has mainly focused on two areas: technical alignment (ensuring AI systems produce human-aligned outputs) and the regulation of generative AI's societal impacts (including unemployment risk and labor market disruption). However, an equally important dimension remains underexplored: the risk inherent in dependence on AI systems themselves. In this position paper, we argue that AI safety research should address $\\textbf{\\textit{AI Lock-In}}$, the phenomenon whereby excessive reliance on AI systems leads to human deskilling, diminishes human capacity for independent functioning, and creates systemic vulnerabilities when AI systems become unavailable or compromised. We highlight that AI Lock-In is a systemic threat that is already emerging at individual, societal, and national levels, one that could be dramatically amplified by AI service disruptions or geopolitical conflicts. Drawing on detailed scenarios, we investigate how AI Lock-In emerges and escalates across multiple levels, ranging from individual skill atrophy to national-scale infrastructure failures. To address this, we provide guidance on how such risks can be mitigated and prepared for at each level. We contend that proactively addressing AI Lock-In before such dependencies become entrenched and irreversible is essential for preserving individual autonomy and national security.","absKo":"AI safety 연구는 주로 두 영역에 집중해 왔다: technical alignment(AI system이 인간 정렬 출력(human-aligned outputs)을 내도록 보장하는 것)과 generative AI의 사회적 영향 규제(실업 위험 및 노동시장 교란 포함). 그러나 그만큼 중요한 또 다른 차원, 즉 AI system 자체에 대한 의존에서 비롯되는 위험은 충분히 탐구되지 않았다. 이 position paper에서 우리는 AI safety 연구가 $\\textbf{\\textit{AI Lock-In}}$을 다뤄야 한다고 주장한다. 이는 AI system에 과도하게 의존할 때 인간의 deskilling이 촉진되고, 독립적으로 기능할 수 있는 인간의 능력이 약화되며, AI system을 사용할 수 없게 되거나 compromise될 때 시스템 전반의 취약성이 생겨나는 현상이다. 우리는 AI Lock-In이 개인, 사회, 국가 수준에서 이미 나타나고 있는 system-level threat이며, AI service disruption이나 geopolitical conflict에 의해 극적으로 증폭될 수 있음을 강조한다. 상세한 시나리오를 바탕으로, 개인의 skill atrophy에서 국가 규모 infrastructure failure에 이르기까지 여러 수준에서 AI Lock-In이 어떻게 발생하고 심화되는지 조사한다. 이를 다루기 위해 각 수준에서 이러한 위험을 어떻게 완화하고 대비할 수 있는지에 대한 지침을 제시한다. 우리는 이러한 의존이 고착화되고 비가역적이 되기 전에 AI Lock-In에 선제적으로 대응하는 것이 개인의 자율성과 국가 안보를 보존하는 데 필수적이라고 주장한다."},{"id":"67243","en":"Position: Bridge the Gaps between AI Development and Regulation","ko":"Position: AI 개발과 규제 사이의 간극을 메워라","authors":"Mansur Ali Khan, Mehmet Efe Akengin, Osman Salahuddin, Ahmad A. Rushdi","pos":"#3012","link":"https://openreview.net/forum?id=1WYrzYfzVU","abs":"While AI models advance at unprecedented rates, AI safety legislation in the United States remains largely stalled or unrealized. We observe that AI policy activity is increasing globally, yet binding enactments remain limited relative to the pace of technical capability releases. We argue for the need to bridge this gap between AI development and its regulation. Specifically, we support our position through a technical analysis of all U.S. AI-related bills introduced from 2017 to 2025, showing that only 4.23% of U.S. AI bills reach any terminal outcome. We identify that procedural bottlenecks, including committee pigeonholing, multi-sponsor coordination challenges, and expertise asymmetries, are primary correlates of legislative stalling. Our comprehensive analysis of institutional, economic, political, and informational constraints shows factors exacerbating these regulatory delays. To address this multi-faceted gap, we propose policy recommendations grounded in planned adaptation, preemptive enactment, and independent AI oversight. Finally, we highlight the need for coordinated action across policymakers, developers, and industry stakeholders so that AI safety governance keeps pace with technological innovation.
","absKo":"AI model이 전례 없는 속도로 발전하고 있지만, 미국의 AI safety legislation은 여전히 크게 정체되어 있거나 실현되지 못한 상태다. 우리는 전 세계적으로 AI policy activity는 증가하고 있지만, 구속력 있는 enactment는 기술적 capability release의 속도에 비해 제한적이라고 관찰한다. 우리는 AI development와 그 regulation 사이의 이 간극을 메울 필요가 있다고 주장한다. 구체적으로, 2017년부터 2025년까지 미국에서 발의된 모든 AI 관련 bill에 대한 technical analysis를 통해 미국 AI bill의 단 4.23%만이 어떤 terminal outcome에 도달한다는 점을 제시하며 우리의 입장을 뒷받침한다. 우리는 committee pigeonholing, multi-sponsor coordination challenge, expertise asymmetry를 포함한 procedural bottleneck가 legislative stalling의 주요 상관요인임을 식별한다. 제도적, 경제적, 정치적, 정보적 제약에 대한 우리의 포괄적 분석은 이러한 regulatory delay를 악화시키는 요인들을 보여준다. 이 다층적 간극을 해결하기 위해, 우리는 planned adaptation, preemptive enactment, independent AI oversight에 기반한 policy recommendation을 제안한다. 마지막으로, AI safety governance가 technological innovation과 보조를 맞추기 위해 policymakers, developer, industry stakeholder 전반의 coordinated action이 필요하다고 강조한다.
"},{"id":"61759","en":"Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't","ko":"Padded Transformer 표현력 재고찰: 중요한 아키텍처 선택과 그렇지 않은 선택","authors":"Anej Svete, William Merrill, Ryan Cotterell, Ashish Sabharwal","pos":"#1511","link":"https://openreview.net/forum?id=nBuL6HywFX","abs":"Recent work describes what transformers can and cannot compute through connections to boolean circuits, but existing results lack exact characterizations and are sensitive to modeling choices. Padded transformers---whose input is padded with filler symbols such as ``...''---emerge as a useful gadget for establishing equivalences to circuit classes by providing polynomial space for adaptive parallel computation. However, only a limited set of padded transformer idealizations has been studied, leaving open how robust these equivalences are to choices such as attention type, model width, and uniformity. We find that, under practical assumptions, padded transformers are surprisingly robust to all of these, and identify numeric precision and model depth as the main factors affecting expressivity. Concretely, we prove that polynomially-padded L-uniform constant-precision transformers with growing width equal L-uniform $\\text{AC}^{0}$, while growing-precision ones achieve L-uniform $\\text{TC}^{0}$ regardless of width. Furthermore, looping enables sequential processing analogous to circuits: $\\log^d N$-looped constant-precision transformers reach FO-uniform $\\text{AC}^{d}$, and growing-precision ones reach FO-uniform $\\text{TC}^{d}$. Interestingly, growing width or precision beyond logarithmic does not increase expressivity, and all our results hold for both softmax and average hard attention transformers.","absKo":"최근 연구는 boolean circuit과의 연결을 통해 transformer가 무엇을 계산할 수 있고 무엇을 계산할 수 없는지 설명해 왔지만, 기존 결과는 정확한 characterization이 부족하고 modeling choice에 민감하다. 입력이 ``...''와 같은 filler symbol로 padded된 padded transformer는 적응적 parallel computation을 위한 polynomial space를 제공함으로써 circuit class와의 equivalence를 확립하는 데 유용한 gadget으로 부상했다. 그러나 지금까지 연구된 padded transformer의 이상화는 제한적이어서, attention type, model width, uniformity 같은 선택에 대해 이러한 equivalence가 얼마나 robust한지는 열려 있다. 우리는 실용적 가정 하에서 padded transformer가 이들 모두에 대해 놀라울 정도로 robust함을 보이고, 표현력에 영향을 미치는 주요 요인으로 numeric precision과 model depth를 식별한다. 구체적으로, polynomially-padded L-uniform constant-precision transformer with growing width는 L-uniform $\\text{AC}^{0}$와 같고, growing-precision transformer는 width와 무관하게 L-uniform $\\text{TC}^{0}$를 달성함을 증명한다. 더 나아가 loop는 circuit과 유사한 순차 처리를 가능하게 한다: $\\log^d N$-looped constant-precision transformer는 FO-uniform $\\text{AC}^{d}$에 도달하고, growing-precision transformer는 FO-uniform $\\text{TC}^{d}$에 도달한다. 흥미롭게도, width나 precision을 logarithmic 이상으로 늘려도 표현력은 증가하지 않으며, 우리의 모든 결과는 softmax와 average hard attention transformer 모두에 대해 성립한다."},{"id":"62110","en":"Fine-Tuning Without Forgetting In-Context Learning: A Theoretical Analysis of Linear Attention Models","ko":"In-Context Learning을 잊지 않는 파인튜닝: Linear Attention Model의 이론적 분석","authors":"Chungpa Lee, Jy-yong Sohn, Kangwook Lee","pos":"#2215","link":"https://openreview.net/forum?id=jl2f2Y3iuC","abs":"Transformer-based large language models exhibit in-context learning, enabling adaptation to downstream tasks via few-shot prompting with demonstrations. In practice, such models are often fine-tuned to improve zero-shot performance on downstream tasks, allowing them to solve tasks without examples and thereby reducing inference costs. However, fine-tuning can degrade in-context learning, limiting the performance of fine-tuned models on tasks not seen during fine-tuning. Using linear attention models, we provide a theoretical analysis that characterizes how fine-tuning objectives modify attention parameters and identifies conditions under which this leads to degraded few-shot performance. We show that fine-tuning all attention parameters can harm in-context learning, whereas restricting updates to the value matrix improves zero-shot performance while preserving in-context learning. We further show that incorporating an auxiliary few-shot loss enhances in-context learning primarily on the target task, at the expense of degraded in-context learning ability on tasks not seen during fine-tuning. We empirically validate our theoretical results.
","absKo":"Transformer 기반 large language models는 in-context learning을 보이며, few-shot prompting과 demonstrations를 통해 downstream task에 적응할 수 있다. 실제로 이러한 모델은 downstream task에서 zero-shot 성능을 향상시키기 위해 종종 fine-tuning되며, 예시 없이도 task를 해결할 수 있게 되어 inference 비용을 줄인다. 그러나 fine-tuning은 in-context learning을 저하시킬 수 있어, fine-tuning에서 보지 못한 task에 대한 fine-tuned model의 성능을 제한한다. 본 연구는 linear attention model을 사용해 fine-tuning objective가 attention parameter를 어떻게 수정하는지 특성화하고, 이것이 어떤 조건에서 few-shot 성능 저하로 이어지는지를 밝히는 이론적 분석을 제시한다. 우리는 모든 attention parameter를 fine-tuning하는 것이 in-context learning을 해칠 수 있는 반면, update를 value matrix로 제한하면 zero-shot 성능을 개선하면서 in-context learning을 보존할 수 있음을 보인다. 또한 auxiliary few-shot loss를 포함하면 주로 target task에서 in-context learning이 향상되지만, fine-tuning 중 보지 못한 task에 대한 in-context learning 능력은 저하된다는 점을 보인다. 마지막으로, 이론적 결과를 실험적으로 검증한다.
"},{"id":"60587","en":"What Makes a Strong Model? A Unified Spectral Analysis of Knowledge Transfer over High-dimensional Linear Regression","ko":"강한 모델은 무엇이 만드는가? 고차원 선형 회귀에서 지식 전이에 대한 통합 스펙트럼 분석","authors":"Wendao Wu, Fangqing Zhang, Haihan Zhang, Cong Fang","pos":"#301","link":"https://openreview.net/forum?id=ykWN4LG9vE","abs":"Teacher-Student Knowledge Transfer (KT) is ubiquitous in modern machine learning, ranging from classical model compression via Knowledge Distillation (KD) to the emergent phenomenon of Weak-to-Strong (W2S) generalization. While existing studies offer isolated insights, a unified theoretical framework explaining the efficacy of KT across these disparate regimes remains lacking. In this work, we establish a unified spectral analysis of SGD dynamics in high-dimensional linear regression, elucidating the efficiency of KT across seemingly disparate regimes. We characterize KT efficiency through two distinct mechanisms: \\emph{Spectral Horizon Expansion} in KD, which enables the capture of statistically inaccessible high-frequency signals, and \\emph{Spectral Denoising} in W2S, where the student acts as a filter for optimization noise. Our framework unifies these phenomena, revealing that the efficacy of transfer is governed by the interplay between implicit regularization and heterogeneous spectral learning speeds over the spectrum.
","absKo":"Teacher-Student Knowledge Transfer (KT)는 Knowledge Distillation (KD)을 통한 고전적 model compression부터 Weak-to-Strong (W2S) generalization이라는 새로운 현상에 이르기까지 현대 machine learning 전반에 널리 존재합니다. 기존 연구들은 개별적인 통찰을 제공하지만, 서로 다른 이러한 regime 전반에서 KT의 효율성을 설명하는 통합 이론 프레임워크는 여전히 부족합니다. 본 연구에서는 고차원 linear regression에서 SGD dynamics의 통합된 spectral analysis를 확립하여, 표면적으로 상이해 보이는 regime들 전반에서 KT의 효율성을 설명합니다. 우리는 KT의 효율성을 두 가지 서로 다른 메커니즘으로 특징지습니다. 하나는 KD에서의 \\emph{Spectral Horizon Expansion}으로, 통계적으로 접근 불가능한 고주파 signal을 포착할 수 있게 합니다. 다른 하나는 W2S에서의 \\emph{Spectral Denoising}으로, student가 optimization noise에 대한 filter 역할을 합니다. 우리의 프레임워크는 이러한 현상들을 하나로 묶어, transfer의 효율성이 implicit regularization과 spectrum 전반의 이질적인 spectral learning speed 사이의 상호작용에 의해 좌우됨을 보여줍니다.
"},{"id":"60799","en":"Utility Boundary of Dataset Distillation: Scaling and Coverage Laws","ko":"Dataset Distillation의 Utility Boundary: Scaling 및 Coverage Law","authors":"Zhengquan Luo, Zhiqiang Xu","pos":"#305","link":"https://openreview.net/forum?id=wbXPNPw5jW","abs":"Dataset distillation (DD) aims to replace a full training set with a tiny synthetic one, yet current theories neither explain why heterogeneous matching objectives (gradient, distribution, trajectory) work nor provide a quantitative boundary for robustness under configuration changes (optimizer, architecture, augmentation). We propose configuration-dynamics-error (CDE) analysis for a broad class of matching-based DD methods, which provides a unified generalization framework that treats the training configuration as an update operator inducing optimization dynamics, and that measures distillation robustness by the test-risk gap between models trained on distilled versus full data. Within this framework, all gradient, distribution, and trajectory matchings are shown to reduce the same dynamics-induced risk gap, explaining why these heterogeneous objectives can work. CDE yields two predictive laws. First, within a fixed configuration, the gap decays as $\\mathcal{O}(k^{-1/2})$ with the distilled set size $k$ until the configuration-dependent floor, which can explain the ubiquitous IPC saturation and indicate when improving the floor dominates enlarging $k$. Second, we formalize a utility boundary via an order-tight coverage law: the required $k$ grows linearly with the configuration diversity that can be captured by the covering-number complexity. Experiments with representative DD methods and configuration changes exhibit predictive behaviors consistent with our laws.","absKo":"Dataset distillation(DD)은 전체 training set을 아주 작은 synthetic set으로 대체하는 것을 목표로 하지만, 현재의 이론은 이질적인 matching objective(gradient, distribution, trajectory)가 왜 작동하는지 설명하지 못하며, configuration 변화(optimizer, architecture, augmentation) 하에서의 robustness에 대한 정량적 경계도 제시하지 못한다. 우리는 matching 기반의 폭넓은 DD 방법군에 대해 configuration-dynamics-error(CDE) 분석을 제안하며, 이는 training configuration을 optimization dynamics를 유도하는 update operator로 취급하는 통합 generalization framework를 제공하고, distilled data로 학습한 모델과 full data로 학습한 모델 사이의 test-risk gap으로 distillation robustness를 측정한다. 이 프레임워크 안에서 gradient, distribution, trajectory matching은 모두 동일한 dynamics-induced risk gap을 줄이는 것으로 나타나며, 서로 이질적인 objective들이 왜 작동할 수 있는지 설명한다. CDE는 두 가지 예측 법칙을 도출한다. 첫째, 고정된 configuration 안에서 gap은 configuration-dependent floor에 도달할 때까지 distilled set size k에 대해 $\\mathcal{O}(k^{-1/2})$로 감소하며, 이는 널리 관찰되는 IPC saturation을 설명하고 floor 개선이 k 증대보다 더 중요해지는 시점을 알려준다. 둘째, 우리는 covering-number complexity로 포착 가능한 configuration diversity에 비례하여 필요한 k가 선형적으로 증가하는 order-tight coverage law를 통해 utility boundary를 정식화한다. 대표적인 DD 방법들과 configuration 변화에 대한 실험은 우리의 법칙과 일치하는 예측적 행동을 보인다."},{"id":"64914","en":"On The Variability Of Concept Activation Vectors","ko":"Concept Activation Vector의 변동성에 대하여","authors":"Julia Wenkmann, Damien Garreau","pos":"#3314","link":"https://openreview.net/forum?id=Ih5NfDUiOz","abs":"One of the most pressing challenges in artificial intelligence is to make models more transparent to their users. Recently, explainable artificial intelligence has come up with numerous method to tackle this challenge. A promising avenue is to use concept-based explanations, that is, high-level concepts instead of plain feature importance score. Among this class of methods, Concept Activation Vectors CAVs, Kim et al. (2018) stands out as one of the main protagonists. One interesting aspect of CAVs is that their computation requires sampling random examples in the train set. Therefore, the actual vectors obtained may vary depending on the randomness of this sampling. In this paper, we propose a fine-grained theoretical analysis of CAV construction in order to quantify their variability. Our results, confirmed by experiments on several real-life datasets of four different modalities, point out towards an universal result: the variance of CAVs decreases as $1/N$, where $N$ is the number of random examples. Based on this we give practical recommendations for a resource-efficient application of the method.","absKo":"인공지능에서 가장 시급한 과제 중 하나는 모델을 사용자에게 더 투명하게 만드는 것이다. 최근 explainable artificial intelligence는 이 과제를 다루기 위한 수많은 method를 제시해 왔다. 유망한 접근은 concept-based explanation, 즉 단순한 feature importance score 대신 high-level concept를 사용하는 것이다. 이 범주에서 Concept Activation Vectors CAVs, Kim et al. (2018)는 주요 대표 방법 중 하나로 두드러진다. CAVs의 흥미로운 점 중 하나는 그 계산이 train set에서 random example을 샘플링해야 한다는 것이다. 따라서 실제로 얻어지는 vector는 이 샘플링의 randomness에 따라 달라질 수 있다. 본 논문에서는 CAV construction의 변동성을 정량화하기 위해 이에 대한 세밀한 이론적 분석을 제안한다. 네 가지 서로 다른 modality의 여러 실제 데이터셋에 대한 실험으로 확인된 우리의 결과는 보편적인 결론을 시사한다. 즉, CAV의 variance는 $N$이 random example의 개수일 때 $1/N$에 따라 감소한다. 이를 바탕으로 우리는 resource-efficient한 방식으로 이 method를 적용하기 위한 실용적 권고를 제시한다."},{"id":"66216","en":"Ideal Attribution and Faithful Watermarks for Language Models","ko":"언어 모델을 위한 이상적 귀속과 충실한 워터마크","authors":"Min Jae Song, Kameron Shahabi","pos":"#3413","link":"https://openreview.net/forum?id=5hqkRlAGtP","abs":"We introduce ideal attribution mechanisms, a formal abstraction for reasoning about attribution decisions over strings. At the core of this abstraction lies the ledger, an append-only log of the prompt-response interaction history between a model and its user. Each mechanism produces deterministic decisions based on the ledger and an explicit selection criterion, making it well-suited to serve as a ground truth for attribution. We frame the design goal of watermarking schemes as faithful representation of ideal attribution mechanisms. This novel perspective brings conceptual clarity, replacing piecemeal probabilistic statements with a unified language for stating the guarantees of each scheme. It also enables precise reasoning about desiderata for future watermarking schemes, even when no current construction achieves them, as the ideal functionalities are specified first. In this way, the framework provides a roadmap that clarifies which guarantees are attainable in an idealized setting and worth pursuing in practice.
","absKo":"우리는 문자열에 대한 attribution decision을 추론하기 위한 형식적 추상화인 ideal attribution mechanism을 소개한다. 이 추상화의 핵심에는 ledger가 있는데, 이는 model과 user 사이의 prompt-response interaction history를 append-only log로 기록한 것이다. 각 mechanism은 ledger와 명시적 selection criterion에 기반해 결정론적 결정을 내리므로, attribution의 ground truth로 사용하기에 적합하다. 우리는 watermarking scheme의 설계 목표를 ideal attribution mechanism을 충실하게 표현하는 것으로 정식화한다. 이 새로운 관점은 개념적 명료성을 가져오며, 조각난 확률적 진술들을 각 scheme의 보장을 기술하는 통합된 언어로 대체한다. 또한 현재의 어떤 construction도 달성하지 못하더라도, 이상적인 기능이 먼저 명세되기 때문에 향후 watermarking scheme에 대한 desiderata를 정밀하게 추론할 수 있게 한다. 이런 방식으로 이 프레임워크는 이상화된 setting에서 어떤 보장이 달성 가능하며 실제로 추구할 가치가 있는지를 명확히 하는 로드맵을 제공한다.
"},{"id":"62635","en":"Sobolev Regularized Score Difference Estimation in Diffusion Models","ko":"Diffusion Models의 Sobolev Regularized Score Difference Estimation","authors":"Chenghan Xie, Jose Blanchet, Renyuan Xu","pos":"#3515","link":"https://openreview.net/forum?id=en3Ws2v1Ts","abs":"Estimating the difference of two Stein's score functions is a fundamental problem in generative modeling. In particular, score differences arise naturally in transfer learning, where the score difference provides the mechanism for adapting a pre-trained model to a new target distribution, and in diffusion model-based post-training methods such as discriminator guidance. Existing estimators for score differences in these settings either lack of statistical consistency or are difficult to scale up in high-dimensions. We propose a statistically consistent and scalable estimator for score differences based on Sobolev regularization, which plays a crucial role in ensuring consistency and stablizing the training in the small-sample regime. Mathematically, we establish a convergence rate of $\\tilde{\\mathcal{O}}(n^{-\\frac{s-1}{d+2s-2}})$ where $d$ is the dimension and $s$ denotes the smoothness of the underlying densities, and provide a minimax lower bound of $\\tilde{\\Omega}(n^{-\\frac{2(s-1)}{d+2s}})$ (in mean-squared error). Empirically, our estimator exhibits significantly improved stability in small-sample regimes compared to existing methods. We demonstrate its effectiveness on real-world tasks, including transfer learning for ECG signal generation, where it substantially outperforms non-regularized score difference estimators in downstream classification performance.","absKo":"추정 두 Stein score function의 차이를 계산하는 것은 generative modeling에서 근본적인 문제이다. 특히 score difference는 transfer learning에서 자연스럽게 등장하는데, 여기서 score difference는 pre-trained model을 새로운 target distribution에 적응시키는 메커니즘을 제공한다. 또한 discriminator guidance와 같은 diffusion model 기반 post-training 방법에서도 score difference가 나타난다. 이러한 설정에서 기존의 score difference estimator들은 statistical consistency가 부족하거나, high-dimensional 환경에서 확장하기 어렵다. 우리는 Sobolev regularization에 기반한, statistically consistent하고 scalable한 score difference estimator를 제안한다. 이 regularization은 small-sample regime에서 consistency를 보장하고 training을 안정화하는 데 핵심적인 역할을 한다. 수학적으로, 우리는 $\\tilde{\\mathcal{O}}(n^{-\\frac{s-1}{d+2s-2}})$의 convergence rate를 확립하는데, 여기서 $d$는 dimension이고 $s$는 underlying density의 smoothness를 뜻한다. 또한 mean-squared error 기준으로 $\\tilde{\\Omega}(n^{-\\frac{2(s-1)}{d+2s}})$의 minimax lower bound를 제시한다. 실증적으로, 우리의 estimator는 기존 방법과 비교해 small-sample regime에서 훨씬 향상된 안정성을 보인다. 우리는 ECG signal generation을 위한 transfer learning을 포함한 실제 과제에서 그 효과를 입증하며, downstream classification 성능에서 non-regularized score difference estimator들을 크게 능가한다."},{"id":"65160","en":"A Statistical Framework for Analyzing Specification Resistance to Learnware-Inversion Risks","ko":"Learnware-Inversion 위험에 대한 명세 저항성 분석을 위한 통계적 프레임워크","authors":"Hao-Yi Lei, Zhi-Hao Tan, Zhi-Hua Zhou","pos":"#3914","link":"https://openreview.net/forum?id=GEqsnXK3NN","abs":"The learnware paradigm aims to enable users to leverage numerous existing high-performing models instead of building machine learning models from scratch. A learnware consists of a submitted model together with a specification derived from the developer’s training data. As the key component, a specification should characterize the capabilities of the model, enabling it to be adequately identified and reused, while preserving the developer's original data. In this paper, we present the first formal study of the risks that arise when a specification is attached to a model, as opposed to releasing the model alone. We develop a game-theoretic framework and, by combining variational inference with geometry analysis, provide quantitative estimates of the resulting risk of specification. Our analysis provides theoretical guarantees on the data protection ability for the commonly adopted RKME specification. Finally, we prove that with a properly chosen size of specification, releasing the specification alongside the model introduces almost no additional risk of exposing the raw data, while still retaining sufficient information for effective learnware identification.
","absKo":"learnware 패러다임은 사용자가 머신러닝 모델을 처음부터 만들지 않고도 이미 존재하는 수많은 고성능 모델을 활용할 수 있게 하는 것을 목표로 한다. Learnware는 제출된 모델과 개발자의 training data로부터 도출된 specification으로 구성된다. 핵심 구성 요소인 specification은 모델의 capability를 특성화하여 이를 적절히 식별하고 재사용할 수 있게 하면서도, 개발자의 원래 데이터를 보존해야 한다. 본 논문에서는 specification을 모델과 함께 부착하여 공개할 때, 즉 모델만 공개하는 경우와 비교했을 때 발생하는 위험에 대한 첫 formal study를 제시한다. 우리는 game-theoretic framework를 개발하고, variational inference와 geometry analysis를 결합하여 specification으로 인한 위험의 정량적 추정을 제공한다. 우리의 분석은 널리 채택되는 RKME specification에 대해 데이터 보호 능력에 대한 이론적 보장을 제공한다. 마지막으로, 적절히 선택된 specification 크기에서는 model과 함께 specification을 공개하더라도 raw data 노출의 추가 위험이 거의 없으면서도, 효과적인 learnware identification에 충분한 정보를 유지함을 증명한다.
"},{"id":"66044","en":"Mixtures of geodesic factor analyzers on Riemannian homogeneous spaces","ko":"Riemannian 동차 공간에서의 측지선 요인 분석기 혼합","authors":"Hengchao Chen, Yuanyao Tan, Chao Huang, Hongtu Zhu, Qiang Sun","pos":"#4011","link":"https://openreview.net/forum?id=7bTdGPe3RG","abs":"This paper introduces Mixtures of Geodesic Factor Analyzers (MGFA) on Riemannian homogeneous spaces. MGFA uses a geodesic factor model within each mixture component, providing greater expressiveness than mixtures of Riemannian radial distributions and enabling clustering of manifold-valued data with anisotropic subpopulations. We establish root-$n$ consistency for the MGFA maximum likelihood estimator (MLE), thereby filling a theoretical gap for mixtures of Riemannian radial distributions as a special case. We also propose an iterative estimation algorithm and implement it on spheres, shape spaces, and hyperbolic spaces. Numerical experiments show that MGFA substantially outperforms competing methods in well-specified regimes while remaining robust under model misspecification. Finally, case studies on corpus callosum and left hippocampus shape datasets demonstrate MGFA’s effectiveness for both 2D contour and 3D shape analysis.","absKo":"이 논문은 Riemannian homogeneous space 위의 Mixtures of Geodesic Factor Analyzers (MGFA)를 소개한다. MGFA는 각 mixture component 내부에서 geodesic factor model을 사용하여 mixtures of Riemannian radial distributions보다 더 큰 표현력을 제공하고, anisotropic subpopulation을 가진 manifold-valued data의 clustering을 가능하게 한다. 우리는 MGFA maximum likelihood estimator (MLE)에 대한 root-$n$ consistency를 확립하여, 특수한 경우로서의 mixtures of Riemannian radial distributions에 대한 이론적 공백을 메운다. 또한 반복적 추정 알고리즘을 제안하고 이를 sphere, shape space, hyperbolic space에 구현한다. 수치 실험은 MGFA가 잘 명세된 regime에서는 경쟁 방법들을 크게 능가하면서도 model misspecification 하에서는 강건함을 유지함을 보여준다. 마지막으로 corpus callosum과 left hippocampus shape dataset에 대한 사례 연구는 MGFA가 2D contour와 3D shape analysis 모두에서 효과적임을 보여준다."},{"id":"60811","en":"Tightening the Score Matching Gap for Diffusion Models","ko":"Diffusion Model의 Score Matching Gap 줄이기","authors":"Benjamin Dupuis, Tyler Farghly, Maxime Haddouche, Alain Oliviero Durmus, Umut Simsekli","pos":"#4502","link":"https://openreview.net/forum?id=wRairc60Ob","abs":"Diffusion models (DMs) are a state-of-the-art generative method to approximately sample from an unknown distribution. Their training and evaluation primarily rely on an Evidence Lower Bound (ELBO), which relates the Kullback-Leibler (KL) divergence of model samples to the score matching loss along the path, which serves as a tractable surrogate. The difference between sample quality and the score matching loss produced by this bound leads to the score matching gap, which is known to be tight in the worst-case but not descriptive of sample quality in general. In this work, we provide a theoretical analysis of this gap, developing tighter bounds for three metrics: KL divergence, reverse KL divergence, and Wasserstein distance, effectively exploiting the regularity of the class of score estimators. Our results suggest that the quality of the score approximation has more impact on closing the score matching gap for low noise scales. To obtain these bounds, our key technical insight is to exploit the contraction properties of the backward processes. In particular, we rely on entropy flows, logarithmic Sobolev inequalities and reflection couplings, rigorously linking the ergodicity of the Langevin diffusion to the score matching gap problem.
","absKo":"Diffusion model (DM)은 알려지지 않은 분포로부터 근사적으로 sample을 생성하는 최첨단 generative method이다. 이들의 학습과 평가는 주로 Evidence Lower Bound (ELBO)에 의존하는데, 이는 모델 sample의 Kullback-Leibler (KL) divergence를 경로를 따라 score matching loss와 연결하며, 후자는 계산 가능한 surrogate 역할을 한다. 이 경계가 유도하는 sample quality와 score matching loss의 차이는 score matching gap을 낳는데, 이는 최악의 경우에는 tight하다고 알려져 있지만 일반적으로 sample quality를 잘 설명하지는 못한다. 이 연구에서 우리는 이 gap에 대한 이론적 분석을 제공하고, KL divergence, reverse KL divergence, Wasserstein distance라는 세 가지 metric에 대해 더 타이트한 bound를 전개함으로써 score estimator class의 regularity를 효과적으로 활용한다. 우리의 결과는 score approximation의 품질이 낮은 noise scale에서 score matching gap을 줄이는 데 더 큰 영향을 미친다는 점을 시사한다. 이러한 bound를 얻기 위한 핵심 기술적 통찰은 backward process의 contraction property를 활용하는 데 있다. 특히 우리는 entropy flow, logarithmic Sobolev inequality, reflection coupling에 의존하여 Langevin diffusion의 ergodicity를 score matching gap 문제와 엄밀하게 연결한다.
"},{"id":"63097","en":"Theoretical Characterization of Generalization in Knowledge Distillation","ko":"지식 증류에서 일반화의 이론적 특성화","authors":"Xiangchao Li, Xiao Han, Qing Yang, Xin Tong","pos":"#4503","link":"https://openreview.net/forum?id=a8kD1LcwZf","abs":"This paper presents a theoretical investigation into the generalization capabilities of cross-domain knowledge distillation. Utilizing a high-dimensional asymptotic analysis of a linear teacher–student model, we characterize the excess risk while accounting for both model and covariate shifts. Our results provide a formal guarantee for the efficacy of distillation: even when the source and target domains differ substantially, there still may exist a regime where the student model achieves superior generalization ability over the student-only baseline. Moreover, we identify a \\textit{crossed double descent} phenomenon: the excess risk can vary non-monotonically with the teacher’s and student’s dimension-to-sample-size ratios. These results provide rigorous insight into when and why distillation helps across domains.
","absKo":"이 논문은 cross-domain knowledge distillation의 generalization 능력에 대한 이론적 연구를 제시한다. linear teacher-student model의 고차원 asymptotic analysis를 활용하여, model shift와 covariate shift를 모두 고려하면서 excess risk를 특성화한다. 우리의 결과는 distillation의 효용에 대한 형식적 보장을 제공한다. source domain과 target domain이 크게 다르더라도, student model이 student-only baseline보다 더 우수한 generalization 능력을 달성하는 regime가 여전히 존재할 수 있다. 또한 우리는 \\textit{crossed double descent} 현상을 식별한다. excess risk는 teacher와 student의 dimension-to-sample-size ratio에 따라 비단조적으로 변할 수 있다. 이러한 결과는 domain을 넘어 distillation이 언제, 왜 도움이 되는지에 대한 엄밀한 통찰을 제공한다.
"},{"id":"64746","en":"A Noise Sensitivity Exponent Controls Large Statistical-to-Computational Gaps in Single- and Multi-Index Models","ko":"Noise Sensitivity Exponent가 Single- 및 Multi-Index Model에서 큰 통계-계산 간극을 제어한다","authors":"Leonardo Defilippis, FLORENT KRZAKALA, Bruno Loureiro, Antoine Maillard","pos":"#4506","link":"https://openreview.net/forum?id=KHhO311xZ2","abs":"Understanding when learning is statistically possible yet computationally hard is a central challenge in high-dimensional statistics. In this work, we investigate this question in the context of single- and multi-index models, classes of functions widely studied as benchmarks to probe the ability of machine learning methods to discover features in high-dimensional data. Our main contribution is to show that a Noise Sensitivity Exponent (NSE)—a simple quantity determined by the activation function—governs the existence and magnitude of statistical-to-computational gaps within a broad regime of these models. We first establish that, in single-index models with large additive noise, the onset of a computational bottleneck is fully characterized by the NSE. We then demonstrate that the same exponent controls a statistical-computational gap in the specialization transition of large separable multi-index models, where individual components become learnable. Taken together, our results identify the NSE as a unifying property linking noise robustness, computational hardness, and feature specialization in high-dimensional learning.
","absKo":"학습이 통계적으로는 가능하지만 계산적으로는 어려운 시점을 이해하는 것은 고차원 통계에서 핵심적인 도전이다. 이 연구에서는 머신러닝 방법이 고차원 데이터에서 feature를 발견하는 능력을 탐구하기 위한 benchmark로 널리 연구되어 온 함수 클래스인 single-index model과 multi-index model의 맥락에서 이 질문을 조사한다. 우리의 주요 기여는 activation function에 의해 결정되는 단순한 양인 Noise Sensitivity Exponent (NSE)가 이러한 모델의 광범위한 regime에서 statistical-to-computational gap의 존재와 크기를 지배한다는 점을 보인 것이다. 먼저, 큰 additive noise를 갖는 single-index model에서 computational bottleneck의 발생 시점이 NSE로 완전히 특징지어진다는 것을 확립한다. 이어서, 개별 component가 학습 가능해지는 large separable multi-index model의 specialization transition에서도 같은 exponent가 statistical-computational gap을 제어함을 보인다. 종합하면, 우리의 결과는 NSE가 고차원 학습에서 noise robustness, computational hardness, feature specialization을 연결하는 통합적 성질임을 밝힌다.
"},{"id":"63382","en":"Semi-knockoffs: a model-agnostic conditional independence testing method with finite-sample guarantees","ko":"Semi-knockoffs: 유한 표본 보장을 갖춘 모델 불가지론적 조건부 독립성 검정 방법","authors":"Angel REYERO LOBO, Thirion Bertrand, Pierre Neuvial","pos":"#4513","link":"https://openreview.net/forum?id=Xf9hJMGwDd","abs":"Conditional independence testing (CIT) is essential for reliable scientific discovery. It prevents spurious findings and enables controlled feature selection. Recent CIT methods have used machine learning (ML) models as surrogates of the underlying distribution. However, model-agnostic approaches require a train-test split, which reduces statistical power. We introduce Semi-knockoffs, a CIT method that can accommodate any pre-trained model, avoids this split, and provides valid p-values and false discovery rate (FDR) control for high-dimensional settings. Unlike methods that rely on the model-$X$ assumption (known input distribution), Semi-knockoffs only require conditional expectations for continuous variables. This makes the procedure less restrictive and more practical for machine learning integration. To ensure validity when these expectations are estimated, we present two new theoretical results: (i) stability for regularized models trained with a null feature and (ii) the double-robustness property.","absKo":"조건부 독립성 검정(CIT)은 신뢰할 수 있는 과학적 발견에 필수적이다. 이는 허위 발견(spurious finding)을 방지하고 통제된 feature selection을 가능하게 한다. 최근의 CIT 방법들은 머신러닝(ML) 모델을 기반 분포의 surrogate로 사용해 왔다. 그러나 model-agnostic 접근은 train-test split을 필요로 하며, 이는 statistical power를 낮춘다. 우리는 사전 학습된 어떤 모델에도 적용할 수 있고, 이 split을 피하며, 고차원 설정에서 유효한 p-value와 false discovery rate(FDR) control을 제공하는 CIT 방법인 Semi-knockoffs를 제안한다. model-$X$ 가정(입력 분포를 알고 있다는 가정)에 의존하는 방법들과 달리, Semi-knockoffs는 연속형 변수에 대해 conditional expectation만을 요구한다. 이는 절차를 덜 제한적으로 만들고 머신러닝 통합에 더 실용적이게 한다. 이러한 expectation이 추정될 때에도 타당성을 보장하기 위해, 우리는 두 가지 새로운 이론적 결과를 제시한다: (i) null feature를 포함해 학습된 regularized model의 stability와 (ii) double-robustness property."},{"id":"64532","en":"Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning","ko":"릿지 회귀에서 최적 무제약 자기 증류: 엄밀한 개선, 정밀한 점근성, 원샷 튜닝","authors":"Hien Dang, Pratik Patil, Alessandro Rinaldo","pos":"#4515","link":"https://openreview.net/forum?id=MdHcU4C4Rm","abs":"Self-distillation (SD), retraining a student on a mixture of ground-truth labels and a teacher’s own predictions using the same architecture and training data, often improves generalization empirically, but it is unclear when improvement is guaranteed. We study SD for ridge regression with an unconstrained mixing weight $\\xi \\in \\mathbb{R}$. Conditional on the training data, without any distributional assumptions, we prove that for any squared prediction risk $R$ (including out-of-distribution), the optimally mixed student strictly improves upon the ridge teacher at every regularization level $\\lambda$ where the teacher risk is not stationary ($R'(\\lambda) \\neq 0$). We also characterize the optimal mixing weight $\\xi^\\star$ in terms of the risk derivative $R'$, showing that it can surprisingly be negative. To further quantify SD risk improvements, we derive exact risk asymptotics in the proportional asymptotics regime for general anisotropic covariance and deterministic signals. Finally, we propose a consistent one-shot tuning method to estimate $\\xi^\\star$ without retraining, sample splitting, or grid search. Experiments on real-world tasks and pre-trained neural network features validate our theory and tuning method.","absKo":"Self-distillation (SD)은 동일한 architecture와 training data를 사용하여 student를 ground-truth label과 teacher의 자체 예측을 섞어 다시 학습시키는 방법으로, 경험적으로 generalization을 자주 향상시키지만 언제 개선이 보장되는지는 불분명하다. 우리는 mixing weight가 제한되지 않은 $\\xi \\in \\mathbb{R}$인 ridge regression에서의 SD를 연구한다. training data에 조건부로, 어떠한 distributional assumption도 없이, 우리는 모든 squared prediction risk $R$(out-of-distribution을 포함)에 대해 최적 혼합 student가 teacher risk가 stationary하지 않은 모든 regularization level $\\lambda$에서($R'(\\lambda) \\neq 0$) ridge teacher를 엄밀히 능가함을 증명한다. 또한 risk derivative $R'$로 최적 mixing weight $\\xi^\\star$를 특성화하여, 그것이 놀랍게도 음수가 될 수 있음을 보인다. SD risk 개선을 더 정량화하기 위해, 우리는 일반적인 anisotropic covariance와 deterministic signal에 대해 proportional asymptotics regime에서 정확한 risk asymptotics를 유도한다. 마지막으로, 재학습, sample splitting, grid search 없이 $\\xi^\\star$를 추정하는 일관된 one-shot tuning method를 제안한다. 실제 작업과 pre-trained neural network feature에 대한 실험은 우리의 이론과 tuning method를 검증한다."},{"id":"62825","en":"Sharp Concentration Bounds for Vector Bundle-Valued Statistics on Manifolds","ko":"다양체 위 Vector Bundle-Valued Statistics의 Sharp Concentration Bounds","authors":"Swagatam Das, Vaclav Snasel","pos":"#4617","link":"https://openreview.net/forum?id=cspPnNScXa","abs":"Many geometric-statistics and manifold-learning pipelines produce bundle-valued observations (for example, tangent vectors) that lie in different fibers. Forming empirical averages, therefore, requires transporting data to a common reference fiber, which can introduce curvature- and holonomy-driven effects. We study transported empirical means for a measurable section s: M → E of a rank-k vector bundle (E, π, M) equipped with a bundle metric and a compatible metric connection, and we derive finite-sample, dimension-free concentration bounds in the reference fiber E_{x₀}. Using sharp Hilbert-space inequalities due to Pinelis, we obtain Hoeffding- and Bernstein-type tail bounds controlled by a uniform per-sample bound B and a variance proxy σ². When minimizing geodesics are not unique, we isolate a deterministic holonomy ambiguity term Δ_{hol} and bound it in terms of bundle curvature and loop geometry; for the specific case E = T S²_{r} we give sharp area-based formulas. The resulting bias–variance decomposition provides practical uncertainty quantification for bundle-valued averaging and clarifies when curvature-driven transport ambiguity is negligible relative to sampling error.
","absKo":"많은 geometric-statistics 및 manifold-learning pipeline은 서로 다른 fiber에 놓인 bundle-valued observation(예: tangent vector)을 생성한다. 따라서 empirical average를 구하려면 데이터를 공통 reference fiber로 transport해야 하며, 이 과정에서 curvature와 holonomy에 의해 유도되는 효과가 발생할 수 있다. 우리는 rank-k vector bundle (E, π, M)의 measurable section s: M → E를 bundle metric과 compatible metric connection을 갖는 상황에서 transported empirical mean을 연구하고, reference fiber E_{x₀}에서 유한 샘플, 차원 무관 concentration bound를 유도한다. Pinelis의 sharp Hilbert-space inequality를 사용하여, uniform per-sample bound B와 variance proxy σ²로 제어되는 Hoeffding-type 및 Bernstein-type tail bound를 얻는다. minimizing geodesic이 유일하지 않을 때는 deterministic holonomy ambiguity term Δ_{hol}를 분리하고, bundle curvature와 loop geometry의 관점에서 이를 bound한다. 특히 E = T S²_{r}의 경우에는 sharp area-based formula를 제시한다. 이렇게 얻은 bias–variance decomposition은 bundle-valued averaging에 대한 실용적인 uncertainty quantification을 제공하며, curvature-driven transport ambiguity가 sampling error에 비해 언제 무시 가능한지 명확히 해준다.
"},{"id":"66429","en":"Single-Head Attention in High Dimensions: A Theory of Generalization, Weights Spectra, and Scaling Laws","ko":"고차원에서의 Single-Head Attention: 일반화, 가중치 스펙트럼, 스케일링 법칙 이론","authors":"Fabrizio Boncoraglio, Vittorio Erba, Emanuele Troiani, Yizhou Xu, FLORENT KRZAKALA, Lenka Zdeborova","pos":"#4618","link":"https://openreview.net/forum?id=3qan4Zg9rA","abs":"Trained attention layers exhibit striking and reproducible spectral structure of the weights, including low-rank collapse, bulk deformation, and isolated spectral outliers, yet the origin of these phenomena and their implications for generalization remain poorly understood. We study empirical risk minimization in a single-head tied-attention layer trained on synthetic high-dimensional sequence tasks generated from the attention-indexed model. Using tools from random matrix theory, spin-glass theory, and approximate message passing, we obtain an exact high-dimensional characterization of training and test error, interpolation and recovery thresholds, and the spectrum of the key and query matrices. Our theory predicts the full singular-value distribution of the trained query–key map—including low-rank structure and isolated spectral outliers—in qualitative agreement with observations in more realistic transformers. Finally, for targets with power-law spectra, we show that learning proceeds through sequential spectral recovery, leading to the emergence of power-law scaling laws.
","absKo":"학습된 attention layer는 low-rank collapse, bulk deformation, isolated spectral outlier를 포함하는 눈에 띄고 재현 가능한 weight의 spectral structure를 보이지만, 이러한 현상의 기원과 일반화에 대한 함의는 여전히 잘 이해되지 않고 있다. 우리는 attention-indexed model에서 생성된 synthetic high-dimensional sequence task 위에서 학습된 single-head tied-attention layer의 empirical risk minimization을 연구한다. random matrix theory, spin-glass theory, approximate message passing 도구를 사용하여 우리는 학습 및 테스트 error, interpolation 및 recovery threshold, 그리고 key 및 query matrix의 spectrum에 대한 정확한 고차원 특성화를 얻는다. 우리의 이론은 학습된 query–key map의 전체 singular-value distribution을 예측하며, 여기에는 low-rank structure와 고립된 spectral outlier가 포함된다. 이는 더 현실적인 transformer에서 관측된 현상과 질적으로 잘 일치한다. 마지막으로 power-law spectrum을 가진 target에 대해 학습이 순차적 spectral recovery를 통해 진행되어 power-law scaling law가 나타남을 보인다.
"},{"id":"65748","en":"General Quantification of Covariate and Concept Shifts","ko":"공변량 및 개념 이동의 일반적 정량화","authors":"Hongbo Chen, Li Xia","pos":"#4621","link":"https://openreview.net/forum?id=AZ0ajRJM1I","abs":"Generalization under distribution shift remains a core challenge in modern machine learning, yet existing learning bound theory is limited to narrow, idealized settings and is non-estimable from samples. In this paper, we bridge the gap between theory and practical applications. We first show that existing definition of concept shift breaks when the source and target supports mismatch. Leveraging entropic optimal transport, we propose a key notion: γ*-concept shifts, and derive a general error bound unifying covariate and γ*-concept shifts, which applies to broad loss functions, label spaces, and stochastic labeling. We further develop estimators for these shifts with concentration guarantees, and the DataShifts algorithm, which can quantify distribution shifts and estimate the error bound in most applications - a rigorous and general tool for analyzing learning error under distribution shift.
","absKo":"distribution shift 하에서의 generalization은 현대 machine learning의 핵심 과제이지만, 기존 learning bound theory는 좁고 이상화된 설정에만 한정되어 있으며 sample만으로는 추정할 수 없다. 본 논문에서는 이론과 실제 응용 사이의 간극을 메운다. 먼저 source와 target support가 불일치할 때 기존 concept shift 정의가 깨진다는 점을 보인다. entropic optimal transport를 활용하여, 우리는 핵심 개념인 γ*-concept shift를 제안하고, covariate shift와 γ*-concept shift를 통합하는 general error bound를 도출한다. 이는 폭넓은 loss function, label space, stochastic labeling에 적용 가능하다. 또한 이러한 shift를 concentration guarantee와 함께 추정하는 estimator와, 대부분의 응용에서 distribution shift를 정량화하고 error bound를 추정할 수 있는 DataShifts algorithm을 개발한다. 이는 distribution shift 하에서의 learning error를 분석하기 위한 엄밀하고 일반적인 도구이다.
"},{"id":"65961","en":"Asymptotically Fast Clebsch-Gordan Tensor Products with Vector Spherical Harmonics","ko":"벡터 구면 조화함수를 활용한 점근적으로 빠른 Clebsch-Gordan 텐서 곱","authors":"YuQing Xie, Ameya Daigavane, Mit Kotak, Tess Smidt","pos":"#4622","link":"https://openreview.net/forum?id=8UzZ0CbPsk","abs":"$E(3)$-equivariant neural networks have proven to be extremely effective in a wide range of 3D modeling tasks. A fundamental operation of such networks is the tensor product, which allows interaction between different feature types. Because this operation scales poorly, there has been considerable work towards accelerating this interaction. However, recently \\citet{xieprice} have pointed out that most speedups come from a reduction in expressivity rather than true algorithmic improvements on computing Clebsch-Gordan tensor products. A modification of Gaunt tensor product \\citep{gaunt} can give a true asymptotic speedup but is incomplete and misses many interactions. In this work, we provide the first complete algorithm which truly provides asymptotic benefits Clebsch-Gordan tensor products. For full CGTP, our algorithm brings runtime complexity from the naive $O(L^6)$ to $O(L^4\\log^2 L)$, close to the lower bound of $O(L^4)$. We first show how generalizing fast Fourier based convolution naturally leads to the previously proposed Gaunt tensor product \\citep{gaunt}. To remedy antisymmetry issues, we generalize from scalar signals to irrep valued signals, giving us tensor spherical harmonics. We prove a generalized Gaunt formula for the tensor harmonics. Finally, we show that we only need up to vector valued signals to recover the missing interactions of Gaunt tensor product.","absKo":"$E(3)$-equivariant neural network는 다양한 3D modeling task에서 매우 효과적임이 입증되었다. 이러한 network의 핵심 연산은 서로 다른 feature type 간의 상호작용을 가능하게 하는 tensor product이다. 이 연산은 확장성이 좋지 않기 때문에, 이러한 상호작용을 가속화하려는 많은 연구가 이루어져 왔다. 그러나 최근 \\citet{xieprice}는 대부분의 speedup이 Clebsch-Gordan tensor product를 계산하는 진정한 algorithmic improvement가 아니라 expressivity 감소에서 비롯된다고 지적했다. Gaunt tensor product \\citep{gaunt}의 수정은 진정한 asymptotic speedup을 제공할 수 있지만, 불완전하며 많은 상호작용을 놓친다. 본 연구에서는 Clebsch-Gordan tensor product에 대해 진정한 asymptotic 이점을 제공하는 첫 번째 완전한 algorithm을 제시한다. full CGTP의 경우, 우리의 algorithm은 runtime complexity를 naive한 $O(L^6)$에서 $O(L^4\\log^2 L)$로 줄이며, 이는 lower bound인 $O(L^4)$에 가깝다. 먼저 fast Fourier based convolution을 일반화하면 이전에 제안된 Gaunt tensor product \\citep{gaunt}로 자연스럽게 이어짐을 보인다. antisymmetry 문제를 해결하기 위해, 우리는 scalar signal에서 irrep valued signal로 일반화하여 tensor spherical harmonics를 얻는다. 또한 tensor harmonics에 대한 generalized Gaunt formula를 증명한다. 마지막으로, Gaunt tensor product가 놓친 상호작용을 복원하기 위해서는 vector valued signal까지면 충분함을 보인다."},{"id":"64141","en":"Error Propagation and Model Collapse in Diffusion Models: A Theoretical Study","ko":"Diffusion 모델의 오차 전파와 모델 붕괴: 이론적 연구","authors":"Naïl B. Khelifa, Richard E Turner, Ramji Venkataramanan","pos":"#4624","link":"https://openreview.net/forum?id=QYA0Q28ssf","abs":"Machine learning models are increasingly trained or fine-tuned on synthetic data. Recursively training on such data has been observed to significantly degrade performance in a wide range of tasks, often characterized by a progressive drift away from the target distribution. In this work, we theoretically analyze this phenomenon in the setting of score-based diffusion models. For a realistic pipeline where each training round uses a combination of synthetic data and fresh samples from the target distribution, we obtain upper and lower bounds on the accumulated divergence between the generated and target distributions. This allows us to characterize different regimes of drift, depending on the score estimation error and the proportion of fresh data used in each generation. We also provide empirical results on synthetic data and images to illustrate the theory.
","absKo":"machine learning model은 점점 더 synthetic data 위에서 학습되거나 fine-tuning되고 있다. 이러한 데이터로 반복 학습을 수행하면, 광범위한 과제에서 성능이 크게 저하되는 것으로 관찰되며, 종종 target distribution으로부터 점진적으로 벗어나는 drift로 특징지어진다. 본 연구에서는 score-based diffusion model 설정에서 이 현상을 이론적으로 분석한다. 각 학습 라운드가 synthetic data와 target distribution의 fresh sample을 결합해 사용하는 현실적인 pipeline에 대해, 우리는 생성된 분포와 target 분포 사이에 누적되는 divergence에 대한 upper bound와 lower bound를 얻는다. 이를 통해 score estimation error와 각 generation에서 사용되는 fresh data의 비율에 따라 서로 다른 drift regime을 특성화할 수 있다. 또한 이론을 설명하기 위해 synthetic data와 image에 대한 실험 결과도 제시한다.
"},{"id":"62236","en":"Innovation: An Almost Characterization of Hallucination","ko":"Innovation: Hallucination의 거의 완전한 특성화","authors":"Nishant Pratim Das, Piyush Srivastava","pos":"#4625","link":"https://openreview.net/forum?id=iSD2q5Tius","abs":"Hallucination is a central limitation of large language models (LLMs), and substantial effort has been devoted to understanding and mitigating it. Towards this, Kalai and Vempala (STOC 2024) introduced a probabilistic framework formalizing calibration and hallucination, and showed that, with high probability, calibrated LLMs hallucinate roughly at the rate of the \"missing mass\", a measure of how incomplete the training data is relative to its source. This raises two fundamental questions: (i) what property of a calibrated LLM makes hallucinations unavoidable? and (ii) can hallucinations be avoided by giving up calibration? We answer these questions by introducing a simpler property we call innovation that measures the tendency of a model to produce outputs outside the training data. We show that innovation is implied by the condition for hallucination identified by Kalai and Vempala, and, further, that it is an almost characterization of hallucination: hallucination implies innovation, and conversely, innovation implies hallucination with high probability. We also provide lower bounds on the hallucination rate based on the \"innovation rate\", and by relating innovation rate back to missing mass, we obtain new hallucination rate lower bounds based on missing mass that extend the results of Kalai and Vempala.
","absKo":"Hallucination은 large language model (LLM)의 핵심적인 한계이며, 이를 이해하고 완화하기 위한 상당한 노력이 이루어져 왔다. 이를 위해 Kalai와 Vempala(STOC 2024)는 calibration과 hallucination을 형식화한 확률적 프레임워크를 도입했고, 높은 확률로 calibrated LLM이 대략 \"missing mass\"의 비율로 hallucinate한다는 사실을 보였다. 여기서 missing mass는 training data가 그 source에 비해 얼마나 불완전한지를 나타내는 척도이다. 이는 두 가지 근본적인 질문을 제기한다. (i) calibrated LLM의 어떤 성질이 hallucination을 불가피하게 만드는가? (ii) calibration을 포기함으로써 hallucination을 피할 수 있는가? 우리는 model이 training data 밖의 출력을 생성하는 경향을 측정하는 더 단순한 성질인 innovation을 도입하여 이 질문들에 답한다. 우리는 innovation이 Kalai와 Vempala가 제시한 hallucination 조건에 의해 함의됨을 보이며, 더 나아가 innovation이 hallucination의 거의 정확한 characterization임을 보인다. 즉, hallucination은 innovation을 함의하고, 반대로 innovation은 높은 확률로 hallucination을 함의한다. 또한 우리는 \"innovation rate\"에 기반한 hallucination rate의 하한을 제시하고, innovation rate를 다시 missing mass와 연결함으로써 Kalai와 Vempala의 결과를 확장하는 missing mass 기반의 새로운 hallucination rate 하한을 얻는다.
"},{"id":"65996","en":"Width Independent Bounds for the Local Lipschitz Constant of Deep Neural Networks at Random Initialization and after Lazy Training","ko":"무작위 초기화 시점과 게으른 학습 이후 심층 신경망 국소 Lipschitz 상수에 대한 폭 독립적 경계","authors":"Apostolos Evangelidis, Felix Krahmer","pos":"#1500","link":"https://openreview.net/forum?id=83l762JFa9","abs":"A plethora of recent works has shown that for wide, overparameterized neural networks, training with Stochastic Gradient Descent (SGD) often leads to interpolation of the training data without sacrificing generalization performance. A key parameter that is not only closely connected to generalization properties, but is also closely tied to other desiderata such as robustness and resistance to adversarial perturbations is the Lipschitz constant of the neural network. While empirically, the Lipschitz constant has been shown not to increase with network width, theoretical findings only provide bounds with logarithmic growth in the width and only for the random initialization of ReLU-networks. In this work, we close this gap for neural networks with smooth activations by showing that, both at random initialization and throughout lazy training, the local Lipschitz constant of deep neural networks does not increase with network width. More precisely, we establish novel non-asymptotic (finite width) upper bounds and corroborate them by numerical experiments.
","absKo":"최근의 많은 연구는 wide하고 overparameterized된 neural network에서 Stochastic Gradient Descent (SGD)로 학습하면 generalization 성능을 희생하지 않으면서 training data를 interpolation하는 경우가 많다는 것을 보여주었다. generalization 특성과 밀접할 뿐 아니라 robustness 및 adversarial perturbation에 대한 저항성과도 밀접하게 연결된 핵심 parameter는 neural network의 Lipschitz constant이다. 경험적으로 Lipschitz constant는 network width가 증가해도 커지지 않는 것으로 나타났지만, 이론적 결과는 ReLU-network의 random initialization에서만 width에 대해 로그적으로 증가하는 bound만을 제공한다. 본 연구에서는 smooth activation을 사용하는 neural network에 대해 이 간극을 메우며, random initialization과 lazy training 전반에서 deep neural network의 local Lipschitz constant가 network width에 따라 증가하지 않음을 보인다. 보다 정확히는, 우리는 새로운 비점근적(finite width) 상한을 정립하고, 이를 수치 실험으로 뒷받침한다.
"},{"id":"61282","en":"The Entropic Signature of Class Speciation in Diffusion Models","ko":"Diffusion Model에서 클래스 종분화의 엔트로피 시그니처","authors":"Florian Handke, Dejan Stancevic, Felix Koulischer, Thomas Demeester, Luca Ambrogioni","pos":"#1503","link":"https://openreview.net/forum?id=rp02mO31RL","abs":"Diffusion models do not recover semantic structure uniformly over time. Instead, samples transition from semantic ambiguity to class commitment within a narrow regime. Recent theoretical work attributes this transition to dynamical instabilities along class-separating directions, but practical methods to detect and exploit these windows in trained models are still limited. We show that tracking the class-conditional entropy of a latent semantic variable given the noisy state provides a reliable signature of these transition regimes. By restricting the entropy to semantic partitions, the entropy can furthermore resolve semantic decisions at different levels of abstraction. We analyze this behavior in high-dimensional Gaussian mixture models and show that the entropy rate concentrates on the same logarithmic time scale as the speciation symmetry-breaking instability previously identified in variance-preserving diffusion. We validate our method on EDM2-XS and Stable Diffusion 1.5, where class-conditional entropy consistently isolates the noise regimes critical for semantic structure formation. Finally, we use our framework to quantify how guidance redistributes semantic information over time. Together, these results connect information-theoretic and statistical physics perspectives on diffusion and provide a principled basis for time-localized control.
","absKo":"Diffusion model은 시간에 따라 semantic structure를 균일하게 복원하지 않는다. 대신, sample은 좁은 구간에서 semantic ambiguity에서 class commitment로 전이한다. 최근의 이론 연구는 이러한 전이를 class-separating direction을 따른 dynamical instability에 기인하는 것으로 설명하지만, 학습된 model에서 이러한 window를 탐지하고 활용하는 실용적 방법은 여전히 제한적이다. 우리는 noisy state가 주어졌을 때 latent semantic variable의 class-conditional entropy를 추적하면 이러한 transition regime의 신뢰할 수 있는 signature를 제공함을 보인다. Entropy를 semantic partition으로 제한하면, entropy는 서로 다른 abstraction level에서 semantic decision을 해소할 수도 있다. 우리는 이 거동을 고차원 Gaussian mixture model에서 분석하고, entropy rate가 variance-preserving diffusion에서 이전에 확인된 speciation symmetry-breaking instability와 같은 logarithmic time scale에 집중됨을 보인다. 우리는 EDM2-XS와 Stable Diffusion 1.5에서 우리의 방법을 검증했으며, class-conditional entropy가 semantic structure 형성에 중요한 noise regime을 일관되게 분리해 냄을 확인했다. 마지막으로, 우리는 이 framework를 사용하여 guidance가 시간에 따라 semantic information을 어떻게 재분배하는지 정량화한다. 종합하면, 이 결과는 diffusion에 대한 information-theoretic 관점과 statistical physics 관점을 연결하며, time-localized control을 위한 원리적 기반을 제공한다.
"},{"id":"60599","en":"Optimization, Generalization and Differential Privacy Bounds for Gradient Descent on Kolmogorov–Arnold Networks","ko":"Kolmogorov-Arnold Networks에서 Gradient Descent의 최적화, 일반화 및 차등 프라이버시 경계","authors":"Puyu Wang, Junyu Zhou, Philipp Liznerski, Marius Kloft","pos":"#1504","link":"https://openreview.net/forum?id=ya4nicrVDf","abs":"Kolmogorov--Arnold Networks (KANs) have recently emerged as a structured alternative to standard MLPs, yet a principled theory for their training dynamics, generalization, and privacy properties remains limited. In this paper, we analyze gradient descent (GD) for training two-layer KANs and derive general bounds that characterize their training dynamics, generalization, and utility under differential privacy (DP). As a concrete instantiation, we specialize our analysis to logistic loss under an NTK-separable assumption, where we show that polylogarithmic network width suffices for GD to achieve an optimization rate of order $1/T$ and a generalization rate of order $1/n$, with $T$ denoting the number of GD iterations and $n$ the sample size. In the private setting, we characterize the noise required for $(\\epsilon,\\delta)$-DP and obtain a utility bound of order $\\sqrt{d}/(n\\epsilon)$ (with $d$ the input dimension), matching the classical lower bound for general convex Lipschitz problems. Our results imply that polylogarithmic width is not only sufficient but also necessary under differential privacy, revealing a qualitative gap between non-private (sufficiency only) and private (necessity also emerges) training regimes. Experiments further illustrate how these theoretical insights can guide practical choices, including network width selection and early stopping.","absKo":"Kolmogorov--Arnold Networks(KANs)는 최근 표준 MLP의 구조화된 대안으로 부상했지만, 학습 dynamics, generalization, privacy 특성에 대한 원리적 이론은 아직 제한적이다. 본 논문에서는 두 층 KAN의 학습을 위한 gradient descent(GD)를 분석하고, 이들의 training dynamics, generalization, 그리고 differential privacy(DP) 하에서의 utility를 특성화하는 일반적인 bound를 유도한다. 구체적 예로 logistic loss와 NTK-separable 가정을 대상으로 분석을 특화하면, polylogarithmic network width만으로 GD가 $1/T$ 차수의 optimization rate와 $1/n$ 차수의 generalization rate를 달성할 수 있음을 보인다. 여기서 $T$는 GD iteration 수이고 $n$은 sample size이다. private setting에서는 $(\\epsilon,\\delta)$-DP에 필요한 noise를 특성화하고, utility bound $\\sqrt{d}/(n\\epsilon)$를 얻는데($d$는 input dimension), 이는 일반적인 convex Lipschitz 문제에 대한 고전적 lower bound와 일치한다. 우리의 결과는 polylogarithmic width가 충분할 뿐 아니라 differential privacy 하에서는 필요하기도 하다는 점을 시사하며, non-private(sufficiency only)와 private(necessity도 등장) training regime 사이의 질적 차이를 드러낸다. 실험은 또한 이러한 이론적 통찰이 network width 선택과 early stopping을 포함한 실용적 의사결정에 어떻게 도움을 주는지 보여준다."},{"id":"63938","en":"Finite-Width Neural Tangent Kernels from Feynman Diagrams","ko":"Feynman diagram으로부터의 유한 너비 neural tangent kernel","authors":"Max Guillen, Philipp Misof, Jan Gerken","pos":"#1506","link":"https://openreview.net/forum?id=SOlPHMdSY3","abs":"Neural tangent kernels (NTKs) are a powerful tool for analyzing deep, non-linear neural networks. In the infinite-width limit, NTKs can easily be computed for most common architectures, yielding full analytic control over the training dynamics. However, at infinite width, important properties of training such as NTK evolution or feature learning are absent. Nevertheless, finite width effects can be included by computing corrections to the Gaussian statistics at infinite width. We introduce Feynman diagrams for computing finite-width corrections to NTK statistics. These dramatically simplify the necessary algebraic manipulations and enable the computation of layer-wise recursion relations for arbitrary statistics involving preactivations, NTKs and certain higher-derivative tensors (dNTK and ddNTK) required to predict the training dynamics at leading order. We demonstrate the feasibility of our framework by extending stability results for deep networks from preactivations to NTKs and proving the absence of finite-width corrections for scale-invariant nonlinearities such as ReLU on the diagonal of the Gram matrix of the NTK. We numerically implement the complete set of equations necessary to compute the first-order corrections for arbitrary inputs and demonstrate that the results follow the statistics of sampled neural networks for widths $n\\gtrsim 20$.","absKo":"Neural tangent kernels(NTKs)는 깊고 비선형인 신경망을 분석하는 강력한 도구이다. 무한 폭(infinite-width) 한계에서 NTK는 대부분의 일반적인 아키텍처에 대해 쉽게 계산될 수 있으며, 학습 동역학에 대한 완전한 해석적 제어를 제공한다. 그러나 무한 폭에서는 NTK의 진화나 feature learning과 같은 학습의 중요한 성질이 나타나지 않는다. 그럼에도 불구하고, 무한 폭에서의 Gaussian 통계에 대한 보정을 계산함으로써 유한 폭 효과를 포함할 수 있다. 우리는 NTK 통계에 대한 유한 폭 보정을 계산하기 위한 Feynman diagram을 도입한다. 이는 필요한 대수적 조작을 극적으로 단순화하며, preactivation, NTK, 그리고 학습 동역학을 leading order에서 예측하는 데 필요한 특정 고계도 텐서(dNTK 및 ddNTK)를 포함하는 임의 통계에 대한 layer-wise recursion relation의 계산을 가능하게 한다. 우리는 deep network에 대한 안정성 결과를 preactivation에서 NTK로 확장하고, NTK의 Gram matrix 대각선에서 ReLU와 같은 scale-invariant 비선형성에 대해 유한 폭 보정이 존재하지 않음을 증명함으로써 이 프레임워크의 실현 가능성을 보인다. 또한 우리는 임의 입력에 대한 1차 보정을 계산하는 데 필요한 완전한 방정식 집합을 수치적으로 구현하고, 그 결과가 폭 $n\\gtrsim 20$에서 샘플링된 신경망의 통계를 따른다는 것을 보인다."},{"id":"64988","en":"Feature Resemblance: Towards a Theoretical Understanding of Analogical Reasoning in Transformers","ko":"Feature Resemblance: Transformer에서 유추 추론의 이론적 이해를 향하여","authors":"Ruichen Xu, Wenjing Yan, Angela Yingjun Zhang","pos":"#1507","link":"https://openreview.net/forum?id=I4LNtQHQBK","abs":"Understanding reasoning in large language models is complicated by evaluations that conflate multiple reasoning types. We isolate analogical reasoning (inferring shared properties between entities based on known similarities) and analyze its emergence in transformers. We theoretically prove three key results: (1) Joint training on similarity and attribution premises enables analogical reasoning through aligned representations; (2) Sequential training succeeds only when similarity structure is learned before specific attributes, revealing a necessary curriculum; (3) Two-hop reasoning ($a \\to b, b \\to c \\implies a \\to c$) reduces to analogical reasoning with identity bridges ($b = b$), which must appear explicitly in training data. These results reveal a unified mechanism: transformers encode entities with similar properties into similar representations, enabling property transfer through feature alignment. Experiments with architectures up to 1.5B parameters validate our theory and demonstrate how representational geometry shapes inductive reasoning capabilities.","absKo":"대규모 language model에서의 추론 이해는 여러 reasoning type을 혼합하는 evaluation 때문에 복잡해진다. 우리는 analogical reasoning을 분리해 다룬다. 이는 알려진 유사성에 기반해 entity들 사이의 공유 속성을 추론하는 능력이며, Transformer에서 그 출현을 분석한다. 우리는 세 가지 핵심 결과를 이론적으로 증명한다. (1) similarity와 attribution premise를 함께 학습하면 aligned representation을 통해 analogical reasoning이 가능해진다. (2) Sequential training은 similarity structure가 특정 attribute보다 먼저 학습될 때만 성공하며, 이는 필요한 curriculum이 존재함을 보여준다. (3) Two-hop reasoning ($a \\to b, b \\to c \\implies a \\to c$)은 identity bridge ($b = b$)를 가진 analogical reasoning으로 환원되며, 이는 training data에 명시적으로 등장해야 한다. 이러한 결과는 통합된 메커니즘을 드러낸다. Transformer는 유사한 속성을 가진 entity를 유사한 representation으로 인코딩하여, feature alignment를 통해 property transfer를 가능하게 한다. 최대 1.5B parameter 규모의 architecture를 사용한 실험은 우리의 이론을 검증하고, representation geometry가 inductive reasoning capability를 어떻게 형성하는지 보여준다."},{"id":"68797","en":"Early Directional Convergence in Deep Homogeneous Neural Networks for Small Initializations","ko":"작은 초기화에 대한 심층 동차 신경망의 초기 방향 수렴","authors":"Akshay Kumar, Jarvis Haupt","pos":"#1508","abs":"This paper studies the gradient flow dynamics that arise when training deep homogeneous neural networks assumed to have locally Lipschitz gradients and an order of homogeneity strictly greater than two. It is shown here that for sufficiently small initializations, during the early stages of training, the weights of the neural network remain small in (Euclidean) norm and approximately converge in direction to the Karush-Kuhn-Tucker (KKT) points of the recently introduced neural correlation function. Additionally, this paper also studies the KKT points of the neural correlation function for feed-forward networks with (Leaky) ReLU and polynomial (Leaky) ReLU activations, deriving necessary and sufficient conditions for rank-one KKT points.
","absKo":"이 논문은 locally Lipschitz gradient를 가지며 homogeneity 차수가 2보다 엄격히 큰 deep homogeneous neural network를 학습할 때 나타나는 gradient flow dynamics를 연구한다. 충분히 작은 initialization에서는 학습 초기 단계 동안 neural network의 weight가 (Euclidean) norm에서 작게 유지되며, 최근 도입된 neural correlation function의 Karush-Kuhn-Tucker (KKT) point로 방향이 대략 수렴함을 보인다. 또한 이 논문은 (Leaky) ReLU와 polynomial (Leaky) ReLU activation을 사용하는 feed-forward network에 대해 neural correlation function의 KKT point도 연구하며, rank-one KKT point에 대한 필요충분조건을 도출한다.
"},{"id":"65119","en":"An analytic theory of convolutional neural network inverse problems solvers","ko":"합성곱 신경망 역문제 솔버에 대한 해석적 이론","authors":"Minh Hai Nguyen, Quoc Bao, Edouard Pauwels, Pierre Weiss","pos":"#1509","link":"https://openreview.net/forum?id=GdiPMYeFoG","abs":"Supervised convolutional neural networks (CNNs) are widely used to solve imaging inverse problems, achieving state-of-the-art performance in numerous applications. However, despite their empirical success, these methods are poorly understood from a theoretical perspective and often treated as black boxes. To bridge this gap, we analyze trained neural networks through the lens of the Minimum Mean Square Error (MMSE) estimator, incorporating functional constraints that capture two fundamental inductive biases of CNNs: translation equivariance and locality via finite receptive fields. Under the empirical training distribution, we derive an analytic, interpretable, and tractable formula for this constrained variant, termed Local-Equivariant MMSE (LE-MMSE). Through extensive numerical experiments across various inverse problems (denoising, inpainting, deconvolution), datasets (FFHQ, CIFAR-10, FashionMNIST), and architectures (U-Net, ResNet, PatchMLP), we demonstrate that our theory matches the neural networks outputs (PSNR $\\gtrsim25$ dB). Furthermore, we provide insights into the differences between *physics-aware* and *physics-agnostic* estimators, the impact of high-density regions in the training (patch) distribution, and the influence of other factors (dataset size, patch size, *etc*).","absKo":"지도학습 convolutional neural network(CNN)은 imaging inverse problem을 해결하는 데 널리 사용되며, 수많은 응용에서 state-of-the-art 성능을 달성하고 있다. 그러나 이러한 방법은 경험적 성공에도 불구하고 이론적 관점에서는 잘 이해되지 않았고, 종종 black box로 취급된다. 이 간극을 메우기 위해, 우리는 trained neural network를 Minimum Mean Square Error(MMSE) estimator의 관점에서 분석하며, CNN의 두 가지 근본적인 inductive bias, 즉 translation equivariance와 finite receptive field를 통한 locality를 포착하는 functional constraint를 통합한다. 경험적 training distribution 하에서, 우리는 Local-Equivariant MMSE(LE-MMSE)라 부르는 이 constrained variant에 대한 해석 가능하고 다룰 수 있으며 닫힌 형태의 analytic formula를 유도한다. 다양한 inverse problem(denoising, inpainting, deconvolution), dataset(FFHQ, CIFAR-10, FashionMNIST), 그리고 architecture(U-Net, ResNet, PatchMLP)에 걸친 광범위한 수치 실험을 통해, 우리의 이론이 neural network 출력과 일치함을 보인다(PSNR $\\gtrsim25$ dB). 더 나아가 우리는 *physics-aware* estimator와 *physics-agnostic* estimator의 차이, training(patch) distribution에서 high-density region의 영향, 그리고 다른 요인(dataset size, patch size, *etc*)의 영향을 조명한다."},{"id":"61686","en":"A unified theory of feature learning in RNNs and DNNs","ko":"RNN과 DNN의 Feature Learning에 대한 통합 이론","authors":"Jan Bauer, Kirsten Fischer, Moritz Helias, Agostina Palmigiano","pos":"#1510","link":"https://openreview.net/forum?id=nkVt0sY9HJ","abs":"Recurrent and deep neural networks (RNNs/DNNs) are cornerstone architectures in machine learning. Remarkably, RNNs differ from DNNs only by weight sharing, as can be shown through unrolling in time. How does this structural similarity fit with the distinct functional properties these networks exhibit? To address this question, we here develop a unified mean-field theory for RNNs and DNNs in terms of representational kernels, describing fully trained networks in the feature learning ($\\mu$P) regime. This theory casts training as Bayesian inference over sequences and patterns, directly revealing the functional implications induced by the RNNs' weight sharing. In DNN-typical tasks, we identify a phase transition when the learning signal overcomes the noise due to randomness in the weights: below this threshold, RNNs and DNNs behave identically; above it, only RNNs develop correlated representations across timesteps. For sequential tasks, the RNNs' weight sharing furthermore induces an inductive bias that aids generalization by interpolating unobserved time steps. Overall, our theory offers a way to connect architectural structure to functional biases.","absKo":"Recurrent and deep neural networks(RNNs/DNNs)는 machine learning의 핵심 architecture이다. 놀랍게도, RNNs는 time unrolling을 통해 보이듯 weight sharing을 제외하면 DNNs와 다르지 않다. 그렇다면 이러한 구조적 유사성은 이들 network가 보이는 서로 다른 functional property와 어떻게 양립하는가? 이 질문에 답하기 위해, 우리는 representational kernel 관점에서 RNNs와 DNNs를 아우르는 통합 mean-field theory를 구축하고, feature learning($\\mu$P) regime에서 fully trained network를 기술한다. 이 theory는 training을 sequence와 pattern에 대한 Bayesian inference로 해석하며, RNN의 weight sharing이 유도하는 functional implication을 직접적으로 드러낸다. DNN에 전형적인 task에서는, learning signal이 weight의 randomness로 인한 noise를 넘어설 때 phase transition이 나타남을 확인했다. 이 임계값 아래에서는 RNN과 DNN이 동일하게 동작하고, 그 위에서는 RNN만이 timestep 전반에 걸쳐 correlated representation을 형성한다. sequential task의 경우, RNN의 weight sharing은 관측되지 않은 time step을 보간함으로써 generalization을 돕는 inductive bias를 추가로 유도한다. 전반적으로 우리의 theory는 architecture 구조와 functional bias를 연결하는 방법을 제공한다."},{"id":"62433","en":"A Geometry-Based View of Mahalanobis OOD Detection","ko":"Mahalanobis OOD Detection의 Geometry 기반 관점","authors":"Denis Janiak, Jakub Binkowski, Tomasz Kajdanowicz","pos":"#1610","link":"https://openreview.net/forum?id=gdHmdh0VdA","abs":"Out-of-distribution (OOD) detection is critical for reliable deployment of vision models. Mahalanobis-based detectors remain strong baselines, yet their performance varies widely across modern pretrained representations, and it is unclear which properties of a feature space cause these methods to succeed or fail. We conduct a large-scale study across diverse foundation-model backbones and Mahalanobis variants. First, we show that Mahalanobis-style OOD detection is not universally reliable: performance is highly representation-dependent and can shift substantially with pretraining data and fine-tuning regimes. Second, we link this variability to in-distribution geometry and identify a two-term ID summary that consistently tracks Mahalanobis OOD behavior across detectors: within-class spectral structure and local intrinsic dimensionality. Finally, we treat normalization as a geometric control mechanism and introduce radially scaled $\\ell_2$ normalization, $\\phi_\\beta(z)=z/\\|z\\|^\\beta$, which preserves directions while contracting or expanding feature radii. Varying $\\beta$ changes the radii while preserving directions, so the same quadratic detector sees a different ID geometry. We choose $\\beta$ from ID-only geometry signals and typically outperform fixed normalization baselines.","absKo":"Out-of-distribution (OOD) detection은 vision model의 신뢰할 수 있는 배포를 위해 중요하다. Mahalanobis-based detector는 여전히 강력한 baseline이지만, 최신 pretrained representation들 전반에서 성능이 크게 달라지며, 어떤 feature space의 성질이 이 방법들의 성공 또는 실패를 좌우하는지는 명확하지 않다. 우리는 다양한 foundation-model backbone과 Mahalanobis variant를 대상으로 대규모 연구를 수행했다. 먼저, Mahalanobis-style OOD detection이 보편적으로 신뢰할 수 있는 것은 아님을 보인다. 성능은 representation에 크게 의존하며 pretraining data와 fine-tuning regime에 따라 상당히 달라질 수 있다. 둘째, 이러한 변동성이 in-distribution geometry와 연결되어 있음을 밝히고, detector 전반에서 Mahalanobis OOD behavior를 일관되게 추적하는 두 항의 ID summary를 식별한다: within-class spectral structure와 local intrinsic dimensionality. 마지막으로, normalization을 기하학적 제어 메커니즘으로 해석하고, 방향은 보존하면서 feature radius를 수축 또는 확장하는 radially scaled $\\ell_2$ normalization, $\\phi_\\beta(z)=z/\\|z\\|^\\beta$, 를 도입한다. $\\beta$를 바꾸면 방향은 유지하면서 radius가 달라지므로, 동일한 quadratic detector가 다른 ID geometry를 보게 된다. 우리는 ID-only geometry signal로부터 $\\beta$를 선택하며, 일반적으로 고정 normalization baseline보다 더 좋은 성능을 낸다."},{"id":"67086","en":"Position: The Turing-Completeness of Real-World Autoregressive Transformers Relies Heavily on Context Management","ko":"Position: 실세계 Autoregressive Transformer의 Turing-완전성은 Context 관리에 크게 의존한다","authors":"Guanyu Cui, Zhewei Wei, Kun He","pos":"#1909","link":"https://openreview.net/forum?id=m6ZOgSUoVW","abs":"Many works make the eye-catching claim that Transformers are Turing-complete. However, the literature often conflates two distinct settings: (i) a fixed Transformer system setting, in which a fixed autoregressive Transformer is coupled with a fixed context-management method to process inputs of different lengths step by step, and (ii) a scaling-family setting, in which a family of different models (with increasing context-window length or numerical precision) is used to handle different input lengths. Existing proofs of Transformer Turing-completeness are frequently established in setting (ii), whereas real-world LLM deployment and the standard notion of Turing-completeness correspond more naturally to setting (i). In this paper, we first formalize the fixed-system setting, thereby providing a concrete characterization of how real-world LLMs operate. We then argue that results proved in the scaling-family setting do not establish Turing-completeness, clarifying a common misinterpretation of existing results. Finally, we show that different context-management methods can yield sharply different computational power, and we advocate the position that context management is a central component that critically determines the computational power of real-world autoregressive Transformers.
","absKo":"Transformers가 Turing-complete하다는 눈길을 끄는 주장을 하는 작업은 많다. 그러나 문헌은 종종 두 개의 구별되는 설정을 혼동한다. (i) fixed Transformer system setting은 고정된 autoregressive Transformer가 고정된 context-management method와 결합되어 서로 다른 길이의 input을 단계적으로 처리하는 경우이고, (ii) scaling-family setting은 서로 다른 model들의 family(점점 증가하는 context-window length 또는 numerical precision)를 사용하여 서로 다른 input length를 처리하는 경우이다. 기존의 Transformer Turing-completeness 증명은 흔히 setting (ii)에서 확립되어 왔지만, 실제 LLM 배포와 Turing-completeness의 표준 개념은 더 자연스럽게 setting (i)에 대응한다. 이 논문에서는 먼저 fixed-system setting을 형식화함으로써 실제 LLM이 어떻게 동작하는지에 대한 구체적 특성을 제공한다. 그런 다음 scaling-family setting에서 증명된 결과가 Turing-completeness를 입증하지는 못한다는 점을 주장하여, 기존 결과에 대한 흔한 오해를 분명히 한다. 마지막으로, 서로 다른 context-management method가 매우 다른 computational power를 낳을 수 있음을 보이고, context management가 실제 autoregressive Transformer의 computational power를 결정하는 핵심 구성 요소라는 입장을 옹호한다.
"},{"id":"64536","en":"The impact of LoRA on Oversmoothing $\\colon$ Understanding Catastrophic Forgetting in Mean-Field Attention Dynamics","ko":"LoRA가 과평활화에 미치는 영향: 평균장 어텐션 동역학에서 파국적 망각 이해","authors":"Hugo Koubbi, Louis Hernandez, Matthieu Boussard","pos":"#2715","link":"https://openreview.net/forum?id=MXvuMNd3oI","abs":"Low-Rank Adaptation (LoRA) is the dominant parameter-efficient fine-tuning method due to its favorable compute-performance trade-off, yet it suffers from catastrophic forgetting. We study forgetting through a tractable mean-field self-attention toy model, where tokens evolve as an interacting particle system and LoRA acts as a low-rank perturbation. Using tools from partial differential equations and dynamical systems, we characterize regimes suggesting a phase transition between forgetting and non-forgetting behavior. We show that one phase transition appears with respect to the norm of the perturbation, and the other with respect to the depth of the Transformers. We further bound the time-to-deviation in terms of the perturbation size and spectral quantities, and corroborate the predicted trends with experiments and exploratory analyses on real models under LoRA fine-tuning.
","absKo":"Low-Rank Adaptation (LoRA)은 우수한 compute-performance trade-off 덕분에 지배적인 parameter-efficient fine-tuning 방법이 되었지만, catastrophic forgetting의 문제를 겪는다. 우리는 토큰이 interacting particle system으로 진화하고 LoRA가 low-rank perturbation으로 작용하는, 다루기 쉬운 mean-field self-attention toy model을 통해 forgetting을 연구한다. 편미분방정식과 dynamical system 도구를 사용하여, forgetting과 non-forgetting behavior 사이의 phase transition을 시사하는 영역을 특성화한다. 하나의 phase transition은 perturbation의 norm에 대해 나타나고, 다른 하나는 Transformer의 depth에 대해 나타남을 보인다. 또한 perturbation 크기와 spectral quantity의 관점에서 time-to-deviation를 상한으로 묶고, LoRA fine-tuning 하의 실제 model에 대한 실험과 탐색적 분석으로 예측된 경향을 뒷받침한다.
"},{"id":"63078","en":"Foundations of Equivariant Deep Learning: Unifying Graph and Sheaf Neural Networks","ko":"등변 딥러닝의 기초: 그래프 신경망과 Sheaf 신경망의 통합","authors":"Yoshihiro Maruyama","pos":"#3608","link":"https://openreview.net/forum?id=aIH1jyU37z","abs":"We develop order-equivariant neural networks (OENN), which generalize standard graph message passing and sheaf neural networks via the face-poset viewpoint. We (i) characterize all linear order-equivariant maps, (ii) build OENN layers, and (iii) prove a universal approximation theorem (UAT) for continuous order-equivariant maps, which is a new result even when restricted to sheaf neural networks (for which no UAT was known before). We illustrate the framework on graph and sheaf models. Our results can also be seen as extending the UAT for graph neural networks to a more general setting that subsumes sheaf neural networks as well.
","absKo":"우리는 face-poset 관점을 통해 standard graph message passing과 sheaf neural network를 일반화하는 order-equivariant neural network(OENN)를 개발한다. 우리는 (i) 모든 linear order-equivariant map을 특성화하고, (ii) OENN layer를 구성하며, (iii) continuous order-equivariant map에 대한 universal approximation theorem(UAT)을 증명한다. 이는 sheaf neural network로 제한하더라도 새로운 결과이며(이전에 UAT가 알려져 있지 않았다), 그래프와 sheaf 모델에 대해 이 프레임워크를 예시적으로 보인다. 우리의 결과는 graph neural network에 대한 UAT를 더 일반적인 setting으로 확장하는 것으로도 볼 수 있으며, 이 setting은 sheaf neural network까지 포괄한다.
"},{"id":"65255","en":"Universal Learning of Nonlinear Dynamics","ko":"비선형 동역학의 보편적 학습","authors":"Evan Dogariu, Anand Brahmbhatt, Elad Hazan","pos":"#3915","link":"https://openreview.net/forum?id=FJZiatEiCG","abs":"We study the fundamental problem of one-step prediction of a marginally stable unknown nonlinear dynamical system. We describe an algorithm for this problem, based on the technique of spectral filtering, which learns a mapping from past observations to the next based on a spectral representation of the system. Using techniques from online convex optimization, we prove vanishing prediction error for any nonlinear dynamical system that has finitely many marginally stable modes, with rates governed by a novel quantitative control-theoretic notion of learnability. The main technical component of our method is a new spectral filtering algorithm for linear dynamical systems, which incorporates past observations and applies to general noisy and marginally stable systems. This significantly generalizes the original spectral filtering algorithm to both asymmetric dynamics as well as incorporating noise correction, and is of independent interest.
","absKo":"우리는 marginally stable한 unknown nonlinear dynamical system의 one-step prediction이라는 근본적 문제를 연구한다. 우리는 spectral filtering 기법에 기반한 이 문제의 알고리즘을 설명하는데, 이는 시스템의 spectral representation을 바탕으로 과거 observations에서 다음 observation으로의 mapping을 학습한다. online convex optimization 기법을 사용하여, 우리는 finitely many marginally stable modes를 갖는 임의의 nonlinear dynamical system에 대해 prediction error가 0으로 수렴함을 증명하며, 그 rate는 학습 가능성에 대한 새로운 정량적 control-theoretic 개념에 의해 결정된다. 우리의 방법의 주요 기술적 구성 요소는 linear dynamical systems를 위한 새로운 spectral filtering algorithm으로, 과거 observations를 통합하고 일반적인 noisy 및 marginally stable systems에 적용된다. 이는 원래의 spectral filtering algorithm을 asymmetric dynamics와 noise correction 모두로 크게 일반화하며, 독립적인 관점에서도 흥미롭다.
"},{"id":"65815","en":"Training-Free Guided Diffusion for Planning: A Unified Framework via Doob’s h-Transform with Safety Guarantees","ko":"계획을 위한 학습 불필요 유도 Diffusion: 안전성 보장을 갖춘 Doob의 h-변환 기반 통합 프레임워크","authors":"Kenta Hoshino, Yashaswi Shashank Aluru, Xiyu Deng, Yorie Nakahira","pos":"#4206","link":"https://openreview.net/forum?id=9vAlxSTwcg","abs":"This paper studies the theoretical foundations of guidance mechanisms in continuous-time score-based diffusion models. We adopt Doob’s h-transform as a principled framework for characterizing ideal guided diffusion processes and analyze the discrepancy between ideal and approximate guidance. Our analysis provides explicit error bounds and yields probabilistic guarantees on satisfying prescribed constraints, which are particularly important for safety-critical planning. We further show that the Doob-based formulation induces a stochastic optimal control problem, enabling practical guidance design without additional model training. We demonstrate the effectiveness of the proposed framework on robotic navigation tasks, including language-conditioned planning.
","absKo":"본 논문은 continuous-time score-based diffusion model에서 guidance mechanism의 이론적 기초를 연구한다. 우리는 이상적인 guided diffusion process를 특성화하기 위한 원리적 framework로 Doob의 h-transform을 채택하고, ideal guidance와 approximate guidance 사이의 discrepancy를 분석한다. 우리의 분석은 명시적인 error bound를 제공하며, 특히 safety-critical planning에서 중요한, 주어진 constraint를 만족할 확률적 보장을 도출한다. 또한 Doob 기반 formulation이 stochastic optimal control problem을 유도함을 보이며, 추가적인 model training 없이도 실용적인 guidance design을 가능하게 한다. 우리는 language-conditioned planning을 포함한 robotic navigation task에서 제안한 framework의 효과를 입증한다.
"},{"id":"61310","en":"A Framework for Understanding Learnability in Transformers","ko":"Transformer의 학습 가능성을 이해하기 위한 프레임워크","authors":"Blanka Kövér, Alexandra Butoi, Anej Svete, Michael Hahn, Ryan Cotterell","pos":"#4607","link":"https://openreview.net/forum?id=rUZVcnQjYW","abs":"Transformers consistently fail to learn certain simple functions such as Parity---which returns whether the input has an even number of ones---even when they can provably compute them with specific parameter settings. This gap between learnability and expressivity is particularly prominent for sensitive functions---functions whose output is likely to change if a single bit of the input is changed. While prior work has established that transformers exhibit a bias toward low-sensitivity functions, the precise mechanism underlying this bias remains poorly understood. To shed light onto this phenomenon, we study the geometry of transformers' parameter space. We show that sensitive functions---even when representable---occupy a vanishingly small region that random initialization is unlikely to reach. More specifically, we prove that randomly initialized transformers almost surely compute functions with many low-sensitivity inputs, where flipping a bit is unlikely to change the output. Our results provide a novel theoretical grounding for the empirical observation that transformers exhibit a strong bias toward low-sensitivity functions, shifting the focus from average sensitivity to the full sensitivity profile.
","absKo":"Transformer는 입력이 1의 개수가 짝수인지 여부를 반환하는 Parity와 같은 특정 단순 함수조차도 일관되게 학습하지 못한다. 이는 특정 parameter setting에서는 이 함수를 원리적으로 계산할 수 있음에도 그렇다. learnability와 expressivity 사이의 이러한 간극은 특히 sensitive function에서 두드러진다. 즉, 입력의 단 하나의 bit가 바뀌어도 출력이 바뀔 가능성이 큰 함수들이다. 선행 연구는 transformer가 low-sensitivity function에 대한 편향을 보인다고 밝혀왔지만, 이러한 편향의 정확한 메커니즘은 여전히 잘 이해되지 않았다. 이 현상을 밝히기 위해 우리는 transformer의 parameter space의 geometry를 연구한다. 우리는 representable하더라도 sensitive function은 극히 작은 영역을 차지하며, random initialization이 그 영역에 도달할 가능성은 매우 낮다는 것을 보인다. 더 구체적으로, 무작위로 초기화된 transformer는 거의 확실하게 많은 low-sensitivity input을 갖는 함수를 계산하며, 여기서 bit 하나를 뒤집어도 출력이 바뀔 가능성은 낮다. 우리의 결과는 transformer가 low-sensitivity function 쪽으로 강하게 편향된다는 경험적 관찰에 새로운 이론적 근거를 제공하며, 논의의 초점을 평균 sensitivity에서 전체 sensitivity profile로 이동시킨다.
"},{"id":"64496","en":"Attention Implements the Fisher Geometry of Exponential Families","ko":"어텐션은 지수족의 Fisher 기하학을 구현한다","authors":"Bodie Rubacher","pos":"#4608","link":"https://openreview.net/forum?id=Mzdg78Zg7l","abs":"Softmax attention is increasingly treated as a reusable inference primitive in transformers. Much prior theory covers Gaussian/linear models or assumes one shared quadratic query--key metric, which can fail for non-Gaussian exponential-family likelihoods with varying curvature. This risks overreading learned similarities as a global metric or as proof of Bayes-optimality. For discrete latent symbols with exponential-family observations, we show a single head can implement Bayes posteriors (and posterior means) by setting logits to log prior plus log likelihood, and we characterize single-head posteriors as exactly the log-linear (exponential-family) class. Using convex duality, we rewrite log-likelihoods as negative Bregman divergences on mean/sufficient-statistic space, making Bayes rule a soft nearest-neighbor computation; this yields a sharp boundary for globally shared quadratic metrics and a multi-head curvature-atlas approximation with head-count scaling, and we extend these guarantees to in-context estimation with consistency and finite-sample stability bounds. In synthetic Gaussian and Bernoulli in-context estimation, trained minimal attention models validate these predictions: performance approaches a Bayes-oracle baseline as prompt length grows; learned metrics align with noise precision in the Gaussian case, while Bernoulli retains a gap consistent with curvature variation. Together, these results explain when Fisher geometry should emerge, when a single metric is justified, and when multiple heads are necessary for Bayes-like in-context estimators beyond Gaussians.
","absKo":"Softmax attention은 transformer에서 재사용 가능한 inference primitive로 점점 더 많이 간주되고 있습니다. 기존 이론의 상당수는 Gaussian/linear model을 다루거나, 하나의 공유 quadratic query--key metric을 가정하는데, 이는 curvature가 달라지는 non-Gaussian exponential-family likelihood에서는 실패할 수 있습니다. 이로 인해 학습된 similarity를 전역 metric이나 Bayes-optimality의 증거로 과도하게 해석할 위험이 있습니다. exponential-family observation을 갖는 discrete latent symbol에 대해, 우리는 logits를 log prior와 log likelihood의 합으로 설정함으로써 단일 head가 Bayes posterior(및 posterior mean)를 구현할 수 있음을 보이고, single-head posterior가 정확히 log-linear(exponential-family) class와 일치함을 특성화합니다. convex duality를 사용해 log-likelihood를 mean/sufficient-statistic space 상의 negative Bregman divergence로 다시 쓰면, Bayes rule이 soft nearest-neighbor computation이 됨을 알 수 있습니다. 이는 전역적으로 공유되는 quadratic metric의 명확한 경계를 제시하고, head 수에 따른 scaling을 갖는 multi-head curvature-atlas approximation으로 이어지며, 이러한 보장을 consistency와 finite-sample stability bound를 갖는 in-context estimation으로 확장합니다. synthetic Gaussian 및 Bernoulli in-context estimation에서 학습된 minimal attention model은 이러한 예측을 검증합니다: prompt length가 증가함에 따라 성능은 Bayes-oracle baseline에 접근하고, 학습된 metric은 Gaussian 경우 noise precision과 정렬되며, Bernoulli는 curvature variation과 일치하는 간극을 유지합니다. 종합하면, 이러한 결과는 Fisher geometry가 언제 나타나야 하는지, 단일 metric이 언제 정당화되는지, 그리고 Gaussian을 넘어서는 Bayes-like in-context estimator에 여러 head가 언제 필요한지를 설명합니다."},{"id":"65764","en":"Demystifying LLM-as-a-Judge: Analytically Tractable Model for Inference-Time Scaling","ko":"LLM-as-a-Judge 해부: 추론 시점 스케일링을 위한 분석적으로 다루기 쉬운 모델","authors":"Indranil Halder, Cengiz Pehlevan","pos":"#4609","link":"https://openreview.net/forum?id=ANVg7NnupP","abs":"Recent developments in large language models have shown advantages in reallocating a notable share of computational resource from training time to inference time. However, the principles behind inference time scaling are not well understood. In this paper, we introduce an analytically tractable model of inference-time scaling: Bayesian linear regression with a reward-weighted sampler, where the reward is determined from a linear model, modeling LLM-as-a-judge scenario. We study this problem in the high-dimensional regime, where the deterministic equivalents dictate a closed-form expression for the posterior predictive mean and variance. We analyze the generalization error when training data are sampled from a teacher model. We draw $k$ inference-time samples and select via softmax at a temperature applied to a quadratic reward. When the reward is not too different from the teacher, the generalization error decreases monotonically with increasing inference time samples $k$. However, the specific reward that optimizes inference-time selection generally differs from the teacher. In contrast, substantial reward misspecification induces a finite optimal $k$ beyond which more sampling can increase the generalization error. For fixed $k$, there exists an optimal sampling temperature. We experimentally verify these facts in large language model inference with an additional large language model as a judge. In the \"best-of-$k$\" limit with the teacher as reward, we theoretically show that the generalization error decays as $\\Theta(1/k^2)$ and determine the leading coefficient via extreme value theory. These formulas delineate domains where scaling inference-time computation is provably preferable to collecting more data. Finally, we demonstrate that when task difficulty increases, the previously mentioned advantage of inference-time compute degrades.","absKo":"최근 large language model의 발전은 상당한 비중의 계산 자원을 training time에서 inference time으로 재배분하는 데서 이점을 보여주었다. 그러나 inference time scaling의 원리는 아직 충분히 이해되지 않았다. 본 논문에서는 analytically tractable한 inference-time scaling 모델을 제시한다. 이는 reward-weighted sampler를 사용하는 Bayesian linear regression으로, reward는 linear model로부터 결정되며 LLM-as-a-judge 시나리오를 모델링한다. 우리는 high-dimensional regime에서 이 문제를 연구하며, 이때 deterministic equivalent가 posterior predictive mean과 variance의 closed-form 표현을 결정한다. 또한 teacher model에서 training data를 샘플링하는 상황에서의 generalization error를 분석한다. 우리는 inference-time sample을 k개 뽑고, quadratic reward에 적용된 temperature에서 softmax로 선택한다. reward가 teacher와 크게 다르지 않다면, inference-time sample 수 k가 증가할수록 generalization error는 단조롭게 감소한다. 그러나 inference-time selection을 최적화하는 특정 reward는 일반적으로 teacher와 다르다. 반대로 reward misspecification이 충분히 크면, 일정한 최적 k가 존재하며 그 이후에는 더 많은 sampling이 오히려 generalization error를 증가시킬 수 있다. 고정된 k에 대해서도 최적 sampling temperature가 존재한다. 우리는 추가적인 large language model을 judge로 사용하는 실험을 통해 이러한 사실을 검증한다. teacher를 reward로 사용하는 best-of-k 극한에서는, 이론적으로 generalization error가 \\Theta(1/k^2)로 감소함을 보이고, extreme value theory를 통해 leading coefficient를 구한다. 이러한 식들은 inference-time computation을 확장하는 것이 더 많은 데이터를 수집하는 것보다 확실히 유리한 영역을 규정한다. 마지막으로, task difficulty가 증가하면 앞서 언급한 inference-time compute의 이점이 약화됨을 보인다."},{"id":"65116","en":"Dynamics of neural scaling laws in random feature regression with powerlaw-distributed kernel eigenvalues","ko":"멱법칙 분포 커널 고유값을 갖는 랜덤 특징 회귀에서 신경망 스케일링 법칙의 동역학","authors":"Jakob Kramp, Javed Lindner, Moritz Helias","pos":"#4610","link":"https://openreview.net/forum?id=Ge3VtuCvZ7","abs":"Training large neural networks exposes neural scaling laws for the generalization error, which points to a universal behavior across network architectures of learning in high dimensions. It was also shown that this effect persists in the limit of highly overparametrized networks as well as the Neural network Gaussian process limit. We here develop a principled understanding of the typical behavior of generalization in Neural Network Gaussian process regression dynamics. We derive a dynamical mean-field theory that captures the typical case learning dynamics: This allows us to unify multiple existing regimes of learning studied in the current literature, namely Bayesian inference on Gaussian processes, gradient flow with or without weight-decay, and stochastic Langevin training dynamics. Employing tools from statistical physics, the unified framework we derive in either of these cases yields an effective description of the high-dimensional microscopic behavior of networks dynamics in terms of lower dimensional order parameters. We show that collective training dynamics may be separated into the dynamics of N independent eigenmodes, whose evolution equations are only coupled through collective response functions and a common statistics of an effective, independent noise. Our approach allows us to quantitatively explain the dynamics of the generalization error by linking spectral and dynamical properties of learning on data with power law spectra, including phenomena such as neural scaling laws and the effect of early stopping.
","absKo":"큰 신경망을 학습하면 일반화 오차에 대한 neural scaling laws가 드러나며, 이는 고차원에서의 학습이 네트워크 아키텍처 전반에 걸쳐 보편적인 거동을 따른다는 점을 시사한다. 또한 이 효과는 매우 큰 overparameterized network의 극한뿐 아니라 Neural network Gaussian process 극한에서도 지속된다는 것이 밝혀졌다. 본 연구에서는 Neural Network Gaussian process regression dynamics에서 일반적인 일반화 거동에 대한 원리적인 이해를 구축한다. 우리는 typical case learning dynamics를 포착하는 dynamical mean-field theory를 유도한다. 이를 통해 현재 문헌에서 연구된 여러 학습 레짐, 즉 Gaussian process에서의 Bayesian inference, weight decay의 유무에 따른 gradient flow, 그리고 stochastic Langevin training dynamics를 하나로 통합할 수 있다. 통계물리 도구를 활용해 유도한 이 통합적 프레임워크는, 각 경우에 대해 학습 동역학의 고차원 미시적 거동을 저차원의 order parameter로 기술하는 유효한 설명을 제공한다. 우리는 집단적 training dynamics가 N개의 서로 독립적인 eigenmode의 동역학으로 분리될 수 있음을 보이며, 각 mode의 진화 방정식은 집단적 response function과 공통의 효과적이고 독립적인 noise의 통계에 의해서만 결합된다. 우리의 접근은 power law spectrum을 갖는 데이터에서의 학습에 대한 spectral 및 dynamical property를 연결함으로써, neural scaling laws와 early stopping의 효과를 포함한 일반화 오차의 동역학을 정량적으로 설명할 수 있게 한다.
"},{"id":"63121","en":"Likelihood Matching for Diffusion Models","ko":"Diffusion 모델을 위한 우도 매칭","authors":"Lei Qian, Wu Su, Yanqi Huang, Song Chen","pos":"#4612","link":"https://openreview.net/forum?id=ZuIjuBCjxh","abs":"We propose a Likelihood Matching approach for training diffusion models by first establishing an equivalence between the likelihood of the target data distribution and a likelihood along the sample path of the reverse diffusion. To efficiently compute the reverse sample likelihood, the equivalence, a quasi-likelihood is considered to approximate each reverse transition density by a Gaussian distribution with matched conditional mean and covariance, respectively. The score and Hessian functions for the diffusion generation are estimated by maximizing the quasi-likelihood, ensuring a consistent matching of both the first two transition moments between every two time points. A stochastic sampler is introduced to facilitate the computation that leverages both the estimated score and Hessian information. We establish consistency of the quasi-maximum likelihood estimation, and provide non-asymptotic convergence guarantees for the proposed sampler, quantifying the rates of the approximation errors due to score and Hessian estimation, dimensionality, and the number of diffusion steps. Empirical and simulation evaluations demonstrate the effectiveness of the proposed Likelihood Matching and validate the theoretical results.
","absKo":"우리는 먼저 target data distribution의 likelihood와 reverse diffusion의 sample path를 따른 likelihood 사이의 등가성을 확립한 뒤 diffusion model 학습을 위한 Likelihood Matching 접근법을 제안한다. reverse sample likelihood를 효율적으로 계산하기 위해, 이 등가성을 바탕으로 quasi-likelihood를 고려하여 각 reverse transition density를 conditional mean과 covariance가 각각 일치하는 Gaussian distribution으로 근사한다. diffusion generation을 위한 score와 Hessian function은 quasi-likelihood를 최대화함으로써 추정되며, 이를 통해 모든 두 time point 사이에서 처음 두 transition moment가 일관되게 일치하도록 보장한다. 계산을 용이하게 하기 위해, 추정된 score와 Hessian 정보를 모두 활용하는 stochastic sampler를 도입한다. 우리는 quasi-maximum likelihood estimation의 consistency를 확립하고, 제안한 sampler에 대한 non-asymptotic convergence guarantee를 제시한다. 이 보장은 score 및 Hessian 추정, 차원, diffusion step 수로 인해 발생하는 approximation error의 rate를 정량화한다. 실험 및 시뮬레이션 평가는 제안한 Likelihood Matching의 효과를 입증하고 이론적 결과를 검증한다.
"},{"id":"61087","en":"Muon in Associative Memory Learning: Training Dynamics and Scaling Laws","ko":"연상 기억 학습에서의 Muon: 학습 동역학과 Scaling Law","authors":"Kaifei Wang, Binghui Li, Han Zhong, Pinyan Lu, Liwei Wang","pos":"#4613","link":"https://openreview.net/forum?id=tn00ERVdgL","abs":"Muon updates matrix parameters via the matrix sign of the gradient and has shown strong empirical gains, yet its dynamics and scaling behavior remain unclear in theory. We study Muon in a linear associative memory model with softmax retrieval and a hierarchical frequency spectrum over query–answer pairs, with and without label noise. In this setting, we show that Gradient Descent (GD) learns frequency components at highly imbalanced rates, leading to slow convergence bottlenecked by low-frequency components. In contrast, the Muon optimizer mitigates this imbalance, leading to faster and more uniform progress. Specifically, in the noiseless case, Muon achieves an exponential speedup over GD; in the noisy case with a power-decay frequency spectrum, we derive Muon's optimization scaling law and demonstrate its superior scaling efficiency over GD. Furthermore, we show that Muon can be interpreted as an implicit matrix preconditioner arising from adaptive task alignment and block-symmetric gradient structure. In contrast, the preconditioner with coordinate-wise sign operator could match Muon under oracle access to unknown task representations, which is infeasible for SignGD in practice. Experiments on synthetic long-tail classification and LLaMA-style pre-training corroborate the theory.
","absKo":"Muon은 gradient의 matrix sign을 통해 matrix parameter를 업데이트하며 강한 empirical gain을 보여 왔지만, 그 dynamics와 scaling behavior는 이론적으로 여전히 불분명하다. 우리는 label noise의 존재 여부와 관계없이, query-answer pair에 대한 hierarchical frequency spectrum과 softmax retrieval을 갖는 linear associative memory model에서 Muon을 연구한다. 이 설정에서 우리는 Gradient Descent(GD)가 frequency component를 매우 불균형한 속도로 학습하여 low-frequency component에 의해 병목이 생기는 느린 수렴을 유발함을 보인다. 이에 비해 Muon optimizer는 이러한 불균형을 완화하여 더 빠르고 더 균일한 진행을 이끈다. 특히 noiseless 경우, Muon은 GD에 비해 exponential speedup을 달성한다. power-decay frequency spectrum을 갖는 noisy 경우에는 Muon의 optimization scaling law를 유도하고, GD보다 우수한 scaling efficiency를 입증한다. 더 나아가 Muon은 adaptive task alignment와 block-symmetric gradient structure에서 비롯되는 implicit matrix preconditioner로 해석될 수 있음을 보인다. 반면 coordinate-wise sign operator를 갖는 preconditioner는 oracle access가 주어진다면 알 수 없는 task representation에 대한 Muon과 일치할 수 있는데, 이는 실제로 SignGD에서는 불가능하다. synthetic long-tail classification과 LLaMA-style pre-training에서의 실험은 이 이론을 뒷받침한다.
"},{"id":"65974","en":"On Minimum Depth and Width of Floating-Point Neural Networks for Representing Floating-Point Functions","ko":"부동소수점 함수 표현을 위한 부동소수점 신경망의 최소 깊이와 폭에 관하여","authors":"Sejun Park, Yeachan Park, Geonho Hwang","pos":"#4614","link":"https://openreview.net/forum?id=8IxY2DUiBi","abs":"Research on the expressive power of neural networks has identified the minimum depth and width of neural networks that enable universal approximation and memorization. However, existing results are derived under exact arithmetic and cannot be directly applied to real implementations on computers, which can only use a finite set of numbers and inexact machine operations with round-off errors. In this work, we study floating-point ReLU networks that have floating-point parameters and use floating-point operations. Specifically, we investigate their minimum depth and width to represent all functions from the set of floating-point vectors $\\mathbb F^d$ to the set of floating-point numbers $\\mathbb F$. We first show that the minimum depth for representing all functions from $\\mathbb F^d$ to $\\mathbb F$ is exactly three, where two layers can be sufficient if we consider a smaller domain and/or codomain. We further show that the minimum width for representing all functions from $\\mathbb F^d$ to $\\mathbb F$ lies between $2d$ and $2d+4$. In addition, if we restrict the domain to non-negative floats, it lies between $d$ and $d+4$, where it can be smaller for a smaller domain, even beyond $d$. Our results show that the existing results analyzed under exact arithmetic do not extend to the floating-point setup.","absKo":"신경망의 표현력에 관한 연구는 universal approximation과 memorization을 가능하게 하는 신경망의 최소 depth와 width를 밝혀왔다. 그러나 기존 결과는 exact arithmetic 하에서 도출되었으며, 유한한 수의 숫자와 round-off error를 동반한 부정확한 machine operation만 사용할 수 있는 컴퓨터의 실제 구현에는 직접 적용할 수 없다. 본 연구에서는 floating-point parameter를 갖고 floating-point operation을 사용하는 floating-point ReLU network를 연구한다. 구체적으로, floating-point vector 집합 $\\mathbb F^d$에서 floating-point number 집합 $\\mathbb F$로 가는 모든 function을 표현하기 위한 최소 depth와 width를 조사한다. 먼저 $\\mathbb F^d$에서 $\\mathbb F$로 가는 모든 function을 표현하는 데 필요한 최소 depth가 정확히 3임을 보인다. 다만 더 작은 domain 및/또는 codomain을 고려하면 2개의 layer만으로도 충분할 수 있다. 이어서 $\\mathbb F^d$에서 $\\mathbb F$로 가는 모든 function을 표현하는 데 필요한 최소 width가 $2d$와 $2d+4$ 사이에 있음을 보인다. 또한 domain을 non-negative float로 제한하면 그 범위는 $d$와 $d+4$ 사이가 되며, 더 작은 domain에서는 $d$를 넘어 더 작아질 수도 있음을 보인다. 우리의 결과는 exact arithmetic 하에서 분석된 기존 결과가 floating-point setting으로는 확장되지 않음을 보여준다."},{"id":"65234","en":"Reasoning about Reasoning: BAPO Bounds on Chain-of-Thought Token Complexity in LLMs","ko":"추론에 대한 추론: LLM에서 Chain-of-Thought 토큰 복잡도에 대한 BAPO 경계","authors":"Kiran Tomlinson, Tobias Schnabel, Adith Swaminathan, Jennifer Neville","pos":"#4616","link":"https://openreview.net/forum?id=FXKhOhbgEz","abs":"Inference-time scaling via chain-of-thought (CoT) reasoning is a major driver of state-of-the-art LLM performance, but it comes with substantial latency and compute costs. We address a fundamental theoretical question: *how many* reasoning tokens are required to solve a problem as input size grows? By extending the bounded attention prefix oracle (BAPO) model--an abstraction of LLMs that quantifies the information flow required to solve a task--we prove lower bounds on the CoT tokens required for three canonical BAPO-hard tasks: binary majority, triplet matching, and graph reachability. We show that each requires $\\Omega(n)$ reasoning tokens when the input size is $n$. We complement these results with matching or near-matching upper bounds via explicit constructions. Finally, our experiments with frontier reasoning models show approximately linear reasoning token scaling on these tasks and failures when constrained to smaller reasoning budgets, consistent with our theoretical lower bounds. Together, our results identify fundamental bottlenecks in inference-time compute through CoT and offer a principled tool for analyzing optimal reasoning length.","absKo":"Inference-time scaling을 chain-of-thought (CoT) reasoning으로 달성하는 것은 state-of-the-art LLM 성능의 주요 동력이지만, 그만큼 상당한 latency와 compute cost를 수반한다. 우리는 근본적인 이론적 질문을 다룬다. 즉, 입력 크기가 커질 때 문제를 풀기 위해 *얼마나 많은* reasoning token이 필요한가? bounded attention prefix oracle (BAPO) model은 문제를 해결하는 데 필요한 information flow를 정량화하는 LLM의 추상화인데, 이를 확장하여 binary majority, triplet matching, graph reachability라는 세 가지 대표적인 BAPO-hard task에 대해 필요한 CoT token 수의 lower bound를 증명한다. 우리는 입력 크기가 $n$일 때 각 task마다 $\\Omega(n)$개의 reasoning token이 필요함을 보인다. 또한 명시적 구성으로 이를 정확히 맞추거나 거의 맞추는 upper bound를 제시한다. 마지막으로, frontier reasoning model을 사용한 실험에서는 이러한 task들에서 reasoning token이 대략 선형적으로 스케일하며, 더 작은 reasoning budget으로 제한하면 실패가 발생함을 보여주는데, 이는 우리의 이론적 lower bound와 일치한다. 종합하면, 우리의 결과는 CoT를 통한 inference-time compute의 근본적인 병목을 밝히고, 최적 reasoning length를 분석하기 위한 원칙적인 도구를 제공한다."},{"id":"60738","en":"The Expressivity Limits of Transformers","ko":"Transformer의 표현력 한계","authors":"Maxime Meyer, Mario Michelessa, Caroline Chaux, Vincent Tan","pos":"#4619","link":"https://openreview.net/forum?id=x4xOtzoYa6","abs":"We study the fundamental expressivity limits of transformer models by formalizing the notion of accessible sequences---those that a transformer can produce for some prompt---and characterizing how accessibility depends on prompt length and model parameters. Our analysis provides a theoretical explanation for previously observed empirical failures of transformers on simple sequence tasks---such as copying and cramming---and yields both qualitative and quantitative predictions that hold across a wide range of architectures and model sizes. We prove that (i) the maximal length of accessible sequences grows linearly with the prompt length, (ii) beyond a critical threshold the proportion of accessible sequences decays exponentially with sequence length, and (iii) the linear coefficient relating prompt length to accessible sequence length admits a theoretical upper bound. Notably, these results hold even with unbounded context and computation time. Experiments using a “cramming” procedure confirm the linear scaling, the post-threshold exponential decay, and the tightness of the theoretical upper bound on different sizes of Pythia, Llamma, and Qwen architectures.
","absKo":"우리는 transformer 모델의 근본적인 표현력 한계를 연구하기 위해, transformer가 어떤 prompt에 대해서 생성할 수 있는 시퀀스라는 개념인 accessible sequences를 형식화하고, accessibility가 prompt length와 model parameters에 따라 어떻게 달라지는지 특징지었다. 우리의 분석은 copying과 cramming 같은 단순 sequence task에서 transformer가 보였던 기존의 경험적 실패를 이론적으로 설명하며, 다양한 architecture와 model size 전반에서 성립하는 정성적·정량적 예측을 모두 도출한다. 우리는 (i) accessible sequences의 최대 길이는 prompt length에 선형적으로 증가하고, (ii) 임계 threshold를 넘어서면 accessible sequences의 비율은 sequence length에 대해 지수적으로 감소하며, (iii) prompt length와 accessible sequence length를 연결하는 선형 계수는 이론적 상한을 가진다는 것을 증명한다. 특히 이러한 결과는 context와 computation time이 무한하더라도 성립한다. “cramming” procedure를 사용한 실험은 다양한 크기의 Pythia, Llamma, Qwen architecture에서 선형 scaling, threshold 이후의 지수적 감소, 그리고 이론적 상한의 타이트함을 확인한다.
"},{"id":"65420","en":"The Implicit Bias of Adam and Muon on Smooth Homogeneous Neural Networks","ko":"매끄러운 동차 신경망에서 Adam과 Muon의 암묵적 편향","authors":"Eitan Gronich, Gal Vardi","pos":"#4620","link":"https://openreview.net/forum?id=DpIc1cpNKG","abs":"We study the implicit bias of momentum-based optimizers on homogeneous models. We first extend existing results on the implicit bias of steepest descent in homogeneous models to normalized steepest descent with an optional learning rate schedule. We then show that for smooth homogeneous models, momentum steepest descent algorithms like Muon (spectral norm), MomentumGD ($\\ell_2$ norm), and Signum ($\\ell_\\infty$ norm) are approximate steepest descent trajectories under a decaying learning rate schedule, proving that these algorithms too have a bias towards KKT points of the corresponding margin maximization problem. We extend the analysis to Adam (without the stability constant), which maximizes the $\\ell_\\infty$ margin, and to Muon-Signum and Muon-Adam, which maximize a hybrid norm. Our experiments corroborate the theory and show that the identity of the margin maximized depends on the choice of optimizer. Overall, our results extend earlier lines of work on steepest descent in homogeneous models and momentum-based optimizers in linear models.","absKo":"우리는 동질적 모델에서 momentum-based optimizer의 implicit bias를 연구한다. 먼저, 기존의 동질적 모델에서 steepest descent의 implicit bias에 대한 결과를, optional learning rate schedule을 갖는 normalized steepest descent로 확장한다. 그런 다음, smooth homogeneous 모델에 대해 Muon(spectral norm), MomentumGD($\\ell_2$ norm), Signum($\\ell_\\infty$ norm)과 같은 momentum steepest descent 알고리즘이 decaying learning rate schedule 하에서 approximate steepest descent trajectory임을 보이며, 이러한 알고리즘 역시 대응하는 margin maximization 문제의 KKT point를 향한 bias를 가진다는 것을 증명한다. 우리는 이 분석을 Adam(stability constant를 제외한 경우)으로 확장하여 $\\ell_\\infty$ margin을 최대화함을 보이고, 또한 hybrid norm을 최대화하는 Muon-Signum과 Muon-Adam으로도 확장한다. 실험 결과는 이 이론을 뒷받침하며, 최대화되는 margin의 종류가 optimizer의 선택에 따라 달라짐을 보여준다. 전반적으로 우리의 결과는 homogeneous model에서의 steepest descent와 linear model에서의 momentum-based optimizer에 관한 선행 연구 흐름을 확장한다."},{"id":"64298","en":"Geometric Entropy and Retrieval Phase Transitions in Continuous Thermal Dense Associative Memory","ko":"연속 열역학적 밀집 연상 메모리에서 기하학적 엔트로피와 검색 상전이","authors":"Tatiana Petrova, Evgeny Polyachenko, Radu State","pos":"#2814","link":"https://openreview.net/forum?id=P0eayHlqb7","abs":"We study the thermodynamic memory capacity of modern Hopfield networks (Dense Associative Memory models) with continuous states under geometric constraints, extending classical analyses of pairwise associative memory. We derive thermodynamic phase boundaries for Dense Associative Memory networks with exponential capacity $p = e^{\\alpha N}$, comparing Gaussian (LSE) and Epanechnikov (LSR) kernels. For continuous neurons on an $N$-sphere, the geometric entropy depends solely on the spherical geometry, not the kernel. In the sharp-kernel regime, the maximum theoretical capacity $\\alpha = 0.5$ is achieved at zero temperature; below this threshold, a critical line separates retrieval from a spin-glass phase. The two kernels differ qualitatively in their phase boundary structure: for LSE, the retrieval region extends to arbitrarily high temperatures as $\\alpha \\to 0$, but interference from spurious patterns is always present. For LSR, the finite support introduces a threshold $\\alpha_{\\text{th}}$ below which no spurious patterns contribute to the noise floor, producing a qualitatively different retrieval regime in this sub-threshold region. These results advance the theory of high-capacity associative memory and clarify fundamental limits of retrieval robustness in modern attention-like memory architectures.","absKo":"우리는 기하학적 제약 하에서 연속 상태를 갖는 modern Hopfield networks(Dense Associative Memory models)의 열역학적 memory capacity를, 쌍별 associative memory에 대한 고전적 분석을 확장하여 연구한다. 우리는 Gaussian(LSE)과 Epanechnikov(LSR) kernel을 비교하면서, 지수적 capacity $p = e^{\\alpha N}$를 갖는 Dense Associative Memory network에 대한 열역학적 phase boundary를 유도한다. $N$-sphere 위의 연속 뉴런의 경우, geometric entropy는 kernel이 아니라 구면 기하학에만 의존한다. sharp-kernel regime에서는 0 temperature에서 최대 이론적 capacity $\\alpha = 0.5$가 달성되며, 이 임계값 이하에서는 critical line이 retrieval phase와 spin-glass phase를 구분한다. 두 kernel은 phase boundary 구조에서 질적으로 다르다. LSE의 경우 $\\alpha \\to 0$일 때 retrieval region이 임의로 높은 temperature까지 확장되지만, spurious pattern으로부터의 간섭은 항상 존재한다. LSR의 경우 finite support가 $\\alpha_{\\text{th}}$라는 threshold를 도입하며, 이보다 낮은 영역에서는 spurious pattern이 noise floor에 기여하지 않으므로, sub-threshold 구간에서 질적으로 다른 retrieval regime이 형성된다. 이러한 결과는 고용량 associative memory 이론을 진전시키고, modern attention-like memory architecture에서 retrieval robustness의 근본적 한계를 명확히 한다."},{"id":"60680","en":"Deep Incentive Design with Differentiable Equilibrium Blocks","ko":"Differentiable Equilibrium Block을 이용한 Deep Incentive Design","authors":"Vinzenz Thoma, Georgios Piliouras, Luke Marris","pos":"#4510","link":"https://openreview.net/forum?id=xgK2ePxFO1","abs":"Automated design of multi-agent interactions with desirable equilibrium outcomes is inherently difficult due to the computational hardness, non-uniqueness, and instability of the resulting equilibria. In this work, we propose the use of game-agnostic differentiable equilibrium blocks (DEBs) as modules in a novel, differentiable framework to address a wide variety of incentive design problems from economics and computer science. We call this framework deep incentive design (DID). To validate our approach, we examine three diverse, challenging incentive design tasks: contract design, machine scheduling, and inverse equilibrium problems. For each task, we train a single neural network using a unified pipeline and DEB. This architecture solves the full distribution of problem instances, parameterized by a context, handling all games across a wide range of scales (from two to sixteen actions per player).
","absKo":"바람직한 equilibrium 결과를 갖는 multi-agent interaction을 자동으로 설계하는 일은, 결과로 나타나는 equilibrium의 계산적 난해성, 비유일성, 불안정성 때문에 본질적으로 어렵다. 본 연구에서는 경제학과 컴퓨터과학의 다양한 incentive design 문제를 다루기 위한 새로운 differentiable framework의 모듈로서, game-agnostic differentiable equilibrium blocks (DEBs)의 사용을 제안한다. 우리는 이 framework를 deep incentive design (DID)라고 부른다. 우리의 접근을 검증하기 위해 contract design, machine scheduling, inverse equilibrium problems라는 세 가지 다양하고 도전적인 incentive design task를 살펴본다. 각 task에 대해, context로 parameterized된 문제 인스턴스의 full distribution을 처리하도록, 통합된 pipeline과 DEB를 사용해 단일 neural network를 학습한다. 이 architecture는 각 player당 2개에서 16개 action에 이르는 넓은 규모 범위의 모든 game을 다루면서, context로 parameterized된 문제 인스턴스의 full distribution을 해결한다.
"},{"id":"66795","en":"Online Contract Design With Unknown Technology","ko":"알 수 없는 기술 하에서의 온라인 Contract Design","authors":"Matteo Bollini, Matteo Castiglioni, Alberto Marchesi","pos":"#4507","link":"https://openreview.net/forum?id=0EpfNnbXrS","abs":"*Hidden-action principal-agent problems* model scenarios in which a principal induces an agent to take a costly and *unobservable* action through the provision of outcome-dependent payments. These problems find application in a variety of real-world settings, such as crowdsourcing, online labor platforms, and machine learning task delegation. Recently, much of the literature has focused on how to handle the principal’s *uncertainty* about the agent and the surrounding environment, which is often the main challenge in practice. One prominent approach is to adopt an *online learning* framework, where the principal repeatedly interacts with the agent to learn optimal payments from experience. However, existing learning algorithms, while achieving regret that scales sublinearly in the number of interaction rounds $T$, typically suffer from an exponential dependence on the size of the problem instance. In this paper, we show that this problematic exponential growth can be avoided by assuming that the principal has knowledge of a set of possible actions of the agent, while remaining unaware of which actions are actually available---an assumption that is reasonable in many real-world settings.","absKo":"*Hidden-action principal-agent problems*은 principal이 outcome-dependent payments를 제공함으로써 agent가 비용이 들고 *관측 불가능한* 행동을 하도록 유도하는 상황을 모델링한다. 이러한 문제는 crowdsourcing, online labor platforms, machine learning task delegation 등 다양한 실제 환경에 적용된다. 최근에는 문헌의 많은 부분이 principal의 agent 및 주변 환경에 대한 *불확실성*을 어떻게 다룰 것인가에 집중해 왔으며, 이는 실무에서 흔히 가장 큰 도전 과제다. 대표적인 접근법 중 하나는 *online learning* 프레임워크를 채택하여, principal이 agent와 반복적으로 상호작용하면서 경험을 통해 최적의 payment를 학습하는 것이다. 그러나 기존 learning algorithm들은 interaction round 수 $T$에 대해 regret이 sublinear하게 증가하더라도, 대개 problem instance의 크기에 대해 지수적 의존성을 가진다. 본 논문에서는 principal이 agent가 가질 수 있는 행동들의 집합에 대한 지식은 갖고 있지만, 실제로 어떤 행동이 가능한지는 모른다고 가정하면, 이러한 문제가 되는 지수적 성장을 피할 수 있음을 보인다. 이 가정은 많은 실제 환경에서 타당하다."},{"id":"61971","en":"(Doubly) Exponential Lower Bounds for Follow the Regularized Leader in Potential Games","ko":"potential games에서 Follow the Regularized Leader의 (이중) 지수 하한","authors":"Ioannis Anagnostides, Ioannis Panageas, Nikolas Patris, Tuomas Sandholm","pos":"#4512","link":"https://openreview.net/forum?id=l6KZJO7w48","abs":"Follow the regularized leader (FTRL) is the premier algorithm for online optimization. However, despite decades of research on its convergence in constrained optimization---and potential games in particular---its behavior remained hitherto poorly understood. In this paper, we establish that FTRL can take exponential time to converge to a Nash equilibrium in two-player potential games for any (permutation-invariant) regularizer and potentially vanishing learning rate. By known equivalences, this translates to an exponential lower bound for certain mirror descent counterparts, most notably multiplicative weights update. On the positive side, we establish the potential property for FTRL and obtain an exponential upper bound $\\exp(O_{\\epsilon}(1/\\epsilon^2))$ for any no-regret dynamics executed in a lazy, alternating fashion, matching our lower bound up to factors in the exponent. Finally, in multi-player potential games, we show that fictitious play---the extreme version of FTRL---can take doubly exponential time to reach a Nash equilibrium. This constitutes an exponentially stronger lower bound for the foundational learning algorithm in games.","absKo":"Follow the regularized leader(FTRL)는 online optimization의 대표적 알고리즘이다. 그러나 제약 최적화, 특히 potential game에서의 수렴에 대한 수십 년의 연구에도 불구하고, 그 동작은 지금까지 충분히 이해되지 못했다. 이 논문에서는 FTRL이 어떤 (permutation-invariant) regularizer와 잠재적으로 0으로 수렴하는 learning rate에 대해서도, 두 플레이어 potential game에서 Nash equilibrium에 도달하는 데 지수 시간이 걸릴 수 있음을 보인다. 알려진 동치관계에 따라 이는 특정 mirror descent 대응, 특히 multiplicative weights update에 대한 지수 하한으로 이어진다. 긍정적으로는, 우리는 FTRL의 potential property를 확립하고, lazy하게 번갈아 실행되는 어떤 no-regret dynamics에 대해서도 지수 상한 $\\exp(O_{\\epsilon}(1/\\epsilon^2))$를 얻어, 지수의 계수까지 포함해 우리의 하한과 일치함을 보인다. 마지막으로, 다중 플레이어 potential game에서는 FTRL의 극단적 버전인 fictitious play가 Nash equilibrium에 도달하는 데 이중 지수 시간이 걸릴 수 있음을 보인다. 이는 게임에서의 기초적인 learning algorithm에 대한 지수적으로 더 강한 하한을 구성한다."},{"id":"64853","en":"Mind the Gap: Structure-Aware Consistency in Preference Learning","ko":"간극에 주의하라: Preference Learning에서의 Structure-Aware Consistency","authors":"Mehryar Mohri, Yutao Zhong","pos":"#2009","link":"https://openreview.net/forum?id=J6AIZuAN81","abs":"Preference learning has become the foundation of aligning Large Language Models (LLMs) with human intent. Popular methods, such as Direct Preference Optimization (DPO), minimize surrogate losses as proxies for the intractable pairwise ranking loss. However, we demonstrate that for the equicontinuous hypothesis sets typical of neural networks, these standard surrogates are theoretically inconsistent, yielding vacuous generalization guarantees. To resolve this, we formulate LLM alignment within a margin-shifted ranking framework. We derive rigorous $H$-consistency bounds that depend on enforcing a separation margin $\\gamma$. Crucially, we extend this to Structure-Aware $H$-consistency, introducing a novel objective (SA-DPO) that adapts the margin based on the semantic distance between responses to handle synonyms and hard pairs. Finally, we analyze the trade-off between consistency and model limitations via the Margin-Capacity Profile, proving that heavy-tailed surrogates (such as the Polynomial Hinge family) offer superior consistency guarantees for capacity-bounded models compared to the standard logistic loss used in DPO.","absKo":"Preference learning은 Large Language Models (LLMs)을 human intent에 맞추는 기반이 되었다. Direct Preference Optimization (DPO)과 같은 널리 쓰이는 방법은 계산이 불가능한 pairwise ranking loss의 대리로 surrogate loss를 최소화한다. 그러나 우리는 neural network에서 전형적인 equicontinuous hypothesis set에 대해 이러한 표준 surrogate가 이론적으로 inconsistent함을 보이며, 결과적으로 공허한 generalization guarantee만을 낳는다는 점을 보인다. 이를 해결하기 위해 우리는 LLM alignment를 margin-shifted ranking framework로 정식화한다. 우리는 separation margin $\\gamma$를 강제하는 것에 의존하는 엄밀한 $H$-consistency bound를 도출한다. 결정적으로, 이를 Structure-Aware $H$-consistency로 확장하여, response 간 semantic distance에 따라 margin을 조정하는 새로운 objective (SA-DPO)를 도입함으로써 synonym과 hard pair를 처리한다. 마지막으로, 우리는 Margin-Capacity Profile를 통해 consistency와 model limitation 사이의 trade-off를 분석하고, heavy-tailed surrogate(예: Polynomial Hinge family)가 DPO에서 사용되는 표준 logistic loss보다 capacity-bounded model에 대해 더 우수한 consistency guarantee를 제공함을 증명한다."},{"id":"64478","en":"Black-Box Assisted Regression: Phase Transitions and Minimax Optimality","ko":"블랙박스 지원 회귀: 상전이와 미니맥스 최적성","authors":"Yan Zhou","pos":"#4505","link":"https://openreview.net/forum?id=N9nlCRUiir","abs":"Foundation models provide strong but biased priors for downstream tasks with limited labeled data. We formalize black-box assisted nonparametric regression where $\\|f^*-f_0\\|_{L_2(P_X)}\\le\\delta$ for unknown $\\delta$. We characterize the minimax risk, revealing a phase transition at $\\delta_c(n)\\asymp n^{-\\beta/(2\\beta+d)}$ with optimal rate $\\min\\{\\delta^2, n^{-2\\beta/(2\\beta+d)}\\}$. Our Safe Black-Box Residual Estimator integrates zero-initialization (a strong inductive bias) with a holdout selection mechanism. This approach achieves the minimax rate while avoiding negative transfer. Experiments on synthetic data, CIFAR-100 (CLIP), and AG News (Qwen3-8B) validate the theory, improving sample efficiency (e.g., CIFAR-100 at $n=2000$: from 59.4\\% zero-shot to 66.7\\%).","absKo":"Foundation model은 제한된 labeled data를 가진 downstream task에 대해 강하지만 편향된 prior를 제공한다. 우리는 알려지지 않은 $\\delta$에 대해 $\\|f^*-f_0\\|_{L_2(P_X)}\\le\\delta$를 만족하는 black-box assisted nonparametric regression을 정식화한다. 우리는 minimax risk를 특성화하여, 최적 rate가 $\\min\\{\\delta^2, n^{-2\\beta/(2\\beta+d)}\\}$인 상태에서 $\\delta_c(n)\\asymp n^{-\\beta/(2\\beta+d)}$에서 phase transition이 발생함을 보인다. 우리의 Safe Black-Box Residual Estimator는 zero-initialization(강한 inductive bias)과 holdout selection mechanism을 통합한다. 이 접근은 negative transfer를 피하면서 minimax rate를 달성한다. synthetic data, CIFAR-100 (CLIP), AG News (Qwen3-8B)에서의 실험은 이 이론을 검증하며, sample efficiency를 향상시킨다(예: CIFAR-100에서 $n=2000$: 59.4\\% zero-shot에서 66.7\\%로 향상).
"},{"id":"64027","en":"Robust Linear Dueling Bandits with Post-serving Context under Unknown Delays and Adversarial Corruptions","ko":"알 수 없는 지연과 적대적 오염 하에서의 사후 서비스 컨텍스트를 갖는 강건 선형 Dueling Bandits","authors":"Youngmin Oh","pos":"#4107","link":"https://openreview.net/forum?id=RaJnDY8aAS","abs":"We study linear dueling bandits in volatile environments characterized by the simultaneous presence of post-serving contexts, delayed feedback, and adversarial corruption. Feedback is subject to unknown stochastic or adversarial delays and a cumulative corruption budget $\\mathcal{C}$. To address these challenges, we propose \\term, which integrates a learned approximator that predicts post-serving contexts from pre-serving information. It further employs an adaptive weighting strategy that clips feature vectors to mitigate the impact of corrupted and delayed observations simultaneously. Under standard regularity conditions and a parametric post-serving mapping, we rigorously establish that our algorithm is delay-regime-agnostic, achieving a regret upper bound of $\\widetilde{\\mathcal{O}}(d(\\sqrt{T} + \\mathcal{C} + \\mathcal{D}))$, where $d$ is the total feature dimension and $\\mathcal{D}$ encapsulates the delay complexity. Crucially, our analysis reveals an additive cost structure between corruption and delay, avoiding the multiplicative degradation typical of prior works. We further establish lower bounds that nearly match our upper bounds up to a $\\sqrt{d}$ factor for adversarial delays in the absence of post-serving contexts.","absKo":"우리는 post-serving context, delayed feedback, adversarial corruption이 동시에 존재하는 volatile environment에서의 linear dueling bandit을 연구합니다. Feedback은 알려지지 않은 stochastic 또는 adversarial delay와 누적 corruption budget $\\mathcal{C}$의 영향을 받습니다. 이러한 도전 과제를 다루기 위해, 우리는 pre-serving information으로부터 post-serving context를 예측하는 learned approximator를 통합한 \\term를 제안합니다. 또한 corrupted 및 delayed observation의 영향을 동시에 완화하기 위해 feature vector를 clipping하는 adaptive weighting strategy를 사용합니다. 표준 regularity condition과 parametric post-serving mapping 하에서, 우리는 우리의 algorithm이 delay-regime-agnostic임을 엄밀히 보이고, regret upper bound $\\widetilde{\\mathcal{O}}(d(\\sqrt{T} + \\mathcal{C} + \\mathcal{D}))$를 달성함을 증명합니다. 여기서 $d$는 전체 feature dimension이고 $\\mathcal{D}$는 delay complexity를 포괄합니다. 결정적으로, 우리의 분석은 corruption과 delay 사이에 additive cost structure가 존재함을 보여 주며, 기존 연구에서 흔한 multiplicative degradation을 피합니다. 또한 post-serving context가 없는 경우 adversarial delay에 대해 upper bound와 거의 일치하는 lower bound를 $\\sqrt{d}$ factor 차이 이내로 제시합니다."},{"id":"63449","en":"Improved Dimension Dependence for Bandit Convex Optimization with Gradient Variations","ko":"경사 변동을 활용한 밴딧 볼록 최적화의 개선된 차원 의존성","authors":"Hang Yu, Yu-Hu Yan, Peng Zhao","pos":"#4108","link":"https://openreview.net/forum?id=X8evkEdMxb","abs":"Gradient-variation online learning has drawn increasing attention due to its deep connections to game theory, optimization, etc. It has been studied extensively in the full-information setting, but is underexplored with bandit feedback. In this work, we focus on gradient variation in Bandit Convex Optimization (BCO) with two-point feedback. By proposing a refined analysis on the non-consecutive gradient variation, a fundamental quantity in gradient variation with bandits, we improve the dimension dependence for both convex and strongly convex functions compared with the best known results (Chiang et al., 2013). Our improved analysis for the non-consecutive gradient variation also implies other favorable problem-dependent guarantees, such as gradient-variance and small-loss regrets. Beyond the two-point setup, we demonstrate the versatility of our technique by achieving the first gradient-variation bound for one-point bandit linear optimization over hyper-rectangular domains. Finally, we validate the effectiveness of our results in more challenging tasks such as dynamic/universal regret minimization and bandit games, establishing the first gradient-variation dynamic and universal regret bounds for two-point BCO and fast convergence rates in bandit games.
","absKo":"Gradient-variation online learning은 game theory, optimization 등과의 깊은 연결성 때문에 점점 더 많은 주목을 받아왔다. 이는 full-information 설정에서는 광범위하게 연구되었지만, bandit feedback에서는 충분히 탐구되지 않았다. 본 연구에서는 two-point feedback을 갖는 Bandit Convex Optimization (BCO)에서의 gradient variation에 초점을 맞춘다. bandit에서의 gradient variation의 근본적 양인 non-consecutive gradient variation에 대한 정교한 분석을 제안함으로써, 우리는 Chiang et al., 2013의 기존 최선 결과와 비교해 convex 함수와 strongly convex 함수 모두에서 dimension dependence를 개선한다. non-consecutive gradient variation에 대한 우리의 향상된 분석은 gradient-variance 및 small-loss regret과 같은 다른 유리한 problem-dependent 보장도 함의한다. two-point 설정을 넘어, 우리는 hyper-rectangular domain 위의 one-point bandit linear optimization에 대해 최초의 gradient-variation bound를 달성함으로써 우리의 기법의 범용성을 입증한다. 마지막으로, dynamic/universal regret minimization과 bandit game과 같은 더 까다로운 과제에서 우리의 결과의 효과를 검증하여, two-point BCO에 대한 최초의 gradient-variation dynamic 및 universal regret bound와 bandit game에서의 빠른 수렴률을 확립한다.
"},{"id":"64742","en":"Data-Source Adaptive Online Learning under Heteroscedastic Noise","ko":"Heteroscedastic Noise 하의 데이터 소스 적응적 온라인 학습","authors":"Amith Bhat Hosadurga Anand, Aadirupa Saha, Haipeng Luo","pos":"#4109","link":"https://openreview.net/forum?id=KINbdhBhoZ","abs":"In this paper, we address the standard $K$-armed multi-armed bandit (MAB) with $M$ heterogeneous data sources, each exhibiting unknown and distinct noise variances, $\\sigma_j^2$. We propose SOAR (Source-Optimistic Adaptive Regret Minimization), a novel algorithm that adaptively balances exploration and exploitation by jointly constructing upper confidence bounds for arm rewards and lower confidence bounds for data source variances. Our theoretical analysis establishes that SOAR achieves a regret bound of $\\tilde{O}\\left({\\sigma^*}^2 \\sum_{i=2}^K \\tfrac{1}{\\Delta_i}\\right),$ along with a preprocessing cost that depends only on the problem parameters $\\\\{\\sigma_j\\\\}_{j = 1}^M$, $K$, and grows at most logarithmically with the horizon $T$; where ${\\sigma^\\*}^2$ is the minimum source variance, and $\\Delta_i$ denotes the suboptimality-gap of the $i$-th arm reward. The $\\tilde O(.)$ notation hides the polylogarithmic factors in these problem parameters. This near-optimal instance dependence regret analysis of SOAR underscores its effectiveness in dynamically managing heteroscedastic noise without incurring significant overhead. Experiments on synthetic problem instances and a real dataset (MovieLens 25M) demonstrate that our method significantly outperforms baseline bandit algorithms in terms of regret performance. Our work opens a new direction for adaptively leveraging multiple heterogeneous data sources, extending beyond traditional bandit frameworks.","absKo":"이 논문에서는 서로 다른 잡음 분산 $\\sigma_j^2$를 갖는 $M$개의 이질적인 데이터 소스를 가진 표준 $K$-armed multi-armed bandit (MAB)을 다룬다. 우리는 SOAR (Source-Optimistic Adaptive Regret Minimization)을 제안하는데, 이는 arm reward에 대한 upper confidence bounds와 data source variance에 대한 lower confidence bounds를 공동으로 구성함으로써 탐색과 활용을 적응적으로 균형 있게 조절하는 새로운 알고리즘이다. 이론적 분석을 통해 SOAR가 $\\tilde{O}\\left({\\sigma^*}^2 \\sum_{i=2}^K \\tfrac{1}{\\Delta_i}\\right)$의 regret bound를 달성함을 보이며, 추가로 전처리 비용은 오직 문제 파라미터 $\\\\{\\sigma_j\\\\}_{j = 1}^M$, $K$에만 의존하고 horizon $T$에 대해서는 많아야 로그 수준으로만 증가한다. 여기서 ${\\sigma^\\*}^2$는 최소 source variance이고, $\\Delta_i$는 $i$번째 arm reward의 suboptimality-gap을 의미한다. 이 $\\tilde O(.)$ 표기는 이러한 문제 파라미터들에 대한 polylogarithmic factor를 숨긴다. SOAR에 대한 이러한 near-optimal instance dependence regret 분석은 큰 추가 오버헤드 없이 heteroscedastic noise를 동적으로 관리하는 데 있어 그 효과를 강조한다. 합성 문제 인스턴스와 실제 데이터셋(MovieLens 25M)에서의 실험은 우리의 방법이 regret 성능 측면에서 baseline bandit 알고리즘들을 크게 능가함을 보여준다. 우리의 연구는 여러 이질적인 데이터 소스를 적응적으로 활용하는 새로운 방향을 열며, 전통적인 bandit framework를 넘어서는 확장을 제시한다."},{"id":"63400","en":"A Perturbation Approach to Unconstrained Linear Bandits","ko":"무제약 선형 밴딧에 대한 섭동 접근법","authors":"Andrew Jacobsen, Dorian Baudry, Shinji Ito, Nicolò Cesa-Bianchi","pos":"#4110","link":"https://openreview.net/forum?id=XSpBSHzJAg","abs":"We revisit the standard perturbation-based approach of Abernethy et al. (2008) in the context of unconstrained Bandit Linear Optimization (uBLO). We show the surprising result that in the unconstrained setting, this approach effectively reduces Bandit Linear Optimization (BLO) to a standard Online Linear Optimization (OLO) problem. Our framework improves on prior work in several ways. First, we derive expected-regret guarantees when our perturbation scheme is combined with comparator-adaptive OLO algorithms, leading to new insights about the impact of different adversarial models on the resulting comparator-adaptive rates. We extend our analysis to dynamic regret, obtaining the optimal $\\sqrt{P_T}$ path-length dependencies without prior knowledge of $P_T$. We then develop the first high-probability guarantees for both static and dynamic regret in uBLO. Finally, we discuss lower bounds on the static regret, and prove the folklore $\\Omega(\\sqrt{dT})$ rate for adversarial linear bandits on the unit Euclidean ball, which is of independent interest.","absKo":"우리는 unconstrained Bandit Linear Optimization(uBLO) 맥락에서 Abernethy et al. (2008)의 표준 perturbation 기반 접근을 다시 살펴본다. 우리는 unconstrained 설정에서는 이 접근이 Bandit Linear Optimization(BLO)을 사실상 표준 Online Linear Optimization(OLO) 문제로 환원한다는 놀라운 결과를 보인다. 우리의 프레임워크는 여러 측면에서 기존 연구를 개선한다. 첫째, perturbation scheme을 comparator-adaptive OLO 알고리즘과 결합할 때 expected-regret 보장을 도출하며, 그 결과 서로 다른 adversarial model이 comparator-adaptive rate에 미치는 영향에 대한 새로운 통찰을 얻는다. 우리는 분석을 dynamic regret으로 확장하여, $P_T$에 대한 사전 지식 없이도 최적의 $\\sqrt{P_T}$ path-length 의존성을 얻는다. 이어서 uBLO에서 static regret과 dynamic regret 모두에 대한 최초의 high-probability 보장을 개발한다. 마지막으로 static regret에 대한 lower bound를 논의하고, unit Euclidean ball 위의 adversarial linear bandit에 대해 folklore $\\Omega(\\sqrt{dT})$ rate를 증명한다. 이는 그 자체로도 독립적인 흥미를 지닌다."},{"id":"66297","en":"Contextual Slate GLM Bandits with Limited Adaptivity","ko":"제한된 적응성을 갖는 Contextual Slate GLM Bandit","authors":"Tanmay Goyal, Sukruta Midigeshi, Gaurav Sinha","pos":"#4401","link":"https://openreview.net/forum?id=4yLiQ3vcC9","abs":"We investigate the contextual slate bandit problem with generalized linear rewards under limited adaptivity. At each round, the learner is presented with $N$ sets of items and constructs a slate by selecting one item per set; the resulting slate yields a scalar reward sampled from a Generalized Linear Model (GLM). We propose algorithms under two limited-adaptivity paradigms: (a) batched and (b) rarely-switching settings. For the batched setting, we introduce B-SlateGLinCB, which partitions the time horizon into $O(\\log\\log T)$ batches such that each batch's policy relies only on data from previous batches. For the rarely-switching setting, we propose RS-SlateGLinCB, which adaptively performs only $O(d\\log T)$ parameter updates. Under a diversity assumption on the item sequences, we prove that B-SlateGLinCB and RS-SlateGLinCB achieve regret bounds of $O(Nd^{3/2}\\sqrt{T})$ and $O(Nd\\sqrt{T})$, respectively. Notably, both bounds are independent of the non-linearity parameter $\\kappa$ that is typically found to scale the regret of GLM bandit algorithms. Our algorithms are computationally efficient, requiring only $\\text{poly}(N)$ time per round despite $2^{\\Omega(N)}$ possible slates. Simulations show our algorithms outperform existing batched baselines and remain competitive with Slate-GLM-OFU, a fully adaptive state-of-the-art algorithm. Notably, a slightly modified B-SlateGLinCB empirically matches this baseline. Finally, we demonstrate strong performance in a practical in-context example selection task for language models.","absKo":"제한된 adaptivity 하에서 generalized linear reward를 갖는 contextual slate bandit 문제를 연구한다. 각 round에서 learner는 N개의 item set을 제공받고, 각 set에서 하나의 item을 선택하여 slate를 구성한다. 그 결과 생성된 slate는 Generalized Linear Model (GLM)에서 샘플링된 scalar reward를 반환한다. 우리는 두 가지 limited-adaptivity 패러다임, 즉 (a) batched setting과 (b) rarely-switching setting에 대한 알고리즘을 제안한다. batched setting에서는 시간 지평을 O(\\log\\log T)개의 batch로 분할하고, 각 batch의 policy가 이전 batch의 데이터에만 의존하도록 하는 B-SlateGLinCB를 도입한다. rarely-switching setting에서는 적응적으로 O(d\\log T)번만 parameter update를 수행하는 RS-SlateGLinCB를 제안한다. item sequence에 대한 다양성 가정 하에서, B-SlateGLinCB와 RS-SlateGLinCB가 각각 O(Nd^{3/2}\\sqrt{T})와 O(Nd\\sqrt{T})의 regret bound를 달성함을 증명한다. 특히 두 bound 모두 GLM bandit 알고리즘의 regret을 보통 스케일링하는 비선형성 파라미터 \\kappa와 무관하다. 우리의 알고리즘은 계산적으로 효율적이며, 2^{\\Omega(N)}개의 가능한 slate가 있음에도 round당 \\text{poly}(N) 시간만을 요구한다. 시뮬레이션은 우리의 알고리즘이 기존 batched baseline보다 우수하고, 완전 적응형 state-of-the-art 알고리즘인 Slate-GLM-OFU와도 경쟁력이 있음을 보인다. 특히 약간 수정한 B-SlateGLinCB는 실험적으로 이 baseline과 맞먹는 성능을 보인다. 마지막으로, 우리는 language model을 위한 실용적인 in-context example selection task에서 강한 성능을 입증한다."},{"id":"66101","en":"Decentralized Bandits without Global Clock for Dynamic Matching Market","ko":"동적 매칭 시장을 위한 전역 시계 없는 탈중앙화 밴딧","authors":"Mengtong Gao, Zhenhe Zhang, Jichen Li, Xia Xuanzhi, Wentao Zhou, Jing Chen","pos":"#4402","link":"https://openreview.net/forum?id=72zu9hLaDG","abs":"Two-sided matching markets are pervasive in numerous real-world applications, ranging from labor markets to online advertising. Recently, a rich line of research has studied the matching bandit problem, where participants learn their preferences through iterative interactions. However, existing works assume a static environment with fixed participants and require synchronized learning, in which all participants start simultaneously and have access to a global clock. In reality, matching markets are inherently dynamic: participants may enter and leave at arbitrary time steps without any global signal, leading to an uncoordinated scenario that render existing algorithms inapplicable. To address this challenge, we first investigate the one-sided learning setting under uncoordinated player arrivals, where only players need to learn their preferences. We propose the Way-SE algorithm, which achieves an $O(\\frac{K^2 \\log T}{\\Delta_{\\min}^2})$ regret through a distributed exploration mechanism that enables participants to implicitly coordinate exploration phases using only local clocks, without global synchronization. More importantly, we extend to the fully decentralized, dynamic two-sided learning setting where both sides need to learn their preferences and players may arrive or depart arbitrarily. We introduce Way-SE-2S, the first algorithm to achieve a sublinear regret $O(T^{\\frac{K-1}{K}} \\log T)$ in this challenging environment, without requiring global signals, restrictive preference structures, or observability of competing agents' outcomes. Our work provides the first theoretical guarantee for stable matching in fully decentralized and uncoordinated bandit markets.","absKo":"두 측면 매칭(two-sided matching) 시장은 노동 시장에서 온라인 광고에 이르기까지 수많은 실제 응용 전반에 널리 존재한다. 최근 활발한 연구 흐름은 참가자들이 반복적인 상호작용을 통해 자신의 선호를 학습하는 matching bandit 문제를 다루어 왔다. 그러나 기존 연구는 고정된 참가자를 갖는 정적 환경과, 모든 참가자가 동시에 시작하고 global clock에 접근할 수 있는 synchronized learning을 가정한다. 현실의 matching market은 본질적으로 동적이어서, 참가자가 global signal 없이 임의의 시점에 들어오거나 나갈 수 있으며, 이로 인해 기존 알고리즘을 적용할 수 없는 uncoordinated scenario가 발생한다. 이를 해결하기 위해, 우리는 먼저 플레이어만 자신의 선호를 학습하면 되는 uncoordinated player arrival 하의 one-sided learning 설정을 조사한다. 우리는 Way-SE 알고리즘을 제안하며, 이는 global synchronization 없이 local clock만을 사용해 참가자들이 탐색 단계를 암묵적으로 조정할 수 있게 하는 distributed exploration 메커니즘을 통해 $O(\\frac{K^2 \\log T}{\\Delta_{\\min}^2})$ regret를 달성한다. 더 중요한 점은, 양측 모두 자신의 선호를 학습해야 하고 플레이어가 임의로 도착하거나 이탈할 수 있는 완전 분산적이고 동적인 two-sided learning 설정으로 확장한다는 것이다. 우리는 Way-SE-2S를 소개하는데, 이는 global signal, 제한적인 preference structure, 경쟁 에이전트의 결과에 대한 관측 가능성을 요구하지 않으면서 이 까다로운 환경에서 sublinear regret $O(T^{\\frac{K-1}{K}} \\log T)$를 달성하는 최초의 알고리즘이다. 우리의 연구는 완전 분산적이고 uncoordinated한 bandit market에서 stable matching에 대한 첫 이론적 보장을 제공한다."},{"id":"62799","en":"Decentralized Online Convex Optimization with Efficient Communication: Improved Algorithm and Lower Bounds","ko":"효율적 통신을 갖춘 분산형 Online Convex Optimization: 개선된 알고리즘과 하한","authors":"Sifan Yang, Wenhao Yang, Wei Jiang, Lijun Zhang","pos":"#4403","link":"https://openreview.net/forum?id=d9JlreUNVY","abs":"We investigate decentralized online convex optimization with compressed communication, where $n$ learners connected by a network collaboratively minimize a sequence of global loss functions using only local information and compressed data from neighbors. Prior work has established regret bounds of $O(\\max\\\\{\\omega^{-2}\\rho^{-4}n^{1/2},\\omega^{-4}\\rho^{-8}\\\\}n\\sqrt{T})$ and $O(\\max\\\\{\\omega^{-2}\\rho^{-4}n^{1/2},\\omega^{-4}\\rho^{-8}\\\\}n\\ln{T})$ for convex and strongly convex functions, respectively, where $\\omega\\in(0,1]$ is the compression quality factor and $\\rho<1$ is the spectral gap of the communication matrix. However, these regret bounds suffer from a prohibitively high quadratic or even quartic dependence on $\\omega^{-1}$. Moreover, the super-linear dependence on $n$ is also undesirable. To overcome these shortcomings, we propose a novel algorithm that achieves improved regret bounds of $\\tilde{O}(\\omega^{-1/2}\\rho^{-1}n\\sqrt{T})$ and $\\tilde{O}(\\omega^{-1}\\rho^{-2}n\\ln{T})$ for convex and strongly convex functions, respectively. The primary idea is to design a two-level blocking update framework incorporating two novel ingredients: an online gossip strategy and an error compensation scheme, which work together to promote a better consensus among learners. Furthermore, we establish the first lower bounds for this problem, justifying the optimality of our results with respect to both $\\omega$ and $T$. Additionally, we consider the bandit feedback scenario and extend our method with the classical gradient estimators to enhance existing regret bounds.","absKo":"우리는 압축된 communication을 사용하는 decentralized online convex optimization을 연구한다. 여기서 네트워크로 연결된 $n$개의 learner는 local information과 이웃으로부터의 compressed data만을 사용해 global loss function의 sequence를 공동으로 최소화한다. 선행 연구는 convex 함수와 strongly convex 함수에 대해 각각 $O(\\max\\{\\omega^{-2}\\rho^{-4}n^{1/2},\\omega^{-4}\\rho^{-8}\\}n\\sqrt{T})$ 및 $O(\\max\\{\\omega^{-2}\\rho^{-4}n^{1/2},\\omega^{-4}\\rho^{-8}\\}n\\ln{T})$의 regret bound를 제시했는데, 여기서 $\\omega\\in(0,1]$는 compression quality factor이고 $\\rho<1$은 communication matrix의 spectral gap이다. 그러나 이러한 regret bound는 $\\omega^{-1}$에 대해 지나치게 높은 quadratic 또는 quartic 의존성을 보인다. 또한 $n$에 대한 super-linear 의존성 역시 바람직하지 않다. 이러한 한계를 극복하기 위해, 우리는 convex 함수와 strongly convex 함수에 대해 각각 $~tilde{O}(\\omega^{-1/2}\\rho^{-1}n\\sqrt{T})$ 및 $~tilde{O}(\\omega^{-1}\\rho^{-2}n\\ln{T})$의 향상된 regret bound를 달성하는 새로운 알고리즘을 제안한다. 핵심 아이디어는 online gossip strategy와 error compensation scheme이라는 두 가지 새로운 요소를 결합한 two-level blocking update framework를 설계하여 learner 간 더 나은 consensus를 촉진하는 것이다. 더 나아가, 우리는 이 문제에 대한 최초의 lower bound를 확립하여 $\\omega$와 $T$ 모두에 대한 우리 결과의 optimality를 정당화한다. 추가로 bandit feedback 시나리오를 고려하고, 기존 regret bound를 향상시키기 위해 고전적인 gradient estimator로 우리 방법을 확장한다."},{"id":"62883","en":"Dynamic Regret via Discounted-to-Dynamic Reduction with Applications to Curved Losses and Adam Optimizer","ko":"할인형(dynamic-to-discounted) 감소를 통한 Dynamic Regret: 곡률 손실과 Adam Optimizer 적용","authors":"Yan-Feng Xie, Yu-Jie Zhang, Peng Zhao, Zhi-Hua Zhou","pos":"#4404","link":"https://openreview.net/forum?id=cGOX9bOWnj","abs":"We study dynamic regret minimization in non-stationary online learning, with a primary focus on follow-the-regularized-leader (FTRL) methods. FTRL is important for curved losses and for understanding adaptive algorithms, yet existing dynamic regret analyses are less explored for FTRL. To address this, we build on the discounted-to-dynamic reduction and present a modular way to obtain dynamic regret bounds. The reduction simplifies prior proofs for online linear regression, recovers optimal rates, and provides new guarantees for online logistic regression, covering two representative curved losses. Beyond online convex optimization, we apply the reduction to analyze the Adam optimizers, obtaining optimal convergence rates in stochastic, non-convex, and non-smooth settings. The reduction also enables a more detailed treatment of Adam with two discount parameters $(\\beta_1,\\beta_2)$, leading to new results for both clipped and clip-free variants.","absKo":"우리는 비정상(non-stationary) online learning에서 dynamic regret minimization을 연구하며, 그중에서도 follow-the-regularized-leader (FTRL) 방법에 주로 초점을 맞춘다. FTRL은 curved loss에서 중요하고 adaptive algorithm을 이해하는 데도 핵심적이지만, 기존 dynamic regret 분석은 FTRL에 대해서는 덜 탐구되어 있다. 이를 해결하기 위해 우리는 discounted-to-dynamic reduction을 기반으로 하여 dynamic regret bound를 얻는 모듈식 방법을 제시한다. 이 reduction은 online linear regression에 대한 기존 증명을 단순화하고, 최적의 rate를 복원하며, 온라인 logistic regression에 대한 새로운 보장을 제공하여 두 가지 대표적인 curved loss를 포괄한다. online convex optimization을 넘어서, 우리는 이 reduction을 Adam optimizer 분석에 적용하여 stochastic, non-convex, non-smooth 설정에서 최적의 convergence rate를 얻는다. 또한 이 reduction은 두 개의 discount parameter $(\\beta_1,\\beta_2)$를 갖는 Adam에 대한 더 세밀한 분석을 가능하게 하며, 그 결과 clipped 버전과 clip-free 버전 모두에 대해 새로운 결과를 이끌어 낸다."},{"id":"62494","en":"Finite and Corruption-Robust Regret Bounds in Online Inverse Linear Optimization under M-Convex Action Sets","ko":"M-Convex Action Set 하에서 온라인 Inverse Linear Optimization의 유한·오염 강인 재기회 손실 경계","authors":"Taihei Oki, Shinsaku Sakaue","pos":"#4405","link":"https://openreview.net/forum?id=g7LE4mukGq","abs":"We study online inverse linear optimization, also known as contextual recommendation, where a *learner* sequentially infers an *agent*’s hidden objective vector from observed optimal actions over feasible sets that change over time. The learner aims to recommend actions that perform well under the agent’s true objective, and the performance is measured by the *regret*, defined as the cumulative gap between the agent’s optimal values and those achieved by the learner's recommended actions. Prior work has established a regret bound of $O(d\\log T)$, as well as a finite but exponentially large bound of $\\exp(O(d\\log d))$, where $d$ is the dimension of the optimization problem and $T$ is the time horizon, while a regret lower bound of $\\Omega(d)$ is known (Gollapudi et al. 2021; Sakaue et al. 2025). Whether a finite regret bound polynomial in $d$ is achievable or not has remained an open question. We partially resolve this by showing that when the feasible sets are *M-convex*—a broad class that includes matroids—a finite regret bound of $O(d\\log d)$ is possible. We achieve this by combining a structural characterization of optimal solutions on M-convex sets with a geometric volume argument. Moreover, we extend our approach to adversarially corrupted feedback in up to $C$ rounds. We obtain a regret bound of $O((C+1)d\\log d)$ without prior knowledge of $C$, by monitoring directed graphs induced by the observed feedback to detect corruptions adaptively.","absKo":"우리는 online inverse linear optimization, 즉 contextual recommendation을 연구한다. 여기서 *learner*는 시간이 지남에 따라 변하는 feasible set에서 관측된 optimal action을 바탕으로 *agent*의 숨겨진 objective vector를 순차적으로 추론한다. learner의 목표는 agent의 true objective 하에서 잘 수행되는 action을 추천하는 것이며, 성능은 *regret*으로 측정된다. regret은 agent의 optimal value와 learner가 추천한 action이 달성한 value 사이의 누적 차이로 정의된다. 선행 연구는 regret bound $O(d\\log T)$와 함께, finite하지만 지수적으로 큰 bound $\\exp(O(d\\log d))$를 제시했으며, 여기서 $d$는 최적화 문제의 차원, $T$는 시간 구간이다. 또한 regret lower bound $\\Omega(d)$가 알려져 있다(Gollapudi et al. 2021; Sakaue et al. 2025). regret에 대한 finite polynomial bound가 가능한지는 여전히 열린 문제로 남아 있었다. 우리는 feasible set이 *M-convex*일 때, 즉 matroid를 포함하는 넓은 class에 대해 finite regret bound $O(d\\log d)$가 가능함을 보이며 이 문제를 부분적으로 해결한다. 이를 위해 M-convex set에서의 optimal solution에 대한 구조적 특성화와 geometric volume argument를 결합한다. 더 나아가 최대 $C$회의 adversarially corrupted feedback에 대해서도 접근법을 확장한다. 관측된 feedback으로 유도된 directed graph를 모니터링하여 corruption을 적응적으로 탐지함으로써, $C$에 대한 사전 지식 없이 regret bound $O((C+1)d\\log d)$를 얻는다."},{"id":"66239","en":"Improved Algorithms for Nash Welfare in Linear Bandits","ko":"Linear Bandit에서 Nash 후생을 위한 개선된 알고리즘","authors":"Dhruv Sarkar, Nishant Pandey, Sayak Ray Chowdhury","pos":"#4406","link":"https://openreview.net/forum?id=5WVIbxWqwA","abs":"Nash regret has recently emerged as a principled fairness-aware performance metric for stochastic multi-armed bandits, motivated by the Nash Social Welfare objective. Although this notion has been extended to linear bandits, existing results suffer from suboptimality in ambient dimension $d$, stemming from proof techniques that rely on restrictive concentration inequalities. In this work, we resolve this open problem by introducing new analytical tools that yield an order-optimal Nash regret bound in linear bandits. Beyond Nash regret, we initiate the study of $p$-means regret in linear bandits, a unifying framework that interpolates between fairness and utility objectives and strictly generalizes Nash regret. We propose a generic algorithmic framework, FairLinBandit, that works as a meta-algorithm on top of any linear bandit strategy. We instantiate this framework using two bandit algorithms: Phased Elimination and Upper Confidence Bound, and prove that both achieve sublinear $p$-means regret for the entire range of $p$. Extensive experiments on linear bandit instances generated from real-world datasets demonstrate that our methods consistently outperform the existing state-of-the-art baseline.","absKo":"Nash regret는 최근 Nash Social Welfare objective에서 동기를 얻은 stochastic multi-armed bandit을 위한 공정성 인지 성능 지표로 부상했다. 이 개념은 linear bandit으로 확장되었지만, 기존 결과는 제한적인 concentration inequality에 의존하는 증명 기법 때문에 ambient dimension $d$에 대해 최적 이하의 성능을 보인다. 본 연구에서는 새로운 분석 도구를 도입하여 linear bandit에서 order-optimal Nash regret bound를 도출함으로써 이 열린 문제를 해결한다. Nash regret를 넘어, 우리는 linear bandit에서의 $p$-means regret 연구를 시작한다. 이는 공정성과 효용 목표를 보간하고 Nash regret를 엄밀히 일반화하는 통합 framework이다. 우리는 어떤 linear bandit strategy 위에도 적용 가능한 메타알고리즘 형태의 일반적인 알고리즘 framework인 FairLinBandit을 제안한다. 이를 Phased Elimination과 Upper Confidence Bound라는 두 가지 bandit algorithm으로 구체화하고, 두 방법 모두 $p$의 전체 범위에 대해 sublinear $p$-means regret를 달성함을 증명한다. 실제 dataset에서 생성한 linear bandit instance에 대한 광범위한 실험은 우리의 방법이 기존 state-of-the-art baseline을 일관되게 능가함을 보여준다."},{"id":"63388","en":"Near-Optimal Regret for KL-Regularized Multi-Armed Bandits","ko":"KL 정규화 다중 팔 밴딧을 위한 준최적 후회","authors":"Kaixuan Ji, Qingyue Zhao, Heyang Zhao, Qiwei Di, Quanquan Gu","pos":"#4407","link":"https://openreview.net/forum?id=XarOZG8Un0","abs":"Recent studies have shown that reinforcement learning with KL-regularized objectives can enjoy *faster* rates of convergence or *logarithmic* regret, in contrast to the classical $\\sqrt{T}$-type regret in the unregularized setting. However, the statistical efficiency of online learning with respect to KL-regularized objectives remains far from completely characterized, even when specialized to multi-armed bandits (MABs). We address this problem for MABs via a sharp analysis of KL-UCB (Zhao et al., 2025b) using a novel peeling argument, which yields a $\\tilde{O}(\\eta K\\log^2T)$ upper bound: the *first* high-probability regret bound with linear dependence on $K$. Here, $T$ is the time horizon, $K$ is the number of arms, $\\eta^{-1}$ is the regularization intensity, and $\\tilde{O}$ hides all logarithmic factors except those involving $\\log T$. The near-tightness of our analysis is certified by the *first* non-constant lower bound $\\Omega(\\eta K \\log T)$, which follows from subtle hard-instance constructions and a tailored decomposition of the Bayes prior. Moreover, in the low-regularization regime (i.e., *large* $\\eta$), we show that the KL-regularized regret for MABs is $\\eta$-independent and scales as $\\tilde{\\Theta}(\\sqrt{KT})$. Overall, our results provide a thorough understanding of KL-regularized MABs across all regimes of $\\eta$ and yield nearly optimal bounds in terms of $K$, $\\eta$, and $T$.","absKo":"최근 연구는 KL-regularized objective를 사용하는 reinforcement learning이 비정규화된 설정의 고전적인 $\\sqrt{T}$형 regret와 달리, 더 빠른 수렴률 또는 로그 수준의 regret를 보일 수 있음을 보여주었다. 그러나 KL-regularized objective에 대한 online learning의 statistical efficiency는, multi-armed bandit(MAB)으로 특화하더라도 아직 완전히 규명되지 않았다. 우리는 새로운 peeling argument를 사용한 KL-UCB(Zhao et al., 2025b)의 정밀한 분석을 통해 MAB에 대한 이 문제를 다루며, $\\tilde{O}(\\eta K\\log^2T)$ 상한을 도출한다. 이는 $K$에 선형적으로 의존하는 *첫 번째* high-probability regret bound이다. 여기서 $T$는 time horizon, $K$는 arm의 개수, $\\eta^{-1}$는 regularization intensity이며, $\\tilde{O}$는 $\\log T$를 포함한 항을 제외한 모든 logarithmic factor를 숨긴다. 우리의 분석이 거의 타이트함은 미묘한 hard-instance 구성과 Bayes prior의 맞춤형 분해로부터 얻어지는 *첫 번째* 비상수 하한 $\\Omega(\\eta K \\log T)$로 입증된다. 더 나아가 low-regularization regime, 즉 *큰* $\\eta$에서는 MAB에 대한 KL-regularized regret가 $\\eta$와 무관하며 $\\tilde{\\Theta}(\\sqrt{KT})$로 스케일함을 보인다. 전반적으로 우리의 결과는 모든 $\\eta$ regime에서 KL-regularized MAB를 폭넓게 이해하게 하며, $K$, $\\eta$, $T$ 측면에서 거의 최적의 bound를 제공한다."},{"id":"60902","en":"Neural Logistic Bandits","ko":"뉴럴 로지스틱 밴딧","authors":"Seoungbin Bae, Dabeen Lee","pos":"#4408","link":"https://openreview.net/forum?id=vT5PBMLBvx","abs":"We study the problem of neural logistic bandits, where the main task is to learn an unknown reward function within a logistic link function using a neural network. Existing approaches either exhibit unfavorable dependencies on $\\kappa$, where $1/\\kappa$ represents the minimum variance of reward distributions, or suffer from direct dependence on the feature dimension $d$, which can be huge in neural network–based settings. In this work, we introduce a novel Bernstein-type inequality for self-normalized vector-valued martingales that is designed to bypass a direct dependence on the ambient dimension. This lets us deduce a regret upper bound that grows with the effective dimension $\\widetilde{d}$, not the feature dimension, while keeping a minimal dependence on $\\kappa$. Based on the concentration inequality, we propose two algorithms, NeuralLog-UCB-1 and NeuralLog-UCB-2, that guarantee regret upper bounds of order $\\widetilde{O}(\\widetilde{d}\\sqrt{\\kappa T})$ and $\\widetilde{O}(\\widetilde{d}\\sqrt{T/\\kappa})$, respectively, improving on the existing results. Lastly, we report numerical results on both synthetic and real datasets to validate our theoretical findings.","absKo":"우리는 neural logistic bandit 문제를 연구한다. 이 문제에서 핵심 과제는 neural network를 사용하여 logistic link function 안에 숨겨진 미지의 reward function을 학습하는 것이다. 기존 접근법은 reward distribution의 최소 variance를 $1/\\kappa$로 나타낼 때 $\\kappa$에 대해 바람직하지 않은 의존성을 보이거나, neural network 기반 설정에서 매우 커질 수 있는 feature dimension $d$에 직접적으로 의존하는 문제를 가진다. 본 연구에서는 ambient dimension에 대한 직접적인 의존을 피하도록 설계된 self-normalized vector-valued martingale에 대한 새로운 Bernstein-type inequality를 도입한다. 이를 통해 feature dimension이 아니라 effective dimension $\\widetilde{d}$에 따라 증가하는 regret upper bound를 유도할 수 있으며, 동시에 $\\kappa$에 대한 최소한의 의존성도 유지할 수 있다. 이 concentration inequality를 바탕으로 우리는 NeuralLog-UCB-1과 NeuralLog-UCB-2라는 두 가지 알고리즘을 제안하며, 각각 $\\widetilde{O}(\\widetilde{d}\\sqrt{\\kappa T})$와 $\\widetilde{O}(\\widetilde{d}\\sqrt{T/\\kappa})$ 차수의 regret upper bound를 보장한다. 이는 기존 결과를 개선한다. 마지막으로, 우리의 이론적 결과를 검증하기 위해 synthetic 데이터와 실제 데이터 모두에서 수치 실험 결과를 보고한다."},{"id":"66267","en":"Regret Minimization With a Crowd of Awakening Experts","ko":"각성하는 전문가 집단과 함께하는 Regret 최소화","authors":"Anna Lunghi, Gianmarco Genalti, Alberto Marchesi, Matteo Castiglioni","pos":"#4409","link":"https://openreview.net/forum?id=5FgZu0LMfq","abs":"We study the Awakening Crowd of Experts (ACE) problem, an online learning problem where the set of experts available to the learner grows at each round. ACE is a special case of the well-known sleeping experts problem (Kleinberg et al., 2010), where the number of experts is huge $(K=T)$. Existing results on sleeping experts preclude any learner from achieving a sublinear regret when the number of available experts is linear in $T$. Inspired by real-world applications, such as Q\\&A platforms and social proof marketing, we thus focus on the awakening version of the sleeping experts problem, where a new expert arrives at every round and never leaves. We show that in the stochastic version of ACE, it is possible to obtain regret $\\tilde{\\mathcal{O}}(T^{2/3})$ using an unusual pessimism in the face of the uncertainty principle. Moreover, we characterize the dependence of the regret on the stability of an optimal strategy. For both results, we present matching lower bounds. Surprisingly, the adversarial version of ACE is sensibly harder. In particular, we provide a lower bound precluding sublinear $\\alpha$-regret when the competitive ratio is constant. We provide an algorithm to face this crucial trade-off between competitive ratio and regret, and bound its $\\alpha$-regret, almost matching the aforementioned lower bound. As a corollary, we get a $\\tilde{\\mathcal{O}}(\\log(\\log(T))$ competitive ratio when an optimal strategy enjoys a reward linear in $T$.","absKo":"우리는 Awakening Crowd of Experts (ACE) 문제를 연구한다. 이는 learner가 사용할 수 있는 expert 집합이 매 round마다 증가하는 online learning 문제이다. ACE는 잘 알려진 sleeping experts 문제 (Kleinberg et al., 2010)의 특수한 경우로, expert 수가 매우 큰 경우 $(K=T)$에 해당한다. sleeping experts에 대한 기존 결과는 available expert 수가 $T$에 선형으로 비례할 때 어떤 learner도 sublinear regret를 달성할 수 없음을 시사한다. Q\\&A platform과 social proof marketing 같은 실제 응용에서 영감을 받아, 우리는 매 round마다 새로운 expert가 도착하고 사라지지 않는 sleeping experts 문제의 awakening 버전에 초점을 맞춘다. 우리는 ACE의 stochastic 버전에서 uncertainty principle 앞에서의 이례적인 pessimism을 사용하여 regret $\\tilde{\\mathcal{O}}(T^{2/3})$를 달성할 수 있음을 보인다. 더 나아가, optimal strategy의 stability에 대한 regret의 의존성을 특성화한다. 두 결과 모두에 대해 일치하는 lower bound를 제시한다. 놀랍게도, ACE의 adversarial 버전은 훨씬 더 어렵다. 특히, competitive ratio가 상수일 때 sublinear $\\alpha$-regret를 배제하는 lower bound를 제시한다. 우리는 competitive ratio와 regret 사이의 이 중대한 trade-off에 대응하는 알고리즘을 제안하고, 앞서 언급한 lower bound와 거의 일치하는 $\\alpha$-regret를 상계한다. 그 결과로, optimal strategy가 $T$에 선형인 reward를 얻는 경우 $\\tilde{\\mathcal{O}}(\\log(\\log(T))$ competitive ratio를 얻는다."},{"id":"65563","en":"Tighter Regret Lower Bound for Gaussian Process Bandits with Squared Exponential Kernel in Hypersphere","ko":"초구에서 제곱 지수 커널을 갖는 Gaussian Process Bandit의 더 타이트한 후회 하한","authors":"Shogo Iwazaki","pos":"#4410","link":"https://openreview.net/forum?id=CPB16KCuNk","abs":"We study an algorithm-independent, worst-case lower bound for the Gaussian process (GP) bandit problem in the frequentist setting, where the reward function is fixed and has a bounded norm in the known reproducing kernel Hilbert space (RKHS). Specifically, we focus on the squared exponential (SE) kernel, one of the most widely used kernel functions in GP bandits. One of the remaining open questions for this problem is the gap in the *dimension-dependent* logarithmic factors between upper and lower bounds. This paper partially resolves this open question under a hyperspherical input domain. We show that any algorithm suffers $\\Omega(\\sqrt{T (\\ln T)^{d} (\\ln \\ln T)^{-d}})$ cumulative regret, where $T$ and $d$ represent the total number of steps and the dimension of the hyperspherical domain, respectively. Regarding the simple regret, we show that any algorithm requires $\\Omega(\\epsilon^{-2}(\\ln \\frac{1}{\\epsilon})^d (\\ln \\ln \\frac{1}{\\epsilon})^{-d})$ time steps to find an $\\epsilon$-optimal point. We also provide the improved $O((\\ln T)^{d+1}(\\ln \\ln T)^{-d})$ upper bound on the maximum information gain for the SE kernel. Our results guarantee the optimality of the existing best algorithm up to *dimension-independent* logarithmic factors under a hyperspherical input domain.","absKo":"우리는 frequentist 설정에서 Gaussian process (GP) bandit 문제에 대한 알고리즘-독립적, 최악의 경우 하한을 연구한다. 이때 보상 함수는 고정되어 있으며, 알려진 reproducing kernel Hilbert space (RKHS)에서 bounded norm을 가진다. 구체적으로, 우리는 GP bandits에서 가장 널리 사용되는 kernel function 중 하나인 squared exponential (SE) kernel에 집중한다. 이 문제에 대해 남아 있는 열린 질문 중 하나는 upper bound와 lower bound 사이의 *dimension-dependent* logarithmic factor의 간극이다. 본 논문은 hyperspherical input domain 하에서 이 열린 질문을 부분적으로 해결한다. 우리는 어떤 알고리즘이든 $\\Omega(\\sqrt{T (\\ln T)^{d} (\\ln \\ln T)^{-d}})$의 cumulative regret를 겪는다는 것을 보인다. 여기서 $T$와 $d$는 각각 총 step 수와 hyperspherical domain의 차원을 나타낸다. simple regret에 대해서는, 어떤 알고리즘이든 $\\epsilon$-optimal point를 찾기 위해 $\\Omega(\\epsilon^{-2}(\\ln \\frac{1}{\\epsilon})^d (\\ln \\ln \\frac{1}{\\epsilon})^{-d})$개의 time step이 필요함을 보인다. 또한 우리는 SE kernel에 대한 maximum information gain의 개선된 $O((\\ln T)^{d+1}(\\ln \\ln T)^{-d})$ upper bound를 제시한다. 우리의 결과는 hyperspherical input domain 하에서 *dimension-independent* logarithmic factor를 제외하면 기존의 최선 알고리즘이 최적임을 보장한다."},{"id":"65358","en":"Bandit Social Leaning Dynamics with Exploration Episodes","ko":"탐험 에피소드를 포함한 Bandit 사회적 학습 동역학","authors":"Kiarash Banihashem, Natalie Collina, Alex Slivkins","pos":"#4500","link":"https://openreview.net/forum?id=EOzLsLk6Nd","abs":"We study a stylized social learning dynamics where self-interested agents collectively follow a simple multi-armed bandit protocol. Each agent controls an \"episode\": a short sequence of consecutive decisions. Motivating applications include users repeatedly interacting with an AI, or repeatedly shopping at a marketplace. While agents are incentivized to explore within their respective episodes, we show that the aggregate exploration fails: e.g., its Bayesian regret grows linearly over time. In fact, such failure is a (very) typical case, not just a worst-case scenario. This conclusion persists even if an agent's per-episode utility is some fixed function of the per-round outcomes: e.g., $\\min$ or $\\max$, not just the sum. Thus, externally driven exploration is needed even when some amount of exploration happens organically.","absKo":"우리는 이기적인 agent들이 단순한 multi-armed bandit protocol을 집단적으로 따르는, 양식화된 social learning dynamics를 연구한다. 각 agent는 하나의 \"episode\"를 통제하는데, 이는 연속된 결정들로 이루어진 짧은 sequence이다. 동기를 부여하는 응용으로는 사용자가 AI와 반복적으로 상호작용하는 경우나 시장에서 반복적으로 쇼핑하는 경우가 포함된다. agent들은 각자의 episode 내에서 탐색하도록 유인되지만, 우리는 집합적 탐색이 실패함을 보인다. 예를 들어 Bayesian regret가 시간에 따라 선형적으로 증가한다. 실제로 이러한 실패는 최악의 경우만이 아니라 (매우) 전형적인 경우이다. 이 결론은 agent의 per-episode utility가 각 round outcome의 합이 아니라, 예를 들어 $\\min$ 또는 $\\max$ 같은 고정된 함수일 때에도 유지된다. 따라서 어떤 정도의 탐색이 자연스럽게 일어나더라도 외부에서 주도하는 탐색이 여전히 필요하다."},{"id":"64981","en":"Adaptive Bandit Algorithms for Contextual Matching Markets","ko":"Contextual Matching Market을 위한 적응적 Bandit 알고리즘","authors":"Shiyun Lin, Simon Mauras, Vianney Perchet, Nadav Merlis","pos":"#4501","link":"https://openreview.net/forum?id=I9cWQO0BP7","abs":"We study bandit learning in matching markets, where players and arms constitute the two market sides, and the players' utilities are linear in the arm contexts. In each round, new arms arrive with observable contexts. Then, the algorithm matches them to players, aiming to minimize each player's regret against a stable matching benchmark. This contextual structure creates significant complexity: subtle context shifts can slightly alter one player's utility while completely reconfiguring the underlying benchmark, causing large regret spikes for others. We address this in two settings: stochastic contexts, drawn from a latent distribution, and adversarial contexts, which may be arbitrary. In the stochastic setting, we introduce a novel minimum preference gap to characterize learning difficulty; in the adversarial setting, we propose a tractable regret notion that remains valid under arbitrary contexts. We develop fully adaptive algorithms for both settings, establishing instance-dependent poly-logarithmic regret upper bounds. In the stochastic case, we also prove matching instance-independent regret upper and lower bounds under a mild assumption on the context distribution.
","absKo":"우리는 matching market에서의 bandit learning을 연구한다. 여기서 player와 arm은 시장의 양측을 구성하며, player의 utility는 arm context에 대해 linear하다. 각 round마다 새로운 arm이 observable context와 함께 도착한다. 그러면 algorithm은 이를 player와 matching하여, 각 player의 regret을 stable matching benchmark에 대해 최소화하는 것을 목표로 한다. 이 contextual structure는 상당한 복잡성을 야기한다. 미묘한 context 변화가 한 player의 utility만 약간 바꿀 수도 있지만, underlying benchmark를 완전히 재구성하여 다른 player들에게는 큰 regret spike를 초래할 수 있다. 우리는 이를 두 setting에서 다룬다. 하나는 latent distribution에서 샘플링되는 stochastic context, 다른 하나는 임의적일 수 있는 adversarial context이다. stochastic setting에서는 학습 난이도를 특징짓기 위해 novel minimum preference gap을 도입하고, adversarial setting에서는 임의의 context 아래에서도 유효한 tractable regret notion을 제안한다. 우리는 두 setting 모두에 대해 fully adaptive algorithm을 개발하여, instance-dependent poly-logarithmic regret upper bound를 확립한다. stochastic case에서는 context distribution에 대한 mild assumption 아래 instance-independent regret의 upper/lower bound도 서로 맞는 형태로 증명한다.
"},{"id":"64632","en":"Incentivized Exploration with Stochastic Covariates: A Two-Stage Mechanism Design for Recommender System","ko":"확률적 공변량을 활용한 유인된 탐색: 추천 시스템을 위한 Two-Stage 메커니즘 설계","authors":"Yuantong Li, Guang Cheng, Xiaowu Dai","pos":"#4509","link":"https://openreview.net/forum?id=LTHHiPNbrs","abs":"Recommender systems play a crucial role in internet economies by connecting users with relevant products. However, designing effective recommender systems faces the key challenges: the \\textit{exploration-exploitation} tradeoff in securing \\textit{incentive} to explore new products against user's self-interested preferences. While prior work addresses Bayesian Incentive Compatibility (BIC) in fixed-design linear bandits \\cite{sellke2023price}, we tackle the challenge of stochastic user covariates sampled online. Unlike standard black-box reductions \\citep{mansour2020bayesian}, our two-stage framework exploits the linear reward structure to achieve sublinear regret while satisfying incentive constraints. To address it, we propose a two-stage algorithm that integrates incentivized exploration with \\textit{any efficient plug-in offline learning algorithms}. In the first stage, it explores products while maintaining incentive compatibility to gather optimal samples. The second stage employs \\textit{inverse proportional gap sampling strategy} integrated with any efficient learning methods to secure sublinear regret. Theoretically, we prove that algorithm \\recon{} achieves $\\tilde{O}(\\sqrt{KdT})$ regret and simultaneously satisfies incentive constraints, and discovers the tradeoff between incentive budget and regret, validating in experiments. We demonstrate RCB's strong incentive gain, sublinear regret, and robustness through a real application on personalized warfarin dosing and simulations. To the best of our knowledge, this is the first analysis for BIC in online preference learning settings.","absKo":"추천 시스템은 사용자를 관련 상품과 연결함으로써 인터넷 경제에서 중요한 역할을 한다. 그러나 효과적인 추천 시스템을 설계하는 데는 새 상품을 탐색하기 위한 \\textit{exploration-exploitation} tradeoff와, 사용자의 자기이익적 선호에 맞서 탐색할 \\textit{incentive}를 확보해야 한다는 핵심 과제가 있다. 기존 연구는 고정 설계 linear bandit에서 Bayesian Incentive Compatibility (BIC)를 다루었지만 \\cite{sellke2023price}, 우리는 온라인으로 샘플링되는 stochastic user covariates라는 문제를 다룬다. 표준 black-box reduction \\citep{mansour2020bayesian}과 달리, 우리의 two-stage framework는 incentive constraints를 만족하면서 sublinear regret를 달성하기 위해 linear reward structure를 활용한다. 이를 위해 우리는 incentivized exploration과 \\textit{any efficient plug-in offline learning algorithms}를 통합한 two-stage algorithm을 제안한다. 첫 번째 단계에서는 incentive compatibility를 유지한 채 상품을 탐색하여 최적의 sample을 수집한다. 두 번째 단계에서는 \\textit{inverse proportional gap sampling strategy}를 어떤 효율적인 learning method와도 통합하여 sublinear regret를 확보한다. 이론적으로 우리는 algorithm \\recon{}이 $\\tilde{O}(\\sqrt{KdT})$ regret를 달성하는 동시에 incentive constraints를 만족함을 증명하고, incentive budget과 regret 사이의 tradeoff를 발견하여 실험으로 검증한다. 우리는 개인화된 warfarin dosing의 실제 응용과 시뮬레이션을 통해 RCB의 강한 incentive gain, sublinear regret, 그리고 견고성을 보인다. 우리가 아는 한, 이것은 online preference learning setting에서 BIC에 대한 최초의 분석이다."},{"id":"63637","en":"Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models","ko":"Ising 모델을 통한 LLM-as-a-Judge의 의존성 인지 라벨 집계","authors":"Krishna Balasubramanian, Aleksandr Podkopaev, Shiva Kasiviswanathan","pos":"#2204","link":"https://openreview.net/forum?id=VCU3hGm0O6","abs":"Large-scale AI evaluation increasingly relies on aggregating binary judgments from $K$ annotators, including LLMs used as judges. Most classical methods, e.g., Dawid-Skene or (weighted) majority voting, assume annotators are conditionally independent given the true label $Y\\in\\\\{0,1\\\\}$, an assumption often violated by LLM judges due to shared data, architectures, prompts, and failure modes. Ignoring such dependencies can yield miscalibrated posteriors and even confidently incorrect predictions. We study label aggregation through a hierarchy of dependence-aware models based on Ising graphical models and latent factors. For class-dependent Ising models, the Bayes log-odds is generally quadratic in votes; for class-independent couplings, it reduces to a linear weighted vote with correlation-adjusted parameters. We present finite-$K$ examples showing that methods based on conditional independence can flip the Bayes label despite matching per-annotator marginals. We prove separation results demonstrating that these methods remain strictly suboptimal as the number of judges grows, incurring nonvanishing excess risk under latent factors. Finally, we evaluate the proposed method on three real-world datasets, demonstrating improved performance over the classical baselines.","absKo":"대규모 AI 평가는 점점 더 judge로 사용되는 LLM을 포함하여 $K$명의 annotator로부터의 binary judgment를 집계하는 데 의존한다. Dawid-Skene이나 (weighted) majority voting 같은 대부분의 고전적 방법은 annotator가 true label $Y\\in\\\\{0,1\\\\}$이 주어졌을 때 조건부 독립이라고 가정하는데, 이 가정은 공유된 데이터, 아키텍처, prompt, failure mode 때문에 LLM judge에서는 종종 위배된다. 이러한 의존성을 무시하면 posterior가 잘 보정되지 않거나, 심지어 확신에 찬 잘못된 예측이 나올 수 있다. 우리는 Ising graphical model과 latent factor에 기반한 dependence-aware model의 계층 구조를 통해 label aggregation을 연구한다. class-dependent Ising model의 경우, Bayes log-odds는 일반적으로 vote에 대해 이차식이 되며; class-independent coupling의 경우에는 상관관계를 보정한 parameter를 갖는 선형 weighted vote로 환원된다. 우리는 conditional independence에 기반한 방법이 annotator별 marginal은 맞추더라도 Bayes label을 뒤집을 수 있음을 보이는 finite-$K$ 예시를 제시한다. 또한 이러한 방법이 judge 수가 증가해도 여전히 엄격하게 suboptimal하며, latent factor 하에서 소멸하지 않는 excess risk를 초래함을 보이는 separation result를 증명한다. 마지막으로, 세 개의 실제 데이터셋에서 제안 방법을 평가하여 고전적 baseline보다 향상된 성능을 보인다."},{"id":"61920","en":"WildCat: Near-Linear Attention in Theory and Practice","ko":"WildCat: 이론과 실제의 근선형 Attention","authors":"Tobias Schröder, Lester Mackey","pos":"#2714","link":"https://openreview.net/forum?id=lfqyLp4hZm","abs":"We introduce WildCat, a high-accuracy, low-cost approach to compressing the attention mechanism in neural networks. While attention is a staple of modern network architectures, it is also notoriously expensive to deploy due to resource requirements that scale quadratically with the input sequence length $n$. WildCat avoids these quadratic costs by only attending over a small weighted coreset. Crucially, we select the coreset using a fast but spectrally-accurate subsampling algorithm -- randomly pivoted Cholesky -- and weight the elements optimally to minimise reconstruction error. Remarkably, given bounded inputs, WildCat approximates exact attention with super-polynomial $O(n^{-\\sqrt{\\log(\\log(n))}})$ error decay while running in near-linear $O(n^{1+o(1)})$ time. In contrast, prior practical approximations either lack error guarantees or require quadratic runtime to guarantee such high fidelity. We couple this advance with a GPU-optimized PyTorch implementation and a suite of benchmark experiments demonstrating the benefits of WildCat for image generation, image classification, and language model KV cache compression.","absKo":"We introduce WildCat, a neural network의 attention mechanism을 고정밀, 저비용으로 압축하는 접근법이다. attention은 현대 network architecture의 핵심이지만, input sequence length $n$에 대해 quadratic하게 증가하는 resource requirement 때문에 배포 비용이 매우 크다. WildCat은 소수의 weighted coreset에 대해서만 attention을 수행함으로써 이러한 quadratic cost를 피한다. 핵심적으로, 우리는 빠르지만 spectral하게 정확한 subsampling algorithm인 randomly pivoted Cholesky를 사용해 coreset을 선택하고, reconstruction error를 최소화하도록 element들에 최적으로 weight를 부여한다. 놀랍게도, bounded input에 대해 WildCat은 exact attention을 근사하면서 super-polynomial한 $O(n^{-\\sqrt{\\log(\\log(n))}})$ 수준의 error decay를 보이고, 동시에 거의 선형인 $O(n^{1+o(1)})$ 시간에 동작한다. 이에 비해 기존의 실용적 근사 방법들은 error guarantee가 없거나, 그렇게 높은 fidelity를 보장하기 위해 quadratic runtime을 필요로 한다. 우리는 여기에 GPU 최적화된 PyTorch implementation과, image generation, image classification, language model KV cache compression에서 WildCat의 이점을 보여주는 다양한 benchmark experiment를 결합한다."},{"id":"60874","en":"GAAVI: Global Asymptotic Anytime Valid Inference for the Conditional Mean Function","ko":"GAAVI: Conditional Mean Function을 위한 Global Asymptotic Anytime Valid Inference","authors":"Brian Cho, Raaz Dwivedi, Nathan Kallus","pos":"#306","link":"https://openreview.net/forum?id=vmMAa2HGP9","abs":"Inference on the conditional mean function (CMF) is central to tasks from adaptive experimentation to optimal treatment assignment and algorithmic fairness auditing. In this work, we provide a novel asymptotic anytime-valid test for a CMF global null (e.g., that all conditional means are zero) and contrasts between CMFs, enabling experimenters to make high confidence decisions at \\textit{any} time during the experiment beyond a minimum sample size. We provide mild conditions under which our tests achieve (i) asymptotic type-I error guarantees, (i) power one, and, unlike past tests, (iii) optimal sample complexity relative to a Gaussian location testing. By inverting our tests, we show how to construct function-valued asymptotic confidence sequences for the CMF and contrasts thereof. Experiments on both synthetic and real-world data show our method is well-powered across various distributions while preserving the nominal error rate under continuous monitoring.
","absKo":"conditional mean function (CMF)에 대한 추론은 adaptive experimentation부터 optimal treatment assignment와 algorithmic fairness auditing에 이르기까지 다양한 과제의 핵심이다. 이 연구에서는 CMF global null(예: 모든 conditional mean이 0이라는 가설)과 CMF 간 contrast에 대한 새로운 asymptotic anytime-valid test를 제시하여, 실험자가 최소 sample size 이후 \\textit{언제든지} 실험 도중 높은 신뢰도로 결정을 내릴 수 있게 한다. 우리는 완만한 조건 하에서 우리의 test가 (i) asymptotic type-I error 보장, (i) power one, 그리고 기존 test와 달리 (iii) Gaussian location testing에 대한 최적 sample complexity를 달성함을 보인다. 우리의 test를 역으로 적용하여, CMF 및 그 contrast에 대한 function-valued asymptotic confidence sequence를 구성하는 방법도 제시한다. synthetic 데이터와 real-world 데이터 모두에서의 실험 결과는, 우리의 방법이 연속적인 모니터링 하에서도 nominal error rate를 유지하면서 다양한 분포에서 높은 검정력을 보임을 보여준다.
"},{"id":"63812","en":"Simple Unbiased Derivative Free Inference-Time Scaling for Diffusion Models via Sequential Monte Carlo on Path Measures","ko":"경로 측도 위의 순차 몬테카를로를 이용한 diffusion 모델의 단순하고 편향 없는 미분 없는 inference-time scaling","authors":"Chenyang Wang, Weizhong Wang, Yinuo Ren, Jose Blanchet, Yiping Lu","pos":"#3501","link":"https://openreview.net/forum?id=TWTZ2kmojU","abs":"Diffusion-based generative models increasingly rely on inference-time guidance, adding a drift term or reweighting mixture of experts, to improve sample quality on task-specific objectives. However, most existing techniques require repeated score or gradient evaluations, introducing bias, high computational overhead, or both. We introduce \\texttt{URGE}, Unbiased Resampling via Girsanov Estimation, a derivative-free inference-time scaling algorithm that performs path-wise importance reweighting via a Girsanov change of measure. Instead of computing gradient-based particle weights in previous work, \\texttt{URGE} attaches a simple multiplicative weight to each simulated trajectory and periodically resamples. No score, no Hessian, and no PDE evaluation is required. We establish an equivalence between path-wise and particle-wise SMC: the Girsanov path weight admits a backward conditional expectation that recovers the previous particle-level weights, guaranteeing that both schemes produce the same unbiased terminal law. Empirically, \\texttt{URGE} outperforms existing inference-time guidance baselines on synthetic tests and diffusion-model benchmarks, achieving better generation quality, while being significantly simpler to implement and fully gradient-free.
","absKo":"Diffusion 기반 generative model은 task-specific objective에서 sample quality를 높이기 위해 drift term을 추가하거나 mixture of experts를 reweight하는 inference-time guidance에 점점 더 의존하고 있다. 그러나 기존 기법의 대부분은 반복적인 score 또는 gradient evaluation을 요구하여 bias, 높은 계산 오버헤드, 또는 그 둘 모두를 유발한다. 우리는 \\texttt{URGE}, 즉 Unbiased Resampling via Girsanov Estimation을 소개한다. 이는 Girsanov change of measure를 통해 path-wise importance reweighting을 수행하는 derivative-free inference-time scaling 알고리즘이다. 이전 연구에서처럼 gradient 기반 particle weight를 계산하는 대신, \\texttt{URGE}는 각 simulated trajectory에 단순한 multiplicative weight를 부여하고 주기적으로 resampling한다. score, Hessian, PDE evaluation이 전혀 필요하지 않다. 우리는 path-wise SMC와 particle-wise SMC 사이의 동등성을 정립한다. Girsanov path weight는 이전 particle-level weight를 복원하는 backward conditional expectation을 허용하며, 두 방식이 동일한 unbiased terminal law를 생성함을 보장한다. 실험적으로 \\texttt{URGE}는 synthetic test와 diffusion-model benchmark에서 기존 inference-time guidance baseline보다 우수한 성능을 보이며, 더 나은 generation quality를 달성하는 동시에 구현은 훨씬 단순하고 완전히 gradient-free이다.
"},{"id":"66778","en":"Reflective Hamiltonian Monte Carlo: Mixing Analysis and Application to Sampling on Stiefel Manifold","ko":"Reflective Hamiltonian Monte Carlo: Mixing 분석 및 Stiefel 매니폴드 샘플링 응용","authors":"Kwangmin Lee, Yeonhee Park, Sewon Park","pos":"#3502","link":"https://openreview.net/forum?id=0QjwbySLcU","abs":"Sampling from distributions with bounded supports is a fundamental challenge in constrained statistical inference. Reflective Hamiltonian Monte Carlo (ReHMC) provides a useful sampling approach for this setting. However, it relies on convexity assumptions on the support and lacks non-asymptotic theoretical guarantees such as mixing-time bounds. To bridge this gap, we propose a convex-container plus thinning framework that is applicable to arbitrary target densities with bounded support. We establish the first non-asymptotic total-variation mixing-time bounds for ReHMC, achieving a polynomial dimension dependence of $O(d^2)$ for $L$-smooth targets, though with exponential dependence on smoothness parameters. Under an additional $m$-strong convexity assumption, we derive a sharper bound that eliminates this exponential dependence. We further apply this approach to sampling on the Stiefel manifold via a well-conditioned polar reparameterization and demonstrate improved numerical stability and sampling efficiency in simulation studies.","absKo":"bounded support를 가진 distribution에서 sampling하는 것은 constrained statistical inference의 근본적인 과제이다. Reflective Hamiltonian Monte Carlo(ReHMC)는 이러한 설정에서 유용한 sampling 접근법을 제공한다. 그러나 이는 support에 대한 convexity 가정에 의존하며, mixing-time bound와 같은 non-asymptotic 이론적 보장을 갖추지 못한다. 이 격차를 메우기 위해, 우리는 bounded support를 가진 임의의 target density에 적용 가능한 convex-container plus thinning framework를 제안한다. 우리는 ReHMC에 대한 최초의 non-asymptotic total-variation mixing-time bound를 확립하며, $L$-smooth target에 대해 차원 의존성이 $O(d^2)$인 다항식 수준의 bound를 달성하지만 smoothness parameter에 대해서는 exponential dependence를 갖는다. 추가로 $m$-strong convexity 가정을 두면, 이러한 exponential dependence를 제거하는 더 날카로운 bound를 도출한다. 우리는 나아가 well-conditioned polar reparameterization을 통해 이 접근법을 Stiefel manifold 위의 sampling에 적용하고, simulation study에서 향상된 수치적 안정성과 sampling efficiency를 보인다."},{"id":"66411","en":"Dimension-Free Multimodal Sampling via Preconditioned Annealed Langevin Dynamics","ko":"전처리된 Annealed Langevin 동역학을 통한 차원 무관 멀티모달 샘플링","authors":"Lorenzo Baldassari, Josselin Garnier, Knut Solna, Maarten de Hoop","pos":"#3503","link":"https://openreview.net/forum?id=3wMM5NEFvr","abs":"Designing algorithms that can explore multimodal target distributions accurately across successive refinements of an underlying high-dimensional problem is a central challenge in sampling. Annealed Langevin dynamics (ALD) is a widely used alternative to classical Langevin since it often yields much faster mixing on multimodal targets, but there is still a gap between this empirical success and existing theory: when, and under which design choices, can ALD be guaranteed to remain stable as dimension increases? In this paper, we help bridge this gap by providing a uniform-in-dimension analysis of continuous-time ALD for multimodal targets that can be well-approximated by Gaussian mixture models. Along an explicit annealing path obtained by progressively removing Gaussian smoothing of the target, we identify sufficient spectral conditions—linking smoothing covariance and the covariances of the Gaussian components of the mixture—under which ALD achieves a prescribed accuracy within a single, dimension-uniform time horizon. We then establish dimension-robustness to imperfect initialization and score approximation: under a misspecified-mixture score model, we derive explicit conditions showing that preconditioning the ALD algorithm with a sufficiently decaying spectrum is necessary to prevent error terms from accumulating across coordinates and destroying dimension-uniform control. Finally, numerical experiments illustrate and validate the theory.
","absKo":"고차원 underlying problem의 연속적인 refinement를 거치면서 multimodal target distribution을 정확하게 탐색할 수 있는 algorithm을 설계하는 것은 sampling에서 핵심적인 과제입니다. Annealed Langevin dynamics (ALD)는 multimodal target에서 종종 훨씬 더 빠른 mixing을 보이기 때문에 classical Langevin의 널리 사용되는 대안이지만, 경험적 성공과 기존 이론 사이에는 여전히 간극이 있습니다. 즉, dimension이 증가할 때 ALD가 언제, 그리고 어떤 설계 선택 하에서 안정성을 유지할 수 있는가 하는 문제입니다. 본 논문에서는 Gaussian mixture model로 잘 근사될 수 있는 multimodal target에 대한 continuous-time ALD의 dimension-uniform analysis를 제공함으로써 이 간극을 메우는 데 기여합니다. target에서 Gaussian smoothing을 점진적으로 제거하여 얻은 명시적 annealing path를 따라, 우리는 smoothing covariance와 mixture의 Gaussian component covariance를 연결하는 충분한 spectral condition을 식별하며, 이러한 조건 하에서 ALD가 단일한 dimension-uniform time horizon 내에 주어진 정확도를 달성함을 보입니다. 이어서 불완전한 initialization과 score approximation에 대한 dimension robustness를 확립합니다. misspecified-mixture score model 하에서, 충분히 빠르게 감쇠하는 spectrum으로 ALD algorithm을 preconditioning하는 것이 error term이 각 coordinate에 걸쳐 누적되어 dimension-uniform control을 망가뜨리는 것을 막기 위해 필요하다는 명시적 조건을 유도합니다. 마지막으로, 수치 실험은 이 이론을 보여 주고 검증합니다.
"},{"id":"62357","en":"Supervised Guidance Training for Infinite-Dimensional Diffusion Models","ko":"무한차원 Diffusion Models를 위한 Supervised Guidance Training","authors":"Elizabeth Baker, Alexander Denker, Jes Frellsen","pos":"#3504","link":"https://openreview.net/forum?id=hK7mJYY2aj","abs":"Score-based diffusion models have recently been extended to infinite-dimensional function spaces, with uses such as inverse problems arising from partial differential equations. In the Bayesian formulation of inverse problems, the aim is to sample from a posterior distribution over functions obtained by conditioning a prior on noisy observations. While diffusion models provide expressive priors in function space, the theory of conditioning them to sample from the posterior remains open. We address this, assuming that either the prior lies in the Cameron-Martin space, or is absolutely continuous with respect to a Gaussian measure. We prove that the models can be conditioned using an infinite-dimensional extension of Doob's $h$-transform, and that the conditional score decomposes into an unconditional score and a guidance term. As the guidance term is intractable, we propose a simulation-free score matching objective (called *Supervised Guidance Training*) enabling efficient and stable posterior sampling. We illustrate the theory with numerical examples on Bayesian inverse problems in function spaces. In summary, our work offers the first function-space method for fine-tuning trained diffusion models to accurately sample from a posterior.","absKo":"Score-based diffusion model은 최근 편미분방정식에서 비롯되는 inverse problem과 같은 용도로 infinite-dimensional function space로 확장되었다. Bayesian inverse problem formulation에서 목표는 noisy observation에 대해 prior를 conditioning하여 얻은 function posterior distribution에서 sample을 뽑는 것이다. diffusion model은 function space에서 표현력 있는 prior를 제공하지만, 이를 conditioning하여 posterior에서 sample을 뽑는 이론은 여전히 열려 있다. 우리는 prior가 Cameron-Martin space에 놓이거나 Gaussian measure에 대해 absolutely continuous하다고 가정하여 이 문제를 다룬다. 우리는 모델이 Doob의 $h$-transform의 infinite-dimensional extension을 사용해 conditioning될 수 있으며, conditional score가 unconditional score와 guidance term으로 분해됨을 증명한다. guidance term은 계산하기 어려우므로, 우리는 효율적이고 안정적인 posterior sampling을 가능하게 하는 simulation-free score matching objective(이를 *Supervised Guidance Training*이라 부른다)를 제안한다. 우리는 function space에서의 Bayesian inverse problem에 대한 수치 예제를 통해 이 이론을 설명한다. 요약하면, 우리의 연구는 학습된 diffusion model을 fine-tuning하여 posterior를 정확히 샘플링할 수 있게 하는 최초의 function-space 방법을 제시한다."},{"id":"65046","en":"Dimension-free convergence of diffusion models for approximate Gaussian mixtures","ko":"근사 Gaussian Mixture를 위한 Diffusion Model의 차원 무관 수렴","authors":"Gen Li, Changxiao Cai, Yuting Wei","pos":"#3913","link":"https://openreview.net/forum?id=HMu24dTKkJ","abs":"Diffusion models are distinguished by their exceptional generative performance, particularly in producing high-quality samples through iterative denoising. While current theory suggests that the number of denoising steps required for accurate sample generation should scale linearly with data dimension, this does not reflect the practical efficiency of widely used algorithms like Denoising Diffusion Probabilistic Models (DDPMs). This paper investigates the effectiveness of diffusion models in sampling complex high-dimensional distributions that can be well-approximated by Gaussian Mixture Models (GMMs). For these distributions, our main result shows that DDPM takes at most $\\widetilde{O}(1/\\varepsilon)$ iterations to attain an $\\varepsilon$-accurate distribution in total variation (TV) distance, independent of both the ambient dimension $d$ and the number of components $K$, up to logarithmic factors. Furthermore, this result remains robust to score estimation errors. These findings highlight the remarkable effectiveness of diffusion models in high-dimensional settings given the universal approximation capability of GMMs, and provide theoretical insights into their practical success.","absKo":"Diffusion model은 반복적인 denoising을 통해 고품질 샘플을 생성하는 데 특히 뛰어난 생성 성능으로 구별된다. 현재 이론은 정확한 샘플 생성을 위해 필요한 denoising step 수가 데이터 차원에 선형으로 비례해야 한다고 시사하지만, 이는 Denoising Diffusion Probabilistic Models(DDPMs)와 같이 널리 사용되는 알고리즘의 실제 효율성을 반영하지 못한다. 이 논문은 Gaussian Mixture Models(GMMs)로 잘 근사될 수 있는 복잡한 고차원 분포를 샘플링하는 데서 diffusion model의 효과를 조사한다. 이러한 분포에 대해, 우리의 주된 결과는 DDPM이 ambient dimension $d$와 component 수 $K$에 독립적으로, 로그 요인을 제외하면 total variation(TV) 거리에서 $\\varepsilon$-정확한 분포에 도달하는 데 최대 $\\widetilde{O}(1/\\varepsilon)$ 반복만 필요함을 보인다. 더 나아가 이 결과는 score estimation error에 대해서도 견고하다. 이러한 발견은 GMM의 보편적 근사 능력을 고려할 때 고차원 설정에서 diffusion model의 놀라운 효율성을 부각하며, 실제적 성공에 대한 이론적 통찰을 제공한다."},{"id":"63255","en":"Probably Approximately Correct Labels","ko":"확률적으로 근사 정확한 레이블","authors":"Emmanuel J Candes, Andrew Ilyas, Tijana Zrnic","pos":"#4212","link":"https://openreview.net/forum?id=Yhv4d8wfbi","abs":"Obtaining high-quality labeled datasets is often costly, requiring either human annotation or expensive experiments. In theory, powerful pre-trained AI models provide an opportunity to automatically label datasets and save costs. Unfortunately, these models provide no guarantees on their accuracy, making wholesale replacement of manual labeling impractical. In this work, we propose a method for leveraging pre-trained AI models to curate cost-effective and high-quality datasets. In particular, our approach results in probably approximately correct labels: with high probability, the overall labeling error is small. Our method is nonasymptotically valid under minimal assumptions on the dataset or the AI model being studied, and thus enables rigorous yet efficient dataset curation using modern AI models. We demonstrate the benefits of the methodology through text annotation with large language models, image labeling with pre-trained vision models, and protein folding analysis with AlphaFold.
","absKo":"고품질 labeled dataset을 확보하는 일은 종종 비용이 많이 들며, 사람의 annotation이나 비싼 실험이 필요하다. 이론적으로 강력한 pre-trained AI model은 dataset을 자동으로 labeling하여 비용을 절감할 기회를 제공한다. 불행히도 이러한 model은 정확도에 대한 보장이 없기 때문에, 수작업 labeling을 전면 대체하는 것은 실용적이지 않다. 본 연구에서는 pre-trained AI model을 활용해 비용 효율적이면서도 고품질의 dataset을 큐레이션하는 방법을 제안한다. 특히 우리의 접근법은 probably approximately correct label을 산출한다. 즉, 높은 확률로 전체 labeling error가 작다. 우리의 방법은 dataset이나 연구 대상 AI model에 대한 최소한의 가정하에서 비점근적으로 타당하므로, 현대 AI model을 사용해 엄밀하면서도 효율적인 dataset 큐레이션을 가능하게 한다. 우리는 large language model을 활용한 text annotation, pre-trained vision model을 활용한 image labeling, AlphaFold를 이용한 protein folding analysis를 통해 이 방법론의 장점을 입증한다.
"},{"id":"65521","en":"Statistically Undetectable Backdoors in Deep Neural Networks","ko":"심층 신경망에서 통계적으로 탐지 불가능한 백도어","authors":"Andrej Bogdanov, Alon Rosen, Neekon Vafa","pos":"#4311","link":"https://openreview.net/forum?id=Clh5CRZpjD","abs":"We show how an adversarial model trainer can plant backdoors in a large class of deep, feedforward neural networks. These backdoors are statistically undetectable in the white-box setting, meaning that the backdoored and honestly trained models are close in total variation distance, even given the full descriptions of the models (e.g., all of the weights). The backdoor provides access to invariance-based adversarial examples for every input, mapping distant inputs to unusually close outputs. However, without the backdoor, it is provably impossible (under standard cryptographic assumptions) to generate any such adversarial examples in polynomial time. Our theoretical and preliminary empirical findings demonstrate a fundamental power asymmetry between model trainers and model users.
","absKo":"우리는 adversarial model trainer가 대규모 deep feedforward neural network의 광범위한 클래스에 backdoor를 심을 수 있음을 보인다. 이러한 backdoor는 white-box 설정에서 통계적으로 탐지할 수 없으며, 이는 backdoored model과 정직하게 학습된 model이 total variation distance에서 가깝다는 것을 의미한다. 심지어 모든 weight를 포함한 모델의 전체 설명을 알고 있어도 마찬가지다. 이 backdoor는 모든 입력에 대해 invariance-based adversarial example에 대한 접근을 제공하며, 먼 입력을 비정상적으로 가까운 출력으로 매핑한다. 그러나 backdoor가 없으면, 표준 암호학적 가정 하에서 polynomial time 내에 그러한 adversarial example을 생성하는 것은 원리적으로 불가능함을 증명할 수 있다. 우리의 이론적 및 예비 실증적 결과는 model trainer와 model user 사이의 근본적인 권력 비대칭을 보여준다.
"},{"id":"62659","en":"Signal Strength Estimation in Logistic Regression Using Data Splitting","ko":"Data Splitting을 통한 Logistic Regression에서 Signal Strength Estimation","authors":"Weihao Li, Jun Liu","pos":"#4312","link":"https://openreview.net/forum?id=ebRDSATK4K","abs":"Logistic regression is widely used in applications; however, when the dimension scales with the sample size, theory reveals that the asymptotic behavior of common M-estimators depends on bias and variance scaling constants, which are functions of the signal strength. To leverage the theory to design statistical methodologies, it is essential to obtain accurate estimates of the signal strength. In this work, we utilize a data-splitting strategy to efficiently estimate the signal strength. To alleviate issues caused by separable data, we analyze the exact asymptotics of an M-estimator with a data-driven, non-decomposable regularizer that adapts to the true covariance structure. We justify the validity of our method through both theoretical analysis and numerical experiments.
","absKo":"Logistic regression은 다양한 응용에서 널리 사용된다. 그러나 차원이 sample size와 함께 스케일할 때, 이론은 common M-estimator의 asymptotic behavior가 signal strength의 함수인 bias 및 variance scaling constant에 의존함을 보여준다. 이 이론을 활용해 통계적 방법론을 설계하려면 signal strength를 정확하게 추정하는 것이 필수적이다. 본 연구에서는 data-splitting strategy를 활용하여 signal strength를 효율적으로 추정한다. 분리 가능한 데이터로 인해 발생하는 문제를 완화하기 위해, 우리는 true covariance structure에 적응하는 data-driven, non-decomposable regularizer를 갖는 M-estimator의 exact asymptotic을 분석한다. 우리는 이론적 분석과 수치 실험을 통해 제안 방법의 타당성을 입증한다.
"},{"id":"63638","en":"Optimal Decision-Making Based on Prediction Sets","ko":"예측 집합 기반 최적 의사결정","authors":"Tao Wang, Edgar Dobriban","pos":"#4314","link":"https://openreview.net/forum?id=VAXW59dyfk","abs":"Prediction sets can wrap around any ML model to cover unknown test outcomes with a guaranteed probability. Yet, it remains unclear how to use them optimally for downstream decision-making. Here, we propose a decision-theoretic framework that seeks to minimize the expected loss (risk) against a worst-case distribution consistent with the prediction set's coverage guarantee. We first characterize the minimax optimal policy for a fixed prediction set, showing that it balances the worst-case loss inside the set with a penalty for potential losses outside the set. Building on this, we derive the optimal prediction set construction that minimizes the resulting robust risk subject to a coverage constraint. Finally, we introduce Risk-Optimal Conformal Prediction (ROCP), a practical algorithm that targets these risk-minimizing sets while maintaining finite-sample distribution-free marginal coverage. Empirical evaluations on medical diagnosis and safety-critical decision-making tasks demonstrate that ROCP reduces critical mistakes compared to baselines, particularly when out-of-set errors are costly.
","absKo":"Prediction set은 어떤 ML 모델에도 덧씌워져, 알려지지 않은 test 결과를 보장된 확률로 포괄할 수 있다. 그러나 이를 downstream decision-making에 최적으로 어떻게 활용해야 하는지는 여전히 불분명하다. 본 연구에서는 prediction set의 coverage guarantee와 일치하는 worst-case distribution에 대해 expected loss(risk)를 최소화하는 decision-theoretic framework를 제안한다. 먼저 고정된 prediction set에 대한 minimax optimal policy를 특징짓고, 이 policy가 set 내부의 worst-case loss와 set 밖의 잠재적 loss에 대한 penalty 사이를 어떻게 균형 잡는지 보인다. 이를 바탕으로 coverage constraint 하에서 resulting robust risk를 최소화하는 optimal prediction set 구성법을 유도한다. 마지막으로 finite-sample distribution-free marginal coverage를 유지하면서 이러한 risk-minimizing set을 목표로 하는 실용적 알고리즘 Risk-Optimal Conformal Prediction(ROCP)을 소개한다. 의료 진단 및 safety-critical decision-making 과제에서의 실험 결과, 특히 set 밖 오류의 비용이 큰 경우 ROCP가 baseline 대비 치명적 실수를 줄임을 보여준다.
"},{"id":"64941","en":"Mean-Shift PCA by Knockoff Mean","ko":"Knockoff Mean에 의한 Mean-Shift PCA","authors":"Mengda Li, Zeng Li, Jianfeng Yao","pos":"#4315","link":"https://openreview.net/forum?id=ISNSiAC3n1","abs":"Removing noise is difficult, but adding noise is easy. In this work, we show how to eliminate mean-shift noisy components from PCA by deliberately introducing knockoff mean-shift perturbation. Standard PCA is highly sensitive to shifts in the sample mean: a small fraction of samples from a shifted distribution can cause large deviations in the leading principal components. In high-dimensional regimes, existing Robust PCA approaches cannot handle the mean-shift contamination structure inherent in the mixture model. Using tools from Random Matrix Theory, we prove that the mean-shift spikes are spectrally separable from the stable eigenvalues of the original covariance. Furthermore, the original eigenspace remains asymptotically invariant to the contamination, independent of the mixture weight. Exploiting this spectral stability, we propose a simple, two-stage PCA algorithm by adding knockoff mean that identifies and removes the mean-shift component using only standard PCA operations. We release an implementation for main code at https://anonymous.4open.science/r/ms-pca-0E47/.
","absKo":"noise를 제거하는 것은 어렵지만, noise를 추가하는 것은 쉽다. 본 연구에서는 knockoff mean-shift perturbation을 의도적으로 도입함으로써 PCA에서 mean-shift noisy component를 제거하는 방법을 보인다. 표준 PCA는 sample mean의 shift에 매우 민감하여, shift된 분포에서 온 소수의 sample만으로도 leading principal component가 크게 변할 수 있다. 고차원 regime에서는 기존 Robust PCA 접근법이 mixture model에 내재된 mean-shift contamination 구조를 처리할 수 없다. Random Matrix Theory의 도구를 사용하여, 우리는 mean-shift spike가 원래 covariance의 안정적인 eigenvalue와 spectral하게 분리됨을 증명한다. 더 나아가, 원래 eigenspace는 mixture weight와 무관하게 contamination에 대해 점근적으로 invariant하게 유지된다. 이러한 spectral stability를 활용하여, 우리는 knockoff mean을 추가함으로써 mean-shift component를 식별하고 제거하는 간단한 2단계 PCA algorithm을 제안하며, 이는 standard PCA operation만 사용한다. 주요 코드를 위한 구현은 https://anonymous.4open.science/r/ms-pca-0E47/ 에 공개하였다.
"},{"id":"63239","en":"Logit Distance Bounds Representational Similarity","ko":"Logit 거리는 표현 유사성의 상한을 정한다","authors":"Beatrix M. G. Nielsen, Emanuele Marconato, Luigi Gresele, Andrea Dittadi, Simon Buchholz","pos":"#4316","link":"https://openreview.net/forum?id=Yp5QTlSJJl","abs":"For a broad family of discriminative models that includes autoregressive language models, identifiability results imply that if two models induce the same conditional distributions, then their internal representations agree up to an invertible linear transformation. We ask whether an analogous conclusion holds approximately when the distributions are close instead of equal. Building on the observation of Nielsen et al. (2025) that closeness in KL divergence need not imply high linear representational similarity, we study a distributional distance based on logit differences and show that closeness in this distance does yield linear similarity guarantees. Specifically, we define a representational dissimilarity measure based on the models’ identifiability class and prove that it is bounded by the logit distance. We further show that, when model probabilities are bounded away from zero, KL divergence upperbounds logit distance; yet the resulting bound fails to provide nontrivial control in practice. As a consequence, KL-based distillation can match a teacher’s predictions while failing to preserve linear representational properties, such as linear-probe recoverability of human-interpretable concepts. In distillation experiments on synthetic and image datasets, logit-distance distillation yields students with higher linear representational similarity and better preservation of the teacher’s linearly recoverable concepts.
","absKo":"autoregressive language model을 포함하는 광범위한 discriminative model family에 대해, identifiability 결과는 두 model이 동일한 conditional distribution을 유도한다면 그 내부 표현이 가역적인 선형 변환까지 일치함을 시사한다. 우리는 분포가 같지 않고 가깝기만 할 때에도 이와 유사한 결론이 근사적으로 성립하는지 묻는다. KL divergence에서의 근접성이 높은 linear representational similarity를 보장하지는 않는다는 Nielsen et al.(2025)의 관찰에 기반하여, 우리는 logit difference에 기반한 distributional distance를 연구하고, 이 거리에서의 근접성이 선형 유사성 보장을 제공함을 보인다. 구체적으로, 우리는 model의 identifiability class에 기반한 representational dissimilarity measure를 정의하고, 이것이 logit distance에 의해 상계됨을 증명한다. 또한 model probability가 0에서 충분히 멀리 떨어져 있을 때, KL divergence가 logit distance를 상계함을 보인다. 그러나 그 결과로 얻어지는 bound는 실제로는 의미 있는 제어를 제공하지 못한다. 그 결과, KL 기반 distillation은 teacher의 예측을 맞추는 데는 성공하더라도, human-interpretable concept의 linear-probe recoverability와 같은 선형 representational property를 보존하지 못할 수 있다. synthetic 및 image dataset에서 수행한 distillation 실험에서, logit-distance distillation은 더 높은 linear representational similarity와 teacher의 선형적으로 복원 가능한 concept 보존을 보이는 student를 생성한다.
"},{"id":"66131","en":"Approximating f -Divergences with Rank Statistics","ko":"순위 통계량을 활용한 f-발산 근사","authors":"Viktor Stein, José Manuel de Frutos","pos":"#4411","link":"https://openreview.net/forum?id=6dI31vzkqT","abs":"We introduce a rank-statistic approximation of $f$-divergences that avoids explicit density-ratio estimation by working directly with the distribution of ranks. For a resolution parameter $K$, we map the mismatch between two univariate distributions $\\mu$ and $\\nu$ to a rank histogram on $\\{0,\\dots,K\\}$ and measure its deviation from uniformity via a discrete $f$-divergence, yielding a rank-statistic divergence estimator. We prove that the resulting estimator of the divergence is monotone in $K$, is always a lower bound of the true $f$-divergence, and we establish quantitative convergence rates for $K\\to\\infty$ under mild regularity of the quantile-domain density ratio. To handle high-dimensional data, we define the sliced rank-statistic $f$-divergence by averaging the univariate construction over random projections, and we provide convergence results for the sliced limit as well. We also derive finite-sample deviation bounds along with asymptotic normality results for the estimator. Finally, we empirically validate the approach by benchmarking against neural baselines and illustrating its use as a learning objective in generative modelling experiments.","absKo":"우리는 $f$-divergence의 rank-statistic approximation을 도입한다. 이는 rank의 분포를 직접 사용함으로써 explicit density-ratio estimation을 피한다. 해상도 매개변수 $K$에 대해, 두 일변량 분포 $\\mu$와 $\\nu$ 사이의 불일치를 $\\{0,\\dots,K\\}$ 위의 rank histogram으로 매핑하고, 이의 uniformity로부터의 편차를 discrete $f$-divergence로 측정함으로써 rank-statistic divergence estimator를 얻는다. 우리는 이렇게 얻은 divergence estimator가 $K$에 대해 monotone하며 항상 true $f$-divergence의 lower bound임을 증명하고, quantile-domain density ratio의 mild regularity 하에서 $K\\to\\infty$일 때의 정량적 수렴율을 확립한다. 고차원 데이터를 다루기 위해, 일변량 구성을 random projection들에 대해 평균내어 sliced rank-statistic $f$-divergence를 정의하고, sliced limit에 대한 수렴 결과도 제시한다. 또한 추정치에 대한 finite-sample deviation bound와 asymptotic normality 결과를 유도한다. 마지막으로, neural baseline과의 benchmarking을 통해 이 접근을 경험적으로 검증하고, generative modelling 실험에서 learning objective로서의 활용을 보인다."},{"id":"65227","en":"Belief Propagation Converges to Gaussian Distributions in Sparsely-Connected Factor Graphs","ko":"희소 연결 팩터 그래프에서 Belief Propagation은 가우시안 분포로 수렴한다","authors":"Tom Yates, Yuzhou Cheng, Ignacio Alzugaray, Danyal Akarca, Pedro Mediano, Andrew Davison","pos":"#4412","link":"https://openreview.net/forum?id=FaGn04tvzq","abs":"Belief Propagation (BP) is a powerful algorithm for distributed inference in probabilistic graphical models, however it quickly becomes infeasible for practical compute and memory budgets. Many efficient, non-parametric forms of BP have been developed, but the most popular is Gaussian Belief Propagation (GBP), a variant that assumes all distributions are locally Gaussian. GBP is widely used due to its efficiency and empirically strong performance in applications like computer vision or sensor networks – even when modelling non-Gaussian problems. In this paper, we seek to provide a theoretical guarantee for when Gaussian approximations are valid in highly non-Gaussian, sparsely-connected factor graphs performing BP (common in Spatial AI). We leverage the Central Limit Theorem to prove mathematically that variables’ beliefs under BP converge to a Gaussian distribution in complex, loopy factor graphs obeying our 4 key assumptions. We then confirm experimentally that variable beliefs become increasingly Gaussian after just a few BP iterations in a stereo depth estimation task.
","absKo":"Belief Propagation (BP)는 probabilistic graphical model에서 distributed inference를 수행하는 강력한 algorithm이지만, 실제 compute 및 memory budget에서는 곧 비현실적으로 된다. 많은 효율적인 non-parametric 형태의 BP가 개발되었지만, 가장 널리 사용되는 것은 모든 distribution이 국소적으로 Gaussian이라고 가정하는 변형인 Gaussian Belief Propagation (GBP)이다. GBP는 효율성과 computer vision이나 sensor network 같은 응용에서의 실증적으로 강한 성능 때문에 널리 사용되며, 비록 non-Gaussian 문제를 모델링하는 경우에도 그러하다. 본 논문에서는 Spatial AI에서 흔히 나타나는, BP를 수행하는 highly non-Gaussian하고 sparsely-connected한 factor graph에서 Gaussian approximation이 언제 타당한지에 대한 이론적 보장을 제공하고자 한다. 우리는 Central Limit Theorem을 활용하여, 우리의 4가지 핵심 가정을 만족하는 복잡하고 loopy한 factor graph에서 BP 하의 variable belief가 Gaussian distribution으로 수렴함을 수학적으로 증명한다. 이어서 stereo depth estimation task에서 몇 번의 BP iteration만 거쳐도 variable belief가 점점 더 Gaussian해짐을 실험적으로 확인한다."},{"id":"63929","en":"Calibrated Preference Learning: The Case of Label Ranking","ko":"보정된 선호도 학습: label ranking의 경우","authors":"Santo Thies, Viktor Bengs, Timo Kaufmann, Sebastian Vollmer, Eyke Hüllermeier","pos":"#4413","link":"https://openreview.net/forum?id=STcIzNrUBB","abs":"Calibration, the alignment of predicted probabilities with true outcome frequencies, is essential for reliable decision-making. While extensively studied for classification and regression, calibration has not been formally addressed for probabilistic label ranking, where the goal is to predict a distribution over orderings of a label set. Naively treating rankings as classes ignores their structure and fails to capture important modalities such as pairwise and top-k predictions. We formalize calibration for label ranking and develop a hierarchy of notions covering full rankings, sub-rankings, and top-k rankings. We prove that full-rank calibration implies the others but not conversely, and sub-ranking and top-k calibration are incomparable. Empirically, we find popular label ranking models are often poorly calibrated, with substantial differences between sub-ranking and top-k metrics. Applying our framework to RLHF reward models, we find that calibration correlates strongly but not perfectly with benchmark accuracy, suggesting it captures a meaningful quality dimension beyond top-1 accuracy. These findings motivate future work on understanding the downstream effects of miscalibration and developing methods to correct it.
","absKo":"Calibration은 예측 확률이 실제 outcome frequency와 얼마나 잘 맞는지를 나타내며, 신뢰할 수 있는 의사결정에 필수적이다. Classification과 regression에서는 광범위하게 연구되었지만, label 집합의 ordering에 대한 분포를 예측하는 probabilistic label ranking에서는 calibration이 정식으로 다뤄진 적이 없다. Ranking을 단순히 class로 취급하면 그 구조를 무시하게 되고 pairwise 및 top-k prediction 같은 중요한 modality를 포착하지 못한다. 우리는 label ranking에 대한 calibration을 formalize하고, full ranking, sub-ranking, top-k ranking을 포괄하는 개념의 위계를 개발한다. 우리는 full-rank calibration이 다른 개념들을 함의하지만 그 역은 성립하지 않으며, sub-ranking calibration과 top-k calibration은 서로 비교 불가능함을 증명한다. 실험적으로는 널리 쓰이는 label ranking model이 종종 calibration이 좋지 않음을 확인했으며, sub-ranking과 top-k metric 사이에 상당한 차이가 있음을 발견했다. 이 framework를 RLHF reward model에 적용해 보면, calibration은 benchmark accuracy와 강하게 상관되지만 완전히 일치하지는 않으며, top-1 accuracy를 넘어서는 의미 있는 품질 차원을 포착함을 시사한다. 이러한 결과는 miscalibration의 downstream 효과를 이해하고 이를 교정하는 방법을 개발할 미래 연구를 촉진한다.
"},{"id":"62381","en":"Corrected Samplers for Discrete Flow Models","ko":"Discrete Flow Models를 위한 Corrected Sampler","authors":"Zhengyan Wan, Yidong Ouyang, Liyan Xie, Hongyuan Zha, Fang Fang, Guang Cheng","pos":"#4414","link":"https://openreview.net/forum?id=h8g5eiSEpc","abs":"Discrete flow models (DFMs) have been proposed to learn the data distribution on finite state space, offering a flexible framework as an alternative to discrete diffusion models. A line of recent work has studied samplers for discrete diffusion models, such as tau-leaping and Euler solver. However, these samplers require a large number of iterations to control discretization error, since the transition rates are frozen in time and evaluated at the initial state within each time interval. Moreover, theoretical results for these samplers often require boundedness conditions of the transition rate or they focus on a specific type of source distributions. To address those limitations, we establish non-asymptotic discretization error bounds for those samplers without any restriction on transition rates and source distributions, under the framework of discrete flow models. Furthermore, by analyzing a one-step lower bound of the Euler sampler, we propose two corrected samplers: \\textit{time-corrected sampler} and \\textit{location-corrected sampler}, which can reduce the discretization error of tau-leaping and Euler solver with almost no additional computational cost. We rigorously show that the location-corrected sampler has a lower complexity than existing parallel samplers. We validate the effectiveness of the proposed method by achieving better generation quality with reduced inference time on simulations and text-to-image generation tasks.
","absKo":"Discrete flow models (DFMs)는 finite state space에서 데이터 분포를 학습하기 위해 제안되었으며, discrete diffusion models의 대안으로서 유연한 프레임워크를 제공한다. 최근의 여러 연구는 tau-leaping과 Euler solver와 같은 discrete diffusion models용 sampler를 연구해 왔다. 그러나 이러한 sampler는 시간 간격마다 transition rate가 고정되고 초기 상태에서 평가되므로 discretization error를 제어하기 위해 많은 iteration을 필요로 한다. 또한 이러한 sampler에 대한 이론적 결과는 종종 transition rate의 boundedness 조건을 요구하거나, 특정 유형의 source distribution에만 초점을 맞춘다. 이러한 한계를 해결하기 위해, 우리는 discrete flow models의 프레임워크 하에서 transition rate와 source distribution에 대한 어떠한 제한도 없이, 이러한 sampler들에 대한 non-asymptotic discretization error bound를 확립한다. 더 나아가 Euler sampler의 one-step lower bound를 분석함으로써, 우리는 두 가지 corrected sampler를 제안한다: \\textit{time-corrected sampler}와 \\textit{location-corrected sampler}로, 이는 거의 추가 계산 비용 없이 tau-leaping과 Euler solver의 discretization error를 줄일 수 있다. 우리는 location-corrected sampler가 기존 parallel sampler보다 더 낮은 complexity를 가진다는 것을 엄밀하게 보인다. 또한 시뮬레이션과 text-to-image generation task에서 inference time을 줄이면서 더 나은 generation quality를 달성함으로써 제안 방법의 효과를 검증한다.
"},{"id":"62401","en":"Dimension-Independent Convergence of Underdamped Langevin Monte Carlo in KL Divergence","ko":"KL Divergence에서 Underdamped Langevin Monte Carlo의 차원 독립 수렴","authors":"Shiyuan Zhang, Qiwei Di, Xuheng Li, Quanquan Gu","pos":"#4415","link":"https://openreview.net/forum?id=gxxOL0iXpr","abs":"Underdamped Langevin dynamics (ULD) is a widely-used sampler for Gibbs distributions $\\pi\\propto e^{-V}$, and is often empirically effective in high dimensions. However, existing non-asymptotic convergence guarantees for discretized ULD typically scale polynomially with the ambient dimension $d$, leading to vacuous bounds when $d$ is large. The main known dimension-free result concerns the randomized midpoint discretization in Wasserstein-2 distance (Liu et al., 2023), while dimension-independent guarantees for ULD discretizations in KL divergence have remained open. We close this gap by proving the first dimension-free KL divergence bounds for discretized ULD. Our analysis refines the KL local error framework \\citep{altschuler2025shifted} to a dimension-free setting and yields bounds that depend on $\\mathrm{tr}(\\mathbf{H})$, where $\\mathbf{H}$ upper bounds the Hessian of $V$, rather than on $d$. As a consequence, we obtain improved iteration complexity for underdamped Langevin Monte Carlo relative to overdamped Langevin methods in regimes where $\\mathrm{tr}(\\mathbf{H})\\ll d$.","absKo":"Underdamped Langevin dynamics (ULD)는 Gibbs 분포 $\\pi\\propto e^{-V}$를 위한 널리 사용되는 sampler이며, 고차원에서 경험적으로도 종종 효과적이다. 그러나 discretized ULD에 대한 기존의 비점근적 convergence guarantee는 대개 ambient dimension $d$에 대해 다항적으로 스케일하므로, $d$가 큰 경우에는 사실상 무의미한 bound가 된다. 현재 알려진 가장 중요한 dimension-free 결과는 Wasserstein-2 distance에서의 randomized midpoint discretization에 관한 것이며(Liu et al., 2023), KL divergence에서의 ULD discretization에 대한 dimension-independent guarantee는 여전히 미해결로 남아 있었다. 우리는 discretized ULD에 대해 첫 dimension-free KL divergence bound를 증명함으로써 이 공백을 메운다. 우리의 분석은 KL local error framework \\citep{altschuler2025shifted}를 dimension-free setting으로 정교화하며, $d$가 아니라 $V$의 Hessian을 상계하는 $\\mathrm{tr}(\\mathbf{H})$에 의존하는 bound를 도출한다. 그 결과, $\\mathrm{tr}(\\mathbf{H})\\ll d$인 regime에서는 overdamped Langevin methods에 비해 underdamped Langevin Monte Carlo의 iteration complexity가 개선됨을 얻는다."},{"id":"61096","en":"Error Analysis of Discrete Flow with Generator Matching","ko":"Generator Matching을 사용한 Discrete Flow의 오류 분석","authors":"Zhengyan Wan, Yidong Ouyang, Qiang Yao, Liyan Xie, Fang Fang, Hongyuan Zha, Guang Cheng","pos":"#4416","link":"https://openreview.net/forum?id=tiPoSBaOiY","abs":"Discrete flow models offer a powerful framework for learning distributions over discrete state spaces and have demonstrated superior performance compared to the discrete diffusion models. However, their convergence properties and error analysis remain largely unexplored. In this work, we develop a unified framework grounded in stochastic calculus theory to systematically investigate the theoretical properties of discrete flow models. Specifically, by leveraging a Girsanov-type theorem for the path measures of two continuous-time Markov chains (CTMCs), we present a comprehensive error analysis that accounts for both transition rate estimation error and early stopping error. In fact, the estimation error of transition rates has received little attention in existing works. Unlike discrete diffusion models, discrete flow incurs no initialization error caused by truncating the time horizon in the noising process. Building on generator matching and uniformization, we establish non-asymptotic error bounds for distribution estimation without the boundedness condition on oracle transition rates. Furthermore, we derive a faster rate of total variation convergence for the estimated distribution with the boundedness condition, yielding a nearly optimal rate in terms of sample size. Our results provide the first error analysis for discrete flow models. We also study model performance under different settings based on simulation results.
","absKo":"Discrete flow models는 discrete state space 위의 distribution을 학습하는 강력한 framework를 제공하며, discrete diffusion models와 비교해 우수한 성능을 보여왔다. 그러나 그 수렴 성질과 error analysis는 여전히 대부분 미탐구 상태이다. 본 연구에서는 stochastic calculus theory에 기반한 unified framework를 개발하여 discrete flow models의 이론적 성질을 체계적으로 살펴본다. 구체적으로, 두 continuous-time Markov chains (CTMCs)의 path measure에 대한 Girsanov-type theorem을 활용하여, transition rate estimation error와 early stopping error를 모두 고려하는 포괄적인 error analysis를 제시한다. 실제로 transition rate의 estimation error는 기존 연구에서 거의 주목받지 못했다. discrete diffusion models와 달리, discrete flow는 noising process에서 time horizon을 truncation함으로써 발생하는 initialization error가 없다. generator matching과 uniformization을 기반으로, oracle transition rate의 boundedness condition 없이 distribution estimation에 대한 non-asymptotic error bound를 확립한다. 또한 boundedness condition 하에서 estimated distribution의 total variation convergence가 더 빠른 rate를 갖는다는 점을 도출하여, sample size 관점에서 거의 optimal한 rate를 얻는다. 우리의 결과는 discrete flow models에 대한 최초의 error analysis를 제공한다. 또한 simulation result를 바탕으로 다양한 설정에서의 model performance를 검토한다.
"},{"id":"68786","en":"Improved Convergence of Score-Based Diffusion Models via Prediction-Correction","ko":"Prediction-Correction을 통한 Score 기반 Diffusion 모델의 수렴 개선","authors":"Francesco Pedrotti, Jan Maas, Marco Mondelli","pos":"#4611","abs":"Score-based generative models (SGMs) are powerful tools to sample from complex data distributions. Their underlying idea is to \\emph{(i)} run a forward process for time $T_1$ by adding noise to the data, \\emph{(ii)} estimate its score function, and \\emph{(iii)} use such estimate to run a reverse process. As the reverse process is initialized with the stationary distribution of the forward one, the existing analysis paradigm requires $T_1\\to\\infty$. This is however problematic: from a theoretical viewpoint, for a given precision of the score approximation, the convergence guarantee fails as $T_1$ diverges; from a practical viewpoint, a large $T_1$ increases computational costs and leads to error propagation.\nThis paper addresses the issue by considering a version of the popular \\emph{predictor-corrector} scheme: after running the forward process, we first estimate the final distribution via an inexact Langevin dynamics and then revert the process. Our key technical contribution is to provide convergence guarantees which require to run the forward process \\emph{only for a fixed finite time} $T_1$. \nOur bounds exhibit a mild logarithmic dependence on the input dimension and the subgaussian norm of the target distribution, have minimal assumptions on the data, and require only to control the $L^2$ loss on the score approximation, which is the quantity minimized in practice.","absKo":"Score-based generative model(SGM)은 복잡한 데이터 분포에서 샘플을 생성하는 강력한 도구이다. 그 기본 아이디어는 \\emph{(i)} 데이터에 noise를 더해 시간 $T_1$ 동안 forward process를 수행하고, \\emph{(ii)} score function을 추정한 뒤, \\emph{(iii)} 그 추정을 사용해 reverse process를 실행하는 것이다. reverse process는 forward process의 stationary distribution으로 초기화되므로, 기존 분석 패러다임은 $T_1\\to\\infty$를 요구한다. 그러나 이는 문제를 일으킨다. 이론적으로는 score approximation의 정확도가 주어졌을 때 $T_1$이 발산하면 수렴 보장이 성립하지 않으며, 실용적으로는 큰 $T_1$이 계산 비용을 증가시키고 error propagation을 초래한다.\n본 논문은 널리 쓰이는 \\emph{predictor-corrector} scheme의 변형을 고려하여 이 문제를 다룬다. forward process를 수행한 뒤, 먼저 inexact Langevin dynamics로 최종 분포를 추정하고 그 다음 process를 되돌린다. 우리의 핵심 기술적 기여는 forward process를 \\emph{고정된 유한 시간} $T_1$ 동안만 실행해도 되는 수렴 보장을 제시한다는 점이다.\n우리의 bound는 입력 차원과 target distribution의 subgaussian norm에 대해 완만한 로그 의존성을 보이며, 데이터에 대한 가정이 최소이고, 실제로 최소화되는 quantity인 score approximation의 $L^2$ loss만 제어하면 된다."},{"id":"61477","en":"Towards Parameter-Free Temporal Difference Learning","ko":"Parameter-Free Temporal Difference Learning을 향하여","authors":"Yunxiang LI, Mark Schmidt, Reza Babanezhad, Sharan Vaswani","pos":"#110","link":"https://openreview.net/forum?id=ppIhZgFCTI","abs":"Temporal difference (TD) learning is a fundamental algorithm for estimating value functions in reinforcement learning. Recent finite-time analyses of TD with linear function approximation quantify its theoretical convergence rate. However, they often require setting the algorithm parameters using problem-dependent quantities that are difficult to estimate in practice --- such as the minimum eigenvalue of the feature covariance ($\\omega$) or the mixing time of the underlying Markov chain ($\\tau_\\text{mix}$). In addition, some analyses rely on nonstandard and impractical modifications, exacerbating the gap between theory and practice. To address these limitations, we use an exponential step-size schedule with the standard TD(0) algorithm. We analyze the resulting method under two sampling regimes: independent and identically distributed (i.i.d.) sampling from the stationary distribution, and the more practical Markovian sampling along a single trajectory. In the i.i.d. setting, the proposed algorithm does not require the knowledge of problem-dependent quantities such as $\\omega$, and attains the optimal bias-variance trade-off for the last iterate. In the Markovian setting, we propose a regularized TD(0) algorithm with an exponential step-size schedule. The resulting algorithm achieves a comparable convergence rate to prior works, without requiring projections, iterate averaging, or knowledge of $\\tau_\\text{mix}$ or $\\omega$.","absKo":"Temporal difference (TD) learning은 reinforcement learning에서 value function을 추정하기 위한 기본 알고리즘이다. 최근 linear function approximation을 사용한 TD의 finite-time 분석은 이론적 수렴 속도를 정량화한다. 그러나 이러한 분석은 흔히 feature covariance의 최소 고유값($\\omega$)이나 기저 Markov chain의 mixing time($\\tau_\\text{mix}$)과 같이 실제로 추정하기 어려운 문제 종속적 양으로 알고리즘 파라미터를 설정해야 한다. 또한 일부 분석은 비표준적이고 실용적이지 않은 수정에 의존하여 이론과 실천 간의 괴리를 악화시킨다. 이러한 한계를 해결하기 위해, 우리는 표준 TD(0) 알고리즘에 exponential step-size schedule을 사용한다. 우리는 이 방법을 두 가지 sampling regime 하에서 분석한다: stationary distribution으로부터의 independent and identically distributed (i.i.d.) sampling과, 하나의 trajectory를 따라가는 더 실용적인 Markovian sampling이다. i.i.d. 설정에서 제안 알고리즘은 $\\omega$와 같은 문제 종속적 양의 지식을 요구하지 않으며, last iterate에 대해 최적의 bias-variance trade-off를 달성한다. Markovian 설정에서는 exponential step-size schedule을 가진 regularized TD(0) 알고리즘을 제안한다. 이 알고리즘은 projection, iterate averaging, 또는 $\\tau_\\text{mix}$나 $\\omega$에 대한 지식 없이도 기존 연구와 비견되는 수렴 속도를 달성한다."},{"id":"66277","en":"Learn to change the world: Multi-level reinforcement learning with model-changing actions","ko":"세상을 바꾸는 법을 배우다: 모델 변경 행동을 갖는 다층 강화 학습","authors":"Ziqing Lu, Babak Hassibi, Lifeng Lai, Weiyu Xu","pos":"#112","link":"https://openreview.net/forum?id=5BXMlmjt43","abs":"Reinforcement learning usually assumes a given or sometimes even fixed environment in which an agent seeks an optimal policy to maximize its long-term discounted reward. In contrast, we consider agents that are not limited to passive adaptations: they instead have model-changing actions that actively modify the RL model of world dynamics itself. Reconfiguring the underlying transition processes can potentially increase the agents' rewards. Motivated by this setting, we introduce the multi-layer configurable time-varying Markov decision process (MCTVMDP). In an MCTVMDP, the lower-level MDP has a non-stationary transition function that is configurable through upper-level model-changing actions. The agent's objective consists of two parts: Optimize the configuration policies in the upper-level MDP and optimize the primitive action policies in the lower-level MDP to jointly improve its expected long-term reward.
","absKo":"강화학습은 보통 agent가 장기 discounted reward를 최대화하기 위해 최적 policy를 찾는 주어지거나 때로는 고정된 환경을 가정한다. 이와 달리, 우리는 수동적으로 적응하는 데 그치지 않고 world dynamics의 RL model 자체를 적극적으로 수정하는 model-changing action을 가진 agent를 고려한다. underlying transition process를 재구성하면 agent의 reward를 잠재적으로 높일 수 있다. 이러한 설정에서 영감을 받아, 우리는 multi-layer configurable time-varying Markov decision process(MCTVMDP)를 도입한다. MCTVMDP에서 lower-level MDP는 upper-level model-changing action을 통해 구성 가능한 non-stationary transition function을 가진다. agent의 목표는 두 부분으로 구성된다. upper-level MDP에서 configuration policy를 최적화하고, lower-level MDP에서 primitive action policy를 최적화하여 기대 장기 보상을 공동으로 향상시키는 것이다.
"},{"id":"61611","en":"Dynamic Programming for Epistemic Uncertainty in Markov Decision Processes","ko":"Markov Decision Processes에서 Epistemic Uncertainty를 위한 Dynamic Programming","authors":"Axel Benyamine, Julien Grand-Clément, Marek Petrik, Michael Jordan, Alain Oliviero Durmus","pos":"#113","link":"https://openreview.net/forum?id=oUv02QKUxG","abs":"In this paper, we propose a general theory of ambiguity-averse MDPs, which treats the uncertain transition probabilities as random variables and evaluates a policy via a risk measure applied to its random return. This ambiguity-averse MDP framework unifies several models of MDPs with epistemic uncertainty for specific choices of risk measures. We extend the concepts of value functions and Bellman operators to our setting. Based on these objects, we establish the consequences of dynamic programming principles in this framework (existence of stationary policies, value and policy iteration algorithms), and we completely characterize law-invariant risk measures compatible with dynamic programming. Our work draws connections among several variants of MDP models and fully delineates what is possible under the dynamic programming paradigm and which risk measures require leaving it.
","absKo":"본 논문에서는 불확실한 transition probability를 random variable로 간주하고, random return에 적용된 risk measure를 통해 policy를 평가하는 ambiguity-averse MDP의 일반 이론을 제안한다. 이 ambiguity-averse MDP 프레임워크는 특정 risk measure 선택에 대해 epistemic uncertainty를 가진 여러 MDP 모델을 통합한다. 우리는 value function과 Bellman operator의 개념을 우리의 설정으로 확장한다. 이러한 객체들을 바탕으로, 이 프레임워크에서 dynamic programming 원리의 귀결(정상 정책의 존재, value iteration 및 policy iteration 알고리즘)을 확립하고, dynamic programming과 양립 가능한 law-invariant risk measure를 완전히 특성화한다. 우리의 연구는 여러 MDP 모델 변형들 사이의 연결을 도출하고, dynamic programming 패러다임 아래에서 무엇이 가능한지와 어떤 risk measure는 그 틀을 벗어나야 하는지를 완전히 규정한다.
"},{"id":"66356","en":"Constrained Meta Reinforcement Learning with Provable Test-Time Safety","ko":"증명 가능한 테스트 시점 안전성을 갖는 제약 메타 강화 학습","authors":"Tingting Ni, Maryam Kamgarpour","pos":"#114","link":"https://openreview.net/forum?id=4OFXgDuRNH","abs":"Meta reinforcement learning (RL) allows agents to leverage experience across a distribution of tasks on which the agent can train at will, enabling faster learning of optimal policies on new test tasks. Despite its success in improving sample complexity on test tasks, many real-world applications, such as robotics and healthcare, impose safety constraints during testing. Constrained meta RL provides a promising framework for integrating safety into meta RL. The key challenge is to learn optimal policies while ensuring safe exploration, meaning that policies must remain feasible throughout the testing process. A largely unexplored direction is sample complexity for constrained meta RL with provable safe exploration guarantees. To address this gap, we propose an algorithm that refines policies learned during training, with provable safe exploration and sample complexity guarantees for learning a near optimal policy. We further derive a matching lower bound, showing that this sample complexity is tight. We validate our approach in a gridworld environment, where it outperforms prior constrained RL and constrained meta RL methods in learning efficiency while ensuring safe exploration.
","absKo":"Meta reinforcement learning (RL)은 agent가 자유롭게 train할 수 있는 task 분포 전반에서의 경험을 활용하게 하여, 새로운 test task에서 최적 policy를 더 빠르게 학습할 수 있게 한다. test task에서의 sample complexity를 개선하는 데 성공했음에도, robotics와 healthcare 같은 많은 실제 응용에서는 testing 동안 safety constraint가 요구된다. Constrained meta RL은 meta RL에 safety를 통합하기 위한 유망한 framework를 제공한다. 핵심 과제는 안전한 exploration을 보장하면서 optimal policy를 학습하는 것인데, 이는 policy가 testing 과정 전반에 걸쳐 feasible해야 함을 의미한다. 아직 충분히 탐구되지 않은 방향은 provable safe exploration guarantee를 갖는 constrained meta RL의 sample complexity이다. 이 격차를 메우기 위해, 우리는 training 동안 학습된 policy를 refinement하는 알고리즘을 제안하며, near optimal policy 학습을 위한 provable safe exploration 및 sample complexity guarantee를 제시한다. 또한 일치하는 lower bound를 도출하여 이 sample complexity가 tight함을 보인다. 우리는 gridworld environment에서 접근법을 검증했으며, safe exploration을 보장하면서 학습 효율성 측면에서 기존 constrained RL 및 constrained meta RL method보다 우수함을 확인했다.
"},{"id":"68777","en":"Temporal Difference Learning with Compressed Updates: Error-Feedback meets Reinforcement Learning","ko":"압축된 업데이트를 이용한 Temporal Difference Learning: Error-Feedback이 강화학습을 만나다","authors":"Aritra Mitra, George Pappas, Hamed Hassani","pos":"#118","abs":"In large-scale distributed machine learning, recent works have studied the effects of compressing gradients in stochastic optimization to alleviate the communication bottleneck. These works have collectively revealed that stochastic gradient descent (SGD) is robust to structured perturbations such as quantization, sparsification, and delays. Perhaps surprisingly, despite the surge of interest in multi-agent reinforcement learning, almost nothing is known about the analogous question: \\textit{Are common reinforcement learning (RL) algorithms also robust to similar perturbations?} We investigate this question by studying a variant of the classical temporal difference (TD) learning algorithm with a perturbed update direction, where a general compression operator is used to model the perturbation. Our work makes three important technical contributions. First, we prove that compressed TD algorithms, coupled with an error-feedback mechanism used widely in optimization, exhibit the same non-asymptotic theoretical guarantees as their SGD counterparts. Second, we show that our analysis framework extends seamlessly to nonlinear stochastic approximation schemes that subsume Q-learning. Third, we prove that for multi-agent TD learning, one can achieve linear convergence speedups with respect to the number of agents while communicating just $\\tilde{O}(1)$ bits per iteration. Notably, these are the first finite-time results in RL that account for general compression operators and error-feedback in tandem with linear function approximation and Markovian sampling. Our proofs hinge on the construction of novel Lyapunov functions that capture the dynamics of a memory variable introduced by error-feedback.","absKo":"대규모 분산 machine learning에서 최근 연구들은 communication bottleneck을 완화하기 위해 stochastic optimization에서 gradient를 압축하는 효과를 연구해 왔다. 이러한 연구들은 함께 stochastic gradient descent(SGD)가 quantization, sparsification, delay와 같은 structured perturbation에 강건하다는 점을 밝혀냈다. 다소 놀랍게도, multi-agent reinforcement learning에 대한 관심이 급증했음에도 불구하고, 유사한 질문은 거의 알려져 있지 않다: \\textit{일반적인 reinforcement learning(RL) algorithm도 이와 비슷한 perturbation에 강건한가?} 우리는 perturbation을 모델링하기 위해 일반적인 compression operator를 사용하는 perturbed update direction을 갖는 고전적인 temporal difference(TD) learning algorithm의 변형을 연구함으로써 이 질문을 조사한다. 본 연구는 세 가지 중요한 기술적 기여를 한다. 첫째, optimization에서 널리 사용되는 error-feedback mechanism과 결합된 compressed TD algorithm이 SGD counterpart와 동일한 non-asymptotic 이론적 보장을 보임을 증명한다. 둘째, 우리의 analysis framework가 Q-learning을 포괄하는 nonlinear stochastic approximation scheme으로 매끄럽게 확장됨을 보인다. 셋째, multi-agent TD learning의 경우, 각 iteration당 단지 $\\tilde{O}(1)$ bits만 통신하면서 agent 수에 대해 선형 convergence speedup을 달성할 수 있음을 증명한다. 특히, 이는 일반적인 compression operator와 error-feedback를 linear function approximation 및 Markovian sampling과 함께 동시에 고려한 RL 분야의 최초 finite-time 결과이다. 우리의 증명은 error-feedback가 도입한 memory variable의 dynamics를 포착하는 새로운 Lyapunov function 구성에 기반한다."},{"id":"61206","en":"Understanding the Performance Gap in Preference Learning: A Dichotomy of RLHF and DPO","ko":"Preference Learning의 성능 격차 이해: RLHF와 DPO의 이분법","authors":"Ruizhe Shi, Minhak Song, Runlong Zhou, Zihan Zhang, Maryam Fazel, Simon Du","pos":"#1502","link":"https://openreview.net/forum?id=sg94PRd3kD","abs":"We present a fine-grained theoretical analysis of the performance gap between reinforcement learning from human feedback (RLHF) and direct preference optimization (DPO) under a representation gap. Our study decomposes this gap into two sources: an explicit representation gap under exact optimization and an implicit representation gap under finite samples. In the exact optimization setting, we characterize how the relative capacities of the reward and policy model classes influence the final policy qualities. We show that RLHF, DPO, or online DPO can outperform one another depending on type of model mis-specifications. Notably, online DPO can outperform both RLHF and standard DPO when the reward and policy model classes are isomorphic and both mis-specified. In the approximate optimization setting, we provide a concrete construction where the ground-truth reward is implicitly sparse and show that RLHF requires significantly fewer samples than DPO to recover an effective reward model, highlighting a statistical advantage of two-stage learning. Together, these results provide a comprehensive understanding of the performance gap between RLHF and DPO under various settings, and offer practical insights into when each method is preferred.
","absKo":"우리는 representation gap 하에서 reinforcement learning from human feedback(RLHF)과 direct preference optimization(DPO) 사이의 성능 격차를 세밀하게 이론적으로 분석합니다. 우리의 연구는 이 격차를 두 가지 원인으로 분해합니다. 하나는 exact optimization 하의 explicit representation gap이고, 다른 하나는 finite sample 하의 implicit representation gap입니다. exact optimization 설정에서는 reward model class와 policy model class의 상대적 용량이 최종 policy 품질에 어떤 영향을 미치는지 규명합니다. 또한 model mis-specification의 유형에 따라 RLHF, DPO, online DPO가 서로를 능가할 수 있음을 보입니다. 특히 reward와 policy model class가 isomorphic하고 둘 다 mis-specified인 경우, online DPO는 RLHF와 standard DPO 모두를 능가할 수 있습니다. approximate optimization 설정에서는 ground-truth reward가 implicitly sparse한 구체적 구성을 제시하고, RLHF가 효과적인 reward model을 복원하는 데 DPO보다 훨씬 적은 sample을 필요로 함을 보이며, two-stage learning의 통계적 이점을 강조합니다. 종합하면, 이 결과들은 다양한 설정에서 RLHF와 DPO 사이의 성능 격차를 포괄적으로 이해하게 해 주며, 각 방법이 언제 선호되는지에 대한 실질적인 통찰을 제공합니다.
"},{"id":"68794","en":"Robust Reinforcement Learning in a Sample-Efficient Setting","ko":"Sample-Efficient 환경에서의 강건한 강화학습","authors":"Siemen Herremans, Ali Anwar, Siegfried Mercelis","pos":"#200","abs":"The performance of reinforcement learning (RL) in real-world applications can be hindered by the absence of robustness and safety in the learned policies. More specifically, an RL agent that trains in a certain Markov decision process (MDP) often struggles to perform well in MDPs that slightly deviate. To address this issue, we employ the framework of Robust MDPs (RMDPs) in a model-based setting and introduce a second learned transition model. Our method specifically incorporates an auxiliary pessimistic model, updated adversarially, to estimate the worst-case MDP within a Kullback-Leibler uncertainty set. In comparison to several existing works, our method does not impose any additional conditions on the training environment, such as the need for a parametric simulator. To test the effectiveness of the proposed pessimistic model in enhancing policy robustness, we integrate it into a practical RL algorithm, called Robust Model-Based Policy Optimization (RMBPO). Our experimental results indicate a notable improvement in policy robustness on high-dimensional control tasks, with the auxiliary model enhancing the performance of the learned policy in distorted MDPs, while maintaining the data-efficiency of the base algorithm. Our methodology is also compared against various other robust RL approaches. We further examine how pessimism is achieved by exploring the learned deviation between the proposed auxiliary world model and the nominal model. By introducing a pessimistic world model and demonstrating its role in improving policy robustness, our research presents a general methodology for robust RL in a model-based setting.
","absKo":"실세계 응용에서 reinforcement learning (RL)의 성능은 학습된 policy의 robustness와 safety 부족으로 인해 저해될 수 있다. 보다 구체적으로, 특정 Markov decision process (MDP)에서 학습한 RL agent는 약간만 달라진 MDP에서는 좋은 성능을 내기 어려운 경우가 많다. 이 문제를 해결하기 위해 우리는 model-based 설정에서 Robust MDPs (RMDPs) 프레임워크를 사용하고, 두 번째로 학습된 transition model을 도입한다. 우리의 방법은 특히 Kullback-Leibler uncertainty set 내에서 최악의 경우 MDP를 추정하기 위해 adversarial하게 업데이트되는 auxiliary pessimistic model을 포함한다. 여러 기존 연구와 비교했을 때, 우리의 방법은 parametric simulator의 필요성과 같은 추가적인 훈련 환경 조건을 요구하지 않는다. 제안한 pessimistic model이 policy robustness 향상에 얼마나 효과적인지 검증하기 위해, 우리는 이를 Robust Model-Based Policy Optimization (RMBPO)이라고 하는 실용적인 RL 알고리즘에 통합한다. 실험 결과는 고차원 control task에서 policy robustness가 눈에 띄게 향상되었음을 보여주며, auxiliary model은 base algorithm의 data-efficiency를 유지하면서 왜곡된 MDP에서 학습된 policy의 성능을 높인다. 또한 우리의 방법론은 다양한 다른 robust RL 접근법들과도 비교된다. 더 나아가 우리는 제안한 auxiliary world model과 nominal model 사이에서 학습된 deviation을 탐구함으로써 pessimism이 어떻게 달성되는지도 살펴본다. pessimistic world model을 도입하고 그것이 policy robustness 향상에 기여함을 보임으로써, 우리의 연구는 model-based setting에서 robust RL을 위한 일반적인 방법론을 제시한다.
"},{"id":"66342","en":"Near-Minimax Multi-Objective RL under Predictable Adversarial Preferences and Preference-Free Exploration in Linear MDPs","ko":"예측 가능한 적대적 선호 하의 준최소최대 다목적 RL 및 선형 MDP에서의 선호 무관 탐색","authors":"Mingxi Hu, Meiling Yu","pos":"#204","link":"https://openreview.net/forum?id=4X1XzWFZE3","abs":"Multi-objective reinforcement learning (MORL) must often support preferences that change online or are specified only after data collection. We study finite-horizon MORL with vector feedback in linear MDPs under two protocols: (i) predictable adversarial preferences revealed before each episode, and (ii) reward-free preference-free exploration (PFE), where exploration observes only transitions and must later answer arbitrary preference queries. Standard reductions are protocol-unsafe: re-scalarizing past stochastic rewards with future weights breaks the martingale structure needed for self-normalized confidence bounds, and hypervolume evaluation must account for episode-start randomization, which yields a deployable convex hull of return vectors. We propose a protocol-safe reward interface that estimates each reward coordinate via regression and performs scalarization only at query time, and we formalize deployable hypervolume semantics with a stability chain from support-function error to hypervolume error. Consequently, we obtain filtration-safe regret bounds for any predictable preference sequence without discretizing the simplex (only $\\log m$ dependence) and matching near-minimax rates in linear MDPs, as well as sharp reward-free PFE guarantees: a (near-)minimax decision-optimal query answering rate $\\tilde{O}(d^2 U_{\\mathrm{ret}}^2/\\varepsilon^2)$ and a tight separation from explicit transition-model recovery $\\Theta(d(|\\mathcal{S}|-1)/\\varepsilon_P^2)$. These results connect online learning, preference-free deployment, and hypervolume-aware evaluation through a single protocol-aligned theory.","absKo":"Multi-objective reinforcement learning (MORL)은 온라인에서 바뀌거나 데이터 수집 후에만 정해지는 preference를 종종 지원해야 한다. 우리는 finite-horizon MORL을 linear MDP에서 vector feedback과 함께 두 가지 protocol 하에 연구한다: (i) 각 episode 시작 전에 드러나는 predictable adversarial preference, (ii) transition만 관찰하고 나중에 임의의 preference query에 답해야 하는 reward-free preference-free exploration (PFE). 표준 reduction은 protocol-safe하지 않다. 과거의 stochastic reward를 미래의 weight로 다시 scalarization하면 self-normalized confidence bound에 필요한 martingale structure가 깨지고, hypervolume evaluation은 episode 시작 시의 randomization을 반영해야 하며, 이는 deployable한 return vector의 convex hull을 초래한다. 우리는 각 reward coordinate를 regression으로 추정하고 query 시점에만 scalarization을 수행하는 protocol-safe reward interface를 제안하고, support-function error에서 hypervolume error로 이어지는 stability chain을 통해 deployable hypervolume semantics를 formalize 한다. 그 결과, simplex를 discretize하지 않고도(단지 $\\log m$ 의존성만) 임의의 predictable preference sequence에 대해 filtration-safe regret bound와 linear MDP에서 matching near-minimax rate를 얻으며, reward-free PFE에 대해서도 강력한 보장을 얻는다: decision-optimal query answering rate인 $\\tilde{O}(d^2 U_{\\mathrm{ret}}^2/\\varepsilon^2)$와 explicit transition-model recovery $\\Theta(d(|\\mathcal{S}|-1)/\\varepsilon_P^2)$와의 타이트한 분리이다. 이 결과는 online learning, preference-free deployment, hypervolume-aware evaluation을 하나의 protocol-aligned theory로 연결한다."},{"id":"62344","en":"Noise as a Natural Regularizer in Markov Decision Processes: Connecting Environmental Stochasticity and Policy Simplicity","ko":"MDP에서 Noise의 자연스러운 정규화 효과: 환경적 확률성 연결과 Policy Simplicity","authors":"Harry Chen, Michal Moshkovitz, Cynthia Rudin, Yiyang Sun, Ron Parr, Lesia Semenova, Zachery Boner","pos":"#205","link":"https://openreview.net/forum?id=hRyilopCCT","abs":"The planning horizon in a Markov Decision Process (MDP) determines how far into the future an agent reasons. In practice, shorter horizons are commonly associated with policies that exhibit simpler or more interpretable decision-making behavior. In this paper, we establish a formal connection between environmental stochasticity and planning horizon in MDPs. We show that for broad classes of transition noise, solving a noisy MDP can be formally related to solving a noise-free MDP with a shorter effective discount factor, leading to identical optimal policies in some cases and near-optimal ones in others. We further characterize settings in which this correspondence breaks down, clarifying when horizon-based interpretations of noise are not valid. These results, which are supported by both theory and experiments, also give some insight into the common practice of using smaller discount factors for reinforcement learning than what can be justified by typical, grounded interpretations of a discount factor, such as inflation or the probability of catastrophic failure.
","absKo":"Markov Decision Process(MDP)에서 planning horizon은 에이전트가 미래를 얼마나 멀리까지 고려하는지를 결정한다. 실무에서는 더 짧은 horizon이 더 단순하거나 더 해석 가능한 의사결정 행동을 보이는 policy와 흔히 연결된다. 본 논문에서는 환경의 stochasticity와 MDP의 planning horizon 사이의 formal connection을 정립한다. 우리는 광범위한 transition noise 클래스에 대해, noisy MDP를 푸는 문제는 더 짧은 effective discount factor를 갖는 noise-free MDP를 푸는 문제와 형식적으로 연결될 수 있음을 보이며, 어떤 경우에는 동일한 optimal policy를, 다른 경우에는 near-optimal policy를 유도함을 보인다. 또한 이러한 대응이 깨지는 설정을 추가로 특성화하여, noise에 대한 horizon 기반 해석이 언제 타당하지 않은지 명확히 한다. 이 결과는 이론과 실험 모두로 뒷받침되며, 또한 reinforcement learning에서 일반적으로 사용되는 더 작은 discount factor가 inflation이나 재앙적 실패 확률과 같은 전통적이고 물리적인 discount factor 해석만으로는 정당화되지 않는 경우가 많다는 점에 대해서도 통찰을 제공한다.
"},{"id":"60646","en":"Towards Achieving Optimal Strong Regret and Constraint Violation via Computational Efficient Model-free RL","ko":"계산 효율적인 Model-free RL을 통한 최적 Strong Regret 및 제약 위반 달성을 향하여","authors":"Xiyue Peng, Lingkai Zu, Ziyu Shao, Xin Liu","pos":"#206","link":"https://openreview.net/forum?id=y8rIspGlNQ","abs":"We study episodic constrained Markov decision processes (CMDPs) with linear function approximation, where the goal is to achieve strong regret and constraint violation guarantees without allowing error cancellations. Unlike the existing work, which focuses on either tabular CMDP or model-based reinforcement learning methods. We propose a model-free policy APMPO that achieves near-optimal $\\widetilde{O}(\\sqrt{K})$ strong regret and strong constraint violation with Slater's condition (or strict feasibility assumption), where $K$ is the total number of episodes. It matches the best-known rates without requiring any prior knowledge of the feasibility gap reported in prior model-based work for tabular CMDPs. Besides, APMPO achieves $\\widetilde{O}(K^{\\frac{3}{4}})$ strong regret and $\\widetilde{O}(K^\\frac{3}{4})$ strong constraint violation without Slater's condition. To the best of our knowledge, this is the first sublinear result of CMDP w.r.t. the strong metrics without Slater's condition. APMPO achieves these results by a novel and adaptive design of a violation-aware penalty and learning rates to balance the strong regret and constraint violation, which is quite different from the (regularized) primal-dual methods imposing constraints via dual penalty in the literature. The experiments show APMPO significantly outperforms the strong baselines, which justify our design and theoretical performance.","absKo":"우리는 linear function approximation을 사용하는 episodic constrained Markov decision processes (CMDPs)를 연구하며, 목표는 error cancellation을 허용하지 않으면서 strong regret과 constraint violation에 대해 강한 보장을 달성하는 것이다. 기존 연구가 tabular CMDP 또는 model-based reinforcement learning 방법에 초점을 맞춘 것과 달리, 우리는 model-free policy APMPO를 제안한다. 이 방법은 Slater's condition(또는 strict feasibility assumption) 하에서 near-optimal $\\widetilde{O}(\\sqrt{K})$ strong regret과 strong constraint violation을 달성하며, 여기서 $K$는 전체 episode 수이다. 이는 tabular CMDP에 대한 기존 model-based 연구에서 보고된 feasibility gap에 대한 사전 지식 없이도, 알려진 최선의 rate와 일치한다. 또한 APMPO는 Slater's condition이 없을 때 $\\widetilde{O}(K^{\\frac{3}{4}})$ strong regret과 $\\widetilde{O}(K^\\frac{3}{4})$ strong constraint violation을 달성한다. 우리가 아는 한, 이는 Slater's condition 없이 strong metrics에 대해 CMDP에서 sublinear 결과를 보인 최초의 성과이다. APMPO는 violation-aware penalty와 learning rate를 새롭게 적응적으로 설계하여 strong regret과 constraint violation의 균형을 맞춤으로써 이러한 결과를 달성하며, 이는 문헌에서 dual penalty로 제약을 부과하는 (regularized) primal-dual methods와는 상당히 다르다. 실험 결과 APMPO는 강한 baseline들을 현저히 능가하며, 우리의 설계와 이론적 성능을 뒷받침한다."},{"id":"64113","en":"Multi-agent imitation learning with function approximation: linear Markov games and beyond","ko":"함수 근사를 이용한 다중 에이전트 모방 학습: 선형 Markov 게임과 그 너머","authors":"Luca Viano, Till Freihaut, Emanuele Nevali, Volkan Cevher, Matthieu Geist, Giorgia Ramponi","pos":"#217","link":"https://openreview.net/forum?id=Qn2HcnC4l2","abs":"In this work, we present the first theoretical analysis of multi-agent imitation learning (MAIL) in linear Markov games where both the transition dynamics and each agent's reward function are linear in some given features. We demonstrate that by leveraging this structure, it is possible to replace the state-action level \\emph{all policy deviation concentrability coefficient} \\citep{freihaut2025rate} with a concentrability coefficient defined at the feature level which can be much smaller than the state-action analog when the features are informative about \\emph{states' similarity}. Furthermore, to circumvent the need for any concentrability coefficient, we turn to the interactive setting. We provide the first, computationally efficient, interactive MAIL algorithm for linear Markov games and show that its sample complexity depends only on the dimension of the feature map $d$. Building on these theoretical findings, we propose a deep MAIL interactive algorithm which clearly outperforms BC on games such as Tic-Tac-Toe and Connect4.","absKo":"본 연구에서는 transition dynamics와 각 agent의 reward function이 주어진 feature들에 대해 선형인 linear Markov game에서 multi-agent imitation learning(MAIL)에 대한 최초의 이론적 분석을 제시한다. 우리는 이 구조를 활용하면 state-action 수준의 \\emph{all policy deviation concentrability coefficient} \\citep{freihaut2025rate}를, feature가 \\emph{state의 유사성}에 대한 정보를 제공할 때 state-action analog보다 훨씬 작을 수 있는 feature 수준의 concentrability coefficient로 대체할 수 있음을 보인다. 더 나아가, 어떠한 concentrability coefficient도 필요하지 않도록 하기 위해 interactive setting으로 전환한다. 우리는 linear Markov game을 위한 최초의 계산 효율적인 interactive MAIL algorithm을 제시하고, 그 sample complexity가 feature map $d$의 차원에만 의존함을 보인다. 이러한 이론적 발견을 바탕으로, 우리는 Tic-Tac-Toe와 Connect4 같은 game에서 BC를 명확히 능가하는 deep MAIL interactive algorithm을 제안한다."},{"id":"64056","en":"Posterior Sampling Reinforcement Learning with Gaussian Processes for Continuous Control: Sublinear Regret Bounds for Unbounded State Spaces","ko":"가우시안 프로세스를 이용한 연속 제어를 위한 사후 표본 추출 강화학습: 무한 상태 공간에 대한 준선형 후회 한계","authors":"Hamish Flynn, Joe Watson, Ingmar Posner, Jan Peters","pos":"#3905","link":"https://openreview.net/forum?id=RKVsEuwbJ0","abs":"We analyze the Bayesian regret of the Gaussian process posterior sampling reinforcement learning (GP-PSRL) algorithm. Posterior sampling is an effective heuristic for decision-making under uncertainty that has been used to develop successful algorithms for a variety of continuous control problems. However, theoretical work on GP-PSRL is limited. All known regret bounds either fail to achieve a tight dependence on a kernel-dependent quantity called the maximum information gain or fail to properly account for the fact that the set of possible system states is unbounded. Through a recursive application of the Borell-Tsirelson-Ibragimov-Sudakov inequality, we show that, with high probability, the states actually visited by the algorithm are contained within a ball of near-constant radius. To obtain tight dependence on the maximum information gain, we use the chaining method to control the regret suffered by GP-PSRL. Our main result is a Bayesian regret bound of the order $\\widetilde{\\mathcal{O}}(H^{3/2}\\sqrt{\\gamma_{T/H} T})$, where $H$ is the horizon, $T$ is the number of time steps and $\\gamma_{T/H}$ is the maximum information gain. With this result, we resolve the limitations with prior theoretical work on PSRL, and provide the theoretical foundation and tools for analyzing PSRL in complex settings.","absKo":"우리는 Gaussian process posterior sampling reinforcement learning(GP-PSRL) 알고리즘의 Bayesian regret를 분석한다. Posterior sampling은 불확실성 하 의사결정을 위한 효과적인 heuristic으로, 다양한 continuous control 문제에서 성공적인 알고리즘을 개발하는 데 사용되어 왔다. 그러나 GP-PSRL에 대한 이론 연구는 제한적이다. 알려진 모든 regret bound는 kernel-dependent quantity인 maximum information gain에 대해 타이트한 의존성을 달성하지 못하거나, 가능한 system state 집합이 unbounded라는 사실을 적절히 반영하지 못한다. Borell-Tsirelson-Ibragimov-Sudakov 부등식의 재귀적 적용을 통해, 높은 확률로 알고리즘이 실제로 방문하는 state가 거의 상수 반경의 ball 안에 포함됨을 보인다. Maximum information gain에 대해 타이트한 의존성을 얻기 위해, 우리는 chaining method를 사용하여 GP-PSRL이 겪는 regret을 제어한다. 우리의 주된 결과는 $\\widetilde{\\mathcal{O}}(H^{3/2}\\sqrt{\\gamma_{T/H} T})$ 차수의 Bayesian regret bound이며, 여기서 $H$는 horizon, $T$는 time step 수, $\\gamma_{T/H}$는 maximum information gain이다. 이 결과로 우리는 PSRL에 대한 기존 이론 연구의 한계를 해소하고, 복잡한 설정에서 PSRL을 분석하기 위한 이론적 기반과 도구를 제공한다."},{"id":"62441","en":"Reinforcement Learning for Reachability: Guaranteeing Asymptotic Optimality","ko":"도달 가능성(Reacheability) 위한 강화학습: 점근적 최적성 보장","authors":"Amogh Palasamudram, Jakub Svoboda, Krishnendu Chatterjee, Suguman Bansal","pos":"#4200","link":"https://openreview.net/forum?id=ga20H0vR6f","abs":"{\\em Reinforcement learning} (RL) for {\\em reachability specifications} is fundamental in sequential decision-making, yet theoretical guarantees remain less explored. A recent work achieves {\\em asymptotic convergence} to optimal policies. However, this approach provides limited insight into convergence dynamics. In this work, we present an alternative approach that provides deeper theoretical insights into convergence. Our approach builds on {\\em PAC learning} with assumptions. PAC learning guarantees near-optimal policies with high confidence in finite time but requires knowing internal MDP parameters like minimum transition probability. We argue that while these parameters are unknown in RL, they can be iteratively refined and estimated with increasing accuracy. By iteratively satisfying PAC conditions, we show that exact optimality can be achieved in the limit. Empirical evaluations on standard benchmarks validate our theoretical insights into convergence dynamics.
","absKo":"{\\em reachability specifications}에 대한 {\\em reinforcement learning} (RL)은 sequential decision-making의 핵심이지만, 이론적 보장은 아직 충분히 탐구되지 않았다. 최근의 한 연구는 최적 정책으로의 {\\em asymptotic convergence}를 달성했다. 그러나 이 접근은 수렴 동학에 대한 통찰을 제한적으로만 제공한다. 본 연구에서는 수렴에 대한 더 깊은 이론적 통찰을 제공하는 대안적 접근을 제시한다. 우리의 접근은 가정이 포함된 {\\em PAC learning}에 기반한다. PAC learning은 유한한 시간 내에 높은 신뢰도로 near-optimal policy를 보장하지만, minimum transition probability와 같은 내부 MDP 매개변수를 알아야 한다는 제약이 있다. 우리는 RL에서는 이러한 매개변수가 알려져 있지 않지만, 반복적으로 정교화되고 점점 더 정확하게 추정될 수 있다고 주장한다. PAC 조건을 반복적으로 만족시킴으로써, 극한에서 exact optimality를 달성할 수 있음을 보인다. 표준 benchmark에 대한 실험 평가는 수렴 동학에 대한 우리의 이론적 통찰을 검증한다.
"},{"id":"62118","en":"Reinforcement Learning with Action-Triggered Observations","ko":"행동으로 트리거되는 관측을 사용하는 강화학습","authors":"Alexander Ryabchenko, Wenlong Mou","pos":"#4201","link":"https://openreview.net/forum?id=jhNMY6jHJw","abs":"We introduce Action-Triggered Sporadically Traceable Markov Decision Processes (ATST-MDPs), a novel reinforcement learning framework for partial observability in which full state observations occur stochastically at each step, with probability determined by the chosen action. We derive Bellman equations tailored to this setting and establish the existence of an optimal policy. Exploiting the fact that sporadic observations reveal the full state, we provide an equivalent reformulation in which, upon each state observation, agents commit to a sequence of actions until the next observation. Under the linear MDP assumption, we show that the resulting action sequence value functions admit linear representations in a finite-dimensional feature map, enabling standard regression-based methods. As an application, we derive ST-LSVI-UCB, an optimistic algorithm achieving regret $\\widetilde{O}(\\sqrt{Kd^3(1-\\gamma)^{-3}})$ for episodic learning with geometrically distributed horizons, where $K$ is the number of episodes, $d$ the feature dimension, and $\\gamma$ the discount factor (continuation probability), matching the known rate for linear MDPs with full observability.","absKo":"우리는 Action-Triggered Sporadically Traceable Markov Decision Processes(ATST-MDPs)를 소개한다. 이는 부분 관측 환경을 위한 새로운 reinforcement learning 프레임워크로, 전체 상태 관측이 각 step에서 확률적으로 발생하며 그 확률은 선택된 action에 의해 결정된다. 우리는 이 설정에 맞는 Bellman equation을 유도하고 optimal policy의 존재를 확립한다. 드물게 발생하는 관측이 전체 상태를 드러낸다는 사실을 활용하여, 각 상태 관측 시점마다 에이전트가 다음 관측이 일어날 때까지의 action sequence를 미리 확정하는 동등한 재정식을 제시한다. linear MDP 가정하에서, 이러한 action sequence value function이 유한 차원 feature map에서 linear representation을 갖는다는 것을 보이며, 이를 통해 표준 regression-based 방법을 적용할 수 있음을 보인다. 응용으로, 우리는 ST-LSVI-UCB를 유도하는데, 이는 episodic learning with geometrically distributed horizons에서 regret $\\widetilde{O}(\\sqrt{Kd^3(1-\\gamma)^{-3}})$를 달성하는 optimistic algorithm이다. 여기서 $K$는 episode 수, $d$는 feature dimension, $\\gamma$는 discount factor(continuation probability)이며, 이는 완전 관측 linear MDP에 대해 알려진 rate와 일치한다."},{"id":"61090","en":"Rethinking the Hardness of PbRL: A Provable General Regret Bound","ko":"PbRL의 난이도 재고: 증명 가능한 일반 Regret Bound","authors":"Chenjie Mao, Yi Fan, Ning Zhang, Chongjie Zhang","pos":"#4202","link":"https://openreview.net/forum?id=tlFTFDLVD3","abs":"This paper studies \\emph{preference-based reinforcement learning} (PbRL), where agents learn from comparative, trajectory-level feedback rather than numeric rewards. While PbRL has seen rapid empirical and theoretical progress, existing analyses are largely confined to restricted settings and fail to jointly capture the outcome-based and comparison-based nature of preference feedback. We prove that under a broad \\emph{general function approximation} framework, PbRL admits a $\\sqrt{T}$ regret guarantee. In particular, we introduce a simple and provably efficient algorithm, \\emph{Recursive Trajectory-based Preference Q-Learning} (RTPQ), and establish its regret bound while explicitly accounting for the trajectory-level and comparative structure of preferences. Our analysis is characterized by a new complexity measure, the \\emph{Dual Episodic Eluder Dimension} (DEED), which quantifies the intrinsic difficulty of PbRL. We show that for linear MDPs, the DEED scales as $\\mathcal{O}(dH)$, yielding a regret bound of $\\tilde{\\mathcal{O}}(dH\\sqrt{T}\\max(H^{3/2},\\,1/\\kappa))$, where $\\kappa$ is a problem-dependent constant. This bound is near-optimal up to horizon- and problem-dependent factors when compared to standard reward-based linear MDPs. In addition, our framework recovers the best-known regret bounds in the special cases of dueling bandits and standard outcome-based reinforcement learning. Overall, our results provide a general regret guarantee for PbRL with outcome-based preference feedback and broad function approximation.","absKo":"본 논문은 \n\\emph{preference-based reinforcement learning}(PbRL)을 연구한다. PbRL에서는 agent가 수치 reward가 아니라 비교 기반의 trajectory-level feedback으로부터 학습한다. PbRL은 빠른 실험적·이론적 진전을 보여 왔지만, 기존 분석은 대체로 제한된 setting에 국한되어 있으며 preference feedback의 outcome-based 특성과 comparison-based 특성을 함께 포착하지 못한다. 우리는 광범위한 \\emph{general function approximation} framework 하에서 PbRL이 $\\sqrt{T}$ regret 보장을 만족함을 증명한다. 특히, 우리는 간단하면서도 provably efficient한 알고리즘인 \\emph{Recursive Trajectory-based Preference Q-Learning}(RTPQ)을 제안하고, preference의 trajectory-level 및 comparative structure를 명시적으로 반영한 regret bound를 확립한다. 우리의 분석은 PbRL의 내재적 난이도를 정량화하는 새로운 복잡도 척도인 \\emph{Dual Episodic Eluder Dimension}(DEED)에 의해 특징지어진다. 우리는 linear MDP에서 DEED가 $\\mathcal{O}(dH)$로 스케일하며, 이로부터 $\\tilde{\\mathcal{O}}(dH\\sqrt{T}\\max(H^{3/2},\\,1/\\kappa))$의 regret bound가 도출됨을 보인다. 여기서 $\\kappa$는 problem-dependent constant이다. 이 bound는 표준 reward-based linear MDP와 비교할 때 horizon 및 problem-dependent factor를 제외하면 거의 최적이다. 또한 우리의 framework는 dueling bandit과 표준 outcome-based reinforcement learning의 특수한 경우에서 알려진 최선의 regret bound를 복원한다. 전반적으로, 우리의 결과는 outcome-based preference feedback과 broad function approximation을 갖는 PbRL에 대한 일반적인 regret 보장을 제공한다."},{"id":"62435","en":"Reusing Trajectories in Policy Gradients Enables Fast Convergence","ko":"Policy Gradients에서 Trajectory 재사용이 빠른 수렴을 가능하게 함","authors":"Alessandro Montenegro, Federico Mansutti, Marco Mussi, Matteo Papini, Alberto Maria Metelli","pos":"#4203","link":"https://openreview.net/forum?id=gcYvvxTLRA","abs":"*Policy gradient* (PG) methods are a class of effective *reinforcement learning* algorithms, particularly when dealing with continuous control problems. They rely on fresh *on-policy* data, making them sample-inefficient and requiring $\\mathcal{O}(\\epsilon^{-2})$ trajectories to reach an $\\epsilon$-approximate stationary point. A common strategy to improve efficiency is to *reuse* information from past iterations, such as previous *gradients* or *trajectories*, leading to *off-policy* PG methods. While gradient reuse has received substantial attention, leading to improved rates up to $\\mathcal{O}(\\epsilon^{-3/2})$, the reuse of past trajectories, although intuitive, remains largely unexplored from a theoretical perspective. In this work, we provide the first rigorous theoretical evidence that reusing past off-policy trajectories can significantly accelerate PG convergence. We propose RT-PG (Reusing Trajectories - Policy Gradient), a novel algorithm that leverages a *power mean*-corrected multiple importance weighting estimator to effectively combine on-policy and off-policy data coming from the most recent $\\omega$ iterations. Through a novel analysis, we prove that RT-PG achieves a sample complexity of $\\widetilde{\\mathcal{O}}(\\epsilon^{-2}\\omega^{-1})$. When reusing *all* available past trajectories, this leads to a rate of $\\widetilde{\\mathcal{O}}(\\epsilon^{-1})$, the best known one in the literature for PG methods. We further validate our approach empirically, demonstrating its effectiveness against baselines with state-of-the-art rates.","absKo":"*Policy gradient* (PG) 방법은 특히 연속 제어 문제를 다룰 때 효과적인 *reinforcement learning* 알고리즘의 한 부류이다. 이들은 새로운 *on-policy* data에 의존하므로 sample-efficient하지 않으며, $\\epsilon$-근사 stationary point에 도달하기 위해 $\\mathcal{O}(\\epsilon^{-2})$개의 trajectory를 필요로 한다. 효율을 높이기 위한 일반적인 전략은 이전 *gradient* 또는 *trajectory*와 같은 과거 반복의 정보를 *reuse*하는 것으로, 이는 *off-policy* PG method로 이어진다. Gradient reuse는 상당한 주목을 받아 $\\mathcal{O}(\\epsilon^{-3/2})$까지의 향상된 rate를 이끌어냈지만, 과거 trajectory의 reuse는 직관적임에도 불구하고 이론적 관점에서 아직 거의 탐구되지 않았다. 본 연구에서는 과거 off-policy trajectory를 재사용하는 것이 PG 수렴을 크게 가속할 수 있음을 보여주는 최초의 엄밀한 이론적 근거를 제시한다. 우리는 RT-PG (Reusing Trajectories - Policy Gradient)를 제안하는데, 이는 *power mean* 보정 multiple importance weighting estimator를 활용하여 가장 최근 $\\omega$개 반복에서 오는 on-policy 및 off-policy data를 효과적으로 결합한다. 새로운 분석을 통해 RT-PG가 $\\widetilde{\\mathcal{O}}(\\epsilon^{-2}\\omega^{-1})$의 sample complexity를 달성함을 증명한다. 사용 가능한 과거 trajectory를 *모두* 재사용하면, 이는 PG method에 대해 문헌상 알려진 최선의 $\\widetilde{\\mathcal{O}}(\\epsilon^{-1})$ rate로 이어진다. 또한 실험적으로도 접근법을 검증하여, state-of-the-art rate를 가진 baseline에 대한 효과를 입증한다."},{"id":"62838","en":"Secure Multi-agent Reinforcement Learning for Service Systems with Affinity and Byzantine Nodes: Stability Analysis and Protection Design","ko":"친화성 및 Byzantine 노드를 갖는 서비스 시스템의 안전한 Multi-agent Reinforcement Learning: 안정성 분석과 보호 설계","authors":"Yifan Jiang, Jiasheng Pan, Mengtian Li, Li Jin","pos":"#4204","link":"https://openreview.net/forum?id=cgg0hpUGZB","abs":"We study decentralized multi-agent reinforcement learning (MARL) for networked service systems with affinity in the presence of Byzantine nodes. The way that a server processes a job depends on an affinity state that captures the correlation between the job and the server. Each node learns a local control policy via an actor-critic algorithm with linear function approximation over inherently unbounded space of traffic states, while exchanging parameter information with neighbors through a communication graph. A set of Byzantine agents can exploit the unbounded state space and the resulting stochastic variance to compromise the consensus mechanism, destabilizing both learning and queuing processes. To address this vulnerability, we propose a resilient consensus-based MARL algorithm with momentum-based smoothing, which mitigates adversarial parameter manipulation and guarantees traffic stability under mild assumptions. We prove that the cooperative agents’ policies converge almost surely to a bounded neighborhood of a stationary solution of the global objective. We demonstrate the effectiveness and generality of the proposed framework in several representative service systems, including semantic routing for large language model serving, distributed polling in cloud computing, and smart manufacturing logistics.
","absKo":"우리는 Byzantine node가 존재하는 affinity를 갖는 networked service system에서 decentralized multi-agent reinforcement learning(MARL)을 연구한다. 서버가 job을 처리하는 방식은 job과 서버 사이의 상관관계를 포착하는 affinity state에 의존한다. 각 node는 본질적으로 unbounded한 traffic state 공간 위에서 linear function approximation을 사용하는 actor-critic algorithm으로 local control policy를 학습하는 동시에, communication graph를 통해 이웃과 parameter 정보를 교환한다. Byzantine agent 집합은 unbounded state space와 그로부터 비롯되는 stochastic variance를 악용해 consensus mechanism을 훼손하고, learning과 queuing process를 모두 불안정하게 만들 수 있다. 이 취약성을 해결하기 위해, 우리는 adversarial parameter manipulation을 완화하고 mild assumption 하에서 traffic stability를 보장하는 momentum-based smoothing을 갖춘 resilient consensus-based MARL algorithm을 제안한다. 우리는 협력 agent의 policy가 전역 objective의 stationary solution 주변의 bounded neighborhood로 거의 surely 수렴함을 증명한다. 제안한 framework의 효과성과 일반성은 large language model serving을 위한 semantic routing, cloud computing의 distributed polling, smart manufacturing logistics를 포함한 여러 대표적 service system에서 입증된다.
"},{"id":"61967","en":"The Value Function Semi-Algebraic Set in Partially Observable Markov Decision Processes","ko":"부분 관측 Markov Decision Process에서 value function의 반대수적 집합","authors":"Ryan Anderson, Guido Montufar","pos":"#4205","link":"https://openreview.net/forum?id=l94JabCBGL","abs":"We study the geometry of feasible value functions in infinite-horizon partially observable Markov decision processes (POMDPs) under memoryless stochastic policies. Our main contribution is a characterization of the feasible set of value functions as a semi-algebraic set, defined by explicit polynomial inequalities determined by the transition dynamics, observation kernel, and reward structure of the POMDP. This result extends prior work for fully observable Markov decision processes, where the feasible set is known to be a polytope, to the substantially more intricate partially observable setting. In contrast to the polyhedral structure arising in MDPs, partial observability induces fundamentally nonlinear constraints, leading to a richer and more complex geometric structure. Our geometric characterization provides new insight into the landscape of policy optimization in both MDPs and POMDPs, and reveals qualitative phenomena unique to partial observability, including the emergence of isolated local maximizers of the long-term reward and their dependence on the initial state distribution.
","absKo":"무기억 확률적 정책 하의 무한 시계열 부분관측 마르코프 의사결정과정(POMDP)에서 feasible value function의 기하를 연구한다. 우리의 핵심 기여는 POMDP의 전이 동역학, 관측 커널, 보상 구조에 의해 결정되는 명시적 다항식 부등식으로 정의되는, value function의 feasible set이 semi-algebraic set임을 특징짓는 것이다. 이 결과는 feasible set이 polytope로 알려져 있는 완전관측 마르코프 의사결정과정에 대한 기존 연구를, 훨씬 더 복잡한 부분관측 설정으로 확장한다. MDP에서 나타나는 polyhedral structure와 달리, 부분관측성은 본질적으로 비선형 제약을 유도하여 더 풍부하고 복잡한 기하 구조를 만든다. 우리의 기하학적 특징화는 MDP와 POMDP 모두에서 policy optimization의 landscape에 대한 새로운 통찰을 제공하며, 장기 보상의 고립된 local maximizer의 출현과 그 초기 상태 분포에 대한 의존성을 포함해 부분관측성에 고유한 정성적 현상을 드러낸다.
"},{"id":"65817","en":"Understanding Behavior Cloning with Action Quantization","ko":"행동 양자화를 통한 Behavior Cloning 이해","authors":"Haoqun Cao, Tengyang Xie","pos":"#4207","link":"https://openreview.net/forum?id=9uENnRAcSl","abs":"Behavior cloning is a fundamental paradigm in machine learning, enabling policy learning from expert demonstrations across robotics, autonomous driving, and generative models. Autoregressive models like transformer have proven remarkably effective, from large language models (LLMs) to vision-language-action systems (VLAs). However, applying autoregressive models to continuous control requires discretizing actions through quantization, a practice widely adopted yet poorly understood theoretically. This paper provides theoretical foundations for this practice. We analyze how quantization error propagates along the horizon and interacts with statistical sample complexity. We show that behavior cloning with quantized actions and log-loss achieves optimal sample complexity—matching existing lower bounds—and incurs only polynomial horizon dependence on quantization error, provided the dynamics are stable and the policy satisfies a probabilistic smoothness condition. We further characterize when different quantization schemes satisfy or violate these requirements, and propose a model-based augmentation that provably improves the error bound without requiring policy smoothness. Finally, we establish fundamental limits that jointly capture the effects of quantization error and statistical complexity.
","absKo":"Behavior cloning은 machine learning의 근본적인 paradigm으로, robotics, autonomous driving, generative model 전반에서 expert demonstration으로부터 policy learning을 가능하게 한다. transformer와 같은 autoregressive model은 large language model (LLM)부터 vision-language-action system (VLA)에 이르기까지 놀라울 정도로 효과적인 것으로 입증되었다. 그러나 autoregressive model을 continuous control에 적용하려면 action을 quantization을 통해 discretize해야 하며, 이는 널리 채택되어 왔지만 이론적으로는 충분히 이해되지 않은 관행이다. 본 논문은 이러한 관행의 이론적 기초를 제공한다. 우리는 quantization error가 horizon을 따라 어떻게 전파되고 statistical sample complexity와 어떻게 상호작용하는지 분석한다. 우리는 dynamics가 stable하고 policy가 probabilistic smoothness condition을 만족하는 경우, quantized action과 log-loss를 사용한 behavior cloning이 기존 lower bound와 일치하는 optimal sample complexity를 달성하며, quantization error에 대해 horizon 의존성이 polynomial하게만 증가함을 보인다. 또한 서로 다른 quantization scheme이 이러한 요구사항을 만족하거나 위반하는 조건을 규명하고, policy smoothness를 요구하지 않으면서도 error bound를 provably 개선하는 model-based augmentation을 제안한다. 마지막으로, 우리는 quantization error와 statistical complexity의 효과를 함께 포착하는 fundamental limit을 확립한다.
"},{"id":"66352","en":"Value Aggregation with Uncertainty in Online Decentralized MARL","ko":"온라인 분산형 MARL에서 불확실성을 갖는 가치 집계","authors":"Ziyue Chu, Leonardo Stella","pos":"#4208","link":"https://openreview.net/forum?id=4QpCJukdjq","abs":"Multi-agent reinforcement learning (MARL) has received increasing attention for solving complex decision-making tasks. Networked MARL approaches offer a decentralized solution for parameter sharing to accelerate training via value aggregation. However, existing federated aggregations rely on convex averaging that may fail to converge to global optima and cause learning rollback in the online learning setting. In this paper, we formally characterize the learning rollback phenomenon arising from aggregating value estimates with unequal uncertainty under heterogeneous online update depths. We propose a novel adaptive global consensus (AGC) mechanism for Q-value aggregation in decentralized MARL policy evaluation, which dynamically adjusts aggregation weights based on agents’ uncertainty. We establish theoretical guarantees on accelerated convergence and bounded learning variance with empirical validations, advancing the state-of-art MARL theory.
","absKo":"multi-agent reinforcement learning(MARL)은 복잡한 의사결정 task를 해결하기 위해 점점 더 큰 주목을 받아 왔다. Networked MARL 접근법은 value aggregation을 통해 학습을 가속화하는 parameter sharing을 위한 decentralized solution을 제공한다. 그러나 기존의 federated aggregation은 convex averaging에 의존하는데, 이는 global optimum으로 수렴하지 못할 수 있으며 online learning setting에서 learning rollback을 유발할 수 있다. 본 논문에서는 이질적인 online update depth 하에서 서로 다른 uncertainty를 가진 value estimate를 aggregation할 때 발생하는 learning rollback 현상을 정식으로 특성화한다. 우리는 decentralized MARL policy evaluation에서 Q-value aggregation을 위한 새로운 adaptive global consensus(AGC) mechanism을 제안하며, 이는 agent의 uncertainty에 따라 aggregation weight를 동적으로 조정한다. 우리는 가속된 convergence와 bounded learning variance에 대한 이론적 보장을 확립하고 이를 empirical validation으로 입증함으로써, MARL 이론의 state-of-the-art를 진전시킨다.
"},{"id":"62750","en":"Well-Posed KL-Regularized Control via Wasserstein and Kalman–Wasserstein KL Divergences","ko":"Wasserstein 및 Kalman–Wasserstein KL 발산으로 수행하는 Well-Posed KL-Regularized Control","authors":"Viktor Stein, Adwait Datar, Nihat Ay","pos":"#4209","link":"https://openreview.net/forum?id=diF53wYIj3","abs":"Kullback-Leibler divergence (KL) regularization is widely used in reinforcement learning, but it becomes infinite under support mismatch and can degenerate in low-noise limits. Utilizing a unified information-geometric framework we introduce (Kalman)-Wasserstein-based KL analogues by replacing the Fisher–Rao geometry in the dynamical formulation of the KL with transport-based geometries, and we derive closed-form values for common distribution families. These divergences remain finite under support mismatch and yield a geometric interpretation of regularization heuristics used in Kalman ensemble methods. We demonstrate the utility of these divergences in KL-regularized optimal control. In the fully tractable setting of linear time-invariant systems with Gaussian process noise, the classical KL reduces to a quadratic control penalty that becomes singular as process noise vanishes. Our variants remove this singularity and yield well-posed problems. On a double integrator and a cart-pole example, the resulting controls outperform KL-based regularization.
","absKo":"Kullback-Leibler divergence (KL) regularization은 reinforcement learning에서 널리 사용되지만, support mismatch에서는 무한대로 발산하고 low-noise limit에서는 퇴화할 수 있다. 통합된 information-geometric framework를 활용하여, 우리는 KL의 dynamical formulation에서 Fisher–Rao geometry를 transport-based geometry로 대체함으로써 (Kalman)-Wasserstein 기반의 KL analogue를 도입하고, 흔한 distribution family에 대한 closed-form 값을 유도한다. 이러한 divergence는 support mismatch에서도 유한하며, Kalman ensemble method에서 사용되는 regularization heuristic에 대한 기하학적 해석을 제공한다. 우리는 KL-regularized optimal control에서 이러한 divergence의 유용성을 보인다. Gaussian process noise를 갖는 linear time-invariant system의 완전히 다룰 수 있는 설정에서, 고전적 KL은 process noise가 사라질 때 특이해지는 quadratic control penalty로 환원된다. 우리의 variant는 이러한 특이성을 제거하고 well-posed problem을 유도한다. double integrator와 cart-pole 예시에서, 그 결과 제어는 KL 기반 regularization보다 더 우수한 성능을 보인다."},{"id":"60568","en":"Why Linear Recurrent Memory Works in Partially Observable Reinforcement Learning","ko":"선형 순환 메모리가 부분 관측 강화학습에서 작동하는 이유","authors":"Yike Zhao, Onno Eberhard, Malek khammassi, Ali Sayed, Michael Muehlebach","pos":"#4210","link":"https://openreview.net/forum?id=ywjHJIkUgW","abs":"The family of linear recurrent neural networks has shown strong performance as recurrent memory units in partially observable reinforcement learning. We provide a theoretical justification for their empirical effectiveness by constructing and studying two linear filters: (i) the first exactly reproduces the pre–softmax logits of the belief vector in a hidden Markov model (HMM) under a deterministic transition matrix, thereby serving as a sufficient statistic for optimal policy learning, (ii) the second achieves vanishing state-decoding error under a nearly deterministic transition matrix, thus reducing state ambiguity to near zero. The results extend to action-controlled HMMs, where the corresponding linear filters become time-varying with action-dependent dynamics. We illustrate our main results through numerical experiments and further show that the constructed linear filter serves as a strong feature extractor in a small reinforcement learning game.
","absKo":"linear recurrent neural network 계열은 부분 관측 reinforcement learning에서 recurrent memory unit으로 강한 성능을 보여 왔다. 우리는 두 개의 linear filter를 구성하고 분석함으로써, 그 경험적 효과에 대한 이론적 근거를 제시한다: (i) 첫 번째는 deterministic transition matrix 하의 hidden Markov model(HMM)에서 belief vector의 pre-softmax logit을 정확히 재현하므로, 최적 policy 학습을 위한 sufficient statistic으로 작동한다. (ii) 두 번째는 거의 deterministic한 transition matrix 하에서 state decoding error를 소멸 수준으로 줄여 state ambiguity를 거의 0에 가깝게 만든다. 이 결과는 action-controlled HMM으로 확장되며, 이때 대응하는 linear filter는 action-dependent dynamics를 갖는 time-varying 시스템이 된다. 우리는 수치 실험을 통해 핵심 결과를 보이고, 더 나아가 구성한 linear filter가 작은 reinforcement learning 게임에서 강력한 feature extractor로 기능함을 추가로 보여준다.
"},{"id":"66220","en":"Near-Optimal Regret for Policy Optimization in Contextual MDPs with General Offline Function Approximation","ko":"일반적 오프라인 함수 근사를 갖는 Contextual MDP에서 정책 최적화의 준최적 Regret","authors":"Orin Levy, Aviv Rosenberg, Alon Peled-Cohen, Yishay Mansour","pos":"#4300","link":"https://openreview.net/forum?id=5faxBOZAmW","abs":"We introduce OPO-CMDP, the first policy optimization algorithm for stochastic Contextual Markov Decision Process (CMDPs) under general offline function approximation. Our approach achieves a high probability regret bound of $\\widetilde{O}(H^4\\sqrt{T|S||A|\\log(|\\mathcal{F}||\\mathcal{P}|)}),$ where $S$ and $A$ denote the state and action spaces, $H$ the horizon length, $T$ the number of episodes, and $\\mathcal{F}, \\mathcal{P}$ the finite function classes used to approximate the losses and dynamics, respectively. This is the first regret bound with optimal dependence on $|S|$ and $|A|$, directly improving the current state-of-the-art (Qian, Hu, and Simchi-Levi, 2024). These results demonstrate that optimistic policy optimization provides a natural, computationally superior and theoretically near-optimal path for solving CMDPs.","absKo":"우리는 일반적인 offline function approximation 하에서 stochastic Contextual Markov Decision Process(CMDP)를 위한 최초의 policy optimization 알고리즘인 OPO-CMDP를 소개한다. 우리의 접근법은 $\\widetilde{O}(H^4\\sqrt{T|S||A|\\log(|\\mathcal{F}||\\mathcal{P}|)})$의 high probability regret bound를 달성한다. 여기서 $S$와 $A$는 state와 action 공간을, $H$는 horizon 길이를, $T$는 episode 수를, $\\mathcal{F}$와 $\\mathcal{P}$는 각각 loss와 dynamics를 근사하는 데 사용되는 유한 function class를 의미한다. 이는 $|S|$와 $|A|$에 대해 최적의 의존성을 갖는 최초의 regret bound로서, 현재 state-of-the-art(Qian, Hu, and Simchi-Levi, 2024)를 직접 개선한다. 이러한 결과는 optimistic policy optimization이 CMDP를 해결하기 위한 자연스럽고, 계산적으로 우수하며, 이론적으로 거의 최적인 경로를 제공함을 보여준다."},{"id":"68816","en":"Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes","ko":"강건한 제약 Markov Decision Process를 위한 Mirror Descent Policy Optimisation","authors":"David Bossens, Atsushi Nitanda","pos":"#4301","abs":"Safety is an essential requirement for reinforcement learning systems. The newly emerging framework of robust constrained Markov decision processes allows learning policies that satisfy long-term constraints while providing guarantees under epistemic uncertainty. This paper presents mirror descent policy optimisation for robust constrained Markov decision processes, making use of policy gradient techniques to optimise both the policy (as a maximiser) and the transition kernel (as an adversarial minimiser) on the Lagrangian representing a constrained Markov decision process. Our proposed algorithm obtains an $\\tilde{\\mathcal{O}}\\left(1/T^{1/3}\\right)$ convergence rate in the sample-based robust constrained Markov decision process setting. The paper also contributes an algorithm for approximate gradient descent in the space of transition kernels, which is of independent interest for designing adversarial environments in general Markov decision processes. Experiments confirm the benefits of mirror descent policy optimisation in constrained and unconstrained optimisation, and significant improvements are observed in robustness tests when compared to baseline policy optimisation algorithms.","absKo":"Safety는 reinforcement learning 시스템에서 필수 요구사항이다. 새롭게 등장한 robust constrained Markov decision processes 프레임워크는 epistemic uncertainty 하에서 보장을 제공하면서 장기 제약을 만족하는 정책을 학습할 수 있게 한다. 이 논문은 robust constrained Markov decision processes를 위한 mirror descent policy optimisation을 제시하며, constrained Markov decision process를 나타내는 Lagrangian 위에서 정책(최대화자)과 transition kernel(적대적 최소화자)을 모두 최적화하기 위해 policy gradient 기법을 활용한다. 제안한 알고리즘은 sample-based robust constrained Markov decision process 설정에서 $\\tilde{\\mathcal{O}}\\left(1/T^{1/3}\\right)$의 수렴 속도를 달성한다. 또한 이 논문은 transition kernel 공간에서의 approximate gradient descent 알고리즘도 기여하는데, 이는 일반 Markov decision processes에서 adversarial environment를 설계하는 데 독립적으로도 흥미롭다. 실험 결과는 constrained 및 unconstrained optimization에서 mirror descent policy optimisation의 이점을 확인해 주며, robustness test에서는 baseline policy optimization 알고리즘과 비교해 유의미한 향상이 관찰된다."},{"id":"62587","en":"Minimax Optimal Strategy for Delayed Observations in Online Reinforcement Learning","ko":"Online Reinforcement Learning에서 지연 관측에 대한 Minimax 최적 전략","authors":"Harin Lee, Kevin Jamieson","pos":"#4302","link":"https://openreview.net/forum?id=fFupHW7Jqx","abs":"We study reinforcement learning with delayed state observation, where the agent observes the current state after some random number of time steps. We propose an algorithm that combines the augmentation method and the upper confidence bound approach. For tabular Markov decision processes (MDPs), we derive a regret bound of $\\tilde{\\mathcal{O}}(H \\sqrt{D_{\\max} SAK})$, where $S$ and $A$ are the cardinalities of the state and action spaces, $H$ is the time horizon, $K$ is the number of episodes, and $D_{\\max}$ is the maximum length of the delay. We also provide a matching lower bound up to logarithmic factors, showing the optimality of our approach. Our analytical framework formulates this problem as a special case of a broader class of MDPs, where their transition dynamics decompose into a known component and an unknown but structured component. We establish general results for this abstract setting, which may be of independent interest.","absKo":"우리는 지연된 state observation 하에서의 reinforcement learning을 연구한다. 이 설정에서 agent는 현재 state를 일정한 임의의 time step이 지난 뒤에 관측한다. 우리는 augmentation method와 upper confidence bound 접근을 결합한 알고리즘을 제안한다. tabular Markov decision process (MDP)에서 우리는 regret bound $\\tilde{\\mathcal{O}}(H \\sqrt{D_{\\max} SAK})$를 도출하는데, 여기서 $S$와 $A$는 state 및 action space의 크기, $H$는 time horizon, $K$는 episode 수, $D_{\\max}$는 delay의 최대 길이이다. 또한 logarithmic factor를 제외하면 일치하는 lower bound도 제시하여, 우리의 접근이 최적임을 보인다. 우리의 분석 framework는 이 문제를 더 넓은 class의 MDP에서의 특수한 경우로 정식화하며, 이때 transition dynamics는 알려진 component와 unknown하지만 structured한 component로 분해된다. 우리는 이 추상적 설정에 대한 일반적인 결과를 확립하며, 이는 그 자체로도 독립적인 관심을 가질 수 있다."},{"id":"66555","en":"Learning to Correct: Reinforcement Learning for Multi-Attempt Chain-of-Thought","ko":"교정 학습: 다중 시도 Chain-of-Thought를 위한 강화 학습","authors":"Muhammed Emrullah Ildiz, Halil Alperen Gozeten, Ege Onur Taga, Samet Oymak","pos":"#4303","link":"https://openreview.net/forum?id=2hGL0nGPLu","abs":"State-of-the-art reasoning models can utilize long chain-of-thought to solve sophisticated coding and math problems. During this process, the model often attemps at a solution multiple times by utilizing verification and self-reflection capabilities. In this work, we view a long CoT as a process where the model makes K attempts at solving a problem in which each attempt is allowed to build on earlier solutions. This way, we formalize long CoT as a pass@K problem with dependent samples. Under this formalism, we derive the policy gradient and RL algorithms for optimizing long CoT reward and derive how each attempt should be weighed for unbiased gradient computation while maintaining small variance. Our theory reveals how the self-correction capability and dense feedback influence the training and eventual performance of long CoT-based reasoning. We provide both synthetic and real experiments corroborating our theory and the benefits of the associated algorithms. As a by product, our research also reveals when verification and long chain-of-thought is beneficial over parallel sampling strategies and the role of the model capability.
","absKo":"최첨단 reasoning model은 긴 chain-of-thought를 활용해 정교한 coding 및 math 문제를 해결할 수 있다. 이 과정에서 model은 verification과 self-reflection 능력을 활용하여 종종 하나의 solution을 여러 번 시도한다. 본 연구에서는 긴 CoT를, 각 attempt가 이전 solution을 바탕으로 발전할 수 있도록 허용된 상태에서 문제를 푸는 K번의 시도 과정으로 본다. 이렇게 해서 우리는 긴 CoT를 dependent samples를 갖는 pass@K 문제로 formalize한다. 이 formalism 아래에서, 우리는 긴 CoT reward를 최적화하기 위한 policy gradient와 RL algorithm을 유도하고, 작은 variance를 유지하면서 unbiased gradient computation을 위해 각 attempt를 어떻게 가중해야 하는지도 도출한다. 우리의 이론은 self-correction 능력과 dense feedback가 긴 CoT 기반 reasoning의 training과 최종 성능에 어떻게 영향을 미치는지 밝힌다. 우리는 이론을 뒷받침하는 synthetic 및 real experiment를 모두 제시하고, 관련 algorithm의 이점을 입증한다. 부수적으로, 우리의 연구는 verification과 긴 chain-of-thought가 parallel sampling 전략보다 언제 유리한지, 그리고 model capability가 어떤 역할을 하는지도 드러낸다."},{"id":"62305","en":"Finite-time Convergence Analysis of Actor-Critic with Evolving Reward","ko":"진화하는 보상을 갖는 Actor-Critic의 유한 시간 수렴 분석","authors":"Rui Hu, Yu Chen, Longbo Huang","pos":"#4304","link":"https://openreview.net/forum?id=hocdjAEAIm","abs":"Many popular practical reinforcement learning (RL) algorithms employ evolving reward functions—through techniques such as reward shaping, entropy regularization, or curriculum learning—yet their theoretical foundations remain underdeveloped. This paper provides the first finite-time convergence analysis of a single-timescale actor-critic algorithm in the presence of an evolving reward function under Markovian sampling. We consider a setting where the reward parameters may change at each time step, affecting both policy optimization and value estimation. Under standard assumptions, we derive non-asymptotic bounds for both actor and critic errors. Our result shows that an $O(1/\\sqrt{T})$ convergence rate is achievable, matching the best-known rate for static rewards, provided the reward parameters evolve slowly enough. This rate is preserved when the reward is updated via a gradient-based rule with bounded gradient and on the same timescale as the actor and critic, offering a theoretical foundation for many popular RL techniques. As a secondary contribution, we introduce a novel analysis of distribution mismatch under Markovian sampling, improving the best-known rate by a factor of $\\log^2T$ in the static-reward case.","absKo":"많은 널리 사용되는 practical reinforcement learning (RL) algorithms는 reward shaping, entropy regularization, curriculum learning과 같은 기법을 통해 진화하는 reward functions를 사용하지만, 그 이론적 기반은 아직 충분히 발전하지 않았다. 본 논문은 Markovian sampling 하에서 evolving reward function이 존재할 때 single-timescale actor-critic algorithm의 최초의 finite-time convergence analysis를 제시한다. 우리는 reward parameters가 각 time step마다 변할 수 있으며, 이는 policy optimization과 value estimation 모두에 영향을 미치는 설정을 고려한다. 표준 가정하에서 actor와 critic error에 대한 non-asymptotic bounds를 유도한다. 우리의 결과는 reward parameters가 충분히 느리게 진화한다면, static rewards에서 알려진 최선의 rate와 일치하는 $O(1/\\sqrt{T})$ convergence rate를 달성할 수 있음을 보여준다. 이 rate는 reward가 bounded gradient를 갖는 gradient-based rule로 업데이트되고 actor와 critic과 같은 timescale에서 갱신될 때도 유지되며, 이는 널리 사용되는 많은 RL techniques에 대한 이론적 기반을 제공한다. 부차적 기여로, 우리는 Markovian sampling 하에서 distribution mismatch에 대한 새로운 분석을 제시하여, static-reward case에서의 최선의 rate를 $\\log^2T$ 배 개선한다."},{"id":"64873","en":"Convergence of Two-Timescale Stochastic Approximation with Markovian Samples and Applications in Reinforcement Learning","ko":"Markovian Sample을 활용한 Two-Timescale Stochastic Approximation의 수렴과 Reinforcement Learning에서의 응용","authors":"Vagul Mahadevan, Claire Chen, Shuze Liu, Shangtong Zhang","pos":"#4305","link":"https://openreview.net/forum?id=Iww9TICvKj","abs":"Stochastic approximations (SA)--algorithms which derive their power through the use of random, incremental updates--are at the heart of reinforcement learning (RL). Expanding the theory of SA has established rigorous results concerning the most important algorithms in RL, including stochastic gradient descent and temporal difference learning. In this work, we focus on two-timescale stochastic approximations, a class which notably includes temporal difference learning with gradient correction (TDC) and actor-critic methods. Prior work has developed stability (boundedness) and convergence criteria for two-timescale SA under i.i.d. noise, but analogous results for Markovian noise have remained elusive--a critical issue since RL data are generated by a Markov chain, making i.i.d. assumptions unrealistic. To address this gap, we present the first stability result and the first asymptotic convergence result for two-timescale schemes with Markovian noise under general, verifiable conditions--notably, without resorting to projected variants of the schemes or requiring the noise to be in a compact space. As a key application, we contribute the first asymptotic convergence proof of TDC, an off-policy prediction algorithm with linear approximation and eligibility traces. Together, our results extend SA theory, establishing the first theoretical foundation for analysis of two-timescale algorithms with the realistic noise models inherent to RL.
","absKo":"확률적 근사(stochastic approximations, SA) 알고리즘은 무작위의 점진적 업데이트를 통해 그 힘을 얻으며, reinforcement learning(RL)의 핵심에 있다. SA 이론의 확장은 stochastic gradient descent와 temporal difference learning을 포함하여 RL에서 가장 중요한 알고리즘들에 대한 엄밀한 결과를 확립해 왔다. 본 연구에서는 두 시간 척도 stochastic approximation(two-timescale stochastic approximation)에 초점을 맞춘다. 이 계열에는 temporal difference learning with gradient correction(TDC)과 actor-critic method가 특히 포함된다. 선행 연구는 i.i.d. noise 하에서 two-timescale SA의 안정성(boundedness) 및 수렴 기준을 개발했지만, Markovian noise에 대한 유사한 결과는 여전히 도달하기 어려웠다. 이는 RL 데이터가 Markov chain에 의해 생성되므로 i.i.d. 가정이 비현실적이기 때문에 중요한 문제이다. 이 격차를 메우기 위해, 우리는 일반적이고 검증 가능한 조건하에서 Markovian noise를 갖는 two-timescale scheme에 대한 최초의 안정성 결과와 최초의 점근 수렴 결과를 제시한다. 특히, scheme의 projected variant에 의존하지 않고, noise가 compact space에 있어야 한다는 요구도 두지 않는다. 핵심 응용으로, 우리는 linear approximation과 eligibility trace를 사용하는 off-policy prediction algorithm인 TDC의 최초의 점근 수렴 증명을 제공한다. 우리의 결과는 SA 이론을 확장하여, RL에 내재한 현실적인 noise model을 갖는 two-timescale algorithm 분석을 위한 최초의 이론적 기반을 확립한다.
"},{"id":"62002","en":"Compositional Behavioral Semantics and Metrics for State Abstraction in Reinforcement Learning","ko":"강화학습에서 state abstraction을 위한 구성적 행동 의미론 및 metrics","authors":"Yivan Zhang, Ziyan Luo, Manuel Baltieri","pos":"#4306","link":"https://openreview.net/forum?id=kovefbSXbQ","abs":"State abstraction plays a central role in scaling reinforcement learning to complex but structured systems. In studying such systems, a wide range of behavioral structures have been proposed in reinforcement learning, including value functions, invariants, bisimulation relations, and behavioral metrics. However, a general principle for determining what structures are provably preserved under state abstraction is still lacking. In this paper, we present a unified framework for defining and analyzing behavioral structures in reinforcement learning. Our framework provides a compositional way to specify behavioral semantics and metrics based on local, one-step descriptions of system dynamics. Using this framework, we establish results showing how behavioral structures can be safely transferred between abstract and concrete systems. We further show how to construct quantitative metrics from logical behavioral semantics with soundness guarantees. Together, these results provide a principled foundation for reasoning about behaviors under state abstraction in reinforcement learning and offer reusable definition and proof principles for a broad class of behavioral structures in reinforcement learning.
","absKo":"상태 추상화(state abstraction)는 복잡하지만 구조화된 system에 reinforcement learning을 확장하는 데 핵심적인 역할을 한다. 이러한 system을 연구하는 과정에서, value function, invariant, bisimulation relation, behavioral metric 등 다양한 behavioral structure가 reinforcement learning에서 제안되어 왔다. 그러나 상태 추상화 하에서 어떤 구조가 보존된다고 증명할 수 있는지에 대한 일반 원리는 여전히 부족하다. 본 논문에서는 reinforcement learning에서 behavioral structure를 정의하고 분석하기 위한 통합 프레임워크를 제시한다. 우리의 프레임워크는 system dynamics의 local한 1-step description을 바탕으로 behavioral semantics와 metric을 합성적으로 기술하는 방식을 제공한다. 이 프레임워크를 사용하여, 추상 시스템과 구체 시스템 사이에서 behavioral structure가 어떻게 안전하게 전달될 수 있는지 보여주는 결과를 확립한다. 또한 soundness 보장을 갖는 logical behavioral semantics로부터 quantitative metric을 구성하는 방법도 제시한다. 이 결과들은 reinforcement learning에서 state abstraction 하의 behavior를 추론하기 위한 원리적 기반을 제공하며, reinforcement learning의 광범위한 behavioral structure에 재사용 가능한 정의 및 증명 원칙을 제시한다."},{"id":"65442","en":"Commit to the Bit: Reactive Reinforcement Learning Done Right","ko":"비트에 전념하기: 제대로 된 반응형 강화학습","authors":"Onno Eberhard, Claire Vernade, Michael Muehlebach","pos":"#4307","link":"https://openreview.net/forum?id=DdNgzQfYE3","abs":"Theoretical properties of reinforcement learning algorithms are most commonly studied under the Markov assumption. This is unrealistic, as most environments encountered in practice are either partially observable, or require function approximation that restricts the agent to access non-Markovian state features. We consider the problem of learning an optimal reactive policy in a finite environment under deterministic observations (or equivalently, hard state aggregation). We introduce a new algorithm, _Committed Q-learning_, and prove almost sure convergence to the optimal reactive policy under an intuitive assumption we call _rewire-robustness_. This assumption is strictly weaker than the $q_\\star$-realizability condition used in prior work. Our algorithm is a variant of classical Q-learning in which the behavior policy commits to a single action upon entering a feature, and only resamples actions when the observed feature changes.","absKo":"강화학습 알고리즘의 이론적 성질은 가장 흔히 Markov assumption 하에서 연구된다. 이는 현실적이지 않은데, 실제로 접하는 대부분의 environment는 부분 관측 가능하거나, agent가 non-Markovian state feature에 접근하는 것을 제한하는 function approximation을 필요로 하기 때문이다. 우리는 deterministic observation(또는 동등하게 hard state aggregation) 하의 finite environment에서 optimal reactive policy를 학습하는 문제를 고려한다. 우리는 새로운 알고리즘 _Committed Q-learning_을 도입하고, _rewire-robustness_라고 부르는 직관적인 가정 하에서 optimal reactive policy로 almost sure convergence를 증명한다. 이 가정은 선행 연구에서 사용된 $q_\\star$-realizability condition보다 엄격하게 더 약하다. 우리의 algorithm은 고전적 Q-learning의 변형으로, behavior policy가 feature에 진입할 때 단일 action에 commit하고, 관측된 feature가 변할 때에만 action을 다시 샘플링한다."},{"id":"63070","en":"Chebyshev Policies and the Mountain Car Problem: Reinforcement Learning for Low-dimensional Control Tasks","ko":"Chebyshev 정책과 마운틴카 문제: 저차원 제어 태스크를 위한 강화학습","authors":"Stefan Huber, Hannes Unger, Georg Schäfer, Jakob Rehrl","pos":"#4308","link":"https://openreview.net/forum?id=aNWIVNjocB","abs":"We analytically solve the Mountain Car problem, a canonical benchmark in RL, and derive an optimal control solution, closing a gap after 36 years. This enables us to reveal two surprising insights: The optimal control is quite simple, yet modern RL agents display a large gap to optimality. Motivated by the analysis of the optimal control, we introduce Chebyshev policies as a universal (i.e. dense) class of RL policies from first principles. They can be trained as drop-in replacements of neural nets, reducing the regret by a factor of 4.18, while requiring 268 times fewer parameters, fostering sample efficiency, explainability and real-time capability. Chebyshev policies are evaluated on further RL environments, including a real-world non-linear motion control testbed. They consistently improve performance over neural nets with PPO, ARS and REINFORCE. Our results demonstrate how Chebyshev policies offer a compelling and lightweight alternative or addition to neural nets for low-dimensional control tasks.
","absKo":"우리는 RL의 대표적인 benchmark인 Mountain Car 문제를 해석적으로 해결하고 optimal control solution을 도출하여, 36년 만의 공백을 메웠다. 이를 통해 두 가지 놀라운 통찰을 얻을 수 있었다. optimal control은 꽤 단순하지만, 현대 RL agent는 optimality와 큰 격차를 보인다는 점이다. optimal control 분석에 동기를 얻어, 우리는 Chebyshev policy를 제1원리에서부터 도출한 universal(즉, dense)한 RL policy class로 제안한다. 이들은 neural net의 drop-in replacement로 학습될 수 있으며, 268배 더 적은 parameter를 사용하면서 regret을 4.18배 줄여 sample efficiency, explainability, real-time capability를 향상시킨다. Chebyshev policy는 실제 비선형 motion control testbed를 포함한 추가 RL environment에서도 평가되었다. PPO, ARS, REINFORCE를 사용하는 neural net보다 일관되게 성능을 개선했다. 우리의 결과는 Chebyshev policy가 low-dimensional control task에서 neural net에 대한 설득력 있고 경량의 대안 또는 보완책이 될 수 있음을 보여준다.
"},{"id":"60983","en":"Breaking the Computational Barrier: Provably Efficient Actor–Critic for Low-Rank MDPs","ko":"계산 장벽 넘기: Low-Rank MDP를 위한 증명 가능한 효율적 Actor-Critic","authors":"Ruiquan Huang, Donghao Li, Yingbin LIANG, Jing Yang","pos":"#4309","link":"https://openreview.net/forum?id=urlj8fAMrf","abs":"Reinforcement learning (RL) is a fundamental framework for sequential decision-making, in which an agent learns an optimal policy through interactions with an unknown environment. In settings with function approximation, many existing RL algorithms achieve favorable sample complexity, but often rely on computationally intractable oracles. In this paper, we use supervised learning as a computational proxy to establish a clear hierarchy of commonly adopted RL oracles under low-rank Markov Decision Processes (MDPs). This hierarchy shows that policy evaluation is the most computationally efficient oracle, provided that supervised learning can be efficiently solved. Motivated by this observation, we propose a novel optimistic actor–critic algorithm that relies solely on the policy evaluation oracle. We prove that our algorithm outperforms the existing sample complexity guarantees for low-rank MDPs while avoiding computationally expensive planning or optimization oracles commonly assumed in prior works. We further extend our theoretical results to approximately low-rank MDPs and demonstrate that this setting captures a broad class of real-world environments. Finally, we validate our theoretical results with experiments on several standard Gym benchmarks.
","absKo":"Reinforcement learning (RL)은 순차적 의사결정의 기본 framework로, agent가 unknown environment와의 상호작용을 통해 optimal policy를 학습한다. function approximation이 있는 설정에서 많은 기존 RL 알고리즘은 유리한 sample complexity를 달성하지만, 종종 계산적으로 다루기 어려운 oracle에 의존한다. 본 논문에서는 supervised learning을 computational proxy로 사용하여, low-rank Markov Decision Processes (MDPs) 하에서 일반적으로 채택되는 RL oracle들의 명확한 계층을 확립한다. 이 계층 구조는 supervised learning을 효율적으로 풀 수 있다면 policy evaluation이 가장 계산적으로 효율적인 oracle임을 보여 준다. 이러한 관찰에 동기를 받아, 우리는 policy evaluation oracle에만 의존하는 새로운 optimistic actor–critic algorithm을 제안한다. 우리는 우리의 algorithm이 low-rank MDP에 대한 기존 sample complexity 보장을 능가하면서도, 선행 연구에서 흔히 가정하던 계산 비용이 큰 planning 또는 optimization oracle을 피할 수 있음을 증명한다. 더 나아가, 이론적 결과를 approximately low-rank MDP로 확장하고, 이 설정이 실제 환경의 폭넓은 클래스를 포착함을 보인다. 마지막으로 여러 표준 Gym benchmark에서 실험을 수행하여 이론적 결과를 검증한다.
"},{"id":"65633","en":"A World in Pieces: Structural Certification of General Agents","ko":"조각난 세계: 일반 에이전트의 구조적 인증","authors":"Yikai Lu, Yifei Wu, Xinyu Lu, Tongxin Li","pos":"#4310","link":"https://openreview.net/forum?id=BfeHBPYkZ0","abs":"In the big-world regime, agents cannot be universally capable and their ability is inevitably specialized across a world in pieces. Consequently, standard uniform guarantees fail to distinguish between the understanding of critical bottlenecks and irrelevant failures. We first formalize this limitation by proving that *general agents are not universal*, rendering standard worst-case analysis uninformative. To overcome this, we introduce **structural certification**, a transition-local framework that maps bounded goal-conditioned performance to entry-wise guarantees on the agent's internal world model. Our main contribution is constructive. We provide algorithms that filter specific transitions using deep compositional goals and prove that a general agent on these goals has a structural world model with a $\\mathcal{O}(1/n)+\\mathcal{O}(\\delta)$ error bound. Conversely, this bound is tight in the small-$\\delta$ regime, whose existence is explicitly guaranteed by our certification. These results enable the certifiable deployment of general agents by localizing the specific transitions where long-horizon planning is reliable.","absKo":"빅월드(big-world) regime에서는 에이전트가 보편적으로 유능할 수 없으며, 그 능력은 세계가 여러 조각으로 나뉜 각 부분에 걸쳐 필연적으로 특화된다. 따라서 표준적인 uniform guarantee는 중요한 병목에 대한 이해와 무관한 실패를 구분하지 못한다. 우리는 먼저 *general agents are not universal*를 증명함으로써 이러한 한계를 formalize하며, 이로 인해 표준 worst-case analysis는 정보를 주지 못함을 보인다. 이를 극복하기 위해 우리는 에이전트의 internal world model에 대한 entry-wise guarantee로 bounded goal-conditioned performance를 매핑하는 transition-local framework인 structural certification을 도입한다. 우리의 핵심 기여는 constructive하다. 우리는 deep compositional goal을 사용해 특정 transition을 필터링하는 algorithm을 제시하고, 이러한 goal 위의 general agent가 $\\mathcal{O}(1/n)+\\mathcal{O}(\\delta)$ 오차 상계를 가진 structural world model을 갖는다는 것을 증명한다. 반대로, 이 상계는 small-$\\delta$ regime에서 tight하며, 그 존재는 우리의 certification에 의해 명시적으로 보장된다. 이러한 결과는 장기 계획(long-horizon planning)이 신뢰할 수 있는 특정 transition을 국소화함으로써 general agent의 certifiable deployment를 가능하게 한다."},{"id":"62168","en":"Best-of-Both-Worlds for Heavy-Tailed Markov Decision Processes","ko":"Heavy-Tailed Markov Decision Processes를 위한 Best-of-Both-Worlds","authors":"Yu Chen, Yuhao Liu, Jiatai Huang, Yihan Du, Longbo Huang","pos":"#4400","link":"https://openreview.net/forum?id=j6gXeiPJ3z","abs":"We investigate episodic Markov Decision Processes with heavy-tailed feedback (HTMDPs). Existing approaches for HTMDPs are conservative in stochastic environments and lack adaptivity in adversarial regimes. In this work, we propose algorithms ```HT-FTRL-OM``` and ```HT-FTRL-UOB``` for HTMDPs that achieve Best-of-Both-Worlds (BoBW) guarantees: instance-independent regret in adversarial environments and logarithmic instance-dependent regret in self-bounding (including the stochastic case) environments. For the known transition setting, ```HT-FTRL-OM``` applies the Follow-The-Regularized-Leader (FTRL) framework over occupancy measures with novel skipping loss estimators, achieving a $\\widetilde{\\mathcal{O}}(T^{1/\\alpha})$ regret bound in adversarial regimes and a $\\mathcal{O}(\\log T)$ regret in stochastic regimes. Building upon this framework, we develop a novel algorithm ```HT-FTRL-UOB``` to tackle the more challenging unknown-transition setting. This algorithm employs a pessimistic skipping loss estimator and achieves a $\\widetilde{\\mathcal{O}}(T^{1/\\alpha} + \\sqrt{T})$ regret in adversarial regimes and a $\\mathcal{O}(\\log^2(T))$ regret in stochastic regimes. Our analysis overcomes key barriers through several technical insights, including a local control mechanism for heavy-tailed shifted losses, a new suboptimal-mass propagation principle, and a novel regret decomposition that isolates transition uncertainty from heavy-tailed estimation errors and skipping bias.","absKo":"우리는 heavy-tailed feedback(HTMDP)를 갖는 episodic Markov Decision Process를 연구한다. HTMDP를 위한 기존 접근법은 stochastic environment에서 보수적이며, adversarial regime에서는 적응성이 부족하다. 본 연구에서는 HTMDP를 위한 알고리즘 ```HT-FTRL-OM```과 ```HT-FTRL-UOB```를 제안하여 Best-of-Both-Worlds(BoBW) 보장을 달성한다. 즉, adversarial environment에서 instance-independent regret을, self-bounding(직각적으로 stochastic case를 포함) environment에서 logarithmic instance-dependent regret을 보장한다. known transition setting에서 ```HT-FTRL-OM```은 새로운 skipping loss estimator와 함께 occupancy measure 위에서 Follow-The-Regularized-Leader(FTRL) framework를 적용하여, adversarial regime에서 $\\widetilde{\\mathcal{O}}(T^{1/\\alpha})$ regret bound와 stochastic regime에서 $\\mathcal{O}(\\log T)$ regret을 달성한다. 이 framework를 바탕으로, 더 어려운 unknown-transition setting을 다루기 위해 새로운 알고리즘 ```HT-FTRL-UOB```를 개발한다. 이 알고리즘은 pessimistic skipping loss estimator를 사용하며, adversarial regime에서 $\\widetilde{\\mathcal{O}}(T^{1/\\alpha} + \\sqrt{T})$ regret과 stochastic regime에서 $\\mathcal{O}(\\log^2(T))$ regret을 달성한다. 우리의 분석은 heavy-tailed shifted loss에 대한 local control mechanism, 새로운 suboptimal-mass propagation principle, 그리고 transition uncertainty를 heavy-tailed estimation error 및 skipping bias로부터 분리하는 새로운 regret decomposition을 포함한 여러 기술적 통찰을 통해 핵심 장벽을 극복한다."},{"id":"64293","en":"Provable Benefits of RLVR over SFT for Reasoning Models: Learning to Backtrack Efficiently","ko":"추론 모델에서 SFT 대비 RLVR의 증명 가능한 이점: 효율적 백트래킹 학습","authors":"Stanley Wei, Juno Kim","pos":"#4504","link":"https://openreview.net/forum?id=P3Mnh7mF5a","abs":"Recent advances in large language models (LLMs) have demonstrated that reinforcement fine-tuning of pretrained base models can lead to significant gains in reasoning performance at inference time. In this work, we theoretically analyze why reinforcement fine-tuning induces better reasoning ability than purely supervised fine-tuning (SFT) methods. We model chain-of-thought (CoT) reasoning as a pathfinding problem on graphs and compare the popular method of reinforcement learning with verifiable rewards (RLVR) against traditional SFT. We prove that SFT, when trained on golden shortest paths without negative examples, fails to learn how to efficiently backtrack. In contrast, an RLVR-trained model can learn how to efficiently backtrack from dead ends using only outcome reward. This leads to a provable inference-time compute separation between the two methods, and demonstrates that RLVR allows the model to learn the location of difficult decisions in a reasoning chain, ultimately allowing for better allocation of inference-time compute. Finally, we show that the reasoning traces of an RLVR model can be distilled to train a base model to backtrack efficiently as well.
","absKo":"대형 언어 모델 (LLMs)의 최근 발전은 pretrained base model에 대한 reinforcement fine-tuning이 inference 시점의 reasoning 성능에서 상당한 향상을 이끌 수 있음을 보여주었습니다. 본 연구에서는 reinforcement fine-tuning이 순수한 supervised fine-tuning (SFT) 방법보다 왜 더 나은 reasoning 능력을 유도하는지 이론적으로 분석합니다. 우리는 chain-of-thought (CoT) reasoning을 그래프 상의 pathfinding 문제로 모델링하고, verifiable rewards를 사용하는 reinforcement learning (RLVR)의 널리 쓰이는 방법과 전통적인 SFT를 비교합니다. 우리는 negative example 없이 golden shortest path로 학습된 SFT는 효율적으로 backtracking하는 방법을 학습하지 못함을 증명합니다. 반면, RLVR로 학습된 모델은 outcome reward만을 사용해 dead end에서 효율적으로 backtracking하는 방법을 학습할 수 있습니다. 이는 두 방법 사이에 provable한 inference-time compute separation을 초래하며, RLVR이 모델로 하여금 reasoning chain에서 어려운 decision의 위치를 학습하게 하여 궁극적으로 inference-time compute를 더 잘 배분하도록 만든다는 점을 보여줍니다. 마지막으로, RLVR 모델의 reasoning trace를 distill하여 base model 역시 효율적으로 backtracking하도록 학습할 수 있음을 보입니다.
"},{"id":"62865","en":"Offline Two-Player Zero-Sum Markov Games with KL Regularization","ko":"KL 정규화를 갖는 오프라인 2인 제로섬 Markov Games","authors":"Claire Chen, Yuheng Zhang, Xinyu Liu, Zixuan Xie, Shuze Liu, Nan Jiang","pos":"#4508","link":"https://openreview.net/forum?id=cQD2wxFhFG","abs":"We study the problem of learning Nash equilibria in offline two-player zero-sum Markov games. While existing approaches often rely on explicit pessimism to address distribution shift, we show that KL regularization alone suffices to stabilize learning and guarantee convergence. We first introduce Regularized Offline Sequential Equilibrium (ROSE), a theoretical framework that achieves a fast $\\widetilde{\\mathcal{O}}(1/n)$ convergence rate under \\textit{unilateral concentrability}, improving over the standard $\\widetilde{\\mathcal{O}}(1/\\sqrt{n})$ rates in unregularized settings. We then propose Sequential Offline Self-play Mirror Descent (SOS-MD), a practical model-free algorithm based on least-squares value estimation and iterative self-play updates. We prove that SOS-MD attains the same $\\widetilde{\\mathcal{O}}(1/n)$ statistical rate with a linear iteration complexity.","absKo":"우리는 offline two-player zero-sum Markov game에서 Nash equilibrium을 학습하는 문제를 연구한다. 기존 접근법은 distribution shift를 다루기 위해 명시적인 pessimism에 의존하는 경우가 많지만, 우리는 KL regularization만으로도 학습을 안정화하고 수렴을 보장하기에 충분함을 보인다. 먼저 우리는 Regularized Offline Sequential Equilibrium (ROSE)을 소개하는데, 이는 \\textit{unilateral concentrability} 하에서 빠른 $\\widetilde{\\mathcal{O}}(1/n)$ 수렴률을 달성하는 이론적 framework로, regularization이 없는 설정의 표준 $\\widetilde{\\mathcal{O}}(1/\\sqrt{n})$ rate보다 개선된다. 이어서 우리는 least-squares value estimation과 iterative self-play update에 기반한 실용적인 model-free 알고리즘인 Sequential Offline Self-play Mirror Descent (SOS-MD)를 제안한다. 우리는 SOS-MD가 선형 iteration complexity로 동일한 $\\widetilde{\\mathcal{O}}(1/n)$ 통계적 rate를 달성함을 증명한다."}];window.dispatchEvent(new CustomEvent("papers-loaded",{detail:"68687"}));