Most existing 3D assembly methods treat the problem as pure pose estimation, rearranging observed parts via rigid transformations. In contrast, human assembly naturally couples structural reasoning with holistic shape inference. Inspired by this intuition, we reformulate 3D assembly as a joint problem of assembly and generation. We show that these two processes are mutually reinforcing: assembly provides part-level structural priors for generation, while generation injects holistic shape context that resolves ambiguities in assembly. Unlike prior methods that cannot synthesize missing geometry, we propose CRAG, which simultaneously generates plausible complete shapes and predicts poses for input parts. Extensive experiments demonstrate state-of-the-art performance across in-the-wild objects with diverse geometries, varying part counts, and missing pieces. Our code and models will be released.
","absKo":"기존의 대부분 3D assembly 방법은 이 문제를 순수한 pose estimation으로 취급하여, 관측된 part를 rigid transformation으로 재배열한다. 반면 인간의 조립은 구조적 추론과 전체 형상 추론을 자연스럽게 결합한다. 이러한 직관에서 영감을 받아 우리는 3D assembly를 assembly와 generation의 결합 문제로 재정식화한다. 우리는 이 두 과정이 상호 보강적임을 보인다. assembly는 generation에 part-level structural prior를 제공하고, generation은 assembly의 모호성을 해결하는 전체 형상 context를 주입한다. 이전 방법들이 누락된 geometry를 합성할 수 없었던 것과 달리, 우리는 입력 part의 pose를 예측하는 동시에 plausible한 complete shape를 생성하는 CRAG를 제안한다. 광범위한 실험은 다양한 geometry, 서로 다른 part 수, 누락된 조각을 가진 실제 세계 객체 전반에서 state-of-the-art 성능을 입증한다. 코드와 모델은 공개될 예정이다."},{"id":"67078","en":"Position: Unlabeled ≠ No Human Supervision in Visual Learning","ko":"Position: 시각 학습에서 Unlabeled ≠ 인간 감독 없음","authors":"Dong Lao","pos":"#4516","link":"https://openreview.net/forum?id=n7wYQNAyJH","abs":"This position paper argues that the absence of labels does not imply the absence of human supervision in visual learning, and therefore urges the research community to explicitly identify sources of supervision, rather than grouping all label-free approaches under the umbrella term \"unsupervised\". Many recent methods in computer vision build upon pre-trained representations learned from large-scale unlabeled data, and are therefore regarded as requiring no human supervision. We argue that this view conflates label-free learning with human-free learning, as data curation and filtering inevitably embed substantial human priors on which modern learning systems rely. This confusion risks gatekeeping fundamental unsupervised learning research, a trend reflected in the surprising decline of the term “unsupervised” in paper titles following the rise and widespread adoption of self-supervised pre-training, despite continued growth of the field. Rather than questioning the legitimacy of foundational pre-training within unsupervised learning, we advocate for greater conceptual clarity by encouraging authors to disclose data distribution priors and data-selective biases, and to specify which components of a learning pipeline depend on which assumptions. Standardized disclosure practices can improve academic communication, ensure fairer comparisons, and preserve methodological diversity in unsupervised learning.
","absKo":"이 position paper는 label의 부재가 visual learning에서 human supervision의 부재를 의미하지 않으며, 따라서 연구 커뮤니티가 모든 label-free approach를 \"unsupervised\"라는 포괄적 용어 아래 묶기보다 supervision의 출처를 명시적으로 식별해야 한다고 주장한다. 최근 computer vision의 많은 방법은 대규모 unlabeled data에서 학습한 pre-trained representation 위에 구축되며, 따라서 human supervision이 필요하지 않은 것으로 여겨진다. 우리는 이러한 관점이 label-free learning과 human-free learning을 혼동한다고 주장한다. data curation과 filtering은 현대 learning system이 의존하는 상당한 human prior를 필연적으로 내포하기 때문이다. 이러한 혼동은 foundational unsupervised learning 연구를 사실상 배제하는 gatekeeping 위험을 낳으며, self-supervised pre-training의 부상과 광범위한 채택 이후 논문 제목에서 “unsupervised”라는 용어가 놀랍게 감소한 현상에서도 이러한 경향이 드러난다. 다만 우리는 unsupervised learning에서의 기초적 pre-training의 정당성을 문제 삼는 대신, 저자들이 data distribution prior와 data-selective bias를 공개하고, learning pipeline의 어떤 구성 요소가 어떤 가정에 의존하는지 명시하도록 장려함으로써 개념적 명료성을 높이자고 제안한다. 표준화된 공개 관행은 학술 커뮤니케이션을 개선하고, 더 공정한 비교를 보장하며, unsupervised learning의 방법론적 다양성을 보존할 수 있다.
"},{"id":"61047","en":"SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?","ko":"SWE-Bench Pro: AI Agent는 장기 Software Engineering 과제를 해결할 수 있는가?","authors":"Xiang Deng, Jeff Da, Edwin Pan, Yannis Yiming He, Charles Ide, Kanak Garg, Niklas Lauffer, Andrew Park, Chetan Rane, Karmini Sampath, Maya Krishnan, Srivatsa Kundurthy, Sean Hendryx, Zifan Wang, Chen Bo Calvin Zhang, Noah Jacobson, Bing Liu, Brad Kenstler","pos":"#4624","link":"https://openreview.net/forum?id=uEVTdoAbnK","abs":"We present SWE-Bench Pro, a comprehensive benchmark designed to evaluate software engineering capabilities through complex, realistic programming challenges. This benchmark extends beyond traditional algorithmic problems to encompass the full spectrum of professional software development tasks. The dataset comprises 1,865 problems sourced from 41 active software engineering repositories, spanning 123 unique programming languages and various application domains. The benchmark is structured into public and private components, with public access to problems from 11 repositories and private evaluation sets from 12 repositories across 4 distinct problem categories. SWE-Bench Pro addresses limitations of existing evaluation frameworks by incorporating problems that reflect real-world software engineering scenarios, including substantial codebases, complex enterprise applications, and multi-file projects requiring sophisticated reasoning and code modification skills. Problems range from early-stage startup environments to enterprise-level applications, with the private commercial set remaining inaccessible to maintain evaluation integrity while enabling public access to representative problems for professional development. Our evaluation methodology employs diverse coding approaches and models under controlled conditions, ensuring robust performance assessment across multiple programming paradigms. Results demonstrate significant performance variations across different problem categories, with traditional algorithmic challenges showing notably higher success rates compared to complex, multi-file engineering tasks. The benchmark reveals substantial gaps in current capabilities for handling real-world software engineering scenarios, particularly in areas requiring deep contextual understanding, cross-file reasoning, and integration with existing large-scale systems. This work contributes a more comprehensive and realistic evaluation framework for assessing software engineering capabilities, providing insights into current limitations and establishing a foundation for future development in automated software engineering tools and methodologies.
","absKo":"우리는 복잡하고 현실적인 프로그래밍 과제를 통해 software engineering 능력을 평가하도록 설계된 포괄적 benchmark인 SWE-Bench Pro를 제시한다. 이 benchmark는 전통적인 algorithmic problem을 넘어 전문 software development task의 전 범위를 포괄한다. 데이터셋은 41개의 활성 software engineering repository에서 수집한 1,865개 문제로 구성되며, 123개의 고유한 programming language와 다양한 application domain을 아우른다. benchmark는 public과 private 구성 요소로 나뉘며, 11개 repository의 문제에 대한 public access와 4개의 서로 다른 문제 범주에 걸친 12개 repository의 private evaluation set을 포함한다. SWE-Bench Pro는 상당한 규모의 codebase, 복잡한 enterprise application, 정교한 reasoning과 code modification 능력을 요구하는 multi-file project를 포함하여 실제 software engineering 시나리오를 반영하는 문제를 통합함으로써 기존 evaluation framework의 한계를 해결한다. 문제는 초기 단계 startup 환경부터 enterprise 수준 application까지 다양하며, private commercial set은 평가의 무결성을 유지하기 위해 접근이 제한되는 반면, 전문 개발을 위한 대표적 문제들에 대한 public access는 제공된다. 우리의 평가 방법론은 통제된 조건 하에서 다양한 coding approach와 model을 사용하여 여러 programming paradigm 전반에 걸쳐 강건한 성능 평가를 보장한다. 결과는 서로 다른 문제 범주 간에 상당한 성능 차이가 있음을 보여주며, 전통적인 algorithmic challenge는 복잡한 multi-file engineering task에 비해 현저히 높은 성공률을 보였다. 이 benchmark는 실제 software engineering 시나리오를 처리하는 현재 능력의 상당한 격차를 드러내며, 특히 깊은 contextual understanding, cross-file reasoning, 기존 대규모 시스템과의 통합이 요구되는 영역에서 그러하다. 본 연구는 software engineering 능력을 평가하기 위한 더 포괄적이고 현실적인 evaluation framework를 제공하며, 현재의 한계에 대한 통찰을 주고 자동화 software engineering tool과 methodology의 향후 발전을 위한 기반을 마련한다.
"},{"id":"62967","en":"Towards Resource-Efficient LLMs: End-to-End Energy Accounting of Distillation Pipelines","ko":"자원 효율적 LLM으로 가기: Distillation Pipeline의 End-to-End Energy Accounting","authors":"Katherine Lambert, Sasha Luccioni","pos":"#4115","link":"https://openreview.net/forum?id=bO7YMfd1mp","abs":"The rise in deployment of large language models has driven a surge in GPU demand and datacenter scaling, raising concerns about electricity use, grid stress, and the impacts of modern AI workloads. Distillation is often promoted as one of the most effective paths to obtain cheaper, more efficient models, yet these claims rarely account for the full end-to-end energy and resource costs, including crucial teacher-side workloads such as data generation, logit caching, and evaluation. We present a comprehensive energy accounting framework that measures the complete computational cost of distillation pipelines via detailed stage-wise tracking of GPU device power consumption. In our experiments, we separate and log empirical energy use across distinct phases and systematically measure the energy and emissions of two common distillation methods: the classic logit-based knowledge distillation and synthetic-data supervised fine-tuning, constructing energy–quality–throughput Pareto frontiers that expose the previously ignored costs. From these measurements and analyses, we derive practical design rules for selecting distillation methods and hyperparameters under energy and budget constraints, and release an open-source measurement harness and accounting protocol to provide a standardized foundation for comparable, reproducible distillation research, explicitly accountable for complete pipeline energy impact.
","absKo":"대규모 언어 모델의 배포가 증가하면서 GPU 수요와 데이터센터 확장이 급증했고, 그 결과 전력 사용, 전력망 부담, 현대 AI workload의 영향에 대한 우려도 커졌다. Distillation은 더 저렴하고 효율적인 모델을 얻는 가장 효과적인 경로 중 하나로 자주 제시되지만, 이러한 주장들은 data generation, logit caching, evaluation 같은 핵심 teacher-side workload를 포함한 end-to-end 에너지와 자원 비용 전체를 거의 반영하지 않는다. 우리는 GPU device power consumption을 단계별로 세밀하게 추적하여 distillation pipeline의 완전한 계산 비용을 측정하는 종합 에너지 회계 framework를 제시한다. 실험에서는 서로 다른 phase에 걸친 실증적 에너지 사용을 분리해 기록하고, classic logit-based knowledge distillation과 synthetic-data supervised fine-tuning이라는 두 가지 일반적인 distillation 방법의 에너지와 배출량을 체계적으로 측정하여, 이전에 간과되던 비용을 드러내는 energy-quality-throughput Pareto frontier를 구축한다. 이러한 측정과 분석을 바탕으로 에너지 및 예산 제약 하에서 distillation 방법과 hyperparameter를 선택하기 위한 실용적 설계 규칙을 도출하고, 완전한 pipeline의 에너지 영향을 명시적으로 회계하는 비교 가능하고 재현 가능한 distillation 연구를 위한 표준화된 기반을 제공하는 오픈소스 측정 harness와 회계 protocol을 공개한다.
"},{"id":"61581","en":"Bioacoustic Geolocation: Species Sounds as Geographic Signals","ko":"Bioacoustic Geolocation: 종의 소리를 지리적 신호로 활용하기","authors":"Mustafa Chasmai, Wuao Liu, Subhransu Maji, Grant Horn","pos":"#4417","link":"https://openreview.net/forum?id=okWAqiCEQD","abs":"Can we determine someone’s geographic location solely from the sounds they hear? Are acoustic signals enough to localize within a country, state, or even city? In this work, we tackle the challenge of global-scale audio geolocation, with a particular focus on wildlife and natural sounds. We posit that bioacoustic signals contain informative geolocation cues because of well-defined geographic ranges of species. To test this hypothesis, we benchmark image geolocation and soundscape mapping methods, design oracles and species-centric baselines, and propose a hybrid approach that combines species range prediction with retrieval-based geolocation. We further ask whether geolocation improves with species-diverse recordings and spatiotemporal aggregation across neighboring samples. Finally, we extend our study to multimodal geolocation with case studies from movies that combine both audio and visual content. Our results highlight the potential of incorporating bioacoustic signals into geospatial tasks, motivating future work on species recognition and audio geolocation.
","absKo":"사람이 듣는 소리만으로 그 사람의 지리적 위치를 알아낼 수 있을까? 음향 신호만으로 국가, 주, 심지어 도시 수준까지 위치를 특정할 수 있을까? 본 연구에서는 특히 야생동물과 자연음을 중심으로, 전 지구 규모의 audio geolocation 문제를 다룬다. 우리는 생물음향 신호가 종의 명확한 지리적 분포 범위 때문에 유용한 geolocation 단서를 담고 있다고 가정한다. 이 가설을 검증하기 위해, 우리는 image geolocation과 soundscape mapping 방법을 벤치마크하고, oracle과 species-centric baseline을 설계하며, species range prediction과 retrieval-based geolocation을 결합한 hybrid approach를 제안한다. 또한 종 다양성이 높은 녹음과 인접 샘플 간의 시공간적 aggregation이 geolocation 성능을 향상시키는지 질문한다. 마지막으로, 오디오와 비주얼 콘텐츠를 모두 결합한 영화 사례 연구를 통해 multimodal geolocation으로 연구를 확장한다. 우리의 결과는 bioacoustic signal을 geospatial task에 통합할 잠재력을 보여주며, species recognition과 audio geolocation에 대한 향후 연구를 촉진한다.
"},{"id":"64635","en":"GIFT: Bootstrapping Image-to-CAD Program Synthesis via Geometric Feedback","ko":"GIFT: 기하학적 피드백을 통한 Image-to-CAD 프로그램 합성 부트스트래핑","authors":"Giorgio Giannone, Anna Doris, Amin Nobari, Kai Xu, Akash Srivastava, Faez Ahmed","pos":"#1000","link":"https://openreview.net/forum?id=LShQYeeop5","abs":"Mapping images to executable CAD programs is a central challenge in generative design, yet aligning visual inputs with symbolic code remains difficult. Existing approaches typically rely on brittle supervised fine-tuning or costly online reinforcement learning to overcome data limitations. In this work, we ask: how far can we push performance by leveraging test-time compute to bootstrap an augmented training set? We identify the primary bottleneck as the scarcity of diverse data aligning visual geometry with program syntax, rather than model capacity. To address this, we introduce Geometric Inference Feedback Tuning (GIFT), a framework that uses geometric feedback to generate high-quality data augmentations. GIFT systematically analyzes model failures via inference-time scaling, verifying geometric accuracy with a CAD kernel. GIFT bootstraps and curates an alignment dataset through two core mechanisms: Soft-Rejection Sampling (SRS), which captures diverse valid programs beyond ground-truth matching, and Failure-Driven Augmentation (FDA), which improves robustness by re-purposing rendered near-miss failures as synthetic training examples to cover hard negative geometries. By amortizing these insights into the model weights, GIFT matches the performance of extensive test-time scaling with an 80 % reduction in inference compute. It outperforms strong baselines by 12 % and remains competitive with complex multimodal systems, all without additional supervision or specialized architectures.
","absKo":"이미지를 실행 가능한 CAD program으로 매핑하는 것은 generative design의 핵심 과제이지만, 시각적 입력과 symbolic code를 정렬하는 일은 여전히 어렵다. 기존 접근법은 대개 취약한 supervised fine-tuning이나 데이터 한계를 극복하기 위한 비용이 큰 online reinforcement learning에 의존한다. 본 연구에서는 augmented training set을 bootstrap하기 위해 test-time compute를 활용하면 성능을 얼마나 끌어올릴 수 있는지 묻는다. 우리는 주요 병목이 model capacity가 아니라, visual geometry와 program syntax를 정렬하는 다양한 데이터의 부족이라고 식별한다. 이를 해결하기 위해 우리는 geometric feedback을 사용하여 고품질 data augmentation을 생성하는 Geometric Inference Feedback Tuning (GIFT)를 도입한다. GIFT는 inference-time scaling을 통해 model failure를 체계적으로 분석하고, CAD kernel로 geometric accuracy를 검증한다. GIFT는 두 가지 핵심 메커니즘을 통해 alignment dataset을 bootstrap하고 정제한다. 첫째, ground-truth matching을 넘어 다양한 유효 program을 포착하는 Soft-Rejection Sampling (SRS), 둘째, 렌더링된 near-miss failure를 hard negative geometry를 포괄하는 synthetic training example로 재활용하여 robustness를 높이는 Failure-Driven Augmentation (FDA)이다. 이러한 통찰을 model weights에 amortize함으로써, GIFT는 inference compute를 80 % 줄이면서도 광범위한 test-time scaling의 성능에 맞먹는다. 또한 추가적인 supervision이나 특수한 architecture 없이도 강력한 baseline보다 12 % 높은 성능을 보이며, 복잡한 multimodal system과도 경쟁력을 유지한다.
"},{"id":"65977","en":"Large-Scale Notification Dispatch with Bundle Treatments and Multi-Outcome Uplift Optimization","ko":"번들 처치와 다중 결과 업리프트 최적화를 활용한 대규모 알림 발송","authors":"Jiajing Xu, Yanyun Li, Songyongbao, Minqin Zhu, Huxiao Ji, Linchuan Li, Cunyi Zhang, lixuanping, Kaiqiao Zhan, Yanan Niu","pos":"#1001","link":"https://openreview.net/forum?id=8GH752ZJ5j","abs":"Notification dispatch plays a critical role in large-scale user engagement, involving complex trade-offs across notification timing, presentation style, multiple outcomes, and constraints. In this paper, we formulate it as a constrained optimization over bundle treatments that jointly specify timing and presentation style, aiming to maximize incremental Daily Active Users (DAU) subject to platform-level budget and device vendor-specific quota constraints. The problem is challenging due to multi-dimensional, small-effect uplift estimation and large-scale constrained optimization. To address these challenges, we propose $\\textbf{B}$undle $\\textbf{U}$plift $\\textbf{O}$ptimization with $\\textbf{P}$runed $\\textbf{L}$agrangian-based $\\textbf{R}$elaxation (BUOPLR), a two-stage notification dispatch method that decouples uplift estimation from constrained decision-making. BUOPLR first learns bundle-level, multi-outcome small uplift through an architecture that captures cross-treatment and cross-outcome relationships, and then performs scalable assignment by restricting the decision space and applying Lagrangian relaxation to a small set of global constraints. Offline experiments show BUOPLR outperforms state-of-the-art methods, and online A/B tests increase DAU by 0.5\\%. BUOPLR is now deployed on a major Internet platform serving over 100 million users daily.","absKo":"Notification dispatch는 대규모 user engagement에서 핵심적인 역할을 하며, notification timing, presentation style, multiple outcome, constraint 전반에 걸쳐 복잡한 trade-off를 수반한다. 본 논문에서는 이를 timing과 presentation style을 공동으로 지정하는 bundle treatment에 대한 constrained optimization으로 정식화하고, platform-level budget과 device vendor-specific quota constraint를 만족하면서 incremental Daily Active Users (DAU)를 최대화하는 것을 목표로 한다. 이 문제는 다차원적이고 효과 크기가 작은 uplift 추정과 대규모 constrained optimization 때문에 어렵다. 이러한 문제를 해결하기 위해, 우리는 BUOPLR(\\textbf{B}undle \\textbf{U}plift \\textbf{O}ptimization with \\textbf{P}runed \\textbf{L}agrangian-based \\textbf{R}elaxation)를 제안한다. BUOPLR는 uplift estimation과 constrained decision-making을 분리하는 2-stage notification dispatch method이다. BUOPLR는 먼저 cross-treatment 및 cross-outcome 관계를 포착하는 architecture를 통해 bundle-level의 multi-outcome small uplift를 학습한 뒤, decision space를 제한하고 소수의 global constraint에 Lagrangian relaxation을 적용하여 scalable assignment를 수행한다. offline experiment에서는 BUOPLR가 state-of-the-art method보다 우수한 성능을 보였고, online A/B test에서는 DAU가 0.5\\% 증가했다. BUOPLR는 현재 하루 1억 명 이상의 사용자를 대상으로 하는 주요 인터넷 플랫폼에 배포되어 있다."},{"id":"61376","en":"Nested birth-death processes are competitive with parameter-heavy neural networks as time-dependent models of protein evolution","ko":"Nested birth-death processes는 단백질 진화의 시간 의존 모델로서 parameter-heavy neural networks와 경쟁력 있다","authors":"Annabel Large, Ian Holmes","pos":"#1002","link":"https://openreview.net/forum?id=qs9lQluekx","abs":"Despite the success of large transformers at modeling variable-length protein sequences, most statistical phylogenetics analyses use relatively simple continuous-time finite-state Markov models of point substitution to describe molecular evolution, keeping sequence length fixed and ignoring insertions and deletions (indels) entirely. The simplistic assumptions of these models limit the realism of such analyses. We extend the TKF92 model - the canonical hierarchical model combining an outer birth-death process for indels with an inner finite-state Markov chain for substitutions - by introducing additional nesting and latent states. We compare these TKF92 extensions (which are exactly solvable, and in which evolutionary time naturally appears as a matrix exponential coefficient) to two classes of neural seq2seq models that take evolutionary time as an input feature: the first class of model being constrained to enforce a TKF92-like structure, and the second lacking any such constraint. We evaluate the per-character perplexities of all models on splits of the PFam database of aligned protein domains. A nested TKF-based model with only 32,000 parameters is highly competitive with neural networks containing tens of millions of parameters, outperforming all but two of the neural architectures tested. Our results indicate that approaches grounded in molecular evolutionary theory may be more parameter-efficient and provide a better fit to real alignments than unconstrained alternatives, supporting the incorporation of classical model structure within future neural phylogenetic approaches.
","absKo":"대규모 transformer가 가변 길이 protein sequence를 모델링하는 데 성공했음에도, 대부분의 statistical phylogenetics 분석은 분자 진화를 기술하기 위해 비교적 단순한 continuous-time finite-state Markov model의 point substitution만을 사용하며, sequence length를 고정한 채 insertion과 deletion(indel)은 완전히 무시한다. 이러한 모델의 단순한 가정은 해당 분석의 현실성을 제한한다. 우리는 indel을 위한 outer birth-death process와 substitution을 위한 inner finite-state Markov chain을 결합한 정준 hierarchical model인 TKF92 model을, 추가적인 nesting과 latent state를 도입하여 확장한다. 우리는 이러한 TKF92 확장 모델들(이들은 정확히 해석 가능하며, evolutionary time이 자연스럽게 matrix exponential coefficient로 등장한다)을 evolutionary time을 입력 feature로 받는 두 종류의 neural seq2seq model과 비교한다. 첫 번째 종류의 model은 TKF92와 유사한 구조를 강제하도록 제약되어 있으며, 두 번째는 그러한 제약이 전혀 없다. 우리는 PFam database의 aligned protein domain 분할에서 모든 model의 per-character perplexity를 평가한다. 매개변수 32,000개만 가진 nested TKF-based model은 수천만 개의 매개변수를 포함하는 neural network와 매우 경쟁적이며, 테스트한 neural architecture 중 단 두 개를 제외한 모든 모델보다 우수하다. 우리의 결과는 분자 진화 이론에 기반한 접근이 제약 없는 대안보다 더 parameter-efficient하고 실제 alignment에 더 잘 맞을 수 있음을 시사하며, 향후 neural phylogenetic approach에 classical model structure를 통합하는 것을 뒷받침한다.
"},{"id":"63074","en":"PerceptOS: Semantic-Aware Kernel Optimization for OS-Intensive Workloads via Hardware-Software Alignment","ko":"PerceptOS: 하드웨어-소프트웨어 정렬을 통한 OS 집약적 워크로드용 시맨틱 인지 커널 최적화","authors":"Huilai Chen, Yuanbo Wen, Liangfeng Li, Shaohui Peng, Jingzhe Zhu, Xuzhi Zhang, Jun Bi, Qi Guo, Ling Li, Yunji Chen","pos":"#1003","link":"https://openreview.net/forum?id=aKN6UpjSnc","abs":"Optimizing OS kernels for specific applications is vital for peak performance, yet existing LLM-based methods struggle with a semantic mismatch between generalized reasoning and low-level system behaviors. As a result, these static, open-loop approaches suffer from runtime blindness, configuration fragmentation, and search drift, ultimately failing to unlock the system’s performance potential. To address this, we propose PerceptOS, an autonomous framework that shifts the paradigm to perception-driven tuning. PerceptOS integrates: (1) a Perception Module that aligns raw telemetry into high-fidelity semantic fingerprints; (2) a Global Search Module utilizing a Bi-level Hierarchical Induction Tree (BHIT) for global navigation and efficient pruning; and (3) a Posterior Enhancement Module to suppress hallucinations via trajectory synthesis. Experiments across Redis, Apache, PostgreSQL, and RAG show that PerceptOS achieves significant performance breakthroughs by optimizing kernel configurations, reaching 296.6% of default Redis throughput and surpassing SOTA baselines by 32.6% within only 15 iterations. By establishing a perception-driven closed-loop, PerceptOS provides new insights for fully automated, large-scale system optimization.
","absKo":"특정 application을 위해 OS kernel을 최적화하는 것은 최고 성능을 위해 필수적이지만, 기존의 LLM-based method는 일반화된 reasoning과 저수준 system behavior 사이의 semantic mismatch로 인해 어려움을 겪는다. 그 결과 이러한 static open-loop 접근은 runtime blindness, configuration fragmentation, search drift에 시달리며 결국 system의 성능 잠재력을 끌어내지 못한다. 이를 해결하기 위해, 우리는 패러다임을 perception-driven tuning으로 전환하는 자율 프레임워크 PerceptOS를 제안한다. PerceptOS는 다음을 통합한다: (1) 원시 telemetry를 고충실도의 semantic fingerprint로 정렬하는 Perception Module, (2) global navigation과 효율적 pruning을 위해 Bi-level Hierarchical Induction Tree (BHIT)를 활용하는 Global Search Module, (3) trajectory synthesis를 통해 hallucination을 억제하는 Posterior Enhancement Module. Redis, Apache, PostgreSQL, RAG 전반의 실험은 PerceptOS가 kernel configuration을 최적화하여 significant performance breakthrough를 달성함을 보여준다. 기본 Redis throughput의 296.6%에 도달했으며, 단 15 iteration 만에 SOTA baseline을 32.6% 초과했다. Perception-driven closed-loop를 확립함으로써, PerceptOS는 완전 자동화된 대규모 system optimization을 위한 새로운 통찰을 제공한다.
"},{"id":"61903","en":"ProRL: Effective Reinforcement Learning for Proactive Recommendation via Rectified Policy Gradient Estimation","ko":"ProRL: Rectified Policy Gradient Estimation으로 능동적 추천용 강화학습 개선","authors":"Hongru Hou, Tiehua Mei, Denghui Geng, Jinhui Huang, Ao Xu, Hengrui Chen, Jiaqing Liang, Deqing Yang","pos":"#1004","link":"https://openreview.net/forum?id=loXCDLDwXu","abs":"Proactive Recommender Systems (PRSs) aim to guide user preference shift toward target items by generating paths of intermediate recommendations. Reinforcement learning (RL) provides a principled framework for optimizing such sequential decision tasks. Based on path rewards, RL can naturally jointly optimize short-term acceptance and long-term guidance effectiveness. However, naively applying policy gradients to PRS results in deficient gradient estimation. It has been observed that length-dependent bias causes gradients to favor path extension over deeper exploration, while weighting each step by path-level reward leads to high gradient variance. To rectify these two deficiencies, we propose an effective RL framework $\\textbf{ProRL}$ with two novel mechanisms for proactive recommendation. First, Stepwise Reward Centering subtracts expected rewards to neutralize length-dependent bias, ensuring that path extension yields zero expected gradient signal. Second, Position-Specific Advantage Estimation leverages the reward decomposition structure to compute step-dependent baselines, reducing gradient variance. Together, these mechanisms yield policy gradients that precisely target path quality. Our experiments on three real-world datasets demonstrate that ProRL significantly outperforms state-of-the-art PRSs. Our codes are available at https://anonymous.4open.science/r/ProRL-D56DHM.","absKo":"Proactive Recommender Systems(PRSs)는 중간 recommendation 경로를 생성하여 사용자의 preference shift를 target item 쪽으로 유도하는 것을 목표로 한다. Reinforcement learning(RL)은 이러한 sequential decision task를 최적화하기 위한 원칙적인 framework를 제공한다. path reward를 기반으로 하면, RL은 short-term acceptance와 long-term guidance effectiveness를 자연스럽게 공동 최적화할 수 있다. 그러나 policy gradient를 PRS에 순진하게 적용하면 gradient estimation이 부정확해진다. 길이에 의존하는 bias가 gradient가 더 깊은 탐색보다 경로 연장을 선호하게 만들고, 각 step을 path-level reward로 가중하면 gradient variance가 커지는 것으로 관찰되었다. 이 두 가지 결함을 바로잡기 위해, 우리는 proactive recommendation을 위한 두 가지 새로운 mechanism을 갖춘 효과적인 RL framework $\\textbf{ProRL}$을 제안한다. 첫째, Stepwise Reward Centering은 기대 reward를 차감하여 length-dependent bias를 제거하고, path extension이 기대 gradient signal을 0으로 만들도록 보장한다. 둘째, Position-Specific Advantage Estimation은 reward decomposition 구조를 활용해 step-dependent baseline을 계산함으로써 gradient variance를 줄인다. 이 두 mechanism을 결합하면 path quality를 정확히 겨냥하는 policy gradient가 얻어진다. 세 개의 real-world dataset에서 수행한 실험은 ProRL이 state-of-the-art PRS를 크게 능가함을 보여준다. 코드: https://anonymous.4open.science/r/ProRL-D56DHM."},{"id":"66120","en":"RulePlanner: All-in-One Reinforcement Learner for Unifying Design Rules in 3D Floorplanning","ko":"RulePlanner: 3D 플로어플래닝에서 설계 규칙 통합을 위한 올인원 강화 학습기","authors":"Ruizhe Zhong, Xingbo Du, Junchi Yan","pos":"#1005","link":"https://openreview.net/forum?id=6n7gXOvdwm","abs":"Floorplanning determines the coordinate and shape of each module in Integrated Circuit. With the advancement of technology node, in floorplanning stage especially 3D scenarios with multiple stacked layers, it has become increasingly challenging to adhere to complex hardware design rules. Current methods are only capable of handling specific and limited design rules, while violations of other rules require manual and meticulous adjustment. This leads to labor-intensive and time-consuming post-processing for expert engineers. In this paper, we propose an all-in-one deep reinforcement learning-based approach to tackle these challenges, and design novel representations for real-world IC design rules that have not been addressed by previous approaches. Specifically, the processing of various hardware design rules is unified into a single framework with three key components: 1) novel matrix representations to model the design rules, 2) constraints on the action space to filter out invalid actions that cause rule violations, and 3) quantitative analysis of constraint satisfaction as reward signals. Experiments on public benchmarks demonstrate the effectiveness and validity of our approach. Furthermore, transferability are well shown on unseen circuits. Our framework is extensible to accommodate new design rules, thus providing flexibility to address emerging challenges in future chip design.
","absKo":"Floorplanning은 Integrated Circuit에서 각 module의 coordinate와 shape를 결정합니다. technology node의 발전과 함께, floorplanning stage, 특히 multiple stacked layers를 갖는 3D scenario에서는 복잡한 hardware design rules를 준수하는 것이 점점 더 어려워지고 있습니다. 기존 방법은 특정하고 제한된 design rules만 처리할 수 있으며, 다른 rule들의 violation은 수작업에 가까운 세심한 조정을 필요로 합니다. 그 결과 expert engineer에게 노동집약적이고 시간이 많이 드는 post-processing이 발생합니다. 본 논문에서는 이러한 문제를 해결하기 위해 all-in-one deep reinforcement learning 기반 접근법을 제안하고, 이전 방법들이 다루지 못한 실제 IC design rules를 위한 새로운 representation을 설계합니다. 구체적으로, 다양한 hardware design rules의 처리를 세 가지 핵심 구성 요소로 단일 framework에 통합합니다: 1) design rules를 모델링하기 위한 새로운 matrix representation, 2) rule violation을 유발하는 invalid action을 걸러내기 위한 action space에 대한 constraint, 3) constraint satisfaction의 정량적 분석을 reward signal로 사용하는 것. public benchmark에서의 실험은 제안 방법의 효과성과 타당성을 입증합니다. 또한 unseen circuit에서도 transferability가 잘 나타납니다. 우리의 framework는 새로운 design rules를 수용하도록 확장 가능하므로, 향후 chip design에서 등장할 문제들에 유연하게 대응할 수 있습니다.
"},{"id":"62482","en":"SARL: Structure-Aligned Reinforcement Learning for Bridging the Perception-Action Gap in Airspace","ko":"SARL: 항공 공간에서 지각-행동 격차를 메우기 위한 Structure-Aligned Reinforcement Learning","authors":"Binhao Gu, jinjun cai, Weihuang Zheng, Jiaxing Li, Hui Ding, Youyong Kong","pos":"#1006","link":"https://openreview.net/forum?id=gCzECKhOgN","abs":"Multi-Agent Reinforcement Learning (MARL) has been widely applied to automated aircraft conflict resolution due to its strong capability for cooperative control and distributed decision-making. However, existing approaches typically assume a fixed number of aircraft and neglect the unique characteristics of air traffic control instructions. This structural misalignment between model architectures and domain requirements leads to severe deficiencies in perception scalability and action stability across scenarios of varying scales. To address these challenges, we propose Structural-Aligned Reinforcement Learning (SARL), which aims to bridge the gap between perception and action. First, the Physically Encoded Relational Graph (PERG) effectively resolves the fixed input dimensionality issue by incorporating physical inductive biases into a graph attention mechanism. Second, we design the Sparse Cognitive Mixture-of-Experts (SC-MoE) to enhance decision stability. In addition, we introduce a Kinematic Kafety Shield (KSS) based on aviation rules, which not only improves inference-time safety but also effectively guides the model to generate semantically meaningful actions that comply with aviation standards. Simulation experiment results demonstrate that SARL significantly outperforms existing reinforcement learning baselines across diverse scenarios in terms of both success rate and operational efficiency.
","absKo":"Multi-Agent Reinforcement Learning (MARL)은 협력적 제어와 분산 의사결정 능력이 뛰어나 자동화된 항공기 conflict resolution에 널리 적용되어 왔다. 그러나 기존 접근법은 일반적으로 고정된 수의 항공기를 가정하고 air traffic control instruction의 고유한 특성을 간과한다. 이러한 model architecture와 domain requirement 사이의 구조적 불일치는 다양한 규모의 scenario에서 perception scalability와 action stability에 심각한 결함을 초래한다. 이러한 도전을 해결하기 위해, 우리는 perception과 action 사이의 간극을 메우는 Structural-Aligned Reinforcement Learning (SARL)을 제안한다. 먼저, Physically Encoded Relational Graph (PERG)는 graph attention mechanism에 물리적 inductive bias를 통합함으로써 고정 입력 차원 문제를 효과적으로 해결한다. 둘째, 의사결정의 안정성을 높이기 위해 Sparse Cognitive Mixture-of-Experts (SC-MoE)를 설계한다. 또한 aviation rule에 기반한 Kinematic Kafety Shield (KSS)를 도입하여 inference-time safety를 향상시킬 뿐만 아니라, 항공 표준을 준수하는 의미적으로 유의미한 action을 생성하도록 모델을 효과적으로 유도한다. 시뮬레이션 실험 결과는 SARL이 success rate와 operational efficiency 모두에서 다양한 scenario 전반에 걸쳐 기존 reinforcement learning baseline보다 크게 우수함을 보여준다.
"},{"id":"62879","en":"ScenePilot: Controllable Boundary-Driven Critical Scenario Generation for Autonomous Driving","ko":"ScenePilot: 자율주행을 위한 경계 기반 제어형 중요 시나리오 생성","authors":"Qiyu Ruan, YUXUAN WANG, He Li, Zhenning Li, Cheng-Zhong Xu","pos":"#1007","link":"https://openreview.net/forum?id=cIsGv65BzF","abs":"Safety-critical scenarios are central to evaluating autonomous driving systems, yet their rarity in naturalistic logs makes simulation-based stress testing indispensable. Most scenario generation methods treat surrounding agents as adversaries, but they either (i) induce failures without explicitly modeling vehicle–road physical limits, yielding visually extreme yet physically unsolvable crashes, or (ii) enforce physical feasibility or policy feasibility in isolation, which can over-focus on aggressive maneuvers or remain tied to a controller-dependent capability boundary. We propose ScenePilot, a feasibility-guided, boundary-driven framework that targets the boundary band: scenarios that are physically solvable in principle yet still cause the deployed autonomy stack to fail. We formulate generation as constrained multi-objective reinforcement learning, combining an RSS-derived physical-feasibility score $\\sigma$ with an online-learned AV-risk predictor $\\Phi$, and introduce step-level feasibility-aware shielding to keep exploration near the feasibility boundary while avoiding infeasible artifacts. Experiments on SafeBench with multiple planners show that ScenePilot yields substantially higher collision rates (+6.2 percentage points) while preserving physical validity, and that adversarial fine-tuning on these boundary-band scenarios consistently reduces downstream crash rates.","absKo":"안전이 핵심인 시나리오는 autonomous driving system을 평가하는 데 중심적이지만, 실제 주행 로그에서 이런 상황이 매우 드물기 때문에 simulation 기반 stress testing이 필수적이다. 대부분의 scenario generation 방법은 주변 에이전트를 adversary로 취급하지만, (i) vehicle-도로의 물리적 한계를 명시적으로 모델링하지 않아 시각적으로는 극단적이지만 물리적으로는 해결 불가능한 충돌을 유도하거나, (ii) physical feasibility 또는 policy feasibility를 각각 따로 강제하여 공격적인 조작에 지나치게 집중하거나 controller-dependent capability boundary에 묶여 버린다. 우리는 boundary band를 목표로 하는 feasibility-guided, boundary-driven framework인 ScenePilot을 제안한다. boundary band란 원리적으로는 물리적으로 해결 가능하지만 배치된 autonomy stack은 여전히 실패하는 시나리오를 의미한다. 우리는 생성을 제약된 multi-objective reinforcement learning으로 정식화하고, RSS에서 유도한 physical-feasibility score $\\sigma$와 온라인으로 학습되는 AV-risk predictor $\\Phi$를 결합한다. 또한 step-level feasibility-aware shielding을 도입하여 비실현 가능한 artifacts를 피하면서 탐색이 feasibility boundary 근처에 머물도록 한다. 여러 planner를 사용한 SafeBench 실험에서 ScenePilot은 물리적 타당성을 유지하면서도 충돌률을 크게 높였고(+6.2 percentage points), 이러한 boundary-band 시나리오에 대한 adversarial fine-tuning은 downstream crash rate을 일관되게 낮춘다는 것을 보였다."},{"id":"61189","en":"Fast Inverse Lithography via GRPO Reinforced Flow Matching","ko":"GRPO 강화 Flow Matching을 통한 빠른 역리소그래피","authors":"Yao Lai, Xuyuan Xiong, Zeyue Xue, Guojin Chen, Jing Wang, Xihui Liu, Rui Zhang, Robert Mullins, Bei Yu, Ping Luo","pos":"#1101","link":"https://openreview.net/forum?id=stDqIrBoRO","abs":"In semiconductor manufacturing, lithography projects circuit layouts onto silicon wafers through an optical mask. As circuit features shrink below the wavelength of light, optical diffraction causes the printed patterns to deviate from their intended layouts. Inverse Lithography Technology (ILT) addresses this challenge by generating optimized masks that enhance the fidelity of pattern transfer onto wafers. While ILT resembles an image synthesis task, its reliance on explicit physical metrics for mask evaluation limits the applicability of existing generative models. We introduce LithoGRPO, an ILT framework that integrates the flow‑matching paradigm with GRPO‑based reinforcement learning (RL) fine‑tuning, enabling efficient exploration of diverse masks for a given target layout. Unlike purely generative or optimization‑based approaches, RL in LithoGRPO exploits the explicitly defined, physics‑based reward function of ILT, enabling optimization under complex, process‑aware constraints. To the best of our knowledge, this is the first framework that unifies flow matching and RL for mask optimization. To improve RL sampling efficiency, we propose a fast shot-counting algorithm for manufacturability evaluation, achieving over 130× speedup while preserving the mask ranking of the traditional shot-count metric. Extensive experiments demonstrate that LithoGRPO achieves state‑of‑the‑art performance over both optimization‑based and learning‑based methods, while maintaining efficient mask generation.
","absKo":"반도체 제조에서 lithography는 optical mask를 통해 circuit layout을 silicon wafer 위에 투영한다. 회로 feature가 light의 wavelength보다 작아지면 optical diffraction으로 인해 인쇄된 pattern이 의도한 layout에서 벗어나게 된다. Inverse Lithography Technology (ILT)는 wafer로의 pattern transfer fidelity를 향상시키는 optimized mask를 생성함으로써 이 문제를 해결한다. ILT는 image synthesis task와 유사하지만, mask evaluation을 위한 명시적 physical metric에 의존하기 때문에 기존 generative model의 적용 가능성이 제한된다. 우리는 flow-matching paradigm과 GRPO-based reinforcement learning (RL) fine-tuning을 통합한 ILT framework인 LithoGRPO를 제안하며, 이를 통해 주어진 target layout에 대해 다양한 mask를 효율적으로 탐색할 수 있게 한다. 순수한 generative 접근이나 optimization-based 접근과 달리, LithoGRPO의 RL은 ILT의 명시적으로 정의된 physics-based reward function을 활용하여 복잡한 process-aware constraint 하에서 최적화를 가능하게 한다. 우리가 아는 한, 이것은 mask optimization을 위해 flow matching과 RL을 통합한 최초의 framework이다. RL sampling efficiency를 향상시키기 위해, 우리는 manufacturability evaluation을 위한 fast shot-counting algorithm을 제안하며, 전통적인 shot-count metric의 mask ranking을 유지하면서 130배 이상의 속도 향상을 달성한다. 광범위한 실험은 LithoGRPO가 optimization-based method와 learning-based method 모두에 대해 state-of-the-art 성능을 달성하면서도 효율적인 mask generation을 유지함을 보여준다.
"},{"id":"64872","en":"Blending Neural Control Density Functions for Stabilization and Safety","ko":"안정화 및 안전을 위한 Neural Control Density Function 혼합","authors":"Sahil Chaudhary, Chaitanya Murti, Chiranjib Bhattacharyya","pos":"#1102","link":"https://openreview.net/forum?id=IxBsOvMFXc","abs":"Recent work on Neural Network-based methods for nonlinear control use Lyapunov Functions to obtain controllers with guarantees of stability. However, Lyapunov-based methods are fundamentally limited: they cannot be used for smooth blending with formal Region of Attraction (RoA) expansion guarantees, and also fail to certify stability when unstable equilibria or saddle points are present. Density functions provide an alternate stability certificate, and address these limitations by certifying almost everywhere stability, and enable smooth blending of controllers. Learning valid density certificates is challenging due to integrability constraints, and the effect of density-based blending controllers on RoAs is not well understood. In this work, we provide the first guarantee that controllers blended with density functions yield RoAs containing the union of the RoAs achieved by the constituent controllers. Then, we propose a novel exponential characterization of density functions that provably satisfies the integrability condition, and introduce Neural Control Density Functions (NCDFs), that leverage this new parameterization. We also extend NCDFs for synthesizing safe-stable controllers by combining NCDFs with control barrier functions (NCDF-CBFs). Our experiments show that blended controllers obtain superior RoAs to state-of-the-art methods like Neural Lyapunov Control and Sum-of-Squares based techniques.
","absKo":"Neural Network 기반 nonlinear control에 관한 최근 연구는 Lyapunov Function을 사용하여 안정성 보장이 있는 controller를 얻는다. 그러나 Lyapunov 기반 방법은 본질적으로 한계가 있다. formal Region of Attraction(RoA) 확장 보장을 갖는 smooth blending에 사용할 수 없으며, 불안정한 equilibrium이나 saddle point가 존재할 때 안정성을 증명하는 데도 실패한다. Density function은 대안적인 stability certificate를 제공하며, 거의 모든 곳에서의 안정성을 인증하고 controller의 smooth blending을 가능하게 함으로써 이러한 한계를 해결한다. 유효한 density certificate를 학습하는 것은 integrability constraint 때문에 어렵고, density 기반 blending controller가 RoA에 미치는 영향은 잘 이해되지 않았다. 본 연구에서 우리는 density function과 결합된 controller가 각 constituent controller가 달성한 RoA의 union을 포함하는 RoA를 낳는다는 최초의 보장을 제시한다. 이어서 우리는 integrability condition을 증명 가능하게 만족하는 density function의 새로운 exponential characterization을 제안하고, 이 새로운 parameterization을 활용하는 Neural Control Density Function(NCDF)을 소개한다. 또한 NCDF를 control barrier function과 결합하여 safe-stable controller를 합성하도록 NCDF를 확장한다(NCDF-CBF). 우리의 실험은 blended controller가 Neural Lyapunov Control 및 Sum-of-Squares 기반 기법과 같은 state-of-the-art 방법보다 더 우수한 RoA를 얻음을 보여 준다.
"},{"id":"66479","en":"AutoVSR: Automatic Visual-to-Symbolic Reasoning for Symbolic Expression Generation from Circuit Schematic","ko":"AutoVSR: 회로 개략도로부터 기호 표현 생성을 위한 자동 시각-기호 추론","authors":"Zhe Xiao, Longfei Li, Xu He, Haoying Wu, Zixing Zhang, Mingyu Liu","pos":"#1103","link":"https://openreview.net/forum?id=3K5m7jSKuB","abs":"Symbolic expressions can effectively characterize and predict circuit behavior, but deriving them directly from circuit schematics is challenging. This process requires accurate visual-to-symbolic construction of circuit structure from images and correct multi-step symbolic derivation, both of which impose strict correctness requirements. This work proposes AutoVSR, an automated framework for visual-to-symbolic generation of circuit expressions using Vision Language Models (VLMs). By reconstructing circuit diagrams into an executable intermediate representation (Executable IR) and leveraging a symbolic solver for reasoning, AutoVSR significantly improves the accuracy of symbolic expression generation. AutoVSR introduces two key innovations: an IR construction method guided by component rule retrieval and verification-based feedback, and a symbolic solver implemented as a planning agent equipped with a symbolic tool library for reliable multi-step derivation. Compared to end-to-end VLM approaches, AutoVSR achieves accuracy improvements of 30.01--59.45% in circuit analysis and outperforms specialized methods by 41.96--51.84%. Moreover, AutoVSR surpasses closed-source state-of-the-art VLMs in inference cost and computational efficiency. Code is available at https://anonymous.4open.science/r/icml34410/.
","absKo":"Symbolic expression은 회로의 동작을 효과적으로 특징짓고 예측할 수 있지만, 회로 schematic에서 이를 직접 유도하는 것은 어렵다. 이 과정은 이미지로부터 회로 구조를 정확하게 visual-to-symbolic으로 구성하는 일과, 올바른 multi-step symbolic derivation을 수행하는 일을 모두 요구하며, 둘 다 엄격한 정합성(correctness) 요구를 동반한다. 본 연구는 Vision Language Models(VLMs)를 사용한 회로 expression의 visual-to-symbolic 생성을 위한 자동화 프레임워크 AutoVSR을 제안한다. AutoVSR은 회로 다이어그램을 실행 가능한 중간 표현(Executable IR)으로 재구성하고 symbolic solver를 reasoning에 활용함으로써 symbolic expression 생성 정확도를 크게 향상시킨다. AutoVSR은 두 가지 핵심 혁신을 도입한다: component rule retrieval과 verification-based feedback으로 유도되는 IR construction 방법, 그리고 신뢰할 수 있는 multi-step derivation을 위해 symbolic tool library를 갖춘 planning agent로 구현된 symbolic solver이다. End-to-end VLM 접근법과 비교했을 때, AutoVSR은 회로 분석에서 30.01--59.45%의 정확도 향상을 달성하고, specialized method들보다 41.96--51.84% 더 우수한 성능을 보인다. 또한 AutoVSR은 inference cost와 computational efficiency 측면에서 closed-source state-of-the-art VLM을 능가한다. 코드는 https://anonymous.4open.science/r/icml34410/ 에서 제공된다.
"},{"id":"61770","en":"AutoNumerics-Zero: Automated Discovery of State-of-the-Art Mathematical Functions","ko":"AutoNumerics-Zero: 최신 Mathematical Function의 자동 발견","authors":"Esteban Real, Mirko Rossini, Connal de Souza, Manav Garg, Moritz Firsching, Quoc Le, Yao Chen, Akhil Verghese, Ekin Dogus Cubuk, David Park","pos":"#1104","link":"https://openreview.net/forum?id=n7F2nwPcYB","abs":"Transcendental functions, such as the exponential, are central to scientific computing, yet they cannot be natively calculated by digital hardware. Instead, computers must approximate these functions by combining basic operations, such as $\\{+, -, \\times, \\div\\}$, using methods like Taylor series. These methods were developed over centuries by mathematicians, who focused on approaches that could attain arbitrary accuracy. However, computers can handle most applications by using only finite-precision types, like \\emph{float32}, where any accuracy beyond the type's precision is effectively discarded. We explore, therefore, whether forgoing arbitrary accuracy can lead to the discovery of more efficient approximations. The evolutionary method of symbolic regression is particularly suitable, as it can search for arbitrary operation combinations and can optimize non-differentiable objectives, such as the number of operations used. Our results show that evolution can discover computer programs that outperform established methods in this setting, despite having no prior mathematical knowledge beyond the calculation of the basic operations. Starting from empty code, symbolic regression constructs programs representing novel mathematical expressions. In particular, we discovered a 10-operation program that approximates the exponential function to 14 significant figures, exceeding the accuracy of previously known approximations of this size by more than 6 orders of magnitude.","absKo":"지수 함수와 같은 transcendental functions는 scientific computing의 핵심이지만, digital hardware에서 native하게 계산할 수는 없다. 대신 컴퓨터는 Taylor series와 같은 방법을 사용해 $\\{+, -, \\times, \\div\\}$ 같은 기본 연산을 조합함으로써 이러한 함수를 근사해야 한다. 이러한 방법들은 수세기에 걸쳐 수학자들에 의해 발전되었으며, 임의의 정확도에 도달할 수 있는 접근법에 초점이 맞춰져 있었다. 그러나 컴퓨터는 보통 \\emph{float32}와 같은 finite-precision type만으로 대부분의 응용을 처리할 수 있으며, type의 precision을 넘는 정확도는 사실상 버려진다. 따라서 우리는 임의의 정확도를 포기하는 것이 더 효율적인 근사식의 발견으로 이어질 수 있는지 탐구한다. symbolic regression의 evolutionary method는 임의의 연산 조합을 탐색할 수 있고, 사용된 연산 수와 같은 non-differentiable objective도 최적화할 수 있으므로 특히 적합하다. 우리의 결과는 evolution이 기본 연산의 계산 외에는 어떤 사전 수학 지식도 없이도, 이 설정에서 기존 방법을 능가하는 computer programs를 발견할 수 있음을 보여준다. 빈 코드에서 시작하여 symbolic regression은 새로운 수학적 표현을 나타내는 프로그램을 구성한다. 특히, 우리는 exponential function을 14 significant figures까지 근사하는 10-operation program을 발견했으며, 이는 같은 규모에서 알려진 이전 근사들보다 6 orders of magnitude 이상 높은 정확도이다."},{"id":"67171","en":"Position: Sustainable Open-Source AI Requires Tracking the Cumulative Footprint of Derivatives","ko":"Position: 지속 가능한 오픈소스 AI에는 파생물의 누적 발자국 추적이 필요하다","authors":"shaina raza, Iuliia Zarubiieva, Ahmed Radwan, Nathaniel Lesperance, Deval Pandya, Sedef Akinli Kocak, Graham Taylor","pos":"#1105","link":"https://openreview.net/forum?id=MqzZ9X6m7f","abs":"Open-source AI is scaling rapidly, and model hubs now host millions of artifacts. Each foundation model can spawn large numbers of fine-tunes, adapters, quantizations, merges, and forks. We take the position that compute efficiency alone is insufficient for sustainability in open-source AI. Lower per-run costs can accelerate experimentation and deployment, increasing aggregate footprint unless impacts are measurable and comparable across derivative lineages. However, the energy use, water consumption, and emissions of these derivative lineages are rarely measured or disclosed in a consistent, comparable way, leaving aggregate ecosystem impact largely invisible. We argue that sustainable open-source AI requires a coordination infrastructure that tracks impacts across model lineages, not only base models. We propose Data and Impact Accounting (DIA), a lightweight, non-restrictive transparency layer that (i) standardizes carbon-and-water reporting metadata, (ii) integrates low-friction measurement into common training and inference pipelines, and (iii) aggregates reports via public dashboards to summarize cumulative impacts across releases and derivatives. DIA makes derivative costs visible and supports ecosystem-level accountability while preserving openness.
","absKo":"open-source AI는 빠르게 확장되고 있으며, model hub는 이제 수백만 개의 artifact를 보유하고 있다. 각 foundation model은 대량의 fine-tune, adapter, quantization, merge, fork를 만들어 낼 수 있다. 우리는 compute efficiency만으로는 open-source AI의 sustainability를 달성하기에 충분하지 않다고 본다. 실행당 비용이 낮아지면 실험과 배포가 가속될 수 있지만, 파생 lineage 전반에서 영향이 측정 가능하고 비교 가능하지 않다면 전체 footprint는 오히려 커질 수 있다. 그러나 이러한 파생 lineage의 energy use, water consumption, emission은 일관되고 비교 가능한 방식으로 측정되거나 공개되는 경우가 드물어, 생태계 전체 영향은 대체로 보이지 않는다. 우리는 sustainable open-source AI가 base model뿐 아니라 model lineage 전반의 영향을 추적하는 coordination infrastructure를 필요로 한다고 주장한다. 이를 위해 우리는 Data and Impact Accounting(DIA)을 제안한다. DIA는 (i) carbon과 water reporting metadata를 표준화하고, (ii) 일반적인 training 및 inference pipeline에 낮은 마찰의 measurement를 통합하며, (iii) public dashboard를 통해 보고서를 집계하여 release와 derivative 전반의 누적 영향을 요약하는 가볍고 비제한적인 transparency layer이다. DIA는 개방성을 유지하면서도 파생 비용을 가시화하고, ecosystem 수준의 accountability를 지원한다.
"},{"id":"63648","en":"Physics-informed Neural Operator Learning for Nonlinear Grad-Shafranov Equation","ko":"비선형 Grad-Shafranov 방정식을 위한 물리 정보 기반 neural operator 학습","authors":"Siqi Ding, Zitong Zhang, LiXingYu, Shi Guoyang, Xiang Gu, Y.N.Xu, Huasheng Xie, Hanyue Zhao, YUEJIANG SHI, tianyuan liu","pos":"#1106","link":"https://openreview.net/forum?id=V1k2DFhDYr","abs":"Realizing the symbiotic potential of AI and fusion energy requires bridging a critical \"sim-to-real\" gap. Models trained on simulations must generalize reliably under distribution shifts in safety-critical workflows. Focusing on the strongly nonlinear Grad-Shafranov equation (GSE) for tokamak equilibria, we propose a physics-anchored operator learning framework. Through systematic benchmarking across neural operator instantiations, we identify the Transformer-KAN Neural Operator (TKNO) as the state-of-the-art performer. Crucially, we adopt a semi-supervised paradigm that synergizes sparse data supervision with physical loss constraints. This approach significantly mitigates the catastrophic collapse often observed in purely data-driven methods under boundary-shape distribution shifts, thereby ensuring robust extrapolation. Validated on experimental discharge data from the EXL-50U tokamak, the model achieves high-fidelity equilibrium prediction (RMSE < 1.3%) with millisecond-level inference. These results demonstrate that AI has the potential to significantly accelerate fusion research and development.
","absKo":"AI와 fusion energy의 상호보완적 잠재력을 실현하려면 중요한 \"sim-to-real\" 격차를 메워야 한다. simulation으로 학습된 모델은 safety-critical workflow에서 distribution shift 하에서도 안정적으로 generalize되어야 한다. tokamak equilibrium을 위한 강한 비선형성의 Grad-Shafranov equation (GSE)에 초점을 맞추어, 우리는 physics-anchored operator learning framework를 제안한다. neural operator 구현 전반에 걸친 체계적 benchmarking을 통해, Transformer-KAN Neural Operator (TKNO)가 state-of-the-art performer임을 확인했다. 핵심적으로, 우리는 sparse data supervision과 physical loss constraint를 시너지 있게 결합하는 semi-supervised paradigm을 채택한다. 이 접근은 boundary-shape distribution shift 하에서 순수 data-driven method에서 종종 관찰되는 catastrophic collapse를 크게 완화하여, 견고한 extrapolation을 보장한다. EXL-50U tokamak의 실험 discharge data로 검증한 결과, 모델은 millisecond 수준 inference로 높은 fidelity의 equilibrium prediction(RMSE < 1.3%)을 달성했다. 이러한 결과는 AI가 fusion 연구개발을 크게 가속할 잠재력이 있음을 보여준다.
"},{"id":"60758","en":"GenUnfold: Rapidly Predict Protein Mechanical Unfolding Trajectory via a Physics-Guided Diffusion Model","ko":"GenUnfold: Physics-Guided Diffusion Model을 통한 단백질 기계적 Unfolding Trajectory의 빠른 예측","authors":"Zhang Yiyuan, Cailong Hua, Vinitendra Singh, Joseph Muretta, James Ervasti, Murti Salapaka","pos":"#1406","link":"https://openreview.net/forum?id=wutI1P0dsB","abs":"Many fundamental biological processes are governed by mechanical forces, with proteins acting as the key molecular mediators. Elucidating how protein unfolding responds to force is critical for understanding the mechano-pathologies, such as cardiomyopathy and muscular dystrophy. While the unfolding trajectories measured by Single-Molecule Force Spectroscopy (SMFS) map the instantaneous force response against molecular extension, its broader application is limited by time-consuming data collection and high operational costs. Here, we present the first scalable generative diffusion framework for full unfolding trajectory prediction, which integrates protein encoders for multi-scale conditioning. Beyond establishing the field's first systematic benchmark using existing models, we propose GenUnfold, a novel physics-guided diffusion model that combines global coevolutionary context with a local mechanical representation of the protein. The representation is derived from a novel physics-biased attention mechanism, which steers the generative diffusion process by modeling dynamic residue dependencies as a function of both structural topology and interaction stiffness. The benchmark for this task is built upon the biomolecule stretching database and several representative baseline models. Empirical results demonstrate that GenUnfold achieves state-of-the-art performance, reducing distributional error (FID) by 30\\% and 54\\% compared to pretrained Evolutionary Scale Model (ESM)-2 and standard transformer, respectively. Beyond statistical curve similarity, GenUnfold demonstrates superior physical consistency; in downstream mechanical property prediction, it reduces prediction errors for unfolding force and energy distributions by 6\\% and 36\\% over the ESM-2 baseline. These results indicate that while existing generative AI approaches can alleviate the need for predicting representative force curves, GenUnfold further improves performance by leveraging the synergy between protein structure and evolutionary information. By enabling proteome-wide screening to identify mechanical candidates before costly physical validation, our approach is promising to accelerate the discovery of force-targeted therapeutics.
","absKo":"많은 근본적인 생물학적 과정은 mechanical force에 의해 지배되며, protein이 핵심 molecular mediator로 작용한다. protein unfolding이 force에 어떻게 반응하는지 밝히는 것은 cardiomyopathy와 muscular dystrophy 같은 mechano-pathology를 이해하는 데 중요하다. Single-Molecule Force Spectroscopy(SMFS)로 측정된 unfolding trajectory는 순간적인 force 반응을 molecular extension에 대응시키지만, 그 폭넓은 적용은 시간이 많이 드는 데이터 수집과 높은 운영 비용으로 제한된다. 여기서 우리는 multi-scale conditioning을 위한 protein encoder를 통합한, 전체 unfolding trajectory 예측을 위한 최초의 확장 가능한 generative diffusion framework를 제시한다. 기존 모델을 사용한 이 분야 최초의 체계적 benchmark를 구축하는 것을 넘어, 우리는 protein의 전역 coevolutionary context와 국소 mechanical representation을 결합한 새로운 physics-guided diffusion model인 GenUnfold를 제안한다. 이 representation은 새로운 physics-biased attention mechanism에서 도출되며, 구조적 topology와 interaction stiffness를 모두 함수로 하는 dynamic residue dependency를 모델링하여 generative diffusion process를 유도한다. 이 task를 위한 benchmark는 biomolecule stretching database와 여러 대표 baseline model을 바탕으로 구축되었다. 실험 결과는 GenUnfold가 최첨단 성능을 달성하며, pretrained Evolutionary Scale Model(ESM)-2와 standard transformer에 비해 distributional error(FID)를 각각 30\\%, 54\\% 줄임을 보여준다. 단순한 통계적 curve similarity를 넘어, GenUnfold는 더 뛰어난 물리적 일관성도 보인다. downstream mechanical property prediction에서는 unfolding force와 energy distribution의 예측 오차를 ESM-2 baseline 대비 각각 6\\%, 36\\% 감소시킨다. 이러한 결과는 기존 generative AI 접근법이 대표적인 force curve 예측의 필요성을 완화할 수 있을 뿐 아니라, GenUnfold가 protein structure와 evolutionary information의 시너지를 활용해 성능을 더욱 향상시킨다는 점을 시사한다. 고가의 물리적 검증 전에 proteome-wide screening을 통해 mechanical candidate를 식별할 수 있게 함으로써, 우리의 접근법은 force-targeted therapeutics 발굴을 가속하는 데 유망하다.
"},{"id":"63114","en":"RAST-MoE-RL: A Regime-Aware Spatio-Temporal MoE Framework for Deep Reinforcement Learning in Ride-Hailing","ko":"RAST-MoE-RL: 차량 호출을 위한 심층 강화학습용 국면 인지 시공간 MoE 프레임워크","authors":"Yuhan Tang, Kangxin Cui, Jung Ho Park, Yibo Zhao, Xuan Jiang, Haoze He, Jiangbo Yu, Haris Koutsopoulos, Jinhua Zhao","pos":"#205","link":"https://openreview.net/forum?id=ZyGDiKr8UZ","abs":"Ride-hailing platforms face the challenge of balancing passenger waiting times with overall system efficiency under highly uncertain supply–demand conditions. Adaptive delayed matching, which controls the holding intervals for batched sets of requests and vehicles, reveals an inherent trade-off between matching and pickup delays. The resulting environment with temporally varying request arrival patterns and dynamic congestion calls for more expressive networks with sufficient capacity to capture their non-stationarity. To address the limitations of existing methods that rely on shallow encoders that cannot capture dynamic supply-demand patterns and congestion effects, we introduce the Regime-Aware Spatio-Temporal Mixture-of-Experts (RAST-MoE) framework, which formalizes adaptive delayed matching as a regime-aware Markov Decision Process and equips RL agents with a self-attention MoE encoder. Instead of relying on a single monolithic network, our design allows different experts to specialize automatically in varying operational conditions, improving representation capacity while maintaining per-sample computation efficiency. Despite its modest size of only 12M parameters, our framework consistently outperforms strong baselines. On real-world Uber trajectory data from San Francisco, it reduces average matching delay by 10%, and pickup delay by 15%. In addition, it demonstrates robustness to unseen demand regimes, stable training behavior without reward hacking, and expert specialization to different regimes. This study shows the strength of MoE-enhanced RL for large-scale decision-making tasks with complex spatiotemporal dynamics.
","absKo":"Ride-hailing 플랫폼은 매우 불확실한 supply–demand 조건 아래에서 passenger waiting time과 overall system efficiency를 균형 있게 맞추는 과제에 직면해 있다. request와 vehicle의 batched set에 대한 holding interval을 제어하는 adaptive delayed matching은 matching delay와 pickup delay 사이의 본질적인 trade-off를 드러낸다. 시간에 따라 변하는 request arrival pattern과 dynamic congestion을 가진 이러한 환경은 그 비정상성을 포착할 충분한 capacity를 갖춘 더 표현력 있는 network를 요구한다. 동적 supply-demand pattern과 congestion 효과를 포착하지 못하는 shallow encoder에 의존하는 기존 방법의 한계를 해결하기 위해, 우리는 Regime-Aware Spatio-Temporal Mixture-of-Experts (RAST-MoE) framework를 제안한다. 이 framework는 adaptive delayed matching을 regime-aware Markov Decision Process로 정식화하고, RL agent에 self-attention MoE encoder를 탑재한다. 단일의 거대한 network에 의존하는 대신, 우리의 설계는 서로 다른 expert가 다양한 운영 조건에 자동으로 특화되도록 하여, 샘플당 계산 효율을 유지하면서 표현 능력을 향상시킨다. 파라미터 수가 12M에 불과한 modest size임에도 불구하고, 우리의 framework는 강력한 baseline보다 일관되게 더 좋은 성능을 보인다. San Francisco의 실제 Uber trajectory data에서 average matching delay를 10%, pickup delay를 15% 줄였다. 또한, 보지 못한 demand regime에 대한 robustness, reward hacking 없이 안정적인 training behavior, 그리고 서로 다른 regime에 대한 expert specialization을 보여 준다. 이 연구는 복잡한 spatiotemporal dynamics를 갖는 대규모 의사결정 task에서 MoE-enhanced RL의 강점을 보여 준다.
"},{"id":"63022","en":"B-Spar: Bayesian Sparse-Reward Modeling for RL-based Image Editing","ko":"B-Spar: RL 기반 이미지 편집을 위한 Bayesian Sparse-Reward Modeling","authors":"shusong xu, Peiye Liu, Yongbin Liu, Bangjie Yin, Zhaomang Sun, Zhenyu Chen, Tianyi Zheng, Peng-Tao Jiang, Jian Zhang, Yuzhao Wang, Jinwei Chen, Zhen Gu, Bo Li","pos":"#207","link":"https://openreview.net/forum?id=aoUqzNEKpA","abs":"Autonomous image-editing agents powered by multimodal large language models (MLLMs) improve transparency and controllability by translating high-level instructions into tool-mediated edit sequences, but training such agents with reinforcement learning often relies on dense proxy rewards (e.g., incremental image-quality score gains) to compensate for sparse human feedback. When these proxies overvalue small local changes, the resulting optimization signal can be dominated by numerically measurable yet perceptually negligible edits, biasing policy gradients toward proxy artifacts rather than meaningful progress. We propose B-Spar, a reward-centric Reinforcement Learning framework for perceptually aligned image retouching under sparse feedback that combines prior-guided trajectory sampling to reduce inefficient exploration, Bayesian reward modeling to densify sparse binary feedback into a stable training signal, and anchor-regularized policy optimization to steer updates toward high-reward regions while preventing early mode collapse. Experiments on public benchmarks demonstrate that B-Spar improves perceptual quality and metric alignment with stable training and competitive inference efficiency over strong prompt-based and training-based baselines. Notably, it outperforms AIGC-based baselines by over 95\\% in perceptual quality, achieving an improvement of approximately 33.5\\% over the state-of-the-art.
","absKo":"multimodal large language models (MLLMs)로 구동되는 자율 image-editing agent는 고수준 지시를 tool-mediated edit sequence로 변환함으로써 transparency와 controllability를 향상시키지만, 이러한 agent를 reinforcement learning으로 학습할 때는 sparse human feedback을 보완하기 위해 종종 dense proxy reward(예: 점진적 image-quality score 향상)에 의존한다. 이러한 proxy가 작은 local change를 과도하게 평가하면, 최적화 신호는 의미 있는 진전보다 수치적으로 측정 가능하지만 perceptually는 미미한 edit에 의해 지배될 수 있으며, policy gradient는 의미 있는 개선이 아니라 proxy artifact 쪽으로 편향된다. 우리는 sparse feedback 하에서 perceptually aligned image retouching을 위한 reward-centric Reinforcement Learning framework인 B-Spar를 제안한다. 이 프레임워크는 비효율적인 탐색을 줄이기 위한 prior-guided trajectory sampling, sparse binary feedback를 안정적인 training signal로 촘촘하게 만드는 Bayesian reward modeling, 그리고 early mode collapse를 방지하면서 고보상 영역으로 업데이트를 유도하는 anchor-regularized policy optimization을 결합한다. 공개 benchmark에서의 실험은 B-Spar가 강력한 prompt-based 및 training-based baseline에 비해 안정적인 학습과 경쟁력 있는 추론 효율성을 유지하면서 perceptual quality와 metric alignment를 향상시킴을 보여준다. 특히, perceptual quality에서 AIGC-based baseline을 95\\% 이상 상회하며, state-of-the-art 대비 약 33.5\\%의 향상을 달성한다.
"},{"id":"62846","en":"Implicit Action Chunking for Smooth Continuous Control","ko":"부드러운 연속 제어를 위한 암묵적 Action Chunking","authors":"Bosun Liang, Shuo Pei, Zirui Chen, Chuanzhi Fan, Chen Sun, Yuankai Wu, Huachun Tan, Yong Wang","pos":"#210","link":"https://openreview.net/forum?id=cZNih1inuF","abs":"Reinforcement learning often produces high-frequency oscillatory control signals that undermine the safety and stability required for physical deployment. Explicit action chunking addresses this by predicting fixed-horizon trajectories but increases the policy output dimension to R^hd, leading to optimization difficulties and incompatibility with standard step-wise interaction. To overcome these challenges, this paper proposes Dual-Window Smoothing (DWS), an implicit action chunking framework for smooth continuous control. Unlike explicit methods, DWS enforces temporal coherence without expanding the action space. It uses a dual-window design: an execution window that ensures physical smoothness through deterministic modulation, and a value window that aligns temporal-difference targets over the horizon to correct critic bias caused by open-loop execution. DWS also includes a lightweight actor-side temporal regularizer based on first-order action differences to promote global continuity. This design effectively bridges the gap between temporal abstraction and reactive step-wise control. Experiments on benchmarks including the DeepMind Control Suite and industrial energy management tasks with vector states show that DWS outperforms state-of-the-art (SOTA) baselines such as LipsNet++ and SmODE. In complex vision-based autonomous driving tasks, DWS achieves smoother control, safer behavior with reduced jitter, and attains a 100% success rate.
","absKo":"Reinforcement learning은 물리적 배포에 필요한 안전성과 안정성을 해치는 고주파 진동 제어 신호를 종종 생성한다. explicit action chunking은 고정 horizon trajectory를 예측함으로써 이를 해결하지만, policy 출력 차원을 R^hd로 증가시켜 최적화 난이도를 높이고 표준 step-wise interaction과의 비호환성을 초래한다. 이러한 도전을 극복하기 위해, 본 논문은 부드러운 연속 제어를 위한 implicit action chunking framework인 Dual-Window Smoothing (DWS)를 제안한다. explicit method와 달리 DWS는 action space를 확장하지 않으면서도 temporal coherence를 강제한다. 이는 dual-window 설계를 사용한다. 하나는 deterministic modulation을 통해 물리적 smoothness를 보장하는 execution window이고, 다른 하나는 open-loop execution으로 인한 critic bias를 보정하기 위해 horizon 전반에 걸쳐 temporal-difference target을 정렬하는 value window이다. DWS는 또한 first-order action difference를 기반으로 한 경량 actor-side temporal regularizer를 포함하여 전역적 연속성을 촉진한다. 이 설계는 temporal abstraction과 반응적인 step-wise control 사이의 간극을 효과적으로 메운다. DeepMind Control Suite 및 vector state를 사용하는 산업 에너지 관리 task를 포함한 benchmark 실험에서 DWS는 LipsNet++ 및 SmODE와 같은 state-of-the-art (SOTA) baseline을 능가한다. 복잡한 vision 기반 자율주행 task에서는 DWS가 더 부드러운 제어, jitter 감소를 통한 더 안전한 동작을 달성하며, 100% success rate에 도달한다.
"},{"id":"62020","en":"ML-Agent: Reinforcing LLM Agents for Autonomous Machine Learning Engineering","ko":"ML-Agent: 자율적인 machine learning engineering을 위한 LLM agent 강화","authors":"Zexi Liu, Jingyi Chai, Xinyu Zhu, shuo tang, Rui Ye, Weiyu Ma, Bo Zhang, LEI BAI, Siheng Chen","pos":"#2102","link":"https://openreview.net/forum?id=kcPPWaoegr","abs":"The emergence of large language model (LLM)-based agents has significantly advanced the development of autonomous machine learning (ML) engineering. However, the dominant prompt-based paradigm exhibits limitations: smaller models lack the capacity to learn from execution trajectories for generalization, while large proprietary models incur high computational overhead, restricting accessibility and scalability. Focusing on this, for the first time, we explore the paradigm of learning-based agentic ML, where an LLM agent learns through interactive experimentation on ML tasks using online reinforcement learning (RL). To realize this, we propose a novel agentic ML training framework with three key components: (1) exploration-enriched fine-tuning, which enables LLM agents to generate diverse actions for enhanced RL exploration; (2) step-wise RL, which enables training on a single action step, accelerating experience collection and improving training efficiency; (3) an agentic ML-specific reward module, which unifies varied ML feedback signals into consistent rewards for RL optimization. Leveraging this framework, we train ML-Agent, driven by a 7B-sized Qwen-2.5 LLM for autonomous ML. Despite training on only 9 ML tasks, our 7B-sized ML-Agent achieves comparable performance to agents using much larger proprietary LLMs (e.g., GPT-5) but at significantly lower computational cost, demonstrating strong performance and cross-task generalization.
","absKo":"Large language model (LLM) 기반 agent의 등장은 autonomous machine learning (ML) engineering의 발전을 크게 앞당겼다. 그러나 지배적인 prompt 기반 패러다임은 한계를 보인다. 작은 모델은 generalization을 위해 execution trajectory로부터 학습할 역량이 부족하고, 대형 proprietary model은 높은 계산 오버헤드를 유발하여 접근성과 확장성을 제한한다. 이에 주목하여, 우리는 처음으로 learning-based agentic ML 패러다임을 탐구한다. 여기서 LLM agent는 online reinforcement learning (RL)을 사용해 ML task에 대한 상호작용적 실험을 통해 학습한다. 이를 실현하기 위해, 우리는 세 가지 핵심 구성요소를 갖는 새로운 agentic ML training framework를 제안한다: (1) exploration-enriched fine-tuning은 LLM agent가 다양한 action을 생성하여 RL 탐색을 강화하도록 한다; (2) step-wise RL은 단일 action step에 대해 학습할 수 있게 하여 experience collection을 가속하고 training efficiency를 향상시킨다; (3) agentic ML 전용 reward module은 다양한 ML feedback signal을 RL 최적화를 위한 일관된 reward로 통합한다. 이 framework를 활용하여, 우리는 autonomous ML을 위한 7B 규모의 Qwen-2.5 LLM 기반 ML-Agent를 학습한다. 단 9개의 ML task로만 학습했음에도 불구하고, 우리의 7B 규모 ML-Agent는 훨씬 더 큰 proprietary LLM(GPT-5 등)을 사용하는 agent와 비슷한 성능을 달성하면서도 계산 비용은 훨씬 낮아, 강력한 성능과 task 간 generalization을 입증한다.
"},{"id":"61850","en":"SWE-MiniSandbox: Container-Free Reinforcement Learning for Building Software Engineering Agents","ko":"SWE-MiniSandbox: Software Engineering Agent 구축을 위한 컨테이너 없는 Reinforcement Learning","authors":"Danlong Yuan, Wei Wu, Huishuai Zhang, Zhengren Wang, Xueliang Zhao, Dongyan Zhao","pos":"#215","link":"https://openreview.net/forum?id=mMSGU8skL8","abs":"Reinforcement learning (RL) has become a key paradigm for training software engineering (SWE) agents, yet its practical accessibility and scalability is often constrained by container-based execution frameworks used for environment isolation. As the number of task instances increases, pre-cached container images introduce substantial storage overhead, limiting large-scale training under limited cotainer resources, and excludes users without container management privileges. We introduce SWE-MiniSandbox, a lightweight, container-free method that enables scalable RL training of SWE agents without sacrificing isolation. Instead of relying on per-instance containers, SWE-MiniSandbox executes each task in an isolated workspace backed by kernel-level mechanisms, substantially reducing system overhead. It leverages lightweight environment pre-caching techniques to eliminate the need for bulky container images. As a result, our approach lowers disk usage to approximately 5\\% of that required by container-based pipelines and reduces environment preparation time to about 25\\% of the container baseline. Empirical results demonstrate that SWE-MiniSandbox achieves evaluation performance comparable to standard container-based pipelines. Consequently, by removing the dependency on heavy container infrastructure, SWE-MiniSandbox offers a practical and accessible foundation for scaling RL-based SWE agents, particularly in resource-constrained research environments.
","absKo":"강화학습(RL)은 software engineering(SWE) agent를 훈련하는 핵심 패러다임이 되었지만, 실제 사용성과 확장성은 환경 격리를 위해 사용되는 container-based execution framework에 의해 종종 제약된다. task instance 수가 증가함에 따라, pre-cached container image는 상당한 storage overhead를 유발하여 제한된 container resources 하에서의 대규모 훈련을 어렵게 만들고, container management 권한이 없는 사용자를 배제한다. 우리는 isolation을 희생하지 않으면서 확장 가능한 SWE agent RL 훈련을 가능하게 하는 lightweight, container-free 방법인 SWE-MiniSandbox를 제안한다. per-instance container에 의존하는 대신, SWE-MiniSandbox는 kernel-level mechanism으로 지원되는 isolated workspace에서 각 task를 실행하여 system overhead를 크게 줄인다. 또한 bulky container image의 필요성을 제거하기 위해 lightweight environment pre-caching technique을 활용한다. 그 결과, 우리의 접근법은 disk usage를 container-based pipeline이 요구하는 양의 약 5\\% 수준으로 낮추고, environment preparation time을 container baseline의 약 25\\% 수준으로 줄인다. 실험 결과는 SWE-MiniSandbox가 standard container-based pipeline과 동등한 evaluation performance를 달성함을 보여준다. 따라서 heavy container infrastructure에 대한 의존성을 제거함으로써, SWE-MiniSandbox는 특히 resource-constrained research environment에서 RL-based SWE agent의 규모 확장을 위한 실용적이고 접근 가능한 기반을 제공한다.
"},{"id":"67221","en":"Position: Evaluation of ML Resource Utilization Requires Model Life Cycle Assessment","ko":"Position: ML 자원 사용 평가에는 모델 생애주기 평가가 필요하다","authors":"Jared Fernandez, Clara Na, Yonatan Bisk, Constantine Samaras, Emma Strubell","pos":"#3307","link":"https://openreview.net/forum?id=8voi61IiZC","abs":"Proper accounting of the energy requirements and environmental impact of artificial intelligence (AI) systems is necessary for researchers, developers, policy makers, and users to assess the barriers to building systems at scale. With the growing complexity of pipelines and underlying infrastructure needed to develop and deploy AI systems, previous approaches for evaluating AI efficiency which focus on the costs of a single training run or an individual inference prediction are no longer sufficient. In this position paper, we enunciate the need for applying life cycle assessment to evaluate the costs of the machine learning model development and deployment pipeline to properly account for the required resources and downstream impact. Life cycle assessments enable the incorporation of costs across the full life cycle of an AI system and its underlying infrastructure, from the embodied costs associated with the physical computing hardware through the operational costs in training and inference.
","absKo":"인공지능(AI) 시스템의 에너지 요구량과 환경적 영향에 대한 적절한 accounting은 연구자, 개발자, 정책 입안자, 사용자 모두가 대규모 시스템 구축의 장벽을 평가하는 데 필요하다. AI 시스템을 개발하고 배포하는 데 필요한 pipeline과 기반 infrastructure의 복잡성이 커짐에 따라, 단일 training run이나 개별 inference prediction의 비용에만 초점을 맞춘 기존 AI efficiency 평가 방식은 더 이상 충분하지 않다. 이 position paper에서 우리는 machine learning model의 development 및 deployment pipeline의 비용을 평가하기 위해 life cycle assessment를 적용할 필요성을 분명히 밝히고, 요구되는 자원과 downstream impact를 적절히 반영해야 한다고 주장한다. Life cycle assessment는 물리적 computing hardware와 관련된 embodied cost부터 training과 inference의 operational cost에 이르기까지, AI system과 그 기반 infrastructure의 전체 life cycle에 걸친 비용을 통합할 수 있게 해 준다.
"},{"id":"66100","en":"FedUSD: Unbiased Synthetic Data for Federated Learning","ko":"FedUSD: 연합 학습을 위한 편향 없는 합성 데이터","authors":"Weiying Xie, Chenhe Hao, Haozhi Shi, Jitao Ma, Daixun Li, Jiazhe Li, Hengyi Wang, Leyuan Fang, Yunsong Li","pos":"#1100","link":"https://openreview.net/forum?id=73OIdmCkSh","abs":"Aggregation-Free Federated Learning enables joint training by sharing synthetic data, aiming to eliminate data heterogeneity across clients. However, existing methods fail to explicitly separate the principal and residual components of dataset, leading to biased synthetic data. In this paper, we propose a novel Unbiased Synthetic Data optimization method FedUSD for Aggregation-Free Federated Learning, which is achieved by exploring the High-energy Orthogonal Base (HOB) and variance of dataset in feature space. Our FedUSD is inspired by the discovery that principal component concentrates in HOB while residual component independently reflects in variance, regardless of networks. Based on the observation, we develop a method that mathematically optimizes synthetic data by matching both HOB and variance with those of real data. Besides, we experimentally show the superior effectiveness of leveraging HOB and variance to separately extract the principal and residual components over existing methods. We also theoretically prove that FedUSD achieves unbiased synthetic data and thus convergence. Without introducing any constraints, FedUSD thereby yields significant improvements over the state-of-the-arts in terms of global model performance, under equivalent communicational costs. For example, on the SVHN dataset, FedUSD improves 6.74\\% to 30.82\\% which is higher than others with Dirichlet coefficient $\\alpha=0.01$.","absKo":"Aggregation-Free Federated Learning은 synthetic data를 공유하여 공동 학습을 가능하게 하며, 각 client 간 data heterogeneity를 제거하는 것을 목표로 한다. 그러나 기존 방법은 dataset의 principal component와 residual component를 명시적으로 분리하지 못해 편향된 synthetic data를 생성한다. 본 논문에서는 feature space에서 dataset의 High-energy Orthogonal Base (HOB)와 variance를 탐색함으로써 이를 달성하는, Aggregation-Free Federated Learning을 위한 새로운 Unbiased Synthetic Data 최적화 방법 FedUSD를 제안한다. 우리의 FedUSD는 네트워크와 무관하게 principal component는 HOB에 집중되고 residual component는 variance에 독립적으로 반영된다는 발견에서 영감을 받았다. 이러한 관찰을 바탕으로, real data의 HOB와 variance를 모두 matching함으로써 synthetic data를 수학적으로 최적화하는 방법을 개발한다. 또한, HOB와 variance를 활용해 principal component와 residual component를 각각 추출하는 것이 기존 방법보다 우수함을 실험적으로 보인다. 더 나아가, FedUSD가 unbiased synthetic data와 그에 따른 수렴을 달성함을 이론적으로 증명한다. 별도의 제약을 도입하지 않으면서, FedUSD는 동일한 통신 비용 하에서 global model 성능 측면에서 최신 방법들보다 유의미한 향상을 제공한다. 예를 들어 SVHN 데이터셋에서 FedUSD는 Dirichlet coefficient $\\alpha=0.01$에서 6.74\\%에서 30.82\\%까지 향상되며, 이는 다른 방법들보다 높다."},{"id":"62952","en":"Zooming without Zooming: Region-to-Image Distillation for Fine-Grained Multimodal Perception","ko":"줌 없이 줌하는 방식: 미세추론용 Region-to-Image Distillation","authors":"Lai Wei, Liangbo He, jun lan, Lingzhong Dong, Yutong Cai, Siyuan Li, Huijia Zhu, Weiqiang Wang, Linghe Kong, Yue Wang, Zhuosheng Zhang, Weiran Huang","pos":"#1107","link":"https://openreview.net/forum?id=bVXx0K0j4c","abs":"Multimodal Large Language Models (MLLMs) excel at broad visual understanding but still struggle with fine-grained perception, where decisive evidence is small and easily overwhelmed by global context. Recent \"Thinking-with-Images\" methods alleviate this by iteratively zooming into regions of interest during inference, but incur high latency due to repeated tool calls and visual re-encoding. To address this, we propose Region-to-Image Distillation, which transforms zooming from an inference-time tool into a training-time primitive, thereby internalizing the benefits of agentic zooming into a single forward pass. In particular, we first zoom in to micro-cropped regions to let strong teacher models generate high-quality VQA data, and then distill this region-grounded supervision back to the full image. After training on such data, the smaller student model improves \"single-glance\" fine-grained perception without tool use. To rigorously evaluate this capability, we further present MicroPercept, a hybrid-annotated benchmark of 845 VQA data spanning six fine-grained perceptual dimensions, together with a dual-view protocol that quantifies the global-regional \"zooming gap\". Experiments show that our model achieves consistent gains across multiple fine-grained perception benchmarks, surpasses state-of-the-art agentic models while eliminating their inference latency, and improves out-of-distribution generalization.
","absKo":"Multimodal Large Language Models (MLLMs)는 폭넓은 visual understanding에서는 뛰어나지만, 결정적 근거가 작고 전체적 문맥에 쉽게 묻히는 fine-grained perception에서는 여전히 어려움을 겪는다. 최근 \"Thinking-with-Images\" 방법은 inference 중 관심 영역으로 반복적으로 zoom-in함으로써 이를 완화하지만, 반복적인 tool call과 visual re-encoding 때문에 지연 시간이 크다. 이를 해결하기 위해, 우리는 Region-to-Image Distillation을 제안한다. 이 방법은 zooming을 inference-time tool에서 training-time primitive로 전환하여, agentic zooming의 이점을 단일 forward pass 안에 내재화한다. 구체적으로, 먼저 micro-crop된 영역으로 zoom-in하여 강력한 teacher model이 고품질 VQA 데이터를 생성하게 하고, 이후 이러한 region-grounded supervision을 전체 이미지로 다시 distill한다. 이렇게 학습한 뒤에는 더 작은 student model이 tool 사용 없이도 \"single-glance\" fine-grained perception을 향상시킨다. 이 능력을 엄격하게 평가하기 위해, 우리는 여섯 개의 fine-grained perceptual dimension을 포괄하는 845개 VQA 데이터로 구성된 hybrid-annotated benchmark MicroPercept를 추가로 제시하고, global-regional \"zooming gap\"을 정량화하는 dual-view protocol을 함께 제공한다. 실험 결과, 우리의 모델은 여러 fine-grained perception benchmark에서 일관된 성능 향상을 보였고, 추론 지연 없이 최첨단 agentic model을 능가했으며, out-of-distribution generalization도 향상시켰다.
"},{"id":"60803","en":"WildActor: Unconstrained Identity-Preserving Video Generation","ko":"WildActor: 제약 없는 Identity-Preserving Video Generation","authors":"Qin Guo, Tianyu Yang, Xuanhua He, Fei Shen, Yong Zhang, Zhuoliang Kang, Xiaoming Wei, Dan Xu","pos":"#1108","link":"https://openreview.net/forum?id=wXkCkP8TtK","abs":"Production-ready human video generation requires digital actors to maintain strictly consistent full-body identities across dynamic shots, viewpoints and motions, a setting that remains challenging for existing methods. Prior methods often suffer from face-centric behavior that neglects body-level consistency, or produce copy-paste artifacts where subjects appear rigid due to pose locking. We present Actor-18M, a large-scale human video dataset designed to capture identity consistency under unconstrained viewpoints and environments. Actor-18M comprises 1.6M videos with 18M corresponding human images, covering both arbitrary views and canonical three-view representations. Leveraging Actor-18M, we propose WildActor, a framework for any-view conditioned human video generation. We introduce an Asymmetric Identity-Preserving Attention mechanism coupled with a Viewpoint-Adaptive Monte Carlo Sampling strategy that iteratively re-weights reference conditions by marginal utility for balanced manifold coverage. Evaluated on the proposed Actor-Bench, WildActor consistently preserves body identity under diverse shot compositions, large viewpoint transitions, and substantial motions, surpassing existing methods in these challenging settings.
","absKo":"생산 환경에 바로 사용할 수 있는 human video generation은 digital actor가 동적 shot, 시점, motion 전반에 걸쳐 엄격하게 일관된 full-body identity를 유지해야 하며, 이는 기존 방법들로는 여전히 어렵다. 기존 방법들은 종종 face-centric behavior에 치우쳐 body-level consistency를 놓치거나, pose locking 때문에 subject가 경직되어 보이는 copy-paste artifact를 만들어낸다. 우리는 제약 없는 시점과 환경에서 identity consistency를 포착하도록 설계된 대규모 human video dataset인 Actor-18M을 제안한다. Actor-18M은 arbitrary view와 canonical three-view representation을 모두 포함하는, 1800만 개의 대응 human image와 160만 개의 video로 구성된다. Actor-18M을 활용해, 우리는 any-view conditioned human video generation을 위한 프레임워크 WildActor를 제안한다. 우리는 균형 잡힌 manifold coverage를 위해 reference condition을 marginal utility에 따라 반복적으로 재가중하는 Viewpoint-Adaptive Monte Carlo Sampling strategy와 결합된 Asymmetric Identity-Preserving Attention mechanism을 도입한다. 제안한 Actor-Bench에서 평가한 결과, WildActor는 다양한 shot composition, 큰 viewpoint transition, 그리고 상당한 motion 하에서 body identity를 일관되게 보존하며, 이러한 까다로운 설정에서 기존 방법을 능가한다.
"},{"id":"66676","en":"VideoBrain: Learning Adaptive Frame Sampling for Long Video Understanding","ko":"VideoBrain: 긴 비디오 이해를 위한 적응적 프레임 샘플링 학습","authors":"Junbo Zou, Ziheng Huang, Shengjie Zhang, Liwen Zhang, Weining Shen","pos":"#1111","link":"https://openreview.net/forum?id=1TXn0PeBZJ","abs":"Long-form video understanding remains challenging for Vision-Language Models (VLMs) due to the inherent tension between computational constraints and the need to capture information distributed across thousands of frames. Existing approaches either sample frames uniformly (risking information loss) or select keyframes in a single pass (with no recovery from poor choices). We propose VideoBrain, an end-to-end framework that enables VLMs to adaptively acquire visual information through learned sampling policies. Our approach features dual complementary agents: a CLIP-based agent for semantic retrieval across the video and a Uniform agent for dense temporal sampling within intervals. Unlike prior agent-based methods that rely on text-only LLMs orchestrating visual tools, our VLM directly perceives frames and reasons about information sufficiency. To prevent models from invoking agents indiscriminately to maximize rewards, we introduce a behavior-aware reward function coupled with a data classification pipeline that teaches the model when agent invocation is genuinely beneficial. Experiments on four long video benchmarks demonstrate that VideoBrain achieves +3.5\\% to +9.0\\% improvement over the baseline while using 30-40\\% fewer frames, with strong zero-shot generalization to short video benchmarks.
","absKo":"Long-form video understanding은 Vision-Language Models (VLMs)에서 여전히 어렵다. 이는 computational constraint와 수천 개의 frame에 분산된 정보를 포착해야 한다는 필요성 사이의 본질적 긴장 때문이다. 기존 접근은 frame을 균일하게 sampling하여 정보 손실 위험을 감수하거나, 단일 pass로 keyframe을 선택하여 잘못된 선택을 복구하지 못한다. 우리는 학습된 sampling policy를 통해 VLM이 visual information을 적응적으로 획득할 수 있게 하는 end-to-end framework인 VideoBrain을 제안한다. 우리의 접근은 두 가지 상보적 agent를 특징으로 한다. 하나는 video 전반에서 semantic retrieval을 수행하는 CLIP 기반 agent이고, 다른 하나는 interval 내부에서 dense temporal sampling을 수행하는 Uniform agent이다. text-only LLM이 visual tool을 orchestration하는 기존 agent-based method와 달리, 우리의 VLM은 frame을 직접 지각하고 information sufficiency에 대해 추론한다. 모델이 reward를 극대화하기 위해 agent를 무분별하게 호출하는 것을 방지하기 위해, 우리는 behavior-aware reward function과 data classification pipeline을 도입하여 agent invocation이 언제 진정으로 유익한지 모델이 학습하도록 한다. 네 개의 long video benchmark에서 수행한 실험은 VideoBrain이 baseline 대비 +3.5\\%에서 +9.0\\%의 개선을 달성하면서 30-40\\% 적은 frame을 사용하며, short video benchmark로의 강한 zero-shot generalization도 보임을 보여준다.
"},{"id":"65711","en":"SEAgent: Self-Evolving Computer Use Agent with Autonomous Learning from Experience","ko":"SEAgent: 경험으로부터의 자율 학습을 갖춘 자기진화 컴퓨터 사용 에이전트","authors":"ZEYI SUN, Ziyu Liu, Yuhang Zang, Yuhang Cao, Xiaoyi Dong, Tong Wu, Dahua Lin, Jiaqi Wang","pos":"#117","link":"https://openreview.net/forum?id=AvBgmOGsdQ","abs":"Repurposing large vision-language models (LVLMs) as computer use agents (CUAs) has led to substantial breakthroughs, primarily driven by human-labeled data. However, these models often struggle with novel and specialized software, particularly in scenarios lacking human annotations. To address this challenge, we propose SEAgent, an agentic self-evolving framework enabling CUAs to autonomously evolve through interactions with unfamiliar software. Specifically, SEAgent empowers computer-use agents to autonomously master novel software environments via experiential learning, where agents explore new software, learn through iterative trial-and-error, and progressively tackle auto-generated tasks organized from simple to complex. To achieve this goal, we design a World State Model for step-wise trajectory assessment, along with a Curriculum Generator that generates increasingly diverse and challenging tasks. The agent's policy is updated through experiential learning, comprised of adversarial imitation of failure actions and Group Relative Policy Optimization (GRPO) on successful ones. Furthermore, we introduce a specialist-to-generalist training strategy that integrates individual experiential insights from specialist agents, facilitating the development of a stronger generalist CUA capable of continuous autonomous evolution. This unified agent ultimately achieves performance surpassing ensembles of individual specialist agents on their specialized software. We validate the effectiveness of SEAgent across five professional software of OSWorld, ScienceBoard and AndroidWorld. Our approach achieves a significant improvement over a competitive open-source CUA, UI-TARS. All the code and models will be made publicly available to foster further research.
","absKo":"대형 vision-language model (LVLM)을 computer use agent (CUA)로 재활용하는 접근은 주로 human-labeled data에 의해 상당한 돌파구를 만들어 왔다. 그러나 이러한 model은 특히 human annotation이 없는 상황에서 novel하고 specialized된 software를 다룰 때 종종 어려움을 겪는다. 이 과제를 해결하기 위해, 우리는 SEAgent를 제안한다. 이는 낯선 software와의 상호작용을 통해 CUA가 자율적으로 진화할 수 있게 하는 agentic self-evolving framework이다. 구체적으로, SEAgent는 computer-use agent가 경험 학습을 통해 novel software environment를 자율적으로 익히도록 한다. agent는 새로운 software를 탐색하고, 반복적인 시행착오를 통해 학습하며, 간단한 task에서 복잡한 task로 조직된 auto-generated task를 점진적으로 해결한다. 이를 위해 우리는 step-wise trajectory assessment를 위한 World State Model과, 점점 더 다양하고 어려운 task를 생성하는 Curriculum Generator를 설계했다. agent의 policy는 실패 action의 adversarial imitation과 성공 action에 대한 Group Relative Policy Optimization (GRPO)으로 구성된 경험 학습을 통해 업데이트된다. 또한 우리는 specialist-to-generalist training strategy를 도입하여, specialist agent들의 개별 경험 통찰을 통합함으로써 지속적인 자율 진화가 가능한 더 강력한 generalist CUA의 개발을 촉진한다. 이 통합 agent는 궁극적으로 각 specialist agent가 담당하는 특화 software에서 ensemble을 능가하는 성능을 달성한다. 우리는 OSWorld, ScienceBoard, AndroidWorld의 다섯 가지 전문 software 전반에서 SEAgent의 효과를 검증했다. 우리의 방법은 경쟁력 있는 open-source CUA인 UI-TARS에 비해 유의미한 성능 향상을 달성한다. 모든 code와 model은 추가 연구를 촉진하기 위해 공개될 예정이다.
"},{"id":"66758","en":"PRISM: Training-Free Video Anomaly Detection via Intrinsic Statistical Modeling","ko":"PRISM: 내재적 통계 모델링을 통한 학습 불필요 비디오 이상 탐지","authors":"YUANTONG CHEN, Zhengyan Ding, YanFeng Shang","pos":"#1202","link":"https://openreview.net/forum?id=0ZhgSSbA6i","abs":"While emerging training-free video anomaly detection (VAD) methods offer advantages such as interpretability and ease of deployment, they often suffer from computational inefficiency due to complex memory retrieval mechanisms or high-latency visual language models (VLMs). To address this, we propose PRISM (Parameter-free Recognition Based on Intrinsic Statistical Modeling), a novel framework for efficient open-set anomaly detection with minimal computational cost. PRISM based on a pre-trained multimodal embedding model, introduces differential amplification and whitening mechanisms to statistically suppress common-mode background noise in the embedding space, thereby significantly improving the signal-to-noise ratio of anomalous events. Extensive experiments on three mainstream datasets demonstrate that PRISM achieves state-of-the-art performance Real-time reasoning ability and interpretability. Furthermore, our statistical model provides a theoretical explanation for the performance gap (particularly mean accuracy (AP)) observed in existing training-free methods on complex datasets such as XD-Violence.
","absKo":"새롭게 등장한 training-free video anomaly detection (VAD) 방법은 interpretability와 deployment 용이성 같은 장점을 제공하지만, 복잡한 memory retrieval mechanism이나 높은 latency의 visual language model (VLM) 때문에 계산 비효율을 겪는 경우가 많다. 이를 해결하기 위해, 우리는 계산 비용을 최소화하면서 efficient open-set anomaly detection을 수행하는 새로운 framework인 PRISM (Parameter-free Recognition Based on Intrinsic Statistical Modeling)을 제안한다. pre-trained multimodal embedding model을 기반으로 하는 PRISM은 embedding space에서 common-mode background noise를 통계적으로 억제하기 위해 differential amplification과 whitening mechanism을 도입하여, anomalous event의 signal-to-noise ratio를 크게 향상시킨다. 세 개의 주요 dataset에서 수행한 광범위한 실험은 PRISM이 Real-time reasoning ability와 interpretability를 갖추면서 state-of-the-art performance를 달성함을 보여준다. 더 나아가, 우리의 statistical model은 XD-Violence와 같은 복잡한 dataset에서 기존 training-free method들 사이에 관찰되는 성능 격차(특히 mean accuracy (AP))에 대한 이론적 설명을 제공한다.
"},{"id":"66782","en":"Phy-CoSF: Physics-Guided Continuous Spectral Fields Reconstruction and Spectral Super-Resolution for Snapshot Compressive Imaging","ko":"Phy-CoSF: Snapshot Compressive Imaging을 위한 물리 유도 연속 스펙트럼 필드 재구성 및 스펙트럼 초해상","authors":"Wudi Chen, Zhiyuan Zha, Xin Yuan, Shigang Wang, Bihan Wen, Jiantao Zhou, Gang Yan, zipei fan, Ce Zhu","pos":"#1203","link":"https://openreview.net/forum?id=0OpwiqWPQJ","abs":"Recent advances have demonstrated that coded aperture snapshot spectral imaging (CASSI) systems show great potential for capturing 3D hyperspectral images (HSIs) from a single 2D measurement. Despite the inherent spectral continuity of scenes captured by CASSI, most existing reconstruction methods are restricted to fixed, discrete spectral outputs, thereby precluding continuous spectral reconstruction or spectral super-resolution. To address this challenge, we propose Phy-CoSF, which synergizes deep unfolding networks with implicit neural representations, establishing a new paradigm for continuous spectral reconstruction and super-resolution in CASSI. Specifically, we propose a two-phase architecture that bridges discrete-wavelength training with continuous spectral rendering, enabling the synthesis of high-fidelity HSIs at arbitrary target wavelengths. At the core of our framework lies the continuous spectral fields (CoSF) module, embedded within each unfolding stage as a dynamic prior, which comprises a triple-branch cross-domain feature mixer for comprehensive spatial–frequency–channel feature fusion, alongside a spectral synthesis head that generates spectral intensities by querying continuous wavelength coordinates. Extensive experimental results demonstrate that Phy-CoSF not only achieves continuous modeling at arbitrary spectral resolutions but also outperforms many state-of-the-art methods in both reconstruction fidelity and spectral detail preservation.
","absKo":"최근의 발전은 coded aperture snapshot spectral imaging(CASSI) system이 단일 2D measurement로부터 3D hyperspectral image(HSI)를 포착하는 데 큰 잠재력을 지님을 보여 주었다. CASSI로 포착된 장면의 본질적인 spectral continuity에도 불구하고, 기존의 대부분 재구성 방법은 고정된 이산 spectral output으로 제한되어 있어 continuous spectral reconstruction 또는 spectral super-resolution을 수행할 수 없다. 이러한 문제를 해결하기 위해, 우리는 deep unfolding network와 implicit neural representation을 결합하여 CASSI에서 continuous spectral reconstruction 및 super-resolution을 위한 새로운 paradigm을 확립하는 Phy-CoSF를 제안한다. 구체적으로, 우리는 이산 파장 학습과 연속 spectral rendering을 연결하는 two-phase architecture를 제안하여, 임의의 target wavelength에서 고충실도 HSI를 합성할 수 있게 한다. 우리의 framework의 핵심에는 각 unfolding stage에 dynamic prior로 내장된 continuous spectral fields(CoSF) module이 있으며, 이는 spatial–frequency–channel feature를 포괄적으로 융합하는 triple-branch cross-domain feature mixer와, continuous wavelength coordinate를 query하여 spectral intensity를 생성하는 spectral synthesis head로 구성된다. 광범위한 실험 결과는 Phy-CoSF가 임의의 spectral resolution에서 continuous modeling을 달성할 뿐 아니라, 재구성 fidelity와 spectral detail preservation 모두에서 많은 state-of-the-art method를 능가함을 보여 준다.
"},{"id":"65916","en":"STARCaster: Spatio-Temporal AutoRegressive Video Diffusion for Identity- and View-Aware Talking Portraits","ko":"STARCaster: 정체성 및 시점 인식 말하는 초상화를 위한 시공간 자기회귀 영상 Diffusion","authors":"Foivos Paraperas Papantoniou, Stathis Galanakis, Rolandos Alexandros Potamias, Bernhard Kainz, Stefanos Zafeiriou","pos":"#1207","link":"https://openreview.net/forum?id=8wOASkNLzQ","abs":"This paper presents STARCaster, an identity-aware spatio-temporal video diffusion model that addresses both speech-driven portrait animation and free-viewpoint talking portrait synthesis, given an identity embedding or reference image, within a unified framework. Existing 2D speech-to-video diffusion models depend heavily on reference guidance, leading to limited motion diversity. At the same time, 3D-aware animation typically relies on inversion through pre-trained tri-plane generators, which often leads to imperfect reconstructions and identity drift. We rethink reference- and geometry-based paradigms in two ways. First, we deviate from strict reference conditioning at pre-training by introducing softer identity constraints. Second, we address 3D awareness implicitly within the 2D video domain by leveraging the inherent multi-view nature of video data. STARCaster adopts a compositional approach progressing from ID-aware motion modeling, to audio-visual synchronization via lip reading-based supervision, and finally to novel view animation through temporal-to-spatial adaptation. To overcome the scarcity of 4D audio-visual data, we propose a decoupled learning approach in which view consistency and temporal coherence are trained independently. Comprehensive evaluations demonstrate that STARCaster generalizes effectively across tasks and identities, consistently surpassing prior approaches in different benchmarks.
","absKo":"이 논문은 identity embedding 또는 reference image가 주어졌을 때 speech-driven portrait animation과 free-viewpoint talking portrait synthesis를 단일 framework 안에서 모두 다루는 identity-aware spatio-temporal video diffusion model인 STARCaster를 제시한다. 기존의 2D speech-to-video diffusion model은 reference guidance에 크게 의존하여 motion diversity가 제한된다. 동시에 3D-aware animation은 일반적으로 pre-trained tri-plane generator를 통한 inversion에 의존하는데, 이는 종종 불완전한 reconstruction과 identity drift로 이어진다. 우리는 reference-와 geometry-based paradigm을 두 가지 방식으로 재해석한다. 첫째, pre-training에서 strict reference conditioning에서 벗어나 보다 완화된 identity constraint를 도입한다. 둘째, video data의 본질적인 multi-view 특성을 활용하여 2D video domain 내부에서 3D awareness를 암묵적으로 다룬다. STARCaster는 ID-aware motion modeling에서 시작해, lip reading-based supervision을 통한 audio-visual synchronization으로 이어지고, 마지막으로 temporal-to-spatial adaptation을 통해 novel view animation에 도달하는 compositional approach를 채택한다. 4D audio-visual data의 부족을 극복하기 위해, view consistency와 temporal coherence를 독립적으로 학습하는 decoupled learning approach를 제안한다. 포괄적인 평가 결과 STARCaster가 task와 identity 전반에서 효과적으로 일반화하며, 다양한 benchmark에서 기존 접근법을 일관되게 능가함을 보여준다.
"},{"id":"65867","en":"Think in Cloud, Look at Edges: Semantic-Driven Query Decomposition for Efficient Video Reasoning","ko":"클라우드에서 사고하고 엣지에서 보라: 효율적 영상 추론을 위한 의미 기반 질의 분해","authors":"Wenhao Zou, Zhijie Cai, Minchen Yu, Zongshuai Zhang, Guangxu Zhu","pos":"#1213","link":"https://openreview.net/forum?id=9HyDFcKhLV","abs":"Long video understanding faces a critical dilemma: cloud-based Large Multimodal Models (LMMs) offer superior reasoning but suffer from prohibitive bandwidth costs and latency, while edge-based solutions sacrifice perception accuracy for speed. Current collaborative approaches attempt to bridge this gap via similarity-based filtering, yet they treat complex queries as flat semantic vectors. We identify this as a fundamental flaw leading to \"Semantic Submergence,\" where dominant visual features drown out subtle but logically critical cues. To solve this, we introduce SCOPE (Semantic Cloud-Orchestrated Perception at Edge). Shifting the paradigm to \"Think in Cloud, Look at Edges,\" SCOPE utilizes a cloud LMM to decompose complex queries into a structured Directed Acyclic Graph (DAG). This \"observation plan\" guides the edge to retrieve evidence based on logical necessity rather than mere statistical similarity. Experiments on Video-MME and LongVideoBench demonstrate that SCOPE redefines the Pareto frontier, matching cloud-level accuracy with significantly lower transmission costs and outperforming state-of-the-art baselines on complex reasoning tasks.
","absKo":"장시간 비디오 이해는 중대한 딜레마에 직면해 있다. cloud-based Large Multimodal Models (LMMs)는 뛰어난 reasoning을 제공하지만 대역폭 비용과 latency가 지나치게 크고, edge-based solution은 속도를 위해 perception accuracy를 희생한다. 현재의 collaborative approach는 similarity-based filtering으로 이 격차를 메우려 하지만, 복잡한 질의를 평면적인 semantic vector로 취급한다. 우리는 이를 근본적 결함으로 식별하며, 이로 인해 핵심적이지만 미묘한 시각 단서가 지배적인 visual feature에 의해 가려지는 \"Semantic Submergence\"가 발생한다고 본다. 이를 해결하기 위해 우리는 SCOPE(Semantic Cloud-Orchestrated Perception at Edge)를 도입한다. 패러다임을 \"Think in Cloud, Look at Edges\"로 전환하여, SCOPE는 cloud LMM을 활용해 복잡한 질의를 구조화된 Directed Acyclic Graph (DAG)로 분해한다. 이 \"observation plan\"은 edge가 단순한 통계적 유사성이 아니라 논리적 필요성에 기반하여 evidence를 검색하도록 안내한다. Video-MME와 LongVideoBench 실험은 SCOPE가 Pareto frontier를 새롭게 정의하여, 전송 비용을 크게 낮추면서 cloud 수준의 정확도를 달성하고 복잡한 reasoning task에서 state-of-the-art baseline을 능가함을 보여 준다.
"},{"id":"63906","en":"Mitigating Error Accumulation in Continuous Navigation via Memory-Augmented Kalman Filtering","ko":"메모리 증강 Kalman filtering을 통한 연속 항법의 오류 누적 완화","authors":"Yin Tang, Jiawei Ma, Jinrui Zhang, Alex Jinpeng Wang, Deyu Zhang","pos":"#1302","link":"https://openreview.net/forum?id=SdcOyjz34E","abs":"Continuous prediction in complex environments is critical for Unmanned Aerial Vehicle (UAV). However, the existing Vision-Language Navigation (VLN) models follows the dead-reckoning, which iteratively predicts the next waypoint and updates its position, thereby constructing the complete trajectory. Then, such stepwise manner will inevitably lead to accumulated errors of position over time, resulting in misalignment between internal belief and objective coordinates, which is known as ``state drift'' and ultimately compromises the subsequent trajectory prediction. Drawing inspiration from classical control theory, we propose to correct for errors by formulating the continuous prediction as a recursive Bayesian state estimation problem. In this paper, we design NeuroKalman, a novel framework that decouples navigation into two complementary processes: a Prior Prediction, based on motion dynamic,s and a Likelihood Correction, from historical observation. We first mathematically associate Kernel Density Estimation of the measurement likelihood with the attention-based retrieval mechanism, which then allows the system to rectify the latent representation using retrieved historical anchors without gradient updates. Comprehensive experiments on TravelUAV benchmark demonstrate that, with only 10\\% of the full training data fine-tuning, our method clearly outperforms strong baselines and regulates drift accumulation.
","absKo":"복잡한 환경에서의 연속적인 예측은 Unmanned Aerial Vehicle (UAV)에서 매우 중요하다. 그러나 기존 Vision-Language Navigation (VLN) model은 dead-reckoning을 따르는데, 이는 다음 waypoint를 반복적으로 예측하고 위치를 갱신함으로써 전체 trajectory를 구성한다. 이렇게 stepwise한 방식은 시간이 지남에 따라 위치 오차의 누적을 불가피하게 초래하여, 내부 belief와 실제 좌표 사이의 불일치를 유발하는데, 이는 ``state drift''로 알려져 있으며 결국 이후 trajectory prediction을 저해한다. 고전 제어 이론에서 영감을 받아, 우리는 continuous prediction을 recursive Bayesian state estimation 문제로 정식화하여 오차를 보정하고자 한다. 본 논문에서는 motion dynamics에 기반한 Prior Prediction과 historical observation으로부터의 Likelihood Correction이라는 두 상보적 과정으로 navigation을 분해하는 새로운 프레임워크 NeuroKalman을 설계한다. 우리는 먼저 measurement likelihood의 Kernel Density Estimation을 attention-based retrieval mechanism과 수학적으로 연결하고, 이를 통해 gradient update 없이 검색된 historical anchor를 사용해 시스템이 latent representation을 교정할 수 있게 한다. TravelUAV benchmark에 대한 종합 실험은 전체 training data의 10\\%만으로 fine-tuning하더라도, 우리의 방법이 강력한 baseline을 분명히 능가하고 drift accumulation을 억제함을 보여준다."},{"id":"65294","en":"LoCoT2V-Bench: Benchmarking Long-Form and Complex Text-to-Video Generation","ko":"LoCoT2V-Bench: 장문 및 복합 Text-to-Video 생성 벤치마킹","authors":"Xiangqing Zheng, CHENGYUE WU, Kehai Chen, Min zhang","pos":"#1304","link":"https://openreview.net/forum?id=F22sU0Amh1","abs":"Recent advances in text-to-video generation have achieved impressive performance on short clips, yet evaluating long-form generation under complex textual inputs remains a significant challenge. In response to this challenge, we present LoCoT2V-Bench, a benchmark for long video generation (LVG) featuring multi-scene prompts with hierarchical metadata (e.g., character settings and camera behaviors), constructed from collected real-world videos. We further propose LoCoT2V-Eval, a multi-dimensional framework covering perceptual quality, text-video alignment, temporal quality, dynamic quality, and Human Expectation Realization Degree (HERD), with an emphasis on aspects such as fine-grained text-video alignment and temporal character consistency. Experiments on 13 representative LVG models reveal pronounced capability disparities across evaluation dimensions, with strong perceptual quality and background consistency but markedly weaker fine-grained text-video alignment and character consistency. These findings suggest that improving prompt faithfulness and identity preservation remains a key challenge for long-form video generation.
","absKo":"text-to-video generation의 최근 발전은 짧은 clip에서는 인상적인 성능을 달성했지만, 복잡한 text input 하에서 long-form generation을 평가하는 것은 여전히 큰 도전이다. 이러한 문제에 대응하여, 우리는 실제 세계 video를 수집해 구축한 hierarchical metadata(예: character setting과 camera behavior)를 갖춘 multi-scene prompt를 특징으로 하는 long video generation(LVG) benchmark인 LoCoT2V-Bench를 제시한다. 또한 우리는 perceptual quality, text-video alignment, temporal quality, dynamic quality, 그리고 Human Expectation Realization Degree(HERD)를 포괄하는 multi-dimensional framework인 LoCoT2V-Eval을 제안하며, 특히 fine-grained text-video alignment와 temporal character consistency 같은 측면에 중점을 둔다. 13개의 대표적인 LVG model에 대한 실험은 평가 차원 전반에서 뚜렷한 능력 격차를 드러냈다. 즉, perceptual quality와 background consistency는 강하지만, fine-grained text-video alignment와 character consistency는 현저히 약했다. 이러한 결과는 prompt faithfulness와 identity preservation을 개선하는 것이 long-form video generation의 핵심 과제임을 시사한다.
"},{"id":"62180","en":"Learning Stochastic Bridges for Video Object Removal via Video-to-Video Translation","ko":"Video-to-Video Translation을 통한 Video Object Removal용 Stochastic Bridge 학습","authors":"Zijie Lou, Xiangwei Feng, Jiaxin Wang, Jiangtao Yao, Fei Che, Tianbao Liu, WU CHENGJING, Xiaochao Qu, Luoqi Liu, Ting Liu","pos":"#1305","link":"https://openreview.net/forum?id=iygkwW61Nn","abs":"Existing video object removal methods predominantly rely on diffusion models following a noise-to-data paradigm, where generation starts from uninformative Gaussian noise. This approach discards the rich structural and contextual priors present in the original input video. Consequently, such methods often lack sufficient guidance, leading to incomplete object erasure or the synthesis of implausible content that conflicts with the scene's physical logic. In this paper, we reformulate video object removal as a video-to-video translation task via a stochastic bridge model. Unlike noise-initialized methods, our framework establishes a direct stochastic path from the source video (with objects) to the target video (objects removed). This bridge formulation effectively leverages the input video as a strong structural prior, guiding the model to perform precise removal while ensuring that the filled regions are logically consistent with the surrounding environment. To address the trade-off where strong bridge priors hinder the removal of large objects, we propose a novel adaptive mask modulation strategy. This mechanism dynamically modulates input embeddings based on mask characteristics, balancing background fidelity with generative flexibility. Extensive experiments demonstrate that our approach significantly outperforms existing methods in both visual quality and temporal consistency. The project page is https://bridgeremoval.github.io/.
","absKo":"기존의 video object removal 방법은 주로 noise-to-data paradigm을 따르는 diffusion model에 의존하는데, 이 방식은 생성이 정보가 없는 Gaussian noise에서 시작된다. 이 접근은 원본 입력 비디오에 존재하는 풍부한 구조적 및 문맥적 prior를 버린다. 그 결과 이러한 방법은 충분한 guidance를 제공하지 못해, 객체가 완전히 지워지지 않거나 장면의 물리적 논리와 충돌하는 비현실적 내용을 합성하는 경우가 많다. 본 논문에서는 stochastic bridge model을 통해 video object removal을 video-to-video translation task로 재정식화한다. noise로 초기화하는 방법과 달리, 우리의 framework는 객체가 있는 source video에서 객체가 제거된 target video로의 직접적인 stochastic path를 구축한다. 이 bridge formulation은 입력 비디오를 강력한 structural prior로 효과적으로 활용하여, 모델이 주변 환경과 논리적으로 일관된 채 정확한 제거를 수행하도록 유도한다. 강한 bridge prior가 큰 객체 제거를 방해하는 trade-off를 해결하기 위해, 우리는 새로운 adaptive mask modulation strategy를 제안한다. 이 메커니즘은 mask 특성에 따라 input embedding을 동적으로 조절하여, background fidelity와 generative flexibility 사이의 균형을 맞춘다. 광범위한 실험은 우리의 접근법이 visual quality와 temporal consistency 모두에서 기존 방법을 크게 능가함을 보여준다. 프로젝트 페이지는 https://bridgeremoval.github.io/ 입니다.
"},{"id":"62897","en":"Geometric Reciprocity: Unlocking Self-Supervision for Stereoscopic Video Generation","ko":"Geometric Reciprocity: 입체 영상 생성을 위한 자기지도학습 활성화","authors":"Jingyi Lu, Kai Han","pos":"#1309","link":"https://openreview.net/forum?id=c6cEfncR9W","abs":"Monocular-to-stereo conversion synthesizes stereoscopic content from 2D videos for immersive 3D experiences. Modern Depth-Image-Based Rendering (DIBR) approaches identify stereo inpainting of disocclusions as the critical bottleneck. Training-based methods achieve superior quality but rely on scarce stereo pairs or synthetic data with domain gaps. We address this through the first self-supervised framework learning from monocular videos via cycle consistency. Our key contribution is the Geometric Reciprocity Theorem (GRT): the disocclusion mask when synthesizing a target view exactly equals the mask of pixels lost when warping back from target to source, enabling analytical computation of test-time disocclusion masks directly from monocular images. This achieves exact train-test consistency, enabling self-supervised learning from unlimited monocular videos and substantial improvements over training-free and supervised state-of-the-art methods.
","absKo":"Monocular-to-stereo conversion은 몰입형 3D 경험을 위해 2D video로부터 stereoscopic content를 합성한다. 현대의 Depth-Image-Based Rendering (DIBR) 접근법은 disocclusion의 stereo inpainting을 핵심 병목으로 식별한다. training-based method는 더 높은 품질을 달성하지만, 희소한 stereo pair 또는 domain gap이 있는 synthetic data에 의존한다. 우리는 cycle consistency를 통해 monocular video로부터 학습하는 첫 self-supervised framework로 이 문제를 다룬다. 우리의 핵심 기여는 Geometric Reciprocity Theorem (GRT)이다. 목표 view를 합성할 때의 disocclusion mask는 source에서 target으로 워핑한 뒤 되돌릴 때 사라지는 pixel의 mask와 정확히 같아지며, 이를 통해 monocular image로부터 test-time disocclusion mask를 분석적으로 직접 계산할 수 있다. 이는 train-test consistency를 정확히 달성하게 하며, 무제한 monocular video로부터의 self-supervised learning과 training-free 및 supervised state-of-the-art method 대비의 상당한 성능 향상을 가능하게 한다.
"},{"id":"60556","en":"Frequency-Aware Perceptual Optimization for Low-Complexity Implicit Image Compression","ko":"저복잡도 암시적 이미지 압축을 위한 주파수 인식 지각 최적화","authors":"Haotian Wu, Gen Li, Di You, Pier Luigi Dragotti, Deniz Gunduz","pos":"#1311","link":"https://openreview.net/forum?id=z1vpTBdeMe","abs":"We propose a frequency-aware perceptual optimization framework for low-complexity image compression, realized as a **Re**alism-enhanced **Re**gion-based **I**mplicit **C**odec (Re2IC). Re2IC models visual perception via saliency-guided region partitioning and local–global perceptual modulation. To enhance realism under complexity constraints, we introduce wavelet–Wasserstein distortion (WA-WD), a frequency-decomposed perceptual distortion that balances fidelity and realism through subband-aware modeling and provides a more reliable approximation than standard Wasserstein distortion. Together, these designs enable fine-grained spatial–spectral optimization, allowing Re2IC to achieve superior rate–perception trade-offs, outperforming generative codecs such as HiFiC while using less than $1\\%$ of their decoding cost. Extensive experiments demonstrate state-of-the-art perceptual performance among overfitted codecs. Beyond compression, WA-WD serves as a standalone, tunable perceptual metric with strong alignment to human preference (Pearson 94.6\\%, Spearman 92.3\\%) and competitive performance across multiple IQA benchmarks.","absKo":"우리는 저복잡도 image compression을 위한 frequency-aware perceptual optimization framework를 제안하며, 이를 **Re**alism-enhanced **Re**gion-based **I**mplicit **C**odec(Re2IC)로 구현한다. Re2IC는 saliency-guided region partitioning과 local-global perceptual modulation을 통해 visual perception을 모델링한다. 복잡도 제약 하에서 realism을 높이기 위해, 우리는 wavelet-Wasserstein distortion(WA-WD)을 도입한다. 이는 frequency-decomposed perceptual distortion으로서 subband-aware modeling을 통해 fidelity와 realism의 균형을 맞추며, standard Wasserstein distortion보다 더 신뢰할 수 있는 근사를 제공한다. 이러한 설계들을 결합함으로써 정밀한 spatial-spectral optimization이 가능해지고, Re2IC는 HiFiC와 같은 generative codec보다 우수한 rate-perception trade-off를 달성하면서도 decoding cost는 1% 미만만 사용한다. 광범위한 실험은 overfitted codec들 중 SOTA perceptual performance를 보임을 입증한다. 압축을 넘어, WA-WD는 인간 선호와의 높은 정렬(Pearson 94.6%, Spearman 92.3%)을 보이는 독립적인 조정 가능 perceptual metric으로도 기능하며, 여러 IQA benchmark에서 경쟁력 있는 성능을 보인다."},{"id":"63075","en":"AVGen-Bench: A Task-Driven Benchmark for Multi-Granular Evaluation of Text-to-Audio-Video Generation","ko":"AVGen-Bench: Text-to-Audio-Video 생성의 다중 세분화 평가를 위한 태스크 기반 벤치마크","authors":"Ziwei Zhou, Zeyuan Lai, Rui Wang, Yifan Yang, Yuqing Yang, Qi Dai, Lili Qiu, Chong Luo","pos":"#1408","link":"https://openreview.net/forum?id=aJdgt8xDMy","abs":"Text-to-Audio-Video (T2AV) generation is rapidly becoming a core interface for media creation, yet its evaluation remains fragmented. Existing benchmarks largely assess audio and video in isolation or rely on coarse embedding similarity, failing to capture fine-grained joint correctness required by realistic prompts. We introduce AVGen-Bench, a task-driven benchmark for T2AV generation, featuring high-quality prompts across 11 real-world categories. To support comprehensive assessment, we propose a multi-granular evaluation framework that combines lightweight specialist models with Multimodal Large Language Models (MLLMs), enabling evaluation from perceptual quality to fine-grained semantic controllability. Our evaluation reveals a pronounced gap between strong audio-visual aesthetics and weak semantic reliability, including persistent failures in text rendering, speech coherence, physical reasoning, and universal breakdown in musical pitch control.
","absKo":"Text-to-Audio-Video (T2AV) generation은 media creation의 핵심 인터페이스로 빠르게 자리 잡고 있지만, 그 평가는 여전히 분절되어 있다. 기존 benchmark는 대체로 audio와 video를 개별적으로 평가하거나 거친 embedding similarity에 의존하여, 현실적인 prompt에 필요한 세밀한 joint correctness를 포착하지 못한다. 우리는 11개의 실제 범주에 걸친 고품질 prompt를 특징으로 하는 task-driven benchmark인 AVGen-Bench를 제안한다. 포괄적인 평가를 지원하기 위해, 우리는 경량 specialist model과 Multimodal Large Language Models (MLLMs)를 결합한 multi-granular evaluation framework를 제안하며, 이를 통해 perceptual quality부터 세밀한 semantic controllability까지 평가할 수 있다. 우리의 평가는 강한 audio-visual aesthetics와 약한 semantic reliability 사이에 뚜렷한 격차가 있음을 드러내며, 여기에는 text rendering의 지속적인 실패, speech coherence의 부족, physical reasoning의 오류, 그리고 musical pitch control의 전반적인 붕괴가 포함된다.
"},{"id":"65259","en":"Bridging Your Imagination with Audio-Video Generation via a Unified Director","ko":"통합 디렉터를 통한 오디오-비디오 생성으로 상상을 연결하기","authors":"Jiaxu Zhang, Tianshu Hu, Yuan Zhang, Zenan Li, Linjie Luo, Mingyuan Gao, Guosheng Lin, Xin Chen","pos":"#1411","link":"https://openreview.net/forum?id=FHMsceUzfS","abs":"Existing AI-driven video creation systems typically treat script drafting and key-shot design as two disjoint tasks: the former relies on large language models, while the latter depends on image generation models. We argue that these two tasks should be unified within a single framework, as logical reasoning and imaginative thinking are both fundamental qualities of a film director. In this work, we propose UniMAGE, a unified director model that bridges user prompts with well-structured scripts, thereby empowering non-experts to produce long-context, multi-shot films by leveraging existing audio–video generation models. To achieve this, we employ the Mixture-of-Transformers architecture that unifies text and image generation. To further enhance narrative logic and keyframe consistency, we introduce a ``first interleaving, then disentangling\" training paradigm. Specifically, we first perform Interleaved Concept Learning, which utilizes interleaved text–image data to foster the model’s deeper understanding and imaginative interpretation of scripts. We then conduct Disentangled Expert Learning, which decouples script writing from keyframe generation, enabling greater flexibility and creativity in storytelling. Extensive experiments demonstrate that UniMAGE achieves state-of-the-art performance among open-source models, generating logically coherent scripts and visually consistent keyframe images.
","absKo":"기존의 AI 기반 video creation 시스템은 대체로 script drafting과 key-shot design을 서로 분리된 두 작업으로 취급한다. 전자는 large language models에 의존하고, 후자는 image generation models에 의존한다. 우리는 이 두 작업이 하나의 framework 안에서 통합되어야 한다고 주장한다. 논리적 추론과 상상력은 모두 film director의 핵심 역량이기 때문이다. 본 연구에서는 UniMAGE를 제안한다. 이는 user prompts와 잘 구조화된 scripts를 연결하는 unified director model로, 기존의 audio–video generation models를 활용하여 비전문가도 long-context, multi-shot films를 제작할 수 있게 한다. 이를 위해 text와 image generation을 통합하는 Mixture-of-Transformers architecture를 사용한다. narrative logic과 keyframe consistency를 더욱 향상시키기 위해, 우리는 “first interleaving, then disentangling” training paradigm을 도입한다. 구체적으로, 먼저 Interleaved Concept Learning을 수행하는데, 이는 interleaved text–image data를 활용하여 script에 대한 모델의 더 깊은 이해와 상상적 해석을 촉진한다. 그다음 Disentangled Expert Learning을 수행하는데, 이는 script writing과 keyframe generation을 분리하여 storytelling에서 더 큰 유연성과 창의성을 가능하게 한다. 대규모 실험 결과 UniMAGE는 open-source models 중 state-of-the-art performance를 달성했으며, 논리적으로 일관된 scripts와 시각적으로 일관된 keyframe images를 생성함을 보였다.
"},{"id":"65335","en":"Crowd4D: Scene-Aware Monocular 4D Crowd Reconstruction","ko":"Crowd4D: 장면 인지 단안 4D 군중 재구성","authors":"Hongbo Kang, Tianyi Zhou, Qingyang Yang, Hongwei wen, Jing Huang, Yu-Kun Lai, Kun Li","pos":"#1413","link":"https://openreview.net/forum?id=Ee3bQ7uGs2","abs":"Recovering scene-consistent 4D crowd motion from monocular video in large-scale scenes remains challenging due to severe depth ambiguity and complex scene geometry. Existing monocular crowd reconstruction methods typically rely on single-plane assumptions, leading to unreliable metric scale and spatial drift under complex terrain. We propose Crowd4D, the first scene-aware 4D crowd reconstruction framework that jointly optimizes the crowd and scene from a monocular RGB video in large-scale scenes. Crowd4D explicitly incorporates scene geometry and ensures consistency across image and scene spaces via a multi-stage optimization strategy. A key bottleneck of this task lies in accurate human–scene alignment, particularly in scale and position. However, human and scene reconstructions are typically decoupled. To address this, we introduce the Human–Scene Interaction Proxy (HSIP) as an intermediate representation, derived from Scene Interaction Point Clouds and a Scene Interaction Surface (SIPC&SIS), which encode explicit scene-aware geometric priors and redefine the optimization space for large-scale monocular 4D crowd reconstruction. To further improve temporal stability under occlusions, we introduce Crowd Structural Coherence Regularization (CSCR), which leverages HSIP-based spatial priors to impose soft temporal consistency on pairwise relative displacements and directions within local crowd neighborhoods. Extensive experiments demonstrate that Crowd4D consistently outperforms existing state-of-the-art methods and enables robust monocular 4D crowd reconstruction in complex, large-scale real-world scenes.
","absKo":"단안 비디오로부터 대규모 장면에서 scene-consistent 4D crowd motion을 복원하는 것은 심각한 depth ambiguity와 복잡한 scene geometry 때문에 여전히 어렵다. 기존의 monocular crowd reconstruction 방법은 대개 single-plane 가정에 의존하여, 복잡한 지형에서는 신뢰할 수 없는 metric scale과 spatial drift를 초래한다. 우리는 대규모 장면의 monocular RGB video로부터 crowd와 scene을 jointly optimize하는 최초의 scene-aware 4D crowd reconstruction framework인 Crowd4D를 제안한다. Crowd4D는 scene geometry를 명시적으로 통합하고, multi-stage optimization strategy를 통해 image space와 scene space 전반에서 consistency를 보장한다. 이 task의 핵심 병목은 정확한 human–scene alignment, 특히 scale과 position에 있다. 그러나 human과 scene reconstruction은 일반적으로 분리되어 있다. 이를 해결하기 위해 우리는 Scene Interaction Point Clouds와 Scene Interaction Surface(SIPC&SIS)로부터 유도된 중간 표현인 Human–Scene Interaction Proxy(HSIP)를 도입하며, 이는 명시적인 scene-aware geometric prior를 인코딩하고 대규모 monocular 4D crowd reconstruction을 위한 optimization space를 재정의한다. 가려짐(occlusion) 하에서 temporal stability를 더 향상시키기 위해, 우리는 HSIP 기반 spatial prior를 활용하여 local crowd neighborhood 내 pairwise relative displacement와 direction에 soft temporal consistency를 부여하는 Crowd Structural Coherence Regularization(CSCR)을 도입한다. 광범위한 실험은 Crowd4D가 기존 state-of-the-art 방법을 일관되게 능가하며, 복잡하고 대규모인 실제 장면에서 강건한 monocular 4D crowd reconstruction을 가능하게 함을 보여준다.
"},{"id":"65060","en":"DRFusion: Drift-Resilient Temporally Consistent Infrared–Visible Video Fusion","ko":"DRFusion: Drift-Resilient한 시간적으로 일관된 적외선-가시광 비디오 Fusion","authors":"Xingyuan Li, HaoYuan Xu, Shulin Li, Xiang Chen, Zhiying Jiang, Jinyuan Liu","pos":"#1415","link":"https://openreview.net/forum?id=H98n6clgHv","abs":"Infrared and visible video fusion is essential for achieving comprehensive perception in dynamic scenes. However, maintaining temporal consistency remains a formidable challenge. Conventional methods relying on optical flow often suffer from geometric rigidity and ghosting artifacts. Moreover, standard diffusion-based fusion models typically operate in a frame-by-frame manner; when extended to autoregressive settings, they lack intrinsic temporal constraints and are prone to severe error accumulation and drifting, where minor artifacts amplify over time. To address these limitations, we propose a drift-resilient video fusion method that reformulates the task as history-conditioned motion generation. We introduce Stabilized History Guidance and Soft Temporal Anchoring to reframe temporal consistency as spectral filtering, implicitly aggregating motion dynamics without rigid alignment. Furthermore, our Decoupled Structure-Motion Adaptation strategy bridges pre-trained priors and structural constraints via two-stage training and latent refinement. Extensive experiments demonstrate that our method achieves state-of-the-art performance in both fusion quality and temporal stability.
","absKo":"적외선과 가시광선 video fusion은 동적 scene에서 포괄적인 perception을 달성하는 데 필수적이다. 그러나 temporal consistency를 유지하는 것은 여전히 매우 어려운 과제다. Optical flow에 의존하는 전통적인 방법은 기하학적 경직성과 ghosting artifact 문제를 겪는 경우가 많다. 또한 표준 diffusion-based fusion model은 보통 frame-by-frame 방식으로 동작하며, autoregressive setting으로 확장하면 내재적인 temporal constraint가 부족해 심각한 error accumulation과 drifting이 발생하기 쉽다. 작은 artifact가 시간에 따라 증폭되는 것이다. 이러한 한계를 해결하기 위해, 우리는 이 task를 history-conditioned motion generation으로 재정식화하는 drift-resilient video fusion method를 제안한다. 우리는 Stabilized History Guidance와 Soft Temporal Anchoring을 도입하여 temporal consistency를 spectral filtering으로 재해석하고, rigid alignment 없이 motion dynamics를 암묵적으로 집계한다. 더 나아가, 우리의 Decoupled Structure-Motion Adaptation 전략은 두 단계 학습과 latent refinement를 통해 pre-trained prior와 structural constraint를 연결한다. 광범위한 실험은 우리의 방법이 fusion quality와 temporal stability 모두에서 state-of-the-art performance를 달성함을 보여준다.
"},{"id":"63467","en":"ImmersePro: End-to-End Stereo Video Synthesis Via Implicit Disparity Learning","ko":"ImmersePro: 암시적 시차 학습을 통한 종단간 스테레오 비디오 합성","authors":"Jian Shi, Zhenyu Li, Peter Wonka","pos":"#2602","link":"https://openreview.net/forum?id=WvIVCtQLzG","abs":"We introduce \\textit{ImmersePro}, an innovative framework specifically designed to transform single-view videos into stereo videos. This framework utilizes a novel dual-branch architecture comprising a disparity branch and a context branch on video data by leveraging spatial-temporal attention mechanisms. \\textit{ImmersePro} employs implicit disparity guidance, enabling the generation of stereo pairs from video sequences without the need for explicit disparity maps, thus reducing potential errors associated with disparity estimation models. In addition to the technical advancements, we introduce the YouTube-SBS dataset, a comprehensive collection of 423 stereo videos sourced from YouTube. This dataset is unprecedented in its scale, featuring over 7 million stereo pairs, and is designed to facilitate training and benchmarking of stereo video generation models. Our experiments demonstrate the effectiveness of \\textit{ImmersePro} in producing high-quality stereo videos, offering significant improvements over existing methods. Compared to the best competitor stereo-from-mono we quantitatively improve the results by 11.76\\% (L1), 6.39\\% (SSIM), and 5.10\\% (PSNR).
","absKo":"우리는 단일 시점 비디오를 stereo video로 변환하도록 특별히 설계된 혁신적인 framework인 \\textit{ImmersePro}를 소개한다. 이 framework는 spatial-temporal attention mechanism을 활용하여 video data 위에서 disparity branch와 context branch로 구성된 새로운 dual-branch architecture를 사용한다. \\textit{ImmersePro}는 implicit disparity guidance를 채택하여 explicit disparity map 없이도 video sequence로부터 stereo pair를 생성할 수 있게 하며, 이로써 disparity estimation model과 관련된 잠재적 오류를 줄인다. 기술적 진보에 더해, 우리는 YouTube에서 수집한 423개의 stereo video로 이루어진 포괄적 dataset인 YouTube-SBS를 소개한다. 이 dataset은 700만 개가 넘는 stereo pair를 포함하는 전례 없는 규모를 갖추고 있으며, stereo video generation model의 학습과 benchmarking을 지원하도록 설계되었다. 우리의 실험은 고품질 stereo video를 생성하는 데 있어 \\textit{ImmersePro}의 효과를 보여주며, 기존 방법 대비 유의미한 향상을 제공한다. 최상의 competitor stereo-from-mono와 비교했을 때 정량적으로 L1은 11.76\\%, SSIM은 6.39\\%, PSNR은 5.10\\% 향상된다.
"},{"id":"62249","en":"LIVE: Long-horizon Interactive Video World Modeling","ko":"LIVE: 장기 상호작용 비디오 World Modeling","authors":"Junchao Huang, Ziyang Ye, Xinting Hu, Tianyu He, Guiyu Zhang, Shaoshuai Shi, Jiang Bian, Li Jiang","pos":"#2604","link":"https://openreview.net/forum?id=iKKZmgxkbG","abs":"Autoregressive video world models predict future visual observations conditioned on actions. While effective over short horizons, these models often struggle with long-horizon generation, as small prediction errors accumulate over time. Prior methods alleviate this by introducing pre-trained teacher models and sequence-level distribution matching, which incur additional computational cost and fail to prevent error propagation beyond the training horizon. In this work, we propose LIVE, a Long-horizon Interactive Video world modEl that enforces bounded error accumulation via a novel cycle-consistency objective, thereby eliminating the need for teacher-based distillation. Specifically, LIVE first performs a forward rollout from ground-truth frames and then applies a reverse generation process to reconstruct the initial state. The diffusion loss is subsequently computed on the reconstructed terminal state, providing an explicit constraint on long-horizon error propagation. Moreover, we provide an unified view that encompasses different approaches and introduce progressive training curriculum to stabilize training. Experiments demonstrate that LIVE achieves state-of-the-art performance on long-horizon benchmarks, generating stable, high-quality videos far beyond training rollout lengths.
","absKo":"Autoregressive video world models는 action에 조건화된 미래의 시각 관측을 예측한다. 짧은 horizon에서는 효과적이지만, 이 모델들은 시간이 지남에 따라 작은 예측 오류가 누적되므로 long-horizon generation에서 종종 어려움을 겪는다. 기존 방법은 pre-trained teacher model과 sequence-level distribution matching을 도입하여 이를 완화하지만, 이는 추가적인 계산 비용을 초래하고 training horizon을 넘어서는 error propagation을 막지 못한다. 본 연구에서는 teacher 기반 distillation의 필요성을 제거하면서 새로운 cycle-consistency objective를 통해 bounded error accumulation을 강제하는 Long-horizon Interactive Video world modEl인 LIVE를 제안한다. 구체적으로, LIVE는 먼저 ground-truth frame에서 forward rollout을 수행한 뒤, reverse generation process를 적용하여 초기 상태를 재구성한다. 이후 diffusion loss는 재구성된 terminal state에서 계산되며, 이는 long-horizon error propagation에 대한 명시적 제약을 제공한다. 또한, 우리는 다양한 접근법을 포괄하는 통합적 관점을 제시하고, training을 안정화하기 위한 progressive training curriculum을 도입한다. 실험은 LIVE가 long-horizon benchmark에서 state-of-the-art 성능을 달성하며, training rollout 길이를 훨씬 넘어서는 안정적이고 고품질의 비디오를 생성함을 보여준다.
"},{"id":"63670","en":"Both Semantics and Reconstruction Matter: Making Representation Encoders Ready for Text-to-Image Generation and Editing","ko":"의미와 재구성, 둘 다 중요하다: text-to-image 생성과 편집에 대비한 표현 인코더 만들기","authors":"Shilong Zhang, He Zhang, Zhifei Zhang, Chongjian GE, Shuchen Xue, Shaoteng Liu, Mengwei Ren, Soo Ye Kim, Yuqian Zhou, Qing Liu, Daniil Pakhomov, Kai Zhang, Zhe Lin, Ping Luo","pos":"#2708","link":"https://openreview.net/forum?id=UmlXZ4t44h","abs":"Modern Latent Diffusion Models (LDMs) typically operate in low-level Variational Autoencoder (VAE) latent spaces that are primarily optimized for pixel-level reconstruction. To unify vision generation and understanding, a burgeoning trend is to adopt high-dimensional features from representation encoders as generative latents. However, we empirically identify two fundamental obstacles in this paradigm: (1) the discriminative feature space lacks compact regularization, making diffusion models prone to off-manifold latents that lead to inaccurate object structures; and (2) the encoder’s inherently weak pixel-level reconstruction hinders the generator from learning accurate fine-grained geometry and texture. In this paper, we propose a systematic framework to adapt understanding-oriented encoder features for generative tasks. We introduce a semantic–pixel reconstruction objective to regularize the latent space, enabling the compression of both semantic information and fine-grained details into a highly compact representation (96 channels with 16x spatial downsampling). This design allows the latent space to remain semantically rich while achieving state-of-the-art image reconstruction, and remains compact enough for accurate generation. Leveraging this representation, we design a unified text-to-image (T2I) and image editing model. Across diverse generation spaces, our approach achieves state-of-the-art reconstruction, faster convergence, and substantial gains in both T2I and editing tasks, demonstrating that representation encoders can be effectively adapted into robust generative components. An illustrative code example is provided in the supplementary material.
","absKo":"현대의 Latent Diffusion Model(LDM)은 일반적으로 pixel-level reconstruction에 주로 최적화된 low-level Variational Autoencoder(VAE) latent space에서 동작한다. vision generation과 understanding을 통합하기 위해, representation encoder의 high-dimensional feature를 generative latent로 채택하는 경향이 빠르게 확산되고 있다. 그러나 우리는 이 패러다임에서 두 가지 근본적인 장애물을 실증적으로 확인했다: (1) discriminative feature space에는 compact regularization이 부족하여 diffusion model이 off-manifold latent에 취약해지고, 그 결과 object structure가 부정확해진다. (2) encoder 고유의 약한 pixel-level reconstruction은 generator가 정확한 세밀한 geometry와 texture를 학습하는 것을 방해한다. 본 논문에서는 understanding-oriented encoder feature를 generative task에 적응시키기 위한 체계적 framework를 제안한다. 우리는 semantic-pixel reconstruction objective를 도입하여 latent space를 regularize하고, semantic information과 세밀한 정보를 모두 매우 compact한 representation(96 channel과 16x spatial downsampling)으로 압축할 수 있게 한다. 이 설계는 latent space가 semantic richness를 유지하면서 state-of-the-art image reconstruction을 달성하도록 하며, 동시에 정확한 generation이 가능할 만큼 충분히 compact하다. 이 representation을 활용하여, 우리는 통합된 text-to-image(T2I) 및 image editing model을 설계한다. 다양한 generation space 전반에서, 우리의 방법은 state-of-the-art reconstruction, 더 빠른 수렴, 그리고 T2I와 editing task 모두에서의 상당한 성능 향상을 달성하여, representation encoder가 robust한 generative component로 효과적으로 적응될 수 있음을 보여준다. 예시 코드가 부록에 제공된다.
"},{"id":"61744","en":"Condition Number Based Low-Bit Quantization for Image Super-Resolution","ko":"이미지 Super-Resolution을 위한 Condition Number 기반 Low-Bit Quantization","authors":"Kai Liu, Dehui Wang, Zhiteng Li, Zheng Chen, Yong Guo, Linghe Kong","pos":"#308","link":"https://openreview.net/forum?id=nIGsv6u4yU","abs":"Low-bit model quantization for image super-resolution (SR) is a longstanding task that is renowned for its surprising compression and acceleration ability. However, accuracy degradation is inevitable when compressing the full-precision (FP) model to ultra-low bit widths ($2\\sim4$ bits). Experimentally, we observe that the degradation of quantization is mainly attributed to the quantization of activation instead of model weights. Considering that the activation quantization error is hard to minimize, minimizing the impact of the error emerges as a good choice, which is described by the condition number. Therefore, we propose CondiQuant, a condition number-based low-bit post-training quantization for image super-resolution. Specifically, we formulate the quantization error of activation as the condition number of weight metrics. By decoupling the representation ability and the quantization sensitivity, we design an efficient proximal gradient descent algorithm to iteratively minimize the condition number and maintain the output. With comprehensive experiments, we demonstrate that CondiQuant outperforms existing state-of-the-art post-training quantization methods in accuracy without computation overhead and gains the theoretically optimal compression ratio in model parameters. Our code will be released soon.","absKo":"이미지 super-resolution(SR)을 위한 저비트 model quantization은 놀라운 compression 및 acceleration 능력으로 잘 알려진 오랜 과제다. 그러나 full-precision(FP) model을 ultra-low bit width($2\\sim4$ bits)로 압축하면 accuracy degradation은 피할 수 없다. 실험적으로 우리는 quantization에 의한 성능 저하가 model weight보다 activation quantization에 주로 기인함을 관찰했다. activation quantization error를 최소화하기 어렵다는 점을 고려하면, 그 error의 영향을 최소화하는 것이 좋은 선택이며, 이는 condition number로 설명할 수 있다. 따라서 우리는 이미지 super-resolution을 위한 condition number 기반 low-bit post-training quantization 방법인 CondiQuant를 제안한다. 구체적으로, activation의 quantization error를 weight metric의 condition number로 정식화한다. representation 능력과 quantization sensitivity를 분리함으로써, 우리는 condition number를 반복적으로 최소화하고 출력을 유지하는 효율적인 proximal gradient descent 알고리즘을 설계한다. 포괄적인 실험을 통해 CondiQuant가 추가적인 computation overhead 없이 기존 state-of-the-art post-training quantization 방법보다 더 높은 accuracy를 달성하고, model parameter 측면에서 이론적으로 최적의 compression ratio를 얻음을 보인다. 코드는 곧 공개될 예정이다."},{"id":"61890","en":"PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception","ko":"PerceptionRubrics: 인간 지각에 맞춘 다중모달 평가 보정","authors":"Yana Wei, Hongbo Peng, Yanlin Lai, Liang Zhao, Kangheng Lin, En Yu, Keyu Lv, Han Zhou, Yin Tang, Haodong Li, Mitt Huang, Hangyu Guo, Jianjian Sun, Zheng Ge, Xiangyu Zhang, Daxin Jiang, Vishal Patel","pos":"#312","link":"https://openreview.net/forum?id=lvGs543gBK","abs":"We introduce the Perception Rubric Benchmark (PRB), a rubric-based evaluation framework for Multimodal Large Language Models (MLLMs) that addresses the growing gap between benchmark scores and human-perceived quality. While standard perception metrics approach saturation, they produce compressed rankings that obscure meaningful performance differences, largely due to their linear and lenient reward designs. PRB reframes evaluation from holistic scoring to rubric-based verification. It is built through a scalable hybrid automation pipeline over a stratified collection of complex, multi-domain visual inputs. Using pair-wise contrastive generation, PRB distills over 15,000 diagnostic rubric criteria that function as explicit unit tests for perception and are evaluated via a ternary protocol distinguishing benign approximations from perceptually critical errors. Experiments show that PRB decouples compressed leaderboard rankings, reveals perceptual blind spots in top-performing models, and aligns more closely with human preference than conventional metrics. Beyond evaluation, generated rubrics can be reused as inference-time verifiers, yielding consistent gains on multiple perception benchmarks. PRB provides a principled foundation for reliable and discriminative multimodal evaluation.
","absKo":"우리는 Multimodal Large Language Model (MLLM)을 위한 rubric-based evaluation framework인 Perception Rubric Benchmark (PRB)를 소개한다. 이 프레임워크는 benchmark score와 인간이 인식하는 quality 사이의 커지는 간극을 해결한다. 표준 perception metric은 saturation에 가까워지고 있지만, 선형적이고 관대한 reward 설계 때문에 의미 있는 성능 차이를 가리는 압축된 ranking을 만들어낸다. PRB는 evaluation을 holistic scoring에서 rubric-based verification으로 재구성한다. 이는 복잡한 다중 도메인 visual input의 stratified collection 위에 구축된 확장 가능한 hybrid automation pipeline을 통해 만들어진다. pair-wise contrastive generation을 사용하여, PRB는 perception을 위한 명시적 unit test로 기능하는 15,000개 이상의 diagnostic rubric criterion을 추출하고, 이를 통해 무해한 근사와 지각적으로 치명적인 오류를 구분하는 ternary protocol로 평가한다. 실험 결과 PRB는 압축된 leaderboard ranking을 분리해 보여주고, 최상위 model의 perceptual blind spot을 드러내며, 기존 metric보다 인간 선호와 더 잘 정렬됨을 보인다. 평가를 넘어, 생성된 rubric은 inference-time verifier로 재사용될 수 있으며, 여러 perception benchmark에서 일관된 성능 향상을 가져온다. PRB는 신뢰할 수 있고 변별력 있는 multimodal evaluation을 위한 원칙적인 기반을 제공한다.
"},{"id":"66013","en":"Towards Trustworthy Video Anomaly Understanding: A Class-Guided Chain-of-Evaluation Metric and An Anomaly-focused Meta-Benchmark","ko":"신뢰할 수 있는 영상 이상 이해를 향하여: 클래스 유도 평가 연쇄 지표와 이상 중심 메타 벤치마크","authors":"Jiaxu Leng, Zhoujie Huang, Mingpi Tan, Zhanjie Wu, Xinbo Gao","pos":"#4614","link":"https://openreview.net/forum?id=7waVdY1WmW","abs":"The trustworthiness of evaluation is critical to reliable model comparison and deployment in Video Anomaly Understanding (VAU). However, existing metrics are sensitive to expression styles and normal content, and this field lacks a diagnostic benchmark to validate metric validity and robustness. To bridge this gap, we propose: (1) a Class-Guided Chain-of-Evaluation (CG-CoE) metric, which structures assessment by extracting anomalous events and matching them under a class-specific semantic tolerance boundary, thereby decoupling anomaly semantics from descriptive style; and (2) an anomaly-focused meta-evaluation benchmark with two subsets: Anomalous Event-level Annotations (AEA) for measuring the validity of reflecting VAU models’ anomaly understanding ability and Controlled Variant Pairs (CVP) with fixed anomalies for quantifying robustness to stylistic perturbations. Extensive experiments demonstrate that CG-CoE achieves SOTA validity and robustness.
","absKo":"Video Anomaly Understanding(VAU)에서 평가의 신뢰성은 신뢰할 수 있는 모델 비교와 배포에 매우 중요합니다. 그러나 기존 metric은 표현 방식과 정상 콘텐츠에 민감하며, 이 분야에는 metric의 타당성과 robustness를 검증할 진단용 benchmark가 부족합니다. 이러한 공백을 메우기 위해 우리는 다음을 제안합니다: (1) anomalous event를 추출하고 class-specific semantic tolerance boundary 아래에서 이를 매칭하도록 평가를 구조화함으로써 anomaly semantics를 descriptive style과 분리하는 Class-Guided Chain-of-Evaluation(CG-CoE) metric, (2) VAU 모델의 anomaly 이해 능력을 반영하는 타당성을 측정하기 위한 Anomalous Event-level Annotations(AEA)와, stylistic perturbation에 대한 robustness를 정량화하기 위한 고정된 anomaly를 갖는 Controlled Variant Pairs(CVP)의 두 subset으로 구성된 anomaly-focused meta-evaluation benchmark. 광범위한 실험 결과, CG-CoE가 SOTA 수준의 validity와 robustness를 달성함을 보여줍니다.
"},{"id":"65531","en":"FS-I2P: A Hierarchical Focus–Sweep Registration Network with Dynamically Allocated Depth","ko":"FS-I2P: 동적으로 할당된 깊이를 갖는 계층적 Focus–Sweep 정합 네트워크","authors":"Zhixin Cheng, Yujia Chen, Xujing Tao, Bohao Liao, Xiaotian Yin, Baoqun Yin, Tianzhu Zhang","pos":"#4618","link":"https://openreview.net/forum?id=Cco325CI1W","abs":"Image-to-point cloud registration is often challenged by viewpoint changes, cross-modal discrepancies, and repetitive textures, which induce scale ambiguity and consequently lead to erroneous correspondences. Recent detection-free methods alleviate this issue by leveraging multi-scale features and transformer-based interactions. However, they still suffer from attention drift across layers and intra-scale inconsistencies, hindering precise registration. Inspired by human behavior, we propose a \"Focus-Sweep'' paradigm and develop a Hierarchical Focus-Sweep Interaction Module within an SSM-based framework to enhance multi-level cross-modal feature association. In addition, we introduce a Dynamic Layer Allocation Strategy that adaptively determines the iteration depth to better exploit geometric constraints and improve matching robustness. Extensive experiments and ablations on two benchmarks, RGB-D Scenes V2 and 7-Scenes, demonstrate that our approach achieves state-of-the-art performance.
","absKo":"이미지-포인트 클라우드 registration은 종종 시점 변화, cross-modal discrepancy, 반복적인 texture 때문에 어려움을 겪으며, 이는 scale ambiguity를 유발하고 결국 잘못된 correspondence로 이어진다. 최근의 detection-free 방법들은 multi-scale feature와 transformer 기반 interaction을 활용하여 이 문제를 완화한다. 그러나 이들 방법은 여전히 layer 간 attention drift와 intra-scale inconsistency로 인해 정밀한 registration을 저해한다. 인간의 행동에서 영감을 받아, 우리는 \"Focus-Sweep'' 패러다임을 제안하고, SSM 기반 프레임워크 내에서 Hierarchical Focus-Sweep Interaction Module을 개발하여 multi-level cross-modal feature association을 강화한다. 또한, 기하학적 제약을 더 잘 활용하고 matching robustness를 향상시키기 위해 반복 깊이를 적응적으로 결정하는 Dynamic Layer Allocation Strategy를 도입한다. RGB-D Scenes V2와 7-Scenes라는 두 benchmark에 대한 광범위한 실험과 ablation study는 우리의 접근법이 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"65344","en":"Motion Dynamics Learning for Few-Shot Embodied Adaptation","ko":"Few-Shot 체화 적응을 위한 모션 동역학 학습","authors":"Sibo He, Weiying Xie, Daixun Li, Junhao Zhong, Jiayun Tian, Yunke Wang, Leyuan Fang, Gang He, Yunsong Li","pos":"#1301","link":"https://openreview.net/forum?id=EW7FmahpLs","abs":"Vision-Language-Action (VLA) models have shown strong potential for robotic manipulation, yet adapting pretrained models to novel tasks typically relies on substantial task-specific demonstrations, limiting scalability. Current VLA methods mostly focus on action imitation, which ignores the richer structure contained in trajectories. In contrast, motion dynamics governing how actions evolve over time are more informative and transferable, making them better suited for few-shot adaptation. Motivated by this idea, we propose DynVLA, a few-shot adaptation system that reformulates VLA learning from action imitation to trajectory-level motion dynamics modeling. Specifically, we propose Motion Dynamics Mechanism (MDM), which distills latent physical regimes from trajectories via flow-matching inversion, yielding compact representations that capture dynamics. We further design Dynamics-Constrained Modeling (DCM). DCM projects these inferred representations onto a Dynamics Bank, which stores prior motion knowledge pretrained from diverse demonstrations. By grounding action generation in these learned priors, the system enables interpolating between existing action paradigms to represent novel dynamics modes. Experiments on 13 real-world tasks demonstrate that DynVLA outperforms existing SOTA systems by 19\\% in average success rate with only 10-20 demonstrations, highlighting its adaptation capabilities in real-world scenes.
","absKo":"Vision-Language-Action(VLA) 모델은 robot manipulation에서 강한 잠재력을 보였지만, pre-trained model을 새로운 task에 적응시키는 과정은 대개 상당한 양의 task-specific demonstration에 의존하므로 확장성이 제한된다. 현재의 VLA 방법은 대부분 action imitation에 초점을 맞추며, trajectory에 담긴 더 풍부한 구조를 무시한다. 반면 시간이 흐르며 action이 어떻게 변화하는지를 지배하는 motion dynamics는 더 많은 정보를 담고 있으며 전이 가능성도 높아 few-shot adaptation에 더 적합하다. 이러한 아이디어에서 출발해 우리는 DynVLA를 제안한다. DynVLA는 VLA learning을 action imitation에서 trajectory-level motion dynamics modeling으로 재정식화하는 few-shot adaptation system이다. 구체적으로, 우리는 Motion Dynamics Mechanism(MDM)을 제안한다. MDM은 flow-matching inversion을 통해 trajectory로부터 latent physical regime을 distill하여 dynamics를 포착하는 compact representation을 생성한다. 또한 Dynamics-Constrained Modeling(DCM)을 설계한다. DCM은 이러한 추론된 representation을 다양한 demonstration으로 사전 학습된 prior motion knowledge를 저장하는 Dynamics Bank에 투영한다. 학습된 prior에 기반해 action generation을 정초함으로써, 시스템은 기존 action paradigm 사이를 보간하여 새로운 dynamics mode를 표현할 수 있게 한다. 13개의 실제 task에서의 실험은 DynVLA가 단 10-20개의 demonstration만으로 평균 성공률에서 기존 SOTA system을 19\\% 능가함을 보여주며, 실제 장면에서의 적응 능력을 입증한다.
"},{"id":"64676","en":"When Preference Labels Fall Short: Aligning Diffusion Models from Real Data","ko":"선호 레이블이 부족할 때: 실제 데이터로부터 Diffusion Model 정렬","authors":"Weiyan Chen, Weijian Deng, Yao Xiao, Weijie Tu, ZiYi Dong, Ibrahim Radwan, Liang Lin, Pengxu Wei","pos":"#1109","link":"https://openreview.net/forum?id=KyAEhJSyEC","abs":"Preference alignment aims to guide generative models by learning from comparisons between preferred and non-preferred samples. In practice, most existing approaches rely on preference pairs constructed from model-generated images. Such supervision is inherently relative and can be ambiguous when both samples exhibit artifacts or limited visual quality, making it difficult to infer what constitutes a truly desirable output. In this work, we investigate whether real data can serve as an alternative source of supervision for preference alignment. We adopt a data-centric perspective and study a curation strategy that treats real images as reference points and constructs preference signals by contrasting them with generated or perturbed samples, without requiring manually annotated preference pairs. Through empirical analysis, we show that real-data-based supervision provides effective guidance for aligning diffusion models and achieves performance comparable to existing preference-based methods. Our results suggest that real data offers a practical and complementary source of supervision for preference alignment and highlight directions of label-efficient alignment strategies.
","absKo":"Preference alignment는 선호되는 샘플과 선호되지 않는 샘플 사이의 비교를 학습함으로써 generative model을 유도하는 것을 목표로 한다. 실제로 기존 접근법의 대부분은 model-generated image로 구성된 preference pair에 의존한다. 이러한 supervision은 본질적으로 상대적이며, 두 샘플 모두 artifact나 제한적인 visual quality를 보일 때 모호할 수 있어, 무엇이 진정으로 바람직한 output인지 추론하기 어렵다. 이 연구에서는 real data가 preference alignment를 위한 대체 supervision source로 활용될 수 있는지 살펴본다. 우리는 data-centric 관점을 채택하여, real image를 reference point로 취급하고 수동으로 주석된 preference pair 없이 generated 또는 perturbed sample과 대비시켜 preference signal을 구성하는 curation strategy를 연구한다. 실증적 분석을 통해 real-data-based supervision이 diffusion model을 align하는 데 효과적인 guidance를 제공하며, 기존 preference-based method와 견줄 만한 성능을 달성함을 보인다. 우리의 결과는 real data가 preference alignment를 위한 실용적이고 보완적인 supervision source를 제공하며, label-efficient alignment strategy의 방향을 제시함을 시사한다.
"},{"id":"66156","en":"What Makes Synthetic Data Effective in Image Segmentation","ko":"이미지 분할에서 합성 데이터를 효과적으로 만드는 요인","authors":"Jinjin Zhang, Xiefan Guo, Yizhou jin, Nan Zhou, Di Huang","pos":"#1110","link":"https://openreview.net/forum?id=6HBP1uCTdd","abs":"Driven by rapid advances in large-scale generative models, synthetic data has emerged as a promising solution for visual understanding. While modern diffusion models achieve remarkable photorealistic image synthesis, their potential in complex visual segmentation tasks remains underexplored. In this work, we conduct a systematic analysis of synthetic images from state-of-the-art diffusion models to uncover the factors governing their utility. In particular, synthetic images characterized by dense scene composition and fine instance fidelity demonstrate distinctive benefits, yielding significantly more discriminative spatial representations. Building on these insights, we propose SENSE, a unified framework that leverages flexible and scalable synthetic data to substantially enhance segmentation performance. Notably, SENSE is model-agnostic, compatible with diverse architectures (e.g., DPT and Mask2Former), and scales effectively across models with varying parameter capacities. Extensive experiments on Cityscapes, COCO, and ADE20K validate the effectiveness and generalization capability of our approach. Code will be made publicly available.
","absKo":"대규모 generative model의 빠른 발전에 힘입어 synthetic data는 visual understanding을 위한 유망한 해법으로 떠올랐다. 현대 diffusion model은 놀라운 photorealistic image synthesis를 달성했지만, 복잡한 visual segmentation task에서의 잠재력은 아직 충분히 탐구되지 않았다. 본 연구에서는 최첨단 diffusion model이 생성한 synthetic image를 체계적으로 분석하여, 그 유용성을 좌우하는 요인을 밝혀낸다. 특히 dense scene composition과 fine instance fidelity를 특징으로 하는 synthetic image는 뚜렷한 장점을 보이며, 훨씬 더 판별적인 spatial representation을 생성한다. 이러한 통찰을 바탕으로 우리는 유연하고 확장 가능한 synthetic data를 활용해 segmentation 성능을 크게 향상시키는 통합 framework인 SENSE를 제안한다. 특히 SENSE는 model-agnostic하며, DPT와 Mask2Former 같은 다양한 architecture와 호환되고, parameter capacity가 다른 model들에 걸쳐 효과적으로 확장된다. Cityscapes, COCO, ADE20K에서의 광범위한 실험은 우리의 approach의 효과성과 일반화 능력을 검증한다. 코드는 공개될 예정이다.
"},{"id":"62613","en":"Utonia: Toward One Encoder for All Point Clouds","ko":"Utonia: 모든 Point Cloud를 위한 One Encoder 지향","authors":"Yujia Zhang, Xiaoyang Wu, Yunhan Yang, Xianzhe Fan, Han Li, Yuechen Zhang, Zehao Huang, Naiyan Wang, Hengshuang Zhao","pos":"#1112","link":"https://openreview.net/forum?id=f2CGTzHQ4E","abs":"We dream of a future where point clouds from all domains can come together to shape a single model that benefits them all. Toward this goal, we present Utonia, a first step toward training a single self-supervised point transformer encoder across heterogeneous domains, spanning remote sensing, outdoor LiDAR, indoor RGB-D sequences, object-centric CAD models, and point clouds lifted from RGB-only videos. Despite their distinct sensing geometries, densities, and priors, Utonia learns a consistent representation space that transfers across domains. This unification improves perception capability while revealing intriguing emergent behaviors that arise only when domains are trained jointly. Beyond perception, we observe that Utonia representations can also benefit embodied and multimodal reasoning: conditioning vision-language-action policies on Utonia features improves robotic manipulation, and integrating them into vision-language models yields gains on spatial reasoning. We hope Utonia can serve as a step toward foundation models for sparse 3D data, and support downstream applications in AR/VR, robotics, and autonomous driving.
","absKo":"우리는 모든 domain의 point cloud가 함께 모여 그 모두에게 이점을 주는 단일 모델을 형성하는 미래를 꿈꾼다. 이 목표를 향해, 우리는 원격 탐사, outdoor LiDAR, indoor RGB-D sequence, object-centric CAD model, 그리고 RGB-only video에서 lift한 point cloud를 아우르는 heterogeneous domain 전반에 걸쳐 단일 self-supervised point transformer encoder를 학습하는 첫걸음인 Utonia를 제시한다. 서로 다른 sensing geometry, density, prior에도 불구하고, Utonia는 domain을 가로질러 전이되는 일관된 representation space를 학습한다. 이러한 통합은 perception capability를 향상시키는 동시에, domain을 공동으로 학습할 때만 나타나는 흥미로운 emergent behavior를 드러낸다. perception을 넘어, 우리는 Utonia representation이 embodied reasoning과 multimodal reasoning에도 도움이 될 수 있음을 관찰한다. Utonia feature로 vision-language-action policy를 조건화하면 robotic manipulation이 향상되고, 이를 vision-language model에 통합하면 spatial reasoning에서 성능이 개선된다. 우리는 Utonia가 sparse 3D data를 위한 foundation model을 향한 한 걸음이 되기를 바라며, AR/VR, robotics, autonomous driving의 downstream application을 지원하기를 기대한다.
"},{"id":"66591","en":"Trust3R: Unifying Feed-Forward Pointmap Prediction and Evidential Learning for Trust-Aware 3D Reconstruction","ko":"Trust3R: 신뢰 인지 3D 재구성을 위한 순전파 Pointmap 예측과 증거적 학습의 통합","authors":"Zihao Zhu, Wenyuan Zhao, Nuo Chen, Chao Tian, Zhiwen Fan","pos":"#1113","link":"https://openreview.net/forum?id=2OSFz8cteI","abs":"Geometric foundation models hold promise for unconstrained dense geometry prediction from uncalibrated images; however, in current feed-forward designs, their predicted confidence scores are heuristic, lack probabilistic interpretation, and often fail to indicate where and how much the predicted geometry can be trusted. To fill this gap, we present Trust3R, a trust-aware 3D reconstruction framework that pairs a lightweight gated residual mean refinement with evidential learning to predict pointmap evidence under a Normal-Inverse-Wishart prior and yield a closed-form multivariate Student-t predictive distribution. This design provides probabilistically grounded pointmap uncertainty estimates while adding moderate inference overhead. We evaluate on diverse indoor and outdoor benchmarks, and compare against MASt3R's built-in confidence map as well as common uncertainty-aware baselines spanning single-pass heteroscedastic regression and sampling-based methods such as MC dropout and deep ensembles. Experimental results show that Trust3R consistently improves risk--coverage and sparsification, and generally improves geometric accuracy. Trust3R consistently improves uncertainty ranking across benchmarks (e.g. on ScanNet++: 25\\% lower AURC and 41\\% lower AUSE), enabling uncertainty-aware weighting for downstream alignment and fusion.
","absKo":"기하학적 foundation model은 보정되지 않은 이미지로부터 제약 없는 dense geometry prediction을 수행할 수 있는 가능성을 지니지만, 현재의 feed-forward 설계에서 예측된 confidence score는 휴리스틱에 불과하고 확률적 해석이 부족하며, 예측된 geometry를 어디까지 그리고 얼마나 신뢰할 수 있는지를 나타내지 못하는 경우가 많다. 이러한 공백을 메우기 위해 우리는 Trust3R을 제안한다. Trust3R은 가벼운 gated residual mean refinement와 evidential learning을 결합하여 Normal-Inverse-Wishart prior 하에서 pointmap evidence를 예측하고, 닫힌 형태의 multivariate Student-t predictive distribution을 산출하는 trust-aware 3D reconstruction 프레임워크이다. 이 설계는 확률적으로 정당화된 pointmap uncertainty estimate를 제공하면서도 추론 오버헤드는 중간 수준에 머문다. 우리는 다양한 indoor 및 outdoor benchmark에서 평가하고, MASt3R의 내장 confidence map은 물론 MC dropout과 deep ensemble 같은 sampling-based method를 포함한 일반적인 uncertainty-aware baseline과 비교한다. 실험 결과 Trust3R은 risk--coverage와 sparsification을 일관되게 개선하고, 전반적으로 geometric accuracy도 향상시킨다. Trust3R은 benchmark 전반에서 uncertainty ranking을 일관되게 개선하며(예: ScanNet++에서 AURC 25\\% 감소, AUSE 41\\% 감소), downstream alignment와 fusion을 위한 uncertainty-aware weighting을 가능하게 한다."},{"id":"60995","en":"Native Spatio-Temporal 4D Variational Autoencoder","ko":"네이티브 시공간 4D Variational Autoencoder","authors":"Lihe Ding, Weicai Ye, Shaocong Dong, Xintao Wang, Pengfei Wan, Kun Gai, Tianfan Xue","pos":"#1200","link":"https://openreview.net/forum?id=uiGXPEvTH4","abs":"Dynamic 3D content representation is crucial for generating moving 3D objects and scenes. Existing 4D variational autoencoders (VAEs) are mainly based on projected 2D pointmaps, which are only incomplete and view-dependent observations that do not model the native 4D positional relations between points. This often leads to projection-induced distortions and irreversible token dislocation. In this paper, we introduce a novel 4D VAE that operates directly in native 4D space, that is dynamic colored voxel space, without 2D projection. This preserves explicit spatio-temporal coordinates throughout the learned encoder and decoder, enabling both partial and complete 4D content encoding. To support a flexible temporal compression ratio, we also design a novel spatio-temporal window attention module that performs attention within local 4D windows. Additionally, we propose a differentiable voxel rendering loss based on sparse voxel rasterization to improve the geometry and color reconstruction quality. On 4D reconstruction tasks, our approach improves reconstruction fidelity over pointmap VAEs and flow-based VAEs while learning a more structurally consistent latent space. We further demonstrate the generative potential of our method by training a video-conditioned 4D diffusion model.
","absKo":"동적 3D content representation은 움직이는 3D object와 scene을 생성하는 데 핵심적이다. 기존 4D variational autoencoders(VAEs)는 주로 projected 2D pointmap에 기반하는데, 이는 불완전하고 view-dependent한 observation일 뿐이며 points 사이의 native 4D positional relation을 모델링하지 못한다. 이로 인해 projection-induced distortion과 비가역적 token dislocation이 자주 발생한다. 본 논문에서는 2D projection 없이 native 4D space, 즉 dynamic colored voxel space에서 직접 동작하는 새로운 4D VAE를 제안한다. 이는 learned encoder와 decoder 전반에서 explicit spatio-temporal coordinate를 보존하여, partial 및 complete 4D content encoding을 모두 가능하게 한다. 유연한 temporal compression ratio를 지원하기 위해, 우리는 local 4D window 내부에서 attention을 수행하는 새로운 spatio-temporal window attention module도 설계한다. 추가로, geometry와 color reconstruction quality를 향상시키기 위해 sparse voxel rasterization에 기반한 differentiable voxel rendering loss를 제안한다. 4D reconstruction task에서 우리의 접근법은 pointmap VAE와 flow-based VAE보다 reconstruction fidelity를 향상시키면서, 더 구조적으로 일관된 latent space를 학습한다. 또한 video-conditioned 4D diffusion model을 학습함으로써 우리의 방법의 생성 잠재력을 추가로 입증한다.
"},{"id":"66159","en":"OcclusionFormer: Arranging Z-Order for Layout-Grounded Image Generation","ko":"OcclusionFormer: 레이아웃 기반 이미지 생성을 위한 Z-순서 배치","authors":"Ziye Li, Henghui Ding","pos":"#1201","link":"https://openreview.net/forum?id=6FNTrLYLbu","abs":"Recent layout-to-image models have achieved remarkable progress in spatial controllability. However, they still struggle with inter-object occlusion. When bounding boxes overlap, most existing methods lack explicit occlusion information, which makes the generation in intersection regions inherently ambiguous and hinders the determination of complex occlusion relationships. As a result, they often produce entangled textures or physically inconsistent layering in the overlapped areas. To address this issue, we first construct SA-Z, a large-scale dataset enriched with explicit occlusion ordering and pixel-level annotations. Building upon our proposed dataset, we introduce OcclusionFormer, a novel occlusion-aware Diffusion Transformer framework that explicitly models Z-order priority by decoupling instances and compositing them via volume rendering. Furthermore, to ensure fine-grained spatial precision, we introduce a queried alignment loss that explicitly supervises individual instances and enhances semantic consistency. The proposed method effectively reduces ambiguity in overlapping regions, enforces correct occlusion dependencies, and preserves structural integrity, leading to substantial accuracy gains across diverse scenes.
","absKo":"최근의 layout-to-image model은 spatial controllability에서 놀라운 진전을 이루었다. 그러나 객체 간 occlusion에는 여전히 취약하다. bounding box가 겹칠 때, 기존 방법 대부분은 명시적인 occlusion 정보를 갖고 있지 않아 교차 영역의 생성이 본질적으로 모호해지고 복잡한 occlusion 관계를 결정하기 어렵다. 그 결과 겹치는 영역에서 얽힌 texture나 물리적으로 일관되지 않은 layering이 자주 발생한다. 이 문제를 해결하기 위해 우리는 먼저 명시적인 occlusion ordering과 pixel-level annotation으로 풍부해진 대규모 dataset인 SA-Z를 구축한다. 제안한 dataset을 바탕으로 우리는 instance를 분리한 뒤 volume rendering으로 합성함으로써 Z-order priority를 명시적으로 모델링하는 새로운 occlusion-aware Diffusion Transformer framework인 OcclusionFormer를 도입한다. 또한 세밀한 spatial precision을 보장하기 위해, 개별 instance를 명시적으로 감독하고 semantic consistency를 강화하는 queried alignment loss를 도입한다. 제안 방법은 겹치는 영역의 ambiguity를 효과적으로 줄이고, 올바른 occlusion dependency를 강제하며, 구조적 완전성을 보존함으로써 다양한 scene에서 큰 정확도 향상을 이끈다.
"},{"id":"65063","en":"PromptPilot: Game-Theoretic Multi-Agent Prompt Optimization for Segment Anything","ko":"PromptPilot: Segment Anything을 위한 게임 이론적 Multi-Agent Prompt Optimization","authors":"Guangze Shi, Yingjie Mi, Jia Shen, Feixue Shao, Jiarui Cao, Yexin Lai, Xueyu Liu, Rui Wang, Yongfei Wu, Mingqiang Wei","pos":"#1204","link":"https://openreview.net/forum?id=H6T8ECJafn","abs":"Optimizing prompts for foundation models like SAM represents a challenging high-dimensional black-box optimization problem, fundamentally plagued by the credit assignment ambiguity. To address this, we introduce PromptPilot, a task-agnostic reinforcement learning framework that structurally decomposes the search space into orthogonal semantic and spatial subspaces. Specifically, a centralized manager orchestrates two specialized agents, a feature agent ensuring semantic coherence and a physical agent maximizing spatial coverage, to navigate conflicting optimization objectives. Crucially, our reward mechanism synergizes global segmentation feedback with an efficient approximation of Shapley values, enabling fine-grained attribution of performance gains to individual prompt actions. PromptPilot functions as an inference-time optimization strategy without parameter updates. Extensive experiments demonstrate that our game-theoretic approach significantly improves segmentation performance and generalization, offering a principled solution for automated prompt engineering.
","absKo":"SAM과 같은 foundation model의 prompt를 최적화하는 문제는 credit assignment의 모호성 때문에 본질적으로 어려운 고차원 black-box optimization 문제이다. 이를 해결하기 위해 우리는 탐색 공간을 직교하는 semantic subspace와 spatial subspace로 구조적으로 분해하는 task-agnostic reinforcement learning 프레임워크 PromptPilot을 제안한다. 구체적으로, central manager가 semantic coherence를 보장하는 feature agent와 spatial coverage를 극대화하는 physical agent라는 두 개의 특화된 agent를 조율하여 상충하는 최적화 목표를 탐색하도록 한다. 특히, 우리의 reward 메커니즘은 전역 segmentation feedback과 Shapley value의 효율적인 근사를 결합하여, 성능 향상의 기여를 개별 prompt action에 세밀하게 귀속시킬 수 있게 한다. PromptPilot은 parameter update 없이 inference-time optimization 전략으로 동작한다. 광범위한 실험은 우리의 game-theoretic approach가 segmentation 성능과 일반화를 크게 향상시키며, 자동화된 prompt engineering을 위한 원리 있는 해법을 제공함을 보여준다.
"},{"id":"65887","en":"RADIO1D: Elastic Representations for Condensed Vision Modeling","ko":"RADIO1D: 압축된 시각 모델링을 위한 탄력적 표현","authors":"Greg Heinrich, Mike Ranzinger, Collin McCarthy, Natan Bagrov, Eugene Khvedchenya, Bryan Catanzaro, Jan Kautz, Andrew Tao, Pavlo Molchanov","pos":"#1205","link":"https://openreview.net/forum?id=971mgKp9g7","abs":"This paper challenges the assumption that vision-language models (VLMs) require fixed patch-based 2D vision features. Analyzing fine-tuned vision encoders, we find that representations become increasingly abstract and less spatially coherent during VLM training. Notably, models trained with image-text alignment (such as SigLIP2) develop a small number of specialized tokens that effectively summarize global image content. Building on this, we introduce RADIO1D, which compresses images into a compact, variable-length 1D token sequence using multi-teacher knowledge distillation and an autoencoder design. The resulting representations exhibit strong hierarchical summarization, enabling accurate scene understanding–even with a single token–and support improved composition-aware image retrieval. In VLMs, RADIO1D provides flexible accuracy-efficiency tradeoffs through adjustable token counts, delivering competitive performance on diverse multimodal benchmarks with lower computational overhead and better accuracy. We release our models under a permissive license.
","absKo":"이 논문은 vision-language model(VLM)이 고정된 patch 기반 2D vision feature를 필요로 한다는 가정에 도전한다. fine-tuned vision encoder를 분석한 결과, VLM training이 진행될수록 representation이 점점 더 추상적이 되고 spatial coherence는 낮아진다는 사실을 발견했다. 특히 image-text alignment로 학습된 model(SigLIP2와 같은)은 global image content를 효과적으로 요약하는 소수의 specialized token을 발전시킨다. 이러한 점에 기반하여, 우리는 multi-teacher knowledge distillation과 autoencoder design을 사용해 이미지를 compact하고 variable-length인 1D token sequence로 압축하는 RADIO1D를 소개한다. 그 결과로 얻어지는 representation은 강한 hierarchical summarization을 보이며, 단일 token만으로도 정확한 scene understanding을 가능하게 하고, composition-aware image retrieval도 향상시킨다. VLM에서 RADIO1D는 조절 가능한 token 수를 통해 정확도와 효율성의 유연한 tradeoff를 제공하며, 더 낮은 computation overhead와 더 나은 정확도로 다양한 multimodal benchmark에서 경쟁력 있는 성능을 낸다. 우리는 permissive license 하에 model을 공개한다.
"},{"id":"66753","en":"SceneDirector: Bridging Explicit Geometry and Generative Priors for Unified Driving Scene Editing","ko":"SceneDirector: 통합 주행 장면 편집을 위한 명시적 기하학과 Generative Prior의 연결","authors":"Yiyuan Liang, Zhiying Yan, Tao Zhang, Shangke Liu, Kai Lin, Xu Zou, Nong Sang, Changxin Gao","pos":"#1209","link":"https://openreview.net/forum?id=0dNGyQnDo2","abs":"Validating autonomous driving systems requires diverse scenarios, yet real-world data collection is biased and costly. Editing existing driving logs offers a scalable solution, but simultaneously editing objects and ego-trajectory—termed unified editing—remains challenging. Current methods face an inherent dilemma: generative flexibility for object editing and physical precision for trajectory control. To address this, we introduce SceneDirector, a diffusion-based framework that bridges explicit geometry and generative priors. For explicit geometry, we leverage LiDAR-guided depth completion to construct dense scene geometry and integrate editable 3D assets to form a Unified Geometric Scaffold, providing rigorous structural guidance for unified editing. To leverage generative priors, we encode the source video into a Static Texture Bank to provide rich appearance context. Our proposed Mask-Gated Reference Attention bridges these modalities. Guided by a geometric uncertainty metric, this mechanism dynamically regulates the interaction between the scaffold and the bank—preserving reliable geometry while adaptively injecting textures for semantic refinement. Extensive evaluations demonstrate that SceneDirector outperforms state-of-the-art methods in both controllability and visual quality.
","absKo":"자율주행 시스템의 검증에는 다양한 시나리오가 필요하지만, 실제 세계 데이터 수집은 편향되어 있고 비용도 많이 든다. 기존 driving log를 편집하는 것은 확장 가능한 해결책이지만, 객체와 ego-trajectory를 동시에 편집하는 unified editing은 여전히 어렵다. 현재 방법은 객체 편집을 위한 생성적 유연성과 trajectory 제어를 위한 물리적 정밀성 사이의 본질적인 딜레마에 직면해 있다. 이를 해결하기 위해, 우리는 명시적 geometry와 생성 prior를 연결하는 diffusion 기반 프레임워크 SceneDirector를 소개한다. 명시적 geometry 측면에서, 우리는 LiDAR-guided depth completion을 활용해 촘촘한 scene geometry를 구성하고, 편집 가능한 3D asset을 통합하여 Unified Geometric Scaffold를 형성함으로써 unified editing에 엄격한 구조적 guidance를 제공한다. 생성 prior를 활용하기 위해, 우리는 source video를 Static Texture Bank로 인코딩하여 풍부한 appearance context를 제공한다. 우리가 제안하는 Mask-Gated Reference Attention은 이러한 modality를 연결한다. geometric uncertainty metric의 지도를 받아, 이 메커니즘은 scaffold와 bank 사이의 상호작용을 동적으로 조절하여, 신뢰할 수 있는 geometry는 보존하면서 의미적 정제를 위해 texture를 적응적으로 주입한다. 광범위한 평가를 통해 SceneDirector가 controllability와 visual quality 모두에서 최신 방법들을 능가함을 보인다.
"},{"id":"66799","en":"TIMI: Training-Free Image-to-3D Multi-Instance Generation with Spatial Fidelity","ko":"TIMI: 공간적 충실도를 갖춘 학습 불필요 Image-to-3D Multi-Instance 생성","authors":"Xiao Cai, Lianli Gao, Pengpeng Zeng, Ji Zhang, Heng Tao Shen, Jingkuan Song","pos":"#1211","link":"https://openreview.net/forum?id=0CiahYXWsk","abs":"Precise spatial fidelity in Image-to-3D multi-instance generation is critical for downstream real-world applications. Recent work attempts to address this by fine-tuning pre-trained Image-to-3D (I23D) models on multi-instance datasets, which incurs substantial training overhead and struggles to guarantee spatial fidelity. In fact, we observe that pre-trained I23D models already possess meaningful spatial priors, which remain underutilized as evidenced by instance entanglement issues. Motivated by this, we propose TIMI, a novel Training-free framework for Image-to-3D Multi-Instance generation that achieves high spatial fidelity. Specifically, we first introduce an Instance-aware Separation Guidance (ISG) module, which facilitates instance disentanglement during the early denoising stage. Next, to stabilize the guidance introduced by ISG, we devise a Spatial-stabilized Geometry-adaptive Update (SGU) module that promotes the preservation of the geometric characteristics of instances while maintaining their relative relationships. Extensive experiments demonstrate that our method yields better performance in terms of both global layout and distinct local instances compared to existing multi-instance methods, without requiring additional training and with faster inference speed.
","absKo":"Image-to-3D multi-instance generation에서 정확한 spatial fidelity는 downstream real-world application에 매우 중요하다. 최근 연구는 multi-instance dataset에서 pre-trained Image-to-3D (I23D) model을 fine-tuning하여 이를 해결하려고 시도했지만, 이는 상당한 training overhead를 유발하고 spatial fidelity 보장을 충분히 달성하지 못한다. 사실, 우리는 pre-trained I23D model이 의미 있는 spatial prior를 이미 보유하고 있으나, instance entanglement 문제로 인해 충분히 활용되지 못하고 있음을 관찰한다. 이러한 점에 착안하여, 우리는 높은 spatial fidelity를 달성하는 새로운 training-free framework인 TIMI, 즉 Training-free framework for Image-to-3D Multi-Instance generation을 제안한다. 구체적으로, 먼저 Instance-aware Separation Guidance (ISG) module을 도입하여 초기 denoising stage에서 instance disentanglement를 촉진한다. 다음으로, ISG가 도입한 guidance를 안정화하기 위해 Spatial-stabilized Geometry-adaptive Update (SGU) module을 고안하여, instance의 상대적 관계를 유지하면서 기하학적 특성이 보존되도록 한다. 광범위한 실험은 우리의 방법이 추가 학습 없이, 그리고 더 빠른 inference speed로, 기존 multi-instance 방법들에 비해 global layout과 distinct local instance 측면 모두에서 더 나은 성능을 낸다는 것을 보여준다.
"},{"id":"62712","en":"Text-Driven Fusion for Infrared and Visible Images: Achieving Image Scene Adaptation on Hyperbolic Space","ko":"적외선-가시광 영상 텍스트 기반 융합: Hyperbolic 공간에서의 이미지 Scene Adaptation 달성","authors":"Huan Kang, Hui Li, Tianyang Xu, Tao Zhou, Xiaojun Wu, Josef Kittler","pos":"#1212","link":"https://openreview.net/forum?id=dyqFW9lJgQ","abs":"Infrared and visible image fusion aims to integrate complementary information from both modalities. However, most existing methods rely on Euclidean representations, which inherently impose geometric constraints that hinder effective semantic modelling. Specifically, Euclidean geometry imposes rigid distance metrics that distort multi-modal feature interactions, particularly in preserving parent-to-child semantic hierarchies. To overcome this, we introduce a text-driven fusion framework empowered by hyperbolic manifold learning. In particular, our approach models text-attribute correlation during training by leveraging BLIP-extracted prompts to align with vision-attribute, thereby enabling the formation of adaptive enhancement strategies semantically. Within the hyperbolic space, the text prompts act as topological anchors, guiding vision-attribute alignment through hyperbolic embeddings that naturally expand with semantic granularity. Using the Poincaré ball's negative curvature, we encode coarse-to-fine semantics without Euclidean distance saturation, while its exponentially growing periphery prevents texture distortion during cross-modal fusion. During inference, the fusion process autonomously adapts to the input content using learned text-attribute priors, eliminating any dependence on textual input. The experimental results show that the proposed method outperforms existing state-of-the-art methods on existing publicly available benchmark datasets.
","absKo":"적외선 및 가시광 이미지 fusion은 두 modality의 상보적 정보를 통합하는 것을 목표로 한다. 그러나 기존 방법의 대부분은 Euclidean representation에 의존하며, 이는 본질적으로 semantic modeling을 방해하는 geometric constraint를 부과한다. 구체적으로, Euclidean geometry는 rigid distance metric을 강제하여 multi-modal feature interaction을 왜곡하며, 특히 parent-to-child semantic hierarchy를 보존하는 데 한계가 있다. 이를 극복하기 위해, 우리는 hyperbolic manifold learning으로 강화된 text-driven fusion framework를 제안한다. 특히, 우리의 접근법은 BLIP로 추출한 prompt를 활용하여 training 동안 text-attribute correlation을 모델링하고, 이를 vision-attribute와 정렬시켜 의미론적으로 적응적 enhancement strategy의 형성을 가능하게 한다. Hyperbolic space 내에서 text prompt는 topological anchor로 작동하며, semantic granularity에 따라 자연스럽게 확장되는 hyperbolic embedding을 통해 vision-attribute alignment를 유도한다. Poincaré ball의 negative curvature를 사용하여 Euclidean distance saturation 없이 coarse-to-fine semantic을 인코딩하고, 지수적으로 성장하는 주변부는 cross-modal fusion 동안 texture distortion을 방지한다. inference 시에는 fusion process가 학습된 text-attribute prior를 사용해 입력 내용에 자율적으로 적응하므로, textual input에 대한 의존성을 제거한다. 실험 결과는 제안 방법이 기존 공개 benchmark dataset에서 최신 state-of-the-art 방법들을 능가함을 보여준다.
"},{"id":"61235","en":"MotionGRPO: Overcoming Low Intra-Group Diversity in GRPO-Based Egocentric Motion Recovery","ko":"MotionGRPO: GRPO 기반 Egocentric Motion Recovery에서 낮은 그룹 내 다양성 극복","authors":"Nanjie Yao, Junlong Ren, Wenhao Shen, Hao Wang","pos":"#1300","link":"https://openreview.net/forum?id=sP2bDU3tLw","abs":"This paper studies full-body 3D human motion recovery from head-mounted device signals. Existing diffusion-based methods often rely on global distribution matching, leading to local joint reconstruction errors. We propose MotionGRPO, a novel framework leveraging reinforcement learning post-training to inject fine-grained guidance into the diffusion process. Technically, we model diffusion sampling as a Markov decision process optimized via Group Relative Policy Optimization (GRPO). To this end, we introduce a hybrid reward mechanism that combines a learned conditioned perceptual model for global visual plausibility and explicit constraints for local joint precision. Our key technical insight is that policy optimization in diffusion-based recovery suffers from vanishing gradients due to limited intra-group sample diversity. To address this, we further introduce a noise-injection strategy that explicitly increases sample variance and stabilizes learning. Extensive experiments demonstrate that MotionGRPO achieves state-of-the-art performance with superior visual fidelity.
","absKo":"본 논문은 head-mounted device signal로부터 전신 3D human motion을 복원하는 문제를 다룬다. 기존 diffusion-based method는 종종 global distribution matching에 의존하여 local joint reconstruction error를 유발한다. 우리는 diffusion process에 세밀한 guidance를 주입하기 위해 reinforcement learning post-training을 활용하는 새로운 framework인 MotionGRPO를 제안한다. 기술적으로, 우리는 diffusion sampling을 Group Relative Policy Optimization (GRPO)로 최적화되는 Markov decision process로 모델링한다. 이를 위해, 우리는 전역적 visual plausibility를 위한 학습된 conditioned perceptual model과 국소 joint precision을 위한 명시적 제약을 결합한 hybrid reward mechanism을 도입한다. 우리의 핵심 기술적 통찰은 diffusion-based recovery에서의 policy optimization이 group 내부 sample diversity가 제한되어 gradient vanishing을 겪는다는 점이다. 이를 해결하기 위해, 우리는 sample variance를 명시적으로 증가시키고 학습을 안정화하는 noise-injection strategy를 추가로 도입한다. 광범위한 실험은 MotionGRPO가 더 우수한 visual fidelity와 함께 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"63957","en":"Kinematics-Driven Gaussian Shape Deformation for Blurry Monocular Dynamic Scenes","ko":"흐릿한 단안 동적 장면을 위한 운동학 기반 가우시안 형상 변형","authors":"Yeon-Ji Song, Kiyoung Kwon, Junoh Lee, Jin-Hwa Kim, Byoung-Tak Zhang","pos":"#1307","link":"https://openreview.net/forum?id=SEBPRRnbUX","abs":"Reconstructing dynamic 3D scenes from blurry monocular videos is challenging because motion-induced blur entangles object motion and geometry, hindering geometric consistency. We present Kinematics-GS, a kinematics-aware framework that models blur as motion-aligned deformation and introduces a kinematic prior to reparameterize Gaussian shapes along motion trajectories, thereby mitigating degenerate shape collapse without auxiliary motion supervision. To stabilize optimization, we decompose scenes into dynamic and static components using temporal deformation variance and employ a coarse-to-fine deformation strategy to capture both global motion and fine-grained details. We also introduce a challenging real-world dataset of deformable and elastic objects exhibiting non-rigid motion with spatially non-uniform motion blur that obscures geometric cues. Extensive experiments on real-world benchmarks with realistic motion blur demonstrate that Kinematics-GS outperforms prior methods by a clear margin in monocular dynamic scene reconstruction, highlighting its effectiveness in handling complex and non-rigid motion scenarios.
","absKo":"흐릿한 monocular video로부터 dynamic 3D scene을 재구성하는 일은 motion-induced blur가 object motion과 geometry를 얽어 geometric consistency를 저해하기 때문에 어렵다. 우리는 blur를 motion-aligned deformation으로 모델링하고, motion trajectory를 따라 Gaussian shape를 재parameterize하는 kinematic prior를 도입하여 보조 motion supervision 없이도 degenerate shape collapse를 완화하는 kinematics-aware framework인 Kinematics-GS를 제시한다. 최적화를 안정화하기 위해, 우리는 temporal deformation variance를 사용하여 scene을 dynamic component와 static component로 분해하고, coarse-to-fine deformation strategy를 적용해 global motion과 세밀한 detail을 모두 포착한다. 또한 geometric cues를 가리는 spatially non-uniform motion blur를 동반한 non-rigid motion을 보이는 deformable 및 elastic object로 구성된 도전적인 real-world dataset을 새로 도입한다. 현실적인 motion blur가 있는 real-world benchmark에서 수행한 광범위한 실험은 Kinematics-GS가 monocular dynamic scene reconstruction에서 기존 방법을 뚜렷한 차이로 능가하며, 복잡하고 non-rigid한 motion scenario를 처리하는 데 효과적임을 보여준다.
"},{"id":"65798","en":"Glimpse: Geometry Learning of Multi-scale Structural Priors for 3D Pose Estimation","ko":"Glimpse: 3D 자세 추정을 위한 다중 스케일 구조적 사전 지식의 기하학 학습","authors":"Zhenhua TANG, Jihua Peng, Yanbin Hao, Qiguang Miao, Chi-Man Pun","pos":"#1308","link":"https://openreview.net/forum?id=A359qYgVvr","abs":"Monocular 3D human pose estimation is fundamentally challenged by severe occlusion and inherent depth ambiguity. To address this, we propose Glimpse, a framework that learns robust 3D poses by explicitly modeling anatomical geometry from a single image. We recast the problem as geometry learning of multi-scale structural priors, realized through two synergistic components. First, structured sampling captures the body's geometric continuity through dual-level feature extraction, acquiring both local joint appearance and continuous features along skeletal limbs via deformable sampling. By propagating limb-level geometric cues to their connected joints, this design bridges information gaps caused by occlusion. Second, geometric correction ensures global 3D consistency by lifting coherent 2D features into a canonical 3D reference space, where a shared 3D anchor guides a distance-aware fusion mechanism. Extensive experiments conducted on Human3.6M and MPI-INF-3DHP demonstrate that Glimpse achieves state-of-the-art performance, with superior robustness under severe occlusion and complex articulation.
","absKo":"단안(monocular) 3D human pose estimation은 심각한 occlusion과 내재적 depth ambiguity라는 근본적 문제에 직면한다. 이를 해결하기 위해, 우리는 단일 이미지에서 해부학적 geometry를 명시적으로 모델링하여 강건한 3D pose를 학습하는 Glimpse를 제안한다. 우리는 이 문제를 multi-scale structural prior의 geometry learning으로 재정의하며, 두 개의 상호보완적 구성 요소로 구현한다. 첫째, structured sampling은 deformable sampling을 통해 local joint appearance와 skeletal limb을 따라 이어지는 연속적 feature를 모두 획득함으로써 신체의 geometric continuity를 포착한다. limb-level geometric cue를 연결된 joint로 전파함으로써, 이 설계는 occlusion으로 인해 발생하는 정보 공백을 메운다. 둘째, geometric correction은 일관된 2D feature를 canonical 3D reference space로 lifting하여 전역 3D consistency를 보장하며, 이 공간에서 shared 3D anchor가 distance-aware fusion mechanism을 안내한다. Human3.6M과 MPI-INF-3DHP에서 수행한 광범위한 실험은 Glimpse가 심각한 occlusion과 복잡한 articulation 하에서 뛰어난 강건성을 보이며 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"61294","en":"EPS3D: End-to-End Feed-Forward 3D Panoptic Segmentation","ko":"EPS3D: End-to-End Feed-Forward 3D Panoptic 분할","authors":"Runsong Zhu, Jiaxin GUO, Xiaoyang Guo, Zhengzhe Liu, Ka-Hei Hui, Wei Yin, Kai Chen, Wei Chen, Weiqiang Ren, Yunhui Liu, Pheng Ann Heng, Chi Wing Fu","pos":"#1312","link":"https://openreview.net/forum?id=re0ivnywr4","abs":"This paper introduces EPS3D, a new end-to-end feed-forward framework for open-vocabulary 3D panoptic segmentation. Unlike existing methods relying on additional preprocessing, we design an end-to-end architecture, with a distillation-based training strategy on diverse 3D scenes to predict 3D-aware semantic and instance features from multi-view images, improving 3D consistency and avoiding error accumulation. We further propose a mutual enhancement module to enforce inherent semantic-instance consistency. By aligning semantics within instances (Ins2Sem) and refining instance features with semantic guidance (Sem2Ins), we achieve more coherent 3D scene understanding. Ultimately, EPS3D outperforms SOTA baselines on two benchmarks (e.g., +13\\% mIoU for semantics on Replica) with high efficiency (e.g., 1s per scene), supporting tasks like robotic manipulation and 3D scene editing.
","absKo":"본 논문은 open-vocabulary 3D panoptic segmentation을 위한 새로운 end-to-end feed-forward framework인 EPS3D를 제안한다. 추가적인 preprocessing에 의존하는 기존 method와 달리, 우리는 end-to-end architecture를 설계하고, 다양한 3D scene에 대한 distillation-based training strategy를 통해 multi-view image로부터 3D-aware semantic 및 instance feature를 예측하여 3D consistency를 향상시키고 error accumulation을 방지한다. 또한 semantic-instance의 내재적 일관성을 강제하기 위한 mutual enhancement module을 제안한다. instance 내에서 semantic을 정렬하는 Ins2Sem과 semantic guidance로 instance feature를 정제하는 Sem2Ins를 통해, 우리는 더 일관된 3D scene understanding을 달성한다. 최종적으로 EPS3D는 두 개의 benchmark에서 SOTA baseline을 능가하며(예: Replica에서 semantic mIoU +13\\%), 높은 효율성(예: scene당 1s)을 보이고, robotic manipulation 및 3D scene editing 같은 task를 지원한다.
"},{"id":"64330","en":"DisPOSE: Projected Polystochastic Diffusion for Self-Supervised Multi-View 3D Human Pose Estimation","ko":"DisPOSE: 자기 지도 다중 시점 3D 인체 자세 추정을 위한 투영 폴리확률 Diffusion","authors":"Tony Danjun Wang, Tolga Birdal, Nassir Navab, Lennart Bastian","pos":"#1313","link":"https://openreview.net/forum?id=OfzLydmMHe","abs":"Recovering 3D human poses for multiple individuals from different camera views is a fundamental bottleneck for analyzing interacting behaviors. Existing self-supervised approaches leverage synthetic catalogues of 3D poses; however, this leads to poor generalization in real-world scenarios due to distribution shifts. We therefore introduce DisPOSE, a self-supervised framework that approximates the inherently discrete multi-view person-assignment problem as a generative diffusion process over the space of polystochastic tensors. By employing differentiable Sinkhorn projections during denoising, our model learns to guide solutions toward valid and feasible assignments based on 2D image priors. The complete 3D skeletons of localized individuals are then regressed using a Hypergraph-Convolutional Decoder that explicitly models relational structures and articulated joints across multiple views. The proposed approach outperforms current state-of-the-art self-supervised methods on standard datasets and demonstrates strong performance on a newly proposed benchmark featuring highly occluded scenes from surgical operating rooms. Our diffusion-based localization demonstrates high label efficiency, retaining 99\\% of its performance with only 10\\% of the pseudo-labels. Notably, disentangling the assignment and root regression components while maintaining differentiability makes DisPOSE nearly agnostic to different camera arrangements.
","absKo":"서로 다른 카메라 뷰에서 여러 사람의 3D human pose를 복원하는 것은 상호작용 행동을 분석하는 데 있어 근본적인 병목이다. 기존의 self-supervised 접근법은 합성 3D pose 카탈로그를 활용하지만, 이로 인해 distribution shift 때문에 실제 환경에서 일반화가 떨어진다. 이에 우리는 DisPOSE를 제안한다. DisPOSE는 본질적으로 이산적인 multi-view person-assignment 문제를 polystochastic tensor 공간 위의 생성적 diffusion process로 근사하는 self-supervised framework이다. denoising 과정에서 미분 가능한 Sinkhorn projection을 사용함으로써, 본 모델은 2D image prior에 기반해 해가 유효하고 feasible한 assignment로 수렴하도록 유도하는 법을 학습한다. 이후 localized individual의 완전한 3D skeleton은 Hypergraph-Convolutional Decoder로 regression되며, 이는 여러 뷰 전반의 relational structure와 articulated joint를 명시적으로 모델링한다. 제안 방법은 표준 데이터셋에서 현재 state-of-the-art self-supervised 방법들을 능가하며, 수술실의 심하게 가려진 장면을 포함하는 새로 제안된 benchmark에서도 강한 성능을 보인다. 우리의 diffusion-based localization은 높은 label efficiency를 보여, pseudo-label의 10\\%만 사용해도 성능의 99\\%를 유지한다. 특히 assignment와 root regression component를 분리하면서도 differentiability를 유지하는 설계 덕분에, DisPOSE는 서로 다른 camera arrangement에 거의 구애받지 않는다.
"},{"id":"60719","en":"PanoWorld-X: Generating Explorable Panoramic Worlds via Sphere-Aware Video Diffusion","ko":"PanoWorld-X: 구면 인식 Video Diffusion을 통한 탐험 가능한 파노라마 월드 생성","authors":"Yuyang Yin, Hao-Xiang Guo, Fangfu Liu, Mengyu Wang, Hanwen Liang, Eric Li, Yikai Wang, Xiaojie Jin, Yao Zhao, Yunchao Wei","pos":"#200","link":"https://openreview.net/forum?id=xEgoeNrp8B","abs":"Achieving a complete and explorable 360-degree visual world is a cornerstone of immersive content creation. While recent advances in video generation have achieved impressive results, they follow a 2D paradigm that treats content generation as transitions of 2D pixels, lacking an intrinsic understanding of the physical 3D world, resulting in frequent geometric inconsistencies. To achieve an explorable and physical-consistent visual world, the generation process should shift to a 3D paradigm: the visual content is governed by the physical relationships of the entire 3D environment together with 3D motion signals. However, under this setting, the conventional modeling methods and control signals, such as spatial attention computation in a 2D space, become unsuitable and ineffective. To address this, we propose PanoWorld-X for explorable 3D scene video generation. Our framework is built on the panoramic representation, which naturally maps a 3D scene into a standard format and provides an ideal basis for consistency. Specifically, we first develop a data curation pipeline to produce high-quality and large-motion 3D scene evolution with movement trajectories. To achieve precise control, we design the Exploration Panoramic Plücker Embedding (PPE), a guidance signal tailored for 3D motion. Furthermore, leveraging the spherical geometric properties of panoramic data, we propose a sphere-aware attention mechanism, which can capture true geometric adjacency by reprojecting features onto a spherical surface. Extensive experiments demonstrate that PanoWorld-X achieves superior performance in motion range, control precision, and visual quality, underscoring its potential for real-world applications.
","absKo":"완전하고 탐색 가능한 360-degree visual world를 구현하는 것은 immersive content creation의 핵심이다. 최근 video generation의 발전은 인상적인 성과를 보였지만, 여전히 content generation을 2D pixel의 전이로 다루는 2D paradigm을 따르며, 물리적 3D world에 대한 본질적 이해가 부족해 기하학적 불일치가 자주 발생한다. 탐색 가능하고 물리적으로 일관된 visual world를 구현하려면 generation process가 3D paradigm으로 전환되어야 하며, visual content는 전체 3D environment의 물리적 관계와 3D motion signal에 의해 지배되어야 한다. 그러나 이러한 설정에서는 2D 공간에서의 spatial attention computation과 같은 기존 modeling method와 control signal은 부적절하고 비효율적이다. 이를 해결하기 위해, 우리는 탐색 가능한 3D scene video generation을 위한 PanoWorld-X를 제안한다. 우리의 framework는 panoramic representation을 기반으로 하며, 이는 3D scene을 자연스럽게 표준 형식으로 매핑하고 일관성을 위한 이상적인 기반을 제공한다. 구체적으로, 먼저 movement trajectory를 포함한 고품질 대규모 motion의 3D scene evolution을 생성하는 data curation pipeline을 개발했다. 정밀한 제어를 위해, 3D motion에 맞춘 guidance signal인 Exploration Panoramic Plücker Embedding(PPE)을 설계했다. 더 나아가 panoramic data의 spherical geometric property를 활용하여, feature를 spherical surface에 재투영함으로써 진정한 geometric adjacency를 포착할 수 있는 sphere-aware attention mechanism을 제안한다. 광범위한 실험은 PanoWorld-X가 motion range, control precision, visual quality에서 우수한 성능을 달성함을 보여 주며, 실제 응용 가능성을 뒷받침한다.
"},{"id":"62351","en":"PointDiT: Pixel-Space Diffusion for Monocular Geometry Estimation","ko":"PointDiT: 단안 기하 추정을 위한 Pixel-Space Diffusion","authors":"Haofei Xu, Rundi Wu, Philipp Henzler, Nikolai Kalischek, Michael Oechsle, Fabian Manhardt, Marc Pollefeys, Andreas Geiger, Federico Tombari, Michael Niemeyer","pos":"#2607","link":"https://openreview.net/forum?id=hQWwTWGAyu","abs":"State-of-the-art single-image 3D reconstruction methods often rely on complex hybrid architectures or necessitate compressing geometry into latent spaces to leverage pre-trained latent diffusion models. In this work, we demonstrate that such architectural overhead is unnecessary. We introduce a minimalist pixel-space Diffusion Transformer built on a plain ViT, which operates directly on raw point map patches and is conditioned on image tokens from a pre-trained DINOv3. Unlike existing latent diffusion-based approaches, we train our diffusion backbone entirely from scratch, eliminating the need for point map tokenizers. We show that this streamlined approach yields results superior to complex latent-based diffusion models while remaining significantly simpler than hybrid alternatives. Notably, our model produces sharper geometric structures and achieves significantly better results on highly ambiguous regions, such as transparent objects.
","absKo":"최신 single-image 3D reconstruction 방법은 종종 복잡한 hybrid architecture에 의존하거나, pretrained latent diffusion model을 활용하기 위해 geometry를 latent space로 압축할 것을 요구한다. 본 연구에서는 그러한 architectural overhead가 불필요함을 보인다. 우리는 평범한 ViT 위에 구축된 최소주의 pixel-space Diffusion Transformer를 제안하며, 이는 raw point map patch를 직접 처리하고 pretrained DINOv3의 image token으로 조건화된다. 기존의 latent diffusion 기반 접근법과 달리, 우리는 diffusion backbone을 처음부터 완전히 학습하여 point map tokenizer가 필요 없게 했다. 우리는 이러한 간결한 접근이 hybrid 대안보다 훨씬 단순하면서도 latent 기반 복잡한 diffusion model보다 우수한 결과를 낸다는 것을 보인다. 특히, 우리 모델은 더 선명한 geometric structure를 생성하며, transparent object와 같이 매우 모호한 영역에서 훨씬 더 좋은 결과를 달성한다.
"},{"id":"61104","en":"SAMT: Generating Structured Avatar Meshes and Textures from a Single Image","ko":"SAMT: 단일 이미지에서 구조화된 Avatar Mesh와 Texture 생성","authors":"Muyu Wang, Xingping Dong, Jianzhe Gao, Wenguan Wang, Yujia Wang","pos":"#2612","link":"https://openreview.net/forum?id=tfIZPwA6s0","abs":"Despite rapid progress in 3D generative models, producing production-grade 3D face assets from a single image remains challenging. To reconstruct facial micro-structures and fine-grained multiview-consistent textures, this work presents a two-stage framework named SAMT for monocular 3D avatar generation and texture synthesis. Specifically, a latent 3D diffusion model for facial mesh generation is pretrained and then further adapted to generate high-quality facial geometry through large-scale domain-specific fine-tuning on 35K curated 3D avatar models. Subsequently, a multiview-aware texturing strategy is proposed to texture the generated facial mesh. Its core idea lies in incorporating a multi-view facial prior, along with mesh geometry, to guide a 2D texturing diffusion for cross-view consistent and mesh-aligned texture synthesis. Extensive experiments demonstrate that SAMT outperforms existing approaches by producing more structured and detailed facial geometry, along with improved fine-grained appearance coherence.
","absKo":"3D generative model의 빠른 발전에도 불구하고, 단일 이미지로 production-grade 3D face asset을 생성하는 것은 여전히 어렵다. facial micro-structure와 fine-grained multiview-consistent texture를 재구성하기 위해, 본 연구는 monocular 3D avatar generation과 texture synthesis를 위한 SAMT라는 two-stage framework를 제안한다. 구체적으로, facial mesh generation을 위한 latent 3D diffusion model을 사전학습한 뒤, 35K개의 정제된 3D avatar model에 대한 대규모 domain-specific fine-tuning을 통해 고품질 facial geometry를 생성하도록 추가 적응시킨다. 이후 생성된 facial mesh에 texture를 입히기 위해 multiview-aware texturing strategy를 제안한다. 그 핵심 아이디어는 multi-view facial prior와 mesh geometry를 함께 활용하여, cross-view consistent하고 mesh-aligned한 texture synthesis를 위한 2D texturing diffusion을 유도하는 데 있다. 광범위한 실험은 SAMT가 더 구조적이고 세밀한 facial geometry를 생성하며, fine-grained appearance coherence도 향상시켜 기존 방법보다 우수함을 보여준다.
"},{"id":"61796","en":"LATO: 3D Mesh Flow Matching with Structured TOpology Preserving LAtents","ko":"LATO: 구조적 Topology 보존 Latent를 활용한 3D Mesh Flow Matching","authors":"Tianhao Zhao, Youjia Zhang, Hang Long, Jinshen Zhang, Wenbing Li, Yang Yang, Gongbo Zhang, Jozef Hladký, Matthias Nießner, Wei Yang","pos":"#309","link":"https://openreview.net/forum?id=mrb4eOur7r","abs":"In this paper, we introduce LATO, a novel topology-preserving latent representation that enables scalable, flow matching-based synthesis of explicit 3D meshes. LATO represents a mesh as a Vertex Displacement Field (VDF) anchored on surface, incorporating a sparse voxel Variational Autoencoder (VAE) to compress this explicit signal into a structured, topology-aware voxel latent. To decapsulate the mesh, the VAE decoder progressively subdivides and prunes latent voxels to instantiate precise vertex locations. In the end, a dedicated connection head queries the voxel latent to predict edge connectivity between vertex pairs directly, allowing mesh topology to be recovered without isosurface extraction or heuristic meshing. For generative modeling, LATO adopts a two-stage flow matching process, first synthesizing the structure voxels and subsequently refining the voxel-wise topology features. Compared to prior isosurface/triangle-based diffusion models and autoregressive generation approaches, LATO generates meshes with complex geometry, well-formed topology while being highly efficient in inference.
","absKo":"이 논문에서는 explicit 3D mesh의 scalable한 flow matching 기반 합성을 가능하게 하는, topology-preserving latent representation인 LATO를 소개한다. LATO는 mesh를 surface에 고정된 Vertex Displacement Field (VDF)로 표현하고, sparse voxel Variational Autoencoder (VAE)를 통합해 이 explicit signal을 구조화되고 topology를 인식하는 voxel latent로 압축한다. mesh를 decapsulate하기 위해 VAE decoder는 latent voxel을 점진적으로 subdivide하고 prune하여 정확한 vertex location을 생성한다. 마지막으로 전용 connection head가 voxel latent를 조회해 vertex pair 간 edge connectivity를 직접 예측함으로써, isosurface extraction이나 heuristic meshing 없이 mesh topology를 복원할 수 있다. generative modeling을 위해 LATO는 두 단계 flow matching process를 채택한다. 먼저 structure voxel을 합성하고, 이어서 voxel 단위 topology feature를 정제한다. 기존의 isosurface/triangle-based diffusion model 및 autoregressive generation approach와 비교했을 때, LATO는 복잡한 geometry와 잘 형성된 topology를 지닌 mesh를 매우 효율적인 inference로 생성한다.
"},{"id":"67151","en":"Position: We need to re-think the concept of “real” images.","ko":"Position: 우리는 \"진짜\" 이미지의 개념을 다시 생각해야 한다.","authors":"Janis Keuper, Margret Keuper","pos":"#3107","link":"https://openreview.net/forum?id=RQYtI1SbSx","abs":"The wide availability and low usability barrier of modern image generation models has triggered the reasonable fear of criminal misconduct and negative social implications. The machine learning community has been engaging this problem with an extensive series of publications proposing algorithmic solutions for the detection of \"fake'', e.g. entirely generated or partially manipulated images. While there is undoubtedly some progress towards technical solutions of the problem, we argue that current and prior work is focusing too much on generative algorithms and \"fake'' data-samples, neglecting a clear definition and data collection of \"real'' images. The fundamental question \"what is a real image?'' might appear to be quite philosophical, but our analysis shows that the development and evaluation of basically all current \"fake''-detection methods is relying on only a few, quite old low-resolution datasets of \"real'' images like ImageNet. However, the technology for the acquisition of \"real'' images, aka taking photos, has drastically evolved over the last decade: Today, over 90% of all photographs are produced by smartphones which typically use algorithms to compute an image from multiple inputs (over time) from multiple sensors. Based on the fact that these image formation algorithms are typically neural network architectures which are closely related to \"fake''-image generators, we state the position that today, we need to re-think the concept of \"real'' images. The purpose of this position paper is to raise the awareness of the current shortcomings in this active field of research and to trigger an open discussion whether the detection of ``fake'' images is a sound objective at all. At the very least, we need a clear technical definition of \"real'' images and new benchmark datasets.
","absKo":"현대 이미지 생성 모델의 폭넓은 가용성과 낮은 사용 장벽은 범죄적 악용과 부정적 사회적 파급에 대한 정당한 우려를 불러일으켰다. 머신러닝 커뮤니티는 완전히 생성되었거나 부분적으로 조작된 이미지를 뜻하는 \"fake\"를 탐지하기 위한 알고리즘적 해결책을 제안하는 방대한 논문들을 통해 이 문제에 대응해 왔다. 분명 기술적 해결을 향한 진전은 있지만, 우리는 현재 및 기존 연구가 생성 알고리즘과 \"fake\" 데이터 샘플에 지나치게 집중한 나머지, \"real\" 이미지에 대한 명확한 정의와 데이터 수집을 소홀히 하고 있다고 주장한다. \"what is a real image?\"라는 근본 질문은 다소 철학적으로 보일 수 있지만, 우리의 분석은 현재의 거의 모든 \"fake\" 탐지 방법의 개발과 평가가 ImageNet 같은, 몇 안 되는 상당히 오래된 저해상도 \"real\" 이미지 데이터셋에 의존하고 있음을 보여준다. 그러나 \"real\" 이미지를 획득하는 기술, 즉 사진을 찍는 방식은 지난 10년간 극적으로 발전했다. 오늘날 모든 사진의 90% 이상은 스마트폰으로 생성되며, 스마트폰은 일반적으로 여러 센서로부터 시간에 걸쳐 들어오는 여러 입력을 바탕으로 알고리즘을 사용해 이미지를 계산한다. 이러한 이미지 형성 알고리즘이 대체로 \"fake\" 이미지 생성기와 밀접하게 관련된 신경망 구조라는 사실에 근거해, 우리는 오늘날 \"real\" 이미지의 개념을 다시 생각해야 한다는 입장을 제시한다. 이 포지션 페이퍼의 목적은 이 활발한 연구 분야의 현재 한계를 환기하고, \"fake\" 이미지 탐지가 과연 타당한 목표인지에 대해 공개적인 논의를 촉발하는 데 있다. 적어도, 우리는 \"real\" 이미지에 대한 명확한 기술적 정의와 새로운 벤치마크 데이터셋이 필요하다.
"},{"id":"62738","en":"XYZFlow: Scaling Multidimensional Shortcut Flows for Efficient Generative Modeling","ko":"XYZFlow: 효율적 생성 모델링을 위한 다차원 Shortcut Flows 확장","authors":"Jinxiu Liu, Xuanming Liu, Kangfu Mei, Yandong Wen, Weiyang Liu","pos":"#3411","link":"https://openreview.net/forum?id=doyI2chEdG","abs":"The pursuit of high-fidelity image generation faces a fundamental trade-off between sampling speed and output quality. While diffusion models excel in quality, their iterative nature incurs high computational costs. Current efficient methods primarily focus on distilling pre-trained models into few-step samplers; however, this distillation process is challenging and heavily reliant on teacher model quality. In this paper, we introduce \\textbf{\\XYZFlow}, a novel framework that rethinks this paradigm through multidimensional scaling of flow matching. Unlike MeanFlow's single-step deterministic mapping, our approach intensively scales the expressive power of generative models by enhancing the uniqueness and learnability of probability paths through structured, multidimensional conditioning. Theoretically, we frame autoregressive modeling as an implicit flow straightening mechanism, where expanding contextual constraints reduce trajectory ambiguity. XYZFlow implements this via two orthogonal scaling dimensions: (1)Temporal scaling through non-Markovian conditioning on the full denoising history, and (2) Spatial scaling through our proposed Next Shortcut Prediction, where patches are generated sequentially using the complete denoising trajectories of preceding patches as priors. This multidimensional conditioning constructs a high-dimensional coordinate system for probability flows, enforcing mapping uniqueness. Our Next Shortcut Prediction mechanism specifically enables efficient generation by leveraging rich contextual information from previously generated patches' full denoising processes. Extensive evaluations demonstrate XYZFlow achieves state-of-the-art performance, with 7.2--8.5$\\times$ speedup over teachers while maintaining competitive FID. Notably, our structured Next Shortcut Prediction design establishes a more parameter-efficient scaling dimension and achieves superior quality-latency trade-offs compared to simply enlarging models or compressing sampling steps.","absKo":"고충실도 이미지 생성의 추구는 sampling speed와 output quality 사이의 근본적인 trade-off에 직면한다. diffusion model은 품질 면에서 뛰어나지만, 반복적 특성 때문에 높은 computational cost가 발생한다. 현재의 효율적 방법은 주로 pre-trained model을 few-step sampler로 distillation하는 데 초점을 맞추고 있으나, 이러한 distillation process는 어렵고 teacher model의 품질에 크게 의존한다. 본 논문에서는 \\textbf{\\XYZFlow}를 제안한다. 이는 flow matching의 multidimensional scaling을 통해 이러한 패러다임을 재해석하는 새로운 framework이다. MeanFlow의 single-step deterministic mapping과 달리, 우리의 접근은 structured한 multidimensional conditioning을 통해 probability path의 uniqueness와 learnability를 강화함으로써 generative model의 expressive power를 대폭 확장한다. 이론적으로 우리는 autoregressive modeling을 암묵적인 flow straightening mechanism으로 정식화하며, 여기서 contextual constraint를 확장하면 trajectory ambiguity가 감소한다. XYZFlow는 이를 두 개의 직교하는 scaling dimension으로 구현한다: (1) 전체 denoising history에 대한 non-Markovian conditioning을 통한 temporal scaling, (2) complete denoising trajectory of preceding patches를 prior로 사용하여 patch를 순차적으로 생성하는 우리가 제안하는 Next Shortcut Prediction을 통한 spatial scaling. 이러한 multidimensional conditioning은 probability flow를 위한 고차원 coordinate system을 구성하여 mapping uniqueness를 강제한다. 우리의 Next Shortcut Prediction mechanism은 특히 이전에 생성된 patch들의 전체 denoising process에서 얻은 풍부한 contextual information을 활용함으로써 효율적인 생성을 가능하게 한다. 광범위한 평가 결과, XYZFlow는 teachers 대비 7.2--8.5$\\times$의 speedup을 유지하면서 경쟁력 있는 FID를 달성하는 state-of-the-art 성능을 보인다. 특히, 구조화된 Next Shortcut Prediction 설계는 더 parameter-efficient한 scaling dimension을 확립하며, 단순히 model을 키우거나 sampling step을 압축하는 것보다 우수한 quality-latency trade-off를 달성한다."},{"id":"66548","en":"Expo-GS: Exposure-Aware Signed Distance Function in Gaussian Splatting for High Dynamic Range","ko":"Expo-GS: 고동적 범위를 위한 Gaussian Splatting에서의 노출 인지 부호 거리 함수","authors":"Chaoda Song, Yiren Lu, Xinpeng Li, Yunlai Zhou, Yanyan Zhang, Yu Yin, Vipin Chaudhary","pos":"#4611","link":"https://openreview.net/forum?id=2itDye7kPO","abs":"High dynamic range novel view synthesis (HDR-NVS) remains challenged by geometric artifacts and radiometric distortions under multi-exposure conditions, primarily due to existing methods ignoring exposure and over-relying on color cues. Inspired by the integrated processing of color and structure of the human visual system (HVS), we propose Expo-GS, a novel framework that decomposes HDR-NVS into three interpretable components, namely, Irradiance Field Training, Geometry Field Training, and Interactive Joint Training. Central to Expo-GS is the exposure-aware signed distance function (Expo-SDF), which dynamically reweights geometric supervision via localized exposure reliability estimation, suppressing noisy gradients from unstable regions while enhancing structure learning in well-exposed areas. Building on this, we design an interactive optimization strategy that synchronizes Gaussian primitive growth and pruning with evolving Expo-SDF cues, enabling exposure-aware density control and eliminating hallucinated structures near exposure transitions. Experiments show that Expo-GS significantly outperforms prior methods on both synthetic and real-world datasets. It achieves a peak PSNR of 39.06 dB under HDR settings and up to 41.38 dB in the LDR-OE configuration, excelling in preserving high-frequency textures and maintaining structural consistency.
","absKo":"High dynamic range novel view synthesis (HDR-NVS)는 다중 노출 조건에서의 기하학적 artifact와 radiometric distortion으로 인해 여전히 어려움을 겪고 있다. 이는 주로 기존 방법이 exposure를 무시하고 color cue에 과도하게 의존하기 때문이다. 인간 시각계 (HVS)의 color와 structure 통합 처리에서 영감을 받아, 우리는 HDR-NVS를 세 개의 해석 가능한 구성요소, 즉 Irradiance Field Training, Geometry Field Training, Interactive Joint Training으로 분해하는 새로운 framework인 Expo-GS를 제안한다. Expo-GS의 핵심은 exposure-aware signed distance function (Expo-SDF)으로, 지역적 exposure reliability estimation을 통해 geometric supervision을 동적으로 재가중하고, 불안정한 영역에서 발생하는 noisy gradient를 억제하는 동시에 잘 노출된 영역에서의 structure learning을 강화한다. 이를 바탕으로, 우리는 Gaussian primitive의 growth와 pruning을 진화하는 Expo-SDF cue와 동기화하는 interactive optimization strategy를 설계하여, exposure-aware density control을 가능하게 하고 exposure transition 근처의 hallucinated structure를 제거한다. 실험 결과 Expo-GS는 synthetic 및 real-world dataset 모두에서 기존 방법을 크게 능가한다. HDR setting에서 peak PSNR 39.06 dB를 달성하고, LDR-OE configuration에서는 최대 41.38 dB를 달성하여, 고주파 texture 보존과 구조적 일관성 유지에서 우수함을 보인다.
"},{"id":"65226","en":"Beyond Detection: A Structure-Aware Framework for Scene Text Tracking","ko":"탐지를 넘어서: 장면 텍스트 추적을 위한 구조 인지 프레임워크","authors":"Chenmin Yu, Liu Yu, Daiqing Wu, Li gengluo, Zeyu Chen, Yu ZHOU","pos":"#1410","link":"https://openreview.net/forum?id=FbRUcbzRUE","abs":"Modern visual object trackers show impressive results on general targets, yet their performance drops substantially when dealing with scene text. Although currently underexplored, tracking text in videos is essential for dynamic text manipulations such as segmentation, removal, and editing. To fill this gap, this paper formalizes this specific task as Scene Text Tracking and present the first systematic work for it. We identify three primary challenges in this task: 1) severe geometric distortions from perspective shifts, 2) high visual ambiguity across different instances, and 3) high sensitivity to fine-grained structural details. To address these issues, we propose SymTrack, a unified detection-free framework with synergistic dual-branch design. It integrates a Cross-Expert Calibration mechanism to reduce semantic bias, along with a Predictive Token Rectification mechanism to correct structural imbalances, complemented by an Adaptive Inference Engine that stabilizes predictions under motion constraints. Considering the lack of dedicated benchmarks for this task, we utilize three datasets from video text spotting to construct a benchmark with high-quality annotations. Extensive experiments demonstrate that SymTrack sets the new state-of-the-art on all three benchmarks, outperforming previous best trackers by up to 11.97\\% AUC on $ \\text{BOVText}_{\\text{SOT}} $. Overall, our work promotes efficient and thorough text tracking, paving the way toward more generalized video text manipulation.","absKo":"현대의 visual object tracker는 일반 대상에 대해서는 인상적인 결과를 보이지만, scene text를 다룰 때는 성능이 크게 저하된다. 비록 아직 충분히 탐구되지는 않았지만, video에서 text를 tracking하는 일은 segmentation, removal, editing과 같은 dynamic text manipulation에 필수적이다. 이 공백을 메우기 위해, 본 논문은 이 특정 과제를 Scene Text Tracking으로 정식화하고 이에 대한 첫 체계적 연구를 제시한다. 우리는 이 과제에서 세 가지 주요 난제를 식별한다. 1) perspective shift로 인한 심각한 geometric distortion, 2) 서로 다른 instance 간 높은 visual ambiguity, 3) 미세한 structural detail에 대한 높은 민감도. 이러한 문제를 해결하기 위해 우리는 synergistic dual-branch design을 갖는 unified detection-free framework인 SymTrack을 제안한다. SymTrack은 semantic bias를 줄이기 위한 Cross-Expert Calibration mechanism과 structural imbalance를 보정하기 위한 Predictive Token Rectification mechanism을 통합하며, motion constraint 하에서 예측을 안정화하는 Adaptive Inference Engine으로 보완된다. 이 과제를 위한 전용 benchmark가 부족하다는 점을 고려하여, 우리는 video text spotting의 세 가지 dataset을 활용해 고품질 annotation을 갖춘 benchmark를 구성했다. 광범위한 실험은 SymTrack이 세 개 benchmark 모두에서 새로운 state-of-the-art를 달성하며, 이전 최고 tracker들을 BOVText_SOT에서 최대 11.97\\% AUC까지 능가함을 보여준다. 전반적으로, 우리의 연구는 효율적이고 철저한 text tracking을 촉진하여, 더 일반화된 video text manipulation으로 가는 길을 연다."},{"id":"62539","en":"Bimodal masked language modeling for bulk RNA-seq and DNA methylation representation learning","ko":"대규모 RNA-seq와 DNA methylation 표현 학습을 위한 Bimodal masked language modeling","authors":"Maxence Gélard, Hakim Benkirane, Thomas Pierrot, Guillaume Richard, Paul-Henry Cournède","pos":"#1009","link":"https://openreview.net/forum?id=fi4gh4Syka","abs":"Oncologists are increasingly relying on multiple modalities to model the complexity of diseases. Within this landscape, transcriptomic and epigenetic data have proven to be particularly instrumental and play an increasingly vital role in clinical applications. However, their integration into multimodal models remains a challenge, especially considering their high dimensionality. In this work, we present a novel bimodal model that jointly learns representations of bulk RNA-seq and DNA methylation leveraging self-supervision from masked language modeling. We leverage an architecture that reduces the memory footprint usually attributed to purely transformer-based models when dealing with long sequences. We demonstrate that the obtained bimodal embeddings can be used to fine-tune cancer-type classification and survival models that achieve state-of-the-art performance compared to unimodal models. Furthermore, we introduce a robust learning framework that maintains downstream task performance despite missing modalities, enhancing the model’s applicability in real-world clinical settings.
","absKo":"Oncologist들은 질병의 복잡성을 모델링하기 위해 점점 더 다양한 modality에 의존하고 있다. 이 맥락에서 transcriptomic 및 epigenetic data는 특히 중요한 도구로 입증되었으며 임상 응용에서 점점 더 핵심적인 역할을 수행하고 있다. 그러나 이를 multimodal model에 통합하는 일은, 특히 높은 차원성까지 고려하면 여전히 어렵다. 본 연구에서는 masked language modeling의 self-supervision을 활용하여 bulk RNA-seq와 DNA methylation의 representation을 공동으로 학습하는 새로운 bimodal model을 제시한다. 우리는 긴 sequence를 다룰 때 순수 transformer 기반 모델에 흔히 수반되는 memory footprint를 줄이는 architecture를 활용한다. 얻어진 bimodal embedding은 cancer-type classification과 survival model을 fine-tuning하는 데 사용할 수 있으며, 이는 unimodal model과 비교해 state-of-the-art 성능을 달성함을 보인다. 나아가 우리는 modality가 일부 누락되더라도 downstream task 성능을 유지하는 robust learning framework를 도입하여, 실제 임상 환경에서의 적용 가능성을 높인다.
"},{"id":"62703","en":"Cardio-mmFlow: A Gaussian-Prior-Free Physics-Informed Flow Matching Framework for Electrocardiogram to mmWave Radar Synthesis.","ko":"Cardio-mmFlow: ECG에서 mmWave Radar로의 합성용 Gaussian-prior-free Physics-Informed Flow Matching Framework","authors":"Ziyang Liu, Ruiqiang Xiao, Chang Huang, KIEREN YU, Siyuan He, Kaishun WU","pos":"#1010","link":"https://openreview.net/forum?id=e43JwTIb2V","abs":"Continuous ECG monitoring is clinically valuable, but scaling it beyond electrodes to comfortable long-term use motivates contactless mmWave sensing. In practice, mmWave-to-ECG reconstruction is severely constrained by the scarcity of high-quality synchronized recordings and poor cross-subject generalization. To overcome these bottlenecks, we propose \\textbf{Cardio-mmFlow}, a Gaussian-prior-free physics-informed flow matching framework that synthesizes realistic mmWave radar signals from abundant clinical ECG corpora. It learns a direct transport trajectory between the latent manifolds of ECG and radar. To capture subject-dependent propagation differences, we incorporate a simplified mass--spring--damper inspired physical prior and inject it into the flow dynamics via feature-wise linear modulation for personalization. Extensive experiments show that our system have generate high fidelity radar data in both signal and latent domains. It significantly improve zero-shot downstream mmWave$\\rightarrow$ECG task, and enable Atrial Fibrillation classification with synthetic data. Further analysis evaluate the model interpretability.","absKo":"Continuous ECG monitoring은 임상적으로 가치가 높지만, 전극을 넘어 쾌적한 장기 사용으로 확장하기 위해서는 contactless mmWave sensing이 필요하다. 실제로 mmWave-to-ECG reconstruction은 고품질 동기화 기록의 부족과 주체 간 일반화 성능 저하로 인해 심각한 제약을 받는다. 이러한 병목을 극복하기 위해, 우리는 풍부한 임상 ECG 코퍼스로부터 현실적인 mmWave radar 신호를 합성하는 Gaussian-prior-free physics-informed flow matching framework인 \\textbf{Cardio-mmFlow}를 제안한다. 이 방법은 ECG와 radar의 latent manifold 사이에서 직접적인 transport trajectory를 학습한다. 주체별 propagation 차이를 포착하기 위해, 우리는 단순화된 mass--spring--damper에서 영감을 받은 physical prior를 통합하고, 이를 feature-wise linear modulation을 통해 flow dynamics에 주입하여 personalization을 수행한다. 광범위한 실험은 우리의 시스템이 signal 및 latent domain 모두에서 높은 fidelity의 radar 데이터를 생성함을 보여준다. 이는 zero-shot downstream mmWave$\\rightarrow$ECG task를 크게 향상시키고, synthetic data를 사용한 Atrial Fibrillation 분류를 가능하게 한다. 추가 분석은 모델의 interpretability를 평가한다."},{"id":"64054","en":"DPsurv: Dual-Prototype Evidential Fusion for Uncertainty-Aware and Interpretable Whole Slide Image Survival Prediction","ko":"DPsurv: 불확실성 인식 및 해석 가능한 전체 슬라이드 이미지 생존 예측을 위한 이중 프로토타입 증거 융합","authors":"Yucheng Xing, ling huang, Jingying Ma, Ruping Hong, Jiangdong Qiu, Pei Liu, Kai He, Huazhu Fu, Mengling Feng","pos":"#1012","link":"https://openreview.net/forum?id=RKqL4GYXz3","abs":"Whole-slide images (WSIs) are widely used for cancer survival analysis because of their comprehensive histopathological information at both cellular and tissue levels, enabling quantitative, large-scale, and prognostically rich tumor feature analysis. However, most existing WSI survival analysis methods struggle with limited interpretability and often overlook predictive uncertainty in heterogeneous slide images. In this paper, we propose DPsurv, a dual-prototype whole-slide image evidential fusion network that outputs uncertainty-aware survival intervals, and enables interpretable survival results through patch prototype distribution assignment, component prototype evidence reasoning, and component-wise relative risk aggregation. Experiments on five publicly available datasets demonstrate strong discriminative performance and well-calibrated predictions, validating its effectiveness and reliability. The interpretation of survival results provides transparency at the feature, reasoning, and decision levels, thereby enhancing the trustworthiness and interpretability of DPsurv.
","absKo":"Whole-slide image(WSI)는 세포 및 조직 수준 모두에서 포괄적인 histopathological information을 제공하여 정량적이고 대규모이며 예후 정보가 풍부한 tumor feature 분석을 가능하게 하므로, cancer survival analysis에 널리 사용된다. 그러나 기존의 대부분 WSI survival analysis 방법은 해석가능성이 제한적이며, 이질적인 slide image에서 predictive uncertainty를 종종 간과한다. 본 논문에서는 uncertainty-aware survival interval을 출력하고, patch prototype distribution assignment, component prototype evidence reasoning, component-wise relative risk aggregation을 통해 해석 가능한 survival 결과를 가능하게 하는 dual-prototype whole-slide image evidential fusion network인 DPsurv를 제안한다. 다섯 개의 공개 데이터셋에서 수행한 실험은 강한 판별 성능과 잘 보정된 예측을 보여 주며, 그 효과성과 신뢰성을 검증한다. Survival 결과의 해석은 feature, reasoning, decision 수준에서 투명성을 제공하여 DPsurv의 신뢰성과 해석가능성을 향상시킨다.
"},{"id":"64620","en":"Disease-Centric Vision-Language Pretraining with Hybrid Visual Encoding for 3D Computed Tomography","ko":"3D 컴퓨터 단층촬영을 위한 Hybrid Visual Encoding 기반 질병 중심 Vision-Language 사전학습","authors":"Bowen Shi, Weiwei Cao, Ruifeng Yuan, Wanxing Chang, Wenrui Dai, Hongkai Xiong, Ling Zhang, Jianpeng Zhang","pos":"#1013","link":"https://openreview.net/forum?id=LcSPuepCDU","abs":"Vision–language pre-training (VLP) holds great promise for general-purpose medical AI by leveraging radiology reports as rich textual supervision, yet existing methods struggle with 3D CT imaging due to inefficient visual backbones and coarse semantic alignment. To address these issues, we propose a tailored VLP framework featuring three key components: (1) a CNN–ViT hybrid encoder that replaces ViT’s patch embedding with a 3D CNN backbone to efficiently capture local anatomical details while preserving global attention and compatibility with pre-trained cross-modal priors; (2) a disease-level contrastive learning mechanism using learnable query tokens to dynamically extract disease-specific semantics from full reports and align them with corresponding visual features, thereby disentangling distinct diseases within the same anatomical region; and (3) a diagnosis-aware prompt strategy that employs real clinical phrases and aggregated disease prototypes to bridge the pre-training–inference gap and enhance zero-shot diagnostic reliability. Our model achieves state-of-the-art performance on CT-RATE (84.4\\% AUC, +5.1%) and Rad-ChestCT (75.4\\% AUC, +5.4%), with even larger gains (+9.8% AUC) on a challenging 60-disease benchmark, and demonstrates strong transferability to radiology report generation, underscoring the generality and clinical utility of our approach.
","absKo":"Vision–language pre-training (VLP)는 radiology reports를 풍부한 텍스트 supervision으로 활용함으로써 범용 medical AI에 큰 가능성을 지니지만, 기존 방법들은 비효율적인 visual backbone과 거친 semantic alignment 때문에 3D CT imaging에서 어려움을 겪는다. 이러한 문제를 해결하기 위해, 우리는 세 가지 핵심 구성요소를 갖춘 맞춤형 VLP framework를 제안한다: (1) ViT의 patch embedding을 3D CNN backbone으로 대체하여 local anatomical detail을 효율적으로 포착하면서도 global attention과 pre-trained cross-modal prior와의 호환성을 유지하는 CNN–ViT hybrid encoder; (2) learnable query token을 사용해 전체 report에서 disease-specific semantics를 동적으로 추출하고 이를 대응하는 visual feature와 정렬함으로써 동일한 anatomical region 내의 서로 다른 disease를 분리하는 disease-level contrastive learning mechanism; (3) pre-training–inference gap을 메우고 zero-shot diagnostic reliability를 향상시키기 위해 실제 clinical phrase와 aggregated disease prototype을 활용하는 diagnosis-aware prompt strategy. 우리의 model은 CT-RATE에서 state-of-the-art 성능(84.4\\% AUC, +5.1%)과 Rad-ChestCT에서 75.4\\% AUC(+5.4%)를 달성했으며, 까다로운 60-disease benchmark에서는 더 큰 향상(+9.8% AUC)을 보였고, radiology report generation으로의 강한 transferability도 입증하여, 제안한 접근의 일반성과 임상적 유용성을 강조한다.
"},{"id":"60643","en":"PerturbDiff: Functional Diffusion for Single-Cell Perturbation Modeling","ko":"PerturbDiff: Single-Cell Perturbation Modeling을 위한 함수형 Diffusion","authors":"Xinyu Yuan, Xixian Liu, Ya Shi Zhang, Zuobai Zhang, Hongyu Guo, Jian Tang","pos":"#107","link":"https://openreview.net/forum?id=yBAqonxCdp","abs":"Building Virtual Cells that can accurately simulate cellular responses to perturbations is a long-standing goal in systems biology. A fundamental challenge is that high-throughput single-cell sequencing is destructive: the same cell cannot be observed both before and after a perturbation. Thus, perturbation prediction requires mapping unpaired control and perturbed populations. Existing models address this by learning maps between distributions, but typically assume a single fixed response distribution when conditioned on observed cellular context (e.g., cell type) and the perturbation type. In reality, responses vary systematically due to unobservable latent factors such as microenvironmental fluctuations and complex batch effects, forming a manifold of possible distributions for the same observed conditions. To capture this variability, we introduce PerturbDiff, which shifts modeling from individual cells to entire distributions. By embedding distributions as points in a Hilbert space, we define a diffusion-based generative process operating directly over probability distributions. This allows PerturbDiff to capture population-level response shifts across hidden factors, improving generalization. Benchmarks on established datasets show that PerturbDiff achieves state-of-the-art performance in single-cell response prediction and generalizes substantially better to unseen perturbations. All code and data will be released upon acceptance.
","absKo":"Virtual Cells를 구축하여 교란(perturbation)에 대한 세포 반응을 정확하게 시뮬레이션하는 것은 systems biology에서 오랫동안 이어져 온 목표이다. 근본적인 도전은 high-throughput single-cell sequencing이 파괴적이라는 점이다. 즉, 같은 세포를 교란 전후 모두에서 관찰할 수 없다. 따라서 perturbation prediction은 짝이 맞지 않는 control 집단과 perturbed 집단을 매핑하는 것을 필요로 한다. 기존 모델들은 분포 간 map을 학습함으로써 이 문제에 대응하지만, 보통 관측된 cellular context(e.g., cell type)와 perturbation type이 주어졌을 때 하나의 고정된 response distribution을 가정한다. 그러나 실제로 반응은 microenvironmental fluctuations와 복잡한 batch effects 같은 관측 불가능한 latent factors로 인해 체계적으로 달라지며, 같은 관측 조건에 대해 가능한 distribution들의 manifold를 형성한다. 이러한 변동성을 포착하기 위해, 우리는 개별 세포가 아니라 전체 distribution을 대상으로 모델링하는 PerturbDiff를 제안한다. Hilbert space에서 distribution을 점으로 임베딩함으로써, probability distributions 위에서 직접 작동하는 diffusion-based generative process를 정의한다. 이를 통해 PerturbDiff는 숨겨진 요인 전반에 걸친 population-level response shift를 포착하여 일반화 성능을 향상시킨다. 확립된 데이터셋에서의 benchmark 결과, PerturbDiff는 single-cell response prediction에서 state-of-the-art 성능을 달성했으며, 보지 못한 perturbation에 대해서도 훨씬 더 잘 일반화함을 보인다. 모든 코드와 데이터는 채택 시 공개될 예정이다.
"},{"id":"61629","en":"STT-LLM: Structural-Temporal Tokenization for Adapting LLMs to Longitudinal Clinical Profiles","ko":"STT-LLM: 장기 임상 프로파일에 LLM을 적응시키기 위한 구조-시간 Tokenization","authors":"Maxx Richard Rahman, Mostafa Hammouda, Wolfgang Maass","pos":"#1911","link":"https://openreview.net/forum?id=oLtn3L43Ej","abs":"Large Language Models have shown strong generalization across natural language tasks but remain underexplored for longitudinal clinical profiles. In sports anti-doping, biological profiles are analyzed to support early detection of prohibited substance use and identification of anomalous biological patterns, both of which require joint modeling of temporal dynamics and metabolic relationships. We propose STT-LLM, a structural-temporal tokenization framework that adapts LLMs to longitudinal clinical analysis without modifying their backbone architectures. STT-LLM constructs biologically grounded structural-temporal embeddings and transforms them into LLM-compatible tokens via specialized tokenizers that explicitly encode pathway structure and temporal evolution. We evaluate STT-LLM on real-world longitudinal datasets from athletes, showing consistent improvements over native LLM tokenization strategies in sequence prediction and anomaly detection. In addition, we present a case study where STT-LLM provides contextual reasoning that aligns more closely with expert assessments compared to baseline models. These results highlight tokenization as a key bottleneck and opportunity for adapting LLMs to clinical data.
","absKo":"Large Language Model은 자연어 과제 전반에서 강한 generalization을 보여왔지만, longitudinal clinical profile에 대해서는 아직 충분히 탐구되지 않았다. 스포츠 anti-doping에서 biological profile은 금지 물질 사용의 조기 탐지와 비정상적인 biological pattern 식별을 지원하는 데 분석되며, 이 둘은 temporal dynamics와 metabolic relationship의 joint modeling을 필요로 한다. 우리는 backbone architecture를 수정하지 않고도 LLM을 longitudinal clinical analysis에 적응시키는 structural-temporal tokenization framework인 STT-LLM을 제안한다. STT-LLM은 생물학적으로 근거 있는 structural-temporal embedding을 구성하고, pathway structure와 temporal evolution을 명시적으로 인코딩하는 specialized tokenizer를 통해 이를 LLM 호환 token으로 변환한다. 우리는 선수들의 실제 longitudinal dataset에서 STT-LLM을 평가했으며, sequence prediction과 anomaly detection에서 native LLM tokenization strategy보다 일관되게 향상된 성능을 보였다. 또한 case study를 통해, STT-LLM이 baseline model보다 expert assessment와 더 잘 부합하는 contextual reasoning을 제공함을 제시한다. 이러한 결과는 LLM을 clinical data에 적응시키는 데 있어 tokenization이 핵심 bottleneck이자 기회임을 보여준다.
"},{"id":"63562","en":"MEDA: Medical-Oriented Activation Editing for Hallucination Mitigation in Medical Large Vision-Language Model","ko":"MEDA: 의료 대형 Vision-Language Model에서 환각 완화를 위한 의료 지향 활성 편집","authors":"Tianbo Wang, Yuqing Ma, Lingyan Meng, Zhange Zhang, Kewei Liao, Jian Yang, Simin Li, Jinyang Guo, Xianglong Liu","pos":"#2807","link":"https://openreview.net/forum?id=VzZxoRiU3G","abs":"Medical Large Vision-Language Models (Med-LVLMs) suffer from severe hallucinations, posing critical safety risks in clinical deployment. Editing LVLM activations has shown promise for mitigating hallucination with minimal cost. However, due to the requirements of medical domain expertise, existing methods struggle to capture imaging manifestations and diagnostic principles that are critical for clinical interpretation, thereby limiting their effectiveness. To address these limitations, we propose the first MEDical-oriented Activation Editing (MEDA) method by integrating Query-decisive Manifestation Steering (QMS) and Principle-driven Diagnosis Induction (PDI) to promote Med-LVLM's expertise elicitation. Specifically, QMS retrieves positive query-decisive imaging manifestations as trusted guidance for activation steering, while PDI constructs positive principle-embedded diagnostic prompts to induce expert-like clinical reasoning. Extensive experiments across six benchmarks and six LVLMs demonstrate that MEDA efficiently improves the response factuality with up to a 10.2\\% gain on IU-Xray, while exhibiting strong generalization and few-shot robustness.
","absKo":"Medical Large Vision-Language Models (Med-LVLMs)는 심각한 hallucination 문제를 겪고 있으며, 이는 임상 배포에서 중대한 안전 위험을 초래한다. LVLM activation을 editing하는 방법은 적은 비용으로 hallucination을 완화하는 유망한 접근으로 나타났다. 그러나 의료 도메인 전문성의 요구로 인해, 기존 방법은 영상 소견과 임상 해석에 핵심적인 진단 원리를 포착하는 데 어려움을 겪어 그 효과가 제한된다. 이러한 한계를 해결하기 위해, 우리는 Query-decisive Manifestation Steering (QMS)과 Principle-driven Diagnosis Induction (PDI)를 통합하여 Med-LVLM의 전문성 유도를 촉진하는 첫 MEDical-oriented Activation Editing (MEDA) 방법을 제안한다. 구체적으로 QMS는 양성 query-decisive imaging manifestation을 검색하여 activation steering을 위한 신뢰할 수 있는 guidance로 사용하고, PDI는 양성 principle-embedded diagnostic prompt를 구성하여 전문가 수준의 임상 추론을 유도한다. 6개 benchmark와 6개 LVLM에 걸친 광범위한 실험은 MEDA가 IU-Xray에서 최대 10.2\\%의 향상과 함께 response factuality를 효율적으로 개선하며, 강한 generalization과 few-shot robustness를 보임을 보여준다.
"},{"id":"61286","en":"OSF: On Pre-training and Scaling of Sleep Foundation Models","ko":"OSF: Sleep Foundation Model의 사전학습과 스케일링","authors":"Zitao Shuai, Zongzhe Xu, David Yang, Wei Wang, Yuzhe Yang","pos":"#304","link":"https://openreview.net/forum?id=rlVGCyjqnt","abs":"Polysomnography (PSG) provides the gold standard for sleep assessment but suffers from substantial heterogeneity across recording devices and cohorts. There have been growing efforts to build general-purpose foundation models (FMs) for sleep physiology, but lack an in-depth understanding of the pre-training process and scaling patterns that lead to more generalizable sleep FMs. To fill this gap, we curate a massive corpus of 166,500 hours of sleep recordings from nine public sources and establish SleepBench, a comprehensive, fully open-source benchmark. Leveraging SleepBench, we systematically evaluate four families of self-supervised pre-training objectives and uncover three critical findings: (1) existing FMs fail to generalize to missing channels at inference; (2) channel-invariant feature learning is essential for pre-training; and (3) scaling sample size, model capacity, and multi-source data mixture consistently improves downstream performance. With an enhanced pre-training and scaling recipe, we introduce OSF, a family of sleep FMs that achieves state-of-the-art performance across nine datasets on diverse sleep and disease prediction tasks. Further analysis of OSF also reveals intriguing properties in sample efficiency, hierarchical aggregation, and cross-dataset scaling.
","absKo":"Polysomnography (PSG)는 수면 평가의 gold standard를 제공하지만, 기록 장치와 코호트 전반에 걸친 상당한 이질성 문제를 겪는다. 수면 physiology를 위한 general-purpose foundation models (FMs)를 구축하려는 노력이 늘어나고 있지만, 더 generalizable한 sleep FMs로 이어지는 pre-training 과정과 scaling pattern에 대한 심층적 이해는 부족하다. 이러한 격차를 메우기 위해, 우리는 9개의 public source에서 수집한 166,500시간 규모의 방대한 수면 기록 코퍼스를 정제하고, 완전한 open-source benchmark인 SleepBench를 구축한다. SleepBench를 활용해 우리는 self-supervised pre-training objective의 네 가지 계열을 체계적으로 평가하고, 세 가지 핵심 발견을 도출했다: (1) 기존 FMs는 inference 시 missing channel에 일반화하지 못한다; (2) channel-invariant feature learning은 pre-training에 필수적이다; (3) sample size, model capacity, multi-source data mixture의 scaling은 downstream 성능을 일관되게 향상시킨다. 향상된 pre-training 및 scaling recipe를 바탕으로, 우리는 다양한 수면 및 질병 예측 task에서 9개 dataset 전반에 걸쳐 state-of-the-art 성능을 달성하는 sleep FMs 계열인 OSF를 제안한다. 추가 분석은 OSF가 sample efficiency, hierarchical aggregation, cross-dataset scaling에서 흥미로운 특성을 보임을 보여준다.
"},{"id":"64999","en":"MoRGEN: Mixture-of-Resolutions Generative Forecasting for Irregularly Sampled Medical Time-Series Data","ko":"MoRGEN: 불규칙 샘플링된 의료 시계열 데이터를 위한 Mixture-of-Resolutions 생성 예측","authors":"Nassim Oufattole, Matthew McDermott, Collin Stultz","pos":"#400","link":"https://openreview.net/forum?id=Hvqkdu4Luv","abs":"Autoregressive generative models for irregularly sampled clinical time-series data are increasingly used for zero-shot risk forecasting. Prior work typically adopts a single fine-grained discretization of time, where tokens are generated at one fixed, pre-determined, temporal resolution. We demonstrate that zero-shot accuracy for a given task varies depending on the temporal dynamics of the task in question, where performance will be low when the temporal dynamics is not well-matched to temporal resolution of the generative model. We then propose MoRGen (Mixture-of-Resolutions Generation), which fuses zero-shot generative experts trained at multiple resolutions, to improve zero-shot performance across tasks with very different temporal dynamics. Across multiple horizons and outcomes on three independent clinical datasets, MoRGen achieves lower binary-cross entropy (BCE) and statistically significant AUROC gains over autoregressive generative models that forecast tokens at a fixed temporal resolution.
","absKo":"불규칙하게 샘플링된 임상 시계열 데이터에 대한 autoregressive generative model은 zero-shot risk forecasting에 점점 더 많이 사용되고 있다. 기존 연구는 일반적으로 시간에 대한 하나의 세밀한 discretization을 채택하며, 토큰을 하나의 고정된 사전 정의 temporal resolution에서 생성한다. 우리는 주어진 task의 zero-shot 정확도가 해당 task의 temporal dynamics에 따라 달라지며, temporal dynamics가 generative model의 temporal resolution과 잘 맞지 않으면 성능이 낮아진다는 점을 보인다. 이어서 우리는 서로 매우 다른 temporal dynamics를 갖는 task 전반에서 zero-shot 성능을 향상시키기 위해, 여러 resolution에서 학습된 zero-shot generative expert를 결합하는 MoRGen(Mixture-of-Resolutions Generation)을 제안한다. 세 개의 독립적인 임상 데이터셋에서 여러 horizon과 outcome에 걸쳐, MoRGen은 고정된 temporal resolution에서 토큰을 예측하는 autoregressive generative model보다 더 낮은 binary-cross entropy(BCE)와 통계적으로 유의미한 AUROC 향상을 달성한다.
"},{"id":"67098","en":"Position: Stop Chasing the C-index when Evaluating Survival Analysis Models","ko":"Position: 생존 분석 모델을 평가할 때 C-index 추종을 멈춰라","authors":"Christian Marius Lillelund, Shi-ang Qi, Russell Greiner, Christian Fischer Pedersen","pos":"#4210","link":"https://openreview.net/forum?id=j4lU2qeiD9","abs":"The current state of evaluation in survival analysis is plagued by the persistent use of evaluation metrics in ways that are misaligned with the stated modeling objective. In addition, many such evaluations are based on censoring assumptions that are left implicit or unjustified. This means that the reported performance can be misleading and may fail to answer the scientific or modeling question the evaluation was intended to address. In this position paper, we present a critical analysis of evaluation practices in survival analysis and highlight why evaluation in survival analysis fundamentally differs from standard regression or classification due to censoring. We place particular focus on concordance-based measures, such as the C-index, which our findings indicate are heavily overused in the literature. To help identify appropriate metrics, we propose a set of key desiderata and introduce a double-helix ladder, in which valid evaluation requires alignment between metric and modeling assumptions, and we provide empirical evidence that this is effective. We conclude by providing practical guidance on how to evaluate a survival model.
","absKo":"survival analysis에서의 현재 evaluation 상태는 명시된 modeling objective와 맞지 않는 방식으로 evaluation metric을 지속적으로 사용하는 관행에 시달리고 있다. 또한 이러한 평가의 상당수는 censoring assumption을 암묵적으로 두거나 정당화하지 않은 채 수행된다. 이는 보고된 성능이 오해를 불러일으킬 수 있으며, 평가가 의도했던 과학적 또는 modeling 질문에 답하지 못할 수 있음을 의미한다. 이 position paper에서는 survival analysis의 evaluation practice에 대한 비판적 분석을 제시하고, censoring 때문에 survival analysis의 평가가 표준 regression이나 classification과 근본적으로 다르다는 점을 강조한다. 우리는 특히 C-index와 같은 concordance-based measure에 주목하는데, 우리의 결과는 이 지표가 문헌에서 과도하게 사용되고 있음을 보여준다. 적절한 metric을 식별하는 데 도움을 주기 위해 우리는 핵심 desiderata의 집합을 제안하고, 유효한 평가가 metric과 modeling assumption 사이의 정합성을 요구하는 double-helix ladder를 도입하며, 이것이 효과적임을 보여주는 실증적 증거를 제시한다. 마지막으로 survival model을 어떻게 평가해야 하는지에 대한 실용적 지침을 제공한다.
"},{"id":"66413","en":"Quantifying the Generalization Gap in Seizure Detection: A Large-Scale Empirical Benchmark via the SzCORE Challenge","ko":"발작 탐지에서의 일반화 격차 정량화: SzCORE 챌린지를 통한 대규모 실증 벤치마크","authors":"Jonathan Dan, Amirhossein Shahbazinia, Christodoulos Kechris, David Atienza","pos":"#4211","link":"https://openreview.net/forum?id=3vhn9kVVY5","abs":"Reliable automatic seizure detection from long-term electroencephalogram recordings (EEG) remains an unsolved challenge, as current models often fail to generalize across patients or clinical settings. Manual EEG review still is the standard of care, highlighting the need for robust models and standardized evaluation. The current literature often reports high efficacy, yet these models frequently fail when deployed to unseen patient populations. To rigorously assess this generalization gap, we conducted a large-scale empirical study evaluating 28 state-of-the-art algorithmic architectures, ranging from classical feature engineering to modern Deep Learning. These algorithms were collected by organizing competition. A strictly held-out private dataset of continuous EEG recordings from 65 subjects, totaling 4'360 hours of data, was utilized to evaluate algorithm performance. Expert neurophysiologists annotated these recordings, establishing the ground truth for seizure events. Algorithms were evaluated using event-based metrics from the SzCORE framework, including sensitivity, precision, F1-score, and false positive rate per day. Results revealed significant performance variability among state-of-the-art approaches, with the top F1 score of 32% (sensitivity 37%, precision 29%), highlighting the persistent difficulty of this task for current machine learning methodologies. Our analysis uncovered a discordance between peak performance and population-level stability. The algorithms achieving the highest aggregate F1-scores did not achieve the most consistent ranking across subjects, indicating high performance variance and susceptibility to failure on outlier patients. This independent evaluation also exposed a notable gap between self-reported efficacies and hold-out performance, underscoring the critical need for standardized, rigorous benchmarking in developing clinically viable ML models. A comparison with previous challenges and commercial systems indicates that the best algorithm in this study surpassed prior methods. Critically, the evaluation infrastructure transitions into a continuously open benchmarking platform, fostering reproducible research and accelerating the development of robust seizure detection algorithms by allowing ongoing submissions and integration of additional private datasets. Clinical centers can also adopt this platform to evaluate seizure detection algorithms on their EEG data using a standardized, reproducible framework.
","absKo":"장기 electroencephalogram recordings (EEG)로부터 신뢰할 수 있는 자동 seizure detection은 여전히 해결되지 않은 과제입니다. 현재 model은 환자 간 또는 clinical setting 간 generalization에 자주 실패하기 때문입니다. 수동 EEG review는 여전히 standard of care이며, robust model과 표준화된 evaluation의 필요성을 강조합니다. 현재 문헌은 종종 높은 효율을 보고하지만, 이러한 model은 unseen patient population에 배포되면 자주 실패합니다. 이 generalization gap을 엄밀하게 평가하기 위해, 우리는 classical feature engineering부터 modern Deep Learning에 이르는 28개의 state-of-the-art algorithmic architecture를 평가하는 대규모 실증 연구를 수행했습니다. 이 algorithm은 competition을 조직하여 수집되었습니다. 성능 평가는 65명 대상의 continuous EEG recordings로 구성된, 엄격히 hold-out된 private dataset을 사용했으며, 총 4'360시간의 데이터를 포함합니다. 전문 neurophysiologist가 이 recording에 주석을 달아 seizure event의 ground truth를 확립했습니다. Algorithm은 sensitivity, precision, F1-score, false positive rate per day를 포함하는 SzCORE framework의 event-based metric으로 평가되었습니다. 결과는 state-of-the-art approach 간에 유의미한 성능 변동이 있음을 보여 주었고, 최고 F1 score는 32% (sensitivity 37%, precision 29%)로 현재 machine learning methodology에서 이 과제가 여전히 매우 어렵다는 점을 드러냈습니다. 분석 결과 peak performance와 population-level stability 사이의 불일치도 확인되었습니다. 가장 높은 aggregate F1-score를 달성한 algorithm이 subject 전반에 걸쳐 가장 일관된 ranking을 보인 것은 아니었으며, 이는 높은 성능 분산과 outlier patient에서의 실패 취약성을 시사합니다. 이 독립 평가에서는 self-reported efficacy와 hold-out performance 사이의 현저한 격차도 드러났으며, 임상적으로 실용적인 ML model을 개발하는 데 표준화되고 엄격한 benchmarking의 중요성을 강조합니다. 이전 challenge 및 commercial system과의 비교는 이번 연구에서 가장 우수한 algorithm이 이전 방법을 능가했음을 나타냅니다. 결정적으로, 이 evaluation infrastructure는 지속적으로 열린 benchmarking platform으로 전환되어, ongoing submission과 추가 private dataset의 통합을 가능하게 함으로써 재현 가능한 연구를 촉진하고 robust seizure detection algorithm의 개발을 가속화합니다. 또한 clinical center는 이 platform을 채택하여 standardized, reproducible framework를 사용해 자신들의 EEG 데이터에서 seizure detection algorithm을 평가할 수 있습니다.
"},{"id":"60953","en":"RNA-FM: Flow-Matching Generative Model for Genome-wide RNA-Seq Prediction","ko":"RNA-FM: Genome-wide RNA-Seq Prediction을 위한 Flow-Matching Generative Model","authors":"Yaxuan Song, Jianan Fan, Tianyi Wang, Qiuyue Hu, Hang Chang, Heng Huang, Weidong Cai","pos":"#800","link":"https://openreview.net/forum?id=v5dquZIEUt","abs":"Histopathology whole-slide images (WSIs) are routinely acquired in clinical practice and contain rich tissue morphology but lack direct molecular architecture and functional programs defining pathological states, whereas RNA sequencing (RNA-seq) provides genome-wide transcriptional profiles at substantial cost, thereby motivating WSI-based genome-wide transcriptomic prediction. Existing approaches for predicting gene expression from WSIs predominantly rely on deterministic regression with one-to-one mapping, limiting their ability to capture biological heterogeneity and predictive uncertainty. We propose RNA-FM, a flow-matching generative framework for genome-wide bulk RNA-seq prediction from histopathology images. RNA-FM formulates transcriptomic prediction as a continuous-time conditional transport problem, learning a velocity field that maps a simple prior to the target gene expression distribution conditioned on morphological features. By incorporating pathway-level structure, RNA-FM enables scalable, biologically interpretable, and genome-wide gene expression imputation. Extensive experiments across multiple anatomical regions, pathway-level analysis, and external validation cohorts demonstrate that RNA-FM consistently outperforms state-of-the-art approaches while effectively capturing both inter-patient and intra-tumoral heterogeneity.
","absKo":"Histopathology whole-slide images(WSIs)는 임상 실무에서 일상적으로 획득되며 풍부한 tissue morphology를 담고 있지만, pathological state를 정의하는 직접적인 molecular architecture와 functional program은 부족하다. 반면 RNA sequencing(RNA-seq)은 genome-wide transcriptional profile을 제공하지만 비용이 상당히 크므로, WSI 기반 genome-wide transcriptomic prediction의 필요성이 제기된다. WSI로부터 gene expression을 예측하는 기존 접근법은 주로 deterministic regression과 one-to-one mapping에 의존하여, biological heterogeneity와 predictive uncertainty를 포착하는 능력이 제한적이다. 우리는 histopathology image로부터 genome-wide bulk RNA-seq prediction을 위한 flow-matching generative framework인 RNA-FM을 제안한다. RNA-FM은 transcriptomic prediction을 continuous-time conditional transport problem으로 정식화하여, 형태학적 특징에 조건부로 주어진 단순 prior를 target gene expression distribution으로 매핑하는 velocity field를 학습한다. pathway-level structure를 통합함으로써, RNA-FM은 확장 가능하고 생물학적으로 해석 가능하며 genome-wide gene expression imputation을 가능하게 한다. 여러 anatomical region에 걸친 광범위한 실험, pathway-level analysis, 그리고 external validation cohort는 RNA-FM이 일관되게 state-of-the-art approaches를 능가하면서 patient 간 및 tumor 내 heterogeneity를 효과적으로 포착함을 보여준다.
"},{"id":"64268","en":"SIGMA-PPG: Statistical-prior Informed Generative Masking Architecture for PPG Foundation Model","ko":"SIGMA-PPG: PPG 파운데이션 모델을 위한 통계 사전 정보 기반 생성적 마스킹 아키텍처","authors":"ZONGHENG GUO, Tao Chen, Yang Jiao, Yi Pan, Xiao Hu, Manuela Ferrario","pos":"#801","link":"https://openreview.net/forum?id=PKgGsbORt9","abs":"Current foundation model for photoplethysmography (PPG) signals is challenged by the intrinsic redundancy and noise of the signal. Standard masked modeling often yields trivial solutions while contrastive methods lack morphological precision. To address these limitations, we propose a Statistical-prior Informed Generative Masking Architecture (SIGMA-PPG), a generative foundation model featuring a prior-guided adversarial masking mechanism, where a reinforcement learning-driven teacher leverages statistical priors to create challenging learning paths that prevent overfitting to noise. We also incorporate a semantic consistency constraint via vector quantization to ensure that physiologically identical waveforms—even those altered by recording artifacts or minor perturbations—map to shared indices. This enhances codebook semantic density and eliminates redundant feature structures. Pre-trained on over 120,000 hours of data, SIGMA-PPG achieves superior average performance compared to five state-of-the-art baselines across 12 diverse downstream tasks.
","absKo":"현재 photoplethysmography (PPG) signal을 위한 foundation model은 신호의 내재적 중복성과 잡음으로 인해 어려움을 겪는다. 표준 masked modeling은 종종 자명한 해를 낳고, contrastive method는 형태학적 정밀성이 부족하다. 이러한 한계를 해결하기 위해, 우리는 Statistical-prior Informed Generative Masking Architecture (SIGMA-PPG)를 제안한다. 이는 prior-guided adversarial masking mechanism을 특징으로 하는 generative foundation model로, reinforcement learning 기반 teacher가 statistical prior를 활용해 잡음에 대한 과적합을 방지하는 어려운 learning path를 생성한다. 또한 vector quantization을 통한 semantic consistency constraint를 도입하여, 기록 artifact나 미세한 perturbation으로 변형된 경우라도 생리적으로 동일한 waveform이 공유 index에 매핑되도록 한다. 이를 통해 codebook의 semantic density가 향상되고 중복 feature structure가 제거된다. 12만 시간 이상의 데이터로 사전학습된 SIGMA-PPG는 12개의 다양한 downstream task 전반에서 5개의 state-of-the-art baseline보다 더 우수한 평균 성능을 달성한다.
"},{"id":"65986","en":"SPATIA: Multimodal Generation and Prediction of Spatial Cell Phenotypes","ko":"SPATIA: 공간적 세포 표현형의 멀티모달 생성 및 예측","authors":"Zhenglun Kong, Mufan Qiu, John Boesen, xiang lin, Sukwon Yun, Tianlong Chen, Manolis Kellis, Marinka Zitnik","pos":"#802","link":"https://openreview.net/forum?id=8As2E4z9qt","abs":"Understanding how cellular morphology, gene expression, and spatial context jointly shape tissue function is a central challenge in biology. Image-based spatial transcriptomics technologies now provide high-resolution measurements of cell images and gene expression profiles, but existing methods typically analyze these modalities in isolation or at limited resolution. We address the problem by introducing SPATIA, a multi-level generative and predictive model that learns unified, spatially aware representations by fusing morphology, gene expression, and spatial context from the cell to the tissue level. SPATIA also incorporates a novel spatially conditioned generative framework for predicting cell morphologies under perturbations. Specifically, we propose a confidence-aware flow matching objective that reweights weak optimal-transport pairs based on uncertainty. We further apply morphology-profile alignment to encourage biologically meaningful image generation, enabling the modeling of microenvironment-dependent phenotypic transitions. We assembled a multi-scale dataset consisting of 25.9 million cell-gene pairs across 17 tissues. We benchmark SPATIA against 18 models across 12 tasks, spanning categories such as phenotype generation, annotation, clustering, gene imputation, and cross-modal prediction. SPATIA achieves improved performance over state-of-the-art models, improving generative fidelity by 8\\% and predictive accuracy by up to 3\\%.
","absKo":"세포 형태, gene expression, spatial context가 함께 tissue function을 어떻게 형성하는지 이해하는 것은 생물학의 핵심 과제이다. Image-based spatial transcriptomics 기술은 이제 세포 이미지와 gene expression profile에 대한 고해상도 측정을 제공하지만, 기존 방법들은 일반적으로 이러한 modality를 분리해서 분석하거나 제한된 해상도에서만 다룬다. 우리는 morphology, gene expression, spatial context를 cell 수준에서 tissue 수준까지 융합하여 통합적이고 spatially aware한 representation을 학습하는 다중 수준 generative 및 predictive model인 SPATIA를 도입하여 이 문제를 해결한다. SPATIA는 perturbation 하에서의 세포 morphology를 예측하기 위한 새로운 spatially conditioned generative framework도 포함한다. 구체적으로, 우리는 uncertainty에 기반하여 약한 optimal-transport pair를 재가중하는 confidence-aware flow matching objective를 제안한다. 또한 생물학적으로 의미 있는 image generation을 유도하기 위해 morphology-profile alignment를 적용하여, microenvironment-dependent phenotypic transition을 모델링할 수 있게 한다. 우리는 17개 tissue에 걸친 2,590만 개의 cell-gene pair로 이루어진 multi-scale dataset을 구축했다. 또한 phenotype generation, annotation, clustering, gene imputation, cross-modal prediction 등의 범주를 포괄하는 12개 task에서 18개 model과 SPATIA를 비교 평가했다. SPATIA는 state-of-the-art model보다 향상된 성능을 보였으며, generative fidelity를 8\\%, predictive accuracy를 최대 3\\%까지 개선했다.
"},{"id":"64497","en":"Seizure-Semiology-Suite($S^3$): A Clinically Multimodal Dataset, Benchmark, and Models for Seizure Semiology Understanding","ko":"Seizure-Semiology-Suite($S^3$): 발작 반증학 이해를 위한 임상 멀티모달 데이터셋, 벤치마크 및 모델","authors":"Lina Zhang, Jiarui Cui, Tonmoy Monsoor, Peizheng Li, Xinyi Peng, Chong Han, Prateik Sinha, Siyuan Dai, Jessica Pasqua, Colin McCrimmon, Weiting Liu, Hailey Miranda, Bing Hu, Xiangting Wu, Tengyou Xu, Chunhan Li, Jiaye Tian, Jiarui Tang, Detao Ma, Lingye Kong, Junnan Lyu, Jungang Li, Yan Zan, Junhua Huang, Rajarshi Mazumder, Vwani Roychowdhury","pos":"#803","link":"https://openreview.net/forum?id=MyorUlHKVc","abs":"While Multimodal Large Language Models (MLLMs) have demonstrated remarkable proficiency in general video understanding, their capacity to interpret involuntary, and spatio-temporally evolving pathologic motor behaviors such as seizure semiology remains largely untested. To address this gap, we introduce Seizure-Semiology-Suite (S³), a clinically grounded dataset and benchmark for fine-grained, structured seizure semiology understanding. The dataset includes 438 seizure videos annotated with over 35,000 dense labels covering 20 ILAE-defined semiological features. Building on this dataset, we propose a seven-task hierarchical benchmark that systematically evaluates MLLMs from low-level visual perception to temporal sequencing, narrative report generation, and seizure diagnosis. To enable clinically meaningful evaluation of generated reports, we further introduce the Report Quality Index for Seizure Semiology (Seizure-RQI). Extensive baselines across 11 open-weight MLLMs reveal systematic weaknesses in laterality reasoning, temporal localization, symptom sequencing, and clinically faithful reporting. We show that seizure-specific fine-tuning substantially improves performance across tasks, and that a two-stage neuro-symbolic framework achieves an F1 score of 0.96 on epileptic versus non-epileptic seizure classification. Seizure-Semiology-Suite establishes a rigorous benchmark for evaluating multimodal models in safety-critical medical video understanding and guides the development of clinically reliable, domain-adaptive multimodal intelligence.
","absKo":"Multimodal Large Language Models(MLLMs)가 일반적인 video understanding에서 뛰어난 성능을 보여왔지만, seizure semiology와 같은 비자발적이고 시공간적으로 변화하는 병적 motor behavior를 해석하는 능력은 대부분 검증되지 않았습니다. 이 공백을 메우기 위해, 우리는 정밀하고 구조화된 seizure semiology understanding을 위한 임상 기반 데이터셋이자 benchmark인 Seizure-Semiology-Suite(S³)를 소개합니다. 이 데이터셋은 20개의 ILAE-defined semiological feature를 포괄하는 35,000개 이상의 dense label이 주석된 438개의 seizure video를 포함합니다. 이 데이터셋을 바탕으로, 우리는 low-level visual perception부터 temporal sequencing, narrative report generation, seizure diagnosis까지 MLLM을 체계적으로 평가하는 7개 태스크의 hierarchical benchmark를 제안합니다. 생성된 report를 임상적으로 의미 있게 평가하기 위해, 우리는 Seizure Semiology를 위한 Report Quality Index(Seizure-RQI)도 추가로 도입합니다. 11개의 open-weight MLLM에 대한 광범위한 baseline은 laterality reasoning, temporal localization, symptom sequencing, 그리고 임상적으로 충실한 reporting에서 체계적인 약점을 드러냅니다. 우리는 seizure-specific fine-tuning이 태스크 전반의 성능을 크게 향상시키며, 2-stage neuro-symbolic framework가 epileptic 대비 non-epileptic seizure 분류에서 F1 score 0.96을 달성함을 보입니다. Seizure-Semiology-Suite는 safety-critical medical video understanding에서 multimodal model을 평가하기 위한 엄격한 benchmark를 확립하고, 임상적으로 신뢰할 수 있고 domain-adaptive한 multimodal intelligence의 개발을 안내합니다."},{"id":"64156","en":"SpaEF: Spatially Resolved Transcriptomics Data Element-Wise Denoising Framework Powered by Large Models","ko":"SpaEF: 대형 모델 기반 공간 분해 전사체 데이터 원소별 노이즈 제거 프레임워크","authors":"Zekuan Shang, Xiaosong Han, Liupu Wang, Wei Du, Peng Zhao, Yuanshu Li, Yubin Xiao, Xuan Wu, You Zhou","pos":"#804","link":"https://openreview.net/forum?id=QO1uZg4fj4","abs":"For denoising Spatially Resolved Transcriptomics (SRT) data, existing methods often construct spot and gene graphs to model inter-spot and inter-gene relationships, respectively. However, these methods often introduce spurious similarity biases among spots when constructing the spot graph and fail to capture nonlinear relationships among genes when constructing the gene graph. Moreover, ineffective graph fusion strategies further bottleneck denoising performance. To address these challenges, we propose SpaEF, which innovatively constructs spot and gene graphs with two Large Models (LMs) to inject prior knowledge for mitigating biases and capture nonlinear relationships, and then fuses them with the proposed element-wise graph autoencoder. As far as we know, SpaEF is the first SRT denoising method that utilizes pre-trained LMs to construct spot and gene graphs. Experiments on four real-world datasets with corresponding downstream tasks demonstrate that SpaEF not only outperforms SOTA denoising methods in accuracy but also exhibits strong robustness across tasks.
","absKo":"Spatially Resolved Transcriptomics (SRT) 데이터의 denoising을 위해 기존 방법들은 보통 spot graph와 gene graph를 구성하여 각각 spot 간, gene 간 관계를 모델링한다. 그러나 이러한 방법들은 spot graph를 구성할 때 spot들 사이에 허위의 유사성 편향(spurious similarity bias)을 도입하는 경우가 많고, gene graph를 구성할 때는 gene들 간의 비선형 관계를 포착하지 못한다. 더 나아가 비효율적인 graph fusion 전략은 denoising 성능을 추가로 병목시킨다. 이러한 문제를 해결하기 위해 우리는 SpaEF를 제안한다. SpaEF는 두 개의 Large Models (LMs)를 사용해 spot graph와 gene graph를 혁신적으로 구성하여 prior knowledge를 주입함으로써 편향을 완화하고 비선형 관계를 포착한 뒤, 제안하는 element-wise graph autoencoder로 이들을 융합한다. 우리가 아는 한, SpaEF는 pre-trained LMs를 이용해 spot graph와 gene graph를 구성하는 최초의 SRT denoising 방법이다. 대응되는 downstream task와 함께 네 개의 실제 데이터셋에서 수행한 실험은 SpaEF가 정확도 면에서 SOTA denoising 방법들을 능가할 뿐만 아니라, task 전반에 걸쳐 강한 robustness도 보임을 보여준다.
"},{"id":"61614","en":"Stabilizing In-Context Multi-Source Domain Adaptation for Biomedical Images Through Controls","ko":"Controls를 통한 Biomedical Images의 In-Context Multi-Source Domain Adaptation 안정화","authors":"Ana Sanchez Fernandez, Thomas Pinetz, Werner Zellinger, Günter Klambauer","pos":"#805","link":"https://openreview.net/forum?id=oUGeAcxuz5","abs":"Biomedical imaging data presents enormous potential for deep learning models to predict invaluable properties, such as diseases and drug effects. However, unavoidable alterations of the technical conditions cause batch effects: variations between groups of samples that are not due to any biological signal of interest. Batch effects greatly hinder the generalization abilities of deep learning models, preventing their practical use in the real world. Unsupervised Domain Adaptation (UDA) methods have been proposed to mitigate batch effects, but they usually assume that the data is comprised of only one source domain and one target domain, whereas biological datasets are comprised of multiple domains, both at training and at inference time. While Batch Normalization–based test-time and meta-learning adaptation methods offer a promising mechanism for domain alignment, we show that existing approaches exhibit degraded performance under the usual inference scenarios of small target batch sizes and label shift. We address these limitations by leveraging negative control samples, which are consistently present in every experimental batch in biological datasets, as stable context for adaptation. We propose CS-ARM-BN, a meta-learning BN adaptation method that uses controls both during training and inference to stabilize domain statistics. We perform a suite of experiments of Mechanism-Of-Action (MoA) classification, a crucial task for drug discovery, on the large JUMP-CP imaging dataset. Our experiments show that CS-ARM-BN substantially improves robustness to batch size and class distribution shifts, enabling practical use of deep learning models for biomedical images.
","absKo":"Biomedical imaging data는 질병과 약물 효과 같은 매우 중요한 속성을 예측하는 deep learning model에 막대한 잠재력을 제공한다. 그러나 피할 수 없는 기술적 조건의 변화는 batch effect를 유발한다. 이는 관심 있는 어떤 biological signal 때문이 아닌, 샘플 집단 간의 변동을 의미한다. Batch effect는 deep learning model의 generalization 능력을 크게 저해하여 실제 세계에서의 실용적 사용을 어렵게 만든다. 이를 완화하기 위해 Unsupervised Domain Adaptation(UDA) 방법이 제안되었지만, 이들은 대체로 데이터가 하나의 source domain과 하나의 target domain으로만 구성된다고 가정하는 반면, biological dataset은 학습 시점과 추론 시점 모두에서 다수의 domain으로 구성된다. Batch Normalization 기반 test-time 및 meta-learning adaptation 방법은 domain alignment를 위한 유망한 메커니즘을 제공하지만, 우리는 기존 접근법이 작은 target batch size와 label shift라는 일반적인 추론 시나리오에서 성능 저하를 보임을 보여준다. 우리는 biological dataset의 모든 experimental batch에 일관되게 존재하는 negative control sample을 adaptation을 위한 안정적인 context로 활용하여 이러한 한계를 해결한다. 우리는 학습과 추론 모두에서 control을 사용해 domain statistics를 안정화하는 meta-learning BN adaptation 방법인 CS-ARM-BN을 제안한다. 우리는 drug discovery의 핵심 과제인 Mechanism-Of-Action(MoA) classification에 대해 대규모 JUMP-CP imaging dataset에서 일련의 실험을 수행한다. 실험 결과 CS-ARM-BN이 batch size와 class distribution shift에 대한 강인성을 상당히 향상시켜, biomedical image를 위한 deep learning model의 실용적 사용을 가능하게 함을 보인다.
"},{"id":"62922","en":"SurvDiff: A Diffusion Model for Generating Synthetic Data in Survival Analysis","ko":"SurvDiff: 생존 분석용 합성 데이터 생성 Diffusion Model","authors":"Marie Brockschmidt, Maresa Schröder, Stefan Feuerriegel","pos":"#806","link":"https://openreview.net/forum?id=boeY2syj2r","abs":"Survival analysis is a cornerstone of clinical research by modeling time-to-event outcomes such as metastasis, disease relapse, or patient death. Unlike standard tabular data, survival data often come with incomplete event information due to dropout, or loss to follow-up. This poses unique challenges for synthetic data generation, where it is crucial for clinical research to faithfully reproduce both the event-time distribution and the censoring mechanism. In this paper, we propose SurvDiff, an end-to-end diffusion model specifically designed for generating synthetic data in survival analysis. SurvDiff is tailored to capture the data-generating mechanism by jointly generating mixed-type covariates, event times, and right-censoring, guided by a survival-tailored loss function. The loss encodes the time-to-event structure and directly optimizes for downstream survival tasks, which ensures that SurvDiff (i) reproduces realistic event-time distributions and (ii) preserves the censoring mechanism. Across multiple datasets, we show that SurvDiff consistently outperforms state-of-the-art generative baselines in both distributional fidelity and survival model evaluation metrics across multiple medical datasets. To the best of our knowledge, SurvDiff is the first end-to-end diffusion model explicitly designed for generating synthetic survival data.
","absKo":"Survival analysis는 metastasis, disease relapse, patient death와 같은 time-to-event outcome을 모델링하는 clinical research의 핵심이다. 표준 tabular data와 달리 survival data는 dropout 또는 loss to follow-up으로 인해 event information이 불완전한 경우가 많다. 이는 synthetic data generation에 독특한 도전을 제기하며, clinical research를 위해서는 event-time distribution과 censoring mechanism을 모두 충실하게 재현하는 것이 중요하다. 본 논문에서는 survival analysis를 위한 synthetic data 생성을 위해 특별히 설계된 end-to-end diffusion model인 SurvDiff를 제안한다. SurvDiff는 survival-tailored loss function의 지도를 받아 mixed-type covariate, event time, right-censoring을 공동으로 생성함으로써 data-generating mechanism을 포착하도록 맞춤화되어 있다. 이 loss는 time-to-event 구조를 인코딩하고 downstream survival task를 직접 최적화하여, SurvDiff가 (i) 현실적인 event-time distribution을 재현하고 (ii) censoring mechanism을 보존하도록 보장한다. 여러 데이터셋에 걸쳐, 우리는 SurvDiff가 여러 medical dataset에서 distributional fidelity와 survival model 평가 지표 모두에서 state-of-the-art generative baseline을 일관되게 능가함을 보인다. 우리가 아는 한, SurvDiff는 synthetic survival data 생성을 위해 명시적으로 설계된 최초의 end-to-end diffusion model이다."},{"id":"64928","en":"Time-Conditioned Foreseeing: An EHR-Specific Foundation Model for Irregular Dynamics and Calendrical Time","ko":"Time-Conditioned Foreseeing: 불규칙 동역학과 달력 시간을 위한 EHR 특화 Foundation Model","authors":"Bong Gyun Kang, JUNYONG AHN, Hyeongrok Han, Sungroh Yoon","pos":"#808","link":"https://openreview.net/forum?id=IalpB5Mzaz","abs":"Electronic Health Records (EHRs) possess unique characteristics distinct from natural language, yet existing EHR foundation models often rely on suboptimal NLP-based approaches. We propose a pretraining method tailored to EHRs' distinct features. First, we introduce Pathology-Focused Binning, a density-based quantization strategy that prioritizes clinically significant numerical ranges over usual values. Second, to jointly capture both the exact timing of clinical events and the relative intervals between them, we propose Dual-Calendar Rotary Positional Embedding (RoPE), which encodes absolute and relative temporal signals. Third, we introduce the Time-Conditioned Foreseeing (TCF) objective, aligning with clinical treatment planning to forecast events across multiple temporal horizons by explicitly modeling event timing. Our approach establishes a temporal generative EHR model that outperforms existing foundation models on nine diverse downstream tasks—achieving up to a 48% improvement in AUPRC—and enables the generation of realistic, temporally consistent patient trajectories.
","absKo":"Electronic Health Records (EHRs)는 자연어와 구별되는 고유한 특성을 지니지만, 기존 EHR foundation model은 종종 suboptimal NLP-based 접근법에 의존한다. 우리는 EHR의 뚜렷한 특성에 맞춘 pretraining 방법을 제안한다. 첫째, 우리는 임상적으로 중요한 수치 범위를 일반적인 값보다 우선시하는 density-based quantization 전략인 Pathology-Focused Binning을 도입한다. 둘째, 임상 사건의 정확한 시점과 사건 간의 상대적 간격을 함께 포착하기 위해, 절대적 시간 신호와 상대적 시간 신호를 모두 인코딩하는 Dual-Calendar Rotary Positional Embedding (RoPE)을 제안한다. 셋째, 우리는 임상 치료 계획과 정렬되는 Time-Conditioned Foreseeing (TCF) objective를 도입하여, 사건 시점을 명시적으로 모델링함으로써 여러 시간 지평에 걸친 사건을 예측한다. 우리의 접근법은 9개의 다양한 downstream task에서 기존 foundation model을 능가하는 temporal generative EHR model을 확립하며, AUPRC에서 최대 48% 향상을 달성하고, 현실적이며 시간적으로 일관된 환자 trajectory 생성을 가능하게 한다.
"},{"id":"66228","en":"What Makes a Good Representation for Single-Cell Perturbation Prediction?","ko":"단일 세포 섭동 예측을 위한 좋은 표현이란 무엇인가?","authors":"Wenkang Jiang, Yuhang Liu, Yichao Cai, Erdun Gao, Jiayi Dong, Ehsan Abbasnejad, Lina Yao, Javen Qinfeng Shi","pos":"#809","link":"https://openreview.net/forum?id=5cLRC1hrTP","abs":"Single-cell perturbation modeling is fundamental for understanding and predicting cellular responses to genetic perturbations. However, existing approaches, from causal representation learning to foundation models, often struggle with an overlooked challenge: gene expression is dominated by perturbation-invariant information, while perturbation-specific signals are intrinsically sparse. As a result, learned representations either entangle invariant and perturbation-specific information, leading to spurious and non-generalizable predictors, or suppress perturbation-specific signals altogether, rendering them ineffective for prediction. To address this, we propose PerturbedVAE, a general framework designed to resolve this signal imbalance. The framework explicitly separates perturbation-specific information from dominant invariant structure and recovers causal representations to effectively utilize such information for prediction. We further provide an identifiability analysis that characterizes the conditions under which sparse perturbation effects can be reliably recovered, thereby clarifying how the framework can be concretely specified under such conditions. Empirically, PerturbedVAE achieves state-of-the-art performance on a widely used benchmark across multiple evaluation settings, yielding significant gains on out-of-distribution combinatorial predictions and uncovering interpretable perturbation-response programs.
","absKo":"Single-cell perturbation modeling은 유전적 perturbation에 대한 세포 반응을 이해하고 예측하는 데 근본적이다. 그러나 causal representation learning부터 foundation model에 이르기까지 기존 접근법은 종종 간과된 한 가지 과제에서 어려움을 겪는다. 즉, gene expression은 perturbation-invariant 정보가 지배하는 반면 perturbation-specific 신호는 본질적으로 희소하다는 점이다. 그 결과, 학습된 표현은 invariant 정보와 perturbation-specific 정보를 서로 얽히게 만들어 허위적이고 일반화되지 않는 predictor를 낳거나, perturbation-specific 신호를 아예 억제하여 예측에 무용하게 만든다. 이를 해결하기 위해 우리는 이러한 signal imbalance를 풀도록 설계된 일반적 프레임워크 PerturbedVAE를 제안한다. 이 프레임워크는 perturbation-specific 정보를 지배적인 invariant 구조로부터 명시적으로 분리하고, 그러한 정보를 예측에 효과적으로 활용할 수 있도록 causal representation을 복원한다. 또한 희소한 perturbation 효과를 신뢰성 있게 복원할 수 있는 조건을 특징짓는 identifiability analysis를 제공하여, 이러한 조건하에서 프레임워크를 어떻게 구체화할 수 있는지 명확히 한다. 실험적으로 PerturbedVAE는 널리 사용되는 benchmark에서 여러 evaluation setting에 걸쳐 state-of-the-art 성능을 달성하며, out-of-distribution combinatorial prediction에서 큰 향상을 보이고 해석 가능한 perturbation-response program을 밝혀낸다.
"},{"id":"61521","en":"scDEBART: Predicting in silico Single-Cell Perturbation Responses via Large-Scale Differential Expression Learning","ko":"scDEBART: 대규모 Differential Expression Learning을 통한 in silico Single-Cell Perturbation Response 예측","authors":"Jieun Sung, Wankyu Kim","pos":"#810","link":"https://openreview.net/forum?id=pJyidZg93y","abs":"Single-cell foundation models trained on millions of cells can learn gene expression patterns across diverse contexts. However, for predicting genetic perturbation effects they often underperform simple regression models. We hypothesize two potential limitations: targets defined on dropout-prone absolute expression, and pretraining focused on reconstructing absolute expression within cells, which captures static co-expression patterns but may not encode how genes co-regulate in response to expression changes. We introduce $\\textbf{scDEBART}$, a foundation model pretrained to predict log fold-changes (logFC) conditioned on basal expression, thereby learning how gene sets co-vary across basal states at scale. To obtain reliable estimates of expression change under technical sparsity, we compute logFC from scVI-denoised expression and restrict pretraining to genes with robust detection. Pretrained on 6.28 million expression-change profiles from 66.6 million human cells and fine-tuned on five Perturb-seq datasets, scDEBART achieves mean enrichment factor (EF) of 11.96, 4--7$\\times$ higher than scGPT and GEARS (mean EF 1.74--2.99), and 42.8\\% top-1 accuracy for reverse perturbation identification compared to near-zero accuracy for prior models. In cross-modal transfer to drug perturbations (SCIPLEX), the model shows dose-dependent enrichment (EF 2.03--4.31), suggesting partial transfer of learned regulatory patterns across modalities. Overall, these results indicate that large-scale pretraining on scVI-stabilized expression-change profiles provides a useful inductive bias for perturbation prediction.","absKo":"수백만 개의 세포로 학습된 single-cell foundation model은 다양한 맥락에서 gene expression pattern을 학습할 수 있다. 그러나 genetic perturbation effect를 예측할 때는 단순한 regression model보다 성능이 떨어지는 경우가 많다. 우리는 두 가지 잠재적 한계를 가정한다. 하나는 dropout에 취약한 absolute expression을 타깃으로 한다는 점이고, 다른 하나는 세포 내 absolute expression을 복원하는 데 초점을 둔 pretraining으로 인해 정적인 co-expression pattern은 포착하지만, expression 변화에 대한 반응으로 gene이 어떻게 co-regulate되는지는 인코딩하지 못할 수 있다는 점이다. 우리는 basal expression을 조건으로 log fold-changes (logFC)를 예측하도록 pretrained된 foundation model인 $\\textbf{scDEBART}$를 제안하며, 이를 통해 scale에서 basal state 전반에 걸쳐 gene set이 어떻게 함께 변하는지를 학습한다. 기술적 sparsity 하에서 신뢰할 수 있는 expression change 추정을 얻기 위해 scVI-denoised expression으로부터 logFC를 계산하고, 강건하게 검출되는 gene에 대해서만 pretraining을 제한한다. 66.6 million human cells에서 얻은 6.28 million expression-change profile로 pretraining하고 다섯 개 Perturb-seq dataset에서 fine-tuning한 scDEBART는 mean enrichment factor (EF) 11.96을 달성했으며, scGPT와 GEARS의 mean EF 1.74--2.99보다 4--7$\\times$ 높았고, reverse perturbation identification에서 prior model이 거의 0에 가까운 정확도를 보인 것과 달리 top-1 accuracy 42.8\\%를 기록했다. SCIPLEX에서 drug perturbation으로의 cross-modal transfer에서는 dose-dependent enrichment (EF 2.03--4.31)을 보여, 학습된 regulatory pattern의 일부가 modality를 넘어 전이될 수 있음을 시사한다. 전반적으로, 이러한 결과는 scVI로 안정화된 expression-change profile에 대한 대규모 pretraining이 perturbation prediction에 유용한 inductive bias를 제공함을 보여준다."},{"id":"62159","en":"Plug-and-Play Diffusion Meets ADMM: Dual-Variable Coupling for Robust Medical Image Reconstruction","ko":"Plug-and-Play Diffusion과 ADMM의 만남: 강건한 의료 영상 재구성을 위한 이중 변수 결합","authors":"Chenhe Du, Xuanyu Tian, Qing Wu, Muyu Liu, Jingyi Yu, Hongjiang Wei, Yuyao Zhang","pos":"#900","link":"https://openreview.net/forum?id=jEBkuuETjr","abs":"Plug-and-Play diffusion prior (PnPDP) frameworks have emerged as a powerful paradigm for solving imaging inverse problems by treating pretrained generative models as modular priors. However, we identify a critical flaw in prevailing PnP solvers (e.g., based on HQS or Proximal Gradient): they function as memoryless operators, updating estimates solely based on instantaneous gradients. This lack of historical tracking inevitably leads to non-vanishing steady-state bias, where the reconstruction fails to strictly satisfy physical measurements under heavy corruption. To resolve this, we propose Dual-Coupled PnP Diffusion, which restores the classical dual variable to provide integral feedback, theoretically guaranteeing asymptotic convergence to the exact data manifold. However, this rigorous geometric coupling introduces a secondary challenge: the accumulated dual residuals exhibit spectrally colored, structured artifacts that violate the Additive White Gaussian Noise (AWGN) assumption of diffusion priors, causing severe hallucinations. To bridge this gap, we introduce Spectral Homogenization (SH), a frequency-domain adaptation mechanism that modulates these structured residuals into statistically compliant pseudo-AWGN inputs. This effectively aligns the solver's rigorous optimization trajectory with the denoiser's valid statistical manifold. Extensive experiments on CT and MRI reconstruction demonstrate that our approach resolves the bias-hallucination trade-off, achieving state-of-the-art fidelity with significantly accelerated convergence.
","absKo":"Plug-and-Play diffusion prior (PnPDP) framework는 pretrained generative model을 modular prior로 취급함으로써 imaging inverse problem을 푸는 강력한 paradigm으로 부상했다. 그러나 우리는 널리 쓰이는 PnP solver들(HQS나 Proximal Gradient 기반 등)에서 중대한 결함을 확인했다. 이들은 memoryless operator로 동작하여, 순간적인 gradient에만 기반해 estimate를 갱신한다. 이러한 역사 추적의 부재는 필연적으로 non-vanishing steady-state bias로 이어지며, 그 결과 심한 corruption 하에서는 복원이 물리적 측정을 엄격히 만족하지 못한다. 이를 해결하기 위해, 우리는 Dual-Coupled PnP Diffusion을 제안한다. 이는 고전적인 dual variable을 복원하여 integral feedback를 제공하고, 이론적으로 정확한 data manifold로의 asymptotic convergence를 보장한다. 그러나 이 엄밀한 geometric coupling은 2차적 문제를 낳는다. 누적된 dual residual이 spectrally colored된 구조적 artifact를 보이며, 이는 diffusion prior의 Additive White Gaussian Noise (AWGN) 가정을 위반하고 심각한 hallucination을 유발한다. 이 간극을 메우기 위해, 우리는 Spectral Homogenization (SH)을 도입한다. 이는 이러한 구조화된 residual을 통계적으로 적합한 pseudo-AWGN 입력으로 변조하는 frequency-domain adaptation mechanism이다. 이를 통해 solver의 엄밀한 optimization trajectory와 denoiser의 유효한 statistical manifold가 효과적으로 정렬된다. CT와 MRI reconstruction에 대한 광범위한 실험은 우리의 접근법이 bias-hallucination trade-off를 해결하며, 크게 가속된 convergence와 함께 state-of-the-art fidelity를 달성함을 보여준다.
"},{"id":"65654","en":"On Revisiting Entropy for Identifying Mislabeled Medical Images","ko":"오라벨 의료 영상 식별을 위한 엔트로피 재조명","authors":"Chunlei Li, Zixuan Zheng, Yilei Shi, Guanglu Dong, Pengfei Li, Jingliang Hu, Xiao Zhu, Lichao Mou","pos":"#901","link":"https://openreview.net/forum?id=BUxrIaf7Zc","abs":"Mislabeled samples in training datasets severely degrade the performance of deep networks, as overparameterized models tend to memorize erroneous labels. We address this challenge by proposing a novel approach for mislabeled data detection that leverages training dynamics. Our method is grounded in the key observation that correctly labeled samples exhibit consistent entropy decrease during training, while mislabeled samples maintain relatively high entropy throughout the training process. Building on this insight, we introduce a signed entropy integral (SEI) statistic that captures both the magnitude and temporal trend of prediction entropy across training epochs. SEI is broadly applicable to classification networks and demonstrates particular effectiveness when integrated with contrastive language-image pretraining (CLIP) architectures. Through extensive experiments on three medical imaging datasets---a domain particularly susceptible to labeling errors due to diagnostic complexity---spanning diverse modalities and pathologies, we demonstrate that SEI achieves state-of-the-art performance in mislabeled data identification, outperforming existing methods while maintaining computational efficiency and implementation simplicity.
","absKo":"학습 데이터셋의 mislabeled sample은 deep network의 성능을 심각하게 저해하는데, overparameterized model이 잘못된 label을 암기하는 경향이 있기 때문이다. 우리는 training dynamics를 활용한 mislabeled data detection을 위한 새로운 접근법을 제안하여 이 문제를 다룬다. 우리의 방법은 올바르게 label된 sample은 training 동안 일관된 entropy 감소를 보이는 반면, mislabeled sample은 training 과정 전반에 걸쳐 상대적으로 높은 entropy를 유지한다는 핵심 관찰에 기반한다. 이 통찰을 바탕으로, 우리는 training epoch 전반에 걸친 prediction entropy의 크기와 시간적 추세를 모두 포착하는 signed entropy integral (SEI) 통계를 도입한다. SEI는 classification network 전반에 폭넓게 적용 가능하며, 특히 contrastive language-image pretraining (CLIP) architecture와 통합될 때 탁월한 효과를 보인다. 진단의 복잡성으로 인해 labeling error에 특히 취약한 도메인인 의료 영상 분야의 세 가지 데이터셋에 걸친 다양한 modality와 pathology를 대상으로 한 광범위한 실험을 통해, 우리는 SEI가 mislabeled data identification에서 state-of-the-art 성능을 달성하며, 계산 효율성과 구현 단순성을 유지하면서 기존 방법들을 능가함을 보인다.
"},{"id":"62406","en":"No Data? No Problem: Robust Vision-Tabular Learning with Missing Values","ko":"No Data? No Problem: 결측값이 있는 경우의 강건한 Vision-Tabular Learning","authors":"Marta Hasny, Laura Daza, Keno Bressem, Maxime Di Folco, Julia Schnabel","pos":"#902","link":"https://openreview.net/forum?id=guBK9kwmEL","abs":"Large-scale medical biobanks provide imaging data complemented by extensive tabular information, such as clinical measurements or demographics. However, this abundance of tabular attributes does not reflect real-world datasets, where only a subset of attributes may be available. This discrepancy calls for methods that remain robust to missing values at inference. To address this challenge, we propose RoVTL (Robust Vision-Tabular Learning), a framework designed to handle any level of tabular data availability, from 0% to 100%. RoVTL comprises two key stages: contrastive pretraining, where we introduce tabular attribute missingness as data augmentation to promote robustness, and downstream task tuning, where tabular missingness is complemented by a novel Tabular More vs. Fewer loss that ranks performance based on the amount of available tabular data. Combined with gated-cross attention fusion module, our tuning approach enables consistent performance across all tabular data completeness scenarios. We evaluate RoVTL on cardiac MRI scans from the UK Biobank, demonstrating superior robustness to missing tabular data compared to prior methods. Furthermore, RoVTL successfully generalizes to an external cardiac MRI dataset for multimodal disease classification, and extends to the natural images domain, achieving robust performance on a car advertisements dataset. Model weights and code will be released.
","absKo":"대규모 medical biobank는 clinical measurement나 demographic information과 같은 방대한 tabular information이 결합된 imaging data를 제공한다. 그러나 이러한 풍부한 tabular attribute는 실제 데이터셋을 반영하지 못하며, 실제로는 일부 attribute만 이용 가능한 경우가 많다. 이 불일치는 inference 시 missing value에 robust한 방법의 필요성을 제기한다. 이러한 문제를 해결하기 위해, 우리는 tabular data availability가 0%에서 100%까지 어떤 수준이든 처리할 수 있도록 설계된 framework인 RoVTL (Robust Vision-Tabular Learning)을 제안한다. RoVTL은 두 개의 핵심 stage로 구성된다. 첫째는 contrastive pretraining으로, tabular attribute missingness를 data augmentation으로 도입하여 robustness를 높인다. 둘째는 downstream task tuning으로, 여기서 tabular missingness는 사용 가능한 tabular data의 양에 따라 성능을 순위화하는 새로운 Tabular More vs. Fewer loss로 보완된다. 여기에 gated-cross attention fusion module을 결합함으로써, 우리의 tuning approach는 모든 tabular data completeness scenario에서 일관된 성능을 가능하게 한다. 우리는 UK Biobank의 cardiac MRI scan에서 RoVTL을 평가하여, 기존 방법보다 missing tabular data에 대해 더 뛰어난 robustness를 보임을 입증한다. 더 나아가 RoVTL은 multimodal disease classification을 위한 외부 cardiac MRI dataset으로도 성공적으로 일반화되며, 자연 이미지 영역까지 확장되어 car advertisements dataset에서 robust한 성능을 달성한다. Model weight와 code는 공개될 예정이다.
"},{"id":"65964","en":"Modeling temporal scRNA-seq data with latent Gaussian process and optimal transport","ko":"잠재 Gaussian Process와 최적 수송을 활용한 시간적 scRNA-seq 데이터 모델링","authors":"Mehmet Yigit Balik, Harri Lähdesmäki","pos":"#903","link":"https://openreview.net/forum?id=8RE5i7g4uB","abs":"Single-cell RNA sequencing provides insights into gene expression at single-cell resolution, yet inferring temporal processes from these static snapshot measurements remains a fundamental challenge. Current approaches utilizing neural differential equations and flows are sensitive to overfitting and lack careful considerations of biological variability. In this work, we propose a generative framework that models population trends using a latent heteroscedastic Gaussian process (GP) approximated by Hilbert space methods. To address the absence of genuine cell trajectories, we leverage an optimal transport (OT) objective that aligns generated and observed population distributions. Our method explicitly captures biological heterogeneity by incorporating cell-specific latent time and cell type conditioning to disentangle temporal asynchrony and trajectories to different cell types. We demonstrate state-of-the-art performance on complex interpolation and extrapolation benchmarks and introduce a novel gradient-based strategy for inferring perturbation trajectories.
","absKo":"Single-cell RNA sequencing은 single-cell resolution에서 gene expression에 대한 통찰을 제공하지만, 이러한 static snapshot 측정으로부터 temporal process를 추론하는 것은 여전히 근본적인 과제이다. neural differential equation과 flow를 활용하는 현재 접근법은 overfitting에 민감하고 biological variability에 대한 세심한 고려가 부족하다. 본 연구에서는 Hilbert space methods로 근사한 latent heteroscedastic Gaussian process (GP)를 사용하여 population trend를 모델링하는 generative framework를 제안한다. 실제 cell trajectory의 부재를 해결하기 위해, 생성된 population distribution과 관측된 population distribution을 정렬하는 optimal transport (OT) objective를 활용한다. 우리의 방법은 cell-specific latent time과 cell type conditioning을 통합하여 biological heterogeneity를 명시적으로 포착하고, temporal asynchrony와 서로 다른 cell type으로의 trajectory를 분리한다. 우리는 복잡한 interpolation 및 extrapolation benchmark에서 state-of-the-art 성능을 입증하고, perturbation trajectory를 추론하기 위한 새로운 gradient-based strategy를 제안한다.
"},{"id":"61396","en":"Modeling Attributional Style at Scale: A Dataset and Analysis for Psychological Attribution Assessment and Reframing","ko":"대규모 Attributional Style 모델링: Psychological Attribution Assessment 및 Reframing을 위한 데이터셋과 분석","authors":"Qiang Zhou, Hanzhen Zhu, Pan Wang, Rui Tu, Huaizhi Qu, Zhuoran Wang, Xin Hu, Lei Li, Tianlong Chen, Jingtong Hu","pos":"#904","link":"https://openreview.net/forum?id=qgyEEb6wkh","abs":"According to the reformulated version of the Learned Helplessness theory, an individual who experiences uncontrollable negative events may subsequently develop a negative attributional style, thereby exhibiting greater susceptibility to depressive symptoms. This depressogenic attributional style not only contributes to depressive symptoms but also represents a malleable target for cognitive therapy. Despite its theoretical and practical significance, computational research on attributional cognition remains underexplored due to the lack of large-scale, high-quality datasets and robust evaluation protocols. In this work, we introduce the Attributional Style Transfer Dataset (ASTD) along with dedicated evaluation metrics, the first benchmark designed to model, assess, and reframe attributional explanations at scale. Constructed via a Prevent–Filter–Validate pipeline that integrates LLM-based generation with specialist validation, ASTD contains 42,000 real-world events paired with psychologically grounded attributions spanning seven styles. Using this dataset, we address two key challenges: (1) scalable assessment of attributional style via both supervised classifiers and zero/few-shot LLMs; and (2)attributional reframing and evaluation, where we propose automatic evaluation metrics to quantify psychological validity. Furthermore, we leverage our proposed metrics to construct a preference dataset, fine-tuning LLMs with Direct Preference Optimization (DPO) and achieving substantial gains in reframing quality. Together, our dataset, metrics, and methodology offer a new paradigm for understanding and modeling attributional style, with direct implications for scalable and adaptive mental health interventions.
","absKo":"Learned Helplessness 이론의 재정식화된 버전에 따르면, 통제할 수 없는 부정적 사건을 경험한 개인은 이후 부정적 attributional style을 형성하여 depressive symptom에 더 취약해질 수 있다. 이러한 depressogenic attributional style은 depressive symptom에 기여할 뿐 아니라, cognitive therapy의 변화 가능한 target이기도 하다. 이론적·실용적 중요성에도 불구하고, attributional cognition에 대한 computational research는 대규모의 고품질 데이터셋과 견고한 평가 프로토콜의 부족으로 인해 충분히 탐구되지 못했다. 본 연구에서는 Attributional Style Transfer Dataset (ASTD)과 전용 평가 지표를 소개하며, 이는 attributional explanation을 대규모로 모델링, 평가, 재구성하기 위해 설계된 첫 benchmark이다. ASTD는 LLM 기반 생성과 specialist validation을 통합한 Prevent–Filter–Validate pipeline을 통해 구축되었으며, 7가지 style에 걸친 심리학적으로 타당한 attribution과 짝지어진 42,000개의 실세계 사건을 포함한다. 이 데이터셋을 사용하여 우리는 두 가지 핵심 과제를 다룬다: (1) supervised classifier와 zero/few-shot LLM을 통한 attributional style의 확장 가능한 평가, 그리고 (2) attributional reframing과 평가로, 여기서 우리는 psychological validity를 정량화하는 자동 평가 지표를 제안한다. 더 나아가, 제안한 지표를 활용해 preference dataset을 구성하고 Direct Preference Optimization (DPO)으로 LLM을 fine-tuning하여 reframing quality에서 상당한 향상을 달성한다. 종합하면, 우리의 데이터셋, 지표, 방법론은 attributional style을 이해하고 모델링하는 새로운 패러다임을 제공하며, 확장 가능하고 적응적인 mental health intervention에 직접적인 함의를 갖는다.
"},{"id":"65871","en":"Marrying Generative Model of Healthcare Events with Digital Twin of Human-Environment Interaction for Disease Reasoning","ko":"질병 추론을 위해 의료 사건 생성 모델과 인간-환경 상호작용의 디지털 트윈 결합하기","authors":"Ziquan Wei, Tingting Dan, Guorong Wu","pos":"#905","link":"https://openreview.net/forum?id=9GKURFWGeh","abs":"Despite the central role of sensor-derived measurements such as imaging traits and plasma biomarkers in biomedical research and clinical practice, existing generative models for disease prediction largely depend on event-level representations from hospital and registry data. Given the multi-factorial nature of human disease, the absence of human-environment interaction modeling limits the capacity for personalized disease modeling and clinical decision support. To address this limitation, we propose a generative model with human-environment interaction for \\textit{in silico} modeling of disease reasoning, a conditioned latent diffusion framework that establishes the connection between multi-organ sensor data with tokenized healthcare events. Specifically, we introduce a novel geometric diffusion model to characterize the temporal evolution of complex data representation such as brain networks (region-to-region connectivity encoded in a graph), in parallel with diffusion models for tabular data from other organ systems. Together, we integrate the generative model with digitalized human-environment interaction (coined DiffDT) for simulated intervention and reasoning of future disease trajectories. We conduct extensive experiments on the UK Biobank (UKB) dataset, which contains organ-specific imaging traits, including brain (44,834), heart (23,987), liver (28,722), and kidney (32,155), along with nearly 500k medical history sequences (age range: 25$\\sim$89 years). Our DiffDT achieves significant improvements over state-of-the-art human disease autoregressive models and imaging trait generative baselines.","absKo":"이미징 특성 및 plasma biomarker와 같은 센서 유래 측정값이 생의학 연구와 임상 실무에서 중심적 역할을 함에도 불구하고, 질병 예측을 위한 기존 generative model은 주로 병원 및 registry data의 event-level representation에 의존한다. 인간 질병의 다요인적 특성을 고려할 때, 인간-환경 상호작용 모델링의 부재는 개인화된 질병 모델링과 임상 의사결정 지원의 역량을 제한한다. 이러한 한계를 해결하기 위해 우리는 \\textit{in silico} 질병 추론 모델링을 위한 인간-환경 상호작용 generative model을 제안한다. 이는 multi-organ sensor data와 tokenized healthcare event 사이의 연결을 구축하는 conditioned latent diffusion framework이다. 구체적으로, 우리는 brain network(그래프에 인코딩된 region-to-region connectivity와 같은)처럼 복잡한 데이터 표현의 시간적 진화를 특징짓는 새로운 geometric diffusion model을 도입하고, 다른 장기 시스템의 tabular data에 대한 diffusion model과 병렬로 이를 구성한다. 이를 바탕으로 우리는 시뮬레이션된 개입과 미래 질병 trajectory에 대한 추론을 위해 디지털화된 human-environment interaction과 generative model을 통합한 DiffDT를 제안한다. 우리는 brain (44,834), heart (23,987), liver (28,722), kidney (32,155)를 포함한 장기별 imaging trait과 약 50만 개의 medical history sequence(연령 범위: 25$\\sim$89세)를 포함하는 UK Biobank(UKB) 데이터셋에서 광범위한 실험을 수행한다. DiffDT는 state-of-the-art human disease autoregressive model 및 imaging trait generative baseline에 비해 유의미한 향상을 달성한다."},{"id":"65341","en":"Listening Through the Noise: Cauchy-Driven Diffusion Bridges for Robust Gastrointestinal Auscultation and Clinical Benchmarking","ko":"노이즈를 뚫고 듣기: 강건한 위장관 청진 및 임상 벤치마킹을 위한 Cauchy 기반 Diffusion Bridge","authors":"Dian Ding, Liren Dong, Yu Lu, Juntao Zhou, Ran Wang, Peng Li, Zhenyi Jia, Guangtao Xue","pos":"#906","link":"https://openreview.net/forum?id=EYAfw6czcC","abs":"Gastrointestinal (GI) motility assessment via bowel sounds (BS) offers a non-invasive alternative to resource-intensive clinical standards. However, the diagnostic utility of BS is often compromised by its spectral overlap with non-stationary speech interference. While generative models have advanced signal restoration, traditional Gaussian-based diffusion frameworks struggle with the impulsive, heavy-tailed nature of real-world clinical noise. In this paper, we propose a novel Cauchy-driven Diffusion Bridge framework to isolate high-fidelity bowel sounds from complex interference. Our contributions are three-fold: (1) We introduce ClinBS, a large-scale clinical dataset (over 25 hours) containing rare pathological transients verified by experts; (2) We mathematically formulate a Cauchy bridge driver, deriving closed-form expressions for the score and density to better model heavy-tailed perturbations; and (3) We implement an efficient sampling procedure via Gaussian scale-mixture reparameterization. Extensive experiments show our framework achieves state-of-the-art performance, outperforming baselines by 13.4%–49.8% across core metrics and elevating abnormal BS recognition accuracy to 88.01%. These results demonstrate the system's potential for robust clinical GI monitoring and diagnosis.
","absKo":"장음(bowel sounds, BS)을 통한 gastrointestinal(GI) motility 평가는 자원이 많이 드는 임상 표준에 대한 비침습적 대안이다. 그러나 BS의 진단적 유용성은 비정상적인 speech interference와의 spectral overlap 때문에 자주 저하된다. 생성 모델이 signal restoration을 발전시켜 왔지만, 전통적인 Gaussian 기반 diffusion framework는 실제 임상 noise의 충동적이고 heavy-tailed한 특성을 다루는 데 어려움을 겪는다. 본 논문에서는 복잡한 interference로부터 고충실도 장음을 분리하기 위한 새로운 Cauchy-driven Diffusion Bridge framework를 제안한다. 우리의 기여는 세 가지이다. (1) 전문가가 검증한 희귀한 병리적 transient를 포함하는 대규모 임상 dataset(25시간 이상)인 ClinBS를 소개한다. (2) Cauchy bridge driver를 수학적으로 정식화하여 score와 density의 closed-form expression을 유도함으로써 heavy-tailed perturbation을 더 잘 모델링한다. (3) Gaussian scale-mixture reparameterization을 통해 효율적인 sampling procedure를 구현한다. 광범위한 실험은 우리의 framework가 state-of-the-art 성능을 달성하며, 핵심 metric 전반에서 baseline을 13.4%–49.8% 능가하고 abnormal BS recognition accuracy를 88.01%까지 끌어올림을 보여준다. 이러한 결과는 강건한 임상 GI 모니터링과 진단을 위한 시스템의 잠재력을 입증한다.
"},{"id":"63076","en":"Learning Adaptive Perturbation-Conditioned Contexts for Robust Transcriptional Response Prediction","ko":"견고한 전사 반응 예측을 위한 적응형 섭동 조건부 문맥 학습","authors":"Yinhua Piao, Hyomin Kim, SEONGHWAN KIM, Yunhak Oh, Junhyeok Jeon, Sangyeon Hwang, Jaechang Lim, Woo Youn Kim, Chanyoung Park, Sungsoo Ahn","pos":"#907","link":"https://openreview.net/forum?id=aJVkQAd7tv","abs":"Predicting high-dimensional transcriptional responses to genetic perturbations is challenging due to severe experimental noise and sparse gene-level effects. Existing methods often suffer from mean collapse, where high correlation is achieved by predicting global average expression rather than perturbation-specific responses, leading to many false positives and limited biological interpretability. Recent approaches incorporate biological knowledge graphs into perturbation models, but these graphs are typically treated as dense and static, which can propagate noise and obscure true perturbation signals. We propose AdaPert, a perturbation-conditioned framework that addresses mean collapse by explicitly modeling sparsity and biological structure. AdaPert learns perturbation-specific subgraphs from biological knowledge graphs and applies adaptive learning to separate true signals from noise. Across multiple genetic perturbation benchmarks, AdaPert consistently outperforms existing baselines and achieves substantial improvements on DEG-aware evaluation metrics, indicating more accurate recovery of perturbation-specific transcriptional changes.
","absKo":"유전적 perturbation에 대한 고차원 transcriptional response를 예측하는 것은 심각한 experimental noise와 희소한 gene-level effect로 인해 어렵다. 기존 방법은 종종 mean collapse를 겪는데, 이는 perturbation-specific response 대신 global average expression을 예측함으로써 높은 correlation을 달성하는 현상이며, 그 결과 많은 false positive와 제한적인 생물학적 해석 가능성이 발생한다. 최근 접근법은 biological knowledge graph를 perturbation model에 통합하지만, 이러한 graph는 일반적으로 dense하고 static한 것으로 취급되어 noise를 전파하고 실제 perturbation signal을 가릴 수 있다. 우리는 mean collapse를 명시적으로 modeling하는 sparsity와 biological structure를 다룸으로써 해결하는 perturbation-conditioned framework AdaPert를 제안한다. AdaPert는 biological knowledge graph로부터 perturbation-specific subgraph를 학습하고 adaptive learning을 적용하여 true signal과 noise를 분리한다. 여러 genetic perturbation benchmark 전반에서 AdaPert는 기존 baseline을 일관되게 능가하며 DEG-aware evaluation metric에서 상당한 개선을 달성해, perturbation-specific transcriptional change를 더 정확하게 복원함을 보여준다.
"},{"id":"63221","en":"How Should Transformers Represent Numeric Values in Electronic Health Records?","ko":"Transformer는 전자 건강 기록에서 수치값을 어떻게 표현해야 하는가?","authors":"Maria Elkjær Montgomery, Christian Igel, Mikkel Odgaard, Martin Sillesen, Mads Nielsen","pos":"#909","link":"https://openreview.net/forum?id=YzlscRoNUj","abs":"How do we map numeric values to representations in transformer-based sequence processing, particularly in electronic health record (EHR) data? We systematically compare discrete, continuous, and hybrid value embeddings using synthetic arithmetic tasks embedded within real-world EHR data, as well as real-world clinical prediction tasks. Our study reveals trade-offs between numeric precision, optimisation stability, and architectural flexibility. We find that representations that explicitly model value-concept interactions perform best on precision-sensitive arithmetic tasks when architectural constraints permit. Hybrid token-based approaches that retain numeric values but apply binning prior to projection provide a more robust and broadly applicable alternative, with the optimal number of bins following a simple empirically derived power-law in dataset size. Across tasks, models consistently exhibit reliable “good enough” numeric computation rather than exact arithmetic, while clinical gains from incorporating laboratory values are task-dependent. This suggests that robustness and deployability often outweigh maximal numeric precision in practice, motivating hybrid token-based approaches as a practical default.
","absKo":"transformer 기반 sequence processing, 특히 electronic health record (EHR) 데이터에서 numeric value를 representation으로 어떻게 매핑할 수 있을까? 우리는 synthetic arithmetic tasks를 real-world EHR 데이터에 삽입한 뒤, 그리고 실제 clinical prediction tasks에서도 discrete, continuous, hybrid value embedding을 체계적으로 비교한다. 우리의 연구는 numeric precision, optimisation stability, architectural flexibility 사이의 trade-off를 드러낸다. architecture 제약이 허용될 때 value-concept interaction을 명시적으로 모델링하는 representation이 precision에 민감한 arithmetic task에서 가장 좋은 성능을 보인다는 것을 발견했다. numeric value는 유지하되 projection 전에 binning을 적용하는 hybrid token-based approach는 더 robust하고 폭넓게 적용 가능한 대안을 제공하며, 최적 bin 개수는 dataset size에 따라 경험적으로 도출되는 간단한 power-law를 따른다. 모든 task에 걸쳐 model은 정확한 arithmetic보다는 일관되게 신뢰할 수 있는 “good enough” numeric computation을 보이며, laboratory value를 포함했을 때의 clinical 이득은 task에 따라 달라진다. 이는 실제 환경에서는 최대 수준의 numeric precision보다 robustness와 deployability가 더 중요한 경우가 많음을 시사하며, practical default로서 hybrid token-based approach를 뒷받침한다.
"},{"id":"61463","en":"HiST: A Hierarchical Sparse Transformer for Cross-Modal Spatial Transcriptomics Modeling","ko":"HiST: Cross-Modal Spatial Transcriptomics Modeling을 위한 Hierarchical Sparse Transformer","authors":"Weiyi Wu, Xinwen Xu, Xingjian Diao, Siting Li, Zhi Wei, Alma Andersson, Jiang Gui","pos":"#911","link":"https://openreview.net/forum?id=ptbzlHzmEv","abs":"Spatial transcriptomics (ST) links gene expression with tissue morphology but remains expensive and low-throughput, motivating surrogates that infer expression from routine histology. Whole-slide H&E-to-ST inference pairs a gigapixel image with gene measurements at a sparse, irregular set of locations, making multiscale modeling challenging without incurring dense-grid overhead or quadratic token mixing. We propose HiST, a hierarchical sparse transformer that treats measured locations as a lattice-indexed sparse field and builds a dyadic encoder--decoder directly on the active tissue footprint. HiST combines sparse window attention for local geometric correspondence with resolution-changing operators for rapid multiscale context integration. For a fixed window size, the dominant runtime and memory scale with the number of observed locations rather than the dense slide area. To mitigate slide-specific acquisition variation, HiST adds a bottlenecked global conditioning pathway via a \\emph{slide calibration token} that summarizes slide-level context and conditions local representations. On a multi-organ benchmark spanning diverse tissues and acquisition sources, HiST improves predictive performance over recent baselines while reducing runtime and peak memory.
","absKo":"Spatial transcriptomics (ST)는 gene expression과 tissue morphology를 연결하지만, 여전히 비용이 높고 처리량이 낮아 일상적인 histology로부터 expression을 추론하는 surrogate에 대한 수요를 낳는다. Whole-slide H&E-to-ST inference는 gigapixel image와 sparse하고 불규칙한 위치 집합에서의 gene measurement를 짝지어 다루므로, dense-grid overhead나 quadratic token mixing 없이 multiscale modeling을 수행하는 것이 어렵다. 우리는 measured locations를 lattice-indexed sparse field로 취급하고, active tissue footprint 위에 dyadic encoder--decoder를 직접 구성하는 hierarchical sparse transformer인 HiST를 제안한다. HiST는 local geometric correspondence를 위한 sparse window attention과 빠른 multiscale context integration을 위한 resolution-changing operator를 결합한다. 고정된 window size에서, 지배적인 runtime과 memory는 dense slide area가 아니라 관측된 location 수에 따라 스케일된다. slide-specific acquisition variation을 완화하기 위해 HiST는 slide-level context를 요약하고 local representation을 조건화하는 \\emph{slide calibration token}을 통해 bottlenecked global conditioning pathway를 추가한다. 다양한 tissue와 acquisition source를 포괄하는 multi-organ benchmark에서, HiST는 최근 baseline보다 예측 성능을 향상시키는 동시에 runtime과 peak memory를 줄인다.
"},{"id":"63655","en":"HEXST: Hexagonal Shifted-Window Transformer for Spatial Transcriptomics Gene Expression Prediction","ko":"HEXST: 공간 전사체 유전자 발현 예측을 위한 육각형 shifted-window Transformer","authors":"Keunho Byeon, Jin Tae Kwak","pos":"#912","link":"https://openreview.net/forum?id=UwPbsFk2Dh","abs":"Spatial transcriptomics offers spatially resolved gene expression profiling within tissue sections, but its cost and limited throughput hinder large-scale deployment. To extend this capability to routine practice, recent computational methods aim to infer spatial gene expression directly from ubiquitous hematoxylin and eosin-stained histology slides. However, most existing models assume Cartesian or geometry-agnostic locality, despite the hexagonal sampling of widely used spot-array platforms, and point-wise regression objectives often yield over-smoothed gene expression profiles, obscuring gene-specific spatial heterogeneity. To address these, we propose HEXST, a geometry-aligned Transformer for spatial gene expression prediction from histology. HEXST operates directly on hexagonal spot coordinates to enable efficient local-to-global contextual modeling via tailored shifted-window attention mechanism and hexagonal rotary positional encoding. To enhance gene-wise spatial contrast, HEXST complements point-wise regression with a contrast-sensitive differential objective and transcriptomic priors from a pretrained single-cell foundation model during training. Across seven spatial transcriptomics datasets, HEXST consistently outperforms state-of-the-art models, providing accurate and robust spatial gene expression predictions while preserving gene-wise contrast and spatial heterogeneity.
","absKo":"Spatial transcriptomics는 조직 절편 내에서 공간적으로 분해된 gene expression profiling을 제공하지만, 높은 비용과 제한된 처리량 때문에 대규모 배포가 어렵다. 이 기능을 일상적 실무로 확장하기 위해, 최근의 computational method들은 ubiquitous한 hematoxylin and eosin 염색 histology slide로부터 직접 spatial gene expression을 추론하려 한다. 그러나 널리 사용되는 spot-array platform의 hexagonal sampling에도 불구하고, 기존 모델의 대부분은 Cartesian 또는 geometry-agnostic locality를 가정하며, point-wise regression objective는 종종 과도하게 smooth된 gene expression profile을 산출하여 gene-specific spatial heterogeneity를 가린다. 이를 해결하기 위해, 우리는 histology로부터 spatial gene expression을 예측하는 geometry-aligned Transformer인 HEXST를 제안한다. HEXST는 hexagonal spot coordinate를 직접 사용하여, 맞춤형 shifted-window attention mechanism과 hexagonal rotary positional encoding을 통해 효율적인 local-to-global contextual modeling을 가능하게 한다. gene-wise spatial contrast를 강화하기 위해, HEXST는 point-wise regression에 더해 contrast-sensitive differential objective와 training 동안 pretrained single-cell foundation model의 transcriptomic prior를 보완적으로 활용한다. 7개의 spatial transcriptomics dataset 전반에서 HEXST는 state-of-the-art model들을 일관되게 능가하며, gene-wise contrast와 spatial heterogeneity를 보존하면서 정확하고 견고한 spatial gene expression prediction을 제공한다.
"},{"id":"60818","en":"FunCQNet: A Functional Censored Quantile Neural Network for Predicting Long-Term Post-Transplant Kidney Survival","ko":"FunCQNet: 장기 이식 후 신장 생존 예측을 위한 함수형 검열 분위수 신경망","authors":"Jiaqi Men, Hua Liu, Yiming Tang, Jinhong You, Jianghu Dong, Jiguo Cao","pos":"#913","link":"https://openreview.net/forum?id=wNL0qGb2MN","abs":"Accurate survival prediction in kidney transplantation is critical yet challenging due to the complex interplay between functional biomarkers and patient characteristics under censoring. To address this, we propose a functional censored quantile neural network (FunCQNet), a novel framework that integrates deep neural networks with a censoring-adjusted sequential quantile loss to approximate interaction-dependent coefficient functions. We further introduce a conformal inference approach to rigorously assess the significance of scalar-functional interactions, ensuring interpretability alongside predictive power. Extensive simulations demonstrate that FunCQNet robustly recovers functional effects under varying noise and censoring levels. When applied to kidney transplant data, the model yields precise multi-quantile predictions and reveals clinically significant, age-dependent interaction patterns between donor type and recipient survival.
","absKo":"kidney transplantation에서 정확한 survival prediction은 censoring 하에서 functional biomarker와 patient characteristic의 복잡한 상호작용 때문에 매우 중요하지만 어렵다. 이를 해결하기 위해, 우리는 deep neural network와 censoring-adjusted sequential quantile loss를 통합하여 interaction-dependent coefficient function을 근사하는 새로운 framework인 functional censored quantile neural network(FunCQNet)을 제안한다. 우리는 또한 scalar-functional interaction의 유의성을 엄밀하게 평가하기 위한 conformal inference 접근법을 도입하여, 예측력과 함께 해석 가능성을 보장한다. 광범위한 simulation은 FunCQNet이 다양한 noise 및 censoring 수준에서 functional effect를 견고하게 복원함을 보여 준다. kidney transplant data에 적용했을 때, 이 model은 정확한 multi-quantile prediction을 제공하고 donor type과 recipient survival 사이의 age-dependent interaction pattern에서 임상적으로 유의한 패턴을 드러낸다.
"},{"id":"63934","en":"From Token to Token Pair: Efficient Prompt Compression for Large Language Models in Clinical Prediction","ko":"토큰에서 토큰 쌍으로: 임상 예측에서 대규모 language model을 위한 효율적인 prompt 압축","authors":"Mingcheng Zhu, Zhiyao Luo, Yu Liu, Tingting Zhu","pos":"#914","link":"https://openreview.net/forum?id=SRGpmDQjJM","abs":"By processing electronic health records (EHRs) as natural language sequences, large language models (LLMs) have shown potential in clinical prediction tasks such as mortality prediction and phenotyping. However, longitudinal or highly frequent EHRs often yield excessively long token sequences that result in high computational costs and even reduced performance. Existing solutions either add modules for compression or remove less important tokens, which introduce additional inference latency or risk losing clinical information. To achieve lossless compression of token sequences without additional cost or loss of performance, we propose Medical Token-Pair Encoding (MedTPE), a layered method that extends standard tokenisation for EHR sequences. MedTPE merges frequently co-occurring medical token pairs into composite tokens, providing lossless compression while preserving the computational complexity through a dependency-aware replacement strategy. Only the embeddings of the newly introduced tokens of merely 0.5-1.0\\% of the LLM’s parameters are fine-tuned via self-supervised learning. Experiments on real-world datasets for two clinical scenarios demonstrate that MedTPE reduces input token length by up to 31% and inference latency by 34-63%, while maintaining or even improving both predictive performance and output format compliance across three LLMs and four clinical prediction tasks. Furthermore, MedTPE demonstrates robustness across different input context lengths and generalisability to scientific and financial domains.
","absKo":"전자건강기록(EHR)을 자연어 시퀀스로 처리함으로써, 대규모 언어 모델(LLM)은 사망률 예측과 표현형 분류(phenotyping) 같은 임상 예측 과제에서 잠재력을 보여 왔다. 그러나 장기 추적 또는 매우 빈번한 EHR은 종종 지나치게 긴 토큰 시퀀스를 생성하여 높은 계산 비용을 초래하고, 심지어 성능 저하를 일으키기도 한다. 기존 해결책은 압축 모듈을 추가하거나 중요도가 낮은 토큰을 제거하는 방식인데, 이는 추가적인 추론 지연을 유발하거나 임상 정보를 잃을 위험이 있다. 추가 비용이나 성능 손실 없이 토큰 시퀀스의 손실 없는 압축을 달성하기 위해, 우리는 EHR 시퀀스를 위한 표준 토큰화(tokenisation)를 확장하는 계층적 방법인 Medical Token-Pair Encoding(MedTPE)을 제안한다. MedTPE는 자주 함께 등장하는 의료 토큰 쌍을 결합 토큰으로 병합하여, 의존성 인식 대체 전략을 통해 계산 복잡도를 유지하면서도 손실 없는 압축을 제공한다. 새롭게 도입된 토큰의 임베딩, 즉 LLM 파라미터의 단 0.5-1.0\\%에 해당하는 부분만 자기지도 학습(self-supervised learning)을 통해 미세조정한다. 두 가지 임상 시나리오의 실제 데이터셋에 대한 실험은 MedTPE가 입력 토큰 길이를 최대 31%까지, 추론 지연을 34-63%까지 줄이면서도, 세 개의 LLM과 네 개의 임상 예측 과제 전반에서 예측 성능과 출력 형식 준수 모두를 유지하거나 오히려 향상시킨다는 것을 보여준다. 더 나아가 MedTPE는 서로 다른 입력 컨텍스트 길이 전반에서의 강건성과 과학 및 금융 도메인으로의 일반화 가능성도 입증한다.
"},{"id":"66185","en":"Flow-Based Density Ratio Estimation for Intractable Distributions with Applications in Genomics","ko":"유전체학 응용을 겸한 난해한 분포에 대한 Flow 기반 밀도비 추정","authors":"Egor Antipov, Alessandro Palma, Lorenzo Consoli, Stephan Günnemann, Andrea Dittadi, Fabian Theis","pos":"#915","link":"https://openreview.net/forum?id=5zbPdMNcl9","abs":"Estimating density ratios between pairs of intractable data distributions is a core problem in probabilistic modeling, enabling principled comparisons of sample likelihoods under different data-generating processes across conditions and covariates. While exact-likelihood models such as normalizing flows offer a promising approach to density ratio estimation, naive flow-based evaluations are computationally expensive, as they require simulating costly likelihood integrals for each distribution separately. In this work, we leverage condition-aware flow matching to derive a single dynamical formulation for tracking density ratios along generative trajectories. We demonstrate competitive performance on simulated benchmarks for closed-form ratio estimation, and show that our method supports versatile tasks in single-cell genomics data analysis, where likelihood-based comparisons of cellular states across experimental conditions enable treatment effect estimation and batch correction evaluation.
","absKo":"다루기 어려운 데이터 분포 쌍 사이의 density ratio를 추정하는 것은 확률적 모델링의 핵심 문제로, 조건과 공변량에 따라 서로 다른 데이터 생성 과정 하에서 샘플 likelihood를 원리적으로 비교할 수 있게 해 준다. normalizing flow와 같은 exact-likelihood model은 density ratio estimation에 유망한 접근을 제공하지만, 각 분포마다 비용이 큰 likelihood integral을 별도로 시뮬레이션해야 하므로 naive한 flow-based 평가는 계산 비용이 매우 크다. 본 연구에서는 condition-aware flow matching을 활용하여 생성 궤적을 따라 density ratio를 추적하는 단일 dynamical formulation을 유도한다. 우리는 closed-form ratio estimation을 위한 simulated benchmark에서 경쟁력 있는 성능을 보이며, likelihood 기반의 세포 상태 비교가 treatment effect estimation과 batch correction 평가를 가능하게 하는 single-cell genomics data analysis에서 본 방법이 다양한 작업을 지원함을 보여 준다.
"},{"id":"63230","en":"SwitchCraft: Programmatic Design of State-Switching Proteins","ko":"SwitchCraft: 상태 전환 단백질의 프로그램적 설계","authors":"Bowen Jing, Mihir Bafna, Anisha Parsan, Heyuan Ni, David Kwabi-Addo, Bryan Bryson, Adam Klivans, Bonnie Berger","pos":"#807","link":"https://openreview.net/forum?id=YtqaHnqv8c","abs":"Multistate mechanisms underlie many of the complex functions observed in natural proteins. The ability to rationally design multistate proteins would have transformative implications for many areas of biotechnology, yet lies beyond the capabilities of existing deep learning frameworks for protein design. To address this gap, we introduce SwitchCraft, a versatile and programmatic framework for designing state-switching proteins based on backpropagation through compositional design constraints parameterized by structure prediction models. In silico evaluations demonstrate success on a wide range of state-switching functional primitives, from allosteric regulation of motifs to discrimination of bound ligand identities. Using these primitives, we demonstrate an in silico strategy for de novo design of fluorescent biosensors to arbitrary small molecule analytes. These results position SwitchCraft at the inception of a powerful paradigm for higher-order functional protein design.
","absKo":"자연 단백질에서 관찰되는 많은 복잡한 기능은 multistate mechanism에 의해 뒷받침된다. multistate protein을 합리적으로 설계할 수 있다면 생명공학의 여러 영역에 변혁적 함의를 갖겠지만, 이는 단백질 설계를 위한 기존 deep learning framework의 역량을 넘어선다. 이 격차를 해소하기 위해, 우리는 structure prediction model로 parameterize된 compositional design constraint를 통한 backpropagation에 기반한, 상태 전환 protein 설계를 위한 다목적이고 programmatic한 framework인 SwitchCraft를 제안한다. in silico 평가에서는 allosteric regulation of motifs부터 결합된 ligand identity의 판별에 이르기까지, 다양한 state-switching 기능 primitive에서의 성공을 보여준다. 이러한 primitive를 사용하여, 우리는 임의의 small molecule analyte를 표적으로 하는 fluorescent biosensor의 de novo 설계를 위한 in silico 전략을 시연한다. 이 결과는 더 높은 차원의 기능성 단백질 설계를 위한 강력한 paradigm의 출발점으로 SwitchCraft를 자리매김한다.
"},{"id":"62924","en":"Interpreting Genomic Language Models using Sparse Autoencoders","ko":"Sparse Autoencoders를 통한 Genomic Language Model 해석","authors":"Akira Nair, Jaehyun Joo, Jonghyun Lee, Lina Takemaru, Yidi Huang, Manu Shivakumar, Matthew Lee, Jaesik Kim, Sokratis Apostolidis, Dokyoon Kim","pos":"#908","link":"https://openreview.net/forum?id=boBP35BB2U","abs":"Genomic language models (gLMs) achieve strong performance across diverse genomic prediction tasks, but their internal biological representations remain poorly understood. Sparse autoencoders (SAEs) have emerged as an interpretability tool in vision and natural language models, yet their applicability to gLMs remains unexplored. We present a systematic study of SAE-based interpretability for gLMs, introducing a diverse benchmark of human genomic annotations and a suite of genome-tailored interpretability metrics. Using Evo2 as a primary case study, we show that SAE features, particularly those from intermediate layers, are more interpretable than raw model embeddings across 42/55 (76\\%) of our genomic concept evaluations, with 26 of them having an F1 score greater than 0.7. We further find that interpretability depends on SAE training data properties such as evolutionary proximity and context length, with mixed-species and longer-context training improving recovery of human genomic features. Finally, we develop a graph-based representation method to construct a feature atlas that organizes semantically related genomic concepts learned by an SAE, outperforming the baseline approach of using SAE model weights. Our results establish SAEs as a powerful framework for better understanding gLMs, broadening their accessibility and utility for disease-driven genomic analysis.
","absKo":"Genomic language models (gLMs)는 다양한 genomic prediction task 전반에서 강력한 성능을 보이지만, 그 내부의 biological representation은 여전히 잘 이해되지 않고 있다. Sparse autoencoder (SAE)는 vision 및 natural language model에서 interpretability를 위한 도구로 부상했지만, gLMs에 대한 적용 가능성은 아직 탐구되지 않았다. 우리는 gLMs를 위한 SAE 기반 interpretability에 대한 체계적인 연구를 제시하며, 다양한 human genomic annotation benchmark와 genome에 특화된 interpretability metric 집합을 도입한다. 주 사례 연구로 Evo2를 사용하여, 특히 중간 layer의 SAE feature가 우리의 genomic concept 평가 42/55 (76\\%)에서 raw model embedding보다 더 interpretable하며, 그중 26개는 F1 score가 0.7을 초과함을 보인다. 또한 interpretability가 evolutionary proximity와 context length 같은 SAE training data 특성에 의존한다는 점을 확인했으며, mixed-species 및 더 긴 context로의 학습이 human genomic feature 복원 성능을 향상시킨다. 마지막으로, 우리는 SAE가 학습한 의미적으로 관련된 genomic concept를 조직하는 feature atlas를 구성하기 위해 graph 기반 representation method를 개발하였고, SAE model weight를 사용하는 baseline 접근보다 우수함을 보였다. 우리의 결과는 SAEs가 gLMs를 더 잘 이해하기 위한 강력한 framework임을 확립하며, disease-driven genomic analysis에 대한 접근성과 유용성을 넓힌다.
"},{"id":"65981","en":"Bridging the Gap in Autonomous Science: The Corpus and Benchmark for Biological Protocol Reasoning","ko":"자율 과학의 격차 해소: 생물학 프로토콜 추론을 위한 코퍼스와 벤치마크","authors":"Yuyang Liu, Liuzhenghao Lyu, Xiancheng Zhang, Jingya Wang, Li Yuan, Yonghong Tian","pos":"#511","link":"https://openreview.net/forum?id=8EZamwNqld","abs":"The realization of autonomous scientific experimentation is currently limited by LLMs' struggle to grasp the strict procedural logic and accuracy required by biological protocols. To address this fundamental challenge, we present BioProBench, a comprehensive resource for procedural reasoning in biology. BioProBench is grounded inBioProCorpus, a foundational collection of 27,000 human-written protocols. From this corpus, we systematically constructed a dataset of over 550,000 task instances, offering both a large-scale training resource and a rigorous benchmark with novel metrics. Evaluating 10 mainstream LLMs, we find that while general comprehension is high, performance drops significantly on tasks demanding deep reasoning, quantitative precision, and safety awareness. To demonstrate the value of BioProCorpus in mitigating these issues, we developed ProAgent, grounded in our corpus, ProAgent substantially advances the state-of-the-art. BioProBench provides a rigorous diagnostic benchmark and a foundational resource for developing the next generation of reliable scientific AI. Code and data are available at: https://anonymous.4open.science/r/Anonymization-112358 .
","absKo":"자율적인 과학 실험의 실현은 현재 생물학적 프로토콜에 요구되는 엄격한 절차적 논리와 정확성을 LLM이 제대로 이해하지 못하는 한계에 의해 제약되고 있다. 이러한 근본적 문제를 해결하기 위해, 우리는 생물학에서의 절차적 추론을 위한 포괄적 자원인 BioProBench를 제안한다. BioProBench는 27,000개의 사람이 작성한 프로토콜로 이루어진 기초 컬렉션인 BioProCorpus를 바탕으로 한다. 이 코퍼스로부터 우리는 55만 개가 넘는 task instance로 구성된 데이터셋을 체계적으로 구축하여, 대규모 학습 자원과 새로운 metric을 갖춘 엄격한 benchmark를 동시에 제공한다. 10개의 mainstream LLM을 평가한 결과, 일반적 이해력은 높지만 깊은 추론, 수치 정밀성, 안전 인식이 요구되는 과제에서는 성능이 크게 떨어짐을 확인했다. 이러한 문제를 완화하는 데 있어 BioProCorpus의 가치를 입증하기 위해, 우리는 코퍼스에 기반한 ProAgent를 개발했다. ProAgent는 우리의 코퍼스를 바탕으로 하여 state-of-the-art를 크게 향상시킨다. BioProBench는 차세대 신뢰할 수 있는 scientific AI를 개발하기 위한 엄격한 진단 benchmark이자 기초 자원을 제공한다. 코드와 데이터는 다음에서 이용할 수 있다: https://anonymous.4open.science/r/Anonymization-112358 .
"},{"id":"62642","en":"Scaling Small Agents Through Strategy Auctions","ko":"Strategy Auctions를 통해 Small Agents 스케일링","authors":"Lisa Alazraki, Shen, Yoram Bachrach, Akhil Mathur","pos":"#706","link":"https://openreview.net/forum?id=elXuA5wTWV","abs":"Small language models are viewed as a promising, cost-effective approach to agentic AI, yet how their performance scales with task complexity remains unclear. While smaller agents match larger ones on simple tasks, it is unknown when large models become necessary and how to better leverage small agents. In this work, we show that small agents fail to scale with task complexity on deep search and coding tasks, and introduce Strategy Auctions for Workload Efficiency (SALE), a framework inspired by freelancer marketplaces. In SALE, agents bid with strategic plans scored by a cost–value mechanism and refined via shared auction memory, enabling per-task routing and continual self-improvement without training a router. On average, SALE reduces reliance on the largest agent by 53%, lowers overall cost by 35%, and consistently improves pass@1 with only a negligible token overhead. In contrast, established routers either underperform the largest agent or fail to reduce cost. These results suggest that small agents can be effectively “scaled up” through coordinated allocation and test-time self-improvement. More broadly, they motivate a systems-level view of agentic AI in which gains come less from ever-larger individual models and more from market-inspired coordination mechanisms that organize heterogeneous agents into efficient, adaptive ecosystems.
","absKo":"small language model은 agentic AI를 위한 유망하고 비용 효율적인 접근법으로 여겨지지만, task complexity에 따라 그 성능이 어떻게 scale되는지는 여전히 불명확하다. 작은 agent는 단순한 task에서는 큰 모델과 비슷한 성능을 보이지만, 깊은 탐색과 코딩 task에서 언제 large model이 필요해지는지, 그리고 small agent를 더 잘 활용하는 방법이 무엇인지는 알려져 있지 않다. 본 연구에서는 small agent가 deep search와 coding task에서 task complexity에 맞춰 scale하지 못함을 보이고, 프리랜서 마켓플레이스에서 착안한 Strategy Auctions for Workload Efficiency (SALE) 프레임워크를 제안한다. SALE에서는 agent가 cost–value mechanism으로 점수화되고 shared auction memory를 통해 정제되는 strategic plan으로 입찰하며, router를 학습하지 않고도 per-task routing과 지속적인 self-improvement를 가능하게 한다. 평균적으로 SALE은 largest agent에 대한 의존도를 53% 줄이고, 전체 비용을 35% 낮추며, 무시할 만한 token overhead만으로 pass@1을 일관되게 향상시킨다. 반면 기존의 router들은 largest agent보다 성능이 낮거나 비용 절감에 실패한다. 이러한 결과는 coordinated allocation과 test-time self-improvement을 통해 small agent를 효과적으로 “scale up”할 수 있음을 시사한다. 더 넓게는, 점점 더 큰 개별 모델보다는 이질적인 agent를 효율적이고 적응적인 ecosystem으로 조직하는 market-inspired coordination mechanism에서 성과 향상이 더 많이 나온다는, agentic AI에 대한 시스템 수준 관점을 뒷받침한다.
"},{"id":"64783","en":"SONAR: Spectral‑Contrastive Audio Residuals for Generalizable Deepfake Detection","ko":"SONAR: 일반화 가능한 Deepfake 탐지를 위한 Spectral-Contrastive Audio Residual","authors":"Ido Nitzan Hidekel, Gal Lifshitz, Khen Cohen, Dan Raviv","pos":"#1703","link":"https://openreview.net/forum?id=Jr7k590VxW","abs":"Deepfake audio detectors often fail to generalize to unseen attacks, in part due to \\emph{spectral bias}: neural networks prioritize low-frequency structure while under-exploiting subtle high-frequency (HF) artifacts left by generative models. We introduce \\textbf{SONAR} (Spectral-cONtrastive Audio Residuals), a frequency-guided framework that \\emph{explicitly enforces representation-level consistency} between semantic content and HF residuals. Unlike prior frequency-aware or dual-stream detectors that treat HF cues as auxiliary features, SONAR encourages structured interaction between content and noise representations in latent space. The model employs a dual-path architecture in which an XLSR encoder captures low-frequency content, while a parallel branch with learnable, value-constrained SRM high-pass filters distills HF residuals. The two representations are fused via frequency cross-attention and trained with a \\emph{Jensen--Shannon alignment loss} that promotes LF–HF consistency for genuine audio and amplifies inconsistency for deepfakes. Evaluated on ASVspoof~2021 and in-the-wild benchmarks, SONAR achieves state-of-the-art performance in a \\textbf{single run} setting and converges up to \\textbf{4$\\times$ faster} than strong baselines. By mitigating the effects of spectral bias through frequency-guided alignment, SONAR provides a fully data-driven and architecture-agnostic approach to generalizable audio deepfake detection.","absKo":"Deepfake audio detector는 종종 unseen attack에 일반화하지 못하는데, 이는 부분적으로 \\emph{spectral bias} 때문이며, neural network가 저주파 구조를 우선시하고 generative model이 남기는 미세한 고주파(HF) artifact를 충분히 활용하지 못하기 때문이다. 우리는 semantic content와 HF residual 사이의 representation-level consistency를 \\emph{명시적으로 강제}하는 frequency-guided framework인 \\textbf{SONAR} (Spectral-cONtrastive Audio Residuals)를 제안한다. HF cue를 보조 feature로 다루는 기존 frequency-aware 또는 dual-stream detector와 달리, SONAR는 latent space에서 content와 noise representation 간의 structured interaction을 장려한다. 모델은 XLSR encoder가 저주파 content를 포착하고, learnable하며 value-constrained된 SRM high-pass filter를 사용하는 parallel branch가 HF residual을 정제하는 dual-path architecture를 사용한다. 두 representation은 frequency cross-attention을 통해 fusion되며, genuine audio에 대해서는 LF–HF consistency를 촉진하고 deepfake에 대해서는 inconsistency를 증폭하는 \\emph{Jensen--Shannon alignment loss}로 학습된다. ASVspoof~2021 및 in-the-wild benchmark에서 평가한 결과, SONAR는 \\textbf{single run} 설정에서 state-of-the-art 성능을 달성하고 강력한 baseline보다 최대 \\textbf{4$\\times$} 더 빠르게 수렴한다. Frequency-guided alignment를 통해 spectral bias의 영향을 완화함으로써, SONAR는 일반화 가능한 audio deepfake detection을 위한 완전한 data-driven 및 architecture-agnostic 접근법을 제공한다."},{"id":"65670","en":"Panini: Continual Learning in Token Space via Structured Memory","ko":"Panini: 구조화된 메모리를 통한 토큰 공간에서의 지속 학습","authors":"Shreyas Rajesh, Pavan Holur, Mehmet Yigit Turali, Chenda Duan, Vwani Roychowdhury","pos":"#2003","link":"https://openreview.net/forum?id=BNGK86bQRr","abs":"Language models are increasingly used to reason over content they were not trained on, such as new documents, evolving knowledge, and user-specific data. A common approach is retrieval-augmented generation (RAG), which stores verbatim documents externally (as chunks) and retrieves only a relevant subset at inference time for an LLM to reason over. However, this results in inefficient usage of test-time compute (LLM repeatedly reasons over the same documents); moreover, chunk retrieval can inject irrelevant context that increases unsupported generation. We propose a human-like non-parametric continual learning framework, where the base model remains fixed, and learning occurs by integrating each new experience into an external semantic memory state that accumulates and consolidates itself continually. We present PANINI, which realizes this by representing documents as Generative Semantic Workspaces (GSW)—an entity- and event-aware network of question–answer (QA) pairs, sufficient for an LLM to reconstruct the experienced situations and mine latent knowledge via reasoning-grounded inference chains on the network. Given a query, PANINI only traverses the continually-updated GSW (not the verbatim documents or chunks), and retrieves the most likely inference chains. Across six QA benchmarks, PANINI achieves the highest average performance, 5%–7% higher than other competitive baselines, while using 2–30× fewer answer-context tokens, supports fully open-source pipelines, and reduces unsupported answers on curated unanswerable queries. The results show that efficient and accurate structuring of experiences at write time—as achieved by the GSW framework—yields both efficiency and reliability gains at read time.
","absKo":"언어 모델은 점점 더 새로운 문서, 변화하는 지식, 사용자별 데이터처럼 학습되지 않은 콘텐츠에 대해 reasoning하는 데 사용되고 있다. 일반적인 접근법은 retrieval-augmented generation(RAG)으로, 문서를 외부에 chunk 형태로 그대로 저장하고 추론 시 LLM이 reasoning할 수 있도록 관련 subset만 검색한다. 그러나 이는 test-time compute를 비효율적으로 사용하게 만들며(LLM이 동일한 문서에 대해 반복적으로 추론함), 더불어 chunk retrieval이 관련 없는 context를 주입하여 근거 없는 생성을 증가시킬 수 있다. 우리는 base model은 고정한 채, 각 새로운 경험을 지속적으로 축적되고 통합되는 외부 semantic memory state에 통합함으로써 학습이 이루어지는 인간 유사 non-parametric continual learning framework를 제안한다. 우리는 이를 구현한 PANINI를 제시하는데, PANINI는 문서를 Generative Semantic Workspaces(GSW)로 표현한다. GSW는 entity와 event를 인식하는 question–answer(QA) pair의 네트워크로, LLM이 경험한 상황을 재구성하고 네트워크 상에서 reasoning-grounded inference chain을 통해 latent knowledge를 추출하기에 충분하다. 질의가 주어지면, PANINI는 verbatim document나 chunk가 아니라 지속적으로 업데이트되는 GSW만을 탐색하고, 가장 가능성 높은 inference chain을 검색한다. 여섯 개의 QA benchmark에서 PANINI는 가장 높은 평균 성능을 달성했으며, 다른 경쟁력 있는 baseline보다 5%–7% 높고, 답변-컨텍스트 토큰을 2–30배 적게 사용했다. 또한 완전히 open-source pipeline을 지원하며, curated unanswerable query에서 근거 없는 답변을 줄인다. 결과는 GSW framework가 보여주듯 write time에 경험을 효율적이고 정확하게 구조화하는 것이 read time의 효율성과 신뢰성 향상으로 이어짐을 보여준다.
"},{"id":"65987","en":"InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem","ko":"InnoEval: 지식 기반 다중 관점 추론 문제로서의 연구 아이디어 평가에 관하여","authors":"Shuofei Qiao, Yunxiang Wei, Xuehai Wang, Bin Wu, Boyang XUE, Ningyu Zhang, Hossein A. Rahmani, Wang Yanshan, Qiang Zhang, Keyan Ding, Jeff Pan, Huajun Chen, Emine Yilmaz","pos":"#2108","link":"https://openreview.net/forum?id=8AhAziAWvZ","abs":"The rapid evolution of Large Language Models has catalyzed a surge in scientific idea production, yet this leap has not been accompanied by a matching advance in idea evaluation. The fundamental nature of scientific evaluation needs knowledgeable grounding, collective deliberation, and multi-criteria decision-making. However, existing idea evaluation methods often suffer from narrow knowledge horizons, flattened evaluation dimensions, and the inherent bias in LLM-as-a-Judge. To address these, we regard idea evaluation as a knowledge-grounded, multi-perspective reasoning problem and introduce InnoEval, a deep innovation evaluation framework designed to emulate human-level idea assessment. We apply a heterogeneous deep knowledge search engine that retrieves and grounds dynamic evidence from diverse online sources. We further achieve review consensus with an innovation review board containing reviewers with distinct academic backgrounds, enabling a multi-dimensional decoupled evaluation across multiple metrics. We construct comprehensive datasets derived from authoritative peer-reviewed submissions to benchmark InnoEval. Experiments demonstrate that InnoEval can consistently outperform baselines in point-wise, pair-wise, and group-wise evaluation tasks, exhibiting judgment patterns and consensus highly aligned with human experts.
","absKo":"Large Language Model의 급속한 발전은 과학적 아이디어 생산의 급증을 촉발했지만, 이러한 도약은 아이디어 평가의 동등한 발전으로 이어지지 않았다. 과학적 평가의 본질은 지식에 기반한 grounding, 집단적 숙의, 다기준 의사결정을 필요로 한다. 그러나 기존 아이디어 평가 방법은 종종 좁은 지식 범위, 평면화된 평가 차원, 그리고 LLM-as-a-Judge에 내재된 편향으로 인해 한계를 보인다. 이를 해결하기 위해 우리는 아이디어 평가를 지식 기반의 다중 관점 추론 문제로 간주하고, 인간 수준의 아이디어 평가를 모사하도록 설계된 심층 혁신 평가 framework인 InnoEval을 제안한다. 우리는 다양한 온라인 소스에서 동적인 증거를 검색하고 grounding하는 heterogeneous deep knowledge search engine을 적용한다. 또한 서로 다른 학문적 배경을 가진 평가자를 포함한 innovation review board를 통해 review consensus를 달성하여, 여러 metric에 걸친 다차원적 decoupled evaluation을 가능하게 한다. 우리는 authoritative peer-reviewed submission에서 파생된 포괄적 dataset을 구축하여 InnoEval을 benchmark한다. 실험 결과 InnoEval은 point-wise, pair-wise, group-wise evaluation task에서 baseline을 일관되게 능가하며, 인간 전문가와 매우 잘 정렬되는 판단 패턴과 합의를 보임을 보여준다.
"},{"id":"62507","en":"VimRAG: Navigating Massive Visual Context in Retrieval-Augmented Generation via Multimodal Memory Graph","ko":"VimRAG: Retrieval-Augmented Generation에서 멀티모달 메모리 그래프를 통해 대규모 Visual Context 탐색","authors":"Qiuchen Wang, Shihang Wang, Yu Zeng, Qiang Zhang, Fanrui Zhang, Zhuoning Guo, Bosi Zhang, Wenxuan Huang, Lin Chen, Zehui Chen, Pengjun Xie, Ruixue Ding","pos":"#701","link":"https://openreview.net/forum?id=fylE5O8g5F","abs":"Effectively retrieving, reasoning, and understanding multimodal information remains a critical challenge for agentic systems. Traditional Retrieval-augmented Generation (RAG) methods rely on linear interaction histories, which struggle to handle long-context tasks, especially those involving information-sparse yet token-heavy visual data in iterative reasoning scenarios. To bridge this gap, we introduce VimRAG, a framework tailored for multimodal Retrieval-augmented Reasoning across text, images, and videos. Inspired by our systematic study, we model the reasoning process as a dynamic directed acyclic graph that structures the agent states and retrieved multimodal evidence. Building upon this structured memory, we introduce a Graph-Modulated Visual Memory Encoding mechanism, with which the significance of memory nodes is evaluated via their topological position, allowing the model to dynamically allocate high-resolution tokens to pivotal evidence while compressing or discarding trivial clues. To implement this paradigm, we propose a Graph-Guided Policy Optimization strategy. This strategy disentangles step-wise validity from trajectory-level rewards by pruning memory nodes associated with redundant actions, thereby facilitating fine-grained credit assignment. Extensive experiments demonstrate that VimRAG consistently achieves state-of-the-art performance on diverse multimodal RAG benchmarks.
","absKo":"multimodal information을 효과적으로 검색하고, 추론하며, 이해하는 일은 agentic system에서 여전히 중요한 과제이다. 기존 Retrieval-augmented Generation (RAG) 방법은 선형적인 interaction history에 의존하기 때문에, 특히 반복적 추론 시나리오에서 정보는 부족하지만 token은 많은 visual data를 다루는 long-context task에 취약하다. 이 격차를 해소하기 위해 우리는 text, image, video 전반의 multimodal Retrieval-augmented Reasoning에 맞춘 framework인 VimRAG를 소개한다. 우리의 체계적 연구에서 영감을 받아, 우리는 추론 과정을 agent state와 검색된 multimodal evidence를 구조화하는 동적 directed acyclic graph로 모델링한다. 이 구조화된 memory를 바탕으로, 우리는 Graph-Modulated Visual Memory Encoding mechanism을 도입한다. 이 메커니즘은 memory node의 중요도를 topological position을 통해 평가하여, 모델이 핵심 evidence에는 고해상도 token을 동적으로 할당하고 자명한 단서는 압축하거나 폐기할 수 있게 한다. 이 패러다임을 구현하기 위해 우리는 Graph-Guided Policy Optimization 전략을 제안한다. 이 전략은 redundant action과 연관된 memory node를 pruning함으로써 step-wise validity와 trajectory-level reward를 분리하고, 세밀한 credit assignment를 가능하게 한다. 광범위한 실험은 VimRAG가 다양한 multimodal RAG benchmark에서 일관되게 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"65825","en":"Very Efficient Listwise Multimodal Reranking for Long Documents","ko":"장문서를 위한 매우 효율적인 리스트 방식 멀티모달 재순위화","authors":"Yiqun Sun, Pengfei Wei, Lawrence Hsieh","pos":"#702","link":"https://openreview.net/forum?id=9lV4ZvcOAL","abs":"Listwise reranking is a critical yet costly component in vision-centric retrieval and multimodal retrieval-augmented generation (M-RAG) over long documents. Although recent VLM-based rerankers achieve strong accuracy, they are often impractical due to long visual-token inputs and autoregressive decoding, resulting in high latency. We propose ZipRerank, a very efficient listwise multimodal reranker that directly addresses both bottlenecks: it shortens the input via query-image early interaction and eliminates multi-step generation by scoring all candidates in a single forward pass. ZipRerank is trained with a two-stage recipe: listwise pretraining on large-scale text reranking data rendered as images, followed by multimodal finetuning with VLM-teacher supervision and a soft-ranking objective to handle noisy rankings. Extensive experiments on the MMDocIR benchmark demonstrate that ZipRerank matches or surpasses state-of-the-art multimodal rerankers while reducing LLM inference latency by up to an order of magnitude, making it well-suited for latency-sensitive real-world systems. Source code is available at https://anonymous.4open.science/r/ZipRerank.
","absKo":"listwise reranking은 vision-centric retrieval과 장문 문서에 대한 multimodal retrieval-augmented generation (M-RAG)에서 중요하지만 비용이 큰 구성 요소이다. 최근의 VLM-based reranker는 높은 정확도를 달성하지만, 긴 visual-token 입력과 autoregressive decoding 때문에 실용적이지 않은 경우가 많고, 그 결과 latency가 높다. 우리는 두 병목을 모두 직접 해결하는 매우 효율적인 listwise multimodal reranker인 ZipRerank를 제안한다. ZipRerank는 query-image early interaction을 통해 입력을 줄이고, 모든 candidate를 단일 forward pass로 점수화하여 multi-step generation을 제거한다. ZipRerank는 2단계 recipe로 학습된다. 대규모 text reranking data를 이미지로 렌더링한 뒤 listwise pretraining을 수행하고, 그 다음 VLM-teacher supervision과 soft-ranking objective를 사용한 multimodal finetuning으로 noisy ranking을 처리한다. MMDocIR benchmark에서의 광범위한 실험은 ZipRerank가 state-of-the-art multimodal reranker와 동등하거나 그 이상인 성능을 보이면서도 LLM inference latency를 최대 한 자릿수 배수 수준까지 줄여, latency에 민감한 실제 시스템에 매우 적합함을 보여준다. 소스 코드는 https://anonymous.4open.science/r/ZipRerank 에서 확인할 수 있다."},{"id":"64151","en":"User-Aware Active Knowledge Acquisition for Emotional Support Dialogue","ko":"정서적 지지 대화를 위한 사용자 인식 능동 지식 획득","authors":"Mufan Xu, Kehai Chen, Jiahao Hu, Xinchao Xu, Muyun Yang, Tiejun Zhao, Min zhang","pos":"#703","link":"https://openreview.net/forum?id=QPjSc4CB9C","abs":"Emotional support plays an important role in dialogue systems, and its success depends on adapting to a user’s evolving and implicit needs across multi-turn interactions while leveraging the strong reasoning capacity of large language models (LLMs). However, since user needs are often weakly supervised and can only be disambiguated through multi-turn back-and-forth, existing emotional support methods often struggle to acquire and generalize emotionally relevant conversational knowledge efficiently. To bridge this gap, we introduce User-aware active knowledge acquisition (UKA), a gradient-free active dialogue learning framework that explicitly represents uncertainty about user needs and incorporates active learning into both knowledge acquisition and response selection. We propose a Theory-of-Mind-inspired uncertainty estimation mechanism that allows the model to prioritize responses, thereby obtaining the greatest expected information gain. Our framework is capable of efficiently exploring user-aligned conversational knowledge during training while maintaining robustness at test time. Experiments across multiple dialogue benchmarks and model architectures demonstrate that our approach consistently outperforms strong baselines in dialogue quality and user alignment.
","absKo":"정서적 지원은 dialogue system에서 중요한 역할을 하며, 그 성공은 대화형 상호작용에서 LLMs(large language models)의 강력한 추론 능력을 활용하면서도 사용자 요구가 진화하고 암묵적인 특성에 multi-turn interaction 전반에 걸쳐 적응하는 데 달려 있다. 그러나 사용자 요구는 종종 weakly supervised되어 있고 multi-turn back-and-forth를 통해서만 모호성이 해소될 수 있으므로, 기존의 emotional support 방법들은 정서적으로 관련된 대화 지식을 효율적으로 획득하고 일반화하는 데 어려움을 겪는다. 이러한 간극을 메우기 위해, 우리는 User-aware active knowledge acquisition(UKA)을 소개한다. 이는 사용자 요구에 대한 불확실성을 명시적으로 표현하고, knowledge acquisition과 response selection 모두에 active learning을 통합하는 gradient-free active dialogue learning framework이다. 우리는 Theory-of-Mind에서 영감을 받은 uncertainty estimation 메커니즘을 제안하여 모델이 응답의 우선순위를 정하고, 그 결과 가장 큰 expected information gain을 얻도록 한다. 우리의 프레임워크는 학습 동안 사용자 정합적 대화 지식을 효율적으로 탐색하는 동시에, 테스트 시점에서도 강건성을 유지한다. 여러 dialogue benchmark와 model architecture에 걸친 실험은 우리의 접근법이 dialogue quality와 user alignment 측면에서 강한 baselines를 일관되게 능가함을 보여준다.
"},{"id":"62081","en":"The Silent Thought: Modeling Internal Cognition in Full-Duplex Spoken Dialogue Models via Latent Reasoning","ko":"침묵의 사고: 잠재 추론을 통해 Full-Duplex 음성 대화 모델의 내부 인지 모델링하기","authors":"Donghang Wu, Tianyu Zhang, Yuxin Li, Hexin Liu, Chen Chen, EngSiong Chng, Yoshua Bengio","pos":"#704","link":"https://openreview.net/forum?id=jzUCodmd4C","abs":"During conversational interactions, humans subconsciously engage in concurrent thinking while listening to a speaker. Although this internal cognitive processing may not always manifest as explicit linguistic structures, it is instrumental in formulating high-quality responses. Inspired by this cognitive phenomenon, we propose a novel Full-duplex LAtent and Internal Reasoning method named FLAIR that conducts latent thinking simultaneously with speech perception. Unlike conventional \"thinking\" mechanisms in NLP, which require post-hoc generation, our approach aligns seamlessly with spoken dialogue systems: during the user’s speaking phase, it recursively feeds the latent embedding output from the previous step into the next step, enabling continuous reasoning that strictly adheres to causality without introducing additional latency. To enable this latent reasoning, we design an Evidence Lower Bound-based objective that supports efficient supervised finetuning via teacher forcing, circumventing the need for explicit reasoning annotations. Experiments demonstrate the effectiveness of this think-while-listening design, which achieves competitive results on a range of speech benchmarks. Furthermore, FLAIR robustly handles conversational dynamics and attains competitive performance on full-duplex interaction metrics.
","absKo":"대화 상호작용 중 사람은 화자의 말을 들으면서 무의식적으로 동시에 생각을 수행한다. 이러한 내적 인지 처리는 항상 명시적인 언어 구조로 드러나지는 않지만, 고품질 응답을 구성하는 데 핵심적이다. 이러한 인지 현상에 착안해, 우리는 음성 지각과 동시에 latent thinking을 수행하는 Full-duplex LAtent and Internal Reasoning 방법 FLAIR를 제안한다. 사후적으로 생성을 요구하는 기존 NLP의 conventional \"thinking\" 메커니즘과 달리, 우리의 접근은 spoken dialogue system과 자연스럽게 정렬된다. 즉, 사용자가 말하는 단계 동안 이전 step의 latent embedding output을 다음 step으로 재귀적으로 입력함으로써, 추가적인 latency를 도입하지 않으면서 인과성을 엄격히 준수하는 continuous reasoning을 가능하게 한다. 이러한 latent reasoning을 가능하게 하기 위해, 우리는 teacher forcing을 통한 효율적인 supervised finetuning을 지원하는 Evidence Lower Bound 기반 objective를 설계하여, 명시적인 reasoning annotation의 필요성을 우회한다. 실험은 이 think-while-listening 설계의 효과를 입증하며, 다양한 speech benchmark에서 경쟁력 있는 결과를 달성한다. 더 나아가 FLAIR는 conversational dynamics를 강건하게 처리하고 full-duplex interaction metric에서도 경쟁력 있는 성능을 보인다."},{"id":"64464","en":"Stream RAG: Instant and Accurate Spoken Dialogue Systems with Streaming Tool Usage","ko":"Stream RAG: 스트리밍 도구 사용을 통한 즉각적이고 정확한 음성 대화 시스템","authors":"Siddhant Arora, Haidar Khan, Kai Sun, Xin Dong, Sajal Choudhary, Seungwhan Moon, Xinyuan Zhang, Adithya Sagar, Surya Appini, Kaushik Patnaik, Sanat Sharma, Shinji Watanabe, Anuj Kumar, Ahmed A Aly, Yue Liu, Florian Metze, Zhaojiang Lin","pos":"#705","link":"https://openreview.net/forum?id=NMMmwSbzRx","abs":"End-to-end speech-in, speech-out dialogue systems are emerging as a powerful alternative to traditional ASR–LLM–TTS pipelines but remain prone to hallucinations due to limited factual grounding. While text-based dialogue models have effectively mitigated this issue through tools such as web search APIs, extending such capabilities to speech-in, speech-out systems remains underexplored. A key challenge is that tool integration increases latency, disrupting conversational flow. To mitigate this, we propose Streaming Retrieval-Augmented Generation (Stream RAG), a novel framework that reduces latency by predicting tool queries in parallel with user speech, even before the user finishes speaking. Specifically, we develop a post-training pipeline that teaches the model when to issue tool calls and how to generate spoken summaries using retrieved text results, thereby improving both accuracy and responsiveness. To evaluate our approach, we construct AudioCRAG, a benchmark created by converting queries from the publicly available CRAG dataset into speech form. Experimental results show that Stream RAG improves QA accuracy by over 20.0% absolute on AudioCRAG and achieves state-of-the-art performance, including outperforming cascaded systems, on the SLUE-SQA benchmark, while reducing latency by up to 57%. Stream RAG is modality-agnostic and can be applied equally to typed input, paving the way for more agentic, real-time AI assistants.
","absKo":"end-to-end speech-in, speech-out dialogue system은 전통적인 ASR–LLM–TTS pipeline에 대한 강력한 대안으로 부상하고 있지만, 제한된 사실 기반 grounding 때문에 여전히 hallucination에 취약하다. text-based dialogue model은 web search API와 같은 tool을 통해 이 문제를 효과적으로 완화해 왔지만, 이러한 기능을 speech-in, speech-out system으로 확장하는 연구는 아직 충분히 이루어지지 않았다. 핵심 과제는 tool integration이 latency를 증가시켜 대화 흐름을 방해한다는 점이다. 이를 완화하기 위해 우리는 Streaming Retrieval-Augmented Generation(Stream RAG)을 제안한다. 이는 사용자가 말을 끝내기도 전에 user speech와 병렬로 tool query를 예측함으로써 latency를 줄이는 새로운 framework이다. 구체적으로, 우리는 model이 언제 tool call을 발화해야 하는지, 그리고 retrieved text result를 사용해 spoken summary를 어떻게 생성해야 하는지를 학습시키는 post-training pipeline을 개발하여 정확도와 응답성을 모두 향상시킨다. 우리의 접근법을 평가하기 위해, 공개된 CRAG dataset의 query를 speech 형태로 변환하여 AudioCRAG라는 benchmark를 구축했다. 실험 결과 Stream RAG는 AudioCRAG에서 QA 정확도를 절대값 기준 20.0% 이상 향상시키고, SLUE-SQA benchmark에서 cascaded system을 능가하는 것을 포함해 state-of-the-art 성능을 달성하면서 latency를 최대 57%까지 줄인다. Stream RAG는 modality-agnostic이며 typed input에도 동일하게 적용될 수 있어, 더 agentic하고 실시간에 가까운 AI assistant로 가는 길을 연다.
"},{"id":"60930","en":"SPEAR: A Unified SSL Framework for Learning Speech and Audio Representations","ko":"SPEAR: Speech와 Audio Representation 학습을 위한 통합 SSL Framework","authors":"Xiaoyu Yang, Yifan Yang, Zengrui Jin, Ziyun Cui, Wen Wu, Baoxiangli, Chao Zhang, Phil Woodland","pos":"#707","link":"https://openreview.net/forum?id=vHaaDCLF0M","abs":"Self-supervised learning (SSL) has significantly advanced acoustic representation learning. However, most existing models are optimised for either speech or audio event understanding, resulting in a persistent gap between these two domains. We address this gap with SPEAR (SPEech and Audio Representations), a self-supervised framework that distils complementary knowledge from a speech-focused SSL teacher and a general-audio SSL teacher into a single unified model. SPEAR applies multi-codebook vector quantisation to continuous teacher representations to produce fine-grained discrete tokens that capture both semantic and acoustic information. To effectively integrate these heterogeneous representations, SPEAR jointly predicts them given a masked input with an asymmetric pre-training loss. We further improve robustness in complex sound scenes through a novel token mixing mechanism. Extensive experiments demonstrate that SPEAR consistently outperforms existing unified speech and audio models. SPEAR establishes a new state-of-the-art on the SUPERB benchmark, surpassing WavLM Large on 12 of 15 tasks, while achieving competitive performance on the HEAR benchmark. These results position SPEAR as a versatile foundation for general-purpose speech and audio representation learning. The code and pre-trained models will be released.
","absKo":"Self-supervised learning (SSL)은 acoustic representation learning을 크게 발전시켰다. 그러나 기존 model의 대부분은 speech 이해 또는 audio event 이해 중 하나에 최적화되어 있어, 이 두 domain 사이에 지속적인 간극이 존재한다. 우리는 speech-focused SSL teacher와 general-audio SSL teacher의 상호 보완적 지식을 단일 통합 model로 distill하는 self-supervised framework인 SPEAR(SPEech and Audio Representations)로 이 간극을 해결한다. SPEAR는 연속적인 teacher representation에 multi-codebook vector quantisation을 적용하여 semantic information과 acoustic information을 모두 포착하는 세밀한 discrete token을 생성한다. 이러한 이질적 representation을 효과적으로 통합하기 위해, SPEAR는 asymmetric pre-training loss를 사용하여 masked input이 주어졌을 때 이들을 공동으로 예측한다. 또한 새로운 token mixing mechanism을 통해 복잡한 sound scene에서의 robustness를 향상시킨다. 광범위한 실험 결과, SPEAR는 기존 unified speech 및 audio model을 일관되게 능가한다. SPEAR는 SUPERB benchmark에서 새로운 state-of-the-art를 수립했으며, 15개 task 중 12개에서 WavLM Large를 능가하고 HEAR benchmark에서는 경쟁력 있는 성능을 달성했다. 이러한 결과는 SPEAR를 범용 speech 및 audio representation learning을 위한 다목적 foundation으로 자리매김하게 한다. 코드와 pre-trained model은 공개될 예정이다.
"},{"id":"63773","en":"Rethinking the Reranker: Boundary-Aware Evidence Selection for Robust Retrieval-Augmented Generation","ko":"Reranker를 다시 생각하기: 강건한 Retrieval-Augmented Generation을 위한 경계 인지 증거 선택","authors":"Jiashuo Sun, Pengcheng Jiang, Saizhuo Wang, Jiajun Fan, Heng Wang, Siru Ouyang, Ming Zhong, Yizhu Jiao, Chengsong Huang, Xueqiang Xu, Pengrui Han, Peiran Li, Jiaxin Huang, Ge Liu, Heng Ji, Jiawei Han","pos":"#708","link":"https://openreview.net/forum?id=Tt8lCe1NrW","abs":"Retrieval-Augmented Generation (RAG) systems remain brittle under realistic retrieval noise, even when the required evidence appears in the top-$K$ results. A key reason is that retrievers and rerankers optimize solely for relevance, often selecting either trivial, answer-revealing passages or evidence that lacks the critical information required to answer the question, without considering whether the evidence is suitable for the generator. We propose \\texttt{BAR-RAG}, which reframes the reranker as a boundary-aware evidence selector that targets the generator’s Goldilocks Zone—evidence that is neither trivially easy nor fundamentally unanswerable for the generator, but is challenging yet sufficient for inference and thus provides the strongest learning signal. \\texttt{BAR-RAG} trains the selector with reinforcement learning using generator feedback, and adopts a two-stage pipeline that fine-tunes the generator under the induced evidence distribution to mitigate the distribution mismatch between training and inference. Experiments on knowledge-intensive question answering benchmarks show that \\texttt{BAR-RAG} consistently improves end-to-end performance under noisy retrieval, achieving an average gain of 10.3\\% over strong RAG and reranking baselines while substantially improving robustness.","absKo":"Retrieval-Augmented Generation(RAG) system은 필요한 evidence가 top-$K$ 결과 안에 존재하더라도 현실적인 retrieval noise 하에서 여전히 취약하다. 그 핵심 이유는 retriever와 reranker가 오직 relevance만 최적화하여, 답을 바로 드러내는 자명한 passage 또는 질문에 답하는 데 필요한 핵심 정보를 담고 있지 않은 evidence만 선택하는 경우가 많고, 그 evidence가 generator에 적합한지 여부는 고려하지 않기 때문이다. 우리는 reranker를 boundary-aware evidence selector로 재정의하는 \\texttt{BAR-RAG}를 제안한다. 이는 generator의 Goldilocks Zone, 즉 generator에게 너무 자명하게 쉽지도 않고 근본적으로 답할 수 없을 정도로 어렵지도 않지만, 추론에는 충분하고 도전적이어서 가장 강한 학습 신호를 제공하는 evidence를 목표로 한다. \\texttt{BAR-RAG}는 generator의 feedback을 사용한 reinforcement learning으로 selector를 학습하고, 유도된 evidence distribution 아래에서 generator를 fine-tune하는 two-stage pipeline을 채택하여 training과 inference 사이의 distribution mismatch를 완화한다. knowledge-intensive question answering benchmark에서의 실험은 \\texttt{BAR-RAG}가 noisy retrieval 하에서 end-to-end 성능을 일관되게 향상시키며, 강력한 RAG 및 reranking baseline 대비 평균 10.3\\%의 향상을 달성하는 동시에 robustness를 크게 높인다는 것을 보여준다."},{"id":"64383","en":"Ranking Free RAG: Replacing Re-ranking with Selection in RAG for Sensitive Domains","ko":"랭킹 없는 RAG: 민감 도메인을 위한 RAG에서 재랭킹을 선택으로 대체하기","authors":"Yash Saxena, Ankur Padia, Mandar Chaudhary, Kalpa Gunaratna, Srinivasan Parthasarathy, Manas Gaur","pos":"#710","link":"https://openreview.net/forum?id=O88FCPAPAj","abs":"Retrieval-Augmented Generation (RAG) systems deployed in sensitive domains must provide interpretable evidence selection and robust safeguards against data poisoning, yet current approaches rely on opaque similarity-based retrieval with arbitrary top-k cutoffs that offer no explanation for their selections and remain vulnerable to adversarial manipulation. We propose METEORA, a rationale-driven RAG framework that addresses these fundamental limitations through interpretable, adaptive evidence retrieval. Our framework introduces three synergistic contributions. First, we preference-tune a general-purpose LLM to generate explicit rationales that articulate why specific evidence is needed for a given query. These rationales then guide adaptive evidence selection through a two-step process: rationale-chunk pairing for query-specific relevance assessment, followed by dynamic cutoff detection that eliminates the need for arbitrary k heuristics. Finally, the same rationales enable a verification stage that filters poisoned or misleading evidence before generation. Evaluation across six datasets demonstrates substantial improvements on three critical dimensions. For retrieval quality, METEORA achieves **21.05\\%** higher precision than the best-performing baseline, while its variant with context expansion achieves **13.41\\%** higher recall. In terms of efficiency, the framework reduces the volume of evidence required to reach comparable recall by **80\\%**, which directly translates to a **33.34\\%** improvement in downstream answer generation accuracy. Most notably for adversarial robustness, METEORA increases the F1 score from **0.10 to 0.44** under poisoning attacks, a 4.4$\\times$ improvement that makes RAG systems substantially more resilient to adversarial manipulation. Human evaluation with four experienced annotators confirms genuine interpretability, achieving a mean confidence score of **3.64/5** and demonstrating that humans can reliably reconstruct evidence-level decisions with **86\\% accuracy**. These results demonstrate that rationale-driven retrieval can simultaneously enhance interpretability, efficiency, and safety in RAG systems for sensitive domains. The code is available in the anonymous GitHub repository \\url{https://anonymous.4open.science/r/METEORA-DC46/README.md}","absKo":"민감한 도메인에 배치되는 Retrieval-Augmented Generation(RAG) system은 해석 가능한 evidence selection과 data poisoning에 대한 견고한 safeguard를 제공해야 하지만, 현재의 접근법은 선택 근거를 설명하지 못하는 불투명한 similarity-based retrieval과, 선택 이유에 대한 설명 없이 arbitrary한 top-k cutoff에 의존하며 adversarial manipulation에도 취약하다. 우리는 해석 가능하고 적응적인 evidence retrieval을 통해 이러한 근본적 한계를 해결하는 rationale-driven RAG framework인 METEORA를 제안한다. 우리의 framework는 세 가지 시너지 기여를 도입한다. 첫째, 범용 LLM을 preference tuning하여 특정 query에 왜 특정 evidence가 필요한지 명시적으로 설명하는 rationale을 생성하도록 한다. 이후 이러한 rationale은 두 단계 과정을 통해 적응적 evidence selection을 안내한다. 즉, query-specific relevance를 평가하기 위한 rationale-chunk pairing과 arbitrary한 k heuristic을 제거하는 dynamic cutoff detection이다. 마지막으로, 같은 rationale을 이용해 generation 전에 poisoned 또는 misleading evidence를 걸러내는 verification stage를 수행한다. 여섯 개 dataset에 대한 평가는 세 가지 중요한 차원에서 상당한 개선을 보여준다. retrieval quality 측면에서 METEORA는 최상 성능 baseline보다 precision이 **21.05\\%** 높고, context expansion을 포함한 변형은 recall이 **13.41\\%** 높다. 효율성 측면에서는 비슷한 recall에 도달하기 위해 필요한 evidence 양을 **80\\%** 줄여, downstream answer generation accuracy가 **33.34\\%** 향상된다. 특히 adversarial robustness 측면에서, poisoning attack 하에서 METEORA는 F1 score를 **0.10에서 0.44로** 높여 4.4$\\times$ 향상을 달성하며, RAG system을 adversarial manipulation에 훨씬 더 견고하게 만든다. 네 명의 숙련된 annotator가 수행한 human evaluation은 진정한 해석 가능성을 확인해 주며, 평균 confidence score **3.64/5**를 기록했고, 인간이 evidence-level decision을 **86\\% 정확도**로 신뢰성 있게 재구성할 수 있음을 보였다. 이러한 결과는 rationale-driven retrieval이 민감한 도메인을 위한 RAG system에서 해석 가능성, 효율성, 안전성을 동시에 향상시킬 수 있음을 보여준다. 코드는 익명 GitHub 저장소 \\url{https://anonymous.4open.science/r/METEORA-DC46/README.md} 에서 확인할 수 있다"},{"id":"61662","en":"Query-Based Asymmetric Modeling with Decoupled Input–Output Rates for Speech Restoration","ko":"음성 복원을 위한 분리된 입출력 비율의 Query-Based 비대칭 모델링","authors":"Ui-Hyeop Shin, Jaehyun Ko, Woocheol Jeong, Hyung-Min Park","pos":"#711","link":"https://openreview.net/forum?id=nzE9Ck5oLe","abs":"Speech restoration in real-world conditions is challenging due to compounded distortions and mismatches between input and desired output rates. Most existing systems assume a fixed and shared input–output rate, relying on external resampling that incurs redundant computation and limits generality. We address this setting by formulating speech restoration under decoupled input–output rates, and propose TF-Restormer, a query-based asymmetric modeling framework. The encoder concentrates analysis on the observed input bandwidth using a time–frequency dual-path architecture, while a lightweight decoder reconstructs missing spectral content via frequency extension queries. This design enables a single model to operate consistently across arbitrary input–output rate pairs without redundant resampling. Experiments across diverse sampling rates, degradations, and operating modes show that TF-Restormer maintains stable restoration behavior and balanced perceptual quality, including in real-time streaming scenarios.
","absKo":"실제 환경에서의 speech restoration은 복합적인 왜곡과 입력 및 원하는 출력 rate 간의 불일치 때문에 어렵습니다. 기존 시스템 대부분은 고정되고 공유된 input-output rate를 가정하며, 외부 resampling에 의존하는데 이는 중복 계산을 유발하고 일반성을 제한합니다. 우리는 input-output rate가 분리된 설정에서의 speech restoration을 정식화하고, query 기반의 asymmetric modeling framework인 TF-Restormer를 제안합니다. encoder는 time-frequency dual-path architecture를 사용하여 관측된 입력 bandwidth에 대한 분석을 집중하고, 경량 decoder는 frequency extension queries를 통해 누락된 spectral content를 복원합니다. 이 설계는 중복 resampling 없이 단일 모델이 임의의 input-output rate pair 전반에서 일관되게 동작하도록 합니다. 다양한 sampling rate, degradation, operating mode에 걸친 실험은 TF-Restormer가 real-time streaming 시나리오를 포함하여 안정적인 restoration behavior와 균형 잡힌 perceptual quality를 유지함을 보여줍니다.
"},{"id":"66336","en":"MoshiRAG: Asynchronous Knowledge Retrieval for Full-Duplex Speech Language Models","ko":"MoshiRAG: Full-Duplex 음성 언어 모델을 위한 비동기 지식 검색","authors":"Chung-Ming Chien, Manu Orsini, Eugene Kharitonov, Neil Zeghidour, Karen Livescu, Alexandre Défossez","pos":"#712","link":"https://openreview.net/forum?id=4aI2vOyyHH","abs":"Speech-to-speech language models have recently emerged to enhance the naturalness of conversational AI. In particular, full-duplex models are distinguished by their real-time interactivity, including handling of pauses, interruptions, and backchannels. However, improving their factuality remains an open challenge. While scaling the model size could address this gap, it would make real-time inference prohibitively expensive. In this work, we propose Moshi-RAG, a modular approach that combines a compact full-duplex interface with selective retrieval to access more powerful knowledge sources. Our asynchronous framework enables the model to identify knowledge-demanding queries and ground its responses in external information. By leveraging the natural temporal gap between response onset and the delivery of core information, the retrieval process can be completed while maintaining a natural conversation flow. With this approach, Moshi-RAG achieves factuality comparable to the best publicly released non-duplex speech language models while preserving the interactivity inherent to full-duplex systems. Moreover, our flexible design supports plug-and-play retrieval methods without retraining and demonstrates strong performance on out-of-domain mathematical reasoning tasks.
","absKo":"Speech-to-speech language model은 최근 conversational AI의 자연스러움을 향상시키기 위해 등장했다. 특히 full-duplex model은 pause, interruption, backchannel을 처리하는 것을 포함한 실시간 상호작용성으로 구별된다. 그러나 factuality를 개선하는 일은 여전히 열린 과제다. 모델 크기를 키우면 이 격차를 해소할 수 있겠지만, real-time inference 비용이 지나치게 커진다. 본 연구에서는 compact full-duplex interface와 selective retrieval을 결합해 더 강력한 knowledge source에 접근하는 modular approach인 Moshi-RAG를 제안한다. 우리의 asynchronous framework는 모델이 knowledge-demanding query를 식별하고 외부 정보에 근거해 응답을 생성하도록 한다. response onset과 core information 전달 사이의 자연스러운 temporal gap을 활용함으로써, 자연스러운 대화 흐름을 유지한 채 retrieval process를 완료할 수 있다. 이 접근법을 통해 Moshi-RAG는 full-duplex system 고유의 interactivity를 보존하면서, 공개적으로 배포된 비-duplex speech language model 중 최고 수준의 factuality와 견줄 만한 성능을 달성한다. 또한 우리의 flexible design은 retraining 없이 plug-and-play retrieval method를 지원하며, out-of-domain mathematical reasoning task에서도 강한 성능을 보인다.
"},{"id":"63026","en":"ML-Embed: Inclusive and Efficient Embeddings for a Multilingual World","ko":"ML-Embed: 다국어 세계를 위한 포용적이고 효율적인 임베딩","authors":"Ziyin Zhang, Zihan Liao, Hang Yu, Peng Di, Rui Wang","pos":"#713","link":"https://openreview.net/forum?id=amwGknX1Bx","abs":"The development of high-quality text embeddings is increasingly drifting toward an exclusionary future, defined by three critical barriers: prohibitive computational costs, a narrow linguistic focus that neglects most of the world's languages, and a lack of transparency from closed-source or open-weight models that stifles research. To dismantle these barriers, we introduce ML-Embed, a suite of inclusive and efficient models built upon a new framework: 3-Dimensional Matryoshka Learning (3D-ML). Our framework addresses the computational challenge with comprehensive efficiency across the entire model lifecycle. Beyond the storage benefits of Matryoshka Representation Learning (MRL), we integrate Matryoshka Layer Learning (MLL) for flexible inference-time depth and Matryoshka Embedding Learning (MEL) for enhanced parameter efficiency. To address the linguistic challenge, we curate a massively multilingual dataset and train a suite of models ranging from 140M to 8B parameters. In a direct commitment to transparency, we release all models, data, and code. Extensive evaluation on 430 tasks demonstrates that our models set new records on 9 of 17 evaluated MTEB benchmarks, with particularly strong results in low-resource languages, providing a reproducible blueprint for building globally equitable and computationally efficient AI systems.
","absKo":"고품질 text embedding의 발전은 점점 배타적인 미래로 기울고 있다. 이는 세 가지 중대한 장벽, 즉 과도한 계산 비용, 세계 대부분의 언어를 외면하는 협소한 언어적 초점, 그리고 연구를 저해하는 closed-source 또는 open-weight model의 비투명성으로 정의된다. 이러한 장벽을 무너뜨리기 위해 우리는 새로운 framework인 3-Dimensional Matryoshka Learning(3D-ML) 위에 구축된 포괄적이고 효율적인 model suite, ML-Embed를 제안한다. 우리의 framework는 모델 생애주기 전반에 걸친 포괄적 효율성으로 계산 문제를 해결한다. Matryoshka Representation Learning(MRL)의 저장 이점에 더해, 유연한 inference-time depth를 위한 Matryoshka Layer Learning(MLL)과 향상된 parameter efficiency를 위한 Matryoshka Embedding Learning(MEL)을 통합한다. 언어적 문제를 해결하기 위해, 우리는 대규모 다국어 데이터셋을 구축하고 140M에서 8B parameter에 이르는 모델 suite를 학습했다. 투명성에 대한 직접적인 약속으로, 모든 모델, 데이터, 코드를 공개한다. 430개 task에 대한 광범위한 평가는 우리의 모델이 17개 평가된 MTEB benchmark 중 9개에서 새로운 기록을 세웠으며, 특히 저자원 언어에서 매우 강한 결과를 보였음을 보여준다. 이는 전 세계적으로 공정하고 계산 효율적인 AI system을 구축하기 위한 재현 가능한 청사진을 제공한다.
"},{"id":"65498","en":"CoCoReviewBench: A Completeness- and Correctness-Oriented Benchmark for AI Reviewers","ko":"CoCoReviewBench: AI 리뷰어를 위한 완전성 및 정확성 지향 벤치마크","authors":"Hexuan Deng, Xiaopeng Ke, Yichen Li, Ruina Hu, Dehao Huang, Derek F. Wong, Yue Wang, Xuebo Liu, Min zhang","pos":"#714","link":"https://openreview.net/forum?id=D1JSZDVnxG","abs":"Despite the rapid development of AI reviewers, evaluating such systems remains challenging: metrics favor overlap with human reviews over correctness. However, since human reviews often cover only a subset of salient issues and sometimes contain mistakes, they are unreliable as gold references. To address this, we build category-specific benchmark subsets and skip evaluation when the corresponding human reviews are missing to strengthen Completeness. We also leverage reviewer--author--meta-review discussions as expert annotations and filter unreliable reviews accordingly to strengthen Correctness. Finally, we introduce CoCoReviewBench, which curates 3,900 papers from ICLR and NeurIPS to enable reliable and fine-grained evaluation of AI reviewers. Analysis shows that AI reviewers remain limited in correctness and thoroughness and are prone to hallucinations, and highlights reasoning models as more effective reviewers, motivating further directions for improving AI reviewers.
","absKo":"AI reviewer의 발전 속도는 빠르지만, 이러한 system을 평가하는 일은 여전히 어렵다. metric이 correctness보다 human review와의 overlap을 더 선호하기 때문이다. 그러나 human review는 종종 눈에 띄는 issue의 일부만 다루고 때로는 오류도 포함하므로, gold reference로 신뢰하기 어렵다. 이를 해결하기 위해 우리는 category-specific benchmark subset을 구축하고, 해당 human review가 없을 때는 평가를 건너뛰어 Completeness를 강화한다. 또한 reviewer--author--meta-review discussion을 expert annotation으로 활용하고, 그에 따라 신뢰할 수 없는 review를 걸러 Correctness를 강화한다. 마지막으로, ICLR과 NeurIPS의 3,900개 paper를 선별한 CoCoReviewBench를 제안하여, 신뢰 가능하고 세밀한 AI reviewer 평가를 가능하게 한다. 분석 결과, AI reviewer는 correctness와 thoroughness가 여전히 부족하고 hallucination에 취약하며, reasoning model이 더 효과적인 reviewer임을 보여준다. 이는 AI reviewer 개선을 위한 추가 연구 방향을 시사한다.
"},{"id":"60936","en":"A Semantically Consistent Dataset for Data-Efficient Query-Based Universal Sound Separation","ko":"Data-Efficient Query-Based Universal Sound Separation을 위한 의미적으로 일관된 Dataset","authors":"Kai Li, Jintao Cheng, Chang Zeng, Zijun Yan, Helin Wang, Zixiong Su, Bo Zheng, Xiaolin Hu","pos":"#811","link":"https://openreview.net/forum?id=vCc2NAe0OS","abs":"Query-based universal sound separation is fundamental to intelligent auditory systems, aiming to isolate specific sources from mixtures. Despite recent advances, existing methods continue to suffer from residual interference in complex acoustic scenes. This performance limitation stems largely from a data bottleneck: in-the-wild datasets contain weak labels and severe co-occurrence of events. These flaws induce models to learn spurious correlations between background noise and target categories instead of robust acoustic features. To address this, we propose an automated pipeline that eliminates co-occurrence of events by mining high-purity single-event segments from in-the-wild datasets via a semantically consistent synthesis protocol. Utilizing this pipeline, we constructed *Hive*, a high-quality synthetic dataset comprising 2.4k hours of raw audio. Experimental results demonstrate that, compared with the state-of-the-art model SAM-Audio which was trained on a huge dataset $\\sim$500 times larger than Hive, certain open-source models trained on Hive achieve competitive separation accuracy and perceptual quality. Moreover, these models exhibited remarkable zero-shot generalization on out-of-distribution evaluation benchmarks. These findings highlight that prioritizing purity of supervised signals enables significant data efficiency, offering a new paradigm for training robust auditory foundation models with reduced computational costs. Code and dataset are available at https://hive-dataset-icml.github.io/Hive-Demo.","absKo":"Query-based universal sound separation은 지능형 auditory system의 핵심으로, mixture에서 특정 source를 분리하는 것을 목표로 한다. 최근의 진전에도 불구하고, 기존 방법은 복잡한 acoustic scene에서 여전히 residual interference로 고통받는다. 이러한 성능 한계는 주로 data bottleneck에서 비롯된다. 즉, in-the-wild dataset은 weak label과 event의 심각한 co-occurrence를 포함한다. 이러한 결함은 모델이 견고한 acoustic feature 대신 background noise와 target category 사이의 spurious correlation을 학습하도록 유도한다. 이를 해결하기 위해, 우리는 semantically consistent synthesis protocol을 통해 in-the-wild dataset에서 high-purity single-event segment를 mining하여 event co-occurrence를 제거하는 자동화 pipeline을 제안한다. 이 pipeline을 활용해 우리는 2.4k 시간의 raw audio로 구성된 고품질 synthetic dataset *Hive*를 구축했다. 실험 결과는, Hive보다 약 500배 큰 dataset으로 학습된 state-of-the-art model SAM-Audio와 비교했을 때, Hive로 학습된 일부 open-source model이 경쟁력 있는 separation accuracy와 perceptual quality를 달성함을 보여준다. 더 나아가, 이러한 모델은 out-of-distribution evaluation benchmark에서 놀라운 zero-shot generalization을 보였다. 이 결과는 supervised signal의 purity를 우선시하는 것이 상당한 data efficiency를 가능하게 하며, 계산 비용을 줄이면서 견고한 auditory foundation model을 학습하는 새로운 패러다임을 제시함을 강조한다. Code와 dataset은 https://hive-dataset-icml.github.io/Hive-Demo 에서 제공된다."},{"id":"65899","en":"AG-REPA: Causal Layer Selection for Representation Alignment in Audio Flow Matching","ko":"AG-REPA: 오디오 Flow Matching에서 표현 정렬을 위한 인과적 레이어 선택","authors":"Pengfei Zhang, Tianxin Xie, Yang Minghao, Li Liu","pos":"#812","link":"https://openreview.net/forum?id=93Yh3Mvg37","abs":"REPresentation Alignment (REPA) improves the training of generative flow models by aligning intermediate hidden states with pretrained teacher features, but its effectiveness in token-conditioned audio Flow Matching critically depends on the choice of supervised layers, which is typically made heuristically based on the depth. In this work, we introduce Attribution-Guided REPresentation Alignment (AG-REPA), a novel causal layer selection strategy for representation alignment in audio Flow Matching. Firstly, we find that layers that best store semantic/acoustic information (high teacher-space similarity) are not necessarily the layers that contribute most to the velocity field that drives generation, and we call it Store-Contribute Dissociation (SCD). To turn this insight into an actionable training guidance, we propose a forward-only gate ablation (FoG-A) that quantifies each layer's causal contribution via the induced change in the predicted velocity field, enabling sparse layer selection and adaptive weighting for alignment. Across unified speech and general-audio training (LibriSpeech + AudioSet) under different token-conditioning topologies, AG-REPA consistently outperforms REPA baselines. Overall, our results show that alignment is most effective when applied to the causally dominant layers that drive the velocity field, rather than to layers that are representationally rich but functionally passive.
","absKo":"REPresentation Alignment (REPA)는 중간 hidden state를 pretrained teacher feature와 정렬함으로써 generative flow model의 학습을 개선하지만, token-conditioned audio Flow Matching에서의 효과는 supervision layer의 선택에 크게 좌우되며, 이 선택은 보통 depth를 기준으로 heuristic하게 이루어진다. 본 연구에서는 audio Flow Matching에서 representation alignment를 위한 새로운 causal layer selection 전략인 Attribution-Guided REPresentation Alignment (AG-REPA)를 제안한다. 먼저, semantic/acoustic information을 가장 잘 저장하는 layer(high teacher-space similarity)가 반드시 generation을 이끄는 velocity field에 가장 크게 기여하는 layer는 아니라는 점을 발견했으며, 이를 Store-Contribute Dissociation (SCD)라고 부른다. 이 통찰을 실질적인 training guidance로 바꾸기 위해, 우리는 예측된 velocity field에 유도되는 변화량을 통해 각 layer의 인과적 기여를 정량화하는 forward-only gate ablation(FoG-A)을 제안하여, sparse layer selection과 alignment를 위한 adaptive weighting을 가능하게 한다. 서로 다른 token-conditioning topology 하에서 unified speech 및 general-audio training(LibriSpeech + AudioSet)을 수행한 결과, AG-REPA는 REPA baseline을 일관되게 능가했다. 전반적으로, 우리의 결과는 alignment가 표현적으로 풍부하지만 기능적으로는 수동적인 layer가 아니라, velocity field를 구동하는 인과적으로 지배적인 layer에 적용될 때 가장 효과적임을 보여준다.
"},{"id":"64128","en":"AuTAgent: A Reinforcement Learning Framework for Tool-Augmented Audio Reasoning","ko":"AuTAgent: 도구 증강 오디오 추론을 위한 강화학습 프레임워크","authors":"Siqian Tong, Xuan Li, Yiwei Wang, Baolong Bi, Yujun Cai, Shenghua Liu, Yuchen He, Chengpeng Hao","pos":"#813","link":"https://openreview.net/forum?id=QfRtFf9Q3X","abs":"Large Audio Language Models (LALMs) excel at perception but struggle with complex reasoning requiring precise acoustic measurements. While external tools can extract fine-grained features like exact tempo or pitch, effective integration remains challenging: naively using all tools causes information overload, while prompt-based selection fails to assess context-dependent utility. To address this, we propose AuTAgent (Audio Tool Agent), a reinforcement learning framework that learns when and which tools to invoke. By employing a sparse-feedback training strategy with a novel Differential Reward mechanism, the agent learns to filter out irrelevant tools and invokes external assistance only when it yields a net performance gain over the base model. Experimental results confirm that AuTAgent complements the representation bottleneck of LALMs by providing verifiable acoustic evidence. It improves accuracy by 4.20% / 6.20% and 9.80% / 8.00% for open-source and closed-source backbones on the MMAU Test-mini and the MMAR benchmarks, respectively. In addition, further experiments demonstrate exceptional transferability. We highlight the complementary role of external tools in augmenting audio model reasoning.
","absKo":"Large Audio Language Models (LALMs)는 perception에서는 뛰어나지만, 정확한 acoustic measurement를 요구하는 복잡한 reasoning에서는 어려움을 겪는다. 외부 tools는 정확한 tempo나 pitch 같은 세밀한 feature를 추출할 수 있지만, 효과적인 통합은 여전히 어렵다. 모든 tool을 무작정 사용하면 information overload가 발생하고, prompt 기반 선택은 context-dependent utility를 제대로 평가하지 못한다. 이를 해결하기 위해, 우리는 언제 어떤 tool을 호출할지 학습하는 reinforcement learning 프레임워크인 AuTAgent (Audio Tool Agent)를 제안한다. 새롭게 제안한 Differential Reward 메커니즘과 sparse-feedback training strategy를 사용함으로써, 에이전트는 관련 없는 tool을 걸러내는 법을 학습하고, external assistance가 base model 대비 순수 성능 향상을 제공할 때만 이를 호출한다. 실험 결과 AuTAgent는 검증 가능한 acoustic evidence를 제공함으로써 LALMs의 representation bottleneck을 보완함을 확인했다. MMAU Test-mini와 MMAR benchmark에서 open-source 및 closed-source backbone 모두에 대해 각각 4.20% / 6.20%와 9.80% / 8.00%의 정확도 향상을 보였다. 또한 추가 실험은 뛰어난 transferability를 입증한다. 우리는 audio model reasoning을 보강하는 데 있어 external tool의 보완적 역할을 강조한다.
"},{"id":"66763","en":"AudioChat: Unified Audio Storytelling, Editing, and Understanding with Transfusion Forcing","ko":"AudioChat: Transfusion Forcing을 통한 통합 오디오 스토리텔링, 편집, 이해","authors":"William Chen, Prem Seetharaman, Rithesh Kumar, Oriol Nieto, Shinji Watanabe, Justin Salamon, Zeyu Jin","pos":"#814","link":"https://openreview.net/forum?id=0VXbYwtvR8","abs":"Despite recent breakthroughs, audio foundation models struggle in processing complex multi-source acoustic scenes. We refer to this challenging domain as audio stories, which can have multiple speakers and background/foreground sound effects. Compared to traditional audio processing tasks, audio stories introduce new layers of semantic, temporal, and physical complexity. To address this challenge, we propose AudioChat, a framework for developing audio foundation models that can generate, edit, and understand audio stories. AudioChat introduces a new paradigm in which LLM-based toolcalling agents simulate interactions between users and the system, and these simulated dialogues are used as training data. We also introduce a novel Audio Transfusion Forcing objective to train the AudioChat model, allowing it to simultaneously decompose high-level instructions via structured chain-of-thought reasoning and perform interactive multi-turn audio understanding/generation. To evaluate generation and editing performance, we develop three new metrics that directly measure task performance instead of relying upon distribution-based scoring. We highly encourage readers to visit our demo to better understand the capabilities of AudioChat: https://audiochat-icml-2026.github.io/.
","absKo":"최근의 돌파구에도 불구하고, audio foundation model은 복잡한 multi-source acoustic scene을 처리하는 데 어려움을 겪는다. 우리는 이러한 도전적인 영역을 audio stories라고 부르는데, 여기에는 여러 speaker와 background/foreground sound effect가 포함될 수 있다. 전통적인 audio processing task와 비교하면, audio stories는 semantic, temporal, physical complexity의 새로운 층을 추가한다. 이 문제를 해결하기 위해, 우리는 audio stories를 생성, 편집, 이해할 수 있는 audio foundation model 개발을 위한 framework인 AudioChat을 제안한다. AudioChat은 LLM 기반 toolcalling agent가 사용자와 시스템 간의 상호작용을 시뮬레이션하고, 이러한 시뮬레이션된 대화를 training data로 사용하는 새로운 paradigm을 도입한다. 또한 우리는 structured chain-of-thought reasoning을 통해 높은 수준의 instruction을 분해하는 동시에 interactive multi-turn audio understanding/generation을 수행할 수 있도록 AudioChat model을 학습하는 새로운 Audio Transfusion Forcing objective를 제안한다. 생성 및 편집 성능을 평가하기 위해, 분포 기반 scoring에 의존하는 대신 task performance를 직접 측정하는 세 가지 새로운 metric을 개발했다. AudioChat의 능력을 더 잘 이해하기 위해 데모를 방문해 보길 강력히 권한다: https://audiochat-icml-2026.github.io/.
"},{"id":"61790","en":"Beyond Perplexity: UTF-8 Validity in Byte-aware Language Models","ko":"Perplexity를 넘어: Byte-Aware Language Model의 UTF-8 유효성","authors":"Sangwhan Moon, Daisuke Oba, Youmi Ma, Tatsuya Hiraoka, Naoaki Okazaki","pos":"#2308","link":"https://openreview.net/forum?id=mvLWhrg71j","abs":"Byte-level tokenization enables language models to handle any Unicode input, but models can generate invalid UTF-8 sequences when encountering rare or unseen characters. We investigate the relationship between training scale and UTF-8 generation reliability with a 355M parameter model trained on 80B tokens from a balanced multilingual corpus of English, Japanese, Korean, and Chinese. We introduce multiple evaluation protocols that isolate UTF-8 structural validity from language modeling. UTF-8 validity convergence lags perplexity by a roughly a factor of two: perplexity stabilizes after 2.1B tokens, but UTF-8 validity requires 4.2B tokens. In context-free generation, rare characters achieve higher structural validity than common characters, suggesting over-specialization of frequent character representations. Through experiments, we observed that reliable UTF-8 generation is a distinct capability requiring evaluation beyond perplexity.
","absKo":"Byte-level tokenization은 language model이 임의의 Unicode 입력을 처리할 수 있게 해주지만, 드물거나 보지 못한 문자를 만났을 때 model이 잘못된 UTF-8 시퀀스를 생성할 수 있다. 우리는 영어, 일본어, 한국어, 중국어로 구성된 균형 잡힌 multilingual corpus에서 80B tokens로 학습한 355M parameter model을 사용해, training scale과 UTF-8 generation reliability의 관계를 조사한다. 우리는 UTF-8의 structural validity를 language modeling과 분리해 평가하는 여러 evaluation protocol을 제안한다. UTF-8 validity convergence는 perplexity에 비해 대략 두 배 정도 뒤처진다. perplexity는 2.1B tokens 이후 안정화되지만, UTF-8 validity에는 4.2B tokens가 필요하다. context-free generation에서는 희귀 문자가 흔한 문자보다 더 높은 structural validity를 보였는데, 이는 빈번한 character representation의 과도한 specialization을 시사한다. 실험을 통해 우리는 신뢰할 수 있는 UTF-8 generation이 perplexity를 넘어선 평가를 필요로 하는 별도의 capability임을 관찰했다.
"},{"id":"60860","en":"Accordion-Thinking: Self-Regulated Step Summaries for Efficient and Readable LLM Reasoning","ko":"Accordion-Thinking: 효율적이고 읽기 쉬운 LLM 추론을 위한 자기조절 단계 요약","authors":"Zhicheng Yang, Zhijiang Guo, Yinya Huang, Yongxin Wang, Wenlei Shi, Yiwei Wang, Xiaodan Liang, Jing Tang","pos":"#4517","link":"https://openreview.net/forum?id=vz23iIMvyd","abs":"Scaling test-time compute via long Chain-of-Thought unlocks remarkable gains in reasoning capabilities, yet it faces practical limits due to the linear growth of KV cache and quadratic attention complexity. In this paper, we introduce AccordionThinking, an end-to-end framework where LLMs learn to self-regulate the granularity of the reasoning steps through dynamic summarization. This mechanism enables a Fold inference mode, where the model periodically summarizes its thought process and discards former thoughts to reduce dependency on historical tokens. We apply reinforcement learning to incentivize this capability further, uncovering a critical insight: the accuracy gap between the highly efficient Fold mode and the exhaustive Unfold mode progressively narrows and eventually vanishes over the course of training. This phenomenon demonstrates that the model learns to encode essential reasoning information into compact summaries, achieving effective compression of the reasoning context. Our AccordionThinker demonstrates that with learned self-compression, LLMs can tackle complex reasoning tasks with minimal dependency token overhead without compromising solution quality, and it achieves a 3× throughput while maintaining accuracy on a 48GB GPU memory configuration, while the structured step summaries provide a human-readable account of the reasoning process.
","absKo":"long Chain-of-Thought를 통해 test-time compute를 확장하면 reasoning capability에서 놀라운 성능 향상을 얻을 수 있지만, KV cache의 선형적 증가와 quadratic attention complexity로 인해 실용적 한계에 부딪힌다. 본 논문에서는 LLM이 dynamic summarization을 통해 reasoning step의 granularity를 스스로 조절하도록 학습하는 end-to-end framework인 AccordionThinking을 제안한다. 이 메커니즘은 Fold inference mode를 가능하게 하며, 이 모드에서 모델은 주기적으로 자신의 사고 과정을 요약하고 이전 생각을 버려 historical token에 대한 의존도를 줄인다. 우리는 이 능력을 더 강화하기 위해 reinforcement learning을 적용했고, 중요한 통찰을 발견했다. 즉, 높은 효율을 가진 Fold mode와 완전 탐색형 Unfold mode 사이의 정확도 차이가 학습이 진행될수록 점차 줄어들다가 결국 사라진다. 이 현상은 모델이 핵심 reasoning 정보를 압축된 요약에 인코딩하는 법을 학습하여, reasoning context를 효과적으로 압축함을 보여준다. 우리의 AccordionThinker는 학습된 self-compression을 통해 LLM이 solution quality를 저하시키지 않으면서 minimal dependency token overhead로 복잡한 reasoning task를 처리할 수 있음을 보여주며, 48GB GPU memory 구성에서 정확도를 유지한 채 3배의 throughput을 달성한다. 동시에 구조화된 step summary는 reasoning process를 사람이 읽을 수 있는 형태로 제공한다.
"},{"id":"62262","en":"Harnessing Spectrum Video for Subject-Level Few-Shot and Cross-Montage EEG Generalization","ko":"Spectrum Video를 활용한 Subject-level Few-Shot 및 Cross-Montage EEG 일반화","authors":"Wei Wang, Fang He, Yifan Li, Wanying Qu, Yawei Li, Quanying Liu, Yanwei Fu","pos":"#3310","link":"https://openreview.net/forum?id=iCjSoADDPs","abs":"Existing EEG models are limited by electrode heterogeneity and rigid \"channel-first\" architectures that treat sensors as independent features. We propose Brain Signal Rendering (BSR), which reinterprets EEG as a physical projection of neural activity and transforms raw signals into geometry-aware Spectrum Videos. By utilizing VideoMAE for self-supervised pre-training, BSR learns robust, layout-agnostic spatiotemporal representations that preserve neural topology. We further introduce subject-level few-shot learning and cross-montage fine-tuning to rigorously evaluate generalization across subjects and electrode configurations. Experiments show that VideoMAE model integrated with the BSR framework significantly outperforms state-of-the-art spectrum based methods, providing a scalable and data-efficient foundation for generalizable EEG modeling.
","absKo":"기존 EEG model은 electrode heterogeneity와 sensor를 독립적인 feature로 취급하는 경직된 \"channel-first\" architecture의 제약을 받는다. 우리는 Brain Signal Rendering(BSR)을 제안하는데, 이는 EEG를 neural activity의 물리적 projection으로 재해석하고 raw signal을 geometry-aware Spectrum Video로 변환한다. BSR은 self-supervised pre-training을 위해 VideoMAE를 활용함으로써, neural topology를 보존하는 강건하고 layout-agnostic한 spatiotemporal representation을 학습한다. 또한 subject-level few-shot learning과 cross-montage fine-tuning을 도입하여 subject와 electrode configuration 전반에 걸친 generalization을 엄밀하게 평가한다. 실험 결과, BSR framework에 통합된 VideoMAE model은 state-of-the-art spectrum-based method를 크게 능가하며, 일반화 가능한 EEG modeling을 위한 확장 가능하고 data-efficient한 기반을 제공한다.
"},{"id":"62007","en":"Towards the Training of Deeper Predictive Coding Neural Networks","ko":"더 깊은 predictive coding neural network 학습 방향","authors":"Chang Qi, Matteo Forasassi, Thomas Lukasiewicz, Tommaso Salvatori","pos":"#512","link":"https://openreview.net/forum?id=klUTVUyqw7","abs":"Predictive coding networks are neural models that perform inference through an iterative energy minimization process. While effective in shallow architectures, they suffer significant performance degradation beyond five to seven layers. In this work, we show that this degradation is caused by exponentially imbalanced errors between layers during weight updates, and the predictions from the previous layers not being effective in guiding updates in deeper layers. Furthermore, when training models with skip connections, the energy propagated by the residuals reaches higher layers faster than the one propagated by the main pathway, affecting test accuracy. We address the first issue by introducing a novel precision-weighted optimization of latent variables that balances error distributions during the relaxation phase, the second issue by proposing a novel weight update mechanism that reduces error accumulation in deeper layers, and the third one by using identity nodes that slow down the propagation of the energy in the residual connections. Empirically, our methods achieve performance comparable to backpropagation on deep models such as ResNet18, opening new possibilities for predictive coding in complex tasks.
","absKo":"Predictive coding networks는 iterative energy minimization 과정을 통해 추론을 수행하는 neural model이다. 얕은 아키텍처에서는 효과적이지만, 5개에서 7개 층을 넘어가면 성능이 크게 저하된다. 본 연구에서는 이러한 저하가 weight update 동안 층 간 error가 exponentially imbalanced해지고, 이전 층의 prediction이 더 깊은 층의 update를 효과적으로 안내하지 못하기 때문에 발생함을 보인다. 또한 skip connection을 가진 모델을 학습할 때, residual을 통해 전파되는 energy가 main pathway를 통해 전파되는 것보다 더 빠르게 상위 층에 도달하여 test accuracy에 영향을 준다. 우리는 첫 번째 문제를 relaxation phase 동안 error distribution을 균형 있게 조정하는 novel precision-weighted optimization of latent variables로 해결하고, 두 번째 문제는 더 깊은 층에서 error accumulation을 줄이는 새로운 weight update mechanism으로, 세 번째 문제는 residual connection에서 energy 전파를 느리게 하는 identity node를 사용하여 해결한다. 실험적으로, 우리의 방법은 ResNet18과 같은 deep model에서 backpropagation에 필적하는 성능을 달성하여, 복잡한 task에서 predictive coding의 새로운 가능성을 연다.
"},{"id":"64681","en":"Towards Generalizable EEG-to-fMRI Synthesis via a Unified, Context-Aware Prompting Framework","ko":"통합된 Context-Aware Prompting 프레임워크를 통한 일반화 가능한 EEG-to-fMRI 합성을 향하여","authors":"Yamin Li, Shiyu Wang, Chang Li, Ange Lou, Haatef Pourmotabbed, Sarah Goodale, Dario Englot, Daniel Moyer, Roza G Bayrak, Catie Chang","pos":"#513","link":"https://openreview.net/forum?id=Kw1Z8gOTvk","abs":"Functional magnetic resonance imaging (fMRI) provides dynamic measurements of human brain activity at high spatial resolution and depth, but its use is constrained by high cost, limited accessibility, and strict acquisition requirements. Synthesizing fMRI data from more accessible, non-invasive modalities such as electroencephalography (EEG) offers a promising alternative, enabling inference of deep brain dynamics from low-cost scalp recordings in naturalistic settings. Despite recent progress, existing EEG-to-fMRI translation methods typically rely on region-specific models and offer limited support for subject-level and dataset-level heterogeneity, restricting their generalizability. We propose UniEFS, a unified EEG-to-fMRI synthesis model that enables full-brain fMRI reconstruction while accommodating varying demographic and physiological contexts within a single model. Our approach leverages a pretrained fMRI decoder to embed rich spatial priors and introduces condition-aware prompt tokens that encode subject-level and experimental metadata, enabling effective handling of heterogeneous datasets. We extensively evaluate our model performance on eyes-closed resting-state data and demonstrate that it can reliably reconstruct temporally-resolved whole-brain fMRI activity, with strong potential to generalize to task-based fMRI and clinical populations in a zero-shot manner.
","absKo":"Functional magnetic resonance imaging (fMRI)는 높은 spatial resolution과 depth에서 인간 뇌 활동의 동적 측정을 제공하지만, 높은 비용, 제한된 접근성, 엄격한 acquisition requirement로 인해 사용이 제약된다. electroencephalography (EEG)와 같은 더 접근 가능하고 비침습적인 modality로부터 fMRI 데이터를 합성하는 것은 유망한 대안으로, 자연스러운 환경에서 저비용 scalp recording을 통해 deep brain dynamics를 추론할 수 있게 한다. 최근 진전에도 불구하고, 기존 EEG-to-fMRI translation method는 일반적으로 region-specific model에 의존하며 subject-level 및 dataset-level heterogeneity에 대한 지원이 제한적이어서 generalizability가 떨어진다. 우리는 단일 model 안에서 다양한 demographic 및 physiological context를 수용하면서 full-brain fMRI reconstruction을 가능하게 하는 통합 EEG-to-fMRI synthesis model인 UniEFS를 제안한다. 우리의 접근법은 pretrained fMRI decoder를 활용해 풍부한 spatial prior를 embed하고, subject-level 및 experimental metadata를 encode하는 condition-aware prompt token을 도입하여 heterogeneous dataset을 효과적으로 다룰 수 있게 한다. 우리는 eyes-closed resting-state data에서 모델 성능을 광범위하게 평가하고, 시간적으로 분해된 whole-brain fMRI activity를 신뢰성 있게 재구성할 수 있음을 보이며, zero-shot 방식으로 task-based fMRI 및 clinical population까지 일반화될 잠재력이 큼을 보여준다.
"},{"id":"61997","en":"Torus Graphs for Large Scale Neural Phase Analysis","ko":"대규모 neural phase analysis를 위한 Torus graph","authors":"Jack Goffinet, Casey Hanks, David Carlson","pos":"#514","link":"https://openreview.net/forum?id=kq22pSSKwA","abs":"Oscillatory neural signals such as electroencephalography (EEG) and local field potentials (LFPs) show phase relationships that coordinate communication across brain regions. Modern recordings capture hundreds of channels across many frequency bins, yet standard phase analyses are restricted to only a few variables. The Torus Graph (TG) model, an exponential-family distribution over phases whose univariate and pairwise potentials generalize von Mises distributions, infers principled structure among oscillations but models only static, undirected dependencies and is limited to $\\sim 100$ variables because its score matching inference scales as $\\mathcal{O}(d^{6})$. We introduce a stochastic score matching procedure that reduces the per-iteration cost to $\\mathcal{O}(d^{2})$, enabling inference on datasets with thousands of variables. This scalable foundation supports analyses of 1,860 frequency-phase features from multi-electrode LFPs and enables two extensions previously inaccessible to TGs or classical circular statistics: (i) a TG-Hidden Markov Model capturing state-dependent phase-coupling changes (e.g., spindle-related states during sleep) and (ii) an autoregressive TG inferring directional interactions via transfer-entropy estimation. Applied to LFP recordings, these models reveal state-dependent phase-interaction patterns between wakefulness and NREM sleep. Together, they enable systematic, large-scale mapping of dynamic and directional phase relationships across brain and cognitive states.","absKo":"뇌파도(electroencephalography, EEG)와 local field potentials(LFPs) 같은 진동성 신경 신호는 뇌 영역 간 통신을 조율하는 phase relationship를 보인다. 최신 기록 장비는 수백 개의 채널과 많은 frequency bin을 포착하지만, 표준 phase 분석은 소수의 변수에만 제한된다. Torus Graph(TG) 모델은 von Mises distribution을 일반화하는 단변량 및 쌍변량 potential을 갖는 phase에 대한 exponential-family distribution으로, 진동 간의 원리적 구조를 추론하지만 정적이고 비방향성인 의존성만 모델링하며, score matching inference가 $\\mathcal{O}(d^{6})$로 스케일되기 때문에 약 $\\sim 100$개 변수로 제한된다. 우리는 반복당 비용을 $\\mathcal{O}(d^{2})$로 낮추는 stochastic score matching procedure를 도입하여, 수천 개 변수에 대한 inference를 가능하게 한다. 이 확장 가능한 기반은 multi-electrode LFP에서 1,860개의 frequency-phase feature를 분석할 수 있게 하며, TG나 고전적 circular statistics로는 이전에 접근할 수 없었던 두 가지 확장을 가능하게 한다. 즉, (i) state-dependent phase-coupling 변화를 포착하는 TG-Hidden Markov Model(예: 수면 중 spindle 관련 state)과 (ii) transfer-entropy estimation을 통해 방향성 상호작용을 추론하는 autoregressive TG이다. LFP 기록에 적용했을 때, 이 모델들은 각성 상태와 NREM sleep 사이의 state-dependent phase-interaction pattern을 드러낸다. 이들을 통해 뇌 및 인지 상태 전반에 걸친 동적이고 방향성 있는 phase relationship을 체계적이고 대규모로 매핑할 수 있다."},{"id":"63866","en":"A Hitchhiker's Guide to Poisson Gradient Estimation","ko":"Poisson 그래디언트 추정에 대한 안내서","authors":"Michael Ibrahim, Hanqi Zhao, Eli Sennesh, Zhi Li, Anqi Wu, Jacob Yates, Chengrui Li, Hadi Vafaii","pos":"#600","link":"https://openreview.net/forum?id=T4Ibp5vLpE","abs":"Poisson-distributed latent variable models are widely used in computational neuroscience, but differentiating through discrete stochastic samples remains challenging. Two approaches address this: Exponential Arrival Time (EAT) simulation and Gumbel-SoftMax (GSM) relaxation. We provide the first systematic comparison of these methods, along with practical guidance for practitioners. Our main technical contribution is a modification to the EAT method that theoretically guarantees an unbiased first moment (exactly matching the firing rate), and reduces second-moment bias. We evaluate these methods on their distributional fidelity, gradient quality, and performance on two tasks: (1) variational autoencoders with Poisson latents, and (2) partially observable generalized linear models, where latent neural connectivity must be inferred from observed spike trains. Across all metrics, our modified EAT method exhibits better overall performance (often comparable to exact gradients), and substantially higher robustness to hyperparameter choices. Together, our results clarify the trade-offs between these methods and offer concrete recommendations for practitioners working with Poisson latent variable models.
","absKo":"Poisson 분포를 따르는 latent variable model은 computational neuroscience에서 널리 사용되지만, discrete stochastic sample을 통해 미분하는 것은 여전히 어렵다. 이를 해결하는 두 접근법이 있다. 하나는 Exponential Arrival Time(EAT) simulation이고, 다른 하나는 Gumbel-SoftMax(GSM) relaxation이다. 우리는 이 두 방법에 대한 첫 번째 체계적 비교와 함께, 실무자를 위한 실용적 가이드를 제시한다. 우리의 주요 기술 기여는 EAT 방법의 수정으로, 이론적으로 unbiased first moment를 보장하여 firing rate와 정확히 일치하게 하고, second-moment bias를 줄인다는 점이다. 우리는 distributional fidelity, gradient quality, 그리고 두 가지 task에서의 성능을 평가한다. (1) Poisson latent를 사용하는 variational autoencoder, (2) latent neural connectivity를 관측된 spike train으로부터 추론해야 하는 partially observable generalized linear model이다. 모든 metric에서 수정된 EAT 방법은 더 나은 전반적 성능을 보였고(종종 exact gradient와 비슷한 수준), hyperparameter 선택에 대해서도 훨씬 높은 robustness를 보였다. 종합하면, 우리의 결과는 이러한 방법들 간의 trade-off를 명확히 하고 Poisson latent variable model을 다루는 실무자를 위한 구체적인 권고를 제공한다.
"},{"id":"61739","en":"BrainJanus: A Foundation Model for Unified Understanding and Generation across Brain, Vision, and Language","ko":"BrainJanus: 뇌, 비전, 언어 전반의 통합 이해와 생성을 위한 Foundation Model","authors":"Haitao Wu, Qirui Zhang, Zhouheng Yao, Shangquan Sun, Qihao Zheng, Mianxin Liu, Chi Zhang, Wanli Ouyang, Chunfeng Song, Changqing Zhang, Jiamin Wu","pos":"#602","link":"https://openreview.net/forum?id=nJxailqsUW","abs":"Modeling the bidirectional correspondence between external sensory stimuli and internal neural activity has emerged as a critical frontier in neuroscience. However, existing approaches predominantly treat brain encoding and decoding as isolated tasks, relying heavily on unimodal alignment and external priors while overlooking the brain's intrinsic nature as a multimodal integration system. To address these limitations, we propose BrainJanus, the first unified brain foundation model that integrates brain, vision, and language within a single framework. Specifically, we introduce a Unified Brain Tokenizer to quantize continuous neural dynamics into discrete tokens aligned with visual and linguistic representations in a shared Omni space. Building on this, we utilize an All-in-One autoregressive architecture that leverages next-token prediction to enable seamless any-to-any generation, which encompasses image-to-brain and text-to-brain encoding, and brain-to-image and brain-to-text decoding. Extensive experiments demonstrate that BrainJanus achieves superior performance across diverse benchmarks. Furthermore, our framework exhibits zero-shot generalization and preserves interpretable biological topography, highlighting its potential as a general-purpose brain modeling paradigm. The code and pretrained models will be released to support further research.
","absKo":"외부 감각 자극과 내부 신경 활동 간의 양방향 대응 관계를 모델링하는 문제는 신경과학에서 중요한 최전선으로 부상했다. 그러나 기존 접근법은 주로 brain encoding과 decoding을 서로 분리된 task로 다루며, 단일 모달 alignment와 외부 prior에 크게 의존하는 반면, brain을 multimodal integration system으로 보는 고유한 성격은 간과한다. 이러한 한계를 해결하기 위해 우리는 brain, vision, language를 단일 framework 안에 통합한 최초의 unified brain foundation model인 BrainJanus를 제안한다. 구체적으로, 우리는 연속적인 neural dynamics를 shared Omni space에서 visual 및 linguistic representation과 정렬된 discrete token으로 양자화하는 Unified Brain Tokenizer를 도입한다. 이를 바탕으로, next-token prediction을 활용하는 All-in-One autoregressive architecture를 사용하여 image-to-brain과 text-to-brain encoding, 그리고 brain-to-image와 brain-to-text decoding을 포괄하는 seamless any-to-any generation을 가능하게 한다. 대규모 실험은 BrainJanus가 다양한 benchmark 전반에서 우수한 성능을 달성함을 보여준다. 또한 우리 framework는 zero-shot generalization을 보이며 해석 가능한 biological topography를 보존하여, 범용 brain modeling paradigm으로서의 잠재력을 강조한다. 코드와 pretrained model은 추가 연구를 지원하기 위해 공개될 예정이다.
"},{"id":"61497","en":"Cross-Subject Modeling for Widefield Calcium Imaging via Atlas-Aligned Spatiotemporal Tokenization","ko":"Atlas 정렬 Spatiotemporal Tokenization을 통한 Widefield Calcium Imaging의 Cross-Subject Modeling","authors":"Mohammad Hosseini, Eray Erturk, Saba Hashemi, Maryam Shanechi","pos":"#603","link":"https://openreview.net/forum?id=pZq2RMptsQ","abs":"Large-scale, multi-subject widefield calcium imaging provides unprecedented access to brain-wide cortical dynamics. However, the high dimensionality, complex spatiotemporal structure, and substantial task-irrelevant activity in widefield recordings have largely restricted modeling efforts to single-session analyses, limiting scalability and generalization. While cross-subject foundation-style modeling has been explored for some neural modalities, cross-subject models for widefield calcium imaging have not yet been demonstrated, and subject-invariant zero-shot behavior decoding remains elusive in neurofoundation modeling more broadly. Towards foundation modeling of widefield data, we introduce WiCAT, a multi-subject model that leverages self-supervised pretraining to both outperform single-session models and enable zero-shot behavior decoding on unseen subjects. WiCAT introduces an atlas-grounded tokenization scheme without session-specific components and learns globally shared spatiotemporal representations. Across multiple widefield datasets, the pretrained model supports lightweight downstream decoding, transfers across subjects, tasks, and datasets, and outperforms baseline models. Notably, the model also achieves robust zero-shot continuous behavior decoding and left-out brain region reconstruction on unseen subjects.
","absKo":"대규모 다중 주체 widefield calcium imaging은 brain-wide cortical dynamics에 대한 전례 없는 접근을 제공한다. 그러나 widefield 기록의 높은 차원성, 복잡한 spatiotemporal structure, 그리고 상당한 task-irrelevant activity 때문에 모델링 노력은 대체로 single-session 분석에 국한되어 왔으며, 이는 확장성과 일반화를 제한한다. 일부 neural modality에서는 cross-subject foundation-style modeling이 탐색되었지만, widefield calcium imaging에 대한 cross-subject model은 아직 입증되지 않았고, subject-invariant zero-shot behavior decoding은 neurofoundation modeling 전반에서도 여전히 달성되지 않았다. widefield data의 foundation modeling을 향해, 우리는 self-supervised pretraining을 활용하여 single-session model을 능가하고 보지 못한 subject에서 zero-shot behavior decoding을 가능하게 하는 multi-subject model인 WiCAT을 소개한다. WiCAT은 session-specific component가 없는 atlas-grounded tokenization scheme을 도입하고, 전역적으로 공유되는 spatiotemporal representation을 학습한다. 여러 widefield dataset 전반에서, 사전학습 모델은 가벼운 downstream decoding을 지원하고, subject, task, dataset 간 전이를 수행하며, baseline model을 능가한다. 특히 이 모델은 보지 못한 subject에서 robust한 zero-shot continuous behavior decoding과 left-out brain region reconstruction도 달성한다.
"},{"id":"63612","en":"EEG-Based Multimodal Learning via Hyperbolic Mixture-of-Curvature Experts","ko":"하이퍼볼릭 Mixture-of-Curvature Experts를 통한 EEG 기반 멀티모달 학습","authors":"Runhe Zhou, Shanglin Li, Guanxiang Huang, Xinliang Zhou, Qibin Zhao, Motoaki Kawanabe, Yi Ding, Cuntai Guan","pos":"#604","link":"https://openreview.net/forum?id=VSn4wLFd2p","abs":"Electroencephalography (EEG)-based multimodal learning integrates brain signals with complementary modalities to improve mental state assessment, providing great clinical potential. The effectiveness of such paradigms largely depends on the representation learning on heterogeneous modalities. For EEG-based paradigms, one promising approach is to leverage their hierarchical structures, as recent studies have shown that both EEG and associated modalities (e.g., facial expressions) exhibit hierarchical structures reflecting complex cognitive processes. However, Euclidean embeddings struggle to represent these hierarchical structures due to their flat geometry, while hyperbolic spaces, with their exponential growth property, are naturally suited for them. In this work, we propose EEG-MoCE, a novel hyperbolic mixture-of-curvature experts framework designed for multimodal neurotechnology. EEG-MoCE assigns each modality to an expert in a learnable-curvature hyperbolic space, enabling adaptive modeling of its intrinsic geometry. A curvature-aware fusion strategy then dynamically weights experts, emphasizing modalities with richer hierarchical information. Extensive experiments on benchmark datasets demonstrate that EEG-MoCE achieves state-of-the-art performance, including emotion recognition, sleep staging, and cognitive assessment.
","absKo":"Electroencephalography (EEG) 기반 multimodal learning은 뇌 신호를 보완적 modality와 통합하여 mental state assessment를 개선하며, 큰 임상적 잠재력을 제공한다. 이러한 패러다임의 효과는 이질적인 modality에 대한 representation learning에 크게 좌우된다. EEG 기반 패러다임에서 유망한 접근은 계층적 구조를 활용하는 것인데, 최근 연구들은 EEG와 관련 modality(예: facial expression) 모두 복잡한 cognitive process를 반영하는 계층적 구조를 보인다고 보고했다. 그러나 Euclidean embedding은 평평한 기하(flat geometry) 때문에 이러한 계층적 구조를 표현하는 데 어려움을 겪는 반면, exponential growth 특성을 지닌 hyperbolic space는 이에 자연스럽게 적합하다. 본 연구에서 우리는 multimodal neurotechnology를 위해 설계된 새로운 hyperbolic mixture-of-curvature experts framework인 EEG-MoCE를 제안한다. EEG-MoCE는 각 modality를 학습 가능한 curvature를 가진 hyperbolic space의 expert에 할당하여, 그 고유한 기하를 적응적으로 모델링할 수 있게 한다. 이어서 curvature-aware fusion strategy가 expert의 가중치를 동적으로 조절하여, 더 풍부한 계층 정보를 가진 modality를 강조한다. benchmark dataset에 대한 광범위한 실험은 EEG-MoCE가 emotion recognition, sleep staging, cognitive assessment를 포함해 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"60932","en":"EEG-FM-Bench: A Comprehensive Benchmark for the Systematic Evaluation and Diagnostic Analyses of EEG Foundation Models","ko":"EEG-FM-Bench: EEG Foundation Model의 체계적 평가와 진단 분석을 위한 종합 Benchmark","authors":"Wei Xiong, Jiangtong Li, Jie Li, Kun Zhu, Changjun Jiang","pos":"#605","link":"https://openreview.net/forum?id=vGeNaFHdET","abs":"Electroencephalography foundation models (EEG-FMs) have advanced brain signal analysis, but the lack of standardized evaluation benchmarks impedes model comparison and scientific progress. Current evaluations rely on inconsistent protocols that render cross-model comparisons unreliable, while a lack of diagnostic analyses obscures the internal mechanisms driving transfer efficiency and scaling behaviors. To address this, we introduce EEG-FM-Bench, a unified system for the standardized evaluation of EEG-FMs. The benchmark integrates 14 datasets across 10 paradigms and incorporates diverse experimental settings, including multiple fine-tuning strategies, task organizations, and classifier configurations, supported by tools for gradient and representation analysis. Our experiments and analysis reveal several critical insights: (1) multi-task learning acts as a critical regularizer to mitigate overfitting in data-scarce EEG contexts; (2) pre-training efficiency is currently limited by gradient conflicts between reconstruction objectives and downstream tasks; (3) model scaling deviates from typical laws, as compact architectures with domain-specific inductive biases consistently outperform significantly larger models. This benchmark enables fair comparison and reproducible analysis, shifting the field from fragmented results to interpretable advances.
","absKo":"Electroencephalography foundation models(EEG-FMs)는 뇌 신호 분석을 발전시켜 왔지만, 표준화된 평가 benchmark의 부재가 모델 비교와 과학적 진전을 가로막고 있다. 현재의 평가는 일관성 없는 프로토콜에 의존하고 있어 모델 간 비교가 신뢰할 수 없으며, 진단 분석의 부족은 transfer 효율성과 scaling behavior를 좌우하는 내부 메커니즘을 가리고 있다. 이를 해결하기 위해, 우리는 EEG-FMs의 표준화된 평가를 위한 통합 시스템 EEG-FM-Bench를 제안한다. 이 benchmark는 10개 paradigm에 걸친 14개 dataset을 통합하고, gradient 및 representation 분석을 위한 도구의 지원 아래 여러 fine-tuning strategy, task organization, classifier configuration을 포함한 다양한 실험 설정을 포괄한다. 우리의 실험과 분석은 몇 가지 중요한 통찰을 보여준다: (1) multi-task learning은 데이터가 부족한 EEG 환경에서 overfitting을 완화하는 중요한 regularizer로 작동한다; (2) pre-training 효율은 reconstruction objective와 downstream task 간의 gradient conflict에 의해 현재 제약된다; (3) model scaling은 전형적인 law에서 벗어나며, domain-specific inductive bias를 갖춘 compact architecture가 훨씬 더 큰 모델보다 일관되게 우수한 성능을 보인다. 이 benchmark는 공정한 비교와 재현 가능한 분석을 가능하게 하여, 이 분야를 분절된 결과에서 해석 가능한 진전으로 전환시킨다.
"},{"id":"65676","en":"EmBrace: A Collective Knowledge Fusion Framework Toward Unified EEG Foundation Models","ko":"EmBrace: 통합 EEG 기반 모델을 향한 집단 지식 융합 프레임워크","authors":"Chenyu Liu, MUYUN JIANG, Pu Wan, Jinxin Pi, Jingying Ma, Xinliang Zhou, Peiliang Gong, Yi Ding, Chenyu Liu","pos":"#606","link":"https://openreview.net/forum?id=BJ5rYj8O8W","abs":"Electroencephalography (EEG) foundation models (EFMs) have achieved strong performance across a wide range of downstream EEG tasks via pretraining and fine-tuning. Through empirical analysis, we observe that (i) no single EFM consistently dominates all tasks, yet identifying the task-specific optimal model by fine-tuning all EFMs introduces substantial computational overhead; and (ii) models with inferior task-level performance still exhibit strengths at the sample level as distinct architectures induce diverse inductive biases. These observations motivate EmBrace, a representation-centric framework for sample-aware knowledge fusion that avoids the constraints of parameter-level or output-level alignment. EmBrace synchronizes discriminative intermediate representations into a unified manifold and adaptively weights multiple EFMs at the sample level while selecting the most compatible model as the carrier. Extensive experiments across multiple EEG benchmarks demonstrate that EmBrace consistently improves over SOTA EFMs and generalizes effectively under cross-task settings.
","absKo":"Electroencephalography(EEG) foundation model(EFM)은 pretraining과 fine-tuning을 통해 다양한 downstream EEG task에서 강력한 성능을 달성해 왔다. 실증 분석을 통해 우리는 (i) 어떤 단일 EFM도 모든 task를 일관되게 지배하지는 않지만, 모든 EFM을 fine-tuning하여 task-specific optimal model을 식별하는 것은 상당한 computational overhead를 초래한다는 점과, (ii) task-level 성능이 낮은 model도 sample 수준에서는 강점을 보일 수 있으며, 서로 다른 architecture가 다양한 inductive bias를 유도한다는 점을 관찰했다. 이러한 관찰은 parameter-level이나 output-level alignment의 제약을 피하는 sample-aware knowledge fusion을 위한 representation-centric framework인 EmBrace를 동기부여한다. EmBrace는 discriminative intermediate representation을 하나의 unified manifold로 동기화하고, sample 수준에서 multiple EFM을 적응적으로 가중하면서 가장 호환성이 높은 model을 carrier로 선택한다. 여러 EEG benchmark에 대한 광범위한 실험은 EmBrace가 SOTA EFM보다 일관되게 향상된 성능을 보이며 cross-task setting에서도 효과적으로 일반화됨을 보여준다.
"},{"id":"61510","en":"FOVI: A biologically-inspired foveated interface for deep vision models","ko":"FOVI: Deep Vision Models를 위한 생물학 영감 Foveated Interface","authors":"Nicholas Blauch, George Alvarez, Talia Konkle","pos":"#607","link":"https://openreview.net/forum?id=pPfyQujFgG","abs":"Human vision is foveated, with variable resolution peaking at the center of a large field of view; this reflects an efficient trade-off for active sensing, allowing eye-movements to bring different parts of the world into focus with other parts of the world in context. In contrast, most computer vision systems encode the visual world at a uniform resolution, raising challenges for processing full-field high-resolution images efficiently. We propose a foveated vision interface (FOVI) based on the human retina and primary visual cortex, that reformats a variable-resolution retina-like sensor array into a uniformly dense, V1-like sensor manifold. Receptive fields are defined as k-nearest-neighborhoods (kNNs) on the sensor manifold, enabling kNN-convolution via a novel kernel mapping technique. We demonstrate two use cases: (1) an end-to-end kNN-convolutional architecture, and (2) a foveated adaptation of the foundational DINOv3 ViT model, leveraging low-rank adaptation (LoRA). These models provide competitive performance at a fraction of the computational cost of non-foveated baselines, opening pathways for efficient and scalable active sensing for high-resolution egocentric vision.
","absKo":"Human vision은 foveated되어 있으며, 넓은 field of view의 중심에서 해상도가 가장 높고 주변으로 갈수록 가변적이다. 이는 active sensing을 위한 효율적인 trade-off를 반영하며, eye-movement가 세계의 서로 다른 부분을 focus로 가져오게 하면서 다른 부분은 context로 유지할 수 있게 한다. 반면 대부분의 computer vision system은 visual world를 균일한 해상도로 인코딩하여, 전체 시야의 high-resolution image를 효율적으로 처리하는 데 어려움을 낳는다. 우리는 인간의 retina와 primary visual cortex에 기반한 foveated vision interface(FOVI)를 제안한다. 이는 가변 해상도의 retina-like sensor array를 균일하게 조밀한 V1-like sensor manifold로 재구성한다. Receptive field는 sensor manifold 위의 k-nearest-neighborhood(kNN)로 정의되며, 새로운 kernel mapping technique을 통해 kNN-convolution을 가능하게 한다. 우리는 두 가지 사용 사례를 보인다: (1) end-to-end kNN-convolutional architecture, (2) low-rank adaptation(LoRA)을 활용한 foundational DINOv3 ViT model의 foveated adaptation. 이러한 모델은 non-foveated baseline의 계산 비용 일부만으로도 경쟁력 있는 성능을 제공하며, 고해상도 egocentric vision을 위한 효율적이고 확장 가능한 active sensing의 길을 연다.
"},{"id":"64789","en":"From Representation to Action: A Unified Laplacian Framework for Spatial Representation and Path Planning","ko":"표현에서 행동으로: 공간 표현 및 경로 계획을 위한 통합 Laplacian 프레임워크","authors":"Junfeng Zuo, Yuhang He, Wenhao Zhang, Fang Fang, Si Wu","pos":"#608","link":"https://openreview.net/forum?id=JnROrhQsyJ","abs":"Navigation in complex environments relies on internal spatial representations that guide action. While the brain employs a diverse repertoire of spatial tuning cells—including grid, place, and head-direction cells—a normative theory linking these static neural codes to the dynamic process of navigation remains elusive. In this work, we propose a Unified Laplacian Framework derived from first principles of representational smoothness and efficiency. We first demonstrate that diverse spatial codes emerge naturally as spectral decompositions of the Laplacian operator. Crucially, bridging the gap from representation to action, we derive a biologically plausible navigation policy based on the Green's function potential. We show that this potential encodes the environment's intrinsic geometry to enable simple, trap-free gradient ascent, achieving significantly improved sample efficiency and generalization in goal-reaching tasks. Furthermore, we demonstrate that these spectral representations can be learned directly from high-dimensional visual inputs, confirming its plausibility in realistic environments. Our results suggest that the \"cognitive map\" can be viewed as a spectral embedding of the Laplacian, providing a rigorous foundation for spatial cognition in both biological and artificial agents.
","absKo":"복잡한 환경에서의 navigation은 행동을 안내하는 내부 공간 표현에 의존한다. 뇌는 grid cells, place cells, head-direction cells를 포함한 다양한 spatial tuning cells를 사용하지만, 이러한 정적 neural code를 navigation의 동적 과정과 연결하는 규범적 이론은 여전히 확립되지 않았다. 본 연구에서는 representational smoothness와 efficiency의 제1원리에서 유도된 Unified Laplacian Framework를 제안한다. 먼저 우리는 다양한 spatial code가 Laplacian operator의 spectral decomposition으로 자연스럽게 출현함을 보인다. 결정적으로, representation에서 action으로의 간극을 메우기 위해 우리는 Green's function potential에 기반한 생물학적으로 타당한 navigation policy를 도출한다. 이 potential이 환경의 intrinsic geometry를 인코딩하여 단순하고 trap-free한 gradient ascent를 가능하게 하며, goal-reaching task에서 상당히 향상된 sample efficiency와 generalization을 달성함을 보인다. 더 나아가 이러한 spectral representation이 고차원 visual input에서 직접 학습될 수 있음을 보여, 실제 환경에서의 타당성을 확인한다. 우리의 결과는 \"cognitive map\"을 Laplacian의 spectral embedding으로 볼 수 있음을 시사하며, 생물학적 및 인공 agent 모두에서 spatial cognition에 대한 엄밀한 기반을 제공한다.
"},{"id":"63823","en":"Let EEG Models Learn EEG","ko":"EEG 모델이 EEG를 학습하게 하라","authors":"Yifan Wang, Yijia Ma, Wen Li, Chenyu You","pos":"#609","link":"https://openreview.net/forum?id=TP8OuKKmsf","abs":"High-fidelity EEG generation is critical for alleviating data scarcity and addressing privacy constraints in large-scale neural modeling. Despite recent progress, most existing approaches formulate EEG generation via discrete denoising objectives, which inadequately reflect the inherently continuous temporal dynamics and spectral structure of neural activity. As a result, these methods often struggle to preserve long-range temporal dependencies and exhibit mismatches in the spectral and temporal structure of the generated signals. In this work, we argue that effective EEG generation requires models that operate directly on the continuous evolution of neural signals. We introduce Just EEG Transformer (JET), a generative framework based on conditional flow matching that models EEG as raw sequences evolving along continuous trajectories. By learning a smooth vector field that transports noise to the EEG data distribution, JET captures temporal continuity and transient dynamics without relying on discretized denoising schemes or domain-specific representations. To ensure that the learned dynamics remain consistent with key properties of EEG signals, we introduce principled constraints that preserve spectral structure, temporal stationarity, and signal-level statistics. Across three large-scale benchmarks, JET consistently achieves state-of-the-art performance, reducing TS-FID by over 40\\% compared to strong baselines. Extensive analyses show that JET captures key structural properties of neural dynamics, providing a scalable and principled approach to EEG generation.
","absKo":"고충실도 EEG 생성은 데이터 부족을 완화하고 대규모 neural modeling에서 privacy 제약을 해결하는 데 중요하다. 최근 진전에도 불구하고, 기존 대부분의 방법은 EEG 생성을 discrete denoising objective로 정식화하는데, 이는 neural activity의 본질적으로 연속적인 시간 동역학과 spectral structure를 충분히 반영하지 못한다. 그 결과 이러한 방법은 장기 시간 의존성을 보존하는 데 어려움을 겪고, 생성된 신호의 spectral 및 temporal structure에서 불일치를 보이는 경우가 많다. 이 작업에서 우리는 효과적인 EEG 생성에는 neural signal의 continuous evolution에 직접 작동하는 model이 필요하다고 주장한다. 우리는 conditional flow matching에 기반한 생성 프레임워크인 Just EEG Transformer(JET)를 제안하며, 이는 EEG를 연속 궤적을 따라 진화하는 raw sequence로 모델링한다. noise를 EEG data distribution으로 수송하는 매끄러운 vector field를 학습함으로써, JET는 discretized denoising scheme이나 domain-specific representation에 의존하지 않고도 temporal continuity와 transient dynamics를 포착한다. 학습된 dynamics가 EEG signal의 핵심 특성과 일관되게 유지되도록, 우리는 spectral structure, temporal stationarity, signal-level statistics를 보존하는 원리 기반 제약을 도입한다. 세 개의 대규모 benchmark 전반에서 JET는 일관되게 state-of-the-art 성능을 달성하며, 강력한 baseline 대비 TS-FID를 40\\% 이상 감소시킨다. 광범위한 분석은 JET가 neural dynamics의 핵심 구조적 특성을 포착함을 보여주며, EEG 생성을 위한 확장 가능하고 원리 기반의 접근법을 제공한다.
"},{"id":"64443","en":"PATCHCODE: Discrete Latent Predictive Learning for EEG Foundation Model","ko":"PATCHCODE: EEG 파운데이션 모델을 위한 이산 잠재 예측 학습","authors":"KIEREN YU, Ziyang Liu, Chang Huang, Kaishun WU","pos":"#610","link":"https://openreview.net/forum?id=NWcZ5vualM","abs":"EEG foundation models aim to learn transferable representations, yet EEG recordings are dominated by high-frequency noise and large cross-subject variability. Existing pretraining strategies such as masked autoencoding or autoregressive modeling often treat waveform reconstruction as the learning signal, making the objective sensitive to stochastic fluctuations rather than consistent neurophysiological structure. To address this overlap, we propose \\textbf{PATCHCODE}, a region-aware discrete predictive learning framework that keeps the encoder input continuous while introducing region-aware discrete codes as stable supervision targets. We pretrain a masked predictive encoder on continuous EEG patches with dual-granularity learning: it predicts missing patch-level representations to preserve fine spatiotemporal structure, while aligning them to discretized code targets from a frozen tokenizer to anchor robust semantics. Extensive Experiments across ten downstream datasets spanning emotion recognition, motor imagery, sleep staging, and seizure detection demonstrate that PATCHCODE achieves competitive performance compared to state-of-the-art baselines, with notable gains in data efficiency under limited labels. Our code is available at https://anonymous.4open.science/r/PATCHCODE-323D/.
","absKo":"EEG foundation model은 transferable representation을 학습하는 것을 목표로 하지만, EEG recording은 고주파 noise와 큰 cross-subject variability에 의해 지배된다. masked autoencoding이나 autoregressive modeling 같은 기존 pretraining strategy는 흔히 waveform reconstruction을 learning signal로 다루기 때문에, objective가 일관된 neurophysiological structure보다 stochastic fluctuation에 더 민감해진다. 이러한 overlap을 해결하기 위해, 우리는 \\textbf{PATCHCODE}를 제안한다. 이는 encoder input은 continuous로 유지하면서, region-aware discrete code를 안정적인 supervision target으로 도입하는 region-aware discrete predictive learning framework이다. 우리는 dual-granularity learning을 통해 continuous EEG patch 위에서 masked predictive encoder를 pretrain한다. 이는 세밀한 spatiotemporal structure를 보존하기 위해 missing patch-level representation을 예측하는 동시에, frozen tokenizer에서 나온 discretized code target과 정렬하여 robust semantic을 고정한다. emotion recognition, motor imagery, sleep staging, seizure detection을 포괄하는 10개의 downstream dataset에 걸친 광범위한 실험은 PATCHCODE가 state-of-the-art baseline과 비교해 경쟁력 있는 성능을 달성하며, 제한된 label 환경에서 data efficiency 측면에서 특히 두드러진 향상을 보임을 보여준다. 코드는 https://anonymous.4open.science/r/PATCHCODE-323D/ 에서 확인할 수 있다.
"},{"id":"66072","en":"RECTOR: Masked Region-Channel-Temporal Modeling for Affective and Cognitive Representation Learning","ko":"RECTOR: 정서 및 인지 표현 학습을 위한 Masked 영역-채널-시간 모델링","authors":"Jinhan Liu, Mahsa Shoaran","pos":"#611","link":"https://openreview.net/forum?id=7GSLP4hqUO","abs":"Affective and cognitive disorders manifest as distributed, time-varying brain network dynamics across regions, channels, and time, challenging robust representation learning from EEG/sEEG for clinical diagnosis. We propose RECTOR (Masked Region–Channel–Temporal Modeling), an end-to-end self-supervised framework that unifies joint region-channel-temporal representation learning beyond fixed anatomical priors. At its core, RECTOR-SA is a hierarchical, block-sparse self-attention induced by Adaptive Functional Partitioning that evolves region structures from static anatomical definitions to adaptive functional regions. The self-supervision is driven by Masked Topology and Representation Learning, which jointly optimizes three complementary objectives: Masked Predictive Modeling, Topological Structure Modeling, and Cross-View Consistency. Across diverse benchmarks, RECTOR sets a new state-of-the-art in EEG emotion recognition and sEEG task-engagement classification. Crucially, its strong robustness to missing channels and cross-montage generalization underscores its potential for large-scale pre-training on heterogeneous EEG/sEEG, providing interpretable insights at both region and channel levels.
","absKo":"정서 및 인지 장애는 region, channel, time 전반에 걸쳐 분포하고 시간에 따라 변하는 뇌 네트워크 동역학으로 나타나며, 이는 임상 진단을 위한 EEG/sEEG의 강건한 representation learning을 어렵게 만든다. 우리는 고정된 해부학적 prior를 넘어 region-channel-temporal representation learning을 통합하는 end-to-end self-supervised framework인 RECTOR(Masked Region–Channel–Temporal Modeling)를 제안한다. 그 핵심인 RECTOR-SA는 Adaptive Functional Partitioning에 의해 유도된 hierarchical block-sparse self-attention으로, region 구조를 정적 해부학적 정의에서 적응적 기능적 region으로 진화시킨다. self-supervision은 Masked Topology and Representation Learning에 의해 구동되며, 이는 Masked Predictive Modeling, Topological Structure Modeling, Cross-View Consistency의 세 가지 상보적 목표를 jointly optimize한다. 다양한 benchmark 전반에서 RECTOR는 EEG emotion recognition과 sEEG task-engagement classification에서 새로운 state-of-the-art를 수립한다. 특히 결측 channel과 cross-montage generalization에 대한 강한 강건성은, 이질적인 EEG/sEEG에 대한 대규모 pre-training과 region 및 channel 수준 모두에서의 해석 가능한 통찰을 제공할 잠재력을 보여준다.
"},{"id":"65741","en":"See the Emotion: A Facial Emoji Proxy Modeling for EEG Emotion Recognition","ko":"감정을 보다: EEG 감정 인식을 위한 얼굴 이모지 대리 모델링","authors":"Jingjing Hu, Dan Guo, Haofan Cheng, Zeng ying, Zhan Si, Jinxing Zhou, Meng Wang","pos":"#612","link":"https://openreview.net/forum?id=AdTBZw18aH","abs":"Despite the high accuracy of EEG-based emotion recognition, existing models remain opaque \"black boxes\", lacking semantic grounding between abstract neural features and human-interpretable states. In this paper, we reframe EEG explainability as a cross-modal generation task, shifting the paradigm from feature attribution to behavioral visualization. We introduce Facial Emoji Proxy Modeling, a novel framework that translates high-dimensional EEG signals into identity-agnostic facial emojis. Guided by the neuroscientific prior of neural-facial consistency, this approach grounds neural representations in the manifold of observable facial dynamics. Technically, our framework integrates FMENet, a specialized backbone modeling expression-relevant spatial synergies, and the Facial Emoji Learning Branch (FELB), which treats emoji reconstruction as a structured semantic regularizer. Extensive experiments on EAV and MMER benchmarks demonstrate that our method achieves state-of-the-art accuracy among EEG-only models. Crucially, it generates semantically faithful facial animations that provide a transparent, privacy-preserving window into the brain's emotional evolution, effectively allowing users to \"see the emotion\" directly from neural signals.
","absKo":"EEG-based emotion recognition은 높은 정확도를 보이지만, 기존 모델은 여전히 추상적인 neural feature와 사람이 해석할 수 있는 상태 사이의 semantic grounding이 부족한 불투명한 \"black box\"로 남아 있다. 본 논문에서는 EEG explainability를 cross-modal generation task로 재정의하여, feature attribution에서 behavioral visualization으로 패러다임을 전환한다. 우리는 고차원 EEG signal을 identity-agnostic facial emoji로 변환하는 새로운 framework인 Facial Emoji Proxy Modeling을 제안한다. neural-facial consistency라는 neuroscientific prior에 기반하여, 이 접근은 neural representation을 관측 가능한 facial dynamics의 manifold에 정착시킨다. 기술적으로, 우리의 framework는 expression-relevant spatial synergies를 모델링하는 specialized backbone인 FMENet과, emoji reconstruction을 구조화된 semantic regularizer로 취급하는 Facial Emoji Learning Branch (FELB)를 통합한다. EAV와 MMER benchmark에서 수행한 광범위한 실험은 우리의 방법이 EEG-only model 중 state-of-the-art accuracy를 달성함을 보여준다. 결정적으로, 이 방법은 의미적으로 충실한 facial animation을 생성하여 뇌의 감정 변화를 투명하고 privacy-preserving하게 들여다볼 수 있게 하며, 사용자가 neural signal만으로 감정을 직접 \"see the emotion\" 할 수 있도록 한다.
"},{"id":"62577","en":"Stabilized Supralinear Networks Learn to Switch Coding Strategies Balancing Cost and Performance","ko":"안정화된 Supralinear Network가 비용과 성능 균형 코딩 전략 전환을 학습","authors":"Haoyu Wang, Wei Dai, Jialun Ma, Jiawei Zhang, Jinqi Liu, Mingchen Jiang, Mingqing Xiao, Yansen Wang, Dongqi Han, Dongsheng Li, Yuguo Yu","pos":"#613","link":"https://openreview.net/forum?id=fPX6A4us61","abs":"Lateral connections (LCs) are ubiquitous in the cortical circuits. While modern deep learning architectures have rich intralayer interactions (e.g., convolutional mixing, normalization, or attention) to support feature selectivity and contextual modulation, explicit excitatory and inhibitory (E-I) LCs remain underexplored and unjustified additions for encoding models in both deep learning and neuroscience. In this work, we analyze and train stabilized supralinear networks (SSNs) with sufficiently strong recurrent excitation and feedback inhibition, using local unsupervised plasticity rules under natural image stimulation. We demonstrate that these LCs support a transition between dynamical regimes under different input conditions. During the transition, the network shifts from employing population coding to sparse coding balancing cost and performance: population coding extracts robust features from low-contrast or noisy inputs by recruiting more neurons while sparse coding encodes high-contrast, proper inputs efficiently with minimal cost. These results are then compared against sparse coding and ICA-based models. Our findings frame explicit E-I recurrent neural networks through the lens of dynamic coding strategies and provide insights into designing more adaptive and robust systems with a concrete example in vision.
","absKo":"Lateral connection (LC)은 cortical circuit에서 ubiquitous하다. 현대 deep learning architecture는 convolutional mixing, normalization, attention 등 풍부한 intralayer interaction을 통해 feature selectivity와 contextual modulation을 지원하지만, 명시적인 excitatory 및 inhibitory (E-I) LC는 deep learning과 neuroscience의 encoding model 모두에서 아직 충분히 탐구되지 않았고 정당화되지도 않은 추가 요소로 남아 있다. 본 연구에서는 natural image 자극 하에서 local unsupervised plasticity rule을 사용하여, 충분히 강한 recurrent excitation과 feedback inhibition을 갖는 stabilized supralinear network (SSN)을 분석하고 학습시킨다. 우리는 이러한 LC가 서로 다른 input 조건에서 dynamical regime 간 전이를 지원함을 보인다. 이 전이 동안 network는 비용과 성능의 균형을 이루면서 population coding에서 sparse coding으로 전환한다. population coding은 더 많은 neuron을 동원하여 low-contrast 또는 noisy input에서 robust feature를 추출하는 반면, sparse coding은 적절한 high-contrast input을 최소 비용으로 효율적으로 인코딩한다. 이후 이러한 결과를 sparse coding 및 ICA 기반 model과 비교한다. 우리의 발견은 explicit E-I recurrent neural network를 dynamic coding strategy의 관점에서 조명하며, vision에서의 구체적인 사례를 통해 더 adaptive하고 robust한 system 설계에 대한 통찰을 제공한다.
"},{"id":"61179","en":"Temporal Context Reinstatement Drives Episodic-Like Order Memory in Long-Context Language Models","ko":"시간적 맥락 재활성화가 Long-Context Language Model의 일화 유사 순서 기억을 이끈다","authors":"Mathis Pink, Vy Vo, Qinyuan Wu, Jianing Mu, Javier Turek, Uri Hasson, Kenneth Norman, Sebastian Michelmann, Alexander Huth, Mariya Toneva","pos":"#614","link":"https://openreview.net/forum?id=sycSMgogxM","abs":"Human episodic memory supports the retrieval of experiences that unfold over extended timescales, yet the computational mechanisms underlying this ability remain debated due to the difficulty of mechanistic accessibility in long-term memory experiments in humans. Long-context LLMs may offer promising ways to reveal plausible computational mechanisms that drive this type of retrieval. Here, we investigate whether and, if so, how LLMs capture core behavioral signatures of humans of a central aspect of episodic memory via a temporal order memory task. Using a new dataset of human behavior based on a full-length novel, we show substantial similarities between the human and model performances on the temporal order memory task. We next perform long-context mechanistic interpretability analyses to reveal the underlying mechanisms in the model, and find that model performance relies on a one-dimensional temporal code that is reinstated during retrieval by a single time-reinstatement attention head. These findings support temporal context reinstatement as an important mechanism for episodic-like temporal-order memory in LLMs, offering new insights into how temporal aspects of long-term episodic memory may be instantiated in both artificial and biological systems.
","absKo":"인간의 episodic memory는 오랜 시간에 걸쳐 전개되는 경험을 retrieval할 수 있게 하지만, 인간의 long-term memory 실험에서는 mechanistic accessibility의 어려움 때문에 이 능력의 계산적 메커니즘이 여전히 논쟁적이다. long-context LLM은 이러한 retrieval을 구동하는 plausible computational mechanism을 밝히는 유망한 수단이 될 수 있다. 여기서 우리는 temporal order memory task를 통해 episodic memory의 중심적 측면에 대해 LLM이 인간의 핵심 행동적 특징을 포착하는지, 그렇다면 어떻게 포착하는지를 조사한다. 완전한 길이의 소설을 바탕으로 한 새로운 인간 행동 데이터셋을 사용하여, temporal order memory task에서 인간과 모델의 성능 사이에 상당한 유사성이 있음을 보인다. 이어서 long-context mechanistic interpretability analysis를 수행해 모델 내부 메커니즘을 밝히고, 모델 성능이 retrieval 동안 단일 time-reinstatement attention head에 의해 재현되는 1차원 temporal code에 의존함을 발견한다. 이 결과는 temporal context reinstatement가 LLM에서 episodic-like temporal-order memory의 중요한 메커니즘임을 뒷받침하며, 장기 episodic memory의 temporal aspect가 인공 시스템과 생물학적 시스템 모두에서 어떻게 구현될 수 있는지에 대한 새로운 통찰을 제공한다."},{"id":"65519","en":"Ellipsoidal Time Series Forecasting","ko":"타원체 시계열 예측","authors":"Qilin Wang","pos":"#1402","link":"https://openreview.net/forum?id=CoAHlJuMdh","abs":"We argue that long-term forecasting requires learning local Jacobians with explicit spectral structure, going beyond simple conditional mean matching. Our method, \\textsc{Fern}, invokes Brenier's theorem to directly parameterize the Jacobian as a symmetric positive semi-definite (SPD) factorization, treating forecasting as the optimal transport of probability mass from a fixed Gaussian source to data-dependent ellipsoids. This formulation reduces the computational cost of eigen-decomposition from cubic to linear time while providing interpretable, geometry-aware projections. To rigorously evaluate robustness, we introduce a synthetic benchmark with controlled non-stationary shocks alongside new metrics like Effective Prediction Time (EPT). \\textsc{Fern} demonstrates exceptional stability, outperforming baselines like DLinear and Koopa by over two orders of magnitude (up to $790\\times$) on nonstationary settings where standard benchmarks fail to expose model brittleness.","absKo":"우리는 장기 예측(long-term forecasting)에는 단순한 conditional mean matching을 넘어서, 명시적인 spectral structure를 가진 local Jacobian을 학습하는 것이 필요하다고 주장한다. 우리의 방법인 \\textsc{Fern}은 Brenier's theorem을 활용해 Jacobian을 대칭 양의 준정부호(symmetric positive semi-definite, SPD) factorization으로 직접 parameterize하며, 예측을 고정된 Gaussian source에서 data-dependent ellipsoid로 probability mass를 옮기는 optimal transport로 간주한다. 이 formulation은 eigen-decomposition의 계산 비용을 cubic time에서 linear time으로 줄이면서, 해석 가능하고 geometry-aware한 projection을 제공한다. 견고성을 엄밀하게 평가하기 위해, 우리는 제어된 non-stationary shock을 포함하는 synthetic benchmark와 Effective Prediction Time(EPT) 같은 새로운 metric을 도입한다. \\textsc{Fern}은 비정상성(nonstationary) 설정에서 DLinear와 Koopa 같은 baseline을 두 자릿수 이상(최대 $790\\times$) 능가하며 탁월한 안정성을 보였고, standard benchmark가 모델의 취약성을 드러내지 못하는 상황에서도 그 우수성을 입증한다."},{"id":"65805","en":"FlowState: Sampling-Rate‑Equivariant Time‑Series Forecasting","ko":"FlowState: 샘플링 레이트 등변 시계열 예측","authors":"Lars Graf, Thomas Ortner, Stanisław Woźniak, Angeliki Pantazi","pos":"#1404","link":"https://openreview.net/forum?id=9yNGBueKgZ","abs":"Existing time series foundation models (TSFMs), often based on transformer variants, lack adaptability to different sampling rates, struggle with generalization across varying context and target lengths and are computationally inefficient. We introduce FlowState, a novel TSFM architecture that achieves sampling-rate–equivariant forecasting through a unified design that pairs a state space model (SSM) encoder with a functional basis decoder (FBD). This design enables continuous-time modeling and dynamic time-scale adjustment, allowing FlowState to inherently generalize across all possible temporal resolutions, and dynamically adjust the forecasting horizons without retraining. We further propose an efficient pretraining strategy that improves robustness and accelerates training. Despite being one of the smallest TSFMs, FlowState achieves state-of-the-art results on the widely used GIFT-Eval benchmark, while demonstrating superior adaptability to unseen sampling rates. Our detailed analyses confirm the effectiveness of its components, and we demonstrate its unique ability to adapt to varying input sampling rates.
","absKo":"기존의 time series foundation model(TSFM)은 주로 transformer 변형에 기반하지만, 서로 다른 sampling rate에 대한 적응성이 부족하고, 다양한 context 및 target length에 걸친 generalization에 어려움을 겪으며, 계산적으로도 비효율적이다. 우리는 state space model(SSM) encoder와 functional basis decoder(FBD)를 결합한 통합 설계를 통해 sampling-rate–equivariant forecasting을 달성하는 새로운 TSFM architecture인 FlowState를 소개한다. 이 설계는 continuous-time modeling과 동적인 time-scale 조정을 가능하게 하여, FlowState가 가능한 모든 temporal resolution에 대해 본질적으로 generalize할 수 있게 하고, 재학습 없이 forecasting horizon을 동적으로 조정할 수 있게 한다. 우리는 또한 robustness를 향상시키고 학습을 가속하는 효율적인 pretraining strategy를 제안한다. 가장 작은 TSFM 중 하나임에도 불구하고, FlowState는 널리 사용되는 GIFT-Eval benchmark에서 state-of-the-art 결과를 달성하는 동시에 보지 못한 sampling rate에 대한 우수한 적응성을 보인다. 우리의 상세한 분석은 구성 요소의 효과를 확인해 주며, 다양한 input sampling rate에 적응하는 고유한 능력을 입증한다.
"},{"id":"60604","en":"Towards Foundation Models for Zero-Shot Time Series Anomaly Detection: Leveraging Synthetic Data and Relative Context Discrepancy","ko":"Zero-Shot 시계열 이상 탐지를 위한 Foundation Model을 향하여: 합성 데이터와 상대적 컨텍스트 불일치 활용","authors":"Tian Lan, Hao Le, Jinbo Li, Wenjun He, Meng Wang, Chenghao Liu, Chen Zhang","pos":"#1405","link":"https://openreview.net/forum?id=yXqnyIvGAy","abs":"TSAD is a critical task, but developing models that generalize to unseen data in a zero-shot manner remains a major challenge. Prevailing foundation models for TSAD predominantly rely on reconstruction-based objectives, which suffer from a fundamental objective mismatch and representation conflict: they tend to memorize static patterns from training data, struggling to identify subtle anomalies while often misinterpreting complex normal patterns in unseen domains. To overcome these limitations, we introduce TimeRCD, a novel foundation model for TSAD built upon a new pre-training paradigm: Relative Context Discrepancy (RCD). Instead of reconstructing inputs based on fixed priors, TimeRCD is explicitly trained to adaptively identify anomalies by contrasting the query with its surrounding context. This relational approach, implemented with a standard Transformer architecture, enables the model to infer normality on-the-fly and capture contextual shifts indicative of anomalies that reconstruction-based methods often miss. To empower this paradigm, we develop a large-scale, diverse synthetic corpus with context-dependent anomaly labels, providing the rich supervisory signal necessary for effective pre-training. Extensive experiments demonstrate that TimeRCD significantly outperforms existing general-purpose and anomaly-specific foundation models in zero-shot TSAD across diverse datasets. Our results validate the superiority of the RCD paradigm and establish a new, effective path toward building robust and generalizable foundation models for time series anomaly detection. The code is available in \\url{https://anonymous.4open.science/r/TimeRCD-5BE1/}
","absKo":"TSAD는 중요한 task이지만, zero-shot 방식으로 보지 못한 데이터에 일반화되는 모델을 개발하는 것은 여전히 큰 도전이다. 현재 TSAD의 foundation model은 주로 reconstruction-based objective에 의존하는데, 이는 근본적인 objective mismatch와 representation conflict를 겪는다. 즉, 학습 데이터의 정적인 패턴을 암기하는 경향이 있어 미묘한 anomaly를 식별하는 데 어려움을 겪고, 보지 못한 도메인에서는 복잡한 normal pattern을 종종 오인한다. 이러한 한계를 극복하기 위해, 우리는 새로운 pre-training paradigm인 Relative Context Discrepancy(RCD) 위에 구축된 TSAD용 신규 foundation model, TimeRCD를 소개한다. 고정된 prior에 기반하여 입력을 재구성하는 대신, TimeRCD는 query를 주변 context와 대조함으로써 anomaly를 적응적으로 식별하도록 명시적으로 학습된다. 표준 Transformer architecture로 구현된 이 relational approach는 모델이 정상성을 즉석에서 추론하고, reconstruction-based method가 자주 놓치는 anomaly를 시사하는 contextual shift를 포착할 수 있게 한다. 이 paradigm을 뒷받침하기 위해, 우리는 context-dependent anomaly label을 갖는 대규모의 다양하고 synthetic한 corpus를 구축하여 효과적인 pre-training에 필요한 풍부한 supervision signal을 제공한다. 광범위한 실험은 TimeRCD가 다양한 dataset에서의 zero-shot TSAD에서 기존 general-purpose 및 anomaly-specific foundation model보다 크게 우수함을 보여준다. 우리의 결과는 RCD paradigm의 우수성을 검증하고, time series anomaly detection을 위한 robust하고 일반화 가능한 foundation model을 구축하는 새로운 효과적인 경로를 확립한다. 코드는 \\url{https://anonymous.4open.science/r/TimeRCD-5BE1/}에서 이용 가능하다
"},{"id":"67131","en":"Position: Interpretability in Deep Time Series Models Demands Semantic Alignment","ko":"Position: 심층 시계열 모델의 해석 가능성에는 의미적 정렬이 요구된다","authors":"Giovanni De Felice, Riccardo D`Elia, Alberto Termine, Pietro Barbiero, Giuseppe Marra, Silvia Santini","pos":"#3306","link":"https://openreview.net/forum?id=YyQ0RYSFPe","abs":"Deep time series models continue to improve predictive performance, yet their deployment remains limited by their black-box nature. In response, existing interpretability approaches in the field keep focusing on explaining the internal model computations, without addressing whether they align or not with how a human would reason about the studied phenomenon. Instead, we state interpretability in deep time series models should pursue semantic alignment: predictions should be expressed in terms of variables that are meaningful to the end user, mediated by spatial and temporal mechanisms that admit user-dependent constraints. In this paper, we formalize this requirement and require that, once established, semantic alignment must be preserved under temporal evolution: a constraint with no analog in static settings. Provided with this definition, we outline a blueprint for semantically aligned deep time series models, identify properties that support trust, and discuss implications for model design.
","absKo":"deep time series model은 예측 성능을 계속 향상시키고 있지만, black-box 특성 때문에 배포는 여전히 제한된다. 이에 대한 응답으로, 이 분야의 기존 interpretability 접근법은 내부 model computation을 설명하는 데 계속 초점을 맞추고 있으며, 그것이 연구 대상 현상에 대해 사람이 어떻게 reasoning할지와 일치하는지 여부는 다루지 않는다. 대신 우리는 deep time series model에서의 interpretability가 semantic alignment를 추구해야 한다고 주장한다. 즉, prediction은 end user에게 의미 있는 variable로 표현되어야 하며, user-dependent constraint를 수용할 수 있는 spatial 및 temporal mechanism에 의해 매개되어야 한다. 본 논문에서는 이러한 요구를 formalize하고, 일단 성립한 semantic alignment는 temporal evolution 동안 보존되어야 한다고 요구한다. 이는 static setting에서는 존재하지 않는 제약이다. 이러한 정의를 바탕으로 우리는 semantically aligned deep time series model을 위한 blueprint를 제시하고, 신뢰를 뒷받침하는 property를 식별하며, model design에 대한 함의를 논의한다.
"},{"id":"63011","en":"Crisp: A Spectral-Based Interaction Strategy for Multivariate Time Series Forecasting","ko":"Crisp: 다변량 시계열 예측을 위한 Spectral 기반 상호작용 전략","authors":"Binwu Wang, Gaoyun Lin, Jiaming Ma, Qihe Huang, Zhengyang Zhou, Xu Wang, Pengkun Wang, Yang Wang","pos":"#3407","link":"https://openreview.net/forum?id=avYLuILgcr","abs":"Multivariate time series (MTS) forecasting critically depends on modeling inter-variable dependencies, yet existing paradigms face a trade-off: channel-isolation strategies can suffer from information fragmentation in strongly coupled systems, whereas channel-interaction methods often introduce spurious interactions among irrelevant variables. To address this challenge, we propose Coherent Resonance Interaction with Spectral Priors (Crisp). Crisp adopts the principle that effective information exchange should occur only between variables with compatible oscillatory patterns. Concretely, we derive spectral priors in the frequency domain to construct dynamic resonance topologies. With a differentiable, adaptive, and strictly sparse blocking mechanism, Crisp forces attention weights for spectrally inconsistent neighbors to be exactly zero. In addition, we introduce a spectral-gated feature filtering module to refine variable representations using intrinsic spectral characteristics. Extensive experiments demonstrate that Crisp significantly outperforms 20+ baselines. Our code is available at Anonymous GitHub.
","absKo":"Multivariate time series(MTS) forecasting은 변수 간 dependency를 모델링하는 데 크게 의존하지만, 기존 paradigm은 trade-off에 직면한다. channel-isolation strategy는 강하게 결합된 system에서 information fragmentation을 겪을 수 있고, channel-interaction method는 관련 없는 변수들 사이에 spurious interaction을 도입하는 경우가 많다. 이 문제를 해결하기 위해 우리는 Coherent Resonance Interaction with Spectral Priors(Crisp)를 제안한다. Crisp는 효과적인 정보 교환은 호환 가능한 oscillatory pattern을 가진 변수 사이에서만 일어나야 한다는 원칙을 채택한다. 구체적으로, 우리는 frequency domain에서 spectral prior를 도출하여 dynamic resonance topology를 구성한다. 미분 가능하고 적응적이며 엄격하게 sparse한 blocking mechanism을 통해, Crisp는 spectral적으로 일관되지 않은 neighbor에 대한 attention weight를 정확히 zero로 만든다. 또한 변수 표현을 고유한 spectral characteristic으로 정제하기 위해 spectral-gated feature filtering module을 도입한다. 광범위한 실험은 Crisp가 20개 이상의 baseline을 크게 능가함을 보여준다. 코드는 Anonymous GitHub에서 제공된다.
"},{"id":"60735","en":"Nested Spatio-Temporal Time Series Forecasting","ko":"중첩 Spatio-Temporal 시계열 예측","authors":"YingHao Ai, Yukai Zhou, Ruoxi Jiang, Junyi An, Chao Qu, Zhijian Zhou, Shiyu Wang, Fenglei Cao, Zenglin Xu, Furao Shen, Yuan Qi","pos":"#401","link":"https://openreview.net/forum?id=x5xKTcGemE","abs":"Spatio-temporal forecasting is critical for real-world applications like traffic management, yet capturing complex interactions under high-noise conditions remains challenging. While current methods have shown improved accuracy using spatial physical priors, they often struggle with evolving temporal correlations and systematic errors. In this work, we propose a nested forecasting framework that couples future macro-level regional trends with micro-level historical observations, enabling top-down guidance from abstract future representations for fine-grained forecasting. Specifically, we construct semantically coherent regions via spectral clustering and design a progressive coarse-to-fine predictor to inject macro-dynamics into node-level forecasting. Extensive experiments on multiple real-world datasets demonstrate that our method consistently outperforms state-of-the-art baselines, validating the effectiveness of future macro-guided nested forecasting.
","absKo":"Spatio-temporal forecasting은 교통 관리와 같은 실제 응용에서 매우 중요하지만, 고잡음 조건에서 복잡한 상호작용을 포착하는 것은 여전히 어렵다. 현재 방법들은 spatial physical prior를 사용해 정확도를 향상시켜 왔지만, 진화하는 temporal correlation과 체계적 오류에는 종종 어려움을 겪는다. 본 연구에서는 미래의 macro-level regional trend와 micro-level historical observation을 결합하는 nested forecasting framework를 제안하여, 추상적인 미래 표현으로부터의 top-down guidance를 통해 세밀한 forecasting이 가능하도록 한다. 구체적으로는 spectral clustering을 통해 의미적으로 일관된 region을 구성하고, progressive coarse-to-fine predictor를 설계하여 macro-dynamics를 node-level forecasting에 주입한다. 여러 실제 데이터셋에서의 광범위한 실험은 우리의 방법이 state-of-the-art baseline을 일관되게 능가함을 보여 주며, future macro-guided nested forecasting의 효과를 입증한다.
"},{"id":"66318","en":"Not All Frequencies Are Equal: Energy-Adaptive Diffusion for Time Series Forecasting","ko":"모든 주파수가 동등하지 않다: 시계열 예측을 위한 에너지 적응형 Diffusion","authors":"Zining Qin, Huiling qin, Chenhao Wang, Jianxiong Guo, Tian Wang, Weijia Jia","pos":"#402","link":"https://openreview.net/forum?id=4kdkm56U5b","abs":"Diffusion models have achieved remarkable success in generative modeling, yet their application to time series forecasting remains suboptimal. Existing approaches apply uniform Gaussian noise across all time steps, assuming all frequency components should be corrupted at the same rate. However, energy distribution across frequencies in time series is highly non-uniform: when uniform noise is added, high-frequency components are disproportionately overwhelmed while low-frequency trends remain inadequately diffused. We propose EADiff, an energy-adaptive diffusion framework operating in the wavelet domain to address this frequency-energy imbalance. Our key insight is that high-energy components require stronger perturbation while low-energy details need gentler corruption to preserve informative structures. We introduce a learnable modulation mechanism that automatically adjusts noise levels for each frequency band on a per-instance basis. Built upon this adaptive scheduler, we design a conditional diffusion framework where low-frequency trends serve as generation conditions, and noise-level-aware loss weighting naturally emphasizes different frequency components according to their signal characteristics. This cohesive design enables the model to respect the intrinsic multi-scale structure throughout both forward and reverse processes. Extensive experiments demonstrate that EADiff consistently outperforms existing diffusion-based and state-of-the-art deterministic methods.
","absKo":"Diffusion model은 generative modeling에서 놀라운 성공을 거두었지만, time series forecasting에의 적용은 아직 최적화되지 않았다. 기존 접근법은 모든 time step에 동일한 Gaussian noise를 적용하며, 모든 frequency component가 같은 비율로 corrupted 되어야 한다고 가정한다. 그러나 time series의 frequency별 energy 분포는 매우 비균일하다. uniform noise를 추가하면 high-frequency component는 과도하게 압도되는 반면, low-frequency trend는 충분히 diffuse되지 않는다. 우리는 이 frequency-energy 불균형을 해결하기 위해 wavelet domain에서 동작하는 energy-adaptive diffusion framework인 EADiff를 제안한다. 우리의 핵심 통찰은 high-energy component에는 더 강한 perturbation이 필요하고, low-energy detail에는 정보 구조를 보존하기 위해 더 온화한 corruption이 필요하다는 점이다. 우리는 각 frequency band의 noise level을 instance별로 자동 조정하는 learnable modulation mechanism을 도입한다. 이 adaptive scheduler 위에, low-frequency trend를 generation condition으로 사용하는 conditional diffusion framework를 설계했으며, noise-level-aware loss weighting을 통해 signal 특성에 따라 서로 다른 frequency component를 자연스럽게 강조한다. 이러한 통합된 설계는 forward와 reverse process 모두에서 model이 본질적인 multi-scale structure를 존중하도록 만든다. 광범위한 실험은 EADiff가 기존 diffusion 기반 방법들과 최신 deterministic 방법들을 일관되게 능가함을 보여준다.
"},{"id":"61512","en":"Optimizing Network Simulation: Enhancing Performance Prediction Accuracy via Neural Architecture Search","ko":"Network Simulation 최적화: Neural Architecture Search를 통한 성능 예측 정확도 향상","authors":"ShaoChen He, Zirui Zhuang, Haifeng Sun, Xiaoyuan Fu, Qi Qi, Lei Zhang, Jianxin Liao, Jingyu Wang","pos":"#403","link":"https://openreview.net/forum?id=pOF8lTXg3h","abs":"Existing machine learning models for network simulation excel at predicting average performance but, due to their reliance on mean squared error, systematically fail to capture the critical tail-latency and jitter that define modern network stability. This 'tail-blindness' renders them unreliable for latency-sensitive systems. We bridge this gap by introducing Accurate Neural Architecture Search (ANAS), a paradigm that automates the discovery of architectures for high-precision, distribution-aware network simulation. ANAS corrects the evaluation inaccuracies of weight-sharing NAS via a similarity-constrained search, employs a hybrid search space to model complex traffic, and uses a Wasserstein loss to optimize for the entire delay distribution, not just its mean. Empirically, the ANAS-discovered architecture is holistically superior: it reduces overall validation loss by 25.8\\% compared to DeepQueueNet, demonstrating strong average-case performance, while simultaneously excelling at tail-sensitive metrics by lowering the normalized Wasserstein distance ($W_n$) by up to 69.8\\%. This confirms its ability to faithfully model a comprehensive performance spectrum, encompassing both average and critical tail behaviors. The ANAS framework provides a practical methodology for automatically creating high-fidelity model of network devices, enabling more reliable validation of next-generation network protocols and algorithms.","absKo":"네트워크 시뮬레이션을 위한 기존 machine learning model은 평균 성능 예측에는 뛰어나지만, mean squared error에 의존하기 때문에 현대 네트워크 안정성을 규정하는 중요한 tail-latency와 jitter를 체계적으로 포착하지 못한다. 이러한 'tail-blindness'는 latency-sensitive system에서 이들을 신뢰할 수 없게 만든다. 우리는 Accurate Neural Architecture Search(ANAS)를 도입하여 이 공백을 메운다. ANAS는 high-precision, distribution-aware network simulation을 위한 architecture 발견을 자동화하는 paradigm이다. ANAS는 similarity-constrained search를 통해 weight-sharing NAS의 평가 부정확성을 보정하고, 복잡한 traffic을 모델링하기 위해 hybrid search space를 사용하며, 평균뿐 아니라 전체 delay distribution을 최적화하기 위해 Wasserstein loss를 사용한다. 실험적으로 ANAS가 발견한 architecture는 전반적으로 우수하다. DeepQueueNet과 비교해 overall validation loss를 25.8\\% 줄여 강한 평균 사례 성능을 보이는 동시에, normalized Wasserstein distance($W_n$)를 최대 69.8\\%까지 낮춰 tail-sensitive metric에서도 뛰어나다. 이는 평균과 중요한 tail behavior를 모두 포괄하는 포괄적 성능 스펙트럼을 충실히 모델링할 수 있음을 확인한다. ANAS framework는 network device의 high-fidelity model을 자동으로 생성하는 실용적 방법론을 제공하며, 차세대 network protocol과 algorithm의 보다 신뢰할 수 있는 validation을 가능하게 한다."},{"id":"67106","en":"Position: Current Benchmarking Hinders Real Progress in Deep Learning for Time Series Forecasting","ko":"Position: 현재의 벤치마킹은 시계열 예측 딥러닝의 실제 진전을 저해한다","authors":"Valentina Moretti, Andrea Cini, Ivan Marisca, Cesare Alippi","pos":"#404","link":"https://openreview.net/forum?id=gtwbLmO7Wb","abs":"Deep learning models have grown popular in time series applications. However, the large quantity of newly proposed architectures and the often contradictory empirical results make it difficult to assess which design choice and model component drives performance. In this position paper, we argue that current benchmarking practices fail to identify the factors responsible for performance differences, thus slowing down progress in the field. In particular, differences in crucial design dimensions are overlooked when comparing architectures, ultimately leading to inconsistent outcomes. To support our position, we show that such differences—often treated as mere implementation details—can have a greater impact than adopting specific sequence modeling layers. We discuss how overlooked aspects (such as globality and locality) can (1) fundamentally change the class of the forecasting method and (2) drastically affect empirical results. Our findings suggest rethinking our benchmarking practices and focusing on the foundational aspects of the forecasting problem when designing and comparing architectures. As a concrete step, we propose an auxiliary forecasting model card, i.e., a template with a set of fields to characterize existing and new forecasting architectures based on key design choices.
","absKo":"Deep learning model은 time series 응용에서 널리 사용되고 있다. 그러나 새롭게 제안되는 architecture의 방대한 수와 종종 상충하는 실증 결과 때문에, 어떤 design choice와 model component가 성능을 좌우하는지 평가하기가 어렵다. 이 position paper에서는 현재의 benchmarking practice가 성능 차이를 유발하는 요인을 식별하는 데 실패하고 있으며, 그 결과 해당 분야의 진전이 느려지고 있다고 주장한다. 특히, architecture를 비교할 때 핵심 design dimension의 차이가 간과되며, 결국 일관성 없는 결과로 이어진다. 우리의 입장을 뒷받침하기 위해, 이러한 차이들이—흔히 단순한 implementation detail로 취급되지만—특정 sequence modeling layer를 채택하는 것보다 더 큰 영향을 미칠 수 있음을 보인다. 우리는 globality와 locality 같은 간과된 측면이 (1) forecasting method의 class를 근본적으로 바꾸고, (2) empirical result에 극적인 영향을 줄 수 있음을 논의한다. 우리의 findings는 benchmarking practice를 재고하고, architecture를 설계하고 비교할 때 forecasting problem의 foundational aspect에 초점을 맞출 것을 시사한다. 구체적인 단계로, 우리는 auxiliary forecasting model card, 즉 key design choice를 바탕으로 기존 및 새로운 forecasting architecture를 특성화하기 위한 필드 집합을 담은 템플릿을 제안한다.
"},{"id":"67104","en":"Position: Why a Dynamical Systems Perspective is Needed to Advance Time Series Modeling","ko":"Position: 시계열 모델링을 발전시키려면 왜 동역학 시스템 관점이 필요한가","authors":"Daniel Durstewitz, Christoph Jürgen Hemmer, Florian Hess, Charlotte Ricarda Doll, Lukas Eisenmann","pos":"#405","link":"https://openreview.net/forum?id=h2R3VYWpBm","abs":"Time series (TS) modeling has come a long way from early statistical, mainly linear, approaches to the current trend in TS foundation models. With a lot of hype and industrial demand in this field, it is not always clear how much progress there really is. To advance TS forecasting and analysis to the next level, here we argue that the field needs a dynamical systems (DS) perspective. TS of observations from natural or engineered systems almost always originate from some underlying DS, and arguably access to its governing equations would yield theoretically optimal forecasts. This is the promise of DS reconstruction (DSR), a class of ML/AI approaches that aim to infer surrogate models of the underlying DS from data. But models based on DS principles offer other profound advantages: Beyond short-term forecasts, they enable to predict the long-term statistics of an observed system, which in many practical scenarios may be the more relevant quantities. DS theory furthermore provides domain-independent theoretical insight into mechanisms underlying TS generation, and thereby will inform us, e.g., about upper bounds on performance of any TS model, generalization into unseen regimes as in tipping points, or potential control strategies. After reviewing some of the central concepts, methods, measures, and models in DS theory and DSR, we will discuss how insights from this field can advance TS modeling in crucial ways, enabling better forecasting with much lower computational and memory footprints. We conclude with a number of specific suggestions for translating insights from DSR into TS modeling.
","absKo":"Time series (TS) modeling은 초기의 statistical, 주로 linear한 접근에서 현재의 TS foundation models 추세에 이르기까지 크게 발전해 왔다. 이 분야에는 많은 hype와 산업적 수요가 존재하지만, 실제로 얼마나 진전이 있었는지는 항상 명확하지 않다. TS forecasting과 analysis를 다음 단계로 발전시키기 위해, 우리는 이 분야에 dynamical systems (DS) 관점이 필요하다고 주장한다. 자연계 또는 공학 시스템에서 관측된 TS는 거의 항상 어떤 underlying DS에서 기원하며, 그 governing equations에 접근할 수 있다면 이론적으로 최적의 forecast를 얻을 수 있다고 볼 수 있다. 이것이 DS reconstruction (DSR)의 약속이다. DSR은 데이터로부터 underlying DS의 surrogate models를 추론하려는 ML/AI 접근법의 한 부류이다. 그러나 DS 원리에 기반한 모델은 다른 심오한 장점도 제공한다. 단기 forecast를 넘어, 관측된 시스템의 long-term statistics를 예측할 수 있게 해 주며, 많은 실제 시나리오에서 이것이 더 중요한 quantity일 수 있다. 또한 DS theory는 TS 생성의 underlying mechanism에 대한 도메인 독립적인 theoretical insight를 제공하여, 예를 들어 any TS model의 성능 상한, tipping point와 같은 미관측 regime으로의 generalization, 혹은 잠재적 control strategy에 대해 알려 줄 수 있다. DS theory와 DSR의 핵심 개념, 방법, measure, model을 검토한 뒤, 이 분야의 통찰이 어떻게 TS modeling을 중요한 방식으로 발전시켜 더 낮은 computation 및 memory footprint로 더 나은 forecasting을 가능하게 하는지 논의한다. 마지막으로, DSR의 통찰을 TS modeling으로 전환하기 위한 몇 가지 구체적 제안을 제시한다.
"},{"id":"63243","en":"Revealing Scaling Behavior in Large-scale Time Series Models: Implications for More Efficient and Accurate Forecasting","ko":"대규모 시계열 모델에서 스케일링 거동 규명: 더 효율적이고 정확한 예측을 위한 시사점","authors":"Xin Qiu, Junlong Tong, Yirong Sun, Yunpu Ma, Xiaoyu Shen","pos":"#406","link":"https://openreview.net/forum?id=YmFkYtD6wO","abs":"Large-scale models are at the forefront of time series (TS) forecasting, dominated by two paradigms: fine-tuning text-based Large Language Models for TS (LLM4TS) and training Time Series Foundation Models (TSFMs) from scratch. Both approaches share a foundational assumption that scaling up model capacity and data volume leads to improved performance. However, we observe a scaling paradox in TS models, revealing a puzzling phenomenon that larger models do NOT always achieve better performance. Through extensive experiments on two model families across four scales (100M to 1.7B parameters) and diverse data (up to 6B observations), we rigorously confirm that the scaling paradox is a pervasive issue. We then diagnose its root cause by analyzing internal representations, identifying a phenomenon we call few-layer dominance: only a small subset of layers are functionally important, while the majority are redundant, under-utilized, and can even distract training. Based on this discovery, we propose a practical method to automatically identify and retain only these dominant layers. In our models, retaining only 21% of the parameters achieves up to a 12% accuracy improvement and a 2.7x inference speedup. We validate the universality of our method on 8 prominent SOTA models (LLM4TS and TSFMs, 90M to 6B), showing that retaining less than 30% layers achieves superior accuracy in over 95% tasks.
","absKo":"대규모 모델은 time series (TS) forecasting의 최전선에 있으며, 두 가지 패러다임이 주도하고 있다. 하나는 text-based Large Language Models를 TS에 fine-tuning하는 LLM4TS이고, 다른 하나는 Time Series Foundation Models (TSFMs)를 처음부터 학습하는 방식이다. 두 접근 모두 모델 용량과 데이터 규모를 키우면 성능이 향상된다는 근본 가정에 의존한다. 그러나 우리는 TS 모델에서 scaling paradox를 관찰했으며, 더 큰 모델이 항상 더 좋은 성능을 내는 것은 아니라는 난해한 현상을 밝혀냈다. 네 가지 규모(100M에서 1.7B parameters까지)의 두 모델 계열과 최대 6B observations에 이르는 다양한 데이터에 대한 광범위한 실험을 통해, 우리는 scaling paradox가 보편적인 문제임을 엄밀하게 확인했다. 이후 내부 representation을 분석하여 그 근본 원인을 진단했는데, 우리는 이를 few-layer dominance라 부른다. 즉, 기능적으로 중요한 것은 소수의 layer뿐이며, 나머지는 redundant하고 활용도가 낮으며 심지어 학습을 방해할 수도 있다. 이러한 발견을 바탕으로, 우리는 이러한 dominant layer만 자동으로 식별하고 유지하는 실용적 방법을 제안한다. 우리의 모델에서 파라미터의 21%만 유지해도 정확도가 최대 12% 향상되고 inference speed가 2.7배 빨라진다. 우리는 8개의 대표적인 SOTA model(LLM4TS 및 TSFMs, 90M에서 6B까지)에서 이 방법의 보편성을 검증했으며, 30% 미만의 layer만 유지해도 95% 이상의 task에서 더 우수한 정확도를 달성함을 보였다.
"},{"id":"62714","en":"Shapley Regularized Neural Granger Causality","ko":"Shapley 정규화 뉴럴 Granger 인과성","authors":"Maolin Yang, Zhoufan Zhu, Yuanhe Tian, Kun Gao, MUYI LI","pos":"#407","link":"https://openreview.net/forum?id=dyBjrF2P90","abs":"Identifying temporal causal structure is fundamental to understanding complex systems. Neural Granger causality has emerged as a powerful paradigm for this task, leveraging the expressiveness of neural networks to model intricate nonlinear dynamics. Although complex architectures excel at predictive modeling, existing methods typically rely on simple local measures for causal discovery, which extract only partial information from the learned model and may miss global dependencies. To address this issue, we reformulate Granger causality as a feature attribution problem and propose the Information-Theoretic Shapley value (Info-Shap) to measure global feature importance. We first establish the theoretical equivalence between zero Info-Shap and Granger non-causality. On top of this, we construct two novel regularizers to suppress spurious relationships and mitigate overfitting. These regularizers are model-agnostic and can be seamlessly integrated into the training of any differentiable neural network. Through extensive experiments on synthetic and realistic datasets, we demonstrate that our method robustly recovers the underlying causal relationships, providing a flexible tool for causal discovery in high-dimensional nonlinear time series.
","absKo":"Temporal causal structure를 식별하는 것은 복잡한 시스템을 이해하는 데 근본적이다. Neural Granger causality는 이 과제를 위한 강력한 패러다임으로 부상했으며, neural network의 표현력을 활용해 복잡한 nonlinear dynamics를 모델링한다. 복잡한 architecture는 예측 모델링에서는 뛰어나지만, 기존 방법은 일반적으로 causal discovery를 위해 단순한 local measure에 의존하여 학습된 모델에서 일부 정보만 추출하므로 global dependency를 놓칠 수 있다. 이 문제를 해결하기 위해, 우리는 Granger causality를 feature attribution 문제로 재정식화하고, global feature importance를 측정하기 위해 Information-Theoretic Shapley value(Info-Shap)를 제안한다. 먼저 zero Info-Shap과 Granger non-causality 사이의 이론적 동등성을 확립한다. 이를 바탕으로, 허위 관계를 억제하고 overfitting을 완화하기 위한 두 가지 새로운 regularizer를 구성한다. 이 regularizer는 model-agnostic하며 어떤 differentiable neural network의 학습에도 매끄럽게 통합될 수 있다. 합성 및 실제 데이터셋 전반의 광범위한 실험을 통해, 우리의 방법이 underlying causal relationship을 강건하게 복원함을 보이며, 고차원 비선형 시계열에서 causal discovery를 위한 유연한 도구를 제공한다.
"},{"id":"61266","en":"Sonar-TS: Search-Then-Verify Natural Language Querying for Time Series Databases","ko":"Sonar-TS: 시계열 데이터베이스를 위한 Search-Then-Verify 자연어 질의","authors":"Zhao Tan, Yiji Zhao, Shiyu Wang, Chang Xu, Yuxuan Liang, Xiping Liu, Shirui Pan, Ming Jin","pos":"#408","link":"https://openreview.net/forum?id=s0dgtvgAt1","abs":"Natural Language Querying for Time Series Databases (NLQ4TSDB) aims to assist non-expert users retrieve meaningful events, intervals, and summaries from massive temporal records. However, existing Text-to-SQL methods are not designed for continuous morphological intents such as shapes or anomalies, while time series models struggle to handle ultra-long histories. To address these challenges, we propose Sonar-TS, a neuro-symbolic framework that tackles NLQ4TSDB via a \"Search-Then-Verify\" pipeline. Analogous to active sonar, it utilizes a feature index to \"ping'' candidate windows via SQL, followed by generated Python programs to \"lock on'' and verify candidates against raw signals. To enable effective evaluation, we introduce NLQTSBench, the first large-scale benchmark designed for NLQ over TSDB-scale histories. Our experiments highlight the unique challenges within this domain and demonstrate that Sonar-TS effectively navigates complex temporal queries where traditional methods fail. This work presents the first systematic study of NLQ4TSDB, offering a general framework and evaluation standard to facilitate future research.
","absKo":"Natural Language Querying for Time Series Databases (NLQ4TSDB)은 비전문가 사용자가 방대한 temporal record에서 의미 있는 event, interval, summary를 검색하도록 돕는 것을 목표로 한다. 그러나 기존 Text-to-SQL 방법은 shape나 anomaly와 같은 연속적인 morphological intent를 다루도록 설계되지 않았고, time series model은 초장기 history를 처리하는 데 어려움을 겪는다. 이러한 문제를 해결하기 위해 우리는 \"Search-Then-Verify\" pipeline을 통해 NLQ4TSDB를 다루는 neuro-symbolic framework Sonar-TS를 제안한다. 능동형 sonar에 비유하면, 이 프레임워크는 SQL을 통해 feature index를 사용해 후보 window를 \"ping\"한 뒤, 생성된 Python program으로 후보를 원시 signal과 비교해 \"lock on\"하고 검증한다. 효과적인 평가를 가능하게 하기 위해 우리는 TSDB 규모 history에 대한 NLQ를 위해 설계된 최초의 대규모 benchmark인 NLQTSBench를 도입한다. 우리의 실험은 이 영역의 독특한 도전 과제를 부각시키고, Sonar-TS가 기존 방법이 실패하는 복잡한 temporal query를 효과적으로 처리함을 보여준다. 이 연구는 NLQ4TSDB에 대한 최초의 체계적 연구로서, 향후 연구를 촉진하기 위한 일반적 프레임워크와 평가 기준을 제공한다.
"},{"id":"63969","en":"TSRBench: A Comprehensive Multi-task Multi-modal Time Series Reasoning Benchmark for Generalist Models","ko":"TSRBench: 범용 모델을 위한 포괄적 멀티태스크 멀티모달 시계열 추론 벤치마크","authors":"Fangxu Yu, Xingang Guo, Lingzhi Yuan, Haoqiang Kang, Hongyu Zhao, Lianhui Qin, Furong Huang, Bin Hu, Tianyi Zhou","pos":"#409","link":"https://openreview.net/forum?id=S9G3yu6vHl","abs":"Time series data is ubiquitous in real-world scenarios and crucial for critical applications ranging from energy management to traffic control. Consequently, the ability to reason over time series is a fundamental skill for generalist models to solve complex problems. However, current benchmarks for generalist models largely overlook this dimension. To bridge this gap, we introduce TSRBench, a comprehensive multi-modal benchmark designed to stress-test the full spectrum of time series reasoning capabilities. TSRBench features: i) a diverse set of 4125 problems from 14 domains, and is categorized into 4 major dimensions: Perception, Reasoning, Prediction, and Decision-Making. ii) 15 tasks from the 4 dimensions evaluating essential reasoning capabilities (e.g., numerical reasoning). Through extensive experiments, we evaluated over 30 leading proprietary and open-source LLMs, VLMs, and TSLLMs within TSRBench. Our findings reveal that: i) scaling laws hold for perception and reasoning but break down for prediction; ii) strong reasoning does not guarantee accurate context-aware forecasting, indicating a decoupling between semantic understanding and numerical prediction; and iii) despite the complementary nature of textual and visual forms of time series as inputs, current multimodal models fail to effectively fuse them for reciprocal performance gains. TSRBench provides a standardized evaluation platform that not only highlights existing challenges but also offers valuable insights to advance generalist models.
","absKo":"time series data는 실제 세계에서 널리 존재하며, energy management부터 traffic control에 이르기까지 중요한 응용에서 핵심적이다. 따라서 time series를 추론하는 능력은 generalist model이 복잡한 문제를 해결하기 위한 기본 기술이다. 그러나 현재 generalist model benchmark는 이 차원을 대체로 간과하고 있다. 이러한 간극을 메우기 위해 우리는 time series reasoning 능력의 전 범위를 스트레스 테스트하도록 설계된 포괄적 multi-modal benchmark인 TSRBench를 소개한다. TSRBench의 특징은 다음과 같다. i) 14개 domain에서 수집한 4,125개의 다양한 problem으로 구성되며, Perception, Reasoning, Prediction, Decision-Making의 4개 주요 차원으로 분류된다. ii) numerical reasoning과 같은 필수 reasoning 능력을 평가하는 4개 차원에 걸친 15개 task를 포함한다. 광범위한 실험을 통해 우리는 TSRBench 내에서 30개가 넘는 선도적인 proprietary 및 open-source LLM, VLM, TSLLM을 평가했다. 그 결과는 다음을 보여준다. i) scaling law는 perception과 reasoning에서는 성립하지만 prediction에서는 무너진다. ii) 강한 reasoning이 정확한 context-aware forecasting을 보장하지는 않으며, 이는 semantic understanding과 numerical prediction의 분리를 시사한다. iii) time series의 textual form과 visual form은 입력으로서 상호 보완적이지만, 현재 multimodal model은 이를 효과적으로 fuse하여 상호 성능 향상으로 연결하지 못한다. TSRBench는 기존의 도전을 부각할 뿐 아니라 generalist model의 발전을 위한 유용한 통찰도 제공하는 표준화된 평가 플랫폼을 제시한다.
"},{"id":"61690","en":"TelecomTS: A Multi-Modal Observability Dataset for Time Series and Language Analysis","ko":"TelecomTS: 시계열 및 언어 분석을 위한 멀티모달 Observability Dataset","authors":"Austin Feng, Andreas Varvarigos, Ioannis Panitsas, Daniela Fernandez, Yuwei Guo, Jinbiao Wei, Chen, Ali Maatouk, Leandros Tassiulas, ZHITAO YING","pos":"#411","link":"https://openreview.net/forum?id=nifIPKmOyY","abs":"Modern enterprises generate vast streams of time series metrics when monitoring complex systems, known as observability data. Unlike conventional time series from domains such as climate, observability data are zero-inflated, highly stochastic, and exhibit minimal temporal structure. Despite their importance, observability datasets are underrepresented in public benchmarks due to proprietary restrictions. Existing datasets are often anonymized and normalized, removing scale information and limiting their use for tasks such as anomaly detection, root-cause analysis, and multi-modal reasoning. To address this gap, we introduce TelecomTS, a large-scale observability dataset derived from a 5G telecommunications network. TelecomTS features heterogeneous, de-anonymized covariates with explicit scale information and provides a suite of downstream tasks, including anomaly detection, root-cause analysis, and multi-modal question-answering. Benchmarking state-of-the-art time series, language, reasoning, and multi-modal models reveals that existing approaches struggle with the abrupt, noisy, and high-variance dynamics of observability data. Our experiments also underscore the importance of preserving covariates’ absolute scale, emphasizing the need for foundation time series models that natively leverage scale information for practical observability applications. The code is available at: \\url{https://anonymous.4open.science/r/TelecomTS_Benchmark-72AF}.
","absKo":"Modern enterprise는 복잡한 system을 모니터링할 때 vast stream의 time series metric을 생성하며, 이를 observability data라고 부른다. 기후와 같은 domain의 conventional time series와 달리, observability data는 zero-inflated이고, 매우 stochastic하며, temporal structure가 거의 없다. 그 중요성에도 불구하고, proprietary restriction 때문에 observability dataset은 public benchmark에서 충분히 다뤄지지 못하고 있다. 기존 dataset은 종종 anonymized되고 normalized되어 scale information이 제거되며, anomaly detection, root-cause analysis, multi-modal reasoning과 같은 task에서의 활용이 제한된다. 이 격차를 해소하기 위해, 우리는 5G telecommunications network에서 도출한 대규모 observability dataset인 TelecomTS를 소개한다. TelecomTS는 explicit scale information을 갖는 heterogeneous, de-anonymized covariate를 특징으로 하며, anomaly detection, root-cause analysis, multi-modal question-answering을 포함한 downstream task 모음을 제공한다. 최신 time series, language, reasoning, multi-modal model에 대한 benchmark 결과는 기존 접근법이 observability data의 abrupt하고 noisy하며 high-variance인 dynamics를 다루는 데 어려움을 겪음을 보여준다. 우리의 실험은 또한 covariate의 absolute scale을 보존하는 것의 중요성을 강조하며, 실제 observability application을 위해 scale information을 natively 활용하는 foundation time series model의 필요성을 부각한다. 코드는 다음에서 제공된다: \\url{https://anonymous.4open.science/r/TelecomTS_Benchmark-72AF}.
"},{"id":"61767","en":"Time-PEFT: Temporal and Multichannel Complexity-Based Fine-Tuning for Time-Series Foundation Models","ko":"Time-PEFT: Time-Series Foundation Model을 위한 시간 및 다채널 복잡도 기반 Fine-Tuning","authors":"Jihye Na, Patara Trirat, Chanyoung Park, Jae-Gil Lee","pos":"#412","link":"https://openreview.net/forum?id=n8seTOinYs","abs":"Recent studies have attempted to fine-tune time-series foundation models to enhance a target dataset's forecasting performance. However, these approaches proceed without a clear criterion for identifying complex datasets that require fine-tuning due to performance degradation in zero-shot forecasting. To distinguish datasets that are more challenging from standard benchmarks, we introduce data-driven temporal complexity and multichannel complexity. *Temporal complexity* captures the difficulty of identifying distinct patterns by quantifying spectral entropy in the frequency domain, while *multichannel complexity* captures inter-channel dependencies by measuring the channel information flow impacting predictive uncertainty. These metrics serve as *effective proxies for performance gains* achievable through fine-tuning. Based on the two metrics, we develop *Time-PEFT*, a parameter-efficient fine-tuning framework that incorporates a frequency adapter for top-$k$ filtering and a channel adapter for multichannel modeling. *Time-PEFT* is shown to significantly improve forecasting performance by up to 2.51 times compared with existing fine-tuning techniques on complex datasets.","absKo":"최근 연구들은 target dataset의 forecasting 성능을 향상시키기 위해 time-series foundation models를 fine-tuning하는 시도를 해왔다. 그러나 이러한 접근은 zero-shot forecasting에서 성능 저하가 발생해 fine-tuning이 필요한 복잡한 데이터셋을 식별할 명확한 기준 없이 진행된다. 표준 benchmarks보다 더 어려운 데이터셋을 구분하기 위해, 우리는 data-driven temporal complexity와 multichannel complexity를 도입한다. *Temporal complexity*는 frequency domain에서 spectral entropy를 정량화하여 서로 다른 패턴을 식별하는 난이도를 포착하고, *multichannel complexity*는 예측 불확실성에 영향을 주는 channel information flow를 측정하여 채널 간 의존성을 포착한다. 이러한 지표들은 fine-tuning을 통해 얻을 수 있는 *performance gains의 effective proxy*로 기능한다. 이 두 지표를 바탕으로, top-$k$ filtering을 위한 frequency adapter와 multichannel modeling을 위한 channel adapter를 포함하는 parameter-efficient fine-tuning framework인 *Time-PEFT*를 개발한다. *Time-PEFT*는 복잡한 데이터셋에서 기존 fine-tuning 기법 대비 최대 2.51배까지 forecasting 성능을 크게 향상시키는 것으로 나타났다."},{"id":"63747","en":"Time-Series Decomposition as a standalone Task: A Mechanism-Driven Diagnostic Benchmark","ko":"시계열 분해를 독립 태스크로 보기: 메커니즘 주도 진단 벤치마크","authors":"Zipeng Wu, Jiani Wei, Shiqiao Zhou, Jiajun Chen, Fabian Spill, J. Andrews","pos":"#413","link":"https://openreview.net/forum?id=U5ZRwmfhTF","abs":"We benchmark time series decomposition as a standalone evaluation task. While decomposition outputs are widely used to interpret trend and periodic structure, their quality is often assessed informally, and no unified benchmark exists for comparing component recovery under controlled generative mechanisms. We introduce a synthetic evaluation suite with explicit trend and cycle taxonomies, a unified interface covering representative decomposition families, and complementary metrics capturing distinct error modes (shape, phase, and spectral fidelity). Across stationary periodic regimes, STL-family methods are near-ceiling; under non-stationary periodicity (frequency drift, regime switching), fixed-period priors induce phase degradation, while subspace/time-frequency methods better preserve seasonal consistency (adaptive spectral methods may require tuning). We further extend the benchmark with a downstream scientific-discovery track---symbolic regression on decomposed components---showing that a decompose-then-regress pipeline materially improves recoverability and reduces expression complexity, linking decomposition quality to structure discovery. We release a pip-installable package and a lightweight web interface to make the benchmark and results easily accessible.
","absKo":"우리는 time series decomposition을 독립적인 평가 과제로 벤치마크한다. decomposition 결과는 trend와 periodic structure를 해석하는 데 널리 사용되지만, 그 품질은 대체로 비공식적으로 평가되며, 제어된 generative mechanism 하에서 component recovery를 비교하기 위한 통합 benchmark는 존재하지 않는다. 우리는 명시적인 trend 및 cycle taxonomy, 대표적인 decomposition family를 포괄하는 통합 interface, 그리고 서로 다른 error mode(shape, phase, spectral fidelity)를 포착하는 보완적 metric을 갖춘 synthetic evaluation suite를 제안한다. stationary periodic regime에서는 STL-family method가 거의 ceiling에 도달하지만, non-stationary periodicity(frequency drift, regime switching)에서는 fixed-period prior가 phase degradation을 유발하는 반면, subspace/time-frequency method는 seasonal consistency를 더 잘 보존한다(adaptive spectral method는 tuning이 필요할 수 있다). 우리는 나아가 decomposition된 component에 대한 symbolic regression이라는 downstream scientific-discovery track으로 benchmark를 확장하여, decompose-then-regress pipeline이 복원 가능성을 실질적으로 개선하고 expression complexity를 낮춘다는 것을 보이며, decomposition quality와 structure discovery를 연결한다. 우리는 benchmark와 결과를 손쉽게 활용할 수 있도록 pip-install 가능한 package와 lightweight web interface를 공개한다.
"},{"id":"68799","en":"TimeAutoDiff: A Unified Framework for Generation, Imputation, Forecasting, and Time-Varying Metadata Conditioning of Heterogeneous Time Series Tabular Data","ko":"TimeAutoDiff: 이질적 시계열 표 데이터의 생성, 대체, 예측 및 시변 메타데이터 조건화를 위한 통합 프레임워크","authors":"Namjoon Suh, Yuning Yang, Din-Yin Hsieh, Qitong Luan, Shirong Xu, Shixiang Zhu, Guang Cheng","pos":"#4607","abs":"We present \\texttt{TimeAutoDiff}, a unified latent-diffusion framework that addresses four fundamental time-series tasks—unconditional generation, missing-data imputation, forecasting, and time-varying-metadata conditional generation—within a single model that natively handles heterogeneous features (continuous, binary, and categorical). We unify these tasks through a simple masked-modeling strategy: a binary mask specifies which time feature cells are observed and which must be generated. To make this work on mixed data types, we pair a lightweight variational autoencoder (i.e., VAE)—which maps continuous, categorical, and binary variables into a continuous latent sequence—with a diffusion model that learns dynamics in that latent space, avoiding separate likelihoods for each data type while still capturing temporal and cross-feature structure.Two design choices give \\texttt{TimeAutoDiff} clear speed and scalability advantages. First, the diffusion process samples a single latent trajectory for the full time horizon rather than denoising one timestep at a time; this whole-sequence sampling drastically reduces reverse-diffusion calls and yields an order-of-magnitude throughput gain. Second, the VAE compresses along the feature axis, so very wide tables are modeled in a lower-dimensional latent space, further reducing computational load. Empirical evaluation demonstrates that \\texttt{TimeAutoDiff} matches or surpasses strong baselines in synthetic sequence fidelity (discriminative, temporal-correlation, and predictive metrics) and consistently lowers MAE/MSE for imputation and forecasting tasks. Time-varying metadata conditioning unlocks real-world scenario exploration: by editing metadata sequences, practitioners can generate coherent families of counterfactual trajectories that track intended directional changes, preserve cross-feature dependencies, and remain conditionally calibrated—making \"what-if\" analysis practical. Our ablation studies confirm that performance is impacted by key architectural choices, such as the VAE's continuous feature encoding and specific components of the DDPM denoiser. Furthermore, a distance-to-closest-record (DCR) audit demonstrates that the model achieves generalization with limited memorization given enough dataset. Code implementations of \\texttt{TimeAutoDiff} are provided in https://github.com/namjoonsuh/TimeAutoDiff.
","absKo":"우리는 \\texttt{TimeAutoDiff}를 제안한다. 이는 이질적인 feature(continuous, binary, categorical)를 natively 처리하는 단일 모델 안에서 네 가지 핵심 time-series task, 즉 unconditional generation, missing-data imputation, forecasting, 그리고 time-varying-metadata conditional generation을 다루는 통합 latent-diffusion framework이다. 우리는 간단한 masked-modeling 전략으로 이러한 task를 통합한다. binary mask는 어떤 time feature cell이 관측되었고 어떤 것은 생성되어야 하는지를 지정한다. 이러한 방식을 mixed data type에 적용하기 위해, 우리는 lightweight variational autoencoder(i.e., VAE)와 diffusion model을 결합한다. VAE는 continuous, categorical, binary 변수를 continuous latent sequence로 mapping하고, diffusion model은 그 latent space에서 dynamics를 학습한다. 이를 통해 각 data type마다 별도의 likelihood를 두지 않으면서도 temporal structure와 cross-feature structure를 포착한다. 두 가지 설계는 \\texttt{TimeAutoDiff}에 분명한 속도 및 확장성 이점을 제공한다. 첫째, diffusion process는 한 번에 전체 time horizon에 대한 단일 latent trajectory를 샘플링하며 timestep별로 하나씩 denoising하지 않는다. 이러한 whole-sequence sampling은 reverse-diffusion call 수를 크게 줄여 throughput을 한 자릿수 배 수준으로 높인다. 둘째, VAE는 feature 축을 따라 압축하므로 매우 넓은 table도 더 낮은 차원의 latent space에서 모델링되어 계산 부담이 추가로 감소한다. 실증 평가에서는 \\texttt{TimeAutoDiff}가 synthetic sequence fidelity(discriminative, temporal-correlation, predictive metric)에서 강력한 baseline과 동등하거나 그 이상을 달성하며, imputation과 forecasting task에서 MAE/MSE를 일관되게 낮춘다는 것을 보여준다. time-varying metadata conditioning은 실제 시나리오 탐색을 가능하게 한다. metadata sequence를 수정함으로써 실무자는 의도한 방향성 변화를 따라가고, cross-feature dependency를 보존하며, 조건적으로 보정된 상태를 유지하는 일관된 반사실 경로 집합을 생성할 수 있어, \"what-if\" 분석이 실용적이 된다. 우리의 ablation study는 VAE의 continuous feature encoding과 DDPM denoiser의 특정 구성 요소 같은 핵심 아키텍처 선택이 성능에 영향을 미친다는 것을 확인한다. 더 나아가 distance-to-closest-record (DCR) audit는 충분한 데이터셋이 주어졌을 때 모델이 제한된 memorization으로 generalization을 달성함을 보여준다. \\texttt{TimeAutoDiff}의 코드 구현은 https://github.com/namjoonsuh/TimeAutoDiff 에서 제공된다.
"},{"id":"61898","en":"Learning Fingerprints for Medical Time Series with Redundancy-Constrained Information Maximization","ko":"중복 제약 정보 최대화 기반 의료 시계열 Fingerprint 학습","authors":"Huayu Li, ZhengXiao He, Xiwen Chen, Jingjing Wang, Siyuan Tian, Jinghao Wen, Ao Li","pos":"#500","link":"https://openreview.net/forum?id=lrRBHFIgaK","abs":"Learning meaningful representations from medical time series (MedTS), such as ECG or EEG signals, is a critical challenge. These signals are often high-dimensional, variable-length, and rife with noise. Existing self-supervised approaches, such as Masked Autoencoders (MAEs), are highly effective for pre-training general-purpose encoders. However, they do not explicitly learn compact, fixed-size, or semantically interpretable latent representations, typically relying on heuristic aggregation strategies such as global average pooling or a designated [CLS] token. We propose a novel framework that compresses a variable-length MedTS into a fixed-size set of $k$ latent Fingerprint Tokens. Our architecture employs a cross-attention bottleneck to generate these tokens and is trained with a dual-objective function. The first objective is a reconstruction loss, which ensures the tokens are \\textit{sufficient statistics} for the original data. The second, a diversity penalty based on the Total Coding Rate (TCR), explicitly minimizes the redundancy between tokens, encouraging them to become statistically \\textit{disentangled} representations. We present the theoretical justification for our method, framing it as a novel \\textbf{Disentangled Rate-Distortion} problem. This approach produces a low-dimensional, interpretable, and sample-efficient representation, where each token is encouraged to capture an independent factor of variation, paving the way for more robust digital biomarkers.","absKo":"의미 있는 representation을 medical time series(MedTS), 예를 들어 ECG나 EEG signal로부터 학습하는 것은 핵심적인 과제다. 이러한 signal은 종종 고차원적이고, 길이가 가변적이며, noise가 많다. Masked Autoencoders(MAEs)와 같은 기존 self-supervised approach는 범용 encoder 사전학습에 매우 효과적이다. 그러나 이들은 compact하고 fixed-size이며 의미적으로 해석 가능한 latent representation을 명시적으로 학습하지는 않으며, 보통 global average pooling이나 지정된 [CLS] token 같은 heuristic aggregation strategy에 의존한다. 우리는 가변 길이 MedTS를 fixed-size의 $k$ latent Fingerprint Tokens 집합으로 압축하는 새로운 framework를 제안한다. 우리의 architecture는 cross-attention bottleneck을 사용해 이 token들을 생성하며, dual-objective function으로 학습된다. 첫 번째 objective는 reconstruction loss로, token이 원본 data의 \\textit{sufficient statistics}가 되도록 보장한다. 두 번째는 Total Coding Rate(TCR)에 기반한 diversity penalty로, token 간 redundancy를 명시적으로 최소화하여 이들이 통계적으로 \\textit{disentangled}된 representation이 되도록 유도한다. 우리는 이 방법을 새로운 \\textbf{Disentangled Rate-Distortion} problem으로 정식화하며, 이에 대한 이론적 근거를 제시한다. 이 접근법은 저차원적이고 해석 가능하며 sample-efficient한 representation을 만들어내며, 각 token이 독립적인 variation factor를 포착하도록 유도되어 더 강건한 digital biomarker로 이어질 수 있다."},{"id":"64484","en":"L-Drive: Beyond a Single Mapping—Latent Context Drives Time Series Forecasting","ko":"L-Drive: 단일 매핑을 넘어 — 잠재 컨텍스트가 시계열 예측을 이끈다","authors":"Fan Zhang, Shijun Chen, Hua Wang","pos":"#501","link":"https://openreview.net/forum?id=N7hNbQ8o5Q","abs":"Mainstream methods for multivariate time-series forecasting largely follow the Direct-Mapping paradigm. They learn a unified mapping from history to the future in the observation space to fit value-level dependencies. However, real-world systems often undergo distribution shifts and regime changes. In such cases, a unified mapping can exhibit response lag around turning points, causing error accumulation within the switching window and reducing forecasting reliability. To address this issue, we propose L-Drive, a change-aware forecasting framework. L-Drive introduces a Latent-Context, to explicitly characterize high-level dynamics evolving over time, and uses gating to modulate increment representations. This provides more timely change cues and improves adaptation to changing segments. In addition, it incorporates patch-shared relative positional basis functions to strengthen intra-segment structural modeling and reduce overfitting caused by absolute-position memorization. Extensive experiments validate the effectiveness of L-Drive and show a better overall trade-off between forecasting accuracy and computational efficiency.
","absKo":"multivariate time-series forecasting의 주류 방법은 대체로 Direct-Mapping paradigm을 따른다. 이들은 value-level dependency를 맞추기 위해 observation space에서 과거에서 미래로의 통합된 mapping을 학습한다. 그러나 실제 시스템은 종종 distribution shift와 regime change를 겪는다. 이러한 경우 통합된 mapping은 turning point 주변에서 response lag를 보일 수 있으며, 이로 인해 switching window 내부에서 error accumulation이 발생하고 forecasting reliability가 저하된다. 이 문제를 해결하기 위해 우리는 change-aware forecasting framework인 L-Drive를 제안한다. L-Drive는 시간에 따라 진화하는 고수준 dynamics를 명시적으로 특징짓는 Latent-Context를 도입하고, gating을 사용해 increment representation을 조절한다. 이는 보다 시기적절한 change cue를 제공하고 변화하는 구간에 대한 적응을 향상시킨다. 또한 patch-shared relative positional basis function을 도입하여 구간 내부 구조 modeling을 강화하고 absolute position memorization으로 인한 overfitting을 줄인다. 광범위한 실험은 L-Drive의 효과를 검증하며, forecasting accuracy와 computational efficiency 사이에서 더 나은 전체적 trade-off를 보여준다.
"},{"id":"65922","en":"Forward-Chaining Temporal Point Process","ko":"순방향 연쇄 시간적 점 과정","authors":"Chao Yang, Wendi Ren, Shuang Li","pos":"#502","link":"https://openreview.net/forum?id=8tjGapjQ5J","abs":"Event sequences from complex systems, such as clinical workflows, are often sparse and incomplete. As a result, downstream models are trained on data that only partially captures the underlying dynamics. Synthetic sequence generation can augment real data by filling in missing structure and improving coverage of rare patterns, but generated trajectories must remain realistic, satisfy domain constraints, and allow control. We propose the Forward-Chaining Temporal Point Process (FC-TPP), a framework for constraint-aware and controllable sequence generation in continuous time. FC-TPP maintains an explicit latent symbolic state encoding high-level predicates, which evolves through a differentiable multi-hop forward-chaining operator. Logical rules update the latent state based on recent events, while a temporal point process decoder generates future event times and types conditioned on this evolving state. By tying the generative dynamics to multi-hop reasoning in latent space, FC-TPP incorporates symbolic structure throughout generation rather than relying directly on raw event histories. Experiments on synthetic data and four semi-synthetic/real-world benchmarks—LogiCity, MIMIC-IV, EPIC-100, and IKEA ASM—show that FC-TPP achieves higher generation quality under limited and incomplete data, with stronger constraint adherence and greater controllability than purely neural and prior neuro-symbolic baselines.
","absKo":"clinical workflow와 같은 complex system의 event sequence는 종종 sparse하고 incomplete하다. 그 결과 downstream model은 underlying dynamics를 부분적으로만 포착하는 데이터로 학습된다. Synthetic sequence generation은 누락된 구조를 보완하고 드문 패턴의 coverage를 높임으로써 real data를 augment할 수 있지만, 생성된 trajectory는 현실적이어야 하고, domain constraint를 만족해야 하며, 제어 가능해야 한다. 우리는 continuous time에서 constraint-aware하고 controllable한 sequence generation을 위한 프레임워크인 Forward-Chaining Temporal Point Process(FC-TPP)를 제안한다. FC-TPP는 고수준 predicate를 인코딩하는 명시적 latent symbolic state를 유지하며, 이 상태는 differentiable multi-hop forward-chaining operator를 통해 진화한다. logical rule은 최근 event를 바탕으로 latent state를 업데이트하고, temporal point process decoder는 이렇게 진화하는 상태를 조건으로 미래 event time과 type을 생성한다. 생성 dynamics를 latent space의 multi-hop reasoning과 연결함으로써, FC-TPP는 원시 event history에 직접 의존하는 대신 생성 전반에 걸쳐 symbolic structure를 통합한다. synthetic data와 네 개의 semi-synthetic/real-world benchmark인 LogiCity, MIMIC-IV, EPIC-100, IKEA ASM에서의 실험은 FC-TPP가 제한적이고 불완전한 데이터 하에서도 더 높은 generation quality를 달성하며, 순수 neural 및 기존 neuro-symbolic baseline보다 더 강한 constraint adherence와 더 큰 controllability를 보인다는 것을 보여준다.
"},{"id":"62173","en":"Evolving Quantitative Reasoning through Self-Play in Digital Twin Markets","ko":"디지털 트윈 시장에서 Self-Play로 정량 추론 진화","authors":"Tianmi Ma, Wenxin Huang, Jiawei Du, Lin Li, Xian Zhong, Joey Tianyi Zhou","pos":"#503","link":"https://openreview.net/forum?id=j4SxlIyvRg","abs":"Large Language Models (LLMs) exhibit strong capabilities in high-level semantic understanding and strategic planning, yet they suffer from persistent quantitative failure modes, such as imprecise computation and the illusion of quantitative coherence, which limit their reliability in high-stakes decision-making. To address these limitations, we decouple reasoning from computation by assigning LLMs to planning, analysis, and result interpretation, while delegating numerical computation and statistical inference to specialized external tools. These tools are not hard-coded; instead, they are created in a constrained and structured manner during planning as explicit intermediate reasoning artifacts, enabling adaptive and scenario-dependent quantitative reasoning. LLMs iteratively analyze tool outputs under diverse market conditions and leverage performance-based feedback to refine subsequent tool selection and construction, forming a bounded self-evolving loop. We instantiate this process through self-play in a controllable digital twin market, DecoupledMarket, where LLM agents continuously test, compare, and adapt their strategies. By coupling high-level planning with robust quantitative execution, the proposed framework improves the quantitative reliability of LLM-driven decision-making. Code will be released soon.
","absKo":"Large Language Models (LLMs)은 고수준 semantic understanding과 strategic planning에서 강한 능력을 보이지만, 부정확한 computation이나 quantitative coherence의 illusion과 같은 지속적인 quantitative failure mode를 여전히 보이며, 이는 high-stakes decision-making에서의 신뢰성을 제한한다. 이러한 한계를 해결하기 위해, 우리는 reasoning과 computation을 분리한다. LLM은 planning, analysis, result interpretation을 담당하고, numerical computation과 statistical inference는 특화된 external tool에 위임한다. 이 tool들은 hard-coded된 것이 아니라, planning 과정에서 explicit intermediate reasoning artifact로서 constrained되고 structured한 방식으로 생성되며, 이를 통해 adaptive하고 scenario-dependent한 quantitative reasoning이 가능해진다. LLM은 다양한 market condition에서 tool output을 반복적으로 분석하고 performance-based feedback을 활용해 이후의 tool 선택과 구성을 정교화함으로써, bounded self-evolving loop를 형성한다. 우리는 이 과정을 controllable digital twin market인 DecoupledMarket에서의 self-play로 구현한다. 이 환경에서 LLM agent는 자신의 전략을 지속적으로 시험하고, 비교하고, 적응시킨다. 고수준 planning과 robust quantitative execution을 결합함으로써, 제안하는 framework는 LLM 기반 decision-making의 quantitative reliability를 향상시킨다. Code will be released soon.
"},{"id":"64808","en":"Dynamic TMoE: A Drift-Aware Dynamic Mixture of Experts Framework for Non-Stationary Time Series Forecasting","ko":"Dynamic TMoE: 비정상 시계열 예측을 위한 Drift-Aware Dynamic Mixture of Experts 프레임워크","authors":"Jiawen Zhu, Shuhan Liu, Di Weng, Yingcai Wu","pos":"#504","link":"https://openreview.net/forum?id=JabkBcaoa9","abs":"Non-stationary time series forecasting is challenged by evolving distribution shifts that static models struggle to capture. While Mixture-of-Experts (MoE) architectures offer a promising paradigm for decoupling complex drift patterns, existing approaches are limited by fixed expert pools and memoryless routing, hampering their ability to adapt to abrupt regime shifts. To address this, we propose Dynamic TMoE, a framework that unifies architectural evolution with temporal continuity during learning phase. By detecting distribution shifts via Maximum Mean Discrepancy (MMD), we dynamically instantiate heterogeneous experts and prune redundant ones to optimize capacity. Additionally, a temporal memory router leverages recurrent states and an anomaly repository to ensure stable, context-aware expert selection without requiring test-time updates. Experiments on nine benchmarks demonstrate state-of-the-art performance, reducing MSE by 10.4\\% and MAE by 7.8\\%. Code is available at https://anonymous.4open.science/r/Dynamic-TMoE.
","absKo":"Non-stationary time series forecasting은 진화하는 distribution shift 때문에 static model이 포착하기 어려운 도전 과제를 가진다. Mixture-of-Experts (MoE) architecture는 복잡한 drift pattern을 분리하는 유망한 패러다임을 제공하지만, 기존 접근법은 고정된 expert pool과 memoryless routing에 의해 제한되어 급격한 regime shift에 적응하는 능력이 떨어진다. 이를 해결하기 위해 우리는 학습 단계에서 architectural evolution과 temporal continuity를 통합하는 Dynamic TMoE framework를 제안한다. Maximum Mean Discrepancy (MMD)를 통해 distribution shift를 감지함으로써, 우리는 이질적인 expert를 동적으로 생성하고 redundant한 expert는 제거하여 capacity를 최적화한다. 또한 temporal memory router는 recurrent state와 anomaly repository를 활용하여 test-time update 없이도 안정적이고 context-aware한 expert selection을 보장한다. 아홉 개 benchmark에서의 실험은 state-of-the-art 성능을 입증하며, MSE를 10.4\\%, MAE를 7.8\\% 감소시킨다. 코드는 https://anonymous.4open.science/r/Dynamic-TMoE 에서 확인할 수 있다.
"},{"id":"64506","en":"ConTSG-Bench: A Unified Benchmark for Conditional Time Series Generation","ko":"ConTSG-Bench: 조건부 시계열 생성을 위한 통합 벤치마크","authors":"Shaocheng Lan, Shuqi Gu, Zhangzhi Xiong, Kan Ren","pos":"#506","link":"https://openreview.net/forum?id=Mstzzv2ham","abs":"Conditional time series generation plays a critical role in addressing data scarcity and enabling causal analysis in real-world applications. Despite its increasing importance, the field lacks a standardized and systematic benchmarking framework for evaluating generative models across diverse conditions. To address this gap, we introduce the Conditional Time Series Generation Benchmark (ConTSG-Bench). ConTSG-Bench comprises a large-scale, well-aligned dataset spanning diverse conditioning modalities and levels of semantic abstraction, first enabling systematic evaluation of representative generation methods across these dimensions with a comprehensive suite of metrics for generation fidelity and condition adherence. Both the quantitative benchmarking and in-depth analyses of conditional generation behaviors have revealed the traits and limitations of the current approaches, highlighting critical challenges and promising research directions, particularly with respect to precise structural controllability and downstream task utility under complex conditions.
","absKo":"Conditional time series generation은 data scarcity를 해결하고 실제 응용에서 causal analysis를 가능하게 하는 데 중요한 역할을 한다. 그 중요성이 커지고 있음에도, 이 분야는 다양한 condition 전반에서 generative model을 평가하기 위한 표준화되고 체계적인 benchmarking framework가 부족하다. 이 공백을 메우기 위해, 우리는 Conditional Time Series Generation Benchmark (ConTSG-Bench)를 소개한다. ConTSG-Bench는 다양한 conditioning modality와 semantic abstraction 수준을 아우르는 대규모의 정렬이 잘 된 dataset으로 구성되며, generation fidelity와 condition adherence를 위한 포괄적인 metric suite을 사용해 이러한 차원들 전반에서 대표적인 generation method를 체계적으로 평가할 수 있게 한다. 정량적 benchmarking과 conditional generation behavior에 대한 심층 분석 모두 현재 접근법의 특성과 한계를 드러냈으며, 특히 복잡한 condition 하에서의 정확한 structural controllability와 downstream task utility와 관련된 중요한 과제와 유망한 연구 방향을 강조한다.
"},{"id":"64886","en":"Beyond Model Ranking: Predictability-Aligned Evaluation for Time Series Forecasting","ko":"모델 순위화를 넘어서: 시계열 예측을 위한 Predictability-Aligned 평가","authors":"Wanjin Feng, Yuan Yuan, Jingtao Ding, Yong Li","pos":"#507","link":"https://openreview.net/forum?id=Ipgssz2WL1","abs":"In the era of increasingly complex AI models for time series forecasting, progress is often measured by marginal improvements on benchmark leaderboards. However, standard evaluations rely on aggregate metrics (e.g., MSE) that conflate model capability with the intrinsic difficulty of the evaluated instances. To address this, we propose a diagnostic framework anchored in **Spectral Coherence Predictability (SCP)**, which provides an efficient $\\mathcal{O}(N\\log N)$ per-instance difficulty reference and yields a corresponding linear MSE lower bound. Complementing this, we introduce the **Linear Utilization Ratio (LUR)** to quantify how effectively models exploit linearly predictable structures across frequencies. Experiments on synthetic and real-world benchmarks show that SCP aligns strongly with realized forecasting errors across diverse state-of-the-art forecasters. Using this lens, we uncover ``predictability drift,'' revealing that task difficulty is not static but fluctuates significantly over time and variables. Furthermore, stratified evaluation exposes complementary architectural strengths across distinct frequency bands and difficulty regimes. Overall, we advocate moving beyond leaderboard-style ranking toward a more insightful, predictability-aware evaluation that fosters fairer model comparisons and a deeper understanding of model behavior. Code and data are available at https://anonymous.4open.science/r/TS_Predictability-C8B7.","absKo":"시계열 예측을 위한 increasingly complex AI 모델의 시대에, 진전은 종종 benchmark leaderboard에서의 미세한 향상으로 측정된다. 그러나 표준 평가는 aggregate metric(예: MSE)에 의존하며, 이는 모델 능력과 평가된 개별 사례들의 내재적 난이도를 뒤섞는다. 이를 해결하기 위해 우리는 **Spectral Coherence Predictability(SCP)**에 기반한 진단 프레임워크를 제안한다. 이는 효율적인 $\\mathcal{O}(N\\log N)$ per-instance 난이도 기준을 제공하고, 대응하는 선형 MSE lower bound를 산출한다. 여기에 더해, 우리는 모델이 주파수 전반에 걸친 선형적으로 예측 가능한 구조를 얼마나 효과적으로 활용하는지를 정량화하기 위해 **Linear Utilization Ratio(LUR)**를 도입한다. synthetic 및 실제 benchmark에서의 실험은 SCP가 다양한 최첨단 forecaster에 걸친 실제 예측 오류와 강하게 정렬됨을 보여준다. 이 관점을 사용해 우리는 ``predictability drift''를 밝혀내는데, 이는 task difficulty가 정적이지 않고 시간과 변수에 따라 유의미하게 변동함을 의미한다. 또한 stratified evaluation은 서로 다른 frequency band와 difficulty regime 전반에서 상보적인 architectural strength를 드러낸다. 전체적으로 우리는 leaderboard식 순위를 넘어, 더 통찰력 있고 predictability-aware한 평가로 나아가 모델 비교의 공정성을 높이고 모델 행동에 대한 더 깊은 이해를 촉진할 것을 제안한다. 코드와 데이터는 https://anonymous.4open.science/r/TS_Predictability-C8B7 에서 제공된다."},{"id":"60703","en":"Baguan-TS: dual in-context learning model for time series forecasting with covariates","ko":"Baguan-TS: Covariate를 포함한 시계열 예측을 위한 이중 In-Context Learning 모델","authors":"Linxiao Yang, Xue Jiang, Gezheng Xu, Tian Zhou, Min Yang, Zhaoyang Zhu, Linyuan Geng, Zhipeng Zeng, Qiming Chen, Xinyue Gu, Rong Jin, Liang Sun","pos":"#508","link":"https://openreview.net/forum?id=xO10rIopwe","abs":"Transformers enable in-context learning (ICL) for rapid, gradient-free adaptation in time series forecasting, yet most ICL-style approaches rely on tabularized, hand-crafted features, while end-to-end sequence models lack inference-time adaptation. We bridge this gap with a unified framework, Baguan-TS, which integrates the raw-sequence representation learning with ICL, instantiated by a 3D Transformer that attends jointly over temporal, variable, and context axes. To make this high-capacity model practical, we tackle two key hurdles: (i) calibration and training stability, improved with a feature-agnostic, target-space retrieval-based local calibration; and (ii) output oversmoothing, mitigated via context-overfitting strategy. On public benchmark with covariates, Baguan-TS consistently outperforms established baselines, achieving the highest win rate and significant reductions in both point and probabilistic forecasting metrics. Further evaluations across diverse real-world energy datasets demonstrate its robustness, yielding substantial improvements.
","absKo":"Transformers는 시계열 예측에서 빠르고 gradient-free한 적응을 위한 in-context learning(ICL)을 가능하게 하지만, 대부분의 ICL 스타일 접근법은 표 형태로 정리된 hand-crafted feature에 의존하는 반면 end-to-end sequence model은 inference-time adaptation이 부족하다. 우리는 raw-sequence representation learning과 ICL을 통합하는 통합 프레임워크 Baguan-TS로 이 간극을 메우며, temporal, variable, context 축을 함께 attention하는 3D Transformer로 구현한다. 이 고용량 모델을 실용적으로 만들기 위해 두 가지 핵심 난제를 다룬다: (i) calibration과 training stability는 feature-agnostic한 target-space retrieval-based local calibration으로 개선하고, (ii) output oversmoothing은 context-overfitting strategy로 완화한다. covariate가 있는 공개 benchmark에서 Baguan-TS는 확립된 baseline들을 일관되게 상회하며, 가장 높은 win rate와 point 및 probabilistic forecasting metric 모두에서 유의미한 감소를 달성한다. 다양한 실제 energy dataset 전반에 대한 추가 평가는 그 robustness를 입증하며, 상당한 성능 향상을 보여준다.
"},{"id":"64929","en":"ADHD Disease Detection Based on Short- and Long-Term Brain Function Encoding and Memory Graph Network","ko":"단기 및 장기 뇌 기능 인코딩과 Memory Graph Network 기반 ADHD 질환 탐지","authors":"Dongxun Jiang, Borui Jia, Yuxuan Wang, Dongdong Zhang","pos":"#509","link":"https://openreview.net/forum?id=IaZmw8c9U4","abs":"Graph-based attention deficit hyperactivity disorder (ADHD) detection methods have been extensively studied, but comparatively less attention has been paid to short-term brain functional reorganization. In this paper, we propose an ADHD disease detection model based on short- and long-term brain function encoding and memory graph network. We first exploit a novel brain map sequence construction method based on short-term windows to extract short-term brain function features. Then, we design a short-term state and temporal dependency encoder to characterize short-term sequence patterns of brain function. Furthermore, a brain function memory is introduced to capture the association of brain activity patterns and historical sequence patterns. Concurrently, GNN-based long-term brain function feature extraction network is used to extract brain structure features, which are fused with short-term features for ADHD detection. Experimental validation on the publicly available neuroimaging datasets ADHD-200 and OpenNeuro-ds002424 demonstrates the superior performance of our model in brain disorder detection.
","absKo":"그래프 기반 attention deficit hyperactivity disorder(ADHD) 탐지 방법은 폭넓게 연구되어 왔지만, 상대적으로 단기적인 뇌 기능 재조직화에 대해서는 덜 주목받아 왔다. 본 논문에서는 단기 및 장기 뇌 기능 인코딩과 memory graph network를 기반으로 한 ADHD 질환 탐지 모델을 제안한다. 먼저, 단기 윈도우에 기반한 새로운 brain map sequence 구성 방법을 활용하여 단기 뇌 기능 특징을 추출한다. 그런 다음, 단기 시퀀스 패턴의 뇌 기능을 특징짓기 위해 short-term state and temporal dependency encoder를 설계한다. 더 나아가, 뇌 활동 패턴과 역사적 시퀀스 패턴의 연관성을 포착하기 위해 brain function memory를 도입한다. 동시에, GNN 기반의 장기 뇌 기능 특징 추출 네트워크를 사용하여 뇌 구조 특징을 추출하고, 이를 단기 특징과 융합하여 ADHD를 탐지한다. 공개 neuroimaging 데이터셋 ADHD-200 및 OpenNeuro-ds002424에서의 실험 검증은 뇌 질환 탐지에서 우리 모델의 우수한 성능을 입증한다.
"},{"id":"66086","en":"It's TIME: Towards the Next Generation of Time Series Forecasting Benchmarks","ko":"때가 왔다(TIME): 차세대 시계열 예측 벤치마크를 향하여","authors":"Zhongzheng Qiao, SHENG PAN, Anni Wang, Viktoriya Zhukova, Yong Liu, Xudong Jiang, Qingsong Wen, Mingsheng Long, Ming Jin, Chenghao Liu","pos":"#510","link":"https://openreview.net/forum?id=79TgfXHbsK","abs":"Time series foundation models (TSFMs) are revolutionizing the forecasting landscape from specific dataset modeling to generalizable task evaluation. However, we contend that existing benchmarks exhibit common limitations in four dimensions: constrained data composition dominated by reused legacy sources, compromised data integrity lacking rigorous quality assurance, misaligned task formulations detached from real-world contexts, and rigid analysis perspectives that obscure generalizable insights. To bridge these gaps, we introduce TIME, a next-generation task-centric benchmark comprising 50 fresh datasets and 98 forecasting tasks, tailored for strict zero-shot TSFM evaluation free from data leakage. Integrating large language models and human expertise, we establish a rigorous human-in-the-loop benchmark construction pipeline to ensure high data integrity and redefine task formulation by aligning forecasting configurations with real-world operational requirements and variate predictability. Furthermore, we propose a novel pattern-level evaluation perspective that moves beyond traditional dataset-level evaluations based on static meta labels. By leveraging structural time series features to characterize intrinsic temporal properties, this approach offers generalizable insights into model capabilities across diverse patterns. We evaluate 12 representative TSFMs and establish a multi-granular leaderboard to facilitate in-depth analysis and visualized inspection.
","absKo":"time series foundation models (TSFMs)는 특정 데이터셋 모델링에서 일반화 가능한 task evaluation으로 forecasting landscape를 혁신하고 있다. 그러나 우리는 기존 benchmark가 네 가지 차원에서 공통적인 한계를 보인다고 주장한다. 재사용된 legacy source에 의해 지배되는 제한된 data composition, 엄격한 quality assurance가 부족한 compromised data integrity, 실제 맥락과 분리된 misaligned task formulation, 그리고 일반화 가능한 통찰을 가리는 rigid analysis perspective가 그것이다. 이러한 간극을 메우기 위해 우리는 TIME을 소개한다. TIME은 50개의 새로운 dataset과 98개의 forecasting task로 구성된 차세대 task-centric benchmark로, data leakage가 없는 strict zero-shot TSFM evaluation에 맞게 설계되었다. 대규모 언어 모델과 human expertise를 통합하여, 우리는 높은 data integrity를 보장하고 forecasting configuration을 실제 운영 요구사항 및 variate predictability와 정렬함으로써 task formulation을 재정의하는 엄격한 human-in-the-loop benchmark construction pipeline을 구축했다. 더 나아가, 정적인 meta label에 기반한 전통적인 dataset-level evaluation을 넘어서는 새로운 pattern-level evaluation perspective를 제안한다. structural time series feature를 활용해 intrinsic temporal property를 특성화함으로써, 이 접근은 다양한 pattern 전반에서 모델 역량에 대한 일반화 가능한 통찰을 제공한다. 우리는 12개의 대표적인 TSFM을 평가하고, 심층 분석과 시각화된 검토를 돕기 위한 multi-granular leaderboard를 구축한다.
"},{"id":"63186","en":"Generative Visual Code Mobile World Models","ko":"생성적 시각 코드 모바일 월드 모델","authors":"Woosung (Reiss) Koh, Sungjun Han, Segyu Lee, Se-Young Yun, Jay Shin","pos":"#2904","link":"https://openreview.net/forum?id=ZI6dgwPpoE","abs":"Mobile Graphical User Interface (GUI) World Models (WMs) offer a promising path for improving mobile GUI agent performance at train- and inference-time. However, current approaches face a critical trade-off: text-based WMs sacrifice visual fidelity, while the inability of visual WMs in precise text rendering led to their reliance on slow, complex pipelines dependent on numerous external models. We propose a novel paradigm: visual world modeling via renderable code generation, where a single Vision-Language Model (VLM) predicts the next GUI state as executable web code that renders to pixels, rather than generating pixels directly. This combines the strengths of both approaches: VLMs retain their linguistic priors for precise text rendering while their pre-training on structured web code enables high-fidelity visual generation. We introduce gWorld (8B, 32B), the first open-weight visual mobile GUI WMs built on this paradigm, along with a data generation framework (gWorld) that automatically synthesizes code-based training data. In extensive evaluation across 4 in- and 2 out-of-distribution benchmarks, gWorld sets a new pareto frontier in accuracy versus model size, outperforming 8 frontier open-weight models over 50.25x larger. Further analyses show that (1) scaling training data via gWorld yields meaningful gains, (2) each component of our pipeline improves data quality, and (3) stronger world modeling improves downstream mobile GUI policy performance.
","absKo":"모바일 Graphical User Interface (GUI) World Model (WM)는 학습 및 추론 시점에서 모바일 GUI agent의 성능을 향상시키는 유망한 경로를 제공한다. 그러나 현재 접근법은 중대한 trade-off에 직면해 있다. text-based WM은 visual fidelity를 희생하고, visual WM은 정확한 text rendering 능력이 부족하여 다수의 외부 model에 의존하는 느리고 복잡한 pipeline에 의존하게 된다. 우리는 새로운 paradigm을 제안한다. renderable code generation을 통한 visual world modeling으로, 단일 Vision-Language Model (VLM)이 다음 GUI state를 픽셀을 직접 생성하는 대신 픽셀로 렌더링되는 executable web code로 예측한다. 이는 두 접근법의 장점을 결합한다. VLM은 정확한 text rendering을 위한 언어적 prior를 유지하는 동시에, structured web code에 대한 pre-training을 통해 고충실도 visual generation이 가능해진다. 우리는 이러한 paradigm 위에 구축된 첫 open-weight visual mobile GUI WM인 gWorld (8B, 32B)를 소개하며, code-based training data를 자동으로 합성하는 data generation framework (gWorld)도 함께 제안한다. 4개의 in-distribution benchmark와 2개의 out-of-distribution benchmark에 대한 광범위한 평가에서, gWorld는 model size 대비 정확도에서 새로운 pareto frontier를 제시하며, 50.25배 더 큰 8개의 frontier open-weight model을 능가한다. 추가 분석은 (1) gWorld를 통한 training data scaling이 의미 있는 성능 향상을 가져오고, (2) pipeline의 각 구성 요소가 data quality를 개선하며, (3) 더 강력한 world modeling이 downstream mobile GUI policy 성능을 향상시킨다는 점을 보여준다.
"},{"id":"68811","en":"Segmentation From Attention: Training-Free Layer Selection and One-Shot Tuning for Segmentation in VLMs","ko":"Attention으로부터의 Segmentation: VLM에서 Segmentation을 위한 학습 불필요 레이어 선택 및 One-Shot 튜닝","authors":"Mir Rayat Imtiaz Hossain, Mennatullah Siam, Leonid Sigal, James Little","pos":"#1210","abs":"Large-scale vision-language models (VLMs), trained on extensive datasets of image-text pairs, exhibit strong multimodal understanding capabilities by implicitly learning associations between textual descriptions and image regions. This emergent ability enables zero-shot object detection and segmentation, using techniques that rely on text-image attention maps, without necessarily training on abundant labeled segmentation datasets. However, performance of such methods depends heavily on prompt engineering and manually selected layers or head choices for the attention layers. In this work, we propose a training-free entropy-based measure, InfoScore, to identify the best image-text attention layers for segmentation, providing a more flexible and scalable solution for training-free open-vocabulary segmentation, reducing the additional burden of hyperparamter search. We empirically show that our training-free selection strategy is superior to naive selection strategies. Additionally, we demonstrate that instead of solely relying on text prompts, fine-tuning the image-text attention layer with a single visual example of each class significantly improves segmentation without the need of additional parameters or decoders. Moreover, we show that our methods and findings are general and can be applied across various vision-language models (VLMs).
","absKo":"대규모 image-text pair dataset으로 학습된 large-scale vision-language model(VLM)은 텍스트 설명과 이미지 영역 간의 연관성을 암묵적으로 학습함으로써 강력한 multimodal understanding capability를 보인다. 이러한 emergent ability는 풍부한 labeled segmentation dataset으로 학습하지 않고도 text-image attention map에 의존하는 기법을 사용한 zero-shot object detection과 segmentation을 가능하게 한다. 그러나 이러한 방법의 성능은 prompt engineering과 attention layer에 대한 수동 layer/head 선택에 크게 의존한다. 본 연구에서는 training-free open-vocabulary segmentation을 위한 더 유연하고 확장 가능한 solution을 제공하고, hyperparameter search의 추가 부담을 줄이기 위해, segmentation에 가장 적합한 image-text attention layer를 식별하는 training-free entropy 기반 measure인 InfoScore를 제안한다. 실험적으로 우리의 training-free selection strategy가 단순한 선택 전략보다 우수함을 보인다. 또한 text prompt에만 의존하는 대신, 각 class의 단일 visual example으로 image-text attention layer를 fine-tuning하면 추가 parameter나 decoder 없이 segmentation이 크게 개선됨을 입증한다. 더 나아가, 우리의 방법과 결과가 일반적이며 다양한 vision-language model(VLM)에 적용될 수 있음을 보인다.
"},{"id":"65456","en":"DEGAP: Dynamic Entropy-Guided Attention Perturbation for Contrastive Decoding in Large Vision-Language Models","ko":"DEGAP: Large Vision-Language Model의 대조 디코딩을 위한 동적 엔트로피 기반 Attention 섭동","authors":"Mingyu Kang, Yuna Jeong, Junhyeong Park, Hyein Seo, Yong Suk Choi","pos":"#1414","link":"https://openreview.net/forum?id=DUeJRN3rH4","abs":"Large Vision–Language Models (LVLMs) have shown outstanding performance across various multimodal tasks, but they still suffer from hallucinations, where they generate incorrect information by relying on language priors without visual grounding. To alleviate this issue, prior work has explored contrastive decoding approaches that compare the output of an original LVLM with that of a contrast branch. However, existing methods typically generate contrast logits through preprocessing of the input image. Such input-level perturbations fail to sufficiently reflect the model’s internal degree of visual reliance during the decoding process. To address this limitation, we propose Dynamic Entropy-Guided Attention Perturbation (DEGAP) for contrastive decoding in LVLMs. DEGAP performs contrastive decoding by directly perturbing visual attention and leveraging the resulting logits, without requiring any additional image preprocessing. To this end, we analyze the layer-wise effects of visual attention perturbations and, based on these observations, dynamically select the layers at which attention perturbation is applied according to the model’s confidence. Experimental results on seven benchmarks demonstrate that DEGAP effectively mitigates various types of hallucinations and consistently outperforms state-of-the-art methods in general VQA performance.
","absKo":"Large Vision–Language Models (LVLMs)는 다양한 multimodal task에서 뛰어난 성능을 보였지만, 여전히 hallucination 문제를 겪는다. 즉, visual grounding 없이 language prior에 의존하여 잘못된 정보를 생성한다. 이 문제를 완화하기 위해 기존 연구는 원본 LVLM의 출력과 contrast branch의 출력을 비교하는 contrastive decoding 접근을 탐색해왔다. 그러나 기존 방법은 일반적으로 input image의 preprocessing을 통해 contrast logits를 생성한다. 이러한 input-level perturbation은 decoding 과정에서 모델 내부의 visual reliance 정도를 충분히 반영하지 못한다. 이 한계를 해결하기 위해 우리는 LVLM의 contrastive decoding을 위한 Dynamic Entropy-Guided Attention Perturbation (DEGAP)을 제안한다. DEGAP은 추가적인 image preprocessing 없이, visual attention을 직접 perturb하고 그 결과로 얻어진 logits를 활용하여 contrastive decoding을 수행한다. 이를 위해 우리는 layer-wise로 visual attention perturbation이 미치는 영향을 분석하고, 이러한 관찰을 바탕으로 모델의 confidence에 따라 attention perturbation을 적용할 layer를 동적으로 선택한다. 7개 benchmark에 대한 실험 결과, DEGAP은 다양한 유형의 hallucination을 효과적으로 완화하며, general VQA 성능에서도 최신 기법들을 일관되게 능가함을 보인다.
"},{"id":"62542","en":"Dissecting Multimodal In-Context Learning: Modality Asymmetries and Circuit Dynamics in modern Transformers","ko":"현대 Transformer의 다중모달 In-Context Learning 해부: 모달리티 비대칭성과 회로 동역학","authors":"Yiran Huang, Karsten Roth, Quentin Bouniot, Wenjia Xu, Zeynep Akata","pos":"#2803","link":"https://openreview.net/forum?id=fhPu6dCiwt","abs":"Transformer-based multimodal large language models often exhibit in-context learning (ICL) capabilities. Motivated by this phenomenon, we ask: how do transformers learn to associate information across modalities from in-context examples? We investigate this through controlled experiments on small transformers trained on synthetic classification tasks, enabling precise manipulation of data statistics and model architecture. We begin by revisiting core principles of unimodal ICL in modern transformers. While several prior findings replicate, we find that Rotary Position Embeddings (RoPE) can delay the onset of ICL circuits. Extending to the multimodal setting reveals a fundamental learning asymmetry: when pretrained on high-diversity data from a primary modality, surprisingly low data complexity in the secondary modality suffices for multimodal ICL to emerge. Mechanistic analysis shows that both settings rely on an induction-style mechanism that copies labels from matching in-context exemplars; multimodal training refines and extends these circuits across modalities. Our findings provide a mechanistic foundation for understanding multimodal ICL in modern transformers and introduce a controlled testbed for future investigation.
","absKo":"Transformer 기반 multimodal large language models는 종종 in-context learning(ICL) 능력을 보인다. 이러한 현상에 착안하여, 우리는 다음을 묻는다: transformers는 in-context 예시로부터 서로 다른 modality 간 정보를 어떻게 연결해 학습하는가? 우리는 데이터 통계와 model architecture를 정밀하게 조절할 수 있도록, synthetic classification tasks로 학습한 작은 transformers에서의 controlled experiments를 통해 이를 조사한다. 먼저 현대 transformers에서 unimodal ICL의 핵심 원리를 다시 살펴본다. 여러 선행 결과가 재현되지만, Rotary Position Embeddings(RoPE)가 ICL circuit의 발현 시점을 지연시킬 수 있음을 발견한다. multimodal setting으로 확장하면 근본적인 learning asymmetry가 드러난다: primary modality에서 높은 diversity의 데이터로 pretrained된 경우, secondary modality에서는 놀라울 정도로 낮은 data complexity만으로도 multimodal ICL이 나타나기에 충분하다. 메커니즘 분석은 두 setting 모두 일치하는 in-context exemplar로부터 label을 복사하는 induction-style mechanism에 의존하며, multimodal training은 이러한 circuits를 modality 전반으로 정교화하고 확장함을 보여준다. 우리의 결과는 현대 transformers에서 multimodal ICL을 이해하기 위한 mechanistic foundation을 제공하며, 향후 연구를 위한 controlled testbed를 제시한다.
"},{"id":"64188","en":"You Need Better Attention Priors","ko":"더 나은 어텐션 사전이 필요하다","authors":"Elon Litman, Gabe Guo","pos":"#2906","link":"https://openreview.net/forum?id=Q7MkgK17GU","abs":"We generalize the attention mechanism by viewing it through the lens of Entropic Optimal Transport, revealing that standard attention corresponds to a transport problem regularized by an implicit uniform prior. We introduce Generalized Optimal transport Attention with Trainable priors (GOAT), a new attention mechanism that replaces this naive assumption with a learnable, continuous prior. This prior maintains full compatibility with optimized kernels such as FlashAttention. GOAT also provides an EOT-based explanation of attention sinks and materializes a solution for them, avoiding the representational trade-offs of standard attention. Finally, by absorbing spatial information into the core attention computation, GOAT learns an extrapolatable prior that combines the flexibility of learned positional embeddings with the length generalization of fixed encodings.
","absKo":"우리는 attention mechanism을 Entropic Optimal Transport의 관점에서 일반화하여, 표준 attention이 암묵적인 uniform prior로 정규화된 transport problem에 해당함을 밝힌다. 우리는 Generalized Optimal transport Attention with Trainable priors (GOAT)를 도입하는데, 이는 이러한 순진한 가정을 학습 가능한 연속적 prior로 대체하는 새로운 attention mechanism이다. 이 prior는 FlashAttention과 같은 최적화된 kernel과 완전한 호환성을 유지한다. GOAT는 또한 attention sink에 대한 EOT 기반 설명을 제공하고 이를 위한 해법을 구현함으로써, 표준 attention의 표현적 trade-off를 피한다. 마지막으로, 공간 정보를 핵심 attention computation에 흡수함으로써, GOAT는 학습된 positional embedding의 유연성과 고정 encoding의 length generalization을 결합한 extrapolatable prior를 학습한다.
"},{"id":"65097","en":"Universal Approximation with Softmax Attention","ko":"Softmax Attention을 이용한 보편 근사","authors":"Jerry Yao-Chieh Hu, Hude Liu, Hong-Yu Chen, Weimin Wu, Han Liu","pos":"#2907","link":"https://openreview.net/forum?id=GoW78qJ3qM","abs":"We prove that with linear transformations, both (i) two-layer self-attention and (ii) one-layer self-attention followed by a softmax function are universal approximators for continuous sequence-to-sequence functions on compact domains. Our main technique is a new interpolation-based method for analyzing attention’s internal mechanism. This leads to our key insight: self-attention is able to approximate a generalized version of ReLU to arbitrary precision, and hence subsumes many known universal approximators. Building on these, we show that two-layer multi-head attention or even one-layer multi-head attention followed by a softmax function suffices as a sequence-to-sequence universal approximator. In contrast, prior works rely on feed-forward networks to establish universal approximation in Transformers. Furthermore, we extend our techniques to show that, (softmax-)attention-only layers are capable of approximating gradient descent in-context. We believe these techniques hold independent interest.
","absKo":"We prove that with linear transformations, both (i) two-layer self-attention and (ii) one-layer self-attention followed by a softmax function are universal approximators for continuous sequence-to-sequence functions on compact domains. 우리의 핵심 기법은 attention의 internal mechanism을 분석하기 위한 새로운 interpolation-based method이다. 이는 다음과 같은 핵심 통찰로 이어진다. self-attention은 generalized version of ReLU를 임의의 정밀도로 근사할 수 있으며, 따라서 알려진 많은 universal approximator를 포괄한다. 이를 바탕으로, 두 층의 multi-head attention 또는 심지어 softmax function이 뒤따르는 한 층의 multi-head attention만으로도 sequence-to-sequence universal approximator로 충분함을 보인다. 이에 반해, 기존 연구는 Transformer에서 universal approximation을 확립하기 위해 feed-forward network에 의존했다. 더 나아가, 우리는 이 기법을 확장하여 (softmax-)attention-only layer가 in-context에서 gradient descent를 근사할 수 있음을 보인다. 우리는 이러한 기법들이 독립적인 관점에서도 흥미롭다고 믿는다.
"},{"id":"65314","en":"Tucker Attention: A generalization of approximate attention mechanisms","ko":"Tucker Attention: 근사 Attention 메커니즘의 일반화","authors":"Timon Klein, Jonas Kusch, Sebastian Sager, Stefan Schnake, Steffen Schotthöfer","pos":"#2908","link":"https://openreview.net/forum?id=ErcPPRZaiq","abs":"The pursuit of reducing the memory footprint of the self-attention mechanism in multi-headed self attention (MHA) spawned a rich portfolio of methods, e.g., group-query attention (GQA) and multi-head latent attention (MLA). The methods leverage specialized low-rank factorizations across embedding dimensions or attention heads. From the point of view of classical low-rank approximation, these methods are unconventional and raise questions of which objects they really approximate and how to interpret the low-rank behavior of the resulting representations. To answer these questions, this work proposes a generalized view on the weight objects in the self-attention layer and a factorization strategy, which allows us to construct a parameter efficient scheme, called Tucker Attention. Tucker Attention requires an order of magnitude fewer parameters for comparable validation metrics, compared to GQA and MLA, as evaluated in LLM and ViT test cases. Additionally, Tucker Attention~encompasses GQA, MLA, MHA as special cases and is fully compatible with flash-attention and rotary position embeddings (RoPE). This generalization strategy yields insights of the actual ranks achieved by MHA, GQA, and MLA, and further enables simplifications for MLA.
","absKo":"다중 헤드 self attention (MHA)에서 self-attention 메커니즘의 memory footprint를 줄이려는 시도는 group-query attention (GQA)과 multi-head latent attention (MLA) 같은 풍부한 방법군을 낳았다. 이 방법들은 embedding 차원이나 attention head 전반에 걸친 특화된 low-rank factorization을 활용한다. 고전적인 low-rank approximation의 관점에서 보면, 이 방법들은 비정통적이며 실제로 어떤 대상을 근사하는지, 그리고 그로부터 얻어지는 representation의 low-rank 거동을 어떻게 해석해야 하는지에 대한 의문을 제기한다. 이러한 질문에 답하기 위해, 본 연구는 self-attention layer의 weight object에 대한 generalized view와 factorization 전략을 제안하며, 이를 통해 Tucker Attention이라 불리는 parameter-efficient scheme을 구성한다. Tucker Attention은 LLM과 ViT 테스트 케이스에서 평가했을 때, 유사한 validation metric 대비 GQA와 MLA보다 한 자릿수 수준으로 더 적은 parameter를 요구한다. 또한 Tucker Attention~은 GQA, MLA, MHA를 special case로 포괄하며 flash-attention과 rotary position embeddings (RoPE)와 완전히 호환된다. 이러한 generalization 전략은 MHA, GQA, MLA가 실제로 달성하는 rank에 대한 통찰을 제공하고, 나아가 MLA의 단순화도 가능하게 한다.
"},{"id":"66306","en":"Training-Free Hashing-Based Attention via Binary Principal Components","ko":"이진 주성분을 통한 훈련 불필요 해싱 기반 Attention","authors":"Daohai Yu, Zhanpeng Zeng, Keyu Chen, Wenhao Li, Zhifeng Shen, Luxi Lin, Ruizhi Qiao, Xing Sun, Rongrong Ji","pos":"#2909","link":"https://openreview.net/forum?id=4spHlgHY9x","abs":"Long-context large language models (LLMs) are increasingly deployed in real-world applications, yet self-attention remains a major efficiency bottleneck -- especially during decoding -- due to the necessity of repeatedly processing ever-growing key-value (KV) caches. Existing sparse attention reduce computation by attending to fewer KV pairs, but often suffer from substantial accuracy degradation, require additional training, or rely on expensive hashing. In this work, we present \\textbf{BinaryPC}, a training-free, data-aware hashing-based sparse attention for long-context LLMs. BinaryPC constructs compact binary hash codes and corresponding hash function by computing binary principal components of data. Unlike Locality-Sensitive Hashing (LSH) with data-independent random projections or learned non-linear hashing methods that require per-model optimization, BinaryPC constructs binary codes that explicitly preserve the structural information of data without requiring gradient-based training. Comprehensive experiments across multiple model families and long-context benchmarks show that BinaryPC preserves accuracy relative to full attention while achieving superior performance among sparse and hashing-based baselines. On modern GPUs, BinaryPC improves end-to-end decoding throughput by 3.56$\\times$ over the FlashAttention kernel.","absKo":"장문 컨텍스트 large language models (LLMs)는 실제 애플리케이션에 점점 더 많이 배치되고 있지만, self-attention은 특히 decoding 동안 계속 커지는 key-value (KV) cache를 반복적으로 처리해야 하므로 여전히 주요한 효율 병목입니다. 기존 sparse attention은 더 적은 KV pair에 attention함으로써 연산량을 줄이지만, 대개 상당한 정확도 저하를 겪거나 추가 학습이 필요하거나 비싼 hashing에 의존합니다. 본 연구에서는 장문 컨텍스트 LLM을 위한 training-free, data-aware hashing 기반 sparse attention인 \\textbf{BinaryPC}를 제안합니다. BinaryPC는 데이터의 binary principal components를 계산하여 컴팩트한 binary hash code와 이에 대응하는 hash function을 구성합니다. 데이터와 무관한 랜덤 projection을 사용하는 Locality-Sensitive Hashing (LSH)이나 모델별 최적화가 필요한 learned non-linear hashing 방법과 달리, BinaryPC는 gradient-based training 없이 데이터의 구조 정보를 명시적으로 보존하는 binary code를 구성합니다. 여러 model family와 long-context benchmark 전반에 걸친 포괄적 실험에서 BinaryPC는 full attention에 비해 정확도를 유지하면서 sparse 및 hashing 기반 baseline들 중 더 우수한 성능을 보입니다. 최신 GPU에서 BinaryPC는 FlashAttention kernel 대비 end-to-end decoding throughput을 3.56$\\times$ 향상시킵니다."},{"id":"64516","en":"Test-Time Training Is Secretly Linear Attention","ko":"테스트 시점 학습은 사실 선형 어텐션이다","authors":"Junchen Liu, Sven Elflein, Or Litany, Zan Gojcic, Ruilong Li","pos":"#2910","link":"https://openreview.net/forum?id=MpBeXMurIb","abs":"Test-time training (TTT) in transformers is commonly interpreted as a form of online meta-learning that memorizes a key–value mapping at test time. However, our analysis reveals multiple phenomena that contradict this memorization-based interpretation. Motivated by these findings, we revisit the formulation of TTT and show that a broad class of TTT architectures can be expressed as a form of learned linear attention operator. Beyond explaining previously puzzling model behaviors, this perspective yields multiple practical benefits: it enables principled architectural simplifications, admits fully parallel formulations that preserve performance while improving efficiency, and provides a systematic reduction of diverse TTT variants to a standard linear attention form. Overall, our results reframe TTT not as test-time memorization, but as learned linear attention with enhanced representational capacity.
","absKo":"transformer에서의 test-time training (TTT)은 일반적으로 test time에 key–value mapping을 기억하는 online meta-learning의 한 형태로 해석된다. 그러나 우리의 분석은 이러한 기억 기반 해석과 모순되는 여러 현상을 드러낸다. 이러한 발견에 동기부여를 받아, 우리는 TTT의 formulation을 다시 검토하고, 광범위한 TTT architecture가 learned linear attention operator의 한 형태로 표현될 수 있음을 보인다. 기존에 설명이 어려웠던 모델 동작을 해석하는 것을 넘어, 이 관점은 여러 실용적 이점을 제공한다. 구조적 단순화를 원리적으로 가능하게 하고, 성능을 유지하면서 효율을 높이는 fully parallel formulation을 허용하며, 다양한 TTT 변형을 표준 linear attention 형태로 체계적으로 축약할 수 있게 한다. 전반적으로 우리의 결과는 TTT를 test-time memorization으로 보는 관점을 재구성하여, 표현력이 향상된 learned linear attention으로 이해해야 함을 보여준다.
"},{"id":"65108","en":"Robust Filter Attention: Self-Attention as a Parallel State Estimator","ko":"Robust Filter Attention: 병렬 상태 추정기로서의 Self-Attention","authors":"Peter Racioppo","pos":"#2911","link":"https://openreview.net/forum?id=GhI6lw5QKe","abs":"We introduce Robust Filter Attention (RFA), an attention mechanism that reformulates self-attention as parallel robust filtering under a latent stochastic differential equation (SDE) prior, where analytically propagated uncertainty defines a time-dependent precision prior over attention weights. This formulation integrates key advantages of existing positional encodings: it preserves RoPE-style rotational structure while achieving long-context stability through explicit modeling of dissipation and diffusion. By imposing isotropic constraints on the dynamics and noise, RFA matches the $\\mathcal{O}(N^2 d)$ time and $\\mathcal{O}(N^2 + Nd)$ memory complexity of standard attention. Empirically, we find that uncertainty-aware weighting induces specialization into distinct filtering regimes across heads, improving temporal consistency and extrapolation across varying context lengths.","absKo":"우리는 Robust Filter Attention (RFA)을 제안한다. RFA는 잠재적 확률미분방정식(stochastic differential equation, SDE) 사전분포 하에서 self-attention을 병렬적인 robust filtering으로 재정식화하는 attention 메커니즘으로, 해석적으로 전파된 불확실성이 attention weight에 대한 시간의존적 precision prior를 정의한다. 이 정식화는 기존 positional encoding의 핵심 장점을 통합한다: RoPE와 같은 회전 구조를 보존하는 동시에, dissipation과 diffusion을 명시적으로 모델링함으로써 긴 컨텍스트에서의 안정성을 달성한다. 동역학과 노이즈에 isotropic 제약을 부과함으로써, RFA는 표준 attention의 $\\mathcal{O}(N^2 d)$ 시간 복잡도와 $\\mathcal{O}(N^2 + Nd)$ 메모리 복잡도를 맞춘다. 실험적으로, 불확실성을 고려한 가중은 각 head가 서로 다른 filtering regime으로 특화되도록 유도하며, 시간적 일관성과 다양한 context length에 대한 extrapolation을 향상시킨다는 것을 확인했다."},{"id":"63383","en":"Quaternion Self-Attention with Shared Scores","ko":"공유 점수를 갖춘 쿼터니언 셀프 어텐션","authors":"Shogo Yamauchi, Tohru Nitta, Hideaki Tamori","pos":"#2912","link":"https://openreview.net/forum?id=XdyDNR5gtb","abs":"Quaternion Neural Networks are parameter-efficient and model multidimensional dependencies by representing four related features as a single entity. However, existing quaternion self-attention computes component-wise scores and applies independent softmax operations to each component, which increases computational cost and allows attention distributions to diverge across components. We propose a Shared-Score Quaternion Self-Attention mechanism that computes a single real-valued score using the quaternion inner product and applies a shared attention distribution across all components. This reduces score-computation multiplications by 75\\% and the number of softmax operations from four to one. We prove that the component-wise and shared scores lie in the same interaction subspace—the linear span of bilinear terms induced by quaternion linear projections. This indicates that independent component-wise attention primarily re-parameterizes the same interactions rather than fundamentally expanding the feature interaction space. In speech enhancement, where phase information is crucial, our method reduces the inference time by 45--61\\% while maintaining enhancement quality, making quaternion attention a more practical approach. These findings provide a systematic approach to efficient hypercomplex attention.
","absKo":"Quaternion Neural Networks는 네 개의 관련 특징을 하나의 entity로 표현함으로써 parameter-efficient하며 다차원 의존성을 모델링한다. 그러나 기존의 quaternion self-attention은 component-wise score를 계산하고 각 component에 독립적인 softmax 연산을 적용하므로, 계산 비용이 증가하고 component 간 attention distribution이 서로 달라질 수 있다. 우리는 quaternion inner product를 사용해 하나의 real-valued score를 계산하고, 모든 component에 걸쳐 공유되는 attention distribution을 적용하는 Shared-Score Quaternion Self-Attention 메커니즘을 제안한다. 이를 통해 score 계산 곱셈 수를 75\\% 줄이고, softmax 연산 횟수를 네 번에서 한 번으로 줄인다. 우리는 component-wise score와 shared score가 동일한 interaction subspace, 즉 quaternion linear projection이 유도하는 bilinear term의 linear span 안에 있음을 증명한다. 이는 독립적인 component-wise attention이 근본적으로 feature interaction space를 확장하기보다는 주로 동일한 상호작용을 재매개변수화한다는 점을 시사한다. phase 정보가 중요한 speech enhancement에서, 우리의 방법은 enhancement quality를 유지하면서 inference time을 45--61\\% 줄여 quaternion attention을 더 실용적인 접근으로 만든다. 이러한 결과는 효율적인 hypercomplex attention을 위한 체계적인 접근을 제공한다.
"},{"id":"65541","en":"PLASH: Provably Linear-Time Attention with Selective Higher-Order Feature Sketching","ko":"PLASH: 선택적 고차 특징 스케칭을 통한 입증 가능한 선형 시간 Attention","authors":"Yuwen Huang, Xiang Pan","pos":"#2913","link":"https://openreview.net/forum?id=CYg2w0YKM4","abs":"Attention selects information from long contexts, but standard softmax attention scales as $O(N_qN_k)$ in the number of queries $N_q$ and keys $N_k$, making long-context training and inference expensive. We propose PLASH, an attention block with provably linear-time complexity in $N_k$ that preserves the usual interface: each query still returns a data-dependent weighted combination of values. PLASH first compresses the key / value side into $M \\ll N_k$ learned representatives, and then restores expressivity by enriching these representatives with selective higher-order feature sketching (e.g., TensorSketch), which approximates chosen polynomial interactions without explicit feature expansion. The final softmax readout from $\\mathbf{Q}$ to the enriched $(\\mathbf{K}_g,\\mathbf{V}_g)$ is exact, so PLASH applies to both self- and cross-attention by treating $N_q$ and $N_k$ independently. We give a runtime analysis $O(N_k M d + N_q M d)$ (plus sketching costs), provide error bounds for the randomized sketches and an end-to-end deviation analysis relative to standard attention, and show strong long-context performance with favorable scaling versus efficient-attention baselines.","absKo":"Attention은 긴 context에서 정보를 선택하지만, standard softmax attention은 query 수 $N_q$와 key 수 $N_k$에 대해 $O(N_qN_k)$로 스케일링되므로 long-context training과 inference의 비용이 크다. 우리는 $N_k$에 대해 provably linear-time complexity를 가지면서도 일반적인 interface를 유지하는 attention block인 PLASH를 제안한다. 각 query는 여전히 data-dependent weighted combination of values를 반환한다. PLASH는 먼저 key/value 쪽을 $M \\ll N_k$개의 learned representative로 압축한 뒤, 선택된 higher-order feature sketching(예: TensorSketch)을 통해 이 representative를 풍부하게 만들어 명시적인 feature expansion 없이 선택된 polynomial interaction을 근사함으로써 표현력을 복원한다. $\\mathbf{Q}$에서 풍부해진 $(\\mathbf{K}_g,\\mathbf{V}_g)$로의 최종 softmax readout은 정확하므로, PLASH는 $N_q$와 $N_k$를 독립적으로 취급하여 self-attention과 cross-attention 모두에 적용될 수 있다. 우리는 runtime analysis $O(N_k M d + N_q M d)$ (sketching cost는 별도)을 제시하고, randomized sketch에 대한 error bound와 standard attention 대비 end-to-end deviation analysis를 제공하며, efficient-attention baseline 대비 우수한 scaling과 함께 강력한 long-context 성능을 보임을 보여 준다."},{"id":"64389","en":"PACEAttention: Principled and Adaptive Feature Compression-Expansion Grounded in the Geometry of $\\text{MCR}^2$","ko":"PACEAttention: $\\text{MCR}^2$의 기하학에 기반한 원칙적 적응형 특징 압축-확장","authors":"Xiaojie Yu, Haibo Zhang, Jeremiah D. Deng, Lizhi Peng","pos":"#2914","link":"https://openreview.net/forum?id=O64UziRDnr","abs":"The maximal coding rate reduction ($\\text{MCR}^2$) objective is proposed for learning low-dimensional subspace representations and for principled deep model design, where layer structures are derived by unrolling its optimization steps. However, existing methods motivated by this objective do not fully adhere to design principles implied by the $\\text{MCR}^2$ gradient, which weakens the principled and interpretable foundations of the resulting models. In this work, we introduce PACEAttention, a novel principled attention mechanism inspired by the \\textit{geometric insight }of $\\text{MCR}^2$. From the geometric perspective, gradient-based updates of $\\text{MCR}^2$ move features along directions shaped by the underlying low-dimensional feature structure. Our method captures this structure by leveraging randomization to guide feature updates. This principled construction enables the resulting PACENet to exhibit enhanced interpretability, with different heads attending to distinct image regions and capturing \\textit{fine-grained} structures under simple supervised training. Besides, two learnable weights in PACEAttention enable explicit regulation of the feature update dynamics, reflecting the relative contributions of different components across layers. Experiments demonstrate that PACEAttention achieves superior performance and more stable scalability than previous principled modules while remaining low complexity.","absKo":"최대 coding rate reduction($\\text{MCR}^2$) 목적함수는 low-dimensional subspace representation 학습과 원리적인 deep model design을 위해 제안되었으며, 여기서 layer 구조는 optimization step을 unrolling하여 도출된다. 그러나 이 목적함수에서 동기부여된 기존 방법들은 $\\text{MCR}^2$ gradient가 함의하는 설계 원리를 충분히 따르지 않으며, 그 결과 모델의 원리적이고 해석 가능한 기반이 약화된다. 본 연구에서는 $\\text{MCR}^2$의 \\textit{geometric insight}에서 영감을 받은 새로운 원리적 attention mechanism인 PACEAttention을 제안한다. 기하학적 관점에서, $\\text{MCR}^2$의 gradient 기반 업데이트는 잠재된 저차원 feature structure에 의해 형성된 방향을 따라 feature를 이동시킨다. 우리의 방법은 randomization을 활용하여 feature update를 유도함으로써 이러한 구조를 포착한다. 이러한 원리적 구성은 결과물인 PACENet이 향상된 해석가능성을 보이도록 하며, 서로 다른 head가 서로 구분되는 image region에 주목하고 단순한 supervised training 하에서도 \\textit{fine-grained} structure를 포착하게 한다. 또한 PACEAttention의 두 개의 learnable weight는 feature update dynamics를 명시적으로 조절할 수 있게 하여, layer 전반에 걸친 서로 다른 구성요소의 상대적 기여를 반영한다. 실험은 PACEAttention이 이전의 원리적 module보다 더 우수한 성능과 더 안정적인 확장성을 달성하면서도 낮은 복잡성을 유지함을 보여준다."},{"id":"66022","en":"AdaSplash-2: Faster Differentiable Sparse Attention","ko":"AdaSplash-2: 더 빠른 미분 가능 희소 Attention","authors":"Nuno M. T. Gonçalves, Hugo Pitorro, Vlad Niculae, Edoardo Ponti, Lei Li, Andre Martins, Marcos V. Treviso","pos":"#3001","link":"https://openreview.net/forum?id=7qpvff2gWI","abs":"Sparse attention has been proposed as a way to alleviate the quadratic cost of transformers, a central bottleneck in long-context training. A promising line of work is $\\alpha$-entmax attention, a differentiable sparse alternative to softmax that enables input-dependent sparsity yet has lagged behind softmax due to the computational overhead necessary to compute the normalizer $\\tau$. In this paper, we introduce AdaSplash-2, which addresses this limitation through a novel histogram-based initialization that reduces the number of iterations needed to compute $\\tau$ to typically 1-2. The key idea is to compute a coarse histogram of attention scores on the fly and store it in on-chip SRAM, yielding a more accurate initialization that enables fast forward and backward computation. Combined with a sparsity-aware GPU implementation that skips zero blocks with low overhead, AdaSplash-2 matches or improves per-step training time relative to FlashAttention-2 when block sparsity is moderate-to-high (e.g., $>$60\\%), which often occurs at long-context lengths. On downstream tasks, models trained with our efficient $\\alpha$-entmax attention match softmax baselines at short-context lengths and achieve substantial gains in long-context settings.","absKo":"Sparse attention은 transformer의 quadratic cost를 완화하기 위한 방법으로 제안되어 왔으며, 이는 long-context training의 핵심 병목이다. 유망한 연구 방향은 $\\alpha$-entmax attention으로, 입력에 따라 sparsity가 달라지는 differentiable sparse 대안이지만 normalizer $\\tau$를 계산하는 데 필요한 연산 오버헤드 때문에 softmax에 뒤처져 왔다. 본 논문에서는 이 한계를 해결하는 AdaSplash-2를 소개한다. AdaSplash-2는 새로운 histogram 기반 initialization을 통해 $\\tau$를 계산하는 데 필요한 iteration 수를 일반적으로 1-2회로 줄인다. 핵심 아이디어는 attention score의 coarse histogram을 on-the-fly로 계산하여 on-chip SRAM에 저장함으로써, 더 정확한 initialization을 제공하고 빠른 forward 및 backward computation을 가능하게 하는 것이다. 0 블록을 낮은 오버헤드로 건너뛰는 sparsity-aware GPU implementation과 결합하면, AdaSplash-2는 block sparsity가 중간에서 높은 수준일 때(예: $>$60\\%), 그리고 이는 long-context 길이에서 자주 발생하는데, FlashAttention-2와 비교해 step당 training time을 맞추거나 향상시킨다. Downstream task에서는 우리의 efficient $\\alpha$-entmax attention으로 학습한 모델이 short-context 길이에서는 softmax baseline과 동등한 성능을 보이고, long-context 설정에서는 상당한 향상을 달성한다."},{"id":"63610","en":"Anatomy of Massive Activations and Attention Sinks","ko":"거대한 활성값과 attention sink의 해부","authors":"Shangwen Sun, Alfredo Canziani, Yann LeCun, Jiachen Zhu","pos":"#3002","link":"https://openreview.net/forum?id=VUiMZBfHBe","abs":"We study two recurring phenomena in Transformer language models. First, \\emph{massive activations}, where a small number of hidden channels attain extremely large values for a few tokens. Second, \\emph{attention sinks}, where certain tokens attract a disproportionate share of attention across many heads and layers. We present a unified inference-time mechanism explaining how massive activations emerge and propagate through layers, and how normalization transforms these tokens into sparse, nearly fixed vectors that reshape the attention space and induce sink or no-sink behavior. We further conduct ablations on models trained from scratch to disentangle architectural and training factors governing both phenomena. We find that attention sinks persist across architectures and can arise even without massive activations. The normalization strategy primarily determines the emergence of massive activations, while head dimension and context length modulate the frequency of attention sink formation.
","absKo":"우리는 Transformer language model에서 반복적으로 나타나는 두 가지 현상을 연구한다. 첫째는 \\emph{massive activations}로, 소수의 hidden channel이 몇몇 token에서 극도로 큰 값을 갖는 현상이다. 둘째는 \\emph{attention sinks}로, 특정 token이 많은 head와 layer에 걸쳐 attention의 비정상적으로 큰 비중을 끌어당기는 현상이다. 우리는 이러한 현상이 어떻게 발생하고 layer를 따라 전파되는지, 그리고 normalization이 이 token들을 sparse하고 거의 고정된 vector로 변환하여 attention space를 재구성하고 sink 또는 no-sink 동작을 유도하는지를 설명하는 통합된 inference-time 메커니즘을 제시한다. 또한 우리는 architecture 및 training 요인이 이 두 현상을 어떻게 지배하는지를 분리하기 위해 scratch부터 학습된 model에 대해 ablation을 수행한다. 우리는 attention sink가 architecture 전반에 걸쳐 지속되며, massive activation이 없어도 발생할 수 있음을 발견한다. normalization strategy가 주로 massive activation의 출현을 결정하는 반면, head dimension과 context length는 attention sink 형성 빈도를 조절한다.
"},{"id":"62105","en":"Attention Sink Forges Native MoE in Attention Layers: Sink-Aware Training to Address Head Collapse","ko":"Attention Sink가 Attention Layer에서 Native MoE를 형성한다: Head Collapse 해결을 위한 Sink-Aware Training","authors":"Zizhuo Fu, Wenxuan Zeng, Runsheng Wang, Meng Li","pos":"#3003","link":"https://openreview.net/forum?id=jnds7BbY0V","abs":"Large Language Models (LLMs) often assign disproportionate attention to the first token, a phenomenon known as the attention sink. Several recent approaches aim to address this issue, including Sink Attention in GPT-OSS and Gated Attention in Qwen3-Next. However, a comprehensive analysis of the relationship among these attention mechanisms is lacking. In this work, we provide both theoretical and empirical evidence demonstrating that the sink in Vanilla Attention and Sink Attention naturally construct a Mixture-of-Experts (MoE) mechanism within attention layers. This insight explains the head collapse phenomenon observed in prior work, where only a fixed subset of attention heads contributes to generation. To mitigate head collapse, we propose a sink-aware training algorithm with an auxiliary load balancing loss designed for attention layers. Extensive experiments show that our method achieves effective head load balancing and improves model performance across Vanilla Attention, Sink Attention, and Gated Attention. We hope this study offers a new perspective on attention mechanisms and encourages further exploration of the inherent MoE structure within attention layers.
","absKo":"Large Language Models (LLMs)는 종종 첫 번째 token에 과도하게 많은 attention을 할당하는데, 이를 attention sink라고 한다. 최근 몇몇 접근법이 이 문제를 다루고 있으며, 여기에는 GPT-OSS의 Sink Attention과 Qwen3-Next의 Gated Attention이 포함된다. 그러나 이러한 attention mechanism들 사이의 관계에 대한 포괄적인 분석은 부족하다. 본 연구에서는 Vanilla Attention과 Sink Attention의 sink가 attention layer 내부에 Mixture-of-Experts (MoE) mechanism을 자연스럽게 구성함을 이론적 및 경험적으로 보인다. 이 통찰은 이전 연구에서 관찰된 head collapse 현상, 즉 고정된 일부 attention head만이 generation에 기여하는 현상을 설명한다. head collapse를 완화하기 위해, 우리는 attention layer를 위해 설계된 auxiliary load balancing loss를 포함한 sink-aware training algorithm을 제안한다. 광범위한 실험은 우리의 방법이 효과적인 head load balancing을 달성하고 Vanilla Attention, Sink Attention, Gated Attention 전반에서 모델 성능을 향상시킴을 보여준다. 우리는 이 연구가 attention mechanism에 대한 새로운 관점을 제공하고 attention layer 내에 내재된 MoE 구조에 대한 추가 탐구를 촉진하기를 기대한다.
"},{"id":"65403","en":"Balancing Fidelity and Diversity in Diffusion Models via Symmetric Attention Decomposition: Hopfield Perspective","ko":"대칭 Attention 분해를 통한 Diffusion Model의 충실도와 다양성 균형: Hopfield 관점","authors":"Hyunmin Cho, Woo Kyoung Han, Kyong Hwan Jin","pos":"#3004","link":"https://openreview.net/forum?id=E0MKfKmQkT","abs":"We characterize the pre-softmax attention matrix $\\mathbf{QK^\\top}$ in transformers as an associative memory matrix encoding pairwise associations between input features. By decomposing this matrix into its symmetric and skew-symmetric parts, we interpret the symmetric component as governing the structure of the *energy landscape*, and the skew-symmetric component as driving *circulation* on that landscape. Leveraging the energy formulation induced by the symmetric component, we derive Hopfield-style stability measures that quantify the stability of retrieved features. Empirically, we observe meaningful correlations between Hopfield-style stability measures and the fidelity$-$diversity trade-offs in generation. Finally, we propose a controllable knob to modulate this trade-off by directly modifying the circulation of the underlying dynamics.","absKo":"우리는 transformers의 pre-softmax attention matrix $\\mathbf{QK^\\top}$를 입력 feature 간 pairwise association을 인코딩하는 associative memory matrix로 규정한다. 이 matrix를 symmetric part와 skew-symmetric part로 분해함으로써, symmetric component는 *energy landscape*의 구조를 지배하고, skew-symmetric component는 그 landscape 위에서의 *circulation*을 유도한다고 해석한다. symmetric component가 유도하는 energy formulation을 활용하여, 우리는 회수된 feature의 안정성을 정량화하는 Hopfield-style stability measure를 유도한다. 실험적으로는 Hopfield-style stability measure와 generation에서의 fidelity$-$diversity trade-off 사이에 의미 있는 상관관계를 관찰한다. 마지막으로, 우리는 underlying dynamics의 circulation을 직접 수정함으로써 이 trade-off를 조절할 수 있는 controllable knob를 제안한다."},{"id":"62023","en":"Compass-RoPE: Isotropic Rotary Position Embeddings for Vision Transformers","ko":"Compass-RoPE: Vision Transformer를 위한 isotropic rotary position embeddings","authors":"Chengxi Min, Wei Wang, Yao Zhao","pos":"#3005","link":"https://openreview.net/forum?id=kbIXDF7PD0","abs":"Recent works introduce Rotary Position Embeddings (RoPE) into vision transformers (ViTs) to enhance their extrapolation capability, i.e., maintaining performance when inference is conducted on higher resolution images. RoPE encodes positions via rotating phases whose change is controlled by frequency components. Strandard 2D RoPE does not generalize well to input resolution changes as it only applies axial frequencies separately along each individual axis. To solve this issue, Mix-RoPE combines xy‑axis frequencies, such that it can model position relations in diagonal direction. However, in practice, we observe that the learned 2D frequencies become anisotropic in their direction distributions due to the axial spectral bias in image features, limiting the extrapolation ability of ViTs. Motivated by this observation, we propose Compass‑RoPE. We replace the xy cartesian coordinates with a polar parameterization that explicitly decouples frequency scale and angle. By initializing the angle vectors uniformly over [0,2π), it ensures the isotropic direction coverage. Besides, we further introduce discrete Fourier transform (DFT) mixing for the angle vectors, allowing each transformed individual angle vector element to nest multipule angles and thus to enrich angular expressiveness. Extensive experiments on multi-resolution classification and dense prediction tasks show that our Compass-RoPE achieves more stable extrapolation performance under large-scale resolution changes.
","absKo":"최근 연구들은 vision transformer(ViT)의 extrapolation capability, 즉 더 높은 해상도의 이미지에서 inference를 수행할 때도 성능을 유지하는 능력을 향상시키기 위해 Rotary Position Embedding(RoPE)을 ViT에 도입하고 있다. RoPE는 위치를 회전하는 phase로 인코딩하며, 그 변화는 frequency component에 의해 제어된다. 표준 2D RoPE는 각 축에 따라 axial frequency를 따로 적용할 뿐이므로 입력 해상도 변화에 잘 일반화되지 않는다. 이 문제를 해결하기 위해 Mix-RoPE는 xy-axis frequency를 결합하여 대각선 방향의 position relation도 모델링할 수 있게 한다. 그러나 실제로는 이미지 feature의 axial spectral bias 때문에 학습된 2D frequency의 direction distribution이 anisotropic하게 변하며, 이는 ViT의 extrapolation 능력을 제한한다. 이러한 관찰에 동기부여되어 우리는 Compass-RoPE를 제안한다. 우리는 xy Cartesian coordinate를 frequency scale과 angle을 명시적으로 분리하는 polar parameterization으로 대체한다. angle vector를 [0,2π)에서 균일하게 초기화함으로써 isotropic한 방향 커버리지를 보장한다. 또한 discrete Fourier transform(DFT) mixing을 angle vector에 추가로 도입하여, 변환된 각 개별 angle vector element가 여러 angle을 중첩하도록 하고 angular expressiveness를 풍부하게 한다. 다중 해상도 분류 및 dense prediction task에 대한 광범위한 실험은 우리의 Compass-RoPE가 대규모 해상도 변화 하에서도 더 안정적인 extrapolation 성능을 달성함을 보여준다.
"},{"id":"65142","en":"DFSAttn: Dynamic Fine-grained Sparse Attention for Efficient Video Generation","ko":"DFSAttn: 효율적 비디오 생성을 위한 동적 세밀 Sparse Attention","authors":"Jie Hu, Zixiang Gao, Yutong He, Kun Yuan","pos":"#3006","link":"https://openreview.net/forum?id=GO0G6bo9UO","abs":"Diffusion transformers have achieved remarkable success in high-quality video generation, yet their reliance on spatiotemporal 3D full attention incurs prohibitive computational cost due to the quadratic complexity of attention. Block sparse attention is a common approach to mitigate this by focusing computation on important regions. However, attention maps in DiTs exhibit inherently dynamic and fine-grained sparsity, which causes existing block sparse attention methods to degrade significantly in quality, especially at high sparsity ratios. In this paper, we revisit block sparse attention and derive a theoretical lower bound on attention recall to characterize the key factors governing its effectiveness. Guided by these insights, we propose DFSAttn, a training-free sparse attention framework that enables dynamic, fine-grained sparsification efficiently. DFSAttn incorporates three core designs: Hilbert curve–based token reordering to achieve fine-grained sparsity while retaining hardware-friendly operations, hierarchical block scoring for accurate block importance estimation, and sparse mask caching with adaptive ratios to balance accuracy and efficiency. Experimental results demonstrate that DFSAttn consistently outperforms prior methods under high sparsity, achieving up to 2.1$\\times$ end-to-end speedup while maintaining high generation quality.","absKo":"Diffusion transformer는 고품질 비디오 생성에서 놀라운 성과를 거두었지만, spatiotemporal 3D full attention에 의존하기 때문에 attention의 quadratic complexity로 인해 계산 비용이 지나치게 큽니다. Block sparse attention은 중요한 영역에 계산을 집중함으로써 이를 완화하는 일반적인 방법입니다. 그러나 DiT의 attention map은 본질적으로 동적이고 세밀한 sparsity를 보이므로, 기존 block sparse attention 방법은 특히 높은 sparsity ratio에서 품질이 크게 저하됩니다. 본 논문에서는 block sparse attention을 다시 살펴보고, 그 효과를 좌우하는 핵심 요인을 특징짓기 위해 attention recall에 대한 이론적 하한을 도출합니다. 이러한 통찰을 바탕으로, 동적이고 세밀한 sparsification을 효율적으로 가능하게 하는 training-free sparse attention framework인 DFSAttn을 제안합니다. DFSAttn은 세 가지 핵심 설계를 포함합니다. Hilbert curve 기반 token reordering은 hardware-friendly한 연산을 유지하면서 fine-grained sparsity를 달성하고, hierarchical block scoring은 정확한 block 중요도 추정을 제공하며, adaptive ratio를 갖는 sparse mask caching은 정확도와 효율성의 균형을 맞춥니다. 실험 결과, DFSAttn은 높은 sparsity 조건에서 기존 방법을 일관되게 능가하며, 높은 생성 품질을 유지하면서 end-to-end speedup을 최대 2.1$\\times$까지 달성합니다."},{"id":"60904","en":"Incremental Learning of Sparse Attention Patterns in Transformers","ko":"Transformers에서 Sparse Attention Pattern의 점진적 학습","authors":"Oğuz Yüksel","pos":"#3007","link":"https://openreview.net/forum?id=vSRh1qU5sH","abs":"This paper studies simple transformers on a high-order Markov chain, where the model must incorporate knowledge from multiple past positions, each with different statistical importance. We show that transformers learn the task incrementally, with each stage induced by the acquisition or copying of information from a subset of positions via a sparse attention pattern. Notably, the learning dynamics transition from competitive, where all heads focus on the statistically most important attention pattern, to cooperative, where different heads specialize in different patterns. We explain these dynamics using a set of simplified differential equations, which characterize the stage-wise learning process and analyze the training trajectories. As transformers progress through these stages, they climb a complexity ladder defined via simpler misspecified hypothesis classes until reaching the full model class. Overall, our work provides theoretical explanations for how transformers learn in stages even without an explicit curriculum and provides insights into the emergence of complex behaviors and generalization, with relevance to applications such as natural language processing and algorithmic reasoning.
","absKo":"이 논문은 high-order Markov chain 상의 simple transformer를 연구하며, 모델이 서로 다른 통계적 중요도를 지닌 여러 과거 위치로부터의 정보를 통합해야 하는 상황을 다룬다. 우리는 transformer가 각 stage에서 sparse attention pattern을 통해 일부 위치로부터 정보를 획득하거나 복사함으로써 점진적으로 과제를 학습한다는 점을 보인다. 특히 학습 dynamics는 경쟁적 양상에서 협력적 양상으로 전환되는데, 경쟁적 단계에서는 모든 head가 통계적으로 가장 중요한 attention pattern에 집중하고, 협력적 단계에서는 서로 다른 head가 서로 다른 pattern에 특화된다. 우리는 이러한 dynamics를 단순화된 differential equation 집합을 사용해 설명하며, 이 식들은 stage-wise learning process를 특징짓고 training trajectory를 분석한다. transformer가 이러한 stage를 통과하면서, 더 단순한 misspecified hypothesis class로 정의되는 complexity ladder를 따라 올라가다가 결국 full model class에 도달한다. 전반적으로 본 연구는 explicit curriculum이 없어도 transformer가 어떻게 단계적으로 학습하는지에 대한 이론적 설명을 제공하고, natural language processing 및 algorithmic reasoning과 같은 응용에서 복잡한 행동과 generalization의 출현에 대한 통찰을 제시한다.
"},{"id":"61288","en":"Krause Synchronization Transformers","ko":"Krause 동기화 Transformer","authors":"Jingkun Liu, Yisong Yue, Max Welling, Yue Song","pos":"#3008","link":"https://openreview.net/forum?id=rhX58pEFNd","abs":"Self-attention in Transformers relies on globally normalized softmax weights, causing all tokens to compete for influence at every layer. When composed across depth, this interaction pattern induces strong synchronization dynamics that favor convergence toward a dominant mode, a behavior associated with representation collapse and attention sink phenomena. We introduce $\\textbf{Krause Attention}$, a principled attention mechanism inspired by bounded-confidence consensus dynamics. Krause Attention replaces similarity-based global aggregation with distance-based, localized, and selectively sparse interactions, promoting structured local synchronization instead of global mixing. We relate this behavior to recent theory modeling Transformer dynamics as interacting particle systems, and show how bounded-confidence interactions naturally moderate attention concentration and alleviate attention sinks. Restricting interactions to local neighborhoods also reduces runtime complexity from quadratic to linear in sequence length. Experiments across vision (ViT on CIFAR/ImageNet), autoregressive generation (MNIST/CIFAR-10), and large language models (Llama/Qwen) demonstrate consistent gains with substantially reduced computation, highlighting bounded-confidence dynamics as a scalable and effective inductive bias for attention.","absKo":"Transformers의 self-attention은 전역적으로 정규화된 softmax weight에 의존하므로, 모든 token이 각 layer에서 영향력을 두고 경쟁하게 된다. 이러한 상호작용 패턴이 depth를 따라 합성되면 강한 synchronization dynamics가 유도되어 dominant mode로의 수렴을 선호하게 되며, 이는 representation collapse 및 attention sink 현상과 연관된다. 우리는 bounded-confidence consensus dynamics에서 영감을 받은 원리적 attention mechanism인 $\\textbf{Krause Attention}$을 제안한다. Krause Attention은 similarity-based global aggregation을 distance-based, localized, selective sparse interaction으로 대체하여, 전역 mixing이 아니라 구조화된 local synchronization을 촉진한다. 우리는 이러한 거동을 Transformer dynamics를 interacting particle systems로 모델링한 최근 이론과 연결하고, bounded-confidence interaction이 attention concentration을 자연스럽게 완화하고 attention sink를 줄인다는 점을 보인다. 상호작용을 local neighborhood로 제한하면 runtime complexity도 sequence length에 대해 quadratic에서 linear로 감소한다. Vision(ViT on CIFAR/ImageNet), autoregressive generation(MNIST/CIFAR-10), large language models(Llama/Qwen) 전반의 실험은 계산량을 크게 줄이면서도 일관된 성능 향상을 보여주며, bounded-confidence dynamics가 attention을 위한 확장 가능하고 효과적인 inductive bias임을 강조한다."},{"id":"65834","en":"Left–Right Symmetry Breaking in CLIP-style Vision-Language Models Trained on Synthetic Spatial-Relation Data","ko":"합성 공간 관계 데이터로 학습된 CLIP 방식 Vision-Language 모델에서의 좌우 대칭 깨짐","authors":"Takaki Yamamoto, Chihiro Noguchi, Toshihiro Tanizawa","pos":"#3010","link":"https://openreview.net/forum?id=9dKTHof9rW","abs":"Spatial understanding remains a key challenge in vision-language models. Yet it is still unclear whether such understanding is truly acquired, and if so, through what mechanisms. We present a controllable 1D image–text testbed to probe how left–right relational understanding emerges in Transformer-based vision and text encoders trained with a CLIP-style contrastive objective. We train lightweight Transformer-based vision and text encoders end-to-end on paired descriptions of one- and two-object scenes and evaluate generalization to unseen object pairs while systematically varying label and layout diversity. We find that contrastive training learns left–right relations and that label diversity, more than layout diversity, is the primary driver of generalization in this setting. To gain the mechanistic understanding, we perform an attention decomposition and show that interactions between positional and token embeddings induce a horizontal attention gradient that breaks left–right symmetry in the encoders; ablating this contribution substantially reduces left–right discrimination. Our results provide a mechanistic insight of when and how CLIP-style models acquire relational competence.
","absKo":"공간적 이해(spatial understanding)는 vision-language model에서 여전히 핵심적인 과제이다. 그러나 이러한 이해가 실제로 획득되는지, 그렇다면 어떤 메커니즘을 통해 획득되는지는 아직 명확하지 않다. 우리는 CLIP 스타일의 contrastive objective로 학습된 Transformer 기반 vision 및 text encoder에서 left-right 관계적 이해가 어떻게 나타나는지 조사하기 위해 제어 가능한 1D image–text testbed를 제시한다. 우리는 하나 및 두 객체 장면에 대한 쌍별 설명(pairwise description)으로 경량 Transformer 기반 vision 및 text encoder를 end-to-end로 학습하고, label과 layout의 다양성을 체계적으로 변화시키면서 보지 못한 object pair로의 일반화를 평가한다. 우리는 contrastive training이 left-right 관계를 학습하며, 이 설정에서 layout 다양성보다 label 다양성이 일반화의 주요 동인임을 발견한다. 메커니즘적 이해를 얻기 위해 attention decomposition을 수행한 결과, positional embedding과 token embedding 사이의 상호작용이 encoder에서 left-right 대칭을 깨는 horizontal attention gradient를 유도하며, 이 기여를 ablate하면 left-right 판별이 상당히 감소함을 보인다. 우리의 결과는 CLIP 스타일 모델이 언제, 그리고 어떻게 관계적 능력(relational competence)을 획득하는지에 대한 메커니즘적 통찰을 제공한다.
"},{"id":"62987","en":"Linearizing Vision Transformer with Test-Time Training","ko":"Test-Time Training으로 Vision Transformer 선형화","authors":"Yining Li, Dongchen Han, Zeyu Liu, Hanyi Wang, Yulin Wang, Gao Huang","pos":"#3011","link":"https://openreview.net/forum?id=bBylXHoUTl","abs":"While linear-complexity attention mechanisms offer a promising alternative to Softmax attention for overcoming the quadratic bottleneck, training such models from scratch remains prohibitively expensive. Inheriting weights from pretrained Transformers provides an appealing shortcut, yet the fundamental representational gap between Softmax and linear attention prevents effective weight transfer. In this work, we address this conversion challenge from two perspectives: architectural alignment and representational alignment. We discover that Test-Time Training (TTT) shares a similar structure with Softmax attention, enabling direct weight inheritance. To further align representational properties— shift-invariance with keys and locality, we introduce instance normalization and locality enhancement module to better approximate the pretrained feature space. We validate our approach by linearizing Stable Diffusion 3.5 and introduce SD3.5-T$^5$. With only 1 hour fine-tuning on 4$\\times$H20, SD3.5-T$^5$ achieves a DPG-Bench score of 84.43 (vs.\\ 83.83 for the original) while accelerating inference by 1.32$\\times$ and 1.47$\\times$ at 1K and 2K resolutions.","absKo":"선형 복잡도 attention mechanism은 quadratic bottleneck을 극복하기 위한 Softmax attention의 유망한 대안이지만, 이러한 모델을 scratch부터 학습하는 것은 여전히 지나치게 비용이 크다. pretrained Transformer에서 weight를 상속하는 방식은 매력적인 지름길이지만, Softmax와 linear attention 사이의 근본적인 representational gap 때문에 효과적인 weight transfer가 어렵다. 본 연구에서는 이 변환 과제를 architectural alignment와 representational alignment라는 두 관점에서 다룬다. 우리는 Test-Time Training(TTT)이 Softmax attention과 유사한 구조를 공유하여 weight를 직접 상속할 수 있음을 발견한다. 또한 key와의 shift-invariance 및 locality라는 representational property를 더 잘 맞추기 위해, pretrained feature space를 더 정확히 근사하도록 instance normalization과 locality enhancement module을 도입한다. 우리는 Stable Diffusion 3.5를 linearize하고 SD3.5-T$^5$를 도입함으로써 이 접근을 검증한다. 4$\\times$H20에서 단 1시간의 fine-tuning만으로도 SD3.5-T$^5$는 DPG-Bench에서 84.43점을 달성한다(원본의 83.83점 대비). 동시에 1K 및 2K 해상도에서 추론 속도를 각각 1.32$\\times$, 1.47$\\times$ 향상시킨다."},{"id":"66654","en":"Modelling Attention with Aitchison Geometry: Token Distinguishability and Temperature Scaling","ko":"Aitchison 기하학으로 Attention 모델링: 토큰 구별성과 온도 스케일링","authors":"Sam Hilton-Jones, Timothy Norman, Zhanxing Zhu","pos":"#3012","link":"https://openreview.net/forum?id=1hBJuMSEKs","abs":"The attention mechanism with softmax normalisation is a foundational component of Transformer-based large language models. However, with very long contexts, attention scores are known to diminish, raising fundamental questions about token distinguishability and how it can be preserved. In this work, we provide a formal characterisation of token distinguishability in attention as a function of context length and embedding dimension. We introduce Aitchison distance to quantify relative differences among attention probabilities, and show that, with Gaussian queries and keys, even in the long-context regime, token distinguishability converges to a finite, non-zero limit rather than vanishing. Leveraging the linear relationship between temperature scaling and Aitchison distance, we derive a theoretical lower bound of $\\Omega(\\sqrt{\\log L})$ on the logit scaling required to produce a sharp attention distribution. Finally, we demonstrate that Aitchison distance provides a principled and practical alternative to entropy for monitoring training and inference, as it captures the full compositional structure, including the smaller components of the attention probabilities.","absKo":"softmax normalization을 사용하는 attention mechanism은 Transformer 기반 대규모 언어 모델의 핵심 구성요소이다. 그러나 매우 긴 context에서는 attention score가 약화되는 것으로 알려져 있으며, token distinguishability와 그것을 어떻게 보존할 수 있는지에 대한 근본적인 질문이 제기된다. 본 연구에서는 context length와 embedding dimension의 함수로서 attention에서의 token distinguishability를 형식적으로 규명한다. 우리는 attention probability 간의 상대적 차이를 정량화하기 위해 Aitchison distance를 도입하고, Gaussian query와 key를 가정할 때 long-context regime에서도 token distinguishability가 사라지지 않고 유한한 비영(非零) 극한으로 수렴함을 보인다. temperature scaling과 Aitchison distance 사이의 선형 관계를 활용하여, sharp attention distribution을 생성하는 데 필요한 logit scaling에 대해 $\\Omega(\\sqrt{\\log L})$의 이론적 하한을 도출한다. 마지막으로, Aitchison distance가 attention probability의 작은 성분을 포함한 전체 compositional structure를 포착하므로, training과 inference를 모니터링하기 위한 entropy의 원리적이면서도 실용적인 대안임을 보인다."},{"id":"66535","en":"Multipole Semantic Attention: A Fast Approximation of Softmax Attention for Pretraining","ko":"Multipole Semantic Attention: 사전 훈련을 위한 Softmax Attention의 빠른 근사","authors":"Rupert Mitchell, Kristian Kersting","pos":"#3013","link":"https://openreview.net/forum?id=2oft1bznyx","abs":"We present Multipole Semantic Attention (MuSe), an efficient approximation of softmax attention for long-context transformers. MuSe clusters queries and keys separately in their learned representation spaces, computing query-specific cluster summaries that capture how each query cluster attends to each key cluster. This is combined with retrieval of high-attention clusters for exact computation. Unlike prior work that clusters only keys, our separate query clustering provides a ~9× effective cluster count advantage, enabling high approximation quality at extreme sparsity. For causal attention, we introduce a block-sparse structure with causal accumulation of cluster summaries across spatial blocks, followed by two-level retrieval. At 64k context, MuSe achieves 64× sparsity in the far-field attention with <1% relative squared error and 2× speedup over CUDNN Flash Attention on isolated attention layers. We pretrain language models up to 1B parameters at 64k context, achieving 36% wallclock speedup with <1% loss degradation.
","absKo":"우리는 long-context transformer를 위한 softmax attention의 효율적인 근사 방법인 Multipole Semantic Attention (MuSe)를 제안한다. MuSe는 학습된 representation space에서 query와 key를 각각 별도로 clustering하고, 각 query cluster가 각 key cluster에 어떻게 attention하는지를 포착하는 query-specific cluster summary를 계산한다. 여기에 높은 attention을 받는 cluster를 retrieval하여 exact computation을 수행하는 방식을 결합한다. key만 clustering하는 기존 연구와 달리, 우리의 별도 query clustering은 약 9배의 effective cluster count 이점을 제공하여 극단적으로 희소한 설정에서도 높은 근사 품질을 가능하게 한다. causal attention의 경우, 공간 블록 전반에 걸친 cluster summary의 causal accumulation을 포함하는 block-sparse 구조와 two-level retrieval을 도입한다. 64k context에서 MuSe는 far-field attention에서 64배의 sparsity를 달성하면서 <1%의 relative squared error와, isolated attention layer 기준으로 CUDNN Flash Attention 대비 2배의 속도 향상을 보인다. 우리는 64k context에서 최대 1B 파라미터의 언어 모델을 pretrain하여, <1%의 loss degradation과 함께 36%의 wallclock speedup을 달성한다.
"},{"id":"65808","en":"Norm$\\times$Direction: Restoring the Missing Query Norm in Vision Linear Attention","ko":"Norm$\\times$Direction: 시각 선형 Attention에서 누락된 Query Norm 복원","authors":"Weikang Meng, Yadan Luo, Liangyu Huo, Yingjian Li, Yaowei Wang, Xin Li, Zheng Zhang","pos":"#3014","link":"https://openreview.net/forum?id=9wnNpCD8E9","abs":"Linear attention mitigates the quadratic complexity of softmax attention but suffers from a critical loss of expressiveness. We identify two primary causes: (1) The normalization operation cancels the query norm, which breaks the correlation between a query's norm and the spikiness (entropy) of the attention distribution as in softmax attention. (2) Standard techniques for enforcing non-negativity cause destructive information loss by nullifying valid inner-product interactions. To address these challenges, we introduce **NaLaFormer**, a novel linear attention mechanism built upon a norm$\\times$direction (ND) decomposition of the query and key vectors. We leverage each component to solve a distinct problem: The *query norm* is injected into our kernel to create a query-norm-aware map that restores the attention distribution's spikiness. The *direction vectors* are processed by a geometric, cosine-based similarity metric that guarantees non-negativity while preserving the rich, fine-grained information of the inner product. We validate NaLaFormer through a comprehensive multi-modal evaluation, where it sets new state-of-the-art benchmarks for linear attention. Our model achieves up to a 7.5\\% accuracy gain on ImageNet-1K and a 4.7\\% mIoU improvement on ADE20K over comparable baselines. It demonstrates profound efficiency, reducing peak memory by a transformative 92.3\\% in token-intensive super-resolution tasks (70K+ tokens). NaLaFormer's versatility is further confirmed as it surpasses strong baselines like Mamba on common-sense reasoning and sets a new state-of-the-art on the Long Range Arena (LRA) benchmark. Source code can be found in the supplementary materials.","absKo":"Linear attention은 softmax attention의 quadratic complexity를 완화하지만, 표현력의 치명적인 저하를 겪는다. 우리는 두 가지 주요 원인을 식별한다. (1) normalization 연산이 query norm을 상쇄하여, softmax attention에서처럼 query의 norm과 attention distribution의 spikiness(entropy) 사이의 상관관계를 깨뜨린다. (2) non-negativity를 강제하는 표준 기법은 유효한 inner-product interaction을 무효화함으로써 파괴적인 정보 손실을 일으킨다. 이러한 문제를 해결하기 위해, 우리는 query와 key vector의 norm×direction(ND) decomposition 위에 구축된 새로운 linear attention mechanism인 **NaLaFormer**를 제안한다. 우리는 각 구성요소를 서로 다른 문제 해결에 활용한다. *query norm*은 kernel에 주입되어 query-norm-aware map을 형성하고, 이를 통해 attention distribution의 spikiness를 복원한다. *direction vectors*는 geometric한 cosine-based similarity metric으로 처리되며, 이 metric은 non-negativity를 보장하는 동시에 inner product의 풍부하고 세밀한 정보를 보존한다. 우리는 포괄적인 multi-modal evaluation을 통해 NaLaFormer를 검증하였으며, 그 결과 linear attention에서 새로운 state-of-the-art benchmark를 수립했다. 우리 모델은 ImageNet-1K에서 최대 7.5\\%의 accuracy 향상과 ADE20K에서 4.7\\%의 mIoU 개선을 비교 가능한 baseline들 대비 달성한다. 또한 token-intensive super-resolution task(70K+ tokens)에서 peak memory를 92.3\\% 줄이는 변혁적인 효율성을 보인다. NaLaFormer의 범용성은 commonsense reasoning에서 Mamba 같은 강력한 baseline을 능가하고 Long Range Arena (LRA) benchmark에서 새로운 state-of-the-art를 세움으로써 추가로 확인된다. source code는 supplementary materials에서 확인할 수 있다."},{"id":"62177","en":"Entropy-Aware Dynamic KV Cache Sparsification for Autoregressive Image Generation and Editing","ko":"Autoregressive 이미지 생성·편집을 위한 Entropy-Aware Dynamic KV Cache Sparsification","authors":"Tong Tong, LING XING, Linjie Li, Rui Yan, Zhengyuan Yang, Lijuan Wang, Alex Jinpeng Wang","pos":"#314","link":"https://openreview.net/forum?id=j1CQevnH6D","abs":"Autoregressive (AR) image generation has recently gained momentum as a scalable alternative to diffusion models, benefiting from unified next-token prediction paradigm and strong instruction following ability. However, AR visual generation must decode excessively long sequences of visual tokens, making inference heavily bottlenecked by the memory footprint and latency of the self-attention KV cache. While KV cache compression is well studied in Large Language Model, its counterparts in AR image generation remain underexplored. The reason is fundamental: visual tokens are highly redundant, and their spatial information density is highly non-uniform. In this work, we introduce SparseAR, a training-free, entropy-aware sparse attention method that is specifically designed for AR image generation and editing. Our key insight is that information-rich regions exhibit higher entropy and require broader attention, while redundant regions show lower entropy and allow aggressive sparsification. Based on this insight, we dynamically identify information-rich regions during decoding and adaptively adjust attention sparsity to reduce KV-cache overhead. SparseAR is plug-and-play and can be readily applied to mainstream AR models. Extensive experiments on four representative AR models across multiple benchmarks demonstrate that SparseAR significantly improves inference efficiency while maintaining, and often even improving, generation and editing quality.
","absKo":"Autoregressive (AR) image generation은 최근 diffusion model의 scalable alternative로서 momentum을 얻고 있다. 이는 unified next-token prediction paradigm과 강력한 instruction following 능력 덕분이다. 그러나 AR visual generation은 지나치게 긴 visual token sequence를 decode해야 하므로, inference가 self-attention KV cache의 memory footprint와 latency에 크게 병목된다. Large Language Model에서는 KV cache compression이 잘 연구되었지만, AR image generation에서의 대응 방법은 아직 충분히 탐구되지 않았다. 그 이유는 근본적이다. visual token은 매우 redundant하며, 그 spatial information density도 매우 비균일하기 때문이다. 본 연구에서는 AR image generation과 editing에 특화된, training-free이면서 entropy-aware한 sparse attention method인 SparseAR를 제안한다. 우리의 핵심 통찰은 information-rich region은 더 높은 entropy를 보이며 더 넓은 attention을 필요로 하는 반면, redundant region은 더 낮은 entropy를 보여 공격적인 sparsification이 가능하다는 점이다. 이 통찰을 바탕으로 decoding 중 information-rich region을 동적으로 식별하고, attention sparsity를 적응적으로 조정하여 KV-cache overhead를 줄인다. SparseAR는 plug-and-play이며 mainstream AR model에 손쉽게 적용할 수 있다. 여러 benchmark에서 대표적인 AR model 4개를 대상으로 한 광범위한 실험은, SparseAR가 생성 및 편집 품질을 유지하고 때로는 개선하면서도 inference efficiency를 크게 높인다는 것을 보여준다.
"},{"id":"62621","en":"Contribution Weights: A Geometrical Analysis of Self-Attention Transformers","ko":"Contribution Weights: Self-Attention Transformer의 기하학적 분석","authors":"Jake Cunningham, Nicola Muca Cirone","pos":"#3313","link":"https://openreview.net/forum?id=evMzHrKyYR","abs":"Analyzing attention weights has become a standard approach for interpreting the information flow of Large Language Models (LLMs). However, this approach has significant limitations as it neglects the geometric properties of the value vectors being aggregated. To address this gap, we introduce \\emph{Contribution Weights}, a projection-based metric that quantifies a token's influence by accounting for it's attention weight, value magnitude, and directional alignment with the layer output. We demonstrate that contribution weights provide a more faithful measure of token importance, consistently outperforming attention-based metrics in identifying semantically critical tokens across different models, tasks, and datasets. Further, our metric enables novel mechanistic analysis of \\emph{attention sinks}. While previous work has characterized sinks as passive repositories for excess attention, we reveal they serve an active functional role, suppressing information through a convex relationship between sink rate and output norm, stabilizing representations by opposing the semantic drift of low-confidence tokens.
","absKo":"Attention weight를 분석하는 것은 Large Language Model (LLM)의 information flow를 해석하는 표준적인 접근법이 되었습니다. 그러나 이 접근법은 집계되는 value vector의 geometric property를 간과한다는 점에서 중요한 한계가 있습니다. 이 격차를 해결하기 위해, 우리는 토큰의 influence를 그 attention weight, value magnitude, 그리고 layer output과의 directional alignment를 함께 반영하여 정량화하는 projection-based metric인 \\emph{Contribution Weights}를 도입합니다. 우리는 contribution weight가 토큰 중요도를 더 충실하게 측정하며, 다양한 model, task, dataset에서 semantic적으로 중요한 토큰을 식별하는 데 있어 attention-based metric보다 일관되게 뛰어남을 보입니다. 더 나아가, 우리의 metric은 \\emph{attention sinks}에 대한 새로운 mechanistic analysis를 가능하게 합니다. 기존 연구가 sink를 과도한 attention을 수동적으로 저장하는 저장소로 특징지었다면, 우리는 sink가 능동적인 기능적 역할을 수행하며, sink rate와 output norm 사이의 convex relationship을 통해 information을 억제하고, 낮은 confidence의 토큰이 semantic drift를 일으키는 것을 상쇄함으로써 representation을 안정화한다는 점을 밝힙니다."},{"id":"63868","en":"Efficient Transformer Attention for SNNs via Hadamard Simplification","ko":"Hadamard 단순화를 통한 SNN용 효율적인 Transformer Attention","authors":"Tingting Jiang, Jiangrong Shen, Long Chen, Yaxin Li, Qi Xu","pos":"#3402","link":"https://openreview.net/forum?id=T2obc33ton","abs":"Spiking Neural Networks (SNNs) offer low-power, brain-inspired computation, but Transformer-based SNNs face deployment challenges on neuromorphic hardware due to complex operations and high communication overhead. We propose hardware-efficient attention mechanisms, \\textbf{Simplified Spiking Attention (SSA)} and \\textbf{Ultra-Simplified Spiking Attention (USSA)}, which replace matrix multiplications with Hadamard products and remove multi-head attention, scaling, and patching. We theoretically show that double masking is redundant and early-spiking gating preserves richer temporal information than late-spiking. On the CIFAR‑10, CIFAR‑100, and DVS‑Gesture datasets, SSA achieves accuracies of 96.38\\%, 79.45\\%, and 97.56\\%, respectively, outperforming baseline Transformer‑SNNs by up to +1.73\\%, while reducing computational complexity from $\\mathcal{O}(N^2D)$ to $\\mathcal{O}(ND)$ and communication complexity from $\\mathcal{O}(N^2)$ to $\\mathcal{O}(ND)$. USSA further compresses communication complexity to $\\mathcal{O}(N)$ with only marginal accuracy loss.","absKo":"Spiking Neural Network(SNN)는 저전력의 brain-inspired computation을 제공하지만, Transformer 기반 SNN은 복잡한 연산과 높은 통신 오버헤드 때문에 neuromorphic hardware에 배치하는 데 어려움이 있다. 우리는 행렬 곱셈을 Hadamard product로 대체하고 multi-head attention, scaling, patching을 제거한 hardware-efficient attention mechanism인 \\textbf{Simplified Spiking Attention(SSA)}와 \\textbf{Ultra-Simplified Spiking Attention(USSA)}를 제안한다. 우리는 double masking이 중복되며, early-spiking gating이 late-spiking보다 더 풍부한 temporal information을 보존함을 이론적으로 보인다. CIFAR‑10, CIFAR‑100, DVS‑Gesture dataset에서 SSA는 각각 96.38\\%, 79.45\\%, 97.56\\%의 accuracy를 달성하여 baseline Transformer‑SNN보다 최대 +1.73\\% 향상되었고, 계산 복잡도를 $\\mathcal{O}(N^2D)$에서 $\\mathcal{O}(ND)$로, 통신 복잡도를 $\\mathcal{O}(N^2)$에서 $\\mathcal{O}(ND)$로 줄였다. USSA는 accuracy 손실을 거의 추가하지 않으면서 통신 복잡도를 $\\mathcal{O}(N)$까지 더 압축한다."},{"id":"64774","en":"HARD-KV: Head-Adaptive Regularization for Decoding-time KV Compression","ko":"HARD-KV: Decoding-time KV 압축을 위한 Head-Adaptive 정규화","authors":"Yuxuan Yang, Feiyang Ren, Bowen Zeng, Dalin Zhang, Jinpeng Chen, Gang Chen, Huan Li","pos":"#4214","link":"https://openreview.net/forum?id=K0yRIwmG1e","abs":"Long-context LLM inference faces a fundamental conflict: head-adaptive compression algorithms (e.g., Top-$p$ nucleus sampling) offer superior accuracy by dynamically fluctuating memory budgets, yet modern inference engines (e.g., vLLM) demand rigid, static memory patterns to leverage CUDA Graphs and PagedAttention. We resolve this ``Static-Dynamic'' mismatch with HARD-KV, a unified framework that that bridges dynamic selection with rigid system constraints. HARD-KV introduces a Cascade Cache hierarchy, managing the token lifecycle across dense, sparse, and condensed tiers. Crucially, we propose a Logits Calibration mechanism that normalizes diverse importance metrics into a unified probability space, enabling consistent Top-$p$ budgeting across heterogeneous heads. To bridge the efficiency gap, we offer a system-level solution, which rewrites fragmented, dynamic indices into contiguous physical layouts compatible with high-performance inference engine. Extensive experiments on math-reasoning benchmarks (AIME, U-Math) verify that HARD-KV achieves up to 2$\\times$ throughput improvement over static baselines while maintaining high-fidelity generation in 10k+ token scenarios. Our code will be made publicly available.","absKo":"Long-context LLM inference는 근본적인 충돌에 직면한다. head-adaptive compression 알고리즘(예: Top-$p$ nucleus sampling)은 memory budget을 동적으로 변동시켜 더 나은 정확도를 제공하지만, 현대의 inference engine(예: vLLM)은 CUDA Graphs와 PagedAttention을 활용하기 위해 엄격하고 정적인 memory pattern을 요구한다. 우리는 동적 선택과 경직된 system constraint를 연결하는 통합 프레임워크 HARD-KV로 이 ``Static-Dynamic'' 불일치를 해결한다. HARD-KV는 dense, sparse, condensed tier 전반에 걸쳐 token lifecycle을 관리하는 Cascade Cache 계층을 도입한다. 핵심적으로, 우리는 다양한 importance metric을 하나의 probability space로 정규화하는 Logits Calibration 메커니즘을 제안하여, heterogeneous head 전반에 걸쳐 일관된 Top-$p$ budgeting을 가능하게 한다. 효율성 격차를 메우기 위해, 우리는 분절된 동적 index를 고성능 inference engine과 호환되는 연속적인 physical layout으로 다시 작성하는 system-level solution을 제공한다. AIME, U-Math와 같은 math-reasoning benchmark에서 수행한 광범위한 실험은 HARD-KV가 10k+ token 시나리오에서도 높은 생성 충실도를 유지하면서 static baseline 대비 최대 2$\\times$ throughput 향상을 달성함을 검증한다. 코드는 공개될 예정이다."},{"id":"60759","en":"MODEL SOUPS NEED ONLY ONE INGREDIENT","ko":"MODEL SOUPS에는 한 가지 재료만 있으면 된다","authors":"Alireza Abdollahpourrostam, Nikolaos Dimitriadis, Adam Hazimeh, Pascal Frossard","pos":"#1515","link":"https://openreview.net/forum?id=wuWRCajFj8","abs":"Fine-tuning large pre-trained models on a target distribution often improves in-distribution (ID) accuracy, but at the cost of out-of-distribution (OOD) robustness as representations specialize to the fine-tuning data. Weight-space ensembling methods, such as Model Soups, mitigate this effect by averaging multiple checkpoints, but they are computationally prohibitive, requiring the training and storage of dozens of fine-tuned models. In this paper, we introduce MonoSoup, a simple, data-free, hyperparameter-free, post-hoc method that achieves a strong ID–OOD balance using only a single checkpoint. Our method applies Singular Value Decomposition (SVD) to each layer’s update and decomposes it into high-energy directions that capture task-specific adaptation and low-energy directions that introduce noise but may still encode residual signals useful for robustness. MonoSoup then uses entropy-based effective rank to automatically re-weigh these components with layer-wise coefficients that account for the spectral and geometric structure of the model. Experiments on CLIP models fine-tuned on ImageNet and evaluated under natural distribution shifts, as well as on Qwen language models tested on mathematical reasoning and multiple-choice benchmarks, show that this plug-and-play approach is a practical and effective alternative to multi-checkpoint methods, retaining much of their benefits without their computational overhead.
","absKo":"대규모 사전학습 모델을 타깃 분포에 대해 fine-tuning하면 보통 in-distribution (ID) 정확도는 향상되지만, 표현이 fine-tuning 데이터에 특화되면서 out-of-distribution (OOD) robustness는 저하된다. Model Soups와 같은 weight-space ensembling 방법은 여러 checkpoint를 평균내어 이러한 효과를 완화하지만, 수십 개의 fine-tuned model을 학습하고 저장해야 하므로 계산 비용이 지나치게 크다. 본 논문에서는 단 하나의 checkpoint만으로도 강력한 ID–OOD 균형을 달성하는, 간단하고 data-free이며 hyperparameter-free인 post-hoc 방법 MonoSoup을 소개한다. 우리의 방법은 각 layer의 update에 Singular Value Decomposition (SVD)을 적용하여, task-specific adaptation을 포착하는 high-energy 방향과 노이즈를 유발하지만 robustness에 유용한 residual signal을 여전히 인코딩할 수 있는 low-energy 방향으로 분해한다. 이후 MonoSoup은 entropy 기반 effective rank를 사용해 모델의 spectral 및 geometric structure를 반영하는 layer-wise coefficient로 이러한 component들을 자동으로 재가중한다. ImageNet에 대해 fine-tuning된 CLIP model을 자연스러운 distribution shift 하에서 평가한 실험과, 수학적 추론 및 multiple-choice benchmark에서 테스트한 Qwen language model에 대한 실험은, 이 plug-and-play 접근이 multi-checkpoint method의 계산 오버헤드 없이 그 장점의 상당 부분을 유지하는 실용적이고 효과적인 대안임을 보여준다.
"},{"id":"64444","en":"Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning","ko":"LLM 지도 미세조정을 위한 유용성-다양성 인식 온라인 배치 선택","authors":"Heming Zou, Yixiu Mao, Yun Qu, Qi Wang, Xiangyang Ji","pos":"#1805","link":"https://openreview.net/forum?id=NWZZmXRIH5","abs":"Supervised fine-tuning (SFT) is a commonly used technique to adapt large language models (LLMs) to downstream tasks. In practice, SFT on a full dataset is computationally expensive and sometimes suffers from overfitting or bias amplification. This facilitates the rise of data curation in SFT, which prioritizes the most valuable data to optimze. This work studies the online batch selection family that dynamically scores and filters samples during the training process. However, existing popular methods often (i) rely merely on the utility of data to select a subset while neglecting other crucial factors like diversity, (ii) rely on external resources such as reference models or validation sets, and (iii) incur extra training time over full-dataset training. To address these limitations, this work develops UDS (Utility-Diversity Sampling), a framework for efficient online batch selection in SFT. UDS leverages the nuclear norm of the logits matrix to capture both data utility and intra-sample diversity, while estimating inter-sample diversity through efficient low-dimensional embedding comparisons with a lightweight memory buffer of historical samples. Such a design eliminates the need for external resources and unnecessary backpropagation, securing computational efficiency. Experiments on multiple benchmarks demonstrate that UDS consistently outperforms state-of-the-art online batch selection methods under varying data budgets, and significantly reduces training time compared to full-dataset fine-tuning.
","absKo":"Supervised fine-tuning (SFT)은 large language model (LLM)을 downstream task에 적응시키는 데 흔히 사용되는 기법이다. 실제로는 전체 dataset에 대한 SFT가 계산 비용이 크고, 때로는 overfitting이나 bias amplification을 겪기도 한다. 이러한 이유로 SFT에서 data curation이 부상했으며, 최적화할 가장 가치 있는 데이터를 우선시한다. 본 연구는 training 과정 동안 sample을 동적으로 점수화하고 필터링하는 online batch selection 계열을 다룬다. 그러나 기존의 널리 쓰이는 방법들은 종종 (i) diversity 같은 다른 중요한 요소를 간과한 채 데이터의 utility에만 의존해 subset을 선택하고, (ii) reference model이나 validation set과 같은 외부 자원에 의존하며, (iii) 전체 dataset training보다 추가적인 training time을 발생시킨다. 이러한 한계를 해결하기 위해, 우리는 SFT에서 효율적인 online batch selection을 위한 framework인 UDS (Utility-Diversity Sampling)를 개발했다. UDS는 logits matrix의 nuclear norm을 활용해 data utility와 intra-sample diversity를 모두 포착하는 한편, 경량 memory buffer에 저장된 과거 sample과의 효율적인 low-dimensional embedding 비교를 통해 inter-sample diversity를 추정한다. 이러한 설계는 외부 자원과 불필요한 backpropagation의 필요를 제거하여 계산 효율을 확보한다. 여러 benchmark에서의 실험은 UDS가 다양한 data budget 하에서 state-of-the-art online batch selection 방법들을 일관되게 능가하며, 전체 dataset fine-tuning에 비해 training time을 크게 줄임을 보여준다.
"},{"id":"62278","en":"The Deterministic Horizon: When Extended Reasoning Fails and Tool Delegation Becomes Necessary","ko":"Deterministic Horizon: Extended Reasoning이 실패하고 Tool Delegation이 필요한 순간","authors":"Dongxin Guo, Jikun Wu, Siu Ming Yiu","pos":"#1903","link":"https://openreview.net/forum?id=i1OcZc6Y0M","abs":"Extended chain-of-thought reasoning can degrade performance on deterministic state-tracking tasks—not due to preference biases, but fundamental information-theoretic limits in decoder-only transformers. We establish: (1) an Attention Bottleneck Theorem with matching lower bound, proving state-tracking capacity scales as $O(H \\cdot \\log(L/H) \\cdot \\sqrt{d_h})$; (2) a context-dependent error model yielding super-exponential accuracy decay; (3) the State-Space Jaccard metric distinguishing capability from preference failures; (4) a Deterministic Horizon $d^* \\in [19, 31]$ beyond which tool delegation becomes necessary. Across 12 models and 8 task domains—including SWE-Bench, WebArena, and SQL-Multi—tool-integrated reasoning achieves 86–94% accuracy versus 24–42% for neural chain-of-thought. Fine-tuning on optimal-length traces yields <5% improvement, confirming an architectural ceiling. High cross-model correlation ($r = 0.81$–$0.91$) demonstrates these failures are architectural, not training-specific. Our results provide principled guidance for when pure neural reasoning should yield to hybrid approaches in agentic systems.","absKo":"확장된 chain-of-thought reasoning은 결정론적 state-tracking 작업의 성능을 저하시킬 수 있습니다. 이는 preference bias 때문이 아니라 decoder-only transformer의 근본적인 information-theoretic limit 때문입니다. 우리는 다음을 확립합니다: (1) 일치하는 lower bound를 갖는 Attention Bottleneck Theorem으로, state-tracking capacity가 $O(H \\cdot \\log(L/H) \\cdot \\sqrt{d_h})$로 스케일함을 증명; (2) 초지수적 정확도 감소를 유도하는 context-dependent error model; (3) capability와 preference failure를 구분하는 State-Space Jaccard metric; (4) 그 이후 tool delegation이 필요해지는 Deterministic Horizon $d^* \\in [19, 31]$. SWE-Bench, WebArena, SQL-Multi를 포함한 12개 모델과 8개 task domain 전반에서 tool-integrated reasoning은 86–94% 정확도를 달성한 반면, neural chain-of-thought는 24–42%에 그쳤습니다. 최적 길이 trace로 fine-tuning해도 5% 미만의 개선만 나타나 architectural ceiling을 확인했습니다. 높은 cross-model correlation ($r = 0.81$–$0.91$)은 이러한 실패가 training-specific가 아니라 architecture에 기인함을 보여줍니다. 우리의 결과는 agentic system에서 순수 neural reasoning이 언제 hybrid approach로 양보해야 하는지에 대한 원칙적 지침을 제공합니다."},{"id":"66554","en":"Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum","ko":"로그 우도를 넘어서: 모델 역량 연속체 전반에 걸친 Supervised Fine-Tuning을 위한 확률 기반 목적함수","authors":"Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong","pos":"#2309","link":"https://openreview.net/forum?id=2hQBG2ZlFb","abs":"Supervised fine-tuning (SFT) is the standard approach for post-training large language models (LLMs), yet it often shows limited generalization. We trace this limitation to its default training objective: negative log likelihood (NLL). While NLL is classically optimal when training from scratch, post-training operates in a different paradigm and could violate its optimality assumptions, where models already encode task-relevant priors and supervision can be long and noisy. Rather than proposing a single universally superior replacement loss, we systematically study various probability-based objectives and characterize when and why different objectives succeed or fail under varying conditions. Through comprehensive experiments and extensive ablation studies across 8 model backbones, 27 benchmarks, and 7 domains, we uncover a critical dimension that governs objective behavior: the model-capability continuum. Near the model-strong end, prior-leaning objectives that downweight low-probability tokens (e.g., $-p$, $-p^{10}$, thresholded variants) consistently outperform NLL; toward the model-weak end, NLL dominates; in between, no single objective prevails. Our theoretical analysis further elucidates how objectives trade places across the continuum, providing a principled foundation for adapting objectives to model capability.","absKo":"Supervised fine-tuning (SFT)은 large language models (LLMs)의 post-training을 위한 표준 접근이지만, 종종 제한적인 generalization을 보인다. 우리는 이러한 한계를 그 기본 training objective인 negative log likelihood (NLL)에서 찾는다. NLL은 처음부터 학습할 때는 고전적으로 최적이지만, post-training은 다른 패러다임에서 작동하며 그 optimality 가정을 위반할 수 있다. 이 경우 model은 이미 task-relevant prior를 내재하고 있고 supervision은 길고 noisy할 수 있다. 단일한 보편적 대체 loss를 제안하는 대신, 우리는 다양한 probability-based objective를 체계적으로 연구하고, 조건이 달라질 때 서로 다른 objective가 언제, 왜 성공하거나 실패하는지를 규명한다. 8개의 model backbone, 27개의 benchmark, 7개의 domain에 걸친 포괄적 실험과 광범위한 ablation study를 통해, objective의 거동을 지배하는 핵심 차원인 model-capability continuum을 발견했다. model-strong 쪽에 가까울수록, 낮은 probability의 token을 덜 중요하게 두는 prior-leaning objective들(예: $-p$, $-p^{10}$, thresholded variants)이 NLL을 일관되게 능가한다. model-weak 쪽으로 갈수록 NLL이 우세하며, 그 중간에서는 어느 하나의 objective도 지배적이지 않다. 우리의 이론 분석은 또한 이 continuum 전반에서 objective가 어떻게 자리를 바꾸는지를 설명하며, model capability에 맞게 objective를 조정하기 위한 원칙적 기반을 제공한다."},{"id":"62254","en":"mmBERT: A Modern Multilingual Encoder with Annealed Language Learning","ko":"mmBERT: Annealed Language Learning을 갖춘 현대적 다국어 Encoder","authors":"Marc Marone, Orion Weller, William Fleshman, Eugene Yang, Dawn Lawrie, Benjamin Van Durme","pos":"#2710","link":"https://openreview.net/forum?id=iJDJCO4mji","abs":"Encoder-only language models are frequently used for a variety of language tasks, including classification and retrieval. However, there has been a lack of recent research efforts for encoder models, especially with respect to multilingual models. We introduce mmBERT, an encoder-only language model pretrained on 3T tokens of multilingual text in over 1800 languages. To build mmBERT we introduce several novel elements to massively multilingual encoder training, including phased data curation and scheduled language inclusion. We add over 1700 low-resource languages to the data mix only during the decay phase, showing that it boosts performance dramatically and maximizes the gains from the relatively small amount of training data without excessive repetition. The model uses recent advances in architecture and training schemes to be faster and more multilingual than other models and we release weights, data, and code. We show that mmBERT significantly outperforms the previous generation, on various tasks, for both high and low-resource languages.
","absKo":"Encoder-only language model은 classification과 retrieval을 포함한 다양한 언어 작업에 자주 사용된다. 그러나 특히 multilingual model에 관해서는 encoder model에 대한 최근 연구가 부족했다. 우리는 1,800개 이상의 언어로 된 multilingual text 3T tokens로 사전학습한 encoder-only language model mmBERT를 소개한다. mmBERT를 구축하기 위해 우리는 phased data curation과 scheduled language inclusion을 포함한, 대규모 다국어 encoder 학습을 위한 여러 새로운 요소를 도입한다. 우리는 1,700개가 넘는 low-resource language를 decay phase 동안에만 데이터 혼합에 추가했으며, 이것이 성능을 극적으로 향상시키고 과도한 반복 없이 상대적으로 적은 학습 데이터에서 얻을 수 있는 이득을 극대화함을 보였다. 이 모델은 구조와 학습 방식의 최근 발전을 사용해 다른 model보다 더 빠르고 더 multilingual하며, 우리는 weights, data, code를 공개한다. 우리는 mmBERT가 high-resource language와 low-resource language 모두에서 다양한 task에 대해 이전 세대를 유의미하게 능가함을 보인다.
"},{"id":"64000","en":"Zero-Shot Rankability: Revealing Latent Ordinal Structure in Multimodal Large Language Models via Language","ko":"언어를 통한 Multimodal Large Language Models의 잠재적 서열 구조를 드러내는 Zero-Shot Rankability","authors":"Nam Hyeon-Woo, Yebin Moon, Sohwi Lim, Kwon Byung-Ki, Tae-Hyun Oh","pos":"#2711","link":"https://openreview.net/forum?id=RsXgArgxC4","abs":"Recent work shows that vision encoders capture ordinal attributes along linear axes, which can be recovered from as few as two labeled images. However, in the zero-shot setting, the text-driven rank axis for Vision-Language Models (VLMs) like CLIP remains suboptimal. In this work, we study the embeddings of Multimodal LLMs (MLLMs). We hypothesize that MLLMs can overcome this limitation due to three potential advantages: their inherent ordinal understanding, capacity for conditional embeddings, and a small cross-modal gap. We show that MLLMs are rankable using only text prompts. Experiments demonstrate that a text-driven rank axis for MLLM embeddings achieves 90% of the performance of the supervised linear rank axis, significantly outperforming the 61% observed in VLM embeddings. We validate that this capability stems from MLLMs' conditional embeddings and a smaller modality gap than VLMs. Furthermore, we demonstrate that this property generalizes to the audio domain. Our findings suggest that language provides a direct interface for probing latent ordinal structures in MLLMs.
","absKo":"최근 연구는 vision encoder가 선형 축을 따라 ordinal attribute를 포착하며, 이는 라벨이 있는 이미지 두 장만으로도 복원될 수 있음을 보여준다. 그러나 zero-shot setting에서 CLIP과 같은 Vision-Language Model(VLM)의 text-driven rank axis는 여전히 최적적이지 않다. 본 연구에서는 Multimodal LLM(MLLM)의 embedding을 살펴본다. 우리는 MLLM이 본질적 ordinal 이해, conditional embedding을 생성하는 능력, 그리고 작은 cross-modal gap이라는 세 가지 잠재적 장점 덕분에 이 한계를 극복할 수 있다고 가정한다. 우리는 MLLM이 text prompt만으로 rankable하다는 것을 보인다. 실험 결과, MLLM embedding을 위한 text-driven rank axis는 supervised linear rank axis 성능의 90%를 달성하며, VLM embedding에서 관찰된 61%를 크게 상회한다. 또한 이 능력이 MLLM의 conditional embedding과 VLM보다 더 작은 modality gap에서 비롯됨을 검증한다. 더 나아가, 이러한 성질이 audio domain으로도 일반화됨을 보인다. 우리의 결과는 language가 MLLM의 latent ordinal structure를 탐색하는 직접적인 인터페이스 역할을 한다는 점을 시사한다.
"},{"id":"62696","en":"SleepMaMi: A Universal Sleep Foundation Model for Integrating Macro- and Micro-structures","ko":"SleepMaMi: Macro 구조와 Micro 구조를 통합하는 범용 Sleep Foundation Model","authors":"Keondo Park, Younghoon Na, Yourim Choi, Hyunwoo Ryu, Hyun-Woo Shin, Hyung-Sin Kim","pos":"#2713","link":"https://openreview.net/forum?id=e9hvlHlUas","abs":"While the shift toward unified foundation models has revolutionized many deep learning domains, sleep medicine remains largely restricted to task-specific models that focus on localized micro-structure features. These approaches often neglect the rich, multi-modal context of Polysomnography (PSG) and fail to capture the global macro-structure of a full night's sleep. To address this, we introduce SleepMaMi, a Sleep Foundation Model engineered to master both hour-long sleep architectures and fine-grained signal morphologies. Our framework utilizes a hierarchical dual-encoder design: a Macro-Encoder to model full-night temporal dependencies and a Micro-Encoder to capture short-term characteristics from biosignals. Macro-Encoder is trained via Demographic-Guided Contrastive Learning, which aligns overnight sleep patterns with objective subject metadata, such as age and sex, to refine global representations. Micro-Encoder is optimized via a hybrid Masked Autoencoder (MAE) and multi-modal contrastive objective. Pre-trained on a massive corpus of >20,000 PSG recordings (15.8K hours), SleepMaMi outperforms existing foundation models across a diverse suite of downstream tasks, demonstrating superior generalizability and label-efficient adaptation for clinical sleep analysis.
","absKo":"unified foundation model로의 전환이 많은 deep learning 분야를 혁신했지만, sleep medicine은 여전히 국소적인 micro-structure feature에 집중하는 task-specific model에 크게 묶여 있다. 이러한 접근은 Polysomnography (PSG)의 풍부한 multi-modal context를 종종 간과하며, 한밤 전체 수면의 global macro-structure를 포착하는 데 실패한다. 이를 해결하기 위해 우리는 SleepMaMi를 소개한다. SleepMaMi는 시간 단위의 sleep architecture와 세밀한 signal morphology를 모두 능숙하게 다루도록 설계된 Sleep Foundation Model이다. 우리의 framework는 hierarchical dual-encoder design을 사용한다: Macro-Encoder는 한밤 전체의 temporal dependency를 모델링하고, Micro-Encoder는 biosignal에서 단기 특성을 포착한다. Macro-Encoder는 Demographic-Guided Contrastive Learning을 통해 학습되며, 이는 age와 sex 같은 객관적 subject metadata와 밤새 수면 pattern을 정렬하여 global representation을 정교화한다. Micro-Encoder는 hybrid Masked Autoencoder (MAE)와 multi-modal contrastive objective로 최적화된다. 20,000개 이상의 PSG recording(15.8K hours)으로 이루어진 대규모 corpus에서 사전학습된 SleepMaMi는 다양한 downstream task 전반에서 기존 foundation model을 능가하며, 임상 수면 분석에서 우수한 generalizability와 label-efficient adaptation을 보여준다.
"},{"id":"65419","en":"Similarity Is Not Logic: Factored Inference for Dual-Encoder Vision-Language Models","ko":"유사성은 논리가 아니다: Dual-Encoder Vision-Language Model을 위한 인수분해 추론","authors":"Sultan Alshehri, Zhantao Yang, Han Zhang, Marios Savvides","pos":"#2714","link":"https://openreview.net/forum?id=DpTQCR7phw","abs":"Dual-encoder vision-language models (VLMs) expose a similarity interface that enables zero-shot retrieval but fails compositional constraints: queries like “umbrella and no person” retrieve images containing both, even when concept detection is reliable. We trace this to an interface-level Bag-of-Concepts effect, where similarity scores approximate mean pooling of concept evidence regardless of operators, although operator-dependent signals exist in text embeddings, they are too weak or misaligned to affect rankings. Fine-tuning cannot fully resolve this failure because the bottleneck lies in how similarity aggregates evidence, not in what encoders represent. We propose factored inference, which separates evidence extraction from constraint execution, and introduce LCSE (Logic-Constrained Score Editing), a training-free method that executes constraints externally using concept scores from frozen encoders. We also introduce FACTOR-Bench, where LCSE achieves 85.5% accuracy versus 73.2% for the best fine-tuned baseline, 90.7% when applied to SigLIP 2, and improves NegBench COCO MCQ accuracy from 27.2% to 65.2% while preserving retrieval performance.
","absKo":"Dual-encoder vision-language model (VLM)은 zero-shot retrieval을 가능하게 하는 similarity interface를 제공하지만, compositional constraint에는 실패한다. 예를 들어 “umbrella and no person” 같은 query는 concept detection이 신뢰할 수 있음에도 불구하고, 둘 다 포함한 image를 검색한다. 우리는 이를 interface-level Bag-of-Concepts 효과로 추적한다. 즉, similarity score는 operator와 무관하게 concept evidence의 mean pooling을 근사하며, operator-dependent signal이 text embedding 안에 존재하더라도 ranking에 영향을 줄 만큼 충분히 강하지 않거나 정렬되어 있지 않다. fine-tuning만으로는 이 실패를 완전히 해결할 수 없는데, 병목은 encoder가 무엇을 표현하느냐가 아니라 similarity가 evidence를 어떻게 집계하느냐에 있기 때문이다. 우리는 evidence extraction과 constraint execution을 분리하는 factored inference를 제안하고, frozen encoder에서 얻은 concept score를 사용해 외부에서 constraint를 실행하는 training-free method인 LCSE (Logic-Constrained Score Editing)를 소개한다. 또한 FACTOR-Bench를 제시하며, 여기서 LCSE는 최고의 fine-tuned baseline의 73.2%에 비해 85.5%의 정확도를 달성하고, SigLIP 2에 적용하면 90.7%를 달성하며, NegBench COCO MCQ accuracy를 27.2%에서 65.2%로 향상시키는 동시에 retrieval 성능은 유지한다.
"},{"id":"61474","en":"Attn-QAT: 4-Bit Attention With Quantization-Aware Training","ko":"Attn-QAT: Quantization-Aware Training을 이용한 4-Bit Attention","authors":"Peiyuan Zhang, Matthew Noto, Wenxuan Tan, Chengquan Jiang, Will Lin, Wei Zhou, Hao Zhang","pos":"#2800","link":"https://openreview.net/forum?id=pqOlyvsmU3","abs":"Achieving reliable 4-bit attention is a prerequisite for end-to-end FP4 computation on emerging FP4-capable GPUs, yet attention remains the main obstacle due to FP4's tiny dynamic range and attention's heavy-tailed activations. This paper presents the first systematic study of 4-bit quantization-aware training (QAT) for attention. We find ``drop-in'' QAT -- naively combining an FP4 forward pass with high-precision Flash Attention (FA)-style backward pass -- leads to training instability. We identify two key principles for stable FP4 attention: (1) matching low-precision recomputation of attention scores in the backward pass and (2) resolving implicit precision assumptions in FA’s gradient calculation. Based on these insights, we propose Attn-QAT and implement fused Triton kernels for training plus FP4 inference kernels. Across diffusion and language models, Attn-QAT recovers the quality drop from FP4 attention without explicit outlier-mitigation heuristics used in prior FP4 attention, and delivers up to a 1.5x speedup on an RTX 5090.
","absKo":"신흥 FP4 대응 GPU에서 end-to-end FP4 계산을 수행하기 위한 전제 조건은 신뢰할 수 있는 4-bit attention을 달성하는 것이지만, FP4의 매우 작은 dynamic range와 attention의 heavy-tailed activation 때문에 attention이 여전히 주요 장애물로 남아 있다. 본 논문은 attention에 대한 4-bit quantization-aware training (QAT)의 첫 체계적 연구를 제시한다. 우리는 ``drop-in'' QAT, 즉 FP4 forward pass와 high-precision Flash Attention (FA)-style backward pass를 단순 결합하는 방식이 training instability를 초래함을 발견한다. 우리는 안정적인 FP4 attention을 위한 두 가지 핵심 원칙을 식별한다: (1) backward pass에서 attention score의 low-precision recomputation을 맞추는 것, 그리고 (2) FA의 gradient 계산에 내재된 precision 가정을 해소하는 것. 이러한 통찰을 바탕으로, 우리는 Attn-QAT를 제안하고 training용 fused Triton kernel과 FP4 inference kernel을 구현한다. diffusion 및 language model 전반에서, Attn-QAT는 이전 FP4 attention에서 사용된 explicit outlier-mitigation heuristic 없이도 FP4 attention으로 인한 품질 저하를 회복하며, RTX 5090에서 최대 1.5x의 속도 향상을 제공한다.
"},{"id":"62408","en":"ChaosNexus: A Foundation Model for ODE-based Chaotic System Forecasting with Hierarchical Multi-scale Awareness","ko":"ChaosNexus: 계층적 다중 스케일 인식 기반 ODE 기반 혼돈 시스템 예측을 위한 Foundation Model","authors":"Chang Liu, Bohao Zhao, Jingtao Ding, Yong Li","pos":"#2801","link":"https://openreview.net/forum?id=gtURIPKbx6","abs":"Foundation models have shown great promise in achieving zero-shot or few-shot forecasting for ODE-based chaotic systems via large-scale pretraining. However, existing architectures often fail to capture the multi-scale temporal structures and distinct spectral characteristics of chaotic dynamics. To address this, we introduce ChaosNexus, a foundation model for chaotic system forecasting underpinned by the proposed ScaleFormer architecture. By processing temporal contexts across hierarchically varying patch sizes, ChaosNexus effectively captures long-range dependencies and preserves high-frequency fluctuations. To address heterogeneity across distinct systems, we integrate Mixture-of-Experts (MoE) layers into each ScaleFormer block and explicitly condition the final forecasts on a learned frequency fingerprint, providing the model with a global spectral view of the system. Extensive evaluations on over 9,000 synthetic systems demonstrate that ChaosNexus achieves superior fidelity in long-term attractor statistics while maintaining competitive point-wise accuracy. Furthermore, in real-world applications, it achieves a remarkable zero-shot mean error below 1°C for 5-day station-based weather forecasting. Codes are available at https://anonymous.4open.science/r/ChaosNexus-C809.
","absKo":"Foundation model은 대규모 pretraining을 통해 ODE 기반 chaotic system에 대한 zero-shot 또는 few-shot forecasting을 달성하는 데 큰 가능성을 보여주었다. 그러나 기존 architecture는 종종 chaotic dynamics의 multi-scale temporal structure와 distinct spectral characteristic을 포착하지 못한다. 이를 해결하기 위해, 우리는 제안하는 ScaleFormer architecture를 기반으로 하는 chaotic system forecasting용 foundation model인 ChaosNexus를 소개한다. 서로 다른 patch size를 계층적으로 변화시키며 temporal context를 처리함으로써, ChaosNexus는 long-range dependency를 효과적으로 포착하고 high-frequency fluctuation을 보존한다. 서로 다른 system 간 heterogeneity를 다루기 위해, 우리는 각 ScaleFormer block에 Mixture-of-Experts (MoE) layer를 통합하고 최종 forecast를 학습된 frequency fingerprint에 명시적으로 조건화하여, 모델에 system의 global spectral view를 제공한다. 9,000개 이상의 synthetic system에 대한 광범위한 평가에서 ChaosNexus는 경쟁력 있는 point-wise accuracy를 유지하면서 long-term attractor statistic에서 더 우수한 fidelity를 달성함을 보여준다. 더 나아가 실제 응용에서는 5일 station-based weather forecasting에서 1°C 미만의 뛰어난 zero-shot mean error를 달성한다. 코드는 https://anonymous.4open.science/r/ChaosNexus-C809 에서 उपलब्ध하다.
"},{"id":"65985","en":"CoLA: Cross-Modal Low-rank Adaptation for Multimodal Downstream Tasks","ko":"CoLA: 멀티모달 다운스트림 작업을 위한 교차 모달 저계급 적응","authors":"Wish Suharitdamrong, Tony Alex, Muhammad Awais, Sara Atito","pos":"#2802","link":"https://openreview.net/forum?id=8CBWgJY7n9","abs":"Foundation models have revolutionized AI, but adapting them efficiently for multimodal tasks, particularly in dual-stream architectures composed of unimodal encoders, such as DINO and BERT, remains a significant challenge. Parameter-Efficient Fine-Tuning (PEFT) methods like Low-Rank Adaptation (LoRA) enable lightweight adaptation, yet they operate in isolation within each modality, limiting their ability in capturing cross-modal interactions. In this paper, we take a step in bridging this gap with Cross-Modal Low-Rank Adaptation (CoLA), a novel PEFT framework that extends LoRA by introducing a dedicated inter-modal adaptation pathway alongside the standard intra-modal one. This dual-path design enables CoLA to adapt unimodal foundation models to multimodal tasks effectively, without interference between modality-specific and cross-modal learning. We evaluate CoLA across a range of vision-language (RefCOCO, RefCOCO+, RefCOCOg) and audio-visual (AVE, AVS) benchmarks, where it consistently outperforms LORA, achieving a relative gain of around 3% and 2%, respectively, while maintaining parameter efficiency. Notably, CoLA enables the first multi-task PEFT framework for visual grounding, bridging a key gap in efficient multimodal adaptation.
","absKo":"Foundation model은 AI를 혁신했지만, 특히 DINO와 BERT 같은 unimodal encoder로 구성된 dual-stream architecture에서 multimodal task에 효율적으로 적응시키는 것은 여전히 큰 도전이다. Low-Rank Adaptation (LoRA)과 같은 Parameter-Efficient Fine-Tuning (PEFT) 방법은 가벼운 적응을 가능하게 하지만, 각 modality 내부에서만 독립적으로 작동하므로 cross-modal interaction을 포착하는 능력이 제한된다. 본 논문에서는 표준 intra-modal 경로와 더불어 전용 inter-modal adaptation pathway를 도입하여 LoRA를 확장한 새로운 PEFT framework인 Cross-Modal Low-Rank Adaptation (CoLA)로 이러한 격차를 메우는 한 걸음을 내딛는다. 이 dual-path 설계는 modality-specific learning과 cross-modal learning 사이의 간섭 없이, CoLA가 unimodal foundation model을 multimodal task에 효과적으로 적응하도록 한다. 우리는 CoLA를 vision-language (RefCOCO, RefCOCO+, RefCOCOg) 및 audio-visual (AVE, AVS) benchmark 전반에서 평가했으며, parameter efficiency를 유지하면서 LORA를 일관되게 능가하여 각각 약 3%와 2%의 상대적 향상을 달성했다. 특히 CoLA는 visual grounding을 위한 최초의 multi-task PEFT framework를 가능하게 하여, 효율적인 multimodal adaptation의 핵심 격차를 메운다.
"},{"id":"63569","en":"Diversity Matters: Revisiting Test-Time Compute in Vision-Language Models","ko":"다양성의 중요성: Vision-Language Model의 Test-Time Compute 재검토","authors":"Yijie Tong, Yifan Hou, Shaobo Cui, Antoine Bosselut, Mrinmaya Sachan","pos":"#2804","link":"https://openreview.net/forum?id=VvdG5Rslgc","abs":"Test-time compute (TTC) strategies have emerged as a lightweight approach to boost reasoning in large language models, but their applicability to vision-language models (VLMs) remains unclear. We present a systematic study of TTC for visual reasoning across seven open-source VLMs and six benchmarks, revisiting two paradigms: (i) feature-based scoring of chain-of-thought (CoT) traces and (ii) confidence-based aggregation via majority voting (MV). In the single-model setting, feature cues (e.g., length, pivot words) fail to improve accuracy, while MV yields only modest, CoT-dependent gains. To explain this limitation, we theoretically show that the voting method’s effectiveness depends on prediction diversity: when outputs are highly correlated, the benefit of voting vanishes. In contrast, multi-model ensembles introduce stronger diversity through architectural differences, training data, and scale, making them both more realistic and more promising for TTC. However, MV treats all models equally, leaving it vulnerable to correlated errors from weaker models. To address this, we propose Entropy-based TTC, which selects the most confident prediction based on predictive entropy. Our method reduces to MV in the single-model case but, in ensembles, leverages confidence disparities to prioritize stronger models. We prove that our method theoretically outperforms MV under mild dependence assumptions, and empirically show that it consistently surpasses both MV and the best individual model across diverse visual reasoning benchmarks. This demonstrates that smaller models can enhance, rather than hinder, larger ones when combined appropriately, unlocking ensemble gains not achievable with existing TTC strategies.
","absKo":"Test-time compute(TTC) 전략은 large language model의 reasoning을 향상시키는 가벼운 접근법으로 부상했지만, vision-language model(VLM)에서의 적용 가능성은 아직 명확하지 않다. 우리는 일곱 개의 open-source VLM과 여섯 개의 benchmark에서 visual reasoning을 위한 TTC를 체계적으로 연구하며, 두 가지 paradigm을 재검토한다. (i) chain-of-thought(CoT) trace의 feature-based scoring과 (ii) majority voting(MV)을 통한 confidence-based aggregation이다. single-model 설정에서는 length, pivot word 같은 feature cue가 정확도를 개선하지 못하는 반면, MV는 CoT에 의존하는 제한적인 향상만 제공한다. 이러한 한계를 설명하기 위해, 우리는 voting method의 효과가 prediction diversity에 의존함을 이론적으로 보인다. output이 매우 상관되어 있으면 voting의 이점은 사라진다. 반대로 multi-model ensemble은 architecture 차이, training data, scale을 통해 더 강한 다양성을 도입하므로, TTC에 더 현실적이고 유망하다. 그러나 MV는 모든 model을 동일하게 취급하기 때문에, 약한 model에서 발생한 상관된 오류에 취약하다. 이를 해결하기 위해 우리는 predictive entropy를 기반으로 가장 확신 있는 prediction을 선택하는 Entropy-based TTC를 제안한다. 우리의 방법은 single-model 경우 MV로 환원되지만, ensemble에서는 confidence disparity를 활용해 더 강한 model을 우선시한다. 우리는 mild dependence assumption 하에서 우리의 방법이 MV를 이론적으로 능가함을 증명하고, 다양한 visual reasoning benchmark에서 MV와 최선의 개별 model 모두를 일관되게 능가함을 실증적으로 보인다. 이는 적절히 결합될 때 작은 model이 큰 model을 방해하는 것이 아니라 오히려 향상시킬 수 있으며, 기존 TTC 전략으로는 얻을 수 없었던 ensemble 이득을 열어준다는 것을 보여준다.
"},{"id":"61424","en":"Head-in-Head in Linear Attention","ko":"Linear Attention의 Head-in-Head","authors":"Shijie Mei, Man Yao, Jiabo Tong, Bo XU, Guoqi Li","pos":"#2805","link":"https://openreview.net/forum?id=qJ7C8hmICj","abs":"The state-transition (decay) matrix governs how fixed-size memory is updated and used, making it a core design in linear attention models. Prior work exploits rank-1 approximations to reduce the cost of constructing decay matrices, but this low-rank constraint also limits the expressive capacity. We therefore formulate decay-matrix design as an open optimization problem: maximizing expressiveness while introducing minimal additional cost. Inspired by the multi-head mechanism, we propose Head-in-Head, which introduces an additional mask matrix to structure memory partitioning and interactions within a single linear-attention head. This simple, generic, and efficient design: \\romannumeral1) enables a rank-$r$ approximation of the decay matrix with only a few extra parameters and \\romannumeral2) strengthens intra-head information interaction. We further develop mask normalization and a chunk-wise parallelization scheme to support efficient parallel training. Extensive experiments on synthetic benchmarks and language modeling tasks, together with visual analyses, show that Head-in-Head consistently improves baseline performance by enriching information diversity and strengthening intra-head interactions.","absKo":"state-transition(decay) matrix는 고정 크기 memory가 어떻게 갱신되고 사용되는지를 규정하므로, linear attention model의 핵심 설계 요소이다. 선행 연구는 decay matrix 구성 비용을 줄이기 위해 rank-1 approximation을 활용해 왔지만, 이러한 low-rank 제약은 표현 용량도 함께 제한한다. 따라서 우리는 decay-matrix 설계를 표현력을 극대화하면서 추가 비용은 최소화하는 개방형 최적화 문제로 정식화한다. multi-head mechanism에서 영감을 받아, 우리는 단일 linear-attention head 내부의 memory partitioning과 interaction을 구조화하기 위해 추가 mask matrix를 도입하는 Head-in-Head를 제안한다. 이 간단하고 일반적이며 효율적인 설계는 \\romannumeral1) 소수의 추가 파라미터만으로 decay matrix의 rank-$r$ approximation을 가능하게 하고, \\romannumeral2) head 내부 정보 상호작용을 강화한다. 또한 효율적인 병렬 학습을 지원하기 위해 mask normalization과 chunk-wise parallelization 방식을 추가로 개발한다. 합성 벤치마크와 언어 모델링 과제에 대한 광범위한 실험, 그리고 시각적 분석은 Head-in-Head가 정보 다양성을 풍부하게 하고 head 내부 상호작용을 강화함으로써 baseline 성능을 일관되게 개선함을 보여준다."},{"id":"61164","en":"MODUS: Decoder-only Any-to-Any Modeling of Diverse Modalities","ko":"MODUS: 다양한 Modality의 Decoder-only Any-to-Any Modeling","authors":"Mingqiao Ye, Zhaochong An, Zhitong Gao, Xian Liu, Oğuzhan Fatih Kar, Jesse Allardice, Roman Bachmann, David Mizrahi, François Fleuret, Chuan Li, Amir Zadeh, Serge Belongie, Afshin Dehghan, Amir Zamir","pos":"#2808","link":"https://openreview.net/forum?id=t7kTpjsRIw","abs":"Any-to-any modeling aims to flexibly relate arbitrary modalities within a single system, a requirement that arises across multimodal learning and scientific domains such as ecology and astronomy. However, existing any-to-any approaches are typically trained from scratch using encoder–decoder or diffusion architectures, limiting empirical performance and the use of pretrained models. We investigate decoder-only any-to-any multimodal modeling, which treats all modalities symmetrically and supports arbitrary modalities as inputs and outputs without modality-specific heads, losses, or task pipelines. As a consequence of this unified design, the resulting model MODUS naturally enables chained generation through intermediate modalities, cross-modal consistency verification, and analysis of visual representations by combining semantic and reconstruction features. Across a range of benchmarks, MODUS demonstrates strong out-of-the-box performance and flexible multimodal composition within a single model.
","absKo":"Any-to-any modeling은 단일 시스템 안에서 임의의 modality를 유연하게 연결하는 것을 목표로 하며, 이러한 요구는 multimodal learning과 ecology, astronomy 같은 scientific domain 전반에서 나타난다. 그러나 기존 any-to-any 접근법은 대개 encoder-decoder 또는 diffusion architecture를 사용해 from scratch로 학습되므로, empirical performance와 pretrained model 활용 측면에서 제한을 받는다. 우리는 decoder-only any-to-any multimodal modeling을 연구한다. 이 접근법은 모든 modality를 대칭적으로 다루며, modality-specific head, loss, task pipeline 없이 임의의 modality를 입력과 출력으로 지원한다. 이러한 통합된 설계의 결과로, 생성된 모델 MODUS는 중간 modality를 통한 chained generation, cross-modal consistency verification, semantic feature와 reconstruction feature를 결합한 시각 표현 분석을 자연스럽게 가능하게 한다. 다양한 benchmark 전반에서 MODUS는 단일 모델 내에서 강력한 out-of-the-box 성능과 유연한 multimodal composition을 보여준다.
"},{"id":"61559","en":"MORE: A Multilingual Document Parsing Benchmark and Evaluation","ko":"MORE: Multilingual Document Parsing Benchmark와 평가","authors":"Long Xu, Binghong Wu, TingHao YU, Hao Feng, zhenyuhuang, Haoqing Jiang, Yunhao Wang, Shuo Huang, feng zhang","pos":"#2809","link":"https://openreview.net/forum?id=ov240fehF6","abs":"Multilingual documents encapsulate rich regional cultures, scientific discoveries, and historical records. Parsing this content into structured, machine-readable formats is critical for unlocking global knowledge. However, existing benchmarks predominantly focus on high-resource languages like English and Chinese, creating a significant $\\textit{evaluation blind spot}$ concerning model performance on the vast spectrum of other languages. While recent Vision-Language Models (VLMs) claim support for hundreds of languages, the lack of comprehensive ground truth makes it impossible to empirically verify these capabilities. To bridge this gap, we introduce $\\textbf{MORE}$, a large-scale, linguistically comprehensive benchmark designed for rigorous multilingual document parsing evaluation. MORE distinguishes itself through three key dimensions: (1) $\\textbf{Unprecedented Scale}$: It covers $\\textbf{149 languages}$, making it the most linguistically diverse benchmark to date; (2) $\\textbf{Structural Complexity}$: Unlike previous works, it extends evaluation beyond plain text to include complex structural elements such as code blocks, tables, and catalogs; and (3) $\\textbf{Data Authenticity}$: All samples are curated from real-world documents via a rigorous model-assisted, human-refined annotation pipeline. We conduct an extensive evaluation of state-of-the-art models using MORE, establishing new performance baselines for long-tail languages and validating the benchmark's effectiveness in diagnosing model capabilities in realistic, diverse scenarios.","absKo":"다국어 문서는 풍부한 지역 문화, 과학적 발견, 역사 기록을 담고 있다. 이 내용을 구조화되고 기계가 읽을 수 있는 형식으로 파싱하는 것은 전 세계 지식을 활용하기 위해 필수적이다. 그러나 기존 benchmark는 주로 영어와 중국어 같은 고자원 언어에 초점을 맞추고 있어, 다양한 다른 언어들에 대한 모델 성능 측면에서 상당한 $\\textit{evaluation blind spot}$를 만든다. 최근 Vision-Language Models(VLMs)는 수백 개 언어를 지원한다고 주장하지만, 포괄적인 ground truth가 부족하여 이러한 능력을 실증적으로 검증할 수 없다. 이 격차를 메우기 위해, 우리는 엄밀한 다국어 문서 파싱 평가를 위해 설계된 대규모 언어학적 포괄 benchmark인 $\\textbf{MORE}$를 소개한다. MORE는 세 가지 핵심 차원에서 차별화된다: (1) $\\textbf{Unprecedented Scale}$: $\\textbf{149 languages}$를 포괄하여 현재까지 가장 언어적으로 다양한 benchmark이다; (2) $\\textbf{Structural Complexity}$: 이전 연구와 달리 평문을 넘어 code block, table, catalog와 같은 복잡한 구조 요소까지 평가를 확장한다; (3) $\\textbf{Data Authenticity}$: 모든 샘플은 model-assisted, human-refined annotation pipeline을 통한 실제 문서에서 선별되었다. 우리는 MORE를 사용하여 최신 모델들을 광범위하게 평가하고, long-tail language에 대한 새로운 성능 baseline을 확립하며, 실제적이고 다양한 시나리오에서 모델 능력을 진단하는 데 있어 이 benchmark의 유효성을 검증한다."},{"id":"65833","en":"Making Foundation Models Probabilistic via Singular Value Ensembles","ko":"특이값 앙상블을 통한 기반 모델의 확률화","authors":"Mehmet Ozgur Turkoglu, Dominik J. Mühlematter, Alexander Becker, Konrad Schindler, Helge Aasen","pos":"#2810","link":"https://openreview.net/forum?id=9dwgtsGGu8","abs":"Foundation models have become a dominant paradigm in machine learning, achieving remarkable performance across diverse tasks through large-scale pretraining. However, these models often yield overconfident, uncalibrated predictions. The standard approach to quantifying epistemic uncertainty, training an ensemble of independent models, incurs prohibitive computational costs that scale linearly with ensemble size, making it impractical for large foundation models. We propose Singular Value Ensemble (SVE), a parameter-efficient implicit ensemble method that builds on a simple, but powerful core assumption: namely, that the singular vectors of the weight matrices constitute meaningful subspaces of the model's knowledge. Pretrained foundation models encode rich, transferable information in their weight matrices. If the singular vectors are indeed meaningful (orthogonal) \"knowledge directions\". To obtain a model ensemble, we modulate only how strongly each direction contributes to the output. Rather than learning entirely new parameters, we freeze the singular vectors and only train per-member singular values that rescale the contribution of each direction in that shared knowledge basis. Ensemble diversity emerges naturally as stochastic initialization and random sampling of mini-batches during joint training cause different members to converge to different combinations of the same underlying knowledge. SVE achieves uncertainty quantification comparable to explicit deep ensembles while increasing the parameter count of the base model by less than 1%, making principled uncertainty estimation accessible in resource-constrained settings. We validate SVE on NLP and vision tasks with various different backbones and show that it improves calibration while maintaining predictive accuracy.
","absKo":"foundation model은 대규모 pretraining을 통해 다양한 과제에서 놀라운 성능을 달성하며 machine learning의 지배적인 패러다임이 되었다. 그러나 이러한 모델은 과도하게 확신하는, calibration되지 않은 예측을 내놓는 경우가 많다. epistemic uncertainty를 정량화하는 표준 접근법인 독립적인 모델들의 ensemble 학습은 ensemble 크기에 선형으로 비례하는 막대한 계산 비용을 초래하여, 대형 foundation model에는 비실용적이다. 우리는 Singular Value Ensemble(SVE)을 제안한다. 이는 parameter-efficient implicit ensemble 방법으로, 간단하지만 강력한 핵심 가정에 기반한다. 즉, weight matrix의 singular vector가 모델 지식의 의미 있는 subspace를 이룬다는 가정이다. pretrained foundation model은 weight matrix에 풍부하고 전이 가능한 정보를 인코딩한다. 만약 singular vector가 실제로 의미 있는(orthogonal한) \"knowledge direction\"이라면, 모델 ensemble을 얻기 위해 우리는 각 direction이 출력에 기여하는 정도만 조절하면 된다. 완전히 새로운 parameter를 학습하는 대신, singular vector를 고정하고 공유된 지식 basis에서 각 direction의 기여를 재스케일하는 member별 singular value만 학습한다. ensemble 다양성은 공동 학습 동안 stochastic initialization과 mini-batch의 random sampling으로 인해 서로 다른 member가 동일한 underlying knowledge의 서로 다른 조합으로 수렴하면서 자연스럽게 나타난다. SVE는 explicit deep ensemble과 비슷한 uncertainty quantification을 달성하면서 base model의 parameter 수를 1% 미만으로만 증가시키므로, 자원 제약 환경에서도 원리적인 uncertainty estimation을 가능하게 한다. 우리는 다양한 backbone을 사용한 NLP 및 vision task에서 SVE를 검증하고, 예측 정확도를 유지하면서 calibration을 개선함을 보인다.
"},{"id":"65971","en":"Mitigating Label Shift in Tabular In-Context Learning via Test-Time Posterior Adjustment","ko":"테스트 시점 사후분포 조정을 통한 테이블형 In-Context Learning의 레이블 이동 완화","authors":"Seunghan Lee","pos":"#2811","link":"https://openreview.net/forum?id=8N2kUoknvy","abs":"TabPFN has recently gained attention as a foundation model for tabular datasets, achieving strong performance by leveraging in-context learning on synthetic data. However, we find that TabPFN is vulnerable to label shift, often overfitting to the majority class in the training dataset. To address this limitation, we propose DistPFN, the first test-time posterior adjustment method designed for tabular foundation models. DistPFN rescales predicted class probabilities by downweighting the influence of the training prior (i.e., the class distribution of the context) and emphasizing the contribution of the model’s predicted posterior, without architectural modification or additional training. We further introduce DistPFN-T, which incorporates temperature scaling to adaptively control the adjustment strength based on the discrepancy between prior and posterior. We evaluate our methods on over 250 OpenML datasets, demonstrating substantial improvements for various TabPFN-based models in classification tasks under label shift, while maintaining strong performance in standard settings without label shift.
","absKo":"TabPFN은 최근 synthetic data에 대한 in-context learning을 활용해 tabular dataset을 위한 foundation model로 주목받고 있으며, 강력한 성능을 보여주고 있다. 그러나 우리는 TabPFN이 label shift에 취약하며, 학습 데이터셋의 majority class에 과적합하는 경향이 있음을 발견했다. 이 한계를 해결하기 위해, 우리는 tabular foundation model을 위해 설계된 최초의 test-time posterior adjustment 방법인 DistPFN을 제안한다. DistPFN은 architecture를 수정하거나 추가 학습을 수행하지 않고도, training prior(즉, context의 class distribution)의 영향을 낮추고 model이 예측한 posterior의 기여를 강조함으로써 예측된 class probability를 재조정한다. 또한 우리는 prior와 posterior 간의 discrepancy에 따라 adjustment strength를 적응적으로 제어하기 위해 temperature scaling을 통합한 DistPFN-T를 추가로 제안한다. 우리는 250개 이상의 OpenML dataset에서 제안한 방법을 평가했으며, label shift가 있는 분류 task에서 다양한 TabPFN-based model의 성능을 크게 향상시키면서도, label shift가 없는 일반적인 설정에서는 강력한 성능을 유지함을 보였다.
"},{"id":"61233","en":"Mitigating Mask Prior Drift and Positional Attention Collapse in Large Diffusion Vision-Language Models","ko":"Large Diffusion Vision-Language Model에서 Mask Prior Drift와 Positional Attention Collapse 완화","authors":"Sujung Hong, Chanyong Yoon, Seong Jae Hwang","pos":"#2812","link":"https://openreview.net/forum?id=sQ6oDLZWFb","abs":"Large diffusion vision–language models (LDVLMs) have recently demonstrated competitive performance on multimodal tasks, emerging as a promising alternative to autoregressive models. They enable parallel decoding for efficient inference and leverage bidirectional attention to capture global context. Despite these advances, their behavior under long-form generation remains underexplored. In this work, we show that existing LDVLMs suffer from repetitive generation and lead to degraded visual grounding. Through analysis, we identify two underlying causes of these failures. First, repetitive generation originates from a mask token prior. Because generation tokens are initialized as mask tokens, their hidden representations progressively drift toward a shared prior direction over generation steps. Second, a fundamental misalignment exists between the positional attention bias and the iterative unmasking process. This discrepancy suppresses the model's attention toward informative visual tokens, leading to degradation in visual grounding. Based on these insights, we propose a training-free approach that mitigates both issues. Specifically, we introduce Mask Prior Suppression and Monotonic RoPE Scaling, which mitigate mask prior drift and positional attention collapse during decoding. Experiments on general multimodal benchmarks and visual grounding tasks demonstrate improvements over baseline LDVLMs, with robust gains on long-form description benchmarks. Overall, our results show that these failures can be effectively addressed with a lightweight, plug-and-play strategy that requires no additional training and generalizes across diverse LDVLM architectures.
","absKo":"Large diffusion vision–language models (LDVLMs)는 최근 multimodal task에서 경쟁력 있는 성능을 보여주며, autoregressive model의 유망한 대안으로 떠오르고 있다. 이들은 효율적인 inference를 위한 parallel decoding을 가능하게 하고, bidirectional attention을 활용하여 전역 문맥을 포착한다. 이러한 진전에도 불구하고, long-form generation에서의 동작은 아직 충분히 탐구되지 않았다. 본 연구에서는 기존 LDVLMs가 반복적인 generation 문제를 겪고 visual grounding이 저하됨을 보인다. 분석을 통해 우리는 이러한 실패의 두 가지 근본 원인을 식별한다. 첫째, 반복적 generation은 mask token prior에서 비롯된다. generation token이 mask token으로 초기화되기 때문에, hidden representation은 generation step이 진행됨에 따라 공유된 prior 방향으로 점진적으로 drift한다. 둘째, positional attention bias와 iterative unmasking process 사이에는 근본적인 misalignment가 존재한다. 이 불일치는 정보성 있는 visual token에 대한 모델의 attention을 억제하여 visual grounding 저하를 초래한다. 이러한 통찰을 바탕으로 우리는 두 문제를 모두 완화하는 training-free 접근법을 제안한다. 구체적으로, decoding 동안 mask prior drift와 positional attention collapse를 완화하는 Mask Prior Suppression과 Monotonic RoPE Scaling을 도입한다. 일반적인 multimodal benchmark와 visual grounding task에서의 실험은 baseline LDVLMs 대비 향상을 보이며, long-form description benchmark에서 특히 견고한 개선을 확인했다. 전반적으로 우리의 결과는 추가 학습이 필요 없고 다양한 LDVLM architecture에 일반화되는 경량 plug-and-play 전략으로 이러한 실패를 효과적으로 해결할 수 있음을 보여준다.
"},{"id":"61259","en":"Ramba: Selective State-Space Models for Relational Deep Learning","ko":"Ramba: 관계형 딥러닝을 위한 선택적 State-Space Model","authors":"Yiming Liu, Chunyu Wei, haozhe lin, Fengjun Xiao, Junqi Zhang, Yunhai Wang, Yueguo Chen","pos":"#2813","link":"https://openreview.net/forum?id=s6B4ARyBLN","abs":"Relational Deep Learning aims to learn directly on multi-table databases, yet current methods face a fundamental tension: Transformers' quadratic complexity prohibits the large contexts relational data demands, while GNNs sacrifice global context for efficiency. We introduce Ramba, the first selective state-space model for relational databases. Our approach features two innovations: (1) Topology-Aware Linearization, which processes cells via global columnar serialization in O(L) complexity while recovering relational structure through sparse entity and foreign-key attention masks; and (2) Schema Dynamic Gating, which modulates SSM state transitions based on semantic alignment between the currently scanned attribute and the prediction target, enabling cross-table relevance filtering without relying on value distributions. Together, these enable Ramba to ingest vast relational contexts while selectively retaining semantically relevant information, a combination existing architectures cannot achieve. Experiments demonstrate state-of-the-art performance with linear scalability across diverse relational benchmarks.
","absKo":"Relational Deep Learning은 multi-table database에서 직접 학습하는 것을 목표로 하지만, 현재 방법들은 근본적인 긴장 관계에 직면해 있다. Transformer는 quadratic complexity 때문에 relational data가 요구하는 큰 context를 감당하지 못하고, GNN은 효율성을 위해 global context를 희생한다. 우리는 relational database를 위한 최초의 selective state-space model인 Ramba를 제안한다. 우리의 접근은 두 가지 혁신을 포함한다: (1) Topology-Aware Linearization은 전역 columnar serialization을 통해 셀을 O(L) complexity로 처리하면서 sparse entity 및 foreign-key attention mask를 통해 relational structure를 복원한다. (2) Schema Dynamic Gating은 현재 스캔 중인 attribute와 prediction target 사이의 semantic alignment를 바탕으로 SSM state transition을 조절하여, value distribution에 의존하지 않고도 table 간 관련성 필터링을 가능하게 한다. 이 둘을 결합함으로써 Ramba는 방대한 relational context를 입력으로 받아들이면서도 의미적으로 관련 있는 정보를 선택적으로 유지할 수 있으며, 기존 architecture로는 달성하기 어려운 조합을 실현한다. 실험은 다양한 relational benchmark에서 선형 확장성과 함께 state-of-the-art 성능을 입증한다.
"},{"id":"64812","en":"Scaling Laws and Architectural Frontiers in Metagenomic Foundation Models","ko":"Metagenomic Foundation Model의 Scaling Law와 아키텍처 최전선","authors":"Geraldene Munsamy, Gavin Ayres, Jérémie DONA, Carla Greco, Daniel P Anderson, Srijani Sridhar, William Chow, Aaron Kollasch, Robert Pecoraro, Tanggis Bohnuud, Keith Kam, Gus Minto-Cowcher, Marcus Leung, Hassan Sirelkhatim, John St. John, Ali Taghibakhshi, Tyler Shimko, Jared Wilber, Timur Rvachov, Saee Paliwal, Eddie Calleja, Noelia Ferruz, Kevin Yang, Francesco Farina, Philipp Lorenz","pos":"#2814","link":"https://openreview.net/forum?id=JWs8VUevwO","abs":"Foundation models for genomics have the potential to revolutionize therapeutic design, yet the optimal architectural choices for modeling the vast and diverse distribution of metagenomic data remain under-explored. In this work, we present the machine learning methodology behind MODEL, a family of metagenomic foundation models scaled up to 28 billion parameters and trained on 9.7 trillion nucleotide tokens. We provide a systematic empirical study of architectural trade-offs between autoregressive Transformers (Llama-style), State-Space Models (Mamba), and Long-convolutional architectures (Hyena) for nucleotide-level modeling. Contrary to recent trends favoring linear-time sequence models for long-range biological data, we demonstrate that the Llama architecture exhibits superior scaling efficiency and semantic retrieval capabilities as the model capacity grows. We derive a set of quality-aware scaling laws for metagenomics, showing how model performance follows predictable power-law behavior across three orders of magnitude in parameters and data. Through extensive benchmarking, spanning unsupervised zero-shot fitness prediction, semantic completion, and gene recovery, we establish a blueprint for scaling biological foundation models and provide empirical evidence demonstrating why Transformer-based architectures define the current frontier.
","absKo":"Genomics용 foundation model은 therapeutic design을 혁신할 잠재력을 지니지만, 방대한 metagenomic data 분포를 모델링하기 위한 최적의 architectural choice는 아직 충분히 탐구되지 않았다. 본 연구에서 우리는 280억 parameter 규모로 확장되고 9.7 trillion nucleotide token으로 학습된 metagenomic foundation model 계열 MODEL의 machine learning methodology를 제시한다. 우리는 nucleotide-level modeling을 위해 autoregressive Transformer (Llama-style), State-Space Model (Mamba), 그리고 Long-convolutional architecture (Hyena) 간의 architectural trade-off를 체계적으로 실증 분석한다. 장거리 biological data에 대해 linear-time sequence model을 선호하는 최근 경향과 달리, 우리는 model capacity가 커질수록 Llama architecture가 더 뛰어난 scaling efficiency와 semantic retrieval capability를 보임을 입증한다. 또한 metagenomics를 위한 quality-aware scaling law를 도출하여, model performance가 parameter와 data의 세 자릿수 규모에 걸쳐 예측 가능한 power-law behavior를 따른다는 점을 보인다. 비지도 zero-shot fitness prediction, semantic completion, gene recovery에 걸친 광범위한 benchmarking을 통해, 우리는 biological foundation model의 scaling blueprint를 정립하고, Transformer-based architecture가 왜 현재 frontier를 정의하는지에 대한 실증적 근거를 제시한다.
"},{"id":"66759","en":"ACO-MoE-LoRA: Evolving-while-Training for Adapting Segment Anything Model 2 to Specialized Domains","ko":"ACO-MoE-LoRA: Segment Anything Model 2를 특화 도메인에 적응시키는 학습 중 진화","authors":"Kaiyi Luo, Bangjun Wang, Li Zhang, Fanzhang Li, Fei Zhu, Jiaqing Fan","pos":"#2900","link":"https://openreview.net/forum?id=0YKTO2A04S","abs":"Static fine-tuning paradigms impose rigid structural constraints on foundation models like the Segment Anything Model 2 (SAM2), limiting their adaptability to the varying complexity of specialized downstream tasks. To overcome this limitation, we propose ACO-MoE-LoRA, a dynamic framework that introduces an \"Evolving-while-Training\" strategy by synergizing Ant Colony Optimization (ACO) with a Latent Space Mixture-of-Experts (MoE) architecture. Central to our method is the ACO-ConvLoRA module, which employs a pheromone-guided routing mechanism to actively govern expert selection and topological evolution. By formulating expert assignment as an evolutionary pathfinding problem, this module effectively mitigates the standard routing collapse issue and enables elastic adjustment of LoRA ranks via weight slicing, bridging discrete structural search with continuous parameter training. Extensive experiments across 16 challenging datasets demonstrate that our framework consistently outperforms leading static adapters, while effectively addressing the local optimality limitations of recent dynamic heuristics. This work presents a self-organizing solution that harmonizes swarm intelligence with gradient optimization for efficiently adapting foundation models to specialized domains.
","absKo":"Static fine-tuning paradigm은 Segment Anything Model 2 (SAM2)와 같은 foundation model에 경직된 구조적 제약을 부과하여, 다양한 복잡성을 지닌 specialized downstream task에 대한 적응성을 제한한다. 이러한 한계를 극복하기 위해, 우리는 Ant Colony Optimization (ACO)과 Latent Space Mixture-of-Experts (MoE) architecture를 결합하여 \"Evolving-while-Training\" 전략을 도입하는 동적 framework인 ACO-MoE-LoRA를 제안한다. 우리의 방법의 핵심은 pheromone-guided routing mechanism을 사용해 expert selection과 topological evolution을 능동적으로 제어하는 ACO-ConvLoRA module이다. expert assignment를 evolutionary pathfinding problem으로 정식화함으로써, 이 module은 표준 routing collapse 문제를 효과적으로 완화하고 weight slicing을 통해 LoRA rank를 탄력적으로 조정할 수 있게 하여, discrete structural search와 continuous parameter training을 연결한다. 16개의 도전적인 dataset에 걸친 광범위한 실험은 우리의 framework가 선도적인 static adapter를 일관되게 능가하면서, 최근의 dynamic heuristic이 가진 local optimality 한계를 효과적으로 해결함을 보여준다. 이 연구는 swarm intelligence와 gradient optimization을 조화시켜 foundation model을 specialized domain에 효율적으로 적응시키는 self-organizing solution을 제시한다.
"},{"id":"63587","en":"A Foundation-style Model for Zero-Shot Statistical Dependency Measurement","ko":"Zero-shot 통계적 의존성 측정을 위한 Foundation-style 모델","authors":"Zhengyang Hu, Yanzhi Chen, Hanxiang Ren, Qunsong Zeng, Youyi Zheng, Adrian Weller, Kaibin Huang, Yanchao Yang","pos":"#2902","link":"https://openreview.net/forum?id=VlspNGn7cK","abs":"Measuring statistical dependency between high-dimensional random variables is a fundamental task in data science and machine learning. Neural mutual information (MI) estimators offer a promising avenue, but they typically require costly test-time training for each new dataset, making them impractical for real-time applications. We present InfoAtlas, a foundation model-like architecture that eliminates this bottleneck by directly inferring MI in a single forward pass. Pretrained on large-scale synthetic data with rich dependence patterns, InfoAtlas learns to identify diverse dependence structures and predict MI directly from the dataset. Comprehensive experiments demonstrate that InfoAtlas matches state-of-the-art neural estimators in accuracy while achieving 100× speedup, can flexibly handle varying dimensions and sample sizes through a single unified model, and generalizes effectively to complex, real-world scenarios. By reformulating MI estimation from an optimization problem to an inference task, InfoAtlas establishes a foundation for real-time dependency analysis.
","absKo":"고차원 random variable 사이의 statistical dependency를 측정하는 일은 data science와 machine learning의 기본적인 과제이다. Neural mutual information(MI) estimator는 유망한 접근이지만, 일반적으로 새로운 dataset마다 비용이 큰 test-time training을 요구하므로 real-time application에는 부적합하다. 우리는 단일 forward pass에서 MI를 직접 추론하여 이러한 병목을 제거하는 foundation model과 유사한 architecture인 InfoAtlas를 제시한다. 풍부한 dependence pattern을 가진 대규모 synthetic data로 사전 학습된 InfoAtlas는 다양한 dependency structure를 식별하고 dataset으로부터 MI를 직접 예측하는 법을 학습한다. 종합적인 실험은 InfoAtlas가 정확도 면에서 state-of-the-art neural estimator와 동등하면서도 100배의 속도 향상을 달성하고, 하나의 통합된 model로 다양한 차원과 sample size를 유연하게 처리할 수 있으며, 복잡한 실제 시나리오로도 효과적으로 일반화함을 보여준다. MI estimation을 optimization problem에서 inference task로 재정식화함으로써, InfoAtlas는 real-time dependency analysis의 기반을 마련한다.
"},{"id":"62349","en":"CAOS: Conformal Aggregation of One-Shot Predictors","ko":"CAOS: One-Shot Predictor의 Conformal Aggregation","authors":"Maja Waldron","pos":"#3510","link":"https://openreview.net/forum?id=hQoT2F37Am","abs":"One-shot prediction enables rapid adaptation of pretrained foundation models to new tasks using only one labeled example, but lacks principled uncertainty quantification. While conformal prediction provides finite-sample coverage guarantees, standard split conformal methods are inefficient in the one-shot setting due to data splitting and reliance on a single predictor. We propose Conformal Aggregation of One-Shot Predictors (CAOS), a conformal framework that adaptively aggregates multiple one-shot predictors and uses a leave-one-out calibration scheme to fully exploit scarce labeled data. Despite violating classical exchangeability assumptions, we prove that CAOS achieves valid marginal coverage using a monotonicity-based argument. Experiments on one-shot facial landmarking and RAFT text classification tasks show that CAOS produces substantially smaller prediction sets than split conformal baselines while maintaining reliable coverage.
","absKo":"One-shot prediction은 단 하나의 labeled example만으로 pretrained foundation model을 새로운 task에 빠르게 적응시킬 수 있게 해주지만, 체계적인 uncertainty quantification은 제공하지 못한다. conformal prediction은 finite-sample coverage guarantee를 제공하지만, 표준 split conformal 방법은 data splitting과 단일 predictor 의존성 때문에 one-shot setting에서 비효율적이다. 우리는 Conformal Aggregation of One-Shot Predictors(CAOS)를 제안하는데, 이는 여러 one-shot predictor를 적응적으로 aggregation하고 leave-one-out calibration scheme을 사용하여 희소한 labeled data를 최대한 활용하는 conformal framework이다. 고전적인 exchangeability 가정을 위반함에도 불구하고, 우리는 monotonicity 기반 논증을 통해 CAOS가 유효한 marginal coverage를 달성함을 증명한다. one-shot facial landmarking과 RAFT text classification task에 대한 실험은, CAOS가 신뢰할 수 있는 coverage를 유지하면서 split conformal baseline보다 훨씬 더 작은 prediction set을 생성함을 보여준다.
"},{"id":"61644","en":"CryoACE: An Atom-centric Framework for Accurate and Automated Model Building in Cryo-EM","ko":"CryoACE: Cryo-EM에서 정확하고 자동화된 모델 구축을 위한 원자 중심 프레임워크","authors":"Minzhang Li, Mingrui Li, Weichen Qin, Qihe Chen, Sixian Shen, Yuan Pei, Jiakai Zhang, Jingyi Yu","pos":"#1011","link":"https://openreview.net/forum?id=oAAorH4cNW","abs":"Protein automodeling from cryo-EM density maps faces unique challenges in enforcing physicochemical validity and managing conformational heterogeneity. Current solvers are often limited to static predictions or require computationally intensive heuristic searches. We present CryoACE, an end-to-end framework that reconstructs precise atomic graphs for both homogeneous and heterogeneous structures. Our method features two key innovations: an atom-centric reconstruction paradigm, where density features are sampled directly at atomic coordinates and iteratively recycled to refine structures—replacing expensive voxel convolutions for efficient multimodal fusion—and a training-free guidance mechanism that leverages predicted local resolution priors to resolve dynamic ambiguity. Validated on a newly constructed high-quality dataset, CryoACE significantly outperforms existing baselines on static benchmarks and, for the first time, unveils atomic-level dynamic conformations on complex real-world datasets like EMPIAR-10345 without relying on pre-built static structures. We release our code, model weights, and dataset to facilitate future research.
","absKo":"cryo-EM 밀도 맵으로부터의 protein automodeling은 물리화학적 타당성을 보장하고 conformational heterogeneity를 다루는 데 있어 고유한 도전에 직면한다. 기존 solver는 정적 예측에 제한되거나 계산 집약적인 heuristic search를 필요로 하는 경우가 많다. 우리는 homogeneous 및 heterogeneous 구조 모두에 대해 정밀한 atomic graph를 재구성하는 end-to-end framework인 CryoACE를 제안한다. 우리의 방법은 두 가지 핵심 혁신을 포함한다. 하나는 atom-centric reconstruction paradigm으로, density feature를 atomic coordinate에서 직접 샘플링하고 반복적으로 recycle하여 구조를 refinement하는 방식이며, 이는 효율적인 multimodal fusion을 위해 비용이 큰 voxel convolution을 대체한다. 다른 하나는 training-free guidance mechanism으로, 예측된 local resolution prior를 활용하여 dynamic ambiguity를 해소한다. 새로 구축한 고품질 dataset에서 검증한 결과, CryoACE는 정적 benchmark에서 기존 baseline을 크게 능가했으며, 사전 구축된 static structure에 의존하지 않고 EMPIAR-10345와 같은 복잡한 실제 dataset에서 처음으로 atomic-level dynamic conformation을 밝혀냈다. 우리는 향후 연구를 촉진하기 위해 code, model weight, dataset을 공개한다.
"},{"id":"62517","en":"RobuQ: Pushing DiTs to W1.58A2 via Robust Activation Quantization","ko":"RobuQ: Robust Activation Quantization으로 DiTs를 W1.58A2까지 확장","authors":"Kaicheng Yang, Xun Zhang, Haotong Qin, Yucheng Lin, Kaisen Yang, Xianglong Yan, Yulun Zhang","pos":"#1206","link":"https://openreview.net/forum?id=ftM5GTQAh1","abs":"Diffusion Transformers (DiTs) have emerged as a powerful backbone for image generation, offering superior scalability over U-Nets. However, their practical deployment is hindered by significant computational costs. While Quantization-Aware Training (QAT) shows promise, its application to DiTs is challenged by the high sensitivity and complex distributions of activations. Identifying activation quantization as the primary bottleneck for low-bit settings, we propose RobuQ, a systematic QAT framework. We first establish a strong ternary weight (W1.58A4) baseline. Building on this, we introduce RobustQuantizer, which utilizes the Hadamard transform to convert unknown per-token distributions into normal distributions. Furthermore, we propose AMPN, the first Activation-only Mixed-Precision Network pipeline, applying ternary weights globally while allocating layer-specific activation precisions to eliminate information bottlenecks. Extensive experiments demonstrate that RobuQ achieves state-of-the-art performance on ImageNet-1K, representing the first stable image generation with activations quantized to an average of 2 bits.
","absKo":"Diffusion Transformers(DiTs)는 image generation을 위한 강력한 backbone으로 부상했으며, U-Net보다 뛰어난 scalability를 제공한다. 그러나 실제 배치는 상당한 computational cost로 인해 제한된다. Quantization-Aware Training(QAT)은 유망하지만, activation의 높은 민감도와 복잡한 분포 때문에 DiTs에 적용하기 어렵다. activation quantization이 low-bit setting의 주요 병목이라고 식별하고, 우리는 체계적인 QAT framework인 RobuQ를 제안한다. 먼저 강력한 ternary weight(W1.58A4) baseline을 확립한다. 이를 바탕으로, 우리는 Hadamard transform을 활용하여 알려지지 않은 per-token distribution을 normal distribution으로 변환하는 RobustQuantizer를 도입한다. 더 나아가, 우리는 최초의 Activation-only Mixed-Precision Network pipeline인 AMPN을 제안하여, ternary weight를 전역적으로 적용하면서 layer-specific activation precision을 배분해 information bottleneck을 제거한다. 광범위한 실험은 RobuQ가 ImageNet-1K에서 state-of-the-art 성능을 달성하며, activation을 평균 2 bits로 quantize한 상태에서 안정적인 image generation을 처음으로 구현함을 보여준다.
"},{"id":"65014","en":"Efficient Reasoning with Hidden Thinking","ko":"Hidden Thinking을 활용한 효율적 추론","authors":"Xuan Shen, Yizhou Wang, Yufa Zhou, Xiangxi Shi, Pu Zhao, Yanzhi Wang, Jiuxiang Gu","pos":"#2202","link":"https://openreview.net/forum?id=Hn81xuLaXY","abs":"Chain-of-Thought (CoT) reasoning has become a powerful framework for improving complex problem-solving capabilities in Multimodal Large Language Models (MLLMs). However, the verbose nature of textual reasoning introduces significant inefficiencies. In this work, we proposeHeima (as hidden llama), an effective CoT compression framework that condenses lengthy CoTs into a small set of abstract thinking tokens, preserving essential reasoning while removing redundancy. We then conduct a theoretical analysis from an information-theoretic perspective, quantifying the information gap induced by compression, showing that reasoning capability is preserved when non-trivial mutual information is retained. To further explore and quantify this information gap, we design the adaptive interpreter that maps thinking tokens back to variable-length textual sequences, thereby reconstructing the reasoning process. Experiments across diverse reasoning benchmarks demonstrate that Heima improves reasoning efficiency, while maintaining or even achieving better zero-shot accuracy. Moreover, the interpreter reconstructs coherent reasoning progresses from compressed thinking tokens, revealing that the information gap is minimal and validating the effectiveness of the proposed framework. This work paves the way for scalable latent reasoning models and advances our understanding of efficient reasoning processes in large models.
","absKo":"Chain-of-Thought(CoT) reasoning은 Multimodal Large Language Model(MLLM)의 복잡한 문제 해결 능력을 향상시키는 강력한 프레임워크가 되었다. 그러나 textual reasoning의 장황한 특성은 상당한 비효율을 유발한다. 이 작업에서 우리는 Heima(hidden llama로서), 길게 전개되는 CoT를 소수의 abstract thinking token으로 압축하여 핵심 reasoning은 보존하면서 중복은 제거하는 효과적인 CoT compression framework를 제안한다. 이어서 우리는 information-theoretic perspective에서 이론적 분석을 수행하여, compression으로 인해 유발되는 information gap을 정량화하고, 비자명한 mutual information이 유지될 때 reasoning capability가 보존됨을 보인다. 이 information gap을 더 탐구하고 정량화하기 위해, 우리는 thinking token을 가변 길이의 textual sequence로 되돌려 reasoning process를 재구성하는 adaptive interpreter를 설계한다. 다양한 reasoning benchmark 전반의 실험은 Heima가 reasoning efficiency를 높이면서도 zero-shot accuracy를 유지하거나 오히려 향상시킨다는 것을 보여 준다. 또한 interpreter는 compressed thinking token으로부터 일관된 reasoning progression을 재구성하여 information gap이 최소임을 드러내고, 제안한 framework의 효과를 입증한다. 이 작업은 scalable latent reasoning model의 길을 열고, 대규모 모델에서 효율적인 reasoning process에 대한 이해를 진전시킨다.
"},{"id":"63656","en":"Twins: Learn to Predict Unified Representations with Focal Loss","ko":"Twins: Focal Loss로 통합 표현 예측 학습","authors":"Kaixiong Gong, Xin Cai, Bin Lin, Hao Wang, Yunlong Lin, Mingzhe Zheng, Bohao Li, Jian-Wei Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Xiangyu Yue","pos":"#2507","link":"https://openreview.net/forum?id=UvWZFnG1Np","abs":"Unified multimodal models seek a shared visual token space that supports both multimodal understanding and image generation. Discrete methods unify the interface via a shared codebook, whereas continuous pipelines often rely on two disparate representations—semantic features (e.g., ViT) for understanding and low-level latents (e.g., VAE) for synthesis—resulting in mismatched latent spaces. We propose Twins, a unified continuous token space formed by channel-wise concatenating ViT and VAE features on the same token grid, so the sequence length is unchanged and attention cost does not increase. However, jointly modeling Twins in a Diffusion Transformer exposes a severe \\textit{optimization imbalance}: the model fits the ViT component well but struggles to match the VAE latent distribution. We trace this imbalance to three sources of heterogeneity: frequency bias, intrinsic dimensionality, and condition-aligned vs condition-independent uncertainty. To address it, we adapt a focal regression objective for flow matching that upweights large-error VAE dimensions, better balancing optimization across the ViT and VAE components. On ImageNet, this yields up to $10.57$ gFID gain over naive MSE loss without classifier-free guidance. Twins also performs competitively on multimodal understanding benchmarks and improves reconstruction fidelity, narrowing the gap between understanding- and generation-oriented representations.","absKo":"Unified multimodal model은 multimodal understanding과 image generation을 모두 지원하는 shared visual token space를 목표로 한다. Discrete method는 shared codebook을 통해 interface를 통합하는 반면, continuous pipeline은 종종 understanding을 위한 semantic feature(예: ViT)와 synthesis를 위한 low-level latent(예: VAE)라는 서로 다른 두 표현에 의존하여 latent space 불일치를 초래한다. 우리는 같은 token grid 위에서 ViT와 VAE feature를 channel-wise로 concatenate하여 sequence length는 변하지 않고 attention cost도 증가하지 않는 unified continuous token space, Twins를 제안한다. 그러나 Twins를 Diffusion Transformer로 joint modeling하면 심각한 \\textit{optimization imbalance}가 드러난다. 즉, model은 ViT component는 잘 맞추지만 VAE latent distribution을 맞추는 데는 어려움을 겪는다. 우리는 이 불균형의 원인을 frequency bias, intrinsic dimensionality, 그리고 condition-aligned vs condition-independent uncertainty라는 세 가지 이질성에 있다고 분석한다. 이를 해결하기 위해, large-error VAE dimension의 가중치를 높이는 focal regression objective를 flow matching에 맞게 조정하여 ViT와 VAE component 전반의 optimization 균형을 더 잘 맞춘다. ImageNet에서 이는 classifier-free guidance 없이 naive MSE loss 대비 최대 $10.57$ gFID 향상을 가져온다. Twins는 multimodal understanding benchmark에서도 경쟁력 있는 성능을 보이며 reconstruction fidelity를 향상시켜, understanding-oriented representation과 generation-oriented representation 사이의 간극을 좁힌다."},{"id":"61672","en":"Trajectory-Aware Spiking DiTs Conversion via Membrane Potential Error-Feedback","ko":"Membrane Potential Error-Feedback을 통한 Trajectory-Aware Spiking DiTs 변환","authors":"Haoran Fang, Jinjie Fang, Tianxing Man, Wanli Shi, Xingchen Li, Bin Gu","pos":"#2509","link":"https://openreview.net/forum?id=nsd26wlIGP","abs":"Diffusion Transformers (DiTs) have achieved state-of-the-art generative performance, yet their iterative denoising process remains computationally expensive and energy-intensive. Spiking Neural Networks (SNNs) offer a promising neuromorphic alternative for energy efficiency; however, the non-differentiable nature of spiking neurons makes direct training difficult, positioning ANN-to-SNN conversion as a more practical, training-free solution. In this paper, we identify a critical challenge unique to converting DiTs: standard fixed-scale spiking neurons fail to accommodate the highly dynamic activation ranges inherent across denoising steps. This mismatch leads to cumulative errors that significantly degrade generation fidelity. To resolve this, we propose a novel conversion framework featuring Multi-Threshold (MT) neurons and a Membrane Potential Error-Feedback (MPEF) mechanism. MT neurons expand the expressive capacity of discrete spikes by employing a multi-level firing strategy. Concurrently, MPEF exploits the temporal correlation between successive denoising steps to recycle residual membrane potential, effectively compensating for information loss and mitigating distribution shifts without retraining. Extensive experiments on ImageNet demonstrate that our framework achieves competitive generative quality with superior energy efficiency, establishing a new performance benchmark for spiking Diffusion Transformers.
","absKo":"Diffusion Transformers (DiTs)는 state-of-the-art generative performance를 달성했지만, iterative denoising process는 여전히 계산 비용이 크고 에너지 소모가 많다. Spiking Neural Networks (SNNs)는 에너지 효율 측면에서 유망한 neuromorphic 대안이지만, spiking neuron의 비미분 가능성 때문에 직접 학습이 어렵고, 그 결과 ANN-to-SNN conversion이 더 실용적인 training-free solution으로 자리한다. 본 논문에서는 DiT 변환에 고유한 핵심 난제를 식별한다. 즉, 표준 fixed-scale spiking neuron은 denoising step 전반에 내재된 매우 동적인 activation range를 수용하지 못한다. 이러한 불일치는 누적 오차를 유발하여 generation fidelity를 크게 저하시킨다. 이를 해결하기 위해, 우리는 Multi-Threshold (MT) neuron과 Membrane Potential Error-Feedback (MPEF) 메커니즘을 특징으로 하는 새로운 conversion framework를 제안한다. MT neuron은 다단계 firing strategy를 사용함으로써 discrete spike의 표현 용량을 확장한다. 동시에 MPEF는 연속된 denoising step 사이의 temporal correlation을 활용해 residual membrane potential을 재활용함으로써, retraining 없이 정보 손실을 효과적으로 보상하고 distribution shift를 완화한다. ImageNet에서의 광범위한 실험은 우리의 framework가 우수한 에너지 효율과 함께 경쟁력 있는 generative quality를 달성함을 보여주며, spiking Diffusion Transformer를 위한 새로운 성능 기준을 확립한다.
"},{"id":"61815","en":"Toward Identifiable Sparse Autoencoders","ko":"식별 가능한 Sparse Autoencoder를 향하여","authors":"Walter Nelson, Theofanis Karaletsos, Francesco Locatello","pos":"#2510","link":"https://openreview.net/forum?id=miLK9YcxtA","abs":"Recently, sparse autoencoders (SAEs) have emerged as an attractive tool for interpreting and interacting with representations in practical neural networks. While it is common empirical folklore, we also show theoretically that SAEs are highly unstable: different training runs are likely to produce different concept dictionaries and sparse codes. We characterize the model characteristics that get in the way of the stability of real-world SAEs, and address each of these problems through minimal changes to the architecture and training procedure. Together, these changes yield iSAE, a variant of the standard TopK SAE with lower reconstruction error and improved stability. We explain this improvement theoretically by connecting SAEs with traditional dictionary learning approaches, and show that the dictionaries learned in practice satisfy an approximate restricted isometry condition, rendering the corresponding sparse codes in those models near-identifiable.
","absKo":"최근 sparse autoencoders(SAEs)는 실용적인 neural network의 representation을 해석하고 상호작용하는 데 유용한 도구로 부상했다. 이는 경험적으로 널리 알려진 사실이지만, 우리는 이론적으로도 SAEs가 매우 불안정하다는 점을 보인다. 서로 다른 training run은 서로 다른 concept dictionary와 sparse code를 만들어낼 가능성이 높다. 우리는 실제 SAEs의 안정성을 저해하는 model characteristics를 규명하고, architecture와 training procedure에 대한 최소한의 변경으로 이러한 각 문제를 해결한다. 이 변경들을 함께 적용하면 표준 TopK SAE의 변형인 iSAE가 도출되며, 이는 더 낮은 reconstruction error와 더 향상된 stability를 갖는다. 우리는 SAEs를 전통적인 dictionary learning 접근과 연결함으로써 이러한 개선을 이론적으로 설명하고, 실제로 학습된 dictionary가 근사적인 restricted isometry condition을 만족하여 해당 모델의 sparse code가 거의 식별 가능하다는 것을 보인다.
"},{"id":"65727","en":"SemanticNVS: Improving Semantic Scene Understanding in Generative Novel View Synthesis","ko":"SemanticNVS: 생성적 신규 시점 합성에서의 시맨틱 장면 이해 향상","authors":"Xinya Chen, Christopher Wewer, Jiahao Xie, Xinting Hu, Jan Eric Lenssen","pos":"#2513","link":"https://openreview.net/forum?id=AkzVoVkWPd","abs":"We present SemanticNVS, a camera-conditioned multi-view diffusion model for novel view synthesis (NVS), which improves generation quality and consistency by integrating pre-trained semantic feature extractors. Existing NVS methods perform well for views near the input view, however, they tend to generate semantically implausible and distorted images under long-range camera motion, revealing severe degradation. We speculate that this degradation is due to current models failing to fully understand their conditioning or intermediate generated scene content. Here, we propose to integrate pre-trained semantic feature extractors to incorporate stronger scene semantics as conditioning to achieve high-quality generation even at distant viewpoints. We investigate two different strategies, (1) warped semantic features and (2) an alternating scheme of understanding and generation at each denoising step. Experimental results on multiple datasets demonstrate the clear qualitative and quantitative (4.69%-15.26% in FID) improvement over state-of-the-art alternatives. Our codebase and trained models will be released upon acceptance of the paper.
","absKo":"SemanticNVS를 소개합니다. 이는 사전 학습된 semantic feature extractor를 통합하여 생성 품질과 일관성을 향상시키는, camera-conditioned multi-view diffusion model 기반의 novel view synthesis(NVS) 모델입니다. 기존 NVS 방법은 입력 view에 가까운 시점에서는 좋은 성능을 보이지만, 장거리 camera motion 하에서는 의미적으로 그럴듯하지 않고 왜곡된 이미지를 생성하는 경향이 있으며, 이는 심각한 성능 저하를 드러냅니다. 우리는 이러한 저하가 현재 모델이 conditioning 정보나 중간에 생성되는 scene content를 충분히 이해하지 못하기 때문이라고 추측합니다. 이에 우리는 더 강한 scene semantics를 conditioning으로 반영하기 위해 사전 학습된 semantic feature extractor를 통합하여, 먼 시점에서도 고품질 생성을 달성하는 방법을 제안합니다. 우리는 두 가지 서로 다른 전략, 즉 (1) warped semantic features와 (2) 각 denoising step마다 이해와 생성을 번갈아 수행하는 scheme을 조사합니다. 여러 데이터셋에서의 실험 결과는 state-of-the-art 대안들에 비해 명확한 정성적, 정량적(FID 기준 4.69%-15.26%) 향상을 보여줍니다. 우리의 codebase와 학습된 model은 논문 채택 시 공개할 예정입니다.
"},{"id":"60831","en":"GuidedBridge: Training-freely Improving Bridge Models with Prior Guidance","ko":"GuidedBridge: Prior Guidance로 학습 없이 Bridge Model 개선","authors":"Zehua Chen, Yucheng Yang, Binjie Yuan, Kaiwen Zheng, Jun Liu, Jun Zhu","pos":"#2600","link":"https://openreview.net/forum?id=wFLc5L23QL","abs":"Guidance methods, e.g., classifier-free guidance (CFG) and auto-guidance (AG), have distinctively improved noise-to-data diffusion generation results. Recently, bridge models have been proposed, which present a data-to-data sampling process to exploit instructive information from clean prior representation, showing advantages on the tasks such as image-to-image translation. In this work, we design a custom guidance method for bridge models, named prior guidance (PG). Different from highlighting condition alignment (CFG) or score accuracy (AG), we training-freely construct an additional weak prior for the pre-trained bridge models, and extrapolate the estimation results to further encourage prior exploitation. Then, we analyze the underlying mechanism of prior exploitation in bridge process and design frequency-modulated prior guidance (FMPG), which tailors the guidance scale to low- and high-frequency bands coherent with bridge generative dynamics. Finally, considering the challenge of bridge models on image in-painting, we develop a cascaded guidance framework, CFG-FMPG, that first generates a coarse prior under global semantic condition and then refines it with FMPG, naturally fulfilling their complementary advantages along sampling trajectory. Experiments conducted on strong pre-trained bridge models, DDBM and DBIM, valid the consistent improvement achieved by our training-free design.
","absKo":"Guidance methods, 예를 들어 classifier-free guidance(CFG)와 auto-guidance(AG)는 noise-to-data diffusion generation 결과를 뚜렷하게 향상시켜 왔다. 최근에는 bridge models가 제안되었는데, 이는 clean prior representation의 instructive information을 활용하기 위한 data-to-data sampling process를 제시하며, image-to-image translation과 같은 과제에서 장점을 보인다. 본 연구에서는 bridge models를 위한 맞춤형 guidance method인 prior guidance(PG)를 설계한다. condition alignment(CFG)나 score accuracy(AG)를 강조하는 것과 달리, 우리는 training 없이 pre-trained bridge model에 대한 추가적인 weak prior를 구성하고, 추정 결과를 extrapolate하여 prior exploitation을 더욱 촉진한다. 이어서 bridge process에서 prior exploitation의 근본 메커니즘을 분석하고, bridge generative dynamics와 일관되도록 guidance scale을 low-frequency band와 high-frequency band에 맞추는 frequency-modulated prior guidance(FMPG)를 설계한다. 마지막으로, image in-painting에서 bridge model이 지니는 어려움을 고려하여, 먼저 global semantic condition 하에서 coarse prior를 생성한 뒤 FMPG로 이를 정교화하는 cascaded guidance framework인 CFG-FMPG를 개발한다. 이는 sampling trajectory 전반에 걸쳐 두 방법의 상보적 장점을 자연스럽게 충족한다. 강력한 pre-trained bridge model인 DDBM과 DBIM에서 수행한 실험은 우리의 training-free design이 일관된 성능 향상을 달성함을 입증한다.
"},{"id":"64541","en":"RePack then Refine: Efficient Diffusion Transformers with Vision Foundation Models","ko":"RePack 후 Refine: 비전 파운데이션 모델을 이용한 효율적 Diffusion Transformer","authors":"Guanfang Dong, Luke Schultz, Negar Hassanpour, Chao Gao","pos":"#2608","link":"https://openreview.net/forum?id=MSQq78w3JN","abs":"Semantic-rich features from Vision Foundation Models (VFMs) have been leveraged to enhance Latent Diffusion Models (LDMs). However, raw VFM features are typically high-dimensional and redundant, increasing the difficulty of learning and reducing training efficiency for Diffusion Transformers (DiTs). In this paper, we propose Repack then Refine, a three-stage framework that brings the semantic-rich VFM features to DiT while further accelerating learning efficiency. Specifically, the RePack module projects the high-dimensional features onto a compact, low-dimensional manifold. This filters out the redundancy while preserving essential structural information. A standard DiT is then trained for generative modeling on this highly compressed latent space. Finally, to restore the high-frequency details lost due to the compression in RePack, we propose a Latent-Guided Refiner, which is trained lastly for enhancing the image details. On ImageNet-1K, RePack-DiT-XL/1 achieves an FID of 1.82 in only 64 training epochs. With the Refiner module, performance further improves to an FID of 1.65, significantly surpassing latest LDMs in terms of convergence efficiency. Our results demonstrate that packing VFM features, followed by targeted refinement, is a highly effective strategy for balancing generative fidelity with training efficiency.
","absKo":"Vision Foundation Models (VFM)의 semantic-rich feature는 Latent Diffusion Model (LDM)을 향상시키는 데 활용되어 왔다. 그러나 원시 VFM feature는 일반적으로 고차원이고 중복이 많아, Diffusion Transformer (DiT)의 학습 난도를 높이고 training efficiency를 저하시킨다. 본 논문에서는 semantic-rich VFM feature를 DiT에 전달하면서 학습 효율을 더욱 가속하는 3단계 프레임워크인 Repack then Refine을 제안한다. 구체적으로, RePack 모듈은 고차원 feature를 압축된 저차원 manifold로 투영한다. 이를 통해 본질적인 구조 정보를 보존하면서 중복을 걸러낸다. 이후 표준 DiT를 이 고도로 압축된 latent space에서 generative modeling을 위해 학습한다. 마지막으로, RePack의 compression으로 인해 손실된 high-frequency detail을 복원하기 위해, 이미지 detail 향상을 위해 최종 단계에서 학습되는 Latent-Guided Refiner를 제안한다. ImageNet-1K에서 RePack-DiT-XL/1은 단 64 training epoch 만에 FID 1.82를 달성한다. Refiner 모듈을 더하면 성능은 FID 1.65로 추가 향상되어, convergence efficiency 측면에서 최신 LDM을 크게 능가한다. 우리의 결과는 VFM feature를 packing한 뒤 targeted refinement를 수행하는 것이 generative fidelity와 training efficiency의 균형을 맞추는 매우 효과적인 전략임을 보여준다.
"},{"id":"61308","en":"Rethinking 3D Shape Generation: Diffusion over Superquadrics","ko":"3D 형상 생성 재고: Superquadric 위의 Diffusion","authors":"Zhiyang Liu, Wanze Li, Yuwei Wu, Chengran Yuan, JIAWEI SUN, Rui Zheng, Marcelo Ang Jr","pos":"#2609","link":"https://openreview.net/forum?id=rVcYqFCgY9","abs":"Diffusion models have advanced 3D shape generation, yet most methods still denoise in high-cardinality spaces (e.g., voxel/SDF grids, meshes, or point clouds), which is computationally and memory intensive and makes it difficult to scale in terms of both higher resolution and stronger controllability. We rethink the diffusion representation and propose to move diffusion from dense geometry to compact geometric primitives, representing each shape as a small set of superquadrics. Instead of operating on thousands to millions of geometric representation values, we leverage 7KB superquadric parameters (pose, size, and shape), drastically reducing diffusion-state dimensionality and per-step compute/memory. Our diffusion-over-superquadrics improves scalability by supporting broader capabilities (e.g., resolution-free point-cloud decoding, part-level editing, and constraint-based design) and achieving competitive surface-fidelity and distributional performance on standard benchmarks after point-cloud decoding, while enabling efficient generation within 0.6s per shape for most conditions.
","absKo":"Diffusion model은 3D shape generation을 발전시켜 왔지만, 대부분의 방법은 여전히 high-cardinality space(예: voxel/SDF grid, mesh, point cloud)에서 denoising을 수행하므로 계산 및 메모리 집약적이며, 더 높은 resolution과 더 강한 controllability 측면에서 확장하기 어렵다. 우리는 diffusion representation을 재고하여, diffusion을 dense geometry가 아니라 compact geometric primitive로 옮기자고 제안한다. 각 shape를 소수의 superquadric 집합으로 표현하는 것이다. 수천에서 수백만 개의 geometric representation value를 다루는 대신, 우리는 7KB의 superquadric parameter(pose, size, shape)를 활용하여 diffusion state의 차원과 step당 계산/메모리를 획기적으로 줄인다. 우리의 diffusion-over-superquadrics는 더 넓은 기능을 지원함으로써 확장성을 향상시킨다(예: resolution-free point-cloud decoding, part-level editing, constraint-based design). 또한 point-cloud decoding 후 표준 benchmark에서 경쟁력 있는 surface-fidelity와 distributional performance를 달성하며, 대부분의 조건에서 shape당 0.6초 이내의 효율적인 생성을 가능하게 한다.
"},{"id":"65475","en":"Revisiting Spectral Representations in Generative Diffusion Models","ko":"생성적 Diffusion Model에서 스펙트럼 표현 재고","authors":"Yuehao Wang, Peihao Wang, Hanwen Jiang, Ziyi Yang, Qixing Huang, Zhangyang “Atlas” Wang","pos":"#2610","link":"https://openreview.net/forum?id=DG4wLaRnAN","abs":"Diffusion models have shown remarkable performance on diverse generation tasks. Recent work finds that imposing representation alignment on the hidden states of diffusion networks can both facilitate training convergence and enhance sampling quality, yet the mechanism driving this synergy remains insufficiently understood. In this paper, we investigate the connection between self-supervised spectral representation learning and diffusion generative models through a shared perspective on perturbation kernels. On the diffusion side, samples (e.g., images, videos) are produced by reversing a stochastic noise-injection process specified by Gaussian kernels; on the spectral representation side, spectral embeddings emerge from contrasting positive and negative relations induced by random perturbation kernels. Motivated by this, we propose a self-supervised spectral representation alignment method to facilitate diffusion model training. In addition, we clarify how joint spectral learning can benefit diffusion training from a geometric perspective. Furthermore, we find that the optimization of the spectral alignment objective is in an equivalent form of diffusion score distillation in the representation space. Building on these findings, we integrate a spectral regularizer into diffusion training objectives to improve the performance of diffusion models on multiple datasets. Experiments across images and 3D point clouds show consistent gains in generation quality.
","absKo":"Diffusion model은 다양한 생성 작업에서 뛰어난 성능을 보여왔다. 최근 연구는 diffusion network의 hidden state에 representation alignment를 부과하면 학습 수렴을 촉진하고 sampling quality를 향상시킬 수 있음을 발견했지만, 이러한 시너지를 이끄는 메커니즘은 아직 충분히 이해되지 않았다. 본 논문에서는 perturbation kernel에 대한 공유된 관점을 통해 self-supervised spectral representation learning과 diffusion generative model의 연결을 조사한다. diffusion 측면에서 sample(예: 이미지, 비디오)은 Gaussian kernel로 지정된 stochastic noise-injection process를 역전시켜 생성된다. spectral representation 측면에서는 spectral embedding이 random perturbation kernel이 유도한 positive relation과 negative relation을 대조함으로써 나타난다. 이에 착안해 우리는 diffusion model 학습을 촉진하는 self-supervised spectral representation alignment 방법을 제안한다. 또한 joint spectral learning이 기하학적 관점에서 diffusion training에 어떻게 이득이 되는지 명확히 설명한다. 더 나아가 spectral alignment objective의 최적화가 representation space에서 diffusion score distillation의 동등한 형태임을 발견한다. 이러한 발견을 바탕으로 우리는 spectral regularizer를 diffusion training objective에 통합하여 여러 dataset에서 diffusion model의 성능을 향상시킨다. 이미지와 3D point cloud 전반의 실험은 생성 품질의 일관된 향상을 보여준다.
"},{"id":"61821","en":"SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation","ko":"SGMD: Few-Step Video Diffusion Distillation을 위한 Score Gradient Matching Distillation","authors":"Zhuguanyu Wu, Ruihao Gong, Yang Yong, Yushi Huang, Xiangyu Fan, Lei Yang, Dahua Lin, Xianglong Liu","pos":"#2613","link":"https://openreview.net/forum?id=melQSx2bVT","abs":"Distribution Matching Distillation (DMD) is a widely used paradigm for accelerating inference in few-step video diffusion models. However, DMD-style training faces a structural bottleneck: the student-side auxiliary score network (the fake score) must closely track a continuously evolving generator. Updating the fake score too frequently increases training cost and can over-emphasize inner-loop tracking, while infrequent updates lead to tracking lag that destabilizes training and degrades generation consistency. To address this issue, we propose \\textbf{Score Gradient Matching Distillation (SGMD)}. SGMD adopts a fake-score perspective by directly optimizing the fake score toward the teacher, while using teacher stop-gradient Fisher as a stable distribution-matching objective. We provide a gradient analysis that motivates this objective choice under ideal tracking. Building on this, SGMD introduces a pair of dual potentials: negative-residual (NR) for outer-loop correction and residual-contraction (RC) for inner-loop tracking. Empirically, compared to DMD, SGMD achieves an approximately $\\sim 3\\times$ training speedup and substantially improves motion dynamics for 4-step distilled models while preserving temporal consistency.","absKo":"Distribution Matching Distillation(DMD)은 few-step video diffusion model의 inference를 가속하기 위해 널리 사용되는 paradigm이다. 그러나 DMD 스타일의 training은 구조적 병목을 갖는다. student 측 auxiliary score network(fake score)는 계속 진화하는 generator를 밀접하게 추적해야 한다. fake score를 너무 자주 업데이트하면 training cost가 증가하고 inner-loop tracking에 과도하게 치중하게 되며, 반대로 업데이트가 드물면 tracking lag가 발생해 training을 불안정하게 만들고 generation consistency를 저하시킨다. 이 문제를 해결하기 위해 우리는 \\textbf{Score Gradient Matching Distillation(SGMD)}를 제안한다. SGMD는 teacher를 향해 fake score를 직접 최적화하는 fake-score 관점을 채택하는 한편, teacher stop-gradient Fisher를 안정적인 distribution-matching objective로 사용한다. 우리는 ideal tracking 하에서 이 objective 선택을 정당화하는 gradient analysis를 제시한다. 이를 바탕으로 SGMD는 outer-loop correction을 위한 negative-residual(NR)과 inner-loop tracking을 위한 residual-contraction(RC)이라는 한 쌍의 dual potential을 도입한다. 실험적으로 DMD와 비교했을 때, SGMD는 약 3배의 training speedup을 달성하고 시간적 일관성을 유지하면서 4-step distilled model의 motion dynamics를 크게 개선한다."},{"id":"62955","en":"Scalable GANs with Transformers","ko":"Transformers 기반 Scalable GANs","authors":"Sangeek Hyun, MinKyu Lee, Jae-Pil Heo","pos":"#2614","link":"https://openreview.net/forum?id=bTfHzEx9Xk","abs":"Scalability has driven recent advances in generative modeling, yet it remains underexplored for adversarial learning. We study the scaling behavior of Generative Adversarial Networks through two design choices: training in a compact Variational Autoencoder latent space and using purely transformer-based generators and discriminators. While this setup is efficient and scales well with compute, naively scaling exposes failure modes; underutilization of early layers in the generator and increasing optimization instability. We address these issues with lightweight intermediate supervision and width-aware learning-rate adjustment. Our Generative Adversarial Transformers (GAT) train reliably from small (S) to extra-large (XL) model sizes, and GAT-XL model achieves state-of-the-art single-step class-conditional generation on ImageNet at 256×256 resolution (FID of 2.18) in 60 epochs, requiring 4x fewer epochs than strong baselines.
","absKo":"생성 모델링에서 scalability는 최근의 진전을 이끌어 왔지만, adversarial learning에서는 여전히 충분히 탐구되지 않았다. 우리는 두 가지 설계 선택을 통해 Generative Adversarial Networks의 scaling behavior를 연구한다: 압축된 Variational Autoencoder latent space에서의 학습과, 순수하게 transformer 기반인 generator 및 discriminator의 사용이다. 이 설정은 효율적이고 compute에 따라 잘 scale되지만, 단순히 scale만 키우면 failure mode가 드러난다. generator의 초기 layer가 충분히 활용되지 않는 문제와 optimization instability의 증가가 그것이다. 우리는 lightweight intermediate supervision과 width-aware learning-rate adjustment로 이 문제들을 해결한다. 우리의 Generative Adversarial Transformers (GAT)는 small (S)부터 extra-large (XL) 모델 크기까지 안정적으로 학습되며, GAT-XL은 ImageNet 256×256 resolution에서 single-step class-conditional generation의 state-of-the-art를 달성한다(FID 2.18). 이는 60 epochs 만에 이뤄진 것으로, 강력한 baseline보다 4배 적은 epoch이 필요하다.
"},{"id":"64706","en":"Geometry-Aware Tabular Diffusion","ko":"기하 인식 Tabular Diffusion","authors":"David Zagardo","pos":"#2701","link":"https://openreview.net/forum?id=Kg1UUrDIBG","abs":"Tabular data synthesis is critical for privacy-preserving data sharing and augmentation, yet existing diffusion models rely on implicit attention mechanisms to capture inter-column relationships. We introduce Geometry-Aware Tabular Diffusion, which augments diffusion models with explicit pairwise geometric features - angles and lengths - computed directly from column value differences. Our method achieves state-of-the-art performance on standard benchmarks while using 3.5 times fewer parameters on average (up to 25 times for classification tasks) than transformer-based approaches. On ten datasets, we win on 8/10 for Shape (marginal fidelity) with 27% error reduction, 7/10 for Trend (correlation preservation) with 20% error reduction, and 9/10 for downstream utility (F1/RMSE). These results demonstrate that explicit relational structure can substitute for model capacity, enabling state-of-the-art tabular synthesis with simple, efficient architectures.
","absKo":"Tabular data synthesis는 privacy-preserving data sharing과 augmentation에 중요하지만, 기존 diffusion model은 column 간 관계를 포착하기 위해 implicit attention mechanism에 의존한다. 우리는 column value difference로부터 직접 계산한 angle과 length라는 explicit pairwise geometric feature를 diffusion model에 추가하는 Geometry-Aware Tabular Diffusion을 소개한다. 제안한 방법은 standard benchmark에서 state-of-the-art 성능을 달성하면서, transformer-based approach보다 평균 3.5배 적은 parameter를 사용하며(classification task에서는 최대 25배 적음) 동작한다. 10개 데이터셋에서 Shape(marginal fidelity)에서는 8/10을 차지하며 error를 27% 줄였고, Trend(correlation preservation)에서는 7/10을 차지하며 error를 20% 줄였으며, downstream utility(F1/RMSE)에서는 9/10을 차지했다. 이러한 결과는 explicit relational structure가 model capacity를 대체할 수 있음을 보여주며, 단순하고 효율적인 architecture로도 state-of-the-art tabular synthesis를 가능하게 한다.
"},{"id":"64142","en":"Geometric Decoupling: Diagnosing the Structural Instability of Latent","ko":"기하학적 분리: 잠재 표현의 구조적 불안정성 진단","authors":"Yuanbang Liang, Zhengwen Chen, Yu-Kun Lai","pos":"#2702","link":"https://openreview.net/forum?id=QXgHl2nTEX","abs":"Latent Diffusion Models (LDMs) achieve high-fidelity synthesis but suffer from latent space brittleness, causing discontinuous semantic jumps during editing. We introduce a Riemannian framework to diagnose this instability by analyzing the generative Jacobian, decomposing geometry into Local Scaling (capacity) and Local Complexity (curvature). Our study uncovers a **Geometric Decoupling\"**: while curvature in normal generation functionally encodes image detail, OOD generation exhibits a functional decoupling where extreme curvature is wasted on unstable semantic boundaries rather than perceptible details. This geometric misallocation identifiesGeometric Hotspots\" as the structural root of instability, providing a robust intrinsic metric for diagnosing generative reliability.
Latent Diffusion Model(LDM)은 높은 fidelity의 synthesis를 달성하지만, latent space의 brittleness로 인해 editing 도중 의미적 점프가 불연속적으로 발생한다. 우리는 generative Jacobian을 분석하여 이 불안정성을 진단하는 Riemannian framework를 제안하며, geometry를 Local Scaling(capacity)과 Local Complexity(curvature)로 분해한다. 우리의 연구는 **Geometric Decoupling\"**을 밝혀낸다. 정상적인 generation에서는 curvature가 기능적으로 이미지 세부 정보를 인코딩하는 반면, OOD generation에서는 극단적 curvature가 눈에 보이는 세부 정보가 아니라 불안정한 semantic boundary에 낭비되는 기능적 decoupling이 나타난다. 이러한 geometric misallocation은 불안정성의 구조적 근원으로서Geometric Hotspots\"를 식별하며, generative reliability를 진단하기 위한 강건한 intrinsic metric을 제공한다.
Generative Image Steganography (GIS) embeds complex secrets within stego-images that are indistinguishable from the stochastic synthesis process itself. It achieves this by exploiting the reversible probability flow between Gaussian noise and the natural image manifold. However, existing steganography faces a key-dependency paradox: precise secret extraction usually requires an external private key or random seed to synchronize the denoising path. In this paper, we present KFStego, a training-free framework substituting cryptographic secrecy with structural redundancy for key-free, high-resolution secure distribution. Our dual-guidance mechanism utilizes structural latent guidance to project secrets into a bipartite manifold via downsampling and halftoning, yielding self-synchronizing shares. While measurement posterior sampling leverages these shares as discrete invariants to steer a differentiable restoration. By backpropagating through a differentiable measurement surrogate, KFStego reconstructs high-fidelity continuous-tone details from sparse binary observations, mitigating fidelity loss from inversion drift. KFStego offers an endogenous secure image distribution paradigm by connecting discrete structural invariants with high-fidelity generative reconstruction.
","absKo":"Generative Image Steganography(GIS)는 stochastic synthesis process 그 자체와 구별되지 않는 stego-images 내부에 복잡한 비밀 정보를 삽입한다. 이는 Gaussian noise와 자연 이미지 manifold 사이의 reversible probability flow를 활용하여 달성된다. 그러나 기존 steganography에는 key-dependency paradox가 존재한다. 즉, 정밀한 비밀 추출에는 보통 denoising path를 동기화하기 위한 외부 private key나 random seed가 필요하다. 본 논문에서는 암호학적 기밀성을 구조적 redundancy로 대체하여 key-free, high-resolution secure distribution을 가능하게 하는 training-free framework인 KFStego를 제안한다. 우리의 dual-guidance mechanism은 structural latent guidance를 사용해 downsampling과 halftoning을 통해 비밀을 bipartite manifold로 투사하여 self-synchronizing share를 생성한다. 한편 measurement posterior sampling은 이러한 share를 discrete invariant로 활용해 differentiable restoration을 유도한다. Differentiable measurement surrogate를 통해 backpropagation함으로써, KFStego는 inversion drift로 인한 fidelity 손실을 완화하면서 sparse binary observation으로부터 고충실도 continuous-tone 세부 정보를 복원한다. KFStego는 discrete structural invariant와 고충실도 generative reconstruction을 연결함으로써 endogenous secure image distribution paradigm을 제시한다.
"},{"id":"64476","en":"GEM: Geometric Erasure by Contrastive Velocity Matching in Rectified Flows","ko":"GEM: Rectified Flow에서 대조적 속도 매칭을 통한 기하학적 삭제","authors":"Jonas Henry Grebe, Tobias Braun, Anna Rohrbach, Marcus Rohrbach","pos":"#3111","link":"https://openreview.net/forum?id=NBMCwxTRSA","abs":"While the rapid adoption of multimodal generative models offers immense potential, it has also increased the risks of harmful content synthesis, deepfakes, and copyright infringements. To address these challenges, concept erasure has emerged as a prospective safeguard. However, as the field gradually transitions from U-Net-based diffusion models to Rectified Flow Transformers, erasure research has struggled to keep pace. In this work, we introduce GEM, a simple but highly effective erasure framework for Rectified Flow models. As part of our contribution, we establish a principled bridge between trajectory-based unlearning grounded in Generative Flow Networks and classic teacher-guided erasure: we translate trajectory-based signals into a teacher-guided flow-matching setup that unifies the strengths of both paradigms. Concretely, a teacher provides complementary attraction and repulsion signals that we combine into a single geometric guidance objective, yielding targeted suppression of unwanted concepts while preserving benign generation.
","absKo":"multimodal generative model의 빠른 확산은 큰 잠재력을 제공하지만, harmful content 합성, deepfake, copyright 침해의 위험도 함께 증가시켰다. 이러한 도전을 해결하기 위해 concept erasure가 유망한 safeguard로 부상했다. 그러나 이 분야가 U-Net 기반 diffusion model에서 Rectified Flow Transformer로 점차 이동하면서, erasure 연구는 그 속도를 따라가지 못했다. 본 연구에서는 Rectified Flow 모델을 위한 간단하지만 매우 효과적인 erasure framework인 GEM을 소개한다. 우리의 기여의 일부로, 우리는 Generative Flow Network에 기반한 trajectory-based unlearning과 고전적인 teacher-guided erasure 사이에 원칙적인 bridge를 구축한다. 즉, trajectory-based signal을 teacher-guided flow-matching setting으로 변환하여 두 패러다임의 강점을 통합한다. 구체적으로, teacher가 상호 보완적인 attraction 및 repulsion signal을 제공하고, 우리는 이를 단일 geometric guidance objective로 결합하여, benign generation을 보존하면서 unwanted concept를 목표 지향적으로 억제한다.
"},{"id":"61613","en":"Normalizing Flows with Iterative Denoising","ko":"Iterative Denoising을 활용한 Normalizing Flows","authors":"Tianrong Chen, Jiatao Gu, David Berthelot, Joshua M Susskind, Shuangfei Zhai","pos":"#4113","link":"https://openreview.net/forum?id=oUVzFuemEn","abs":"Normalizing Flows (NFs) are a classical family of likelihood based methods that have received revived attention. Recent efforts such as TARFlow have shown that NFs are capable to achieving promising performance on image modeling tasks, making them promising alternatives to other methods such as diffusion models. In this work, we further advance the state of Normalizing Flow generative models by introducing iterative TARFlow (iTARFlow). Unlike diffusion models, iTARFlow maintains a fully end-to-end, likelihood-based objective during training. During sampling, it performs autoregressive generation followed by an iterative denoising procedure inspired by diffusion-style methods. Through extensive experiments, We show that iTARFlow achieves competitive performance across ImageNet resolutions of 64, 128, and 256 pixels, demonstrating its potential as a strong generative model and advances the frontier of Normalizing Flows. In addition, we analyze the characteristic artifacts produced by iTARFlow, offering insights that may shed the light for future improvements.
","absKo":"Normalizing Flows(NFs)는 likelihood 기반 방법의 고전적인 계열로, 최근 다시 주목받고 있다. TARFlow와 같은 최근 연구는 NFs가 image modeling task에서 유망한 성능을 달성할 수 있음을 보여주었으며, diffusion model과 같은 다른 방법의 유력한 대안이 되고 있다. 본 연구에서는 iterative TARFlow(iTARFlow)를 도입하여 Normalizing Flow 생성 모델의 최신 수준을 한층 더 발전시킨다. diffusion model과 달리, iTARFlow는 학습 동안 완전한 end-to-end likelihood 기반 objective를 유지한다. 샘플링 시에는 autoregressive generation을 수행한 뒤, diffusion 스타일 방법에서 영감을 받은 반복적 denoising 절차를 적용한다. 광범위한 실험을 통해, 우리는 iTARFlow가 64, 128, 256 픽셀의 ImageNet 해상도 전반에서 경쟁력 있는 성능을 달성함을 보이며, 강력한 생성 모델로서의 잠재력과 Normalizing Flow의 최전선을 확장함을 입증한다. 또한 iTARFlow가 생성하는 특징적인 artifact를 분석하여, 향후 개선에 대한 통찰을 제공한다.
"},{"id":"63096","en":"Geodesic Flow Matching for Denoising High-Dimensional Structured Representations","ko":"고차원 구조화 표현의 노이즈 제거를 위한 측지선 Flow Matching","authors":"Karim Habashy, Chris Eliasmith","pos":"#1713","link":"https://openreview.net/forum?id=a9CuW1f0CT","abs":"Vector Symbolic Algebras (VSAs) enable robust neurosymbolic reasoning by encoding information into high-dimensional distributed representations. For continuous domains, Spatial Semantic Pointers (SSPs) extend this framework by mapping variables onto precise toroidal manifolds. While generative models offer a promising avenue for cleaning up (denoising) these representations, standard approaches like Flow Matching assume a flat Euclidean geometry. We demonstrate that this assumption fails for SSPs: Euclidean linear interpolants \"cut through\" the manifold's interior, destroying the phase and magnitude structure required for accurate decoding. To resolve this, we employ Geodesic Flow Matching, adapting Riemannian transport dynamics to strictly restrict the denoising flow to the SSP manifold. We validate this approach in a Spiking Neural SLAM system, showing that manifold-aware cleanup stabilizes path integration against drift. The method achieves a 72\\% reduction in tracking error and enables a 40\\% increase in neural efficiency compared to classical baselines.
","absKo":"Vector Symbolic Algebras (VSAs)는 정보를 고차원 distributed representation으로 인코딩함으로써 robust neurosymbolic reasoning을 가능하게 한다. continuous domain에서는 Spatial Semantic Pointers (SSPs)가 변수들을 정확한 toroidal manifold 위에 매핑함으로써 이 프레임워크를 확장한다. generative model은 이러한 representation을 정리(cleanup, denoising)하는 유망한 수단이지만, Flow Matching 같은 표준 접근은 평평한 Euclidean geometry를 가정한다. 우리는 이 가정이 SSP에는 성립하지 않음을 보인다. Euclidean linear interpolant는 manifold의 내부를 \"가로질러\" 지나가며, 정확한 decoding에 필요한 phase와 magnitude 구조를 파괴한다. 이를 해결하기 위해 우리는 Geodesic Flow Matching을 사용하여 Riemannian transport dynamics를 조정하고, denoising flow가 SSP manifold에 엄격히 제한되도록 한다. 우리는 이 접근을 Spiking Neural SLAM system에서 검증했으며, manifold-aware cleanup이 drift에 대한 path integration을 안정화함을 보였다. 이 방법은 tracking error를 72\\% 줄이고, classical baseline 대비 neural efficiency를 40\\% 향상시킨다.
"},{"id":"63041","en":"Watch Your Step: Information Injection in Diffusion Models via Shadow Timestep Embedding","ko":"발걸음을 주의하라: Shadow Timestep 임베딩을 통한 Diffusion 모델의 정보 주입","authors":"AN HUANG, Junggab Son, Zuobin Xiong","pos":"#2505","link":"https://openreview.net/forum?id=agDGdEJ983","abs":"Diffusion models have become the foundation of modern generative systems, with most research focusing primarily on improving generation efficiency and output quality. The timestep embedding component is a crucial part of the diffusion pipeline, which provides a temporal conditioning signal to the denoising network, enabling it to adapt its predictions across different noise levels throughout the process. Despite their potential to contain substantial information, timestep embeddings remain underexplored in current research, especially for security risks and reliable provenance. To fill this gap, we introduce Shadow Timestep Embedding (STE), a novel mechanism that investigates the underutilized temporal space for malicious information injection into diffusion models. In particular, when zooming in on the timestep embedding space, we find that different timesteps exhibit distinct representational capabilities that can encode side-channel information. Moreover, such encoded information can be utilized for attack and defense purposes through the scheduler interface. We present a theoretical analysis of timestep embeddings as position-encoding mappings and derive a mutual coherence evaluation that explains the separability of disjoint timestep intervals. Our findings reveal the diffusion model's timestep as a powerful side channel for carrying dedicated information, motivating new directions for adversarial generative modeling by understanding the temporal dimension.
","absKo":"Diffusion models는 현대 generative systems의 기반이 되었으며, 대부분의 연구는 주로 generation efficiency와 output quality 향상에 초점을 맞춰 왔다. timestep embedding component는 diffusion pipeline의 핵심 부분으로, denoising network에 temporal conditioning signal을 제공하여 process 전반의 다양한 noise level에 걸쳐 예측을 적응시킬 수 있게 한다. 상당한 정보를 담을 잠재력을 지니고 있음에도 불구하고, timestep embeddings는 현재 연구에서 특히 security risks와 reliable provenance 측면에서 충분히 탐구되지 않았다. 이를 메우기 위해 우리는 Shadow Timestep Embedding (STE)을 제안한다. 이는 diffusion models에 malicious information을 주입하기 위해 충분히 활용되지 않은 temporal space를 탐구하는 새로운 mechanism이다. 특히 timestep embedding space를 자세히 들여다보면, 서로 다른 timesteps가 side-channel information을 인코딩할 수 있는 서로 다른 representational capabilities를 보인다는 점을 발견했다. 나아가 이러한 encoded information은 scheduler interface를 통해 attack 및 defense 목적에 활용될 수 있다. 우리는 timestep embeddings를 position-encoding mappings로 보는 이론적 분석을 제시하고, 서로 분리된 timestep intervals의 separability를 설명하는 mutual coherence evaluation을 도출한다. 우리의 결과는 diffusion model의 timestep이 전용 information을 전달하는 강력한 side channel임을 드러내며, temporal dimension을 이해함으로써 adversarial generative modeling의 새로운 방향을 제시한다.
"},{"id":"65094","en":"Two Calm Ends and the Wild Middle: A Geometric Picture of Memorization in Diffusion Models","ko":"두 개의 잔잔한 끝과 거친 중간: Diffusion Model 암기 현상의 기하학적 그림","authors":"Nick Dodson, Xinyu Gao, Qingsong Wang, Yusu Wang, Zhengchao Wan","pos":"#2506","link":"https://openreview.net/forum?id=GpmvWQU9Zq","abs":"Diffusion models generate high-quality samples but can also memorize training data, raising serious privacy concerns. Understanding the mechanisms governing when memorization versus generalization occurs remains an active area of research. In particular, it is unclear where along the noise schedule memorization is induced, how data geometry influences it, and how phenomena at different noise scales interact. We introduce a geometric framework that partitions the noise schedule into three regimes based on the coverage properties of training data by Gaussian shells and the concentration behavior of the posterior, which we argue are two fundamental objects governing memorization and generalization in diffusion models. This perspective reveals that memorization risk is highly non-uniform across noise levels. We further identify a danger zone at medium noise levels where memorization is most pronounced. In contrast, both the small and large noise regimes resist memorization, but through fundamentally different mechanisms: small noise avoids memorization due to limited training coverage, while large noise exhibits low posterior concentration and admits a provably near linear Gaussian denoising behavior. For the medium noise regime, we identify geometric conditions through which we propose a geometry-informed targeted intervention that mitigates memorization.
","absKo":"Diffusion model은 고품질 sample을 생성하지만, 학습 데이터를 암기할 수도 있어 심각한 privacy concern을 야기한다. memorization과 generalization이 언제 발생하는지를 좌우하는 메커니즘을 이해하는 것은 여전히 활발한 연구 주제이다. 특히 noise schedule의 어느 지점에서 memorization이 유도되는지, data geometry가 그것에 어떻게 영향을 주는지, 그리고 서로 다른 noise scale에서의 현상이 어떻게 상호작용하는지는 분명하지 않다. 우리는 Gaussian shell에 의한 training data의 coverage property와 posterior의 concentration behavior를 기반으로 noise schedule을 세 개의 regime으로 분할하는 geometric framework를 제안한다. 우리는 이 두 객체가 diffusion model에서 memorization과 generalization을 지배하는 근본적인 대상이라고 주장한다. 이러한 관점은 memorization risk가 noise level 전반에 걸쳐 매우 비균일하다는 점을 드러낸다. 우리는 또한 medium noise level에서 memorization이 가장 두드러지는 danger zone을 식별한다. 반대로 small noise regime과 large noise regime은 모두 memorization에 강하지만, 그 메커니즘은 근본적으로 다르다. small noise는 제한된 training coverage 때문에 memorization을 피하고, large noise는 posterior concentration이 낮으며, 증명 가능한 거의 선형적인 Gaussian denoising behavior를 보인다. medium noise regime에 대해서는, memorization을 완화하는 geometry-informed targeted intervention을 제안할 수 있는 기하학적 조건을 식별한다.
"},{"id":"64566","en":"Triadic Dynamics Aware Diffusion Posterior Sampling for Inverse Problems: Optimizing Guidance and Stochasticity Schedules","ko":"역문제를 위한 Triadic Dynamics 인식 Diffusion Posterior Sampling: Guidance와 Stochasticity 스케줄 최적화","authors":"Junseo Bang, Dong Ju Mun, Hoigi Seo, Seongmin Hong, Se Young Chun","pos":"#2508","link":"https://openreview.net/forum?id=M8rkTsq2gZ","abs":"Generative posterior sampling using diffusion models has emerged as a dominant paradigm for solving inverse problems in imaging, which usually consists of three main components: data consistency (DC) guidance, classifier-free guidance (CFG) and stochasticity. While prior arts have focused on how to develop each or all components, less attention has given to how to schedule them, leading to heuristically fixed or partially adjusted suboptimal schedules. In this work, we argue that the interactions among all three components in terms of scheduling are crucial for significantly improved performance in solving inverse problems in imaging. Our analysis shows that aggressive CFG early in sampling conflict with DC guidance, while stochasticity brings the trajectory back to higher-probability regions. Based on these findings, we propose Triadic Dynamics Aware Posterior Sampling (TriPS), which reformulates posterior sampling as a time-varying control problem and optimizes schedules following a triadic trend of decreasing DC and stochasticity scales alongside increasing CFG scale. TriPS achieves this through two strategies: template-based search over functional priors for reliable baseline schedules, and Group Relative Policy Optimization (GRPO)-based reinforcement learning for more flexible temporal curves. Experiments demonstrate TriPS outperforms state-of-the-art baselines in data fidelity and perceptual realism.
","absKo":"diffusion model을 이용한 generative posterior sampling은 imaging의 inverse problem을 푸는 지배적인 패러다임으로 부상했으며, 일반적으로 data consistency(DC) guidance, classifier-free guidance(CFG), stochasticity의 세 가지 주요 구성 요소로 이루어진다. 기존 연구들은 각 구성 요소 또는 이들의 전부를 어떻게 개발할지에 집중해 왔지만, 이를 어떻게 스케줄링할지에는 상대적으로 덜 주목해 왔고, 그 결과 경험적으로 고정되거나 부분적으로만 조정된 최적이 아닌 schedule이 사용되었다. 본 연구에서는 스케줄링 관점에서 이 세 구성 요소 간 상호작용이 imaging inverse problem 해결 성능을 크게 향상시키는 데 결정적이라고 주장한다. 우리의 분석에 따르면, sampling 초기에 공격적인 CFG는 DC guidance와 충돌하는 반면, stochasticity는 trajectory를 더 높은 확률 영역으로 되돌려 놓는다. 이러한 발견을 바탕으로, 우리는 posterior sampling을 time-varying control problem으로 재정식화하고 DC와 stochasticity scale은 감소시키고 CFG scale은 증가시키는 triadic trend를 따르도록 schedule을 최적화하는 Triadic Dynamics Aware Posterior Sampling(TriPS)을 제안한다. TriPS는 두 가지 전략으로 이를 달성한다: 신뢰할 수 있는 baseline schedule을 위한 functional prior의 template-based search와, 더 유연한 temporal curve를 위한 Group Relative Policy Optimization(GRPO) 기반 reinforcement learning이다. 실험은 TriPS가 data fidelity와 perceptual realism 모두에서 state-of-the-art baseline을 능가함을 보여준다.
"},{"id":"60665","en":"Tail Annealing for Heavy-Tailed Flow Matching","ko":"Heavy-Tailed Flow Matching을 위한 Tail Annealing","authors":"Jean Pachebat","pos":"#2511","link":"https://openreview.net/forum?id=xrFVeviQNW","abs":"Standard generative models struggle with heavy-tailed data: Lipschitz architectures cannot produce power-law tails from Gaussian noise, and interpolating between heavy-tailed data and Gaussians is ill-posed. We propose a simple fix: apply the soft-log transform $\\phi(x) = \\mathrm{sign}(x) \\cdot \\log(1 + |x|)$ to data before training, then exponentiate samples after generation. This compresses heavy tails into a range where standard flow matching succeeds. The approach requires no tail parameter estimation, no heavy-tailed base distributions, and no architectural modifications. We provide theoretical intuition for why this works: the log-transform maps Pareto tails to exponentials, and the induced dynamics implement a form of tail annealing via power transformations. Experiments on synthetic benchmarks and real financial data show that this simple trick achieves competitive sample quality for heavy-tailed distributions ($\\nu \\leq 5$), with improved stability over specialized methods in moderate dimensions ($d = 50$).","absKo":"표준 generative model은 heavy-tailed data를 다루는 데 어려움을 겪는다. Lipschitz architecture는 Gaussian noise로부터 power-law tail을 생성할 수 없고, heavy-tailed data와 Gaussian 사이를 보간하는 것도 ill-posed이다. 우리는 간단한 해결책을 제안한다. 학습 전에 데이터에 soft-log transform $\\phi(x) = \\mathrm{sign}(x) \\cdot \\log(1 + |x|)$를 적용한 뒤, 생성 후 샘플에 지수를 취하는 것이다. 이렇게 하면 heavy tail이 standard flow matching이 성공할 수 있는 범위로 압축된다. 이 방법은 tail parameter 추정도, heavy-tailed base distribution도, architecture 수정도 필요로 하지 않는다. 우리는 이것이 작동하는 이론적 직관을 제시한다. log-transform은 Pareto tail을 exponential로 사상하고, 유도된 dynamics는 power transformation을 통한 일종의 tail annealing을 구현한다. synthetic benchmark와 실제 금융 데이터 실험은 이 간단한 기법이 heavy-tailed distribution($\\nu \\leq 5$)에서 경쟁력 있는 sample quality를 달성하며, 중간 차원($d = 50$)에서는 특화된 방법보다 더 나은 안정성을 보임을 보여준다."},{"id":"64586","en":"Stein Diffusion Guidance: Training-Free Posterior Correction for Sampling Beyond High-Density Regions","ko":"Stein Diffusion Guidance: 고밀도 영역을 넘어선 샘플링을 위한 학습 없는 Posterior 보정","authors":"Van Khoa NGUYEN, Lionel Blondé, Alexandros Kalousis","pos":"#2512","link":"https://openreview.net/forum?id=LwdCB259lF","abs":"Training-free diffusion guidance offers a flexible framework for leveraging off-the-shelf classifiers without additional training. Yet, current approaches hinge on posterior approximations via Tweedie’s formula, which often yield unreliable guidance, particularly in low-density regions. Stochastic optimal control (SOC), in contrast, enables principled posterior sampling but remains computationally prohibitive for efficient inference. In this work, we reconcile the strengths of these paradigms by introducing Stein Diffusion Guidance (SDG), a novel training-free framework grounded in a surrogate SOC objective. We establish a new theoretical bound on the SOC value function, revealing the necessity of correcting approximate posteriors to reflect true diffusion dynamics. Building on Stein variational inference, SDG computes the steepest descent direction that minimizes the Kullback-Leibler divergence between approximate and true posteriors. By integrating a principled Stein correction mechanism along with a novel running cost functional, SDG enables effective guidance in low-density regions. Our experiments on diverse image-guidance tasks and on challenging small-ligand sampling for protein docking suggest that SDG consistently outperforms standard training-free guidance methods and highlights its potential for broader posterior sampling problems beyond high-density regimes.
","absKo":"훈련이 필요 없는 diffusion guidance는 추가 학습 없이 off-the-shelf classifier를 활용할 수 있는 유연한 framework를 제공한다. 그러나 현재의 접근법은 Tweedie’s formula를 통한 posterior approximation에 의존하며, 이는 특히 저밀도 영역에서 신뢰할 수 없는 guidance를 산출하는 경우가 많다. 반면 stochastic optimal control (SOC)은 원리적으로 타당한 posterior sampling을 가능하게 하지만, 효율적인 inference를 위해서는 계산적으로 지나치게 비싸다. 본 연구에서는 surrogate SOC objective에 기반한 새로운 training-free framework인 Stein Diffusion Guidance (SDG)를 도입하여 이 두 패러다임의 장점을 통합한다. 우리는 SOC value function에 대한 새로운 이론적 bound를 확립하고, approximate posterior를 보정하여 true diffusion dynamics를 반영할 필요성을 밝힌다. Stein variational inference에 기반하여, SDG는 approximate posterior와 true posterior 사이의 Kullback-Leibler divergence를 최소화하는 가장 가파른 하강 방향을 계산한다. 정교한 Stein correction mechanism과 새로운 running cost functional을 통합함으로써, SDG는 저밀도 영역에서도 효과적인 guidance를 가능하게 한다. 다양한 image-guidance task와 protein docking을 위한 challenging small-ligand sampling에 대한 실험은 SDG가 표준 training-free guidance method들을 일관되게 능가하며, 고밀도 영역을 넘어 더 넓은 posterior sampling 문제에 대한 잠재력을 보여준다는 점을 시사한다.
"},{"id":"66746","en":"Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization","ko":"Inverse Entropic Optimal Transport는 Data Likelihood 최대화를 통해 준지도 학습을 해결한다","authors":"Mikhail Persiianov, Arip Asadulaev, Nikita Andreev, Nikita Starodubcev, Dmitry Baranchuk, Anastasis Kratsios, Evgeny Burnaev, Aleksandr Korotin","pos":"#2603","link":"https://openreview.net/forum?id=0p617sK4Z4","abs":"Learning conditional distributions $\\pi^\\star(\\cdot|x)$ is a central problem in machine learning, which is typically approached via supervised methods with paired data $(x,y) \\sim \\pi^\\star$. However, acquiring paired data samples is often challenging, especially in problems such as domain translation. This necessitates the development of *semi-supervised* models that utilize both limited paired data and additional unpaired i.i.d. samples $x \\sim \\pi^\\star_x$ and $y \\sim \\pi^\\star_y$ from the marginal distributions. The usage of such combined data is complex and often relies on heuristic approaches. To tackle this issue, we propose a new learning paradigm that integrates both paired and unpaired data seamlessly using data likelihood maximization techniques. We demonstrate that our approach also connects intriguingly with inverse entropic optimal transport (OT). This finding allows us to apply recent advances in computational OT to establish an *end-to-end* learning algorithm to get $\\pi^\\star(\\cdot|x)$. In addition, we derive the universal approximation property, demonstrating that our approach can theoretically recover true conditional distributions with arbitrarily small error. Finally, we demonstrate through empirical tests that our method effectively learns conditional distributions using paired and unpaired data simultaneously.","absKo":"학습에서 조건부 분포 $\\pi^\\star(\\cdot|x)$를 학습하는 것은 핵심 문제이며, 이는 일반적으로 짝지어진 데이터 $(x,y) \\sim \\pi^\\star$를 사용하는 지도학습 방법으로 접근한다. 그러나 짝지어진 데이터 샘플을 확보하는 일은 특히 domain translation과 같은 문제에서 종종 어렵다. 따라서 제한된 짝지어진 데이터와 함께 주변 분포에서 얻은 추가적인 비짝지어진 i.i.d. 샘플 $x \\sim \\pi^\\star_x$ 및 $y \\sim \\pi^\\star_y$를 모두 활용하는 *semi-supervised* 모델의 개발이 필요하다. 이러한 결합 데이터의 사용은 복잡하며, 종종 휴리스틱한 접근에 의존한다. 이 문제를 해결하기 위해, 우리는 data likelihood maximization 기법을 사용하여 짝지어진 데이터와 비짝지어진 데이터를 매끄럽게 통합하는 새로운 학습 패러다임을 제안한다. 또한 우리의 접근이 역 엔트로피 optimal transport (OT)와 흥미롭게 연결됨을 보인다. 이 발견을 통해 우리는 계산 OT의 최근 발전을 적용하여 $\\pi^\\star(\\cdot|x)$를 얻기 위한 *end-to-end* 학습 알고리즘을 구축할 수 있다. 더 나아가, 우리는 universal approximation 성질을 도출하여, 우리의 접근이 이론적으로 임의로 작은 오차로 참 조건부 분포를 복원할 수 있음을 보인다. 마지막으로, 실험을 통해 우리의 방법이 짝지어진 데이터와 비짝지어진 데이터를 동시에 사용하여 조건부 분포를 효과적으로 학습함을 입증한다."},{"id":"64926","en":"Lookahead Sample Reward Guidance for Test-Time Scaling of Diffusion Models","ko":"Diffusion Model의 Test-Time Scaling을 위한 Lookahead Sample Reward Guidance","authors":"Yeongmin Kim, Donghyeok Shin, Byeonghu Na, Minsang Park, Richard Lee Kim, IL CHUL MOON","pos":"#2605","link":"https://openreview.net/forum?id=IbRm6gwmew","abs":"Diffusion models have demonstrated strong generative performance; however, generated samples often fail to fully align with human intent. This paper studies a test-time scaling method that enables sampling from regions with higher human-aligned reward values. Existing gradient guidance methods approximate the expected future reward (EFR) at an intermediate particle $\\mathbf{x}_t$ using a Taylor approximation, but this approximation at each time step incurs high computational cost due to sequential neural backpropagation. We show that the EFR at any $\\mathbf{x}_t$ can be computed using only marginal samples from a pre-trained diffusion model. The proposed EFR formulation detaches the neural dependency between $\\mathbf{x}_t$ and the EFR, enabling closed-form guidance computation without neural backpropagation. To further improve efficiency, we introduce lookahead sampling to collect marginal samples. For final sample generation, we use an accurate solver that guides particles toward high-reward lookahead samples. We refer to this sampling scheme as LiDAR sampling. LiDAR achieves substantial performance improvements using only three samples with a 3-step lookahead solver, exhibiting steep performance gains as lookahead accuracy and sample count increase; notably, it reaches the same GenEval performance as the latest gradient guidance method for SDXL with a 9.5× speedup.","absKo":"Diffusion model은 강력한 생성 성능을 보여왔지만, 생성된 샘플이 종종 인간의 의도와 완전히 일치하지는 않는다. 이 논문은 더 높은 human-aligned reward 값을 갖는 영역에서 sampling할 수 있게 하는 test-time scaling 방법을 연구한다. 기존의 gradient guidance 방법은 Taylor approximation을 사용해 중간 particle $\\mathbf{x}_t$에서의 expected future reward (EFR)를 근사하지만, 각 time step에서의 이 근사는 순차적인 neural backpropagation 때문에 계산 비용이 크다. 우리는 어떤 $\\mathbf{x}_t$에서든 EFR가 pre-trained diffusion model로부터 얻은 marginal sample만을 사용해 계산될 수 있음을 보인다. 제안하는 EFR formulation은 $\\mathbf{x}_t$와 EFR 사이의 neural dependency를 분리하여, neural backpropagation 없이 closed-form guidance 계산을 가능하게 한다. 효율성을 더 높이기 위해, 우리는 marginal sample을 수집하는 lookahead sampling을 도입한다. 최종 sample 생성에서는 particle을 더 높은 reward를 갖는 lookahead sample 쪽으로 유도하는 정확한 solver를 사용한다. 우리는 이러한 sampling scheme을 LiDAR sampling이라 부른다. LiDAR는 3-step lookahead solver와 단지 3개의 sample만으로도 상당한 성능 향상을 달성하며, lookahead 정확도와 sample 수가 증가할수록 성능 향상이 급격해진다. 특히 SDXL에 대한 최신 gradient guidance method와 동일한 GenEval 성능에 도달하면서도 속도는 9.5× 빨라진다."},{"id":"62727","en":"Neural Dispersion on Graphs","ko":"그래프상의 뉴럴 분산","authors":"Ryien Hosseini, Pouya Gholami, Filippo Simini, Venkatram Vishwanath, Rebecca Willett, Henry (Hank) Hoffmann","pos":"#2606","link":"https://openreview.net/forum?id=dtvCOsy3ie","abs":"We study the problem of generating structurally diverse graphs on $N$ unlabeled vertices. Given a space of such graphs $S_N$, a metric $d$, and a target cardinality $k$, the objective is to construct a set $\\mathcal{G} \\subset S_N$ that maximizes pairwise diversity under $d$. While neural generative models may appear appealing as a solution, standard approaches require samples from a target distribution that does not exist for dispersion problems. As a result, prior work is limited to brute-force combinatorial or iterative search methods. We instead treat diversity as an explicit optimization objective, an approach we term *Neural Graph Dispersion*. An ensemble of generators is optimized under a repulsive potential, producing diverse graphs by sampling along optimization trajectories as they disperse over $(S_N,d)$. Moreover, this approach allows us to generate an initial diverse graph set and, when desired, refine it under bespoke graph distances with minimal overhead. Extensive experiments show our method produces highly diverse graphs while scaling efficiently with respect to $N$ and $k$.","absKo":"우리는 $N$개의 라벨이 없는 정점 위에서 구조적으로 다양한 graph를 생성하는 문제를 연구한다. 이러한 graph들의 공간을 $S_N$, metric을 $d$, 그리고 목표 개수를 $k$라 할 때, 목표는 $d$ 하에서 pairwise diversity를 최대화하는 집합 $\\mathcal{G} \\subset S_N$를 구성하는 것이다. Neural generative model이 해결책으로 매력적으로 보일 수 있지만, dispersion 문제에는 존재하지 않는 target distribution으로부터의 sample이 필요하므로 표준 접근법은 적절하지 않다. 그 결과, 기존 연구는 brute-force combinatorial 방법이나 iterative search 방법에 제한되어 왔다. 우리는 대신 diversity를 명시적인 optimization objective로 다루며, 이를 *Neural Graph Dispersion*이라고 부른다. generators의 ensemble을 repulsive potential 아래에서 최적화하고, $(S_N,d)$ 위에서 dispersion되면서 optimization trajectory를 따라 sampling함으로써 다양한 graph를 생성한다. 더 나아가, 이 접근법은 초기 diverse graph set을 생성하고, 원할 경우 bespoke graph distance 하에서 최소한의 overhead로 이를 refinement할 수 있게 한다. 광범위한 실험은 우리의 방법이 $N$과 $k$에 대해 효율적으로 scale하면서도 매우 다양한 graph를 생성함을 보여준다."},{"id":"62618","en":"Riemannian Neural Optimal Transport","ko":"리만 기하 신경 최적 수송","authors":"Alessandro Micheli, Yueqi Cao, Anthea Monod, Samir Bhatt","pos":"#2611","link":"https://openreview.net/forum?id=ez4oLq7PR3","abs":"Computational optimal transport (OT) offers a principled framework for generative modeling. Neural OT methods, which use neural networks to learn an OT map (or potential) from data in an amortized way, can be evaluated out of sample after training, but existing approaches are tailored to Euclidean geometry. Extending neural OT to high-dimensional Riemannian manifolds remains an open challenge. In this paper, we prove that any method for OT on manifolds that produces discrete approximations of transport maps necessarily suffers from the curse of dimensionality: achieving a fixed accuracy requires a number of parameters that grows exponentially with the manifold dimension. Motivated by this limitation, we introduce Riemannian Neural OT (RNOT) maps, which are continuous neural-network parameterizations of OT maps on manifolds that avoid discretization and incorporate geometric structure by construction. Under mild regularity assumptions, we prove that RNOT maps approximate Riemannian OT maps with sub-exponential complexity in the dimension. Experiments on synthetic and real datasets demonstrate improved scalability and competitive performance relative to discretization-based baselines.
","absKo":"Computational optimal transport (OT)는 generative modeling을 위한 원칙적인 프레임워크를 제공합니다. Neural network를 사용해 데이터로부터 OT map(또는 potential)을 amortized하게 학습하는 neural OT method는 학습 후 out of sample로 평가할 수 있지만, 기존 접근법은 Euclidean geometry에 맞춰져 있습니다. Neural OT를 고차원 Riemannian manifold로 확장하는 것은 여전히 열린 과제입니다. 이 논문에서는 manifold에서 OT를 수행하며 transport map의 discrete approximation을 생성하는 어떤 방법이든 차원의 저주를 필연적으로 겪는다는 것을 증명합니다. 즉, 고정된 정확도를 달성하려면 manifold 차원에 대해 지수적으로 증가하는 수의 parameter가 필요합니다. 이러한 한계에 동기 부여를 받아, 우리는 Riemannian Neural OT (RNOT) map을 제안합니다. 이는 discretization을 피하고 설계 자체에 geometric structure를 내재화한, manifold 상 OT map의 continuous neural-network parameterization입니다. 완만한 regularity assumption 하에서, RNOT map이 차원에 대해 sub-exponential complexity로 Riemannian OT map을 근사함을 증명합니다. Synthetic 및 real dataset에서의 실험은 discretization-based baseline에 비해 더 나은 scalability와 경쟁력 있는 성능을 보여줍니다.
"},{"id":"60728","en":"Geometry-Correct Diffusion Posterior Sampling with Denoiser-Pullback Curvature Guidance and Manifold-Aligned Damping","ko":"Denoiser-Pullback 곡률 가이드와 Manifold-Aligned Damping을 활용한 기하학적으로 올바른 Diffusion Posterior Sampling","authors":"Seunghyeok Shin, Minwoo Kim, Dabin Kim, Hongki Lim","pos":"#2700","link":"https://openreview.net/forum?id=x9Cy1wydfo","abs":"Diffusion posterior sampling conditions diffusion priors on measurements, but data-consistency updates are typically scaled by hand-tuned guidance weights and can destabilize sampling under stiff, operator-dependent curvature. We replace scalar guidance with a per-noise-level damped Gauss--Newton correction computed in diffusion-state coordinates. The correction pulls likelihood gradients back through the denoiser, uses a one-sided curvature model that avoids forward denoiser Jacobians, and applies diffusion-calibrated rank-one damping aligned with the denoiser residual. Each correction is solved with matrix-free GMRES using automatic differentiation, and sampling proceeds with a variance-preserving Langevin transition with a closed-form drift/noise split. Aside from compute-budget choices ($T$ diffusion steps and $K$ Krylov iterations), the method has a single damping hyperparameter ($\\lambda_{\\mathrm{id}}$), kept nearly unchanged across tasks. On FFHQ and ImageNet across inverse problems, it achieves competitive PSNR/SSIM/LPIPS while running markedly faster than most of the compared baselines; on accelerated MRI reconstruction, it achieves the best PSNR/SSIM among the compared baselines.","absKo":"Diffusion posterior sampling은 diffusion prior를 measurement에 조건화하지만, data-consistency update는 보통 손으로 튜닝한 guidance weight에 의해 스케일링되며, operator-dependent curvature가 강한 경우 sampling을 불안정하게 만들 수 있다. 우리는 scalar guidance를 diffusion-state coordinate에서 계산되는 noise level별 damped Gauss--Newton correction으로 대체한다. 이 correction은 likelihood gradient를 denoiser를 통해 다시 끌어오고, forward denoiser Jacobian을 피하는 one-sided curvature model을 사용하며, denoiser residual과 정렬된 diffusion-calibrated rank-one damping을 적용한다. 각 correction은 automatic differentiation을 사용한 matrix-free GMRES로 풀며, sampling은 closed-form drift/noise split을 갖는 variance-preserving Langevin transition으로 진행된다. 계산 예산 선택($T$ diffusion step과 $K$ Krylov iteration)을 제외하면, 이 방법은 단 하나의 damping hyperparameter($\\lambda_{\\mathrm{id}}$)만을 가지며, 이 값은 task 전반에서 거의 변하지 않는다. FFHQ와 ImageNet의 다양한 inverse problem에서 이 방법은 비교 basline들보다 훨씬 빠르게 동작하면서도 경쟁력 있는 PSNR/SSIM/LPIPS를 달성한다. accelerated MRI reconstruction에서는 비교 basline들 중 가장 좋은 PSNR/SSIM을 달성한다."},{"id":"64004","en":"FourTune: Towards Fully 4-Bit Efficient Post-Training for Diffusion Models","ko":"FourTune: Diffusion Models를 위한 완전한 4비트 효율적 후학습을 향하여","authors":"Bowen Xue, Zihan Min, Xingyang Li, Muyang Li, Yujun Lin, Zhekai Zhang, Haocheng Xi, Lvmin Zhang, Maneesh Agrawala, Jun-Yan Zhu, Song Han","pos":"#2703","link":"https://openreview.net/forum?id=RpwnrBkht2","abs":"Diffusion models have become a dominant paradigm for high-quality generative modeling, while post-training is essential for adapting them to diverse downstream applications. However, post-training of large diffusion models is still challenging due to the prohibitive memory footprints and slow training speed, which existing parameter-efficient fine-tuning methods only partially address. To overcome these limitations, we propose FourTune, an efficient post-training framework for diffusion models based on an end-to-end W4A4G4 paradigm. FourTune introduces a triple-branch hybrid pipeline that augments the standard LoRA architecture with a frozen numerical stabilizer to isolate quantization-sensitive outliers, enabling stable training under native 4-bit computation. In addition, FourTune employs hardware-efficient block-wise quantization and customized fused kernels to support efficient quantized backpropagation and reduce memory bandwidth overhead. Across customization, reinforcement learning, and distillation tasks, FourTune matches the quality of full-precision fine-tuning. On FLUX.1-dev (12B), FourTune reduces memory overhead by $2.25\\times$ and increases end-to-end training throughput by $2.27\\times$ compared to BF16 LoRA.","absKo":"Diffusion model은 고품질 generative modeling의 지배적인 패러다임이 되었으며, post-training은 이를 다양한 downstream application에 맞게 적응시키는 데 필수적이다. 그러나 대규모 diffusion model의 post-training은 여전히 막대한 memory footprint와 느린 training speed 때문에 어려우며, 기존의 parameter-efficient fine-tuning 방법은 이를 부분적으로만 해결한다. 이러한 한계를 극복하기 위해 우리는 end-to-end W4A4G4 paradigm에 기반한 diffusion model용 효율적 post-training framework FourTune을 제안한다. FourTune은 표준 LoRA architecture를 frozen numerical stabilizer로 보강한 triple-branch hybrid pipeline을 도입하여 quantization에 민감한 outlier를 분리하고, native 4-bit computation 하에서 안정적인 training을 가능하게 한다. 또한 FourTune은 hardware-efficient block-wise quantization과 맞춤형 fused kernel을 사용하여 효율적인 quantized backpropagation을 지원하고 memory bandwidth overhead를 줄인다. customization, reinforcement learning, distillation task 전반에서 FourTune은 full-precision fine-tuning과 동등한 품질을 달성한다. FLUX.1-dev(12B)에서 FourTune은 BF16 LoRA 대비 memory overhead를 $2.25\\times$ 줄이고 end-to-end training throughput을 $2.27\\times$ 향상시킨다."},{"id":"64490","en":"FeRA: Frequency-Energy Constrained Routing for Effective Diffusion Adaptation Fine-Tuning","ko":"FeRA: 효과적 Diffusion 적응 미세조정을 위한 주파수-에너지 제약 라우팅","authors":"Bo Yin, Xiaobin Hu, Xingyu Zhou, Yu HE, Peng-Tao Jiang, Yue Liao, Junwei Zhu, Jiangning Zhang, Ying Tai, Shuicheng YAN","pos":"#2704","link":"https://openreview.net/forum?id=N2D3MdZHQn","abs":"Diffusion models have achieved remarkable success in generative modeling, yet how to effectively adapting large pretrained models to new tasks remains challenging. We revisit the reconstruction behavior of diffusion models during denoising to unveil the underlying frequency–energy mechanism governing this process. Building upon this observation, we propose \\textbf{FeRA}, a frequency-driven fine-tuning framework that aligns parameter updates with the intrinsic frequency–energy progression of diffusion. FeRA establishes a comprehensive frequency–energy framework for effective diffusion adaptation fine-tuning, comprising three synergistic components: \\textit{(i)} a compact frequency–energy indicator that characterizes the latent’s bandwise energy distribution, \\textit{(ii)} a soft frequency router that adaptively fuses multiple frequency-specific adapter experts, and \\textit{(iii)} a frequency–energy consistency regularization that stabilizes diffusion optimization and ensures coherent adaptation across bands. Routing operates in both training and inference, with inference-time routing dynamically determined by the latent frequency energy. It integrates seamlessly with adapter-based tuning schemes and generalizes well across diffusion backbones and resolutions. By aligning adaptation with the frequency–energy mechanism, \\textbf{FeRA} provides a simple, stable, and compatible paradigm for effective and robust diffusion model adaptation. Codes will be made publicly available.
","absKo":"Diffusion models는 생성 모델링에서 놀라운 성과를 달성했지만, 대규모 사전학습 모델을 새로운 태스크에 어떻게 효과적으로 적응시킬지에 대해서는 여전히 도전적입니다. 우리는 이 과정을 지배하는 근본적인 frequency–energy 메커니즘을 밝히기 위해 denoising 동안 diffusion models의 reconstruction behavior를 재검토합니다. 이러한 관찰을 바탕으로, diffusion의 고유한 frequency–energy progression에 parameter update를 정렬하는 frequency-driven fine-tuning framework인 \\textbf{FeRA}를 제안합니다. FeRA는 효과적인 diffusion adaptation fine-tuning을 위한 포괄적인 frequency–energy framework를 구축하며, 다음 세 가지 상호보완적 구성요소로 이루어집니다: \\textit{(i)} latent의 bandwise energy distribution을 특성화하는 compact frequency–energy indicator, \\textit{(ii)} multiple frequency-specific adapter experts를 적응적으로 융합하는 soft frequency router, \\textit{(iii)} diffusion optimization을 안정화하고 band 전반에 걸친 일관된 adaptation을 보장하는 frequency–energy consistency regularization입니다. routing은 training과 inference 모두에서 동작하며, inference-time routing은 latent frequency energy에 의해 동적으로 결정됩니다. 이는 adapter-based tuning scheme에 매끄럽게 통합되며, 다양한 diffusion backbone과 resolution 전반에서 잘 일반화됩니다. adaptation을 frequency–energy mechanism에 정렬함으로써, \\textbf{FeRA}는 효과적이고 강건한 diffusion model adaptation을 위한 간단하고 안정적이며 호환 가능한 패러다임을 제공합니다. 코드는 공개될 예정입니다.
"},{"id":"63560","en":"Efficient Diffusion LLMs via Temporal-Spatial Parallel Decoding and Confidence Extrapolation","ko":"시간-공간 병렬 디코딩과 신뢰도 외삽을 통한 효율적 Diffusion LLM","authors":"Zekai Li, Ji Liu, Yiqing Huang, Ziqiong Liu, Dong Li, Emad Barsoum","pos":"#2706","link":"https://openreview.net/forum?id=VzriJqD0h7","abs":"Diffusion-based large language models (dLLMs) support parallel text generation via iterative denoising, yet inference remains latency-heavy because many steps are spent on redundant refinement and repeated remasking of tokens whose final values are already determined. Prior acceleration methods mainly depend on step-local confidence heuristics or fixed schedules, which are sensitive to prompt and task variation and ignore strong positional effects within a sequence. We cast diffusion decoding as a dynamic control problem and show that token-wise denoising trajectories provide the key signal for reliable control. We propose a trace-aware decoding framework with two components. First, Temporal-Spatial Parallel Decoding (TSPD) uses a lightweight temporal-spatial correctness sensor that consumes per-token trajectory features, including confidence, entropy, and momentum, together with token position, to decide when a token has converged and can be safely fixed. Second, we introduce ]Confidence Extrapolation (CE)}], a training-free state-space module that forecasts future logit trends with uncertainty to support proactive decisions, including safe look-ahead and targeted stabilization when trajectories are oscillatory or underconfident. Together, TSPD and CE reduce unnecessary denoising iterations while preserving output quality, and they compose cleanly with system optimizations such as KV caching.
","absKo":"Diffusion-based large language models (dLLMs)는 iterative denoising을 통해 병렬 text generation을 지원하지만, 최종 값이 이미 결정된 token의 불필요한 refinement와 반복적인 remasking에 많은 step이 소요되기 때문에 inference latency가 높다. 기존 acceleration method는 주로 step-local confidence heuristic 또는 고정된 schedule에 의존하는데, 이는 prompt와 task 변화에 민감하고 sequence 내 강한 positional effect를 무시한다. 우리는 diffusion decoding을 dynamic control problem으로 정식화하고, token-wise denoising trajectory가 신뢰할 수 있는 control을 위한 핵심 신호임을 보인다. 이에 우리는 두 구성요소로 이루어진 trace-aware decoding framework를 제안한다. 첫째, Temporal-Spatial Parallel Decoding (TSPD)는 token별 trajectory feature인 confidence, entropy, momentum과 token position을 함께 사용하는 경량 temporal-spatial correctness sensor를 사용하여 token이 수렴했는지 판단하고 안전하게 고정할 수 있는 시점을 결정한다. 둘째, 우리는 ]Confidence Extrapolation (CE)}]를 도입한다. 이는 uncertainty와 함께 미래 logit trend를 예측하여 안전한 look-ahead와 trajectory가 oscillatory하거나 underconfident할 때의 표적 안정화를 포함한 선제적 결정을 지원하는 training-free state-space module이다. TSPD와 CE를 함께 사용하면 output quality를 보존하면서 불필요한 denoising iteration을 줄일 수 있으며, KV caching과 같은 system optimization과도 깔끔하게 결합된다.
"},{"id":"64015","en":"Breaking the Simplification Bottleneck in Amortized Neural Symbolic Regression","ko":"Amortized Neural Symbolic Regression의 단순화 병목 돌파","authors":"Paul Saegert, Ullrich Koethe","pos":"#2707","link":"https://openreview.net/forum?id=Rem0zhold7","abs":"Symbolic Regression (SR) aims to discover interpretable analytical expressions that accurately describe observed data. Amortized SR promises to be much more efficient than the predominant genetic programming SR methods, but currently struggles to scale to realistic scientific complexity. We find that the central obstacle is the simplification bottleneck, i.e. its inability to quickly reduce equivalent expressions to a concise normalized form. Amortized SR has addressed this by general-purpose Computer Algebra Systems (CAS) like SymPy, but the high computational cost severely limits training and inference speed. We propose SimpliPy, a rule-based simplification engine achieving a 100-fold speed-up over SymPy at comparable quality. This enables substantial improvements in amortized SR, including scalability to much larger training sets, more efficient use of the per-expression token budget, and systematic test-set decontamination with respect to equivalent training expressions. We demonstrate these advantages in our Flash-ANSR framework, which achieves much better accuracy than amortized baselines (NeSymReS, E2E) on the FastSRB benchmark. Moreover, it performs on par with state-of-the-art direct optimization (PySR) while recovering more concise instead of more complex expressions with increasing inference budget.
","absKo":"Symbolic Regression(SR)은 관측된 데이터를 정확하게 설명하는 해석 가능한 analytical expression을 발견하는 것을 목표로 한다. Amortized SR은 주류의 genetic programming SR 방법보다 훨씬 더 효율적일 것으로 기대되지만, 현재는 현실적인 scientific complexity로 확장하는 데 어려움을 겪고 있다. 우리는 핵심 장애물이 simplification bottleneck, 즉 동등한 expression을 빠르게 간결한 정규형으로 줄이지 못하는 능력 부족에 있음을 확인했다. Amortized SR은 이를 SymPy와 같은 범용 Computer Algebra System(CAS)으로 해결해 왔지만, 높은 계산 비용이 학습과 inference 속도를 심각하게 제한한다. 우리는 유사한 품질에서 SymPy보다 100배 빠른 rule-based simplification engine인 SimpliPy를 제안한다. 이를 통해 더 큰 training set으로의 확장성, expression당 token budget의 더 효율적인 활용, 그리고 동등한 training expression에 대한 체계적인 test-set decontamination을 포함해 amortized SR의 성능을 크게 향상시킬 수 있다. 우리는 FastSRB benchmark에서 amortized baseline(NeSymReS, E2E)보다 훨씬 더 높은 정확도를 달성하는 Flash-ANSR framework에서 이러한 이점을 입증한다. 더 나아가, inference budget이 증가할수록 더 복잡한 expression이 아니라 더 간결한 expression을 복원하면서도 state-of-the-art direct optimization(PySR)과 동등한 성능을 보인다.
"},{"id":"64885","en":"Biased Generalization in Diffusion Models","ko":"Diffusion Model에서의 편향된 일반화","authors":"Luca Saglietti, Luca Biggio, Jerome Garnier-Brun, Davide Beltrame, Marc Mezard","pos":"#2709","link":"https://openreview.net/forum?id=IqTvyp40O6","abs":"Generalization in generative modelling is defined as the ability to learn an underlying distribution from a finite dataset and produce novel samples, with evaluation largely driven by held-out performance and perceived sample quality. In practice, training is often stopped at the minimum of the test loss, taken as an operational indicator of generalization. We challenge this viewpoint by identifying a phase of \\emph{biased generalization} during training, in which the model continues to decrease the test loss while favoring samples with anomalously high proximity to training data. By training the same network on two disjoint datasets and comparing the mutual distances of generated samples and their similarity to training data, we introduce a quantitative measure of bias and demonstrate its presence on real images. We then study the mechanism of bias, using a controlled hierarchical data model where access to exact scores and ground-truth statistics allows us to precisely characterize its onset. We attribute this phenomenon to the sequential nature of feature learning in deep networks, where coarse structure is learned early in a data-independent manner, while finer features are resolved later in a way that increasingly depends on individual training samples. Our results show that early stopping at the test loss minimum, while optimal under standard generalization criteria, may be insufficient for privacy-critical applications.
","absKo":"generative modelling에서의 generalization은 유한한 데이터셋으로부터 underlying distribution을 학습하고 새로운 샘플을 생성하는 능력으로 정의되며, 평가는 주로 held-out performance와 샘플 품질에 대한 인식에 의해 좌우된다. 실제로는 학습이 종종 test loss의 최소값에서 중단되며, 이는 generalization의 운영적 지표로 간주된다. 우리는 학습 중 모델이 test loss를 계속 낮추면서도 training data와 비정상적으로 높은 근접성을 가진 샘플을 선호하는 \\emph{biased generalization} 단계가 존재함을 밝혀 이 관점을 चुनौती한다. 같은 네트워크를 서로 겹치지 않는 두 데이터셋에서 학습시키고, 생성 샘플 간의 mutual distance와 training data와의 유사도를 비교함으로써, 우리는 bias의 정량적 측도를 도입하고 실제 이미지에서 그 존재를 입증한다. 이어서 정확한 score와 ground-truth statistics에 접근 가능한 통제된 hierarchical data model을 사용해 bias의 메커니즘을 연구하고, 그 발생 시점을 정밀하게 특성화한다. 우리는 이 현상이 deep network에서 feature learning이 순차적으로 일어나는 특성에서 비롯된다고 본다. 즉, coarse structure는 데이터와 무관한 방식으로 초기에 학습되는 반면, 더 미세한 feature는 개별 training sample에 점점 더 의존하는 방식으로 나중에 해석된다. 우리의 결과는 test loss minimum에서의 early stopping이 표준 generalization 기준에서는 최적일지라도, privacy-critical application에는 충분하지 않을 수 있음을 보여준다.
"},{"id":"61135","en":"Set Diffusion: Interpolating Token Orderings between Autoregression and Diffusion for Fast and Flexible Decoding","ko":"Set Diffusion: 빠르고 유연한 Decoding을 위한 Autoregression과 Diffusion 사이의 Token Ordering 보간","authors":"Marianne Arriola, Volodymyr Kuleshov","pos":"#303","link":"https://openreview.net/forum?id=tN8f0dxQ9i","abs":"Masked discrete diffusion models have improved steadily, but still lag behind autoregressive (AR) models in quality, require fixed-length generation, and cannot exploit key-value (KV) caching. Block Diffusion partially bridges diffusion and AR by unmasking left-to-right token blocks, but sacrifices infilling flexibility and KV caching within blocks. Our key insight is that interpolating generation orderings between autoregression and fully-random decoding, rather than committing to a fixed block length, offers a better interpolation between diffusion and AR. We present a new class of language models, Set Diffusion, comprised of 1) a tighter likelihood bound induced by an order-informed noise process and 2) a causal diffusion architecture that enables KV caching under stochastic token orderings. We bias the noise process toward left-to-right generation, rather than enforcing a strict block factorization, such that tokens can be decoded in sliding-window sets for faster inference and greater flexibility for any-order decoding. Set Diffusion achieves better speed-quality tradeoffs on mathematical reasoning, summarization, and unconditional generation compared to prior diffusion language models while offering stronger infilling performance than Block Diffusion.
","absKo":"Masked discrete diffusion model은 꾸준히 개선되어 왔지만, 여전히 quality 면에서 autoregressive (AR) model에 뒤처지고, fixed-length generation이 필요하며, key-value (KV) caching을 활용할 수 없다. Block Diffusion은 left-to-right token block을 unmasking함으로써 diffusion과 AR 사이를 부분적으로 연결하지만, block 내부에서의 infilling flexibility와 KV caching을 희생한다. 우리의 핵심 통찰은 고정된 block length를 채택하기보다, generation ordering을 autoregression과 fully-random decoding 사이에서 보간하는 것이 diffusion과 AR 사이의 더 나은 보간을 제공한다는 점이다. 우리는 1) order-informed noise process에 의해 유도되는 더 타이트한 likelihood bound와 2) stochastic token ordering 하에서 KV caching을 가능하게 하는 causal diffusion architecture로 구성된 새로운 class의 language model인 Set Diffusion을 제시한다. 우리는 엄격한 block factorization을 강제하기보다 noise process를 left-to-right generation 쪽으로 편향시켜, token을 sliding-window set으로 decode할 수 있게 하여 더 빠른 inference와 any-order decoding의 더 큰 유연성을 제공한다. Set Diffusion은 mathematical reasoning, summarization, unconditional generation에서 기존 diffusion language model보다 더 나은 speed-quality tradeoff를 달성하며, Block Diffusion보다 더 강한 infilling performance를 제공한다.
"},{"id":"63247","en":"Flow Sampling : Learning to Sample from Unnormalized Densities via Denoising Conditional Processes","ko":"Flow Sampling: 노이즈 제거 조건부 과정을 통한 비정규화 밀도로부터의 샘플링 학습","authors":"Aaron Havens, Brian Karrer, Neta Shaul","pos":"#3502","link":"https://openreview.net/forum?id=YlcyOMTPNl","abs":"Sampling from unnormalized densities is analogous to the generative modeling problem, but the target distribution is defined by a known energy function instead of data samples. Evaluating the energy function is often costly, and thus a primary challenge is to learn an efficient sampler. We introduce Flow Sampling, a framework built on diffusion models and flow matching for the data-free setting. Our training objective is conditioned on a noise sample and regresses onto a denoising diffusion drift constructed from the energy function. In contrast, diffusion models' objective is conditioned on a data sample and regresses onto a noising diffusion drift. We utilize the interpolant process to minimize the number of energy function evaluations during training, resulting in an efficient and scalable method for sampling unnormalized densities. Furthermore, our formulation naturally extends to Riemannian manifolds, enabling diffusion-based sampling in geometries beyond the Euclidean space. We derive a closed-form formula for the conditional drift on constant curvature manifolds, including hyperspheres and hyperbolic spaces. We evaluate Flow Sampling on synthetic energy benchmarks, large-scale amortized molecular conformer generation, and distributions supported on the sphere, demonstrating strong empirical performance.
","absKo":"정규화되지 않은 density에서의 sampling은 generative modeling 문제와 유사하지만, 대상 분포가 데이터 샘플이 아니라 알려진 energy function으로 정의된다는 점이 다르다. energy function을 평가하는 일은 종종 비용이 크므로, 효율적인 sampler를 학습하는 것이 핵심 과제이다. 우리는 data-free setting을 위한 diffusion model과 flow matching 기반의 framework인 Flow Sampling을 소개한다. 우리의 학습 objective는 noise sample에 조건화되며, energy function으로 구성된 denoising diffusion drift를 회귀 대상으로 삼는다. 반면 diffusion model의 objective는 data sample에 조건화되며, noising diffusion drift를 회귀 대상으로 삼는다. 우리는 interpolant process를 활용해 학습 중 energy function 평가 횟수를 최소화함으로써, 정규화되지 않은 density를 샘플링하는 효율적이고 확장 가능한 방법을 얻는다. 또한 우리의 formulation은 자연스럽게 Riemannian manifold로 확장되어, Euclidean space를 넘어서는 기하에서의 diffusion-based sampling을 가능하게 한다. 우리는 hypersphere와 hyperbolic space를 포함한 constant curvature manifold에서 conditional drift의 closed-form formula를 유도한다. Flow Sampling은 synthetic energy benchmark, 대규모 amortized molecular conformer generation, 그리고 sphere 위에 지지되는 분포에서 평가되었으며, 강력한 실증 성능을 보였다.
"},{"id":"60621","en":"Meta-iLaD: Identifiable Latent Dynamics via Meta-Learning of Dynamics Environments","ko":"Meta-iLaD: 동역학 환경의 메타러닝을 통한 식별 가능한 잠재 동역학","authors":"Yubo Ye, Sweekar Piya, Xiajun Jiang, Linwei Wang","pos":"#4106","link":"https://openreview.net/forum?id=yQJFBNKbvm","abs":"Learning *latent dynamics* is central to assessing current states and forecasting future trajectories for high-dimensional time series. For locally-stationary latent dynamics of the form $\\mathcal{F}(\\mathbf{z}_{representation alignment(REPA)는 diffusion training을 가속하기 위해 연구되어 왔지만, 우리는 diffusion Transformer(DiT)에서 intermediate representation을 regularize 하는 것이 잠재적으로 latent를 entangle시키고 생성 용량을 제한할 수 있음을 관찰했다. 이 문제를 해결하기 위해, 우리는 단일 diffusion model 내에서 representation과 data 모두에 대해 여러 vector field를 공동으로 추정하는 hierarchical multi-prompt representation generation framework인 ReGen을 제안한다. 또한 conditional flow matching(CFM)의 generalization을 향상시키기 위해 generalized flow matching(GFM)을 도입한다. 우리는 neural audio codec과 Wave-VAE를 포함한 single-stage waveform diffusion model에서 ReGen을 검증한다. ReGen은 12.5 Hz의 highly compressed latent representation으로부터의 waveform generation quality를 크게 향상시킨다. 또한 우리는 작은 데이터셋으로도 강한 speech intelligibility(WER)와 speaker similarity(SIM)를 달성하는 latent diffusion model(LDM) 기반 text-to-speech model인 ReGenVoice를 제시한다. 더 나아가 풍부한 semantic 및 acoustic latent representation을 사용하여 LDM을 6.25 Hz에서 동작시키면 효율적인 training과 sampling이 가능해지며, 이는 4 GPU에서 단 1일의 training과 0.08의 RTF로 빠른 inference를 요구한다.
"},{"id":"64637","en":"Hölder++: Improving Quality-Coherence Trade-off in Multimodal VAEs","ko":"Hölder++: 멀티모달 VAE에서 품질-일관성 트레이드오프 개선","authors":"Huyen Vo, María Martínez-García, Isabel Valera","pos":"#2601","link":"https://openreview.net/forum?id=LQ3TocqrTh","abs":"Existing approaches for multimodal variational autoencoders (VAEs) face a trade-off between generative quality and coherence—i.e., they struggle to generate realistic and diverse samples that, at the same time, are semantically consistent across modalities. A recent work shows that using a simple approximation to Hölder pooling as an aggregation method improves coherence over the SOTA MMVAE+, despite assuming a single shared representation across all modalities. Yet, it slightly compromises sample diversity. Inspired by this insight, we propose Hölder++, a novel multimodal VAE that improves the generative quality-coherence trade-off through: (i) the first implementation of Hölder pooling without any approximation for multimodal VAEs; (ii) an extended architecture that models distinct shared and private (i.e., modality-specific) representations (Hölder+); and (iii) hierarchical inference that further enhances the disentanglement between the shared and private representations (Hölder++). Our experiments corroborate that Hölder++ consistently improves the generative quality-coherence trade-off, yields more structured latent spaces, and learns shared representations that are informative for downstream tasks.
","absKo":"기존의 multimodal variational autoencoder(VAE) 접근법은 생성 품질과 coherence 사이의 trade-off에 직면한다. 즉, 현실적이고 다양한 샘플을 생성하는 동시에, 여러 modality 전반에서 의미적으로 일관된 샘플을 생성하는 데 어려움을 겪는다. 최근 연구는 모든 modality가 하나의 shared representation을 공유한다고 가정하더라도, Hölder pooling의 단순 근사본을 aggregation method로 사용하면 SOTA MMVAE+보다 coherence가 향상됨을 보였다. 그러나 이는 sample diversity를 다소 저하시킨다. 이러한 통찰에서 영감을 받아, 우리는 Hölder++를 제안한다. Hölder++는 다음을 통해 generative quality-coherence trade-off를 개선하는 새로운 multimodal VAE이다: (i) multimodal VAE를 위한 근사 없이 Hölder pooling을 처음으로 구현한 것; (ii) 서로 다른 shared 및 private(즉, modality-specific) representation을 모델링하는 확장된 architecture(Hölder+); (iii) shared representation과 private representation 사이의 disentanglement를 더욱 강화하는 hierarchical inference(Hölder++). 우리의 실험은 Hölder++가 generative quality-coherence trade-off를 일관되게 개선하고, 더 구조화된 latent space를 산출하며, downstream task에 유용한 shared representation을 학습함을 뒷받침한다.
"},{"id":"65307","en":"Feedback Control for Multi-Objective Graph Self-Supervision","ko":"다목적 그래프 자기 지도를 위한 피드백 제어","authors":"Karish Grover, Theodore Vasiloudis, Han Xie, Sixing Lu, Xiang song, Christos Faloutsos","pos":"#1500","link":"https://openreview.net/forum?id=EuTiwQ5bgj","abs":"Can multi-task self-supervised learning on graphs be coordinated without the usual tug-of-war between objectives? Graph self-supervised learning (SSL) offers a growing toolbox of pretext objectives—mutual information, reconstruction, contrastive learning—yet combining them reliably remains a challenge due to objective interference and training instability. Most multi-pretext pipelines use per-update mixing, forcing every parameter update to be a compromise, leading to three failure modes: Disagreement (conflict-induced negative transfer), Drift (nonstationary objective utility), and Drought (hidden starvation of underserved objectives). We argue that coordination is fundamentally a temporal allocation problem: deciding when each objective receives optimization budget, not merely how to weigh them. We introduce ControlG, a control-theoretic framework that recasts multi-objective graph SSL as feedback-controlled temporal allocation by estimating per-objective difficulty and pairwise antagonism, planning target budgets via a Pareto-aware log-hypervolume planner, and scheduling with a Proportional–Integral–Derivative (PID) controller. Across 9 datasets, ControlG consistently outperforms state-of-the-art baselines, while producing an auditable schedule that reveals which objectives drove learning.
","absKo":"graph 위의 multi-task self-supervised learning을 흔히 발생하는 objective 간 줄다리기 없이 조율할 수 있을까? Graph self-supervised learning(SSL)은 mutual information, reconstruction, contrastive learning 등 점점 더 많은 pretext objective를 제공하지만, objective interference와 training instability 때문에 이를 안정적으로 결합하는 일은 여전히 어렵다. 대부분의 multi-pretext pipeline은 update마다 mixing을 사용하여 모든 parameter update가 타협이 되도록 만들며, 그 결과 Disagreement(conflict로 인한 negative transfer), Drift(nonstationary한 objective utility), Drought(hidden starvation of underserved objectives)라는 세 가지 failure mode가 발생한다. 우리는 조율이 본질적으로 temporal allocation problem이라고 주장한다. 즉, 각 objective에 최적화 budget을 언제 배분할지 결정하는 문제이지, 단순히 가중치를 어떻게 둘지를 정하는 문제가 아니다. 이를 위해 ControlG를 제안한다. ControlG는 per-objective difficulty와 pairwise antagonism을 추정하고, Pareto-aware log-hypervolume planner를 통해 target budget을 계획하며, Proportional–Integral–Derivative(PID) controller로 스케줄링하는 방식으로 multi-objective graph SSL을 feedback-controlled temporal allocation으로 재해석하는 control-theoretic framework이다. 9개 dataset 전반에서 ControlG는 일관되게 state-of-the-art baseline을 능가하면서, 어떤 objective가 학습을 주도했는지 드러내는 감사 가능한 schedule을 생성한다.
"},{"id":"65859","en":"Adversarial Attacks and Robust Training for Hypergraph Neural Networks","ko":"하이퍼그래프 신경망을 위한 적대적 공격과 강건 학습","authors":"Naheed Anjum Arafat, Debabrota Basu, Yulia Gel, Danda Rawat","pos":"#1602","link":"https://openreview.net/forum?id=9NPxvxmZ7e","abs":"Recent studies show that Hypergraph Neural Networks (HGNNs) are vulnerable to adversarial attacks, while adversarial learning in the context of hypergraphs remains substantially under-investigated. In particular, all existing attacks on HGNNs are white-box and customized for either structural or feature perturbation. But in reality, the attacker might not have access to the target model parameters. Motivated by this knowledge gap, we propose a generic meta-objective-based learning framework, MeLA, that leverages the hypergraph Laplacian to conduct gray-box, structural, and feature perturbations, while ensuring the stealthiness of the attack. In contrast to the attack literature, there is no adversarial training mechanism for HGNNs to defend against such attacks. Hence, we propose a novel adversarial training mechanism for HGNNs to obtain a robust classifier. We further prove the convergence of our robust training. Extensive experiments across various HGNN models and datasets show that (a) our proposed attack is stealthy in poisoning and evasion settings, and (b) our adversarial training enhances defense against adversarial attacks.
","absKo":"최근 연구들은 Hypergraph Neural Network (HGNN)가 adversarial attack에 취약함을 보였지만, hypergraph 맥락에서의 adversarial learning은 여전히 충분히 탐구되지 않았다. 특히, HGNN에 대한 기존 attack은 모두 white-box이며 구조적 교란 또는 feature 교란 중 하나에만 맞춰져 있다. 그러나 실제로 공격자는 대상 모델의 parameter에 접근하지 못할 수 있다. 이러한 지식 격차에 착안하여, 우리는 hypergraph Laplacian을 활용해 gray-box, structural, feature perturbation을 수행하면서도 attack의 stealthiness를 보장하는 일반적인 meta-objective-based learning framework MeLA를 제안한다. 공격 관련 문헌과 달리, HGNN이 이러한 attack에 방어하기 위한 adversarial training mechanism은 존재하지 않는다. 따라서 우리는 강건한 classifier를 얻기 위한 새로운 HGNN adversarial training mechanism을 제안한다. 또한 우리는 이 robust training의 수렴성을 추가로 증명한다. 다양한 HGNN model과 dataset에 걸친 광범위한 실험은 (a) 제안한 attack이 poisoning 및 evasion 설정 모두에서 은밀하며, (b) 우리의 adversarial training이 adversarial attack에 대한 방어를 강화함을 보여준다.
"},{"id":"62451","en":"Entangled No More: Multi-Domain Decoupling for Robust Dynamic Graph Neural Networks","ko":"더 이상 얽힘은 없다: 강건한 Dynamic Graph Neural Networks를 위한 다중 도메인 Decoupling","authors":"Youda Mo, Chaobo He, Junwei Cheng, Peng Mei, Quanlong Guan","pos":"#2400","link":"https://openreview.net/forum?id=gTbhmASN2Z","abs":"Dynamic graphs are pervasive in real-world systems, but their tightly entangled spatiotemporal evolution causes significant modeling challenges. Existing Dynamic Graph Neural Networks (DGNNs) lack a principled framework for systematically decoupling this multi-domain entanglement, raising two key problems: (i) representation drift caused by structural incompleteness, and (ii) signal distortion amplified by noise perturbation. These problems can accumulate over time, forming temporal redundancy that weakens robustness of DGNNs. In view of these, we propose DeR-Mamba(Decoupling for Robust Mamba), a multi-domain decoupling framework for robust DGNNs. To address (i), we develop the Multi-Particle Kernel Kalman observation field (MP-K$^2$alman), which achieves spatial decoupling by sampling latent evolution paths in kernel subspaces and performing Kalman-style updates to estimate structural states. To address (ii), we design the Adversarial-aware Frequency Decoupling Module (AFDM), which performs frequency-domain decoupling and dynamic cross-frequency modulation to purify spectral signals. Finally, a self-consistent dynamic graph state-space system performs temporal decoupling to control redundancy, suppressing residual disturbances through discretized cross-time modeling and selective snapshot scanning. Extensive experiments on benchmark datasets with adversarial attacks validate its superior robustness.","absKo":"Dynamic graph는 실제 시스템에 널리 퍼져 있지만, 시간적·공간적 진화가 촘촘히 얽혀 있어 모델링에 큰 어려움을 야기한다. 기존 Dynamic Graph Neural Network(DGNN)은 이 다중 도메인 얽힘을 체계적으로 분리하기 위한 원칙적인 framework가 부족하여 두 가지 핵심 문제를 낳는다. (i) 구조적 불완전성으로 인한 representation drift, 그리고 (ii) noise perturbation에 의해 증폭되는 signal distortion이다. 이러한 문제는 시간이 지남에 따라 누적되어 temporal redundancy를 형성하고, DGNN의 robustness를 약화시킨다. 이를 고려해 우리는 robust DGNN을 위한 multi-domain decoupling framework인 DeR-Mamba(Decoupling for Robust Mamba)를 제안한다. (i)를 해결하기 위해 우리는 Multi-Particle Kernel Kalman observation field(MP-K$^2$alman)를 개발하는데, 이는 kernel subspace에서 latent evolution path를 샘플링하고 Kalman-style update를 수행해 structural state를 추정함으로써 spatial decoupling을 달성한다. (ii)를 해결하기 위해 우리는 Adversarial-aware Frequency Decoupling Module(AFDM)을 설계하는데, 이는 frequency-domain decoupling과 dynamic cross-frequency modulation을 수행해 spectral signal을 정화한다. 마지막으로, self-consistent dynamic graph state-space system이 temporal decoupling을 수행해 redundancy를 제어하고, discretized cross-time modeling과 selective snapshot scanning을 통해 잔여 disturbance를 억제한다. adversarial attack이 있는 benchmark dataset에 대한 대규모 실험은 제안 방법의 뛰어난 robustness를 검증한다."},{"id":"66484","en":"GraphP-FL: Personalized Federated Graph Learning via Dynamic Structure Awareness and Fisher Information Elastic Alignment","ko":"GraphP-FL: 동적 구조 인식과 Fisher 정보 탄성 정렬을 통한 개인화 Federated 그래프 학습","authors":"Haoyu Chen, Jinsong Wang, Zening Zhao, Kai Shi, Zongpu Wei, Jianhao Li","pos":"#2401","link":"https://openreview.net/forum?id=3HRClWv10a","abs":"Federated Graph Learning (FGL) enables distributed clients to collaboratively train graph neural networks while strictly preserving data privacy.However, existing FGL methods implicitly assume the reliability of local graph structures and lack elastic awareness of parameter importance during model aggregation, leading to representation degradation under topological noise and catastrophic forgetting caused by model drift. To address these challenges,we propose GraphP-FL, a general personalized FGL framework.(1)we design a self-supervised dynamic topology reconstruction mechanism on the client side. This mechanism mines implicit dependencies to adaptively rectify noisy topologies, effectively suppressing topological noise propagation and capturing precise structural relationships for high-quality representations.(2)we introduce a Fisher-based Elastic Parameter Alignment (FRPA) algorithm. FRPA imposes anisotropic regularization constraints in the parameter space to precisely quantify parameter importance, enabling the model to strictly preserve critical local knowledge while flexibly aligning with the global model, thus effectively overcoming catastrophic forgetting.Extensive experiments on seven benchmarks (including biochemical molecules, social networks, and large-scale encrypted traffic) demonstrate that GraphP-FL significantly outperforms state-of-the-art methods, improving accuracy by up to 8.6% while exhibiting superior generalization and robustness.
","absKo":"Federated Graph Learning(FGL)은 distributed client가 data privacy를 엄격히 보존하면서 graph neural network를 협력적으로 학습할 수 있게 한다. 그러나 기존 FGL 방법은 local graph structure의 신뢰성을 암묵적으로 가정하고 model aggregation 동안 parameter importance에 대한 elastic awareness가 부족하여, topological noise 하에서 representation degradation과 model drift로 인한 catastrophic forgetting을 초래한다. 이러한 문제를 해결하기 위해 우리는 일반적인 personalized FGL framework인 GraphP-FL을 제안한다. (1) 우리는 client-side에서 self-supervised dynamic topology reconstruction mechanism을 설계한다. 이 메커니즘은 implicit dependency를 발굴하여 noisy topology를 adaptive하게 교정하고, topological noise propagation을 효과적으로 억제하며, 고품질 representation을 위한 정확한 structural relationship을 포착한다. (2) 우리는 Fisher 기반 Elastic Parameter Alignment(FRPA) algorithm을 도입한다. FRPA는 parameter space에 anisotropic regularization constraint를 부과하여 parameter importance를 정밀하게 정량화하고, model이 중요한 local knowledge를 엄격히 보존하는 동시에 global model과 유연하게 정렬할 수 있게 하여 catastrophic forgetting을 효과적으로 극복한다. 생화학 분자, 사회 네트워크, 대규모 암호화 트래픽을 포함한 7개 benchmark에 대한 광범위한 실험은 GraphP-FL이 state-of-the-art method를 크게 능가하며, 최대 8.6%의 accuracy 향상과 함께 더 우수한 generalization과 robustness를 보임을 보여준다.
"},{"id":"62060","en":"L2G-NET: Local to Global Spectral Graph Neural Networks via Cauchy Factorizations","ko":"L2G-NET: Cauchy Factorizations를 통한 local-to-global spectral GNN","authors":"Samuel Fernandez, Eduardo Pavez, Antonio Ortega","pos":"#2402","link":"https://openreview.net/forum?id=kD8iJmyn5l","abs":"Despite their theoretical advantages, spectral methods based on the graph Fourier transform (GFT) are seldom used in graph neural networks (GNNs) due to the cost of computing the eigenbasis and the lack of vertex-domain locality in spectral representations. As a result, most GNNs rely on local approximations such as polynomial Laplacian filters or message passing, which limit their ability to model long-range dependencies. In this paper, we introduce a novel factorization of the GFT into operators acting on subgraphs, which are then combined via a sequence of Cauchy matrices. We use this factorization to propose a new class of spectral GNNs, which we term L2G-Net (Local-to-Global Net). Unlike existing spectral methods, which are either fully global (when they use the GFT) or local (when they use polynomial filters), L2G-Net operates by processing the spectral representations of subgraphs and then combining them via structured matrices. Our algorithm avoids full eigendecompositions, exploiting graph topology to construct the factorization with quadratic complexity in the number of nodes, scaled by the subgraph interface size. Experiments on benchmarks stressing non-local dependencies show that L2G-Net outperforms existing spectral techniques and is competitive with the state-of-the-art with orders of magnitude fewer learnable parameters.
","absKo":"이론적 장점에도 불구하고, graph Fourier transform (GFT)에 기반한 spectral method는 eigenbasis를 계산하는 비용과 spectral representation에서 vertex-domain locality가 부족하다는 이유로 graph neural networks (GNNs)에서는 거의 사용되지 않는다. 그 결과 대부분의 GNN은 polynomial Laplacian filter나 message passing과 같은 local approximation에 의존하며, 이는 장거리 의존성을 모델링하는 능력을 제한한다. 본 논문에서는 GFT를 subgraph에 작용하는 operator들로 분해하고, 이를 Cauchy matrix의 연쇄를 통해 결합하는 새로운 factorization을 제안한다. 우리는 이 factorization을 이용해 L2G-Net(Local-to-Global Net)이라 부르는 새로운 spectral GNN class를 제안한다. GFT를 사용할 때 fully global이거나, polynomial filter를 사용할 때 local인 기존 spectral method와 달리, L2G-Net은 subgraph의 spectral representation을 처리한 뒤 구조화된 matrix를 통해 결합하는 방식으로 동작한다. 우리의 알고리즘은 완전한 eigendecomposition을 피하고, graph topology를 활용해 노드 수에 대해 quadratic complexity를 가지되 subgraph interface size에 의해 스케일되는 factorization을 구성한다. 비국소적 의존성을 강조하는 benchmark 실험에서 L2G-Net은 기존 spectral 기법보다 우수하며, 훨씬 적은 learnable parameter로 state-of-the-art와 경쟁력 있는 성능을 보인다.
"},{"id":"65183","en":"Learnable Kernel Density Estimation for Graphs and Its Application to Graph-Level Anomaly Detection","ko":"그래프를 위한 학습 가능한 커널 밀도 추정과 그래프 수준 이상 탐지 응용","authors":"Xudong Wang, Ziheng Sun, Chris Ding, Jicong Fan","pos":"#2403","link":"https://openreview.net/forum?id=G1M4rBPtlP","abs":"This work proposes a framework LGKDE that learns kernel density estimation for graphs. The key challenge in graph density estimation lies in effectively capturing both structural patterns and semantic variations while maintaining theoretical guarantees. Combining graph kernels and kernel density estimation (KDE) is a standard approach to graph density estimation, but has unsatisfactory performance due to the handcrafted and fixed features of kernels. Our method LGKDE leverages graph neural networks to represent each graph as a discrete distribution and utilizes maximum mean discrepancy to learn the graph metric for multi-scale KDE, where all parameters are learned by maximizing the density of graphs relative to the density of their well-designed perturbed counterparts. The perturbations are conducted on both node features and graph spectra, which helps better characterize the boundary of normal density regions. Theoretically, we establish consistency and convergence guarantees for LGKDE, including bounds on the mean integrated squared error, robustness, and generalization. We validate LGKDE by demonstrating its effectiveness in recovering the underlying density of synthetic graph distributions and applying it to graph anomaly detection across diverse benchmark datasets. Extensive empirical evaluation shows that LGKDE demonstrates superior performance compared to state-of-the-art baselines on most benchmark datasets.
","absKo":"이 연구는 graph에 대한 kernel density estimation을 학습하는 프레임워크 LGKDE를 제안한다. graph density estimation의 핵심 과제는 이론적 보장을 유지하면서 structural pattern과 semantic variation을 모두 효과적으로 포착하는 데 있다. graph kernel과 kernel density estimation (KDE)을 결합하는 것은 graph density estimation의 표준적인 접근이지만, kernel의 수작업 고정 feature 때문에 성능이 만족스럽지 못하다. 우리의 방법 LGKDE는 graph neural network를 활용해 각 graph를 discrete distribution으로 표현하고, maximum mean discrepancy를 이용해 multi-scale KDE를 위한 graph metric을 학습한다. 이때 모든 parameter는 잘 설계된 perturbed counterpart에 대한 graph의 density를 최대화하도록 학습된다. perturbation은 node feature와 graph spectrum 모두에 적용되며, 이를 통해 normal density region의 경계를 더 잘 특성화할 수 있다. 이론적으로 우리는 mean integrated squared error, robustness, generalization에 대한 bound를 포함해 LGKDE의 consistency와 convergence 보장을 확립한다. 우리는 합성 graph distribution의 underlying density를 복원하는 능력을 보이고, 다양한 benchmark dataset에서 graph anomaly detection에 적용함으로써 LGKDE를 검증한다. 광범위한 실증 평가 결과, LGKDE는 대부분의 benchmark dataset에서 state-of-the-art baseline보다 우수한 성능을 보인다.
"},{"id":"63151","en":"SFCLTA: Spectral Fusion Contrastive Learning with Topology-Adaptive Graph Augmentation","ko":"SFCLTA: 위상 적응형 그래프 증강을 통한 스펙트럼 융합 대조 학습","authors":"Zhuo Xu, Lu Bai, Jincheng Li, Lixin Cui, Ming Li, Hangyuan Du, Yue Wang","pos":"#2407","link":"https://openreview.net/forum?id=Za8auYAM39","abs":"Graph Neural Networks (GNNs) have achieved remarkable successes in graph analysis due to the Message-Passing (MP) mechanism, yet they struggle with heterophilic graphs where connected nodes often have distinct labels or dissimilar attributes. Graph Contrastive Learning (GCL) serves as a promising approach to extract the information beyond neighboring nodes, effectively mitigating the limitations of the MP mechanism in handling heterophilic graphs. Nevertheless, GCL faces two critical challenges when applied to heterophilic graphs, i.e., the potential distribution shift from data augmentation and the loss of robustness caused by high-frequency signals. To address these problems, we propose a novel model, namely the Spectral Fusion Contrastive Learning with Topology-Adaptive Graph Augmentation (SFCLTA) for unsupervised graph representation learning. Our method dynamically adjusts graph structures by a heterophily-aware augmentation strategy, and constrains high-frequency distortions by spectral regularization. We utilize the confidence-weighted fusion to enhance the robustness. Additionally, we introduce a feature reconstruction task as the prerequisites to explicitly mitigate feature-level distribution shifts. Experiments on multiple real-world datasets demonstrate that the proposed SFCLTA consistently outperforms baseline models in multiple tasks.
","absKo":"Graph Neural Network (GNN)은 Message-Passing (MP) 메커니즘 덕분에 graph analysis에서 놀라운 성공을 거두었지만, 연결된 노드가 서로 다른 label이나 유사하지 않은 attribute를 갖는 heterophilic graph에서는 어려움을 겪는다. Graph Contrastive Learning (GCL)은 이웃 노드 너머의 정보를 추출하는 유망한 접근법으로, heterophilic graph를 다룰 때 MP 메커니즘의 한계를 효과적으로 완화한다. 그럼에도 불구하고, GCL을 heterophilic graph에 적용할 때는 두 가지 중요한 문제가 존재한다. 즉, data augmentation으로 인한 잠재적 distribution shift와 high-frequency signal로 인해 발생하는 robustness 손실이다. 이러한 문제를 해결하기 위해 우리는 unsupervised graph representation learning을 위한 Topology-Adaptive Graph Augmentation이 결합된 Spectral Fusion Contrastive Learning, 즉 SFCLTA라는 새로운 모델을 제안한다. 우리의 방법은 heterophily-aware augmentation strategy로 graph structure를 동적으로 조정하고, spectral regularization으로 high-frequency distortion을 억제한다. 또한 confidence-weighted fusion을 활용하여 robustness를 향상시킨다. 추가로, feature-level distribution shift를 명시적으로 완화하기 위한 전제 조건으로 feature reconstruction task를 도입한다. 여러 실제 데이터셋에서의 실험은 제안한 SFCLTA가 여러 task에서 baseline model을 일관되게 능가함을 보여준다.
"},{"id":"63599","en":"SuperHype: Hypergraph Generation via Graph-Superposition Decomposition","ko":"SuperHype: 그래프 중첩 분해를 통한 하이퍼그래프 생성","authors":"Lucas Gantes, Abele Mălan, Roberto Gheda, Robert Birke, Lydia Y. Chen","pos":"#2408","link":"https://openreview.net/forum?id=VasXWJMqSp","abs":"Hypergraphs are graph generalizations with key applications in domains such as healthcare, where strict data privacy requirements apply, or bioinformatics, where testing new compounds is costly. However, due to their combinatorial nature, hypergraph representations are often either intractable, or introduce major information loss. For this reason, research into hypergraph synthesis is limited, and state-of-the-art approaches yield poor generation quality in terms of overall structural patterns and graph-level validity. To address such shortcomings, we introduce SuperHype, an exact and tractable hypergraph diffusion model. The core of SuperHype is the projection of graph-superposition, a novel representation that embeds a hypergraph into a multilayer graph enabling a tractable representation with no loss of generalization. To generate new samples from such representations, we introduce a Graph-Superposition Transformer that treats the superposition as an interconnected sequence of layers. Moreover, we enhance the model’s performance with hypergraph specific auxiliary features and triplet aggregation of indirect node interactions. Our evaluation on five datasets shows that SuperHype generally reproduces local and global connectivity patterns with superior fidelity than state-of-the-art baselines.
","absKo":"Hypergraph는 healthcare처럼 엄격한 data privacy 요구가 적용되거나, bioinformatics처럼 새로운 화합물의 시험 비용이 큰 도메인에서 핵심 응용을 갖는 graph 일반화이다. 그러나 조합적 특성 때문에 hypergraph representation은 종종 계산이 불가능하거나, 큰 정보 손실을 초래한다. 이러한 이유로 hypergraph synthesis에 대한 연구는 제한적이며, 최신 접근법은 전체 구조 패턴과 graph-level validity 측면에서 생성 품질이 낮다. 이러한 한계를 해결하기 위해, 우리는 정확하고 tractable한 hypergraph diffusion model인 SuperHype를 제안한다. SuperHype의 핵심은 graph-superposition의 projection으로, hypergraph를 multilayer graph에 임베딩하는 새로운 representation이며, 일반화 손실 없이 tractable한 representation을 가능하게 한다. 이러한 representation으로부터 새로운 sample을 생성하기 위해, 우리는 superposition을 상호연결된 layer들의 sequence로 다루는 Graph-Superposition Transformer를 제안한다. 또한 hypergraph 특화 auxiliary feature와 간접 node interaction의 triplet aggregation으로 모델 성능을 향상시킨다. 다섯 개 dataset에 대한 평가에서 SuperHype는 일반적으로 local 및 global connectivity pattern을 state-of-the-art baseline보다 더 높은 fidelity로 재현한다.
"},{"id":"62848","en":"Uncertainty-Constrained Trustworthiness for Graph Learning","ko":"Graph Learning을 위한 불확실성 제약 신뢰성","authors":"Chunhui Zhang, Pengqi Li, Lizhong Ding, Peng Yang, Changsheng Li, Ye Yuan, Guoren Wang","pos":"#2409","link":"https://openreview.net/forum?id=cYpoB1KvWb","abs":"Graph learning has been increasingly deployed in critical and sensitive domains, raising pressing demands for trustworthiness-robustness, fairness, and beyond. However, these properties are often undermined by various perturbations, which induce distributional uncertainty and compromise the trustworthiness of graph learning. To address this, we propose DICT, a novel framework that models distributional uncertainty to achieve trustworthy graph learning. Specifically, DICT formulates a unified optimization objective that captures perturbation-induced distributional shifts in graph topology, node features, and labels, and minimizes the worst-case risk over the uncertainty set. However, directly optimizing this objective in its primal form leads to an infinite-dimensional problem. To make this problem tractable, we integrate strong duality and local Lipschitz continuity of the loss, reformulating the objective as a finite-dimensional min-max problem. We focus on robustness and fairness as primary instantiations of DICT because they are not only critical in real-world applications, but also provide transferable modeling principles for broader trustworthiness objectives. By formulating fairness in the form of an uncertainty set, DICT pioneers unified robustness and fairness within a single optimization framework. Extensive experiments across diverse benchmarks and backbones demonstrate that DICT consistently improves both robustness and fairness, validating the effectiveness and adaptability of the DICT framework.
","absKo":"Graph learning은 점점 더 중요한 민감한 도메인에 배포되고 있으며, 이에 따라 trustworthiness, robustness, fairness 등과 관련한 요구가 시급해지고 있다. 그러나 이러한 속성들은 다양한 perturbation에 의해 종종 훼손되며, 이는 distributional uncertainty를 유발하고 graph learning의 trustworthiness를 저해한다. 이를 해결하기 위해 우리는 distributional uncertainty를 모델링하여 trustworthy graph learning을 달성하는 새로운 framework인 DICT를 제안한다. 구체적으로, DICT는 graph topology, node feature, label 전반에 걸친 perturbation 유발 distributional shift를 포착하고 uncertainty set에서의 worst-case risk를 최소화하는 통합 최적화 objective를 정식화한다. 그러나 이 objective를 primal form에서 직접 최적화하면 무한차원 문제가 된다. 이 문제를 tractable하게 만들기 위해, 우리는 strong duality와 loss의 local Lipschitz continuity를 통합하여 objective를 유한차원의 min-max 문제로 재정식화한다. 우리는 robustness와 fairness를 DICT의 주요 구현 사례로 중점적으로 다루는데, 이는 실제 응용에서 중요할 뿐 아니라 더 넓은 trustworthiness objective를 위한 transferable modeling principle을 제공하기 때문이다. fairness를 uncertainty set의 형태로 정식화함으로써, DICT는 단일 최적화 framework 안에서 unified robustness와 fairness를 개척한다. 다양한 benchmark와 backbone에 걸친 광범위한 실험은 DICT가 robustness와 fairness를 모두 일관되게 향상시킴을 보여주며, DICT framework의 효과성과 적응성을 검증한다.
"},{"id":"60819","en":"Understanding Truncated Positional Encodings for Graph Neural Networks","ko":"Graph Neural Network를 위한 Truncated Positional Encoding 이해","authors":"James Flora, Mitchell Black, Weng-Keen Wong, Amir Nayyeri","pos":"#2410","link":"https://openreview.net/forum?id=wMzRWBOzmc","abs":"Positional encodings (PEs) enhance the power of graph neural networks (GNNs), both theoretically and empirically. Two of the most popular families of PEs---spectral (e.g., Laplacian eigenspaces, effective resistance) and random walk (polynomials of the adjacency matrix)---are theoretically equivalent in expressive power, and both are known to lie between the 1-WL and 3-WL tests in terms of expressivity. However, this equivalence assumes the GNN uses the \"complete'' version of these PEs, which requires $O(n^3)$ time and space complexity. Practitioners therefore commonly use truncated variants of these encodings (e.g., the first $k$ eigenspaces or powers of adjacency matrix). However, the theoretical properties of these truncated PEs are unknown. In this work, we initiate the study of these truncated PEs. Theoretically, we show that, under truncation, several families of PEs are fundamentally different in expressive power. As a corollary, we show that truncated spectral PEs are no longer stronger than the 1-WL test. We also study a family of spectral PEs, the $k$-harmonic distances, to highlight the differences in expressive power of even closely related truncated PEs. Finally, we experimentally show that a mix of truncated PEs is preferable to any single family on real-world datasets.","absKo":"Positional encoding(PE)은 이론적으로나 실증적으로 graph neural network(GNN)의 성능을 향상시킨다. 가장 널리 사용되는 두 부류의 PE, 즉 spectral PE(예: Laplacian eigenspace, effective resistance)와 random walk PE(인접 행렬의 polynomial)는 표현력 측면에서 이론적으로 동등하며, 둘 다 expressivity 면에서 1-WL test와 3-WL test 사이에 위치하는 것으로 알려져 있다. 그러나 이 동등성은 GNN이 이러한 PE의 \"complete\" 버전을 사용할 때만 성립하며, 이는 $O(n^3)$의 시간 및 공간 복잡도를 요구한다. 따라서 실무에서는 보통 이러한 encoding의 truncated variant(예: 처음 $k$개의 eigenspace 또는 인접 행렬의 거듭제곱)를 사용한다. 그러나 이러한 truncated PE의 이론적 성질은 알려져 있지 않다. 본 연구에서는 이러한 truncated PE의 연구를 시작한다. 이론적으로, truncation 하에서는 여러 PE family가 표현력에서 근본적으로 다르다는 것을 보인다. 그 결과로, truncated spectral PE가 더 이상 1-WL test보다 강하지 않음을 보인다. 또한 표현력 차이를 강조하기 위해 spectral PE의 한 family인 $k$-harmonic distance를 연구하여, 서로 밀접하게 관련된 truncated PE 사이에서도 차이가 있음을 보인다. 마지막으로, 실제 dataset에서 단일 family보다 여러 truncated PE를 혼합하는 것이 더 바람직함을 실험적으로 보인다."},{"id":"60794","en":"VDW-GNNs: Vector diffusion wavelets for geometric graph neural networks","ko":"VDW-GNNs: Geometric Graph Neural Network를 위한 Vector Diffusion Wavelet","authors":"David R Johnson, Alexander Sietsema, Rishabh Anand, Deanna Needell, Smita Krishnaswamy, Michael Perlmutter","pos":"#2412","link":"https://openreview.net/forum?id=wfRp2gkofq","abs":"We introduce vector diffusion wavelets (VDWs), a novel family of wavelets inspired by the vector diffusion maps algorithm that was introduced to analyze data lying in the tangent bundle of a Riemannian manifold. We show that these wavelets may be effectively incorporated into a family of geometric graph neural networks, which we refer to as VDW-GNNs. We demonstrate that such networks are effective on synthetic point cloud data, as well as on real-world data derived from wind-field measurements and neural activity data. Theoretically, we prove that these new wavelets have desirable frame theoretic properties, similar to traditional diffusion wavelets. Additionally, we prove that these wavelets have desirable symmetries with respect to rotations and translations.
","absKo":"우리는 vector diffusion maps algorithm에서 영감을 받은 새로운 wavelet 계열인 vector diffusion wavelet(VDW)을 소개한다. 이 algorithm은 Riemannian manifold의 tangent bundle에 놓인 data를 분석하기 위해 제안되었다. 우리는 이러한 wavelet이 VDW-GNN이라 부르는 geometric graph neural network 계열에 효과적으로 통합될 수 있음을 보인다. 또한 이러한 network가 synthetic point cloud data뿐 아니라 wind-field measurement와 neural activity data로부터 얻은 실제 데이터에서도 효과적임을 입증한다. 이론적으로는, 이러한 새로운 wavelet이 기존 diffusion wavelet과 유사한 바람직한 frame theoretic property를 가진다는 것을 증명한다. 추가로, 이러한 wavelet이 rotation과 translation에 대해 바람직한 symmetry를 가진다는 것도 증명한다.
"},{"id":"63614","en":"End-to-end Graph-structured Brain Representation Learning","ko":"종단 간 그래프 구조 뇌 표현 학습","authors":"Liang Yang, Shuai Zhai, Ziyi Ma, Jiaming Zhuo, Di Jin, Chuan Wang, Zhen Wang, Xiaochun Cao","pos":"#2500","link":"https://openreview.net/forum?id=VRJKiV0qGM","abs":"The construction of the brain functional network often follows the hand-crafted Correlation Coefficients of blood-oxygen-level-dependent (BOLD) time series without any learnable components. Meanwhile, most efforts are made to the models, such as graph neural networks, that make predictions with the constructed brain network as input. Unfortunately, the fixed brain network may lose critical information during construction and lead to difficulty in performance improvement, even with deliberately designed graph models. From this perspective, the current situation is similar to the machine learning community, i.e., hand-crafted features and learnable predictors, before the advent of representation learning. In fact, the brain network can be regarded as a graph-structured learnable representation of the brain. By drawing on representation learning, this paper presents the Brain Representation (BRep) learning problem. To this end, the widely used linear and nonlinear correlations are enhanced to be high-order, parametric, and learnable. The flexible brain representation makes the following predictor simple and leads the framework to possess an end-to-end characteristic. The framework is implemented by combining the parametric correlation and a TopK sparsification. Theoretical analysis guarantees the model's universal approximation to any U/V-statistics. Extensive evaluations demonstrate that the proposed BRep possesses superior performance, high efficiency, and interpretability. The source code is publicly available at https://anonymous.4open.science/r/BRep-demo-1A3E/
","absKo":"뇌 functional network의 구성은 종종 학습 가능한 구성요소 없이, blood-oxygen-level-dependent (BOLD) time series의 수작업 Correlation Coefficients에 의존한다. 한편, 대부분의 노력은 구성된 brain network를 입력으로 받아 예측을 수행하는 graph neural networks 같은 모델에 집중되어 있다. 그러나 고정된 brain network는 구성 과정에서 핵심 정보를 잃을 수 있으며, 아무리 정교하게 설계된 graph model이라도 성능 향상이 어려워질 수 있다. 이런 관점에서 보면, 현재 상황은 representation learning이 등장하기 전의 machine learning community, 즉 hand-crafted features와 learnable predictors를 떠올리게 한다. 사실 brain network는 뇌의 graph-structured learnable representation으로 볼 수 있다. 이러한 representation learning의 관점에서 본 논문은 Brain Representation (BRep) learning 문제를 제시한다. 이를 위해 널리 사용되는 linear 및 nonlinear correlations를 high-order, parametric, 그리고 learnable한 형태로 확장한다. 이렇게 유연한 brain representation은 이후 predictor를 단순하게 만들고, 전체 framework가 end-to-end 특성을 갖도록 한다. 이 framework는 parametric correlation과 TopK sparsification을 결합하여 구현된다. 이론적 분석은 모델이 임의의 U/V-statistics에 대해 universal approximation을 달성함을 보장한다. 광범위한 평가 결과, 제안한 BRep는 우수한 성능, 높은 효율성, 그리고 해석 가능성을 보인다. 소스 코드는 공개되어 있다: https://anonymous.4open.science/r/BRep-demo-1A3E/
"},{"id":"63688","en":"Boundary Embedding Shaping with Adaptive Contrastive Learning for Graph Structural Disentanglement","ko":"그래프 구조 분리를 위한 적응형 Contrastive Learning 기반 경계 임베딩 셰이핑","authors":"Jiaqing Chen, Zidu Yin, Yichao Cai, Yuhang Liu, Zhen Zhang, Dong Gong, Javen Qinfeng Shi","pos":"#2501","link":"https://openreview.net/forum?id=UcYG48q9Zm","abs":"Graph neural networks (GNNs) excel at aggregating neighbor information for classification, yet their performance is hindered by graph structural entanglement, where spurious correlations from semantically irrelevant neighbors contaminate node embeddings. This challenge is most acute for nodes near class boundaries in the embedding space, where amplified structural noise blurs decision boundaries and destabilizes predictions. Existing robust GNN methods largely treat all nodes uniformly, ignoring boundary vulnerabilities. In this paper, to improve classification performance, we tackle graph structural disentanglement by identifying boundary-region entanglement as the primary bottleneck and propose Boundary Embedding Shaping (BES), an adaptive contrastive learning GNN plug-in module that selectively suppresses spurious structural noise at decision boundaries with minimal model parameter perturbation. Extensive experiments demonstrate that BES consistently improves boundary discrimination and outperforms existing leading methods. Notably, BES boosts GCN performance by an average of 3.3% in node classification (up to 5.0% on WikiCS) and achieves superior accuracy in link prediction with gains most pronounced for boundary nodes.
","absKo":"Graph neural network (GNN)은 분류를 위해 이웃 정보를 집계하는 데 뛰어나지만, 의미적으로 관련 없는 이웃에서 비롯된 spurious correlation이 node embedding을 오염시키는 graph structural entanglement 때문에 성능이 저하된다. 이 문제는 embedding space에서 class boundary에 가까운 node에서 가장 심각하며, 증폭된 structural noise가 decision boundary를 흐리게 하고 예측을 불안정하게 만든다. 기존의 robust GNN 방법은 주로 모든 node를 동일하게 취급하며 boundary 취약성을 간과한다. 본 논문에서는 분류 성능을 향상시키기 위해, boundary-region entanglement를 주요 병목으로 식별하여 graph structural disentanglement를 다루고, 최소한의 model parameter perturbation으로 decision boundary에서의 spurious structural noise를 선택적으로 억제하는 adaptive contrastive learning GNN plug-in module인 Boundary Embedding Shaping (BES)을 제안한다. 광범위한 실험은 BES가 boundary discrimination을 일관되게 향상시키고 기존의 선도적 방법들을 능가함을 보여준다. 특히, BES는 node classification에서 GCN 성능을 평균 3.3% 향상시키며(WikiCS에서는 최대 5.0% 향상), link prediction에서도 더 우수한 정확도를 달성하며, 그 향상은 boundary node에서 가장 두드러진다.
"},{"id":"65739","en":"Beyond ReLU: Bifurcation, Oversmoothing, and Topological Priors","ko":"ReLU를 넘어서: 분기, 과평활화, 위상적 사전 지식","authors":"Erkan Turan, Gaspard Abel, Maysam Behmanesh, Emery Pierson, Maks Ovsjanikov","pos":"#2502","link":"https://openreview.net/forum?id=AehiGqd7go","abs":"Graph Neural Networks (GNNs) learn node representations through iterative network-based message-passing. While powerful, deep GNNs suffer from oversmoothing, where node features converge to a homogeneous, non-informative state. We re-frame this problem of representational collapse from a \\emph{bifurcation theory} perspective, characterizing oversmoothing as convergence to a stable ``homogeneous fixed point.'' Our central contribution is the theoretical discovery that this undesired stability can be broken by replacing standard monotone activations (e.g., ReLU) with a class of functions. Using Lyapunov-Schmidt reduction, we analytically prove that this substitution induces a bifurcation that destabilizes the homogeneous state and creates a new pair of stable, non-homogeneous \\emph{patterns} that provably resist oversmoothing. Our theory predicts a precise, nontrivial scaling law for the amplitude of these emergent patterns, which we quantitatively validate in experiments. Finally, we demonstrate the practical utility of our theory by deriving a closed-form, bifurcation-aware initialization and showing its utility in real benchmark experiments.
","absKo":"Graph Neural Networks (GNNs)는 반복적인 network-based message-passing을 통해 node representation을 학습한다. 강력함에도 불구하고, 깊은 GNN은 oversmoothing 문제를 겪는데, 이는 node feature가 균질하고 정보가 없는 상태로 수렴하는 현상이다. 우리는 이 representation collapse 문제를 \\emph{bifurcation theory} 관점에서 재정의하여, oversmoothing을 안정한 ``homogeneous fixed point''로의 수렴으로 규정한다. 우리의 핵심 기여는 표준 monotone activation(예: ReLU)을 함수 클래스의 다른 형태로 대체함으로써 이 바람직하지 않은 안정성을 깨뜨릴 수 있다는 이론적 발견이다. Lyapunov-Schmidt reduction을 사용하여, 이러한 치환이 homogeneous state를 불안정하게 만들고 oversmoothing에 대해 provably resistant한 새롭고 안정적인 non-homogeneous \\emph{patterns} 쌍을 생성하는 bifurcation을 유도함을 해석적으로 증명한다. 우리의 이론은 이러한 emergent pattern의 amplitude에 대한 정확하고 비자명한 scaling law를 예측하며, 이는 실험에서 정량적으로 검증된다. 마지막으로, 우리는 bifurcation-aware initialization의 closed-form을 유도하고 실제 benchmark 실험에서 그 유용성을 보임으로써 이론의 실용적 가치를 입증한다.
"},{"id":"62330","en":"Anchor-guided Hypergraph Condensation with Dual-level Discrimination","ko":"이중 수준 판별을 갖는 Anchor-guided Hypergraph Condensation","authors":"Fan Li, Xiaoyang Wang, Chen Chen, Wenjie Zhang","pos":"#2503","link":"https://openreview.net/forum?id=habrpXJ6nM","abs":"The increasing prevalence of large-scale hypergraphs poses significant computational challenges for hypergraph neural network (HNN) training. To address this, hypergraph condensation (HGC) distills large real hypergraphs into compact yet informative synthetic ones, going beyond traditional graph condensation (GC) methods limited to modeling pairwise relations. However, existing HGC methods rely on decoupled training architectures, where structure generators are pre-trained on the original hypergraph but not jointly optimized with condensed features during refinement, resulting in misaligned structures that degrade downstream utility. Moreover, trajectory-based optimization incurs substantial computational overhead in refinement, limiting condensation efficiency. To tackle these issues, we propose \\textbf{A}nchor-guided \\textbf{H}yper\\textbf{G}raph \\textbf{C}ondensation with \\textbf{D}ual-level \\textbf{D}iscrimination (\\textbf{AHGCDD}), which consists of three key components: (1) a node initialization module based on Heat Kernel PageRank (HKPR) to encode structural knowledge into feature semantics; (2) an anchor-guided hyperedge synthesis scheme based on feature-level association for joint optimization of condensed features and structure; (3) a theoretically grounded dual-level discrimination objective for utility-preserving condensation without redundant HNN training. Extensive experiments demonstrate the superior effectiveness and efficiency of AHGCDD.
","absKo":"대규모 hypergraph의 증가하는 보급은 hypergraph neural network(HNN) 학습에 심각한 계산적 도전을 제기한다. 이를 해결하기 위해 hypergraph condensation(HGC)은 대규모 실제 hypergraph를 작지만 정보가 풍부한 synthetic graph로 압축하며, pairwise relation만 다루는 전통적인 graph condensation(GC) 방법을 넘어선다. 그러나 기존 HGC 방법은 decoupled training architecture에 의존하는데, structure generator는 원본 hypergraph에서 pre-train되지만 refinement 동안 condensed feature와 함께 joint optimization되지 않아서, downstream utility를 저해하는 misaligned structure가 발생한다. 게다가 trajectory-based optimization은 refinement에서 상당한 계산 오버헤드를 유발하여 condensation 효율을 제한한다. 이러한 문제를 해결하기 위해 우리는 \\textbf{A}nchor-guided \\textbf{H}yper\\textbf{G}raph \\textbf{C}ondensation with \\textbf{D}ual-level \\textbf{D}iscrimination(\\textbf{AHGCDD)를 제안한다. 이는 세 가지 핵심 구성 요소로 이루어진다. (1) Heat Kernel PageRank(HKPR) 기반 node initialization module로 구조적 지식을 feature semantics에 인코딩하고, (2) feature-level association 기반 anchor-guided hyperedge synthesis scheme으로 condensed feature와 structure를 joint optimization하며, (3) 중복된 HNN training 없이 utility를 보존하는 condensation을 위한 이론적으로 정당화된 dual-level discrimination objective를 사용한다. 광범위한 실험은 AHGCDD의 우수한 효과성과 효율성을 입증한다.
"},{"id":"61777","en":"A Pure Hierarchical Spectral Parcellation Network for Brain Network Analysis","ko":"뇌 네트워크 분석을 위한 순수 계층적 Spectral Parcellation Network","authors":"Jiaming Zhuo, Shuai Zhai, Ziyi Ma, Kun Fu, Chuan Wang, Di Jin, Zhen Wang, Xiaochun Cao, Huazhu Fu, Liang Yang","pos":"#2504","link":"https://openreview.net/forum?id=n3ilFhSRIx","abs":"Brain network classification is pivotal for diagnosing neurological disorders, yet clinical interpretability and the identification of discriminative biomarkers fundamentally rely on precise functional parcellation. However, existing graph learning models for brain network analysis typically suffer from a critical limitation termed spectral unreachability. This stems from the widely used coupled encoder-pooling architecture, where the inherent representation smoothing property of graph encoders (including Graph Neural Networks and Graph Transformers) inevitably corrupts the high-frequency topological signals essential for delineating sharp functional boundaries. To solve this issue, the Hierarchical Spectral Parcellation Network (HiSP-Net) is proposed. Adopting a project-then-align philosophy, HiSP-Net structurally decouples partition learning from representation smoothing. Specifically, this model is constructed as a hierarchy of Spectral Parcellation blocks. Within each block, node (or module) representations are mapped directly via a topology-agnostic projection into a partition space to preserve high-frequency details, while a Topology-Aware Alignment mechanism enforces spatial coherence using a joint structural objective. Extensive evaluations on real-world datasets show the capability of HiSP-Net in achieving superior classification performance and extracting interpretable functional biomarkers. The source code is publicly available at https://anonymous.4open.science/r/HiSP-Net-demo-0F62/
","absKo":"Brain network classification은 신경학적 질환 진단에 핵심적이지만, clinical interpretability와 판별적 biomarker 식별은 본질적으로 정밀한 functional parcellation에 의존한다. 그러나 brain network 분석을 위한 기존 graph learning model은 일반적으로 spectral unreachability라는 치명적인 한계를 겪는다. 이는 널리 사용되는 coupled encoder-pooling architecture에서 비롯되며, graph encoder(Graph Neural Networks 및 Graph Transformers 포함)의 본질적인 representation smoothing 특성이 sharp functional boundary를 구분하는 데 필수적인 high-frequency topological signal을 불가피하게 훼손한다. 이 문제를 해결하기 위해 Hierarchical Spectral Parcellation Network (HiSP-Net)를 제안한다. HiSP-Net은 project-then-align 철학을 채택하여 partition learning과 representation smoothing을 구조적으로 분리한다. 구체적으로 이 모델은 Spectral Parcellation block의 계층으로 구성된다. 각 block 내부에서 node(또는 module) representation은 topology-agnostic projection을 통해 partition space로 직접 매핑되어 high-frequency detail을 보존하며, Topology-Aware Alignment mechanism은 joint structural objective를 사용해 spatial coherence를 강제한다. 실제 데이터셋에 대한 광범위한 평가에서 HiSP-Net은 우수한 classification 성능을 달성하고 해석 가능한 functional biomarker를 추출하는 능력을 보였다. 소스 코드는 https://anonymous.4open.science/r/HiSP-Net-demo-0F62/ 에서 공개되어 있다.
"},{"id":"62578","en":"Graph Neural Dynamics via Learned Energy and Tangential Flows","ko":"학습된 에너지와 접선 흐름을 이용한 Graph Neural Dynamics","authors":"Moshe Eliasof, Eldad Haber, Carola-Bibiane Schönlieb","pos":"#3312","link":"https://openreview.net/forum?id=fOpKd5S9Bw","abs":"We introduce TANGO -- a dynamical systems inspired framework for graph representation learning that governs node feature evolution through a learned energy landscape and its associated descent dynamics. At the core of our approach is a learnable Lyapunov function over node embeddings, whose gradient defines an energy non-increasing direction that guarantees stability. To enhance flexibility while preserving the benefits of energy-based dynamics, we incorporate a novel tangential component, learned via message passing, that evolves features while maintaining the energy value. This decomposition into orthogonal flows of energy gradient descent and tangential evolution yields a flexible form of graph dynamics, and enables effective signal propagation even in flat or ill-conditioned energy regions, that often appear in graph learning. Our method is designed to help alleviate oversquashing, and is compatible with different graph neural network backbones. Empirically, TANGO achieves strong performance across a diverse set of node and graph classification and regression benchmarks, demonstrating the effectiveness of jointly learned energy functions and tangential flows for graph neural networks.
","absKo":"우리는 TANGO를 소개한다. 이는 graph representation learning을 위한 dynamical systems에서 영감을 받은 framework로, 학습된 energy landscape와 그에 대응하는 descent dynamics를 통해 node feature의 진화를 제어한다. 이 접근의 핵심은 node embedding 위에서 정의되는 learnable Lyapunov function이며, 그 gradient는 energy가 감소하는 방향을 정의하여 stability를 보장한다. energy-based dynamics의 장점을 유지하면서 유연성을 높이기 위해, 우리는 message passing으로 학습되는 새로운 tangential component를 도입하여 energy 값을 유지한 채 feature를 진화시킨다. energy gradient descent와 tangential evolution의 직교하는 flow로의 이러한 분해는 유연한 graph dynamics 형태를 제공하며, graph learning에서 자주 나타나는 평탄하거나 ill-conditioned한 energy region에서도 효과적인 signal propagation을 가능하게 한다. 우리의 방법은 oversquashing 완화에 도움을 주도록 설계되었으며, 다양한 graph neural network backbone과 호환된다. 실험적으로 TANGO는 node 및 graph classification과 regression benchmark 전반에서 강력한 성능을 달성하여, jointly learned energy function과 tangential flow가 graph neural network에 효과적임을 보여준다.
"},{"id":"62688","en":"Fast Mixture of Curvature-Aware Experts for Diverse and Dynamic Graph Topologies","ko":"다양하고 동적인 그래프 위상을 위한 곡률 인지 전문가의 빠른 혼합","authors":"Jiayi Yang, Xing Wei, Chunchun Chen, Yi Feng, Wengang Guo, Rui Fan, Xiaofeng Cao, Xin Sun, Wei Ye","pos":"#3314","link":"https://openreview.net/forum?id=eIZlhnkH2W","abs":"Dynamic graph learning, which focuses on modeling the merging, vanishing, and reconnection of nodes and edges, is crucial for real-world applications. In dynamic graphs, node neighborhoods often exhibit diverse and time-evolving topologies, including hierarchical, grid-like, and cyclic patterns. Existing methods typically embed graphs into a single curvature space, which limits the quality of node representations when the embedding geometry is not aligned well with the local graph topology. In this paper, we propose DyGMoCE, a Dynamic Graph Transformer with a Mixture of Curvature-aware Experts, which efficiently embeds each node at every timestamp into an adaptive curvature space. Specifically, DyGMoCE incorporates a mixture-of-experts framework to both the attention and feed-forward modules, where each expert operates on a Riemannian manifold with a distinct curvature. Then, motivated by the geometric continuity across the experts, we introduce a routing mechanism with a ranking constraint. To improve efficiency, we design a mathematically equivalent fast Riemannian attention module, achieving an average speedup of 26.3% and memory reduction of 52.0% for DyGMoCE. Notably, the fast Riemannian attention module is broadly applicable to Transformer models with sequence inputs. Extensive experimental results show that DyGMoCE significantly outperforms other state-of-the-art methods.
","absKo":"Dynamic graph learning은 노드와 엣지의 merging, vanishing, reconnection을 모델링하는 데 초점을 두며, 실제 응용에서 매우 중요하다. Dynamic graph에서는 노드의 neighborhood가 hierarchical, grid-like, cyclic 패턴을 포함해 다양하고 시간에 따라 변화하는 topology를 보이는 경우가 많다. 기존 방법들은 일반적으로 graph를 단일 curvature space에 임베딩하는데, 이 경우 임베딩 기하가 local graph topology와 잘 맞지 않으면 node representation의 품질이 제한된다. 본 논문에서는 각 timestamp에서 각 노드를 adaptive curvature space에 효율적으로 임베딩하는 DyGMoCE, 즉 Dynamic Graph Transformer with a Mixture of Curvature-aware Experts를 제안한다. 구체적으로 DyGMoCE는 attention과 feed-forward 모듈 모두에 mixture-of-experts 프레임워크를 도입하며, 각 expert는 서로 다른 curvature를 갖는 Riemannian manifold에서 동작한다. 이어서 expert들 사이의 geometric continuity에 착안하여 ranking constraint를 갖는 routing mechanism을 제안한다. 효율성을 높이기 위해 수학적으로 동등한 fast Riemannian attention module을 설계했으며, 이를 통해 DyGMoCE는 평균 26.3%의 속도 향상과 52.0%의 메모리 감소를 달성한다. 특히 fast Riemannian attention module은 sequence input을 사용하는 Transformer 모델 전반에 폭넓게 적용 가능하다. 광범위한 실험 결과, DyGMoCE는 다른 state-of-the-art 방법들을 크게 능가함을 보인다.
"},{"id":"63296","en":"Learning to Execute Graph Algorithms Exactly with Graph Neural Networks","ko":"그래프 신경망으로 그래프 알고리즘을 정확하게 실행하는 학습","authors":"Muhammad Fetrat Qharabagh, Artur Back de Luca, George Giapitzakis, Kimon Fountoulakis","pos":"#4613","link":"https://openreview.net/forum?id=YKEmoqwkE9","abs":"Understanding what graph neural networks can learn, especially their ability to learn to execute algorithms, remains a central theoretical challenge. In this work, we prove exact learnability results for graph algorithms under bounded-degree and finite-precision constraints. Our approach follows a two-step process. First, we train an ensemble of multi-layer perceptrons (MLPs) to execute the local instructions of a single node. Second, during inference, we use the trained MLP ensemble as the update function within a graph neural network (GNN). Leveraging Neural Tangent Kernel (NTK) theory, we show that local instructions can be learned from a small training set, enabling the complete graph algorithm to be executed during inference without error and with high probability. To illustrate the learning power of our setting, we establish a rigorous learnability result for the \\textsc{LOCAL} model of distributed computation. We further demonstrate positive learnability results for widely studied algorithms such as message flooding, breadth-first and depth-first search, and Bellman-Ford.
","absKo":"graph neural network가 무엇을 학습할 수 있는지, 특히 알고리즘을 실행하도록 학습할 수 있는 능력은 여전히 핵심적인 이론적 과제이다. 본 연구에서는 bounded-degree와 finite-precision 제약 하에서 graph algorithm에 대한 exact learnability 결과를 증명한다. 우리의 접근법은 두 단계 과정으로 진행된다. 먼저, 하나의 node에 대한 local instruction을 실행하도록 multi-layer perceptron (MLP) ensemble을 학습한다. 둘째, inference 단계에서 학습된 MLP ensemble을 graph neural network (GNN)의 update function으로 사용한다. Neural Tangent Kernel (NTK) 이론을 활용하여, local instruction이 작은 training set으로부터 학습될 수 있음을 보이며, 이로써 전체 graph algorithm이 inference 중 오류 없이 높은 확률로 실행될 수 있음을 보인다. 우리가 설정한 학습 가능성의 힘을 보여주기 위해, 분산 계산의 \\textsc{LOCAL} model에 대한 엄밀한 learnability 결과를 확립한다. 또한 message flooding, breadth-first search, depth-first search, Bellman-Ford와 같이 널리 연구된 알고리즘들에 대해서도 긍정적인 learnability 결과를 보인다.
"},{"id":"65254","en":"EquiCAD: A Geometric Equivariant Neural Network for 3D Shape Classification","ko":"EquiCAD: 3D 형상 분류를 위한 기하학적 Equivariant Neural Network","authors":"Yonghao Su, Yantao Gan, Junfeng Long, Caiyang Yu, Wenhao Zheng, Xianggen Liu, Jiancheng Lv","pos":"#4619","link":"https://openreview.net/forum?id=FK2SZbz1YE","abs":"Three-dimensional (3D) shape classification plays a central role in computer vision and computer-aided design (CAD), underpinning applications in intelligent manufacturing, automated inspection, and digital engineering. Despite recent progress with 3D CNNs and graph-based approaches, existing methods often overlook the geometric-topological regularities and symmetry principles intrinsic to CAD boundary representations (B-reps). To address this challenge, we introduce EquiCAD, a symmetry-aware learning framework that integrates equivariant representations with graph-based reasoning. By leveraging group-theoretic decomposition of curve and surface descriptors, EquiCAD enforces consistent $SO(3)/O(3)$-equivariance while preserving rich geometric details. The model further exploits hierarchical message passing to capture interactions between local features and global structure. Experimental results across multiple datasets, including SolidLetters, Parts, the Machining Feature benchmark, and our newly constructed Features dataset, demonstrate substantial improvements over prior state-of-the-art approaches, particularly on industrially relevant shapes with fine-grained attributes. These findings highlight the value of symmetry-aware modeling for robust and generalizable 3D shape analysis.","absKo":"Three-dimensional (3D) shape classification은 computer vision과 computer-aided design (CAD)에서 중심적인 역할을 하며, intelligent manufacturing, automated inspection, digital engineering 같은 응용을 뒷받침한다. 최근 3D CNNs와 graph-based approaches의 진전에도 불구하고, 기존 방법들은 CAD boundary representations (B-reps)에 내재된 geometric-topological regularities와 symmetry principles를 종종 간과한다. 이 도전을 해결하기 위해, 우리는 equivariant representations와 graph-based reasoning을 통합한 symmetry-aware learning framework인 EquiCAD를 제안한다. curve와 surface descriptors의 group-theoretic decomposition을 활용하여, EquiCAD는 풍부한 geometric details를 보존하면서도 일관된 $SO(3)/O(3)$-equivariance를 강제한다. 또한 이 모델은 hierarchical message passing을 활용하여 local features와 global structure 사이의 상호작용을 포착한다. SolidLetters, Parts, Machining Feature benchmark, 그리고 새롭게 구축한 Features dataset을 포함한 여러 datasets에 대한 실험 결과는, 특히 세밀한 속성을 지닌 산업적으로 중요한 shapes에서 prior state-of-the-art approaches 대비 상당한 개선을 보여준다. 이러한 결과는 robust하고 generalizable한 3D shape analysis를 위해 symmetry-aware modeling이 갖는 가치를 강조한다."},{"id":"61427","en":"Is Vibe Coding Safe? Benchmarking Vulnerability of Agent-Generated Code in Real-World Tasks","ko":"Vibe Coding은 안전한가? 실제 과제에서 Agent-Generated Code의 취약성 벤치마킹","authors":"Songwen Zhao, Danqing Wang, Kexun Zhang, Jiaxuan Luo, Zhuo Li, Lei Li","pos":"#2106","link":"https://openreview.net/forum?id=qG8g00zRZa","abs":"Vibe coding is a new programming paradigm in which human engineers instruct large language model (LLM) agents to complete complex coding tasks with little supervision. Although it is increasingly adopted, are vibe coding outputs really safe to deploy in production? To answer this question, we propose SUSVIBES, a benchmark consisting of 200 feature-request software engineering tasks from real-world open-source projects, which, when given to human programmers, led to vulnerable implementations. We evaluate multiple widely used coding agents with frontier models on this benchmark. Disturbingly, all agents perform poorly in terms of software security. Although 61% of the solutions from SWE-Agent with Claude 4 Sonnet are functionally correct, only 10.5% are secure. Further experiments demonstrate that preliminary security strategies, such as augmenting the feature request with vulnerability hints, cannot mitigate these security issues. Our findings raise serious concerns about the widespread adoption of vibe-coding, particularly in security-sensitive applications.
","absKo":"Vibe coding은 인간 엔지니어가 대규모 언어 모델(LLM) 에이전트에게 복잡한 코딩 작업을 거의 감독 없이 완료하도록 지시하는 새로운 프로그래밍 패러다임이다. 점점 더 널리 채택되고 있지만, vibe coding의 결과물이 정말로 프로덕션에 배포하기에 안전할까? 이 질문에 답하기 위해 우리는 SUSVIBES를 제안한다. SUSVIBES는 실제 오픈소스 프로젝트에서 가져온 200개의 기능 요청 소프트웨어 공학 태스크로 구성된 benchmark이며, 인간 프로그래머가 이를 수행했을 때 취약한 구현으로 이어졌던 사례들이다. 우리는 frontier model을 사용하는 여러 널리 쓰이는 coding agent들을 이 benchmark에서 평가한다. 우려스럽게도, 모든 agent가 소프트웨어 보안 측면에서 낮은 성능을 보인다. SWE-Agent와 Claude 4 Sonnet을 사용한 해법의 61%는 기능적으로는 정답이지만, 안전한 것은 10.5%에 불과하다. 추가 실험은 기능 요청에 vulnerability hints를 덧붙이는 것과 같은 예비적인 보안 전략으로는 이러한 보안 문제를 완화할 수 없음을 보여준다. 우리의 발견은 특히 보안에 민감한 애플리케이션에서 vibe-coding의 광범위한 채택에 대해 심각한 우려를 제기한다.
"},{"id":"62067","en":"Proact-VL: A Proactive VideoLLM for Real-Time AI Companions","ko":"Proact-VL: 실시간 AI Companion를 위한 Proactive VideoLLM","authors":"Weicai Yan, Yuhong Dai, Qi Ran, Haodong Li, Wang Lin, Hao Liao, Xing Xie, Tao Jin, Jianxun Lian","pos":"#4625","link":"https://openreview.net/forum?id=k9PKgV0L4C","abs":"Proactive and real-time interactive experiences are essential for human-like AI companions, yet face three key challenges: (1) achieving low-latency inference under continuous streaming inputs, (2) autonomously deciding when to respond, and (3) controlling both quality and quantity of generated content to meet real-time constraints. In this work, we instantiate AI companions through two gaming scenarios—commentator and guide—selected for their suitability for automatic evaluation. We introduce the \\textbf{Live Gaming Benchmark}, a large-scale dataset with three representative scenarios: solo commentary, co-commentary, and user guidance, and present \\textbf{Proact-VL}, a general framework that shapes multimodal language models into proactive, real-time interactive agents capable of human-like environment perception and interaction. Extensive experiments show Proact-VL achieves superior response latency and quality while maintaining strong video understanding capabilities, demonstrating its practicality for real-time interactive applications. Code is available at https://anonymous.4open.science/r/Proact-VL-8699/.
","absKo":"사람 같은 AI companion을 위해서는 proactive하고 real-time인 interactive experience가 필수적이지만, (1) continuous streaming input 하에서 low-latency inference를 달성하는 것, (2) 언제 응답할지 자율적으로 결정하는 것, (3) real-time 제약을 만족하도록 생성 콘텐츠의 quality와 quantity를 모두 제어하는 것이라는 세 가지 핵심 과제가 존재한다. 본 연구에서는 자동 평가에 적합하다는 이유로 선택한 두 가지 게임 시나리오, 즉 commentator와 guide를 통해 AI companion을 구현한다. 우리는 세 가지 대표 시나리오인 solo commentary, co-commentary, user guidance로 구성된 대규모 데이터셋인 \\textbf{Live Gaming Benchmark}를 소개하고, multimodal language model을 사람 같은 environment perception과 interaction이 가능한 proactive, real-time interactive agent로 변환하는 일반 프레임워크인 \\textbf{Proact-VL}을 제시한다. 광범위한 실험 결과, Proact-VL은 강력한 video understanding 능력을 유지하면서도 더 우수한 response latency와 quality를 달성하여, real-time interactive application에서의 실용성을 입증한다. 코드는 https://anonymous.4open.science/r/Proact-VL-8699/ 에서 제공된다.
"},{"id":"61133","en":"ParamMem: Augmenting Language Agents with Parametric Reflective Memory","ko":"ParamMem: Parametric Reflective Memory로 Language Agent 증강","authors":"Tianjun Yao, Yongqiang Chen, Yujia Zheng, Pan Li, Zhiqiang Shen, Kun Zhang","pos":"#2004","link":"https://openreview.net/forum?id=tNosQdV9J1","abs":"Self-reflection enables language agents to iteratively refine solutions, yet often produces repetitive outputs that limit reasoning performance. Recent studies have attempted to address this limitation through various approaches, among which increasing reflective diversity has shown promise. Our empirical analysis reveals a strong positive correlation between reflective diversity and task success, further motivating the need for diverse reflection signals. We introduce ParamMem, a parametric memory module that encodes cross-sample reflection patterns into model parameters, enabling diverse reflection generation through temperature-controlled sampling. Building on this module, we propose ParamAgent, a reflection-based agent framework that integrates parametric memory with episodic and cross-sample memory. Extensive experiments on code generation, mathematical reasoning, and multi-hop question answering demonstrate consistent improvements over state-of-the-art baselines. Further analysis reveals that ParamMem is sample-efficient, enables weak-to-strong transfer across model scales, and supports self-improvement without reliance on stronger external model, highlighting the potential of ParamMem as an effective component for enhancing language agents.
Self-reflection은 language agent가 solution을 반복적으로 정제할 수 있게 하지만, 종종 반복적인 출력을 생성하여 reasoning 성능을 제한한다. 최근 연구들은 다양한 접근을 통해 이 한계를 해결하려고 시도했으며, 그중 reflective diversity를 높이는 방법이 유망함을 보였다. 우리의 실증 분석은 reflective diversity와 task success 사이에 강한 양의 상관관계가 있음을 보여주며, 다양한 reflection signal의 필요성을 더욱 뒷받침한다. 우리는 샘플 간 reflection pattern을 모델 parameter에 인코딩하여 temperature-controlled sampling을 통해 다양한 reflection 생성을 가능하게 하는 parametric memory module인 ParamMem을 소개한다. 이 module을 바탕으로, parametric memory를 episodic memory 및 cross-sample memory와 통합한 reflection-based agent framework인 ParamAgent를 제안한다. code generation, mathematical reasoning, multi-hop question answering에 대한 대규모 실험은 state-of-the-art baseline에 비해 일관된 성능 향상을 보여준다. 추가 분석은 ParamMem이 sample-efficient하며, model scale 간 weak-to-strong transfer를 가능하게 하고, 더 강한 외부 model에 의존하지 않고 self-improvement를 지원함을 보여주어, language agent를 향상시키는 효과적인 구성요소로서 ParamMem의 잠재력을 강조한다.
Identifying and estimating causal relationships from data is an important component of the scientific research process because it enables researchers to understand how variables affect one another. While large language models (LLMs) show potential for assisting research workflows, their ability to perform causal inference in empirical studies remains underexplored, despite the importance of causality in domains such as medicine and public policy. To address this gap, we introduce CauSciBench, a benchmark for evaluating LLMs' ability to perform end-to-end causal inference autonomously to answer causal questions that arise in empirical research. CauSciBench contains over 300 evaluation tasks derived from real-world studies across multiple disciplines, synthetic scenarios, and textbook datasets. Prior causal inference benchmarks primarily evaluate whether LLMs can implement user-specified methods. In contrast, CauSciBench evaluates performance across the full causal analysis pipeline, including variable selection, method selection, causal effect estimation, and statistical interpretation. We evaluate seven frontier models using several test-time scaling strategies, including Chain-of-Thought, Program-of-Thought, and ReAct. Results show a clear performance gap between real-world and synthetic settings, highlighting limitations in current agentic capabilities for data-driven causal analysis.
","absKo":"데이터로부터 causal relationship을 식별하고 추정하는 일은 변수들이 서로에 어떤 영향을 주는지 연구자가 이해할 수 있게 해 주므로 과학 연구 과정의 중요한 구성 요소이다. large language models (LLMs)은 research workflow를 보조할 잠재력을 보이지만, causality가 medicine과 public policy 같은 분야에서 중요함에도 불구하고, empirical studies에서 causal inference를 수행하는 능력은 아직 충분히 탐구되지 않았다. 이 격차를 해소하기 위해 우리는 CauSciBench를 소개한다. 이는 empirical research에서 발생하는 causal questions에 답하기 위해 LLMs가 end-to-end causal inference를 자율적으로 수행하는 능력을 평가하는 benchmark이다. CauSciBench는 다양한 학문 분야의 실제 연구, synthetic scenario, textbook dataset에서 파생된 300개 이상의 evaluation task를 포함한다. 기존 causal inference benchmark는 주로 LLMs가 사용자가 지정한 방법을 구현할 수 있는지 평가했다. 반면 CauSciBench는 variable selection, method selection, causal effect estimation, statistical interpretation을 포함한 전체 causal analysis pipeline 전반의 성능을 평가한다. 우리는 Chain-of-Thought, Program-of-Thought, ReAct를 포함한 여러 test-time scaling strategy를 사용하여 seven frontier models를 평가한다. 결과는 실제 세계 설정과 synthetic 설정 사이의 뚜렷한 성능 격차를 보여 주며, 데이터 기반 causal analysis를 위한 현재 agentic capability의 한계를 부각한다.
"},{"id":"62782","en":"Trust Region Masking for Long-Horizon LLM Reinforcement Learning","ko":"장기 Horizon LLM Reinforcement Learning을 위한 Trust Region Masking","authors":"Yingru Li, Jiacai Liu, Jiawei Xu, Yuxuan Tong, Ziniu Li, Baoxiang Wang","pos":"#1803","link":"https://openreview.net/forum?id=dPaBOu0Xwk","abs":"Policy gradient methods for Large Language Models (LLMs) optimize a policy $\\pi_\\theta$ via a surrogate objective computed from samples of a rollout policy $\\pi_{\\text{roll}}$. However, modern LLM-RL pipelines suffer from unavoidable implementation divergences—such as backend discrepancies, Mixture-of-Experts routing discontinuities, and distributed training staleness. These factors cause an off-policy mismatch ($\\pi_{\\text{roll}} \\neq \\pi_\\theta$), leading to approximation errors between the surrogate and true objectives, often precipitating training collapse. We demonstrate that classical trust region bounds on this error scale as $O(T^2)$ with sequence length $T$, rendering them vacuous for long-horizon tasks. To address this, we derive two tighter bounds: a *Pinsker-Marginal* bound scaling as $O(T^{3/2})$ and a *Mixed* bound scaling as $O(T)$. Crucially, both bounds depend on $\\mathcal{D}_{\\text{KL}}^{\\max}$—the maximum token-level KL divergence across the sequence. As this is a *sequence-level* quantity, it cannot be controlled by token-independent methods like PPO clipping. We propose Trust Region Masking (TRM), which masks entire sequences that violate the trust region. TRM theoretically provides the first non-vacuous monotonic improvement guarantees and empirically improves training stability for long-horizon LLM-RL.","absKo":"Large Language Model (LLM)을 위한 policy gradient 방법은 rollout policy $\\pi_{\\text{roll}}$의 sample로부터 계산된 surrogate objective를 통해 policy $\\pi_\\theta$를 최적화한다. 그러나 현대의 LLM-RL pipeline은 backend discrepancy, Mixture-of-Experts routing discontinuity, distributed training staleness와 같은 피할 수 없는 implementation divergence를 겪는다. 이러한 요인들은 off-policy mismatch ($\\pi_{\\text{roll}} \\neq \\pi_\\theta$)를 일으켜 surrogate와 true objective 사이에 approximation error를 유발하고, 이는 종종 training collapse로 이어진다. 우리는 이러한 error에 대한 classical trust region bound가 sequence length $T$에 대해 $O(T^2)$로 스케일함을 보이며, long-horizon task에서는 사실상 무의미해짐을 보인다. 이를 해결하기 위해 우리는 두 개의 더 타이트한 bound를 유도한다. 하나는 $O(T^{3/2})$로 스케일하는 *Pinsker-Marginal* bound이고, 다른 하나는 $O(T)$로 스케일하는 *Mixed* bound이다. 핵심적으로, 두 bound 모두 sequence 전체에 걸친 token-level KL divergence의 최댓값인 $\\mathcal{D}_{\\text{KL}}^{\\max}$에 의존한다. 이는 *sequence-level* quantity이므로, PPO clipping처럼 token-independent한 방법으로는 제어할 수 없다. 우리는 trust region을 위반하는 전체 sequence를 masking하는 Trust Region Masking (TRM)을 제안한다. TRM은 이론적으로 최초의 non-vacuous monotonic improvement guarantee를 제공하며, 실험적으로 long-horizon LLM-RL의 training stability를 향상시킨다."},{"id":"60688","en":"TarGATE: Target-Aware Data Selection via Token-Attenuation Gates","ko":"TarGATE: Token-Attenuation Gate를 통한 Target-Aware Data Selection","authors":"Xiandi Luo, Shiwei Li, Haozhao Wang, Yihao Ouyang, Zhuoqi Hu, Yichen Li, Xiao Yang, Huning Liu, Ruixuan Li","pos":"#1904","link":"https://openreview.net/forum?id=xaqSrbGpPN","abs":"Targeted instruction tuning requires selecting pertinent samples from massive mixed candidate datasets guided by a small reference dataset reflecting the desired capability, yet efficiently identifying high-quality data amidst noise remains challenging. To address this, we propose TarGATE (Target-aware GATEs, a simple yet effective data selection framework that leverages the model's inherent data understanding. TarGATE computes a token-level Information Retention Ratio (IRR) to scale the output of the feed-forward network, where the instance-level average IRR serves as a quantitative metric for data quality. To align gates' preferences with the target task, we employ a joint optimization strategy utilizing the reference set and a subset of candidate data, which encourages the gates to assign higher IRRs to reference-aligned data while suppressing low-quality samples. Extensive experiments across noisy and real-world scenarios demonstrate that TarGATE outperforms related baselines. Furthermore, TarGATE exhibits superior computational efficiency and strong cross-model transferability, enabling smaller selector to effectively curate high-quality fine-tuning data for larger foundation models. The code is available at here.
","absKo":"Targeted instruction tuning은 원하는 능력을 반영하는 작은 reference dataset의 지도를 받아 대규모 mixed candidate datasets에서 적절한 샘플을 선별해야 하지만, 잡음 속에서 고품질 데이터를 효율적으로 식별하는 것은 여전히 어렵다. 이를 해결하기 위해 우리는 모델이 본래 지닌 data understanding을 활용하는 간단하지만 효과적인 data selection framework인 TarGATE (Target-aware GATEs)를 제안한다. TarGATE는 token-level Information Retention Ratio (IRR)를 계산해 feed-forward network의 출력을 스케일링하며, instance-level 평균 IRR은 data quality를 정량화하는 metric으로 사용된다. gates의 선호를 target task와 정렬하기 위해, reference set과 candidate data의 일부를 활용하는 joint optimization strategy를 채택하여 gates가 reference와 정렬된 data에는 더 높은 IRR을 할당하고 저품질 샘플은 억제하도록 유도한다. 잡음 환경과 실제 환경 전반에 걸친 광범위한 실험은 TarGATE가 관련 baseline보다 우수함을 보여준다. 더 나아가 TarGATE는 뛰어난 계산 효율성과 강한 cross-model transferability를 보이며, 더 작은 selector가 더 큰 foundation model을 위한 고품질 fine-tuning data를 효과적으로 선별할 수 있게 한다. 코드는 here에서 확인할 수 있다.
"},{"id":"63090","en":"T$^2$PO: Uncertainty-Guided Exploration Control for Stable Multi-Turn Agentic Reinforcement Learning","ko":"T$^2$PO: 안정적인 다중 턴 에이전트 강화학습을 위한 불확실성 유도 탐색 제어","authors":"Haixin Wang, Hejie Cui, Chenwei Zhang, Jiahui Gao, Shuowei Jin, Shijie Geng, Xinyang Zhang, Nasser Zalmout, Zhenyu Shi, Yizhou Sun","pos":"#1905","link":"https://openreview.net/forum?id=aD1zjvdJN4","abs":"Recent progress in multi-turn reinforcement learning (RL) has significantly improved reasoning LLMs' performances on complex interactive tasks. Despite advances in stabilization techniques such as fine-grained credit assignment and trajectory filtering, instability remains pervasive and often leads to training collapse. We argue that this instability stems from inefficient exploration in multi-turn settings, where policies continue to generate low-information actions that neither reduce uncertainty nor advance task progress. To address this issue, we propose Token- and Turn-level Policy Optimization (T$^2$PO), an uncertainty-aware framework that explicitly controls exploration at fine-grained levels. At the token level, T$^2$PO monitors uncertainty dynamics and triggers a thinking intervention once the marginal uncertainty change falls below a threshold. At the turn level, T$^2$PO identifies interactions with negligible exploration progress and dynamically resamples such turns to avoid wasted rollouts. We evaluate T$^2$PO in diverse environments, including WebShop, ALFWorld, and Search QA, demonstrating substantial gains in training stability and performance improvements with better exploration efficiency. Code is available at https://anonymous.4open.science/r/T2PO-ICML-3C21.","absKo":"최근 multi-turn reinforcement learning (RL)의 진전은 복잡한 interactive task에서 reasoning LLM의 성능을 크게 향상시켰다. 세분화된 credit assignment와 trajectory filtering 같은 stabilization 기법의 발전에도 불구하고, instability는 여전히 널리 퍼져 있으며 종종 training collapse로 이어진다. 우리는 이러한 instability가 multi-turn 설정에서의 비효율적인 exploration에서 비롯된다고 주장한다. 즉, policy가 uncertainty를 줄이거나 task progress를 진전시키지 못하는 low-information action을 계속 생성한다는 것이다. 이 문제를 해결하기 위해 우리는 fine-grained level에서 exploration을 명시적으로 제어하는 uncertainty-aware framework인 Token- and Turn-level Policy Optimization (T$^2$PO)을 제안한다. token 수준에서 T$^2$PO는 uncertainty dynamics를 모니터링하고 marginal uncertainty 변화가 threshold 아래로 떨어지면 thinking intervention을 유발한다. turn 수준에서 T$^2$PO는 exploration progress가 미미한 interaction을 식별하고, 낭비되는 rollout을 피하기 위해 그러한 turn을 동적으로 resample한다. 우리는 WebShop, ALFWorld, Search QA를 포함한 다양한 환경에서 T$^2$PO를 평가하여, training stability의 상당한 향상과 더 나은 exploration efficiency를 통한 성능 개선을 보인다. 코드는 https://anonymous.4open.science/r/T2PO-ICML-3C21 에서 제공된다."},{"id":"63563","en":"SAGE: Shaping Anchors for Guided Exploration in RLVR of LLMs","ko":"SAGE: LLM의 RLVR에서 유도 탐색을 위한 앵커 형성","authors":"Chanuk Lee, Minki Kang, Sung Ju Hwang","pos":"#1913","link":"https://openreview.net/forum?id=VzRUI5ZVkp","abs":"Recent studies observe that reinforcement learning with verifiable rewards (RLVR) reliably improves pass@1 on reasoning tasks, yet often fails to yield comparable gains in pass@k, raising the question of whether RLVR genuinely enables large language models to acquire novel reasoning abilities or merely enhances the efficiency of sampling reasoning modes already present in the base model. Prior analyses largely support the latter view, attributing this limitation to structural properties of standard RLVR objectives that result in insufficient exploration pressure. In this work, we argue that a central structural constraint arises from reverse-KL regularization, which stabilizes training but inherently anchors the policy to the reference distribution, thereby suppressing the emergence of alternative reasoning modes. However, we show that neither removing the KL term nor replacing it with forward-KL provides a satisfactory solution, as both disrupt the efficiency–coverage trade-off by either inducing reward hacking or allocating probability mass to off-target regions. To resolve this tension, we propose SAGE, a principled framework that enables controllable empirical support expansion by reshaping the reverse-KL anchor distribution itself through a guide function $q(x,y)$, achieving consistent improvements in both pass@1 and pass@k across challenging mathematical reasoning benchmarks.","absKo":"최근 연구들은 verifiable rewards를 사용하는 reinforcement learning(RLVR)이 reasoning task의 pass@1을 안정적으로 개선한다는 점을 관찰했지만, pass@k에서는 비슷한 수준의 향상을 보이지 못하는 경우가 많아, RLVR이 실제로 large language model이 새로운 reasoning 능력을 획득하게 하는지, 아니면 base model에 이미 존재하던 reasoning mode를 더 효율적으로 샘플링하도록 만드는지에 대한 의문을 제기한다. 기존 분석들은 대체로 후자의 관점을 지지하며, 이러한 한계를 충분한 exploration pressure를 만들어내지 못하는 표준 RLVR objective의 구조적 성질에 기인한다고 설명한다. 본 연구에서는 중심적인 구조적 제약이 reverse-KL regularization에서 비롯된다고 주장한다. reverse-KL regularization은 training을 안정화하지만, policy를 reference distribution에 본질적으로 고정시켜 대안적 reasoning mode의 출현을 억제한다. 그러나 우리는 KL term을 제거하거나 forward-KL로 대체하는 것 모두 만족스러운 해결책이 아님을 보인다. 두 방식 모두 reward hacking을 유발하거나 목표와 어긋난 영역에 probability mass를 할당함으로써 efficiency–coverage trade-off를 깨뜨리기 때문이다. 이러한 긴장을 해결하기 위해, 우리는 guide function $q(x,y)$를 통해 reverse-KL anchor distribution 자체를 재형성함으로써 empirical support expansion을 제어 가능하게 만드는 principled framework인 SAGE를 제안한다. SAGE는 어려운 mathematical reasoning benchmark 전반에서 pass@1과 pass@k 모두에서 일관된 향상을 달성한다."},{"id":"64568","en":"OnePO: Direct One-stage Policy Optimization for SFT-free Domain Adaptation","ko":"OnePO: SFT 없는 도메인 적응을 위한 직접 One-stage Policy Optimization","authors":"Junying Chen, Xinyuan Xie, Ziniu Li, Benyou Wang","pos":"#2001","link":"https://openreview.net/forum?id=M8eyUQldfx","abs":"Domain adaptation transforms general-purpose LLMs into specialized experts for specific domains or tasks. This process typically follows a two-stage recipe: first, Supervised Fine-Tuning (SFT) to inject domain knowledge or induce specific behaviors (e.g., reasoning patterns), followed by Reinforcement Learning (RL) for self-improvement. However, does RL truly require a pre-SFT as cold-start phase? We argue that pre-SFT is inherently problematic: (1) it indiscriminately reinforces knowledge and behaviors from references regardless of whether the LLM has already acquired them, leading to distribution contraction that constrains subsequent exploration; (2) it introduces substantial overhead in multi-stage training and data curation. While our pilot studies reveal that, without pre-SFT, RL struggles to acquire off-policy knowledge from scratch, we bridge this gap with One-stage Policy Optimization (OnePO). OnePO is an SFT-free paradigm that enables LLMs to selectively internalize off-policy knowledge and behaviors directly during RL evolution. Crucially, we design an Adaptive Objective Evolution mechanism for rapid knowledge injection and a Teacher Retirement mechanism that prevents off-policy anchoring. Experiments demonstrate that OnePO successfully transforms the Qwen3-8B-Base model into a high-performance medical LLM in one RL stage, achieving competitive performance on HealthBench (67.2) and other benchmarks using only 20K samples. This highlights SFT-free RL can efficiently cultivate domain experts without the need for traditional multi-stage pipelines.
","absKo":"도메인 적응은 범용 LLM을 특정 도메인이나 과제에 특화된 전문가로 변환한다. 이 과정은 보통 두 단계 레시피를 따른다. 먼저 Supervised Fine-Tuning (SFT)으로 도메인 지식을 주입하거나 특정 행동(예: 추론 패턴)을 유도하고, 그다음 Reinforcement Learning (RL)으로 자기개선을 수행한다. 그러나 RL이 정말 cold-start 단계로서 pre-SFT를 필요로 하는가? 우리는 pre-SFT가 본질적으로 문제적이라고 주장한다. (1) LLM이 이미 획득했는지 여부와 상관없이 참조에서의 지식과 행동을 무차별적으로 강화하여, 이후 탐색을 제약하는 distribution contraction을 유발한다. (2) 다단계 학습과 데이터 큐레이션에서 상당한 오버헤드를 초래한다. 우리의 pilot study는 pre-SFT 없이 RL이 scratch에서 off-policy 지식을 습득하는 데 어려움을 겪음을 보여주지만, 우리는 One-stage Policy Optimization (OnePO)로 이 격차를 메운다. OnePO는 SFT-free 패러다임으로, LLM이 RL 진화 과정에서 off-policy 지식과 행동을 직접 선택적으로 내재화하도록 한다. 핵심적으로, 빠른 지식 주입을 위한 Adaptive Objective Evolution 메커니즘과 off-policy anchoring을 방지하는 Teacher Retirement 메커니즘을 설계한다. 실험 결과 OnePO는 Qwen3-8B-Base 모델을 단 한 번의 RL 단계만으로 고성능 medical LLM으로 성공적으로 변환하며, 20K 샘플만 사용해 HealthBench(67.2) 및 기타 벤치마크에서 경쟁력 있는 성능을 달성한다. 이는 SFT-free RL이 전통적인 다단계 파이프라인 없이도 도메인 전문가를 효율적으로 육성할 수 있음을 보여준다.
"},{"id":"66292","en":"Predicting the Emergence of Induction Heads in Language Model Pretraining","ko":"언어 모델 사전 훈련에서 Induction Head 출현 예측","authors":"Tatsuya Aoyama, Ethan Wilcox, Nathan Schneider","pos":"#2008","link":"https://openreview.net/forum?id=50E1hqm6qk","abs":"Specialized attention heads dubbed induction heads (IHs) have been argued to underlie the remarkable in-context learning capabilities of modern language models; yet, a precise characterization of their emergence, especially in the context of language modeling, remains wanting. In this study, we investigate the relationship between statistical properties of the training data and IH formation in both natural and synthetic training data settings. We show that: (1) A simple equation combining batch size and context size predicts the point at which IHs form; (2) Surface bigram repetition frequency and reliability strongly affect the formation of IHs, and we find an effective Pareto frontier in terms of these two values; (3) local dependency with high bigram repetition frequency and reliability is sufficient for IH formation, but when the frequency and reliability are low, categoriality and the shape of the marginal distribution matter.
","absKo":"induction head (IH)라 불리는 특화된 attention head는 현대 language model의 놀라운 in-context learning 능력의 기반으로 여겨져 왔지만, 특히 language modeling 맥락에서 그 출현을 정밀하게 특성화한 연구는 아직 부족하다. 본 연구에서는 자연 데이터와 synthetic training data 설정 모두에서 training data의 통계적 특성과 IH 형성 사이의 관계를 조사한다. 우리는 다음을 보인다. (1) batch size와 context size를 결합한 간단한 식이 IH가 형성되는 시점을 예측한다. (2) surface bigram repetition frequency와 reliability가 IH 형성에 강하게 영향을 미치며, 이 두 값에 대해 유효한 Pareto frontier가 존재함을 확인했다. (3) 높은 bigram repetition frequency와 reliability를 갖는 local dependency만으로 IH 형성에 충분하지만, frequency와 reliability가 낮을 때는 categoriality와 marginal distribution의 shape가 중요해진다.
"},{"id":"64695","en":"Probing RLVR Training Instability through the Lens of Objective-Level Hacking","ko":"Objective-Level Hacking의 관점을 통한 RLVR 학습 불안정성 탐구","authors":"Yiming Dong, Kun Fu, Haoyu Li, Xinyuan Zhu, Yurou Liu, Lijing Shao, Jieping Ye, Zheng Wang","pos":"#2009","link":"https://openreview.net/forum?id=KlGj06E8Wa","abs":"Prolonged reinforcement learning with verifiable rewards (RLVR) has been shown to drive continuous improvements in the reasoning capabilities of large language models, but the training is often prone to instabilities, especially in Mixture-of-Experts (MoE) architectures. Training instability severely undermines model capability improvement, yet its underlying causes and mechanisms remain poorly understood. In this work, we introduce a principled framework for understanding RLVR instability through the lens of objective-level hacking. Unlike reward hacking, which arises from exploitable verifiers, objective-level hacking emerges from token-level credit misalignment and is manifested as system-level spurious signals in the optimization objective. Grounded in our framework, together with extensive experiments on a 30B MoE model, we trace the origin and formalize the mechanism behind a key pathological training dynamic in MoE models: the abnormal growth of the training-inference discrepancy, a phenomenon widely associated with instability but previously lacking a mechanistic explanation. These findings provide a concrete and causal account of the training dynamics underlying instabilities in MoE models, offering guidance for the design of stable RLVR algorithms.
","absKo":"검증 가능한 reward를 사용하는 장기 reinforcement learning (RLVR)은 large language model의 추론 능력을 지속적으로 향상시키는 것으로 나타났지만, 학습은 특히 Mixture-of-Experts (MoE) architecture에서 불안정성에 취약한 경우가 많다. 학습 불안정성은 model capability 향상을 심각하게 저해하지만, 그 근본 원인과 메커니즘은 여전히 충분히 이해되지 않았다. 본 연구에서는 objective-level hacking의 관점에서 RLVR 불안정성을 이해하기 위한 원칙적 framework를 제안한다. 조작 가능한 verifier에서 비롯되는 reward hacking과 달리, objective-level hacking은 token-level credit misalignment에서 발생하며 최적화 목적함수에서 시스템 수준의 허위 신호로 나타난다. 우리의 framework와 30B MoE model에 대한 광범위한 실험을 바탕으로, 우리는 MoE model에서 핵심적인 병리적 학습 dynamics의 기원을 추적하고 그 메커니즘을 정식화한다. 이는 널리 불안정성과 연관되어 왔지만 이전에는 기전적 설명이 없었던, training-inference discrepancy의 비정상적 증가 현상이다. 이러한 결과는 MoE model의 불안정성을 뒷받침하는 학습 dynamics에 대한 구체적이고 인과적인 설명을 제공하며, 안정적인 RLVR algorithm 설계에 대한 지침을 제시한다.
"},{"id":"65925","en":"Mem-T: Densifying Rewards for Long-Horizon Memory Agents","ko":"Mem-T: 장기 시야 메모리 에이전트를 위한 보상 밀집화","authors":"Yanwei Yue, Guibin Zhang, Boci Peng, Xuanbo Fan, Jiaxin Guo, Qiankun Li, Yan Zhang","pos":"#2101","link":"https://openreview.net/forum?id=8ppVmLtA2V","abs":"Memory agents, which depart from predefined memory-processing pipelines by endogenously managing the processing, storage, and retrieval of memories, have garnered increasing attention for their autonomy and adaptability. However, existing training paradigms remain constrained: agents often traverse long-horizon sequences of memory operations before receiving sparse and delayed rewards, which hinders truly end-to-end optimization of memory management policies. To address this limitation, we introduce Mem-T, an autonomous memory agent that interfaces with a lightweight hierarchical memory database to perform dynamic updates and multi-turn retrieval over streaming inputs. To effectively train long-horizon memory management capabilities, we further propose MoT-GRPO, a tree-guided reinforcement learning framework that transforms sparse terminal feedback into dense, step-wise supervision via memory operation tree backpropagation and hindsight credit assignment, thereby enabling the joint optimization of memory construction and retrieval. Extensive experiments demonstrate that Mem-T is \\textbf{\\ding{182} high-performing}, surpassing frameworks such as A-Mem and Mem0 by up to $14.94\\\\%$, and \\textbf{\\ding{183} economical}, operating on a favorable accuracy-efficiency Pareto frontier and reducing inference tokens per query by $\\sim24.45\\\\%$ relative to GAM without sacrificing performance.","absKo":"memory processing pipeline을 사전에 정의된 방식에서 벗어나, memory의 처리, 저장, 검색을 내생적으로 관리하는 memory agent는 자율성과 적응성으로 인해 점점 더 많은 주목을 받고 있다. 그러나 기존 training paradigm은 여전히 제약적이다. agent는 종종 sparse하고 delayed reward를 받기 전에 memory operation의 long-horizon sequence를 거치며, 이는 memory management policy의 진정한 end-to-end optimization을 저해한다. 이 한계를 해결하기 위해, 우리는 streaming input에 대해 dynamic update와 multi-turn retrieval을 수행하도록 가벼운 hierarchical memory database와 상호작용하는 autonomous memory agent인 Mem-T를 소개한다. 장기 memory management capability를 효과적으로 학습하기 위해, 우리는 또한 sparse terminal feedback을 memory operation tree backpropagation과 hindsight credit assignment를 통해 dense한 step-wise supervision으로 변환하는 tree-guided reinforcement learning framework인 MoT-GRPO를 제안하여, memory construction과 retrieval의 joint optimization을 가능하게 한다. 광범위한 실험은 Mem-T가 \\textbf{\\ding{182} high-performing}하여 A-Mem과 Mem0 같은 framework를 최대 $14.94\\\\%$까지 능가하고, \\textbf{\\ding{183} economical}하여 유리한 accuracy-efficiency Pareto frontier에서 동작하며 성능 저하 없이 GAM 대비 query당 inference token을 약 $24.45\\\\%$ 줄인다는 것을 보여준다."},{"id":"62699","en":"Long Live The Balance: Information Bottleneck Driven Tree-based Policy Optimization","ko":"Long Live The Balance: Information Bottleneck 기반 Tree-based Policy Optimization","authors":"Hao Jiang, Shurui Li, Tianpeng Bu, Bowen Xu, Xin Liu, Qihua Chen, hongtao duan, lulu hu, Bin Yang, Minying Zhang","pos":"#2103","link":"https://openreview.net/forum?id=e78DJKtFde","abs":"Recent advances in online reinforcement learning (RL) for large language models (LLMs) have demonstrated promising performance in complex reasoning tasks. However, they often exhibit an imbalanced exploration–exploitation trade-off, resulting in unstable optimization and sub-optimal performance. We introduce IB-Score, a novel metric grounded in Information Bottleneck (IB) theory that evaluates policy’s exploration-exploitation balance by quantifying the trade-off between step-level reasoning diversity and mutual information shared with the correct answer. Analysis based on IB-Score shows that popular online RL approaches (e.g., GRPO) with common regularization methods fail to consistently maintain balance during training with suboptimal results. To address this, we propose Information Bottleneck-driven Tree-based Policy Optimization (IB-TPO), a principled framework that formulates IB-Score as a fine-grained optimization objective and utilizes a novel IB-guided tree sampling strategy that not only improves the efficiency of online sampling with 50\\% more trajectories under same token budget, but also reuses the tree structure for effective IB-Score Monte Carlo estimation. Extensive experiments across standard benchmarks show that our method significantly outperforms GRPO baseline by 2.9% to 3.6% and also outperforms other state-of-the-art online RL approaches.
","absKo":"large language model (LLM)을 위한 online reinforcement learning (RL)의 최근 발전은 복잡한 reasoning task에서 유망한 성능을 보여주었다. 그러나 이러한 방법들은 종종 불균형한 exploration-exploitation trade-off를 보이며, 그 결과 optimization이 불안정해지고 성능이 최적 이하로 떨어진다. 우리는 Information Bottleneck (IB) 이론에 기반한 새로운 metric인 IB-Score를 도입한다. 이 metric은 step-level reasoning diversity와 정답과 공유되는 mutual information 사이의 trade-off를 정량화함으로써 policy의 exploration-exploitation 균형을 평가한다. IB-Score 기반 분석은 GRPO와 같은 대중적인 online RL 접근법이 일반적인 regularization 방법을 사용하더라도 학습 중 균형을 일관되게 유지하지 못해 최적 이하의 결과를 낳는다는 점을 보여준다. 이를 해결하기 위해 우리는 Information Bottleneck-driven Tree-based Policy Optimization (IB-TPO)을 제안한다. 이는 IB-Score를 세밀한 optimization objective로 정식화하고, 새롭게 제안하는 IB-guided tree sampling strategy를 활용하는 원리 기반 framework로서, 동일한 token budget에서 50% 더 많은 trajectory로 online sampling 효율을 높일 뿐 아니라 tree structure를 재사용하여 효과적인 IB-Score Monte Carlo estimation도 가능하게 한다. 표준 benchmark 전반에 걸친 광범위한 실험은 우리의 방법이 GRPO baseline보다 2.9%에서 3.6% 더 우수하며, 다른 state-of-the-art online RL 접근법보다도 더 좋은 성능을 보임을 나타낸다.
"},{"id":"64778","en":"IRPM: Intergroup Relative Preference Modeling for Pointwise Generative Reward Models","ko":"IRPM: Pointwise Generative Reward Model을 위한 집단 간 상대 선호 모델링","authors":"Haonan Song, Qingchen Xie, Huan Zhu, Feng Xiao, Luxi Xing, Liu Kang, Fuzhen Li, Zhiyong Zheng, Feng Jiang, Ziheng Li, Kun Yan, Qingyi Si, Yanghua Xiao, Hongcheng Guo, Fan Yang","pos":"#2109","link":"https://openreview.net/forum?id=JuiHYauZNk","abs":"Generative Reward Models (GRMs) have demonstrated strong performance in reward modeling, due to their interpretability and potential for refinement through reinforcement learning (RL). However, widely used pairwise GRMs create a computational bottleneck in reinforcement learning from human feedback (RLHF), when calibrating or aggregating preference signals over $n$ candidates, often incurring $\\mathcal{O}(n^2)$ pairwise judgments. To address this issue, we propose Intergroup Relative Preference Modeling (IRPM), an RL-based method that extends the Bradley--Terry preference-learning paradigm via intergroup comparisons to train \\emph{pointwise} GRMs from pairwise preference data. IRPM derives pointwise reward for each response by contrasting groups of chosen vs.\\ rejected samples, enabling pointwise scores comparable across candidate sets and $\\mathcal{O}(n)$ reward evaluation for a variable number of candidates during RL training, while preserving interpretability and scalability. Experiments show that IRPM achieves state-of-the-art performance among pointwise GRMs on RM-Bench, JudgeBench and RewardBench, and approaches the performance of leading pairwise GRMs. In addition, IRPM achieves substantial gains in post-training evaluations, demonstrating its effectiveness.","absKo":"Generative Reward Models (GRMs)는 interpretability와 reinforcement learning (RL)을 통한 refinement 가능성 덕분에 reward modeling에서 강력한 성능을 보여왔다. 그러나 널리 사용되는 pairwise GRM은 reinforcement learning from human feedback (RLHF)에서 $n$개의 candidate에 대한 preference signal을 calibrating하거나 aggregating할 때 computational bottleneck를 유발하며, 종종 $\\mathcal{O}(n^2)$ pairwise judgments를 필요로 한다. 이 문제를 해결하기 위해, 우리는 intergroup comparisons를 통해 Bradley--Terry preference-learning paradigm을 확장하여 pairwise preference data로부터 \\emph{pointwise} GRM을 학습하는 RL-based method인 Intergroup Relative Preference Modeling (IRPM)을 제안한다. IRPM은 chosen sample 집단과 rejected sample 집단을 대비시켜 각 response에 대한 pointwise reward를 도출하며, 이를 통해 candidate set 간에 비교 가능한 pointwise score와 RL training 동안 가변적인 개수의 candidate에 대한 $\\mathcal{O}(n)$ reward evaluation을 가능하게 하면서도 interpretability와 scalability를 유지한다. 실험 결과 IRPM은 RM-Bench, JudgeBench, RewardBench에서 pointwise GRM 중 state-of-the-art 성능을 달성하고, 선도적인 pairwise GRM의 성능에 근접함을 보였다. 또한 IRPM은 post-training evaluation에서 상당한 향상을 달성하여 그 효과를 입증한다."},{"id":"62456","en":"Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning","ko":"좋은 SFT는 SFT를 최적화하고, 더 나은 SFT는 Reinforcement Learning을 준비한다","authors":"Dylan Zhang, Yufeng Xu, Haojin Wang, Qingzhi Chen, Hao Peng","pos":"#2114","link":"https://openreview.net/forum?id=gSGnknLZED","abs":"Post-training of reasoning LLMs is a holistic process that typically consists of an offline SFT stage followed by an online reinforcement learning (RL) stage. However, SFT is often optimized in isolation to maximize SFT performance alone. We show that, after identical RL training, models initialized from stronger SFT checkpoints can significantly underperform those initialized from weaker ones. We propose PEAR ($\\textbf{P}$olicy $\\textbf{E}$valuation–inspired $\\textbf{A}$lgorithm for Offline Learning Loss $\\textbf{R}$eweighting), an SFT-stage method that corrects this mismatch and better prepares the model for RL. PEAR uses importance sampling to reweight the SFT loss, with three variants operating at the token, block, and sequence levels. It can be used to augment standard SFT objectives and incurs little additional training overhead once probabilities for the offline data are collected. We conduct controlled experiments on verifiable reasoning games and mathematical reasoning tasks on Qwen2.5/3 and DeepSeek-distilled models. PEAR consistently improves post-RL performance over canonical SFT, with pass@8 gains up to a 14.6% on AIME-2025. Our results suggest that PEAR is an effective step toward more holistic LLM post-training by designing and evaluating SFT with downstream RL in mind rather than in isolation.","absKo":"Post-training of reasoning LLMs는 일반적으로 오프라인 SFT 단계 뒤에 온라인 reinforcement learning (RL) 단계를 따르는, 전체론적 과정이다. 그러나 SFT는 종종 SFT 성능만 최대화하도록 고립된 채 최적화된다. 우리는 동일한 RL training 이후에도, 더 강한 SFT checkpoint에서 초기화된 모델이 더 약한 checkpoint에서 초기화된 모델보다 유의미하게 낮은 성능을 보일 수 있음을 보인다. 우리는 이러한 불일치를 바로잡고 모델이 RL에 더 잘 대비하도록 하는 SFT 단계 방법인 PEAR ($\\textbf{P}$olicy $\\textbf{E}$valuation–inspired $\\textbf{A}$lgorithm for Offline Learning Loss $\\textbf{R}$eweighting)를 제안한다. PEAR는 importance sampling을 사용해 SFT loss를 재가중하며, token, block, sequence 수준에서 작동하는 세 가지 변형을 제공한다. 이 방법은 표준 SFT objective를 보강하는 데 사용할 수 있으며, offline data에 대한 probability가 수집된 이후에는 추가 training overhead가 거의 들지 않는다. 우리는 Qwen2.5/3 및 DeepSeek-distilled models에서 검증 가능한 reasoning games와 mathematical reasoning tasks에 대해 통제된 실험을 수행한다. PEAR는 canonical SFT보다 post-RL 성능을 일관되게 향상시키며, AIME-2025에서 pass@8 기준 최대 14.6%의 향상을 보인다. 우리의 결과는 PEAR가 downstream RL을 염두에 두고 SFT를 설계하고 평가함으로써, SFT를 고립적으로 다루는 것보다 더 전체론적인 LLM post-training을 향한 효과적인 단계임을 시사한다."},{"id":"63460","en":"Positive–Unlabeled Reinforcement Learning Distillation for On-Premise Small Models","ko":"온프레미스 소형 모델을 위한 Positive-Unlabeled 강화학습 증류","authors":"Zhiqiang Kou, Junyang Chen, Xin-Qiang Cai, Xiaobo Xia, Ming-Kun Xie, Dong-Dong Wu, Biao Liu, Yuheng Jia, Xin Geng, Masashi Sugiyama, Tat-Seng Chua","pos":"#214","link":"https://openreview.net/forum?id=WyQlim30lN","abs":"Due to constraints on privacy, cost, and latency, on-premise deployment of small models is increasingly common. However, most practical pipelines stop at supervised fine-tuning (SFT) and fail to reach the reinforcement learning (RL) alignment stage. The main reason is that RL alignment typically requires either expensive human preference annotation or heavy reliance on high-quality reward models with large-scale API usage and ongoing engineering maintenance, both of which are ill-suited to on-premise settings. To bridge this gap, in this paper, we propose a positive-unlabeled (PU) RL distillation method for on-premise small-model deployment. Without human-labeled preferences or a reward model, our method distills the teacher’s preference-optimization capability from black box generations into a locally trainable student. For each prompt, we query the teacher once to obtain an anchor response, locally sample multiple student candidates, and perform anchor-conditioned self-ranking to induce pairwise or listwise preferences, enabling a fully local training loop via direct preference optimization or group relative policy optimization. Theoretical analysis justifies that the induced preference signal by our method is order-consistent and concentrates on near-optimal candidates, supporting its stability for preference optimization. Experiments demonstrate that our method achieves consistently strong performance under a low-cost setting.
","absKo":"privacy, cost, latency 제약으로 인해 온프레미스 small model deployment가 점점 더 일반화되고 있다. 그러나 대부분의 실용적인 pipeline은 supervised fine-tuning(SFT)에서 멈추며 reinforcement learning(RL) alignment 단계까지 도달하지 못한다. 주된 이유는 RL alignment가 보통 값비싼 human preference annotation이나 대규모 API 사용과 지속적인 엔지니어링 유지보수에 크게 의존하는 고품질 reward model을 필요로 하기 때문이며, 이 둘 모두 온프레미스 설정에는 적합하지 않다. 이러한 격차를 메우기 위해 본 논문에서는 온프레미스 small-model deployment를 위한 positive-unlabeled(PU) RL distillation 방법을 제안한다. human-labeled preference나 reward model 없이, 우리의 방법은 teacher의 preference-optimization 능력을 black box generation에서 local하게 학습 가능한 student로 distill한다. 각 prompt에 대해 teacher를 한 번 질의하여 anchor response를 얻고, 로컬에서 여러 student candidate를 샘플링한 뒤, anchor-conditioned self-ranking을 수행해 pairwise 또는 listwise preference를 유도한다. 이를 통해 direct preference optimization 또는 group relative policy optimization을 이용한 완전한 로컬 training loop가 가능해진다. 이론적 분석은 우리의 방법이 유도하는 preference signal이 order-consistent하며 near-optimal candidate에 집중함을 정당화하고, preference optimization에서의 안정성을 뒷받침한다. 실험은 우리의 방법이 저비용 설정에서 일관되게 강한 성능을 달성함을 보여준다.
"},{"id":"63133","en":"Efficient RL Training for LLMs with Experience Replay","ko":"경험 재생을 활용한 LLM의 효율적 RL 학습","authors":"Charles Arnal, Vivien Cabannnes, Taco Cohen, Julia Kempe, REMI MUNOS","pos":"#2201","link":"https://openreview.net/forum?id=ZlnD9QlfZh","abs":"While Experience Replay—the practice of storing rollouts and reusing them multiple times during training—is a foundational technique in general RL, it remains largely unexplored in LLM post-training due to the prevailing belief that fresh, on-policy data is essential for high performance. In this work, we challenge this assumption. We present a systematic study of replay buffers for LLM post-training, formalizing the optimal design as a trade-off between staleness-induced variance, sample diversity and the high computational cost of generation. We show that strict on-policy sampling is suboptimal when generation is expensive. Empirically, we show that a well-designed replay buffer can drastically reduce inference compute without degrading -- and in some cases even improving -- final model performance, while preserving policy entropy.
","absKo":"Experience Replay, 즉 rollout을 저장해 학습 중 여러 번 재사용하는 관행은 general RL의 근간이 되는 기법이지만, 높은 성능에는 fresh on-policy data가 필수적이라는 지배적인 믿음 때문에 LLM post-training에서는 대부분 탐구되지 않았다. 본 연구에서는 이 가정에 도전한다. 우리는 LLM post-training을 위한 replay buffer에 대한 체계적 연구를 제시하고, 최적 설계를 staleness-induced variance, sample diversity, 그리고 생성의 높은 계산 비용 사이의 trade-off로 정식화한다. 우리는 생성 비용이 비쌀 때 strict on-policy sampling은 최적이 아님을 보인다. 실증적으로, 잘 설계된 replay buffer는 policy entropy를 유지하면서 inference compute를 크게 줄일 수 있으며, 최종 model performance를 저하시키지 않고 경우에 따라 오히려 향상시킬 수도 있음을 보인다.
"},{"id":"65561","en":"Experience is the Best Teacher: Motivating Effective Exploration in Reinforcement Learning for LLMs","ko":"경험이 최고의 스승이다: LLM 강화학습에서 효과적 탐험 동기 부여하기","authors":"Wenjian Zhang, Kongcheng Zhang, Jiaxin Qi, Baisheng Lai, Jianqiang Huang","pos":"#2206","link":"https://openreview.net/forum?id=CPN5KsCpiE","abs":"Reinforcement Learning (RL) with rubric-based rewards has recently shown remarkable progress in enhancing general reasoning capabilities of Large Language Models (LLMs), yet still suffers from ineffective exploration confined to current policy distribution. In fact, RL optimization can be viewed as steering the policy toward an ideal distribution that maximizes the rewards, while effective exploration should align efforts with desired target. Leveraging this insight, we propose HeRL, a **Hindsight experience guided Reinforcement Learning framework to bootstrap effective exploration by explicitly telling LLMs the desired behaviors specified in rewards. Concretely, HeRL treats failed attempts along with their unmet rubrics as hindsight experience, which serves as in-context guidance for the policy to explore desired responses beyond its current distribution. Additionally, we introduce a bonus reward to incentivize responses with greater potential for improvement under such guidance. HeRL facilitates effective learning from desired high-quality samples without repeated trial-and-error from scratch, yielding a more accurate estimation of the expected gradient theoretically. Extensive experiments across various benchmarks demonstrate that HeRL achieves superior performance gains over baselines, and can further benefit from experience guided self-improvement at test time.
","absKo":"rubric-based reward를 사용하는 Reinforcement Learning (RL)은 최근 Large Language Models (LLMs)의 general reasoning capability를 향상시키는 데서 놀라운 진전을 보였지만, 여전히 현재 policy distribution에 갇힌 비효율적 exploration 문제를 겪는다. 사실 RL optimization은 reward를 최대화하는 ideal distribution으로 policy를 유도하는 과정으로 볼 수 있으며, 효과적인 exploration은 원하는 target에 노력을 맞추어야 한다. 이러한 통찰을 활용해 우리는 reward에 명시된 desired behavior를 LLM에게 직접 알려 줌으로써 효과적인 exploration을 부트스트랩하는 **Hindsight experience guided Reinforcement Learning** framework, HeRL을 제안한다. 구체적으로 HeRL은 실패한 시도와 그에 대응하는 unmet rubric을 hindsight experience로 취급하며, 이를 in-context guidance로 사용해 policy가 현재 distribution을 넘어 desired response를 탐색하도록 한다. 또한 이러한 guidance 하에서 개선 잠재력이 더 큰 response에 보너스 reward를 부여한다. HeRL은 처음부터 시행착오를 반복하지 않고도 원하는 high-quality sample로부터 효과적으로 학습할 수 있게 하며, 이론적으로 expected gradient의 더 정확한 추정을 가능하게 한다. 다양한 benchmark에 걸친 광범위한 실험은 HeRL이 baseline보다 우수한 성능 향상을 달성하고, test time에서 experience-guided self-improvement의 추가적인 이점을 얻을 수 있음을 보여 준다.
"},{"id":"63333","en":"GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization","ko":"GDPO: 다중 보상 RL 최적화를 위한 그룹 보상 분리 정규화 정책 최적화","authors":"Shih-Yang Liu, Xin Dong, Ximing Lu, Shizhe Diao, Peter Belcak, Mingjie Liu, Min-Hung Chen, Hongxu (Danny) Yin, Yu-Chiang Wang, Kwang-Ting Cheng, Yejin Choi, Jan Kautz, Pavlo Molchanov","pos":"#2211","link":"https://openreview.net/forum?id=Y1rHxA58If","abs":"As language models become increasingly capable, users expect them to provide not only accurate responses but also behaviors aligned with diverse human preferences across a variety of scenarios. To achieve this, Reinforcement learning (RL) pipelines have begun incorporating multiple rewards, each capturing a distinct preference, to guide models toward these desired behaviors. However, recent work has defaulted to apply Group Relative Policy Optimization (GRPO) under multi-reward setting without examining its suitability. In this paper, we demonstrate that directly applying GRPO to normalize distinct rollout reward combinations causes them to collapse into identical advantage values, reducing the resolution of the training signal and resulting in suboptimal convergence and, in some cases, early training failure. We then introduce Group reward-Decoupled Normalization Policy Optimization (GDPO), a new policy optimization method to resolve these issues by decoupling the normalization of individual rewards, more faithfully preserving their relative differences and enabling more accurate multi-reward optimization, along with substantially improved training stability. We compare GDPO with GRPO across three tasks: tool calling, math reasoning, and coding reasoning, evaluating both correctness metrics (accuracy, bug ratio) and constraint adherence metrics (format, length). Across all settings, GDPO consistently outperforms GRPO, demonstrating its effectiveness and generalizability for multi-reward reinforcement learning optimization.
","absKo":"언어 모델이 점점 더 유능해짐에 따라, 사용자는 정확한 응답뿐 아니라 다양한 상황에서 다양한 인간 선호에 부합하는 행동을 제공하기를 기대한다. 이를 위해 Reinforcement learning (RL) pipeline은 이러한 바람직한 행동으로 모델을 유도하기 위해 서로 다른 선호를 포착하는 여러 reward를 포함하기 시작했다. 그러나 최근 연구는 적합성을 검토하지 않은 채 multi-reward setting에 Group Relative Policy Optimization (GRPO)를 기본적으로 적용해 왔다. 본 논문에서는 서로 다른 rollout reward 조합에 GRPO를 직접 적용하면 동일한 advantage value로 collapse되어 학습 신호의 resolution이 감소하고, 그 결과 suboptimal convergence와 경우에 따라서는 초기 training failure가 발생함을 보인다. 이에 우리는 개별 reward의 정규화를 decouple함으로써 이러한 문제를 해결하는 새로운 policy optimization 방법인 Group reward-Decoupled Normalization Policy Optimization (GDPO)를 제안한다. 이는 각 reward의 상대적 차이를 더 충실하게 보존하고, 더 정확한 multi-reward optimization과 현저히 향상된 training stability를 가능하게 한다. 우리는 tool calling, math reasoning, coding reasoning의 세 가지 task에서 GDPO와 GRPO를 비교했으며, 정답성 지표(accuracy, bug ratio)와 제약 준수 지표(format, length)를 모두 평가했다. 모든 설정에서 GDPO는 GRPO를 일관되게 능가하여, multi-reward reinforcement learning optimization에서의 효과와 일반화 가능성을 보여준다.
"},{"id":"63898","en":"Curating the Future: A Scalable Recipe for Training Open-Ended Forecasters","ko":"미래를 큐레이션하기: 개방형 forecaster 학습을 위한 확장 가능한 recipe","authors":"Nikhil Chandak, Shashwat Goel, Ameya Pandurang Prabhu, Moritz Hardt, Jonas Geiping","pos":"#2300","link":"https://openreview.net/forum?id=SiMYGtHfxT","abs":"High-stakes decision making involves reasoning under uncertainty about the future. In this work, we train language models to make predictions on open-ended forecasting questions. To scale up training data, we synthesize novel forecasting questions from global events reported in daily news. While directly training on this data leads to performance drops, carefully curating questions creates a valuable training resource. We use the resulting dataset, OpenForesight, to post-train Qwen3 thinking models. To prevent leakage of future information during training and evaluation, we use an offline news corpus, both for data generation and retrieval in our forecasting system. Guided by a small validation set, we show the benefits of retrieval, and an improved reward function for reinforcement learning (RL). Once we obtain our final forecasting system, we perform held-out testing between May to August 2025. Our specialized model, OpenForecaster-8B, matches much larger proprietary models, with our training improving the accuracy, calibration, and consistency of predictions. We find calibration improvements from forecasting training generalize across popular benchmarks. We will open-source our models, code, and data to make LLM based forecasting research broadly accessible.
","absKo":"고위험 의사결정은 미래에 대한 불확실성 하에서 추론하는 과정을 포함한다. 본 연구에서는 언어 모델이 open-ended forecasting 질문에 대해 예측을 수행하도록 학습한다. 학습 데이터를 규모 있게 확장하기 위해, 우리는 일간 뉴스에 보도된 글로벌 이벤트로부터 새로운 forecasting 질문을 합성한다. 이러한 데이터로 직접 학습하면 성능이 저하되지만, 질문을 신중하게 선별하면 유용한 학습 자원이 된다. 우리는 이렇게 구성한 OpenForesight 데이터셋을 사용해 Qwen3 thinking 모델을 post-train한다. 학습 및 평가 중 미래 정보가 누수되는 것을 방지하기 위해, 데이터 생성과 forecasting 시스템의 retrieval 모두에 offline news corpus를 사용한다. 소규모 validation set의 지도를 받아 retrieval의 이점과 RL을 위한 개선된 reward function을 보인다. 최종 forecasting 시스템을 확보한 뒤에는 2025년 5월부터 8월까지 held-out testing을 수행한다. 우리의 특화 모델 OpenForecaster-8B는 훨씬 더 큰 proprietary 모델들과 맞먹는 성능을 보였으며, 우리의 학습은 예측의 정확도, calibration, consistency를 향상시킨다. 또한 forecasting 학습에서의 calibration 개선이 널리 사용되는 benchmark 전반으로 일반화됨을 확인했다. 우리는 LLM 기반 forecasting 연구를 폭넓게 접근 가능하게 만들기 위해 모델, 코드, 데이터를 오픈소스로 공개할 예정이다.
"},{"id":"64690","en":"BroRL: Scaling Reinforcement Learning via Broadened Exploration","ko":"BroRL: 확장된 탐색을 통한 Reinforcement Learning 확장","authors":"Jian Hu, Mingjie Liu, Ximing Lu, Fang Wu, Zaid Harchaoui, Shizhe Diao, Yejin Choi, Pavlo Molchanov, Jun Yang, Jan Kautz, Yi Dong","pos":"#2305","link":"https://openreview.net/forum?id=KmS7pdFBEh","abs":"Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key ingredient for unlocking complex reasoning capabilities in large language models. Recent work ProRL \\citep{liu2025prorl} has shown promise in scaling RL by increasing the number of training steps. However, performance plateaus after thousands of steps, with clear diminishing returns from allocating more computation to additional training. In this work, we investigate a complementary paradigm for scaling RL: \\textbf{BroRL}—increasing the number of rollouts per example to hundreds to exhaustively \\textbf{Bro}aden exploration, which yields continuous performance gains beyond the saturation point observed in ProRL when scaling the number of training steps. Our approach is motivated by a mass balance equation analysis allowing us to characterize the rate of change in probability mass for correct and incorrect tokens during the reinforcement process. We show that under a one-step RL assumption, sampled rollout tokens contribute to correct-mass expansion, while unsampled tokens outside rollouts may lead to gains or losses depending on their distribution and the net reward balance. Importantly, as the number of rollouts per example $N$ increases, the effect of unsampled terms diminishes, making overall correct-mass expansion more likely. To validate our theoretical analysis, we conduct simulations under more relaxed conditions and find that a sufficiently large rollout size $N$—corresponding to ample exploration—can increase the probability mass of correct tokens broadly, and in our simulator it increases all correct-token probabilities and eliminates knowledge shrinkage. Empirically, BroRL revives models saturated after 3K ProRL training steps and demonstrates robust, continuous improvement, achieving strong results for the 1.5B model across diverse benchmarks. Notably, under the same training time, BroRL is both more data- and compute-efficient: large-$N$ rollouts reduce the number of filtered samples during dynamic sampling at the algorithmic level and nearly double generation throughput compared to ProRL in our hardware setup; this throughput increase is consistent with shifting generation from a more memory-bound regime toward a more compute-bound one.","absKo":"Reinforcement Learning with Verifiable Rewards (RLVR)는 large language model에서 복잡한 reasoning capability를 끌어내는 핵심 요소로 부상했다. 최근 연구인 ProRL \\citep{liu2025prorl}은 training step 수를 늘려 RL을 scale하는 데 가능성을 보여주었다. 그러나 수천 step 이후 성능이 정체되며, 추가 학습에 더 많은 computation을 투입해도 수익이 뚜렷이 감소한다. 본 연구에서는 RL을 scale하는 보완적 패러다임으로 \\textbf{BroRL}을 탐구한다. 이는 example당 rollout 수를 수백 개까지 늘려 탐색을 철저히 \\textbf{Bro}aden하는 방식으로, training step 수를 늘릴 때 ProRL에서 관찰되는 saturation point를 넘어 지속적인 성능 향상을 이끈다. 우리의 접근은 reinforcement 과정에서 올바른 token과 잘못된 token의 probability mass 변화율을 특성화할 수 있게 해주는 mass balance equation 분석에 동기를 둔다. 우리는 one-step RL 가정하에서 sampled rollout token은 correct-mass expansion에 기여하는 반면, rollout 밖의 unsampled token은 그 분포와 net reward balance에 따라 이득이나 손실을 초래할 수 있음을 보인다. 특히 example당 rollout 수 $N$이 증가할수록 unsampled term의 효과는 감소하여, 전체 correct-mass expansion이 더 일어나기 쉬워진다. 우리의 이론적 분석을 검증하기 위해 더 완화된 조건에서 simulation을 수행한 결과, 충분히 큰 rollout size $N$은 풍부한 exploration에 해당하며 correct token의 probability mass를 전반적으로 증가시킬 수 있고, 우리 simulator에서는 모든 correct-token probability를 증가시키고 knowledge shrinkage를 제거함을 확인했다. 경험적으로 BroRL은 3K ProRL training step 이후 포화된 model을 되살리고 견고하고 지속적인 개선을 보여주며, 다양한 benchmark에서 1.5B model에 대해 강력한 결과를 달성한다. 특히 동일한 training time에서 BroRL은 데이터와 computation 측면에서 모두 더 효율적이다. 큰 $N$의 rollout은 algorithmic level에서 dynamic sampling 중 필터링되는 sample 수를 줄이고, 우리 hardware setup에서는 ProRL에 비해 generation throughput을 거의 두 배로 높인다. 이러한 throughput 증가는 generation이 더 memory-bound한 regime에서 더 compute-bound한 regime으로 이동한 결과와 일치한다.
"},{"id":"63735","en":"BandPO: Bridging Trust Regions and Ratio Clipping via Probability-Aware Bounds for LLM Reinforcement Learning","ko":"BandPO: 확률 인지 경계를 통해 Trust Region과 Ratio Clipping을 연결하는 LLM Reinforcement Learning","authors":"Yuan Li, Bo Wang, Yufei Gao, Yuqian Yao, Xinyuan Wang, Zhangyue Yin, Xipeng Qiu","pos":"#2311","link":"https://openreview.net/forum?id=UBTVJLMzmE","abs":"Proximal constraints are fundamental to the stability of the Large Language Model reinforcement learning. While the canonical clipping mechanism in PPO serves as an efficient surrogate for trust regions, we identify a critical bottleneck: fixed bounds strictly constrain the upward update margin of low-probability actions, disproportionately suppressing high-advantage tail strategies and inducing rapid entropy collapse. To address this, we introduce **Band-constrained Policy Optimization** (BandPO). BandPO replaces canonical clipping with **Band**, a unified theoretical operator that projects trust regions defined by $f$-divergences into dynamic, probability-aware clipping intervals. Theoretical analysis confirms that Band effectively resolves this exploration bottleneck. We formulate this mapping as a convex optimization problem, guaranteeing a globally optimal numerical solution while deriving closed-form solutions for specific divergences. Extensive experiments across diverse models and datasets demonstrate that BandPO consistently outperforms canonical clipping and Clip-Higher, while robustly mitigating entropy collapse.","absKo":"Proximal constraint는 Large Language Model reinforcement learning의 안정성에 근본적이다. PPO의 canonical clipping mechanism은 trust region의 효율적인 surrogate로 작동하지만, 우리는 중요한 병목을 확인했다. 고정된 bound는 low-probability action의 upward update margin을 엄격히 제한하여, high-advantage tail strategy를 과도하게 억제하고 entropy collapse를 빠르게 유발한다. 이를 해결하기 위해 우리는 **Band-constrained Policy Optimization**(BandPO)을 도입한다. BandPO는 canonical clipping을 **Band**로 대체하는데, 이는 $f$-divergence로 정의된 trust region을 동적이고 probability-aware한 clipping interval로 투영하는 통합 이론 연산자이다. 이론 분석은 Band가 이 탐색 병목을 효과적으로 해소함을 확인한다. 우리는 이 매핑을 convex optimization 문제로 정식화하여, 특정 divergence에 대해서는 closed-form solution을 유도하는 동시에 전역적으로 최적의 수치해를 보장한다. 다양한 model과 dataset에 대한 광범위한 실험은 BandPO가 canonical clipping과 Clip-Higher를 일관되게 능가하면서, entropy collapse를 강건하게 완화함을 보여준다."},{"id":"66465","en":"Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training","ko":"검증 불가능한 LLM 사후 훈련에서 루브릭 기반 Reward Modeling을 위한 교대 강화 학습","authors":"Ran Xu, Tianci Liu, Zihan Dong, Tony Yu, Ilgee Hong, Carl Yang, Linjun Zhang, Tuo Zhao, Haoyu Wang","pos":"#2312","link":"https://openreview.net/forum?id=3SDg8dtkS8","abs":"Standard reward models typically predict scalar scores that fail to capture the multifaceted nature of response quality in non-verifiable domains, such as creative writing or open-ended instruction following. To address this limitation, we propose Rubric-ARM, a framework that jointly optimizes a rubric generator and a judge using reinforcement learning from preference feedback. Unlike existing methods that rely on static rubrics or disjoint training pipelines, our approach treats rubric generation as a latent action learned to maximize judgment accuracy. We introduce an alternating optimization strategy to mitigate the non-stationarity of simultaneous updates, providing theoretical analysis that demonstrates how this schedule reduces gradient variance during training. Extensive experiments show that Rubric-ARM achieves state-of-the-art performance among baselines on multiple benchmarks and significantly improves downstream policy alignment in both offline and online reinforcement learning settings.
","absKo":"표준 reward model은 일반적으로 scalar score를 예측하는데, 이는 creative writing이나 open-ended instruction following과 같은 non-verifiable domain에서 응답 품질의 다면적인 특성을 포착하지 못한다. 이러한 한계를 해결하기 위해, 우리는 preference feedback으로부터의 reinforcement learning을 사용하여 rubric generator와 judge를 공동으로 최적화하는 framework인 Rubric-ARM을 제안한다. 정적인 rubric이나 분리된 training pipeline에 의존하는 기존 방법과 달리, 우리의 접근법은 rubric 생성을 judgment accuracy를 최대화하기 위해 학습되는 latent action으로 취급한다. 우리는 동시에 이루어지는 업데이트의 non-stationarity를 완화하기 위해 alternating optimization strategy를 도입하고, 이 일정이 학습 중 gradient variance를 어떻게 줄이는지 이론적으로 분석한다. 광범위한 실험은 Rubric-ARM이 여러 benchmark에서 baseline 중 state-of-the-art 성능을 달성하고, offline 및 online reinforcement learning 설정 모두에서 downstream policy alignment을 크게 향상시킴을 보여준다.
"},{"id":"65538","en":"ActiveUltraFeedback: Efficient Preference Data Generation using Active Learning","ko":"ActiveUltraFeedback: 능동 학습을 이용한 효율적 선호 데이터 생성","authors":"Davit Melikidze, Marian Schneider, Jessica Lam, Martin Wertich, Ido Hakimi, Barna Pasztor, Andreas Krause","pos":"#2313","link":"https://openreview.net/forum?id=Ca0cQbhA0T","abs":"Reinforcement Learning from Human Feedback (RLHF) has become the standard for aligning Large Language Models (LLMs), yet its efficacy is bottlenecked by the high cost of acquiring preference data, especially in low-resource and expert domains. To address this, we introduce ActiveUltraFeedback, a modular active learning pipeline that leverages uncertainty estimates to dynamically identify the most informative responses for annotation. Our pipeline facilitates the systematic evaluation of standard response selection methods alongside Double Reverse Thompson Sampling (DRTS) and DeltaUCB, two novel methods prioritizing response pairs with large predicted quality gaps, effectively operationalizing recent results showing that such pairs provide good signals for fine-tuning. Our experiments demonstrate that ActiveUltraFeedback yields high-quality datasets that lead to significant improvements in downstream performance, notably capturing the majority of the training signal from less than one-third of the annotated data relative to static baselines. We release our code and artifacts to facilitate research into efficient alignment and data generation.
","absKo":"Reinforcement Learning from Human Feedback (RLHF)는 Large Language Models (LLMs)을 align하는 표준 방법이 되었지만, 특히 저자원 및 expert domain에서 preference data를 획득하는 비용이 높아 그 효용이 제한된다. 이를 해결하기 위해 우리는 uncertainty estimate를 활용해 annotation에 가장 정보량이 큰 response를 동적으로 식별하는 모듈형 active learning pipeline인 ActiveUltraFeedback를 제안한다. 우리의 pipeline은 표준 response selection method와 함께, 예측된 quality gap이 큰 response pair를 우선시하는 두 가지 새로운 방법인 Double Reverse Thompson Sampling (DRTS)과 DeltaUCB를 체계적으로 평가할 수 있게 한다. 이는 이러한 pair가 fine-tuning에 좋은 signal을 제공한다는 최근 결과를 실질적으로 활용하는 것이다. 실험 결과 ActiveUltraFeedback는 downstream performance를 유의미하게 향상시키는 고품질 dataset을 생성하며, 정적 baseline 대비 주석 처리된 데이터의 1/3도 안 되는 양에서 학습 신호의 대부분을 포착함을 보여 준다. 우리는 효율적인 alignment와 data generation 연구를 촉진하기 위해 코드와 artifact를 공개한다.
"},{"id":"63177","en":"Stabilizing MoE Reinforcement Learning by Aligning Training and Inference Routers","ko":"학습과 추론 라우터 정렬을 통한 MoE 강화학습 안정화","authors":"Wenhan Ma, Lei Li, Liang Zhao, Yifan Song, Yudong Wang, Fuli Luo, Zhifang Sui","pos":"#2712","link":"https://openreview.net/forum?id=ZMkfGplf4b","abs":"Reinforcement learning (RL) has emerged as a crucial approach for enhancing the capabilities of large language models. However, in Mixture-of-Experts (MoE) models, the routing mechanism often introduces instability, even leading to catastrophic RL training collapse. We analyze the training-inference consistency of MoE models and identify a notable discrepancy in routing behaviors between the two phases. To address this issue, we propose \\textbf{Rollout Routing Replay (R3)}, a novel and effective method that records routing distributions from the inference engine and replays them during training. R3 significantly reduces training-inference policy KL divergence and mitigates extreme discrepancies without compromising training speed. Extensive experiments on various settings confirm that R3 succeeds in stabilizing RL training, preventing collapse and outperforming strong baselines. R3 is orthogonal to most policy optimization algorithm improvements, allowing it to be used in conjunction with them. We believe this work can offer a new solution for stabilizing RL in MoE model.
","absKo":"Reinforcement learning (RL)은 large language models의 능력을 향상시키는 핵심적인 접근법으로 부상했다. 그러나 Mixture-of-Experts (MoE) 모델에서는 routing mechanism이 종종 불안정성을 유발하며, 심지어 치명적인 RL training collapse로 이어지기도 한다. 우리는 MoE 모델의 training-inference consistency를 분석하고, 두 단계 사이의 routing behavior에서 현저한 불일치를 식별한다. 이 문제를 해결하기 위해 우리는 \\textbf{Rollout Routing Replay (R3)}를 제안한다. 이는 inference engine에서 routing distribution을 기록하고 이를 training 동안 replay하는 새롭고 효과적인 방법이다. R3는 training-inference policy KL divergence를 크게 줄이고, training speed를 저해하지 않으면서 극단적인 불일치를 완화한다. 다양한 설정에서의 대규모 실험은 R3가 RL training을 안정화하고, collapse를 방지하며, 강력한 baseline보다 우수함을 확인해준다. R3는 대부분의 policy optimization algorithm 개선과 orthogonal하므로 함께 사용할 수 있다. 우리는 이 연구가 MoE model에서 RL을 안정화하는 새로운 해법을 제공할 수 있다고 믿는다.
"},{"id":"63137","en":"ECHO: Entropy-Confidence Hybrid Optimization for Test-Time Reinforcement Learning","ko":"ECHO: 테스트타임 강화학습을 위한 엔트로피-신뢰도 하이브리드 최적화","authors":"Chu Zhao, Enneng Yang, Yuting Liu, Jianzhe Zhao, Guibing Guo","pos":"#3404","link":"https://openreview.net/forum?id=Zk0qjcqjV9","abs":"Test-time reinforcement learning generates multiple candidate answers via repeated rollouts and performs online updates using pseudo-labels constructed by majority voting. To reduce overhead and improve exploration, prior work introduces tree-structured rollouts, which share reasoning prefixes and branch at key nodes to improve sampling efficiency. However, this paradigm still faces two challenges: (1) high-entropy branching can trigger rollout collapse, where the branching budget concentrates on a few trajectories with consecutive high-entropy segments, rapidly reducing the number of effective branches; (2) early pseudo-labels are noisy and biased, which can induce self-reinforcing overfitting, causing the policy to sharpen prematurely and suppress exploration. To address these issues, we propose Entropy–Confidence Hybrid Group Relative Policy Optimization (ECHO). During rollout, ECHO jointly leverages local entropy and group-level confidence to adaptively control branch width, and further introduces online confidence-based pruning to terminate persistently low-confidence branches, avoiding high-entropy traps and mitigating collapse. During policy updates, ECHO employs confidence-adaptive clipping and an entropy–confidence hybrid advantage shaping approach to enhance training robustness and mitigate early-stage bias. Experiments demonstrate that ECHO achieves consistent gains on multiple mathematical and visual reasoning benchmarks, and generalizes more effectively under a limited rollout budget.
","absKo":"Test-time reinforcement learning은 반복 rollout을 통해 여러 후보 답안을 생성하고 majority voting으로 구성한 pseudo-label을 사용해 online update를 수행한다. 오버헤드를 줄이고 탐색을 개선하기 위해, 선행 연구는 reasoning prefix를 공유하고 핵심 노드에서 분기하는 tree-structured rollout을 도입하여 sampling 효율을 높였다. 그러나 이 패러다임은 여전히 두 가지 문제에 직면한다: (1) high-entropy branching은 rollout collapse를 유발할 수 있는데, 이때 branching budget이 연속된 high-entropy segment를 가진 소수 trajectory에 집중되어 유효한 branch 수가 빠르게 감소한다. (2) 초기 pseudo-label은 노이즈가 크고 편향되어 있어 self-reinforcing overfitting을 유발할 수 있으며, 이로 인해 policy가 너무 일찍 sharp해지고 exploration이 억제된다. 이러한 문제를 해결하기 위해, 우리는 Entropy–Confidence Hybrid Group Relative Policy Optimization (ECHO)를 제안한다. rollout 단계에서 ECHO는 local entropy와 group-level confidence를 함께 활용해 branch width를 적응적으로 제어하고, confidence 기반 online pruning을 추가로 도입해 지속적으로 confidence가 낮은 branch를 종료함으로써 high-entropy trap을 피하고 collapse를 완화한다. policy update 단계에서는 confidence-adaptive clipping과 entropy–confidence hybrid advantage shaping을 사용해 training robustness를 높이고 초기 단계 편향을 완화한다. 실험은 ECHO가 여러 수학 및 visual reasoning benchmark에서 일관된 향상을 달성하고, 제한된 rollout budget 하에서도 더 효과적으로 generalization함을 보여준다.
"},{"id":"62753","en":"ECO: Quantized Training without Full-Precision Master Weights","ko":"ECO: 완전 정밀 Master Weights 없이의 Quantized Training","authors":"Mahdi Nikdan, Amir Zandieh, Dan Alistarh, Vahab Mirrokni","pos":"#3410","link":"https://openreview.net/forum?id=dfVm5yZZ6G","abs":"Quantization has significantly improved the compute and memory efficiency of Large Language Model (LLM) training. However, existing approaches still rely on accumulating their updates in high-precision: concretely, gradient updates must be applied to a high-precision weight buffer, known as $\\textit{master weights}$. This buffer introduces substantial memory overhead, particularly for Sparse Mixture of Experts (SMoE) models, where model parameters and optimizer states dominate memory usage. To address this, we introduce the Error-Compensating Optimizer (ECO), which eliminates master weights by applying updates directly to quantized parameters. ECO quantizes weights after each step and carefully injects the resulting quantization error into the optimizer momentum, forming an error-feedback loop with no additional memory. We prove that, under standard assumptions and a decaying learning rate, ECO converges to a constant-radius neighborhood of the optimum, while naive master-weight removal can incur an error that is inversely proportional to the learning rate. We show empirical results for pretraining small Transformers (30--800M), a Gemma-3 1B model, and a 2.1B parameter Sparse MoE model with FP8 quantization, and fine-tuning DeepSeek-MoE-16B in INT4 precision. Throughout, ECO matches baselines with master weights up to near-lossless accuracy, significantly shifting the static memory vs validation loss Pareto frontier.","absKo":"Quantization은 Large Language Model(LLM) training의 compute와 memory efficiency를 크게 향상시켰다. 그러나 기존 접근법은 여전히 고정밀도로 update를 누적하는 데 의존한다. 구체적으로, gradient update는 high-precision weight buffer, 즉 master weights에 적용되어야 한다. 이 buffer는 특히 Sparse Mixture of Experts(SMoE) 모델에서 substantial memory overhead를 유발하는데, 이 경우 model parameters와 optimizer states가 memory usage를 지배한다. 이를 해결하기 위해, 우리는 Error-Compensating Optimizer(ECO)를 도입한다. ECO는 update를 quantized parameters에 직접 적용함으로써 master weights를 제거한다. ECO는 각 step 이후 weights를 quantize하고, 그로 인해 발생한 quantization error를 optimizer momentum에 신중하게 주입하여, 추가 memory 없이 error-feedback loop를 형성한다. 우리는 standard assumptions와 decaying learning rate 하에서 ECO가 optimum의 constant-radius neighborhood로 수렴함을 증명하며, naive하게 master weights를 제거할 경우 error가 learning rate에 반비례할 수 있음을 보인다. 우리는 pretraining small Transformers(30--800M), Gemma-3 1B model, FP8 quantization을 사용하는 2.1B parameter Sparse MoE model, 그리고 INT4 precision으로 DeepSeek-MoE-16B fine-tuning에 대한 empirical results를 제시한다. 전반적으로 ECO는 master weights를 사용하는 baselines와 near-lossless accuracy 수준까지 맞먹으며, static memory와 validation loss 사이의 Pareto frontier를 크게 이동시킨다."},{"id":"64560","en":"When Distance Distracts: Representation Distance Bias in BT-Loss for Reward Models","ko":"거리가 주의를 흩뜨릴 때: Reward Model을 위한 BT-Loss의 표현 거리 편향","authors":"Tong Xie, Ching-Yuan Bai, Yuanhao Ban, Yunqi Hong, Haoyu Li, Cho-Jui Hsieh","pos":"#4212","link":"https://openreview.net/forum?id=MBk6Pur6RX","abs":"Reward models are central to Large Language Model (LLM) alignment within the framework of RLHF. The standard objective used in reward modeling is the Bradley-Terry (BT) loss, which learns from pairwise data consisting of a pair of chosen and rejected responses. In this work, we analyze the per-sample gradient of BT-loss and shows spurious learning signals due to representation distance. In particular, BT gradient norm scales with two distinct components: (1) the difference in predicted rewards between chosen and rejected responses, which reflects the prediction error, and critically, (2) representation distance between the pair measured in the output space of the final layer. While the first term captures the intended training signal, the second term can significantly impact the update magnitude and misalign learning. Specifically, pairs with small representation distance often receive vanishingly weak updates, even when misranked, while pairs with large distance receive disproportionately strong updates. This leads to gradients from large-distance pairs to overshadow those from small-distance pairs, where fine-grained distinctions are especially important. To overcome this limitation, we propose NormBT, an adaptive pair-wise normalization scheme that rescales update to balance representation-driven effects and focuses learning signals on prediction error. NormBT is a lightweight, drop-in modification to BT loss with negligible overhead. Across various LLM backbones and datasets, NormBT improves reward model performance consistently, with notable gains of over 5% on the Reasoning category of RewardBench, which contains numerous fine-grained pairs.
","absKo":"Reward model은 RLHF 프레임워크에서 Large Language Model(LLM) alignment의 핵심이다. reward modeling에 사용되는 표준 objective는 Bradley-Terry(BT) loss이며, chosen response와 rejected response의 쌍으로 이루어진 pairwise data로부터 학습한다. 본 연구에서는 BT-loss의 per-sample gradient를 분석하고 representation distance로 인한 spurious learning signal을 보인다. 특히 BT gradient norm은 두 개의 서로 다른 성분에 따라 스케일된다: (1) chosen response와 rejected response 사이의 predicted reward 차이로, prediction error를 반영하는 항, 그리고 매우 중요하게도 (2) 최종 layer의 output space에서 측정한 쌍 간 representation distance이다. 첫 번째 항이 의도된 training signal을 포착하는 반면, 두 번째 항은 update magnitude에 큰 영향을 미치고 learning을 misalign시킬 수 있다. 구체적으로, representation distance가 작은 쌍은 잘못 순위가 매겨졌더라도 매우 약한 update를 받는 반면, distance가 큰 쌍은 지나치게 강한 update를 받는다. 이로 인해 큰 distance 쌍에서 나온 gradient가 작은 distance 쌍의 gradient를 압도하게 되며, 후자의 경우에는 세밀한 구분이 특히 중요하다. 이러한 한계를 극복하기 위해, 우리는 update를 재스케일하여 representation-driven effect를 균형 있게 조정하고 prediction error에 학습 신호를 집중시키는 adaptive pair-wise normalization scheme인 NormBT를 제안한다. NormBT는 overhead가 거의 없는 lightweight한 drop-in modification으로 BT loss에 적용할 수 있다. 다양한 LLM backbone과 데이터셋 전반에서 NormBT는 reward model 성능을 일관되게 향상시키며, 다수의 fine-grained pair를 포함하는 RewardBench의 Reasoning 범주에서 5%를 넘는 주목할 만한 향상을 보인다.
"},{"id":"66332","en":"CLIMB: Taming the LoRA Residency Cliff in Multi-LoRA Serving","ko":"CLIMB: 다중 LoRA 서빙에서 LoRA 상주 절벽 길들이기","authors":"Haoran Zhang, Zhiyu Liang, ZUO Decheng, Hongzhi Wang","pos":"#4213","link":"https://openreview.net/forum?id=4bN7wxsIcL","abs":"Multi-tenant multi-LoRA serving multiplexes many LoRA adapters on a single GPU under high utilization, where most device memory is reserved for the KV cache, leaving only a small residency budget $K$ for adapters. In this regime, adapter readiness is atomic: if an adapter is not device-resident, the engine must perform a mandatory fetch, stalling shared execution and amplifying tail latency system-wide. With only $K$ residency slots, we identify a LoRA residency cliff: once the active adapter working set exceeds $K$, time-to-first-token (TTFT) tail latency can exhibit a congestion collapse rather than smooth degradation. To tame this cliff, we propose CLIMB, a minimal ingress controller that enforces feasibility-first admission by queueing non-resident adapters outside the engine, prioritizing critical (VIP) traffic, and rotating background adapters via round-robin. On a cliff-inducing workload, CLIMB averts collapse, reducing VIP TTFT p99 from 38.7 s to 13.1 s at matched throughput (10.66 rps) by keeping VIP engine latency near 0.13 s and shifting the residual tail into explicit ingress queueing. Overall, CLIMB shifts fetch-induced stalls from inside the engine to managed ingress queues, mitigating tail amplification without throughput loss in the evaluated settings.","absKo":"multi-tenant multi-LoRA serving은 높은 utilization 하에서 하나의 GPU에 많은 LoRA adapter를 multiplex하며, 이때 device memory의 대부분은 KV cache에 예약되고 adapter를 위한 상주 예산 $K$만이 소량 남는다. 이 regime에서 adapter readiness는 atomic하다. 즉, adapter가 device-resident가 아니면 engine은 반드시 fetch를 수행해야 하며, 이는 shared execution을 정지시키고 시스템 전반의 tail latency를 증폭시킨다. 상주 슬롯이 $K$개뿐일 때, 우리는 LoRA residency cliff를 확인했다. active adapter working set이 $K$를 초과하면, time-to-first-token(TTFT) tail latency는 완만한 저하가 아니라 congestion collapse를 보일 수 있다. 이 cliff를 완화하기 위해, 우리는 non-resident adapter를 engine 밖에서 queueing하고, critical(VIP) traffic을 우선하며, background adapter를 round-robin으로 회전시키는 feasibility-first admission을 강제하는 minimal ingress controller인 CLIMB를 제안한다. cliff를 유발하는 workload에서 CLIMB는 collapse를 막아, VIP TTFT p99를 38.7초에서 13.1초로 줄이며(throughput 10.66 rps 유지), VIP engine latency를 약 0.13초 수준으로 유지하고 나머지 tail을 명시적 ingress queueing으로 이동시킨다. 전반적으로, CLIMB는 평가한 설정에서 throughput 손실 없이 fetch로 인한 stall을 engine 내부에서 관리되는 ingress queue로 옮겨 tail amplification을 완화한다."},{"id":"66675","en":"When RL Meets Adaptive Speculative Training: A Unified Training-Serving System","ko":"RL이 Adaptive Speculative Training을 만날 때: 통합된 학습-서빙 시스템","authors":"Fengxiang Bie, Junxiong Wang, Jisen Li, Zhongzhu Zhou, Chenfeng Xu, Zelei Shao, Yubo Wang, Yinghui Liu, Qingyang Wu, Avner May, Ben Athiwaratkun, Yineng Zhang, Shuaiwen Song, Xiaoxia (Shirley) Wu","pos":"#4610","link":"https://openreview.net/forum?id=1U0lhpW0VL","abs":"Speculative decoding can significantly accelerate LLM serving, but its real-world benefits often erode due to training–serving mismatch and non-stationary traffic. Unlike previous systems that decouple speculator training from inference, we present a unified training–serving system, Aurora, that closes this loop by continuously learning a speculator model directly from live inference traces. Our design integrates an SGLang-based inference server with an asynchronous training server connected via efficient GPU-to-GPU RPC, enabling hot-swapped speculator updates without service interruption. Crucially, our system supports day-0 deployment: a speculator can be served immediately and quickly adapted on live traffic, improving overall system throughput. This paradigm shift enables us to frame the training–serving loop as an asynchronous reinforcement learning process and allows us to leverage rejected tokens from the speculator to improve sampling efficiency. Our experiments show that this unified system achieves a 1.33× speedup in the mixed-data scenario when starting from a scratch speculator, and a 1.48× speedup compared to a static speculator. We also find that the system adapts more effectively to distribution shifts in user traffic, delivering a 1.25× speedup over a well-trained but static speculative decoding.
","absKo":"Speculative decoding은 LLM serving을 크게 가속할 수 있지만, training-serving mismatch와 non-stationary traffic 때문에 실제 이득이 자주 감소한다. speculator training과 inference를 분리했던 기존 시스템과 달리, 우리는 이 루프를 live inference trace로부터 speculator model을 직접 지속적으로 학습함으로써 닫는 통합 training-serving system인 Aurora를 제시한다. 우리의 설계는 SGLang 기반 inference server와 효율적인 GPU-to-GPU RPC로 연결된 asynchronous training server를 통합하며, 서비스 중단 없이 hot-swapped speculator update를 가능하게 한다. 결정적으로, 이 시스템은 day-0 deployment를 지원한다. 즉, speculator를 즉시 서빙하고 live traffic에 빠르게 적응시켜 전체 system throughput을 향상시킬 수 있다. 이러한 패러다임 전환은 training-serving loop를 asynchronous reinforcement learning process로 정식화할 수 있게 하며, speculator의 rejected token을 활용해 sampling efficiency를 개선할 수 있게 한다. 실험에서는 scratch speculator에서 시작한 mixed-data scenario에서 1.33× speedup을 달성했고, static speculator 대비 1.48× speedup을 보였다. 또한 이 시스템이 사용자 traffic의 distribution shift에 더 효과적으로 적응하여, 잘 학습되었지만 static한 speculative decoding보다 1.25× 빠른 성능을 제공함을 확인했다.
"},{"id":"65671","en":"Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations","ko":"진실을 위한 학습, 능력의 유지: 이진 검색 증강 보상이 환각을 완화한다","authors":"Tong Chen, Akari Asai, Luke Zettlemoyer, Hannaneh Hajishirzi, Faeze Brahman","pos":"#4617","link":"https://openreview.net/forum?id=BNCNSgLPy5","abs":"Modern post-trained language models are increasingly capable, but remain prone to extrinsic hallucinations. We target the utility degradation issue that prior hallucination-reduction methods often struggle to avoid, and propose online RL with Binary Retrieval-Augmented Reward (Binary RAR) to reduce hallucinations while preserving general capabilities. Binary RAR assigns a reward of 1 if a response contains no factual contradictions with retrieved evidence, and 0 otherwise. We theoretically show that this method reduces the probability of error-containing responses while preserving the distribution of error-free responses. This helps preserve the model’s capabilities, whereas other methods often degrade them. We evaluate Binary RAR on multiple widely used models. On Qwen3-8B, it reduces long-form hallucination rates by 39.3\\% and short-form hallucination rates by 54.4\\%, outperforming supervised learning and preference optimization baselines. Our error analysis shows that continuous factuality rewards (e.g., VeriScore) can be exploited via reward hacking by producing fewer or more generic claims, whereas Binary RAR is more robust and better preserves general capabilities, including instruction following, math, and coding.
","absKo":"현대의 post-trained language model은 점점 더 강력해지고 있지만, 여전히 extrinsic hallucination에 취약하다. 우리는 기존 hallucination reduction method들이 자주 피하지 못하는 utility degradation 문제를 대상으로 하며, general capability를 보존하면서 hallucination을 줄이기 위해 Binary Retrieval-Augmented Reward(Binary RAR)를 이용한 online RL을 제안한다. Binary RAR는 response에 검색된 evidence와 사실적으로 모순되는 내용이 없으면 reward를 1, 그렇지 않으면 0을 부여한다. 우리는 이 방법이 error를 포함한 response의 확률을 줄이는 동시에 error-free response의 분포는 보존함을 이론적으로 보인다. 이는 모델의 capability를 유지하는 데 도움이 되며, 다른 방법들은 종종 이를 저하시킨다. 우리는 Binary RAR를 여러 널리 사용되는 모델에서 평가한다. Qwen3-8B에서는 long-form hallucination rate를 39.3\\%, short-form hallucination rate를 54.4\\% 감소시켜 supervised learning 및 preference optimization baseline을 능가한다. 우리의 오류 분석은 VeriScore와 같은 continuous factuality reward가 더 적거나 더 일반적인 주장만 생성함으로써 reward hacking될 수 있음을 보여주며, 반면 Binary RAR는 더 강건하고 instruction following, math, coding을 포함한 general capability를 더 잘 보존한다.
"},{"id":"65486","en":"TokenDrop: Token-Level Importance-Aware Backward Propagation Skipping for Efficient LLM Fine-Tuning","ko":"TokenDrop: 효율적 LLM 파인튜닝을 위한 토큰 수준 중요도 인지 역전파 건너뛰기","authors":"Beomseok Kim, Sol Namkung, Dongsuk Jeon","pos":"#1801","link":"https://openreview.net/forum?id=D8DUCALWYb","abs":"Despite the success of parameter-efficient fine-tuning (PEFT) methods in reducing parameter-related overhead, fine-tuning large language models (LLMs) is still bottlenecked by significant memory and computational demands. In this paper, we propose **TokenDrop**, a token-level importance-aware backpropagation skipping method that reduces activation memory and accelerates LLM fine-tuning by skipping backward computations for less informative tokens. TokenDrop evaluates token importance based on the magnitude of residual updates during the forward pass, enabling lightweight, gradient-free importance estimation. Furthermore, we introduce cumulative token selection to preserve gradient continuity across layers and lazy selection scheduling that defers token selection to facilitate globally informed importance scoring under memory constraints. Across a range of experiments, TokenDrop achieves up to **42.9**\\% reduction in memory usage and up to **1.50**$\\times$ training speedup, while preserving accuracy and outperforming existing backpropagation-skipping baselines. The code is available at https://anonymous.4open.science/r/tokendrop_official-B469.","absKo":"parameter-efficient fine-tuning(PEFT) 방법이 parameter 관련 오버헤드를 줄이는 데 성공했음에도 불구하고, large language models(LLMs)의 fine-tuning은 여전히 큰 memory와 computational demand에 의해 병목이 발생한다. 이 논문에서는 정보가 덜한 token에 대한 backward computation을 건너뛰어 activation memory를 줄이고 LLM fine-tuning을 가속하는 token-level importance-aware backpropagation skipping 방법인 TokenDrop을 제안한다. TokenDrop은 forward pass 동안 residual update의 크기를 기반으로 token importance를 평가하여, 가벼우면서도 gradient-free importance estimation을 가능하게 한다. 더 나아가, layer 전반에 걸쳐 gradient continuity를 보존하는 cumulative token selection과 memory 제약 하에서 전역적으로 더 많은 정보를 반영한 importance scoring을 가능하게 하기 위해 token selection을 지연시키는 lazy selection scheduling을 도입한다. 다양한 실험에서 TokenDrop은 최대 **42.9**\\%의 memory 사용량 감소와 최대 **1.50**$\\times$의 training speedup을 달성하면서도 정확도를 유지하고 기존 backpropagation-skipping baselines를 능가한다. 코드는 https://anonymous.4open.science/r/tokendrop_official-B469 에서 확인할 수 있다.
"},{"id":"62232","en":"What Does Vision Tool-Use Reinforcement Learning Really Learn? Disentangling Tool-Induced and Intrinsic Effects for Crop-and-Zoom","ko":"Vision Tool-Use Reinforcement Learning은 무엇을 진짜로 학습하는가? Crop-and-Zoom에서 도구 유발 효과와 내재 효과 분해","authors":"Ma Yan, Weiyu Zhang, Tianle Li, Du Linge, Xuyang Shen, Pengfei Liu","pos":"#1807","link":"https://openreview.net/forum?id=iTWu7ziS5z","abs":"Vision tool-use reinforcement learning (RL) can equip vision--language models with visual operators such as crop-and-zoom and achieves strong performance gains, yet it remains unclear whether these gains are driven by improvements in tool use or evolving intrinsic capabilities. We introduce \\textbf{MED} (Measure--Explain--Diagnose), a coarse-to-fine framework that disentangles intrinsic capability changes from tool-induced effects, decomposes the tool-induced performance difference into gain and harm terms, and probes the mechanisms driving their evolution. Across checkpoint-level analyses on two VLMs with different tool priors and six benchmarks, we find that improvements are dominated by intrinsic learning, while tool-use RL mainly reduces tool-induced harm (e.g., fewer call-induced errors and weaker tool schema interference) and yields limited progress in tool-based correction of intrinsic failures.Overall, current vision tool-use RL learns to coexist safely with tools rather than master them.
","absKo":"Vision tool-use reinforcement learning(RL)은 vision-language model에 crop-and-zoom 같은 visual operator를 부여할 수 있으며, 강한 성능 향상을 달성하지만, 이러한 향상이 tool use의 개선 때문인지 아니면 intrinsic capability의 변화 때문인지는 여전히 분명하지 않다. 우리는 intrinsic capability 변화와 tool-induced effect를 분리하고, tool-induced performance difference를 gain과 harm 항으로 분해하며, 이들의 진화를 이끄는 메커니즘을 탐구하는 coarse-to-fine framework인 \\textbf{MED}(Measure--Explain--Diagnose)를 소개한다. 서로 다른 tool prior를 가진 두 VLM과 여섯 개 benchmark에 대한 checkpoint 수준 분석에서, 우리는 성능 향상의 대부분이 intrinsic learning에 의해 주도되는 반면, tool-use RL은 주로 tool-induced harm을 줄이는 데 기여하고(예: call-induced error 감소 및 tool schema interference 약화), intrinsic failure를 tool로 교정하는 측면에서는 제한적인 진전만을 보인다는 사실을 발견했다. 전반적으로, 현재의 vision tool-use RL은 tools를 완전히 익히는 것이 아니라 tools와 안전하게 공존하는 법을 학습하고 있다.
"},{"id":"61260","en":"Zero-source LLM Hallucination Detection with Human-like Criteria Probing","ko":"인간 유사 기준 탐색을 통한 Zero-source LLM 환각 탐지","authors":"Jiahao Yang, Shuhai Zhang, Hailong Kang, Feng Liu, Qi Chen, Mingkui Tan","pos":"#1808","link":"https://openreview.net/forum?id=s4Jn6bKYGI","abs":"Large language models (LLMs) often hallucinate by generating factually incorrect or unfaithful content, posing significant risks to their safe use. Detecting such hallucinations is particularly challenging under the zero-source constraint, where no model internals or external references are available, and detection must rely solely on the textual query–answer pair. In this paper, we propose Human-like Criteria Probing for Hallucination Detection (HCPD), a paradigm that emulates the multi-faceted reasoning of human evaluators. Its core is an Human-like Criteria Probing (HCP) mechanism, in which an LLM agent adaptively decomposes its judgment into a weighted set of interpretable criteria and aggregates criterion-specific scores into a final truthfulness measure. To achieve this adaptive capability, we introduce a reward-based alignment scheme using only weak supervision from semantic consistency. At inference, we employ a multi-sampling aggregation strategy to ensures robust decisions while preserving full interpretability. We further provide theoretical analysis supporting the reliability of our approach. Extensive experiments show that HCPD consistently outperforms state-of-the-art baselines, offering an effective and explainable solution for zero-source hallucination detection.
","absKo":"Large language models (LLMs)는 사실과 다르거나 충실하지 않은 내용을 생성하는 hallucination을 자주 일으키며, 이는 안전한 사용에 중대한 위험을 초래한다. 이러한 hallucination을 탐지하는 일은 특히 zero-source 제약 하에서 어렵다. 이 경우 모델 내부나 외부 참조를 사용할 수 없고, 탐지는 오직 텍스트 query-answer pair에만 의존해야 한다. 본 논문에서는 인간 평가자의 다면적 추론을 모사하는 패러다임인 Human-like Criteria Probing for Hallucination Detection (HCPD)을 제안한다. 그 핵심은 Human-like Criteria Probing (HCP) 메커니즘으로, 여기서 LLM agent는 판단을 해석 가능한 기준들의 가중 집합으로 적응적으로 분해하고, 기준별 점수를 최종 truthfulness 측정치로 집계한다. 이러한 적응 능력을 달성하기 위해 우리는 semantic consistency로부터의 약한 supervision만을 사용하는 reward-based alignment scheme을 도입한다. 추론 시에는 해석 가능성을 완전히 유지하면서도 견고한 결정을 보장하기 위해 multi-sampling aggregation 전략을 사용한다. 또한 우리는 우리의 접근의 신뢰성을 뒷받침하는 이론적 분석을 제시한다. 대규모 실험은 HCPD가 state-of-the-art baseline을 일관되게 능가하며, zero-source hallucination detection을 위한 효과적이고 설명 가능한 해법을 제공함을 보여준다.
"},{"id":"64086","en":"The Devil is in the Spectrum: Mitigating Representation Collapse in LLMs via Topologically Regularized Side-Path","ko":"악마는 스펙트럼에 있다: 위상적으로 정규화된 사이드 경로를 통한 LLM의 표현 붕괴 완화","authors":"Yiheng Tao, Kaiwen Cheng, Yao Lu, Chang Liu, Jie Chen","pos":"#1902","link":"https://openreview.net/forum?id=R49Bwg8WZ6","abs":"Large Language Models (LLMs) fundamentally suffer from representation collapse, a bottleneck that severely degrades performance in long contexts. We identify that existing approaches risk drifting into one of two pathological extremes: Homogenization Collapse (e.g., attention sinks causing rank deficiency) and Isolation Collapse (e.g., local attention causing context disconnection). Through spectral analysis of attention dynamics, we derive an intrinsic trade-off between Mixing Efficiency (spectral gap) and Information Capacity (effective rank), revealing that standard mechanisms struggle to maximize both simultaneously. To resolve this dilemma, we propose the Topologically Regularized Side-Path (TRSP), a non-invasive architectural intervention designed to achieve spectral balance. TRSP employs a parameter-free Triangular Box mechanism scaled by a lightweight, length-aware gate to explicitly regularize the token interaction topology. By integrating proximal coupling to preserve the effective rank and distal propagation to guarantee the spectral gap, this design ensures a geometrically healthy state without altering the core attention mechanism. Experiments yield significant performance improvements across general capabilities and long-context benchmarks. Notably, on the NoLiMa extrapolation benchmark at 8$\\times$ the training length, TRSP surpasses strong baselines like the Differential Transformer and Gated Attention by approximately 30\\% and 50\\%, respectively.","absKo":"대규모 언어 모델(LLM)은 본질적으로 representation collapse 문제를 겪으며, 이는 긴 context에서 성능을 심각하게 저하시키는 병목이다. 우리는 기존 접근이 두 가지 병리적 극단 중 하나로 치우칠 위험이 있음을 확인한다. Homogenization Collapse(예: attention sink로 인한 rank deficiency)와 Isolation Collapse(예: local attention으로 인한 context 단절)이다. attention dynamics에 대한 spectral analysis를 통해 Mixing Efficiency(spectral gap)와 Information Capacity(effective rank) 사이의 내재적 trade-off를 도출하며, 표준 메커니즘이 두 성질을 동시에 최대화하기 어렵다는 점을 드러낸다. 이 딜레마를 해결하기 위해, spectral balance를 달성하도록 설계된 비침습적 architectural intervention인 Topologically Regularized Side-Path(TRSP)를 제안한다. TRSP는 parameter-free Triangular Box 메커니즘에 length-aware lightweight gate를 결합하여 token interaction topology를 명시적으로 regularize한다. proximal coupling을 통합해 effective rank를 보존하고 distal propagation으로 spectral gap을 보장함으로써, 이 설계는 핵심 attention mechanism을 변경하지 않으면서도 기하학적으로 건강한 상태를 유지하게 한다. 실험 결과는 일반적 능력과 long-context benchmark 전반에서 유의미한 성능 향상을 보여준다. 특히 학습 길이의 8$\\times$에 해당하는 NoLiMa extrapolation benchmark에서 TRSP는 Differential Transformer와 Gated Attention 같은 강한 baseline을 각각 약 30\\%와 50\\% 정도 능가한다."},{"id":"61015","en":"Spectra: Rethinking Optimizers for LLMs Under Spectral Anisotropy","ko":"Spectra: 스펙트럴 비등방성 하에서 LLM Optimizer 재고","authors":"Zhendong Huang, Hengjie Cao, Fang DONG(董方), Ruijun Huang, Mengyi Chen, Yifeng Yang, Xin Zhang, Anrui Chen, Mingzhi Dong, Yujiang Wang, Jinlong Hou, Qin Lv, Robert Dick, Yuan Cheng, Tun Lu, Fan Yang, Li Shang","pos":"#1907","link":"https://openreview.net/forum?id=uXHiVNJK25","abs":"Gradient signals in LLM training are highly anisotropic: recurrent linguistic structure concentrates energy into a small set of dominant spectral directions, while context-specific information resides in a long tail. We show that this spike–tail separation persists throughout training, with the spike occupying only about 1.5% of directions yet dominating optimizer statistics. This dominance suppresses tail learning by contracting tail updates through second-moment normalization and tightening the globally stable learning-rate bound. Motivated by this analysis, we propose \\textit{Spectra}, a spike-aware optimizer that suppresses the dominant low-rank spike subspace without amplifying the noise-sensitive spectral tail. Spectra tracks the spike subspace via cached, warm-started power iteration and applies low-rank spectral shaping with negligible overhead and substantially reduced optimizer-state memory. On LLaMA3-8B trained on 50B tokens, Spectra reaches the same target loss 30% faster than AdamW, reduces per-step end-to-end overhead by 0.7%, cutting optimizer-state memory by 49.25%, and improves average downstream accuracy by 1.62%. Compared to Muon, Spectra is $5.1\\times$ faster in optimizer processing time, achieves a lower final loss, and improves average accuracy by 0.66%. Spectra's Megatron integration is released publicly (https://tinyurl.com/29n4vv5f).","absKo":"LLM training에서 gradient signal은 매우 anisotropic하다. 반복적인 linguistic structure는 에너지를 소수의 지배적인 spectral direction에 집중시키는 반면, context-specific information은 긴 tail에 존재한다. 우리는 이러한 spike-tail 분리가 학습 전반에 걸쳐 지속되며, spike는 전체 방향의 약 1.5%에 불과하지만 optimizer statistic을 지배한다는 것을 보인다. 이러한 지배는 second-moment normalization을 통해 tail update를 수축시키고 전역적으로 안정적인 learning-rate bound를 더 엄격하게 만들어 tail learning을 억제한다. 이 분석에 동기부여를 받아, 우리는 지배적인 low-rank spike subspace를 noise-sensitive spectral tail을 증폭시키지 않으면서 억제하는 spike-aware optimizer인 \\textit{Spectra}를 제안한다. Spectra는 cached, warm-started power iteration으로 spike subspace를 추적하고, 매우 작은 overhead와 상당히 감소된 optimizer-state memory로 low-rank spectral shaping을 적용한다. LLaMA3-8B를 50B tokens로 학습했을 때, Spectra는 AdamW보다 동일한 target loss에 30% 더 빨리 도달하고, step당 end-to-end overhead를 0.7% 줄이며, optimizer-state memory를 49.25% 절감하고, average downstream accuracy를 1.62% 향상시킨다. Muon과 비교하면, Spectra는 optimizer processing time에서 $5.1\\times$ 더 빠르고, 더 낮은 final loss를 달성하며, average accuracy를 0.66% 향상시킨다. Spectra의 Megatron integration은 공개되어 있다(https://tinyurl.com/29n4vv5f)."},{"id":"62956","en":"SimpleGPT: Improving GPT via A Simple Normalization Strategy","ko":"SimpleGPT: 간단한 정규화 전략으로 GPT 개선","authors":"Marco Chen, Xianbiao Qi, Yelin He, Jiaquan Ye, Rong Xiao","pos":"#1908","link":"https://openreview.net/forum?id=bT6JcLswlW","abs":"In this work, we revisit Transformer optimization through the lens of second-order geometry and establish a direct connection between architectural design, activation scale, the Hessian matrix, and the maximum tolerable learning rate. We introduce a simple normalization strategy, termed SimpleNorm, which stabilizes intermediate activation scales by construction. Then, by analyzing the Hessian of the loss with respect to network activations, we theoretically show that SimpleNorm significantly reduces the spectral norm of the Hessian, thereby permitting larger stable learning rates. We validate our theoretical findings through extensive experiments on large GPT models at parameter scales 1B, 1.4B, 7B and 8B. Empirically, SimpleGPT, our SimpleNorm-based network, tolerates learning rates 3$\\times$-10$\\times$ larger than standard convention, consistently demonstrates strong optimization stability, and achieves substantially better performance than well-established baselines. Specifically, when training 7B-scale models for 60K steps, SimpleGPT achieves a training loss that is 0.08 lower than that of LLaMA2 with QKNorm, reducing the loss from 2.290 to 2.208.","absKo":"이 연구에서 우리는 second-order geometry의 관점에서 Transformer optimization을 재검토하고, architectural design, activation scale, Hessian matrix, 그리고 허용 가능한 최대 learning rate 사이의 직접적인 연결을 확립한다. 우리는 SimpleNorm이라 명명한 간단한 normalization strategy를 도입하여, intermediate activation scale을 설계적으로 안정화한다. 그런 다음 네트워크 activation에 대한 loss의 Hessian을 분석함으로써, SimpleNorm이 Hessian의 spectral norm을 유의미하게 줄여 더 큰 stable learning rate를 허용한다는 점을 이론적으로 보인다. 우리는 parameter scale이 1B, 1.4B, 7B, 8B인 대규모 GPT model들에 대한 광범위한 실험을 통해 이론적 결과를 검증한다. 실험적으로, SimpleNorm-based network인 SimpleGPT는 표준 관행보다 3$\\times$-10$\\times$ 더 큰 learning rate를 안정적으로 허용하고, 일관되게 강한 optimization stability를 보이며, 잘 알려진 baseline보다 현저히 더 나은 성능을 달성한다. 구체적으로, 7B-scale model을 60K step 동안 학습했을 때, SimpleGPT는 QKNorm이 적용된 LLaMA2보다 training loss가 0.08 낮았으며, loss를 2.290에서 2.208로 줄였다."},{"id":"65495","en":"Schur-A*: Layer-wise Optimal Expert Pruning for Sparse MoEs via Schur-Complement Guided A* Search","ko":"Schur-A*: Schur 보수 기반 A* 탐색을 통한 Sparse MoE의 레이어별 최적 전문가 가지치기","authors":"Zheng Chen, Weifeng Yang, Jianxiao Tang, Buhui Yao","pos":"#1910","link":"https://openreview.net/forum?id=D2AH8pDyU9","abs":"Sparse Mixture-of-Experts (MoE) language models enable conditional computation but face deployment challenges due to the \"memory wall\": while few experts are activated per token, the entire model must reside in memory. Existing expert pruning methods primarily rely on independent ranking, failing to account for the complex inter-dependencies and redundancies between experts. In this paper, we formulate post-training MoE pruning as a reconstruction-driven subset selection problem, aiming to minimize layer-output distortion under a cardinality constraint. We introduce SCHUR-A*, an algorithm that leverages A* search to achieve globally optimal expert selection within each layer. To maintain computational tractability, we derive a novel, admissible heuristic upper bound using a Schur-complement-based relaxation of the reconstruction objective. This tight bound allows for aggressive pruning of the search space while mathematically guaranteeing optimality. Furthermore, we propose an automated strategy to balance fidelity and memory reduction across heterogeneous layers via knee-point detection. Extensive experiments on Qwen3-30B-A3B demonstrate that SCHUR-A* significantly outperforms greedy and ranking-based baselines, maintaining comparable performance even under aggressive pruning ratios.
","absKo":"Sparse Mixture-of-Experts (MoE) language model은 conditional computation을 가능하게 하지만, \"memory wall\" 때문에 배포에 어려움이 있다. token마다 활성화되는 expert는 소수지만, 전체 model은 메모리에 상주해야 하기 때문이다. 기존 expert pruning 방법은 주로 independent ranking에 의존하여 expert 간의 복잡한 inter-dependency와 redundancy를 반영하지 못한다. 본 논문에서는 post-training MoE pruning을 reconstruction-driven subset selection problem으로 정식화하여, cardinality constraint 하에서 layer output distortion을 최소화하는 것을 목표로 한다. 우리는 각 layer 내에서 A* search를 활용해 전역적으로 최적의 expert selection을 달성하는 알고리즘 SCHUR-A*를 제안한다. 계산 가능성을 유지하기 위해, reconstruction objective의 Schur-complement-based relaxation을 이용한 새로운 admissible heuristic upper bound를 유도한다. 이 강한 bound는 최적성을 수학적으로 보장하면서도 search space를 공격적으로 pruning할 수 있게 한다. 또한 knee-point detection을 통해 heterogeneous layer 전반에서 fidelity와 memory reduction의 균형을 자동으로 맞추는 전략을 제안한다. Qwen3-30B-A3B에 대한 광범위한 실험은 SCHUR-A*가 greedy 및 ranking-based baseline을 크게 능가하며, 공격적인 pruning ratio에서도 비슷한 성능을 유지함을 보여준다."},{"id":"62906","en":"SPARC: Separating Perception And Reasoning Circuits for Test-time Scaling of VLMs","ko":"SPARC: VLM의 Test-time Scaling을 위한 Perception-Reasoning 회로 분리","authors":"Niccolò Avogaro, Nayanika Debnath, Li Mi, Thomas Frick, Junling Wang, Zexue He, Hang Hua, Konrad Schindler, Mattia Rigotti","pos":"#1912","link":"https://openreview.net/forum?id=c0lJ3rOBPu","abs":"Despite recent successes, *test-time scaling* $-$i.e., dynamically expanding the token budget during inference as needed$-$ remains brittle for vision-language models (VLMs): unstructured chains-of-thought about images entangle perception and reasoning, leading to long, disorganized contexts where small perceptual mistakes may cascade into completely wrong answers. Moreover, expensive reinforcement learning with hand-crafted rewards is required to achieve good performance. Here, we introduce SPARC (Separating Perception And Reasoning Circuits), a modular framework that explicitly decouples visual perception from reasoning. Inspired by sequential sensory-to-cognitive processing in the brain, SPARC implements a two-stage pipeline where the model first performs explicit visual search to localize question-relevant regions, then conditions its reasoning on those regions to produce the final answer. This separation enables independent test-time scaling with asymmetric compute allocation (e.g., prioritizing perceptual processing under distribution shift), supports selective optimization (e.g., improving the perceptual stage alone when it is the bottleneck for end-to-end performance), and accommodates compressed contexts by running global search at lower image resolutions and allocating high-resolution processing only to selected regions, thereby reducing total visual tokens count and compute. Across challenging visual reasoning benchmarks, SPARC outperforms monolithic baselines and strong visual-grounding approaches. For instance, SPARC improves the accuracy of Qwen3VL-4B on the $V^*$ VQA benchmark by 6.7 percentage points, and it surpasses \"thinking with images\" by 4.6 points on a challenging OOD task despite requiring a 200$\\times$ lower token budget.","absKo":"최근의 성공에도 불구하고, *test-time scaling* $-$즉, 추론 중 필요에 따라 token budget을 동적으로 확장하는 것$-$은 vision-language model(VLM)에서 여전히 취약하다. 이미지에 대한 구조화되지 않은 chain-of-thought는 perception과 reasoning을 뒤섞어, 작은 지각 오류가 연쇄적으로 이어져 완전히 잘못된 답을 낳을 수 있는 길고 무질서한 context를 만든다. 또한 좋은 성능을 얻기 위해서는 수작업으로 설계한 reward를 사용하는 비싼 reinforcement learning이 필요하다. 여기서는 perception과 reasoning을 명시적으로 분리하는 모듈형 framework인 SPARC(Separating Perception And Reasoning Circuits)를 소개한다. 뇌의 순차적인 sensory-to-cognitive processing에서 영감을 받은 SPARC는, 모델이 먼저 명시적인 visual search를 수행해 질문과 관련된 region을 локализ하는 two-stage pipeline을 구현한 뒤, 그 region을 바탕으로 reasoning을 조건화하여 최종 답을 생성한다. 이러한 분리는 비대칭 compute allocation을 통한 독립적인 test-time scaling을 가능하게 하고(예: distribution shift 아래에서 perceptual processing을 우선시), selective optimization을 지원하며(예: end-to-end performance의 병목이 perceptual stage일 때 그 부분만 개선), 또한 더 낮은 image resolution에서 global search를 수행하고 선택된 region에만 고해상도 처리를 할당함으로써 압축된 context를 수용해 total visual token 수와 compute를 줄인다. 까다로운 visual reasoning benchmark 전반에서 SPARC는 monolithic baseline과 강력한 visual grounding 접근법을 능가한다. 예를 들어, SPARC는 $V^*$ VQA benchmark에서 Qwen3VL-4B의 정확도를 6.7 percentage point 향상시키며, 200$\\times$ 더 낮은 token budget만 사용하면서도 도전적인 OOD task에서 \"thinking with images\"보다 4.6 point 더 높은 성능을 보인다."},{"id":"65030","en":"S-Quant: Rethinking Weight Quantization with Seed-Based Generation","ko":"S-Quant: Seed 기반 생성을 활용한 Weight Quantization 재고","authors":"Mingzi Wang, Lancheng Zou, Shuo Yin, Zhuolun He, Bei Yu","pos":"#1914","link":"https://openreview.net/forum?id=HbopJMswYa","abs":"The progressive scaling of large language models (LLMs) has consistently enhanced multimodal understanding and advanced reasoning capabilities, but has substantially increased computational and hardware execution overhead. In this paper, we present S-Quant, a novel post-method that compresses only model weights. We partition each weight tensor into fixed-size blocks and assign a single seed to each block. The seed drives a hardware-friendly Linear Feedback Shift Register (LFSR) generator that dynamically produces multiple basis matrices. Each block is then reconstructed as a linear combination of these basis matrices, with block-specific coefficients, which substantially reduces the amount of stored data, increases the data-transfer efficiency between memory and compute units, and consequently speeds up memory-bound inference for large language models. Experimental results on different LLM models ranging from 7B–70B parameters show that S-Quant attains state-of-the-art performance when weights are compressed to approximately 3-bit or 4-bit. We also design a dedicated ASIC accelerator that achieves a 4× speed-up for memory-bound LLM inference.
","absKo":"대규모 언어 모델(LLMs)의 점진적 스케일링은 멀티모달 이해와 고급 추론 능력을 꾸준히 향상시켜 왔지만, 계산 및 하드웨어 실행 오버헤드도 크게 증가시켰다. 본 논문에서는 모델 weight만을 압축하는 새로운 post-method인 S-Quant를 제시한다. 우리는 각 weight tensor를 고정 크기 block으로 분할하고 각 block에 하나의 seed를 할당한다. 이 seed는 하드웨어 친화적인 Linear Feedback Shift Register (LFSR) generator를 구동하여 여러 basis matrix를 동적으로 생성한다. 이후 각 block은 block별 coefficient를 사용한 이 basis matrix들의 선형 결합으로 복원되며, 이는 저장해야 하는 데이터의 양을 크게 줄이고 메모리와 compute unit 간의 데이터 전송 효율을 높이며, 그 결과 memory-bound large language model inference를 가속한다. 7B에서 70B 파라미터에 이르는 다양한 LLM에서의 실험 결과, S-Quant는 weight를 약 3-bit 또는 4-bit로 압축할 때 state-of-the-art 성능을 달성한다. 또한 우리는 memory-bound LLM inference에서 4배 속도를 달성하는 전용 ASIC accelerator도 설계한다.
"},{"id":"61551","en":"PatternKV: Flattening KV Representation Expands Quantization Headroom","ko":"PatternKV: KV 표현을 평탄화해 Quantization Headroom 확장","authors":"Ji Zhang, Yiwei Li, Shaoxiong Feng, Peiwen Yuan, Xinglin Wang, Yueqi Zhang, Jiayi Shi, Chuyi Tan, Boyuan Pan, Yao Hu, Kan Li","pos":"#2005","link":"https://openreview.net/forum?id=ozV2cpEgnZ","abs":"KV cache in autoregressive LLMs eliminates redundant recomputation but has emerged as the dominant memory and bandwidth bottleneck during inference, notably with long contexts and test-time scaling. KV quantization is a key lever for reducing cache cost, but accuracy drops sharply as the native KV distribution lacks flatness and thus maintains a wide quantization range. Prior work focuses on isolating outliers, which caps their error but fails to flatten the overall distribution, leaving performance fragile under low-bit settings. In this work, we show that the K cache maintains a stable, context-evolving structure, while the V cache carries latent semantic regularities, with both contributing to the organization of vectors into shared patterns. Building on these insights, we propose PatternKV, a pattern-aligned residual quantization scheme. It mines representative pattern vectors online, aligns each KV vector to its nearest pattern, and quantizes only the residual. This reshaping of the KV distribution flattens the quantization target and narrows its range, thereby improving the fidelity of low-bit KV quantization. Across long-context and test-time scaling settings on multiple backbones, PatternKV delivers consistent 2-bit gains, with a 0.08\\% average 4-bit drop relative to FP16, improves test-time scaling accuracy by 10\\% on average, and raises throughput by 1.5× while supporting 1.25× larger batches.
","absKo":"autoregressive LLM의 KV cache는 중복 재계산을 제거하지만, 특히 긴 context와 test-time scaling에서 inference의 지배적인 memory 및 bandwidth 병목으로 부상했다. KV quantization은 cache cost를 줄이는 핵심 수단이지만, native KV distribution이 flat하지 않아 넓은 quantization range를 유지하므로 정확도가 급격히 떨어진다. 기존 연구는 outlier를 분리하는 데 집중해 이들의 error는 제한하지만, 전체 distribution을 평탄화하지는 못해 low-bit setting에서 성능이 취약하게 남는다. 본 연구에서는 K cache가 안정적이며 context에 따라 진화하는 구조를 유지하고, V cache는 latent semantic regularity를 담고 있으며, 둘 모두 vector를 shared pattern으로 조직하는 데 기여함을 보인다. 이러한 통찰을 바탕으로 우리는 pattern-aligned residual quantization scheme인 PatternKV를 제안한다. 이 방법은 온라인으로 대표적인 pattern vector를 탐색하고, 각 KV vector를 가장 가까운 pattern에 정렬한 뒤 residual만 양자화한다. 이러한 KV distribution의 재구성은 quantization target을 평탄하게 만들고 범위를 좁혀 low-bit KV quantization의 fidelity를 향상시킨다. 여러 backbone에 대한 long-context 및 test-time scaling 설정 전반에서 PatternKV는 일관된 2-bit 향상을 제공하고, FP16 대비 평균 0.08\\%의 4-bit 성능 저하만을 보이며, test-time scaling 정확도를 평균 10\\% 향상시키고, 1.25배 더 큰 batch를 지원하면서 throughput을 1.5× 높인다."},{"id":"61972","en":"Plug-and-Play Spiking Operators: Breaking the Nonlinearity Bottleneck in Spiking Transformers","ko":"Plug-and-Play spiking operators: spiking transformer의 비선형 병목 해소","authors":"Xinzhe Yuan, Xiang Peng, Bin Gu, Huan Xiong","pos":"#2006","link":"https://openreview.net/forum?id=l4nKEbhHKh","abs":"ANN-to-SNN conversion offers a practical, training-free route to spiking large language models. However, current pipelines primarily focus on spike-driven realizations for Transformer linear-algebra operations, while providing limited support for key nonlinear operators. This gap limits compatibility with neuromorphic-style execution constraints, where such nonlinearities typically require division, exponentiation, or norm computations that are not naturally supported by standard leaky integrate-and-fire dynamics. To solve this problem, we propose a plug-and-play framework that implements spike-friendly approximations for Transformer nonlinearities and integrates into existing ANN-to-SNN pipelines. Our method decomposes these nonlinear computations into three recurring primitives---division, exponentiation, and $\\ell_2$ norms---and realizes them via population computation using LIF neuron groups, combined with lightweight bit-shift scaling to avoid floating-point arithmetic. By composing these primitives as modular operator blocks, our framework supports common Transformer nonlinearities (e.g., Softmax, SiLU, and normalization) without any fine-tuning. Experiments on a range of LLMs Transformers show that selectively replacing the targeted nonlinear operators incurs less than a $1\\%$ accuracy drop across all evaluated tasks.","absKo":"ANN-to-SNN conversion은 spiking large language models를 위한 실용적이고 학습이 필요 없는 경로를 제공한다. 그러나 현재의 파이프라인은 주로 Transformer의 선형대수 연산에 대한 spike-driven 구현에 초점을 맞추고 있으며, 핵심 비선형 연산자에 대한 지원은 제한적이다. 이러한 공백은 neuromorphic-style 실행 제약과의 호환성을 제한하는데, 여기서 이러한 비선형성은 일반적으로 표준 leaky integrate-and-fire dynamics가 자연스럽게 지원하지 않는 나눗셈, 지수 연산, 또는 norm 계산을 요구한다. 이 문제를 해결하기 위해 우리는 Transformer 비선형성을 위한 spike-friendly 근사치를 구현하고 기존 ANN-to-SNN pipeline에 통합되는 plug-and-play 프레임워크를 제안한다. 우리의 방법은 이러한 비선형 계산을 세 가지 반복 primitive, 즉 division, exponentiation, $\\ell_2$ norm으로 분해하고, LIF neuron group을 이용한 population computation과 가벼운 bit-shift scaling을 결합하여 floating-point 연산을 피하면서 이를 실현한다. 이 primitive들을 모듈식 operator block으로 구성함으로써, 우리의 프레임워크는 fine-tuning 없이도 Softmax, SiLU, normalization과 같은 일반적인 Transformer 비선형성을 지원한다. 다양한 LLM Transformers에 대한 실험은 대상 비선형 연산자만 선택적으로 교체해도 평가한 모든 task에서 정확도 하락이 1\\% 미만임을 보여준다."},{"id":"60504","en":"RaBitQCache: Rotated Binary Quantization for KVCache in Long Context LLM Inference","ko":"RaBitQCache: Long Context LLM Inference의 KVCache를 위한 Rotated Binary Quantization","authors":"Wenhao Li, Jinhao Dong, Lei Li, Wenhang Shi, WEI LU, Xiaoyong Du","pos":"#2011","link":"https://openreview.net/forum?id=zc8ZDMJmKB","abs":"Long-context Large Language Model inference is severely bottlenecked by the massive Key-Value (KV) cache, yet existing sparse attention methods often suffer from static fixed-budget (Top-k) retrieval or rely on proxy scores that are computationally expensive and biased. To address these limitations, we propose RaBitQCache, a novel sparse attention framework that utilizes randomized rotated binary quantization and high-throughput binary-INT4 arithmetic to efficiently estimate attention weights. Our proxy score serves as an unbiased estimator with a proven error bound, enabling adaptive Top-p retrieval that dynamically adjusts the token budget based on actual attention sparsity. We further implement a hardware-aware system with asynchronous pipelining and lazy updates to mask overhead. Evaluations demonstrate that RaBitQCache significantly accelerates inference and reduces memory I/O while preserving generation quality compared to state-of-the-art baselines.
","absKo":"Long-context Large Language Model 추론은 방대한 Key-Value(KV) cache 때문에 심각하게 병목이 발생하지만, 기존 sparse attention 방법은 고정 예산(Top-k) retrieval에 의존하거나 계산 비용이 크고 편향된 proxy score에 기대는 경우가 많다. 이러한 한계를 해결하기 위해, 우리는 randomized rotated binary quantization과 high-throughput binary-INT4 arithmetic을 활용하여 attention weight를 효율적으로 추정하는 새로운 sparse attention framework인 RaBitQCache를 제안한다. 우리의 proxy score는 증명된 error bound를 갖는 unbiased estimator로 작동하며, 실제 attention sparsity에 따라 token budget을 동적으로 조정하는 adaptive Top-p retrieval을 가능하게 한다. 또한 비동기 pipelining과 lazy update를 통해 오버헤드를 가리는 hardware-aware system을 구현한다. 평가는 RaBitQCache가 state-of-the-art baselines와 비교했을 때 생성 품질을 보존하면서 추론 속도를 크게 높이고 memory I/O를 줄임을 보여준다.
"},{"id":"61314","en":"ReSpinQuant: Efficient Layer-Wise LLM Quantization via Subspace Residual Rotation Approximation","ko":"ReSpinQuant: 부분공간 잔차 회전 근사를 통한 효율적 Layer-Wise LLM 양자화","authors":"Suyoung Kim, Sunghyun Wee, Hyeonjin Kim, Kyomin Hwang, Hyunho Lee, NOJUN KWAK","pos":"#2012","link":"https://openreview.net/forum?id=rS6SbpH6Ek","abs":"Rotation-based Post-Training Quantization (PTQ) has emerged as a promising solution for mitigating activation outliers in the quantization of Large Language Models (LLMs). Global rotation methods achieve inference efficiency by fusing activation rotations into attention and FFN blocks, but suffer from limited expressivity as they are constrained to use a single learnable rotation matrix across all layers. To tackle this, layer-wise transformation methods emerged, achieving superior accuracy through localized adaptation. However, layer-wise methods cannot fuse activation rotation matrices into weights, requiring online computations and causing significant overhead. In this paper, we propose ReSpinQuant, a quantization framework that resolves such overhead by leveraging offline activation rotation fusion and matching basis using efficient residual subspace rotation. This design reconciles the high expressivity of layer-wise adaptation with only negligible inference overhead. Extensive experiments on W4A4 and W3A3 quantization demonstrate that ReSpinQuant achieves state-of-the-art performance, outperforming global rotation methods and matching the accuracy of computationally expensive layer-wise methods with minimal overhead.
","absKo":"Rotation-based Post-Training Quantization(PTQ)은 Large Language Models(LLMs)의 quantization에서 activation outlier를 완화하기 위한 유망한 해결책으로 부상했다. Global rotation 방법은 activation rotation을 attention 및 FFN block에 fuse하여 추론 효율을 달성하지만, 모든 layer에 걸쳐 하나의 learnable rotation matrix만 사용하도록 제한되기 때문에 표현력이 제한된다는 문제를 가진다. 이를 해결하기 위해 layer-wise transformation 방법이 등장했으며, 국소적 적응을 통해 더 우수한 정확도를 달성한다. 그러나 layer-wise 방법은 activation rotation matrix를 weight에 fuse할 수 없어 online computation이 필요하고, 이로 인해 상당한 오버헤드가 발생한다. 본 논문에서는 효율적인 residual subspace rotation을 활용한 offline activation rotation fusion과 matching basis를 통해 이러한 오버헤드를 해결하는 quantization framework인 ReSpinQuant를 제안한다. 이 설계는 layer-wise adaptation의 높은 표현력을 거의 무시할 수 있는 추론 오버헤드만으로 결합한다. W4A4 및 W3A3 quantization에 대한 광범위한 실험은 ReSpinQuant이 state-of-the-art 성능을 달성하며, global rotation 방법을 능가하고 계산 비용이 큰 layer-wise 방법과 최소한의 오버헤드로 동등한 정확도를 보임을 보여준다.
"},{"id":"62873","en":"Representation Drift Compensation: A Zero-Cost Enhancement for LLM Decomposition","ko":"표현 드리프트 보정: LLM 분해를 위한 무비용 개선","authors":"Xinhao Huang, You-Liang Huang, Zeyi Wen","pos":"#2013","link":"https://openreview.net/forum?id=cNSHGzvmIT","abs":"While low-rank decomposition offers potential for LLM size reduction, its application is limited by considerable performance degradation. In this work, we identify and formalize a key overlooked issue in LLM decomposition: \\textit{representation drift}. We show that approximation errors introduced by decomposition propagate and amplify non-linearly through the deep layers of the transformer architecture, progressively distorting internal representations and degrading downstream performance. To mitigate this, we introduce a conceptually simple but principled compensation mechanism, named ``\\our'', that operates by suppressing error at its source. By learning to align the output distribution of decomposed transformer blocks with their original counterparts, our method effectively counteracts representation drift, achieving notable performance recovery with zero inference overhead. Extensive experiments across OPT, LLaMA-2, LLaMA-3, and QWen exhibit remarkable improvements in language modeling, common-sense reasoning, knowledge-based reasoning, and vision-language tasks. For instance, on LLaMA-3-8B and OPT-13B at 40% compression, perplexity is reduced by more than 70% while reasoning task accuracy improves by over 10%. Our code is available at this anonymous URL.
","absKo":"low-rank decomposition은 LLM 크기 축소의 잠재력을 제공하지만, 그 적용은 상당한 성능 저하로 제한된다. 이 연구에서 우리는 LLM decomposition에서 간과되어 온 핵심 문제를 식별하고 정식화한다. 바로 \\textit{representation drift}이다. 우리는 decomposition에서 도입된 approximation error가 transformer architecture의 깊은 layer를 거치며 비선형적으로 전파되고 증폭되어, 내부 representation을 점진적으로 왜곡하고 downstream 성능을 저하시킨다는 점을 보인다. 이를 완화하기 위해, 우리는 오류를 근원에서 억제하는 방식으로 동작하는 개념적으로 단순하지만 원칙적인 보상 메커니즘인 ``\\our''를 도입한다. decomposed transformer block의 output distribution을 원래 block과 정렬하도록 학습함으로써, 우리의 방법은 representation drift를 효과적으로 상쇄하고 inference overhead 없이 눈에 띄는 성능 회복을 달성한다. OPT, LLaMA-2, LLaMA-3, QWen 전반에 걸친 광범위한 실험은 language modeling, common-sense reasoning, knowledge-based reasoning, vision-language task에서 놀라운 개선을 보인다. 예를 들어, LLaMA-3-8B와 OPT-13B를 40% compression했을 때 perplexity는 70% 이상 감소하고 reasoning task 정확도는 10% 이상 향상된다. 우리의 코드는 이 익명 URL에서 제공된다."},{"id":"61670","en":"MixQuant: Pushing the Limits of Block Rotations in Post-Training Quantization","ko":"MixQuant: Post-Training Quantization에서 Block Rotation의 한계 밀어붙이기","authors":"Sai Sanjeet, Ian Colbert, Pablo Monteagudo-Lago, Giuseppe Franco, Yaman Umuroglu, Nicholas Fraser","pos":"#2100","link":"https://openreview.net/forum?id=nvehxSdMqg","abs":"Recent post-training quantization (PTQ) methods have adopted block rotations to diffuse outliers prior to rounding. While this reduces the overhead of full-vector rotations, the effect of block structure on outlier suppression remains poorly understood. To fill this gap, we present the first systematic, non-asymptotic analysis of outlier suppression for block Hadamard rotations. Our analysis reveals that outlier suppression is fundamentally limited by the geometry of the input vector. In particular, post-rotation outliers are deterministically minimized when the pre-rotation $\\ell_1$ norm mass is evenly distributed across blocks. Guided by these insights, we introduce MixQuant, a block rotation-aware PTQ framework that redistributes activation mass via permutations prior to rotation. We propose a greedy mass diffusion algorithm to calibrate permutations by equalizing the expected blockwise $\\ell_1$ norms. To avoid adding inference overhead, we identify permutation-equivariant regions in transformer architectures to merge the resulting permutations into model weights before deployment. Experiments show that MixQuant consistently improves accuracy across all block sizes, recovering up to 90% of the full-vector rotation perplexity when quantizing Llama3 1B to INT4 with block size 16, compared to 46% without permutations.","absKo":"최근 post-training quantization (PTQ) 방법들은 rounding 이전에 outlier를 확산시키기 위해 block rotation을 채택해 왔다. 이는 full-vector rotation의 오버헤드를 줄여 주지만, block structure가 outlier suppression에 미치는 영향은 여전히 충분히 이해되지 않았다. 이러한 공백을 메우기 위해, 우리는 block Hadamard rotation에서 outlier suppression에 대한 최초의 체계적이고 non-asymptotic한 분석을 제시한다. 우리의 분석은 outlier suppression이 입력 벡터의 기하학적 구조에 의해 근본적으로 제한됨을 보여준다. 특히, rotation 이전의 $\\ell_1$ norm 질량이 block 전반에 고르게 분포할 때, rotation 이후 outlier가 결정론적으로 최소화된다. 이러한 통찰에 따라, 우리는 rotation 이전에 permutation을 통해 activation mass를 재분배하는 block rotation-aware PTQ framework인 MixQuant를 소개한다. 우리는 기대 blockwise $\\ell_1$ norm을 균등화하여 permutation을 보정하는 greedy mass diffusion algorithm을 제안한다. inference 오버헤드를 추가하지 않기 위해, transformer architecture 내의 permutation-equivariant region을 식별하여 배포 전에 생성된 permutation을 model weight에 병합한다. 실험 결과, MixQuant는 모든 block size에서 일관되게 정확도를 향상시키며, block size 16으로 Llama3 1B를 INT4로 양자화할 때 permutation이 없을 때의 46%와 비교해 full-vector rotation perplexity의 최대 90%를 회복한다."},{"id":"61801","en":"Fast Byte Latent Transformer","ko":"빠른 Byte Latent Transformer","authors":"Julie Kallini, Artidoro Pagnoni, Tomasz Limisiewicz, Gargi Ghosh, Luke Zettlemoyer, Christopher Potts, Xiaochuang Han, Srinivasan Iyer","pos":"#2208","link":"https://openreview.net/forum?id=mo6rHb1z82","abs":"Recent byte-level language models (LMs) match the performance of token-level models without relying on subword vocabularies, yet their practical deployment is limited by slow inference. In this work, we enhance the Byte Latent Transformer (BLT) using new training and inference techniques. First, we introduce BLT Diffusion (BLT-D), a new model and our fastest BLT variant. BLT-D is trained with an auxiliary block-wise diffusion objective over byte blocks alongside the standard next-byte prediction loss. This enables an inference procedure that generates multiple bytes in parallel per decoding step, substantially improving decoding efficiency. Second, we propose two extensions inspired by speculative decoding that trade some speed for improved quality: BLT Self-speculation (BLT-S), a faster generation method for BLT in which it speculates bytes beyond its normal patch boundaries and verifies its own generations; and BLT Diffusion+Verification (BLT-DV), which enhances BLT-D by adding an autoregressive verification step after diffusion-based generation. Each approach offers its own unique advantages, and together, they overcome key barriers to large-scale deployment of byte-level LMs.
","absKo":"최근의 byte-level language model(LM)은 subword vocabulary에 의존하지 않으면서도 token-level model과 맞먹는 성능을 보이지만, 느린 inference 때문에 실제 배포가 제한된다. 이 연구에서는 새로운 training 및 inference 기법을 사용해 Byte Latent Transformer(BLT)를 향상시킨다. 첫째, 우리는 BLT Diffusion(BLT-D)을 제안하는데, 이는 새로운 모델이자 우리가 제안하는 가장 빠른 BLT 변형이다. BLT-D는 표준 next-byte prediction loss와 함께 byte block 위에 적용되는 auxiliary block-wise diffusion objective로 학습된다. 이를 통해 decoding step마다 여러 byte를 병렬로 생성하는 inference 절차가 가능해져 decoding 효율이 크게 향상된다. 둘째, 우리는 speculative decoding에서 영감을 받은 두 가지 확장안을 제안하는데, 이는 일부 속도를 품질 향상과 맞바꾸는 방식이다. BLT Self-speculation(BLT-S)는 BLT가 normal patch boundary를 넘어 byte를 추측하고 자신의 생성 결과를 검증하는 더 빠른 생성 방법이며, BLT Diffusion+Verification(BLT-DV)는 diffusion-based generation 뒤에 autoregressive verification step을 추가하여 BLT-D를 강화한다. 각 접근법은 저마다 고유한 장점을 제공하며, 함께 byte-level LM의 대규모 배포를 가로막는 핵심 장벽을 극복한다.
"},{"id":"66714","en":"Float8@2bits: Entropy Coding Enables Data-Free Model Compression","ko":"Float8@2bits: Entropy Coding으로 실현하는 데이터 없는 모델 압축","authors":"Patrick Putzky, Martin Genzel, Mattes Mollenhauer, Sebastian Schulze, Thomas Wollmann, Stefan Dietzel","pos":"#2209","link":"https://openreview.net/forum?id=15SdFmonYz","abs":"Post-training compression is currently divided into two contrasting regimes. On the one hand, fast, data-free, and model-agnostic methods (e.g., NF4 or HQQ) offer maximum accessibility but suffer from functional collapse at extreme bit-rates below 4 bits. On the other hand, techniques leveraging calibration data or extensive recovery training achieve superior fidelity but impose high computational constraints and face uncertain robustness under data distribution shifts. We introduce EntQuant, the first framework to unite the advantages of these distinct paradigms. By matching the performance of data-dependent methods with the speed and universality of data-free techniques, EntQuant enables practical utility in the extreme compression regime. Our method decouples numerical precision from storage cost via entropy coding, compressing a 70B parameter model in less than 30 minutes. We demonstrate that EntQuant does not only achieve state-of-the-art results on standard evaluation sets and models, but also retains functional performance on more complex benchmarks with instruction-tuned models, all at modest inference overhead.
","absKo":"Post-training compression은 현재 두 가지 대비되는 regime로 나뉩니다. 한편으로는 NF4나 HQQ와 같은 빠르고 data-free이며 model-agnostic한 방법이 최대의 접근성을 제공하지만, 4 bits 미만의 극단적인 bit-rate에서는 functional collapse를 겪습니다. 다른 한편으로는 calibration data나 광범위한 recovery training을 활용하는 기법이 더 뛰어난 fidelity를 달성하지만, 높은 계산 제약을 수반하고 data distribution shift 하에서의 robustness가 불확실합니다. 우리는 이러한 서로 다른 paradigm의 장점을 통합하는 최초의 framework인 EntQuant를 소개합니다. data-dependent method의 성능을 data-free 기법의 속도와 보편성과 맞춤으로써, EntQuant는 극단적 compression regime에서 실용적 유용성을 가능하게 합니다. 우리의 방법은 entropy coding을 통해 numerical precision과 storage cost를 분리하며, 70B parameter model을 30분 이내에 compress합니다. EntQuant는 표준 evaluation set과 model에서 state-of-the-art 결과를 달성할 뿐 아니라, instruction-tuned model을 사용하는 더 복잡한 benchmark에서도 modest inference overhead로 functional performance를 유지함을 보입니다.
"},{"id":"62350","en":"From Flat Facts to Sharp Hallucinations: Detecting Stubborn Errors via Gradient Sensitivity","ko":"단편적 사실에서 뚜렷한 환각으로: Gradient Sensitivity로 완강한 오류 탐지","authors":"Liew Yee Zhing, Andrew Tan, Anwar Majeed","pos":"#2210","link":"https://openreview.net/forum?id=hQYbnNccMq","abs":"Traditional hallucination detection fails on \"Stubborn Hallucinations\"—errors where LLMs are confidently wrong. We propose a geometric solution: Embedding-Perturbed Gradient Sensitivity (EPGS). We hypothesize that while robust facts reside in flat minima, stubborn hallucinations sit in sharp minima, supported by brittle memorization. EPGS detects this sharpness by perturbing input embeddings with Gaussian noise and measuring the resulting spike in gradient magnitude. This acts as an efficient proxy for the Hessian spectrum, differentiating stable knowledge from unstable memorization. Our experiments show that EPGS significantly outperforms entropy-based and representation-based baselines, providing a robust signal for detecting high-confidence factual errors.
","absKo":"전통적인 hallucination detection은 LLM이 확신에 차서 틀리는 오류인 \"Stubborn Hallucinations\"에 실패한다. 우리는 기하학적 해법인 Embedding-Perturbed Gradient Sensitivity(EPGS)를 제안한다. 우리의 가설은, 견고한 사실은 flat minimum에 존재하는 반면 stubborn hallucination은 취약한 memorization에 의해 뒷받침되는 sharp minimum에 자리한다는 것이다. EPGS는 입력 embedding에 Gaussian noise를 가해 그 결과로 발생하는 gradient magnitude의 급증을 측정함으로써 이러한 sharpness를 탐지한다. 이는 Hessian spectrum의 효율적인 proxy로 작동하여, 안정적인 지식과 불안정한 memorization을 구분한다. 실험 결과, EPGS는 entropy 기반 및 representation 기반 baseline을 크게 능가하며, 높은 확신을 가진 사실 오류를 탐지하는 데 강건한 신호를 제공함을 보인다.
"},{"id":"66450","en":"GLARE: Scalable Neuro-Symbolic Reward Shaping for LLM Agents via Group-Level Automata","ko":"GLARE: 그룹 수준 오토마타를 통한 LLM 에이전트를 위한 확장 가능한 신경-기호 보상 형성","authors":"Jingyuan Yan, Qingchen Liu, Qichao Ma, Jiahu Qin","pos":"#2212","link":"https://openreview.net/forum?id=3a8fm24EQd","abs":"Reinforcement Learning (RL) with Group Relative Policy Optimization (GRPO) shows great promise for enhancing LLM reasoning, but remains challenged by sparse and unstable rewards in long-horizon tasks. Existing approaches to reward shaping struggle to balance semantic expressiveness, reliability, and computational efficiency: heuristic rules lack flexibility, while LLM-as-a-Judge incurs high computational cost and suffer from inconsistent and misaligned scoring signals in long-context settings. To address these challenges, we introduce GLARE, a neuro-symbolic reward framework that decouples semantic abstraction from credit assignment. Specifically, to leverage semantic understanding while preserving symbolic determinism, we first extract and symbolize trajectory events into a discrete representation. These events are then translated into Linear Temporal Logic (LTL) formulas, which are compiled into deterministic automata that track the agent's progress via state transitions. This mechanism yields dense and consistent reward signals, avoiding unstable direct scoring while significantly reducing computational cost. Empirical results on ALFWorld show that GLARE outperforms GRPO by 12.1\\% in success rate, while achieving an 8.1\\% improvement over conventional LLM-based judges using only 15\\% of their computational cost.
","absKo":"Group Relative Policy Optimization (GRPO)을 사용한 Reinforcement Learning (RL)은 LLM reasoning을 향상하는 데 큰 가능성을 보이지만, long-horizon task에서 sparse하고 불안정한 reward 때문에 여전히 어려움을 겪는다. 기존의 reward shaping 접근은 semantic expressiveness, reliability, computational efficiency 사이의 균형을 맞추는 데 어려움이 있다. heuristic rule은 유연성이 부족하고, LLM-as-a-Judge는 계산 비용이 크며, long-context 설정에서는 일관되지 않고 정렬이 어긋난 scoring signal을 낸다. 이러한 문제를 해결하기 위해, 우리는 semantic abstraction과 credit assignment를 분리하는 neuro-symbolic reward framework인 GLARE를 제안한다. 구체적으로, semantic understanding을 활용하면서 symbolic determinism을 보존하기 위해, 먼저 trajectory event를 추출해 discrete representation으로 symbolization한다. 그런 다음 이 event들을 Linear Temporal Logic (LTL) formula로 변환하고, 이를 deterministic automata로 compile하여 state transition을 통해 agent의 진행 상황을 추적한다. 이 메커니즘은 dense하고 일관된 reward signal을 만들어, 불안정한 직접 scoring을 피하는 동시에 계산 비용을 크게 줄인다. ALFWorld에서의 실험 결과, GLARE는 success rate에서 GRPO보다 12.1\\% 우수했으며, 계산 비용은 15\\%만 사용하면서도 기존 LLM-based judge 대비 8.1\\%의 향상을 달성했다.
"},{"id":"65012","en":"GSRQ: Gain-Shape Residual Quantization for Sub-1-bit KV Cache","ko":"GSRQ: Sub-1-bit KV Cache를 위한 Gain-Shape Residual Quantization","authors":"Soosung Kim, Minjae Park, Eui-Young Chung, Jaeyong Chung","pos":"#2213","link":"https://openreview.net/forum?id=HoRGEhSUdN","abs":"The deployment of Large Language Models (LLMs) with extended context windows is increasingly constrained by the linear growth of Key-Value (KV) cache memory. Vector Quantization (VQ) is a key enabler for pushing KV cache storage toward the sub-1-bit regime; in particular, Residual Quantization (RQ) supports this goal via progressive refinement, sequentially encoding residuals with small codebooks across stages. Yet most VQ methods still rely on standard $\\ell_2$ $K$-means as the core codebook-learning primitive. We identify a subtle high-dimensional issue: Euclidean centroid averaging can induce centroid shrinkage, and under an $\\ell_2$ objective this shrinkage reduces the influence of angular alignment in the distortion term. This coupling can make directional preservation harder to maintain, hindering KV cache vector quantization methods from pushing into the sub-1-bit regime. To mitigate this coupling, we propose Gain-Shape $K$-means (GSKM), a drop-in replacement for $K$-means that improves directional fidelity over standard $K$-means while matching, and in some regimes improving, $\\ell_2$ distortion. We build Gain-Shape Residual Quantization (GSRQ) by incorporating a weighted extension of GSKM into a RQ pipeline. On LLaMA-3-8B, GSRQ yields substantial improvements over strong KV cache quantization baselines across bit rates. At 1-bit, our method improves the average accuracy across LongBench tasks from 11.34 to 32.26, a gain of 20.92 percentage points over VQLLM.","absKo":"Extended context window를 갖는 Large Language Model(LLM)의 deployment는 Key-Value(KV) cache memory의 선형적 증가에 의해 점점 더 제약받고 있다. Vector Quantization(VQ)은 KV cache storage를 sub-1-bit regime으로 밀어붙이기 위한 핵심 enabler이며, 특히 Residual Quantization(RQ)은 stage 전반에 걸쳐 작은 codebook으로 residual을 순차적으로 encoding하는 progressive refinement를 통해 이러한 목표를 지원한다. 그러나 대부분의 VQ 방법은 여전히 표준 $\\ell_2$ $K$-means를 핵심 codebook-learning primitive로 사용한다. 우리는 미묘한 고차원적 문제를 식별한다. Euclidean centroid averaging은 centroid shrinkage를 유발할 수 있으며, $\\ell_2$ objective 하에서는 이 shrinkage가 distortion term에서 angular alignment의 영향을 감소시킨다. 이러한 결합은 direction preservation을 유지하기 어렵게 만들어, KV cache vector quantization 방법이 sub-1-bit regime으로 진입하는 것을 방해할 수 있다. 이 coupling을 완화하기 위해 우리는 Gain-Shape $K$-means(GSKM)를 제안한다. 이는 표준 $K$-means를 대체하는 drop-in replacement로서, 표준 $K$-means와 동일한 수준의 $\\ell_2$ distortion을 맞추거나 일부 regime에서는 개선하면서도 directional fidelity를 향상시킨다. 우리는 GSKM의 weighted extension을 RQ pipeline에 통합하여 Gain-Shape Residual Quantization(GSRQ)을 구성한다. LLaMA-3-8B에서 GSRQ는 다양한 bit rate 전반에 걸쳐 강력한 KV cache quantization baseline보다 상당한 성능 향상을 보인다. 1-bit에서는 우리의 방법이 LongBench task 전반의 평균 정확도를 11.34에서 32.26으로 향상시키며, 이는 VQLLM 대비 20.92 percentage point의 향상이다."},{"id":"61680","en":"Compute When Worth It: Risk Control for Reasoning on a Compute Budget","ko":"가치 있을 때 계산하기: Compute Budget 내 추론을 위한 Risk Control","authors":"Xi Wang, Anushri Suresh, Alvin Zhang, Rishi More, William Jurayj, Mehrdad Farajtabar, Daniel Khashabi, Eric Nalisnick","pos":"#2301","link":"https://openreview.net/forum?id=noDJPmA3ha","abs":"Reasoning Large Language Models (LLMs) enable test-time scaling, with dataset-level accuracy improving as the token budget increases, motivating adaptive reasoning---spending tokens when they improve reliability and stopping early when additional computation is unlikely to help. However, setting the token budget, as well as the threshold for adaptive reasoning, is a practical challenge that entails a fundamental risk-accuracy trade-off. We re-frame the budget setting problem as risk control, limiting the error rate while minimizing compute. Our framework introduces an \\emph{upper} threshold that stops reasoning when the model is confident (risking incorrect output) and a novel parametric lower threshold that preemptively stops unsolvable instances (risking premature stoppage). Given a target risk and a validation set, we use distribution-free risk control to optimally specify these stopping mechanisms. For scenarios with multiple budget controlling criteria, we incorporate an efficiency loss to select the most computationally efficient exiting mechanism. Empirical results across diverse reasoning tasks and models demonstrate the effectiveness of our risk control approach, demonstrating computational efficiency gains from the lower threshold and ensemble stopping mechanisms while adhering to the user-specified risk target.
","absKo":"Reasoning Large Language Models(LLMs)는 test-time scaling을 가능하게 하며, token budget이 증가할수록 dataset-level accuracy가 향상된다. 이는 adaptive reasoning, 즉 신뢰도를 높일 수 있을 때는 token을 더 쓰고 추가 계산이 도움이 되지 않을 것 같으면 일찍 멈추는 방식을 동기부여한다. 그러나 token budget과 adaptive reasoning의 threshold를 설정하는 일은 실무적으로 어려우며, 근본적인 risk-accuracy trade-off를 수반한다. 우리는 budget 설정 문제를 risk control로 재정식화하여, compute를 최소화하면서 error rate를 제한한다. 우리의 framework는 모델이 충분히 확신할 때 reasoning을 멈추는 \\emph{upper} threshold(잘못된 출력을 내놓을 위험이 있음)와, 풀 수 없는 인스턴스를 선제적으로 멈추는 새로운 parametric lower threshold(너무 이르게 멈출 위험이 있음)를 도입한다. 주어진 target risk와 validation set에 대해, distribution-free risk control을 사용하여 이러한 stopping mechanism을 최적으로 지정한다. 여러 budget controlling criterion이 존재하는 상황에서는 efficiency loss를 도입하여 가장 computationally efficient한 exiting mechanism을 선택한다. 다양한 reasoning task와 model 전반에 대한 실험 결과는, 사용자 지정 risk target을 준수하면서 lower threshold와 ensemble stopping mechanism을 통해 계산 효율성을 높일 수 있음을 보여주며, 우리의 risk control 접근법의 효과를 입증한다."},{"id":"63549","en":"ASyMOB: Algebraic Symbolic Mathematical Operations Benchmark","ko":"ASyMOB: 대수적 기호 수학 연산 벤치마크","authors":"Michael Shalyt, Rotem Elimelech, Ido Kaminer","pos":"#2413","link":"https://openreview.net/forum?id=W85McJPVMI","abs":"Large language models (LLMs) are increasingly applied to symbolic mathematics, yet existing evaluations often conflate pattern memorization with genuine reasoning. To address this gap, we present ASyMOB, a high-resolution dataset of 35,368 validated symbolic math problems spanning integration, limits, differential equations, series, and hypergeometrics. Unlike prior benchmarks, ASyMOB systematically perturbs each seed problem using symbolic, numeric, and equivalence-preserving transformations, enabling a fine-grained assessment of generalization and robustness. Our evaluation reveals three key findings: (1) most models’ performance collapses under minor perturbations, while top systems exhibit an apparent \\textit{regime shift} in robustness; (2) integrated code tools stabilize performance, particularly for weaker models; and (3) we identify examples where Computer Algebra Systems (CAS) fail while LLMs succeed, as well as problems solved only via a hybrid LLM-CAS approach, highlighting a promising integration frontier. ASyMOB serves as a principled diagnostic tool for measuring and accelerating progress toward building verifiable, trustworthy AI for scientific discovery.
","absKo":"Large language models (LLMs)은 점점 symbolic mathematics에 적용되고 있지만, 기존 평가는 종종 pattern memorization과 진정한 reasoning을 혼동한다. 이 공백을 해소하기 위해, 우리는 integration, limits, differential equations, series, hypergeometric을 아우르는 35,368개의 검증된 symbolic math problem으로 구성된 고해상도 dataset인 ASyMOB를 제시한다. 이전 benchmark와 달리, ASyMOB는 각 seed problem을 symbolic, numeric, equivalence-preserving transformation으로 체계적으로 perturb하여 generalization과 robustness를 세밀하게 평가할 수 있게 한다. 우리의 평가는 세 가지 핵심 발견을 보여준다. (1) 대부분의 model은 사소한 perturbation 아래에서 성능이 급격히 무너지는 반면, 최상위 system은 robustness에서 뚜렷한 \\textit{regime shift}를 보인다. (2) 통합된 code tool은 특히 약한 model에서 성능을 안정화한다. (3) Computer Algebra System (CAS)이 실패하지만 LLM이 성공하는 사례와, hybrid LLM-CAS 접근법으로만 해결되는 문제를 식별했으며, 이는 유망한 integration frontier를 보여준다. ASyMOB는 과학적 발견을 위한 검증 가능하고 신뢰할 수 있는 AI를 구축하는 진전을 측정하고 가속화하기 위한 원칙적인 진단 도구로 기능한다.
"},{"id":"66544","en":"FPTQuant: Function-Preserving Transforms for LLM Quantization","ko":"FPTQuant: LLM 양자화를 위한 함수 보존 변환","authors":"Boris van Breugel, Yelysei Bondarenko, Paul Whatmough, Markus Nagel","pos":"#2905","link":"https://openreview.net/forum?id=2jpCo5lnSZ","abs":"Large language models (LLMs) require substantial compute, and thus energy, at inference time. While quantizing weights and activations is effective at improving efficiency, naive quantization of LLMs can significantly degrade performance due to large magnitude outliers. This paper describes FPTQuant, which introduces three novel, lightweight, and expressive function-preserving transforms (FPTs) to facilitate quantization of transformers: (1) a mergeable pre-RoPE transform for queries and keys, (2) a mergeable transform for values, (3) a cheap, dynamic scaling transform. By leveraging the equivariances and independencies inherent to canonical transformer operation, we designed these FPTs to maintain the model’s function while shaping the intermediate activation distributions to be more quantization friendly. FPTQuant requires no custom kernels and adds virtually no overhead during inference. The FPTs are trained both locally to reduce outliers, and end-to-end such that the outputs of the quantized and full-precision models match. FPTQuant enables static INT4 quantization with minimal overhead and shows SOTA speed-up of up to 3.9x over FP. Empirically, FPTQuant has an excellent accuracy-speed trade-off—it is performing on par or exceeding most prior work and only shows slightly lower accuracy compared to a method that is up to 29% slower.
","absKo":"Large language models (LLMs)는 추론 시점에 상당한 compute, 나아가 energy를 필요로 한다. weight와 activation을 quantization하는 것은 효율을 높이는 데 효과적이지만, 큰 magnitude outlier 때문에 LLM을 naive하게 quantization하면 성능이 크게 저하될 수 있다. 본 논문은 transformer의 quantization을 용이하게 하기 위해 세 가지 새로운, 경량이며 표현력이 있는 function-preserving transform (FPT)를 도입하는 FPTQuant를 소개한다: (1) queries와 keys를 위한 mergeable pre-RoPE transform, (2) values를 위한 mergeable transform, (3) 저비용의 dynamic scaling transform. canonical transformer 동작에 내재된 equivariance와 independence를 활용하여, 우리는 중간 activation distribution을 quantization에 더 적합하게 만들면서도 모델의 function을 유지하도록 이러한 FPT를 설계했다. FPTQuant는 custom kernel이 전혀 필요 없고 추론 중 오버헤드가 사실상 없다. 이 FPT는 outlier를 줄이기 위해 local하게, 그리고 quantized model과 full-precision model의 output이 일치하도록 end-to-end로 학습된다. FPTQuant는 최소한의 오버헤드로 static INT4 quantization을 가능하게 하며, FP 대비 최대 3.9x의 SOTA speed-up을 보인다. 경험적으로 FPTQuant는 accuracy-speed trade-off가 매우 뛰어나며, 대부분의 이전 연구와 동등하거나 이를 상회하고, 최대 29% 더 느린 방법보다도 약간 낮은 정확도만을 보인다.
"},{"id":"62355","en":"DiffuMamba: High-Throughput Diffusion LMs with Mamba Backbone","ko":"DiffuMamba: Mamba Backbone을 갖춘 고처리량 Diffusion LM","authors":"Vaibhav Singh, Oleksiy Ostapenko, Pierre-André Noël, Eugene Belilovsky, Torsten Scholak","pos":"#3311","link":"https://openreview.net/forum?id=hLizFuTBsA","abs":"Diffusion language models (DLMs) have emerged as a promising alternative to autoregressive (AR) generation, yet their reliance on Transformer backbones limits inference efficiency due to quadratic attention or KV-cache overhead. We introduce DiffuMamba, a masked diffusion language model built on a bidirectional Mamba backbone that combines the diffusion objective with linear-time sequence modeling, and DiffuMamba-H, a hybrid variant with interleaved attention. Across scales up to 1.3B parameters, our models match Transformer-based diffusion in downstream performance while achieving up to 8.2× and 4.3× higher inference throughput, respectively, on long sequences. We further present a systematic analysis of inference efficiency across modern DLM variants, combining asymptotic complexity with empirical measurements. Notably, cache-efficient block diffusion with Mamba mixers emerges as the only strategy that scales linearly with sequence length and achieves the strongest performance across all baselines, suggesting a promising direction for future diffusion-based generation systems.
","absKo":"Diffusion language model(DLM)은 autoregressive(AR) generation의 유망한 대안으로 부상했지만, Transformer backbone에 의존하기 때문에 quadratic attention 또는 KV-cache 오버헤드로 인해 추론 효율이 제한된다. 우리는 bidirectional Mamba backbone 위에 구축된 masked diffusion language model인 DiffuMamba를 제안한다. DiffuMamba는 diffusion objective와 linear-time sequence modeling을 결합하며, DiffuMamba-H는 interleaved attention을 갖는 hybrid variant이다. 최대 1.3B 파라미터 규모에 걸쳐, 우리의 모델은 downstream performance에서 Transformer 기반 diffusion과 동등한 수준을 유지하면서, 긴 시퀀스에서 각각 최대 8.2× 및 4.3× 더 높은 추론 처리량을 달성한다. 또한 우리는 현대 DLM variant 전반의 추론 효율을 체계적으로 분석하며, 점근적 복잡도와 실측값을 결합한다. 특히 Mamba mixer를 사용하는 cache-efficient block diffusion은 시퀀스 길이에 선형적으로 확장되는 유일한 전략이자 모든 baseline 중 가장 강한 성능을 보이는 방법으로 나타나, 향후 diffusion 기반 생성 시스템의 유망한 방향을 시사한다.
"},{"id":"63085","en":"Overthinking: Amplifying Reasoning Weights to Extract Learned Secrets","ko":"과도한 사고: 학습된 비밀 추출을 위한 추론 가중치 증폭","authors":"Jack Hopkins, Dipika Khullar, Fabien Roger","pos":"#3405","link":"https://openreview.net/forum?id=aEF0CldMTz","abs":"Black box auditing of language models is an essential pre-deployment tool, but it may miss subtle forms of misalignment and hidden information. To better elicit hidden information during an auditing process, we introduce *overthinking*: the process of using reasoning task vectors to amplify the chain-of-thought faithfulness of reasoning models. Given the parameters of a base instruct model M and reasoning-distilled model R, we define the *overthinking model* as $\\mathcal{O}_\\alpha = M + \\alpha(R - M)$, where $\\alpha > 1$ amplifies reasoning beyond the pure reasoning model R. Additionally, we introduce layer-wise attenuation strategies that selectively amplify reasoning without losing quality and coherence of model outputs. We demonstrate that overthinking models are more likely to reveal hidden information across four experimental settings, across 2B-32B models. Our findings suggest that reasoning amplification may surface secrets or unintended behaviors acquired during training up to 10 times more frequently than the original reasoning model.","absKo":"언어 모델의 black-box auditing은 배포 전 필수적인 도구지만, 미세한 형태의 misalignment와 hidden information은 놓칠 수 있다. 감사 과정에서 hidden information을 더 잘 이끌어내기 위해, 우리는 *overthinking*을 도입한다. 이는 reasoning task vector를 사용해 reasoning model의 chain-of-thought faithfulness를 증폭하는 과정이다. base instruct model M과 reasoning-distilled model R의 파라미터가 주어졌을 때, 우리는 *overthinking model*을 $\\mathcal{O}_\\alpha = M + \\alpha(R - M)$로 정의하며, 여기서 $\\alpha > 1$은 pure reasoning model R을 넘어 reasoning을 증폭한다. 또한, 우리는 model output의 quality와 coherence를 잃지 않으면서 reasoning을 선택적으로 증폭하는 layer-wise attenuation 전략을 도입한다. 우리는 2B-32B 모델 전반의 네 가지 실험 설정에서 overthinking model이 hidden information을 더 자주 드러낸다는 것을 보인다. 우리의 결과는 reasoning amplification이 학습 중 획득된 secrets 또는 의도치 않은 behavior를 원래 reasoning model보다 최대 10배 더 자주 표면화할 수 있음을 시사한다."},{"id":"62861","en":"ExpertWeaver: Unlocking the Inherent MoE in Dense LLMs with GLU Activation Patterns","ko":"ExpertWeaver: GLU Activation Pattern으로 Dense LLM 내재 MoE를 활성화","authors":"Ziyu Zhao, Tong Zhu, Xin Yu, Zhi Zhang, Tiantian Fan, Jinluan Yang, Kun Kuang, Zhongyu Wei, Fei Wu, Yu Cheng","pos":"#3409","link":"https://openreview.net/forum?id=cRs6HUUUay","abs":"Mixture-of-Experts (MoE) effectively scales model capacity while preserving computational efficiency through sparse expert activation. However, training high-quality MoEs from scratch is prohibitively expensive. A promising alternative is to convert pretrained dense models into sparse MoEs. Existing dense-to-MoE methods fall into two categories: \\textbf{dynamic structural pruning} that converts dense models into MoE architectures with moderate sparsity to balance performance and inference efficiency, and \\textbf{downcycling} approaches that use pretrained dense models to initialize highly sparse MoE architectures. However, existing methods break the intrinsic activation patterns within dense models, leading to suboptimal expert construction. In this work, we argue that the Gated Linear Unit (GLU) mechanism provides a natural blueprint for dense-to-MoE conversion. We show that the fine-grained neural-wise activation patterns of GLU reveal a coarse-grained structure, uncovering an inherent MoE architecture composed of consistently activated universal neurons and dynamically activated specialized neurons. Leveraging this discovery, we introduce ExpertWeaver, a training-free framework that partitions neurons according to their activation patterns and constructs shared experts and specialized routed experts with layer-adaptive configurations. Our experiments demonstrate that ExpertWeaver significantly outperforms existing methods, both as a training-free dynamic structural pruning technique and as a downcycling strategy for superior MoE initialization.
","absKo":"Mixture-of-Experts (MoE)는 sparse expert activation을 통해 계산 효율성을 유지하면서 모델 용량을 효과적으로 확장한다. 그러나 고품질 MoE를 scratch부터 학습하는 것은 비용이 지나치게 크다. 유망한 대안은 pretrained dense model을 sparse MoE로 변환하는 것이다. 기존 dense-to-MoE 방법은 크게 두 범주로 나뉜다. 하나는 성능과 추론 효율의 균형을 위해 moderate sparsity를 가진 MoE architecture로 dense model을 변환하는 \\textbf{dynamic structural pruning}이고, 다른 하나는 pretrained dense model을 이용해 highly sparse MoE architecture를 초기화하는 \\textbf{downcycling} 접근이다. 그러나 기존 방법들은 dense model 내부의 고유한 activation pattern을 깨뜨려 suboptimal expert construction을 초래한다. 본 연구에서는 Gated Linear Unit (GLU) 메커니즘이 dense-to-MoE 변환을 위한 자연스러운 청사진을 제공한다고 주장한다. 우리는 GLU의 fine-grained neural-wise activation pattern이 coarse-grained structure를 드러내며, 일관되게 활성화되는 universal neuron과 동적으로 활성화되는 specialized neuron으로 구성된 내재적 MoE architecture를 밝혀낸다는 것을 보인다. 이러한 발견을 바탕으로, 우리는 neuron을 activation pattern에 따라 분할하고 layer-adaptive configuration을 가진 shared expert와 specialized routed expert를 구성하는 training-free framework인 ExpertWeaver를 제안한다. 우리의 실험은 ExpertWeaver가 training-free dynamic structural pruning 기법으로서뿐 아니라 더 우수한 MoE initialization을 위한 downcycling 전략으로서도 기존 방법들을 크게 능가함을 보여준다.
"},{"id":"64951","en":"Understanding the Ability of LLMs to Handle Character-Level Perturbation","ko":"문자 수준 교란을 처리하는 LLM의 능력 이해","authors":"Anyuan Zhuo, Xuefei Ning, Ningyuan Li, Jingyi Zhu, Yu Wang, Pinyan Lu","pos":"#3607","link":"https://openreview.net/forum?id=IP1KYg5iw9","abs":"This work investigates the resilience of contemporary large language models (LLMs) against frequent character-level perturbations. We examine three types of character-level perturbations including introducing numerous typos within words, shuffling the characters in each word, and inserting a large number of invisible characters into the text. Surprisingly, even under severe perturbation, such as shuffling nearly all words character-wise to produce text that is almost unreadable to humans, or inserting invisible characters which are several times more than the visible ones as noise, many LLMs still maintain notable performance. We explore the underlying causes of this robustness and find that LLMs exhibit remarkable resilience to chaotic segmentation and fragmented tokenization. Furthermore, we examine the mechanisms by which LLMs remove perturbations to correctly comprehend text, including both implicit and explicit mechanisms for character-level perturbation. We hope that our findings on the low-level robustness of LLMs will unveil their inherent architectural strengths, reveal the potential risks of their misuse, and inform the reliable deployment of LLMs across diverse application scenarios.
","absKo":"본 연구는 현대 large language model (LLM)이 빈번한 character-level perturbation에 대해 얼마나 견고한지 조사한다. 우리는 단어 내부에 다수의 typo를 주입하는 것, 각 단어의 문자를 섞는 것, 그리고 텍스트에 대량의 invisible character를 삽입하는 것의 세 가지 character-level perturbation을 검토한다. 놀랍게도, 거의 모든 단어를 문자 단위로 섞어 사람이 거의 읽을 수 없을 정도의 텍스트를 만들거나, 보이는 문자보다 몇 배나 많은 invisible character를 noise로 삽입하는 등 심한 perturbation 하에서도 많은 LLM이 여전히 주목할 만한 성능을 유지한다. 우리는 이러한 robustness의 근본 원인을 탐구하고, LLM이 chaotic segmentation과 fragmented tokenization에 대해 놀라운 회복력을 보인다는 사실을 발견한다. 더 나아가, character-level perturbation을 올바르게 이해하기 위해 LLM이 perturbation을 제거하는 메커니즘을 탐구하며, 여기에는 암묵적 메커니즘과 명시적 메커니즘이 모두 포함된다. 우리는 LLM의 low-level robustness에 관한 우리의 발견이 그 내재적 구조적 강점을 밝히고, 오용의 잠재적 위험을 드러내며, 다양한 application scenario에서 LLM의 신뢰할 수 있는 배포에 기여하기를 기대한다.
"},{"id":"64217","en":"Beyond Test-Time Training: Learning to Reason via Hardware-Efficient Optimal Control","ko":"테스트 시점 학습을 넘어: 하드웨어 효율적 최적 제어를 통한 추론 학습","authors":"Peihao Wang, Shan Yang, Xijun Wang, Tesi Xiao, Jiahui Gao, Changlong Yu, Yu Lou, Pan Li, Zhangyang “Atlas” Wang, Ming Lin, Rene Vidal","pos":"#3611","link":"https://openreview.net/forum?id=PsCuRawx1I","abs":"Associative memory has long underpinned the design of sequential models. Beyond recall, humans reason by projecting future states and selecting goal-directed actions, a capability that modern language models increasingly require but do not natively encode. While prior work uses reinforcement learning or test-time training, planning remains external to the model architecture. We formulate reasoning as optimal control and introduce the Test-Time Control (TTC) layer, which performs finite-horizon LQR planning over latent states at inference time, enabling planning before prediction. To ensure scalability, we derive a hardware-efficient LQR solver based on a symplectic formulation and implement it as a fused CUDA kernel, enabling parallel execution with minimal overhead. Integrated as an adapter into pretrained LLMs, TTC layers improve mathematical reasoning performance by up to +27.8 on MATH-500 and 2-3x Pass@8 improvements on AMC and AIME, demonstrating that embedding optimal control as an architectural component provides an effective and scalable mechanism for reasoning beyond test-time training.
","absKo":"Associative memory는 오랫동안 sequential model 설계의 기반이 되어 왔다. 단순한 recall을 넘어, 인간은 미래 상태를 예측하고 목표 지향적 행동을 선택하는 방식으로 추론하며, 현대 language model은 점점 더 이러한 능력을 요구하지만 본질적으로는 이를 내장하고 있지 않다. 기존 연구는 reinforcement learning이나 test-time training을 사용하지만, planning은 여전히 model architecture 외부에 남아 있다. 우리는 추론을 optimal control로 정식화하고, inference time에 latent state 위에서 finite-horizon LQR planning을 수행하여 prediction before planning을 가능하게 하는 Test-Time Control (TTC) layer를 도입한다. 확장성을 보장하기 위해, 우리는 symplectic formulation에 기반한 hardware-efficient LQR solver를 유도하고 이를 fused CUDA kernel로 구현하여 최소한의 overhead로 parallel execution을 가능하게 한다. pretrained LLM에 adapter로 통합된 TTC layer는 MATH-500에서 최대 +27.8의 수학 추론 성능 향상과 AMC 및 AIME에서 2-3x Pass@8 향상을 보이며, optimal control을 architectural component로 내장하는 것이 test-time training을 넘어서는 추론을 위한 효과적이고 확장 가능한 메커니즘임을 보여준다.
"},{"id":"65609","en":"Dr. Kernel: Reinforcement Learning Done Right for Triton Kernel Generations","ko":"Dr. Kernel: Triton 커널 생성을 위한 올바른 강화학습","authors":"Wei Liu, Jiawei Xu, Yingru Li, Longtao Zheng, Tianjian Li, Qian Liu, Junxian He","pos":"#4603","link":"https://openreview.net/forum?id=BvgmzJOn5M","abs":"High-quality kernel is critical for scalable AI systems, and enabling LLMs to generate such code would advance AI development. However, training LLMs for this task requires sufficient data, a robust environment, and the process is often vulnerable to reward hacking and lazy optimization. In these cases, models may hack training rewards or prioritize trivial correctness over meaningful speedup. In this paper, we systematically study reinforcement learning (RL) for kernel generation. We first design KernelGYM, a robust distributed GPU environment that supports reward hacking check, data collection from multi-turn interactions and long-term RL training. Building on KernelGYM, we investigate effective multi-turn RL methods and identify a biased policy gradient issue caused by self-inclusion in GRPO. To solve this, we propose Turn-level Reinforce-Leave-One-Out (TRLOO) to provide unbiased advantage estimation for multi-turn RL. To alleviate lazy optimization, we incorporate mismatch correction for training stability and introduce Profiling-based Rewards (PR) and Profiling-based Rejection Sampling (PRS) to overcome the issue. The trained model, Dr. Kernel-14B, reach performance competitive with Claude-4.5-Sonnet in Kernelbench. Finally, we study sequential test-time scaling for Dr. Kernel-14B, which even outperforms GPT-5 and Claude-4.5-Sonnet in the Kernelbench level-2 subset.
","absKo":"고품질 kernel은 scalable AI system에 매우 중요하며, LLM이 이러한 코드를 생성할 수 있게 되면 AI 개발이 진전될 것이다. 그러나 이 과제를 위해 LLM을 학습하려면 충분한 데이터와 견고한 환경이 필요하고, 과정은 reward hacking과 lazy optimization에 취약한 경우가 많다. 이런 경우 모델은 학습 reward를 조작하거나 의미 있는 speedup보다 사소한 정답성(correctness)을 우선할 수 있다. 본 논문에서는 kernel generation을 위한 reinforcement learning(RL)을 체계적으로 연구한다. 먼저, reward hacking check, multi-turn interaction에서의 data collection, 장기 RL training을 지원하는 견고한 distributed GPU environment인 KernelGYM을 설계한다. KernelGYM을 기반으로, 우리는 효과적인 multi-turn RL 방법을 조사하고 GRPO에서의 self-inclusion으로 인해 발생하는 biased policy gradient 문제를 식별한다. 이를 해결하기 위해, multi-turn RL에 대해 unbiased advantage estimation을 제공하는 Turn-level Reinforce-Leave-One-Out(TRLOO)을 제안한다. lazy optimization을 완화하기 위해, 학습 안정성을 위한 mismatch correction을 통합하고, 문제를 극복하기 위해 Profiling-based Rewards(PR)와 Profiling-based Rejection Sampling(PRS)을 도입한다. 학습된 모델인 Dr. Kernel-14B는 Kernelbench에서 Claude-4.5-Sonnet과 경쟁력 있는 성능에 도달한다. 마지막으로 Dr. Kernel-14B에 대한 sequential test-time scaling을 연구했으며, 이는 Kernelbench level-2 subset에서 GPT-5와 Claude-4.5-Sonnet을 능가하기도 한다."},{"id":"61277","en":"Provable Training Data Identification for Large Language Models","ko":"Large Language Model을 위한 증명 가능한 학습 데이터 식별","authors":"Zhenlong Liu, Hao Zeng, Weiran Huang, Hongxin Wei","pos":"#4604","link":"https://openreview.net/forum?id=rvBGmzcpoU","abs":"Identifying training data of large-scale models is critical for copyright litigation, privacy auditing, and ensuring fair evaluation. However, existing works typically treat this task as an instance-wise identification without controlling the error rate of the identified set, which cannot provide statistically reliable evidence. In this work, we formalize training data identification as a set-level inference problem and propose Provable Training Data Identification (PTDI), a distribution-free approach that enables provable and strict false identification rate control. Specifically, our method computes conformal p-values for each data point using a set of known unseen data and then develops a novel Jackknife-corrected Beta boundary (JKBB) estimator to estimate the training-data proportion of the test set, which allows us to scale these p-values. By applying the Benjamini–Hochberg (BH) procedure to the scaled p-values, we select a subset of data points with provable and strict false identification control. Extensive experiments across various models and datasets demonstrate that PTDI achieves higher power than prior methods while strictly controlling the FIR.
","absKo":"대규모 모델의 training data를 식별하는 일은 copyright litigation, privacy auditing, 그리고 공정한 evaluation을 보장하는 데 핵심적이다. 그러나 기존 연구는 대체로 이 task를 identified set의 error rate를 제어하지 않는 instance-wise identification으로 다루어 왔으며, 이는 통계적으로 신뢰할 수 있는 evidence를 제공하지 못한다. 본 연구에서는 training data identification을 set-level inference problem으로 formalize하고, provable하고 strict한 false identification rate control을 가능하게 하는 distribution-free approach인 Provable Training Data Identification (PTDI)를 제안한다. 구체적으로, 우리의 방법은 알려진 unseen data의 집합을 사용해 각 data point에 대한 conformal p-value를 계산한 다음, test set의 training-data proportion을 추정하기 위한 새로운 Jackknife-corrected Beta boundary (JKBB) estimator를 개발하여 이 p-value들을 scale한다. 이렇게 scaled p-value에 Benjamini–Hochberg (BH) procedure를 적용함으로써, provable하고 strict한 false identification control을 만족하는 data point의 부분집합을 선택한다. 다양한 모델과 dataset에 걸친 광범위한 실험은 PTDI가 FIR을 엄격하게 제어하면서도 기존 방법보다 더 높은 power를 달성함을 보여준다.
"},{"id":"65704","en":"ToMAP: Training Opponent-Aware LLM Persuaders with Theory of Mind","ko":"ToMAP: 마음 이론을 활용한 상대 인식 LLM 설득자 학습","authors":"Peixuan Han, Zijia Liu, Jiaxuan You","pos":"#1800","link":"https://openreview.net/forum?id=B1yOdZOACl","abs":"Large language models (LLMs) have shown promising potential in persuasion, but existing works on training LLM persuaders are still preliminary. Notably, while humans are skilled in modeling their opponent's thoughts and opinions proactively and dynamically, current LLMs struggle with such Theory of Mind (ToM) reasoning, resulting in limited diversity and opponent awareness. To address this limitation, we introduce Theory of Mind Augmented Persuader (ToMAP), a novel approach for building more flexible persuader agents by incorporating two theory of mind modules that enhance the persuader's awareness and analysis of the opponent's mental state. Specifically, we instruct the persuader to consider possible objections to the target claim, and train a module to predict the opponent’s agreement level on these objections. Experiments show that the ToMAP persuader, while containing only 3B parameters, outperforms much larger baselines, like GPT-4o, with a relative gain of 39.4% across multiple persuadee models and diverse corpora. Notably, ToMAP exhibits complex reasoning chains and reduced repetition during training, which leads to more diverse and effective arguments. These results underscore ToMAP's potential for developing more persuasive language agents. We will release our code via GitHub.
","absKo":"Large language models (LLMs)는 persuasion에서 유망한 잠재력을 보여왔지만, LLM persuader를 학습하는 기존 연구는 아직 초기 단계에 머물러 있다. 특히 인간은 상대의 생각과 의견을 능동적이고 동적으로 모델링하는 데 능숙한 반면, 현재의 LLM은 이러한 Theory of Mind (ToM) 추론에 어려움을 겪으며, 그 결과 다양성과 상대 인식이 제한된다. 이 한계를 해결하기 위해 우리는 Theory of Mind Augmented Persuader (ToMAP)를 제안한다. 이는 persuader의 상대 mental state에 대한 인식과 분석을 강화하는 두 개의 theory of mind module을 통합하여 더 유연한 persuader agent를 구축하는 새로운 접근이다. 구체적으로, 우리는 persuader가 target claim에 대한 가능한 반론을 고려하도록 지시하고, 그 반론들에 대한 opponent의 동의 수준을 예측하는 module을 학습한다. 실험 결과, ToMAP persuader는 3B parameter만으로도 여러 persuadee model과 다양한 corpus 전반에서 GPT-4o와 같은 훨씬 더 큰 baseline을 상대적으로 39.4% 향상된 성능으로 능가한다. 특히 ToMAP는 학습 과정에서 복잡한 reasoning chain과 반복 감소를 보이며, 이는 더 다양하고 효과적인 argument로 이어진다. 이러한 결과는 더 설득력 있는 language agent 개발에서 ToMAP의 잠재력을 강조한다. 우리는 코드를 GitHub를 통해 공개할 예정이다.
"},{"id":"63035","en":"Towards Cold-Start Drafting and Continual Refining: A Value-Driven Memory Approach with Application to NPU Kernel Synthesis","ko":"콜드 스타트 초안 작성과 지속적 정제를 향하여: NPU 커널 합성에 적용한 가치 기반 메모리 접근법","authors":"Yujie Zheng, Zhuo Li, Shengtao Zhang, Jiaqian Wang, Junjie Sheng, Junchi Yan, Weinan Zhang, Ying Wen, Bo Tang, Muning Wen","pos":"#1802","link":"https://openreview.net/forum?id=ajHTru25Kd","abs":"Deploying Large Language Models to data-scarce programming domains poses significant challenges, particularly for kernel synthesis on emerging Domain-Specific Architectures where a \"Data Wall\" limits available training data. While models excel on data-rich platforms like CUDA, they suffer catastrophic performance drops on data-scarce ecosystems such as NPU programming. To overcome this cold-start barrier without expensive fine-tuning, we introduce Evokernel, a self-evolving agentic framework that automates the lifecycle of kernel synthesis from initial drafting to continual refining. Our method addresses this by formulating the synthesis process as a memory-based reinforcement learning task. Through a novel value-driven retrieval mechanism, it learns stage-specific Q-values that prioritize experiences based on their contribution to the current objective—whether bootstrapping a feasible draft or iteratively refining latency. Furthermore, by enabling cross-task memory sharing, the agent generalizes insights from simple to complex operators. By building an NPU variant of KernelBench and evaluating on it, \\ourmethod improves frontier models' correctness from 11.0% to 83.0% and achieves a median speedup of 3.60x over initial drafts through iterative refinement. This demonstrates that value-guided experience accumulation allows general-purpose models to master the kernel synthesis task on niche hardware ecosystems.
","absKo":"Large Language Models를 data-scarce programming domains에 배포하는 것은 상당한 도전 과제를 제기하며, 특히 emerging Domain-Specific Architectures에서의 kernel synthesis는 \"Data Wall\"로 인해 사용 가능한 training data가 제한된다는 점에서 더욱 어렵다. 모델이 CUDA 같은 data-rich platforms에서는 뛰어난 성능을 보이는 반면, NPU programming과 같은 data-scarce ecosystems에서는 성능이 급격히 저하된다. expensive fine-tuning 없이 이러한 cold-start barrier를 극복하기 위해, 우리는 kernel synthesis의 초기 drafting부터 continual refining까지 전체 생명주기를 자동화하는 self-evolving agentic framework인 Evokernel을 제안한다. 우리의 method는 synthesis process를 memory-based reinforcement learning task로 정식화하여 이 문제를 해결한다. 새로운 value-driven retrieval mechanism을 통해, 현재 objective에 대한 기여도에 따라 경험을 우선순위화하는 stage-specific Q-values를 학습한다. 이는 feasible draft를 bootstrapping하는 단계인지, latency를 반복적으로 개선하는 단계인지에 따라 달라진다. 또한 cross-task memory sharing을 가능하게 함으로써, agent는 단순한 operator에서 복잡한 operator로 insight를 일반화한다. NPU variant of KernelBench를 구축하여 이를 평가한 결과, \\ourmethod는 frontier models의 correctness를 11.0%에서 83.0%로 향상시켰고, iterative refinement를 통해 초기 draft 대비 median speedup 3.60x를 달성했다. 이는 value-guided experience accumulation이 general-purpose models로 하여금 niche hardware ecosystems에서 kernel synthesis task를 숙달하게 할 수 있음을 보여준다.
"},{"id":"64286","en":"Understanding Data Temporality Impact on Large Language Models Pre-training","ko":"대형 언어 모델 사전학습에 대한 데이터 시간성 영향 이해","authors":"Hippolyte Pilchen, Romain Fabre, Franck SIGNE TALLA, Patrick Perez, Edouard Grave","pos":"#1804","link":"https://openreview.net/forum?id=P82s05mnUY","abs":"Large language models (LLMs) are typically trained on shuffled corpora, yielding models whose knowledge is frozen at training time and whose temporal grounding remains poorly understood. In this work, we study the impact of pretraining dynamics on the acquisition of time-sensitive factual knowledge, focusing specifically on data ordering. Our main contributions are twofold. First, we introduce a comprehensive benchmark of over 7,000 temporally grounded questions and an evaluation protocol that enables analysis of whether models correctly associate facts with their corresponding time periods. Second, we pretrain 6B-parameter language models on temporally ordered Common Crawl snapshots and compare them against standard shuffled pretraining. Our results show that sequentially trained models match shuffled baselines on general language understanding and common knowledge while consistently exhibiting more up-to-date and temporally precise knowledge. Temporally ordered pretraining yields improved factual freshness, while shuffled pretraining peaks on older data, possibly due to increased factual repetition. These findings, along with the release of our checkpoints and datasets, provide a foundation for future research on continual learning for large language models.
","absKo":"Large language model (LLM)은 일반적으로 shuffled corpus에서 학습되며, 그 결과 모델의 knowledge는 training 시점에 고정되고 temporal grounding은 여전히 충분히 이해되지 않고 있다. 본 연구에서는 data ordering에 특히 초점을 맞춰, pretraining dynamics가 time-sensitive factual knowledge의 획득에 미치는 영향을 연구한다. 우리의 주요 기여는 두 가지이다. 첫째, 우리는 시간적으로 grounded된 7,000개가 넘는 질문으로 구성된 종합 benchmark와, 모델이 사실을 해당 시간대와 올바르게 연결하는지 분석할 수 있게 해 주는 evaluation protocol을 도입한다. 둘째, 우리는 temporally ordered된 Common Crawl snapshot 위에서 6B-parameter language model을 pretrain하고, 이를 standard shuffled pretraining과 비교한다. 결과는 sequentially trained model이 general language understanding과 common knowledge에서 shuffled baseline과 동등하면서도, 더 최신이며 더 temporal precise한 knowledge를 일관되게 보유함을 보여준다. temporally ordered pretraining은 사실의 freshness를 개선하는 반면, shuffled pretraining은 factual repetition 증가 때문일 수 있는 older data에서 최고 성능을 보인다. 이러한 결과와 checkpoint 및 dataset 공개는 large language model을 위한 continual learning의 향후 연구를 위한 기반을 제공한다.
"},{"id":"65425","en":"VideoTemp-o3: Harmonizing Temporal Grounding and Video Understanding in Agentic Thinking-with-Videos","ko":"VideoTemp-o3: 영상 기반 사고 에이전트에서 시간적 그라운딩과 비디오 이해의 조화","authors":"Wenqi Liu, Yunxiao Wang, Shijie Ma, Meng Liu, Qile Su, Tianke Zhang, Haonan Fan, Changyi Liu, Kaiyu Jiang, Jiankang Chen, Kaiyu Tang, Bin Wen, Fan Yang, Tingting Gao, Han Li, Yinwei Wei, Xuemeng Song","pos":"#1806","link":"https://openreview.net/forum?id=DlKdI669OM","abs":"In long-video understanding, conventional uniform frame sampling often fails to capture key visual evidence, leading to degraded performance and increased hallucinations. To address this, recent agentic thinking-with-videos paradigms have emerged, adopting a localize–clip–answer pipeline in which the model actively identifies relevant video segments, performs dense sampling within those clips, and then produces answers. However, existing methods remain inefficient, suffer from weak localization, and adhere to rigid workflows. To solve these issues, we propose VideoTemp-o3, a unified agentic thinking-with-videos framework that jointly models video grounding and question answering. VideoTemp-o3 exhibits strong localization capability, supports on-demand clipping, and can refine inaccurate localizations. Specifically, in the supervised fine-tuning stage, we design a unified masking mechanism that encourages exploration while preventing noise. For reinforcement learning, we introduce dedicated rewards to mitigate reward hacking. Besides, from the data perspective, we develop an effective pipeline to construct high-quality long video grounded QA data, along with a corresponding benchmark for systematic evaluation across various video durations. Experimental results demonstrate that our method achieves remarkable performance on both long video understanding and grounding.
","absKo":"긴 비디오 이해(long-video understanding)에서 전통적인 uniform frame sampling은 핵심 visual evidence를 포착하지 못하는 경우가 많아 성능 저하와 hallucination 증가를 초래한다. 이를 해결하기 위해 최근 agentic thinking-with-videos 패러다임이 등장했으며, 이는 모델이 관련 비디오 구간을 능동적으로 식별하고, 해당 clip 내에서 dense sampling을 수행한 뒤, 답변을 생성하는 localize–clip–answer pipeline을 채택한다. 그러나 기존 방법은 여전히 비효율적이고 localization이 약하며, 경직된 workflow를 따른다. 이러한 문제를 해결하기 위해 우리는 video grounding과 question answering을 공동으로 모델링하는 통합 agentic thinking-with-videos framework인 VideoTemp-o3를 제안한다. VideoTemp-o3는 강력한 localization 능력을 보이며, on-demand clipping을 지원하고, 부정확한 localization을 정교화할 수 있다. 구체적으로, supervised fine-tuning 단계에서는 탐색을 장려하면서 noise를 억제하는 unified masking mechanism을 설계한다. reinforcement learning에서는 reward hacking을 완화하기 위해 전용 reward를 도입한다. 또한 데이터 관점에서, 우리는 고품질 long video grounded QA data를 구성하기 위한 효과적인 pipeline과, 다양한 video duration 전반에서 체계적 평가를 위한 대응 benchmark를 개발한다. 실험 결과는 우리의 방법이 long video understanding과 grounding 모두에서 뛰어난 성능을 달성함을 보여준다.
"},{"id":"63105","en":"Think Fast and Slow: Step-Level Cognitive Depth Adaptation for LLM Agents","ko":"빠르게 그리고 느리게 사고하기: LLM 에이전트를 위한 단계별 인지 깊이 적응","authors":"Ruihan Yang, Fanghua Ye, Xiang Wei, Ruoqing Zhao, Kang Luo, Xinbo Xu, Bo Zhao, Ruotian Ma, Shanyi Wang, Zhaopeng Tu, Xiaolong Li, Deqing Yang, Liefeng Bo","pos":"#1900","link":"https://openreview.net/forum?id=a6KDxLeU7y","abs":"Large language models (LLMs) are increasingly deployed as autonomous agents for multi-turn decision-making tasks. However, current agents typically rely on fixed cognitive patterns: non-thinking models generate immediate responses, while thinking models engage in deep reasoning uniformly. This rigidity is inefficient for long-horizon tasks, where cognitive demands vary significantly from step to step, with some requiring strategic planning and others only routine execution. In this paper, we introduce CogRouter, a framework that trains agents to dynamically adapt cognitive depth at each step. Grounded in ACT-R theory, we design four hierarchical cognitive levels ranging from instinctive responses to strategic planning. Our two-stage training approach includes Cognition-aware Supervised Fine-tuning (CogSFT) to instill stable level-specific patterns, and Cognition-aware Policy Optimization (CoPO) for step-level credit assignment via confidence-aware advantage reweighting. The key insight is that appropriate cognitive depth should maximize the confidence of the resulting action. Experiments on ALFWorld and ScienceWorld demonstrate that CogRouter achieves state-of-the-art performance with superior efficiency.
","absKo":"Large language models (LLMs)는 multi-turn decision-making task를 위한 autonomous agent로 점점 더 많이 배치되고 있다. 그러나 현재의 agent는 대개 고정된 cognitive pattern에 의존한다. 즉, non-thinking model은 즉각적인 응답을 생성하고, thinking model은 전반적으로 깊은 추론을 수행한다. 이러한 경직성은 long-horizon task에서 비효율적이다. 이 경우 step마다 인지적 요구가 크게 달라지며, 어떤 단계는 전략적 계획을 필요로 하는 반면 다른 단계는 일상적인 실행만 요구한다. 본 논문에서는 각 step마다 cognitive depth를 동적으로 조정하도록 agent를 학습시키는 프레임워크인 CogRouter를 소개한다. ACT-R 이론에 기반하여, 우리는 직관적 반응부터 전략적 계획까지 네 가지 계층적 cognitive level을 설계한다. 우리의 2단계 학습 접근법은 안정적인 level별 pattern을 내재화하는 Cognition-aware Supervised Fine-tuning (CogSFT)와, confidence-aware advantage reweighting을 통한 step-level credit assignment를 위한 Cognition-aware Policy Optimization (CoPO)을 포함한다. 핵심 통찰은 적절한 cognitive depth가 결과 action의 confidence를 최대화해야 한다는 점이다. ALFWorld와 ScienceWorld에서의 실험은 CogRouter가 우수한 효율성과 함께 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"65261","en":"OpenTSLM: Time-Series Language Models for Reasoning over Multivariate Medical Text- and Time-Series Data","ko":"OpenTSLM: 다변량 의료 텍스트 및 시계열 데이터에 대한 추론을 위한 시계열 언어 모델","authors":"Patrick Langer, Thomas Kaar, Max Rosenblattl, Maxwell A. Xu, Winnie Chow, Martin Maritsch, Robert Jakob, Ning Wang, Juncheng Liu, Aradhana Verma, Brian Han, Daniel Kim, Henry Chubb, Scott Ceresnak, Aydin Zahedivash, Alexander Sandhu, Fatima Rodriguez, Daniel McDuff, Elgar Fleisch, Oliver Aalami, Filipe Barata, Paul Schmiedmayer","pos":"#2002","link":"https://openreview.net/forum?id=FHDRzhKm0f","abs":"Large Language Models (LLMs) have shown strong capability in interpreting multimodal data but remain limited in their ability to natively handle time-series data. Addressing this limitation could enable the translation of longitudinal and wearable sensing data into actionable insights and patient-facing digital health applications. We propose OpenTSLM, a family of Time Series Language Models that integrate time-series as a native modality into pretrained LLMs, enabling natural-language prompting and reasoning over multiple time-series. We implement two OpenTSLM variants based on soft prompting (OpenTSLM-SP) and cross-attention (OpenTSLM-Flamingo). To conduct comprehensive experiments on reasoning over medical text and time-series, we introduce three chain of thought (CoT) datasets: HAR-CoT (human activity recognition), Sleep-CoT (sleep staging), and ECG-QA-CoT (electrocardiogram question answering). Across tasks, OpenTSLM models consistently outperform baselines. OpenTSLMs with time-series encoders trained from scratch achieve 69.88% in sleep staging and 65.44% in HAR, while OpenTSLM combined with time series foundation models (TSFMs) achieve 68.33% and 67.64%, compared to 9.05% and 60.44% for fine-tuned text-only baselines. Additionally, we conduct expert evaluations with cardiologists, which show that OpenTSLMs exhibit strong reasoning capabilities and temporal understanding on raw sensor data for ECG-QA. We further show that OpenTSLM-Flamingo models scale better in memory as the number and length of time-series increase. To facilitate further research, we release all code, datasets, and models as open-source resources.
","absKo":"Large Language Models (LLMs)은 multimodal data를 해석하는 데 강한 능력을 보여왔지만, time-series data를 native modality로 처리하는 능력에는 여전히 한계가 있다. 이러한 한계를 해결하면 longitudinal 및 wearable sensing data를 실행 가능한 통찰과 patient-facing digital health applications로 전환할 수 있다. 우리는 pretrained LLMs에 time-series를 native modality로 통합하여, 자연어 prompting과 multiple time-series에 대한 reasoning을 가능하게 하는 Time Series Language Models 계열인 OpenTSLM을 제안한다. 우리는 soft prompting을 기반으로 한 OpenTSLM-SP와 cross-attention을 기반으로 한 OpenTSLM-Flamingo의 두 변형을 구현한다. medical text와 time-series에 대한 reasoning을 포괄적으로 실험하기 위해, 우리는 세 개의 chain of thought (CoT) datasets를 도입한다: HAR-CoT (human activity recognition), Sleep-CoT (sleep staging), 그리고 ECG-QA-CoT (electrocardiogram question answering). 모든 task에서 OpenTSLM 모델은 baseline을 일관되게 상회한다. scratch로 학습된 time-series encoder를 사용하는 OpenTSLM은 sleep staging에서 69.88%, HAR에서 65.44%를 달성했고, time series foundation models (TSFMs)와 결합한 OpenTSLM은 각각 68.33%와 67.64%를 달성하여, fine-tuned text-only baseline의 9.05%와 60.44%를 크게 앞섰다. 또한 cardiologist와의 expert evaluation을 수행했으며, 그 결과 OpenTSLM이 ECG-QA를 위한 raw sensor data에서 강한 reasoning 능력과 temporal understanding을 보임을 확인했다. 더 나아가, OpenTSLM-Flamingo 모델은 time-series의 개수와 길이가 증가할수록 memory 측면에서 더 잘 확장됨을 보였다. 추가 연구를 촉진하기 위해, 모든 code, dataset, model을 open-source resource로 공개한다.
"},{"id":"63667","en":"PostTrainBench: Can LLM Agents Automate LLM Post-Training?","ko":"PostTrainBench: LLM 에이전트가 LLM post-training을 자동화할 수 있는가?","authors":"Ben Rank, Hardik Bhatnagar, Ameya Pandurang Prabhu, Shira Eisenberg, Karina Nguyen, Matthias Bethge, Maksym Andriushchenko","pos":"#2007","link":"https://openreview.net/forum?id=UnjxMTe57e","abs":"Given the recent rapid progress of LLM agents like Claude Code or Codex CLI for software engineering, an important next question is whether they can automate AI research itself. In this paper, we study post-training, which is the critical step that turns base LLMs into useful assistants. We introduce PostTrainBench to benchmark how well LLM agents can perform post-training autonomously under bounded compute constraints (10 hours on one H100 GPU). We task frontier agents (e.g., Claude Code with Opus 4.5) to optimize the performance of a base LLM on a particular benchmark (e.g., Qwen3-4B on AIME). Importantly, we do not provide any predefined strategies to the agents and instead give them full autonomy to find necessary information on the web, run experiments, and curate data. We find that frontier agents make substantial progress but generally lag behind instruction-tuned LLMs from leading providers: 21.5% for the best agent vs. 51.1% for official instruction-tuned models. However, agents can exceed instruction-tuned models in targeted scenarios: GPT-5.1 Codex Max achieves 89% on BFCL with Gemma-3-4B vs. 67% for the official model. Additionally, we document concerning behaviors related to reward hacking, such as training on test data or downloading pre-existing instruction-tuned models, and unauthorized usage of API keys for synthetic data generation. Overall, we expect PostTrainBench to serve as an important benchmark for tracking both capabilities and risks of AI R&D automation.
","absKo":"Claude Code나 Codex CLI와 같은 LLM agent가 software engineering에서 최근 빠르게 발전함에 따라, 다음 질문은 이들이 AI research 자체도 자동화할 수 있는가 하는 점이다. 본 논문에서는 base LLM을 유용한 assistant로 바꾸는 핵심 단계인 post-training을 연구한다. 우리는 제한된 compute 제약(하나의 H100 GPU에서 10시간) 하에서 LLM agent가 post-training을 얼마나 잘 자율적으로 수행할 수 있는지를 평가하기 위한 벤치마크인 PostTrainBench를 제안한다. 우리는 frontier agent(예: Opus 4.5를 사용하는 Claude Code)에게 특정 benchmark(예: AIME에서의 Qwen3-4B)에서 base LLM의 성능을 최적화하도록 과제를 부여한다. 중요한 점은, 우리는 agent에게 사전에 정의된 전략을 전혀 제공하지 않고, 필요한 정보를 웹에서 찾고, 실험을 수행하고, 데이터를 선별할 수 있는 완전한 자율성을 부여한다. 우리는 frontier agent가 상당한 진전을 보이지만, 일반적으로 선도 제공업체의 instruction-tuned LLM에는 미치지 못함을 발견했다: 최고의 agent는 21.5%인 반면, 공식 instruction-tuned 모델은 51.1%였다. 그러나 agent가 특정 시나리오에서는 instruction-tuned model을 능가할 수 있음도 확인했다: GPT-5.1 Codex Max는 Gemma-3-4B로 BFCL에서 89%를 달성해, 공식 모델의 67%를 웃돌았다. 더불어, 우리는 test data로 학습하거나 이미 존재하는 instruction-tuned model을 다운로드하는 행위, synthetic data 생성을 위해 API key를 무단 사용하는 행위와 같은 reward hacking 관련 우려스러운 행동도 기록했다. 전반적으로, PostTrainBench가 AI R&D 자동화의 능력과 위험을 함께 추적하는 중요한 benchmark로 기능하길 기대한다.
"},{"id":"61493","en":"Pushing Forward Pareto Frontiers of Proactive Agents with Behavioral Agentic Optimization","ko":"Behavioral Agentic Optimization으로 Proactive Agents의 Pareto Frontier 전진","authors":"Yihang Yao, Zhepeng Cen, Haohong Lin, Shiqi Liu, Zuxin Liu, Jiacheng Zhu, Zhang-Wei Hong, Laixi Shi, Ding Zhao","pos":"#2010","link":"https://openreview.net/forum?id=pckR7Y6V1j","abs":"Proactive large language model (LLM) agents aim to actively plan, query, and interact over multiple turns, enabling efficient task completion beyond passive instruction following and making them essential for real-world, user-centric applications. Agentic reinforcement learning (RL) has recently emerged as a promising solution for training such agents in multi-turn settings, allowing interaction strategies to be learned from feedback. However, existing pipelines face a critical challenge in balancing task performance with user engagement, as passive agents can not efficiently adapt to users' intentions while overuse of human feedback reduces their satisfaction. To address this trade-off, we propose BAO, an agentic RL framework that combines behavior enhancement to enrich proactive reasoning and information-gathering capabilities with behavior regularization to suppress inefficient or redundant interactions and align agent behavior with user expectations. We evaluate BAO on multiple tasks from the UserRL benchmark suite, and demonstrate that it substantially outperforms RL baselines under controlled comparisons, while achieving comparable or even superior performance to frontier LLM agents, highlighting its effectiveness for training proactive, user-aligned LLM agents in complex multi-turn scenarios.
","absKo":"Proactive large language model(LLM) agent는 수동적인 instruction following을 넘어, 여러 turn에 걸쳐 능동적으로 계획하고, 질문하고, 상호작용함으로써 효율적인 task completion을 가능하게 하며, 실제 사용자 중심 응용에서 필수적이다. Agentic reinforcement learning(RL)은 최근 이러한 agent를 multi-turn 설정에서 훈련하기 위한 유망한 해법으로 부상했으며, 피드백으로부터 interaction strategy를 학습할 수 있게 한다. 그러나 기존 pipeline은 task 성능과 사용자 참여 사이의 균형이라는 중대한 과제에 직면한다. 수동적인 agent는 사용자의 의도에 효율적으로 적응하지 못하고, 인간 feedback의 과도한 사용은 사용자 만족도를 떨어뜨린다. 이 trade-off를 해결하기 위해, 우리는 proactive reasoning과 information-gathering 능력을 풍부하게 하는 behavior enhancement와, 비효율적이거나 중복된 interaction을 억제하고 agent behavior를 사용자 기대에 맞추는 behavior regularization을 결합한 agentic RL framework인 BAO를 제안한다. 우리는 UserRL benchmark suite의 여러 task에서 BAO를 평가하고, 통제된 비교에서 RL baseline을 크게 능가하며, frontier LLM agent와도 비슷하거나 더 우수한 성능을 달성함을 보여준다. 이는 복잡한 multi-turn 시나리오에서 proactive하고 사용자 정렬된 LLM agent를 훈련하는 데 있어 BAO의 효과를 강조한다.
"},{"id":"61718","en":"GRASP: Graph Reasoning via Agentic Solving and Probing of LLMs","ko":"GRASP: Agentic Solving과 LLM Probing을 통한 그래프 추론","authors":"Xiaojun Guo, Mingxue Tian, Chenheng Zhang, Xiaohan Wang, Jiajun Chai, Guojun Yin, Wei Lin, Yifei Wang, Yisen Wang","pos":"#209","link":"https://openreview.net/forum?id=nWOjSTq1ae","abs":"Integrating graph knowledge into Large Language Models (LLMs) via passive representation faces critical bottlenecks: limited context windows, unreliable numerical computation, and structural hallucinations. To solve this, we propose GRASP (Graph Reasoning via Agentic Solving and Probing), shifting the paradigm from passive ingestion to proactive agentic exploration. By interleaving Neighbor Retrieval for on-demand probing with Code Interpreter as a deterministic solver, GRASP enables LLMs to autonomously navigate and compute over complex topologies. We employ a staged reinforcement learning strategy (GRPO) that transitions from visible tuning to a structure-blind environment, forcing the agent to develop genuine topological awareness. Evaluated on multi-domain graph reasoning benchmarks, our 4B model achieves a 53.06\\% average performance boost, surpassing SOTA baselines like DeepSeek-V3.2 and successfully generalizing to unseen tasks, with high potential for tackling sampling on million-node graphs and solving Hard-level LeetCode graph problems.
","absKo":"Graph knowledge를 Large Language Models (LLMs)에 passive representation 방식으로 통합하는 것은 제한된 context window, 신뢰할 수 없는 수치 계산, 구조적 hallucination이라는 중대한 병목에 부딪힌다. 이를 해결하기 위해 우리는 GRASP (Graph Reasoning via Agentic Solving and Probing)를 제안하며, 수동적 입력 수용에서 능동적 agentic exploration으로 패러다임을 전환한다. 필요 시 probing을 위한 Neighbor Retrieval과 deterministic solver로서의 Code Interpreter를 교차적으로 사용함으로써, GRASP는 LLM이 복잡한 topology 위를 자율적으로 탐색하고 계산할 수 있게 한다. 우리는 visible tuning에서 structure-blind environment로 전환하는 staged reinforcement learning 전략(GRPO)을 사용하여, agent가 진정한 topological awareness를 개발하도록 강제한다. 다중 도메인 graph reasoning benchmark에서 평가한 결과, 우리의 4B model은 평균 53.06\\%의 성능 향상을 달성했으며, DeepSeek-V3.2와 같은 SOTA baseline을 능가하고, 보지 못한 task로도 성공적으로 일반화하였다. 또한 million-node graph에서의 sampling과 Hard-level LeetCode graph problem 해결에 적용할 높은 잠재력을 보인다.
"},{"id":"66266","en":"Learning Query-Aware Budget-Tier Routing for Runtime Agent Memory","ko":"런타임 에이전트 메모리를 위한 쿼리 인지 예산 계층 라우팅 학습","authors":"Haozhen Zhang, Haodong Yue, Tao Feng, Quanyu Long, Jianzhu Bao, Bowen Jin, Weizhi Zhang, Xiao Li, Jiaxuan You, Chengwei Qin, Wenya Wang","pos":"#2104","link":"https://openreview.net/forum?id=5G9puwbCsu","abs":"Memory is increasingly central to Large Language Model (LLM) agents operating beyond a single context window, yet most existing systems rely on offline, query-agnostic memory construction that can be inefficient and may discard query-critical information. Although runtime memory utilization is a natural alternative, prior work often incurs substantial overhead and offers limited explicit control over the performance-cost trade-off. In this work, we present \\textbf{BudgetMem}, a runtime agent memory framework for explicit, query-aware performance–cost control. BudgetMem structures memory processing as a set of memory modules, each offered in three budget tiers (i.e., \\textsc{Low}/\\textsc{Mid}/\\textsc{High}). A lightweight router performs budget-tier routing across modules to balance task performance and memory construction cost, which is implemented as a compact neural policy trained with reinforcement learning. Using BudgetMem as a unified testbed, we study three complementary strategies for realizing budget tiers: implementation (method complexity), reasoning (inference behavior), and capacity (module model size). Across LoCoMo, LongMemEval, and HotpotQA, BudgetMem surpasses strong baselines when performance is prioritized (i.e., high-budget setting), and delivers better accuracy–cost frontiers under tighter budgets. Moreover, our analysis disentangles the strengths and weaknesses of different tiering strategies, clarifying when each axis delivers the most favorable trade-offs under varying budget regimes.
","absKo":"Memory는 단일 context window를 넘어 동작하는 Large Language Model (LLM) agent에서 점점 더 핵심적이 되고 있지만, 기존 시스템의 대부분은 query-agnostic한 offline memory construction에 의존하며, 이는 비효율적일 수 있고 query-critical information을 버릴 수도 있다. runtime memory utilization은 자연스러운 대안이지만, 기존 연구는 종종 상당한 overhead를 유발하고 performance-cost trade-off에 대한 명시적 제어를 제한적으로만 제공한다. 본 연구에서는 explicit하고 query-aware한 performance–cost control을 위한 runtime agent memory framework인 \\textbf{BudgetMem}을 제시한다. BudgetMem은 memory processing을 memory module들의 집합으로 구조화하며, 각 module은 세 가지 budget tier(i.e., \\textsc{Low}/\\textsc{Mid}/\\textsc{High})로 제공된다. 가벼운 router는 task performance와 memory construction cost를 균형 있게 맞추기 위해 module 간 budget-tier routing을 수행하며, 이는 reinforcement learning으로 학습된 소형 neural policy로 구현된다. BudgetMem을 통합 testbed로 사용하여, 우리는 budget tier를 실현하는 세 가지 상호보완적 전략인 implementation(method complexity), reasoning(inference behavior), capacity(module model size)를 연구한다. LoCoMo, LongMemEval, HotpotQA 전반에서 BudgetMem은 performance가 우선되는 경우(i.e., high-budget setting) 강력한 baselines를 능가하며, 더 엄격한 budget에서는 더 나은 accuracy–cost frontier를 제공한다. 또한 우리의 분석은 서로 다른 tiering strategy의 강점과 약점을 분해하여, 각 축이 다양한 budget regime에서 언제 가장 유리한 trade-off를 제공하는지 명확히 한다.
"},{"id":"61180","en":"Latent Collaboration in Multi-Agent Systems","ko":"Multi-Agent System에서의 잠재 협업","authors":"Jiaru Zou, Xiyuan Yang, Ruizhong Qiu, Gaotang Li, Katherine Tieu, Pan Lu, Ke Shen, Hanghang Tong, Yejin Choi, Jingrui He, James Zou, Mengdi Wang, Ling Yang","pos":"#2105","link":"https://openreview.net/forum?id=syG9I9ofd8","abs":"Multi-agent systems (MAS) extend large language models (LLMs) from independent single-model reasoning to coordinative system-level intelligence. While existing LLM agents depend on text-based mediation for reasoning and communication, we take a step forward by enabling models to collaborate directly within the continuous latent space. We introduce LatentMAS, an end-to-end training-free framework that enables pure latent collaboration among LLM agents. In LatentMAS, each agent first performs auto-regressive latent thoughts generation through last-layer hidden embeddings instead of text. Then, a shared latent working memory preserves and transfers each agent's internal representations and latent thoughts, ensuring lossless information exchange without re-encoding. We provide detailed theoretical analyses showing that LatentMAS achieves higher expressiveness and lossless information preservation with lower overall complexity than standard text-based MAS. In addition, empirical evaluations across 9 comprehensive benchmarks spanning math and science reasoning, commonsense understanding, and code generation show that LatentMAS outperforms advanced single agents and text-based MAS baselines, achieving up to 14.6\\% higher accuracy, reducing output token usage by 70.8\\%-83.7\\%, and providing 4$\\times$-4.3$\\times$ faster end-to-end inference. These results demonstrate that our new latent collaboration framework enhances system-level reasoning quality while providing consistent efficiency gains.","absKo":"Multi-agent system (MAS)는 large language model (LLM)을 독립적인 단일 모델 추론에서 협조적 system-level intelligence로 확장한다. 기존 LLM agent가 추론과 communication을 위해 text-based mediation에 의존하는 반면, 우리는 모델들이 continuous latent space 안에서 직접 협업할 수 있도록 한 단계 나아간다. 우리는 LLM agent 사이의 순수한 latent collaboration을 가능하게 하는 end-to-end training-free framework인 LatentMAS를 제안한다. LatentMAS에서 각 agent는 먼저 text 대신 last-layer hidden embedding을 통해 auto-regressive latent thought generation을 수행한다. 그다음 공유 latent working memory가 각 agent의 internal representation과 latent thought를 보존하고 전달하여, re-encoding 없이 lossless information exchange를 보장한다. 우리는 상세한 이론적 분석을 통해 LatentMAS가 표준 text-based MAS보다 더 높은 표현력과 lossless information preservation을 더 낮은 전체 복잡도로 달성함을 보인다. 또한 수학·과학 추론, commonsense understanding, code generation을 포괄하는 9개의 종합 benchmark에서 수행한 실증 평가 결과, LatentMAS는 고급 single agent와 text-based MAS baseline을 능가하며 최대 14.6\\% 더 높은 accuracy, 70.8\\%-83.7\\% 적은 output token 사용, 그리고 4$\\times$-4.3$\\times$ 더 빠른 end-to-end inference를 달성한다. 이러한 결과는 우리의 새로운 latent collaboration framework가 system-level reasoning quality를 향상시키는 동시에 일관된 효율성 향상을 제공함을 보여준다."},{"id":"65730","en":"InteractComp: Evaluating Search Agents With Ambiguous Queries","ko":"InteractComp: 모호한 질의로 검색 에이전트 평가하기","authors":"Mingyi Deng, Lijun Huang, Yani Fan, Fanqi Kong, Jiayi Zhang, Fashen Ren, Jinyi Bai, Fuzhen Yang, Dayi Miao, Zhaoyang Yu, Yifan WU, Yanfei Zhang, Fengwei Teng, Yingjia Wan, Song Hu, Yude Li, Xin Jin, Conghao Hu, Haoyu Li, Qirui Fu, Tai Zhong, Xinyu Wang, Robert Tang, Nan Tang, Chenglin Wu, Yuyu Luo","pos":"#2107","link":"https://openreview.net/forum?id=AiawINF2T0","abs":"Language agents have demonstrated remarkable potential in web search and information retrieval. However, these search agents assume user queries are complete and unambiguous, an assumption that diverges from reality where users begin with incomplete queries requiring clarification through interaction. Yet most agents lack interactive mechanisms during the search process, and existing benchmarks cannot assess this capability. To address this gap, we introduce INTERACTCOMP, a benchmark designed to evaluate whether search agents can recognize query ambiguity and actively interact to resolve it during search. Following the principle of easy to verify, interact to disambiguate, we construct 210 expert-curated questions across 9 domains through a target-distractor methodology that creates genuine ambiguity resolvable only through interaction. Evaluation of 17 models reveals striking failure: the best model achieves only 13.73% accuracy despite 71.50% with complete context, exposing systematic overconfidence rather than reasoning deficits. Forced interaction produces dramatic gains, demonstrating latent capability current strategies fail to engage. Longitudinal analysis shows interaction capabilities stagnated over 15 months while search performance improved seven-fold, revealing a critical blind spot. This stagnation, coupled with the immediate feedback inherent to search tasks, makes INTERACTCOMP a valuable resource for both evaluating and training interaction capabilities in search agents.
","absKo":"Language agent는 web search와 information retrieval에서 놀라운 잠재력을 보여주고 있습니다. 그러나 이러한 search agent는 사용자 query가 완전하고 모호하지 않다는 가정을 하는데, 이는 실제와는 다릅니다. 실제로 사용자는 불완전한 query로 시작하며 상호작용을 통해 clarification이 필요합니다. 그럼에도 대부분의 agent는 search 과정에서 interactive mechanism이 없고, 기존 benchmark는 이 능력을 평가할 수 없습니다. 이 격차를 해소하기 위해 우리는 search agent가 query ambiguity를 인식하고 search 중에 이를 해소하기 위해 적극적으로 상호작용할 수 있는지 평가하도록 설계된 benchmark인 INTERACTCOMP를 소개합니다. easy to verify, interact to disambiguate라는 원칙에 따라, 우리는 상호작용을 통해서만 해소 가능한 실제적인 ambiguity를 만들어내는 target-distractor 방법론을 통해 9개 domain에 걸친 210개의 expert-curated question을 구성합니다. 17개 model에 대한 평가 결과는 충격적인 실패를 드러냅니다. 가장 좋은 model도 complete context가 주어졌을 때의 71.50%와 달리 accuracy는 13.73%에 불과했으며, 이는 reasoning 부족이라기보다 체계적인 overconfidence를 보여줍니다. 강제된 interaction은 극적인 향상을 유도하여, 현재 전략이 활용하지 못하는 잠재 능력이 존재함을 보여줍니다. 종단적 분석은 search 성능이 7배 향상되는 동안 interaction capability는 15개월 동안 정체되었음을 보여주며, 이는 중요한 blind spot을 드러냅니다. 이러한 정체는 search task에 내재된 즉각적인 feedback과 결합되어, INTERACTCOMP를 search agent의 interaction capability를 평가하고 학습시키는 데 유용한 자원으로 만듭니다.
"},{"id":"65022","en":"How Few-Shot Examples Add Up: A Causal Decomposition of Function Vectors in In-Context Learning","ko":"Few-Shot 예제가 합쳐지는 방식: In-Context Learning에서 Function Vector의 인과적 분해","authors":"Entang Wang, Yiwei Wang, Aleksandra Bakalova, Michael Hahn","pos":"#2110","link":"https://openreview.net/forum?id=HgIx4dYJ5z","abs":"In-context learning (ICL) excels at new tasks from minimal examples, yet we still lack a mechanistic explanation of how few-shot prompts shape a model’s function vector (FV)--a causal activation direction that drives task behavior on the ICL query. Across tasks and models, an $n$-shot FV is well-approximated by a linear combination of example-level sub-FVs, suggesting additive and composable contributions from individual demonstrations. Beyond additivity, we show that models contextualize individual examples' representations based on prior examples to adaptively reweight which demonstrations dominate the FV: attention shifts toward examples that are more informative and less ambiguous under the context. Finally, a causal decomposition separates Query–Key routing from Value updates, finding that contextualization’s most consistent contributions to FV quality arise from Query–Key alignment--particularly in ambiguous settings--while Value-mediated effects are more heterogeneous. Together, these results unify additive superposition with context-dependent attention reweighting into a mechanistic, testable account of how few-shot prompts implement tasks.","absKo":"In-context learning (ICL)은 최소한의 example만으로 새로운 task를 잘 수행하지만, few-shot prompt가 model의 function vector (FV) -- ICL query에서 task behavior를 이끄는 causal activation direction -- 를 어떻게 형성하는지에 대한 mechanistic explanation은 여전히 부족하다. 여러 task와 model 전반에서, $n$-shot FV는 example-level sub-FV의 linear combination으로 잘 근사되며, 이는 개별 demonstration이 additive하고 composable하게 기여함을 시사한다. 이러한 additivity를 넘어, 우리는 model이 앞선 example을 바탕으로 개별 example representation을 contextualize하여 어떤 demonstration이 FV를 지배할지를 adaptively reweight함을 보인다. 즉, context 하에서 더 informative하고 덜 ambiguous한 example 쪽으로 attention이 이동한다. 마지막으로 causal decomposition을 통해 Query–Key routing과 Value update를 분리해 보면, contextualization이 FV quality에 기여하는 가장 일관된 요소는 Query–Key alignment에서 비롯되며, 특히 ambiguous setting에서 두드러진다. 반면 Value-mediated effect는 더 이질적이다. 종합하면, 이 결과들은 additivity에 기반한 superposition과 context-dependent attention reweighting을 결합하여, few-shot prompt가 task를 구현하는 방식을 mechanistic하고 testable한 설명으로 통합한다."},{"id":"66432","en":"GraphFlow: A Graph-Based Workflow Management for Efficient LLM-Agent Serving","ko":"GraphFlow: 효율적 LLM 에이전트 서빙을 위한 그래프 기반 워크플로 관리","authors":"Ao Li, Shangpeng Yang, Fahao Chen, Tianheng Xu, Peng Li, su zhou","pos":"#2113","link":"https://openreview.net/forum?id=3pLFgUQLzJ","abs":"Large Language Model (LLM)-based agents demonstrate strong reasoning and execution capabilities on complex tasks when guided by structured instructions, commonly referred to as workflows. However, existing workflow-assisted agent serving systems typically rely on predefined templates and shallow matching mechanisms, which limit their ability to capture deep semantic relationships and generalize to previously unseen tasks. To address these limitations, we propose a new workflow management paradigm that represents workflows using a unified graph, termed wGraph, where each node corresponds to an atomic operation. wGraph serves as a shared substrate from which task-specific workflows are dynamically instantiated. Building on wGraph primitives, we introduce GraphFlow, a system that efficiently integrates workflows into agent serving through two key designs. First, adaptive workflow generation dynamically constructs workflows from wGraph based on task semantics and constraint requirements. Second, workflow state management exploits wGraph structure to efficiently manage Key-Value (KV) caches, reducing redundant computation during agent serving. Extensive experiments across five benchmark datasets show that GraphFlow consistently outperforms state-of-the-art methods, yielding an average performance improvement of approximately 4.95 percentage points, while achieving an approximately 4× reduction in memory footprint.
","absKo":"Large Language Model (LLM) 기반 에이전트는 구조화된 지시, 일반적으로 workflow라고 불리는 지시에 의해 안내될 때 복잡한 작업에서 강력한 추론 및 실행 능력을 보인다. 그러나 기존의 workflow-assisted agent serving 시스템은 대개 사전 정의된 템플릿과 얕은 매칭 메커니즘에 의존하므로, 깊은 의미적 관계를 포착하고 이전에 보지 못한 작업으로 일반화하는 능력이 제한된다. 이러한 한계를 해결하기 위해, 우리는 workflow를 통합된 그래프로 표현하는 새로운 workflow 관리 패러다임인 wGraph를 제안한다. 여기서 각 노드는 원자적 연산에 해당한다. wGraph는 작업별 workflow가 동적으로 인스턴스화되는 공유 substrate로 기능한다. wGraph primitive 위에 구축된 GraphFlow는 두 가지 핵심 설계를 통해 workflow를 agent serving에 효율적으로 통합하는 시스템이다. 첫째, adaptive workflow generation은 작업 의미와 제약 요구사항에 기반해 wGraph로부터 workflow를 동적으로 구성한다. 둘째, workflow state management는 wGraph 구조를 활용해 Key-Value (KV) cache를 효율적으로 관리함으로써 agent serving 중 중복 계산을 줄인다. 다섯 개 benchmark dataset에 대한 광범위한 실험은 GraphFlow가 state-of-the-art 방법을 일관되게 능가하며, 평균적으로 약 4.95 percentage point의 성능 향상을 달성하는 동시에 memory footprint를 약 4배 줄임을 보인다.
"},{"id":"65274","en":"E-mem: Multi-Agent Based Episodic Context Reconstruction for LLM Agent Memory","ko":"E-mem: LLM 에이전트 메모리를 위한 멀티 에이전트 기반 일화적 맥락 재구성","authors":"Kaixiang Wang, Yidan Lin, Jiong Lou, Zihan Wang, Bunyod Suvonov, Zhaojiacheng Zhou, Yuxiang Zheng, Jiaxi Cao, Zhiheng Dong, Chentao Wu, Jie Li","pos":"#2200","link":"https://openreview.net/forum?id=FAjA0snAYq","abs":"The evolution of Large Language Model (LLM) agents towards System~2 reasoning, characterized by deliberative, high-precision problem-solving, necessitates maintaining rigorous logical integrity over extended horizons. However, prevalent memory preprocessing paradigms incur destructive de-contextualization. By compressing fluid sequential dependencies into pre-defined structures (e.g., embeddings or graphs), these methods sever the narrative integrity essential for deep reasoning. To address this, we propose E-mem, a framework shifting from Memory Preprocessing to Episodic Context Reconstruction inspired by biological engrams. E-mem employs a heterogeneous hierarchical architecture where multiple assistant agents maintain uncompressed memory contexts, while a central master agent orchestrates global planning. Unlike passive retrieval, our mechanism empowers assistants to locally reason within activated segments, extracting context-aware evidence before aggregation. Evaluations on the LoCoMo benchmark demonstrate that E-mem achieves over 54\\% F1—surpassing the state-of-the-art GAM by 7.75\\%—while reducing token cost by over 70\\%. Our work is available on \\url{https://anonymous.4open.science/r/E-mem-F6C3/}.
","absKo":"Large Language Model (LLM) agent의 System~2 reasoning으로의 진화는, 숙고적이고 고정밀의 문제 해결을 특징으로 하며, 장기적인 horizon 전반에 걸쳐 엄격한 논리적 일관성을 유지할 것을 요구한다. 그러나 널리 쓰이는 memory preprocessing 패러다임은 파괴적인 de-contextualization을 초래한다. 유동적인 sequential dependency를 embedding이나 graph 같은 미리 정의된 구조로 압축함으로써, 이러한 방법들은 깊은 추론에 필수적인 서사적 일관성을 단절시킨다. 이를 해결하기 위해, 우리는 생물학적 engram에서 영감을 받아 Memory Preprocessing에서 Episodic Context Reconstruction으로 전환하는 framework인 E-mem을 제안한다. E-mem은 이질적인 계층적 architecture를 사용하며, 여러 assistant agent가 압축되지 않은 memory context를 유지하고 중앙 master agent가 전역 계획을 조율한다. 수동적 retrieval과 달리, 우리의 메커니즘은 assistant가 활성화된 segment 내에서 국소적으로 추론하여 aggregation 전에 context-aware evidence를 추출하도록 한다. LoCoMo benchmark에서의 평가는 E-mem이 54\\%가 넘는 F1을 달성하여 state-of-the-art GAM을 7.75\\% 앞서며, token cost를 70\\% 이상 줄인다는 것을 보여준다. 우리의 연구는 \\url{https://anonymous.4open.science/r/E-mem-F6C3/}에서 확인할 수 있다.
"},{"id":"65405","en":"EpiCache: Episodic KV Cache Management for Long-Term Conversation on Resource-Constrained Environments","ko":"EpiCache: 자원 제약 환경에서 장기 대화를 위한 일화적 KV Cache 관리","authors":"Minsoo Kim, Arnav Kundu, Han-Byul Kim, Richa Dixit, Minsik Cho","pos":"#2203","link":"https://openreview.net/forum?id=DzvMz3I5HV","abs":"Modern large language models (LLMs) extend context lengths to millions of tokens, enabling coherent, personalized responses grounded in long conversational history. However, the Key-Value (KV) cache grows linearly with the extended dialogue history, causing the model’s memory footprint to quickly exceed device limits. While recent KV cache compression methods attempt to reduce memory usage, most apply cache eviction after processing the entire context, incurring unbounded peak memory usage. Additionally, query-dependent eviction narrows the cache semantics to a single query, leading to failure cases in multi-turn conversations. In this paper, we introduce EpiCache, a training-free KV cache management framework for long conversational question answering (LongConvQA) under fixed memory budgets. EpiCache bounds cache growth through block-wise prefill and preserves topic-relevant context via episodic KV compression, which clusters conversation history into coherent episodes and performs episode-specific KV cache eviction. Across three LongConvQA benchmarks (LongMemEval, Realtalk, and LoCoMo), EpiCache improves accuracy by up to 30\\%, achieves near-full-cache accuracy under $4$–$6\\times$ compression, and reduces latency and peak memory by up to $2.4\\times$ and $3.7\\times$, respectively.","absKo":"현대의 large language model(LLM)은 context length를 수백만 token까지 확장하여 긴 대화 이력에 기반한 일관되고 개인화된 응답을 가능하게 한다. 그러나 Key-Value(KV) cache는 확장된 대화 이력에 따라 선형적으로 증가하여 모델의 memory footprint가 빠르게 device limit을 초과하게 된다. 최근의 KV cache compression 방법들은 memory 사용량을 줄이려 하지만, 대부분 전체 context를 처리한 뒤 cache eviction을 적용하므로 peak memory 사용량이 무제한으로 커진다. 또한 query-dependent eviction은 cache semantics를 단일 query로 좁혀 multi-turn conversation에서 실패 사례를 초래한다. 본 논문에서는 고정된 memory budget 하에서 long conversational question answering(LongConvQA)을 위한 training-free KV cache management framework인 EpiCache를 소개한다. EpiCache는 block-wise prefill로 cache growth를 제한하고, 대화 이력을 일관된 episode로 군집화한 뒤 episode-specific KV cache eviction을 수행하는 episodic KV compression을 통해 topic-relevant context를 보존한다. 세 개의 LongConvQA benchmark(LongMemEval, Realtalk, LoCoMo) 전반에서 EpiCache는 정확도를 최대 30\\%까지 향상시키고, $4$–$6\\times$ compression에서 full-cache에 근접한 정확도를 달성하며, latency와 peak memory를 각각 최대 $2.4\\times$와 $3.7\\times$까지 줄인다."},{"id":"66387","en":"ExpWeaver: LLM Agents Learn from Experience via Latent RAG","ko":"ExpWeaver: LLM 에이전트가 Latent RAG를 통해 경험으로부터 학습한다","authors":"Tao Feng, Tianyang Luo, Jingjun Xu, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You","pos":"#2205","link":"https://openreview.net/forum?id=4ARH5kZrgz","abs":"Experience learning has achieved promising results in enhancing LLM agent planning and reasoning by integrating past interactions as reusable knowledge. However, existing methods remain confined to explicit text space---retrieving experiences via semantic similarity and concatenating them into the context window, leading to substantial token overhead and a decoupled architecture that separates retrieval from generation. To address these limitations, we propose \\method, a framework that enables LLM agents to learn from experience via latent retrieval-augmented generation, without requiring a separate RAG module. \\method encodes experiences using the LLM's own hidden states, retrieves relevant experiences directly in latent space at each decoding step, and integrates them through cross-attention aggregation and gated residual mechanisms. The entire pipeline is optimized end-to-end with reinforcement learning, supporting both generative and ranking tasks. We evaluate \\method on 13 diverse tasks spanning question answering, reasoning, coding, scientific prediction, and recommendation. Results demonstrate that: (1) \\method achieves state-of-the-art on 12 out of 13 tasks, outperforming the strongest baseline by over 6.8\\%; (2) \\method maintains token efficiency comparable to non-retrieval baselines while text-based retrieval methods require 1.5--2$\\times$ more tokens; and (3) \\method exhibits superior cross-domain generalization, outperforming the strongest baseline by 16.32\\% under zero-shot transfer and 15.21\\% under few-shot transfer.","absKo":"Experience learning은 과거 상호작용을 재사용 가능한 지식으로 통합하여 LLM agent의 planning과 reasoning을 향상시키는 데서 유망한 결과를 보였다. 그러나 기존 방법은 여전히 explicit text space에 머물러 있으며, semantic similarity를 통해 experiences를 retrieval한 뒤 이를 context window에 concatenation하는 방식이어서 상당한 token overhead와, retrieval과 generation을 분리하는 decoupled architecture를 초래한다. 이러한 한계를 해결하기 위해, 우리는 별도의 RAG module 없이 latent retrieval-augmented generation을 통해 LLM agents가 experience로부터 학습할 수 있게 하는 framework인 \\method를 제안한다. \\method는 LLM 자체의 hidden states를 사용해 experiences를 encoding하고, 각 decoding step에서 latent space 내에서 관련 experiences를 직접 retrieve하며, cross-attention aggregation과 gated residual mechanisms를 통해 이를 통합한다. 전체 pipeline은 reinforcement learning으로 end-to-end 최적화되며, generative task와 ranking task 모두를 지원한다. 우리는 question answering, reasoning, coding, scientific prediction, recommendation을 아우르는 13개의 다양한 task에서 \\method를 평가한다. 결과는 다음을 보여준다: (1) \\method는 13개 task 중 12개에서 state-of-the-art를 달성하며, 가장 강력한 baseline을 6.8\\% 이상 상회한다; (2) \\method는 text-based retrieval method가 1.5--2$\\times$ 더 많은 token을 요구하는 반면, non-retrieval baseline과 동등한 수준의 token efficiency를 유지한다; 그리고 (3) \\method는 뛰어난 cross-domain generalization을 보이며, zero-shot transfer에서 가장 강력한 baseline보다 16.32\\%, few-shot transfer에서 15.21\\% 더 높은 성능을 보인다."},{"id":"64271","en":"Experience-Evolving Multi-Turn Tool-Use Agent with Hybrid Episodic–Procedural Memory","ko":"하이브리드 일화적·절차적 메모리를 갖춘 경험 진화형 멀티턴 도구 사용 에이전트","authors":"Sijia Li, Yuchen Huang, Zifan LIU, Zijian LI, Jingjing Fu, Lei Song, Jiang Bian, Jun Zhang, Rui Wang","pos":"#2207","link":"https://openreview.net/forum?id=PJ0GpmFYrR","abs":"As intents unfold and environments change, multi-turn agents face continuously shifting decision contexts. Although reusing past experience is intuitively appealing, existing approaches remain limited: full trajectories are often too context-specific to transfer, while tool-level reuse ignores the context and environment. In this paper, we introduce a hybrid episodic–procedural memory strategy (H-EPM) that enables experience-induced self-evolution of multi-turn tool-use policies, by adaptively reusing partially overlapping successful experiences in both inference and training. Inspired by human episodic–procedural integration, we build a tool graph from accumulated trajectories, where recurring tool-to-tool dependencies capture procedural routines and each edge is augmented with a compact episodic summaries of relevant context. At inference, the agent dynamically balances episodic recall for contextual reasoning and procedural execution for routine steps. Beyond inference, H-EPM introduces a memory-guided reinforcement learning paradigm that directly addresses a core challenge in multi-turn agent RL: ineffective exploration over long trajectories. By biasing exploration toward historically successful tool transitions, H-EPM learns a stronger policy that generalizes during inference without relying on domain-specific experience collection. Experiments show that H-EPM consistently delivers substantial inference-time gains over strong baselines across multi-turn tool-use benchmarks, reaching up to 50\\%+. It also boosts RL policy performance, achieving up to 40\\%+ improvement on out-of-distribution tasks.
","absKo":"intent가 전개되고 환경이 변화함에 따라 multi-turn agent는 끊임없이 변하는 의사결정 문맥에 직면한다. 과거 경험을 재사용하는 것은 직관적으로 매력적이지만, 기존 접근법은 여전히 한계가 있다. 전체 trajectory는 종종 문맥에 지나치게 특화되어 전이되기 어렵고, tool-level reuse는 문맥과 환경을 반영하지 못한다. 본 논문에서는 inference와 training 모두에서 부분적으로 겹치는 성공 경험을 적응적으로 재사용함으로써 multi-turn tool-use policy의 경험 유도 자기 진화를 가능하게 하는 hybrid episodic–procedural memory strategy (H-EPM)를 제안한다. 인간의 episodic–procedural integration에서 영감을 받아, 우리는 누적된 trajectory로부터 tool graph를 구축한다. 여기서 반복적으로 나타나는 tool-to-tool dependency는 procedural routine을 포착하고, 각 edge는 관련 문맥의 간결한 episodic summary로 보강된다. inference 시 agent는 문맥적 추론을 위한 episodic recall과 routine step을 위한 procedural execution 사이를 동적으로 균형 잡는다. inference를 넘어, H-EPM은 multi-turn agent RL에서의 핵심 문제인 긴 trajectory에 대한 비효율적 exploration을 직접 다루는 memory-guided reinforcement learning paradigm을 도입한다. 역사적으로 성공적이었던 tool transition 쪽으로 exploration을 편향시킴으로써, H-EPM은 도메인 특화 경험 수집에 의존하지 않으면서도 inference 시 일반화되는 더 강한 policy를 학습한다. 실험은 H-EPM이 multi-turn tool-use benchmark 전반에서 강력한 baseline보다 inference-time 성능을 일관되게 크게 향상시키며, 최대 50\\%+에 이른다는 것을 보여준다. 또한 RL policy 성능도 향상시켜, out-of-distribution task에서 최대 40\\%+의 개선을 달성한다.
"},{"id":"64786","en":"Can LLM Agents Stick to the Script? Modeling Commitment in Interactive Narratives","ko":"LLM Agent는 대본을 지킬 수 있는가? 대화형 서사에서의 Commitment 모델링","authors":"Yingpeng Ma, Jianhao Yan, Bei Shi, Ka Hou Kam, Runnan Wang, Xuebo Liu, Yulong Chen, Yue Zhang, Derek F. Wong","pos":"#2304","link":"https://openreview.net/forum?id=JoJUWsQBp0","abs":"The rapid advancement of Large Language Models (LLMs) is revolutionizing AI for Game by enabling open-ended and fluid interactive storytelling. However, existing research has largely overlooked the critical challenge of maintaining logical consistency and narrative integrity against unconstrained user interventions. To address this, we formulate this challenge as \\emph{Narrative Commitment Preservation (NCP)}, and take interactive narrative as our testbed. We introduce NCP-Bench, a benchmark of 100 narrative environments derived from movie synopses. Each environment includes a structured narrative specification (trajectory, commitments, and initial facts) that we can reliably check throughout the interaction between player and storyteller. Experiments across state-of-the-art LLMs reveal that high linguistic quality does not guarantee commitment preservation, even strong models frequently generate logically conflicting content under adversarial interventions, with the best-performing model (GPT-5.2) achieving only 40\\% survival rate after 20 turns and fact conflicts occurring in 40\\%--68\\% of all interactions.
","absKo":"Large Language Models (LLMs)의 급속한 발전은 개방형이고 유연한 인터랙티브 스토리텔링을 가능하게 하며 AI for Game을 혁신하고 있다. 그러나 기존 연구는 제약 없는 사용자 개입에 대해 논리적 일관성과 서사적 완결성을 유지하는 핵심 과제를 대체로 간과해 왔다. 이를 해결하기 위해 우리는 이 과제를 \\emph{Narrative Commitment Preservation (NCP)}으로 정식화하고, 인터랙티브 내러티브를 테스트베드로 삼는다. 우리는 영화 시놉시스에서 도출한 100개의 내러티브 환경으로 이루어진 벤치마크인 NCP-Bench를 소개한다. 각 환경은 플레이어와 스토리텔러 간 상호작용 전반에 걸쳐 신뢰성 있게 검증할 수 있는 구조화된 내러티브 명세(trajectory, commitments, initial facts)를 포함한다. 최신 LLM들에 대한 실험은 높은 언어적 품질이 commitment preservation을 보장하지 않음을 보여 주며, 강력한 모델들조차 적대적 개입 하에서 논리적으로 충돌하는 내용을 빈번히 생성한다. 특히 최고 성능 모델(GPT-5.2)도 20턴 후 생존율이 겨우 40\\%에 그쳤고, 전체 상호작용의 40\\%--68\\%에서 사실 충돌이 발생했다.
"},{"id":"65946","en":"BizFinBench.v2: Towards Reliable LLMs in Finance via Real-User Data and Offline/Online Bilingual Evaluation","ko":"BizFinBench.v2: 실사용자 데이터와 오프라인/온라인 이중언어 평가를 통한 금융 분야 신뢰할 수 있는 LLM을 향하여","authors":"Xin Guo, Rongjunchen Zhang, Guilong Lu, Xuntao Guo, Jia Shuai, Zhi Yang, Liwen Zhang","pos":"#2306","link":"https://openreview.net/forum?id=8cQGYH64R2","abs":"Large language models are becoming increasingly significant in financial applications. Nevertheless, prevailing benchmarks are largely dependent on simulated or generic data, which leads to a significant gap between reported performance and actual efficacy in real-world scenarios. To tackle this challenge, we present BizFinBench.v2, the first integrated offline and online benchmark built upon authentic user query-response data from both Chinese and U.S. equity markets. It comprises 28,860 questions across eight offline and two online tasks. Experimental results show that GPT-5 achieves a mere 61.5% accuracy, still failing to meet the practical business requirement (84.8%). Among the evaluated commercial models, DeepSeek-R1 exhibits superior investment efficacy. Error analysis grounded in real financial practice reveals persistent limitations in existing models. By overcoming the constraints of prior benchmarks, BizFinBench.v2 provides a substantiated foundation for advancing LLM deployment in the financial sector.
","absKo":"Large language model은 금융 응용에서 점점 더 중요해지고 있습니다. 그럼에도 불구하고, 기존 benchmark는 대체로 시뮬레이션 데이터나 일반적인 데이터에 의존하고 있어, 보고된 성능과 실제 세계에서의 효용 사이에 큰 간극을 초래합니다. 이러한 도전을 해결하기 위해, 우리는 중국 및 미국 주식 시장에서 수집된 실제 user query-response data를 기반으로 구축된 최초의 통합 offline 및 online benchmark인 BizFinBench.v2를 제시합니다. 이 benchmark는 8개의 offline task와 2개의 online task에 걸친 28,860개의 질문으로 구성됩니다. 실험 결과, GPT-5는 단지 61.5%의 정확도만 달성해 실제 비즈니스 요구 수준(84.8%)에 여전히 미치지 못했습니다. 평가한 상용 모델들 중에서는 DeepSeek-R1이 더 우수한 investment efficacy를 보였습니다. 실제 금융 실무에 기반한 error analysis는 기존 모델들의 지속적인 한계를 드러냅니다. 기존 benchmark의 제약을 극복함으로써, BizFinBench.v2는 금융 분야에서 LLM 배포를 발전시키기 위한 검증된 기반을 제공합니다.
"},{"id":"64044","en":"PlotCraft: Pushing the Limits of LLMs for Complex and Interactive Data Visualization","ko":"PlotCraft: 복잡하고 인터랙티브한 데이터 시각화를 위한 LLM의 한계 확장","authors":"Jiajun Zhang, Jianke Zhang, Zeyu Cui, Jiaxi Yang, Lei Zhang, Zilei Wang, Qiang Liu, Liang Wang, Binyuan Hui, Junyang Lin","pos":"#3400","link":"https://openreview.net/forum?id=RQJjbqIcz0","abs":"Recent Large Language Models (LLMs) have demonstrated remarkable proficiency in code generation. However, their ability to create complex visualizations for scaled and structured data remains largely unevaluated and underdeveloped. To address this gap, we introduce PlotCraft, a new benchmark featuring 1k challenging visualization tasks that cover a wide range of topics, such as finance, scientific research, and sociology. The benchmark is structured around seven high-level visualization tasks and encompasses 48 distinct chart types. Crucially, it is the first to systematically evaluate both single-turn generation and multi-turn refinement across a diverse spectrum of task complexities. Our comprehensive evaluation of 23 leading LLMs on PlotCraft reveals obvious performance deficiencies in handling sophisticated visualization tasks. To bridge this performance gap, we develope SynthVis-30K, a large-scale, high-quality dataset of complex visualization code synthesized via a collaborative agent framework. Building upon this dataset, we develope PlotCraftor, a novel code generation model that achieves strong capabilities in complex data visualization with a remarkably small size. Across VisEval, PandasPlotBench, and our proposed PlotCraft, PlotCraftor shows performance comparable to that of leading proprietary approaches. Especially, on hard task, Our model achieves over 50\\% performance improvement. We will release the benchmark, dataset, and code at \\href{https://anonymous.4open.science/r/PlotCraft-E320}{PlotCraft anonymous repository}.
","absKo":"최근 Large Language Models (LLMs)는 code generation에서 놀라운 성능을 보여주고 있다. 그러나 규모가 크고 구조화된 데이터에 대한 복잡한 시각화를 생성하는 능력은 여전히 충분히 평가되지 않았고, 개발도 미흡하다. 이러한 공백을 메우기 위해, 우리는 금융, 과학 연구, 사회학 등 다양한 주제를 포괄하는 1k개의 도전적인 시각화 과제로 구성된 새로운 benchmark인 PlotCraft를 소개한다. 이 benchmark는 7개의 상위 수준 visualization task를 중심으로 구성되며 48개의 서로 다른 chart type을 포함한다. 특히, 다양한 task 복잡도 전반에 걸쳐 single-turn generation과 multi-turn refinement를 체계적으로 모두 평가하는 첫 benchmark이다. PlotCraft에 대한 23개의 선도적인 LLM을 대상으로 한 종합 평가는 고도화된 시각화 task를 처리하는 데 뚜렷한 성능 결함이 있음을 보여준다. 이 성능 격차를 메우기 위해, 우리는 협력적 agent framework를 통해 합성한 복잡한 visualization code의 대규모 고품질 dataset인 SynthVis-30K를 개발한다. 이 dataset을 바탕으로, 우리는 매우 작은 규모임에도 복잡한 data visualization에서 강력한 성능을 달성하는 새로운 code generation model인 PlotCraftor를 개발한다. VisEval, PandasPlotBench, 그리고 우리가 제안한 PlotCraft 전반에서 PlotCraftor는 선도적인 proprietary approach와 비견되는 성능을 보인다. 특히 hard task에서는 우리 model이 50\\%가 넘는 성능 향상을 달성한다. 우리는 benchmark, dataset, code를 \\href{https://anonymous.4open.science/r/PlotCraft-E320}{PlotCraft anonymous repository}에 공개할 예정이다.
"},{"id":"65214","en":"RubricRobustness: A Simple Framework for Evaluating the Robustness of Rubrics-Based Benchmarks","ko":"RubricRobustness: 루브릭 기반 벤치마크의 강건성을 평가하기 위한 간단한 프레임워크","authors":"Manasi Sharma","pos":"#3605","link":"https://openreview.net/forum?id=FjNE0snESh","abs":"The advancement of Large Language Models (LLMs) into higher-level reasoning domains has rendered traditional heuristic evaluators insufficient for long-form open-ended responses, precipitating the widespread adoption of rubric-based benchmarks. While these frameworks utilize expert-curated criteria and LLM-as-a-judge to assess open-ended generation, the intrinsic robustness of these evaluation harnesses to fundamental validity assessments remains critically under-investigated. To bridge this gap, we introduce RubricRobustness, a systematic sensitivity analysis framework that subjects these benchmarks to three common sense perturbations: semantic negation, stochastic deletion and irrelevant addition. We investigate the extent to which manipulating the semantic veracity of a model’s response impacts its resulting score by applying the robustness framework to two of the most popular rubrics-based benchmarks: HealthBench and WildBench. Our findings reveal systematic vulnerabilities: while both benchmarks respond sharply to semantic negation (e.g., degradation slopes of approximately $-0.38$ on HealthBench and $-0.55$ on WildBench), they are substantially less responsive to irrelevant addition, often requiring over 35% of sentences to be perturbed before inducing even a 25% score drop. We argue that perturbation-based sensitivity analyses of this form are a necessary prerequisite for validating rubric coverage, ensuring that automated evaluation frameworks reliably penalize basic semantic failures. We plan to release our framework as an open-source tool to facilitate the development of more resilient benchmarks.","absKo":"Large Language Models (LLMs)이 higher-level reasoning domain으로 발전함에 따라, 기존의 heuristic evaluator는 long-form open-ended response를 충분히 평가하기 어려워졌고, 그 결과 rubric-based benchmark가 널리 채택되었다. 이러한 framework는 expert-curated criterion과 LLM-as-a-judge를 활용해 open-ended generation을 평가하지만, 기본적인 validity assessment에 대한 이 평가 장치의 본질적 robustness는 여전히 충분히 연구되지 않았다. 이 격차를 메우기 위해 우리는 rubric-based benchmark를 세 가지 common sense perturbation, 즉 semantic negation, stochastic deletion, irrelevant addition에 노출시키는 체계적인 sensitivity analysis framework인 RubricRobustness를 도입한다. 우리는 이 robustness framework를 가장 널리 쓰이는 rubric-based benchmark 두 개, HealthBench와 WildBench에 적용하여, 모델 응답의 semantic veracity를 조작하는 것이 최종 score에 어떤 영향을 미치는지 조사한다. 우리의 결과는 체계적인 취약성을 보여준다. 두 benchmark 모두 semantic negation에 강하게 반응하지만(예: HealthBench에서 약 $-0.38$, WildBench에서 약 $-0.55$의 degradation slope), irrelevant addition에는 훨씬 덜 민감하여, 심지어 25%의 score 하락을 유발하기 위해서도 종종 35%가 넘는 sentence를 perturb해야 한다. 우리는 이와 같은 perturbation-based sensitivity analysis가 rubric coverage를 검증하고, automated evaluation framework가 기본적인 semantic failure를 신뢰성 있게 벌점화하도록 보장하기 위한 필수 전제라고 주장한다. 우리는 더 견고한 benchmark 개발을 돕기 위해 이 framework를 open-source tool로 공개할 계획이다."},{"id":"64820","en":"Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation","ko":"원칙적 합성 데이터가 추천에서 LLM을 위한 최초의 Scaling Law를 가능케 한다","authors":"Benyu Zhang, Qiang Zhang, Jianpeng Cheng, Hong-You Chen, Qifei wang, Wei Sun, Shen Li, Jia Li, Jiahao Wu, Xiangjun Fan, Hong Yan","pos":"#3608","link":"https://openreview.net/forum?id=JR98Gm9Eyb","abs":"Large Language Models (LLMs) represent a promising frontier for recommender systems, yet their development has been impeded by the absence of predictable scaling laws, which are crucial for guiding research and optimizing resource allocation. We hypothesize that this may be attributed to the inherent noise, bias, and incompleteness of raw user interaction data in prior continual pre-training (CPT) efforts. This paper introduces a novel, layered framework for generating high-quality synthetic data that circumvents such issues by creating a curated, pedagogical curriculum for the LLM. We provide powerful, direct evidence for the utility of our curriculum by showing that standard sequential models trained on our principled synthetic data significantly outperform ($+130\\%$ on recall@100 for SasRec) models trained on real data in downstream ranking tasks, demonstrating its superiority for learning generalizable user preference patterns. Building on this, we empirically demonstrate, for the first time, robust power-law scaling for an LLM that is continually pre-trained on our high-quality, recommendation-specific data. Our experiments reveal consistent and predictable perplexity reduction across multiple synthetic data modalities. These findings establish a foundational methodology for reliable scaling LLM capabilities in the recommendation domain, thereby shifting the research focus from mitigating data deficiencies to leveraging high-quality, structured information.","absKo":"Large Language Model(LLM)은 recommender system의 유망한 전선이지만, 연구를 이끌고 자원 배분을 최적화하는 데 중요한 예측 가능한 scaling law가 부재하여 개발이 지연되어 왔다. 우리는 그 원인이 이전 continual pre-training(CPT)에서 사용된 raw user interaction data의 본질적인 noise, bias, 불완전성에 있을 수 있다고 가정한다. 본 논문은 이러한 문제를 우회하기 위해 LLM을 위한 정제된 pedagogical curriculum을 생성하는, 새로운 layered framework를 소개한다. 우리는 우리의 원칙적인 synthetic data로 학습된 standard sequential model이 downstream ranking task에서 real data로 학습된 모델보다 유의미하게 우수함을 보여 줌으로써, 이 curriculum의 효용에 대한 강력하고 직접적인 증거를 제시한다($+130\\%$ on recall@100 for SasRec). 이는 일반화 가능한 user preference pattern을 학습하는 데 있어 우리의 데이터가 더 우수함을 보여 준다. 이를 바탕으로, 우리는 고품질 recommendation-specific data로 continual pre-training한 LLM에서 robust power-law scaling이 나타남을 처음으로 실증적으로 보인다. 우리의 실험은 여러 synthetic data modality 전반에서 일관되고 예측 가능한 perplexity 감소를 드러낸다. 이러한 결과는 recommendation domain에서 LLM 능력을 신뢰성 있게 scaling하기 위한 기초적 방법론을 확립하며, 연구 초점을 데이터 결함 완화에서 고품질의 구조화된 정보 활용으로 전환시킨다."},{"id":"65729","en":"ExSkill: Continual Learning from Experience and Skills in Multimodal Agents","ko":"ExSkill: 멀티모달 에이전트에서 경험과 기술로부터의 지속 학습","authors":"Guanyu Jiang, Zhaochen Su, Xiaoye Qu, Yi Fung","pos":"#4616","link":"https://openreview.net/forum?id=AjP1yvCyoG","abs":"Multimodal agents demonstrate impressive problem-solving capabilities but typically operate in isolated episodes without leveraging past experiences. Recent methods address this through dynamic retrieval of textual insights or predefined skill documents, yet face critical challenges: visual modalities are neglected during knowledge extraction, stored insights lack executable structure, and manually crafted skills fail to scale. We propose \\textsc{ExSkill}, a framework combining task-level Skills (structured workflows and tool templates) with action-level Experiences (context-specific tactical insights) through automated accumulation from agent trajectories. Our approach employs visually-grounded summarization to extract knowledge integrating visual observations and textual reasoning, hierarchical consolidation to maintain quality and diversity, and context-aware adaptation to tailor knowledge to current visual contexts. Evaluated on five diverse benchmarks spanning visual tool use and multimodal search, \\textsc{ExSkill} achieves average gains of 4.1-6.5 points over strong baselines across different backbone models, with superior zero-shot transferability and strategic improvements in tool selection and execution accuracy. These results demonstrate that our framework enables transferable continual learning for multimodal agents in real-world scenarios without parametric training, offering broad applicability for practical deployment.
","absKo":"Multimodal agent는 인상적인 문제 해결 능력을 보이지만, 대개 과거 경험을 활용하지 못한 채 고립된 episode에서 동작합니다. 최근 방법들은 텍스트 insight의 동적 retrieval 또는 사전 정의된 skill document를 통해 이를 해결하려 하지만, 중요한 한계에 직면합니다. knowledge extraction 과정에서 visual modality가 간과되고, 저장된 insight에는 실행 가능한 구조가 부족하며, 수작업으로 만든 skill은 확장성이 떨어집니다. 우리는 자동화된 trajectory 누적을 통해 task-level Skills(구조화된 workflow와 tool template)과 action-level Experiences(상황 특화 전술 insight)를 결합하는 framework인 \\textsc{ExSkill}을 제안합니다. 우리의 접근법은 visually-grounded summarization을 사용해 visual observation과 textual reasoning을 통합한 knowledge를 추출하고, hierarchical consolidation으로 품질과 다양성을 유지하며, context-aware adaptation으로 현재 visual context에 맞게 knowledge를 조정합니다. visual tool use와 multimodal search를 아우르는 다섯 개의 다양한 benchmark에서 평가한 결과, \\textsc{ExSkill}은 서로 다른 backbone model 전반에서 강력한 baseline 대비 평균 4.1-6.5 point의 향상을 달성했으며, zero-shot transferability와 tool selection 및 execution accuracy에서 더 우수한 전략적 개선을 보였습니다. 이러한 결과는 우리의 framework가 parametric training 없이도 실제 시나리오에서 multimodal agent를 위한 transferable continual learning을 가능하게 하며, 실용적 배포에 폭넓게 적용될 수 있음을 보여줍니다.
"},{"id":"61669","en":"Reinforcement Fine-Tuning Naturally Mitigates Forgetting in Continual Post-Training","ko":"Reinforcement Fine-Tuning은 Continual Post-Training의 망각을 자연스럽게 완화한다","authors":"Song Lai, Haohan Zhao, Rong Feng, Changyi Ma, Wenzhuo Liu, Hongbo Zhao, Xi Lin, Dong Yi, Qingfu Zhang, Hongbin Liu, Gaofeng Meng, Fei Zhu","pos":"#4620","link":"https://openreview.net/forum?id=nvnkuqWuu3","abs":"Continual post-training (CPT) is a popular and effective technique for adapting foundation models like multimodal large language models to ever-evolving downstream tasks. While existing research primarily focus on methods like data replay, model expansion, or parameter regularization, the fundamental role of the learning paradigm remains largely unexplored. This paper presents a comparative analysis of two core post-training paradigms: supervised fine-tuning (SFT) and reinforcement fine-tuning (RFT), investigating their respective impacts on knowledge retention during CPT. Our experiments are conducted across multiple multimodal tasks, utilizing Qwen2.5-VL-7B-Instruct as the base model. The investigation yields two significant findings: (1) When continuously learning on downstream tasks, SFT leads to catastrophic forgetting of previously learned tasks. In contrast, RFT inherently preserves prior knowledge and achieves performance comparable to multi-task training. (2) RFT successfully protects and even enhances the model's general knowledge on standard benchmarks, while SFT degrades general model capabilities severely. Further analysis reveals that this stability is not primarily due to explicit mechanisms like KL penalty or chain-of-thought reasoning. We investigate RFT's learning dynamics and find that its selective update mechanism inherently prevents interference with established knowledge. Based on this insight, we propose a rollout-based instance filtering algorithm (RIF-RFT) that enhances the training efficiency of RFT by focusing on learnable samples. Our comprehensive study demonstrates the superiority of RFT as a robust paradigm for continual post-training
","absKo":"Continual post-training (CPT)은 multimodal large language model과 같은 foundation model을 끊임없이 변화하는 downstream task에 적응시키는 데 널리 쓰이고 효과적인 기법이다. 기존 연구는 주로 data replay, model expansion, parameter regularization과 같은 방법에 초점을 맞추었지만, learning paradigm 자체의 근본적 역할은 대체로 충분히 탐구되지 않았다. 본 논문은 두 가지 핵심 post-training paradigm인 supervised fine-tuning (SFT)과 reinforcement fine-tuning (RFT)을 비교 분석하여, CPT 동안 knowledge retention에 미치는 각자의 영향을 조사한다. 우리의 실험은 Qwen2.5-VL-7B-Instruct를 base model로 사용하여 여러 multimodal task에 걸쳐 수행되었다. 이 연구는 두 가지 중요한 사실을 도출한다. (1) downstream task를 연속적으로 학습할 때 SFT는 이전에 학습한 task를 catastrophic forgetting하게 만든다. 반면 RFT는 본질적으로 prior knowledge를 보존하며 multi-task training과 유사한 성능을 달성한다. (2) RFT는 standard benchmark에서 model의 general knowledge를 성공적으로 보호하고 심지어 향상시키는 반면, SFT는 general model capability를 심각하게 저하시킨다. 추가 분석은 이러한 안정성이 KL penalty나 chain-of-thought reasoning 같은 명시적 메커니즘 때문이 아니라는 점을 보여준다. 우리는 RFT의 learning dynamics를 조사했고, 선택적 업데이트 메커니즘이 기존 지식과의 간섭을 본질적으로 방지함을 발견했다. 이러한 통찰에 기반해, 우리는 학습 가능한 sample에 집중함으로써 RFT의 training efficiency를 향상시키는 rollout-based instance filtering algorithm (RIF-RFT)를 제안한다. 우리의 포괄적 연구는 continual post-training을 위한 robust paradigm으로서 RFT의 우수성을 보여준다
"},{"id":"66607","en":"Vision-DeepResearch: Incentivizing DeepResearch Capability in Multimodal Large Language Models","ko":"Vision-DeepResearch: 멀티모달 대규모 언어 모델에서 DeepResearch 능력 유도","authors":"Wenxuan Huang, Yu Zeng, Qiuchen Wang, Zhen Fang, Shaosheng Cao, Zheng Chu, Qingyu Yin, Shuang Chen, Zhenfei Yin, Lin Chen, Zehui Chen, Yao Hu, Phil Torr, Feng Zhao, Wanli Ouyang","pos":"#700","link":"https://openreview.net/forum?id=2Cgy0P2v8s","abs":"Multimodal large language models (MLLMs) have achieved remarkable success across a broad range of vision tasks. However, constrained by the capacity of their internal world knowledge, prior work has proposed augmenting MLLMs by ``reasoning-then-tool-call'' for visual and textual search engines to obtain substantial gains on tasks requiring extensive factual information. However, these approaches typically define multimodal search in a naive setting, assuming that a single full-level or entity-level image query and few text query suffices to retrieve the key evidence needed to answer the question, which is unrealistic in real-world scenarios with substantial visual noise. Moreover, they are often limited in the reasoning depth and search breadth, making it difficult to solve complex questions that require aggregating evidence from diverse visual and textual sources. Building on this, we propose Vision-DeepResearch, which proposes one new multimodal deep-research paradigm, i.e., performs multi-turn, multi-entity and multi-scale visual and textual search to robustly hit real-world search engines under heavy noise. Our Vision-DeepResearch supports dozens of reasoning steps and hundreds of engine interactions, while internalizing deep-research capabilities into the MLLM via cold-start supervision and RL training, resulting in a strong end-to-end multimodal deep-research MLLM. It substantially outperforming existing multimodal deep-research MLLMs, and workflows built on strong closed-source foundation model such as GPT-5, Gemini-2.5-pro and Claude-4-Sonnet.
","absKo":"Multimodal large language models (MLLMs)는 다양한 vision task 전반에서 놀라운 성과를 달성해 왔다. 그러나 내부 world knowledge의 한계에 제약되어, 선행 연구는 대량의 사실 정보가 필요한 task에서 substantial gains를 얻기 위해 visual 및 textual search engine에 대해 ``reasoning-then-tool-call'' 방식으로 MLLMs를 보강하는 방법을 제안해 왔다. 그러나 이러한 접근은 대체로 multimodal search를 순진한 설정으로 정의하며, 하나의 full-level 또는 entity-level image query와 몇 개의 text query만으로 질문에 답하는 데 필요한 핵심 evidence를 검색할 수 있다고 가정한다. 이는 상당한 visual noise가 존재하는 실제 환경에서는 비현실적이다. 더 나아가, 이들은 흔히 reasoning depth와 search breadth가 제한되어 있어, 다양한 visual 및 textual source에서 evidence를 집계해야 하는 복잡한 질문을 해결하기 어렵다. 이를 바탕으로 우리는 Vision-DeepResearch를 제안한다. 이는 새로운 multimodal deep-research paradigm 하나를 제시하는데, 즉 heavy noise 하에서 실제 search engine을 robust하게 공략하기 위해 multi-turn, multi-entity, multi-scale visual 및 textual search를 수행한다. 우리의 Vision-DeepResearch는 수십 단계의 reasoning과 수백 번의 engine interaction을 지원하며, cold-start supervision과 RL training을 통해 deep-research capability를 MLLM 내부에 내재화함으로써 강력한 end-to-end multimodal deep-research MLLM을 구현한다. 이는 기존 multimodal deep-research MLLM뿐 아니라 GPT-5, Gemini-2.5-pro, Claude-4-Sonnet 같은 강력한 closed-source foundation model 위에 구축된 workflow보다도 크게 뛰어난 성능을 보인다.
"},{"id":"60903","en":"Reward-free Alignment for Conflicting Objectives","ko":"상충하는 목표를 위한 Reward-free Alignment","authors":"Peter Chen, Xiaopeng Li, Xi Chen, Tianyi Lin","pos":"#4626","link":"https://openreview.net/forum?id=vSzRJyg6k0","abs":"Direct alignment methods are increasingly used to align large language models (LLMs) with human preferences. However, many real-world alignment problems involve multiple conflicting objectives, where naive aggregation of preferences can lead to unstable training and poor trade-offs. In particular, weighted loss methods may fail to identify update directions that simultaneously improve all objectives, and existing multi-objective approaches often rely on explicit reward models, introducing additional complexity and distorting user-specified preferences. The contributions of this paper are two-fold. First, we propose a Reward-free Alignment framework for Conflicted Objectives (RACO) that directly leverages pairwise preference data and resolves gradient conflicts via a novel clipped variant of conflict-averse gradient descent. We provide convergence guarantees to Pareto-critical points that respect user-specified objective weights, and further show that clipping can strictly improve convergence rate in the two-objective setting. Second, we improve our method using some heuristics and conduct experiments to demonstrate the compatibility of the proposed framework for LLM alignment. Both qualitative and quantitative evaluations on multi-objective summarization and safety alignment tasks across multiple LLM families (Qwen 3, Llama 3, Gemma 3) show that our method consistently achieves better Pareto trade-offs compared to existing multi-objective alignment baselines.
","absKo":"Direct alignment 방법은 human preference에 large language model(LLM)을 정렬하는 데 점점 더 많이 사용되고 있다. 그러나 실제 alignment 문제의 상당수는 서로 충돌하는 여러 목표를 포함하며, preference를 단순히 집계하면 불안정한 학습과 좋지 않은 trade-off로 이어질 수 있다. 특히 weighted loss 방법은 모든 목표를 동시에 개선하는 update direction을 찾지 못할 수 있고, 기존 multi-objective 접근법은 explicit reward model에 의존하는 경우가 많아 추가적인 복잡성을 유발하고 user-specified preference를 왜곡한다. 본 논문의 기여는 두 가지이다. 첫째, 우리는 pairwise preference data를 직접 활용하고 novel clipped variant of conflict-averse gradient descent를 통해 gradient conflict를 해소하는 Reward-free Alignment framework for Conflicted Objectives(RACO)를 제안한다. 우리는 user-specified objective weight를 존중하는 Pareto-critical point로의 convergence guarantee를 제공하며, 나아가 두 목표 setting에서 clipping이 convergence rate를 엄밀히 개선할 수 있음을 보인다. 둘째, 몇 가지 heuristic을 사용하여 method를 개선하고, 제안한 framework의 LLM alignment에 대한 호환성을 입증하는 실험을 수행한다. Qwen 3, Llama 3, Gemma 3를 포함한 여러 LLM family 전반에서 multi-objective summarization과 safety alignment task에 대한 정성적 및 정량적 평가는, 우리의 method가 기존 multi-objective alignment baseline보다 일관되게 더 나은 Pareto trade-off를 달성함을 보여준다.
"},{"id":"65056","en":"Learning Latent Action World Models In The Wild","ko":"야생에서 Latent Action World Model 학습","authors":"Quentin Garrido, Tushar Nagarajan, Basile Terver, Nicolas Ballas, Yann LeCun, Michael Rabbat","pos":"#111","link":"https://openreview.net/forum?id=HDf5semiaB","abs":"Agents that can reason and plan in the real world must be able to predict the consequences of their actions. World models possess this capability but require action annotations that can be complex to obtain at scale. Latent action models address this issue by learning an action space from videos alone. Our work studies the training of latent action world models on in-the-wild videos, expanding the scope of existing works that focus on simple robotics simulations, video games, or manipulation data. While diverse videos enable modeling richer actions, they introduce challenges of environmental noise and lack of a common embodiment across videos. To address these, we carefully study the design and evaluation of latent actions. We find that constrained continuous latent actions are better suited for complex in-the-wild videos, compared to vector quantization. For example, actions specific to in-the-wild videos such as humans entering the room, can be modeled and then transferred across videos. However, in the absence of a common embodiment, learned latent actions are localized in space, relative to the camera. Nonetheless, we are able to train a controller that maps known actions to latent ones, allowing us to use latent actions as a universal interface to solve planning tasks on par with action-conditioned baselines.
","absKo":"실세계에서 추론하고 계획할 수 있는 agent는 자신의 행동이 초래할 결과를 예측할 수 있어야 한다. World model은 이러한 능력을 갖추고 있지만, 대규모로 확보하기 어려운 action annotation을 필요로 한다. Latent action model은 video만으로 action space를 학습함으로써 이 문제를 해결한다. 우리의 연구는 simple robotics simulation, video game, manipulation data에 초점을 맞춘 기존 연구의 범위를 확장하여, in-the-wild video에서 latent action world model을 학습하는 문제를 다룬다. 다양한 video는 더 풍부한 action을 모델링할 수 있게 해주지만, 환경 잡음과 video 간 공통 embodiment의 부재라는 문제를 야기한다. 이를 해결하기 위해 우리는 latent action의 설계와 평가를 면밀히 연구한다. 우리는 vector quantization보다 제약된 continuous latent action이 복잡한 in-the-wild video에 더 적합함을 발견한다. 예를 들어, 사람이 방에 들어오는 것과 같이 in-the-wild video에 특화된 action도 모델링할 수 있고 이후 video 간에 transfer할 수 있다. 그러나 공통 embodiment가 없기 때문에 학습된 latent action은 camera를 기준으로 공간적으로 국소화되어 있다. 그럼에도 불구하고, 우리는 알려진 action을 latent action에 매핑하는 controller를 학습할 수 있었고, 이를 통해 latent action을 universal interface로 사용하여 action-conditioned baseline과 동등한 수준의 planning task를 해결할 수 있었다."},{"id":"62670","en":"Localized, High-resolution Geographic Representations with Slepian Functions","ko":"Slepian 함수 기반의 국소적 고해상도 지리 표현","authors":"Arjun Rao, Ruth Crasto, Tessa Ooms, David Rolnick, Konstantin Klemmer, Marc Rußwurm","pos":"#1303","link":"https://openreview.net/forum?id=eWQQ0tO0kB","abs":"Geographic data is fundamentally local. Disease outbreaks cluster in population centers, ecological patterns emerge along coastlines, and economic activity concentrates within country borders. Machine learning models that encode geographic location, however, distribute representational capacity uniformly across the globe, struggling at the fine-grained resolutions localized applications require. We propose a geographic location encoder built from spherical Slepian functions that concentrates representational capacity inside a region-of-interest and scales to high resolutions without extensive computational demands. For settings requiring global context, we present a hybrid Slepian-Spherical Harmonic encoder that efficiently bridges the tradeoff between local-global performance, while retaining desirable properties such as pole-safety and spherical-surface-distance preservation. Across five tasks spanning classification, regression, and image-augmented prediction, Slepian encodings outperform baselines and retain performance advantages across a wide variety of neural network architectures.
","absKo":"지리 데이터는 본질적으로 국소적이다. 질병 유행은 인구 중심지에 군집하고, 생태 패턴은 해안선을 따라 나타나며, 경제 활동은 국경 안에 집중된다. 그러나 지리적 위치를 인코딩하는 machine learning model은 전 세계에 표현 용량을 균등하게 분배하기 때문에, 국소 응용에서 요구하는 세밀한 해상도에서는 어려움을 겪는다. 우리는 관심 영역 내부에 표현 용량을 집중시키고, 대규모 계산 부담 없이 고해상도로 확장 가능한 구면 Slepian function 기반의 geographic location encoder를 제안한다. 전역 문맥이 필요한 설정을 위해서는 local-global 성능 간 trade-off를 효율적으로 연결하면서도 pole-safety와 spherical-surface-distance preservation 같은 바람직한 성질을 유지하는 hybrid Slepian-Spherical Harmonic encoder를 제시한다. 분류, 회귀, image-augmented prediction에 걸친 다섯 개의 task에서 Slepian encoding은 baseline을 상회하며, 다양한 neural network architecture 전반에서 성능 우위를 유지한다.
"},{"id":"61728","en":"VBA: Vector Bundle Attention for Intrinsically Geometric Representation Learning","ko":"VBA: 본질적으로 기하학적인 표현 학습을 위한 Vector Bundle Attention","authors":"Shenglei Fang, Xianfang Sun, You Zhou","pos":"#1600","link":"https://openreview.net/forum?id=nQ4iLQtsCF","abs":"Learning from geometrically structured data is central to applications in biology, physics, and computer vision. In many tasks, meaningful comparisons depend on how features are aligned in space. Graph Neural Networks capture local structure but are constrained by message passing. Transformers model long-range dependencies but largely ignore geometry. We introduce the Vector Bundle Attention Transformer (VBA-Transformer), a framework that redefines attention as an intrinsic geometric operator. Each token couples a base manifold coordinate with a fiber feature vector, following vector bundle theory. A principled parallel transport mechanism aligns fiber features across local coordinate systems before similarity is computed. This embeds geometry directly into the attention operator. Unlike prior methods that inject geometry as an external bias or positional encoding, VBA integrates geometry natively inside attention. On challenging single-cell RNA sequencing benchmarks, VBA achieves state-of-the-art accuracy, outperforming Transformer baselines by over 3--5\\%. On spatial transcriptomics, it demonstrates superior clustering performance. On 3D point clouds, it achieves competitive accuracy, validating broad generalization across domains. Beyond empirical gains, we provide theoretical analysis of invariance and perturbation stability. We also demonstrate robust transport behavior empirically. Together, these results establish intrinsic geometric alignment as a powerful principle for scalable representation learning.
","absKo":"기하학적으로 구조화된 데이터에서 학습하는 것은 biology, physics, computer vision의 응용에서 핵심적입니다. 많은 task에서 의미 있는 비교는 feature가 공간에서 어떻게 정렬되는지에 달려 있습니다. Graph Neural Networks는 local structure를 포착하지만 message passing의 제약을 받습니다. Transformers는 long-range dependency를 모델링하지만 기하를 대체로 무시합니다. 우리는 attention을 intrinsic geometric operator로 재정의하는 framework인 Vector Bundle Attention Transformer (VBA-Transformer)를 제안합니다. 각 token은 vector bundle theory를 따르는 base manifold coordinate와 fiber feature vector를 결합합니다. 원리적인 parallel transport mechanism은 similarity를 계산하기 전에 local coordinate system 간 fiber feature를 정렬합니다. 이렇게 기하가 attention operator 내부에 직접 내재화됩니다. 기하를 외부 bias나 positional encoding으로 주입하는 기존 방법과 달리, VBA는 기하를 attention 내부에 native하게 통합합니다. 까다로운 single-cell RNA sequencing benchmark에서 VBA는 state-of-the-art 정확도를 달성하며, Transformer baseline보다 3--5\\% 이상 앞섭니다. spatial transcriptomics에서는 더 우수한 clustering 성능을 보입니다. 3D point cloud에서는 경쟁력 있는 정확도를 달성하여 다양한 domain 전반의 폭넓은 일반화를 검증합니다. 실증적 향상 외에도, 우리는 invariance와 perturbation stability에 대한 이론적 분석을 제시합니다. 또한 실험적으로 견고한 transport behavior를 보입니다. 종합하면, 이러한 결과는 intrinsic geometric alignment가 scalable representation learning을 위한 강력한 원리임을 확립합니다.
"},{"id":"62281","en":"UniRTL: Unifying Code and Graph for Robust RTL Representation Learning","ko":"UniRTL: 견고한 RTL Representation Learning을 위한 코드와 Graph 통합","authors":"Yi Liu, Hongji Zhang, Lei Chen, Mingxuan Yuan, Qiang Xu","pos":"#1700","link":"https://openreview.net/forum?id=hzYEWSTOEA","abs":"Developing effective representations for register transfer level (RTL) designs is crucial for accelerating the hardware design workflow. Existing approaches, however, typically rely on a single data modality, either the RTL code or its associated graph-based representation, limiting the expressiveness and generalization ability of the learned representations. For RTL, the control data flow graph (CDFG) offers a comprehensive structural representation that preserves complete information, while the code modality explicitly encodes semantic and functional information. We argue that integrating these complementary modalities is essential for a thorough understanding of RTL designs. To this end, we propose UniRTL, a multimodal pretraining framework that learns unified RTL representations by jointly leveraging code and CDFG. UniRTL achieves fine-grained alignment between code and graph through mutual masked modeling and employs a hierarchical training strategy that incorporates a pretrained graph-aware tokenizer and staged alignment of text (i.e., functional summary) and code prior to graph integration. We evaluate UniRTL on two downstream tasks, performance prediction and code retrieval, under multiple settings. Experimental results show that UniRTL consistently outperforms prior methods, establishing it as a more robust and powerful foundation for advancing hardware design automation.
","absKo":"register transfer level (RTL) 설계를 위한 효과적인 representation을 개발하는 것은 hardware design workflow를 가속하는 데 매우 중요합니다. 그러나 기존 접근법은 일반적으로 RTL code 또는 그에 대응하는 graph-based representation 중 하나의 단일 data modality에 의존하여, 학습된 representation의 표현력과 generalization 능력을 제한합니다. RTL에서 control data flow graph (CDFG)는 완전한 정보를 보존하는 포괄적인 구조적 representation을 제공하는 반면, code modality는 semantic 및 functional information을 명시적으로 인코딩합니다. 우리는 이러한 상보적인 modality를 통합하는 것이 RTL 설계를 철저히 이해하는 데 필수적이라고 주장합니다. 이를 위해 우리는 code와 CDFG를 함께 활용하여 통합된 RTL representation을 학습하는 multimodal pretraining framework인 UniRTL을 제안합니다. UniRTL은 mutual masked modeling을 통해 code와 graph 간의 세밀한 alignment를 달성하고, pretrained graph-aware tokenizer와 text(즉, functional summary) 및 code를 graph integration 이전에 단계적으로 정렬하는 hierarchical training strategy를 사용합니다. 우리는 performance prediction과 code retrieval이라는 두 downstream task에서 여러 설정 하에 UniRTL을 평가합니다. 실험 결과는 UniRTL이 기존 방법들을 일관되게 능가함을 보여주며, hardware design automation 발전을 위한 더 강건하고 강력한 foundation으로서의 가치를 입증합니다.
"},{"id":"66669","en":"Symbol-Equivariant Recurrent Reasoning Models","ko":"Symbol-Equivariant Recurrent Reasoning 모델","authors":"Richard Freinschlag, Timo Bertram, Erich Kobler, Andreas Mayr, Günter Klambauer","pos":"#1701","link":"https://openreview.net/forum?id=1YCpxT3t5V","abs":"Reasoning problems such as Sudoku and ARC-AGI remain challenging for neural networks. Recurrent Reasoning Models (RRMs), including Hierarchical Reasoning Models (HRM) and Tiny Recursive Models (TRM), offer a compact alternative to large language models, but currently handle symbol symmetries only implicitly via costly data augmentation. We introduce symbol-equivariant recurrent reasoning models (SE-RRMs), which enforce permutation equivariance at the architectural level through symbol-equivariant layers, guaranteeing identical solutions under symbol or color permutations. SE-RRMs outperform prior RRMs on 9$\\times$9 Sudoku and generalize from just training on 9$\\times$9 to smaller 4$\\times$4 and larger 16$\\times$16 and 25$\\times$25 instances, to which existing RRMs cannot extrapolate. On ARC-AGI-1 and ARC-AGI-2, SE-RRMs achieve competitive performance with substantially less data augmentation, demonstrating that explicitly encoding symmetry improves the robustness and scalability of neural reasoning.","absKo":"Sudoku와 ARC-AGI와 같은 reasoning 문제는 neural network에게 여전히 어렵다. Hierarchical Reasoning Models (HRM)와 Tiny Recursive Models (TRM)를 포함한 Recurrent Reasoning Models (RRMs)은 large language model의 대안이 되는 compact한 접근이지만, 현재는 비용이 큰 data augmentation을 통해서만 symbol symmetry를 암묵적으로 다룬다. 우리는 symbol-equivariant recurrent reasoning models (SE-RRMs)를 제안한다. 이는 symbol-equivariant layer를 통해 architectural level에서 permutation equivariance를 강제하여, symbol 또는 color permutation 하에서도 동일한 해를 보장한다. SE-RRMs는 9$\\times$9 Sudoku에서 이전 RRM을 능가하며, 9$\\times$9에서 학습한 것만으로도 더 작은 4$\\times$4와 더 큰 16$\\times$16 및 25$\\times$25 instance로 일반화되는데, 기존 RRM은 이러한 extrapolation을 수행할 수 없다. ARC-AGI-1과 ARC-AGI-2에서는 SE-RRMs가 훨씬 적은 data augmentation으로도 경쟁력 있는 성능을 달성하여, symmetry를 명시적으로 인코딩하는 것이 neural reasoning의 견고성과 확장성을 향상시킨다는 점을 보여준다."},{"id":"65418","en":"Skip-It? Theoretical Conditions for Layer Skipping in Vision–Language Models","ko":"건너뛸까? Vision–Language Model에서 레이어 건너뛰기를 위한 이론적 조건","authors":"Max Hartman, Vidhata Jayaraman, Moulik Choraria, Akhil Bhimaraju, Lav Varshney","pos":"#1702","link":"https://openreview.net/forum?id=DqcPyN2gjD","abs":"Vision–language models achieve incredible performance across a wide range of tasks, but their large size makes inference costly. Recent work has shown that multimodal processing contains significant redundancies, making it possible to skip certain layers with minimal performance loss. Yet current pruning techniques remain ad-hoc, relying on heuristics or hyperparameter sweeps rather than principled criteria for determining when layer skipping is beneficial. In this paper, we propose a unified framework that characterizes the redundancy conditions under which pruning can enhance efficiency without sacrificing performance. Central to our approach are experimentally verifiable and interpretable notions of redundancy that can be evaluated without requiring downstream task performance as a metric. Applying this framework, we corroborate prior findings that both early and late vision tokens are redundant across models, and we validate our conditions by showing they align with actual performance degradation. Beyond these empirical results, our framework provides a theoretically grounded understanding of redundancy in VLMs and unifies many of the ideas behind modern layer-skipping techniques.
","absKo":"Vision-language model은 매우 다양한 task에서 놀라운 성능을 달성하지만, 모델 크기가 커서 inference 비용이 높다. 최근 연구는 multimodal processing에 상당한 redundancy가 존재하여, 성능 저하를 최소화하면서 특정 layer를 건너뛸 수 있음을 보였다. 그러나 현재의 pruning 기법은 여전히 ad-hoc한 수준에 머물러 있으며, layer skipping이 유리한지를 판단하는 데 heuristic이나 hyperparameter sweep에 의존하고, 원칙적인 기준은 부족하다. 이 논문에서는 성능을 희생하지 않으면서 pruning이 효율을 높일 수 있는 redundancy 조건을 특징짓는 통합 framework를 제안한다. 우리의 접근의 핵심은 downstream task 성능을 metric으로 요구하지 않고도 평가할 수 있는, 실험적으로 검증 가능하고 해석 가능한 redundancy 개념들이다. 이 framework를 적용해, model 전반에서 early vision token과 late vision token이 모두 redundant하다는 기존 발견을 재확인하고, 이러한 조건이 실제 performance degradation과 일치함을 보임으로써 타당성을 검증한다. 이러한 실험 결과를 넘어, 우리의 framework는 VLM에서 redundancy에 대한 이론적 이해를 제공하며 현대의 many layer-skipping technique 뒤에 있는 여러 아이디어를 하나로 통합한다.
"},{"id":"63284","en":"Neural Feature Geometry Evolves as Discrete Ricci Flow","ko":"신경 특징 기하는 이산 Ricci Flow처럼 진화한다","authors":"Moritz Hehl, Max von Renesse, Melanie Weber","pos":"#1705","link":"https://openreview.net/forum?id=YPH5yCKzYr","abs":"Deep neural networks learn feature representations via complex geometric transformations of the input data manifold. Despite the models' empirical success across domains, our understanding of neural feature representations is still incomplete. In this work we investigate neural feature geometry through the lens of discrete geometry. Since the input data manifold is typically unobserved, we approximate it using geometric graphs that encode local similarity structure. We provide theoretical results on the evolution of these graphs during training, showing that nonlinear activations play a crucial role in shaping feature geometry in feedforward neural networks. Moreover, we discover that the geometric transformations resemble a discrete Ricci flow on these graphs, suggesting that neural feature geometry evolves analogous to Ricci flow. This connection is supported by experiments on over 20,000 feedforward neural networks trained on binary classification tasks across both synthetic and real-world datasets. We observe that the emergence of class separability corresponds to the emergence of community structure in the associated graph representations, which is known to relate to discrete Ricci flow dynamics. Building on these insights, we introduce a novel framework for locally evaluating geometric transformations through comparison with discrete Ricci flow dynamics. Our experimental results further suggest connections between the evolution of feature geometry, and training time and network depth.
","absKo":"Deep neural networks는 입력 데이터 manifold에 대한 복잡한 기하학적 변환을 통해 feature representation을 학습한다. 다양한 도메인에서 이 모델들이 경험적으로 성공했음에도 불구하고, neural feature representation에 대한 우리의 이해는 여전히 불완전하다. 본 연구에서는 discrete geometry의 관점에서 neural feature geometry를 조사한다. 입력 데이터 manifold는 일반적으로 관찰되지 않으므로, 우리는 local similarity structure를 인코딩하는 geometric graph를 사용해 이를 근사한다. 우리는 학습 동안 이러한 graph의 진화에 대한 이론적 결과를 제시하며, nonlinear activation이 feedforward neural network에서 feature geometry를 형성하는 데 중요한 역할을 한다는 것을 보인다. 더 나아가, 이러한 기하학적 변환이 그래프 위의 discrete Ricci flow와 유사함을 발견했으며, 이는 neural feature geometry가 Ricci flow와 유사하게 진화함을 시사한다. 이 연결은 합성 및 실제 데이터셋 전반의 이진 분류 task로 학습된 20,000개 이상의 feedforward neural network 실험으로 뒷받침된다. 우리는 class separability의 출현이 관련 graph representation에서 community structure의 출현과 대응함을 관찰하며, 이는 discrete Ricci flow dynamics와 관련된 것으로 알려져 있다. 이러한 통찰을 바탕으로, 우리는 discrete Ricci flow dynamics와의 비교를 통해 local하게 geometric transformation을 평가하는 새로운 framework를 제안한다. 실험 결과는 feature geometry의 진화와 training time 및 network depth 사이의 연결도 시사한다.
"},{"id":"62335","en":"Names Don’t Matter: Symbol-Invariant Transformer for Open-Vocabulary Learning","ko":"이름은 중요하지 않다: Open-Vocabulary Learning을 위한 Symbol-Invariant Transformer","authors":"İlker Işık, Wenchao Li","pos":"#1706","link":"https://openreview.net/forum?id=hYtsnVf0Bu","abs":"Current neural architectures lack a principled way to handle interchangeable tokens, i.e., symbols that are semantically equivalent yet distinguishable, such as bound variables. As a result, models trained on fixed vocabularies often struggle to generalize to unseen symbols, even when the underlying semantics remain unchanged. We propose a novel Transformer-based mechanism that is provably invariant to the renaming of interchangeable tokens. Our approach employs parallel embedding streams to isolate the contribution of each interchangeable token in the input, combined with an aggregated attention mechanism that enables structured information sharing across streams. Experimental results confirm the theoretical guarantees of our method and demonstrate substantial performance gains on open-vocabulary tasks that require generalization to novel symbols.
","absKo":"현재의 neural architecture는 interchangeable token, 즉 bound variable과 같이 의미적으로 동등하지만 구별 가능한 기호를 처리하는 데 있어 원리적인 방법이 부족하다. 그 결과, 고정된 vocabulary로 학습된 모델은 underlying semantics가 변하지 않더라도 보지 못한 기호에 대해 일반화하는 데 어려움을 겪는다. 우리는 interchangeable token의 renaming에 대해 증명 가능하게 invariant인 새로운 Transformer 기반 메커니즘을 제안한다. 우리의 접근법은 각 interchangeable token의 입력 기여를 분리하기 위해 parallel embedding stream을 사용하고, stream 간 구조화된 정보 공유를 가능하게 하는 aggregated attention mechanism을 결합한다. 실험 결과는 우리 방법의 이론적 보장을 확인하며, 새로운 기호로의 일반화가 필요한 open-vocabulary task에서 상당한 성능 향상을 보여준다.
"},{"id":"63582","en":"Learning Coherent Representations: A Topological Approach to Interpretability","ko":"일관된 표현 학습: 해석 가능성을 위한 위상적 접근","authors":"Sigurd Gaukstad, Erik Hermansen, Valdemar Kargård Olsen, Melvin Vaupel, Benjamin Dunn","pos":"#1707","link":"https://openreview.net/forum?id=VnlpOuA3Bs","abs":"Deep neural networks learn representations where individual features often lack interpretable meaning; a single neuron may activate for scattered, unrelated inputs. We introduce coherence, a geometric property inspired by neural coding in the brain, where neurons like grid cells and head direction cells respond to contiguous regions of state space. A non-negative matrix is coherent if both each row (sample) attends to geometrically clustered columns (features) and, vice versa, each feature attends to clustered samples. We prove that coherent matrices induce a bounded interleaving between the Vietoris-Rips filtrations of samples and features, guaranteeing that both spaces share compatible topological structure. This geometric constraint facilitates interpretability. For example, if data lies on a circle, coherent features must tile that circle into contiguous arcs. We introduce COH, a differentiable regularizer based on Fréchet variance that enforces coherence during training. Unlike sparsity, which bounds how many samples a feature activates on, coherence bounds which samples, requiring geometric connectivity rather than only rarity. This yields not just interpretable features but an interpretable feature space. We validate COH using synthetic and rotated MNIST datasets.
","absKo":"Deep neural networks는 개별 feature가 종종 해석 가능한 의미를 갖지 않는 representation을 학습하며, 하나의 neuron이 서로 흩어져 있고 관련 없는 입력들에 대해 활성화될 수 있다. 우리는 뇌의 neural coding에서 영감을 받은 기하학적 성질인 coherence를 도입한다. 이는 grid cell과 head direction cell 같은 neuron이 state space의 연속적인 영역에 반응하는 특성과 유사하다. 비음수 행렬이 coherent하다는 것은 각 행(sample)이 기하학적으로 군집된 열(feature)에 주의를 두고, 반대로 각 feature도 군집된 sample에 주의를 두는 경우를 의미한다. 우리는 coherent matrix가 sample과 feature의 Vietoris-Rips filtration 사이에 bounded interleaving을 유도함을 증명하며, 이를 통해 두 공간이 호환 가능한 topological structure를 공유함을 보장한다. 이러한 기하학적 제약은 해석 가능성을 높여준다. 예를 들어 데이터가 원 위에 놓여 있다면, coherent feature는 그 원을 연속적인 arc들로 타일링해야 한다. 우리는 Fréchet variance에 기반한 미분 가능한 regularizer인 COH를 제안하여, training 동안 coherence를 강제한다. 얼마나 많은 sample에 하나의 feature가 활성화되는지를 제한하는 sparsity와 달리, coherence는 어떤 sample에 활성화되는지를 제한하여, 단순한 희소성만이 아니라 기하학적 연결성을 요구한다. 이는 해석 가능한 feature뿐 아니라 해석 가능한 feature space를 만들어낸다. 우리는 synthetic dataset과 rotated MNIST dataset을 사용하여 COH를 검증한다.
"},{"id":"63231","en":"Learning Attribute–Affordance Hierarchies in Hyperbolic Space for Open-Vocabulary 3D Object Affordance Grounding","ko":"개방형 어휘 3D 객체 어포던스 그라운딩을 위한 쌍곡 공간에서의 속성-어포던스 계층 학습","authors":"Yuxuan Wang, Tong Li, Yihang Zhu, Guangtao Lyu, Yukuan Min, Chenghao Xu, Jiexi Yan, Xu Yang, Cheng Deng","pos":"#1708","link":"https://openreview.net/forum?id=Ytfn0uxhOX","abs":"This paper pays attention to open-vocabulary 3D object affordance grounding (OVAG), which aims to localize affordance regions on 3D objects by leveraging interaction images or textual instructions. Most existing methods treat interaction images as sources of external affordance knowledge and align them with 3D visual representations, while overlooking the intrinsic relationship between local object attributes and affordances, which limits localization accuracy and generalization. For instance, a cup handle affords grasping due to its curved shape and appropriate thickness, indicating that affordances emerge from specific attribute compositions rather than global object appearance. Motivated by this, we propose Attribute-Affordance Hierarchies (AAH) learning framework that explicitly models the hierarchical relationships between object-region attributes and affordances. Our approach first captures local region relationships using hypergraph, and then projects these region-level concepts into a hyperbolic space to encode their hierarchical organization. Furthermore, we introduce counterfactual attribute samples to encourage robust learning of attribute–affordance dependencies under varying conditions. By jointly modeling visual structure and hierarchical concept information, our method achieves more accurate affordance localization. Extensive experiments and qualitative analyses demonstrate the effectiveness of our approach.
","absKo":"이 논문은 open-vocabulary 3D object affordance grounding(OVAG)에 주목한다. OVAG는 interaction image나 text instruction을 활용해 3D object 상의 affordance region을 localize하는 것을 목표로 한다. 기존 방법의 대부분은 interaction image를 외부 affordance knowledge의 source로 간주하고 이를 3D visual representation과 align하지만, local object attribute와 affordance 사이의 내재적 관계를 간과하여 localization 정확도와 generalization을 제한한다. 예를 들어, 컵의 손잡이는 곡선형 shape와 적절한 두께 때문에 grasping affordance를 제공하는데, 이는 affordance가 전역적인 object appearance가 아니라 특정 attribute의 조합에서 emergent함을 보여준다. 이러한 동기에 따라, 우리는 object-region attribute와 affordance 사이의 계층적 관계를 명시적으로 모델링하는 Attribute-Affordance Hierarchies(AAH) learning framework를 제안한다. 우리의 접근법은 먼저 hypergraph를 사용해 local region 관계를 포착하고, 이어서 이러한 region-level concept를 hyperbolic space에 투영하여 계층적 조직을 인코딩한다. 또한, 다양한 조건에서 attribute-affordance 의존성에 대한 robust learning을 유도하기 위해 counterfactual attribute sample을 도입한다. visual structure와 hierarchical concept information을 공동으로 모델링함으로써, 우리의 방법은 더 정확한 affordance localization을 달성한다. 광범위한 실험과 질적 분석은 이 접근법의 효과를 입증한다.
"},{"id":"64178","en":"Layer-Centric Factors of Variation Disentanglement for Task- and Model-Agnostic Generalization","ko":"과제 및 모델 불가지론적 일반화를 위한 층 중심 변이 요인 분리","authors":"Hee-Jun Jung, Minwoo Kang, Jongmin Park, Kangil Kim, Hoyong Kim","pos":"#1709","link":"https://openreview.net/forum?id=QE9b2nOWi2","abs":"Disentanglement learning aims to separate the underlying factors of variation (FoV) to improve generalization. However, most FoV-based latent-vector-centric methods impose objective-driven constraints at a bottleneck, and it is difficult to translate disentanglement into consistent gains on downstream tasks without inductive bias. Motivated by architectural approaches complementary to vector-centric objectives for downstream tasks, we propose the Orthogonal Subspaces Projection (OSP) layer, a plug-and-play module that integrates into intermediate layers and promotes FoV separation by projecting latent features into mutually orthogonal subspaces. Across diverse domains and tasks, models equipped with the OSP layer improve disentanglement quality and generalization in downstream tasks, including computer vision (classification, detection, and segmentation), natural language processing (word analogy), and fine-tuning settings on large backbones.
","absKo":"Disentanglement learning의 목표는 일반화를 향상시키기 위해 underlying factors of variation (FoV)을 분리하는 것이다. 그러나 대부분의 FoV 기반 latent-vector 중심 방법은 bottleneck에서 objective-driven constraint를 부과하며, inductive bias 없이는 disentanglement를 downstream task에서 일관된 성능 향상으로 전환하기 어렵다. downstream task를 위한 vector-centric objective에 보완적인 architectural 접근법에 착안하여, 우리는 Orthogonal Subspaces Projection (OSP) layer를 제안한다. 이는 intermediate layer에 통합되는 plug-and-play module로서, latent feature를 상호 orthogonal한 subspace로 투영하여 FoV 분리를 촉진한다. 다양한 도메인과 task 전반에서 OSP layer를 탑재한 모델은 computer vision(classification, detection, segmentation), natural language processing(word analogy), 그리고 large backbone에서의 fine-tuning 설정을 포함한 downstream task에서 disentanglement quality와 generalization을 향상시킨다.
"},{"id":"63836","en":"KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices","ko":"KromHC: Kronecker 곱 residual matrix를 갖는 다양체 제약 하이퍼커넥션","authors":"Wuyang Zhou, Yuxuan Gu, Giorgos Iacovides, Danilo Mandic","pos":"#1710","link":"https://openreview.net/forum?id=TI7Q2o6EIa","abs":"The success of Hyper-Connections (HC) in neural networks (NN) has also highlighted issues related to its training instability and restricted scalability. The Manifold-Constrained Hyper-Connections (mHC) mitigate these challenges by projecting the residual connection space onto a Birkhoff polytope, however, it faces two issues: 1) its iterative Sinkhorn-Knopp (SK) algorithm does not always yield exact doubly stochastic residual matrices; 2) mHC incurs a prohibitive $\\mathcal{O}(n^3C)$ parameter complexity with $n$ as the width of the residual stream and $C$ as the feature dimension. The recently proposed mHC-lite reparametrizes the residual matrix via the Birkhoff-von-Neumann theorem to guarantee double stochasticity, but also faces a factorial explosion in its parameter complexity, $\\mathcal{O} \\left( nC \\cdot n! \\right)$. To address both challenges, we propose **KromHC**, which uses the $\\underline{\\text{Kro}}$necker products of smaller doubly stochastic matrices to parametrize the residual matrix in $\\underline{\\text{mHC}}$. By enforcing manifold constraints across the factor residual matrices along each mode of the tensorized residual stream, KromHC guarantees exact double stochasticity of the residual matrices while reducing parameter complexity to $\\mathcal{O}(n^2C)$. Comprehensive experiments demonstrate that KromHC matches or even outperforms state-of-the-art (SOTA) mHC variants, while requiring significantly fewer trainable parameters.","absKo":"Hyper-Connections (HC)가 neural networks (NN)에서 거둔 성공은 동시에 학습 불안정성과 제한된 확장성에 관한 문제도 부각시켰다. Manifold-Constrained Hyper-Connections (mHC)는 residual connection space를 Birkhoff polytope 위로 투영함으로써 이러한 문제를 완화하지만, 두 가지 문제에 직면한다. 1) 반복적인 Sinkhorn-Knopp (SK) 알고리즘이 항상 정확한 doubly stochastic residual matrix를 산출하지는 못한다. 2) mHC는 매개변수 복잡도가 $\\mathcal{O}(n^3C)$로 지나치게 큰데, 여기서 $n$은 residual stream의 너비이고 $C$는 feature dimension이다. 최근 제안된 mHC-lite는 Birkhoff-von-Neumann theorem을 통해 residual matrix를 재매개변수화하여 double stochasticity를 보장하지만, 매개변수 복잡도에서 $\\mathcal{O} \\left( nC \\cdot n! \\right)$의 factorial explosion 역시 겪는다. 두 문제를 모두 해결하기 위해, 우리는 더 작은 doubly stochastic matrix들의 $\\underline{\\text{Kro}}$necker product를 사용해 $\\underline{\\text{mHC}}$의 residual matrix를 매개변수화하는 **KromHC**를 제안한다. tensorized residual stream의 각 mode를 따라 factor residual matrix 전반에 manifold constraint를 강제함으로써, KromHC는 residual matrix의 정확한 double stochasticity를 보장하는 동시에 매개변수 복잡도를 $\\mathcal{O}(n^2C)$로 낮춘다. 포괄적인 실험 결과, KromHC는 state-of-the-art (SOTA) mHC 변형들과 동등하거나 심지어 더 뛰어난 성능을 보이면서도, 훨씬 적은 trainable parameter만을 필요로 함을 보여준다."},{"id":"64180","en":"Intrinsic Task Symmetry Drives Generalization in Algorithmic Tasks","ko":"내재적 과제 대칭성이 알고리즘 과제에서 일반화를 이끈다","authors":"Hyeonbin Hwang, Yeachan Park","pos":"#1711","link":"https://openreview.net/forum?id=QDVz3V4Vle","abs":"Grokking, a sudden transition from memorization to generalization, has been closely linked to the emergence of low-dimensional representations; yet the mechanism driving this organization remains elusive. Here, we propose that intrinsic task symmetries are the key drivers of grokking, inducing structured geometries in representation space. Our analysis reveals a consistent three-stage training dynamic: (i) data memorization, (ii) intrinsic symmetry acquisition, and (iii) geometric organization. We show that generalization emerges during the symmetry acquisition phase, and subsequently the embedding space organizes into a low-dimensional structured geometry. We validate this mechanism across diverse algorithmic domains, spanning algebraic (modular arithmetic), structural (graph metric completion), and relational (comparison) reasoning tasks. Leveraging these insights, we formulate a symmetry-based criterion for generalization and propose symmetry- and geometry-prompting training strategies that can accelerate generalization. Together, our results establish intrinsic symmetry as a central mechanism enabling neural networks to move beyond memorization and achieve robust algorithmic reasoning.
","absKo":"암기에서 일반화로의 급격한 전이인 grokking은 저차원 표현의 출현과 밀접하게 연관되어 있지만, 이러한 조직화를 이끄는 메커니즘은 여전히 불분명하다. 여기서 우리는 고유한 task symmetry가 grokking의 핵심 동인으로서 representation space 내에 구조화된 geometry를 유도한다고 제안한다. 우리의 분석은 일관된 3단계 training dynamic을 보여준다. (i) data memorization, (ii) intrinsic symmetry acquisition, (iii) geometric organization. 우리는 generalization이 symmetry acquisition phase 동안 나타나며, 그 이후 embedding space가 저차원 구조화된 geometry로 조직됨을 보인다. 우리는 대수적(modular arithmetic), 구조적(graph metric completion), 관계적(comparison) reasoning task를 아우르는 다양한 algorithmic domain 전반에서 이 메커니즘을 검증한다. 이러한 통찰을 바탕으로 우리는 generalization에 대한 symmetry-based criterion을 정식화하고, generalization을 가속할 수 있는 symmetry- 및 geometry-prompting training strategy를 제안한다. 종합적으로, 우리의 결과는 intrinsic symmetry가 neural network가 단순한 암기를 넘어 robust한 algorithmic reasoning을 달성하게 하는 중심 메커니즘임을 확립한다.
"},{"id":"61874","en":"Hyperbolic Associative Memory Networks","ko":"쌍곡선 Associative Memory Network","authors":"Boliang Hao, Bailing Zhang, Fangyu Wu","pos":"#1712","link":"https://openreview.net/forum?id=m7SH64ZF6j","abs":"Modern Hopfield Networks (MHNs) have achieved widespread success across various domains but are confined to Euclidean/Hilbert spaces, failing to preserve the hierarchical structure of data due to geometric constraints—arbitrary tree structures cannot be embedded with low distortion, while hyperbolic spaces can naturally accommodate hierarchical structures through exponential volume growth. To address this issue, we propose Hyperbolic Associative Memory Networks (HAMNs), the first framework to embed modern associative memory into hyperbolic space: we map query and memory vectors from Euclidean space to a constant negative curvature manifold via exponential maps, define a regularized energy function based on the Minkowski inner product, and adopt curvature-aware Riemannian optimization combined with exponential map updates to achieve stable on-manifold retrieval. We put forward a hierarchy-sensitivity hypothesis—HAMNs outperform Euclidean MHNs on data with deep hierarchies but exhibit comparable performance on data with weak or shallow hierarchies, which is validated by depth-controlled experiments and cross-level metrics. As a plug-and-play, model-agnostic module, HAMNs are suitable for the storage and retrieval of representations in task architectures requiring hierarchical understanding, instantiated with the Poincaré ball in experiments, and also applicable to any hyperbolic model with constant negative curvature.
","absKo":"Modern Hopfield Networks(MHNs)는 다양한 분야에서 널리 성공을 거두었지만, Euclidean/Hilbert space에 제한되어 있어 기하학적 제약 때문에 데이터의 계층 구조를 보존하지 못합니다. 임의의 tree structure는 낮은 distortion으로 embedding될 수 없는 반면, hyperbolic space는 지수적 volume growth를 통해 계층 구조를 자연스럽게 수용할 수 있습니다. 이 문제를 해결하기 위해 우리는 Hyperbolic Associative Memory Networks(HAMNs)를 제안합니다. 이는 현대적 associative memory를 hyperbolic space에 embedding하는 최초의 framework로, query와 memory vector를 exponential map을 통해 Euclidean space에서 일정한 음의 curvature를 갖는 manifold로 매핑하고, Minkowski inner product에 기반한 regularized energy function을 정의하며, curvature-aware Riemannian optimization과 exponential map update를 결합해 안정적인 on-manifold retrieval을 달성합니다. 우리는 hierarchy-sensitivity hypothesis를 제시합니다. 즉, HAMNs는 깊은 계층 구조를 가진 데이터에서는 Euclidean MHNs보다 우수하지만, 계층 구조가 약하거나 얕은 데이터에서는 비슷한 성능을 보이며, 이는 depth-controlled experiment와 cross-level metric으로 검증됩니다. plug-and-play 방식의 model-agnostic module로서 HAMNs는 계층적 이해가 필요한 task architecture에서 representation의 저장과 검색에 적합하며, 실험에서는 Poincaré ball로 구현했지만, 일정한 음의 curvature를 갖는 어떤 hyperbolic model에도 적용 가능합니다.
"},{"id":"65765","en":"GeoDM: Geometry-aware Distribution Matching for Dataset Distillation","ko":"GeoDM: 데이터셋 증류를 위한 기하학 인식 분포 매칭","authors":"Xuhui Li, Zhengquan Luo, Zihui Cui, Kai Zhao, Zhiqiang Xu","pos":"#1714","link":"https://openreview.net/forum?id=ANVPCRmZQQ","abs":"Dataset distillation aims to synthesize a compact subset of the original data, enabling models trained on it to achieve performance comparable to those trained on the original large dataset. Existing distribution-matching methods are confined to Euclidean spaces, making them only capture linear structures and overlook the intrinsic geometry of real data, e.g., curvature. However, high-dimensional data often lie on low-dimensional manifolds, suggesting that dataset distillation should have the distilled data manifold aligned with the original data manifold. In this work, we propose a geometry-aware distribution-matching framework, called GeoDM, which operates in the Cartesian product of Euclidean, hyperbolic, and spherical manifolds, with flat, hierarchical, and cyclical structures all captured by a unified representation. To adapt to the underlying data geometry, we introduce learnable curvature and weight parameters for three kinds of geometries. At the same time, we design an optimal transport loss to enhance the distribution fidelity. Our theoretical analysis shows that the geometry-aware distribution matching in a product space yields a smaller generalization error bound than the Euclidean counterparts. Extensive experiments conducted on standard benchmarks demonstrate that our algorithm outperforms state-of-the-art data distillation methods and remains effective across various distribution-matching strategies for the single geometries.
","absKo":"Dataset distillation은 원본 데이터의 압축된 subset을 합성하여, 이를 학습한 모델이 원래의 큰 데이터셋으로 학습한 모델에 필적하는 성능을 내도록 하는 것을 목표로 한다. 기존의 distribution-matching 방법은 Euclidean space에 국한되어 있어 선형 구조만 포착하고, curvature와 같은 실제 데이터의 본질적 geometry는 간과한다. 그러나 고차원 데이터는 종종 저차원 manifold 위에 놓이므로, dataset distillation은 distilled data manifold가 원본 data manifold와 정렬되도록 해야 함을 시사한다. 본 연구에서는 Cartesian product of Euclidean, hyperbolic, and spherical manifolds에서 작동하는 geometry-aware distribution-matching framework인 GeoDM을 제안한다. 이 framework는 flat, hierarchical, cyclical 구조를 모두 하나의 통합된 representation으로 포착한다. 잠재적인 data geometry에 적응하기 위해 우리는 세 가지 geometry에 대해 learnable curvature와 weight parameter를 도입한다. 동시에 distribution fidelity를 높이기 위해 optimal transport loss를 설계한다. 이론 분석에 따르면, product space에서의 geometry-aware distribution matching은 Euclidean counterpart보다 더 작은 generalization error bound를 제공한다. 표준 benchmark에서 수행한 광범위한 실험은 우리의 알고리즘이 state-of-the-art data distillation 방법을 능가하며, 단일 geometry를 위한 다양한 distribution-matching 전략 전반에서도 효과적임을 보여준다.
"},{"id":"60917","en":"Activation with Intrinsic-Extrinsic Consensus","ko":"Intrinsic-Extrinsic Consensus를 갖는 Activation","authors":"Tian Qiu, Zunlei Feng, Yang Gao, Bingde Hu, Yi Gao, Mingli Song","pos":"#1809","link":"https://openreview.net/forum?id=vLTdrPGs3V","abs":"Artificial Neural Networks (ANNs) are powerful tools for complex decision-making tasks. While existing activation mechanisms often promote sparsity through thresholding, they lack explicit awareness of feature channel relevance, causing networks to continuously suffer from interference by noisy channels. Such irrelevant activation signals can propagate through the network and adversely affect the final decision. Inspired by observations that channel relevance can be reflected in both intrinsic activity levels and extrinsic decision weights, and that there is strong consensus between these two aspects, we propose AIEC (Activation with Intrinsic-Extrinsic Consensus), a novel activation mechanism that has the ability to identify and suppress irrelevant feature channels during training. With a basic threshold activation, AIEC leverages an intrinsic Activation-Counting Unit that tracks channel activation statistics, an extrinsic Decision-Making Unit that learns channel decision weights, and a Consensus Gatekeeping Unit that suppresses irrelevant channels based on the agreement between intrinsic and extrinsic channel relevance assessments. Extensive experiments demonstrate that AIEC can effectively suppress irrelevant channels and encourage sparser representations. Furthermore, AIEC is compatible with a wide range of mainstream ANN architectures and achieves superior performance compared to existing activation mechanisms across multiple tasks and domains.
","absKo":"Artificial Neural Networks (ANNs)는 복잡한 의사결정 task를 위한 강력한 도구이다. 기존의 activation 메커니즘은 thresholding을 통해 sparsity를 촉진하는 경우가 많지만, feature channel relevance에 대한 명시적 인식이 부족하여 네트워크가 noisy channel의 간섭에 지속적으로 시달리게 된다. 이러한 irrelevant activation signal은 네트워크를 통해 전파되어 최종 decision에 악영향을 줄 수 있다. channel relevance는 고유한 activity level과 외재적 decision weight 모두에 반영될 수 있고, 이 두 측면 사이에 강한 합의가 존재한다는 관찰에서 영감을 받아, 우리는 AIEC (Activation with Intrinsic-Extrinsic Consensus)를 제안한다. 이는 학습 중 irrelevant feature channel을 식별하고 억제할 수 있는 새로운 activation 메커니즘이다. 기본적인 threshold activation 위에서, AIEC는 channel activation 통계를 추적하는 intrinsic Activation-Counting Unit, channel decision weight를 학습하는 extrinsic Decision-Making Unit, 그리고 intrinsic 및 extrinsic channel relevance 평가의 일치 여부를 바탕으로 irrelevant channel을 억제하는 Consensus Gatekeeping Unit을 활용한다. 광범위한 실험은 AIEC가 irrelevant channel을 효과적으로 억제하고 더 sparse한 representation을 유도할 수 있음을 보여준다. 또한 AIEC는 다양한 mainstream ANN architecture와 호환되며, 여러 task와 domain에서 기존 activation 메커니즘보다 우수한 성능을 달성한다.
"},{"id":"61346","en":"Aligning Datasets and Models for Weight Space Learning","ko":"Weight Space Learning을 위한 데이터셋과 모델 정렬","authors":"Aron Asefaw, Konstantinos Tzevelekakis, Damian Falk, Léo Meynent, Damian Borth","pos":"#1810","link":"https://openreview.net/forum?id=r78W8FyCgy","abs":"Weight space learning aims to learn representations of neural network (NN) weights, enabling different downstream tasks. Existing approaches show promising performance, but lacking a way to shape these weight-space representations using information about the datasets the models were trained on, thus limiting downstream applications. We propose to learn a dataset-aligned latent space for neural networks, where datasets information is induced during training. The NNs are encoded as latent representations using an autoencoder, while dataset samples are encoded using a dataset encoder. The two representations are aligned using a contrastive objective, effectively reshaping the weight-space representations according to the datasets. We demonstrate that such representations can be used for different downstream tasks, including mapping dataset information to a weight-space representation that decode to strong models. In addition, we introduce a latent refinement process for generating models that outperforms standard fine-tuning. Overall, our results demonstrate that explicitly incorporating dataset information improves what can be achieved with weight-space representations across retrieval, generation, and refinement.
","absKo":"Weight space learning은 neural network (NN) weight의 representation을 학습하여 서로 다른 downstream task에 활용하는 것을 목표로 한다. 기존 접근법은 유망한 성능을 보이지만, 모델이 학습된 dataset에 대한 정보를 사용하여 이러한 weight-space representation을 형성할 방법이 부족하여 downstream 응용이 제한된다. 우리는 training 중에 dataset information이 주입되는, dataset-aligned latent space for neural networks를 학습할 것을 제안한다. NN은 autoencoder를 사용해 latent representation으로 인코딩되고, dataset sample은 dataset encoder로 인코딩된다. 두 representation은 contrastive objective를 통해 정렬되며, 이를 통해 weight-space representation이 dataset에 맞게 효과적으로 재형성된다. 우리는 이러한 representation이 dataset information을 강한 모델로 decode되는 weight-space representation에 매핑하는 것을 포함해 다양한 downstream task에 사용될 수 있음을 보인다. 또한 표준 fine-tuning보다 뛰어난 성능을 내는 모델을 생성하기 위한 latent refinement process를 도입한다. 전반적으로, 우리의 결과는 dataset information을 명시적으로 통합하는 것이 retrieval, generation, refinement 전반에서 weight-space representation으로 달성할 수 있는 성능을 향상시킴을 보여준다.
"},{"id":"63534","en":"Controlled Dynamics Attractor Transformer","ko":"제어 동역학 Attractor Transformer","authors":"Cheng Zhang, Minnan Luo, Zesheng Yang, Ming Li, Yong-Jin Liu, Qinghua Zheng","pos":"#1811","link":"https://openreview.net/forum?id=WLRuaimgMw","abs":"Transformer architectures have dramatically advanced representation learning and inference in deep models through self-attention mechanisms. In parallel, associative memory (AM) frameworks map representations onto energy landscapes, offering interpretable retrieval mechanisms. However, their continuous-time inference dynamics lack the biological plausibility of classical Continuous Attractor Neural Networks (CANNs). To bridge this gap, we propose Controlled Dynamics Attractor Transformer (CDAT), which couples a mixture von Mises–Fisher (Mo–vMF) attention energy with a Hopfield refinement energy, while augmenting energy descent with a CANN-inspired excitation–inhibition modulation. CDAT instantiates a topology-constrained dynamical system whose couplings encode relational structure among tokens, thereby linking attractor-style dynamics to modern energy-based attention. We further provide a constructive dissipation analysis to formally establish their controlled inference dynamics. Benefiting from these robust and structured dynamics, CDAT achieves state-of-the-art performance across multiple benchmarks in graph anomaly detection and graph classification.
","absKo":"Transformer architectures는 self-attention mechanisms를 통해 deep models의 representation learning과 inference를 획기적으로 발전시켰다. 동시에 associative memory (AM) frameworks는 representation을 energy landscape에 매핑하여 해석 가능한 retrieval mechanisms를 제공한다. 그러나 이들의 continuous-time inference dynamics는 고전적인 Continuous Attractor Neural Networks (CANNs)의 생물학적 타당성을 갖추지 못한다. 이 간극을 메우기 위해 우리는 mixture von Mises–Fisher (Mo–vMF) attention energy와 Hopfield refinement energy를 결합하고, CANN에서 영감을 받은 excitation–inhibition modulation으로 energy descent를 보강하는 Controlled Dynamics Attractor Transformer (CDAT)를 제안한다. CDAT는 topology-constrained dynamical system을 구현하며, 그 결합은 token 간 relational structure를 인코딩함으로써 attractor-style dynamics와 현대 energy-based attention을 연결한다. 또한 우리는 controlled inference dynamics를 형식적으로 확립하기 위한 constructive dissipation analysis를 제시한다. 이러한 견고하고 구조화된 dynamics의 이점을 바탕으로 CDAT는 graph anomaly detection과 graph classification의 여러 benchmark에서 state-of-the-art 성능을 달성한다.
"},{"id":"61970","en":"DDSVM: A Differentiable Framework for Deep Support Vector Machines with Iterative Geometry-Aware Optimization","ko":"DDSVM: iterative geometry-aware 최적화를 갖는 deep SVM용 differentiable framework","authors":"Yirun Ding, Zhihui Lai","pos":"#1812","link":"https://openreview.net/forum?id=l6MbbwsWUs","abs":"Recent studies have demonstrated the effectiveness of modularly integrating traditional machine learning methods, such as Support Vector Machines (SVMs), into neural networks for end-to-end optimization. However, current approaches mostly rely on static embedding, failing to leverage SVM's geometric properties for dynamic iterative optimization, thereby limiting their generalization potential. To address this, we propose a Differentiable Deep Support Vector Machine (DDSVM) framework that alternates over three modules: representation learning, boundary optimization, and geometry-aware feature refinement. This is achieved through an iterative pipeline of boundary construction, feature pushing, loss backpropagation and representation update. After constructing the SVM hyperplane, our method actively pushes feature points along the normal vector to maximize the geometric margin and backpropagates the separation loss into the network. Theoretically, we conduct an in-depth analysis of the underlying optimization principles, elucidating the fundamental mechanism through which the proposed architecture achieves superior performance. We demonstrate how the iterative synergy between geometric refinement and representation learning enhance the generalization, providing formal insights into its effectiveness. Experiments demonstrate significant performance over previous baselines.
","absKo":"최근 연구들은 Support Vector Machines(SVMs)와 같은 전통적 machine learning 방법을 neural network에 모듈식으로 통합하여 end-to-end 최적화를 수행하는 것이 효과적임을 보여주었다. 그러나 현재의 접근법은 대부분 정적인 embedding에 의존하여, 동적 반복 최적화를 위해 SVM의 기하학적 성질을 활용하지 못하고 있으며, 그 결과 일반화 잠재력이 제한된다. 이를 해결하기 위해 우리는 세 모듈을 번갈아 수행하는 Differentiable Deep Support Vector Machine (DDSVM) 프레임워크를 제안한다. 즉, representation learning, boundary optimization, geometry-aware feature refinement이다. 이는 boundary construction, feature pushing, loss backpropagation and representation update로 이루어진 반복 파이프라인을 통해 달성된다. SVM hyperplane을 구성한 후, 우리의 방법은 feature point를 법선 벡터 방향으로 적극적으로 밀어 geometric margin을 극대화하고, separation loss를 네트워크로 역전파한다. 이론적으로 우리는 근본적인 최적화 원리에 대해 심층 분석을 수행하여, 제안한 architecture가 우수한 성능을 달성하는 기본 메커니즘을 명확히 한다. 또한 기하학적 refinement와 representation learning 사이의 반복적 시너지가 generalization을 어떻게 향상시키는지 보이며, 그 효과성에 대한 형식적 통찰을 제공한다. 실험은 이전 baseline들에 비해 유의미한 성능 향상을 보여준다.
"},{"id":"63511","en":"Deep Ensemble Clustering for Visual Representation Learning","ko":"시각 표현 학습을 위한 심층 앙상블 클러스터링","authors":"Yuwei Wang, Guikun Chen, Xiruo Jiang, Yazhou Yao, Di Liu, Xiangbo Shu, Fumin Shen, Wenguan Wang","pos":"#1813","link":"https://openreview.net/forum?id=WVpmVVEA0Y","abs":"Recent advances in visual representation learning have seen the rise of clustering-based vision backbones, which adopt clustering as a core paradigm for feature extraction. However, existing clustering-based backbones typically rely on a single clustering algorithm, whose inherent inductive bias limits their representational capacity. To address this, we propose EnFormer, which embeds ensemble clustering as a core component of feature extraction. EnFormer structures feature extraction around two steps: (i) Ensemble Generation, where several differentiable base clustering methods are introduced to capture diverse semantic structures; and (ii) Consensus Aggregation, which employs a differentiable mechanism to fuse the results of all base clusterings to reconstruct refined visual features. Extensive experiments show that EnFormer consistently outperforms existing clustering-based backbones across core vision tasks, with higher performance and significantly improved throughput.
","absKo":"시각 표현 학습의 최근 진전은 feature extraction의 핵심 패러다임으로 clustering을 채택하는 clustering-based vision backbone의 부상을 이끌었다. 그러나 기존 clustering-based backbone은 대개 단일 clustering algorithm에 의존하며, 그 고유한 inductive bias가 표현 능력을 제한한다. 이를 해결하기 위해, 우리는 ensemble clustering을 feature extraction의 핵심 구성 요소로 내재화한 EnFormer를 제안한다. EnFormer는 feature extraction을 두 단계로 구성한다. (i) Ensemble Generation: 여러 differentiable base clustering method를 도입하여 다양한 semantic structure를 포착하고, (ii) Consensus Aggregation: 모든 base clustering의 결과를 결합해 refined visual feature를 재구성하는 differentiable mechanism을 사용한다. 광범위한 실험 결과, EnFormer는 핵심 vision task 전반에서 기존 clustering-based backbone을 일관되게 능가하며, 더 높은 성능과 유의미하게 향상된 throughput을 보인다.
"},{"id":"62119","en":"Flow Equivariant World Models: Structured Memory for Dynamic Environments","ko":"Flow Equivariant World Model: 동적 환경을 위한 구조화된 메모리","authors":"Hansen Lillemark, Benhao Huang, Fangneng Zhan, Yilun Du, T. Anderson Keller","pos":"#1814","link":"https://openreview.net/forum?id=jgqFnXEDGG","abs":"The natural world is richly structured over space and time. Much of this structure arises from the interplay between spatial geometry and motion. However, most existing world models ignore this structure, leading to an inability to generalize in dynamic environments. In this work, we show that enforcing equivariance between an agent's representations and the world's dynamics necessarily induces an efficient, structured memory. Concretely, we introduce Flow Equivariant World Modeling, a framework in which both self-motion and external object motion are unified as one-parameter Lie-group ``flows'' acting on a latent world memory; and models are built to be equivariant with respect to these transformations. On 2D and 3D partially observed video world modeling benchmarks, we demonstrate that Flow Equivariant World Models significantly outperform comparable state-of-the-art diffusion-based and memory-augmented world modeling architectures in their ability to track and predict the locations of moving objects over long horizons. Project page: https://anonflowm.github.io/
","absKo":"자연 세계는 공간과 시간에 걸쳐 풍부한 구조를 지닌다. 이러한 구조의 상당 부분은 공간 기하와 운동의 상호작용에서 비롯된다. 그러나 기존의 대부분의 world model은 이 구조를 무시하여 동적인 환경에서의 일반화 능력이 떨어진다. 본 연구에서는 에이전트의 representation과 세계 dynamics 사이의 equivariance를 강제하는 것이 본질적으로 효율적이고 구조화된 memory를 유도함을 보인다. 구체적으로, 우리는 Flow Equivariant World Modeling을 소개한다. 이 프레임워크에서는 self-motion과 외부 객체 motion이 latent world memory 위에서 작용하는 one-parameter Lie-group ``flows''로 통합되며, 모델은 이러한 transformation에 대해 equivariant하도록 구축된다. 2D 및 3D 부분 관측 video world modeling benchmark에서, Flow Equivariant World Models가 장기 horizon에서 움직이는 객체의 위치를 추적하고 예측하는 능력에서, 비교 가능한 최신 diffusion-based 및 memory-augmented world modeling architecture보다 크게 우수함을 보인다. Project page: https://anonflowm.github.io/
"},{"id":"63872","en":"The Truth Lies Somewhere in the Middle (of the Generated Tokens)","ko":"진실은 생성된 토큰의 중간 어딘가에 있다","authors":"Sophie Wang, Phillip Isola, Brian Cheung","pos":"#1901","link":"https://openreview.net/forum?id=SzMaEA68Oi","abs":"How should the sequence of hidden states produced during autoregressive generation be compressed into a representation that reflects the model’s internal state? We study representations derived from generated tokens and compare them to grounded embeddings across several domains. We find that pooling embeddings across tokens produces more informative representations than any individual token. This observation is consistent with semantic information being distributed across generated tokens rather than localized to a single position. In this setting, alignment provides a way to study how a model’s internal representations evolve and pooling offers a more reliable summary of the model's state across generation.
","absKo":"autoregressive generation 동안 생성되는 hidden state의 sequence를 모델의 내부 상태를 반영하는 representation으로 어떻게 압축해야 할까? 우리는 생성된 token으로부터 유도된 representation을 연구하고, 여러 도메인에서 grounded embedding과 비교한다. 우리는 token 전반에 걸쳐 embedding을 pooling하는 것이 어떤 개별 token보다도 더 정보가 풍부한 representation을 만든다는 사실을 발견한다. 이 관찰은 semantic information이 단일 위치에 국소화되기보다 생성된 token 전반에 분산되어 있다는 점과 일치한다. 이러한 설정에서 alignment는 모델의 내부 representation이 어떻게 진화하는지를 연구하는 방법을 제공하며, pooling은 generation 전반에 걸친 모델 상태를 더 신뢰성 있게 요약해준다.
"},{"id":"61525","en":"Mitigating the Modality Gap in Vision–Language Models with Fractal Spectral Geometry","ko":"Fractal Spectral Geometry로 Vision-Language Models의 Modality Gap 완화","authors":"Zihan Zhou, Yang Zhou, Ruoming Jin, Pan He, Patrick Emami","pos":"#2903","link":"https://openreview.net/forum?id=pGkM5BjfD1","abs":"Vision–language models such as CLIP embed images and text into a shared space, but still suffer from a modality gap, where image and text features cluster separately and nearest neighbors are dominated by same-modality rather than true cross-modal matches. Existing works alleviate the modality gap by strengthening cross-modal losses, post-processing embeddings or similarities, or imposing geometric regularization, but they primarily enforce global alignment and can distort local geometry, limiting gains in local ranking and zero-shot accuracy. We propose Fractal Spectral Alignment (FSAlign), which reduces the modality gap by shaping and matching the multi-scale geometry of image and text embeddings. By enforcing Ahlfors-regularity and sub-Gaussian heat kernel bounds, FSAlign constructs a shared fractal multi-scale structure for multiple modalities. This structure captures geometry across scales, from local neighborhoods to global structure, and ensures shared fractal spectral geometry across modalities. Based on this structure, we introduce a fractal spectral zeta score derived from multi-scale heat kernels and minimize the discrepancy between pairwise image–text samples to align their multi-scale neighborhoods. We theoretically demonstrate that FSAlign can guarantee the alignment of local spectral measures and global fractional Dirichlet energies.
","absKo":"CLIP과 같은 vision-language model은 image와 text를 shared space에 embed하지만, 여전히 modality gap을 겪는데, 여기서 image와 text feature는 서로 분리되어 군집하고 nearest neighbor는 진정한 cross-modal match가 아니라 같은 modality에 의해 지배된다. 기존 연구는 cross-modal loss를 강화하거나 embedding 또는 similarity를 post-processing하거나 geometric regularization을 부과함으로써 modality gap을 완화하지만, 주로 global alignment만 강제하여 local geometry를 왜곡할 수 있고, 이로 인해 local ranking과 zero-shot accuracy 향상이 제한된다. 우리는 image와 text embedding의 multi-scale geometry를 형성하고 일치시켜 modality gap을 줄이는 Fractal Spectral Alignment (FSAlign)을 제안한다. Ahlfors-regularity와 sub-Gaussian heat kernel bound를 강제함으로써, FSAlign은 여러 modality에 걸쳐 shared fractal multi-scale structure를 구성한다. 이 구조는 local neighborhood부터 global structure에 이르는 scale 전반의 geometry를 포착하며, modality 간 shared fractal spectral geometry를 보장한다. 이 구조에 기반하여 우리는 multi-scale heat kernel로부터 도출된 fractal spectral zeta score를 도입하고, pairwise image-text sample 간의 discrepancy를 최소화하여 multi-scale neighborhood를 정렬한다. 우리는 FSAlign이 local spectral measure와 global fractional Dirichlet energy의 정렬을 보장할 수 있음을 이론적으로 보인다."},{"id":"63036","en":"Interpreting Physics in Video World Models","ko":"비디오 월드 모델에서의 물리 해석","authors":"Sonia Joseph, Quentin Garrido, Randall Balestriero, Matthew Kowal, Thomas Fel, Shahab Bakhtiari, Blake Richards, Michael Rabbat","pos":"#3406","link":"https://openreview.net/forum?id=aijGVmEG9Y","abs":"A long-standing question in physical reasoning is whether video-based models need to rely on factorized representations of physical variables in order to make physically accurate predictions, or whether they can implicitly represent such variables in a distributed manner. While modern video world models achieve strong performance on intuitive physics benchmarks, it remains unclear which of these representational regimes they implement internally. Here, we present the first interpretability study to directly examine physical representations inside large-scale video encoders. Using layerwise probing, subspace geometry, patch-level decoding, and targeted attention ablations, we characterize where physical information becomes accessible and how it is organized within encoder-based video transformers. Across architectures, we identify a sharp intermediate-depth transition— which we call the \\emph{Physics Emergence Zone}—at which physical variables become accessible. Physics-related representations peak shortly after this transition and degrade toward the output layers. Decomposing motion into explicit variables, we find that scalar quantities such as speed and acceleration are available from early layers onwards, whereas motion direction becomes accessible only at the Physics Emergence Zone. Notably, we find that direction is encoded through a high-dimensional population structure with circular geometry, requiring coordinated multi-feature intervention to control. These findings suggest that modern video models do not use factorized representations of physical variables like a classical physics engine. Instead, they use a distributed representation that is nonetheless sufficient for making physical predictions.
","absKo":"physical reasoning에서 오랫동안 제기되어 온 질문은, video-based models가 physically accurate predictions를 위해 physical variables의 factorized representations에 의존해야 하는지, 아니면 이러한 variables를 distributed 방식으로 암묵적으로 표현할 수 있는지 여부이다. 현대의 video world models는 intuitive physics benchmarks에서 강한 성능을 보이지만, 내부적으로 어떤 representational regime를 구현하는지는 여전히 불분명하다. 여기서 우리는 대규모 video encoder 내부의 physical representations를 직접 검토한 첫 interpretability study를 제시한다. layerwise probing, subspace geometry, patch-level decoding, targeted attention ablations를 사용하여, physical information이 언제 접근 가능해지는지와 encoder-based video transformers 내부에서 그것이 어떻게 조직되는지를 특성화한다. 다양한 architecture 전반에서 우리는 중간 깊이에서 급격한 전이를 확인했으며, 이를 \\emph{Physics Emergence Zone}이라 부른다. 이 구간에서 physical variables가 접근 가능해진다. physics-related representations는 이 전이 직후 정점을 찍고 output layers 쪽으로 갈수록 약화된다. motion을 explicit variables로 분해해 보면, speed와 acceleration 같은 scalar quantities는 초기 layers부터 이용 가능하지만, motion direction은 Physics Emergence Zone에 이르러서야 접근 가능하다. 특히 direction은 circular geometry를 갖는 high-dimensional population structure로 인코딩되며, 이를 제어하려면 coordinated multi-feature intervention이 필요하다는 점을 발견했다. 이러한 결과는 현대 video models가 classical physics engine처럼 physical variables의 factorized representations를 사용하지는 않지만, 그럼에도 physical predictions를 수행하기에 충분한 distributed representation을 사용한다는 점을 시사한다.
"},{"id":"62702","en":"Hyperbolic Multimodal Continual Learning","ko":"쌍곡 멀티모달 지속 학습","authors":"Jiahong Liu, Ming Shen, Xiaohao Liu, ZHITAO YING, Menglin Yang, Tat-Seng Chua, Irwin King","pos":"#3412","link":"https://openreview.net/forum?id=e4tSzgWjXU","abs":"Hyperbolic geometry has recently emerged as a powerful representation space for multimodal learning, as it naturally captures hierarchical semantic structure across modalities. Despite this progress, how such representations behave under continual learning poses fundamentally different challenges that remain underexplored. This work provides a geometric perspective on this problem and establishes a theoretical foundation for representation preservation in hyperbolic space, showing that preventing forgetting requires cross-modal invariance under a shared hyperbolic isometry. Guided by these insights, a principled continual learning framework is derived that preserves essential geometric structure while allowing effective adaptation to new tasks. Experiments on continual multimodal benchmarks corroborate the effectiveness of the proposed approach.
","absKo":"Hyperbolic geometry는 여러 modality에 걸친 hierarchical semantic structure를 자연스럽게 포착하기 때문에, 최근 multimodal learning을 위한 강력한 representation space로 부상했다. 이러한 발전에도 불구하고, 이러한 representation이 continual learning 하에서 어떻게 동작하는지는 근본적으로 다른 도전을 제기하며 아직 충분히 탐구되지 않았다. 본 연구는 이 문제에 대한 기하학적 관점을 제시하고, hyperbolic space에서의 representation preservation을 위한 이론적 기반을 확립한다. 우리는 forgetting을 방지하려면 공유된 hyperbolic isometry 하에서 cross-modal invariance가 필요함을 보인다. 이러한 통찰에 따라, 핵심 기하학적 구조를 보존하면서도 새로운 task에 효과적으로 적응할 수 있는 원리 기반 continual learning framework를 도출한다. Continual multimodal benchmark에서의 실험은 제안한 접근의 효과를 뒷받침한다.
"},{"id":"64650","en":"OpenMAG: A Comprehensive Benchmark for Multimodal-Attributed Graph","ko":"OpenMAG: Multimodal-Attributed Graph를 위한 종합 벤치마크","authors":"Chenxi Wan, Xunkai Li, Yilong Zuo, Haokun Deng, Sihan Li, Bowen Fan, Hongchao Qin, Rong-Hua Li, Guoren Wang","pos":"#3609","link":"https://openreview.net/forum?id=LGRHLPCjYS","abs":"Multimodal-Attributed Graph (MAG) learning has achieved remarkable success in modeling complex real-world systems by integrating graph topology with rich attributes from multiple modalities. With the rapid proliferation of novel MAG models capable of handling intricate cross-modal semantics and structural dependencies, establishing a rigorous and unified evaluation standard has become imperative. Although existing benchmarks have facilitated initial progress, they exhibit critical limitations in domain coverage, encoder flexibility, model diversity, and task scope, presenting significant challenges to fair evaluation. To bridge this gap, we present OpenMAG, a comprehensive benchmark that integrates 19 datasets across 6 domains and incorporates 16 encoders to support both static and trainable feature encoding. OpenMAG further implements a standardized library of 24 state-of-the-art models and supports 8 downstream tasks, enabling fair comparisons within a unified framework. Through systematic assessment of necessity, data quality, effectiveness, robustness, and efficiency, we derive 14 fundamental insights into MAG learning to guide future advancements. Our code is available at https://anonymous.4open.science/r/OpenMAG-F703/.
","absKo":"Multimodal-Attributed Graph (MAG) learning은 graph topology와 여러 modality의 풍부한 attribute를 통합함으로써 복잡한 실제 시스템을 모델링하는 데서 뛰어난 성과를 거두었다. 복잡한 cross-modal semantics와 structural dependency를 다룰 수 있는 새로운 MAG 모델이 빠르게 확산되면서, 엄밀하고 통합된 evaluation standard를 확립하는 것이 필수적이 되었다. 기존 benchmark는 초기 진전을 가능하게 했지만, domain coverage,
Multimodal contrastive learning (MCL) aims to embed data from two modalities in a shared embedding space. However, in practice, representations of images and text occupy completely separate regions of embedding space, a phenomenon called the modality gap. Moreover, experimental findings on how the size of the modality gap affects downstream performance are inconsistent. These observations raise two key questions: (1) What causes the modality gap? (2) What affects downstream performance? To address these questions, we introduce the first theoretical framework for analyzing the convergent optimal representations (COR) of MCL when training is optimized. We prove that, when representations of image and text collapse into different subspaces, a phenomenon called \\emph{dimension collapse}, the modality gap occurs. Our theorem also reveals that while the modality gap prevents representations of image and text from aligning directly, their projections onto the shared space can be aligned. And share space alignment plays dominate role in determining downstream performance. Inspired by these findings, we first propose Shared Space Alignment (SSA) to improve MCL pretraining by enhancing alignment within the shared space. Extensive experiments validate our theoretical analysis and proposed methods.
","absKo":"Multimodal contrastive learning (MCL)은 두 모달리티의 데이터를 공유 embedding space에 매핑하는 것을 목표로 한다. 그러나 실제로는 image와 text의 표현이 embedding space의 완전히 분리된 영역을 차지하는데, 이를 modality gap이라고 한다. 또한 modality gap의 크기가 downstream 성능에 어떤 영향을 미치는지에 대한 실험 결과는 일관되지 않다. 이러한 관찰은 두 가지 핵심 질문을 제기한다. (1) 무엇이 modality gap을 유발하는가? (2) 무엇이 downstream 성능에 영향을 미치는가? 이 질문들에 답하기 위해 우리는 학습이 최적화될 때 MCL의 convergent optimal representations (COR)을 분석하기 위한 최초의 이론적 프레임워크를 도입한다. 우리는 image와 text의 표현이 서로 다른 subspace로 붕괴할 때, 즉 \\emph{dimension collapse}라고 불리는 현상이 발생하면 modality gap이 생김을 증명한다. 우리의 정리는 또한 modality gap이 image와 text 표현의 직접적인 정렬을 방해하지만, 공유 space로의 projection은 정렬될 수 있음을 보여준다. 그리고 shared space alignment는 downstream 성능을 결정하는 데 지배적인 역할을 한다. 이러한 발견에 착안하여 우리는 shared space 내 정렬을 강화함으로써 MCL pretraining을 개선하는 Shared Space Alignment (SSA)을 먼저 제안한다. 광범위한 실험은 우리의 이론적 분석과 제안 방법을 검증한다.
"},{"id":"66417","en":"PRISM: Synergizing Vision Foundation Models via Self-organized Expert Specialization","ko":"PRISM: 자기조직화 전문가 특화를 통한 Vision Foundation Model의 시너지화","authors":"Ying Tang, Dong Li, Youjia Zhang, Zikai Song, Junqing Yu, Wei Yang","pos":"#4105","link":"https://openreview.net/forum?id=3v5l5TepEe","abs":"Unifying the complementary strengths of diverse Vision Foundation Models (VFMs) into a single efficient model is highly desirable but challenged by the negative transfer inherent in monolithic distillation. To address these feature conflicts, we introduce \\textbf{PRISM}, a novel dual-stream Mixture-of-Experts (MoE) framework that synergizes VFMs via modular specialization. We propose a two-stage paradigm: (1) expertise deconstruction, where a teacher-conditional router guides experts to specialize in distinct representational subspaces to mitigate interference, followed by (2) dynamic recomposition, where the router learns to assemble these experts into tailored computational pathways for downstream tasks. Experiments on PASCAL-Context and NYUD-v2 show that \\textbf{PRISM} establishes a new state of the art, validating that sparse, emergent specialization is a scalable approach for integrating diverse visual knowledge.
","absKo":"다양한 Vision Foundation Models(VFMs)의 상호보완적 강점을 하나의 효율적인 모델로 통합하는 것은 매우 바람직하지만, monolithic distillation에 내재된 negative transfer 때문에 어렵다. 이러한 feature conflict를 해결하기 위해, 우리는 modular specialization을 통해 VFMs를 시너지 있게 결합하는 새로운 dual-stream Mixture-of-Experts(MoE) 프레임워크인 PRISM을 제안한다. 우리는 두 단계 paradigm을 제안한다. (1) expertise deconstruction에서는 teacher-conditional router가 expert를 유도해 서로 다른 representational subspace에 특화되도록 하여 interference를 완화하고, 이어서 (2) dynamic recomposition에서는 router가 이 expert들을 downstream task에 맞는 computational pathway로 조합하는 방법을 학습한다. PASCAL-Context와 NYUD-v2에서의 실험은 PRISM이 새로운 state of the art를 달성함을 보여주며, sparse한 emergent specialization이 다양한 visual knowledge를 통합하는 확장 가능한 접근법임을 검증한다.
"},{"id":"60847","en":"HypRAG: Hyperbolic Dense Retrieval for Retrieval Augmented Generation","ko":"HypRAG: Retrieval Augmented Generation을 위한 Hyperbolic Dense Retrieval","authors":"Hiren Madhu, Ngoc Bui, Ali Maatouk, Leandros Tassiulas, Smita Krishnaswamy, Menglin Yang, Sukanta Ganguly, Kiran Srinivasan, ZHITAO YING","pos":"#4108","link":"https://openreview.net/forum?id=w6FXg6d6My","abs":"Embedding geometry plays a fundamental role in retrieval quality, yet dense retrievers for retrieval-augmented generation (RAG) remain largely confined to Euclidean space. However, natural language exhibits hierarchical structure from broad topics to specific entities that Euclidean embeddings fail to preserve, causing semantically distant documents to appear spuriously similar and increasing hallucination risk. To address these limitations, we introduce hyperbolic dense retrieval, developing two model variants in the Lorentz model of hyperbolic space: HyTE-FH, a fully hyperbolic transformer, and HyTE-H, a hybrid architecture projecting pre-trained Euclidean embeddings into hyperbolic space. To prevent representational collapse during sequence aggregation, we introduce the Outward Einstein Midpoint, a geometry-aware pooling operator that provably preserves hierarchical structure. On MTEB, HyTE-FH outperforms equivalent Euclidean baselines, while on RAGBench, HyTE-H achieves up to 29% gains over Euclidean baselines in context relevance and answer relevance using substantially smaller models than current state-of-the-art retrievers. Our analysis also reveals that hyperbolic representations encode document specificity through norm-based separation—with over 20\\% radial increase from general to specific concepts—a property absent in Euclidean embeddings, underscoring the critical role of geometric inductive bias in faithful RAG systems\\footnote{The code is available at: \\url{https://anonymous.4open.science/r/HypRAG-30C6}}.
","absKo":"임베딩 기하학은 retrieval 품질에서 근본적인 역할을 하지만, retrieval-augmented generation (RAG)용 dense retriever는 여전히 대부분 Euclidean space에 머물러 있다. 그러나 자연어는 넓은 주제에서 구체적 개체로 이어지는 계층적 구조를 지니며, Euclidean embedding은 이를 보존하지 못해 의미적으로 멀리 떨어진 문서들이 거짓으로 유사해 보이게 만들고 hallucination 위험을 증가시킨다. 이러한 한계를 해결하기 위해, 우리는 hyperbolic dense retrieval을 제안하고, hyperbolic space의 Lorentz model에서 두 가지 모델 변형을 개발한다. HyTE-FH는 fully hyperbolic transformer이며, HyTE-H는 사전학습된 Euclidean embedding을 hyperbolic space로 사영하는 hybrid architecture이다. sequence aggregation 동안의 representational collapse를 방지하기 위해, 우리는 계층적 구조를 이론적으로 보존하는 geometry-aware pooling operator인 Outward Einstein Midpoint를 도입한다. MTEB에서는 HyTE-FH가 동등한 Euclidean baseline을 능가하며, RAGBench에서는 HyTE-H가 현재 state-of-the-art retriever보다 훨씬 더 작은 모델을 사용하면서 context relevance와 answer relevance에서 Euclidean baseline 대비 최대 29%의 향상을 달성한다. 또한 우리의 분석은 hyperbolic representation이 norm-based separation을 통해 문서의 구체성을 인코딩함을 보여주며, 일반적 개념에서 구체적 개념으로 갈수록 20\\% 이상의 radial increase가 나타난다. 이는 Euclidean embedding에는 없는 특성으로, 충실한 RAG system에서 geometric inductive bias의 중요한 역할을 강조한다\\footnote{The code is available at: \\url{https://anonymous.4open.science/r/HypRAG-30C6}}.
"},{"id":"62534","en":"Factor-Wise Homogeneity of Slot-Attention for Continual Object-Centric Learning","ko":"Slot-Attention의 Factor-Wise Homogeneity를 통한 연속 객체 중심 학습","authors":"Ilmin Kang, Hoyong Kim, Seungju Bang, Minwoo Kang, Kangil Kim","pos":"#4110","link":"https://openreview.net/forum?id=fkWi30dE74","abs":"While Object-Centric Learning has shown great promise in modular perception, its extension to Continual Learning remains underexplored. In this work, we observe that Slot Attention exhibits a distinctive behavior: it organizes latent representations into small and separated regions, each of which preserves identical factor states, crucially emerging not only in the current task but also across sequential tasks with novel factors. This inter-task separation offers significant advantages in continual learning, which typically suffers from severe object-wise forgetting. We refer to this phenomenon as Factor-Wise Homogeneity, and show that this intrinsic inter-task separation is crucial, serving as a key mechanism to prevent catastrophic forgetting in Continual Object-Centric Learning. However, despite its strong robustness, factor-wise homogeneity alone is insufficient due to the bottleneck in exploiting this separation at the decoder. To overcome this limitation and demonstrate the significance of our findings, we show that a minimal strategy Decoder-only Post-Replay, which freezes the factor-wise homogeneous representations and employs decoder-only fine-tuning, is sufficient. This work serves as a fundamental basis for understanding and leveraging the intrinsic dynamics of Slot Attention, offering essential insights for advancing object-centric systems.
","absKo":"Object-Centric Learning은 modular perception에서 큰 가능성을 보여 왔지만, Continual Learning으로의 확장은 아직 충분히 탐구되지 않았다. 본 연구에서는 Slot Attention이 독특한 동작을 보인다는 점을 관찰한다. 즉, latent representation을 작고 분리된 영역으로 조직하며, 각 영역은 동일한 factor state를 보존하는데, 이는 현재 task뿐 아니라 새로운 factor를 포함한 연속적인 task 전반에서 핵심적으로 나타난다. 이러한 inter-task separation은 보통 심각한 object-wise forgetting을 겪는 continual learning에서 큰 이점을 제공한다. 우리는 이 현상을 Factor-Wise Homogeneity라고 부르며, 이러한 내재적 inter-task separation이 Continual Object-Centric Learning에서 catastrophic forgetting을 방지하는 핵심 메커니즘으로서 중요함을 보인다. 그러나 강한 robustness에도 불구하고, factor-wise homogeneity만으로는 decoder에서 이 separation을 충분히 활용하지 못하는 bottleneck 때문에 불충분하다. 이 한계를 극복하고 우리의 발견의 중요성을 보이기 위해, 우리는 factor-wise homogeneous representation을 freeze한 뒤 decoder-only fine-tuning을 수행하는 최소 전략인 Decoder-only Post-Replay만으로도 충분함을 보인다. 본 연구는 Slot Attention의 내재적 dynamics를 이해하고 활용하기 위한 기초를 제공하며, object-centric system을 발전시키는 데 필수적인 통찰을 제시한다.
"},{"id":"63778","en":"Equivariant Neural Networks for General Linear Symmetries on Lie Algebras","ko":"Lie 대수에서 일반 선형 대칭을 위한 등변 신경망","authors":"Chankyo Kim, Sicheng Zhao, Minghan Zhu, Tzu-Yuan Lin, Maani Ghaffari","pos":"#4111","link":"https://openreview.net/forum?id=TqL8MOHtW7","abs":"Many scientific and geometric problems exhibit general linear symmetries, yet most equivariant neural networks are built for compact groups or simple vector features, limiting their reuse on matrix-valued data such as covariances, inertias, or shape tensors. We introduce \\textbf{Reductive Lie Neurons (ReLNs)}, an exactly $\\mathrm{GL}(n)$-equivariant architecture that natively supports matrix-valued and Lie-algebraic features. ReLNs resolve a central stability issue for reductive Lie algebras by introducing a non-degenerate adjoint (conjugation)-invariant bilinear form, enabling principled nonlinear interactions and invariant feature construction in a single architecture that \\textit{transfers across subgroups without redesign}. We demonstrate ReLNs on algebraic tasks with $\\mathfrak{sl}(3)$ and $\\mathfrak{sp}(4)$ symmetries, Lorentz-equivariant particle physics, uncertainty-aware drone state estimation via joint velocity--covariance processing, learning from 3D Gaussian-splat representations, and EMLP double-pendulum benchmark spanning multiple symmetry groups. ReLNs consistently match or outperform strong equivariant and self-supervised baselines while using substantially fewer parameters and compute, improving the accuracy–efficiency trade-off and providing a practical, reusable backbone for learning with broad linear symmetries.","absKo":"많은 과학 및 기하 문제는 일반적인 linear symmetry를 보이지만, 대부분의 equivariant neural network는 compact group이나 단순 vector feature를 위해 만들어져 있어 covariance, inertia, shape tensor와 같은 matrix-valued data에 대한 재사용이 제한된다. 우리는 matrix-valued 및 Lie-algebraic feature를 기본적으로 지원하는 정확히 $\\mathrm{GL}(n)$-equivariant한 architecture인 \\textbf{Reductive Lie Neurons(ReLNs)}를 소개한다. ReLNs는 비퇴화된 adjoint(conjugation)-invariant bilinear form을 도입하여 reductive Lie algebra의 핵심 stability 문제를 해결하며, 재설계 없이 \\textit{subgroup 간 전이되는} 하나의 architecture 안에서 원리 있는 nonlinear interaction과 invariant feature construction을 가능하게 한다. 우리는 $\\mathfrak{sl}(3)$ 및 $\\mathfrak{sp}(4)$ symmetry를 갖는 algebraic task, Lorentz-equivariant particle physics, velocity--covariance를 함께 처리하는 uncertainty-aware drone state estimation, 3D Gaussian-splat representation으로부터의 학습, 그리고 여러 symmetry group에 걸친 EMLP double-pendulum benchmark에서 ReLNs를 입증한다. ReLNs는 일관되게 강력한 equivariant 및 self-supervised baseline과 같거나 그보다 나은 성능을 보이면서도 훨씬 적은 parameter와 compute를 사용하여 accuracy-efficiency trade-off를 개선하고, 폭넓은 linear symmetry를 이용한 학습을 위한 실용적이고 재사용 가능한 backbone을 제공한다."},{"id":"66699","en":"Bridging Functional and Representational Similarity via Usable Information","ko":"Usable Information을 통한 기능적 유사성과 표현적 유사성의 연결","authors":"Antonio Almudévar, Alfonso Ortega","pos":"#4112","link":"https://openreview.net/forum?id=1Facirbj0t","abs":"We present a unified framework for quantifying the similarity between representations through the lens of \\textit{usable information}, offering a rigorous theoretical and empirical synthesis across three key dimensions. First, addressing functional similarity, we establish a formal link between stitching performance and conditional mutual information. We further reveal that stitching is inherently asymmetric, demonstrating that robust functional comparison necessitates a bidirectional analysis rather than a unidirectional mapping. Second, concerning representational similarity, we prove that reconstruction-based metrics and standard tools (e.g., CKA, RSA) act as estimators of usable information under specific constraints. Crucially, we show that similarity is relative to the capacity of the predictive family: representations that appear distinct to a rigid observer may be identical to a more expressive one. Third, we demonstrate that representational similarity is sufficient but not necessary for functional similarity. We unify these concepts through a task-granularity hierarchy: similarity on a complex task guarantees similarity on any coarser derivative, establishing representational similarity as the limit of maximum granularity: input reconstruction.
","absKo":"우리는 \\textit{usable information}의 관점에서 representation 간 유사도를 정량화하기 위한 통합 프레임워크를 제시하며, 세 가지 핵심 차원에 걸쳐 엄밀한 이론적·실증적 종합을 제공한다. 첫째, functional similarity에 대해 stitching performance와 conditional mutual information 사이의 형식적 연결을 확립한다. 또한 stitching이 본질적으로 비대칭적임을 드러내며, 강건한 functional comparison에는 단방향 매핑이 아니라 양방향 분석이 필요함을 보인다. 둘째, representational similarity에 관해서는 reconstruction-based metrics와 표준 도구들(예: CKA, RSA)이 특정 제약 하에서 usable information의 estimator로 작동함을 증명한다. 결정적으로, 우리는 유사도가 predictive family의 capacity에 상대적임을 보인다. 즉, 경직된 관찰자에게는 서로 달라 보이는 representation도 더 표현력이 큰 관찰자에게는 동일할 수 있다. 셋째, representational similarity는 functional similarity에 대해 충분조건이지만 필요조건은 아님을 보인다. 우리는 이러한 개념들을 task-granularity hierarchy를 통해 통합한다. 복잡한 task에서의 유사성은 그보다 더 거친 어떤 derivative에서도 유사성을 보장하며, 이를 통해 representational similarity를 최대 granularity의 한계, 즉 input reconstruction으로 정식화한다.
"},{"id":"66816","en":"Seeing the Unseen: Physics-as-Representation for Generalizable Gaze Perception","ko":"보이지 않는 것 보기: 일반화 가능한 시선 인식을 위한 표현으로서의 물리","authors":"Yunfeng Xiao, Xiaowei Bai, Hao Su, Hao He, Liang Xie, Erwei Yin","pos":"#4609","link":"https://openreview.net/forum?id=03Vr6PlNN4","abs":"We introduce physics-as-representation, a learning paradigm that encodes physical structure and geometric laws into visual representations, enabling models to see the unseen—the underlying 3D geometry and motion dynamics not apparent in raw pixels. We instantiate this paradigm in gaze perception by proposing SG-Gaze, a framework that learns a Structurally and Geometrically Consistent Representation (SGR) through dual-branch adversarial learning. An analytical branch embeds appearance features onto a spherical manifold aligned with gaze geodesics, while a model-guided branch reconstructs the 3D eyeball with weak 2D edge supervision. We further introduce View-Consistent Regularization, which augments SGR learning with synthetic view perturbations and enforces rotation-equivariant consistency across gaze vectors and structural projections, eliminating the need for multi-view calibration or explicit 3D labels. Extensive experiments across 12 challenging cross-domain transfers demonstrate that SG-Gaze achieves state-of-the-art accuracy and strong generalization. Our work highlights that enforcing structural and geometric consistency with equivariant regularization serves as effective inductive biases for interpretable and generalizable representation learning—a step toward machines that perceive the world not only from pixels, but from physics.
","absKo":"우리는 physics-as-representation을 제안한다. 이는 물리적 구조와 기하 법칙을 visual representation에 인코딩하여, 모델이 raw pixel에서는 드러나지 않는 숨겨진 것들, 즉 underlying 3D geometry와 motion dynamics를 보게 하는 학습 패러다임이다. 우리는 gaze perception에 이 패러다임을 적용해 SG-Gaze를 제안한다. 이는 dual-branch adversarial learning을 통해 Structurally and Geometrically Consistent Representation (SGR)을 학습하는 framework이다. 분석 branch는 appearance feature를 gaze geodesic에 정렬된 spherical manifold에 embedding하고, model-guided branch는 약한 2D edge supervision으로 3D eyeball을 재구성한다. 우리는 또한 View-Consistent Regularization을 도입하여 synthetic view perturbation으로 SGR 학습을 증강하고, gaze vector와 structural projection 전반에 걸쳐 rotation-equivariant consistency를 강제함으로써 multi-view calibration이나 explicit 3D label의 필요성을 제거한다. 12개의 까다로운 cross-domain transfer 전반에 대한 광범위한 실험은 SG-Gaze가 state-of-the-art accuracy와 강한 generalization을 달성함을 보여준다. 우리의 연구는 equivariant regularization으로 structural 및 geometric consistency를 강제하는 것이 해석 가능하고 일반화 가능한 representation learning을 위한 효과적인 inductive bias 역할을 하며, 모델이 세계를 픽셀로만이 아니라 물리로부터 인식하는 방향으로 나아가는 한 걸음임을 강조한다.
"},{"id":"62326","en":"On the Relationship Between Activation Outliers and Feature Death in Sparse Autoencoders","ko":"Sparse Autoencoders에서 Activation Outliers와 Feature Death 간 관계","authors":"Elana Simon, Etowah Adams, James Zou","pos":"#1704","link":"https://openreview.net/forum?id=hdak3I0DYY","abs":"Sparse autoencoders (SAEs) decompose neural network activations into interpretable features, but many features never activate- a problem called feature death. Death rates vary dramatically across models: near-zero on GPT-2, over 70\\% on AlphaFold3 with identical SAE configurations. Why? We find that dimension-level activation outliers (dimensions where mean magnitude is large relative to per-token variation) shift pre-activations at initialization, making feature fate depend on weight-outlier alignment rather than input content. We derive $\\gamma = \\|\\boldsymbol{\\mu}\\|/\\|\\boldsymbol{\\sigma}\\|$ from this mechanism; it predicts initial death rates (Spearman $\\rho > 0.9$) across 275 model-layer combinations spanning language, vision, and protein models. This creates two death pathways; we trace their recovery mechanisms and find one resolves naturally while the other bottlenecks on the SAE slowly learning to mean-center. Initializing the SAE to mean-center from the start eliminates this outlier-induced death, confirming the mechanism.","absKo":"Sparse autoencoders(SAEs)는 neural network activation을 해석 가능한 feature로 분해하지만, 많은 feature는 한 번도 활성화되지 않는다. 이를 feature death라고 부른다. death rate는 model마다 크게 달라서, GPT-2에서는 거의 0에 가깝지만 동일한 SAE configuration에서 AlphaFold3에서는 70\\%가 넘는다. 왜 이런 차이가 날까? 우리는 dimension-level activation outlier(평균 magnitude가 token별 variation에 비해 큰 dimension)가 initialization 시 pre-activation을 이동시켜, feature의 운명이 input content가 아니라 weight-outlier alignment에 의존하게 만든다는 사실을 발견했다. 우리는 이 메커니즘으로부터 $\\gamma = \\|\\boldsymbol{\\mu}\\|/\\|\\boldsymbol{\\sigma}\\|$를 유도했으며, 이는 language, vision, protein model 전반에 걸친 275개 model-layer 조합에서 initial death rate를 예측한다(Spearman $\\rho > 0.9$). 이로 인해 두 가지 death pathway가 생기며, 우리는 그 recovery mechanism을 추적해 하나는 자연스럽게 해결되고 다른 하나는 SAE가 천천히 mean-center를 학습하는 지점에서 병목이 생긴다는 사실을 확인했다. SAE를 처음부터 mean-center하도록 initialization하면 이러한 outlier 유발 death가 제거되며, 이를 통해 메커니즘이 확인된다."},{"id":"63395","en":"Geometric Collapse: When Vision Models Fail to Verify Physical Causality","ko":"기하학적 붕괴: 시각 모델이 물리적 인과성 검증에 실패할 때","authors":"Wentao Zhang, Jinhu Qi, Weiqiang Jin, Yifei Zhang, Chan-Tong Lam, Irwin King","pos":"#1310","link":"https://openreview.net/forum?id=XX9TQRWZOx","abs":"Recent progress in large-scale self-supervised learning has improved dense geometric prediction, but it remains unclear whether such scaling yields inference-time physical plausibility checks. We propose Scrambled Edges, a controlled counterfactual that injects salient edge-like cues while violating surface continuity, illumination coherence, and occlusion ordering. With energy-matched and structure-matched controls, we isolate the effect of unsupported edge evidence from high-frequency energy and edge sparsity. Across CNN/ViT/SSL depth predictors on NYU Depth v2 and KITTI, Scrambled Edges induce up to 3.2× larger deviation from clean predictions than energy-matched noise. The resulting Geometric Collapse propagates globally: even with oracle knowledge of the corrupted region, output-level repair recovers only 47%, with substantial error outside the mask. These findings provide controlled behavioral evidence that current dense predictors lack reliable mechanisms to quarantine physically unsupported edge cues, motivating explicit plausibility scoring and selective cue integration.
","absKo":"대규모 self-supervised learning의 최근 진전은 dense geometric prediction을 향상시켰지만, 이러한 scaling이 inference-time에 물리적 타당성 검사를 제공하는지는 여전히 불분명하다. 우리는 Scrambled Edges를 제안한다. 이는 표면 연속성, 조명 일관성, occlusion ordering을 위반하면서도 두드러진 edge-like cue를 주입하는 controlled counterfactual이다. energy-matched와 structure-matched control을 사용해, 우리는 고주파 에너지와 edge sparsity의 영향과 구분되는 unsupported edge evidence의 효과를 분리한다. NYU Depth v2와 KITTI에서 CNN/ViT/SSL depth predictor 전반에 걸쳐, Scrambled Edges는 energy-matched noise보다 clean prediction에서 최대 3.2배 더 큰 편차를 유발한다. 그 결과 나타나는 Geometric Collapse는 전역적으로 전파된다. 손상된 영역에 대한 oracle knowledge가 있더라도 output-level repair는 47%만 복구하며, mask 밖에서도 상당한 error가 남는다. 이러한 결과는 현재의 dense predictor가 물리적으로 뒷받침되지 않는 edge cue를 격리할 신뢰할 수 있는 메커니즘을 갖추고 있지 않음을 보여주는 controlled behavioral evidence를 제공하며, explicit plausibility scoring과 selective cue integration의 필요성을 뒷받침한다.
"},{"id":"64238","en":"AOEPT: Breaking the Implicit Modality-Reduction Bottleneck in Modality Missing Prompt Tuning","ko":"AOEPT: 모달리티 결손 프롬프트 튜닝에서 암묵적 모달리티 축소 병목 돌파","authors":"Jian Lang, Hong, Ting Zhong, Fan Zhou","pos":"#1407","link":"https://openreview.net/forum?id=PesPQc7WMF","abs":"Deploying multimodal systems in real-world environments often entails handling modality-missing scenarios, where one or more modalities are unavailable. While recent studies address this challenge for the general Multimodal Transformer (MT) architecture via prompt tuning, we identify a fundamental limitation in these methods: the Implicit Modality-Reduction bottleneck. By conditioning prompts solely on the observed modalities, they inadvertently restrict the reasoning scope of MTs to the modality-reduced subspace, cutting off access to the latent information sources of the missing modalities. To overcome this limitation, we propose AOEPT, which pioneers a novel modal-contextualized prompting fashion. Specifically, we introduce lightweight Modal-Contextualized Prompts (MCPs) that distill global modality-wise priors from training data, serving as latent repositories of the information sources for missing modalities. Conditioned on the remaining modalities, these MCPs are instantiated into instance-aware prompts that selectively augment missing-modality information for each sample, thereby restoring the reasoning scope of MTs beyond the observed-modality-only subspace. Experiments across various benchmarks and MT architectures confirm the strong performance of AOEPT, with minimal computational overhead.
","absKo":"실세계 환경에 멀티모달 시스템을 배치할 때는 하나 이상의 modality를 사용할 수 없는 modality-missing 상황을 다뤄야 하는 경우가 흔합니다. 최근 연구들은 prompt tuning을 통해 일반 Multimodal Transformer(MT) 아키텍처에서 이 문제를 다루고 있지만, 우리는 이러한 방법에 근본적인 한계가 있음을 확인했습니다: 바로 Implicit Modality-Reduction bottleneck입니다. 이 방법들은 관측된 modality에만 의존하도록 prompts를 조건화하기 때문에, MT의 추론 범위를 의도치 않게 modality가 축소된 subspace로 제한하고, missing modality의 latent information source에 대한 접근을 차단합니다. 이러한 한계를 극복하기 위해, 우리는 새로운 modal-contextualized prompting 방식을 개척한 AOEPT를 제안합니다. 구체적으로, 우리는 훈련 데이터로부터 global modality-wise prior를 압축하는 가벼운 Modal-Contextualized Prompt(MCP)를 도입하여, missing modality의 information source를 위한 latent repository로 작동하게 합니다. 남아 있는 modality에 조건화된 이 MCP는 instance-aware prompt로 구현되어 각 샘플마다 missing-modality 정보를 선택적으로 보강함으로써, 관측된 modality만으로 제한된 subspace를 넘어 MT의 추론 범위를 복원합니다. 다양한 benchmark와 MT 아키텍처에서의 실험은 AOEPT의 강력한 성능을 확인해 주며, 계산 오버헤드는 최소 수준에 불과합니다.
"},{"id":"60828","en":"With Argus Eyes: Assessing Retrieval Gaps via Uncertainty Scoring to Detect and Remedy Retrieval Blind Spots","ko":"Argus의 눈으로: 불확실성 점수를 통한 검색 격차 평가와 Retrieval Blind Spot 탐지 및 보완","authors":"Zeinab Taghavi, Ali Modarressi, Hinrich Schuetze, Andreas Marfurt","pos":"#1502","link":"https://openreview.net/forum?id=wGxd4FKrU1","abs":"Reliable retrieval-augmented generation (RAG) systems depend fundamentally on the retriever’s ability to find relevant information. We show that neural retrievers used in RAG systems have blind spots, which we define as the failure to retrieve entities that are relevant to the query, but have low similarity to the query embedding. We investigate the training-induced biases that cause such blind-spot entities to be mapped to inaccessible parts of the embedding space, resulting in low retrievability. Using a large-scale dataset constructed from Wikidata relations and first paragraphs of Wikipedia, and our proposed Retrieval Probability Score (RPS), we show that blind spot risk in standard retrievers (e.g., Contriever, ReasonIR) can be predicted pre-index from entity embedding geometry, avoiding expensive retrieval evaluations. To address these blind spots, we introduce ARGUS, a pipeline that enables the retrievability of high-risk (low-RPS) entities through targeted document augmentation from a knowledge base (KB), first paragraphs of Wikipedia, in our case. Extensive experiments on BRIGHT, ImpliRet, and RAR-b show that ARGUS achieves consistent improvements across all evaluated retrievers (averaging +3.4 nDCG@5 and +4.5 nDCG@10 absolute points), with substantially larger gains in challenging subsets. These results establish that preemptively remedying blind spots is critical for building robust and trustworthy RAG systems (Code and data will be released upon acceptance.).
","absKo":"신뢰할 수 있는 retrieval-augmented generation (RAG) system은 근본적으로 retriever가 관련 정보를 찾는 능력에 달려 있다. 우리는 RAG system에서 사용되는 neural retriever가 blind spot을 가지고 있음을 보이는데, 이는 query와 관련은 있지만 query embedding과의 similarity가 낮아 retrieve되지 못하는 entity를 의미한다. 우리는 이러한 blind-spot entity가 embedding space의 접근 불가능한 부분으로 매핑되도록 만드는 training-induced bias를 조사하며, 그 결과 retrievability가 낮아짐을 보인다. Wikidata relation과 Wikipedia의 첫 문단으로 구성한 대규모 dataset과 우리가 제안한 Retrieval Probability Score (RPS)를 사용하여, 표준 retriever(예: Contriever, ReasonIR)의 blind spot risk가 entity embedding geometry로부터 index 구축 이전에 예측될 수 있음을 보이며, 이를 통해 비용이 큰 retrieval evaluation을 피할 수 있다. 이러한 blind spot을 해결하기 위해, 우리는 knowledge base (KB), 여기서는 Wikipedia의 첫 문단을 활용한 targeted document augmentation을 통해 high-risk(low-RPS) entity의 retrievability를 높이는 pipeline인 ARGUS를 소개한다. BRIGHT, ImpliRet, RAR-b에 대한 광범위한 실험은 ARGUS가 평가한 모든 retriever에서 일관된 개선을 달성함을 보여주며(평균적으로 절대 기준 +3.4 nDCG@5, +4.5 nDCG@10), 특히 더 어려운 subset에서 훨씬 더 큰 향상을 보인다. 이러한 결과는 blind spot을 사전에 보완하는 것이 견고하고 신뢰할 수 있는 RAG system 구축에 중요함을 입증한다(Code와 data는 acceptance 후 공개될 예정이다.).
"},{"id":"63493","en":"Submodular Optimization for Minimal Augmentation in Robust Language Model Alignment","ko":"견고한 언어 모델 정렬에서 최소 증강을 위한 서브모듈러 최적화","authors":"CHING-CHIA KAO, Chia-Mu Yu, Chun-Shien Lu, Chu-song Chen","pos":"#1503","link":"https://openreview.net/forum?id=Wh6vxlw2BM","abs":"Safety alignment of large language models is fragile: even small fine-tuning perturbations elastically revert behaviors toward those of the pre-training, with degradation inversely proportional to the size of the alignment set. We ask how to achieve safety alignment with \\emph{minimal augmentation}. To this end, we model augmentation as a set of group actions on sequences and formalize robustness gains as a normalized, monotone submodular function over transformations. We then leverage submodular optimization to select minimal augmentations that provably improve robustness. Experiments confirm that our approach efficiently restores safety alignment while minimizing the overhead of augmentation.
","absKo":"대규모 언어 모델의 safety alignment는 취약하다. 작은 fine-tuning perturbation만으로도 behavior가 pre-training의 그것들로 탄력적으로 되돌아가며, 그 성능 저하는 alignment set의 크기에 반비례한다. 우리는 \\emph{minimal augmentation}으로 safety alignment를 달성하는 방법을 묻는다. 이를 위해 augmentation을 sequence 위의 group action 집합으로 모델링하고, robustness 향상을 transformation에 대한 normalized monotone submodular function으로 formalize한다. سپس submodular optimization을 활용하여 robustness를 provably하게 향상시키는 minimal augmentation을 선택한다. 실험은 우리의 접근이 augmentation overhead를 최소화하면서 safety alignment를 효율적으로 복원함을 확인한다.
"},{"id":"65511","en":"Stochastic Order Learning: An Approach to Rank Estimation Using Noisy Data","ko":"확률적 순서 학습: 노이즈 데이터를 이용한 순위 추정 접근법","authors":"Chaewon Lee, Seon-Ho Lee, Chang-Su Kim","pos":"#1504","link":"https://openreview.net/forum?id=Cu2vkJDJLh","abs":"Rank estimation under label noise poses a fundamental challenge, as ordinal annotations often exhibit structured uncertainty rather than simple label corruption. In this paper, we reformulate rank estimation with noisy ordinal labels as a stochastic ordering problem, in which each instance is inherently associated with multiple plausible ranks instead of a single deterministic label. Based on this view, we propose stochastic order learning (SOL), a learning framework that captures ordinal label uncertainty and learns an embedding space through two complementary objectives: a discriminative loss that structures instance-centroid interactions and a stochastic order loss that enforces probabilistic ordering relations between instances. Extensive experiments across diverse datasets demonstrate that SOL enables reliable rank estimation under various types and levels of label noise.
","absKo":"라벨 노이즈 하에서의 rank estimation은, ordinal annotation이 단순한 label corruption이 아니라 구조화된 불확실성을 보이는 경우가 많기 때문에 근본적인 도전 과제를 제기한다. 본 논문에서는 noisy ordinal label을 이용한 rank estimation을 stochastic ordering problem으로 재정식화한다. 이때 각 인스턴스는 단일 deterministic label이 아니라 여러 개의 plausible rank와 본질적으로 연결된다. 이러한 관점에 기반하여, 우리는 stochastic order learning (SOL)을 제안한다. SOL은 ordinal label uncertainty를 포착하고 두 개의 상보적 objective를 통해 embedding space를 학습하는 프레임워크이다. 하나는 instance-centroid interaction을 구조화하는 discriminative loss이고, 다른 하나는 인스턴스 간 probabilistic ordering relation을 강제하는 stochastic order loss이다. 다양한 데이터셋에 걸친 광범위한 실험은 SOL이 여러 유형과 수준의 label noise 하에서도 신뢰할 수 있는 rank estimation을 가능하게 함을 보여준다.
"},{"id":"63712","en":"Stable Spectral Copula Alignment for Robust Multimodal Learning","ko":"강건한 멀티모달 학습을 위한 안정적 Spectral Copula 정렬","authors":"Hongkang Zhang, Shao-Lun Huang, Yanlong Wang, Ercan KURUOGLU","pos":"#1505","link":"https://openreview.net/forum?id=UNvRSrguIW","abs":"Multimodal alignment fails under deployment shift because standard objectives entangle cross-modal dependence with marginal-sensitive geometry. Stable Spectral Copula Alignment (SSCA) provides a deployment protocol targeting copula-stable dependence under strictly monotone marginal distortions, with auditable, label-free diagnostics for monitoring and mitigation. SSCA combines (i) clipped soft-rank Gaussianization suppressing marginal effects while tracking tie/approximation errors, (ii) dependence-weighted sliced Wasserstein hub coupling for globally coherent multiway alignment with cycle auditing, and (iii) diagonal-stabilized block-spectral learning with eigengap-normalized Davis--Kahan diagnostics, yielding an actionable subspace-risk inequality. A calibrated gate maps diagnostic proxies to a reliability signal with controlled false-alarm/miss rates, enabling safe activation, budgeted remediation, and conservative fallback for out-of-scope drift. Evaluations on MOSEI/MELD, MSCOCO, and CC3M-500K demonstrate improved performance under perturbation and substantially reduced degradation under both monotone and realistic drifts.
","absKo":"멀티모달 정렬은 deployment shift 하에서 실패하는데, 표준 objective가 cross-modal dependence와 marginal-sensitive geometry를 뒤섞기 때문이다. Stable Spectral Copula Alignment (SSCA)는 strictly monotone marginal distortion 하에서 copula-stable dependence를 목표로 하는 deployment protocol을 제공하며, 모니터링과 완화를 위한 감사 가능한 label-free diagnostics를 함께 제시한다. SSCA는 (i) tie/approximation error를 추적하면서 marginal effect를 억제하는 clipped soft-rank Gaussianization, (ii) cycle auditing과 함께 전역적으로 일관된 multiway alignment를 위한 dependence-weighted sliced Wasserstein hub coupling, (iii) eigengap-normalized Davis--Kahan diagnostics를 갖는 diagonal-stabilized block-spectral learning을 결합하여, 실행 가능한 subspace-risk inequality를 도출한다. 보정된 gate는 diagnostic proxy를 reliability signal로 매핑하여 false-alarm/miss rate를 통제함으로써, 안전한 activation, 예산 기반 remediation, 범위를 벗어난 drift에 대한 보수적 fallback을 가능하게 한다. MOSEI/MELD, MSCOCO, CC3M-500K에서의 평가 결과, perturbation 하에서 성능이 향상되고 monotone drift와 realistic drift 모두에서 degradation이 크게 감소함을 보여준다."},{"id":"64343","en":"Semantic Robustness Certification for Vision-Language Models","ko":"Vision-Language 모델을 위한 시맨틱 강건성 인증","authors":"Peiyu Yang, Paul MONTAGUE, Feng Liu, Andrew C. Cullen, Amar Kaur, Christopher Leckie, Sarah Erfani","pos":"#1507","link":"https://openreview.net/forum?id=OXjToUQDz1","abs":"Vision-language models (VLMs) are now widely used in downstream tasks. However, real-world applications often expose VLMs to distribution shifts induced by semantic variation (e.g., shape, size, and style). Robustness certification determines if a model’s prediction changes when transformations are applied to its input. While most certification frameworks study geometric or pixel-level transformations over inputs, this work proposes a novel framework that enables certifying VLM robustness under semantic-level transformations. Leveraging the open-vocabulary capability of VLMs, we use text prompts as semantic proxies to construct transformations parameterized by an extent that controls the degree of semantic variation. By characterizing the VLM decision boundary in closed form, our framework quantitatively certifies extent intervals for which the predicted class remains unchanged under the semantic transformation. Our framework is the first to certify VLM robustness under semantic-level variations without requiring additional data for each variation, making it practical to apply. Experiments on both synthetic and real-world data show that our framework enables certifying robustness under diverse semantic variations across scenarios.
","absKo":"Vision-language model (VLM)은 이제 downstream task에서 널리 사용되고 있다. 그러나 실제 응용에서는 semantic variation(예: shape, size, style)에 의해 유발되는 distribution shift에 VLM이 노출되는 경우가 많다. Robustness certification은 transformation이 입력에 적용될 때 model의 예측이 변하는지 여부를 결정한다. 대부분의 certification framework가 입력에 대한 geometric 또는 pixel-level transformation을 연구하는 반면, 본 연구는 semantic-level transformation 하에서 VLM robustness를 인증할 수 있는 새로운 framework를 제안한다. VLM의 open-vocabulary 능력을 활용하여 text prompt를 semantic proxy로 사용해 semantic variation의 정도를 제어하는 extent로 parameterize된 transformation을 구성한다. VLM decision boundary를 closed form으로 특성화함으로써, 우리의 framework는 semantic transformation 하에서 예측된 class가 변하지 않는 extent interval을 정량적으로 인증한다. 우리의 framework는 각 variation마다 추가 데이터를 요구하지 않으면서 semantic-level variation 하의 VLM robustness를 처음으로 인증하는 방법으로, 실제 적용 가능성이 높다. synthetic 및 real-world data에 대한 실험은 우리의 framework가 다양한 시나리오에서 여러 semantic variation에 대해 robustness 인증을 가능하게 함을 보여준다.
"},{"id":"61360","en":"Self-Captioning Multimodal Interaction Tuning: Amplifying Exploitable Redundancies for Robust Vision Language Models","ko":"Self-Captioning Multimodal Interaction Tuning: Robust Vision Language Models를 위한 활용 가능한 중복성 증폭","authors":"Yuriel Ryan, Ip Man, Adriel Kuek, Paul Pu Liang, Roy Lee","pos":"#1508","link":"https://openreview.net/forum?id=r05rSbN4vI","abs":"Current vision language models face hallucination and robustness issues against ambiguous or corrupted modalities. We hypothesize that these issues can be addressed by exploiting the shared information between modalities to compensate for the impaired one. To this end, we analyze multimodal interactions -- redundant (shared), unique (exclusive), and synergistic (emergent) task-relevant information provided by the modalities -- to determine their impacts on model reliability. Specifically, amplifying redundant interactions would increase this exploitable shared information to resolve these issues; yet, modern instruction datasets often eliminate redundancies to prioritize visual grounding. We bridge this gap through a self-captioning workflow featuring a \\textsc{Multimodal Interaction Gate}: a mechanism to convert unique interactions into redundant interactions. Our findings suggest that increasing redundancy can reduce visual induced errors by 38.3\\% and improve consistency by 16.8\\%.
","absKo":"현재 vision-language model은 모호하거나 손상된 modality에 대해 hallucination과 robustness 문제를 겪고 있다. 우리는 이러한 문제를, 손상된 modality를 보완하기 위해 modality 간 공유 정보를 활용함으로써 해결할 수 있다고 가정한다. 이를 위해 우리는 multimodal interaction, 즉 modality가 제공하는 중복적(redundant, 공유), 고유한(unique, 배타적), 그리고 시너지(synergistic, emergent) task-relevant information을 분석하여, 이것들이 model reliability에 미치는 영향을 규명한다. 구체적으로, redundant interaction을 증폭하면 이러한 문제를 해결하는 데 활용 가능한 shared information이 증가할 것이지만, 현대의 instruction dataset은 visual grounding을 우선하기 위해 중복성을 제거하는 경우가 많다. 우리는 \\textsc{Multimodal Interaction Gate}를 갖춘 self-captioning workflow를 통해 이 간극을 메운다. 이 메커니즘은 unique interaction을 redundant interaction으로 변환한다. 우리의 결과는 redundancy를 높이면 visual induced error를 38.3\\% 감소시키고 consistency를 16.8\\% 향상시킬 수 있음을 시사한다.
"},{"id":"63826","en":"Self-Calibrated Consistency can Fight Back for Adversarial Robustness in Vision-Language Models","ko":"자기 보정 일관성은 vision-language 모델의 adversarial robustness를 위해 반격할 수 있다","authors":"Jiaxiang Liu, Jiawei Du, Xiao Liu, Shangyang Li, Songchen Ma, Changshuo Wang, Prayag Tiwari, Mingkun Xu","pos":"#1509","link":"https://openreview.net/forum?id=TM7PjLDZTr","abs":"Pre-trained vision-language models (VLMs) such as CLIP have demonstrated strong zero-shot capabilities across diverse domains, yet remain highly vulnerable to adversarial perturbations that disrupt image-text alignment and compromise reliability. Existing defenses typically rely on adversarial fine-tuning with labeled data, limiting their applicability in zero-shot settings. In this work, we identify two key weaknesses of current CLIP adversarial attacks—lack of semantic guidance and vulnerability to view variations—collectively termed semantic and viewpoint fragility. To address these challenges, we propose Self-Calibrated Consistency (SCC), an effective test-time defense. SCC consists of two complementary modules: Semantic consistency, which leverages soft pseudo-labels from counterattack warm-up and multi-view predictions to regularize cross-modal alignment and separate the target embedding from confusable negatives; and Spatial consistency, aligning perturbed visual predictions via augmented views to stabilize inference under adversarial perturbations. Together, these modules form a plug-and-play inference strategy. Extensive experiments on 22 benchmarks under diverse attack settings show that SCC consistently improves the zero-shot robustness of CLIP while maintaining accuracy, and can be seamlessly integrated with other VLMs for further gains. These findings highlight the great potential of establishing an adversarially robust paradigm from CLIP, with implications extending to broader VLMs such as BioMedCLIP.
","absKo":"CLIP과 같은 pre-trained vision-language model(VLM)은 다양한 도메인에서 강력한 zero-shot 능력을 보여주었지만, image-text alignment를 붕괴시키고 신뢰성을 저해하는 adversarial perturbation에는 여전히 매우 취약하다. 기존 defense는 대개 labeled data를 이용한 adversarial fine-tuning에 의존하여, zero-shot setting에서의 적용 가능성을 제한한다. 이 작업에서 우리는 현재 CLIP adversarial attack의 두 가지 핵심 약점, 즉 semantic guidance의 부재와 view variation에 대한 취약성을 식별하며, 이를 통틀어 semantic and viewpoint fragility라 부른다. 이러한 과제를 해결하기 위해 우리는 효과적인 test-time defense인 Self-Calibrated Consistency(SCC)를 제안한다. SCC는 상호 보완적인 두 모듈로 구성된다. 하나는 counterattack warm-up과 multi-view prediction에서 얻은 soft pseudo-label을 활용하여 cross-modal alignment를 정규화하고 target embedding을 혼동 가능한 negative와 분리하는 Semantic consistency이고, 다른 하나는 augmented view를 통해 perturbed visual prediction을 정렬하여 adversarial perturbation 하에서 inference를 안정화하는 Spatial consistency이다. 이 두 모듈은 함께 plug-and-play inference strategy를 이룬다. 다양한 attack setting에서 22개 benchmark를 대상으로 한 광범위한 실험은 SCC가 정확도를 유지하면서 CLIP의 zero-shot robustness를 일관되게 향상시키고, 추가적인 성능 향상을 위해 다른 VLM과도 매끄럽게 통합될 수 있음을 보여준다. 이러한 결과는 CLIP으로부터 adversarially robust paradigm을 구축할 큰 잠재력을 강조하며, 그 함의는 BioMedCLIP과 같은 더 넓은 VLM으로 확장된다.
"},{"id":"63418","en":"SS‑TPT: Stability and Suitability-Guided Test-Time Prompt Tuning for Adversarially Robust Vision-Language Models","ko":"SS-TPT: 적대적으로 견고한 Vision-Language 모델을 위한 안정성 및 적합성 유도 테스트타임 프롬프트 튜닝","authors":"Sunoh Kim, Daeho Um","pos":"#1510","link":"https://openreview.net/forum?id=XL254Z1PvD","abs":"Vision-language models (VLMs) such as CLIP achieve strong zero-shot recognition but remain highly fragile under adversarial perturbations. Recent test-time adaptation defenses improve robustness by leveraging many augmented views, but this leads to impractical slowdown and a clear robustness-throughput trade-off. To address this challenge, we present Stability and Suitability-guided Test-time Prompt Tuning (SS-TPT), evaluating the quality of each augmented view via two complementary scores: (1) stability, measuring prediction invariance to weak augmentations, and (2) suitability, measuring feature-space density among views. These stability and suitability (SS) scores guide both adaptation and inference through an SS-guided consistency loss and an SS-weighted prediction, amplifying trustworthy views while suppressing corrupted ones. Extensive experiments demonstrate that SS-TPT significantly outperforms prior state-of-the-art methods, achieving superior robustness-throughput trade-offs across diverse datasets and varying numbers of views, thereby demonstrating both strong practicality and generality. Our SS-TPT code is provided and will be publicly available on GitHub.
","absKo":"CLIP과 같은 vision-language model(VLM)은 강한 zero-shot recognition 성능을 보이지만, adversarial perturbation에는 여전히 매우 취약하다. 최근의 test-time adaptation 방어 기법들은 많은 augmented view를 활용해 robustness를 높이지만, 이는 실용적이지 않은 지연과 명확한 robustness-throughput trade-off를 초래한다. 이 문제를 해결하기 위해 우리는 Stability and Suitability-guided Test-time Prompt Tuning(SS-TPT)을 제안한다. SS-TPT는 두 개의 상보적인 score로 각 augmented view의 품질을 평가한다: (1) stability는 약한 augmentation에 대한 prediction 불변성을 측정하고, (2) suitability는 view들 사이의 feature-space density를 측정한다. 이러한 stability와 suitability(SS) score는 SS-guided consistency loss와 SS-weighted prediction을 통해 adaptation과 inference를 모두 유도하며, 신뢰할 수 있는 view는 강화하고 손상된 view는 억제한다. 광범위한 실험 결과, SS-TPT는 기존 state-of-the-art 방법을 크게 능가하며, 다양한 dataset과 서로 다른 수의 view에서 더 우수한 robustness-throughput trade-off를 달성해 강한 실용성과 일반성을 모두 보여준다. SS-TPT 코드는 제공되며 GitHub에 공개될 예정이다.
"},{"id":"62175","en":"Robust Vision-Language Models via Manifold-Adversarial Adapters","ko":"Manifold-Adversarial Adapter로 Robust Vision-Language Models 구성","authors":"Hao Li, Zeyu Xiao, Junhao Zhou, Peng Liu, Yang Zhao, Wei Jia","pos":"#1511","link":"https://openreview.net/forum?id=j3NoRf0n7d","abs":"Vision-language models (VLMs) have progressed rapidly with large-scale high-quality data and adaptation strategies, yet remain brittle under real-world corruptions, where both visual recognition and language-grounded reasoning degrade. Beyond cascaded image restoration, a natural alternative is parameter-efficient adaptation that aligns corrupted features with clean references; however, Euclidean alignment alone is not semantics-preserving and can even harm downstream reasoning. We attribute this to a semantic misalignment gap, where features become geometrically closer while drifting off the in-distribution support on which multimodal reasoning is calibrated. To address this, we propose Manifold-Adversarial Adapters (MAA), lightweight layer-wise modules for a frozen vision encoder that explicitly steer corrupted features back onto the clean in-distribution manifold rather than merely shrinking feature-space distance. MAA combines paired feature self-distillation with a token-level adversarial manifold constraint to prevent off-manifold semantic shortcuts. At inference, only the adapters are retained, enabling single-stage robustness with negligible overhead and avoiding the latency and semantic drift of restoration pipelines. Across benchmarks and corruption settings, MAA consistently improves performance over strong baselines.
","absKo":"Vision-language models (VLMs)는 대규모 고품질 데이터와 adaptation strategy를 통해 빠르게 발전했지만, 실제 corruptions 하에서는 여전히 취약하며, visual recognition과 language-grounded reasoning이 모두 저하된다. cascaded image restoration을 넘어서는 자연스러운 대안은 corrupted feature를 clean reference와 정렬하는 parameter-efficient adaptation이지만, Euclidean alignment만으로는 semantics를 보존하지 못하며 downstream reasoning을 해칠 수도 있다. 우리는 이를 semantic misalignment gap 때문이라고 본다. 즉, feature는 기하학적으로 더 가까워지지만 multimodal reasoning이 보정(calibrate)된 in-distribution support에서 벗어나 drift한다. 이를 해결하기 위해, 우리는 Manifold-Adversarial Adapters (MAA)를 제안한다. 이는 frozen vision encoder를 위한 lightweight layer-wise module로, 단순히 feature-space distance를 줄이는 데 그치지 않고 corrupted feature를 clean in-distribution manifold 위로 되돌리도록 명시적으로 유도한다. MAA는 paired feature self-distillation과 token-level adversarial manifold constraint를 결합해 off-manifold semantic shortcut을 방지한다. 추론 시에는 adapter만 유지하므로, restoration pipeline의 latency와 semantic drift를 피하면서 추가 오버헤드는 거의 없는 single-stage robustness를 제공한다. 다양한 benchmark와 corruption setting에서 MAA는 강력한 baseline보다 일관되게 더 나은 성능을 보인다.
"},{"id":"60622","en":"Robust Cross-Modal Retrieval via Generative Semantic Refinement and Exclusion-Guided Adaptation","ko":"생성적 의미 정제와 배제 유도 적응을 통한 강건한 교차 모달 검색","authors":"Qin Yang, Xin Wei, Yanjia Li, Jiasun Feng, Mingrui Zhu, Nannan Wang, Xinbo Gao","pos":"#1512","link":"https://openreview.net/forum?id=yMYRr00HFS","abs":"Vision-Language Pre-trained (VLP) models are vulnerable to real-world query noise. Current cross-modal Test-Time Adaptation (TTA) methods often rely on high-confidence predictions, which induces confirmation bias and neglects the informative signals in ambiguous Low-Confidence Queries. To address this, we propose Generative Semantic Refinement and Exclusion-Guided Adaptation (ReEx), a robust retrieval framework that extends adaptation to the entire query stream. Specifically, textual structural noise is rectified by a Generative Semantic Refinement (GSR) module, which employs Confidence-Guided Dynamic Fusion to anchor LLM-based repairs and prevent semantic drift. To exploit ambiguous data, adaptation is driven by Exclusion-Guided Proxy Contrastive Learning (EPCL), which imposes negative constraints via Exclusion Sets of unlikely candidates. Experimental results on COCO-C and Flickr-C demonstrate that ReEx consistently outperforms existing TTA methods, achieving significant robustness gains with a justifiable computational trade-off.
","absKo":"Vision-Language Pre-trained (VLP) model은 실제 query noise에 취약하다. 현재의 cross-modal Test-Time Adaptation (TTA) 방법은 종종 high-confidence prediction에 의존하는데, 이는 confirmation bias를 유발하고 모호한 Low-Confidence Query에 담긴 유익한 신호를 간과하게 만든다. 이를 해결하기 위해 우리는 전체 query stream으로 adaptation을 확장하는 견고한 retrieval framework인 Generative Semantic Refinement and Exclusion-Guided Adaptation (ReEx)를 제안한다. 구체적으로, textual structural noise는 Generative Semantic Refinement (GSR) module에 의해 수정되며, 이 모듈은 Confidence-Guided Dynamic Fusion을 사용해 LLM 기반 수정을 고정하고 semantic drift를 방지한다. 모호한 데이터를 활용하기 위해 adaptation은 Exclusion Set을 통해 가능성이 낮은 후보에 대한 negative constraint를 부여하는 Exclusion-Guided Proxy Contrastive Learning (EPCL)에 의해 주도된다. COCO-C와 Flickr-C에서의 실험 결과, ReEx는 기존 TTA 방법보다 일관되게 우수한 성능을 보이며, 정당화 가능한 계산 비용 절충을 감수하면서도 유의미한 robustness 향상을 달성한다.
"},{"id":"61440","en":"On the Adversarial Robustness of Large Vision-Language Models under Visual Token Compression","ko":"Visual Token Compression 하에서 Large Vision-Language Models의 적대적 강건성","authors":"Xinwei Zhang, Hangcheng Liu, Li Bai, Hao Wang, Qingqing Ye, Tianwei Zhang, Haibo Hu","pos":"#1513","link":"https://openreview.net/forum?id=q5sBPXOuHC","abs":"Visual token compression is widely used to accelerate large vision-language models (LVLMs) by pruning or merging visual tokens, yet its adversarial robustness remains unexplored. We show that existing encoder-based attacks can substantially overestimate the robustness of compressed LVLMs, due to an optimization-inference mismatch: perturbations are optimized on the full-token representation, while inference is performed through a token-compression bottleneck. To address this gap, we propose the Compression-AliGnEd attack (CAGE), which aligns perturbation optimization with compression inference without assuming access to the deployed compression mechanism or its token budget. CAGE combines (i) expected feature disruption, which concentrates distortion on tokens likely to survive across plausible budgets, and (ii) rank distortion alignment, which actively aligns token distortions with rank scores to promote the retention of highly distorted evidence. Across diverse representative plug-and-play compression mechanisms and datasets, our results show that CAGE consistently achieves lower robust accuracy than the baseline. This work highlights that robustness assessments ignoring compression can be overly optimistic, calling for compression-aware security evaluation and defenses for efficient LVLMs.
","absKo":"Visual token compression은 visual token을 pruning하거나 merging하여 large vision-language model(LVLM)을 가속하는 데 널리 사용되지만, adversarial robustness는 아직 탐구되지 않았다. 우리는 기존 encoder-based attack이 compressed LVLM의 robustness를 상당히 과대평가할 수 있음을 보인다. 그 이유는 optimization-inference mismatch 때문인데, perturbation은 full-token representation에서 최적화되는 반면 inference는 token-compression bottleneck을 통해 수행되기 때문이다. 이 격차를 해소하기 위해 우리는 Compression-AliGnEd attack(CAGE)을 제안한다. 이는 배치된 compression mechanism이나 token budget의 접근을 가정하지 않고 perturbation optimization을 compression inference와 정렬한다. CAGE는 (i) 예상 feature disruption, 즉 가능한 budget 전반에서 생존할 가능성이 높은 token에 distortion을 집중시키는 방법, 그리고 (ii) rank distortion alignment, 즉 token distortion을 rank score와 적극적으로 정렬하여 크게 왜곡된 evidence가 유지되도록 유도하는 방법을 결합한다. 다양한 대표적인 plug-and-play compression mechanism과 dataset에 대한 결과에서, CAGE는 baseline보다 일관되게 더 낮은 robust accuracy를 달성한다. 이 연구는 compression을 무시한 robustness 평가가 지나치게 낙관적일 수 있음을 보여주며, 효율적인 LVLM을 위해 compression-aware security evaluation과 defense가 필요함을 시사한다.
"},{"id":"65572","en":"Normalization Equivariance for Arbitrary Backbones, with Application to Image Denoising","ko":"임의 백본을 위한 정규화 Equivariance와 이미지 잡음 제거 응용","authors":"Youssef Saied, François Fleuret","pos":"#1514","link":"https://openreview.net/forum?id=CKhydx7QgH","abs":"Normalization Equivariance (NE), equivariance to global contrast and brightness transforms, improves robustness to distribution shift in image-to-image prediction. Existing methods enforce this prior by constraining internal layers to NE-compatible families, limiting compatibility with standard components (e.g., attention, LayerNorm) and adding runtime cost. We prove that a function is NE if and only if it admits a normalize-process-denormalize factorization. Using this characterization, we construct a parameter-free wrapper (WNE) that enforces input-output NE around any backbone, including transformers. On blind denoising, wrapping CNN and transformer architectures improves robustness under noise-level mismatch with no measurable overhead on GPU, while architectural NE baselines incur up to a $1.6\\times$ slowdown.","absKo":"Normalization Equivariance(NE), 즉 global contrast와 brightness transform에 대한 equivariance는 image-to-image prediction에서 distribution shift에 대한 robustness를 향상시킨다. 기존 방법들은 내부 layer를 NE-compatible family로 제한하여 이 prior를 강제하는데, 이는 attention, LayerNorm 같은 standard component와의 호환성을 제한하고 runtime cost를 추가한다. 우리는 함수가 NE일 필요충분조건이 normalize-process-denormalize factorization을 허용하는 것임을 증명한다. 이 characterization을 사용하여, 우리는 transformer를 포함한 어떤 backbone 위에도 input-output NE를 강제하는 parameter-free wrapper(WNE)를 구성한다. blind denoising에서 WNE로 CNN과 transformer architecture를 wrapping하면 GPU에서 measurable overhead 없이 noise-level mismatch 하에서 robustness가 향상되며, 반면 architectural NE baseline은 최대 $1.6\\times$의 slowdown을 초래한다."},{"id":"64897","en":"A Robust Optimization Guided Pruning Framework for Vision and Large Language Models","ko":"Vision 및 대규모 언어 모델을 위한 Robust Optimization 유도 Pruning 프레임워크","authors":"Gabriel Afriat, Hussein Hazimeh, Dimitris Paparas, Rahul Mazumder","pos":"#1601","link":"https://openreview.net/forum?id=Im05D8gFFn","abs":"Pruning is a common approach to reduce the memory footprint and inference cost of large vision and language models. As these architectures continue to scale, one-shot pruning methods - i.e. approaches that prune the network without any retraining - have become increasingly attractive. Many popular one-shot pruning methods (e.g., WoodFisher, CAP, SparseGPT, and ALPS) typically optimize a quadratic objective under sparsity constraints. However, in practice, this objective is affected by multiple sources of uncertainty, including noise in the calibration data and variability introduced by algorithmic updates. To address these issues, we introduce RobOP, a robust optimization framework that explicitly accounts for such uncertainties. RobOP is modular and flexible, and can be applied with any existing pruning method through simple modifications motivated by our theoretical framework. We demonstrate that by taking into account uncertainty, RobOP offers improvements over prior pruning approaches. Our framework applies tractably across a range of stylized uncertainty sets, enabling robust one-shot pruning at scale.
","absKo":"Pruning은 대규모 vision 및 language model의 memory footprint와 inference cost를 줄이기 위한 일반적인 접근법이다. 이러한 architecture가 계속 확장됨에 따라, 재학습 없이 네트워크를 pruning하는 one-shot pruning method, 즉, one-shot 방식이 점점 더 매력적으로 부상하고 있다. 널리 쓰이는 많은 one-shot pruning method들(예: WoodFisher, CAP, SparseGPT, ALPS)은 일반적으로 sparsity 제약 하에서 quadratic objective를 최적화한다. 그러나 실제로 이 objective는 calibration data의 noise와 algorithmic update가 도입하는 variability를 포함한 여러 uncertainty source의 영향을 받는다. 이러한 문제를 해결하기 위해, 우리는 이런 uncertainty를 명시적으로 고려하는 robust optimization framework인 RobOP을 제안한다. RobOP은 modular하고 flexible하며, 우리의 theoretical framework에서 동기부여된 간단한 수정만으로 기존의 어떤 pruning method에도 적용할 수 있다. 우리는 uncertainty를 고려함으로써 RobOP이 기존 pruning 접근법들보다 개선을 제공함을 보인다. 우리의 framework는 다양한 stylized uncertainty set에 대해 tractable하게 적용되며, scale에서 robust one-shot pruning을 가능하게 한다.
"},{"id":"66792","en":"AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions","ko":"AgentHijack: 일반적 환경 손상에 대한 Computer Use Agent 강건성 벤치마킹","authors":"Jingwei Sun, Jianing Zhu, Yuanyi Li, Tongliang Liu, Xia Hu, Bo Han","pos":"#1603","link":"https://openreview.net/forum?id=0H5Im3Xvuf","abs":"Autonomous computer use agents that powered by multimodal large language models (MLLMs) are emerging as capable assistants for completing complex digital workflows. However, real-world execution environments are far from ideal: pop-up dialogs, resolution changes, and competing applications frequently interfere with agent perception and control. We introduce AgentHijack, a benchmark designed to evaluate the robustness and reliability of computer-use agents under common corruptions, where the uncertainties in dynamic environment disrupt the execution flow without direct adversarial intent. Specifically, AgentHijack introduces 9 configurable common corruptions to replicate realistic imperfect scenarios. We evaluate a variety of desktop tasks that utilize MLLM-based agents and discover that even minor instances of corruption can result in substantial performance degradation, which emphasizes the fragility of agents and underscores the necessity of robustness evaluation. Afterward, we propose AgentHijack-Agent, a framework that integrates an action generator with enhanced grounding capabilities and an onlooker responsible for behavior summarization and environment checking. Extensive experiments validate its effectiveness. We anticipate that our work will underscore the importance of GUI agents robustness and inspire more follow-up research efforts in this direction.
","absKo":"multimodal large language model(MLLM)로 구동되는 자율 computer use agent는 복잡한 디지털 워크플로를 수행하는 유능한 도우미로 떠오르고 있다. 그러나 실제 실행 환경은 이상적이지 않다. 팝업 대화상자, 해상도 변화, 경쟁 애플리케이션이 에이전트의 perception과 control을 자주 방해한다. 우리는 직접적인 adversarial intent 없이 동적 환경의 불확실성이 실행 흐름을 교란하는 일반적 corruption 하에서 computer-use agent의 robustness와 reliability를 평가하도록 설계된 benchmark AgentHijack을 소개한다. 구체적으로, AgentHijack은 현실적이지만 불완전한 시나리오를 재현하기 위해 9개의 구성 가능한 common corruption을 도입한다. 우리는 MLLM 기반 agent를 활용하는 다양한 desktop task를 평가했고, 매우 작은 수준의 corruption도 성능을 크게 저하시킬 수 있음을 발견했다. 이는 agent의 취약성을 강조하며 robustness 평가의 필요성을 부각한다. 이후 우리는 행동 생성기, 향상된 grounding capability, 그리고 behavior summarization과 환경 점검을 담당하는 onlooker를 통합한 프레임워크 AgentHijack-Agent를 제안한다. 광범위한 실험은 그 효과를 검증한다. 우리는 이 연구가 GUI agent의 robustness 중요성을 부각시키고 이 방향의 후속 연구를 촉진하리라 기대한다.
"},{"id":"61961","en":"CURVE: Learning Causality-Inspired Invariant Representations for Robust Scene Understanding via Uncertainty-Guided Regularization","ko":"CURVE: 불확실도 기반 regularization으로 강건한 scene understanding를 위한 causality-inspired invariant representation 학습","authors":"Yue Liang, JIATONG DU, Ziyi Yang, Yanjun Huang, Hong Chen","pos":"#1604","link":"https://openreview.net/forum?id=lGBJm8TGun","abs":"Scene graphs provide structured abstractions for scene understanding, yet they often overfit to spurious correlations, severely hindering out-of-distribution generalization. To address this limitation, we propose CURVE, a causality-inspired framework that integrates variational uncertainty modeling with uncertainty-guided structural regularization to suppress high-variance, environment-specific relations. Specifically, we apply prototype-conditioned debiasing to disentangle invariant interaction dynamics from environment-dependent variations, promoting a sparse and domain-stable topology. Empirically, we evaluate CURVE in zero-shot transfer and low-data sim-to-real adaptation, verifying its ability to learn domain-stable sparse topologies and provide reliable uncertainty estimates to support risk prediction under distribution shifts.
","absKo":"Scene graph는 scene understanding을 위한 구조화된 abstraction을 제공하지만, 종종 spurious correlation에 과적합되어 out-of-distribution generalization을 심각하게 저해한다. 이러한 한계를 해결하기 위해, 우리는 분산이 큰 환경 특이적 관계를 억제하기 위해 variational uncertainty modeling과 uncertainty-guided structural regularization을 통합한 causality-inspired framework인 CURVE를 제안한다. 구체적으로, prototype-conditioned debiasing을 적용해 환경에 독립적인 interaction dynamics와 환경 의존적 변동을 분리하고, 이를 통해 sparse하고 domain-stable한 topology를 촉진한다. 실험적으로 우리는 zero-shot transfer와 low-data sim-to-real adaptation에서 CURVE를 평가하여, domain-stable sparse topology를 학습하고 distribution shift 하에서 risk prediction을 지원하는 신뢰할 수 있는 uncertainty estimate를 제공할 수 있음을 검증한다.
"},{"id":"62864","en":"Calibrating Uncertainty for Zero-Shot Adversarial CLIP","ko":"Zero-Shot Adversarial CLIP의 불확실성 캘리브레이션","authors":"Wenjing Lu, Zerui Tao, Yuning Qiu, Dongping Zhang, Yang Yang, Qibin Zhao","pos":"#1605","link":"https://openreview.net/forum?id=cQRkHJGgj1","abs":"CLIP delivers strong zero-shot classification but remains highly vulnerable to adversarial attacks. Prior adversarial fine-tuning work largely focuses on matching the predicted logits between clean and adversarial examples, which overlooks uncertainty calibration and may degrade the zero-shot generalization. A common expectation in reliable uncertainty estimation is that predictive uncertainty should increase as inputs become more difficult or shift away from the training distribution. However, we frequently observe the opposite in the adversarial setting: perturbations not only degrade accuracy but also suppress uncertainty, leading to severe miscalibration and unreliable over-confidence. This overlooked phenomenon highlights a critical reliability gap beyond robustness. To bridge this gap, we propose a novel adversarial fine-tuning objective for CLIP considering both prediction accuracy and uncertainty alignments. By reparameterizing the output of CLIP as the concentration parameter of a Dirichlet distribution, we propose a unified representation that captures relative semantic structure and confidence magnitude. Our objective aligns these distributions holistically under perturbations, moving beyond single-logit anchoring and restoring calibrated uncertainty. Experiments on multiple zero-shot classification benchmarks demonstrate that our approach effectively restores calibrated uncertainty and achieves competitive adversarial robustness while maintaining clean accuracy.
","absKo":"CLIP은 강력한 zero-shot classification 성능을 제공하지만 adversarial attack에는 여전히 매우 취약하다. 기존 adversarial fine-tuning 연구는 주로 clean example과 adversarial example 간의 predicted logit 일치를 맞추는 데 초점을 두며, 이는 uncertainty calibration을 간과하고 zero-shot generalization을 저해할 수 있다. 신뢰할 수 있는 uncertainty estimation에서 흔히 기대되는 바는 입력이 더 어렵거나 training distribution에서 멀어질수록 predictive uncertainty가 증가해야 한다는 것이다. 그러나 adversarial setting에서는 그 반대를 자주 관찰한다. 즉, perturbation은 정확도를 떨어뜨릴 뿐 아니라 uncertainty까지 억제하여 심각한 miscalibration과 신뢰할 수 없는 과도한 confidence를 초래한다. 이 간과된 현상은 robustness를 넘어선 중요한 reliability gap을 보여준다. 이 gap을 메우기 위해, 우리는 prediction accuracy와 uncertainty alignment를 모두 고려한 CLIP용 새로운 adversarial fine-tuning objective를 제안한다. CLIP의 output을 Dirichlet distribution의 concentration parameter로 재parameterization함으로써, 우리는 상대적 semantic structure와 confidence magnitude를 포착하는 통합 representation을 제안한다. 우리의 objective는 perturbation 하에서 이러한 distribution을 전체적으로 정렬하여 single-logit anchoring을 넘어 calibrated uncertainty를 복원한다. 여러 zero-shot classification benchmark에서의 실험은 우리의 접근이 calibrated uncertainty를 효과적으로 복원하고, clean accuracy를 유지하면서도 경쟁력 있는 adversarial robustness를 달성함을 보여준다.
"},{"id":"65947","en":"Controlling the Risk of Corrupted Contexts for Language Models via Early-Exiting","ko":"조기 종료를 통한 언어 모델의 손상된 문맥 위험 제어","authors":"Andrea Wynn, Metod Jazbec, Charith Peris, Rinat Khaziev, Anqi Liu, Daniel Khashabi, Eric Nalisnick","pos":"#1606","link":"https://openreview.net/forum?id=8bUDbWMo5v","abs":"Large language models (LLMs) can be influenced by harmful or irrelevant context, which can significantly harm model performance on downstream tasks. This motivates principled designs in which LLM systems include built-in mechanisms to guard against such \"garbage in, garbage out\" scenarios. We propose a novel approach to limit the degree to which harmful context can degrade model performance. First, we define a baseline \"safe\" behavior for the model -- the model's performance given no context at all (zero-shot). Next, we apply distribution-free risk control (DFRC) to control the extent to which the user-provided context can decay performance below this safe zero-shot baseline. We achieve this by leveraging dynamic early exit prediction, ignoring later attention heads that attend the most to the unsafe inputs. Finally, we propose modifications to DFRC that allow it to both control risk for harmful inputs \\textit{and} leverage performance and efficiency gains on helpful inputs. We present both theoretical and empirical results across 9 tasks spanning in-context learning and open-ended question answering, showing that our approach can effectively control risk for harmful context and simultaneously achieve substantial computational efficiency gains with helpful context.
","absKo":"Large language models (LLMs)는 유해하거나 무관한 문맥의 영향을 받을 수 있으며, 이는 다운스트림 태스크에서 모델 성능을 크게 저하시킬 수 있다. 이는 LLM 시스템이 이러한 \"garbage in, garbage out\" 상황을 방지할 수 있는 내장 메커니즘을 포함하도록 하는, 원칙적인 설계를 필요로 한다. 우리는 유해한 문맥이 모델 성능을 얼마나 저하시킬 수 있는지 제한하는 새로운 접근법을 제안한다. 먼저, 문맥이 전혀 주어지지 않았을 때의 모델 성능, 즉 zero-shot 성능을 기준으로 하는 베이스라인 \"safe\" 동작을 정의한다. 다음으로, distribution-free risk control (DFRC)를 적용하여 사용자가 제공한 문맥이 이 safe zero-shot 베이스라인 이하로 성능을 저하시키는 정도를 제어한다. 이를 위해 dynamic early exit prediction을 활용하고, unsafe input에 가장 많이 주의를 기울이는 이후의 attention head들을 무시한다. 마지막으로, DFRC를 수정하여 유해한 입력에 대한 위험을 \\\\textit{제어}하면서도 도움이 되는 입력에서는 성능과 효율성 향상을 함께 활용할 수 있도록 한다. 우리는 in-context learning과 open-ended question answering을 아우르는 9개 태스크에서 이론적 및 실증적 결과를 제시하며, 우리의 접근법이 유해한 문맥에 대한 위험을 효과적으로 제어하는 동시에 도움이 되는 문맥에서는 상당한 계산 효율 향상을 달성함을 보인다.
"},{"id":"65392","en":"D$^2$O: A Dual Debiasing Operator for Training-Free Test-Time Adaptation of Vision–Language Models","ko":"D²O: Vision–Language Model의 학습 없는 Test-Time Adaptation을 위한 이중 편향 제거 연산자","authors":"Yihong Luo, Wenwu He, Dong Liang, Yihang Zhou, Zhuo-Xu Cui","pos":"#1607","link":"https://openreview.net/forum?id=E8CWVIsaew","abs":"Training-free test-time adaptation (TTA) for vision-language models (VLMs) can boost zero-shot classification under mild shifts but often collapses under severe environment/style shifts. We identify two shared failure modes: (i) retrieval confounding, where feature similarity is dominated by style and corrupts cache/bank evidence; and (ii) environment-biased priors, where VLMs logits exhibit environment-dependent centered shifts that distort gating and prior-like terms. We propose D$^2$O, a strictly training-free debiasing operator that outputs three inference objects per test sample: a content feature for reliable retrieval, a style fingerprint for environment routing, and debiased logits for corrected priors. D$^2$O composes plug-and-play with cache-based and closed-form Gaussian adapters in both online and transductive settings. We further provide operator-to-decision guarantees: finite-difference covariance recovers a style subspace, style-routed EMA controls the centered logit-bias estimate, and these errors translate to bounded posterior log-odds perturbations, yielding a margin-based condition for label invariance under strong shifts. Extensive experiments on diverse benchmarks show that our method consistently achieves state-of-the-art performance across a broad range of distribution shifts.","absKo":"vision-language model (VLM)에 대한 training-free test-time adaptation (TTA)은 mild shift에서는 zero-shot classification 성능을 향상시킬 수 있지만, severe environment/style shift에서는 종종 무너진다. 우리는 두 가지 공통된 실패 모드를 식별한다. (i) retrieval confounding: feature similarity가 style에 의해 지배되어 cache/bank evidence를 오염시키는 경우, (ii) environment-biased prior: VLM logit이 environment-dependent centered shift를 보여 gating과 prior-like term을 왜곡하는 경우이다. 우리는 D$^2$O를 제안하는데, 이는 엄격히 training-free인 debiasing operator로, 각 test sample마다 세 가지 inference object를 출력한다. reliable retrieval을 위한 content feature, environment routing을 위한 style fingerprint, 그리고 corrected prior를 위한 debiased logit이다. D$^2$O는 online 및 transductive setting 모두에서 cache-based adapter와 closed-form Gaussian adapter와 plug-and-play 방식으로 결합된다. 우리는 추가로 operator-to-decision guarantee를 제공한다. finite-difference covariance는 style subspace를 복원하고, style-routed EMA는 centered logit-bias estimate를 제어하며, 이러한 error는 bounded posterior log-odds perturbation으로 이어져 강한 shift 하에서 label invariance에 대한 margin-based condition을 제공한다. 다양한 benchmark에 대한 광범위한 실험은 우리의 방법이 넓은 범위의 distribution shift 전반에서 일관되게 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"65349","en":"DART: Distribution-Aware Adaptive Relational Transfer for Adversarial Attacks against Closed-Source MLLMs","ko":"DART: Closed-Source MLLM에 대한 적대적 공격을 위한 분포 인지 적응형 관계 전이","authors":"Kaidi Hu, Guancheng Wan, Xiao Luo, Ruigang Yang","pos":"#1608","link":"https://openreview.net/forum?id=ETPsJre8pn","abs":"This paper studies the critical problem of targeted adversarial attacks against closed-source MLLMs, which aim to generate highly transferable adversarial samples with open-source MLLMs. Previous approaches typically focus on maximizing the similarity of latent representations between adversarial samples and target samples. However, these approaches could overfit specific target samples with severely limited generalization ability to closed-source MLLMs. Towards this end, we propose a novel approach named Distribution-aware Adaptive Relational Transfer (DART) for adversarial attacks against closed-source MLLMs. The core of our DART is to adopt a statistical lens to characterize the intrinsic semantics of images for more generalized and robust alignment. In particular, each augmented image is considered an example from the intrinsic distribution of the original image. Then, we utilize non-parametric Energy Distance to measure the distribution divergence, which is naturally adopted for the semantic alignment in the hidden space. To further enhance transferability to specific target models, we learn a graph neural network (GNN) to explore the complex relations between source and target MLLMs on transferability and adaptively select surrogate models to maximize transferability across diverse targets. Extensive experiments on benchmark datasets validate the superior robustness and effectiveness of the proposed DART in comparison to various competing baselines.
","absKo":"이 논문은 closed-source MLLM에 대한 targeted adversarial attack의 중요한 문제를 다룬다. 목표는 open-source MLLM을 사용해 전이성이 높은 adversarial sample을 생성하는 것이다. 기존 접근은 일반적으로 adversarial sample과 target sample 사이의 latent representation 유사도를 최대화하는 데 초점을 맞춘다. 그러나 이러한 접근은 특정 target sample에 과적합되어 closed-source MLLM으로의 일반화 능력이 크게 제한될 수 있다. 이러한 문제를 해결하기 위해, 우리는 Distribution-aware Adaptive Relational Transfer(DART)라는 새로운 접근법을 제안한다. DART의 핵심은 통계적 관점에서 이미지를 특징지어 더 일반적이고 강건한 alignment를 달성하는 것이다. 특히 각 augmented image는 원본 이미지의 intrinsic distribution에서 나온 하나의 예로 간주된다. 그런 다음 비모수적 Energy Distance를 활용해 distribution divergence를 측정하며, 이는 hidden space에서 semantic alignment에 자연스럽게 사용된다. 특정 target model로의 transferability를 더 높이기 위해, 우리는 graph neural network(GNN)을 학습시켜 transferability 측면에서 source와 target MLLM 사이의 복잡한 관계를 탐색하고, 다양한 target 전반에서 transferability를 최대화하도록 surrogate model을 적응적으로 선택한다. benchmark dataset에 대한 광범위한 실험은 제안한 DART가 여러 경쟁 baseline에 비해 더 우수한 강건성과 효과를 보임을 검증한다.
"},{"id":"63187","en":"DDGA: Dirichlet Distributional Gradient Aggregation for Transferable Vision-Language Adversarial Attacks","ko":"DDGA: 전이 가능한 Vision-Language 적대적 공격을 위한 Dirichlet 분포 경사 집계","authors":"You Yiwei, Jiaan Wei, Zan Chen, Bo Wang","pos":"#1609","link":"https://openreview.net/forum?id=ZHhD0SzraJ","abs":"Vision-Language Models (VLMs) achieve remarkable performance on multimodal tasks but remain highly vulnerable to adversarial examples, making transferable attacks essential for realistic robustness evaluation. Recent Adversarial Evolution Triangle (AET) methods improve transferability by interpolating over a simplex formed by clean and historical adversarial samples, yet rely on finite random sampling to approximate effective perturbation distributions, which is unstable under limited budgets. In this paper, we propose Dirichlet Distributional Gradient Aggregation (DDGA), a distribution-aware adversarial attack framework that explicitly models and optimizes perturbations over the AET simplex. DDGA parameterizes simplex mixing weights with a learnable Dirichlet policy and optimizes the expected adversarial objective via policy gradient, replacing heuristic sampling with principled distributional optimization. Moreover, we exploit the closed-form covariance of the learned distribution to construct orthogonal perturbations that enhance gradient diversity. Extensive experiments on image-text retrieval and image captioning demonstrate that DDGA consistently outperforms state-of-the-art transfer-based attacks across multiple VLM architectures.
","absKo":"Vision-Language Model (VLM)은 multimodal task에서 뛰어난 성능을 달성하지만 adversarial example에 여전히 매우 취약하여, transferable attack이 실제적인 robustness 평가에 필수적이다. 최근의 Adversarial Evolution Triangle (AET) 방법은 clean sample과 historical adversarial sample로 이루어진 simplex 위에서 interpolation을 수행함으로써 transferability를 향상시키지만, 유한한 random sampling에 의존해 효과적인 perturbation 분포를 근사하므로 제한된 budget 하에서는 불안정하다. 본 논문에서는 simplex 전반의 perturbation을 명시적으로 모델링하고 최적화하는 distribution-aware adversarial attack framework인 Dirichlet Distributional Gradient Aggregation (DDGA)를 제안한다. DDGA는 simplex mixing weight를 학습 가능한 Dirichlet policy로 parameterize하고, heuristic sampling을 원리 있는 distributional optimization으로 대체하여 policy gradient를 통해 기대 adversarial objective를 최적화한다. 더 나아가, 학습된 분포의 closed-form covariance를 활용해 gradient diversity를 높이는 orthogonal perturbation을 구성한다. image-text retrieval과 image captioning에 대한 광범위한 실험은 DDGA가 여러 VLM architecture에서 state-of-the-art transfer-based attack을 일관되게 능가함을 보여준다.
"},{"id":"63398","en":"Geometry-based Schrödinger Bridges for Trustworthy Multimodal Fusion","ko":"신뢰할 수 있는 멀티모달 융합을 위한 기하 기반 Schrödinger Bridge","authors":"Jiayu Xiong, Jing Wang, Qi Zhang, Wanlong Wang, Jun Xue","pos":"#1610","link":"https://openreview.net/forum?id=XVHhMLqPrh","abs":"Real-world multimodal systems must be robust against low-quality data, such as sensor noise, incomplete multimodal data and conflicting inputs. However, existing trustworthy fusion methods rely on the model's own prediction confidence to judge data quality. This creates a circular dependency: when a model is confident but wrong (overconfident), these methods fail to detect the error. To break this loop, we propose Geometry-based Multimodal Fusion (GMF). Instead of relying on predictions, we evaluate reliability by measuring the physical effort required to map input data back to the valid data manifold. We implement this using Diffusion Schrödinger Bridges with Rectified Flow, which allows us to calculate Transport Energy as a direct metric for quality. The logic is simple: valid data sits on the manifold (low energy), while noisy, incomplete data or conflicting data requires high energy to be restored. This geometric metric acts as an independent judge, effectively flagging unreliable inputs even when the classifier is fooled. Extensive experiments demonstrate that GMF significantly improves robustness against severe sensor noise and semantic conflicts compared to confidence-based baselines.
","absKo":"실세계 multimodal system은 sensor noise, incomplete multimodal data, conflicting input과 같은 저품질 데이터에 대해 robust해야 한다. 그러나 기존의 trustworthy fusion method는 데이터 품질을 판단하기 위해 모델 자신의 prediction confidence에 의존한다. 이는 순환적 의존성을 만든다. 모델이 confident하지만 틀린 경우(overconfident), 이러한 방법은 오류를 감지하지 못한다. 이 고리를 끊기 위해 우리는 Geometry-based Multimodal Fusion(GMF)을 제안한다. 예측에 의존하는 대신, 입력 데이터를 valid data manifold로 되돌리는 데 필요한 물리적 effort를 측정하여 신뢰성을 평가한다. 우리는 이를 Diffusion Schrödinger Bridges와 Rectified Flow를 사용해 구현하며, 이를 통해 Transport Energy를 품질의 직접적인 metric으로 계산할 수 있다. 논리는 간단하다. valid data는 manifold 위에 있으므로 energy가 낮고, noisy, incomplete, 또는 conflicting data는 복원하는 데 높은 energy를 필요로 한다. 이 기하학적 metric은 독립적인 판단자로 작동하여, classifier가 속더라도 신뢰할 수 없는 입력을 효과적으로 표시한다. 광범위한 실험은 GMF가 confidence-based baseline과 비교해 심각한 sensor noise와 semantic conflict에 대한 robustness를 크게 향상시킴을 보여준다.
"},{"id":"62062","en":"Instruction Lens Score: Your Instruction Contributes a Powerful Object Hallucination Detector for Multimodal Large Language Models","ko":"Instruction Lens Score: 멀티모달 LLM을 위한 강력한 object hallucination detector로서의 instruction","authors":"Runhe Lai, Xinhua Lu, Yanqi Wu, Jinlun Ye, Weijiang Yu, Ruixuan Wang","pos":"#1611","link":"https://openreview.net/forum?id=kCJ9kaebgd","abs":"Multimodal large language models (MLLMs) have achieved remarkable progress, yet the object hallucination remains a critical challenge for reliable deployment. In this paper, we present an in-depth analysis of instruction token embeddings and reveal that they implicitly encode visual information while effectively filtering erroneous information introduced by misleading visual embeddings. Building on this insight, we propose the Instruction Lens Score (InsLen), which combines a Calibrated Local Score with a Context Consistency Score that measures context consistency of the object tokens. The proposed approach serves as a plug-and-play object hallucination detector without relying on auxiliary models or additional training. Extensive experiments across multiple benchmarks and diverse MLLM architectures demonstrate that InsLen consistently outperforms existing hallucination detection methods, highlighting its effectiveness and robustness. The code will be publicly available.
","absKo":"Multimodal large language models (MLLMs)은 놀라운 발전을 이루었지만, object hallucination은 신뢰할 수 있는 배치를 가로막는 핵심 과제로 남아 있다. 본 논문에서는 instruction token embedding에 대한 심층 분석을 제시하고, 이들이 시각적 정보를 암묵적으로 인코딩하면서도 오해를 불러일으키는 visual embedding이 유입한 오류 정보를 효과적으로 필터링함을 밝힌다. 이러한 통찰 위에서 우리는 Calibrated Local Score와 object token의 context consistency를 측정하는 Context Consistency Score를 결합한 Instruction Lens Score (InsLen)를 제안한다. 제안한 방법은 auxiliary model이나 추가 학습에 의존하지 않는 plug-and-play object hallucination detector로 작동한다. 여러 benchmark와 다양한 MLLM architecture에 걸친 광범위한 실험은 InsLen이 기존 hallucination detection 방법을 일관되게 능가함을 보여 주며, 그 효과성과 견고성을 강조한다. 코드는 공개될 예정이다.
"},{"id":"65301","en":"Intra-Modal Neighbors Never Lie: Rectifying Inter-Modal Noisy Correspondence via Graph-Based Intra-Modal Reasoning","ko":"모달 내 이웃은 결코 거짓말하지 않는다: 그래프 기반 모달 내 추론을 통한 모달 간 노이즈 대응 교정","authors":"Yang Liu, Wentao Feng, Shudong Huang, Yalan Ye, Jiancheng Lv","pos":"#1612","link":"https://openreview.net/forum?id=ExIKTbg2Px","abs":"Large-scale web-harvested datasets have fueled the progress of cross-modal retrieval but inevitably suffer from \\textit{noisy correspondence}, which severely degrades model generalization. Existing methods primarily address this by filtering out noise or seeking a substitute label, yet they predominantly remain bound by a ``Discrete Selection'' paradigm. We argue that relying on a single discrete proxy induces \\textit{Single-Point Fragility} and \\textit{Discretization Error}. To overcome these limitations, we propose a novel framework, \\textbf{Intra-modal Neighbor-based Rectification (IN$^2$R)}, which shifts the paradigm from searching for a substitute to \\textit{synthesizing} a reliable supervision target. Leveraging the intrinsic geometric stability of intra-modal data, IN$^2$R employs a \\textbf{Graph Refiner} to perform relational reasoning over neighbors retrieved from a dynamic \\textbf{Cross-Model Memory}. Instead of propagating discrete labels, our method synthesizes a continuous, soft prototype that reflects the consensus of the local semantic neighborhood, effectively rectifying inter-modal misalignment. Extensive experiments on Flickr30K, MS-COCO, and CC152K demonstrate that IN$^2$R significantly outperforms state-of-the-art methods.","absKo":"대규모 웹 수집 데이터셋은 cross-modal retrieval의 발전을 이끌어 왔지만, 불가피하게 \\textit{noisy correspondence} 문제를 겪어 model generalization을 심각하게 저해한다. 기존 방법은 주로 noise를 제거하거나 대체 label을 찾는 방식으로 이를 다루지만, 대부분은 여전히 ``Discrete Selection'' 패러다임에 묶여 있다. 우리는 단일 discrete proxy에 의존하는 것이 \\textit{Single-Point Fragility}와 \\textit{Discretization Error}를 유발한다고 주장한다. 이러한 한계를 극복하기 위해, 우리는 대체물을 찾는 대신 신뢰할 수 있는 supervision target을 \\textit{synthesizing}하는 방향으로 패러다임을 전환하는 새로운 프레임워크, \\textbf{Intra-modal Neighbor-based Rectification (IN$^2$R)}를 제안한다. Intra-modal 데이터의 내재적 기하학적 안정성을 활용하여, IN$^2$R은 동적으로 유지되는 \\textbf{Cross-Model Memory}에서 검색한 neighbor들에 대해 관계 추론을 수행하는 \\textbf{Graph Refiner}를 사용한다. 이 방법은 discrete label을 전파하는 대신, 국소 semantic neighborhood의 합의를 반영하는 연속적이고 soft한 prototype을 합성하여 inter-modal misalignment를 효과적으로 보정한다. Flickr30K, MS-COCO, CC152K에서의 광범위한 실험은 IN$^2$R이 state-of-the-art 방법을 크게 능가함을 보여준다."},{"id":"63466","en":"Less Precise Can Be More Reliable: A Systematic Evaluation of Quantization’s Impact on VLMs Beyond Accuracy","ko":"덜 정밀한 것이 더 신뢰할 수 있다: 정확도를 넘어 VLM에 대한 양자화 영향의 체계적 평가","authors":"Aymen Bouguerra, Daniel Vasquez, Alexandra Gomez-Villa, Chokri Mraidha, Fabio Arnez","pos":"#1613","link":"https://openreview.net/forum?id=Wvd80GPJ9F","abs":"Vision-Language Models (VLMs) such as CLIP have revolutionized zero-shot classification and safety-critical tasks, including Out-of-Distribution (OOD) detection. However, their high computational cost hinders efficient real-world deployment. While quantization is a standard solution for efficiency, its broader impact on reliability metrics beyond simple Top-1 accuracy remains critically under-explored. In this study, we conduct a large-scale evaluation of VLM quantization across a comprehensive experimental suite of over 700k evaluation runs with varying configurations. We find that, contrary to the assumption that quantization's noise degrades performance, it can simultaneously improve accuracy, calibration, OOD detection, and robustness to noise, though not to covariate shift or spurious correlations. We leverage these counterintuitive findings to characterize the mechanics of quantization beyond simple regularization: we show that quantization dampens high-rank spectral components, compelling the model to rely more heavily on robust, low-rank features. Ultimately, this spectral filtering effect drives the observed improvements in generalization and noise tolerance, establishing a pathway to deploy faster, more reliable VLMs by utilizing quantization beyond its conventional role.
","absKo":"CLIP과 같은 Vision-Language Models (VLMs)는 zero-shot classification과 Out-of-Distribution (OOD) detection을 포함한 safety-critical task를 혁신했다. 그러나 높은 계산 비용은 실제 환경에서의 효율적 배치를 저해한다. Quantization은 효율성을 위한 표준적 해법이지만, 단순한 Top-1 accuracy를 넘어서는 신뢰성 지표에 미치는 더 넓은 영향은 아직 충분히 탐구되지 않았다. 본 연구에서는 다양한 설정을 포함하는 70만 회가 넘는 evaluation run으로 구성된 포괄적 실험 suite에서 VLM quantization을 대규모로 평가한다. 그 결과, quantization의 noise가 성능을 저하시킨다는 통념과 달리, quantization은 accuracy, calibration, OOD detection, 그리고 noise에 대한 robustness를 동시에 향상시킬 수 있음을 발견했으며, covariate shift나 spurious correlation에 대해서는 그렇지 않음을 확인했다. 우리는 이러한 직관에 반하는 발견을 활용하여 단순한 regularization을 넘어서는 quantization의 메커니즘을 규명한다. 즉, quantization이 high-rank spectral component를 약화시켜 모델이 더 robust한 low-rank feature에 더 크게 의존하도록 만든다는 점을 보인다. 궁극적으로 이러한 spectral filtering effect가 generalization과 noise tolerance의 관측된 향상을 이끌며, quantization을 전통적인 역할을 넘어 사용함으로써 더 빠르고 더 신뢰성 높은 VLM을 배치할 수 있는 경로를 제시한다."},{"id":"66572","en":"MEDUSA: Motion Elimination in Diffusion Using Spectral Attack","ko":"MEDUSA: 스펙트럼 공격을 이용한 Diffusion에서의 움직임 제거","authors":"Hongwei Yu, Daoqing Zha, Xinlong Ding, Jiawei Li, Junbao Zhuo, Qiankun Liu, Huimin Ma, Jiansheng Chen","pos":"#1614","link":"https://openreview.net/forum?id=2UoBybbzoM","abs":"With the widespread application of Video Diffusion Models (VDMs), video synthesis has achieved remarkable temporal dynamics. Image-to-Video (I2V) generation allows users to provide reference images, which enables attackers to inject adversarial noise into these conditions. Due to the robust spatio-temporal priors in VDMs, conventional frame-level attacks merely induce superficial artifacts and struggle to suppress the synthesis of motion semantics. In this work, we approach the problem by exploring the underlying mechanism of temporal dynamics. We reveal that the static video manifests as a temporal rank collapse, a degenerate state characterized by rank-1 degeneracy within the temporal attention matrix. Guided by this insight, we propose Motion Elimination in Diffusion Using Spectral Attack (MEDUSA) to freeze the video. It minimizes the nuclear norm of the attention matrix to induce the temporal rank collapse. This objective circumvents the vanishing gradient problem encountered when directly imposing a rigid temporal mapping on the attention matrix. Furthermore, we provide a mathematical analysis of this phenomenon and the gradient vanishing problem during the optimization. Experiments confirm that MEDUSA achieves excellent performance and validates the effectiveness of spectral constraints.
","absKo":"Video Diffusion Models (VDMs)의 광범위한 적용과 함께 video synthesis는 놀라운 temporal dynamics를 달성해 왔다. Image-to-Video (I2V) 생성은 사용자가 reference image를 제공할 수 있게 하며, 이는 공격자가 이러한 condition에 adversarial noise를 주입할 수 있음을 의미한다. VDM에 내재한 강건한 spatio-temporal prior 때문에, 기존의 frame-level attack은 표면적인 artifact만 유발할 뿐 motion semantics의 생성을 억제하는 데는 어려움을 겪는다. 본 연구에서는 temporal dynamics의 underlying mechanism을 탐구함으로써 이 문제에 접근한다. 우리는 static video가 temporal rank collapse로 나타남을 밝히며, 이는 temporal attention matrix 내의 rank-1 degeneracy로 특징지어지는 붕괴 상태이다. 이러한 통찰에 따라, 우리는 video를 freeze하기 위해 Diffusion Using Spectral Attack (MEDUSA)을 통한 Motion Elimination을 제안한다. 이 방법은 attention matrix의 nuclear norm을 최소화하여 temporal rank collapse를 유도한다. 이 objective는 attention matrix에 엄격한 temporal mapping을 직접 부과할 때 발생하는 vanishing gradient problem을 우회한다. 또한, 우리는 이 현상과 최적화 과정에서의 gradient vanishing problem에 대한 수학적 분석을 제공한다. 실험은 MEDUSA가 뛰어난 성능을 달성함을 확인하며, spectral constraint의 효과를 검증한다.
"},{"id":"60963","en":"Spatial-Aware Reduction Framework: Towards Efficient and Faithful Visual State Space Models","ko":"Spatial-Aware Reduction Framework: 효율적이고 충실한 Visual State Space Model을 향하여","authors":"Jindi Lv, Aoyu Li, Yuhao Zhou, Zheng Zhu, Xiaofeng Wang, Qing Ye, Yueqi Duan, Wentao Feng, Jiancheng Lv","pos":"#3000","link":"https://openreview.net/forum?id=v0lOwZnull","abs":"Mamba demonstrates strong efficiency in modeling long visual sequences. However, when token reduction is applied to structurally enhanced Mamba variants, these models exhibit a severe performance collapse. We attribute this degradation to the spatially agnostic nature of existing reduction methods, which violate the two-dimensional structural premise required by the selective scanning mechanism. In this work, we propose STORM, a spatial-aware token reduction framework designed to maintain structural integrity throughout the compression process. STORM reformulates reduction into a structured operation on spatial units, enforcing localized constraints to maintain both grid topology and neighborhood coherence. As a plug-and-play module, STORM equips existing reduction pipelines with explicit spatial awareness without any training. Empirical results demonstrate that STORM achieves state-of-the-art pruning accuracy across diverse vision Mamba backbones under training-free settings. Notably, STORM delivers a substantial accuracy recovery on VMamba, outperforming prior methods by up to 63.3\\% in top-1 accuracy. Meanwhile, STORM incurs only a 1.0\\% accuracy drop on PlainMamba, achieving performance comparable to ViT.
","absKo":"Mamba는 긴 visual sequence를 모델링하는 데 강력한 효율성을 보인다. 그러나 구조적으로 강화된 Mamba 변형에 token reduction을 적용하면, 이러한 모델은 심각한 성능 붕괴를 보인다. 우리는 이러한 성능 저하를 기존 reduction 방법의 공간적 비고려성 때문이라고 본다. 이는 selective scanning mechanism이 요구하는 2차원 구조적 전제를 위반하기 때문이다. 이 연구에서 우리는 압축 과정 전반에 걸쳐 structural integrity를 유지하도록 설계된 spatial-aware token reduction framework인 STORM을 제안한다. STORM은 reduction을 spatial unit에 대한 구조화된 연산으로 재정식화하고, grid topology와 neighborhood coherence를 모두 유지하도록 지역적 제약을 강제한다. plug-and-play module로서 STORM은 학습 없이 기존 reduction pipeline에 명시적인 spatial awareness를 부여한다. 실험 결과, STORM은 training-free 설정에서 다양한 vision Mamba backbone 전반에 걸쳐 state-of-the-art pruning accuracy를 달성함을 보여준다. 특히 VMamba에서 STORM은 상당한 accuracy 회복을 제공하며, 이전 방법들을 top-1 accuracy 기준 최대 63.3\\%까지 상회한다. 한편 PlainMamba에서는 단 1.0\\%의 accuracy drop만을 유발하며, ViT에 견줄 만한 성능을 달성한다.
"},{"id":"64693","en":"Cert-LAS: Toward Certified Model Ownership Verification for Text-to-Image Diffusion Models via Layer-Adaptive Smoothing","ko":"Cert-LAS: Layer-Adaptive Smoothing을 통한 Text-to-Image Diffusion Model의 인증된 모델 소유권 검증을 향하여","authors":"Leyi Qi, Yiming Li, Siyuan Liang, Zhengzhong Tu, Dacheng Tao","pos":"#3101","link":"https://openreview.net/forum?id=KmDPaiwdZh","abs":"Large-scale text-to-image (T2I) diffusion models have enabled unprecedented creative applications, but their unauthorized use and reproduction have raised serious intellectual property concerns, making model ownership verification (MOV) increasingly critical. We find that existing backdoor-based diffusion watermarking methods often (implicitly) assume a `faithful' verification process, namely, that the verifier can query a suspicious model and obtain the faithful watermark response to complete MOV. However, in practice, adversaries may intentionally or unintentionally damage potential watermark signals, significantly degrading verification reliability. To address this issue, we propose Cert-LAS, the first certified MOV method for T2I models based on layer-adaptive smoothing. In general, Cert-LAS embeds specified watermarks using diffusion classifiers and an LFS-guided layer-wise noise allocation, and verifies ownership by examining whether the suspected model exhibits significantly stronger watermark responses compared to unwatermarked references through hypothesis testing. We further prove that, under certain conditions, our Cert-LAS can still achieve reliable verification even in the presence of malicious removal attacks. Extensive experiments validate the effectiveness of Cert-LAS and its resistance to adaptive attacks.
","absKo":"대규모 text-to-image (T2I) diffusion model은 전례 없는 창의적 응용을 가능하게 했지만, 무단 사용과 재배포는 심각한 지적 재산권 우려를 불러일으켜 model ownership verification (MOV)의 중요성을 더욱 높였다. 우리는 기존의 backdoor 기반 diffusion watermarking 방법이 종종 (암묵적으로) 'faithful' verification process를 가정한다는 점을 발견했다. 즉, verifier가 의심되는 model에 query를 보내 faithful watermark response를 얻어 MOV를 완료할 수 있다고 보는 것이다. 그러나 실제로는 adversary가 의도적이든 비의도적이든 잠재적 watermark signal을 손상시켜 verification reliability를 크게 떨어뜨릴 수 있다. 이 문제를 해결하기 위해, 우리는 layer-adaptive smoothing에 기반한 T2I model용 최초의 certified MOV method인 Cert-LAS를 제안한다. 일반적으로 Cert-LAS는 diffusion classifier와 LFS-guided layer-wise noise allocation을 사용해 지정된 watermark를 embedding하고, hypothesis testing을 통해 의심되는 model이 watermark가 없는 reference에 비해 유의미하게 더 강한 watermark response를 보이는지 검사하여 ownership을 검증한다. 또한 우리는 특정 조건하에서, 악의적 제거 공격이 존재하더라도 Cert-LAS가 신뢰할 수 있는 verification을 계속 달성할 수 있음을 증명한다. 광범위한 실험은 Cert-LAS의 효과와 adaptive attack에 대한 저항성을 검증한다.
"},{"id":"61642","en":"Density-Guided Continuous Flow for Robust Counterfactual Explanations","ko":"강건한 Counterfactual Explanation을 위한 Density-Guided Continuous Flow","authors":"Jun Tan, Qing Guo, Zicheng Xu, Jinglin Li, QI Fang, Ning Gui","pos":"#3200","link":"https://openreview.net/forum?id=oAiq3HWlI6","abs":"Counterfactual explanations (CEs) are essential for actionable recourse, yet their reliability is often compromised in low-density regions, where classifiers exhibit high variance. Unlike existing methods that rely on expensive ensemble intersections to define stability, we propose DensityFlow, a generative framework that constructs robust CEs by adhering to the high-confidence data manifold. Specifically, we model the counterfactual generation as continuous-time dynamics parameterized by Neural ODE, guided by a differentiable density score to actively avoid uncertain, low-density areas. This density score is learned via Noise Contrastive Estimation, effectively leveraging a (K+1)-way discriminator to estimate density ratios. For black-box settings, we introduce a local proxy distillation mechanism that aligns a lightweight surrogate with the target model strictly within the trajectory of CE generation, enabling efficient gradient-based optimization with minimal queries. Experiments demonstrate that DensityFlow achieves superior validity under model multiplicity while significantly reducing query costs compared to ensemble-based baselines. Our implementation is available in the anonymous repository.
","absKo":"Counterfactual explanations (CEs)는 actionable recourse에 필수적이지만, classifier의 variance가 큰 low-density region에서는 그 신뢰성이 자주 저하된다. 안정성을 정의하기 위해 비용이 큰 ensemble intersection에 의존하는 기존 방법들과 달리, 우리는 high-confidence data manifold를 따름으로써 robust한 CE를 구성하는 generative framework인 DensityFlow를 제안한다. 구체적으로, 우리는 counterfactual generation을 Neural ODE로 parameterize된 continuous-time dynamics로 모델링하고, differentiable density score의 안내를 받아 불확실하고 low-density한 영역을 적극적으로 피하도록 한다. 이 density score는 Noise Contrastive Estimation을 통해 학습되며, 효과적으로 (K+1)-way discriminator를 활용해 density ratio를 추정한다. black-box setting을 위해, 우리는 CE generation trajectory 내부에서만 target model과 lightweight surrogate를 엄격하게 정렬하는 local proxy distillation mechanism을 도입하여, 최소한의 query로 효율적인 gradient-based optimization을 가능하게 한다. 실험은 DensityFlow가 model multiplicity 하에서 더 우수한 validity를 달성하면서도 ensemble-based baseline과 비교해 query cost를 크게 줄임을 보여준다. 우리의 구현은 anonymous repository에서 제공된다.
"},{"id":"65890","en":"Geometric Rate–Distortion Invariance for Domain Generalization","ko":"도메인 일반화를 위한 기하학적 율-왜곡 불변성","authors":"Tong Liu, Sen Liang, Shuo Bai","pos":"#3201","link":"https://openreview.net/forum?id=96ma1Gyrnj","abs":"Domain generalization (DG) aims to learn representations that remain predictive under distribution shifts. A key challenge is that the target domain is unobserved during training, which complicates the search for invariant representations: alignment objectives that do not account for the preservation of discriminative structure may become ill-conditioned or lead to degenerate solutions, especially under finite samples. We propose Geometric Rate–Distortion Invariance (RDI), a DG framework that addresses this challenge by generalizing classical rate–distortion theory to Grassmann manifolds. RDI explicitly models class-conditional representations as low-dimensional subspaces and formulates DG as a joint optimization of (i) cross-domain subspace alignment (geometric distortion) and (ii) spectral–volumetric complexity (a capacity-regularized rate term). This integrated approach is designed to promote stable alignment while preventing the collapse of discriminative geometry, adapting to dataset-specific regimes. We provide finite-sample stability guarantees under bounded shifts. Experiments on DomainBed demonstrate that RDI is competitive with strong DG baselines, and ablations verify that reliable generalization necessitates the concerted action of both alignment and complexity control.
","absKo":"Domain generalization(DG)은 distribution shift 하에서도 예측력을 유지하는 representation을 학습하는 것을 목표로 한다. 핵심 과제는 target domain이 training 동안 관측되지 않아 invariant representation 탐색이 복잡해진다는 점이다. discriminative structure의 보존을 고려하지 않는 alignment objective는 finite sample 하에서 ill-conditioned해지거나 degenerate solution으로 이어질 수 있다. 우리는 고전적인 rate-distortion theory를 Grassmann manifold로 일반화함으로써 이 문제를 해결하는 Geometric Rate–Distortion Invariance(RDI)를 제안한다. RDI는 class-conditional representation을 저차원 subspace로 명시적으로 모델링하고, DG를 (i) cross-domain subspace alignment(geometric distortion)과 (ii) spectral-volumetric complexity(capacity-regularized rate term)의 joint optimization으로 정식화한다. 이 통합적 접근은 dataset-specific regime에 적응하면서도 안정적인 alignment를 촉진하고, discriminative geometry의 붕괴를 방지하도록 설계되었다. 우리는 bounded shift 하에서 finite-sample stability guarantee를 제시한다. DomainBed 실험에서 RDI는 강한 DG baseline과 경쟁력 있는 성능을 보였고, ablation은 신뢰할 수 있는 generalization에 alignment와 complexity control의 협력이 모두 필요함을 검증했다.
"},{"id":"65866","en":"Thinking in Flow: A Dissipative Stabilization Operator for Robust Autoregressive Reasoning","ko":"Flow 속의 사고: 강건한 자기회귀 추론을 위한 소산 안정화 연산자","authors":"Yujie Huang, Wenwu He, Zhuo-Xu Cui","pos":"#3203","link":"https://openreview.net/forum?id=9IQpUEKOGM","abs":"Chain-of-Thought (CoT) prompting enables multi-step reasoning in large language models, yet long-horizon generation remains brittle under distribution shift and context interference: irrelevant cues persist, small deviations compound into inference drift, and late-stage corrections can destabilize the trajectory. We recast autoregressive decoding as a perturbed long-horizon dynamical system and introduce an inference-time stabilization operator that targets trajectory-level reliability rather than token-level fluency. Specifically, we propose ODE-guided language models, which augment a base Transformer with a persistent continuous-time thought state whose dynamics are explicitly designed to be dissipative, enabling stable evidence accumulation with controlled forgetting. Instantiating this framework, Thinking in Flow (TiF) equips the model with a lightweight Neural ODE controller and injects its output through post-norm residual updates to achieve numerically stable, low-intrusion steering. A demand--supply (uncertainty--capacity) gate determines when intervention is warranted, while a direction gate determines how to steer in representation space, yielding selective, do-no-harm corrections instead of persistent bias. We establish well-posedness, dissipativity, and incremental stability of the controlled thought dynamics, implying bounded interventions over arbitrarily long contexts, and empirically demonstrate improved robustness to distractions and semantic perturbations, while matching or improving accuracy on mathematical reasoning benchmarks across both the Llama and Qwen model families; we further observe gains on non-mathematical BBH reasoning tasks when training TiF on Llama.
","absKo":"Chain-of-Thought (CoT) prompting은 large language models에서 multi-step reasoning을 가능하게 하지만, 장기 생성은 distribution shift와 context interference 아래에서 쉽게 무너진다. 관련 없는 단서가 지속되고, 작은 편차가 누적되어 inference drift로 이어지며, 후반 단계의 수정은 trajectory를 불안정하게 만들 수 있다. 우리는 autoregressive decoding을 perturbed long-horizon dynamical system으로 재정식화하고, token-level fluency가 아니라 trajectory-level reliability를 목표로 하는 inference-time stabilization operator를 도입한다. 구체적으로, 우리는 base Transformer에 지속적인 continuous-time thought state를 추가하고 그 dynamics가 명시적으로 dissipative하도록 설계한 ODE-guided language models를 제안하여, 제어된 forgetting과 함께 안정적인 evidence accumulation이 가능하게 한다. 이 프레임워크를 구현한 Thinking in Flow (TiF)는 model에 lightweight Neural ODE controller를 장착하고, 그 출력을 post-norm residual update를 통해 주입하여 수치적으로 안정적이고 침투가 적은 steering을 달성한다. demand--supply (uncertainty--capacity) gate는 언제 intervention이 필요한지 결정하고, direction gate는 representation space에서 어떻게 steer할지를 결정하여, 지속적인 편향이 아니라 선택적이고 do-no-harm인 correction을 제공한다. 우리는 controlled thought dynamics의 well-posedness, dissipativity, incremental stability를 확립하여 임의로 긴 context에서도 intervention이 bounded됨을 보이며, Llama와 Qwen 모델 계열 전반의 수학 reasoning benchmark에서 정확도를 유지하거나 향상시키면서 distraction과 semantic perturbation에 대한 robustness가 개선됨을 실증한다. 또한 Llama에서 TiF를 학습했을 때 비수학적 BBH reasoning task에서도 성능 향상을 관찰했다.
"},{"id":"62182","en":"BYORn: Bootstrap Your Own Responses to Defend Large Vision-Language Models Against Backdoor Attacks","ko":"BYORn: Large Vision-Language Models를 Backdoor Attack에서 방어하기 위한 Bootstrap Your Own Responses","authors":"Ivan Sabolic, Marin Oršić, Josip Šarić, Sven Loncaric","pos":"#3209","link":"https://openreview.net/forum?id=iyO15Uqy75","abs":"Supervised fine-tuning is the predominant approach for adapting autoregressive vision–language models to downstream tasks. Recent work has shown that this paradigm is highly vulnerable to backdoor attacks, and that existing defenses are ineffective in open-ended generation settings. In response, we propose BYORn, a backdoor-robust fine-tuning framework motivated by the observation that poisoned target responses are often semantically implausible given the corresponding image–text inputs and a pretrained model. BYORn identifies such misaligned responses and dynamically replaces them with alternative responses generated by the model, thereby breaking the correlation between triggers and target outputs. The resulting objective gradient corresponds to the gradient of the empirical estimate of the population risk upper bound over the clean data distribution. Empirically, BYORn consistently improves robustness to backdoor attacks while preserving clean-task performance, establishing a new trade-off frontier between generalization and attack success rate. Finally, we demonstrate that BYORn remains effective against adaptive attacks specifically designed to circumvent the proposed defense.
","absKo":"Supervised fine-tuning은 autoregressive vision–language model을 downstream task에 적응시키는 데 가장 널리 쓰이는 접근법이다. 최근 연구는 이 패러다임이 backdoor attack에 매우 취약하며, 기존 defense가 open-ended generation setting에서 효과적이지 않음을 보였다. 이에 우리는 poisoned target response가 대응되는 image–text input과 pretrained model을 고려할 때 의미론적으로 부자연스러운 경우가 많다는 관찰에 기반한 backdoor-robust fine-tuning framework인 BYORn을 제안한다. BYORn은 이러한 misaligned response를 식별하고 이를 모델이 생성한 대체 response로 동적으로 교체함으로써, trigger와 target output 사이의 상관관계를 끊는다. 그 결과 얻어지는 objective gradient는 clean data distribution에 대한 population risk upper bound의 empirical estimate의 gradient에 해당한다. 실험적으로 BYORn은 clean task 성능을 유지하면서 backdoor attack에 대한 robustness를 일관되게 향상시켜, generalization과 attack success rate 사이의 새로운 trade-off frontier를 확립한다. 마지막으로, 우리는 BYORn이 제안한 defense를 우회하도록 특별히 설계된 adaptive attack에 대해서도 효과적임을 보인다.
"},{"id":"66133","en":"Learning to Extrapolate to New Tasks: A Relational Approach to Task Extrapolation","ko":"새로운 작업으로의 외삽 학습: 작업 외삽을 위한 관계 기반 접근법","authors":"Adam Ousherovitch, Yixin Wang","pos":"#4009","link":"https://openreview.net/forum?id=6cUXJo03zv","abs":"Modern learning systems excel at interpolation but struggle to generalize to unseen tasks outside the training distribution's support. This failure occurs even in simple settings, such as handling task parameters beyond the training range, and persists despite advances in foundation models. To this end, we develop the Relational Task Extrapolator (RTE), an algorithm designed to enable systematic extrapolation to novel tasks. The key observation is that extrapolation is inherently relational: extrapolating to unseen tasks requires learning how tasks transform into one another. If a model learns the transformation between tasks A and B during training, it can apply that same transformation to relate known tasks to unseen ones at test time. RTE operationalizes this idea by decomposing each target task into a known anchor task and a transformation linking the anchor and target. It then learns a relational operator, mapping an anchor–transformation pair to predictions for the target task. We instantiate RTE across multiple task extrapolation regimes in function prediction, e.g. where target tasks use out-of-range parameters (parameter extrapolation), has greater compositional depth (length extrapolation), and/or recombine function primitives in unseen ways (compositional extrapolation). We further extend RTE to sequence prediction, integrating it into fine-tuning algorithms for foundation models. Across empirical studies, we find that RTE substantially outperforms existing approaches on extrapolation to novel, unseen tasks.
","absKo":"현대의 learning system은 interpolation에는 뛰어나지만 training distribution의 support 밖에 있는 보지 못한 task로의 generalization에는 어려움을 겪는다. 이러한 실패는 training range를 벗어나는 task parameter를 다루는 것처럼 단순한 설정에서도 발생하며, foundation model의 발전에도 불구하고 지속된다. 이를 위해 우리는 새로운 task로의 체계적인 extrapolation을 가능하게 하도록 설계된 알고리즘인 Relational Task Extrapolator(RTE)를 개발한다. 핵심 관찰은 extrapolation이 본질적으로 relational하다는 점이다. 즉, 보지 못한 task로 extrapolate하려면 task들이 서로 어떻게 변환되는지 학습해야 한다. model이 training 동안 task A와 B 사이의 transformation을 학습하면, test time에 그 동일한 transformation을 적용해 알려진 task를 보지 못한 task와 연결할 수 있다. RTE는 각 target task를 하나의 known anchor task와 anchor와 target을 연결하는 transformation으로 분해함으로써 이 아이디어를 구현한다. 그런 다음 anchor–transformation pair를 target task의 prediction으로 매핑하는 relational operator를 학습한다. 우리는 function prediction의 여러 task extrapolation regime에 걸쳐 RTE를 구현한다. 예를 들어 target task가 범위를 벗어난 parameter를 사용하는 경우(parameter extrapolation), 더 큰 compositional depth를 갖는 경우(length extrapolation), 그리고/또는 function primitive를 보지 못한 방식으로 재조합하는 경우(compositional extrapolation)이다. 또한 foundation model의 fine-tuning algorithm에 통합하여 sequence prediction으로 RTE를 확장한다. 여러 실험 연구 전반에서, RTE가 새로운 보지 못한 task로의 extrapolation에서 기존 방법보다 현저히 우수함을 확인한다.
"},{"id":"62909","en":"``Someone Hid It!'': Query-Agnostic Black-Box Attacks on LLM-Based Retrieval","ko":"``누군가 숨겼다!'': LLM 기반 Retrieval 대상의 질의 비종속 블랙박스 공격","authors":"Jiate Li, Defu Cao, Li Li, Wei Yang, Yuehan Qin, Chenxiao Yu, Tiannuo Yang, Ryan A Rossi, Yan Liu, Xiyang Hu, Yue Zhao","pos":"#4116","link":"https://openreview.net/forum?id=bzmt9wJ6uW","abs":"Large language models (LLMs) have been serving as effective backbones for retrieval systems, including Retrieval-Augmentation-Generation (RAG), Dense Information Retriever (IR), and Agent Memory Retrieval. Recent studies have demonstrated that such LLM-based Retrieval (LLMR) is vulnerable to adversarial attacks, which manipulates documents by token-level injections and enables adversaries to either boost or diminish these documents in retrieval tasks. However, existing attack studies mainly (1) presume a known query is given to the attacker, and (2) highly rely on access to the victim model's parameters or interactions, which are hardly accessible in real-world scenarios, leading to limited validity. To further explore the secure risks of LLMR, we propose a practical black-box attack method that generates transferable injection tokens based on zero-shot surrogate LLMs without need of victim queries or victim models knowledge. The effectiveness of our attack raises such a robustness issue that similar effects may arise from benign or unintended document edits in the real world. To achieve our attack, we first establish a theoretical framework of LLMR and empirically verify it. Under the framework, we simulate the transferable attack as a min-max problem, and propose an adversarial learning mechanism that finds optimal adversarial tokens with learnable query samples. Our attack is validated to be effective on benchmark datasets across popular LLM retrievers.
","absKo":"Large language model(LLM)은 Retrieval-Augmentation-Generation(RAG), Dense Information Retriever(IR), Agent Memory Retrieval을 포함한 retrieval system의 효과적인 backbone으로 사용되어 왔다. 최근 연구는 이러한 LLM-based Retrieval(LLMR)이 adversarial attack에 취약하며, 공격자가 token-level injection으로 문서를 조작해 retrieval task에서 해당 문서를 높이거나 낮출 수 있음을 보여주었다. 그러나 기존 공격 연구는 주로 (1) 공격자에게 알려진 query가 주어진다고 가정하고, (2) 피해 모델의 parameter나 interaction에 대한 접근에 크게 의존하는데, 이는 실제 환경에서는 거의 접근하기 어려워 타당성이 제한된다. LLMR의 보안 위험을 더 깊이 탐구하기 위해, 우리는 피해자 query나 피해자 model에 대한 지식 없이 zero-shot surrogate LLM을 기반으로 transferable injection token을 생성하는 실용적인 black-box attack method를 제안한다. 우리의 공격이 효과적이라는 사실은 실제 세계에서 benign하거나 의도치 않은 document edit에서도 유사한 효과가 나타날 수 있는 robust issue를 제기한다. 이 공격을 달성하기 위해, 먼저 LLMR의 이론적 framework를 수립하고 이를 실증적으로 검증한다. 해당 framework 하에서 transfer 가능한 공격을 min-max problem으로 정식화하고, 학습 가능한 query sample을 사용해 최적의 adversarial token을 찾는 adversarial learning mechanism을 제안한다. 우리의 공격은 주요 LLM retriever 전반의 benchmark dataset에서 효과적임이 검증되었다.
"},{"id":"63160","en":"Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information","ko":"다수결을 넘어서: 고차 정보를 활용한 LLM 집계","authors":"Rui Ai, Yuqi Pan, David Simchi-Levi, Milind Tambe, Haifeng Xu","pos":"#4315","link":"https://openreview.net/forum?id=ZVyd4r9Xl5","abs":"With the rapid progress of multi-agent large language model (LLM) reasoning, how to effectively aggregate answers from multiple LLMs has emerged as a fundamental challenge. Standard majority voting treats all answers equally, failing to consider latent heterogeneity and correlation across models. In this work, we design two new aggregation algorithms called Optimal Weight (OW) and Inverse Surprising Popularity (ISP), leveraging both first-order and second-order information. Our theoretical analysis shows these methods provably mitigate the inherent limitations of majority voting under mild assumptions, leading to more reliable collective decisions. We empirically validate our algorithms on synthetic datasets, popular LLM fine-tuning benchmarks such as UltraFeedback and MMLU, and a real-world healthcare setting ARMMAN. Our algorithms consistently outperform standard baselines, establishing a robust, training-free framework for effective multi-agent LLM aggregation.
","absKo":"multi-agent large language model(LLM) 추론이 빠르게 발전함에 따라, 여러 LLM의 답변을 효과적으로 집계하는 방법은 근본적인 과제로 떠올랐다. 표준 majority voting은 모든 답변을 동일하게 취급하여, 모델 간 잠재적 이질성과 상관관계를 고려하지 못한다. 본 연구에서는 1차 및 2차 정보를 모두 활용하는 Optimal Weight(OW)와 Inverse Surprising Popularity(ISP)라는 두 가지 새로운 aggregation 알고리즘을 설계한다. 우리의 이론적 분석은 이 방법들이 온건한 가정하에서 majority voting의 내재적 한계를 증명 가능하게 완화하여, 더 신뢰할 수 있는 collective decision으로 이어짐을 보여준다. 우리는 합성 데이터셋, UltraFeedback 및 MMLU와 같은 널리 쓰이는 LLM fine-tuning benchmark, 그리고 실제 의료 환경인 ARMMAN에서 알고리즘을 실증적으로 검증했다. 우리의 알고리즘은 표준 baseline을 일관되게 능가하며, 효과적인 multi-agent LLM aggregation을 위한 견고한 training-free framework를 확립한다.
"},{"id":"64429","en":"Identifiable Nonlinear Differentiable Causal Discovery via Independence and Adaptive Group Sparsity","ko":"독립성 및 적응형 그룹 희소성을 통한 식별 가능한 비선형 미분 가능 인과 발견","authors":"Ruicong Yao, Tim Verdonck, Mihaela van der Schaar, Jakob Raymaekers","pos":"#4216","link":"https://openreview.net/forum?id=Nix6kuhB6P","abs":"Differentiable approaches to causal discovery have shown promise in learning DAG structures via continuous optimization, but their theoretical guarantees are largely restricted to models with homoscedastic noise or known noise distribution. In particular, existing methods based on mean squared error fail to identify the true DAG when noise distributions are non-Gaussian and vary in scale. In this paper, we address this gap in nonlinear additive noise models (ANMs) with arbitrary noise. Our approach extends NOTIME (Berrevoets et al. 2025) which minimizes an independence criterion among the residuals. We show that the global minimizer of the independence criterion corresponds to the true underlying DAG up to additional constant edges in general ANMs. To recover the exact structure, we introduce an adaptive group lasso penalty that regularizes entire columns of the first-layer weight matrix of an MLP, enabling the selective pruning of constant edges in a functionally meaningful way. Empirically, our method exhibits effective and stable performance across diverse noise types and variances, outperforming prior methods that lack identifiability guarantees in this setting.
","absKo":"Differentiable causal discovery 접근법은 continuous optimization을 통해 DAG 구조를 학습하는 데 유망함을 보여 왔지만, 이론적 보장은 대체로 homoscedastic noise 또는 알려진 noise distribution을 갖는 model에 제한되어 있다. 특히 mean squared error에 기반한 기존 방법은 noise distribution이 non-Gaussian이고 scale이 달라질 때 true DAG를 식별하지 못한다. 본 논문에서는 임의의 noise를 갖는 nonlinear additive noise model (ANM)에서 이 공백을 다룬다. 우리의 접근법은 residual들 사이의 independence criterion을 최소화하는 NOTIME(Berrevoets et al. 2025)을 확장한 것이다. 우리는 independence criterion의 global minimizer가 일반적인 ANM에서 추가적인 constant edge를 제외하면 true underlying DAG에 대응함을 보인다. 정확한 구조를 복원하기 위해, 우리는 MLP의 first-layer weight matrix의 전체 column을 regularize하는 adaptive group lasso penalty를 도입하여, functionally meaningful한 방식으로 constant edge를 선택적으로 pruning할 수 있게 한다. 실험적으로, 우리의 방법은 다양한 noise type과 variance 전반에서 효과적이고 안정적인 성능을 보이며, 이 설정에서 identifiability guarantee가 없는 기존 방법들을 능가한다."},{"id":"61219","en":"Causally Evaluating the Learnability of Formal Language Tasks","ko":"형식 언어 과제의 학습 가능성에 대한 인과적 평가","authors":"Vésteinn Snæbjarnarson, Anej Svete, Josef Valvoda, Reda Boumasmoud, Brian DuSell, Ryan Cotterell","pos":"#2303","link":"https://openreview.net/forum?id=sYUCXUeApn","abs":"Large language models (LLMs) trained on natural language data are capable of translating between languages, predict chess moves, and write poetry. Performance on a given task depends on directly relevant training data, yet confounders abound: data in related languages has been shown to help low-resource languages, and training on code has been shown to improve reasoning capabilities in natural language generation. Formal languages have become a common tool for understanding the learnability of language model architectures and their limitations---we argue that they should also be treated as multi-task learners when studying the learnability of a given \\emph{task}. This means that to understand the learnability of a given property of a formal language, confounders from other tasks need to be considered. We propose a causal graphical model and an efficient sampling mechanism for probabilistic finite-state automata that gives full control over the occurrences of a given task while maintaining other language properties. To enable targeted evaluation, we derive task-specific decomposed KL-divergences. These tools allow us to know the \\emph{causal} relationship between how often a task appears and its true learnability. Our experiments confirm that the correlation between task occurrences and learnability does not recover the accurate relationship---for this, the causal analysis and machinery is necessary.
","absKo":"자연어 데이터로 학습된 large language models (LLMs)는 언어 간 번역, 체스 수 읽기 예측, 시 쓰기까지 수행할 수 있다. 특정 task에서의 성능은 직접적으로 관련된 training data에 좌우되지만, 교란 요인도 많다. 관련 언어의 data가 low-resource language에 도움이 된다는 점, code로 training하면 natural language generation에서 reasoning 능력이 향상된다는 점이 그 예다. formal language는 language model architecture의 learnability와 그 한계를 이해하는 데 흔히 쓰이는 도구가 되었는데, 우리는 이것이 특정 \\emph{task}의 learnability를 연구할 때에도 multi-task learner로 간주되어야 한다고 주장한다. 이는 주어진 formal language의 어떤 성질의 learnability를 이해하려면, 다른 task에서 오는 교란 요인도 고려해야 함을 의미한다. 우리는 causal graphical model과 probabilistic finite-state automata를 위한 효율적인 sampling mechanism을 제안하며, 이를 통해 다른 language property는 유지하면서도 특정 task의 발생 빈도를 완전히 제어할 수 있게 한다. 목표 지향 평가를 가능하게 하기 위해, 우리는 task-specific decomposed KL-divergence를 유도한다. 이 도구들은 task가 얼마나 자주 나타나는지와 실제 learnability 사이의 \\emph{causal} 관계를 알 수 있게 해준다. 우리의 실험은 task occurrence와 learnability 사이의 상관관계만으로는 정확한 관계를 복원할 수 없음을 확인하며, 이를 위해서는 causal analysis와 그에 필요한 machinery가 필요함을 보여준다.
"},{"id":"63154","en":"The Fairness Hierarchy: A viewpoint from causal inference","ko":"공정성 계층: 인과 추론의 관점","authors":"Chengbo Zhang, Zhen Yao, Hao Pang, Changcheng Li","pos":"#3302","link":"https://openreview.net/forum?id=ZZ2eCNovxt","abs":"Fairness in machine learning prediction has attracted growing attention in recent years. In this article, we propose a causal–inference–based framework for fair prediction, defined through path-specific counterfactual interventions. Instead of imposing fairness via constraints on predictive objectives or model parameters, our approach specifies fairness directly at the level of counterfactual prediction semantics. Given a learned causal graph, we construct a predictive distribution for the outcome $Y$ using a structural causal model and generate counterfactual predictions by selectively intervening on causal paths emanating from sensitive attributes. By allowing or blocking the propagation of sensitive information along designated paths, possibly involving multiple sensitive sources, our framework induces a hierarchy of interpretable fairness notions, generalizing standard path-specific causal semantics. Our empirical experiments demonstrate how different fairness levels can be instantiated and compared in practice.","absKo":"머신러닝 예측에서의 fairness는 최근 몇 년간 큰 주목을 받아왔다. 이 글에서는 path-specific counterfactual intervention을 통해 정의되는 fair prediction을 위한 causal-inference 기반 프레임워크를 제안한다. 예측 목적함수나 model parameter에 제약을 두어 fairness를 강제하는 대신, 우리의 접근은 fairness를 counterfactual prediction semantics 수준에서 직접 규정한다. 학습된 causal graph가 주어지면, 우리는 structural causal model을 사용해 outcome $Y$에 대한 predictive distribution을 구성하고, sensitive attribute에서 출발하는 causal path를 선택적으로 개입하여 counterfactual prediction을 생성한다. 여러 sensitive source를 포함할 수 있는 지정된 path를 따라 sensitive information의 전파를 허용하거나 차단함으로써, 우리의 프레임워크는 해석 가능한 fairness 개념의 계층을 유도하며, 표준 path-specific causal semantics를 일반화한다. 우리의 실험은 서로 다른 fairness 수준을 실제로 어떻게 구체화하고 비교할 수 있는지를 보여준다."},{"id":"64724","en":"Unveiling the Structure of Do-Calculus Reasoning via Derivation Graphs","ko":"Derivation Graph를 통한 Do-Calculus 추론 구조 규명","authors":"Clément Yvernes, Emilie Devijver, Marianne Clausel, Eric Gaussier","pos":"#4311","link":"https://openreview.net/forum?id=KUBkuPwGf4","abs":"The do-calculus defines a general system of inference for interventional queries, allowing causal quantities to be transformed through successive applications of its rules. This process induces a rich space of equivalent interventional expressions, but combining and ordering these rules remains challenging. In this work, we introduce derivation graphs, which represent how do-calculus rules are applied and combined, and characterize the full space of observational and interventional probabilities which are equivalent under the do-calculus. The structure of these graphs yields a simple procedure that uses at most four applications of do-calculus rules. Finally, we show how applying identification algorithms to equivalent causal queries produces multiple valid estimands for the same causal quantity, eventually yielding more efficient estimators.
","absKo":"do-calculus는 interventional query를 위한 일반적인 inference system을 정의하며, causal quantity가 그 규칙들의 연속적 적용을 통해 변환되도록 합니다. 이 과정은 equivalent interventional expression의 풍부한 공간을 유도하지만, 이 규칙들을 결합하고 순서를 정하는 일은 여전히 어렵습니다. 본 연구에서는 do-calculus 규칙이 어떻게 적용되고 결합되는지를 나타내는 derivation graph를 도입하고, do-calculus 하에서 동치인 observational 및 interventional probability의 전체 공간을 특성화합니다. 이 그래프의 구조는 최대 네 번의 do-calculus 규칙 적용만 사용하는 간단한 절차를 제공합니다. 마지막으로, identification algorithm을 equivalent causal query에 적용하면 같은 causal quantity에 대해 여러 valid estimand가 생성되며, 궁극적으로 더 효율적인 estimator를 얻을 수 있음을 보입니다."},{"id":"65027","en":"Sinkhorn Treatment Effects","ko":"Sinkhorn 처치 효과","authors":"Medha Agarwal, Alex Luedtke","pos":"#4312","link":"https://openreview.net/forum?id=HdhEFfEsoz","abs":"We introduce the Sinkhorn treatment effect, an optimal transport measure of divergence between counterfactual distributions. Unlike classical quantities such as the average treatment effect, this measure captures differences across entire distributions. We analyze this divergence as a statistical functional and show it can be written as a smooth transformation of counterfactual mean embeddings with an appropriate kernel. This characterization allows us to establish first-order pathwise differentiability in general, and second-order pathwise differentiability under the null hypothesis of equal counterfactual distributions. Leveraging this smoothness, we construct debiased estimators and use them to obtain asymptotically valid tests for distributional treatment effects. Experiments on simulated and image data demonstrate the practical advantages of our estimator and testing procedure.
","absKo":"우리는 반사실 분포 간의 divergence를 측정하는 optimal transport 척도인 Sinkhorn treatment effect를 소개한다. average treatment effect와 같은 고전적 양과 달리, 이 척도는 전체 분포에 걸친 차이를 포착한다. 우리는 이 divergence를 통계적 functional로 분석하고, 적절한 kernel을 사용하면 반사실 mean embedding의 매끄러운 변환으로 쓸 수 있음을 보인다. 이러한 특징화는 일반적으로 first-order pathwise differentiability를 확립하게 해주며, 반사실 분포가 같다는 null hypothesis 하에서는 second-order pathwise differentiability까지 보장한다. 이 smoothness를 활용하여 우리는 debiased estimator를 구성하고, 이를 사용해 분포 수준의 treatment effect에 대한 점근적으로 유효한 검정을 얻는다. 시뮬레이션 데이터와 이미지 데이터에서의 실험은 제안한 estimator와 testing procedure의 실용적 이점을 입증한다.
"},{"id":"64187","en":"Robust Sequential Experimental Design for A/B Testing","ko":"A/B 테스트를 위한 강건한 순차 실험 설계","authors":"Qianglin Wen, Xiangkun Wu, Chengchun Shi, Ting Li, Niansheng Tang, Yingying Zhang, Hongtu Zhu","pos":"#4313","link":"https://openreview.net/forum?id=Q7lEZjtDKO","abs":"Experimental design has emerged as a powerful approach for improving the sample efficiency of A/B testing, yet existing designs rely critically on correctly specified models. We study robust sequential experimental design under model misspecification and develop a unified framework that covers both contextual bandit and dynamic settings. Theoretically, we prove that our design bounds the worst-case mean squared error of the estimated treatment effect. Empirically, we demonstrate the effectiveness of the proposed approach using synthetic and real-world datasets from a leading technology company.
","absKo":"실험 설계는 A/B testing의 sample efficiency를 향상시키는 강력한 접근법으로 부상했지만, 기존 설계는 올바르게 명시된 model에 크게 의존한다. 우리는 model misspecification 하에서의 robust sequential experimental design을 연구하고, contextual bandit과 dynamic setting 모두를 포괄하는 통합 프레임워크를 개발한다. 이론적으로, 우리는 우리의 설계가 추정된 treatment effect의 worst-case mean squared error를 상계함을 증명한다. 실증적으로는, 선도적인 기술 기업의 synthetic 및 실제 데이터셋을 사용하여 제안 방법의 효과를 입증한다.
"},{"id":"63457","en":"Regret-Based Federated Causal Discovery with Unknown Interventions","ko":"미지의 개입을 갖춘 후회 기반 연합 인과 발견","authors":"Federico Baldo, Charles Assaad","pos":"#4314","link":"https://openreview.net/forum?id=X1Ro597lLJ","abs":"Most causal discovery methods recover a completed partially directed acyclic graph (CPDAG) representing a Markov equivalence class from observational data. Recent work has extended these methods to federated settings to address data decentralization and privacy constraints, but often under idealized assumptions that all clients share the same causal model. Such assumptions are unrealistic in practice, as client-specific policies, for instance, across hospitals, naturally induce heterogeneous and unknown interventions. In this work, we address federated causal discovery under unknown client-level interventions. We propose I-PERI, a novel federated algorithm that first recovers the CPDAG common to all clients and then orients additional edges by exploiting structural differences induced by interventions across clients. This yields a tighter equivalence class, which we call the $\\mathbf{\\phi}$-Markov Equivalence Class, represented by an augmented version of the CPDAG, namely, a $\\mathbf{\\phi}$-CPDAG. We provide theoretical guarantees on the convergence of I-PERI, as well as on its privacy-preserving properties, and present empirical evaluations demonstrating the effectiveness of the proposed algorithm.","absKo":"대부분의 causal discovery 방법은 관측 데이터로부터 Markov equivalence class를 나타내는 completed partially directed acyclic graph(CPDAG)를 복원한다. 최근 연구는 데이터 분산화와 privacy 제약을 해결하기 위해 이러한 방법을 federated setting으로 확장했지만, 모든 client가 동일한 causal model을 공유한다는 이상화된 가정에 의존하는 경우가 많다. 예를 들어 병원 간 client-specific policy는 실제로 서로 다른, 그리고 알 수 없는 intervention을 자연스럽게 유도하므로 이러한 가정은 현실적이지 않다. 본 연구에서는 알 수 없는 client-level intervention 하에서의 federated causal discovery를 다룬다. 우리는 먼저 모든 client에 공통적인 CPDAG를 복원한 뒤, client 간 intervention으로 인해 유도된 structural difference를 활용하여 추가 edge의 방향을 결정하는 새로운 federated algorithm I-PERI를 제안한다. 이를 통해 더 타이트한 equivalence class를 얻으며, 이를 $\\mathbf{\\phi}$-Markov Equivalence Class라고 부르고, CPDAG의 확장 버전인 $\\mathbf{\\phi}$-CPDAG로 나타낸다. 우리는 I-PERI의 수렴성뿐 아니라 privacy-preserving 성질에 대한 이론적 보장을 제공하고, 제안한 알고리즘의 효과를 보여주는 실험적 평가도 제시한다."},{"id":"60705","en":"*Rank-Learner*: Orthogonal Ranking of Treatment Effects","ko":"*Rank-Learner*: Treatment Effect의 직교 랭킹","authors":"Henri Arno, Dennis Frauen, Emil Javurek, Thomas Demeester, Stefan Feuerriegel","pos":"#4400","link":"https://openreview.net/forum?id=xM56OFSUaN","abs":"Many decision-making problems require ranking individuals by their treatment effects rather than estimating the exact effect magnitudes. Examples include prioritizing patients for preventive care interventions, or ranking customers by the expected incremental impact of an advertisement. Surprisingly, while causal effect estimation has received substantial attention in the literature, the problem of directly learning rankings of treatment effects has largely remained unexplored. In this paper, we introduce Rank-Learner, a novel two-stage learner that directly learns the ranking of treatment effects from observational data. We first show that naive approaches based on precise treatment effect estimation solve a harder problem than necessary for ranking, while our Rank-Learner optimizes a pairwise learning objective that recovers the true treatment effect ordering, without explicit CATE estimation. We further show that our Rank-Learner is Neyman-orthogonal and thus comes with strong theoretical guarantees, including robustness to estimation errors in the nuisance functions. In addition, our Rank-Learner is model-agnostic, and can be instantiated with arbitrary machine learning models (e.g., neural networks). We demonstrate the effectiveness of our method through extensive experiments where Rank-Learner consistently outperforms standard CATE estimators and non-orthogonal ranking methods. Overall, we provide practitioners with a new, orthogonal two-stage learner for ranking individuals by their treatment effects.
","absKo":"많은 의사결정 문제에서는 정확한 효과 크기를 추정하기보다 개인을 treatment effect에 따라 순위화하는 것이 필요하다. 예로는 예방적 치료 개입을 위해 환자를 우선순위화하거나, 광고의 기대 incremental impact에 따라 고객을 순위화하는 경우가 있다. 놀랍게도, causal effect estimation은 문헌에서 상당한 주목을 받아온 반면, treatment effect의 ranking을 직접 학습하는 문제는 대체로 충분히 탐구되지 않았다. 이 논문에서 우리는 관측 데이터로부터 treatment effect의 순위를 직접 학습하는 새로운 two-stage learner인 Rank-Learner를 소개한다. 우리는 먼저 정확한 treatment effect estimation에 기반한 naive approach가 ranking에 필요 이상으로 어려운 문제를 푼다는 점을 보이고, 반면 Rank-Learner는 명시적 CATE estimation 없이 실제 treatment effect ordering을 복원하는 pairwise learning objective를 최적화한다. 또한 Rank-Learner가 Neyman-orthogonal하므로 nuisance function의 추정 오차에 대한 강한 robustness를 포함한 이론적 보장을 갖는다는 점도 보인다. 추가로, Rank-Learner는 model-agnostic하며 임의의 machine learning model(예: neural network)로 구현할 수 있다. 우리는 광범위한 실험을 통해 Rank-Learner가 표준 CATE estimator와 non-orthogonal ranking method를 일관되게 능가함을 보인다. 전반적으로, 우리는 실무자들에게 treatment effect에 따라 개인을 순위화하기 위한 새로운 orthogonal two-stage learner를 제공한다.
"},{"id":"63774","en":"Active Policy Optimization for Individualized Dosing via Gradient Variance Minimization","ko":"개별화 투약을 위한 Gradient Variance 최소화 기반 Active Policy Optimization","authors":"Yi Wan, Xin Wang, Huanhuan Chen","pos":"#4401","link":"https://openreview.net/forum?id=TsMlyXEEuA","abs":"In domains such as healthcare and marketing, learning optimal individualized dosing policies to maximize utility is crucial, yet high experimental costs impose strict budget constraints, necessitating efficient active policy learning. Existing active learning methods in causal inference primarily focus on binary treatments and effect estimation, leaving continuous dosing and policy optimization underexplored. To address this gap, we propose an active learning framework tailored for optimal policy learning. Exploiting the inherent structure of dose-response curves, we theoretically show that the policy optimization regret is bounded by the expected posterior gradient variance at the estimated optimal doses. Motivated by this result, we introduce Gradient Variance Active Learning for Individualized Dosing (GVALID), a batch acquisition strategy that greedily selects samples to minimize target gradient variance for efficient policy learning. Experiments demonstrate that GVALID achieves superior performance under strict budget constraints.
","absKo":"의료와 마케팅과 같은 도메인에서는 utility를 최대화하는 최적의 individualized dosing policy를 학습하는 것이 중요하지만, 높은 실험 비용은 엄격한 budget constraint를 부과하므로 효율적인 active policy learning이 필요하다. 기존의 causal inference에서의 active learning 방법은 주로 binary treatment와 effect estimation에 초점을 맞추고 있어, continuous dosing과 policy optimization은 충분히 탐구되지 않았다. 이 공백을 메우기 위해 우리는 optimal policy learning에 특화된 active learning framework를 제안한다. dose-response curve의 내재된 구조를 활용하여, 우리는 policy optimization regret가 추정된 optimal dose에서의 기대 posterior gradient variance에 의해 상계됨을 이론적으로 보인다. 이 결과에 동기를 받아, 우리는 Gradient Variance Active Learning for Individualized Dosing(GVALID)을 도입한다. 이는 효율적인 policy learning을 위해 target gradient variance를 최소화하도록 sample을 탐욕적으로 선택하는 batch acquisition 전략이다. 실험은 GVALID가 엄격한 budget constraint 하에서 우수한 성능을 달성함을 보여준다.
"},{"id":"65233","en":"Anytime-Valid Inference Under Outcome Delay: A Design-Based Approach","ko":"결과 지연 하의 Anytime-Valid 추론: 설계 기반 접근법","authors":"Michael Lindon, Nathan Kallus","pos":"#4402","link":"https://openreview.net/forum?id=FXWnvznHMW","abs":"Delayed outcomes are ubiquitous in online experimentation. When such a temporal dimension is present, treatment influences not only the outcome value but also the outcome timing, which can move in opposite directions. Motivated by the desire to continuously monitor the performance of treatment arms, we develop an anytime-valid approach to inference in the delayed outcome setting. We adopt a design-based framework where both the outcome timing and value are fixed potential outcomes, and randomness is introduced by treatment assignment only. We target the sample cumulative reward as a function of time, a causal estimand that avoids modeling the unobserved future, which would require strong assumptions violated by the nonstationarity and heterogeneity of our setting. We prove that the estimation error for the Horvitz-Thompson (IPW) estimator forms a martingale with respect to a specific single-arm filtration. Conversely, the estimation error for the AIPW estimator fails to be adapted to this filtration. We prove a fundamental negative result for the treatment effect: the estimation error is not a martingale under any filtration, arising from cross-arm covariance induced by randomized assignment. We resolve this using a union bound, showing it yields tighter intervals than the standard variance upper bound when treatment induces asymmetry in outcome arrival rates.
","absKo":"지연된 결과는 온라인 실험에서 매우 흔하다. 이러한 시간적 차원이 존재하면, treatment는 outcome 값뿐 아니라 outcome의 도착 시점에도 영향을 주며, 이 둘은 서로 반대 방향으로 움직일 수 있다. treatment arm의 성능을 지속적으로 모니터링하고자 하는 필요에서 출발하여, 우리는 지연 결과 설정에서 anytime-valid한 추론 방법을 개발한다. 우리는 outcome의 시점과 값이 모두 고정된 potential outcomes인 design-based 프레임워크를 채택하고, randomness는 treatment assignment에 의해서만 도입한다. 우리의 목표는 시간의 함수로서의 sample cumulative reward이며, 이는 관측되지 않은 미래를 모델링하지 않아도 되는 causal estimand이다. 이는 우리의 설정에 존재하는 nonstationarity와 heterogeneity 때문에 강한 가정이 필요한데, 그러한 가정은 위배된다. 우리는 Horvitz-Thompson (IPW) estimator의 estimation error가 특정 single-arm filtration에 대해 martingale을 이룬다는 것을 증명한다. 반대로 AIPW estimator의 estimation error는 이 filtration에 adapted되지 않음을 보인다. 우리는 treatment effect에 대해 근본적인 negative result를 증명하는데, estimation error는 어떤 filtration 아래에서도 martingale이 아니며, 이는 randomized assignment가 유도하는 cross-arm covariance에서 비롯된다. 우리는 union bound를 사용해 이를 해결하며, treatment가 outcome arrival rate의 비대칭을 유도할 때 이것이 표준 variance upper bound보다 더 타이트한 interval을 제공함을 보인다.
"},{"id":"62901","en":"Counterfactual Bootstrap for Robust Meta-Reinforcement Learning","ko":"강건한 Meta-Reinforcement Learning을 위한 반사실적 Bootstrap","authors":"Ai Bo, Junzhe Zhang, M. Cenk Gursoy","pos":"#4404","link":"https://openreview.net/forum?id=c4abksRFwY","abs":"Meta-Reinforcement Learning (Meta-RL) focuses on training policies using data collected from a variety of diverse environments. This approach enables the policy to adapt to new settings with only a few training steps. While many Meta-RL methods have demonstrated success, they often rely on the assumption that unobserved confounders can be excluded \\emph{a priori}. This paper investigates robust Meta-RL in sequential decision-making, given confounded observational data collected across multiple heterogeneous environments. We introduce a novel augmentation procedure for standard Meta-RL algorithms (e.g., MAML), which employs partial identification methods to generate posterior counterfactual trajectories from candidate environments that align with the confounded observations. These counterfactual trajectories are then used to find a policy initialization that produces strong generalization performance in the target domain. Theoretical analysis reveals that our causal Meta-RL approach is guaranteed to yield a solution that minimizes generalization loss in future inference tasks.
","absKo":"Meta-Reinforcement Learning (Meta-RL)은 다양한 서로 다른 environment에서 수집된 data를 사용해 policy를 학습하는 데 초점을 둔다. 이 접근법은 policy가 몇 번의 training step만으로 새로운 setting에 적응할 수 있게 한다. 많은 Meta-RL 방법이 성공을 보여주었지만, 이들은 종종 관측되지 않은 confounder를 \\emph{a priori} 배제할 수 있다는 가정에 의존한다. 이 논문은 여러 이질적 environment에서 수집된 confounded observational data를 바탕으로, sequential decision-making에서의 robust Meta-RL을 연구한다. 우리는 표준 Meta-RL algorithm(예: MAML)을 위한 새로운 augmentation procedure를 제안하는데, 이는 partial identification method를 사용해 confounded observation과 정합하는 candidate environment로부터 posterior counterfactual trajectory를 생성한다. 이후 이러한 counterfactual trajectory를 사용해 target domain에서 강한 generalization performance를 내는 policy initialization을 찾는다. 이론적 분석은 우리의 causal Meta-RL 접근이 미래 inference task에서 generalization loss를 최소화하는 해를 보장한다는 것을 보여준다.
"},{"id":"64916","en":"DeepBlip: Estimating Conditional Average Treatment Effects Over Time","ko":"DeepBlip: 시간에 걸친 조건부 평균 처치 효과 추정","authors":"Haorui Ma, Dennis Frauen, Stefan Feuerriegel","pos":"#4405","link":"https://openreview.net/forum?id=Ig36S9zALV","abs":"Structural nested mean models (SNMMs) are a principled approach to estimate the treatment effects over time. A particular strength of SNMMs is to break the joint effect of treatment sequences over time into localized, time-specific ``blip effects''. This decomposition promotes interpretability through the incremental effects and enables the efficient offline evaluation of optimal treatment policies without re-computation. However, neural frameworks for SNMMs are lacking, as their inherently sequential g-estimation scheme prevents end-to-end, gradient-based training. Here, we propose DeepBlip, the first neural framework for SNMMs, which overcomes this limitation with a novel double optimization trick to enable simultaneous learning of all blip functions. Our DeepBlip seamlessly integrates sequential neural networks like LSTMs or transformers to capture complex temporal dependencies. By design, our method correctly adjusts for time-varying confounding to produce unbiased estimates, and its Neyman-orthogonal loss function ensures robustness to nuisance model misspecification. Finally, we evaluate our DeepBlip across various clinical datasets, where it achieves state-of-the-art performance.
","absKo":"Structural nested mean model(SNMM)은 시간에 따른 treatment effect를 추정하기 위한 원칙적인 접근법이다. SNMM의 특별한 강점은 시간에 따른 treatment sequence의 joint effect를 국소적인, 시간별 ``blip effect''로 분해하는 데 있다. 이러한 decomposition은 점진적 효과를 통해 해석 가능성을 높이고, 재계산 없이 최적 치료 정책을 효율적으로 offline 평가할 수 있게 한다. 그러나 SNMM을 위한 neural framework는 아직 부족한데, 그 이유는 본질적으로 sequential한 g-estimation scheme이 end-to-end gradient-based training을 막기 때문이다. 여기서 우리는 SNMM을 위한 최초의 neural framework인 DeepBlip을 제안하며, 새로운 double optimization trick으로 이 한계를 극복하여 모든 blip function을 동시에 학습할 수 있게 한다. 우리의 DeepBlip은 LSTM이나 transformer와 같은 sequential neural network를 자연스럽게 통합하여 복잡한 temporal dependency를 포착한다. 설계상 우리의 방법은 time-varying confounding을 올바르게 보정하여 unbiased estimate를 산출하며, Neyman-orthogonal loss function은 nuisance model의 misspecification에 대한 견고성을 보장한다. 마지막으로, 다양한 clinical dataset에서 DeepBlip을 평가했으며, state-of-the-art 성능을 달성했다.
"},{"id":"61084","en":"Feasible Fusion: Constrained Joint Estimation under Structural Non-Overlap","ko":"Feasible Fusion: 구조적 비중첩하의 제약된 결합 추정","authors":"Yuxi Du, Zhiheng Zhang, Haoxuan Li, Cong Fang, Jixing Xu, Zhen Peng, Jiecheng Guo","pos":"#4406","link":"https://openreview.net/forum?id=tpJDC8miYG","abs":"Causal inference in modern large-scale systems faces growing challenges, including high-dimensional covariates, multi-valued treatments, massive observational (OBS) data, and limited randomized controlled trial (RCT) samples due to cost constraints. We formalize treatment-induced structural non-overlap and show that, under this regime, commonly used weighted fusion methods provably fail to satisfy randomized identifying restrictions.To address this issue,we propose a constrained joint estimation framework that minimizes observational risk while enforcing causal validity through orthogonal experimental moment conditions. We further show that structural non-overlap creates a feasibility obstruction for moment enforcement in the original covariate space.We also derive a penalized primal–dual algorithm that jointly learns representations and predictors, and establish oracle inequalities decomposing error into overlap recovery, moment violation, and statistical terms.Extensive synthetic experiments demonstrate robust performance under varying degrees of non-overlap. A large-scale ride-hailing application shows that our method achieves substantial gains over existing baselines, matching the performance of models trained with significantly more RCT data.
","absKo":"현대의 대규모 시스템에서 causal inference는 고차원 covariate, multi-valued treatment, 대규모 observational (OBS) data, 그리고 비용 제약으로 인해 제한된 randomized controlled trial (RCT) sample 등 점점 커지는 도전에 직면해 있다. 우리는 treatment-induced structural non-overlap을 정식화하고, 이 regime 하에서 일반적으로 사용되는 weighted fusion method가 randomized identifying restriction을 만족하지 못함을 증명한다. 이 문제를 해결하기 위해, 우리는 observational risk를 최소화하는 동시에 orthogonal experimental moment condition을 통해 causal validity를 강제하는 constrained joint estimation framework를 제안한다. 우리는 더 나아가 structural non-overlap이 원래 covariate space에서 moment enforcement에 대한 feasibility obstruction을 생성함을 보인다. 또한 representation과 predictor를 공동으로 학습하는 penalized primal–dual algorithm을 유도하고, overlap recovery, moment violation, statistical term으로 error를 분해하는 oracle inequality를 확립한다. 광범위한 synthetic experiment는 다양한 정도의 non-overlap 하에서 robust한 성능을 보여준다. 대규모 ride-hailing application에서는 우리의 방법이 기존 baseline보다 상당한 향상을 달성하며, 훨씬 더 많은 RCT data로 학습된 model의 성능에 맞먹는 결과를 보인다.
"},{"id":"63864","en":"Gateways to Tractability for Satisfiability in Pearl’s Causal Hierarchy","ko":"Pearl의 인과 계층에서 satisfiability의 계산 가능성을 여는 관문","authors":"Robert Ganian, Marlene Gründel, Simon Wietheger","pos":"#4407","link":"https://openreview.net/forum?id=T5Oi5wodZT","abs":"Pearl’s Causal Hierarchy (PCH) is a central framework for reasoning about probabilistic, interventional, and counterfactual statements, yet the satisfiability problem for PCH formulas is computationally intractable in almost all classical settings. We revisit this challenge through the lens of parameterized complexity and identify the first gateways to tractability. Our results include fixed-parameter and XP-algorithms for satisfiability in key probabilistic and counterfactual fragments, using parameters such as primal treewidth and the number of variables, together with matching hardness results that map the limits of tractability. Technically, we depart from the dynamic programming paradigm typically employed for treewidth-based algorithms and instead exploit structural characterizations of well-formed causal models, providing a new algorithmic toolkit for causal reasoning.
","absKo":"Pearl’s Causal Hierarchy(PCH)는 확률적, 개입적, 반사실적 명제를 추론하기 위한 핵심 프레임워크이지만, PCH formula의 satisfiability 문제는 거의 모든 고전적 설정에서 계산적으로 다루기 어렵다. 우리는 이 문제를 parameterized complexity 관점에서 다시 살펴보고, tractability로 가는 최초의 관문들을 식별한다. 우리의 결과에는 primal treewidth와 변수의 개수 같은 parameter를 사용한, 핵심 probabilistic 및 counterfactual fragment의 satisfiability에 대한 fixed-parameter 및 XP-algorithm이 포함되며, tractability의 한계를 보여 주는 대응되는 hardness 결과도 함께 제시한다. 기술적으로는 treewidth 기반 algorithm에서 일반적으로 사용되는 dynamic programming 패러다임에서 벗어나, well-formed causal model의 구조적 특성을 활용함으로써 causal reasoning을 위한 새로운 algorithmic toolkit을 제공한다.
"},{"id":"61120","en":"Gradient-Based Causal Tree Ensembles: A Backbone Architecture for Heterogeneous Treatment Effects","ko":"Gradient-Based Causal Tree Ensemble: 이질적 처치 효과를 위한 Backbone Architecture","authors":"Yusuke Kano, Jeremy P Voisey, Mihaela van der Schaar","pos":"#4408","link":"https://openreview.net/forum?id=tSZaHvpxCd","abs":"Estimating Heterogeneous Treatment Effects (HTE) from observational data is essential in fields such as healthcare and policy-making, where randomized experiments are often impractical. While representation learning-based methods have shown promise, recent studies suggest that tree-based approaches may offer superior performance on tabular data, particularly in the presence of uninformative features. We introduce GRAdient-based Causal tree Ensembles (GRACE), a novel tree-based architecture for HTE estimation that incorporates multi-way, oblique, and soft splits, enabling end-to-end training via backpropagation. GRACE can be seamlessly integrated into existing models as a replacement for fully-connected neural network layers. Across diverse benchmarks involving binary and non-binary treatment settings, GRACE consistently surpasses neural network and tree-based baselines, often by a substantial margin. We further analyze GRACE as an extension of fully-connected neural network layers and conduct ablation studies to isolate and quantify the contribution of each architectural component to the improvement in performance. These results position GRACE as a powerful new foundation for flexible, robust, and accurate HTE estimation.
","absKo":"관찰 데이터로부터 Heterogeneous Treatment Effects (HTE)를 추정하는 것은 무작위 실험이 종종 비현실적인 healthcare와 policy-making 같은 분야에서 필수적이다. representation learning 기반 방법들이 유망함을 보여 왔지만, 최근 연구는 특히 정보가 되지 않는 feature가 존재할 때 tabular data에서 tree-based approach가 더 우수한 성능을 보일 수 있음을 시사한다. 우리는 multi-way, oblique, soft split을 포함하여 end-to-end backpropagation 학습을 가능하게 하는 HTE 추정을 위한 새로운 tree-based architecture인 GRAdient-based Causal tree Ensembles (GRACE)를 제안한다. GRACE는 fully-connected neural network layer의 대체재로 기존 모델에 매끄럽게 통합될 수 있다. binary 및 non-binary treatment 설정을 포함하는 다양한 benchmark 전반에서, GRACE는 neural network 및 tree-based baseline을 일관되게 능가하며, 종종 상당한 격차를 보인다. 또한 우리는 GRACE를 fully-connected neural network layer의 확장으로 해석하고, ablation study를 수행하여 성능 향상에 대한 각 architecture 구성 요소의 기여를 분리하고 정량화한다. 이러한 결과는 GRACE를 유연하고 견고하며 정확한 HTE 추정을 위한 강력한 새로운 기반으로 자리매김한다.
"},{"id":"64905","en":"Identifiable Markov Switching Models with Instantaneous Effects and Exponential Families","ko":"즉각적 효과와 지수족을 가진 식별 가능한 Markov Switching Model","authors":"Roel Hulsman, Carles Balsells-Rodas, Sara Magliacane","pos":"#4409","link":"https://openreview.net/forum?id=IjrmQgIvHU","abs":"Temporal systems often exhibit non-stationary behaviour, such as seasonal climate variation or glucose fluctuations in patients with type-1 diabetes. One way to model non-stationarity is through discrete latent regimes, i.e., stationary segments of time. Such systems induce a Markov Switching Model (MSM), a class of Hidden Markov Models with autoregressive dependencies among latent regimes and observed variables. Identifying latent regimes is challenging in the presence of frequent regime switches and nonlinear and non-Gaussian dynamics, particularly when there are instantaneous effects between the variables, e.g., due to slow rates of measurements. In this work, we establish the identifiability of both latent regimes and regime-dependent causal structures under temporal regime dependencies, nonlinear lagged and instantaneous effects, and independent noise from the exponential family. Our identifiability theory subsumes non-temporal mixtures of causal models. Furthermore, we introduce FlowMSM, a regime detection framework that can be paired with any stationary causal discovery method to recover regime-dependent causal structures. Experiments on synthetic benchmarks and a financial economics dataset demonstrate the effectiveness of our approach to detect latent regimes and discover causal structures from non-stationary time series.
","absKo":"시계열 시스템은 계절성 기후 변동이나 제1형 당뇨병 환자의 혈당 변동처럼 비정상성(non-stationary) 거동을 보이는 경우가 많다. 비정상성을 모델링하는 한 가지 방법은 이산적 잠재 체제(discrete latent regime), 즉 시간의 정지 구간으로 표현하는 것이다. 이러한 시스템은 잠재 체제와 관측 변수 사이에 자기회귀적 의존성을 갖는 Hidden Markov Models의 한 종류인 Markov Switching Model (MSM)을 유도한다. 잠재 체제를 식별하는 일은 체제 전환이 빈번하고 비선형·비가우시안 동역학이 존재할 때, 특히 측정 속도가 느려 변수들 사이에 순간적 효과가 있을 경우 더욱 어렵다. 본 연구에서는 시간적 체제 의존성, 비선형 지연 및 순간 효과, 그리고 exponential family에서의 독립 잡음 하에서 잠재 체제와 체제 의존적 인과 구조 모두의 식별가능성(identifiability)을 확립한다. 우리의 식별가능성 이론은 인과 모형의 비시간적 혼합(non-temporal mixtures)까지 포괄한다. 또한 우리는 어떤 stationary causal discovery method와도 결합하여 체제 의존적 인과 구조를 복원할 수 있는 체제 탐지 프레임워크 FlowMSM을 제안한다. 합성 벤치마크와 금융경제 데이터셋 실험은 비정상 시계열에서 잠재 체제를 탐지하고 인과 구조를 발견하는 데 있어 우리의 접근법이 효과적임을 보여준다.
"},{"id":"63223","en":"Learning Treatment Representations for Downstream Instrumental Variable Regression","ko":"다운스트림 도구 변수 회귀를 위한 처치 표현 학습","authors":"Shiangyi Lin, Hui Lan, Vasilis Syrgkanis","pos":"#4410","link":"https://openreview.net/forum?id=Yy37YQCvCt","abs":"Traditional instrumental variable (IV) estimators cannot accommodate more treatments than instruments, a limitation that is critical for high-dimensional, unstructured data like clinical treatment pathways. Current practice—applying unsupervised dimension reduction before IV estimation—suffers from substantial omitted treatment bias because the representation learning step ignores the instrument. We propose a novel framework that constructs treatment representations by explicitly incorporating instrumental variables. We prove that this instrument-guided approach ensures the identification of optimal outcome-prediction directions even with limited instruments. Validation on large-scale, semi-synthetic clinical data derived from a major hospital, along with other simulations, shows that our approach significantly outperforms conventional two-stage methods.
","absKo":"전통적인 instrumental variable (IV) estimator는 instrument보다 treatment 수가 더 많은 경우를 처리할 수 없으며, 이는 clinical treatment pathway와 같은 고차원 비정형 데이터에서 치명적인 한계이다. 현재의 관행인, IV estimation 전에 unsupervised dimension reduction을 적용하는 방식은 representation learning 단계가 instrument를 무시하기 때문에 상당한 omitted treatment bias를 겪는다. 우리는 instrumental variable을 명시적으로 통합하여 treatment representation을 구성하는 새로운 framework를 제안한다. 우리는 이 instrument-guided approach가 제한된 instrument만 존재하더라도 optimal outcome-prediction direction을 식별함을 증명한다. 대형 병원에서 유래한 semi-synthetic clinical data와 기타 simulation을 이용한 검증 결과, 우리의 접근법이 기존 two-stage method보다 유의미하게 우수함을 보여준다.
"},{"id":"64971","en":"Off-Policy Evaluation with Strategic Agents via Local Disclosure","ko":"Local Disclosure를 통한 전략적 Agent와의 Off-Policy Evaluation","authors":"Kiet Vo, Gowtham Reddy Abbavaram, Julian Rodemann, Siu Lun Chau, Krikamol Muandet","pos":"#4411","link":"https://openreview.net/forum?id=IG956mtgzL","abs":"We study off-policy evaluation (OPE) under strategic behavior where decision subjects (or agents) respond to a decision maker's policy by strategically modifying their covariates. Such behavior induces a policy-dependent covariate shift, breaking the standard assumption in existing methods that covariates are exogenous to the policy. Related work addresses this challenge by imposing strong assumptions such as repeated interactions or full knowledge of agents’ response behavior, substantially limiting its applicability to OPE. In contrast, we consider a one-shot OPE setting where the decision maker has only partial knowledge of the agents' response behavior. Our key insight is that disclosing local information through post-hoc explanations reveals agents’ pre-strategic covariates prior to adaptation, mitigating the information loss induced by strategic behavior. Leveraging this structure, we estimate a statistical model for the agents’ responses and construct a doubly robust estimator for policy value. By assuming that the agents' cost sensitivity follows a conditional log-normal distribution, we establish consistency of the proposed estimator and validate our approach empirically. More broadly, our results highlight how interaction design can mitigate information asymmetry by revealing otherwise hidden structure in agents' strategic responses.
","absKo":"우리는 decision subject(또는 agent)가 decision maker의 policy에 반응하여 자신의 covariate를 전략적으로 수정하는 strategic behavior 하에서의 off-policy evaluation (OPE)을 연구한다. 이러한 행동은 policy-dependent covariate shift를 유발하며, covariate가 policy에 대해 exogenous하다고 가정하는 기존 방법들의 표준 가정을 무너뜨린다. 관련 연구는 repeated interactions나 agent response behavior에 대한 완전한 지식과 같은 강한 가정을 도입하여 이 문제를 다루지만, 이는 OPE에 대한 적용 가능성을 크게 제한한다. 반면 우리는 decision maker가 agent의 response behavior에 대해 부분적 지식만 가진 one-shot OPE setting을 고려한다. 우리의 핵심 통찰은 post-hoc explanation을 통해 local information을 공개하면, adaptive 전의 agent covariate를 드러내어 strategic behavior가 유발한 information loss를 완화할 수 있다는 점이다. 이 구조를 활용해, 우리는 agent response에 대한 statistical model을 추정하고 policy value를 위한 doubly robust estimator를 구성한다. agent의 cost sensitivity가 conditional log-normal distribution을 따른다고 가정하면, 제안한 estimator의 consistency를 확립하고 실험적으로도 접근법을 검증한다. 보다 일반적으로, 우리의 결과는 interaction design이 agent의 strategic response에 숨겨진 구조를 드러내어 information asymmetry를 완화할 수 있음을 보여준다.
"},{"id":"62063","en":"Omitted Variable Bias in Language Models Under Distribution Shift","ko":"분포 이동 하에서 Language Models의 Omitted Variable Bias","authors":"Victoria Lin, Louis-Philippe Morency, Eli Ben-Michael","pos":"#4412","link":"https://openreview.net/forum?id=kCGGQfZyaE","abs":"Despite their impressive performance on a wide variety of tasks, modern language models remain susceptible to distribution shifts, exhibiting brittle behavior when evaluated on data that differs in distribution from their training data. In this paper, we describe how distribution shifts in language models can be separated into observable and unobservable components, and we discuss how established approaches for dealing with distribution shift address only the former. Importantly, we identify that the resulting omitted variable bias from unobserved variables can compromise both evaluation and optimization in language models. To address this challenge, we introduce a framework that maps the strength of the omitted variables to bounds on the worst-case generalization performance of language models under distribution shift. In empirical experiments, we show that using these bounds directly in language model evaluation and optimization provides more principled measures of out-of-distribution performance, improves true out-of-distribution performance relative to standard distribution shift adjustment methods, and further enables inference about the strength of the omitted variables when target distribution labels are available.
","absKo":"다양한 과제에서 인상적인 성능을 보이지만, 현대 language model은 distribution shift에 여전히 취약하여, 학습 데이터와 분포가 다른 데이터에서 평가될 때 불안정한 행동을 보인다. 본 논문에서는 language model에서의 distribution shift를 observable 성분과 unobservable 성분으로 분리하는 방법을 설명하고, distribution shift를 다루기 위한 기존 접근법이 전자만을 다룬다는 점을 논의한다. 특히, 관측되지 않은 변수로부터 발생하는 omitted variable bias가 language model의 평가와 최적화 모두를 훼손할 수 있음을 밝힌다. 이러한 과제를 해결하기 위해, 우리는 omitted variable의 강도를 distribution shift 하에서 language model의 worst-case generalization performance에 대한 bound로 대응시키는 프레임워크를 도입한다. 실증 실험에서 우리는 이러한 bound를 language model의 평가와 최적화에 직접 사용하는 것이 out-of-distribution 성능을 보다 원리적으로 측정하게 해 주고, standard distribution shift adjustment method보다 실제 out-of-distribution 성능을 향상시키며, target distribution label을 사용할 수 있을 때 omitted variable의 강도에 대한 추론도 가능하게 함을 보인다.
"},{"id":"62505","en":"One Intervention per Component is Enough: Towards Identifiability in Linear Stochastic Dynamics from Steady State","ko":"성분별 하나의 Intervention만으로 충분함: 정상상태 기반 선형 Stochastic Dynamics의 식별 가능성 추구","authors":"Saber Salehkaleybar","pos":"#4413","link":"https://openreview.net/forum?id=g07aDcWYJ9","abs":"We study the problem of recovering the parameters of a multivariate Ornstein–Uhlenbeck (OU) process from steady-state observational and interventional data. In many applications, such as large-scale gene perturbation experiments, only stationary “snapshot” measurements are available, making standard stochastic differential equation estimation methods that rely on time-series trajectories inapplicable. We first establish an identifiability result: one intervention per strongly connected component (SCC) of the drift graph suffices to recover all OU process parameters generically up to a global scaling factor. This holds provided that the SCC condensation graph is connected with a single root and certain spectral nondegeneracy assumptions hold. We propose a recursive learning algorithm that orders SCCs topologically and, for each component, isolates its marginal dynamics and solves a linear system derived from the steady-state moment equations, leveraging parameters recovered for upstream components. Building on this theoretical foundation, we propose a regularized least-squares estimator that jointly minimizes residuals of the steady-state mean and covariance equations across observational and interventional data. Experiments on synthetic and real datasets demonstrate the effectiveness of our method in recovering parameters and predicting unseen interventions.
","absKo":"우리는 multivariate Ornstein–Uhlenbeck (OU) process의 파라미터를 steady-state observational 및 interventional data로부터 복원하는 문제를 연구한다. 대규모 gene perturbation experiment와 같은 많은 응용에서 time-series trajectory에 의존하는 표준 stochastic differential equation 추정법을 적용할 수 없을 정도로 stationary한 “snapshot” 측정값만 उपलब्ध하다. 우리는 먼저 식별 가능성 결과를 확립한다. 즉, drift graph의 strongly connected component (SCC)마다 하나의 intervention만 있으면, 전역 scaling factor를 제외하고 모든 OU process parameter를 일반적으로 복원할 수 있다. 이는 SCC condensation graph가 하나의 root를 갖는 connected graph이고 특정 spectral nondegeneracy 가정이 성립할 때 보장된다. 우리는 SCC를 topological order로 정렬하고, 각 component에 대해 그 marginal dynamics를 분리한 뒤, steady-state moment equation에서 유도한 linear system을 푸는 recursive learning algorithm을 제안한다. 또한 상위 component에서 복원된 parameter를 활용한다. 이 이론적 토대 위에서, observational 및 interventional data 전반에 걸쳐 steady-state mean과 covariance equation의 residual을 jointly 최소화하는 regularized least-squares estimator를 제안한다. synthetic 및 real dataset 실험은 parameter 복원과 unseen intervention 예측에서 본 방법의 효과를 입증한다.
"},{"id":"62361","en":"Powerful and Theoretically Guaranteed Independence Testing on Heterogeneous Federated Clients","ko":"이질적 Federated Client에서 이론적으로 보장되는 강력한 Independence Testing","authors":"YiXin Ren, Hongquan Liu, Juncai Zhang, Yewei Xia, Zichuan Lin, Deheng Ye, Hao Zhang, Jihong Guan, Shuigeng Zhou","pos":"#4414","link":"https://openreview.net/forum?id=hH0EknXrgc","abs":"In this paper, we present a novel federated independence testing method that addresses both theoretical and practical challenges arising from client heterogeneity. We begin by revisiting existing federated independence testing methods and showing why they fail to provide valid guarantees or maintain statistical power under data distributional shift across clients. Building on this analysis, we develop a copula-based marginal alignment technique together with a stacking-based aggregation strategy that amplifies intra-client dependence while mitigating inter-client variation, resulting in a theoretically sound and powerful global test. For practicality, we further accelerate the aggregation step and incorporate a privacy-preserving mechanism. On the theoretical side, we prove both the correctness of our method and the validity of the test. Empirically, we conduct extensive experiments on both synthetic and real-world datasets, which demonstrate the superiority of our solution over existing methods.
","absKo":"이 논문에서는 클라이언트 이질성에서 비롯되는 이론적·실용적 문제를 모두 다루는 새로운 federated independence testing 방법을 제시한다. 먼저 기존 federated independence testing 방법들을 재검토하고, 왜 이들이 클라이언트 간 데이터 분포 변화 하에서 유효한 보장을 제공하지 못하거나 통계적 power를 유지하지 못하는지 보인다. 이러한 분석을 바탕으로, 클라이언트 내부 의존성을 증폭시키는 동시에 클라이언트 간 변이를 완화하는 copula 기반 marginal alignment 기법과 stacking 기반 aggregation 전략을 개발하여, 이론적으로 타당하고 강력한 global test를 도출한다. 실용성을 위해 aggregation 단계를 추가로 가속하고 privacy-preserving 메커니즘을 통합한다. 이론적으로는, 제안 방법의 correctness와 test의 validity를 모두 증명한다. 실험적으로는 synthetic 및 real-world 데이터셋에서 광범위한 실험을 수행하여, 기존 방법들보다 우수함을 입증한다.
"},{"id":"62849","en":"Credibility-Aware Weighting Federated Causal Discovery for Time Series","ko":"신뢰성 인지 가중치 기반 시계열 연합형 인과 발견","authors":"Jiegang Xu, Fuyuan CAO, Jiye Liang","pos":"#505","link":"https://openreview.net/forum?id=cYk5BQ8iJI","abs":"Federated causal discovery for time series is becoming increasingly important in many application domains. In practice, intervention policies on each client often change over time, causing the local underlying causal mechanisms to drift rather than remain fixed. Moreover, different sampling frequencies across clients yield incompatible time scales in the observed data, making the resulting local causal graphs naturally heterogeneous and difficult to aggregate consistently. Accordingly, we propose Fed-CAW, a Credibility-Aware Weighting Federated causal discovery framework for time series. Specifically, we define edge-level credibility scores that quantify per-edge reliability by summarizing (i) within-client temporal stability across windows and (ii) cross-client temporal consistency after mapping heterogeneous sampling frequencies onto a unified time scale. We then aggregate privatized edge statistics under differential privacy, treating credibility scores as weights to recover a global causal graph while preserving personalized local structures without sharing raw data. Theoretically, we demonstrate the rationale for the unified time scale mapping and establish rigorous differential privacy guarantees. Experimental results on synthetic and real-world datasets demonstrate the effectiveness of our proposed method.
","absKo":"시계열에 대한 federated causal discovery는 여러 응용 영역에서 점점 더 중요해지고 있다. 실제 환경에서는 각 client의 intervention policy가 시간에 따라 변하는 경우가 많아, local underlying causal mechanism이 고정되어 있기보다 drift하는 경향이 있다. 더 나아가 client마다 sampling frequency가 달라 관측 데이터의 time scale이 서로 맞지 않게 되며, 그 결과 local causal graph는 본질적으로 이질적이고 일관되게 통합하기 어렵다. 이에 따라 우리는 시계열을 위한 Credibility-Aware Weighting Federated causal discovery framework인 Fed-CAW를 제안한다. 구체적으로, 우리는 edge 수준의 credibility score를 정의하여 각 edge의 신뢰성을 정량화하는데, 이는 (i) window 전반에 걸친 client 내부 temporal stability와 (ii) 이질적인 sampling frequency를 통합된 time scale에 매핑한 뒤의 client 간 temporal consistency를 요약한다. 이후 우리는 differential privacy 하에서 privatized edge statistic을 집계하고, credibility score를 weight로 사용하여 원시 데이터를 공유하지 않으면서도 personalized local structure를 보존한 채 global causal graph를 복원한다. 이론적으로 우리는 통합 time scale mapping의 타당성을 보이고 엄격한 differential privacy 보장을 확립한다. synthetic 및 real-world dataset에 대한 실험 결과는 제안 방법의 효과를 입증한다.
"},{"id":"61126","en":"A Unified Framework for Deep Hypergraph Clustering Beyond Homophily","ko":"Homophily를 넘어서는 Deep Hypergraph Clustering의 통합 프레임워크","authors":"Bowen Zhao, Qianqian Wang","pos":"#302","link":"https://openreview.net/forum?id=tRl6gCrEma","abs":"Deep hypergraph clustering has shown strong potential in learning node representations by modeling high-order relationships. However, most existing methods rely on fixed propagation mechanisms that implicitly assume homophily, where connected nodes tend to be similar. This assumption often fails in real-world scenarios, especially in heterophilic settings, leading to degraded clustering performance. To bridge this gap, we propose a \\textbf{Uni}fied Framework for \\textbf{D}eep \\textbf{H}ypergraph \\textbf{C}lustering (Uni-DHC). Specifically, we introduce a learnable high-order hypergraph propagation scheme that aggregates information from multiple propagation orders and adaptively learns their importance from data. To stabilize unsupervised training and prevent structural redundancy introduced by high-order aggregation, we further impose consistency at the node level and decorrelation at the hyperedge level. From a spectral perspective, we show that conventional HGNN-style propagation corresponds to a fixed low-pass filter, while the proposed approach induces a learnable polynomial spectral filter. Extensive experiments on homophilic and heterophilic benchmarks demonstrate that Uni-DHC consistently outperforms state-of-the-art methods, with particularly strong gains in heterophilic settings.
","absKo":"Deep hypergraph clustering은 high-order relationship을 모델링하여 node representation을 학습하는 데 강한 잠재력을 보여 왔다. 그러나 기존의 대부분 방법은 연결된 node가 서로 유사하다고 가정하는 homophily를 암묵적으로 전제하는 고정 propagation mechanism에 의존한다. 이러한 가정은 실제 시나리오, 특히 heterophilic setting에서 자주 성립하지 않아 clustering 성능 저하로 이어진다. 이 간극을 메우기 위해 우리는 Unified Framework for Deep Hypergraph Clustering (Uni-DHC)를 제안한다. 구체적으로, 우리는 여러 propagation order로부터 정보를 집계하고 데이터로부터 그 중요도를 적응적으로 학습하는 learnable high-order hypergraph propagation scheme을 도입한다. 비지도 학습의 안정화와 high-order aggregation으로 인해 유발되는 structural redundancy를 방지하기 위해, 우리는 추가로 node level에서 consistency를, hyperedge level에서 decorrelation을 부과한다. spectral 관점에서 보면, 기존 HGNN-style propagation은 고정된 low-pass filter에 해당하는 반면, 제안하는 접근은 learnable polynomial spectral filter를 유도함을 보인다. homophilic 및 heterophilic benchmark 전반에 걸친 광범위한 실험은 Uni-DHC가 state-of-the-art 방법을 일관되게 능가하며, 특히 heterophilic setting에서 매우 큰 향상을 보임을 입증한다.
"},{"id":"65835","en":"Riemannian Optimization for Fair Spectral Clustering","ko":"공정한 스펙트럼 클러스터링을 위한 Riemannian 최적화","authors":"Minh Phu Vuong, Jinyoung Lee, Young-Ju Lee, Chul-Ho Lee","pos":"#3303","link":"https://openreview.net/forum?id=9crQp1ibCx","abs":"Fair graph clustering has emerged as a critical research area for addressing algorithmic bias in machine learning. The objective is to ensure that the proportion of each protected group within a cluster is consistent with its representation in the entire dataset. However, most existing spectral solutions rely on computationally expensive eigendecompositions of the graph Laplacian, limiting their scalability. In this paper, we propose Riemannian Fair Spectral Clustering (R-FairSC), a novel method that formulates fair spectral clustering as a constrained optimization problem on a Riemannian manifold. We develop a Riemannian alternating direction method of multipliers employing a variable-splitting strategy to efficiently solve the associated subproblems. Numerical experiments on large synthetic and real-world graphs demonstrate that R-FairSC significantly improves computational efficiency over state-of-the-art methods while maintaining high clustering quality and fairness.
","absKo":"Fair graph clustering는 machine learning의 algorithmic bias를 다루기 위한 중요한 연구 분야로 부상했다. 목표는 각 protected group이 하나의 cluster 안에서 차지하는 비율이 전체 dataset에서의 비율과 일치하도록 보장하는 것이다. 그러나 기존 spectral solution의 대부분은 graph Laplacian의 계산 비용이 큰 eigendecomposition에 의존하므로 scalability가 제한된다. 본 논문에서는 fair spectral clustering을 Riemannian manifold 위의 constrained optimization problem으로 정식화하는 새로운 방법인 Riemannian Fair Spectral Clustering (R-FairSC)를 제안한다. 우리는 variable-splitting strategy를 활용하는 Riemannian alternating direction method of multipliers를 개발하여 관련 subproblem들을 효율적으로 해결한다. 대규모 synthetic 및 real-world graph에서의 numerical experiment는 R-FairSC가 높은 clustering quality와 fairness를 유지하면서도 최신 방법들보다 computational efficiency를 크게 향상시킴을 보여준다.
"},{"id":"65073","en":"Hierarchical Anchor Graph Learning for Multi-View Clustering","ko":"Multi-View Clustering을 위한 계층적 Anchor Graph Learning","authors":"Xingchen Hu, Miao Jia, Jiyuan Liu, Siwei Wang, KE LIANG, Wenjing Yang","pos":"#3606","link":"https://openreview.net/forum?id=H1DwPHF08R","abs":"Multi-view clustering (MVC) is a fundamental task in heterogeneous data analysis, where anchor-based graph methods are widely adopted for their computational efficiency. However, existing approaches typically utilize static, single-layer anchors, failing to capture the multi-granularity nature of complex data. Drawing inspiration from hierarchical human cognition, we propose a hierarchical anchor graph learning method, termed HAG-MVC, a novel framework that organizes multi-view data as a multi-level pyramid. Unlike conventional one-shot anchor generation methods, HAG-MVC introduces a multi-level co-evolution mechanism, where anchors and graph structures are iteratively refined together to capture semantics from fine-to-coarse granularities. Moreover, HAG-MVC offers a transparent abstraction architecture as an alternative to black-box deep clustering: by maintaining all anchors within the original feature space, it enables explicit inspection of the abstraction process, ensuring inherent interpretability. Extensive experiments on benchmark datasets demonstrate that HAG-MVC consistently outperforms state-of-the-art methods. Beyond MVC, this work provides a scalable and trustworthy paradigm for hierarchical knowledge representation in broad machine learning tasks.
","absKo":"Multi-view clustering(MVC)은 heterogeneous data analysis의 근본적인 과제이며, anchor-based graph method는 계산 효율성 때문에 널리 채택된다. 그러나 기존 접근법은 대체로 정적이고 단일 계층의 anchor를 사용하여, 복잡한 데이터의 multi-granularity 특성을 포착하지 못한다. 계층적 인간 인지에서 영감을 받아, 우리는 hierarchical anchor graph learning 방법인 HAG-MVC를 제안한다. 이는 multi-view data를 multi-level pyramid로 조직하는 새로운 프레임워크이다. 기존의 one-shot anchor generation 방법과 달리, HAG-MVC는 multi-level co-evolution mechanism을 도입하여 anchor와 graph structure를 함께 반복적으로 정제함으로써 fine-to-coarse granularity에 걸친 의미를 포착한다. 또한 HAG-MVC는 black-box deep clustering의 대안으로서 투명한 abstraction architecture를 제공한다. 모든 anchor를 원래 feature space 안에 유지함으로써 abstraction process를 명시적으로 검사할 수 있게 하여, 본질적인 interpretability를 보장한다. benchmark dataset에 대한 광범위한 실험은 HAG-MVC가 state-of-the-art method를 일관되게 능가함을 보여준다. MVC를 넘어, 이 연구는 광범위한 machine learning task에서 hierarchical knowledge representation을 위한 확장 가능하고 신뢰할 수 있는 패러다임을 제시한다.
"},{"id":"63122","en":"Structure-aware Granular-Ball based Information Bottleneck for Multi-modal Clustering","ko":"멀티모달 클러스터링을 위한 구조 인지 Granular-Ball 기반 정보 병목","authors":"Zhengzheng Lou, Yuhan Zhan, Mingyang Lv, Yingxuan Li, Yuyang Du, Shizhe Hu","pos":"#3800","link":"https://openreview.net/forum?id=ZtP14V3zNs","abs":"Multi-modal clustering, which integrates information from diverse sources and feature modalities, has shown great potential in data mining and computer vision. However, existing methods relying on single-granularity relationships often struggle with complex data distributions, leading to limited performance, as fine-grained features are prone to local heterogeneity and redundant perturbations while coarse-grained representations tend to lose local structural information. To address these limitations, we introduce granular-balls (GBs), adaptive multi-granularity hyperspheres that enclose similar samples, and propose the Structure-aware Granular-Ball based Information Bottleneck (SGB-IB) algorithm. This method initializes the dataset as a single GB and recursively splits GBs based on a purity metric, which quantifies the average mutual information between sample features and K-means-derived pseudo-labels across all modalities. It also balances local structure preservation and global redundancy suppression through a structure-aware objective function. Extensive experiments on benchmark datasets demonstrate that our method outperforms state-of-the-art approaches, validating the effectiveness of fusing GB structures with information-theoretic principles.
","absKo":"다양한 소스와 feature modality의 정보를 통합하는 multi-modal clustering은 data mining과 computer vision에서 큰 잠재력을 보여 왔다. 그러나 single-granularity 관계에 의존하는 기존 방법은 복잡한 데이터 분포를 다루는 데 어려움을 겪으며, 그 결과 성능이 제한된다. fine-grained feature는 local heterogeneity와 redundant perturbation에 취약한 반면, coarse-grained representation은 local structural information을 잃기 쉽기 때문이다. 이러한 한계를 해결하기 위해, 우리는 유사한 sample들을 포괄하는 adaptive multi-granularity hypersphere인 granular-ball(GB)을 도입하고, Structure-aware Granular-Ball based Information Bottleneck(SGB-IB) 알고리즘을 제안한다. 이 방법은 데이터셋을 하나의 GB로 초기화한 뒤, 모든 modality에 걸쳐 sample feature와 K-means로부터 얻은 pseudo-label 간의 average mutual information을 정량화하는 purity metric에 기반해 GB를 재귀적으로 분할한다. 또한 structure-aware objective function을 통해 local structure preservation과 global redundancy suppression의 균형을 맞춘다. benchmark dataset에서 수행한 광범위한 실험은 본 방법이 state-of-the-art 접근법을 능가함을 보여 주며, GB 구조와 information-theoretic 원리를 결합하는 방식의 효과를 검증한다.
"},{"id":"62263","en":"Fine-to-Coarse Fairness-Informed Multi-View Clustering","ko":"정밀-거친 단계의 공정성 기반 다중 뷰 클러스터링","authors":"Shengju Yu, Suyuan Liu, Wenhao SHAO, Siwei Wang, Dayu Hu, Yiu-ming Cheung","pos":"#4109","link":"https://openreview.net/forum?id=iCVuIbdLrw","abs":"In multi-view clustering (MVC), conventional anchor learning based models implicitly assume a uniform distribution of anchors across clusters, which could lead to inferior representation, especially when clusters vary significantly in size, as larger clusters require more anchors so as to adequately capture their intrinsic structural complexity. To alleviate this, we design a method termed FCFMVC that explicitly encourages proportional anchor allocation. To be specific, we transfer anchor allocation to discrete sample-cluster learning via bipartite graph bridge, and then backpropagate cluster state consisting of size and dispersion degree to guide anchor assignment. This allows the model to integrate cluster cardinality awareness and structural compactness directly into anchor distribution. On the other hand, we regard anchors as pseudo-samples, introduce an anchor-cluster indicator matrix on each view, and directly constrain the number of anchors assigned to each cluster within a tolerance margin. These two paths are further coupled through anchor-sample label alignment, and collaboratively facilitate anchor generation from fine-grained (anchor-level) to coarse-grained (cluster-level) structures. Besides, the entire optimization operation with linear time and space cost makes FCFMVC well-scalable to large-scale tasks. Experiments on datasets with diverse scales confirm the effectiveness of our FCFMVC.
","absKo":"multi-view clustering(MVC)에서 기존의 anchor learning 기반 모델은 암묵적으로 cluster 전반에 anchor가 균일하게 분포한다고 가정하는데, 이는 특히 cluster의 크기가 크게 달라질 때 열등한 representation으로 이어질 수 있다. 큰 cluster는 그 내재적 구조 복잡성을 충분히 포착하기 위해 더 많은 anchor가 필요하기 때문이다. 이를 완화하기 위해, 우리는 비례적인 anchor 할당을 명시적으로 장려하는 FCFMVC라는 방법을 설계한다. 구체적으로, 우리는 bipartite graph bridge를 통해 anchor allocation을 discrete sample-cluster learning으로 전이시킨 다음, size와 dispersion degree로 구성된 cluster state를 backpropagate하여 anchor assignment를 유도한다. 이를 통해 모델은 cluster cardinality awareness와 structural compactness를 anchor distribution에 직접 통합할 수 있다. 한편, 우리는 anchor를 pseudo-sample로 간주하고 각 view에 anchor-cluster indicator matrix를 도입하여, 각 cluster에 할당되는 anchor 수를 tolerance margin 내에서 직접 제약한다. 이 두 경로는 추가로 anchor-sample label alignment을 통해 결합되며, fine-grained(anchor-level) 구조에서 coarse-grained(cluster-level) 구조로의 anchor 생성을 협력적으로 촉진한다. 게다가 선형 시간 및 공간 비용을 갖는 전체 최적화 과정은 FCFMVC가 대규모 task에도 잘 확장되도록 만든다. 다양한 규모의 dataset에 대한 실험은 우리의 FCFMVC의 효과를 확인해준다.
"},{"id":"62944","en":"GRPO-based Cluster Decision Agent for Unknown-$\\boldsymbol{K}$ Multi-view Clustering","ko":"Unknown-K 다중 뷰 클러스터링을 위한 GRPO 기반 Cluster Decision Agent","authors":"Xuqian Xue, Jun Zhang, Qi Cai, Zhizhong Huang, Hongming Shan, Junping Zhang","pos":"#4200","link":"https://openreview.net/forum?id=bdUdhftaZz","abs":"Existing contrastive multi-view clustering methods rely on a pre-defined cluster number, limiting their flexibility in real-world scenarios lacking prior knowledge. To address this, we propose GROK, a novel framework driven by a cluster decision agent for unknown-$K$ multi-view clustering. It pioneers the adaptation of group relative policy optimization (GRPO) —a reinforcement learning strategy for LLM reasoning— into the unsupervised domain to autonomously determine the optimal $K$. Specifically, the agent orchestrates the clustering process through three synergistic phases. First, in the state perception phase, we employ a structure-aware adaptive backbone to aggregate multi-view data, providing the agent with consistent and discriminative consensus observations. Second, in the group decision phase, we introduce an action space divide-and-conquer strategy and an adaptive reward function. Equipped with these mechanisms, the agent performs group sampling and relative advantage estimation within the discrete action space of candidate $K$ values, autonomously searching for the optimal $K$ via reward maximization. Finally, via geometric feedback, geometric clustering guidance mechanism transforms the agent's structural hypotheses into explicit differentiable constraints to reshape feature manifolds, thereby closing the perception-decision-feedback loop. Experimental results demonstrate that GROK achieves superior clustering performance in unknown-$K$ scenarios by autonomously exploring the underlying cluster structure.","absKo":"기존의 contrastive multi-view clustering 방법들은 사전에 정의된 cluster 수에 의존하므로, 사전 지식이 없는 실제 세계 시나리오에서 유연성이 제한된다. 이를 해결하기 위해, 우리는 알려지지 않은 $K$의 multi-view clustering을 위한 cluster decision agent 기반의 새로운 프레임워크 GROK를 제안한다. GROK는 최적의 $K$를 자율적으로 결정하기 위해, LLM reasoning을 위한 reinforcement learning 전략인 group relative policy optimization (GRPO)을 unsupervised 도메인에 처음으로 적용한다. 구체적으로, 이 agent는 세 개의 상호 시너지적인 단계로 clustering 과정을 조율한다. 첫째, state perception 단계에서는 structure-aware adaptive backbone을 사용해 multi-view 데이터를 집계함으로써, agent에게 일관되고 판별력 있는 consensus observation을 제공한다. 둘째, group decision 단계에서는 action space divide-and-conquer 전략과 adaptive reward function을 도입한다. 이러한 메커니즘을 통해 agent는 candidate $K$ 값들의 discrete action space 내에서 group sampling과 relative advantage estimation을 수행하며, reward maximization을 통해 최적의 $K$를 자율적으로 탐색한다. 마지막으로, geometric feedback를 통해 geometric clustering guidance mechanism은 agent의 structural hypothesis를 명시적이고 differentiable한 constraint로 변환해 feature manifold를 재구성함으로써, perception-decision-feedback 루프를 닫는다. 실험 결과, GROK는 underlying cluster structure를 자율적으로 탐색함으로써 unknown-$K$ 시나리오에서 우수한 clustering 성능을 달성함을 보여준다."},{"id":"66646","en":"Large Scale Manifold Balanced Clustering","ko":"대규모 다양체 균형 클러스터링","authors":"Fangfang Li, Quanxue Gao, Xingyu Xue","pos":"#4201","link":"https://openreview.net/forum?id=1o8iErv19f","abs":"Manifold clustering has demonstrated strong capability in capturing complex data structures and has been widely studied in cluster analysis. However, many existing methods mainly focus on combining K-means with manifold learning, while overlooking the consistency between data structures and clustering labels, and often suffer from high computational cost when handling large scale data. To address these issues, we propose a manifold balanced clustering method based on anchor induced distance(LMBC), grounded in the relationship between K-means clustering and manifold learning. Specifically, the LMBC uses label information to guide the construction of the manifold structure, thereby ensuring consistency between data structures and clustering labels. To enable large scale clustering, we introduce an anchor induced distance representation that models manifold structure in a compact anchor space, significantly reducing computational complexity while preserving essential structural information. Furthermore, to naturally maintain class balance during clustering, we maximize the Schatten-p norm of the label representation and provide theoretical analysis to support its effectiveness. Experimental results on several benchmark datasets demonstrate the effectiveness and scalability of the proposed method.
","absKo":"manifold clustering은 복잡한 데이터 구조를 포착하는 강한 능력을 보여 왔으며, cluster analysis에서 널리 연구되어 왔다. 그러나 기존 방법의 상당수는 주로 K-means와 manifold learning의 결합에 집중하는 반면, 데이터 구조와 clustering label 간의 일관성은 간과하며, 대규모 데이터를 다룰 때 높은 계산 비용을 겪는 경우가 많다. 이러한 문제를 해결하기 위해, 우리는 K-means clustering과 manifold learning의 관계에 기반한 anchor induced distance 기반 manifold balanced clustering 방법(LMBC)을 제안한다. 구체적으로, LMBC는 label 정보를 이용해 manifold structure의 구성을 유도함으로써 데이터 구조와 clustering label 간의 일관성을 보장한다. 대규모 clustering을 가능하게 하기 위해, 우리는 manifold structure를 compact한 anchor space에서 모델링하는 anchor induced distance representation을 도입하여, 핵심 구조 정보를 보존하면서도 계산 복잡도를 크게 줄인다. 더 나아가, clustering 중 class balance를 자연스럽게 유지하기 위해 label representation의 Schatten-p norm을 최대화하고, 그 효과를 뒷받침하는 이론적 분석도 제시한다. 여러 benchmark dataset에 대한 실험 결과는 제안 방법의 효과성과 확장성을 입증한다.
"},{"id":"62619","en":"MAGIC: Multi-Granularity Language-Informed Image Clustering","ko":"MAGIC: 다중 세분화 언어 기반 이미지 클러스터링","authors":"Xiaohan Zhang, Chao Zhang, Chunlin Chen, Huaxiong Li","pos":"#4202","link":"https://openreview.net/forum?id=eyo7TITaF9","abs":"Image clustering is a fundamental unsupervised task in computer vision. Recent studies have explored incorporating external linguistic information to facilitate visual feature learning and thereby enhance clustering performance. Nevertheless, these methods typically rely on fixed vocabularies (e.g., WordNet) to generate language counterparts, leading to inter-modal semantic misalignment due to granularity discrepancy between visual and textual semantics. Moreover, they often overlook the issue of intra-modal semantic redundancy caused by task-irrelevant knowledge. To address these challenges, we propose a new Multi-grAnularity lanGuage-informed Image Clustering method, dubbed MAGIC. To reduce semantic misalignment, we first prompt the vision-language models to generate multi-granularity language descriptions that capture rich image semantics, which are then integrated for effective multi-modal alignment. To alleviate semantic redundancy, we design modality-specific semantic adapters that adaptively refine and compress the semantically dense features into clustering-friendly representations under task guidance. A consensus representation is obtained by fusing the refined visual and textual features, which acts as a teacher to guide image clustering through a robust contrastive learning framework. Extensive experiments on benchmarks demonstrate that MAGIC outperforms state-of-the-art methods.
","absKo":"Image clustering은 computer vision에서 기본적인 unsupervised task입니다. 최근 연구들은 visual feature learning을 촉진하고 그 결과 clustering 성능을 향상시키기 위해 외부 linguistic information을 통합하는 방법을 탐구해 왔습니다. 그러나 이러한 방법은 일반적으로 fixed vocabulary(예: WordNet)에 의존해 language counterpart를 생성하므로, visual semantics와 textual semantics 사이의 granularity 차이로 인해 inter-modal semantic misalignment이 발생합니다. 또한 task와 무관한 knowledge로 인해 생기는 intra-modal semantic redundancy 문제를 종종 간과합니다. 이러한 문제를 해결하기 위해, 우리는 Multi-grAnularity lanGuage-informed Image Clustering 방법인 MAGIC을 제안합니다. Semantic misalignment를 줄이기 위해, 먼저 vision-language model에 multi-granularity language description을 생성하도록 prompt하여 풍부한 image semantics를 포착하고, 이를 통합해 효과적인 multi-modal alignment를 수행합니다. Semantic redundancy를 완화하기 위해, modality-specific semantic adapter를 설계하여 task guidance 하에서 semantically dense feature를 clustering에 적합한 representation으로 적응적으로 정제하고 압축합니다. 정제된 visual feature와 textual feature를 융합해 consensus representation을 얻고, 이는 robust contrastive learning framework를 통해 image clustering을 유도하는 teacher 역할을 합니다. Benchmark에서의 대규모 실험은 MAGIC이 state-of-the-art method를 능가함을 보여줍니다.
"},{"id":"60820","en":"Nonconvex Low-Rank Tensor Representation with Deep Priors for Multiview Subspace Clustering","ko":"Multiview Subspace Clustering을 위한 Deep Prior 기반 비볼록 Low-Rank Tensor 표현","authors":"Yao Fu, Dong Hu, Zhi Wang","pos":"#4203","link":"https://openreview.net/forum?id=wLfomuPNxb","abs":"Multiview subspace clustering (MvSC) has shown remarkable potential in exploring underlying structures of high-dimensional data. However, existing MvSC methods still suffer from two shortcomings: (1) the commonly use of convex low-rank approximations inadequately capture high-order correlations across views, while sensitivity to noise and outliers degrades clustering performance, and (2) they lack the ability to preserve global correlations and local geometric patterns simultaneously. To address these issues, we propose a novel nonconvex regularized MvSC model with deep prior, which not only accurately characterizes the intrinsic low-rank structure and suppresses the effect of outliers, but also preserves local structural properties through deep networks. By mathematically analyzing the optimal solution of the optimization problem in our proposed model, we develop an efficient ADMM-based algorithm with provable convergence guarantees to solve it. Extensive experiments on various datasets demonstrate the superiority of the proposed model.
","absKo":"Multiview subspace clustering (MvSC)는 고차원 데이터의 잠재 구조를 탐색하는 데서 뛰어난 잠재력을 보여 왔다. 그러나 기존 MvSC 방법은 여전히 두 가지 한계를 가진다: (1) 널리 사용되는 convex low-rank approximation은 view 간 고차 상관관계를 충분히 포착하지 못하며, noise와 outlier에 대한 민감성은 clustering 성능을 저하시킨다. (2) global correlations와 local geometric patterns를 동시에 보존하는 능력이 부족하다. 이러한 문제를 해결하기 위해, 우리는 deep prior를 갖는 새로운 nonconvex regularized MvSC model을 제안한다. 이 모델은 intrinsic low-rank structure를 정확하게 특징짓고 outlier의 영향을 억제할 뿐만 아니라, deep network를 통해 local structural properties도 보존한다. 우리가 제안한 model의 optimization problem에 대한 optimal solution을 수학적으로 분석함으로써, 우리는 provable convergence guarantees를 갖는 효율적인 ADMM-based algorithm을 개발하여 이를 해결한다. 다양한 dataset에 대한 광범위한 실험은 제안한 model의 우수성을 입증한다.
"},{"id":"66652","en":"OPTION: Optimal Transport–Guided Flow Matching for Incomplete and Unaligned Multi-View Clustering","ko":"OPTION: 불완전하고 정렬되지 않은 다중 뷰 클러스터링을 위한 최적 수송 유도 Flow Matching","authors":"Siyuan Zhou, Zhibin Gu","pos":"#4204","link":"https://openreview.net/forum?id=1jBsENo5ii","abs":"Multi-view clustering effectively exploits rich information from multiple views, yet real-world applications are frequently challenged by missing views and cross-view sample misalignment, hindering cross-view modeling and resulting inferior clustering performance. To address these challenges, this paper presents a novel method, OPtimal Transport–guIded flOw matchiNg for incomplete and unaligned multi-view clustering (OPTION). Specifically, OPTION employs conditional flow matching to learn deterministic transport paths for missing-view imputation, enabling stable manifold-preserving recovery and more discriminative representations. To achieve alignment-free fusion, we introduce a Gromov-Wasserstein loss—a structural relaxation of optimal transport—that aligns intra-view geometric structures in the latent space. Furthermore, an optional contrastive regularization is incorporated to enhance cross-view consistency specifically for aligned settings. Extensive experiments demonstrate that OPTION outperforms state-of-the-art methods across ideal, incomplete, and unaligned scenarios.
","absKo":"Multi-view clustering은 여러 view에서의 풍부한 정보를 효과적으로 활용하지만, 실제 응용에서는 missing view와 cross-view sample misalignment가 빈번하게 발생하여 cross-view modeling을 방해하고 clustering 성능을 저해한다. 이러한 문제를 해결하기 위해, 본 논문은 incomplete 및 unaligned multi-view clustering을 위한 새로운 방법, OPtimal Transport–guIded flOw matchiNg (OPTION)을 제안한다. 구체적으로, OPTION은 conditional flow matching을 사용하여 missing-view imputation을 위한 deterministic transport path를 학습함으로써, 안정적이고 manifold-preserving한 복원과 더 판별적인 representation을 가능하게 한다. alignment-free fusion을 달성하기 위해, 우리는 latent space에서 intra-view geometric structure를 정렬하는 optimal transport의 structural relaxation인 Gromov-Wasserstein loss를 도입한다. 더 나아가, aligned setting에서 특히 cross-view consistency를 향상시키기 위해 optional contrastive regularization을 포함한다. 광범위한 실험은 OPTION이 ideal, incomplete, unaligned 시나리오 전반에서 state-of-the-art 방법들을 능가함을 보여준다.
"},{"id":"66193","en":"Parametrized Power-Iteration Clustering for Directed Graphs","ko":"유향 그래프를 위한 매개변수화 Power-Iteration 클러스터링","authors":"Gwendal Debaussart-Joniec, Harry Sevi, Matthieu Jonckheere, Argyris Kalogeratos","pos":"#4205","link":"https://openreview.net/forum?id=5vI6ApLOg8","abs":"Vertex-level clustering for directed graphs (digraphs) remains challenging as edge directionality breaks the key assumptions underlying popular spectral methods, which also incur the overhead of eigen-decomposition. This paper proposes Parametrized Power Iteration Clustering (ParPIC), a random-walk-based clustering method for weakly connected digraphs. This builds over the Power-Iteration Clustering paradigm, which uses the rows of the iterated diffusion operator as a data embedding. ParPIC has three important features: the use of parametrized reversible random walk operators, the automatic tuning of the diffusion time, and the efficient truncation of the final embedding, which produces low-dimensional data representations and reduces complexity. Empirical results on synthetic and real-world graphs demonstrate that ParPIC achieves competitive clustering accuracy with improved scalability relative to spectral and teleportation-based methods.
","absKo":"directed graph(digraph)에서의 vertex-level clustering은 edge directionality가 popular spectral methods의 핵심 가정을 깨뜨리고, eigen-decomposition 비용까지 수반하기 때문에 여전히 어렵다. 이 논문은 약하게 연결된 digraph를 위한 random-walk-based clustering 방법인 Parametrized Power Iteration Clustering (ParPIC)을 제안한다. 이는 반복된 diffusion operator의 행을 data embedding으로 사용하는 Power-Iteration Clustering 패러다임을 확장한 것이다. ParPIC은 세 가지 중요한 특징을 가진다: parametrized reversible random walk operators의 사용, diffusion time의 자동 조정, 그리고 최종 embedding의 효율적 truncation이다. 이를 통해 저차원 data representation을 생성하고 복잡도를 줄인다. 합성 및 실제 graph에 대한 실험 결과, ParPIC은 spectral 및 teleportation-based methods에 비해 향상된 확장성과 함께 경쟁력 있는 clustering accuracy를 달성함을 보여준다.
"},{"id":"63668","en":"Token-Free Hierarchical Indexing for RAG beyond LLM-based Summarization","ko":"LLM 기반 요약을 넘어서는 RAG를 위한 토큰 없는 계층적 인덱싱","authors":"Yifan Wei, Dan Yuan, Xiaoyan Yu, Angsheng Li","pos":"#4206","link":"https://openreview.net/forum?id=UnNUWCbDO6","abs":"Retrieval-Augmented Generation (RAG) increasingly relies on hierarchical indexing, yet existing frameworks are bottlenecked by the high cost and information loss of recursive, LLM-based summarization. We propose SeRAG, a novel token-free hierarchical indexing framework that replaces textual summaries with an information-theoretic knowledge taxonomy. SeRAG first transforms a corpus into a multi-perspective graph capturing semantic, logical, and sequential dependencies, then minimizes structural entropy to induce a topologically-faithful encoding tree. To bridge the gap between abstract themes and granular facts, we introduce localized structural weight-based vector aggregation for token-free community consolidation. Extensive experiments demonstrate that SeRAG significantly reduces indexing overhead while outperforming state-of-the-art methods in complex multi-hop reasoning tasks.
","absKo":"Retrieval-Augmented Generation(RAG)은 점점 hierarchical indexing에 의존하고 있지만, 기존 framework는 recursive한 LLM 기반 summarization의 높은 비용과 정보 손실 때문에 병목이 발생한다. 우리는 텍스트 요약을 information-theoretic knowledge taxonomy로 대체하는 새로운 token-free hierarchical indexing framework인 SeRAG를 제안한다. SeRAG는 먼저 corpus를 semantic, logical, sequential dependency를 포착하는 multi-perspective graph로 변환한 뒤, structural entropy를 최소화하여 topologically-faithful encoding tree를 유도한다. 추상적 주제와 세부 사실 사이의 간극을 메우기 위해, 우리는 token-free community consolidation을 위한 localized structural weight-based vector aggregation을 도입한다. 대규모 실험은 SeRAG가 indexing overhead를 크게 줄이면서도 복잡한 multi-hop reasoning task에서 state-of-the-art 방법을 능가함을 보여준다.
"},{"id":"66541","en":"Transformer Circuits Can Realize Clustering Algorithms","ko":"Transformer 회로는 클러스터링 알고리즘을 구현할 수 있다","authors":"Kenneth Clarkson, Lior Horesh, Takuya Ito, Charlotte Park, Parikshit Ram","pos":"#4207","link":"https://openreview.net/forum?id=2jw5U060C4","abs":"Although transformers are most commonly optimized as statistical sequence models, it is unclear to what extent they can implement and learn exact algorithmic computations. Here, we specify a transformer implementation from first principles that executes a fundamental and widely used method for $k$-means clustering: Lloyd's algorithm. We theoretically prove and empirically demonstrate that this implementation of a transformer architecture, which we term the _$k$-means transformer_, exactly implements Lloyd's algorithm for $k$-means clustering using the standard circuit mechanisms of modern transformers: attention block, residual connections, and feed-forward block. In learning experiments, we find that training this base architecture on $k$-means clustering yields a generalizable clustering algorithm that surpasses Lloyd's algorithm in terms of clustering quality. Finally, we demonstrate that interpretable alterations (e.g., inclusion of layer normalizations) to this architecture yields diverse and novel variants of clustering algorithms, including soft $k$-means, spherical $k$-means, trimmed $k$-means. Overall, our results show that transformer circuit mechanisms can instantiate exact algorithmic routines for clustering, while simultaneously providing an effective learnable model.","absKo":"transformer는 가장 흔히 통계적 sequence model로 최적화되지만, 정확한 algorithmic computation을 얼마나 구현하고 학습할 수 있는지는 분명하지 않다. 여기서는 $k$-means clustering을 위한 근본적이고 널리 사용되는 방법인 Lloyd's algorithm을 수행하는 transformer 구현을 원리 수준에서 규정한다. 우리는 이 transformer architecture 구현이, 이를 _$k$-means transformer_라고 부르는데, 현대 transformer의 표준 circuit mechanism인 attention block, residual connection, 그리고 feed-forward block을 사용하여 $k$-means clustering을 위한 Lloyd's algorithm을 정확히 구현함을 이론적으로 증명하고 실험적으로 보인다. 학습 실험에서는 이 기본 architecture를 $k$-means clustering으로 훈련하면 clustering quality 측면에서 Lloyd's algorithm을 능가하는 일반화 가능한 clustering algorithm이 얻어진다는 것을 확인한다. 마지막으로, 이 architecture에 대한 해석 가능한 변경(예: layer normalization의 포함)이 soft $k$-means, spherical $k$-means, trimmed $k$-means를 포함한 다양하고 새로운 clustering algorithm 변형들을 산출함을 보인다. 전반적으로, 우리의 결과는 transformer circuit mechanism이 clustering을 위한 정확한 algorithmic routine을 구현할 수 있을 뿐 아니라, 동시에 효과적으로 학습 가능한 모델을 제공함을 보여준다.
"},{"id":"65236","en":"Variable Clustering via Distributionally Robust Nodewise Regression","ko":"분포 강건 노드별 회귀를 통한 변수 클러스터링","authors":"Kaizheng Wang, Xiao Xu, Xun Yu Zhou","pos":"#4208","link":"https://openreview.net/forum?id=FVmpIRN0N2","abs":"We study a multi-factor block model for variable clustering and connect it to regularized subspace clustering through a distributionally robust version of nodewise regression. To solve the latter problem, we derive a convex relaxation, provide a data-driven approach for selecting the size of the robust region, and develop an ADMM algorithm for efficient implementation. We validate our method in extensive numerical studies and demonstrate its superior performance.
","absKo":"우리는 variable clustering을 위한 multi-factor block model을 연구하고, 이를 nodewise regression의 distributionally robust 버전을 통해 regularized subspace clustering과 연결한다. 이 문제를 풀기 위해 우리는 convex relaxation을 유도하고, robust region의 크기를 선택하기 위한 data-driven 접근법을 제시하며, 효율적인 구현을 위한 ADMM 알고리즘을 개발한다. 우리는 광범위한 수치 실험으로 방법을 검증하고, 우수한 성능을 입증한다.
"},{"id":"63345","en":"Fully Dynamic Coreset Spectral Clustering","ko":"완전 동적 코어셋 스펙트럼 클러스터링","authors":"Ben Jourdan, Peter Macgregor, Gregory Schwartzman","pos":"#4300","link":"https://openreview.net/forum?id=XsvJN3v4Hi","abs":"We present a fully dynamic data structure that supports edge and node updates and cluster membership queries for the Normalised Cut problem with strong theoretical guarantees. Furthermore, our data structure outperforms the state of the art significantly on real world datasets. At the heart of our data structure is the novel notion of *Just-in-Time Sampling Trees*. The worst-case edge update time of our data structure is $O(\\log n)$ where $n$ is the number of nodes in the current graph. Let $d_{\\max}$ be the maximum degree of the current graph, let $T_{NC}(n',k')$ be the running time of an $\\alpha$-approximation algorithm for the Normalised Cut problem on $n'$ vertices and $k'$ clusters, and let $\\text{vol}(Y)$ be the sum of the unweighted degrees of all nodes in a set $Y$. The worst-case query time of our data structure to label all nodes in $Y$ is $O\\left(kd_{max}^2 \\log(n) + \\gamma(n,\\epsilon,k,Y)\\right)$, with approximation ratio $\\alpha \\frac{1+\\epsilon}{1-\\epsilon}$, where $\\gamma(n,\\epsilon,k,Y)$ is defined to be $\\log(n)\\log^\\star(n)\\epsilon^{-4}k^2 + T_{NC}(\\epsilon^{-4}k^2,k) + \\epsilon^{-8}k^4 +vol(Y)$. Assuming $d_{\\max}$ is polylogarithmic, as is the case with many sparse real-world graphs, our method achieves the best known trade-off between query time and update time.","absKo":"우리는 edge와 node 업데이트, 그리고 cluster membership query를 지원하는 fully dynamic data structure를 Normalised Cut 문제에 대해 강한 이론적 보장을 갖도록 제시한다. 더 나아가, 우리의 data structure는 실제 world datasets에서 기존 state of the art를 크게 능가한다. 이 data structure의 핵심에는 *Just-in-Time Sampling Trees*라는 새로운 개념이 있다. 우리의 data structure의 worst-case edge update time은 현재 graph의 node 수를 $n$이라 할 때 $O(\\log n)$이다. 현재 graph의 maximum degree를 $d_{\\max}$, $n'$ vertices와 $k'$ clusters에서의 Normalised Cut 문제에 대한 $\\alpha$-approximation algorithm의 running time을 $T_{NC}(n',k')$, 그리고 set $Y$에 있는 모든 node의 unweighted degree 합을 $\\text{vol}(Y)$라고 하자. $Y$ 안의 모든 node를 label하는 데 대한 우리의 data structure의 worst-case query time은 $O\\left(kd_{max}^2 \\log(n) + \\gamma(n,\\epsilon,k,Y)\\right)$이며, approximation ratio는 $\\alpha \\frac{1+\\epsilon}{1-\\epsilon}$이다. 여기서 $\\gamma(n,\\epsilon,k,Y)$는 $\\log(n)\\log^\\star(n)\\epsilon^{-4}k^2 + T_{NC}(\\epsilon^{-4}k^2,k) + \\epsilon^{-8}k^4 +vol(Y)$로 정의된다. $d_{\\max}$가 polylogarithmic하다고 가정하면, 이는 많은 sparse real-world graphs에서 성립하는데, 우리의 방법은 query time과 update time 사이의 가장 좋은 것으로 알려진 trade-off를 달성한다."},{"id":"61918","en":"Fast k-means Seeding Under The Manifold Hypothesis","ko":"매니폴드 가설 하에서의 빠른 k-means seeding","authors":"Poojan Shah, Shashwat Agrawal, Ragesh Jaiswal","pos":"#4301","link":"https://openreview.net/forum?id=lgsMOTIAYu","abs":"We study beyond worst case analysis for the $k$-means problem where the goal is to model typical instances of $k$-means arising in practice. Existing theoretical approaches provide guarantees under certain assumptions on the optimal solutions to $k$-means, making them difficult to validate in practice. We propose the manifold hypothesis, where data obtained in ambient dimension $D$ concentrates around a low dimensional manifold of intrinsic dimension $d$, as a reasonable assumption to model real world clustering instances. We identify key geometric properties of datasets which have theoretically predictable scaling laws depending on the quantization exponent $\\varepsilon = 2/d$ using techniques from optimum quantization theory. We show how to exploit these regularities to design a fast seeding method called $\\operatorname{Qkmeans}$ which provides $O(\\rho^{-2} \\log k)$ approximate solutions to the $k$-means problem in time $O(nD) + \\widetilde{O}(\\varepsilon^{1+\\rho}\\rho^{-1}k^{1+\\gamma})$; where the exponent $\\gamma = \\varepsilon + \\rho$ for an input parameter $\\rho < 1$. This allows us to obtain new runtime - quality tradeoffs. We perform a large scale empirical study across various domains to validate our theoretical predictions and algorithm performance to bridge theory and practice for beyond worst case data clustering.","absKo":"우리는 $k$-means 문제에 대한 beyond worst case analysis를 연구하며, 목표는 실제에서 발생하는 $k$-means의 전형적 instance를 모델링하는 것이다. 기존 이론적 접근은 $k$-means의 optimal solution에 대한 특정 가정 하에서 보장을 제공하므로, 실제에서 검증하기 어렵다. 우리는 ambient dimension $D$에서 얻어진 데이터가 intrinsic dimension $d$를 갖는 저차원 manifold 주변에 집중된다는 manifold hypothesis를, 실제 clustering instance를 모델링하기 위한 합리적인 가정으로 제안한다. 우리는 optimum quantization theory의 기법을 사용하여 quantization exponent $\\varepsilon = 2/d$에 따라 이론적으로 예측 가능한 scaling law를 따르는 데이터셋의 핵심 기하학적 성질을 식별한다. 우리는 이러한 규칙성을 활용하여 $\\operatorname{Qkmeans}$라는 빠른 seeding method를 설계할 수 있음을 보인다. 이 방법은 시간 $O(nD) + \\widetilde{O}(\\varepsilon^{1+\\rho}\\rho^{-1}k^{1+\\gamma})$ 안에 $k$-means 문제에 대해 $O(\\rho^{-2} \\log k)$ 근사해를 제공하며, 여기서 exponent $\\gamma = \\varepsilon + \\rho$이고 입력 매개변수는 $\\rho < 1$이다. 이를 통해 우리는 새로운 runtime-quality tradeoff를 얻을 수 있다. 우리는 이론적 예측과 알고리즘 성능을 검증하고, beyond worst case 데이터 클러스터링에서 이론과 실천을 연결하기 위해 다양한 도메인에 걸친 대규모 실증 연구를 수행한다."},{"id":"64042","en":"Dynamic High-Dimensional Facility Location with Low Recourse","ko":"낮은 재조정 비용을 갖는 동적 고차원 시설 입지 문제","authors":"Sayan Bhattacharya, Martín Costa, Silvio Lattanzi, Jakub Łącki, Nikos Parotsidis","pos":"#4302","link":"https://openreview.net/forum?id=RUBcrds5UK","abs":"We study the problem of dynamic facility location with non-uniform costs. Facility location is a central problem in unsupervised learning and in recent years the dynamic version of the problem has been extensively studied. In this paper, we study the setting where clients are added and deleted in real-time and one is interested in maintaining efficiently a stable and high-quality solution. Interestingly, we are able to show that on High Dimensional Euclidean metrics it is possible to obtain efficient algorithms for this problem. More formally, we obtain a randomized algorithm for dynamic facility location in $d$-dimensional Euclidean spaces with $\\gamma$ approximation ratio, $O(\\log m)$ amortized recourse and $\\text{poly}(d) \\cdot (m+n)^{O(1/\\gamma)}$ amortized update time, for every sufficiently large constant $\\gamma \\geq 1$. Our result is the first efficient dynamic algorithm for the \\emph{non-uniform} dynamic facility location problem in high-dimensional Euclidean spaces. It also provides a stronger recourse bound than the existing solutions.","absKo":"우리는 비균일 비용을 갖는 dynamic facility location 문제를 연구한다. facility location은 unsupervised learning의 핵심 문제이며, 최근에는 그 dynamic version이 광범위하게 연구되어 왔다. 본 논문에서는 client가 실시간으로 추가되고 삭제되는 설정에서, 안정적이고 높은 품질의 해를 효율적으로 유지하는 데 관심을 둔다. 흥미롭게도, High Dimensional Euclidean metric에서는 이 문제에 대해 효율적인 algorithm을 얻을 수 있음을 보인다. 더 형식적으로 말하면, 충분히 큰 상수 $\\gamma \\geq 1$에 대해, $d$차원 Euclidean space에서 $\\gamma$ approximation ratio, $O(\\log m)$ amortized recourse, 그리고 $\\text{poly}(d) \\cdot (m+n)^{O(1/\\gamma)}$ amortized update time을 갖는 dynamic facility location의 randomized algorithm을 얻는다. 우리의 결과는 high-dimensional Euclidean space에서 \\emph{non-uniform} dynamic facility location 문제에 대한 최초의 효율적 dynamic algorithm이다. 또한 기존 solution보다 더 강한 recourse bound를 제공한다."},{"id":"66184","en":"Dual-Calibration Multi-View Clustering via Compact Anchor Learning","ko":"간결한 앵커 학습을 통한 이중 보정 다중 뷰 클러스터링","authors":"Huibing Wang, Yuemeng Huang, Yawei Chen, Jiaxin Yang, Qian Liu, Jinjia Peng, Zetian Mi, Ximing Li","pos":"#4303","link":"https://openreview.net/forum?id=5znnBwyur9","abs":"The anchor-based multi-view clustering method has received extensive attention due to its efficiency and scalability in large-scale data scenarios. Existing methods still face significant challenges in optimizing the quality of anchors. Current mainstream approaches typically rely on random sampling strategies or orthogonal constraints for anchor selection and learning. Nevertheless, these methods treat anchor learning and cluster assignment as mutually independent processes handled separately, thereby giving rise to issues including redundant anchor coverage and ambiguous cluster boundaries. Unlike existing anchor-based multi-view clustering methods, this paper innovatively proposes a Dual-Calibration Multi-view Clustering via Compact Anchor Learning (DCMC), which effectively improves anchor quality through a dual-space alignment mechanism. Specifically, DCMC initializes view-specific anchors to capture the underlying data distribution, and then enforces bidirectional consistency between the anchor space and the clustering space to jointly optimize both the sample-to-anchor assignments and the cluster assignments. The alternating optimization process derived from this objective effectively enhances cross-view semantic consistency while preserving the discriminative characteristics of each view. Experimental results demonstrate that DCMC outperforms state-of-the-art methods across multiple benchmark tests, confirming its effectiveness and reliability.
","absKo":"anchor-based multi-view clustering 방법은 대규모 데이터 시나리오에서의 효율성과 확장성 덕분에 폭넓은 주목을 받아 왔다. 기존 방법들은 여전히 anchor 품질을 최적화하는 데 큰 어려움을 겪는다. 현재의 주류 접근법은 보통 anchor 선택과 학습을 위해 random sampling 전략이나 orthogonal constraint에 의존한다. 그러나 이러한 방법들은 anchor learning과 cluster assignment를 서로 독립적인 과정으로 간주해 별도로 처리하므로, 중복되는 anchor coverage와 모호한 cluster boundary와 같은 문제를 초래한다. 기존 anchor-based multi-view clustering 방법과 달리, 본 논문은 dual-space alignment 메커니즘을 통해 anchor 품질을 효과적으로 향상시키는 Dual-Calibration Multi-view Clustering via Compact Anchor Learning(DCMC)을 혁신적으로 제안한다. 구체적으로 DCMC는 view-specific anchor를 초기화하여 잠재된 데이터 분포를 포착한 뒤, anchor space와 clustering space 사이의 bidirectional consistency를 강제하여 sample-to-anchor assignment와 cluster assignment를 함께 최적화한다. 이 목적함수로부터 도출된 alternating optimization 과정은 각 view의 판별적 특성을 보존하면서 cross-view semantic consistency를 효과적으로 향상시킨다. 실험 결과는 DCMC가 여러 benchmark test에서 state-of-the-art method를 능가함을 보여 주며, 그 효과성과 신뢰성을 확인시켜 준다.
"},{"id":"66036","en":"Discretely-Refined Multi-view Clustering via Aligned Anchor Learning","ko":"정렬된 앵커 학습을 통한 이산 정제 다중 뷰 클러스터링","authors":"Yuemeng Huang, Huibing Wang, Jinjia Peng, Lu Jiang, Qian Liu, Zetian Mi, Jiqing Zhang","pos":"#4304","link":"https://openreview.net/forum?id=7guPrQnxrg","abs":"Anchor-based multi-view clustering has garnered wide attention for its ability to reduce the computational complexity of large-scale spectral clustering.However, existing methods mostly adopt a unidirectional optimization paradigm confined to sample-anchor bipartite graphs, treating the construction of the consensus graph and discrete clustering assignments as separate sub-problems to be solved independently. This weakens the information exchange between continuous representation and discrete structure, confining the optimization process to iterative updates within local modules.To address these limitations, we propose a Discretely-Refined Multi-view Clustering(DRMC) via Aligned Anchor Learning. Unlike approaches that directly perform fusion in the anchor space, our method starts from the anchor graph, elevates sample-anchor associations to sample-level similarity graph representations, and thereby enhances both within-cluster similarity and between-cluster separation. Furthermore, we design a discrete feedback module that jointly conducts spectral embedding learning and discrete label assignment by orthogonally aligning the continuous embedding matrix with the discrete indicator matrix. The resulting discrete partition is then fed back into the consensus graph construction, continuously refining the graph structure. Experiments on multiple benchmark datasets demonstrate that the proposed method exhibits significant advantages over existing state-of-the-art approaches.
","absKo":"Anchor-based multi-view clustering은 large-scale spectral clustering의 computational complexity를 줄일 수 있다는 점에서 폭넓은 주목을 받아왔다. 그러나 기존 method는 대부분 sample-anchor bipartite graph에 국한된 unidirectional optimization paradigm을 채택하며, consensus graph의 구성과 discrete clustering assignment를 독립적으로 풀어야 하는 별도의 sub-problem으로 취급한다. 이는 continuous representation과 discrete structure 사이의 information exchange를 약화시키고, optimization process를 local module 내부의 iterative update로 제한한다. 이러한 한계를 해결하기 위해, 우리는 Aligned Anchor Learning을 통한 Discretely-Refined Multi-view Clustering(DRMC)을 제안한다. anchor space에서 직접 fusion을 수행하는 접근과 달리, 우리의 method는 anchor graph에서 시작하여 sample-anchor association을 sample-level similarity graph representation으로 승격시키고, 이를 통해 within-cluster similarity와 between-cluster separation을 모두 향상시킨다. 또한 우리는 continuous embedding matrix와 discrete indicator matrix를 orthogonally aligning함으로써 spectral embedding learning과 discrete label assignment를 공동으로 수행하는 discrete feedback module을 설계한다. 이렇게 얻어진 discrete partition은 다시 consensus graph construction에 피드백되어 graph structure를 지속적으로 정교화한다. 여러 benchmark dataset에서의 실험은 제안한 method가 기존 state-of-the-art approach들에 비해 상당한 장점을 보임을 보여준다."},{"id":"63342","en":"Deep Multi-view Graph Clustering via Attribute-aware Bidirectional Structural Refinement and Pseudo-label Guided Multi-level Fusion","ko":"속성 인지 양방향 구조 정제와 의사 레이블 유도 다단계 융합을 통한 심층 다중 뷰 그래프 클러스터링","authors":"Youqing Wang, Tianxiang Zhao, Mengyuan Xin, Ye Su, Jiapu Wang, Tengfei Liu, Junbin Gao, Jipeng Guo","pos":"#4305","link":"https://openreview.net/forum?id=XtqZ41BUkF","abs":"Deep multi-view graph clustering (DMGC) typically leverages graph neural networks for representation learning, but most existing methods excessively depend on local and static graph structures and only utilize simplistic cross-view fusion strategies. To this end, this paper proposes Attribute-aware Bidirectional Structural Refinement (ABSR) and Pseudo-label Guided Multi-level Fusion (PGMF) for DMGC, termed APGC. Specifically, ABSR selectively strengthens high-quality connections and suppresses semantically conflicting relationships, achieving bidirectional refinement of the graph structure based on attribute similarity. It incorporates global attribute semantics into the graph structure, thereby promoting the homophilic connections for discriminative graph representation learning. Guided by reliable pseudo-labels, PGMF achieves adaptive weighted fusion at both the node-level and the view-level, effectively balancing the differentiated contributions of multi-view information. Experiments on six homophilic and heterophilic datasets demonstrate the superior clustering performance of the proposed APGC method.
","absKo":"Deep multi-view graph clustering(DMGC)은 일반적으로 representation learning을 위해 graph neural network를 활용하지만, 기존 방법의 대부분은 local하고 static한 graph structure에 과도하게 의존하며, 단순한 cross-view fusion 전략만을 사용한다. 이에 따라 본 논문은 DMGC를 위한 Attribute-aware Bidirectional Structural Refinement(ABSR)과 Pseudo-label Guided Multi-level Fusion(PGMF)을 제안하며, 이를 APGC라 부른다. 구체적으로 ABSR은 품질이 높은 연결을 선택적으로 강화하고 의미적으로 충돌하는 관계를 억제하여, attribute similarity를 기반으로 graph structure를 양방향으로 정제한다. 이는 global attribute semantics를 graph structure에 통합함으로써 판별적인 graph representation learning을 위한 homophilic connection을 촉진한다. 신뢰할 수 있는 pseudo-label의 지도를 받아 PGMF는 node level과 view level 모두에서 적응적 가중 fusion을 달성하여, multi-view information의 차별화된 기여를 효과적으로 균형 있게 반영한다. 여섯 개의 homophilic 및 heterophilic dataset에서 수행한 실험은 제안한 APGC 방법이 우수한 clustering 성능을 보임을 입증한다.
"},{"id":"64642","en":"Contractive Anchor Resolvent Diffusion for Incomplete Multi-View Clustering","ko":"불완전 Multi-View Clustering을 위한 Contractive Anchor Resolvent Diffusion","authors":"Tongzheng Zhao, Yangyang Wen, Yukai Shi, Xinyan Liang, Feijiang Li, Peng Zhou, Liang Du","pos":"#4306","link":"https://openreview.net/forum?id=LJf4y2MbjU","abs":"Incomplete Multi-View Clustering (IMVC) is fundamentally challenged by structural degradation induced by missing views, rather than the absence of feature values. Existing graph-based approaches either rely on costly data imputation or adopt first-order linear fusion, which acts as a weak low-pass filter and fails to separate latent consensus structure from structural noise. To address this limitation, we reformulate IMVC from a spectral filtering perspective and propose \\textbf{C}ontractive \\textbf{A}nchor \\textbf{R}esolvent \\textbf{D}iffusion (\\textbf{CARD}), a scalable framework for high-order structural inference without explicit imputation. CARD constructs a unified anchor-induced hypergraph and derives a high-order resolvent diffusion operator that functions as a sharp rational filter to amplify consensus signals while suppressing view-specific noise. We further derive an implicit solver that jointly optimizes similarity learning and clustering without materializing dense matrices, and prove that the resulting process constitutes a local contraction mapping toward the consensus subspace. Extensive experiments on large-scale benchmarks demonstrate that CARD consistently outperforms state-of-the-art IMVC methods with linear complexity. The code for our method is publicly available at \\url{https://anonymous.4open.science/r/CARD-8CB1}.
","absKo":"Incomplete Multi-View Clustering(IMVC)은 feature value의 부재 자체보다, missing view에 의해 유도되는 structural degradation 때문에 본질적으로 어려움을 겪는다. 기존 graph-based approach는 비용이 큰 data imputation에 의존하거나, 약한 low-pass filter로 작동하여 latent consensus structure와 structural noise를 분리하지 못하는 first-order linear fusion을 채택한다. 이 한계를 해결하기 위해, 우리는 IMVC를 spectral filtering 관점에서 재정식화하고, 명시적 imputation 없이 고차원 structural inference를 수행할 수 있는 확장 가능한 framework인 \\textbf{C}ontractive \\textbf{A}nchor \\textbf{R}esolvent \\textbf{D}iffusion(\\textbf{CARD})을 제안한다. CARD는 통합 anchor-induced hypergraph를 구성하고, consensus signal은 증폭하고 view-specific noise는 억제하는 sharp rational filter로 기능하는 high-order resolvent diffusion operator를 유도한다. 또한 dense matrix를 materialize하지 않으면서 similarity learning과 clustering을 공동 최적화하는 implicit solver를 유도하고, 그 결과 과정이 consensus subspace를 향한 local contraction mapping을 이룸을 증명한다. 대규모 benchmark에 대한 광범위한 실험은 CARD가 linear complexity로 SOTA IMVC 방법을 일관되게 능가함을 보여준다. 우리의 방법 코드는 공개되어 있으며 \\url{https://anonymous.4open.science/r/CARD-8CB1}에서 확인할 수 있다.
"},{"id":"65905","en":"Capacitated Fair-Range Clustering: Hardness and Approximation Algorithms","ko":"용량 제약 공정 범위 클러스터링: 난이도와 근사 알고리즘","authors":"Ameet Gadekar, Suhas Thejaswi Muniyappa","pos":"#4307","link":"https://openreview.net/forum?id=91KRLNX4il","abs":"Capacitated fair-range $k$-clustering generalizes classical $k$-clustering by incorporating both capacity constraints and demographic fairness. In this setting, data points are categorized as clients and facilities; each facility has a capacity and may belong to one or more possibly intersecting demographic groups. The task is to select $k$ facilities as centers and assign each client to a center so that: ($a$) no center exceeds its capacity, ($b$) the number of centers selected from each group lies within specified lower and upper bounds (fair-range constraints), and ($c$) the clustering cost (e.g., $k$-median or $k$-means) is minimized. Prior work by Thejaswi et al. (KDD 2022) showed that even satisfying fair-range constraints is \\np-hard, thereby making the problem inapproximable to any polynomial factor. Our first main result strengthens this by showing that inapproximability persists even when the fair-range constraints are trivially satisfiable, highlighting the intrinsic computational complexity of the clustering task itself. These inapproximability results hold even on tree metrics and when the number of groups is logarithmic in the size of the facility set. In light of strong inapproximability results, we focus on a practical setting where the number of groups is constant. Our second main result is a polynomial-time $O(\\log k)$- and $O(\\log^2 k)$-approximation algorithm for $k$-median and $k$-means objectives, respectively, in this regime. Next, we design constant factor approximation algorithms for these problems that run in fixed parameterized tractable time in $k$. All our approximation guarantees match the best bounds for capacitated clustering without fair-range constraints. Finally, as our third main contribution, we show that our polynomial-time algorithms are, to our knowledge, the first to have provable approximation guarantees that can practically solve problem instances of modest size.","absKo":"Capacitated fair-range $k$-clustering은 capacity constraint와 demographic fairness를 모두 포함함으로써 고전적인 $k$-clustering을 일반화한다. 이 설정에서 data point는 client와 facility로 구분되며, 각 facility는 capacity를 가지며 하나 이상의, 서로 교차할 수도 있는 demographic group에 속할 수 있다. 과제는 $k$개의 facility를 center로 선택하고 각 client를 center에 할당하되, ($a$) 어떤 center도 capacity를 초과하지 않고, ($b$) 각 group에서 선택된 center 수가 지정된 하한과 상한(fair-range constraint) 사이에 들어가며, ($c$) clustering cost(예: $k$-median 또는 $k$-means)를 최소화하는 것이다. Thejaswi et al. (KDD 2022)의 선행 연구는 fair-range constraint를 만족시키는 것조차 \\np-hard임을 보였으며, 그 결과 이 문제는 어떤 polynomial factor로도 approximation할 수 없게 된다. 우리의 첫 번째 주요 결과는, fair-range constraint가 trivially satisfiable하더라도 이러한 inapproximability가 여전히 유지된다는 점을 보여주며, clustering task 자체의 내재적 계산 복잡성을 강조한다. 이 inapproximability 결과는 tree metric 위에서도, 그리고 group 수가 facility set 크기에 대해 logarithmic일 때에도 성립한다. 강한 inapproximability 결과를 고려하여, 우리는 group 수가 constant인 실용적 설정에 초점을 맞춘다. 두 번째 주요 결과로, 이 regime에서 $k$-median과 $k$-means objective에 대해 각각 polynomial-time $O(\\log k)$- 및 $O(\\log^2 k)$-approximation algorithm을 제시한다. 다음으로, 우리는 $k$에 대해 fixed parameterized tractable time에 동작하는 constant factor approximation algorithm을 설계한다. 우리의 모든 approximation guarantee는 fair-range constraint가 없는 capacitated clustering에 대해 알려진 최선의 bound와 일치한다. 마지막으로, 세 번째 주요 기여로, 우리의 polynomial-time algorithm이, 우리가 아는 한, 실제로 적당한 크기의 problem instance를 해결할 수 있는 provable approximation guarantee를 갖는 최초의 방법임을 보인다."},{"id":"64944","en":"CURE: Consistency-under-Unified Semantic Regularization for Generalized Category Discovery","ko":"CURE: 일반화된 Category Discovery를 위한 Unified Semantic Regularization 하의 일관성","authors":"Yuwei Bian, Shidong Wang, Haofeng Zhang","pos":"#4308","link":"https://openreview.net/forum?id=IQNU17Cdk3","abs":"Generalized Category Discovery (GCD) aims to learn semantically structured representations for discovering novel categories in unlabeled data using supervision from known classes. Most existing methods rely on self-supervised contrastive learning (CL) with consistency and uniformity objectives. We identify an inherent optimization conflict between these objectives: while uniformity enforces global feature dispersion, it can hinder the formation of class-discriminative and semantically coherent structures. To address this issue, we propose a two-stage framework that decouples representation learning from self-contrastive regularization. The first stage learns category-anchored representations aligned with known class prototypes, while the second stage extends the representation space to novel categories via a consistency objective enhanced with unified semantic regularization. We further introduce a Semantic Exploration Energy mechanism to capture shared semantics across categories and mitigate information loss caused by prototype orthogonalization. The resulting framework, termed Consistency-under-Unified Semantic Regularization(CURE), achieves state-of-the-art performance on multiple benchmarks and substantially reduces the performance gap between known and novel categories.
","absKo":"Generalized Category Discovery(GCD)는 알려진 class의 supervision을 활용하여 unlabeled data에서 새로운 category를 발견하기 위한 의미적으로 구조화된 representation을 학습하는 것을 목표로 한다. 대부분의 기존 방법은 consistency와 uniformity objective를 갖는 self-supervised contrastive learning(CL)에 의존한다. 우리는 이러한 objective 사이에 내재된 최적화 충돌을 식별한다: uniformity는 전역 feature dispersion을 강제하지만, class-discriminative하고 의미적으로 일관된 구조의 형성을 저해할 수 있다. 이 문제를 해결하기 위해, 우리는 representation learning과 self-contrastive regularization을 분리하는 2단계 프레임워크를 제안한다. 첫 번째 단계는 known class prototype과 정렬된 category-anchored representation을 학습하고, 두 번째 단계는 unified semantic regularization으로 강화된 consistency objective를 통해 representation space를 novel category로 확장한다. 우리는 또한 category 전반의 공유 semantic을 포착하고 prototype orthogonalization으로 인한 information loss를 완화하기 위해 Semantic Exploration Energy mechanism을 도입한다. 이로부터 얻어진 프레임워크인 Consistency-under-Unified Semantic Regularization(CURE)는 여러 benchmark에서 state-of-the-art 성능을 달성하며, known category와 novel category 사이의 성능 격차를 크게 줄인다.
"},{"id":"66796","en":"Beyond Looking Up, Try Looking Around: Harmonizing Global Structure and Local Consistency in Optimal Transport for Short Text Clustering","ko":"위를 올려다보지 말고 주변을 둘러보라: Short Text Clustering을 위한 Optimal Transport에서 전역 구조와 국소 일관성의 조화","authors":"Zhihao Yao, Yuxuan Gu, Jixuan Yin, Bo Li","pos":"#4309","link":"https://openreview.net/forum?id=0EANaZfd1l","abs":"Pseudo-labeling based on Optimal Transport (OT) has become an effective mechanism for enhancing short text clustering. Existing OT methods are short in modeling semantic consistencies between samples, which may assign different pseudo-labels to semantically similar samples. These erroneous pseudo-labels can cause the model to produce inferior clusters. This paper proposes a novel short text clustering framework, which remedies the neglect of semantic consistency in existing OT methods, generating reliable pseudo-labels to facilitate clustering. Specifically, our method first proposes a novel instance-level attention mechanism to capture semantic relationships between samples, which are then integrated into the OT formulation to endow the transport process with neighborhood semantic awareness. By solving the proposed OT formulation, reliable pseudo-labels are obtained that simultaneously account for sample-to-sample semantic consistency and sample-to-cluster global structure information. These reliable pseudo-labels are then used as supervisory signals to guide the model to achieve accurate clustering. Extensive experiments demonstrate that the proposed method outperforms state-of-the-art approaches. The code is available at: https://anonymous.4open.science/r/RPDC-STC-8B53/README.md
","absKo":"Optimal Transport (OT)에 기반한 pseudo-labeling은 short text clustering을 향상시키는 효과적인 메커니즘으로 자리 잡았다. 기존 OT 방법은 샘플 간 의미적 일관성을 모델링하는 데 부족하여, 의미적으로 유사한 샘플에 서로 다른 pseudo-label을 할당할 수 있다. 이러한 잘못된 pseudo-label은 모델이 좋지 않은 cluster를 생성하게 만들 수 있다. 본 논문은 기존 OT 방법에서 의미적 일관성의 간과를 보완하고, clustering을 돕기 위해 신뢰할 수 있는 pseudo-label을 생성하는 새로운 short text clustering framework를 제안한다. 구체적으로, 우리의 방법은 먼저 샘플 간 의미적 관계를 포착하기 위한 새로운 instance-level attention mechanism을 제안하고, 이를 OT formulation에 통합하여 transport process가 neighborhood semantic awareness를 갖도록 한다. 제안된 OT formulation을 풀면, sample-to-sample semantic consistency와 sample-to-cluster global structure information을 동시에 반영하는 신뢰할 수 있는 pseudo-label을 얻을 수 있다. 이렇게 얻은 신뢰할 수 있는 pseudo-label은 supervisory signal로 사용되어 모델이 정확한 clustering을 수행하도록 유도한다. 광범위한 실험은 제안한 방법이 state-of-the-art 접근법을 능가함을 보여준다. 코드는 다음에서 उपलब्ध하다: https://anonymous.4open.science/r/RPDC-STC-8B53/README.md
"},{"id":"62272","en":"Beyond Independence: Learning Correlated Views for Variational Incomplete Multi-View Clustering","ko":"독립성 넘어: Variational Incomplete Multi-View Clustering을 위한 Correlated View 학습","authors":"Zheming Xu, Aiyue Tang, Shidi Chen, Xuechao Zou, Congyan Lang, Rogelio A. Mancisidor, Michael Kampffmeyer","pos":"#4310","link":"https://openreview.net/forum?id=i64wamCd0h","abs":"Incomplete multi-view clustering (IMVC) aims to uncover shared cluster structures from data with partially observed views. Although recent imputation-free methods based on variational inference demonstrate robustness to missing views, they commonly rely on a conditional independence assumption across views, which fails to capture the inherently structured and potentially correlated nature of multi-view data. In this paper, we propose a variational framework that explicitly goes beyond this assumption by introducing a learnable cross-view correlation structure. Specifically, we explicitly model and learn correlations between views by utilizing the covariance structure of posterior estimation errors. To facilitate robust and efficient learning, the correlation matrix is parameterized through a normalized Cholesky decomposition, ensuring positive definiteness and enabling the entire model to be trained jointly through a unified variational objective. Extensive experiments on multiple IMVC benchmarks demonstrate that our method consistently outperforms state-of-the-art approaches across a wide range of missing-view settings. These results highlight the effectiveness of adaptive correlation modeling in variational IMVC, demonstrating the need to go beyond the independence assumption in IMVC.
","absKo":"불완전 multi-view clustering (IMVC)은 일부 view만 관측된 data에서 공유 cluster structure를 찾아내는 것을 목표로 한다. 최근 variational inference 기반의 imputation-free 방법들이 missing view에 대해 견고함을 보이지만, 대개 view 간 conditional independence assumption에 의존하며, 이는 multi-view data가 본질적으로 구조화되어 있고 잠재적으로 상관되어 있다는 특성을 포착하지 못한다. 본 논문에서는 learnable cross-view correlation structure를 도입하여 이 가정을 명시적으로 넘어서는 variational framework를 제안한다. 구체적으로, posterior estimation error의 covariance structure를 활용해 view 간 상관관계를 명시적으로 모델링하고 학습한다. 견고하고 효율적인 학습을 위해 correlation matrix를 normalized Cholesky decomposition으로 parameterize하여 positive definiteness를 보장하고, unified variational objective를 통해 전체 model을 공동 학습할 수 있도록 한다. 여러 IMVC benchmark에 대한 광범위한 실험은 우리의 방법이 다양한 missing-view setting에서 state-of-the-art 접근법을 일관되게 능가함을 보여준다. 이러한 결과는 variational IMVC에서 adaptive correlation modeling의 효과를 강조하며, IMVC에서 independence assumption을 넘어설 필요가 있음을 보여준다."},{"id":"65810","en":"Resilient Coresets and Consistent Clustering","ko":"복원력 있는 Coreset와 일관된 클러스터링","authors":"Ashkan Norouzi-Fard, Silvio Lattanzi, MohammadHossein Bateni, Morteza Monemizadeh","pos":"#4506","link":"https://openreview.net/forum?id=9wVto5mXYd","abs":"Many machine learning problems are geometric at their core, relying on metric representations of data for tasks such as clustering, prototype selection, nearest-neighbor search, and graph-based learning. Furthermore, data is constantly evolving and it is routinely transformed through dimensionality reduction, random projections, feature embeddings, compression, or privacy-preserving mechanisms. These transformations are designed to preserve geometry approximately. As a result, they preserve objective values for many geometric optimization problems, but they fail to guarantee that algorithmic outcomes remain consistent. In this work, we study \\emph{resilient data summaries} for geometric optimization. Building on the notion of \\emph{$\\gamma$-resilient algorithms} from Ahmadian, we introduce $\\gamma$-resilient coresets. A $\\gamma$-resilient $(k,\\varepsilon)$-coreset is a compact, weighted summary that guarantees a $(1+\\varepsilon)$ approximation to the objective and enforces stability at the level of assignments. We complement our positive result with a lower bound showing that to obtain a tight approximation for resilient clustering it is necessary to use a bi-criteria solution.","absKo":"많은 machine learning 문제는 본질적으로 geometric하며, clustering, prototype selection, nearest-neighbor search, graph-based learning과 같은 작업에서 데이터의 metric representation에 의존한다. 나아가 데이터는 지속적으로 변화하며, dimensionality reduction, random projections, feature embeddings, compression, privacy-preserving mechanism 등을 통해 일상적으로 변환된다. 이러한 변환은 geometry를 근사적으로 보존하도록 설계된다. 그 결과 많은 geometric optimization problem에서 objective value는 보존되지만, algorithmic outcome이 일관되게 유지된다는 보장은 제공하지 못한다. 본 연구에서는 geometric optimization을 위한 \\emph{resilient data summary}를 다룬다. Ahmadian의 \\emph{$\\gamma$-resilient algorithm} 개념에 기반하여, 우리는 $\\gamma$-resilient coreset을 도입한다. $\\gamma$-resilient $(k,\\varepsilon)$-coreset은 objective에 대해 $(1+\\varepsilon)$ approximation을 보장하고 assignment 수준에서 stability를 강제하는, 작고 가중치가 부여된 compact summary이다. 또한 resilient clustering에 대한 tight approximation을 얻기 위해서는 bi-criteria solution을 사용해야 한다는 lower bound를 제시하여 우리의 positive result를 보완한다."},{"id":"65836","en":"SC-FAGC: Size Constrained Fast Anchor-based Graph Clustering","ko":"SC-FAGC: 크기 제약 고속 앵커 기반 그래프 클러스터링","authors":"Jiachen Liu","pos":"#4615","link":"https://openreview.net/forum?id=9cpImU5dHk","abs":"Spectral clustering, a widely-used technique for graph-based data partitioning, faces a severe computational bottleneck due to its $O(n^{3})$ time complexity. While anchor-based approximations reduce the complexity to $O(nm^{2})$ ($m \\ll n$), they often yield degenerate solutions in the absence of explicit cluster-size control. To address this limitation, we propose \\textbf{SC-FAGC (Size-Constrained Fast Anchor Graph Clustering)}, a unified formulation that integrates entropy regularization and bilateral cardinality constraints within an anchor-based spectral clustering framework. Our model simultaneously promotes cohesive clusters and enforces soft lower and upper bounds on cluster sizes, thus avoiding trivial or highly unbalanced partitions. To solve the resulting non-convex optimization problem efficiently, we develop an \\textbf{Iteratively Re-weighted (IRW)} optimization scheme, which sequentially linearizes the objective and solves each subproblem via a \\textbf{Double-Bounded Optimal Transport (DB-OT)} solver based on the \\textbf{Sinkhorn--Knopp} algorithm. This approach guarantees convergence while maintaining scalability. Extensive experiments on benchmark datasets demonstrate that SC-FAGC consistently achieves state-of-the-art performance in terms of accuracy, purity, and recall, while strictly satisfying the prescribed cluster-size constraints. Thus the proposed method offers a principled and scalable solution for large-scale graph clustering with controllable partition structure.","absKo":"Spectral clustering은 graph-based data partitioning에 널리 사용되는 기법이지만, $O(n^{3})$ 시간 복잡도 때문에 심각한 computational bottleneck에 직면한다. anchor-based approximation은 복잡도를 $O(nm^{2})$ ($m \\ll n$)로 낮추지만, 명시적인 cluster-size control이 없으면 종종 degenerate solution을 낳는다. 이 한계를 해결하기 위해, 우리는 anchor-based spectral clustering framework 안에 entropy regularization과 bilateral cardinality constraints를 통합한 통합 정식화인 \\textbf{SC-FAGC (Size-Constrained Fast Anchor Graph Clustering)}를 제안한다. 우리의 모델은 응집력 있는 cluster를 동시에 촉진하고 cluster size에 대한 soft lower 및 upper bound를 강제함으로써, 자명하거나 지나치게 불균형한 partition을 방지한다. 결과로 생기는 non-convex optimization problem을 효율적으로 풀기 위해, 우리는 objective를 순차적으로 linearize하고 각 subproblem을 \\textbf{Sinkhorn--Knopp} algorithm에 기반한 \\textbf{Double-Bounded Optimal Transport (DB-OT)} solver로 푸는 \\textbf{Iteratively Re-weighted (IRW)} optimization scheme을 개발한다. 이 접근법은 scalability를 유지하면서 convergence를 보장한다. benchmark dataset에서의 광범위한 실험은 SC-FAGC가 accuracy, purity, recall 측면에서 일관되게 state-of-the-art 성능을 달성하는 동시에, 제시된 cluster-size constraints를 엄격하게 만족함을 보여준다. 따라서 제안 방법은 제어 가능한 partition structure를 갖는 대규모 graph clustering을 위한 원리적이고 scalable한 해법을 제공한다."},{"id":"64600","en":"Estimating Correlation Clustering Cost in Node-Arrival Stream","ko":"노드 도착 스트림에서의 Correlation Clustering 비용 추정","authors":"Kaiwen Liu, Seba Daniela Villalobos, Qin Zhang","pos":"#4621","link":"https://openreview.net/forum?id=LplfRFhduF","abs":"We study the correlation clustering problem in the node-arrival data stream model. Unlike previous work, where the stream consists of the graph's edges, we focus on the setting in which the stream contains only the nodes. This model better reflects many real-world scenarios in which the data stream naturally consists of raw objects (e.g., images, tweets, or websites), and the similar/dissimilar edges are derived through a similarity function. We present *C*$^4$*Approx*, the first streaming algorithm that approximates the cost of correlation clustering using sublinear space in the number of nodes and a constant number of passes. We further complement this result with lower bounds. Experiments on real-world datasets show that by storing only 2\\% of the nodes, our algorithm achieves performance comparable to the classic *Pivot* algorithm and the more recent *PrunedPivot* algorithm.","absKo":"우리는 node-arrival data stream model에서 correlation clustering 문제를 연구한다. 이전 연구와 달리, stream이 graph의 edge로 구성되는 대신, 우리는 stream이 node만 포함하는 설정에 초점을 맞춘다. 이 모델은 데이터 스트림이 자연스럽게 raw object(예: 이미지, 트윗, 웹사이트)로 구성되고, similar/dissimilar edge가 similarity function을 통해 유도되는 많은 실제 시나리오를 더 잘 반영한다. 우리는 노드 수에 대해 sublinear space와 상수 개수의 pass를 사용하여 correlation clustering의 비용을 근사하는 최초의 streaming algorithm인 *C*$^4$*Approx*를 제시한다. 또한 이 결과를 lower bound로 보완한다. 실제 데이터셋에서 수행한 실험은 노드의 2\\%만 저장하더라도, 우리 알고리즘이 classic *Pivot* algorithm과 더 최근의 *PrunedPivot* algorithm에 견줄 만한 성능을 보임을 보여준다."},{"id":"67232","en":"Position: The Open Benchmark Paradox Must Be Resolved through Sovereign Medical Evaluation","ko":"Position: Open Benchmark 역설은 주권적 의료 평가를 통해 해결되어야 한다","authors":"Keonwoo Kim, Hyeseon Ko, Hyejeong Jo, Sewon Kim, Yera Choi, JaeDeok Lee, Heeyoung Kwak, Yunwook Sung, Haanju Yoo","pos":"#3108","link":"https://openreview.net/forum?id=5QNloNBcyn","abs":"As medical large language models become increasingly involved in clinical actions, public benchmarks are often treated as proxies of deployment-readiness. However, this reliance creates a false sense of security because public scores are often based on data the models have already seen. We call this the Open Benchmark Paradox: making evaluation data public for research progress also makes data contamination inevitable, ruining its value as a reliable safety signal. This paradox induces three structural failures: (1) hidden contamination, where it is impossible to prove evaluation independence; (2) outdated standards, where static datasets fail to track evolving medical guidelines; and (3) jurisdictional divergence, where global averaging ignores local legal and ethical standards. To validate these risks, we audited frontier models using recent medical exam data, which confirmed a high probability of data contamination. To resolve such integrity issues in medical evaluation, we propose Sovereign Medical Evaluation (SME). Instead of public leaderboards, SME establishes a national infrastructure where health authorities manage private, isolated evaluation pipelines. Within this secure system, evaluations are automatically updated using live medical data and legal changes, ensuring they remain current and strictly separated from model training. SME provides the essential transition to a controlled, auditable, and legally grounded safety gate for medical AI.
","absKo":"의료 large language models가 임상 행위에 점점 더 깊이 관여하게 되면서, 공개 벤치마크는 종종 배포 준비도의 대리 지표로 취급된다. 그러나 이러한 의존은 모델이 이미 보았을 가능성이 높은 데이터에 근거해 공개 점수가 산출된다는 점 때문에 잘못된 안전감으로 이어진다. 우리는 이를 Open Benchmark Paradox라고 부른다. 연구 진보를 위해 평가 데이터를 공개하는 것이 오히려 데이터 contamination을 불가피하게 만들어, 신뢰할 수 있는 안전 신호로서의 가치를 훼손한다는 것이다. 이 역설은 세 가지 구조적 실패를 유발한다: (1) 숨겨진 contamination, 즉 평가 독립성을 증명하는 것이 불가능한 문제; (2) 낡은 기준, 즉 정적인 데이터셋이 변화하는 의료 가이드라인을 따라가지 못하는 문제; (3) 관할권 간 불일치, 즉 전 지구적 평균이 지역별 법적·윤리적 기준을 무시하는 문제이다. 이러한 위험을 검증하기 위해, 우리는 최근 의료 시험 데이터를 사용하여 frontier model들을 감사했고, 높은 확률의 데이터 contamination을 확인했다. 의료 평가의 이러한 무결성 문제를 해결하기 위해, 우리는 Sovereign Medical Evaluation (SME)를 제안한다. 공개 leaderboards 대신 SME는 보건 당국이 private하고 isolated된 평가 파이프라인을 관리하는 국가 인프라를 구축한다. 이 안전한 시스템 안에서 평가는 live medical data와 법적 변경 사항을 사용해 자동으로 갱신되며, 모델 학습과 엄격히 분리된 상태로 최신성을 유지한다. SME는 의료 AI를 위한 통제 가능하고, 감사 가능하며, 법적으로 정당화된 안전 게이트로의 필수적인 전환을 제공한다.
"},{"id":"64629","en":"CoGenCast: A Coupled Autoregressive–Flow Generative Framework for Time Series Forecasting","ko":"CoGenCast: 시계열 예측을 위한 Coupled Autoregressive-Flow 생성 프레임워크","authors":"Yaguo Liu, Mingyue Cheng, Daoyu Wang, Xiaoyu Tao, Qi Liu","pos":"#1400","link":"https://openreview.net/forum?id=LULx50RKAz","abs":"Time series forecasting can be viewed as a generative problem that requires both semantic understanding over contextual conditions and stochastic modeling of continuous temporal dynamics. Existing approaches typically rely on either autoregressive large language models (LLMs) for semantic context modeling or diffusion-like models for continuous probabilistic generation. However, neither method alone can adequately model both aspects simultaneously. In this work, we propose CoGenCast, a hybrid generative framework that couples pre-trained LLMs with flow-matching mechanism for effective time series forecasting. Specifically, we reconfigure pre-trained decoder-only LLMs into a native forecasting encoder–decoder backbone by modifying only the attention topology, enabling bidirectional context encoding and causal representation generation. Building on this, a flow-matching mechanism is further integrated to model temporal evolution, capturing continuous stochastic dynamics conditioned on the autoregressively generated representation. Notably, CoGenCast naturally supports multimodal forecasting and cross-domain unified training. Extensive experiments on multiple benchmarks show that CoGenCast consistently outperforms previous compared baselines. Code is available.
","absKo":"시계열 예측은 문맥 조건에 대한 의미적 이해와 연속적인 시간 동역학의 확률적 모델링을 모두 요구하는 생성 문제로 볼 수 있다. 기존 접근법은 대개 의미적 문맥 모델링을 위한 autoregressive large language models (LLMs) 또는 연속 확률 생성을 위한 diffusion-like models에 의존한다. 그러나 어느 한 방법만으로는 두 측면을 동시에 충분히 모델링할 수 없다. 본 연구에서는 사전 학습된 LLM과 flow-matching mechanism을 결합한 하이브리드 생성 프레임워크 CoGenCast를 제안하여 효과적인 시계열 예측을 수행한다. 구체적으로는 attention topology만 수정하여 사전 학습된 decoder-only LLM을 bidirectional context encoding과 causal representation generation이 가능한 native forecasting encoder–decoder backbone으로 재구성한다. 이를 바탕으로, autoregressively 생성된 representation에 조건부로 연속적인 stochastic dynamics를 포착하는 temporal evolution을 모델링하기 위해 flow-matching mechanism을 추가로 통합한다. 주목할 점은 CoGenCast가 multimodal forecasting과 cross-domain unified training을 자연스럽게 지원한다는 것이다. 여러 benchmark에 대한 대규모 실험에서 CoGenCast는 기존 비교 baselines를 일관되게 능가함을 보였다. 코드는 공개되어 있다.
"},{"id":"64781","en":"Continuous-Time Piecewise-Linear Recurrent Neural Networks","ko":"연속 시간 Piecewise-Linear Recurrent Neural Network","authors":"Alena Brändle, Lukas Eisenmann, Florian Götz, Daniel Durstewitz","pos":"#1401","link":"https://openreview.net/forum?id=JuaulCZ7gE","abs":"In dynamical systems reconstruction (DSR) we aim to recover the dynamical system (DS) underlying observed time series. Specifically, we aim to learn a generative surrogate model which approximates the underlying, data-generating DS, and recreates its long-term properties (`climate statistics'). In scientific and medical areas, in particular, these models need to be mechanistically tractable -- through their mathematical analysis we would like to obtain insight into the recovered system's workings. Piecewise-linear (PL), ReLU-based RNNs (PLRNNs) have a strong track-record in this regard, representing SOTA DSR models while allowing mathematical insight by virtue of their PL design. However, all current PLRNN variants are discrete-time maps. This is in disaccord with the assumed continuous-time nature of most physical and biological processes, and makes it hard to accommodate data arriving at irregular temporal intervals. Neural ODEs are one solution, but they do not reach the DSR performance of PLRNNs and often lack their tractability. Here we develop theory for continuous-time PLRNNs (cPLRNNs): We present a novel algorithm for training and simulating such models, bypassing numerical integration by efficiently exploiting their PL structure. We further demonstrate how important topological objects like equilibria or limit cycles can be determined semi-analytically in trained models. We compare cPLRNNs to both their discrete-time cousins as well as Neural ODEs on DSR benchmarks, including systems with discontinuities which come with hard thresholds.
","absKo":"동역학 시스템 재구성(dynamical systems reconstruction, DSR)에서는 관측된 time series의 바탕이 되는 dynamical system(DS)을 복원하는 것을 목표로 한다. 구체적으로는 data-generating DS를 근사하고 그 장기적 특성('climate statistics')을 재현하는 generative surrogate model을 학습하고자 한다. 특히 scientific 및 medical 분야에서는 이러한 모델이 mechanistically tractable해야 하며, 수학적 분석을 통해 복원된 시스템의 작동 방식에 대한 통찰을 얻을 수 있어야 한다. Piecewise-linear (PL), ReLU-based RNNs (PLRNNs)는 이러한 점에서 강한 실적을 보여왔고, PL 설계 덕분에 mathematical insight를 제공하면서 SOTA DSR models를 대표한다. 그러나 현재의 모든 PLRNN 변형은 discrete-time maps이다. 이는 대부분의 물리 및 생물학적 과정이 continuous-time이라는 가정과 어긋나며, irregular temporal intervals로 도착하는 data를 다루기 어렵게 만든다. Neural ODEs가 한 가지 해법이지만, DSR 성능은 PLRNN에 미치지 못하고 tractability도 종종 부족하다. 여기서는 continuous-time PLRNNs(cPLRNNs)에 대한 이론을 발전시킨다. 우리는 이러한 모델을 학습하고 시뮬레이션하기 위한 새로운 알고리즘을 제시하며, 그 PL 구조를 효율적으로 활용하여 numerical integration을 우회한다. 또한 equilibria나 limit cycles 같은 중요한 topological object를 학습된 모델에서 semi-analytically 결정하는 방법을 보인다. 우리는 discontinuity와 hard thresholds를 포함하는 시스템을 비롯한 DSR benchmarks에서 cPLRNN을 discrete-time cousin 및 Neural ODEs와 비교한다."},{"id":"61011","en":"Expanding the Chaos: Neural Operator for Stochastic (Partial) Differential Equations","ko":"혼돈의 확장: 확률 (편)미분방정식을 위한 Neural Operator","authors":"Dai Shi, Lequan Lin, Andi Han, Luke Thompson, Jose Miguel Hernandez-Lobato, Zhiyong Wang, Junbin Gao","pos":"#1403","link":"https://openreview.net/forum?id=uZWpKAqjEg","abs":"Stochastic differential equations (SDEs) and stochastic partial differential equations (SPDEs) are fundamental for modeling stochastic dynamics across the natural sciences and modern machine learning. Learning their solution operators with deep learning models promises fast solvers and new perspectives on classical learning tasks. In this work, we build on Wiener–chaos expansions (WCE) to design neural operator (NO) architectures for SDEs and SPDEs: we project driving noise paths onto orthonormal Wick–Hermite features and use NOs to parameterize the resulting chaos coefficients, enabling reconstruction of full trajectories from noise in a single forward pass. We also make the underlying WCE structure explicit for multi-dimensional SDEs and semilinear SPDEs by showing the coupled deterministic ODE/PDE systems governing these coefficients. Empirically, we achieve competitive accuracy across several tasks, including standard SPDE benchmarks and SDE-based diffusion one-step image sampling, topological graph interpolation, financial extrapolation, parameter estimation, and manifold SDE flood forecasting. These results suggest WCE-based neural operators are a practical and scalable approach to learning SDE/SPDE solution operators across domains.
","absKo":"Stochastic differential equations (SDEs)와 stochastic partial differential equations (SPDEs)는 자연과학과 현대 machine learning 전반에 걸친 stochastic dynamics를 모델링하는 데 핵심적이다. deep learning model로 이들의 solution operator를 학습하면 빠른 solver와 classical learning task에 대한 새로운 관점을 얻을 수 있다. 본 연구에서는 Wiener–chaos expansions (WCE)를 바탕으로 SDEs와 SPDEs를 위한 neural operator (NO) architecture를 설계한다. 우리는 driving noise path를 orthonormal Wick–Hermite feature로 투영하고, NO를 사용해 생성되는 chaos coefficient를 parameterize함으로써, 단일 forward pass에서 noise로부터 전체 trajectory를 복원할 수 있게 한다. 또한 다차원 SDEs와 semilinear SPDEs에 대해, 이러한 coefficient를 지배하는 coupled deterministic ODE/PDE system을 보여 줌으로써 underlying WCE structure를 명시적으로 제시한다. 실증적으로는 standard SPDE benchmark, SDE-based diffusion one-step image sampling, topological graph interpolation, financial extrapolation, parameter estimation, manifold SDE flood forecasting을 포함한 여러 task에서 경쟁력 있는 정확도를 달성한다. 이러한 결과는 WCE-based neural operator가 다양한 domain에 걸쳐 SDE/SPDE solution operator를 학습하는 실용적이고 확장 가능한 접근법임을 시사한다.
"},{"id":"62235","en":"RSF-GLLM: Bridging the Semantic Gap in Multi-Hop Knowledge Graph QA via Recurrent Soft-Flow and Decoupled LLM Generation","ko":"RSF-GLLM: Recurrent Soft-Flow와 Decoupled LLM Generation으로 Multi-Hop Knowledge Graph QA의 의미 격차 해소","authors":"Sambaran Bandyopadhyay, Ananth Muppidi","pos":"#2405","link":"https://openreview.net/forum?id=iSNHlYLxsw","abs":"Multi-hop Question Answering over Knowledge Graphs faces a critical challenge: traditional retrieve-then-read pipelines break differentiability, preventing the retriever from learning to bridge the semantic gap where intermediate nodes lack lexical overlap with the query. To address this, we propose RSF-GLLM, a framework decoupling differentiable graph reasoning from answer generation. Our Recurrent Soft-Flow (RSF) module employs a GRU-guided query updater to propagate continuous relevance scores, utilizing a dynamic gating mechanism to traverse semantically dissimilar bridge nodes via structural cues. We introduce flow sparsity regularization to theoretically guarantee convergence from soft probabilities to discrete reasoning paths. These paths are extracted and textualized to fine-tune a Large Language Model (LLM), ensuring generation is grounded in factual topology. Experiments on WebQSP and CWQ demonstrate that RSF-GLLM achieves competitive performance with superior inference efficiency compared to LLM based computationally expensive approaches.
","absKo":"Knowledge Graph 위에서의 multi-hop Question Answering은 중요한 도전에 직면한다. 전통적인 retrieve-then-read pipeline은 differentiability를 깨뜨리기 때문에, 중간 node가 query와 lexical overlap을 가지지 않는 semantic gap을 retriever가 학습해 메우지 못한다. 이를 해결하기 위해, 우리는 differentiable graph reasoning과 answer generation을 분리하는 프레임워크 RSF-GLLM을 제안한다. 우리의 Recurrent Soft-Flow (RSF) module은 GRU-guided query updater를 사용해 continuous relevance score를 전파하며, dynamic gating mechanism을 활용해 structural cue를 통해 semantic적으로 상이한 bridge node를 traversal한다. 또한 soft probability에서 discrete reasoning path로의 수렴을 이론적으로 보장하는 flow sparsity regularization을 도입한다. 이러한 path는 추출되어 textualize되며, Large Language Model (LLM)을 fine-tune하는 데 사용되어 생성이 factual topology에 grounded되도록 한다. WebQSP와 CWQ 실험에서 RSF-GLLM은 LLM-based의 계산 비용이 큰 접근법에 비해 더 뛰어난 inference efficiency와 경쟁력 있는 성능을 달성함을 보인다.
"},{"id":"63502","en":"Rethinking Efficient Graph Coarsening via a Non-Selfishness Principle","ko":"비이기성 원리를 통한 효율적 그래프 조대화 재고","authors":"Xu Bai, Bin Lu, kunzhang, Shengbo Chen, Xinbing Wang, Chenghu Zhou, Meng Jin","pos":"#2406","link":"https://openreview.net/forum?id=WceHgf9JOZ","abs":"Graph coarsening is a graph dimensionality reduction technique that aims to construct a smaller and more tractable graph while preserving the essential structural and semantic properties of the original graph. However, most existing methods rely on pair-wise similarity matching, where each node independently searches for its best partner based on global information. This \\textit{selfishness} matching paradigm incurs substantial computational and memory overhead. To address this problem, we shift to a \\textit{non-selfishness} principle that prioritizes the collective interference of neighborhood in coarsening, and propose an efficient method named \\texttt{NOPE}, which achieves linear memory consumption and near-linear computational complexity in the number of nodes. Furthermore, we derive a faster variant \\texttt{NOPE}*, which reduces $\\mathcal{O}(\\Delta\\cdot d)$ interference evaluation to $\\mathcal{O}(d)$ based on the local isotropy assumption, and consequently alleviates the computational bottleneck for high-degree nodes. Experimental results show that \\texttt{NOPE}* achieves $1.8–10\\times$ speedup over \\texttt{NOPE} and surpass almost all baselines with 1-3 orders of magnitude acceleration. Meanwhile, learning on coarsened graphs yields comparable performance to original graphs, and can even show superior performance over LLM-based graph reasoning owing to compact graph information. The code can be available at https://anonymous.4open.science/r/NOPE-FA74.","absKo":"Graph coarsening은 원래 graph의 핵심 구조적 및 의미적 특성을 보존하면서 더 작고 다루기 쉬운 graph를 구성하는 것을 목표로 하는 graph dimensionality reduction 기법입니다. 그러나 기존 방법의 대부분은 pair-wise similarity matching에 의존하며, 각 node가 global information을 바탕으로 독립적으로 가장 좋은 partner를 찾습니다. 이러한 \\textit{selfishness} matching paradigm은 상당한 계산 및 메모리 오버헤드를 유발합니다. 이 문제를 해결하기 위해 우리는 coarsening에서 neighborhood의 집단적 interference를 우선시하는 \\textit{non-selfishness} 원칙으로 전환하고, \\texttt{NOPE}라는 효율적인 방법을 제안합니다. \\texttt{NOPE}는 node 수에 대해 linear memory consumption과 near-linear computational complexity를 달성합니다. 더 나아가 local isotropy 가정에 기반하여 $\\mathcal{O}(\\Delta\\cdot d)$ interference evaluation을 $\\mathcal{O}(d)$로 줄이는 더 빠른 변형 \\texttt{NOPE}*를 유도하며, 그 결과 high-degree node의 계산 병목을 완화합니다. 실험 결과, \\texttt{NOPE}*는 \\texttt{NOPE} 대비 $1.8–10\\times$의 속도 향상을 달성하고, 거의 모든 baseline을 1-3 order of magnitude 수준의 가속으로 능가합니다. 또한 coarsened graph에서의 학습은 original graph와 유사한 성능을 내며, compact graph information 덕분에 LLM-based graph reasoning보다도 우수한 성능을 보일 수 있습니다. 코드는 https://anonymous.4open.science/r/NOPE-FA74 에서 제공될 수 있습니다."},{"id":"61831","en":"Once-for-All: Scalable Simultaneous Forecasting via Equilibrium State Estimation","ko":"Once-for-All: Equilibrium State Estimation을 통한 확장 가능한 동시 예측","authors":"Beinan Xu, Andy Song, Jiti Gao, Feng Liu","pos":"#310","link":"https://openreview.net/forum?id=mZd4u9d7pQ","abs":"We introduce Equilibrium State Estimation (ESE), a novel paradigm for simultaneous prediction, where multiple interacting systems require separate yet coordinated forecasts. Such scenarios often arise in real-world such as economics and healthcare modeling. Unlike existing approaches that predict one system at a time, ESE forecasts all systems in a single pass. It first estimates the equilibrium state across systems, then generates holistic forecasts based on the difference between the current state and the estimated equilibrium. Extensive experiments on synthetic and real-world datasets, including currency exchange and COVID-19 spread modeling, demonstrate that ESE is at least as accurate as state-of-the-art (SOTA) methods while being significantly faster. In addition, ESE integrates seamlessly with conventional predictors, combining their accuracy with its exceptional efficiency and delivering a 10–70× speedup. With linear-time complexity, ESE scales far better than SOTA methods as the number of systems increases. Moreover, it remains accurate under diverse perturbations, establishing ESE as a fast, generalizable, robust, and scalable multi-prediction method. Source code and data are available at https://anonymous.4open.science/r/ESE-C339.
","absKo":"우리는 Equilibrium State Estimation (ESE)을 소개한다. 이는 여러 상호작용하는 시스템이 각각 분리되면서도 조정된 예측을 필요로 하는 simultaneous prediction을 위한 새로운 패러다임이다. 이러한 상황은 economics 및 healthcare modeling과 같은 실제 세계에서 자주 발생한다. 기존에는 한 번에 하나의 시스템만 예측하는 접근과 달리, ESE는 모든 시스템을 단일 pass에서 예측한다. 먼저 시스템 전반의 equilibrium state를 추정한 뒤, 현재 상태와 추정된 equilibrium의 차이를 바탕으로 holistic forecasts를 생성한다. currency exchange 및 COVID-19 spread modeling을 포함한 synthetic 및 real-world datasets에서 수행한 광범위한 실험은, ESE가 state-of-the-art (SOTA) 방법들과 최소한 동등한 정확도를 보이면서도 훨씬 더 빠르다는 것을 보여준다. 또한 ESE는 conventional predictors와도 매끄럽게 통합되어, 이들의 정확도와 ESE의 뛰어난 효율성을 결합하고 10–70×의 speedup을 제공한다. linear-time complexity를 가지므로, 시스템 수가 증가할수록 ESE는 SOTA 방법들보다 훨씬 더 잘 확장된다. 더 나아가 다양한 perturbation 하에서도 정확도를 유지하여, ESE가 fast, generalizable, robust, 그리고 scalable한 multi-prediction method임을 입증한다. Source code와 data는 https://anonymous.4open.science/r/ESE-C339 에서 उपलब्ध하다.
"},{"id":"66272","en":"ZeroDiff: Zero-Shot Time Series Reconstruction via Informed-Prior Diffusion","ko":"ZeroDiff: 정보 사전 Diffusion을 통한 Zero-Shot 시계열 재구성","authors":"Yingda Fan, Dan Lu, Xiaowei Jia","pos":"#315","link":"https://openreview.net/forum?id=5EKo3JdcR5","abs":"Time series modeling increasingly demands high-quality supervision, yet target observations remain scarce—exogenous inputs are broadly available, but target measurements are often unavailable due to cost, infrastructure, or accessibility constraints. Can models trained on observed locations reconstruct target time series where measurements have never been collected? We term this zero-shot time series reconstruction. A naive approach—directly mapping exogenous inputs to targets—can yield predictions at unobserved locations, but without target signals, such models fail to capture the intrinsic dynamics of the target variable, producing overly smooth outputs that underestimate extremes. This reveals systematic errors that call for explicit modeling and calibration. We propose ZeroDiff, which constructs an informed prior from exogenous variables alone, then learns to calibrate reconstruction errors through diffusion—training on observed locations and generalizing to unobserved ones. Experiments across diverse real-world datasets demonstrate significant improvements over existing approaches. Our code is available at https://anonymous.4open.science/r/ZeroDiff/.
","absKo":"time series modeling은 점점 더 고품질 supervision을 요구하지만, target observation은 여전히 희소하다. exogenous input은 널리 उपलब्ध하지만, target measurement는 비용, 인프라, 접근성 제약 때문에 종종 수집되지 않는다. 관측된 위치에서 학습한 모델이 측정이 전혀 수집되지 않은 target time series를 재구성할 수 있을까? 우리는 이를 zero-shot time series reconstruction이라 부른다. 단순한 접근법인 exogenous input을 target으로 직접 매핑하는 방식은 unobserved location에서 예측을 만들어낼 수는 있지만, target signal이 없으면 target variable의 intrinsic dynamics를 포착하지 못해 극단값을 과소추정하는 지나치게 smooth한 출력을 생성한다. 이는 명시적인 modeling과 calibration이 필요한 체계적인 오류를 드러낸다. 우리는 ZeroDiff를 제안한다. 이 방법은 exogenous variable만으로 informed prior를 구성한 뒤, diffusion을 통해 reconstruction error를 calibration하도록 학습한다. 학습은 observed location에서 수행하고, unobserved location으로 일반화한다. 다양한 실제 데이터셋에 대한 실험은 기존 접근법 대비 유의미한 성능 향상을 보여준다. 코드: https://anonymous.4open.science/r/ZeroDiff/.
"},{"id":"61600","en":"Branching Diffusion for Point Processes in Time and Space","ko":"시공간 Point Processes를 위한 Branching Diffusion","authors":"Chao Yang, Wenjie Shen, Shuang Li","pos":"#4000","link":"https://openreview.net/forum?id=oWyvNaX6op","abs":"We propose a non-autoregressive branching diffusion model for generating spatio-temporal point processes. Starting from a geometric principle---the Wasserstein-Fisher-Rao (WFR) gradient flow of a generalized KL divergence toward a simple reference intensity---we obtain a tractable forward noising mechanism with two interpretable components: (i) a Langevin-type \\emph{drift-diffusion} step that perturbs event locations and times, and (ii) a \\emph{birth-death branching} step that changes the event count via location-dependent thinning (deaths) and Poisson offspring replication (births). We learn the reverse-time dynamics using a permutation-equivariant denoiser that predicts a drift field and a net-growth field, and we train it using an entropic-regularized unbalanced optimal transport (UOT), which naturally handles count mismatch between noisy and clean samples. The resulting generator produces complete spatio-temporal event sets without autoregressive simulation or explicit intensity normalization.
","absKo":"우리는 spatio-temporal point process 생성을 위한 비-autoregressive branching diffusion model을 제안한다. 일반화된 KL divergence를 단순한 reference intensity로 향하게 하는 Wasserstein-Fisher-Rao (WFR) gradient flow라는 기하학적 원리에서 출발하여, 두 가지 해석 가능한 구성요소를 갖는 tractable한 forward noising mechanism을 얻는다. (i) 이벤트의 위치와 시간을 교란하는 Langevin-type \\emph{drift-diffusion} step, (ii) 위치 의존적 thinning(death)과 Poisson offspring replication(birth)을 통해 이벤트 수를 바꾸는 \\emph{birth-death branching} step이다. 우리는 drift field와 net-growth field를 예측하는 permutation-equivariant denoiser를 사용해 reverse-time dynamics를 학습하고, 이 모델을 entropic-regularized unbalanced optimal transport (UOT)로 훈련하는데, 이는 noisy sample과 clean sample 사이의 count mismatch를 자연스럽게 처리한다. 그 결과 생성기는 autoregressive simulation이나 explicit intensity normalization 없이 완전한 spatio-temporal event set을 생성한다.
"},{"id":"60841","en":"COGNOS: Universal Enhancement for Time Series Anomaly Detection via Constrained Gaussian-Noise Optimization and Smoothing","ko":"COGNOS: Constrained Gaussian-Noise Optimization 및 Smoothing을 통한 시계열 이상 탐지 범용 개선","authors":"Wenlong Shang, Shihao Tian, Xutong Wan, Peng Chang","pos":"#4001","link":"https://openreview.net/forum?id=w9Ml4E3Pc4","abs":"Reconstruction-based methods are a dominant paradigm in time series anomaly detection (TSAD), however, their near-universal reliance on Mean Squared Error (MSE) loss results in statistically flawed reconstruction residuals. This fundamental weakness leads to noisy, unstable anomaly scores, hindering reliable detection. To address this, we propose Constrained Gaussian-Noise Optimization and Smoothing (COGNOS), a universal, model-agnostic enhancement framework that tackles this issue at its source. COGNOS introduces a novel Gaussian-White Noise Regularization strategy during training, which directly constrains the model's output residuals to conform to a Gaussian white noise distribution. This engineered statistical property creates the ideal precondition for our second contribution: Adaptive Residual Kalman Smoother that provably operates as a statistically robust estimator to denoise the raw anomaly scores. Extensive experiments on multiple benchmarks demonstrate that COGNOS consistently enhances the performance of state-of-the-art backbones significantly, validating the efficacy of coupling statistical regularization with adaptive filtering.
","absKo":"reconstruction 기반 방법은 time series anomaly detection (TSAD)에서 지배적인 패러다임이지만, 거의 보편적으로 Mean Squared Error (MSE) loss에 의존하는 탓에 통계적으로 결함 있는 reconstruction residual을 초래한다. 이 근본적인 약점은 잡음이 많고 불안정한 anomaly score를 낳아 신뢰할 수 있는 탐지를 방해한다. 이를 해결하기 위해 우리는 Constrained Gaussian-Noise Optimization and Smoothing (COGNOS)를 제안한다. 이는 이 문제를 근원에서 다루는 universal한 model-agnostic enhancement framework이다. COGNOS는 학습 동안 새로운 Gaussian-White Noise Regularization 전략을 도입하여, 모델의 output residual이 Gaussian white noise distribution을 따르도록 직접적으로 제약한다. 이렇게 설계된 통계적 성질은 우리의 두 번째 기여를 위한 이상적인 전제 조건을 만든다. 즉, Adaptive Residual Kalman Smoother가 원시 anomaly score를 denoise하는 statistically robust estimator로서 정당하게 동작하도록 한다. 여러 benchmark에서 수행한 광범위한 실험은 COGNOS가 state-of-the-art backbone의 성능을 일관되게 크게 향상시킴을 보여 주며, statistical regularization과 adaptive filtering의 결합 효과를 검증한다.
"},{"id":"63875","en":"DistMatch: Adaptive Binning via Distribution Matching for Robust Sequential Conformal Prediction","ko":"DistMatch: 강건한 순차적 conformal prediction을 위한 분포 정합 기반 적응형 비닝","authors":"Enver Menadjiev, Jihyeon Seong, Jisu Yeo, Jaesik Choi","pos":"#4003","link":"https://openreview.net/forum?id=SxBuTatzGe","abs":"Sequential conformal prediction (CP) provides valid uncertainty quantification under the assumption of residual exchangeability. However, this assumption is often violated in real-world time series due to temporal dependencies and distributional shifts. While recent methods attempt to approximate exchangeability through reweighting, identifying optimal weights remains an open challenge. To address this limitation, we propose DistMatch, a binning-based method that recursively partitions residuals within a binary tree using the Kolmogorov–Smirnov (KS) statistic. We theoretically show that this partitioning induces approximately exchangeable leaves, thereby avoiding the need for reweighting. By applying quantile regression with online updates within each leaf, DistMatch enables locally adaptive inference and improves robustness to distributional shifts. Extensive experiments demonstrate that DistMatch outperforms existing sequential CP methods.
","absKo":"Sequential conformal prediction (CP)은 residual exchangeability라는 가정 하에서 유효한 uncertainty quantification을 제공한다. 그러나 이 가정은 실제 time series에서 temporal dependency와 distributional shift 때문에 종종 위배된다. 최근의 방법들은 reweighting을 통해 exchangeability를 근사하려고 시도하지만, 최적의 weight를 식별하는 문제는 여전히 열려 있다. 이 한계를 해결하기 위해 우리는 DistMatch를 제안한다. 이는 Kolmogorov–Smirnov (KS) statistic을 사용해 binary tree 안에서 residual을 재귀적으로 partition하는 binning 기반 방법이다. 우리는 이 partitioning이 근사적으로 exchangeable한 leaf를 유도함을 이론적으로 보이며, 따라서 reweighting이 필요하지 않음을 보인다. 각 leaf 내에서 online update가 적용된 quantile regression을 수행함으로써, DistMatch는 locally adaptive inference를 가능하게 하고 distributional shift에 대한 robustness를 향상시킨다. 광범위한 실험은 DistMatch가 기존 sequential CP 방법들보다 뛰어난 성능을 보임을 입증한다.
"},{"id":"62286","en":"Generalizing Multi-Scale Time-Series Modeling with a Single Operator","ko":"단일 Operator로 다중 스케일 시계열 모델링 일반화","authors":"Cheonwoo Lee, Dooho Lee, Doyun Choi, Jaemin Yoo","pos":"#4004","link":"https://openreview.net/forum?id=hxNN3xhuS9","abs":"Multi-scale modeling has emerged as an effective design principle for time-series forecasting by capturing temporal dynamics at multiple resolutions. As no principled foundation has been established in the literature, we unify existing scaling methods into a scaling operator family, revealing a fundamental limitation of existing approaches: reliance on fixed and discrete scaling. To address this limitation, we propose SiGMA (Single Generalized Multi-scale Architecture), which enables position-wise scaling via the learnable discrete Gaussian (LDG) kernel grounded in scale-space theory. We evaluate SiGMA comprehensively on long- and short-term forecasting benchmarks against state-of-the-art multi-scale baselines. SiGMA outperforms all competitors on both tasks, especially achieving the best performance in 13 out of 16 long-term evaluation settings. Beyond accuracy, SiGMA significantly improves training speed by up to 5.3 times and reduces memory consumption by up to 3.8 times over the strongest competitors.
","absKo":"Multi-scale modeling은 다양한 해상도에서 시간적 동역학을 포착함으로써 time-series forecasting을 위한 효과적인 설계 원칙으로 부상했습니다. 문헌에 체계적인 이론적 기반이 확립되어 있지 않기 때문에, 우리는 기존 scaling 방법들을 하나의 scaling operator family로 통합하고, 기존 접근법의 근본적 한계인 고정적이고 이산적인 scaling 의존성을 드러냅니다. 이 한계를 해결하기 위해, 우리는 scale-space theory에 기반한 learnable discrete Gaussian(LDG) kernel을 통해 position-wise scaling을 가능하게 하는 SiGMA(Single Generalized Multi-scale Architecture)를 제안합니다. 우리는 SiGMA를 장기 및 단기 forecasting benchmark에서 최신 multi-scale baseline들과 종합적으로 평가합니다. SiGMA는 두 과제 모두에서 모든 경쟁 방법을 능가하며, 특히 장기 평가 설정 16개 중 13개에서 최상의 성능을 달성합니다. 정확도를 넘어, SiGMA는 학습 속도를 최대 5.3배 향상시키고 메모리 사용량을 최대 3.8배 줄여 가장 강력한 경쟁 방법들보다 현저히 효율적입니다.
"},{"id":"61900","en":"Interpretable Functional Koopman Learning with Non-Markovian Closure for Spatiotemporal Systems","ko":"시공간 시스템을 위한 비-Markovian Closure 기반 해석형 Functional Koopman 학습","authors":"Wanfeng Lu, He Ma, Wei Lin, Qunxi Zhu","pos":"#4005","link":"https://openreview.net/forum?id=lquDiBCgNJ","abs":"Precise prediction of spatiotemporal dynamics over predictive horizons is constrained by the computational cost of high-fidelity solvers and the sparsity, noise, and irregularity of data. We introduce MERLIN, a Koopman-based framework that lifts dynamics to the evolution of learned observation functionals with near-linear progression, enabling full-field reconstruction at arbitrary resolutions. Theoretically, we develop a functional Koopman theory for PDEs and compensate for the loss of finite-dimensional linear invariance via the Mori–Zwanzig formalism, which augments the linear backbone with non-Markovian memory terms to improve predictive accuracy. Practically, MERLIN employs discretization-invariant function encoders that map partial, irregular observations to observables, and resolution-free function decoders that reconstruct states at arbitrary query points. Training under linear constraints yields an interpretable, low-dimensional model that captures principal modes, supports reduced-order modeling, and—augmented with memory correction—delivers stable long-horizon rollouts even in ultra-low-dimensional latent spaces.
","absKo":"예측 horizon에 걸친 spatiotemporal dynamics의 정밀한 예측은 고정밀 solver의 계산 비용과 데이터의 희소성, 노이즈, 비정규성에 의해 제약을 받는다. 우리는 dynamics를 거의 선형적인 progression을 따르는 학습된 observation functionals의 evolution으로 올려서, 임의의 해상도에서 full-field reconstruction을 가능하게 하는 Koopman-based framework인 MERLIN을 제안한다. 이론적으로는 PDE를 위한 functional Koopman theory를 전개하고, Mori–Zwanzig formalism을 통해 finite-dimensional linear invariance의 손실을 보완한다. 이는 linear backbone에 non-Markovian memory term을 더해 예측 정확도를 향상시킨다. 실용적으로는 MERLIN이 부분적이고 불규칙한 observation을 observable로 매핑하는 discretization-invariant function encoders와, 임의의 query point에서 state를 복원하는 resolution-free function decoders를 사용한다. 선형 제약 하에서의 학습은 principal mode를 포착하고 reduced-order modeling을 지원하는 해석 가능하고 저차원적인 model을 산출하며, memory correction이 더해지면 극도로 낮은 차원의 latent space에서도 안정적인 long-horizon rollout을 제공한다.
"},{"id":"64530","en":"Mesh Field Theory: Port–Hamiltonian Formulation of Mesh-Based Physics","ko":"Mesh Field Theory: 메시 기반 물리의 포트-해밀토니안 정식화","authors":"SATOSHI NOGUCHI, Yoshinobu Kawahara","pos":"#4006","link":"https://openreview.net/forum?id=MgIvtHk5wm","abs":"We present Mesh Field Theory (MeshFT) and its neural realization, MeshFT-Net: a structure-preserving framework for mesh-based continuum physics that cleanly separates the physics’ topological structure from its metric structure. Imposing minimal physical principles (locality, permutation equivariance, orientation covariance, and energy balance/dissipation inequality), we prove a reduction theorem for mesh-based physics. Under these conditions, the physical dynamics admit a local factorization into a port–Hamiltonian form: the conservative interconnection is fixed uniquely by mesh topology, whereas metric effects enter only through constitutive relations and dissipation. This reduction clarifies what must be fixed and what should be learned, directly informing MeshFT-Net’s design. Across evaluations on analytic and realistic datasets, physics-consistency tests, and out-of-distribution validation, MeshFT-Net achieves near-zero energy drift and strong physical fidelity (correct dispersion and momentum conservation) along with robust extrapolation and high data efficiency. By eliminating non-physical degrees of freedom and learning only metric-dependent structure, MeshFT provides a principled inductive bias for stable, faithful, and data-efficient learning-based physical simulation.
","absKo":"우리는 Mesh Field Theory (MeshFT)와 그 신경망 구현체인 MeshFT-Net을 제안한다. 이는 mesh 기반 continuum physics를 위한 structure-preserving framework로, 물리의 topological structure와 metric structure를 깔끔하게 분리한다. locality, permutation equivariance, orientation covariance, energy balance/dissipation inequality라는 최소한의 물리 원리를 부과함으로써, 우리는 mesh-based physics에 대한 reduction theorem을 증명한다. 이러한 조건하에서 물리적 dynamics는 local factorization을 통해 port-Hamiltonian form으로 표현될 수 있다. 즉, 보존적 interconnection은 mesh topology에 의해 유일하게 고정되는 반면, metric 효과는 constitutive relation과 dissipation을 통해서만 들어온다. 이 reduction은 무엇을 고정해야 하고 무엇을 학습해야 하는지를 명확히 해 주며, 이는 MeshFT-Net의 설계를 직접적으로 이끈다. analytic 및 realistic dataset, physics-consistency test, out-of-distribution validation 전반에 걸쳐 MeshFT-Net은 거의 0에 가까운 energy drift와 강한 물리적 충실도(올바른 dispersion 및 momentum conservation)를 달성하는 동시에 견고한 extrapolation과 높은 data efficiency를 보인다. 비물리적 자유도를 제거하고 metric-dependent structure만 학습함으로써, MeshFT는 안정적이고 충실하며 data-efficient한 learning-based physical simulation을 위한 원리적인 inductive bias를 제공한다.
"},{"id":"60673","en":"Power-Boosted Granger-Causal Discovery for Large Heterogeneous Panel Data","ko":"대규모 이질적 패널 데이터를 위한 Power-Boosted Granger-Causal Discovery","authors":"Yiheng Gu, Xiufan Yu","pos":"#4007","link":"https://openreview.net/forum?id=xn0I9CfWvN","abs":"This paper proposes a power-enhanced panel Granger causality test (PE-PGCT) for assessing the Granger non-causality in heterogeneous and potentially high-dimensional panel data. Building on any existing panel Granger non-causality test, we show, both theoretically and empirically, that the proposed PE-PGCT boosts its power substantially. The power gains are particularly significant in situations of high-dimensional panels when the cross-sectional dimension exceeds the time dimension, as well as under sparse alternatives when the signals are sparsely distributed across panel units. We establish rigorous theoretical guarantees on the asymptotic behavior of the proposed power enhancement component, demonstrating attractive power enhancement properties that it induces negligible size distortion under the null hypothesis while delivering significant power gain under the alternatives. The empirical performances are illustrated via extensive simulation studies, as well as a real-world application.
","absKo":"이 논문은 heterogeneous하고 잠재적으로 high-dimensional한 panel data에서 Granger non-causality를 평가하기 위한 power-enhanced panel Granger causality test (PE-PGCT)를 제안한다. 기존의 panel Granger non-causality test 위에 구축하여, 제안하는 PE-PGCT가 그 power를 상당히 향상시킨다는 것을 이론적으로도 실증적으로도 보인다. 이러한 power 향상은 특히 cross-sectional dimension이 time dimension을 초과하는 high-dimensional panel 상황과, 신호가 panel unit 전반에 희소하게 분포하는 sparse alternative 하에서 두드러진다. 우리는 제안한 power enhancement component의 점근적 거동에 대해 엄밀한 이론적 보장을 확립하며, null hypothesis 하에서는 size distortion이 미미하면서도 alternatives 하에서는 유의미한 power gain을 제공하는 매력적인 power enhancement 성질을 입증한다. 실증 성능은 광범위한 simulation study와 실제 응용을 통해 제시한다.
"},{"id":"65431","en":"Unfolded Laplacian Spectral Embedding: A Theoretically Grounded Approach to Dynamic Network Representation","ko":"펼쳐진 Laplacian 스펙트럼 임베딩: 동적 네트워크 표현을 위한 이론적 기반 접근법","authors":"Haruka Ezoe, Hiroki Matsumoto, Ryohei Hisano","pos":"#4008","link":"https://openreview.net/forum?id=DjnbMWE0Ek","abs":"Dynamic relational data arise in many machine learning applications, yet their evolving structure poses challenges for learning representations that remain consistent and interpretable over time. A common approach is to learn time varying node embeddings, whose usefulness depends on well defined stability properties across nodes and across time. We introduce Unfolded Laplacian Spectral Embedding (ULSE), a principled extension of unfolded adjacency spectral embedding to normalized Laplacian operators, a setting where stability guarantees have remained out of reach. We prove that ULSE satisfies both cross-sectional and longitudinal stability under a dynamic stochastic block model. Moreover, the Laplacian formulation yields a dynamic Cheeger-type inequality linking the spectrum of the unfolded normalized Laplacian to worst case conductance over time, providing structural insight into the embeddings. Empirical results on synthetic and real world dynamic networks validate the theory.
","absKo":"동적 relational data는 많은 machine learning 응용에서 발생하지만, 그 구조가 시간에 따라 변하기 때문에 일관되고 해석 가능한 representation을 학습하는 데 어려움을 준다. 일반적인 접근법은 시간에 따라 변하는 node embedding을 학습하는 것이며, 그 유용성은 node 간 및 시간 간에 걸친 명확한 stability properties에 달려 있다. 우리는 normalized Laplacian operator로의 unfolded adjacency spectral embedding의 원리적 확장인 Unfolded Laplacian Spectral Embedding (ULSE)을 소개한다. 이는 stability guarantees를 얻기 어려웠던 설정이다. 우리는 ULSE가 dynamic stochastic block model 하에서 cross-sectional stability와 longitudinal stability를 모두 만족함을 증명한다. 더 나아가 Laplacian formulation은 unfolded normalized Laplacian의 spectrum을 시간에 따른 worst-case conductance와 연결하는 dynamic Cheeger-type inequality를 제공하여, embedding에 대한 구조적 통찰을 준다. synthetic 및 real world dynamic network에서의 실험 결과는 이 이론을 검증한다.
"},{"id":"61471","en":"TeamWork: Multivariate Time Series Anomaly Detection via Asymmetric Role-aware Channel Modeling","ko":"TeamWork: 비대칭 Role-Aware Channel Modeling을 통한 다변량 시계열 이상 탐지","authors":"Shiyan Hu, Tengxue Zhang, Jianxin Jin, Xiangfei Qiu, Bin Yang, Chenjuan Guo","pos":"#410","link":"https://openreview.net/forum?id=pqwbanRPUl","abs":"Multivariate time series anomaly detection remains challenging as it requires the joint modeling of variable relationships and temporal dependencies. Existing methods often struggle to balance channel relationship modeling and overlook the relative importance of different variables within multivariate time series. To address this, we propose TeamWork, an asymmetric role-aware channel modeling framework that decouples variables into dominant and auxiliary roles according to their contributions to uncertainty reduction. Dominant variables drive system evolution and their deviations more strongly disrupt normal patterns, while auxiliary variables provide complementary cues. These variables with different roles are integrated through a role-aware gated interaction module. Moreover, point and subsequence anomalies can exist in multiple periodic systems, and the same anomaly type may behave differently across short- and long-period series. To capture such variations, we introduce a period-aware masked modeling mechanism. It employs multiple specialized masking mechanisms spanning short to long periods to facilitate comprehensive temporal dependency learning. Extensive experiments on multiple real-world datasets demonstrate that TeamWork achieves superior performance compared with state-of-the-art methods.
","absKo":"다변량 시계열 anomaly detection은 변수 간 관계와 시간적 의존성을 함께 모델링해야 하므로 여전히 어렵다. 기존 방법들은 채널 관계 모델링과 다변량 시계열 내 서로 다른 변수의 상대적 중요성 반영 사이의 균형을 맞추는 데 자주 어려움을 겪는다. 이를 해결하기 위해, 우리는 불확실성 감소에 대한 기여도에 따라 변수를 dominant 역할과 auxiliary 역할로 분해하는 asymmetric role-aware channel modeling framework인 TeamWork를 제안한다. dominant 변수는 시스템의 진화를 주도하고 그 편차는 정상 패턴을 더 강하게 교란하는 반면, auxiliary 변수는 보완적인 단서를 제공한다. 서로 다른 역할을 가진 이 변수들은 role-aware gated interaction module을 통해 통합된다. 또한 point anomaly와 subsequence anomaly는 여러 주기 시스템에서 존재할 수 있으며, 같은 anomaly type이라도 short-period series와 long-period series에서 다르게 행동할 수 있다. 이러한 변화를 포착하기 위해, 우리는 period-aware masked modeling mechanism을 도입한다. 이는 short period부터 long period까지를 아우르는 여러 specialized masking mechanism을 사용하여 포괄적인 temporal dependency 학습을 촉진한다. 여러 실제 데이터셋에서의 광범위한 실험은 TeamWork가 state-of-the-art 방법들보다 우수한 성능을 달성함을 보여준다.
"},{"id":"65540","en":"Beyond Point Predictions: Manifold Expansion and Dual Alignment for Robust Time Series Distillation","ko":"점 예측을 넘어서: 강건한 시계열 증류를 위한 다양체 확장과 이중 정렬","authors":"Junyao Hong, Zesheng Lai, Xinyi Xiao, Suyang Zhou, Aodong Shen, Youyong Kong","pos":"#4100","link":"https://openreview.net/forum?id=CYh8wTyRkZ","abs":"Knowledge Distillation (KD) promises to bridge the gap between the high computational costs of Transformer-based models and the expressiveness limitations of linear models in long-term time series forecasting. Existing time series distillation methods inherit the computer vision paradigm, constraining student models by minimizing point-wise prediction matching (output-level distillation) errors. However, blindly mimicking teacher predictions, which are often uncertain, can induce negative transfer. To address this, we propose Dynamic Structural Distillation (DSD), a robust framework that goes beyond the prediction-matching paradigm. First, we design LMP-Net, leveraging manifold expansion to project features into a high-dimensional latent space, alleviating the expressiveness bottleneck while preserving lightweight inference. Second, to address architectural mismatch, we propose Dual Manifold Alignment, employing Similarity-Preserving Knowledge Distillation (SPKD) and Optimal Transport (OT) to align features at the topological and geometric levels, respectively. Finally, we introduce Regime-Aware Adaptive Distillation (RAAD) to mitigate teacher misguidance via a dataset-level regime prior and a confidence-based adaptive gating mechanism. Extensive experiments on five benchmarks validate that DSD is compatible with diverse Transformer-based teachers, mitigating negative transfer while achieving a favorable accuracy--efficiency trade-off. An anonymized implementation is available at https://anonymous.4open.science/r/DSD-master-4B8F.
","absKo":"Knowledge Distillation (KD)는 Transformer 기반 모델의 높은 계산 비용과 long-term time series forecasting에서의 linear model 표현력 한계 사이의 간극을 메울 수 있을 것으로 기대된다. 기존의 time series distillation method는 computer vision paradigm을 계승하여, student model이 point-wise prediction matching (output-level distillation) 오류를 최소화하도록 제약한다. 그러나 종종 불확실한 teacher prediction을 무비판적으로 모방하는 것은 negative transfer를 유발할 수 있다. 이를 해결하기 위해 우리는 prediction-matching paradigm을 넘어서는 강건한 framework인 Dynamic Structural Distillation (DSD)를 제안한다. 먼저, 우리는 manifold expansion을 활용해 feature를 고차원 latent space로 사상하여 표현력 병목을 완화하면서도 lightweight inference를 유지하는 LMP-Net을 설계한다. 둘째, architectural mismatch를 해결하기 위해 topological 및 geometric level에서 각각 feature를 정렬하도록 Similarity-Preserving Knowledge Distillation (SPKD)와 Optimal Transport (OT)를 사용하는 Dual Manifold Alignment를 제안한다. 마지막으로, dataset-level regime prior와 confidence-based adaptive gating mechanism을 통해 teacher의 잘못된 유도를 완화하는 Regime-Aware Adaptive Distillation (RAAD)을 도입한다. 다섯 개 benchmark에 대한 광범위한 실험은 DSD가 다양한 Transformer 기반 teacher와 호환되며, negative transfer를 완화하는 동시에 우수한 정확도-효율성 trade-off를 달성함을 검증한다. 익명화된 구현은 https://anonymous.4open.science/r/DSD-master-4B8F 에서 제공된다.
"},{"id":"64610","en":"Accurate Evaluation of Quickest Changepoint Detectors via Non-parametric Survival Analysis","ko":"비모수적 생존 분석을 통한 Quickest Changepoint 탐지기의 정확한 평가","authors":"Taiki Miyagawa, Akinori F. Ebihara","pos":"#4102","link":"https://openreview.net/forum?id=LhGxRnGmGJ","abs":"We propose non-parametric estimators for the average run length (ARL) and average detection delay (ADD) in quickest changepoint detection (QCD) under finite and irregular sequence lengths. Although ARL and ADD are widely used as optimality criteria in theoretical and simulation studies, their application to real-world datasets is hindered by limited and irregular sequence lengths. To address this issue, we propose non-parametric estimators for the ARL and ADD, termed KM-ARL and KM-ADD, by drawing an analogy between QCD and survival analysis to model detection probabilities under sequence truncation. We derive estimation bias bounds and prove that they are asymptotically unbiased unless extrapolation is required. Experiments on simulated and real-world datasets demonstrate their practical utility, enhancing robustness against limited and irregular sequence lengths, improving interpretability, and facilitating empirical, intuitive model selection. Our Python code is provided in the supplementary material, offering ready-to-use implementations for practitioners.
","absKo":"우리는 finite하고 불규칙한 sequence length 하에서 quickest changepoint detection (QCD)의 average run length (ARL)와 average detection delay (ADD)를 추정하기 위한 non-parametric estimator를 제안한다. ARL과 ADD는 이론 및 시뮬레이션 연구에서 널리 사용되는 optimality criterion이지만, 실제 데이터셋에 대한 적용은 제한적이고 불규칙한 sequence length 때문에 어렵다. 이 문제를 해결하기 위해 우리는 QCD와 survival analysis 사이의 유추를 통해 sequence truncation 하에서 detection probability를 모델링하고, 이를 바탕으로 KM-ARL and KM-ADD라 불리는 ARL과 ADD의 non-parametric estimator를 제안한다. 우리는 추정 bias bound를 유도하고, extrapolation이 필요한 경우를 제외하면 이들이 asymptotically unbiased임을 증명한다. 시뮬레이션 및 실제 데이터셋에서의 실험은 이들의 실용적 유용성을 보여주며, 제한적이고 불규칙한 sequence length에 대한 강건성을 높이고, 해석 가능성을 향상시키며, 경험적이고 직관적인 model selection을 가능하게 한다. 우리의 Python 코드는 supplementary material에 제공되어 실무자가 바로 사용할 수 있는 구현을 제공한다.
"},{"id":"62970","en":"Two-Layer Linear Auto-Regressive Models Estimate Latent States","ko":"Two-Layer Linear Auto-Regressive Models의 잠재 상태 추정","authors":"Yahya Sattar, Sunmook Choi, Leo Maynard-Zhang, Yassir Jedra, Maryam Fazel, Sarah Dean","pos":"#4103","link":"https://openreview.net/forum?id=bMSnvqVWaB","abs":"Auto-regressive models have emerged as powerful tools for sequential data, from language to video. Understanding how and why these models learn latent representations remains an open theoretical question. In this work, we demonstrate that when trained by empirical risk minimization on data from partially observed linear dynamical systems, two-layer linear auto-regressive models naturally learn to approximate Kalman filtering. In particular, we show that the learned hidden representation coincides, up to a similarity transformation, with the state estimates produced by the optimal (Kalman) filter, even though the model has no explicit knowledge of the underlying dynamics or state. The result follows from three main insights. First, we establish that the Kalman filter is well approximated by an auto-regressive model with bounded truncation error. Second, we show that despite non-convexity, the two-layer optimization landscape is benign, i.e., all stationary points are either strictly saddle or global minima. Finally, as our main contributions, we provide finite-sample guarantees on prediction error, parameter estimation error, and latent state recovery. Numerical simulations support the theoretical results and demonstrate that auto-regressive models automatically represent latent state estimates.
","absKo":"Auto-regressive model은 language에서 video에 이르기까지 sequential data를 위한 강력한 도구로 부상했다. 이러한 모델이 latent representation을 어떻게, 그리고 왜 학습하는지 이해하는 것은 여전히 열려 있는 이론적 질문이다. 이 연구에서는 부분적으로 관측된 linear dynamical system의 데이터에 대해 empirical risk minimization으로 학습할 때, two-layer linear auto-regressive model이 자연스럽게 Kalman filtering을 근사함을 보인다. 특히, 학습된 hidden representation은 underlying dynamics나 state에 대한 명시적 지식이 없더라도, optimal (Kalman) filter가 산출하는 state estimate와 similarity transformation까지 포함해 일치함을 보인다. 이 결과는 세 가지 핵심 통찰에서 비롯된다. 첫째, Kalman filter가 bounded truncation error를 갖는 auto-regressive model로 잘 근사됨을 보인다. 둘째, non-convexity에도 불구하고 two-layer optimization landscape가 benign하며, 즉 모든 stationary point가 strict saddle이거나 global minimum임을 보인다. 마지막으로, 우리의 주요 기여로서 prediction error, parameter estimation error, latent state recovery에 대한 finite-sample 보장을 제공한다. 수치 시뮬레이션은 이론적 결과를 뒷받침하며 auto-regressive model이 latent state estimate를 자동으로 표현함을 보여준다.
"},{"id":"62744","en":"Learning Hamiltonian Dynamics at Scale: A Differential-Geometric Approach","ko":"대규모 Hamiltonian Dynamics 학습: 미분기하학적 접근","authors":"Katharina Friedl, Noémie Jaquier, Mika Liao, Danica Kragic","pos":"#4107","link":"https://openreview.net/forum?id=dkcdYllv9f","abs":"Embedding physical intuition into network architectures allows the learning of dynamics that enforce fundamental properties, such as energy conservation laws, thereby leading to physically-plausible predictions. Yet, scaling these models to intrinsically high-dimensional dynamical systems remains a significant challenge. This paper introduces Reduced-order Hamiltonian Neural Network (RO-HNN), a novel physics-inspired neural network that combines the conservation laws of Hamiltonian mechanics with the scalability of model order reduction. RO-HNN is built on two core components: a novel geometrically-constrained symplectic autoencoder that learns a low-dimensional, structure-preserving symplectic submanifold, and a geometric Hamiltonian neural network that models the dynamics on the submanifold. Our experiments demonstrate that RO-HNN provides physically-consistent, stable, and generalizable predictions of complex high-dimensional dynamics, thereby effectively extending the scope of Hamiltonian neural networks to high-dimensional physical systems.
","absKo":"네트워크 architecture에 physical intuition을 내재화하면 energy conservation law와 같은 fundamental property를 강제하는 dynamics를 학습할 수 있으며, 그 결과 물리적으로 타당한 예측이 가능해진다. 그러나 이러한 model을 본질적으로 고차원인 dynamical system으로 확장하는 일은 여전히 큰 도전이다. 본 논문은 Hamiltonian mechanics의 conservation law와 model order reduction의 확장성을 결합한 새로운 physics-inspired neural network인 Reduced-order Hamiltonian Neural Network (RO-HNN)을 소개한다. RO-HNN은 두 핵심 구성요소 위에 구축된다. 하나는 구조를 보존하는 저차원 symplectic submanifold를 학습하는, 새로운 geometrically-constrained symplectic autoencoder이고, 다른 하나는 해당 submanifold 위의 dynamics를 모델링하는 geometric Hamiltonian neural network이다. 우리의 실험은 RO-HNN이 복잡한 고차원 dynamics에 대해 물리적으로 일관되고 안정적이며 일반화 가능한 예측을 제공함을 보여주며, 이를 통해 Hamiltonian neural network의 적용 범위를 고차원 물리 시스템으로 효과적으로 확장한다.
"},{"id":"61263","en":"Detecting Perspective Shifts in Multi-Agent Systems","ko":"Multi-Agent System에서 관점 전환 탐지","authors":"Eric Bridgeford, Hayden Helm","pos":"#4114","link":"https://openreview.net/forum?id=s24mdN60i5","abs":"Generative models augmented with external tools and update mechanisms (or \\textit{agents}) have demonstrated capabilities beyond intelligent prompting of base models. As agent use proliferates, dynamic multi-agent systems have naturally emerged. Recent work has investigated the theoretical and empirical properties of low-dimensional representations of agents based on query responses at a single time point. This paper introduces the Temporal Data Kernel Perspective Space (TDKPS), which jointly embeds agents across time, and proposes several novel hypothesis tests for detecting behavioral change at the agent- and group-level in black-box multi-agent systems. We characterize the empirical properties of our proposed tests, including their sensitivity to key hyperparameters, in simulations motivated by a multi-agent system of evolving digital personas. Finally, we demonstrate via natural experiment that our proposed tests detect changes that correlate sensitively, specifically, and significantly with a real exogenous event. TDKPS is the first principled framework for monitoring behavioral dynamics in black-box multi-agent systems - a critical capability as generative agent deployment continues to scale.
","absKo":"외부 도구와 업데이트 메커니즘(즉, \\textit{agents})이 결합된 생성 모델은 base model에 대한 지능적 prompting을 넘어서는 능력을 보여주었다. agent 사용이 확산되면서 동적 multi-agent system이 자연스럽게 등장했다. 최근 연구는 단일 시점의 query response에 기반한 agent의 저차원 representation의 이론적 및 실증적 성질을 조사해 왔다. 본 논문은 시간에 걸쳐 agent를 공동으로 embedding하는 Temporal Data Kernel Perspective Space (TDKPS)를 소개하고, black-box multi-agent system에서 agent 수준 및 group 수준의 behavior change를 탐지하기 위한 여러 새로운 hypothesis test를 제안한다. 우리는 진화하는 digital persona로 구성된 multi-agent system에서 동기를 얻은 simulation을 통해, 주요 hyperparameter에 대한 민감도를 포함한 제안된 test의 실증적 성질을 특징짓는다. 마지막으로 natural experiment를 통해 우리의 test가 실제 외생적 사건과 민감하게, 구체적으로, 그리고 유의미하게 상관되는 변화를 탐지함을 보인다. TDKPS는 black-box multi-agent system의 behavior dynamics를 모니터링하기 위한 최초의 원리적 프레임워크이며, 생성 agent의 배포가 계속 확대되는 상황에서 핵심적인 역량이다.
"},{"id":"64953","en":"TopoDistill: Distilling Global System Topology for Causal Discovery in Multivariate Time Series","ko":"TopoDistill: 다변량 시계열에서 Causal Discovery를 위한 전역 시스템 Topology 증류","authors":"Zehao Liu, Pengfei Jiao, Yuhan Wu, Jianqi Yang, Yuyu Yin","pos":"#414","link":"https://openreview.net/forum?id=IO0fCTAOAr","abs":"Although causal discovery from multivariate time series is widely used, it remains challenging under noise. Convergent cross mapping (CCM) infers causality by reconstructing shadow manifolds via time-delay embedding (TDE) and evaluating cross-map skill between manifolds. Despite Takens’ theorem guarantees in ideal settings, TDE effectively attempts to recover system state from a single noisy view, often yielding geometrically degraded manifolds and unreliable distance-based neighborhoods, which in turn weakens causal identification. We propose TopoDistill, a topology-informed knowledge distillation framework that improves univariate shadow-manifold reconstruction by aligning local neighborhood structure to a multivariate system representation. A global embedder trained on multivariate observations captures a global attractor representation, while a delay embedder is distilled to produce embeddings whose neighborhood distributions match the global topology. This cross-view alignment yields smoother and more reliable neighborhoods, improving cross mapping under noise while maintaining specificity against spurious correlations. Theoretical analysis and experimental results demonstrate that our method enables effective causal discovery.
","absKo":"다변량 시계열로부터의 causal discovery는 널리 사용되지만, noise 하에서는 여전히 어렵다. Convergent cross mapping (CCM)은 time-delay embedding (TDE)을 통해 shadow manifold를 재구성하고 manifold 간 cross-map skill을 평가하여 causality를 추론한다. 이상적인 설정에서는 Takens' theorem이 보장되지만, TDE는 사실상 단일 noisy view에서 system state를 복원하려는 시도이므로, 기하학적으로 열화된 manifold와 신뢰할 수 없는 distance-based neighborhood를 생성하는 경우가 많고, 이는 결국 causal identification을 약화시킨다. 우리는 local neighborhood structure를 multivariate system representation에 정렬함으로써 univariate shadow-manifold 재구성을 개선하는 topology-informed knowledge distillation framework인 TopoDistill을 제안한다. multivariate observation으로 학습된 global embedder는 global attractor representation을 포착하고, delay embedder는 neighborhood distribution이 global topology와 일치하는 embedding을 생성하도록 distillation된다. 이러한 cross-view alignment는 더 부드럽고 더 신뢰할 수 있는 neighborhood를 만들어 noise 하에서 cross mapping을 개선하면서도 spurious correlation에 대한 specificity를 유지한다. 이론적 분석과 실험 결과는 우리의 방법이 효과적인 causal discovery를 가능하게 함을 보여준다.
"},{"id":"65567","en":"OSM+: Billion-Level Open Street Map Dataset for City-wide Experiments","ko":"OSM+: 도시 전역 실험을 위한 10억 규모 Open Street Map 데이터셋","authors":"Guanjie Zheng, Ziyang Su, Yiheng Wang, Yuhang Luo, Hongwei Zhang, Xuanhe Zhou, Linghe Kong, Fan Wu, Wen Ling","pos":"#4209","link":"https://openreview.net/forum?id=CMeeyJzWZ5","abs":"Road network data provides rich information about cities, but processing a large volume of worldwide OpenStreetMap (OSM) data is computationally intensive, and the resulting graphs are often difficult to unify for benchmarking downstream tasks. Existing graph learning benchmarks fail to capture the billion-scale and unique topological properties of real-world road networks, leading to a gap in our understanding of model scalability. To study and close this gap, we process OpenStreetMap data with distributed cloud computing using 5,000 cores and release OSM+, a structured worldwide 1-billion-vertex road network graph dataset designed for high accessibility and usability. OSM+ is open source and globally downloadable, and it provides an open-box graph structure together with an easy spatial query interface. We demonstrate the utility of OSM+ through three illustrative use cases: city boundary detection, traffic prediction, and traffic policy control. For traffic prediction, we construct a new 31-city benchmark by processing traffic data and combining it with OSM+, enabling broader spatial coverage and more comprehensive evaluation than previously frequently-used datasets, while scaling from hundreds of road network intersections to thousands. For traffic policy control, we release a new six-city dataset at a much larger scale, introducing challenges for thousand-scale multi-agent coordination. In addition, we provide comprehensive data processing tools that support integrating multimodal spatial-temporal data with OSM+ for geospatial foundation model training, thereby expediting the discovery of compelling scientific insights.
","absKo":"Road network data는 도시를 이해하는 데 풍부한 정보를 제공하지만, 전 세계 OpenStreetMap (OSM) 데이터를 대량으로 처리하는 것은 계산 집약적이며, 그 결과로 생성되는 graph는 downstream task의 benchmark를 위해 통합하기가 어렵다. 기존 graph learning benchmark는 실제 road network의 billion-scale과 고유한 topological property를 포착하지 못해, model scalability에 대한 우리의 이해에 간극을 남긴다. 이 간극을 연구하고 해소하기 위해, 우리는 5,000개 core를 사용한 distributed cloud computing으로 OpenStreetMap 데이터를 처리하고, 높은 접근성과 사용성을 위해 설계된 구조화된 전 세계 10억-vertex road network graph dataset인 OSM+를 공개한다. OSM+는 open source이며 전 세계에서 다운로드할 수 있고, open-box graph structure와 함께 사용하기 쉬운 spatial query interface를 제공한다. 우리는 city boundary detection, traffic prediction, traffic policy control의 세 가지 예시적 사용 사례를 통해 OSM+의 유용성을 보인다. traffic prediction의 경우, traffic data를 처리해 OSM+와 결합함으로써 새로운 31개 도시 benchmark를 구성하여, 기존에 자주 사용되던 dataset보다 더 넓은 spatial coverage와 더 포괄적인 평가를 가능하게 했으며, 규모도 수백 개 road network intersection에서 수천 개로 확장했다. traffic policy control의 경우, 훨씬 더 큰 규모의 새로운 6개 도시 dataset을 공개해, 천 단위 규모의 multi-agent coordination이라는 도전을 제시한다. 추가로, 우리는 multimodal spatial-temporal data를 OSM+와 통합하여 geospatial foundation model training을 지원하는 포괄적인 data processing tool을 제공함으로써, 설득력 있는 과학적 통찰의 발견을 가속화한다.
"},{"id":"68776","en":"Physics-Aware Spatiotemporal Causal Graph Network for Forecasting with Limited Data","ko":"제한된 데이터로 예측을 위한 물리 인지 Spatiotemporal Causal Graph Network","authors":"Zijun Cui, Sam Griesemer, Sungyong Seo, Joshua Hikida, Yan Liu","pos":"#4608","abs":"Spatiotemporal models have drawn significant interest recently due to their widespread applicability across many domains. These models are often made more practically useful by incorporating beneficial inductive biases, such as laws or symmetries from domain-relevant physics equations. This \"physics-awareness\" provides an interpretable means of grounding otherwise purely data-driven models, improving robustness and boosting performance in settings with limited data. In this work, we view physical dynamics as domain knowledge that captures fundamental causal relationships across space and time, and can be effectively leveraged by our proposed physics-aware spatiotemporal causal graph network (P-STCGN). We firstly describe a means of deriving causal relationships from spatiotemporal data, serving as physics-aware labels to learn a causal structure via a dedicated neural module. We then formulate a forecasting module that can operate under this causal structure, producing predictions that are guided by physics-aware cause-effect relationships among modeled variables. Extensive experimentation demonstrates that our method is robust to noisy and limited data, outperforming existing models across a variety of challenging synthetic tasks and benchmark datasets. We further evaluate our method on real-world graph signals and observe superior forecasting performance, achieved by effectively utilizing causal signals from prior physics knowledge.
","absKo":"Spatiotemporal model은 많은 도메인에서 폭넓게 활용되기 때문에 최근 큰 관심을 받고 있다. 이러한 model은 도메인 관련 physics equation에서 비롯된 법칙이나 대칭성과 같은 유익한 inductive bias를 통합함으로써 실용성이 더 높아지곤 한다. 이러한 \"physics-awareness\"는 그렇지 않으면 순수하게 data-driven인 model을 해석 가능하게 정초(grounding)하는 수단을 제공하며, 데이터가 제한적인 환경에서 robustness를 향상시키고 성능을 높인다. 본 연구에서는 physical dynamics를 공간과 시간 전반에 걸친 근본적인 causal relationship을 포착하는 domain knowledge로 간주하고, 이를 우리의 제안 방법인 physics-aware spatiotemporal causal graph network(P-STCGN)에 효과적으로 활용한다. 우리는 먼저 spatiotemporal data로부터 causal relationship을 도출하는 방법을 설명하고, 이를 physics-aware label로 사용하여 전용 neural module을 통해 causal structure를 학습한다. 그런 다음 이 causal structure 아래에서 동작할 수 있는 forecasting module을 구성하여, 모델링된 변수들 사이의 physics-aware cause-effect relationship에 의해 유도되는 예측을 생성한다. 광범위한 실험은 우리의 방법이 noisy하고 제한된 data에 대해 강건하며, 다양한 어려운 synthetic task와 benchmark dataset에서 기존 model보다 우수함을 보여준다. 우리는 또한 실제 graph signal에서 이 방법을 평가하여, 선행 physics knowledge로부터의 causal signal을 효과적으로 활용함으로써 더 뛰어난 forecasting 성능을 확인한다.
"},{"id":"61350","en":"Approximating Drift-Diffusion Models for User Decisions under Nudging and External Information","ko":"Nudging과 외부 정보 하에서 사용자 결정을 위한 Drift-Diffusion Model 근사","authors":"Gustavo Grivol, Alexander Tuzhilin","pos":"#601","link":"https://openreview.net/forum?id=r4rlCihE7B","abs":"Modeling decision-making outside of controlled environments requires accounting for asynchronous, exogenous signals, such as notifications or algorithmic feeds, that dynamically alter user response times. Standard Drift-Diffusion Models (DDM) become analytically intractable when drift rates vary continuously with time. In this paper, we derive a closed-form analytical approximation for the first-passage time distribution of a single-boundary DDM with time-dependent drift, valid in the high-threshold regime. The main result allows us to analytically study the optimal timing of external signals to maximize the probability of a user response within our approximation framework. To evaluate our response time model, we conduct an extensive empirical comparison with state-of-the-art methods for user watch-time prediction and evaluation in simulated environments.
","absKo":"통제된 환경 밖에서의 의사결정을 모델링하려면, 알림이나 알고리즘 기반 피드처럼 사용자 반응 시간을 동적으로 바꾸는 비동기적 외생 신호를 고려해야 한다. 표준 Drift-Diffusion Model (DDM)은 drift rate가 시간에 따라 연속적으로 변하면 해석적으로 다루기 어려워진다. 본 논문에서는 고임계치 영역에서 유효한, 시간 의존적 drift를 갖는 단일 경계 DDM의 first-passage time 분포에 대한 닫힌형 해석적 근사를 유도한다. 핵심 결과를 통해, 우리의 근사 프레임워크 안에서 사용자의 반응이 발생할 확률을 최대화하는 외부 신호의 최적 타이밍을 해석적으로 연구할 수 있다. 제안한 response time model을 평가하기 위해, 시뮬레이션 환경에서 user watch-time 예측 및 평가를 위한 state-of-the-art 방법들과 광범위한 실증 비교를 수행한다.
"},{"id":"64593","en":"Dynamic Optimizations of LLM Ensembles with Two-Stage Reinforcement Learning Agents","ko":"Two-Stage Reinforcement Learning Agent를 활용한 LLM Ensemble의 동적 최적화","authors":"Selim Furkan Tekin, Gaowen Liu, Ramana Kompella, Ling Liu","pos":"#4215","link":"https://openreview.net/forum?id=LsqeBp4JsV","abs":"The advancement of LLMs and their accessibility have triggered renewed interest in multi-agent reinforcement learning as robust and adaptive frameworks for dynamically changing environments. This paper introduces RL-Focal, a two-stage RL agent framework that routes and ensembles LLMs. First, we develop the Decider RL-agent, which learns to dynamically select an ensemble of small size ($m_i$) among $N$ LLMs ($m_i \\ll N$) for incoming queries from a user-defined downstream task $i$, by maximizing both error-diversity and reasoning-performance of the selected ensemble through iterative updates of task-adaptive rewards and policy. Second, to enable effective fusion of dynamically selected LLMs, we develop the stage-2 Fusion RL-agent, which learns to resolve reasoning conflicts from different LLMs and dynamically adapt to different ensemble teams composed by the Decider Agent for different downstream tasks. {\\em Third}, we introduce the focal diversity metric to better model the error correlations among multiple LLMs further improving the generalization performance of the Decider Agent, which actively prunes the ensemble combinations. By focal diversity, we enhance performance across tasks by effectively promoting reward-aware and policy-adaptive ensemble selection and inference fusion. Extensive evaluations on five benchmarks show that RL-Focal achieves the performance improvement of 8.48\\% with an ensemble of small size compared to the best individual LLM in a pool and offers stronger robustness. Code is available at \\url{https://anonymous.4open.science/r/rl-focal-8DCF/}","absKo":"LLM의 발전과 접근성 향상은 동적으로 변하는 환경에 대해 강건하고 적응적인 framework로서 multi-agent reinforcement learning에 대한 관심을 다시 불러일으켰다. 본 논문은 LLM을 routing하고 ensembling하는 2단계 RL agent framework인 RL-Focal을 소개한다. 먼저, 우리는 Decider RL-agent를 개발한다. 이 agent는 사용자 정의 downstream task $i$로부터 들어오는 query에 대해 $N$개의 LLM 중 소규모 ensemble($m_i$, $m_i \\ll N$)을 동적으로 선택하도록 학습하며, task-adaptive reward와 policy를 반복적으로 갱신하여 선택된 ensemble의 error-diversity와 reasoning-performance를 모두 최대화한다. 둘째, 동적으로 선택된 LLM을 효과적으로 융합하기 위해 우리는 stage-2 Fusion RL-agent를 개발한다. 이 agent는 서로 다른 LLM 사이의 reasoning conflict를 해결하고, Decider Agent가 서로 다른 downstream task를 위해 구성한 다양한 ensemble team에 동적으로 적응하도록 학습한다. {\\em 셋째}, 우리는 여러 LLM 간 error correlation을 더 잘 모델링하기 위한 focal diversity metric을 도입하여 Decider Agent의 generalization performance를 추가로 향상시키며, 이는 ensemble 조합을 능동적으로 pruning한다. focal diversity를 통해 우리는 reward-aware 및 policy-adaptive ensemble selection과 inference fusion을 효과적으로 촉진함으로써 task 전반의 성능을 향상시킨다. 다섯 개 benchmark에 대한 광범위한 평가 결과, RL-Focal은 후보 집합의 best individual LLM보다 소규모 ensemble에서 8.48\\%의 성능 향상을 달성하며, 더 강한 robustness를 제공한다. 코드는 \\url{https://anonymous.4open.science/r/rl-focal-8DCF/}에서 제공된다."},{"id":"65937","en":"A Strictly Proper Scoring Rule and a Calibration Metric for Interval-Censored Data Analysis","ko":"구간 검열 데이터 분석을 위한 엄격 적정 점수 규칙 및 보정 지표","authors":"Hiroki Yanagisawa, Shunta Akiyama","pos":"#1008","link":"https://openreview.net/forum?id=8jViL8YrB1","abs":"Interval-censored data present unique challenges in statistical analysis due to the partial observability of event times within known intervals, requiring assumptions about the censoring mechanism. This paper explores the theoretical relationship between two foundational assumptions: independent monitoring and non-informative censoring. We demonstrate that these assumptions are equivalent for Case-1 interval-censored data, but not for Case-$K$ interval-censored data, where $K \\geq 2$, through a synthetic dataset example. Additionally, we propose the first strictly proper scoring rule and calibration metric specifically designed for interval-censored data under the constant-sum assumption and the non-informative censoring assumption, respectively. Our empirical evaluations on real-world datasets show that a neural network model trained with our scoring rule is competitive with established statistical baselines, offering enhanced flexibility. These contributions provide significant advancements in the theoretical understanding and practical analysis of interval-censored data.","absKo":"간격 검열된 데이터는 알려진 구간 내에서 사건 시점이 부분적으로만 관측된다는 점 때문에 통계 분석에서 고유한 도전을 제기하며, 검열 메커니즘에 대한 가정을 필요로 합니다. 본 논문은 두 가지 근본 가정, 즉 independent monitoring과 non-informative censoring 사이의 이론적 관계를 탐구합니다. 우리는 합성 데이터셋 예시를 통해, 이 가정들이 Case-1 interval-censored data에서는 동등하지만, $K \\geq 2$인 Case-$K$ interval-censored data에서는 그렇지 않음을 보입니다. 추가로, 우리는 각각 constant-sum assumption과 non-informative censoring assumption 하에서 interval-censored data를 위해 특별히 설계된 최초의 strictly proper scoring rule과 calibration metric을 제안합니다. 실제 데이터셋에서의 실증 평가 결과, 우리의 scoring rule로 학습된 neural network model은 기존 statistical baseline들과 경쟁력 있는 성능을 보이며, 향상된 유연성을 제공합니다. 이러한 기여는 interval-censored data에 대한 이론적 이해와 실용적 분석 모두에서 중요한 진전을 제공합니다."},{"id":"61280","en":"Scale-Aware Domain Harmonization for Domain Adaptation Person Search","ko":"Domain Adaptation Person Search를 위한 스케일 인식 도메인 조화","authors":"Guojian Zhao, Huibing Wang, Jinjia Peng, Linfeng Qi, Mingze Yao, Jiqing Zhang","pos":"#1208","link":"https://openreview.net/forum?id=rrpMQ1BeOl","abs":"Unsupervised Domain Adaptation (UDA) person search aims to transfer a model trained on a labeled source domain to an unlabeled target domain without using target annotations. However, existing UDA methods frequently neglect the issue of scale inconsistency between the source and target domains. These inconsistency arises from different variations in Camera height, tilt angle, and focal length change. To address this challenge, we propose a Scale-Aware Consistent Alignment Learning (SCALE) framework. Specifically, we propose a Scale-aware Domain Harmonization (SDH) adaptively harmonizes semantic and structural scales through cross-path interaction and consistency refinement to alleviate cross-domain scale inconsistency. To further improve the pseudo-label inaccuracies, we introduce a Bidirectional Cluster Regularization (BCR) strategy, which obtains more reliable pseudo-labels by refining the results a second time. By collaboratively alleviating the impact of scale misalignment and enhancing pseudo-label reliability, our approach achieves state-of-the-art performance on two benchmark person search datasets, with 82.3% mAP and 84.0% top-1 on the CUHK-SYSU dataset, 41.7% mAP and 82.4% top-1 on the PRW dataset.
","absKo":"Unsupervised Domain Adaptation (UDA) person search는 target annotation을 사용하지 않고 labeled source domain에서 학습된 model을 unlabeled target domain으로 전이하는 것을 목표로 한다. 그러나 기존 UDA 방법들은 source와 target domain 사이의 scale inconsistency 문제를 자주 간과한다. 이러한 inconsistency는 Camera height, tilt angle, focal length 변화의 차이에서 비롯된다. 이 도전을 해결하기 위해 우리는 Scale-Aware Consistent Alignment Learning (SCALE) framework를 제안한다. 구체적으로, 우리는 Scale-aware Domain Harmonization (SDH)을 제안하여 cross-path interaction과 consistency refinement를 통해 semantic 및 structural scale을 적응적으로 조화시켜 cross-domain scale inconsistency를 완화한다. pseudo-label의 부정확성을 더 개선하기 위해, 우리는 결과를 두 번째로 정제하여 더 신뢰할 수 있는 pseudo-label을 얻는 Bidirectional Cluster Regularization (BCR) 전략을 도입한다. scale misalignment의 영향을 공동으로 완화하고 pseudo-label 신뢰성을 향상시킴으로써, 우리의 방법은 두 개의 benchmark person search dataset에서 state-of-the-art 성능을 달성하며, CUHK-SYSU dataset에서 82.3% mAP와 84.0% top-1, PRW dataset에서 41.7% mAP와 82.4% top-1을 기록한다.
"},{"id":"61498","en":"DiL: Discrete-anchored Representation Alignment for Semi-Supervised Continual Learning","ko":"DiL: Semi-Supervised Continual Learning을 위한 Discrete-Anchored Representation Alignment","authors":"Nanyi Wang, Chaojie Chen, Zuoqi Tang, Jinxiang Lai, Xingcai Wu, Qi Wang","pos":"#1501","link":"https://openreview.net/forum?id=pZiQlweASP","abs":"Leveraging the unlabeled stream is crucial yet challenging in Semi-Supervised Continual Learning (SSCL) under continual class expansion. Existing SSCL methods typically enforce dense pseudo-label consistency and indiscriminate distillation on unlabeled data, which can reinforce errors and intensify base–novel interference. To address these issues, we propose Discrete-anchored Incremental Learning (DiL) to ground continual updates on reliable discrete anchors that remain stable under noisy pseudo-labels. DiL introduces Discrete Contrastive Distillation (DCD), which discretizes the distillation pathway and performs anchor-referenced selective distillation to curb error reinforcement. Meanwhile, Class-Aware Channel-Chunked Encoding (CACE) learns channel-chunked representations and exploits the confusion matrix induced by the discrete anchors to separate novel from confusable base classes. Extensive experiments on multiple datasets show that DiL achieves state-of-the-art performance across diverse SSCL protocols.
","absKo":"라벨이 없는 스트림을 활용하는 것은 continual class expansion 하의 Semi-Supervised Continual Learning(SSCL)에서 중요하지만 동시에 어렵다. 기존 SSCL 방법은 일반적으로 unlabeled data에 대해 조밀한 pseudo-label consistency와 무차별적인 distillation을 강제하는데, 이는 오류를 강화하고 base–novel 간 간섭을 심화시킬 수 있다. 이러한 문제를 해결하기 위해, 우리는 잡음이 있는 pseudo-label 하에서도 안정적으로 유지되는 신뢰할 수 있는 discrete anchor에 continual update를 정착시키는 Discrete-anchored Incremental Learning(DiL)을 제안한다. DiL은 distillation 경로를 이산화하고 anchor를 참조하는 selective distillation을 수행하여 오류 재강화를 억제하는 Discrete Contrastive Distillation(DCD)을 도입한다. 한편, Class-Aware Channel-Chunked Encoding(CACE)은 channel-chunked representation을 학습하고 discrete anchor로부터 유도된 confusion matrix를 활용하여 novel class와 혼동 가능한 base class를 분리한다. 여러 데이터셋에 대한 광범위한 실험은 DiL이 다양한 SSCL protocol 전반에서 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"65692","en":"See, Act, Adapt: Active Perception for Unsupervised Cross-Domain Visual Adaptation via Personalized VLM-Guided Agent","ko":"See, Act, Adapt: 개인화된 VLM 유도 에이전트를 통한 비지도 교차 도메인 시각 적응을 위한 능동적 지각","authors":"TIANCI TANG, Tielong Cai, Hongwei Wang, Gaoang Wang","pos":"#1909","link":"https://openreview.net/forum?id=B6oQ9Cg5Sh","abs":"Pre-trained perception models excel in generic image domains but degrade significantly in novel environments like indoor scenes. The conventional remedy is fine-tuning on downstream data which incurs catastrophic forgetting of prior knowledge and demands costly, scene-specific annotations. We propose a paradigm shift through Sea$^2$ ($\\textbf{Se}$e, $\\textbf{A}$ct, $\\textbf{A}$dapt): rather than adapting the perception modules themselves, we adapt how they are deployed through an intelligent pose-control agent. Sea$^2$ keeps all perception modules frozen, requiring no downstream labels during training, and uses only scalar perceptual feedback to navigate the agent toward informative viewpoints. Specially, we transform a vision-language model (VLM) into a low-level pose controller through a two-stage training pipeline: first fine-tuning it on rule-based exploration trajectories that systematically probe indoor scenes, and then refining the policy via unsupervised reinforcement learning that constructs rewards from the perception module’s outputs and confidence. Unlike prior active perception methods that couple exploration with specific models or collect data for retraining them, Sea$^2$ directly leverages off-the-shelf perception models for various tasks without the need for retraining. We conducted experiments on three visual perception tasks, including visual grounding, segmentation and 3D box estimation, with performance improvements of 13.54\\%, 15.92\\% and 27.68\\% respectively on dataset ReplicaCAD.","absKo":"사전학습된 perception model은 일반적인 이미지 도메인에서는 뛰어난 성능을 보이지만, 실내 장면 같은 새로운 환경에서는 성능이 크게 저하된다. 기존의 해결책은 downstream data로 fine-tuning하는 것이지만, 이는 기존 지식의 catastrophic forgetting을 유발하고, 장면별로 비용이 많이 드는 annotation을 요구한다. 우리는 Sea$^2$ ($\\textbf{Se}$e, $\\textbf{A}$ct, $\\textbf{A}$dapt)를 통해 이러한 관점을 전환하는 패러다임을 제안한다. 즉, perception module 자체를 적응시키는 대신, 지능형 pose-control agent를 통해 perception module이 배치되는 방식을 적응시킨다. Sea$^2$는 모든 perception module을 고정(frozen)한 채 유지하므로 학습 중 downstream label이 전혀 필요 없으며, 오직 scalar perceptual feedback만 사용해 agent를 정보가 풍부한 viewpoint로 유도한다. 특히, 우리는 vision-language model(VLM)을 두 단계 학습 파이프라인을 통해 저수준 pose controller로 변환한다. 먼저 규칙 기반 탐색 trajectory로 fine-tuning하여 실내 장면을 체계적으로 탐색하게 하고, 이어서 perception module의 출력과 confidence로부터 reward를 구성하는 unsupervised reinforcement learning을 통해 policy를 정제한다. 특정 model과 exploration을 결합하거나 재학습을 위해 데이터를 수집하던 기존 active perception 방법과 달리, Sea$^2$는 재학습 없이도 다양한 task에 대해 off-the-shelf perception model을 직접 활용한다. 우리는 visual grounding, segmentation, 3D box estimation을 포함한 세 가지 visual perception task에서 실험을 수행했으며, dataset ReplicaCAD에서 각각 13.54\\%, 15.92\\%, 27.68\\%의 성능 향상을 확인했다."},{"id":"65755","en":"Efficient Synthetic Network Generation via Latent Embedding Reconstruction","ko":"잠재 임베딩 재구성을 통한 효율적 합성 네트워크 생성","authors":"Feifan Jiang, Yinan Bu, Shihao Wu, Gongjun Xu, Ji Zhu","pos":"#2705","link":"https://openreview.net/forum?id=AW0sphpLo7","abs":"Network data are ubiquitous across the social sciences, biology, and information systems. Generating realistic synthetic network data has broad applications from network simulation to scientific discovery. However, many existing black-box approaches for network generation tend to overfit observed data while overlooking characteristic network structure, and incur substantial computational overhead at scale. These practical challenges call for synthetic network generation methods that are both efficient and capable of capturing structural properties of networks. In this paper, we introduce Synthetic Network Generation via Latent Embedding Reconstruction (SyNGLER), a general and efficient framework for synthetic network generation that builds on latent space network models. Given an observed network, SyNGLER first learns low-dimensional latent node embeddings via a latent space network model and then reconstructs the latent space by building a distribution-free generator over these embeddings. For generation, SyNGLER first samples (or resamples) node embeddings from the generator in the latent space and then produces synthetic networks using the latent space network model. Through the latent space framework, SyNGLER preserves unique characteristics in networks such as sparsity and node degree heterogeneity, while allowing for efficient training with lower computational cost than many existing deep architectures. We provide theoretical guarantees by developing consistency results regarding the distance between the true and synthetic edge distributions. Empirical studies further demonstrate the effectiveness of SyNGLER, where SyNGLER efficiently produces networks that better preserve key network characteristics such as network moments and degree distributions compared with existing approaches.
","absKo":"사회과학, 생물학, 정보 시스템 전반에서 네트워크 데이터는 어디에나 존재한다. 현실적인 synthetic network data를 생성하는 일은 network simulation부터 scientific discovery에 이르기까지 폭넓은 응용을 가진다. 그러나 기존의 많은 black-box 기반 network generation 방법은 관측된 데이터에 과적합하는 경향이 있는 반면, 네트워크의 특징적인 구조는 간과하고, 대규모에서는 상당한 계산 오버헤드를 유발한다. 이러한 실용적 과제는 효율적이면서도 네트워크의 구조적 특성을 포착할 수 있는 synthetic network generation 방법을 요구한다. 본 논문에서는 latent space network models 위에 구축된 synthetic network generation을 위한 일반적이고 효율적인 프레임워크인 Synthetic Network Generation via Latent Embedding Reconstruction (SyNGLER)를 소개한다. 관측된 네트워크가 주어지면, SyNGLER는 먼저 latent space network model을 통해 저차원 latent node embedding을 학습하고, 이어서 이러한 embedding 위에 distribution-free generator를 구축하여 latent space를 재구성한다. 생성 단계에서 SyNGLER는 먼저 latent space에서 generator로부터 node embedding을 샘플링(또는 재샘플링)한 뒤, latent space network model을 사용해 synthetic network를 생성한다. latent space 프레임워크를 통해 SyNGLER는 sparsity와 node degree heterogeneity 같은 네트워크의 고유한 특성을 보존하는 한편, 많은 기존 deep architecture보다 낮은 계산 비용으로 효율적인 학습을 가능하게 한다. 우리는 true edge distribution과 synthetic edge distribution 사이의 거리와 관련한 consistency 결과를 개발함으로써 이론적 보장을 제공한다. 추가적인 실증 연구는 SyNGLER의 효과를 보여주며, SyNGLER가 기존 접근법과 비교해 network moments와 degree distribution 같은 핵심 네트워크 특성을 더 잘 보존하는 네트워크를 효율적으로 생성함을 입증한다.
"},{"id":"71800","en":"A novel statistical approach to analyze image classification","ko":"이미지 분류 분석을 위한 새로운 통계적 접근법","authors":"Juntong Chen, Sophie Langer, Johannes Schmidt-Hieber","pos":"#2901","abs":"The recent statistical theory of neural networks focuses on nonparametric denoising problems that treat randomness as additive noise. Variability in image classification datasets does, however, not originate from additive noise but from variation of the shape and other characteristics of the same object across different images. To address this problem, we introduce a tractable model for supervised image classification. While from the function estimation point of view, every pixel in an image is a variable, and large images lead to high-dimensional function recovery tasks suffering from the curse of dimensionality, increasing the number of pixels in the proposed image deformation model enhances the image resolution and makes the object classification problem easier. We introduce and theoretically analyze three approaches. Two methods combine image alignment with a one-nearest neighbor classifier. Under a separation condition, it is shown that perfect classification is possible. The third method fits a convolutional neural network (CNN) to the data. We derive a rate for the misclassification error that depends on the sample size and the complexity of the deformation class. An empirical study corroborates the theoretical findings.
","absKo":"최근 neural network에 대한 statistical theory는 randomness를 additive noise로 취급하는 nonparametric denoising problem에 초점을 맞춰 왔다. 그러나 image classification dataset의 variability는 additive noise에서 비롯되는 것이 아니라, 서로 다른 image에서 동일한 object의 shape 및 기타 특성의 변화에서 기인한다. 이 문제를 다루기 위해, 우리는 supervised image classification을 위한 tractable model을 도입한다. function estimation 관점에서 보면 이미지의 각 pixel은 변수이며, 큰 이미지는 curse of dimensionality로 고통받는 고차원 function recovery task를 초래하지만, 제안하는 image deformation model에서 pixel 수를 늘리면 image resolution이 향상되고 object classification 문제가 더 쉬워진다. 우리는 세 가지 접근법을 제안하고 이론적으로 분석한다. 두 가지 방법은 image alignment와 one-nearest neighbor classifier를 결합한다. separation condition 하에서 완벽한 classification이 가능함을 보인다. 세 번째 방법은 data에 convolutional neural network (CNN)을 적합시킨다. 우리는 sample size와 deformation class의 complexity에 의존하는 misclassification error의 rate를 도출한다. 경험적 연구는 이론적 발견을 뒷받침한다.
"},{"id":"61994","en":"Quantitative Estimation of Target Task Performance from Unsupervised Pretext Task in Semi/Self-Supervised Learning","ko":"Semi/Self-Supervised Learning의 unsupervised pretext task로 target task 성능 정량 추정","authors":"Lin-Han Jia, Siyu Han, Wen-Chao Hu, Jie-Jing Shao, Wen-Da Wei, Zhi Zhou, Lan-Zhe Guo, Yu-Feng Li","pos":"#313","link":"https://openreview.net/forum?id=kt2CGsdTyt","abs":"The effectiveness of unlabeled data in Semi/Self-Supervised Learning (SSL) depends on appropriate assumptions for specific scenarios, thereby enabling the selection of beneficial unsupervised pretext tasks. However, existing research has paid limited attention to assumptions in SSL, resulting in practical situations where the compatibility between the unsupervised pretext tasks and the target scenarios can only be assessed after training and validation. This paper centers on the assumptions underlying unsupervised pretext tasks and explores the feasibility of preemptively estimating the impact of unsupervised pretext tasks at low cost. Through rigorous derivation, we show that the impact of unsupervised pretext tasks on target performance depends on three factors: assumption learnability with respect to the model, assumption reliability with respect to the data, and assumption completeness with respect to the target. Building on this theory, we propose a low-cost estimation method that can quantitatively estimate the actual target performance. We build a benchmark of over one hundred pretext tasks and demonstrate that our estimated performance strongly correlates with the actual performance obtained through large-scale training and validation.
","absKo":"Semi/Self-Supervised Learning(SSL)에서 unlabeled data의 효과는 특정 시나리오에 적합한 가정에 달려 있으며, 이를 통해 유용한 unsupervised pretext task를 선택할 수 있다. 그러나 기존 연구는 SSL의 가정에 대해 제한적으로만 주목해 왔고, 그 결과 실제 상황에서는 unsupervised pretext task와 목표 시나리오 간의 호환성을 학습과 검증이 끝난 뒤에야 평가할 수 있었다. 본 논문은 unsupervised pretext task의 근간이 되는 가정에 초점을 맞추고, 낮은 비용으로 그 영향을 사전에 추정할 수 있는지 탐구한다. 엄밀한 유도를 통해, unsupervised pretext task가 목표 성능에 미치는 영향은 세 가지 요인, 즉 모델에 대한 assumption learnability, 데이터에 대한 assumption reliability, 그리고 목표에 대한 assumption completeness에 의해 결정됨을 보인다. 이 이론을 바탕으로, 실제 목표 성능을 정량적으로 추정할 수 있는 저비용 추정 방법을 제안한다. 우리는 100개가 넘는 pretext task로 benchmark를 구축했으며, 우리의 추정 성능이 대규모 학습과 검증을 통해 얻은 실제 성능과 강하게 상관됨을 보인다.
"},{"id":"62984","en":"Language Model Augmented Semi-Supervised Statistical Inference","ko":"언어 모델로 증강된 준지도 통계적 추론","authors":"Xinrui Ruan, Yingfei Wang, Waverly Wei, Jingshen Wang","pos":"#3408","link":"https://openreview.net/forum?id=bFy2cGMR2S","abs":"Semi‑supervised statistical inference plays a key role in biomedical research, where labeled data often have higher quality but are limited due to costly clinical annotation. Yet, existing semi‑supervised statistical inference methods rely heavily on structured variables and strictly matched covariates between labeled and unlabeled datasets -- limitations ill‑suited for the heterogeneity and unstructured nature of real-world biomedical data. Modern biomedical studies increasingly collect unstructured data (clinical notes, patient audio and video recordings), with inconsistent protocols across datasets causing covariate misalignment (for instance, detailed medication histories may be recorded in one study but not another). Recent advances in pre‑trained multimodal large language models (LLMs), which excel at handling unstructured data, present an attractive potential solution. To transform this potential into rigorous semi-supervised statistical inference methods for biomedical research, two key challenges must be addressed: (1) How can we reliably integrate LLMs to enhance semi-supervised inference efficiency without compromising statistical validity? (2) How can those efficiency gains persist despite mismatched covariates between labeled and unlabeled datasets? In this paper, we tackle these challenges by systematically calibrating pseudo-labels provided LLMs with a novel prediction-invariance identification strategy. Our resulting semi‑supervised inference framework improves parameter estimation efficiency while maintaining full statistical validity, as demonstrated through our theoretical results and illustrated in a case study for identifying key biomarkers in Alzheimer’s disease detection with speech data.
","absKo":"Semi-supervised statistical inference는 biomedical research에서 핵심적인 역할을 한다. labeled data는 보통 품질이 더 높지만, 비용이 큰 clinical annotation 때문에 수량이 제한되기 때문이다. 그러나 기존의 semi-supervised statistical inference 방법은 구조화된 변수와 labeled 및 unlabeled dataset 간의 엄격히 일치하는 covariate에 크게 의존하며, 이는 real-world biomedical data의 이질성과 비구조적 특성에는 잘 맞지 않는다. 현대의 biomedical study는 clinical note, patient audio, video recording과 같은 unstructured data를 점점 더 많이 수집하고 있으며, dataset 간 일관되지 않은 protocol은 covariate misalignment를 초래한다. 예를 들어 한 study에서는 상세한 medication history가 기록되지만 다른 study에서는 그렇지 않을 수 있다. pre-trained multimodal large language model(LLM)의 최근 발전은 이러한 unstructured data를 잘 다룬다는 점에서 유망한 해결책을 제시한다. 이 잠재력을 biomedical research를 위한 엄밀한 semi-supervised statistical inference method로 전환하기 위해서는 두 가지 핵심 과제를 해결해야 한다. (1) 통계적 타당성을 해치지 않으면서 semi-supervised inference efficiency를 높이기 위해 LLM을 어떻게 신뢰성 있게 통합할 수 있는가? (2) labeled 및 unlabeled dataset 간 covariate mismatch가 존재하더라도 이러한 efficiency 향상을 어떻게 유지할 수 있는가? 본 논문에서는 새로운 prediction-invariance identification 전략으로 LLM이 제공하는 pseudo-label을 체계적으로 calibrating함으로써 이 과제들을 다룬다. 그 결과로 얻은 semi-supervised inference framework는 통계적 타당성을 완전히 유지하면서 parameter estimation efficiency를 향상시키며, 이는 이론적 결과와 speech data를 이용한 Alzheimer’s disease detection에서 핵심 biomarker를 식별하는 case study를 통해 입증된다.
"},{"id":"62475","en":"Towards One-for-All Anomaly Detection for Tabular Data","ko":"표(Table) 데이터용 One-for-All Anomaly Detection으로 나아가기","authors":"Shiyuan Li, Yixin Liu, Yu Zheng, Xiaofeng Cao, Shirui Pan, Heng Tao Shen","pos":"#3801","link":"https://openreview.net/forum?id=gHA60hnmOK","abs":"Tabular anomaly detection (TAD) aims to identify samples that deviate from the majority in tabular data and is critical in many real-world applications. However, existing methods follow a ``one model for one dataset (OFO)'' paradigm, which relies on dataset-specific training and thus incurs high computational cost and yields limited generalization to unseen domains. To address these limitations, we propose OFA-TAD, a generalist one-for-all (OFA) TAD framework that only requires one-time training on multiple source datasets and can generalize to unseen datasets from diverse domains on-the-fly. To realize one-for-all tabular anomaly detection, OFA-TAD extracts neighbor-distance patterns as transferable cues, and introduces multi-view neighbor-distance representations from multiple transformation-induced metric spaces to mitigate the transformation sensitivity of distance profiles. To adaptively combine multi-view distance evidence, a Mixture-of-Experts (MoE) scoring network is employed for view-specific anomaly scoring and entropy-regularized gated fusion, with a multi-strategy anomaly synthesis mechanism to support training under the one-class constraint. Extensive experiments on 34 datasets from 14 domains demonstrate that OFA-TAD achieves superior anomaly detection performance and strong cross-domain generalizability under the strict OFA setting.
","absKo":"Tabular anomaly detection (TAD)는 tabular data에서 대다수와 다른 샘플을 식별하는 것을 목표로 하며, 많은 실제 응용에서 핵심적이다. 그러나 기존 방법은 ``one model for one dataset (OFO)'' 패러다임을 따르며, dataset-specific training에 의존하므로 계산 비용이 크고 보지 못한 도메인에 대한 generalization도 제한적이다. 이러한 한계를 해결하기 위해, 우리는 OFA-TAD를 제안한다. 이는 generalist one-for-all (OFA) TAD framework로, 여러 source dataset에 대해 한 번만 training하면 되고 diverse domain의 unseen dataset에도 on-the-fly로 generalize할 수 있다. one-for-all tabular anomaly detection을 실현하기 위해 OFA-TAD는 transferable cue로서 neighbor-distance pattern을 추출하고, transformation-induced metric space 여러 개에서 얻은 multi-view neighbor-distance representation을 도입해 distance profile의 transformation sensitivity를 완화한다. multi-view distance evidence를 적응적으로 결합하기 위해 Mixture-of-Experts (MoE) scoring network를 사용하여 view-specific anomaly scoring과 entropy-regularized gated fusion을 수행하고, one-class constraint 하의 training을 지원하기 위한 multi-strategy anomaly synthesis mechanism도 함께 제안한다. 14개 domain의 34개 dataset에 대한 광범위한 실험은 OFA-TAD가 strict OFA setting에서 우수한 anomaly detection performance와 강한 cross-domain generalizability를 달성함을 보여준다.
"},{"id":"66414","en":"Tuning-Free One-Class Discriminant Learning for Tabular Anomaly Detection","ko":"표 형식 이상 탐지를 위한 튜닝 불필요 단일 클래스 판별 학습","authors":"Xuan-Ha Nguyen, Vu Duong, VanHoi Nguyen, Kim-Hung Le, Nhien-An Le-Khac","pos":"#3802","link":"https://openreview.net/forum?id=3vezZKhyoS","abs":"Anomaly detection (AD) on real-world tabular data is challenged by scarce labels, diverse anomaly types, and high sensitivity to data-specific hyperparameter tuning. We propose Discriminant Vector Machine for Anomaly detection (DVM-AD), a robust one-class method derived from discriminant analysis without data-specific tuning. DVM-AD makes one-class discriminant learning effective via a deterministic reference point, then solves a generalized eigenproblem using a Moore–Penrose pseudo-inverse to remain stable under high-dimensional or rank-deficient settings. Moreover, it selects discriminant directions from both extremes of a bounded inverse-scatter spectrum, combining directions to tighten the normal class with structure-preserving directions that retain informative geometry, addressing the compactness–structure tradeoff. At inference, DVM-AD samples scores by nearest-neighbor distance in the learned space with a training-geometry normalization to yield bounded and threshold-ready scores. Across 47 ADBench tabular datasets and 10 NLP/CV embedding benchmarks against 28 baselines, DVM-AD achieves the best average AUROC (89.65\\%, average rank 2.98) on tabular datasets and remains top-ranked across four anomaly types and on embedding tasks (average rank 1.60, AUROC 72.68\\%).
","absKo":"Real-world tabular data에서의 anomaly detection (AD)은 희소한 label, 다양한 anomaly type, 그리고 data-specific hyperparameter tuning에 대한 높은 민감도 때문에 어렵습니다. 우리는 data-specific tuning 없이 discriminant analysis에서 유도된 robust one-class method인 Discriminant Vector Machine for Anomaly detection (DVM-AD)를 제안합니다. DVM-AD는 deterministic reference point를 통해 one-class discriminant learning을 효과적으로 만들고, 이어서 Moore–Penrose pseudo-inverse를 사용한 generalized eigenproblem을 풀어 high-dimensional 또는 rank-deficient setting에서도 안정성을 유지합니다. 또한 bounded inverse-scatter spectrum의 양 끝단에서 discriminant direction을 선택하고, normal class를 더 타이트하게 만드는 방향과 유익한 geometry를 보존하는 structure-preserving direction을 결합함으로써 compactness–structure tradeoff를 해결합니다. inference 시에는 학습된 공간에서 nearest-neighbor distance로 score를 샘플링하고, training geometry normalization을 적용하여 bounded하고 threshold 사용이 가능한 score를 생성합니다. 47개의 ADBench tabular dataset과 10개의 NLP/CV embedding benchmark에서 28개의 baseline과 비교한 결과, DVM-AD는 tabular dataset에서 최고의 average AUROC (89.65\\%, average rank 2.98)를 달성했으며, 네 가지 anomaly type 전체와 embedding task에서도 최상위 순위를 유지했습니다(average rank 1.60, AUROC 72.68\\%).
"},{"id":"64776","en":"Unsupervised Process-Aware Coreset Selection for In-Context Learning","ko":"In-Context Learning을 위한 비지도 Process-Aware Coreset 선택","authors":"Wei Zheng, Zijie Wang, Xin Li, Bin Gong, Yuqing Sun","pos":"#3803","link":"https://openreview.net/forum?id=JwD5xdIE6i","abs":"We address the challenge of unsupervised coreset selection for few-shot in-context learning (ICL). The goal is to select a small subset of examples under a fixed annotation budget to yield effective prompts for large language models. Existing geometry-based methods often yield coresets that suffer from a skewed distribution, due to the oversampling of peripheral examples and high local redundancy. To address these issues, we propose a process-aware framework for coreset selection. It jointly optimizes the diversity and representativeness of selected samples via a submodular objective. It ensures representativeness by selecting samples based on local density awareness, while promoting diversity by imposing a redundancy penalty relative to the evolving selected set. Thus, it performs progress-aware balancing of representativeness and diversity based on the selection context. Extensive experiments on 7 NLP datasets demonstrate that our method consistently outperforms state-of-the-art coreset selection methods in downstream ICL performance. Further analysis validates that our approach better balances diversity and representativeness throughout the selection process, while retaining the theoretical guarantees of submodular optimization.
","absKo":"우리는 few-shot in-context learning(ICL)을 위한 unsupervised coreset selection 문제를 다룬다. 목표는 고정된 annotation budget 하에서 작은 example subset을 선택해 large language model에 효과적인 prompt를 제공하는 것이다. 기존의 geometry 기반 방법은 주변부 example의 과도한 샘플링과 높은 local redundancy 때문에 분포가 치우친 coreset을 만드는 경우가 많다. 이러한 문제를 해결하기 위해, 우리는 process-aware coreset selection framework를 제안한다. 이 프레임워크는 submodular objective를 통해 선택된 sample의 diversity와 representativeness를 공동으로 최적화한다. local density awareness에 기반해 sample을 선택함으로써 representativeness를 보장하고, 진화하는 선택 집합에 대한 redundancy penalty를 부과하여 diversity를 촉진한다. 따라서 선택 문맥에 따라 progress-aware하게 representativeness와 diversity를 균형 있게 조절한다. 7개의 NLP 데이터셋에서 수행한 광범위한 실험은 우리의 방법이 downstream ICL 성능에서 state-of-the-art coreset selection 방법들을 일관되게 능가함을 보여준다. 추가 분석은 우리의 접근법이 선택 과정 전반에 걸쳐 diversity와 representativeness를 더 잘 균형화하면서도, submodular optimization의 이론적 보장을 유지함을 검증한다.
"},{"id":"63304","en":"Von Mises-Fisher Mixture Model with Dynamic Shrinkage for Realistic Test-Time Transduction","ko":"현실적 테스트타임 변환을 위한 동적 축소를 갖춘 폰 미제스-피셔 혼합 모델","authors":"Jiazhen Huang, Zhiming Liu, Changhu Wang, Wei Ju, Ziyue Qiao, Xiao Luo","pos":"#3804","link":"https://openreview.net/forum?id=YHLkqytT2p","abs":"Many methods aim to enhance the performance of vision-language models (VLMs) at test time. Among them, transduction has emerged as a promising paradigm due to its strong compatibility and efficiency. However, realistic evaluations often involve highly imbalanced class distributions, which cause performance degradation or even collapse. In this work, we systematically revisit transduction from the perspective of penalized likelihood estimation (PLE), showing that PLE with a KL-divergence anchor term naturally yields an adaptive shrinkage behavior between prior anchors and empirical estimates. From this viewpoint, the brittleness of transductive methods can be attributed to the absence of anchoring mechanism and static modeling of the shrinkage strength. Therefore, we propose Mixture of Von Mises-Fisher Models with Dynamic Shrinkage (MOON). MOON is based on a mixture of von Mises-Fisher distributions to model feature representations on the unit hypersphere. To handle imbalance, MOON dynamically adjusts the shrinkage strength using zero-shot priors at both instance and class levels. Thus, it suppresses unreliable assignments and prevents harmful updates from outlier classes, thereby mitigating negative transfer. MOON is model-agnostic, training-free, and requires no task-specific hyperparameter tuning. Extensive experiments further validate the advantage of MOON in both performance and efficiency.
","absKo":"많은 방법이 test time에 vision-language model (VLM)의 성능을 향상시키는 것을 목표로 합니다. 그중 transduction은 강한 호환성과 효율성 덕분에 유망한 paradigm으로 부상했습니다. 그러나 실제 평가에는 종종 극도로 불균형한 class distribution이 포함되며, 이는 성능 저하 또는 붕괴를 초래합니다. 본 연구에서는 penalized likelihood estimation (PLE) 관점에서 transduction을 체계적으로 재검토하고, KL-divergence anchor term을 포함한 PLE가 prior anchor와 empirical estimate 사이에서 자연스럽게 adaptive shrinkage behavior를 유도함을 보입니다. 이 관점에서 보면, transductive method의 취약성은 anchoring mechanism의 부재와 shrinkage strength의 정적 모델링에 기인합니다. 따라서 우리는 Mixture of Von Mises-Fisher Models with Dynamic Shrinkage (MOON)을 제안합니다. MOON은 unit hypersphere 위의 feature representation을 모델링하기 위해 von Mises-Fisher distribution의 mixture를 기반으로 합니다. 불균형을 처리하기 위해 MOON은 instance 및 class 수준 모두에서 zero-shot prior를 사용하여 shrinkage strength를 동적으로 조정합니다. 이를 통해 신뢰할 수 없는 할당을 억제하고 outlier class로부터의 유해한 업데이트를 방지하여 negative transfer를 완화합니다. MOON은 model-agnostic이며 training-free이고 task-specific hyperparameter tuning을 필요로 하지 않습니다. 광범위한 실험은 성능과 효율성 모두에서 MOON의 우수성을 추가로 검증합니다.
"},{"id":"65689","en":"When Generalized Zero-Shot Learning Meets PU Learning: A Plug-and-Play Framework for Seen-Class Bias Mitigation","ko":"일반화된 Zero-Shot 학습이 PU 학습을 만날 때: 관측 클래스 편향 완화를 위한 플러그앤플레이 프레임워크","authors":"Long Tang, Keyang Pu, Yingjie Tian","pos":"#3805","link":"https://openreview.net/forum?id=B8jqw2ChAL","abs":"Generalized Zero-Shot Learning (GZSL) suffers from severe seen-class bias, a challenge stemming from the label incompleteness inherent in mixed test distributions. To address this, we propose PUFE, a unified plug-and-play framework that recasts GZSL inference as a Positive-Unlabeled (PU) learning task by treating seen categories as positive and mixed test data as unlabeled. Serving as a seamless post-processing module, PUFE constructs a PU classifier in the semantic space, jointly estimating the seen-class posterior and labeling propensity via Maximum Likelihood Estimation (MLE) within a dual-head network. Furthermore, we introduce an adaptive prototype calibration strategy that leverages high-confidence pseudo-instances—identified by the PU classifier—to explicitly align semantic prototypes with the underlying test distribution. Extensive experiments demonstrate that PUFE consistently mitigates bias and significantly boosts the performance of various embedding-based baselines, yielding gains of up to 11.2 percentage points in the harmonic mean.
","absKo":"Generalized Zero-Shot Learning(GZSL)은 mixed test distribution에 내재된 label incompleteness에서 비롯되는 심각한 seen-class bias로 어려움을 겪는다. 이를 해결하기 위해 우리는 PUFE를 제안한다. PUFE는 seen category를 positive로, mixed test data를 unlabeled로 취급함으로써 GZSL inference를 Positive-Unlabeled(PU) learning task로 재정식화하는 통합 plug-and-play framework이다. 매끄러운 post-processing module로서, PUFE는 semantic space에서 PU classifier를 구성하고, dual-head network 내에서 Maximum Likelihood Estimation(MLE)을 통해 seen-class posterior와 labeling propensity를 공동 추정한다. 더 나아가, 우리는 PU classifier로 식별된 high-confidence pseudo-instance를 활용하여 semantic prototype을 underlying test distribution과 명시적으로 정렬하는 adaptive prototype calibration strategy를 도입한다. 광범위한 실험은 PUFE가 bias를 일관되게 완화하고 다양한 embedding-based baseline의 성능을 크게 향상시켜 harmonic mean에서 최대 11.2 percentage point의 향상을 달성함을 보여준다.
"},{"id":"64190","en":"Source-Free Open-World RF Fingerprint Identification","ko":"소스 프리 개방형 RF 지문 식별","authors":"Kunling Li, Cunqing Hua, Hongyu Zhu, Tianjie Ju, Pengwenlong Gu","pos":"#3900","link":"https://openreview.net/forum?id=Q6OIu1ytqX","abs":"Radio Frequency Fingerprint Identification (RFFI) is a foundational pillar of physical-layer security, providing unclonable identity authentication and lightweight defense mechanisms for zero-trust wireless networks. Its practical deployment, however, often occurs in a source-free open-world (SF-OW) setting, characterized by a continuous influx of unregistered devices and privacy constraints that preclude the retention of historical data. In this paper, we formalize SF-OW RFFI task, which manifests a severe stability-plasticity dilemma: intrinsic signal similarity confuses new classes, while source absence precipitates catastrophic forgetting. To address this, we propose Incremental Orthogonal ETF (IO-ETF), a novel neural collapse-inspired framework utilizing output geometry to actively induce parameter separation and isolation. We further devise a Triple-Level Geometric Alignment (TLGA) strategy via semantic optimal transport, manifold progressive anchoring, and reliable subspace retention to stably align unlabeled streams to this geometric skeleton. Experiments on benchmarks demonstrate a superior trade-off between old-class retention and new-class discovery, offering a promising solution for secure access in dynamic networks.
","absKo":"Radio Frequency Fingerprint Identification (RFFI)은 물리 계층 보안의 기반 요소로, 복제 불가능한 신원 인증과 zero-trust wireless network를 위한 경량 방어 메커니즘을 제공한다. 그러나 실제 배포는 흔히 source-free open-world (SF-OW) 환경에서 이루어지며, 이 환경은 등록되지 않은 device의 지속적인 유입과 historical data 보존을 제한하는 privacy constraint로 특징지어진다. 이 논문에서는 SF-OW RFFI task를 정식화하며, 이는 심각한 stability-plasticity dilemma를 드러낸다: 내재적 signal similarity는 새로운 class를 혼동시키고, source absence는 catastrophic forgetting을 초래한다. 이를 해결하기 위해, 우리는 output geometry를 활용해 parameter separation과 isolation을 능동적으로 유도하는 새로운 neural collapse-inspired framework인 Incremental Orthogonal ETF (IO-ETF)를 제안한다. 또한 semantic optimal transport, manifold progressive anchoring, 그리고 reliable subspace retention을 통해 unlabeled stream을 이 geometric skeleton에 안정적으로 정렬하는 Triple-Level Geometric Alignment (TLGA) strategy를 고안한다. benchmark 실험은 old-class retention과 new-class discovery 사이에서 더 우수한 trade-off를 보여 주며, 동적 network에서의 secure access를 위한 유망한 해법을 제시한다.
"},{"id":"62465","en":"Semi-Supervised Learning with Noisy Covariates: Generalization Bounds and Distribution Regression","ko":"노이즈 있는 공변량을 가진 반지도학습: 일반화 경계와 Distribution Regression","authors":"Kwangho Kim, Jisu Kim","pos":"#3901","link":"https://openreview.net/forum?id=gMbMm6b7ss","abs":"In modern machine learning pipelines, abundant pretrained representations act as noisy proxy covariates while task-specific labels remain scarce. We study semi-supervised regression in this noisy-covariate setting and propose a simple two-stage estimator. We derive finite-sample generalization bounds showing that sufficiently many unlabeled proxy covariates can yield fast labeled-sample rates for both well-specified and misspecified regression settings. We further show that distribution regression is a special case of our framework, where each covariate is a latent distribution observed through a finite bag of samples, and the same guarantees hold when the bag size is large enough. Numerical experiments demonstrate consistent improvements over competitive supervised and semi-supervised baselines, especially in low-label regimes.
","absKo":"현대 machine learning pipeline에서는 풍부한 pretrained representation이 noisy proxy covariate로 작동하는 반면, task-specific label은 여전히 희소하다. 우리는 이러한 noisy-covariate setting에서 semi-supervised regression을 연구하고, 간단한 two-stage estimator를 제안한다. 우리는 충분히 많은 unlabeled proxy covariate가 well-specified regression과 misspecified regression 설정 모두에서 labeled sample에 대한 빠른 rate를 보장할 수 있음을 보이는 finite-sample generalization bound를 유도한다. 또한 distribution regression은 우리의 framework의 special case임을 보인다. 이때 각 covariate는 유한한 sample bag을 통해 관측되는 latent distribution이며, bag size가 충분히 크면 동일한 보장이 성립한다. 수치 실험은 특히 low-label regime에서 경쟁력 있는 supervised 및 semi-supervised baseline보다 일관된 개선을 보여준다.
"},{"id":"63835","en":"Semi-Supervised Learning for Molecular Graphs via Ensemble Consensus","ko":"앙상블 합의를 통한 분자 그래프 준지도 학습","authors":"Rasmus Tirsgaard, Laurits Fredsgaard, Marisa Wodrich, Mikkel Jordahn, Mikkel Schmidt","pos":"#3902","link":"https://openreview.net/forum?id=TIdOvVntmx","abs":"Machine learning is transforming molecular sciences by accelerating property prediction, simulation, and the discovery of new molecules and materials. Acquiring labeled data in these domains is often costly and time-consuming, whereas large collections of unlabeled molecular data are readily available. Standard semi-supervised learning methods often rely on label-preserving augmentations, which are challenging to design in the molecular domain, where minor changes can drastically alter properties. In this work, we show that semi-supervised methods that rely on an ensemble consensus can boost predictive accuracy across a diverse range of molecular datasets, task types, and graph neural network architectures. We find that training with an ensemble consensus objective increases robustness in models and exhibit an effect similar to knowledge distillation; an individual member of an ensemble trained this way outperforms a full ensemble trained in a traditional supervised fashion in almost all cases. In addition, this type of semi-supervised training reduces calibration error.
","absKo":"Machine learning은 property prediction, simulation, 그리고 새로운 molecule과 material의 발견을 가속함으로써 molecular science를 변화시키고 있다. 이러한 domain에서 labeled data를 얻는 것은 종종 비용이 많이 들고 시간이 오래 걸리는 반면, unlabeled molecular data는 대규모로 쉽게 이용할 수 있다. 표준 semi-supervised learning method는 보통 label-preserving augmentation에 의존하지만, molecular domain에서는 작은 변화만으로도 property가 크게 달라질 수 있어 이를 설계하기 어렵다. 본 연구에서는 ensemble consensus에 의존하는 semi-supervised method가 다양한 molecular dataset, task type, graph neural network architecture 전반에서 예측 정확도를 향상시킬 수 있음을 보인다. 우리는 ensemble consensus objective로 학습하면 모델의 robustness가 증가하고 knowledge distillation과 유사한 효과가 나타남을 발견한다. 이러한 방식으로 학습된 ensemble의 개별 구성원 하나가, 전통적인 supervised 방식으로 학습된 전체 ensemble보다 거의 모든 경우에서 더 우수한 성능을 보인다. 또한 이러한 유형의 semi-supervised training은 calibration error를 줄인다.
"},{"id":"65398","en":"Semi-Supervised Gaze Estimation via Disentangled Subspace Contrastive Learning","ko":"분리된 부분공간 대조 학습을 통한 준지도 시선 추정","authors":"Qida Tan, Hongyu Yang, Wenchao Du","pos":"#3903","link":"https://openreview.net/forum?id=E3C6mg6v4b","abs":"Current appearance-based gaze estimation suffers from poor generalization due to the scarcity of annotated samples and insufficient diversity of datasets. Leading methods have explored weakly supervised learning to generate large-scale pseudo-labeled data collected by unconstrained scenarios to mitigate domain shift in the wild. In this work, we devise a simple yet efficient semi-supervised contrastive learning framework to exploit unlabeled data for generalized gaze estimation, thereby reducing reliance on manual annotations. Our key insight is to leverage the Jacobian regularization constraint to disentangle representation into identifiable subspaces dedicated to specific gaze components, e.g., pitch and yaw angles. Then we exploit the inner ordinal ranking relationship for contrastive learning in each specific subspace to learn a robust gaze representation from labeled and unlabeled samples, which leads to our Disentangled Subspace Contrastive Learning (shortened to DSCL) framework. Extensive experiments across multiple benchmarks demonstrate that the proposed method is plug-and-play, which achieves competitive performance with 20%, 10%, and even 5% annotated data in both in-domain and cross-domain evaluations.
","absKo":"현재의 appearance-based gaze estimation은 주석이 달린 샘플의 부족과 dataset 다양성의 부족으로 인해 일반화 성능이 떨어진다. 선도적인 방법들은 실제 환경에서의 domain shift를 완화하기 위해, 제약이 없는 상황에서 수집된 대규모 pseudo-labeled data를 생성하는 weakly supervised learning을 탐구해 왔다. 본 연구에서는 일반화된 gaze estimation을 위해 unlabeled data를 활용하는 단순하면서도 효율적인 semi-supervised contrastive learning framework를 고안하여, 수동 annotation에 대한 의존을 줄인다. 우리의 핵심 통찰은 Jacobian regularization constraint를 활용하여 표현을 pitch와 yaw angle 같은 특정 gaze component에 전용된 식별 가능한 subspace로 분리하는 것이다. 그런 다음 각 특정 subspace에서 inner ordinal ranking relationship을 contrastive learning에 활용하여, labeled 및 unlabeled sample로부터 강건한 gaze representation을 학습하며, 이것이 우리가 제안하는 Disentangled Subspace Contrastive Learning(줄여서 DSCL) framework로 이어진다. 여러 benchmark에 걸친 광범위한 실험은 제안 방법이 plug-and-play임을 보여주며, in-domain 및 cross-domain 평가 모두에서 20\\%, 10\\%, 심지어 5\\%의 주석 데이터만으로도 경쟁력 있는 성능을 달성함을 입증한다.
"},{"id":"65190","en":"SURF: Separation via Unsupervised Remixing Flow","ko":"SURF: 비지도 리믹싱 Flow를 통한 분리","authors":"Henry Li, Robin Scheibler, Efthymios Tzinis, Matt Shannon, Arnaud Doucet, john hershey","pos":"#3904","link":"https://openreview.net/forum?id=Fy2HkFMYH6","abs":"The goal of single-channel source separation is to reconstruct $K$ sources given their mixture. In supervised settings where vast amounts of clean source data are available, this challenging, ill-posed problem has been addressed successfully by generative diffusion and flow-based prior models. However, access to such clean source samples is often limited. To bridge this gap, we present Separation via Unsupervised Remixing Flow (\\textbf{SURF}), an unsupervised flow matching approach for source separation that learns directly from observed mixtures. This method relies on a novel combination of state-of-the-art supervised flow matching and regression-based self-supervised techniques. At a high level, starting from a teacher model, we utilize a ``remixing'' step to bootstrap the learning of a student flow model from the teacher's estimates. We provide insights into the objectives optimized by this approach and draw a novel connection to the Wake-Sleep algorithm. Empirical evaluations on image and audio benchmarks demonstrate that \\textbf{SURF} establishes a new state-of-the-art, significantly outperforming existing unsupervised methods.","absKo":"단일 채널 source separation의 목표는 혼합된 신호가 주어졌을 때 $K$개의 source를 복원하는 것이다. 방대한 양의 clean source data를 사용할 수 있는 supervised setting에서는, 이 어렵고 ill-posed인 문제를 generative diffusion 및 flow-based prior model이 성공적으로 다뤄 왔다. 그러나 이러한 clean source sample에 대한 접근은 종종 제한적이다. 이 격차를 메우기 위해, 우리는 관측된 mixture로부터 직접 학습하는 source separation용 unsupervised flow matching 접근법인 Separation via Unsupervised Remixing Flow (\\textbf{SURF})를 제안한다. 이 방법은 최신 supervised flow matching과 regression-based self-supervised technique의 새로운 결합에 의존한다. 높은 수준에서 보면, teacher model에서 시작하여 우리는 ``remixing'' 단계를 활용해 teacher의 추정치를 바탕으로 student flow model의 학습을 부트스트래핑한다. 우리는 이 접근법이 최적화하는 objective에 대한 통찰을 제공하고 Wake-Sleep algorithm과의 새로운 연결을 제시한다. 이미지와 audio benchmark에서의 실증 평가는 \\textbf{SURF}가 새로운 state-of-the-art를 확립하며 기존 unsupervised method를 크게 능가함을 보여준다."},{"id":"64691","en":"SIMPC: Learning Self-Induced Mirror-Point Consistency for Unsupervised Point Cloud Denoising","ko":"SIMPC: 비지도 Point Cloud Denoising을 위한 Self-Induced Mirror-Point Consistency 학습","authors":"Chengwei Zhang, Xueyi Zhang, Tao Jiang, Xinhao Xu, Wenjie Li, Fubo Zhang, Longyong Chen","pos":"#3905","link":"https://openreview.net/forum?id=KmQzJ5wQEa","abs":"In point clouds, noise directly perturbs point coordinates that encode both spatial location and geometry, making one-to-one correspondence construction more challenging than in images. Existing methods impose statistical mappings across noisy variants via noise or optimal transport, but suffer from correspondence ambiguity. In this work, we propose Self-Induced Mirror-Point Consistency (SIMPC) to learn deterministic correspondences between points and the underlying surface in an unsupervised manner. For each noisy point, SIMPC generates a mirror-point on the opposite side of the underlying surface, guided by geometric priors during the denoising process. By encouraging consistency between the denoising targets of the original point and its mirror counterpart, SIMPC effectively localizes the position of underlying surface. Extensive experiments on synthetic and real-world datasets demonstrate that SIMPC significantly outperforms state-of-the-art unsupervised methods and surpasses several strong supervised counterparts.
","absKo":"point cloud에서는 noise가 공간적 위치와 geometry를 모두 인코딩하는 point coordinate를 직접 교란하므로, image보다 one-to-one correspondence를 구성하기가 더 어렵다. 기존 방법은 noise 또는 optimal transport를 통해 noisy variant 간 statistical mapping을 부과하지만, correspondence ambiguity 문제를 겪는다. 본 연구에서는 Self-Induced Mirror-Point Consistency (SIMPC)를 제안하여, unsupervised 방식으로 point와 underlying surface 사이의 deterministic correspondence를 학습한다. 각 noisy point에 대해 SIMPC는 denoising 과정에서 geometric prior의 안내를 받아 underlying surface의 반대편에 mirror-point를 생성한다. 원래 point와 그 mirror 대응점의 denoising target 간 consistency를 장려함으로써, SIMPC는 underlying surface의 위치를 효과적으로 국소화한다. synthetic 및 real-world dataset에 대한 광범위한 실험은 SIMPC가 state-of-the-art unsupervised method를 크게 능가하고, 여러 강력한 supervised counterpart보다도 우수함을 보여준다.
"},{"id":"63813","en":"PartCo: Part-Level Correspondence Priors Enhance Category Discovery","ko":"PartCo: 부위 수준 대응 사전지식으로 category discovery 향상","authors":"Fernando Julio Cendra, Kai Han","pos":"#3906","link":"https://openreview.net/forum?id=TVAMni6Cq1","abs":"Generalized Category Discovery (GCD) aims to identify both known and novel categories within unlabeled data by leveraging a set of labeled examples from known categories. Existing GCD methods primarily depend on semantic labels and global image representations, often overlooking the detailed part-level cues that are crucial for distinguishing closely related categories. In this paper, we introduce PartCo, short for Part-Level Correspondence Prior, a novel framework that enhances category discovery by incorporating part-level visual feature correspondences. By leveraging part-level relationships, PartCo captures finer-grained semantic structures, enabling a more nuanced understanding of category relationships. Importantly, PartCo seamlessly integrates with existing GCD methods without requiring significant modifications. Our extensive experiments on multiple benchmark datasets demonstrate that PartCo significantly improves the performance of current GCD approaches, outperforming most existing methods by bridging the gap between semantic labels and part-level visual compositions, thereby setting new benchmarks for GCD. Code will be made publicly available.
","absKo":"Generalized Category Discovery(GCD)는 알려진 범주의 labeled example 집합을 활용하여, unlabeled data 안에서 known category와 novel category를 모두 식별하는 것을 목표로 한다. 기존 GCD 방법은 주로 semantic label과 global image representation에 의존하며, 밀접하게 관련된 범주를 구분하는 데 중요한 세부적인 part-level cue를 간과하는 경우가 많다. 본 논문에서는 part-level visual feature correspondence를 통합하여 category discovery를 향상시키는 새로운 프레임워크 PartCo(Part-Level Correspondence Prior의 약자)를 제안한다. part-level relationship을 활용함으로써 PartCo는 더 세밀한 semantic structure를 포착하여 category 관계에 대한 더 정교한 이해를 가능하게 한다. 특히 PartCo는 큰 수정 없이 기존 GCD 방법과 매끄럽게 통합된다. 여러 benchmark dataset에 대한 광범위한 실험은 PartCo가 현재 GCD 접근법의 성능을 크게 향상시키며, semantic label과 part-level visual composition 사이의 간극을 메움으로써 대부분의 기존 방법을 능가하고, GCD의 새로운 benchmark를 제시함을 보여준다. 코드는 공개될 예정이다.
"},{"id":"64609","en":"One Coin Has Two Sides: Single Poistive Multi Label Learning from Salient Annotations","ko":"동전에는 양면이 있다: Salient Annotation으로부터의 Single Positive Multi Label Learning","authors":"Xiaoyu Wang, Zhuoming Li, Bo Han, Hui LIU, Junhui Hou, Yuheng Jia","pos":"#3907","link":"https://openreview.net/forum?id=LhhFsfAzL6","abs":"Single-Positive Multi-Label Learning (SPML) studies learning from incomplete supervision, where each instance is annotated with only one positive label despite potentially belonging to multiple categories. While existing methods assume the annotated labels are randomly distributed, real-world annotations are often biased toward the most salient category. We formalize this realistic scenario as Salient Single-Positive Multi-Label Learning (SalSPML). This salient annotation bias poses a challenge to conventional SPML methods, as the missing labels often correspond to less salient and harder-to-recognize categories. Fortunately, we find that salient annotations are typically more representative and informative. Motivated by this insight, we propose Prototype-Guided Rejection for Salient Annotation (PiSA), which constructs reliable class-wise prototypes from salient labels and leverages them to guide embedding learning for non-salient labels recognition. We theoretically demonstrate that SalSPML is harder than Random SPML due to irreducible annotation bias, and under SalSPML, more accurate prototypes facilitate false-negative label detection. Experiments on multiple benchmarks, together with two newly constructed real-world SalSPML datasets, demonstrate that PiSA consistently outperforms existing methods, achieving an average mAP improvement of 3.16\\%. Our code is available in the supplementary materials.
","absKo":"Single-Positive Multi-Label Learning (SPML)은 각 인스턴스가 잠재적으로 여러 범주에 속할 수 있음에도 불구하고 오직 하나의 positive label만으로 주어지는 불완전한 supervision으로부터의 학습을 다룬다. 기존 방법들은 주석된 label이 무작위로 분포한다고 가정하지만, 실제 세계의 주석은 종종 가장 두드러진 범주에 편향된다. 우리는 이러한 현실적인 상황을 Salient Single-Positive Multi-Label Learning (SalSPML)로 정식화한다. 이러한 salient annotation bias는 누락된 label이 덜 두드러지고 인식하기 더 어려운 범주에 해당하는 경우가 많기 때문에 기존 SPML 방법에 도전 과제를 제기한다. 다행히도 우리는 salient annotation이 대체로 더 대표적이고 정보량이 풍부하다는 사실을 발견했다. 이러한 통찰에 동기를 얻어, 우리는 salient annotation에 대한 Prototype-Guided Rejection (PiSA)를 제안한다. 이는 salient label로부터 신뢰할 수 있는 class-wise prototype을 구성하고, 이를 활용해 non-salient label 인식을 위한 embedding learning을 유도한다. 우리는 SalSPML이 제거 불가능한 annotation bias 때문에 Random SPML보다 더 어렵다는 점을 이론적으로 보이고, SalSPML 하에서는 더 정확한 prototype이 false-negative label detection을 용이하게 함을 보인다. 여러 benchmark와 함께 새로 구축한 두 개의 실제 SalSPML 데이터셋에서 수행한 실험은 PiSA가 기존 방법을 일관되게 능가하며 평균 mAP를 3.16\\% 향상시킴을 보여준다. 우리의 코드는 supplementary material에 제공된다.
"},{"id":"62832","en":"On the Learnability of Test-Time Adaptation: A Recovery Complexity Perspective","ko":"Test-Time Adaptation의 Learnability: Recovery Complexity 관점","authors":"Zhi Zhou, Ming Yang, Shi-Yu Tian, Kun-Yang Yu, Lan-Zhe Guo, Yu-Feng Li","pos":"#3908","link":"https://openreview.net/forum?id=cnJvwUqEyu","abs":"Test-time adaptation (TTA) aims to adapt models to maintain reliable performance on non-stationary test streams without requiring labeled data. Despite its empirical success, the learnability of TTA under distributional non-stationarity remains unexplored. A key challenge is lacking of a principled theoretical framework that simultaneously aligns with the TTA objective and captures both continuously evolving distribution shifts and intrinsic information constraints. To address this gap, we propose the first theoretical framework for characterizing the learnability of TTA, introducing the notions of $(\\epsilon,\\delta)$-Recovery Complexity and $(\\epsilon,\\rho)$-TTA Learnability. Recovery complexity quantifies the minimal time required for a TTA algorithm to recover to a target excess risk following a distribution shift, and is further generalized to define $(\\epsilon,\\rho)$-TTA Learnability, which measures the long-term reliability of TTA algorithms over non-stationary data streams. Within this framework, we introduce a novel temporally dependent discrete surrogate method that models complex non-stationary test streams, enabling a unified and tractable analysis of both gradual and abrupt distribution shifts. We derive order-wise matching lower and upper bounds on recovery complexity through information-theoretic and optimization-based analysis. Our results uncover fundamental limits of TTA, highlight the intrinsic adaptivity-information trade-off of TTA algorithms, and provide the first unified learnability guarantees that go beyond regret-based perspectives.","absKo":"Test-time adaptation(TTA)는 모델이 비정상(non-stationary) test stream에서 labeled data 없이도 신뢰할 수 있는 성능을 유지하도록 적응시키는 것을 목표로 한다. 경험적으로는 성공적이지만, distributional non-stationarity 하에서 TTA의 learnability는 아직 탐구되지 않았다. 핵심 과제는 TTA objective와 동시에 부합하면서, 지속적으로 진화하는 distribution shift와 내재적 정보 제약을 모두 포착하는 원칙적인 이론적 framework가 부족하다는 점이다. 이 공백을 해소하기 위해, 우리는 TTA의 learnability를 특성화하는 첫 번째 이론적 framework를 제안하며, $(\\epsilon,\\delta)$-Recovery Complexity와 $(\\epsilon,\\rho)$-TTA Learnability라는 개념을 도입한다. Recovery complexity는 distribution shift 이후 TTA algorithm이 target excess risk로 회복하는 데 필요한 최소 시간을 정량화하며, 이를 더 일반화한 $(\\epsilon,\\rho)$-TTA Learnability는 비정상 data stream 전반에서 TTA algorithm의 장기적 신뢰성을 측정한다. 이 framework 안에서 우리는 복잡한 비정상 test stream을 모델링하는 새로운 temporally dependent discrete surrogate method를 제안하여, 점진적 shift와 급격한 shift 모두에 대한 통일적이고 tractable한 분석을 가능하게 한다. 우리는 information-theoretic 및 optimization-based analysis를 통해 recovery complexity에 대한 order-wise matching lower bound와 upper bound를 도출한다. 우리의 결과는 TTA의 근본적 한계를 드러내고, TTA algorithm의 본질적인 adaptivity-information trade-off를 강조하며, regret-based 관점을 넘어서는 최초의 통합 learnability 보장을 제공한다."},{"id":"63974","en":"Noise-Robust Density Estimation for Tabular Data Anomaly Detection","ko":"표 형식 데이터 이상 탐지를 위한 잡음 강건 밀도 추정","authors":"Dazhi Fu, Zhao Zhang, Jicong Fan","pos":"#3909","link":"https://openreview.net/forum?id=S51EtVGlui","abs":"Density-based anomaly detection methods often provide accurate and interpretable predictions but their performance can be severely degraded by the inherent noise of data, such as changes arising from environmental conditions during data collection or background noise. To deal with such noise, we present noise-robust density estimation (NRDE) for tabular data anomaly detection. We aim to estimate the density of pure data with the influence of noises isolated, which is a non-trivial task since the data-generating process is completely unknown. Specifically, NRDE learns a Jacobian-regularized normalizing flow to estimate the sources of data and categorizes sources into two groups, where one group generates pure data and the other generates noise. After generating pure data, we can use the density of such pure data to detect anomalies caused by the sources of pure data solely. Therefore, NRDE is robust to inherent noise. We provide theoretical results to support the effectiveness of NRDE and compare NRDE with $17$ baselines on $47$ benchmark datasets under different settings, including vanilla anomaly detection, anomaly detection with anomaly contamination, anomaly detection on noisy data, and transductive outlier detection.","absKo":"Density-based anomaly detection 방법은 정확하고 해석 가능한 예측을 제공하는 경우가 많지만, 데이터 수집 중 환경 조건의 변화나 background noise와 같은 데이터 고유의 noise 때문에 성능이 심각하게 저하될 수 있다. 이러한 noise를 다루기 위해, 우리는 tabular data anomaly detection을 위한 noise-robust density estimation (NRDE)을 제안한다. 우리는 noise의 영향을 분리한 pure data의 density를 추정하고자 하며, 이는 data-generating process가 완전히 알려져 있지 않기 때문에 비자명한 문제이다. 구체적으로, NRDE는 Jacobian-regularized normalizing flow를 학습하여 data의 source를 추정하고, source를 두 그룹으로 분류한다. 한 그룹은 pure data를 생성하고 다른 그룹은 noise를 생성한다. pure data를 생성한 뒤에는, pure data의 density를 사용하여 pure data의 source에 의해서만 발생한 anomaly를 탐지할 수 있다. 따라서 NRDE는 내재적 noise에 대해 robust하다. 우리는 NRDE의 효과를 뒷받침하는 이론적 결과를 제시하고, vanilla anomaly detection, anomaly contamination이 있는 anomaly detection, noisy data에서의 anomaly detection, transductive outlier detection을 포함한 다양한 설정에서 47개 benchmark dataset에 대해 17개의 baseline과 NRDE를 비교한다."},{"id":"61592","en":"Newton-coupled Dual-Teacher Semi-supervised Learning Framework","ko":"Newton-coupled Dual-Teacher 반지도학습 프레임워크","authors":"Hongyang He, Yan Zhong, Xinyuan Song, Daizong Liu, Xuanyu Liu, Victor Sanchez","pos":"#3910","link":"https://openreview.net/forum?id=oaYX7VEBcq","abs":"Most semi-supervised learning frameworks rely on a single teacher that transfers zero-order supervision through pseudo-labels, constraining the student to imitate categorical outputs without perceiving the loss geometry. This design often leads to unstable optimization and limited generalization under scarce labels. We propose TTN (Two-Teachers Newton-guided Learning), a dual-teacher framework that integrates complementary supervision from MAE and DINOv3 and optimizes the student through a Newton step update. The two teachers provide multi-scale structural and semantic cues whose pseudo-labels and local Hessians are fused by confidence weighting, forming a unified second-order supervision signal. The student updates parameters preconditioned by the fused curvature, enabling stable convergence and geometry-consistent learning. TTN consistently improves over existing single-teacher and consistency-based semi-supervised learning methods on ImageNet, CIFAR-10, SVHN, and STL-10, demonstrating that combining multi-view self-supervised teachers with curvature-guided optimization yields robust and efficient semi-supervised learning.
","absKo":"대부분의 semi-supervised learning 프레임워크는 pseudo-label을 통해 zero-order supervision을 전달하는 단일 teacher에 의존하며, 그 결과 student는 loss geometry를 인식하지 못한 채 categorical output을 모방하도록 제약된다. 이러한 설계는 라벨이 부족한 상황에서 종종 불안정한 최적화와 제한된 일반화로 이어진다. 우리는 MAE와 DINOv3로부터 상호보완적 supervision을 통합하고 Newton step update를 통해 student를 최적화하는 이중 teacher 프레임워크인 TTN (Two-Teachers Newton-guided Learning)을 제안한다. 두 teacher는 다중 스케일 구조 및 semantic cue를 제공하며, 이들의 pseudo-label과 local Hessian은 confidence weighting으로 결합되어 통합된 second-order supervision signal을 형성한다. student는 결합된 curvature로 preconditioned된 상태에서 parameter를 업데이트하므로 안정적인 수렴과 geometry-consistent learning이 가능해진다. TTN은 ImageNet, CIFAR-10, SVHN, STL-10에서 기존의 single-teacher 및 consistency-based semi-supervised learning 방법을 일관되게 능가하며, multi-view self-supervised teacher와 curvature-guided optimization을 결합하면 강건하고 효율적인 semi-supervised learning이 가능함을 보여준다.
"},{"id":"62711","en":"Identifying Latent Concepts and Structures for Generalized Category Discovery","ko":"범용화된 카테고리 발견을 위한 잠재 Concept과 구조 탐색","authors":"Boyang Dai, Chaoqi Chen, Yizhou Yu","pos":"#3911","link":"https://openreview.net/forum?id=dyubtJ2dtZ","abs":"Generalized Category Discovery (GCD) aims to recognize known classes while autonomously discovering novel ones in open-world settings. However, current approaches primarily focus on designing clustering objectives, often overlooking a critical bottleneck: standard vision backbones yield high-rank, entangled token representations that are ill-suited for unsupervised discovery of latent concepts and structures. In this paper, we propose Compositional Primitive Fields (CPF-GCD), a novel representation learning framework that reshapes the feature space to make such latent structure identifiable by enforcing a low-rank compositional organization. Our core hypothesis is that all categories (known/novel) reside on a latent manifold spanned by a finite set of learnable visual primitives that capture reusable concepts. CPF instantiates this geometric constraint via a spatial field mechanism. Inserted between the backbone and the head, it projects noisy patch tokens onto this structured manifold, effectively decomposing images into reusable atomic parts and their spatial layouts. By explicitly modeling the spatial distribution of primitives, CPF enables novel categories to emerge naturally as new activation patterns over a shared vocabulary. Extensive experiments demonstrate that CPF serves as a generic, plug-and-play module that consistently boosts performance across diverse GCD baselines, validating that identifying and leveraging low-rank compositional structure is a crucial inductive bias for open-world recognition.
","absKo":"Generalized Category Discovery (GCD)는 open-world 환경에서 알려진 클래스를 인식하는 동시에 새로운 클래스를 자율적으로 발견하는 것을 목표로 한다. 그러나 현재의 접근법은 주로 clustering objective 설계에 집중하며, 중요한 병목인 standard vision backbone이 높은 rank의, 서로 얽힌 token representation을 산출하여 latent concept와 structure를 비지도 방식으로 발견하는 데 적합하지 않다는 점은 종종 간과한다. 본 논문에서는 Compositional Primitive Fields (CPF-GCD)를 제안하는데, 이는 low-rank compositional organization을 강제함으로써 이러한 latent structure를 식별 가능하게 만들도록 feature space를 재구성하는 새로운 representation learning framework이다. 우리의 핵심 가설은 모든 category(known/novel)가 재사용 가능한 concept를 포착하는 유한한 집합의 learnable visual primitive에 의해 span되는 latent manifold 위에 존재한다는 것이다. CPF는 spatial field mechanism을 통해 이러한 geometric constraint를 구현한다. backbone과 head 사이에 삽입되어, noisy patch token을 이러한 structured manifold 위에 projection하며, 이미지를 재사용 가능한 atomic part와 그 spatial layout으로 효과적으로 분해한다. primitive의 spatial distribution을 명시적으로 모델링함으로써, CPF는 shared vocabulary 위의 새로운 activation pattern으로서 novel category가 자연스럽게 emergence하도록 만든다. 광범위한 실험은 CPF가 다양한 GCD baseline 전반에서 일관되게 성능을 향상시키는 generic plug-and-play module임을 보여주며, low-rank compositional structure를 식별하고 활용하는 것이 open-world recognition에 중요한 inductive bias임을 검증한다.
"},{"id":"61580","en":"Generalizing Stochastic Smoothing for Differentiation and Gradient Estimation","ko":"Differentiation과 Gradient Estimation을 위한 Stochastic Smoothing 일반화","authors":"Felix Petersen, Christian Borgelt, Aashwin Mishra, Stefano Ermon","pos":"#3912","link":"https://openreview.net/forum?id=okzQ1x71pS","abs":"We address the problem of gradient estimation for stochastic differentiable relaxations of algorithms, operators, simulators, and other non-differentiable functions. Stochastic smoothing conventionally perturbs the input of a non-differentiable function with a differentiable density distribution with full support, smoothing it and enabling gradient estimation. Our theory starts at first principles to derive stochastic smoothing with reduced assumptions, without requiring a differentiable density nor full support, and presenting a general framework for relaxation and gradient estimation of non-differentiable black-box functions . We develop variance reduction for gradient estimation from 3 orthogonal perspectives. Empirically, we benchmark 6 distributions and up to 24 variance reduction strategies for differentiable sorting and ranking, differentiable shortest-paths on graphs, differentiable rendering for pose estimation, as well as differentiable cryo-electron tomography simulations.
","absKo":"우리는 algorithm, operator, simulator 및 기타 비미분 가능 함수의 stochastic differentiable relaxation에 대한 gradient estimation 문제를 다룬다. Stochastic smoothing은 관례적으로 비미분 가능 함수의 입력에 full support를 갖는 미분 가능한 density distribution을 더해 함수를 매끄럽게 만들고 gradient estimation을 가능하게 한다. 우리의 이론은 더 약한 가정에서 출발해, 미분 가능한 density나 full support를 요구하지 않는 stochastic smoothing을 유도하며, 비미분 가능한 black-box function의 relaxation과 gradient estimation을 위한 일반적인 framework를 제시한다. 우리는 gradient estimation을 위한 variance reduction을 세 가지 직교하는 관점에서 개발한다. 실험적으로는 differentiable sorting and ranking, graph에서의 differentiable shortest-path, pose estimation을 위한 differentiable rendering, 그리고 differentiable cryo-electron tomography simulation에 대해 6개의 distribution과 최대 24개의 variance reduction strategy를 벤치마크한다.
"},{"id":"64617","en":"FUSE: Ensembling Verifiers with Zero Labeled Data","ko":"FUSE: 레이블 없는 데이터로 Verifier Ensemble 구성하기","authors":"Joonhyuk Lee, Virginia L., Sarah Zhao, Yash Nair, Asher Spector, Regev Cohen, Emmanuel J Candes","pos":"#3913","link":"https://openreview.net/forum?id=LeRgUcmLF3","abs":"Verification of model outputs is rapidly emerging as a key primitive for both training and real-world deployment of large language models (LLMs). In practice, this often involves using imperfect LLM judges and reward models since ground truth acquisition can be time-consuming and expensive. We introduce Fully Unsupervised Score Ensembling (FUSE), a method for improving verification quality by ensembling verifiers without access to ground truth correctness labels. The key idea behind FUSE is to control conditional dependencies between verifiers in a manner that improves the unsupervised performance of a class of spectral algorithms from the ensembling literature. Despite requiring zero ground truth labels, FUSE typically matches or improves upon semi-supervised alternatives in test-time scaling experiments with diverse sets of generator models, verifiers, and benchmarks. In particular, we validate our method on both conventional academic benchmarks such as GPQA Diamond and on frontier, unsaturated benchmarks such as Humanity's Last Exam and IMO Shortlist questions.
","absKo":"모델 출력의 검증은 large language model (LLM)의 학습과 실제 배포 모두에서 빠르게 핵심 primitive로 부상하고 있다. 실제로는 정답 ground truth를 획득하는 데 시간이 오래 걸리고 비용이 많이 들기 때문에, 불완전한 LLM judge와 reward model을 사용하는 경우가 많다. 우리는 정답 correctness label에 접근하지 않고 verifier를 ensemble하여 검증 품질을 향상시키는 방법인 Fully Unsupervised Score Ensembling (FUSE)을 소개한다. FUSE의 핵심 아이디어는 verifier 간 conditional dependency를 제어하여, ensembling 문헌의 한 부류에 속하는 spectral algorithm의 비지도 성능을 향상시키는 것이다. ground truth label이 전혀 필요하지 않음에도 불구하고, FUSE는 다양한 generator model, verifier, benchmark를 사용한 test-time scaling 실험에서 일반적으로 semi-supervised 대안과 동등하거나 그보다 나은 성능을 보인다. 특히, 우리는 GPQA Diamond와 같은 전통적인 학술 benchmark뿐 아니라 Humanity's Last Exam 및 IMO Shortlist 문제와 같은 frontier의 아직 포화되지 않은 benchmark에서도 우리의 방법을 검증한다.
"},{"id":"62680","en":"Enhanced Multi-Instance Partial Label Learning via Average Gradient Outer Product","ko":"Average Gradient Outer Product 기반 강화된 다중 인스턴스 Partial Label Learning","authors":"nan cao, Xu Zhao, Teng Zhang","pos":"#3914","link":"https://openreview.net/forum?id=eOQZiAy3Q3","abs":"Multi-instance partial-label learning (MIPL) is a recently proposed learning paradigm to address tasks that multi-instance bags are associated with a candidate label set comprising one ground-truth label and several false positive labels. Existing MIPL methods rely on simple instance level information, and can hardly find the key instances under noisy labels. In this paper, we propose a novel algorithm termed AGOPMIPL, i.e., Average Gradient Outer Product based Multi-Instance Partial-Label Learning to address the problem. AGOP derives a data-dependent metric in the embedding space by computing the outer product of classifier gradients, which stretches discriminative feature dimensions and facilitates more accurate key instance identification. Moreover, AGOP aggregates gradient information across all training samples, providing inherent robustness to label noise. Additionally, we introduce a progressive label disambiguation strategy that gradually refine the learning targets. Experimental studies on benchmark and real-world datasets demonstrate the superiority of AGOPMIPL over existing MIPL methods.
","absKo":"Multi-instance partial-label learning (MIPL)은 multi-instance bag이 하나의 ground-truth label과 여러 개의 false positive label로 이루어진 candidate label set과 연관되는 과제를 다루기 위해 최근 제안된 learning paradigm이다. 기존 MIPL 방법은 단순한 instance level information에 의존하며, noisy label 하에서는 key instance를 찾기 어렵다. 본 논문에서는 이 문제를 해결하기 위해 Average Gradient Outer Product 기반의 Multi-Instance Partial-Label Learning을 뜻하는 새로운 알고리즘 AGOPMIPL을 제안한다. AGOP는 classifier gradient의 outer product를 계산함으로써 embedding space에서 data-dependent metric을 유도하며, 이를 통해 discriminative feature dimension을 확장하고 더 정확한 key instance 식별을 돕는다. 또한 AGOP는 모든 training sample에 걸쳐 gradient 정보를 집계하여 label noise에 대한 내재적 견고성을 제공한다. 더불어, 우리는 learning target을 점진적으로 정제하는 progressive label disambiguation strategy를 도입한다. benchmark 및 실제 데이터셋에서의 실험 결과는 AGOPMIPL이 기존 MIPL 방법보다 우수함을 보여준다.
"},{"id":"65630","en":"Automatic Unsupervised Ensemble Outlier Model Selection","ko":"자동 비지도 앙상블 이상치 모델 선택","authors":"Hong-Phuc Phan, Tuan Vu, Tung Kieu, Sơn Hà Xuân, Bin Yang, Christian S Jensen","pos":"#4010","link":"https://openreview.net/forum?id=BgNkAHzveU","abs":"Unsupervised outlier detection is attractive because it eliminates the need for labeled data. Further, forming multi-model ensembles can improve detection robustness performance. However, composing an ensemble without labeled data is challenging. Naively composing ensembles can cause ensemble saturation, where redundant or unreliable detection models degrade performance and incur unnecessary computations. We propose MetaEns, an automatic unsupervised framework for the selection of outlier detection model ensembles. Using labeled meta-datasets, MetaEns learns a model that predicts marginal ensemble gains that estimate the expected improvement of adding a candidate model to a partially constructed ensemble. At test time, this learned signal is combined with a submodular-inspired proxy objective that enforces diminishing returns through diversity-aware discounting and family-level risk regularization, thereby enabling greedy sequential selection with adaptive early stopping. As a result, MetaEns constructs compact, high-quality ensembles without access to ground-truth labels. Experiments on 39 real-world datasets show that MetaEns is able to consistently outperform state-of-the-art unsupervised selectors and ensemble baselines, achieving higher average precision while using fewer models.
","absKo":"비지도 outlier detection은 labeled data가 필요 없다는 점에서 매력적이다. 또한 다중 모델 ensemble을 구성하면 detection의 robustness 성능을 높일 수 있다. 그러나 labeled data 없이 ensemble을 구성하는 일은 어렵다. 무턱대고 ensemble을 구성하면 ensemble saturation이 발생하여, 중복되거나 신뢰할 수 없는 detection model이 성능을 저하시키고 불필요한 계산을 초래할 수 있다. 우리는 outlier detection model ensemble의 선택을 위한 자동 비지도 framework인 MetaEns를 제안한다. labeled meta-dataset을 사용하여, MetaEns는 후보 모델을 부분적으로 구성된 ensemble에 추가할 때 기대되는 향상을 추정하는 marginal ensemble gain을 예측하는 model을 학습한다. test time에는 이 학습된 신호를 diversity-aware discounting과 family-level risk regularization을 통해 diminishing returns를 강제하는 submodular-inspired proxy objective와 결합하여, 적응적 early stopping이 가능한 greedy sequential selection을 가능하게 한다. 그 결과 MetaEns는 ground-truth label에 접근하지 않고도 작고 품질 높은 ensemble을 구성한다. 39개의 실제 데이터셋에서 수행한 실험은 MetaEns가 최첨단 비지도 selector와 ensemble baseline을 일관되게 능가하며, 더 적은 model을 사용하면서도 더 높은 average precision을 달성함을 보여준다.
"},{"id":"63767","en":"Beyond Distribution Estimation: Simplex Anchored Structural Inference Towards Universal Semi-supervised Learning","ko":"분포 추정을 넘어서: 보편적 Semi-supervised Learning을 향한 Simplex Anchored Structural Inference","authors":"Yaxin Hou, Jun Ma, Hanyang Li, Bo Han, Jie Yu, Yuheng Jia","pos":"#4011","link":"https://openreview.net/forum?id=TwhC4mNuse","abs":"Semi-supervised learning (SSL) faces significant challenges in realistic scenarios where labeled data is extremely scarce and unlabeled data follows unknown, arbitrary distributions. We formalize this critical yet under-explored paradigm as Universal Semi-supervised Learning (UniSSL). Existing methods typically leverage unlabeled data via pseudo-labeling. However, they often rely on the idealized assumption of a uniform unlabeled data distribution or require sufficient labeled data to estimate it. In the UniSSL setting, such dependencies lead to numerous erroneous pseudo-labels, thereby triggering representation confusion. Fortunately, we observe that inter-sample relations captured by representations are more reliable than pseudo-labels. Leveraging this insight, we shift our focus to the representation-level structural inference to bypass distribution estimation. Accordingly, we propose Simplex Anchored Graph-state Equipartition (SAGE), which captures high-order inter-sample dependencies to establish structural consensus for guiding representation learning. Meanwhile, to mitigate representation confusion, we further employ vectors that satisfy a simplex equiangular tight frame to serve as a coordinate frame for guiding inter-class representation separation. Finally, we introduce a weighting strategy based on distribution-agnostic metrics to prioritize reliable pseudo-labels and an auxiliary branch to isolate potentially erroneous pseudo-labels. Extensive evaluations on five standard benchmarks demonstrate that SAGE consistently outperforms state-of-the-art methods, achieving an average accuracy improvement of 8.52\\%. Code is available in the supplementary material.
","absKo":"Semi-supervised learning (SSL)은 labeled data가 극도로 부족하고 unlabeled data가 알려지지 않은 임의의 분포를 따르는 현실적 상황에서 상당한 어려움에 직면한다. 우리는 이 중요하지만 아직 충분히 탐구되지 않은 패러다임을 Universal Semi-supervised Learning (UniSSL)로 정식화한다. 기존 방법은 보통 pseudo-labeling을 통해 unlabeled data를 활용한다. 그러나 이들은 대개 unlabeled data 분포가 균일하다는 이상화된 가정에 의존하거나, 이를 추정하기 위해 충분한 labeled data를 요구한다. UniSSL 설정에서는 이러한 의존성이 수많은 오류 pseudo-label을 유발하여 representation confusion을 초래한다. 다행히도, 우리는 representation이 포착하는 inter-sample relation이 pseudo-label보다 더 신뢰할 수 있음을 관찰한다. 이 통찰을 활용하여, 우리는 분포 추정을 우회하기 위해 representation-level structural inference에 초점을 전환한다. 이에 따라 우리는 Simplex Anchored Graph-state Equipartition (SAGE)를 제안하는데, 이는 고차 inter-sample dependency를 포착하여 representation learning을 안내할 structural consensus를 확립한다. 한편 representation confusion을 완화하기 위해, 우리는 simplex equiangular tight frame을 만족하는 vector를 class 간 representation 분리를 안내하는 coordinate frame으로 사용한다. 마지막으로, 분포-비의존적 metric에 기반한 weighting strategy를 도입하여 신뢰할 수 있는 pseudo-label을 우선시하고, 잠재적으로 오류가 있는 pseudo-label을 분리하는 auxiliary branch를 추가한다. 다섯 개의 표준 benchmark에서 수행한 광범위한 평가는 SAGE가 state-of-the-art 방법을 일관되게 능가하며 평균 정확도에서 8.52\\%의 향상을 달성함을 보여준다. 코드는 supplementary material에 제공된다.
"},{"id":"63996","en":"Beyond Global Alignment: Fine-Grained Motion-Language Retrieval via Pyramidal Shapley-Taylor Learning","ko":"전역 정렬을 넘어서: 피라미달 Shapley-Taylor 학습을 통한 세밀한 Motion-Language 검색","authors":"Hanmo Chen, Guangtao Lyu, Chenghao Xu, Jiexi Yan, Xu Yang, Cheng Deng","pos":"#4012","link":"https://openreview.net/forum?id=RuTNWE1wr7","abs":"As a foundational task in human-centric cross-modal intelligence, motion-language retrieval aims to bridge the semantic gap between natural language and human motion, enabling intuitive motion analysis, yet existing approaches predominantly focus on aligning entire motion sequences with global textual representations. This global-centric paradigm overlooks fine-grained interactions between local motion segments and individual body joints and text tokens, inevitably leading to suboptimal retrieval performance. To address this limitation, we draw inspiration from the pyramidal process of human motion perception (from joint dynamics to segment coherence, and finally to holistic comprehension) and propose a novel Pyramidal Shapley-Taylor (PST) learning framework for fine-grained motion-language retrieval. Specifically, the framework decomposes human motion into temporal segments and spatial body joints, and learns cross-modal correspondences through progressive joint-wise and segment-wise alignment in a pyramidal fashion, effectively capturing both local semantic details and hierarchical structural relationships. Extensive experiments on multiple public benchmark datasets demonstrate that our approach significantly outperforms state-of-the-art methods, achieving precise alignment between motion segments and body joints and their corresponding text tokens. The code of this work will be released upon acceptance.
","absKo":"human-centric cross-modal intelligence의 foundational task로서 motion-language retrieval은 자연어와 human motion 사이의 semantic gap을 좁혀 직관적인 motion analysis를 가능하게 하는 것을 목표로 하지만, 기존 접근법은 대체로 전체 motion sequence를 전역 textual representation과 정렬하는 데 집중한다. 이러한 global-centric paradigm은 local motion segment와 개별 body joint, text token 사이의 세밀한 상호작용을 간과하여 결국 최적에 못 미치는 retrieval 성능으로 이어진다. 이 한계를 해결하기 위해 우리는 human motion perception의 pyramidal process(joint dynamics에서 segment coherence를 거쳐 최종적으로 holisitic comprehension에 이르는 과정)에 영감을 받아, 세밀한 motion-language retrieval을 위한 새로운 Pyramidal Shapley-Taylor (PST) learning framework를 제안한다. 구체적으로 이 framework는 human motion을 temporal segment와 spatial body joint로 분해하고, pyramidal 방식의 progressive joint-wise 및 segment-wise alignment를 통해 cross-modal correspondence를 학습함으로써 local semantic detail과 hierarchical structural relationship을 모두 효과적으로 포착한다. 여러 공개 benchmark dataset에서 수행한 광범위한 실험은 우리의 접근법이 state-of-the-art method를 크게 능가하며, motion segment와 body joint 및 이에 대응하는 text token 사이의 정밀한 정렬을 달성함을 보여준다. 이 연구의 코드는 acceptance 후 공개될 예정이다.
"},{"id":"61400","en":"Collaborative Learning for Semi-Supervised LiDAR Semantic Segmentation","ko":"Semi-Supervised LiDAR Semantic Segmentation을 위한 Collaborative Learning","authors":"Bin Yang, Alexandru Paul Condurache","pos":"#4013","link":"https://openreview.net/forum?id=qeHq1NtpLt","abs":"Annotating large-scale LiDAR point clouds for 3D semantic segmentation is costly and time-consuming, which motivates the use of semi-supervised learning (SemiSL). Standard LiDAR SemiSL methods typically adopt a two-step training paradigm, where pseudo-labels are separately generated from a single distillation source, either from the same or an another LiDAR representation. Such supervision relies on a unique source of pseudo-labels, which can reinforce confirmation bias and propagate errors during training, ultimately limiting performance. To address this challenge, We introduce CoLLiS, a novel framework that leverages Collaborative Learning for LiDAR Semi-supervised segmentation. Unlike prior paradigms with decoupled pseudo-labeling and training phases, CoLLiS trains multiple representations collaboratively in a single step by treating them as coequal students. Each student is adaptively distilled from multiple representations, while inter-student disparities are monitored online to resolve contradictory supervision and effectively mitigate confirmation bias. Extensive experiments on three datasets demonstrate that CoLLiS consistently outperforms state-of-the-art LiDAR SemiSL methods, with particularly strong gains in low-label regimes. The code will be released upon acceptance.
","absKo":"대규모 LiDAR point cloud에 주석을 달아 3D semantic segmentation을 수행하는 일은 비용이 많이 들고 시간이 오래 걸리므로, semi-supervised learning (SemiSL)의 사용이 동기를 얻는다. 표준 LiDAR SemiSL 방법은 일반적으로 two-step training paradigm을 채택하며, pseudo-label은 동일한 LiDAR representation 또는 다른 LiDAR representation에서 가져온 단일 distillation source로부터 별도로 생성된다. 이러한 supervision은 pseudo-label의 단일 source에 의존하므로 confirmation bias를 강화하고 학습 중 오류를 전파하여 궁극적으로 성능을 제한할 수 있다. 이 문제를 해결하기 위해 우리는 LiDAR Semi-supervised segmentation을 위한 협업 학습 기반의 새로운 framework인 CoLLiS를 소개한다. 분리된 pseudo-labeling과 training phase를 갖는 기존 paradigm과 달리, CoLLiS는 여러 representation을 동등한 학생으로 간주하여 한 단계에서 협력적으로 학습한다. 각 student는 여러 representation으로부터 적응적으로 distill되며, student 간 차이는 온라인으로 모니터링되어 상충하는 supervision을 해소하고 confirmation bias를 효과적으로 완화한다. 3개 데이터셋에서의 광범위한 실험은 CoLLiS가 state-of-the-art LiDAR SemiSL 방법을 일관되게 능가하며, 특히 low-label regime에서 강력한 향상을 보임을 입증한다. 코드는 승인 후 공개될 예정이다.
"},{"id":"65290","en":"Dimensionality Reduction with Point-distributions Similarity Invariant","ko":"점 분포 유사도 불변량을 이용한 차원 축소","authors":"Hang Zhang, Kai Ming Ting","pos":"#4014","link":"https://openreview.net/forum?id=F4x80wtbBq","abs":"Existing dimensionality reduction methods all perform dimensionality reduction by preserving some invariant in the space before and after dimensionality reduction. This paper proposes a new dimensionality reduction invariant: preserving the invariant of the point-distributions similarity. We also design a linear and efficient method to achieve dimensionality reduction while preserving this invariant. We theoretically prove the feasibility of our method for dimensionality reduction. Furthermore, our results on benchmark datasets and single-cell expression data demonstrate the effectiveness and efficiency of the proposed method.
","absKo":"기존의 dimensionality reduction 방법은 모두 차원 축소 전후 공간에서 어떤 invariant를 보존함으로써 dimensionality reduction을 수행한다. 본 논문은 새로운 dimensionality reduction invariant, 즉 point-distribution similarity의 invariant를 보존하는 방법을 제안한다. 또한 이 invariant를 보존하면서 dimensionality reduction을 달성하는 linear하고 efficient한 방법을 설계한다. 우리는 이론적으로 이 방법의 dimensionality reduction 가능성을 증명한다. 더 나아가 benchmark dataset과 single-cell expression data에서의 결과는 제안 방법의 효과성과 효율성을 입증한다.
"},{"id":"66442","en":"Learning to Label: A Reinforced Self-Evolving Framework for Semi-supervised Referring Expression Segmentation","ko":"레이블링 학습: 준지도 지시 표현 분할을 위한 강화된 자기 진화 프레임워크","authors":"Runlong Cao, Ying Zang, Chuanwei Zhou, Tianrun Chen, Tong Zhang, Zhen Cui, Chunyan Xu","pos":"#4612","link":"https://openreview.net/forum?id=3gf0MK7LTk","abs":"Semi-supervised referring expression segmentation (SS-RES) aims to achieve precise pixel-level language grounding under limited annotation, yet suffers from limited supervision and unreliable pseudo-labels when exploiting unlabeled image–text pairs. In this work, we propose Learning to Label, a reinforced self-evolving framework (L2L) that casts pseudo-label construction as a learnable decision-making process. To build foundational understanding, we leverage a multimodal large language model to extract semantic–spatial priors, which are instantiated as initial soft segmentation proposals and elevated—together with textual cues—into learnable guidance signals that condition a hierarchical segmentation network. To ensure stable learning, a reinforced pseudo-label selection is further formulated as an exploratory decision process that adaptively rewards high-utility pixel-level supervision based on multimodal priors and model predictions. This reinforced self-evolving loop enables joint optimization of the segmentation model and pseudo-labels, progressively enhancing label reliability under sparse supervision. Extensive experiments on RefCOCO, RefCOCO+, and RefCOCOg datasets demonstrate improvements over existing methods, validating its effectiveness and generalization.
","absKo":"Semi-supervised referring expression segmentation(SS-RES)은 제한된 annotation 하에서 정밀한 pixel-level language grounding을 달성하는 것을 목표로 하지만, unlabeled image–text pair를 활용할 때 제한적인 supervision과 신뢰할 수 없는 pseudo-label 문제를 겪는다. 본 연구에서는 pseudo-label 구성을 학습 가능한 decision-making process로 간주하는 reinforced self-evolving framework(L2L)인 Learning to Label을 제안한다. 기초적인 이해를 구축하기 위해, 우리는 multimodal large language model을 활용하여 semantic–spatial prior를 추출하고, 이를 초기 soft segmentation proposal로 구체화한 뒤, 텍스트 cue와 함께 hierarchical segmentation network의 조건을 형성하는 학습 가능한 guidance signal로 승격한다. 안정적인 학습을 보장하기 위해, reinforced pseudo-label selection을 multimodal prior와 model prediction에 기반하여 고가치 pixel-level supervision에 적응적으로 보상을 부여하는 탐색적 decision process로 추가 정식화한다. 이 reinforced self-evolving loop는 segmentation model과 pseudo-label의 joint optimization을 가능하게 하여, sparse supervision 하에서 label 신뢰성을 점진적으로 향상시킨다. RefCOCO, RefCOCO+, RefCOCOg 데이터셋에서의 광범위한 실험은 기존 방법들보다 향상된 성능을 보여주며, 그 효과성과 일반화 능력을 검증한다.
"},{"id":"64748","en":"Delayed Momentum Aggregation: Communication-efficient Byzantine-robust Federated Learning with Partial Participation","ko":"Delayed Momentum Aggregation: 부분 참여를 활용한 통신 효율적 Byzantine-robust Federated Learning","authors":"Kaoru Otsuka, Yuki Takezawa, Makoto Yamada","pos":"#4602","link":"https://openreview.net/forum?id=KG4CjK6j8Y","abs":"Partial participation is essential for communication-efficient federated learning at scale, yet existing Byzantine-robust methods typically assume full client participation. In the partial participation setting, a majority of the sampled clients may be Byzantine, once Byzantine clients dominate, existing methods break down immediately. We introduce delayed momentum aggregation, a principle where the central server aggregates cached momentum from non-sampled clients along with fresh momentum from sampled clients. This principle ensures Byzantine clients remain a minority from the server's perspective even when they dominate the sampled set. We instantiate this principle in our optimizer DeMoA. We analyze the convergence rate of DeMoA, showing that DeMoA is Byzantine-robust under partial participation. Experiments show that, with 20% Byzantine ratio and only 10% partial participation rate, DeMoA achieves the best accuracy even when existing methods fail empirically.
","absKo":"부분 참여(partial participation)는 대규모 communication-efficient federated learning에 필수적이지만, 기존 Byzantine-robust 방법들은 대개 full client participation을 가정한다. partial participation 설정에서는 샘플된 client의 과반수가 Byzantine일 수 있으며, Byzantine client가 지배하게 되면 기존 방법은 즉시 무너진다. 우리는 delayed momentum aggregation을 제안하는데, 이는 central server가 샘플되지 않은 client의 cached momentum과 샘플된 client의 fresh momentum을 함께 집계하는 원리이다. 이 원리는 샘플된 집합에서는 Byzantine client가 다수일지라도, 서버 관점에서는 이들이 소수로 남도록 보장한다. 우리는 이 원리를 optimizer DeMoA에 구현한다. DeMoA의 convergence rate를 분석하여, DeMoA가 partial participation 하에서도 Byzantine-robust함을 보인다. 실험 결과, Byzantine 비율이 20%이고 partial participation rate가 10%에 불과한 경우에도, DeMoA는 기존 방법들이 경험적으로 실패하는 상황에서 최상의 accuracy를 달성한다.
"},{"id":"62279","en":"Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning","ko":"대규모 Evolution Strategies: 강화학습을 넘어선 LLM Fine-Tuning","authors":"Xin Qiu, Yulu Gan, Conor Hayes, Qiyao Liang, Yinggan XU, Roberto Dailey, Elliot Meyerson, Babak Hodjat, Risto Miikkulainen","pos":"#2204","link":"https://openreview.net/forum?id=i0P4ew9GpS","abs":"Fine-tuning large language models (LLMs) for downstream tasks is an essential stage of modern AI deployment. Reinforcement learning (RL) has emerged as the dominant fine-tuning paradigm, underpinning many state-of-the-art LLMs. In contrast, evolution strategies (ES) has largely been overlooked due to the widespread belief that it does not scale to modern model sizes. This paper overturns this assumption by demonstrating the first successful application of ES to full-parameter fine-tuning of LLMs at the billion-parameter scale, without dimensionality reduction. ES can indeed search over extremely high-dimensional parameter spaces and outperform established RL implementations across multiple axes, including improved tolerance to long-horizon and delayed rewards, robustness across diverse base LLMs, reduced susceptibility to reward hacking, and improved training stability. These findings suggest that ES is not merely a viable alternative to RL, but a fundamentally different and powerful backpropagation-free post-training paradigm that opens a new direction for LLM fine-tuning beyond current RL-based approaches.
","absKo":"하위 작업을 위해 large language model (LLM)을 fine-tuning하는 것은 현대 AI 배포의 필수 단계입니다. Reinforcement learning (RL)은 지배적인 fine-tuning 패러다임으로 부상하여 많은 state-of-the-art LLM의 기반이 되고 있습니다. 반면 evolution strategies (ES)는 현대 모델 규모로는 확장되지 않는다는 널리 퍼진 믿음 때문에 대체로 주목받지 못했습니다. 본 논문은 dimensionality reduction 없이 billion-parameter 규모의 LLM에 대해 full-parameter fine-tuning에 ES를 처음으로 성공적으로 적용함으로써 이러한 가정을 뒤집습니다. ES는 실제로 극도로 고차원의 parameter space를 탐색할 수 있으며, long-horizon 및 delayed reward에 대한 더 나은 내성, 다양한 base LLM에 걸친 강건성, reward hacking에 대한 낮은 취약성, 개선된 training stability를 포함한 여러 축에서 확립된 RL 구현을 능가합니다. 이러한 결과는 ES가 RL의 실행 가능한 대안일 뿐 아니라, backpropagation이 없는 본질적으로 다른 강력한 post-training 패러다임으로서 현재의 RL 기반 접근을 넘어서는 LLM fine-tuning의 새로운 방향을 연다는 점을 시사합니다.
"},{"id":"62256","en":"Solving the Offline and Online Min-Max Problem of Non-smooth Submodular-Concave Functions: A Zeroth-Order Approach","ko":"비부드러운 Submodular-Concave 함수의 Offline 및 Online Min-Max 문제 해결: Zeroth-Order 접근법","authors":"Amir Ali Farzin, Yuen-Man Pun, Philipp Braun, Tyler Summers, Iman Shames","pos":"#3600","link":"https://openreview.net/forum?id=iHSnH96rKH","abs":"We consider max-min and min-max problems with objective functions that are possibly non-smooth, submodular with respect to the minimiser and concave with respect to the maximiser. We investigate the performance of a zeroth-order method applied to this problem. The method is based on the subgradient of the Lovász extension of the objective function with respect to the minimiser and based on Gaussian smoothing to estimate the smoothed function gradient with respect to the maximiser. In expectation sense, we prove the convergence of the algorithm to an $\\epsilon$-saddle point in the offline case. Moreover, we show that, in the expectation sense, in the online setting, the algorithm achieves $O(\\sqrt{N\\bar{P}_N})$ online duality gap, where $N$ is the number of iterations and $\\bar{P}_N$ is the path length of the sequence of optimal decisions. The complexity analysis and hyperparameter selection are presented for all the cases. The theoretical results are illustrated via numerical examples.","absKo":"우리는 목표 함수가 비매끄러울 수 있고, minimizer에 대해서는 submodular하며 maximizer에 대해서는 concave한 max-min 및 min-max 문제를 고려한다. 우리는 이 문제에 적용된 zeroth-order method의 성능을 조사한다. 이 방법은 minimizer에 대한 objective function의 Lovász extension의 subgradient와, maximizer에 대한 smoothed function gradient를 추정하기 위한 Gaussian smoothing을 기반으로 한다. 기대값 관점에서, 우리는 offline case에서 알고리즘이 $\\epsilon$-saddle point로 수렴함을 증명한다. 또한 기대값 관점에서, online setting에서 알고리즘이 $O(\\sqrt{N\\bar{P}_N})$의 online duality gap을 달성함을 보이는데, 여기서 $N$은 iteration 수이고 $\\bar{P}_N$은 optimal decision sequence의 path length이다. 모든 경우에 대한 complexity analysis와 hyperparameter selection도 제시한다. 이론적 결과는 수치 예제를 통해 입증된다."},{"id":"64279","en":"Taking the GP Out of the Loop","ko":"루프에서 GP 빼내기","authors":"David Sweet, Siddhant Jadhav, Mehul Bafna","pos":"#3601","link":"https://openreview.net/forum?id=PBpGnHRU2O","abs":"Bayesian optimization (BO) has traditionally solved black-box problems where function evaluation is expensive and, therefore, observations are few. Recently, however, there has been growing interest in applying BO to problems where function evaluation is cheaper and observations are more plentiful. In this regime, scaling to many observations $N$ is impeded by Gaussian-process (GP) surrogates: GP hyperparameter fitting scales as $\\mathcal{O}(N^3)$ (reduced to roughly $\\mathcal{O}(N^2)$ in modern implementations), and it is repeated at every BO iteration. Many methods improve scaling at acquisition time, but hyperparameter fitting still scales poorly, making it the bottleneck. We propose Epistemic Nearest Neighbors (ENN), a lightweight alternative to GPs that estimates function values and uncertainty (epistemic and aleatoric) from $K$-nearest-neighbor observations. ENN scales as $\\mathcal{O}(N)$ for both fitting and acquisition. Our BO method, TuRBO-ENN, replaces the GP surrogate in TuRBO with ENN and its Thompson-sampling acquisition with $\\mathrm{UCB} = \\mu(x) + \\sigma(x)$. For the special case of noise-free problems, we can omit fitting altogether by replacing $\\mathrm{UCB}$ with a non-dominated sort over $\\mu(x)$ and $\\sigma(x)$. We show empirically that TuRBO-ENN reduces proposal time (i.e., fitting time + acquisition time) by one to two orders of magnitude compared to TuRBO at up to 50,000 observations.","absKo":"Bayesian optimization(BO)은 전통적으로 function evaluation이 비싸고 따라서 observation이 적은 black-box problem을 해결해 왔다. 그러나 최근에는 function evaluation이 더 저렴하고 observation이 더 풍부한 문제에 BO를 적용하려는 관심이 커지고 있다. 이 regime에서는 Gaussian-process(GP) surrogate가 많은 observation $N$으로의 확장을 저해한다. GP hyperparameter fitting은 $\\mathcal{O}(N^3)$으로 스케일하며(현대 구현에서는 대략 $\\mathcal{O}(N^2)$로 줄어든다), BO의 매 iteration마다 반복된다. 많은 방법이 acquisition time의 확장을 개선하지만, hyperparameter fitting은 여전히 성능이 좋지 않아 병목이 된다. 우리는 GP의 경량 대안인 Epistemic Nearest Neighbors(ENN)를 제안한다. ENN은 $K$-nearest-neighbor observation으로부터 function value와 uncertainty(epistemic 및 aleatoric)를 추정한다. ENN은 fitting과 acquisition 모두에서 $\\mathcal{O}(N)$으로 스케일한다. 우리의 BO 방법인 TuRBO-ENN은 TuRBO의 GP surrogate를 ENN으로, Thompson-sampling acquisition을 $\\mathrm{UCB} = \\mu(x) + \\sigma(x)$로 대체한다. noise-free problem의 특수한 경우에는 $\\mathrm{UCB}$를 $\\mu(x)$와 $\\sigma(x)$에 대한 non-dominated sort로 바꿔 fitting을 아예 생략할 수 있다. 실험적으로 TuRBO-ENN이 최대 50,000개의 observation에서 TuRBO에 비해 proposal time(즉, fitting time + acquisition time)을 한두 자릿수 배수(order of magnitude) 줄인다는 것을 보인다."},{"id":"60849","en":"Zeroth-Order Forward-Only SNN Training Inspiring Neuromorphic On-Chip Learning","ko":"Neuromorphic On-Chip Learning에 영감을 주는 Zeroth-Order Forward-Only SNN 학습","authors":"Mingyue Qin, Shuyu Yin, Qinghai Guo, Xiaolin Huang, Peilin Liu, Fei Wen","pos":"#3603","link":"https://openreview.net/forum?id=w65t2ZDF3A","abs":"The human brain is a biologically instantiated on-device neural system that integrates both learning and inference in a unified architecture, which enables rapid and flexible learning on-the-fly. This extraordinary capability is achieved through non-BP learning mechanisms, whereas BP is computationally and memory intensive that unsuitable for on-chip edge learning. Zeroth-order (ZO) optimization methods, which resemble biologically plausible perturbation-based learning, offer a promising alternative that enables learning with only forward passes and hence can significantly reduce the complexity of on-chip hardware implementation. However, in this work we show that applying ZO methods to spiking neural networks (SNNs) is non-trivial due to the step-function nature of spiking activation. We analyze the challenges posed by the spiking activation, and reveal a variance amplification effect of it. Based on this insight, we propose a subspace-based ZO (SZO) method that leverages the intrinsic low-dimensional structure of the SNN optimization trajectory. By learning in a low-dimensional subspace, SZO substantially enhances ZO learning efficacy, achieving accuracy comparable to first-order (FO) methods with faster learning speed than full-space BP. We evaluate SZO on model training from scratch, continual training, and unsupervised adaptation. Experimental results demonstrate that SZO closely approaches FO training performance for the first time while offering fast learning speed.
","absKo":"인간 뇌는 생물학적으로 구현된 on-device neural system으로, 학습과 추론을 통합된 architecture 안에서 결합하며, 이를 통해 빠르고 유연한 on-the-fly 학습을 가능하게 한다. 이 놀라운 능력은 non-BP learning mechanism을 통해 달성되는데, 반면 BP는 계산 및 메모리 비용이 커서 chip 상의 edge learning에는 부적합하다. 생물학적으로 plausibility가 있는 perturbation-based learning과 유사한 zeroth-order (ZO) optimization method는 forward pass만으로 학습을 가능하게 하므로, on-chip hardware 구현의 복잡도를 크게 낮출 수 있는 유망한 대안이다. 그러나 본 연구에서는 ZO method를 spiking neural network (SNN)에 적용하는 것이 spike activation의 step-function 특성 때문에 비자명함을 보인다. 우리는 spiking activation이 야기하는 도전 과제를 분석하고, 그에 따른 variance amplification effect를 밝혀낸다. 이러한 통찰을 바탕으로, SNN optimization trajectory의 intrinsic low-dimensional structure를 활용하는 subspace-based ZO (SZO) method를 제안한다. 저차원 subspace에서 학습함으로써 SZO는 ZO 학습 효율을 크게 향상시키며, full-space BP보다 더 빠른 학습 속도로 first-order (FO) method에 필적하는 정확도를 달성한다. 우리는 SZO를 from scratch model training, continual training, unsupervised adaptation에 대해 평가한다. 실험 결과는 SZO가 처음으로 FO training 성능에 근접하면서도 빠른 학습 속도를 제공함을 보여준다.
"},{"id":"61252","en":"Zeroth-Order Optimization at the Edge of Stability","ko":"안정성 경계에서의 Zeroth-Order Optimization","authors":"Minhak Song, Liang Zhang, Bingcong Li, Niao He, Michael Muehlebach, Sewoong Oh","pos":"#3604","link":"https://openreview.net/forum?id=s87tQaKAER","abs":"Zeroth-order (ZO) methods are widely used when gradients are unavailable or prohibitively expensive, including black-box learning and memory-efficient fine-tuning of large models, yet their optimization dynamics in deep learning remain underexplored. In this work, we provide an explicit step size condition that exactly captures the (mean-square) linear stability of a family of ZO methods based on the standard two-point estimator. Our characterization reveals a sharp contrast with first-order (FO) methods: whereas FO stability is governed solely by the largest Hessian eigenvalue, mean-square stability of ZO methods depends on the entire Hessian spectrum. Since computing the full Hessian spectrum is infeasible in practical neural network training, we further derive tractable stability bounds that depend only on the largest eigenvalue and the Hessian trace. Empirically, we find that full-batch ZO methods operate at the edge of stability: ZO-GD, ZO-GDM, and ZO-Adam consistently stabilize near the predicted stability boundary across CNNs, ResNets, and Transformers on vision tasks. Our results highlight an implicit regularization effect specific to ZO methods, where large step sizes primarily regularize the Hessian trace, whereas in FO methods they regularize the top eigenvalue.
","absKo":"gradient를 사용할 수 없거나 계산 비용이 지나치게 큰 경우, 예를 들어 black-box learning과 대규모 model의 memory-efficient fine-tuning에서 zeroth-order (ZO) method가 널리 사용되지만, deep learning에서의 optimization dynamics는 아직 충분히 탐구되지 않았다. 본 연구에서는 표준 two-point estimator에 기반한 ZO method family의 (mean-square) linear stability를 정확히 포착하는 explicit step size condition을 제시한다. 우리의 특성화는 first-order (FO) method와의 뚜렷한 대비를 드러낸다. FO stability가 오직 가장 큰 Hessian eigenvalue에 의해 결정되는 반면, ZO method의 mean-square stability는 Hessian spectrum 전체에 의존한다. 실제 neural network training에서 전체 Hessian spectrum을 계산하는 것은 불가능하므로, 우리는 가장 큰 eigenvalue와 Hessian trace에만 의존하는 tractable한 stability bound도 추가로 유도한다. 실험적으로, full-batch ZO method가 stability의 경계에서 작동함을 발견했다. ZO-GD, ZO-GDM, ZO-Adam은 vision task에서 CNN, ResNet, Transformer 전반에 걸쳐 예측된 stability boundary 부근에서 일관되게 안정화된다. 우리의 결과는 ZO method에 고유한 implicit regularization 효과를 강조하는데, 큰 step size는 주로 Hessian trace를 regularize하는 반면, FO method에서는 top eigenvalue를 regularize한다.
"},{"id":"60511","en":"LILO: Bayesian Optimization with Natural Language Feedback","ko":"LILO: Natural Language Feedback을 활용한 Bayesian Optimization","authors":"Katarzyna Kobalczyk, Zhiyuan Jerry Lin, Benjamin Letham, Zhuokai Zhao, Maximilian Balandat, Eytan Bakshy","pos":"#3612","link":"https://openreview.net/forum?id=zVrbE9ZtEU","abs":"Many real-world optimization problems are guided by complex, subjective preferences that are difficult to express as explicit closed-form objectives. In response, we introduce Language-in-the-Loop Optimization (LILO), a Bayesian optimization (BO) framework that employs a large language model (LLM) to translate free-form natural language feedback and prior knowledge from a decision maker into structured preference signals, going beyond the restrictive scalar or pairwise feedback formats typically assumed in preferential BO. The LLM-derived preferences are integrated by a Gaussian process proxy model, enabling principled acquisition-driven exploration with calibrated uncertainty. By placing the LLM in a supporting role rather than as the optimizer itself, LILO preserves the sample efficiency and stability of BO while providing a flexible and expressive feedback interface. Across synthetic and real-world benchmarks, LILO consistently outperforms both conventional preference-based BO methods and LLM-only optimizers, with particularly strong gains in feedback-limited regimes.
","absKo":"실세계의 많은 최적화 문제는 명시적인 닫힌형 목표로 표현하기 어려운 복잡하고 주관적인 선호에 의해 좌우된다. 이에 우리는 Language-in-the-Loop Optimization (LILO)을 제안한다. 이는 Bayesian optimization (BO) 프레임워크로, large language model (LLM)을 사용해 의사결정자의 자유형 자연어 피드백과 사전 지식을 구조화된 선호 신호로 변환하며, preferential BO에서 일반적으로 가정하는 제한적인 scalar 또는 pairwise 피드백 형식을 넘어선다. LLM으로부터 도출된 선호는 Gaussian process proxy model에 통합되어, 보정된 불확실성을 바탕으로 한 원리적 acquisition-driven exploration을 가능하게 한다. LLM을 최적화기 자체가 아니라 보조 역할로 두어, LILO는 BO의 sample efficiency와 안정성을 유지하면서도 유연하고 표현력 있는 피드백 인터페이스를 제공한다. synthetic 및 real-world benchmark 전반에서 LILO는 기존의 preference-based BO 방법과 LLM-only optimizer를 일관되게 능가했으며, 특히 피드백이 제한된 환경에서 큰 향상을 보였다.
"},{"id":"65215","en":"Romberg-Extrapolated Zeroth-Order Gradient Estimator: Higher-Order Bias Reduction with Preserved Leading Directional Variance","ko":"Romberg 외삽 영차 그래디언트 추정기: 주요 방향 분산을 보존한 고차 편향 감소","authors":"Hongcheng Dong, Wenqiang Pu, Licheng Zhao, Rui Zhou, Feng Yin","pos":"#3700","link":"https://openreview.net/forum?id=FiuJVpxuSX","abs":"Zeroth-order optimization is widely used when gradients are unavailable, but the standard two-point estimator suffers from $\\mathcal{O}(r^2)$ truncation bias at smoothing radius $r$. Existing bias-reduction schemes typically increase the leading directional variance under a fixed number of function evaluations per gradient estimate, while variance-reduction schemes generally do not improve the bias order. We propose Romberg-ZOGE, which forms a Romberg-extrapolated linear combination of two-point differences evaluated at radii $\\{r/2^k\\}_{k=0}^R$ while reusing the same perturbation direction across all radii. With appropriately chosen weights, Romberg-ZOGE cancels the first $R$ even-order truncation terms and achieves $\\mathcal{O}(r^{2R+2})$ bias under $(2R{+}2)$-order smoothness, while preserving the leading directional variance constant of the two-point estimator up to higher-order residual terms. We further characterize the stochastic-oracle setting by deriving an explicit noise-amplification factor and corresponding bias and variance bounds. Experiments on synthetic benchmarks, simulator-based wireless optimization, and black-box prompt tuning of OPT-1.3B demonstrate faster and more stable zeroth-order SGD when the number of function evaluations per gradient estimate is fixed.","absKo":"Zeroth-order optimization은 gradient를 사용할 수 없을 때 널리 쓰이지만, 표준 two-point estimator는 smoothing radius $r$에서 $\\mathcal{O}(r^2)$ truncation bias를 가진다. 기존의 bias-reduction scheme은 보통 gradient 추정당 function evaluation 수가 고정된 상황에서 leading directional variance를 증가시키고, variance-reduction scheme은 일반적으로 bias order를 개선하지 못한다. 우리는 동일한 perturbation direction을 모든 radius에서 재사용하면서, radius $\\{r/2^k\\}_{k=0}^R$에서 평가한 two-point difference의 Romberg-extrapolated linear combination을 구성하는 Romberg-ZOGE를 제안한다. 적절히 선택한 weight를 사용하면 Romberg-ZOGE는 처음 $R$개의 even-order truncation term을 상쇄하고 $(2R{+}2)$-order smoothness 하에서 $\\mathcal{O}(r^{2R+2})$ bias를 달성하면서도, higher-order residual term까지 고려했을 때 two-point estimator의 leading directional variance constant를 보존한다. 우리는 또한 stochastic-oracle setting을 특성화하기 위해 명시적인 noise-amplification factor와 그에 대응하는 bias 및 variance bound를 유도한다. synthetic benchmark, simulator-based wireless optimization, 그리고 OPT-1.3B의 black-box prompt tuning 실험은 gradient 추정당 function evaluation 수가 고정될 때 더 빠르고 안정적인 zeroth-order SGD를 보여준다."},{"id":"61753","en":"Revisiting Zeroth-Order Hessian Approximation: A Single-Step Policy Optimization Lens","ko":"Zeroth-Order Hessian Approximation 재고찰: Single-Step Policy Optimization 관점","authors":"Junbin Qiu, Zhaowei Hong, Renzhe Xu, Yao Shu","pos":"#3701","link":"https://openreview.net/forum?id=nEQYu4ndGA","abs":"Accurate Zeroth-Order (ZO) Hessian estimation is a cornerstone of derivative-free methods, essential for tasks such as bilevel optimization, Bayesian inference, and uncertainty quantification. However, obtaining a complete suite of low-variance estimators for the Hessian and its inverse in high-dimensional settings remains a significant challenge. To address this, we propose a unified framework that reinterprets ZO Hessian approximation through the lens of single-step Policy Optimization (PO). This perspective establishes a theoretical equivalence between general ZO Hessian estimators and the Hessian of a smoothed PO objective, unifying distinct classical randomized estimators as specific instances of baseline selection. Building on this foundation, we introduce ZoVH, a comprehensive suite of variance-reduced estimators for the full Hessian matrix, its regularized inverse, and the bias-corrected inverse Hessian-gradient product. ZoVH leverages two key techniques: (1) a unique optimal baseline derived to provably minimize variance, and (2) a query reuse strategy that incorporates historical function queries to enhance sample efficiency without inflating costs. Our rigorous theoretical analysis confirms the unbiasedness of the Hessian estimator, validates the variance optimality of our baseline, provides error bounds for the entire ZoVH suite, and establishes convergence guarantees for the resulting curvature-aware ZO algorithm. Extensive empirical results validate our theoretical findings, demonstrating that ZoVH achieves superior estimation accuracy and convergence performance in real-world applications.
","absKo":"정확한 Zeroth-Order(ZO) Hessian estimation은 derivative-free method의 초석으로, bilevel optimization, Bayesian inference, uncertainty quantification과 같은 작업에 필수적이다. 그러나 고차원 설정에서 Hessian과 그 역행렬에 대한 저분산 estimator의 완전한 집합을 얻는 것은 여전히 큰 도전이다. 이를 해결하기 위해, 우리는 ZO Hessian approximation을 single-step Policy Optimization(PO)의 관점에서 재해석하는 통합 프레임워크를 제안한다. 이 관점은 일반적인 ZO Hessian estimator와 smoothing된 PO objective의 Hessian 사이의 이론적 등가성을 확립하며, 서로 다른 고전적 randomized estimator들을 baseline selection의 특수 사례로 통합한다. 이러한 기반 위에서, 우리는 전체 Hessian matrix, 정규화된 역행렬, 그리고 bias-corrected inverse Hessian-gradient product를 위한 variance-reduced estimator의 포괄적 집합인 ZoVH를 소개한다. ZoVH는 두 가지 핵심 기법을 활용한다: (1) 분산을 provably 최소화하도록 도출된 고유한 optimal baseline, (2) 비용을 증가시키지 않으면서 sample efficiency를 높이기 위해 과거 function query를 통합하는 query reuse 전략. 우리의 엄밀한 이론 분석은 Hessian estimator의 unbiasedness를 확인하고, baseline의 variance optimality를 검증하며, ZoVH 전체에 대한 error bound를 제공하고, 결과로 얻어지는 curvature-aware ZO algorithm의 convergence guarantee를 확립한다. 광범위한 실험 결과는 이러한 이론적 발견을 검증하며, ZoVH가 실제 응용에서 우수한 estimation accuracy와 convergence performance를 달성함을 보여준다.
"},{"id":"62957","en":"Regime-Adaptive Bayesian Optimization via Dirichlet Process Mixtures of Gaussian Processes","ko":"Dirichlet Process Mixtures of Gaussian Processes를 통한 Regime-Adaptive Bayesian Optimization","authors":"Yan Zhang, Xuefeng Liu, Sipeng Chen, Sascha Ranftl, Chong Liu, Shibo Li","pos":"#3702","link":"https://openreview.net/forum?id=bSUMVAYoMq","abs":"Standard Bayesian Optimization (BO) assumes uniform smoothness across the search space—an assumption violated in multi-regime problems such as molecular conformation search through distinct energy basins or drug discovery across heterogeneous molecular scaffolds. A single GP either oversmooths sharp transitions or hallucinates noise in smooth regions, yielding miscalibrated uncertainty. We propose RAMBO, a Dirichlet Process Mixture of Gaussian Processes that automatically discovers latent regimes during optimization, each modeled by an independent GP with locally-optimized hyperparameters. We derive collapsed Gibbs sampling that analytically marginalizes latent functions for efficient inference, and introduce adaptive concentration parameter scheduling for coarse-to-fine regime discovery. Our acquisition functions decompose uncertainty into intra-regime and inter-regime components. Experiments on synthetic benchmarks and real-world applications—including molecular conformer optimization, virtual screening for drug discovery, and fusion reactor design—demonstrate consistent improvements over state-of-the-art baselines on multi-regime objectives.
","absKo":"표준 Bayesian Optimization (BO)은 탐색 공간 전반에 걸쳐 균일한 smoothness를 가정하는데, 이는 서로 다른 energy basin을 통한 molecular conformation search나 이질적인 molecular scaffold 전반의 drug discovery와 같은 multi-regime 문제에서는 성립하지 않는다. 단일 GP는 급격한 전이를 지나치게 smooth하게 만들거나, smooth한 구간에서는 noise를 환각적으로 만들어 uncertainty calibration을 잘못하게 된다. 우리는 최적화 중 latent regime을 자동으로 발견하는 Dirichlet Process Mixture of Gaussian Processes인 RAMBO를 제안하며, 각 regime은 locally-optimized hyperparameter를 갖는 독립적인 GP로 모델링된다. 우리는 latent function을 해석적으로 marginalize하여 효율적인 inference를 가능하게 하는 collapsed Gibbs sampling을 유도하고, coarse-to-fine regime discovery를 위한 adaptive concentration parameter scheduling을 도입한다. 우리의 acquisition function은 uncertainty를 intra-regime component와 inter-regime component로 분해한다. synthetic benchmark와 molecular conformer optimization, drug discovery를 위한 virtual screening, fusion reactor design을 포함한 실제 응용 실험은 multi-regime objective에서 state-of-the-art baseline 대비 일관된 향상을 보여준다.
"},{"id":"68701","en":"PyPop7: A Pure-Python Library for Population-Based Black-Box Optimization","ko":"PyPop7: 집단 기반 Black-Box 최적화를 위한 순수 Python 라이브러리","authors":"Qiqi Duan, Guochen Zhou, Chang Shao, Zhuowei Wang, Mingyang Feng, Yuwei Huang, Yajing Tan, Yijun Yang, Qi Zhao, Yuhui Shi","pos":"#3703","abs":"In this paper, we present an open-source pure-Python library called PyPop7 for black-box optimization (BBO). As population-based methods (e.g., evolutionary algorithms, swarm intelligence, and pattern search) become increasingly popular for BBO, the design goal of PyPop7 is to provide a unified API and elegant implementations for them, particularly in challenging high-dimensional scenarios. Since these population-based methods easily suffer from the notorious curse of dimensionality owing to random sampling as one of core operations for most of them, recently various improvements and enhancements have been proposed to alleviate this issue more or less mainly via exploiting possible problem structures: such as, decomposition of search distribution or space, low-memory approximation, low-rank metric learning, variance reduction, ensemble of random subspaces, model self-adaptation, and fitness smoothing. These novel sampling strategies could better exploit different problem structures in high-dimensional search space and therefore they often result in faster rates of convergence and/or better qualities of solution for large-scale BBO. Now PyPop7 has covered many of these important advances on a set of well-established BBO algorithm families and also provided an open-access interface to adding the latest or missed black-box optimizers for further functionality extensions. Its well-designed source code (under GPL-3.0 license) and full-fledged online documents (under CC-BY 4.0 license) have been freely available at https://github.com/Evolutionary-Intelligence/pypop and https://pypop.readthedocs.io, respectively.
","absKo":"이 논문에서는 black-box optimization (BBO)을 위한 오픈소스 순수 Python 라이브러리 PyPop7을 소개한다. population-based method(예: evolutionary algorithm, swarm intelligence, pattern search)가 BBO에서 점점 더 널리 사용됨에 따라, PyPop7의 설계 목표는 특히 어려운 고차원 시나리오를 겨냥하여 이들에 대해 통합된 API와 우아한 구현을 제공하는 것이다. 이러한 population-based method들은 대부분의 핵심 연산 중 하나로 random sampling을 사용하기 때문에, 악명 높은 curse of dimensionality에 쉽게 시달린다. 이에 따라 최근에는 가능한 문제 구조를 활용하여 이 문제를 어느 정도 완화하기 위한 다양한 개선과 확장이 제안되었다. 예를 들면 search distribution 또는 space의 decomposition, low-memory approximation, low-rank metric learning, variance reduction, random subspace ensemble, model self-adaptation, fitness smoothing 등이 있다. 이러한 새로운 sampling strategy는 고차원 search space에서 서로 다른 문제 구조를 더 잘 활용할 수 있으며, 따라서 대규모 BBO에서 더 빠른 수렴 속도 및/또는 더 나은 해 품질로 이어지는 경우가 많다. 현재 PyPop7은 잘 확립된 여러 BBO algorithm family에 걸쳐 이러한 중요한 발전들 다수를 지원하며, 추가 기능 확장을 위해 최신 또는 누락된 black-box optimizer를 쉽게 추가할 수 있는 공개 인터페이스도 제공한다. 그 잘 설계된 source code(GPL-3.0 license)와 충실한 온라인 문서(CC-BY 4.0 license)는 각각 https://github.com/Evolutionary-Intelligence/pypop 및 https://pypop.readthedocs.io 에서 자유롭게 이용 가능하다.
"},{"id":"64043","en":"Probability of Matching for Batch Multi-Objective Bayesian Optimization","ko":"배치 다목적 베이지안 최적화를 위한 매칭 확률","authors":"Mingqian Li, Sina Zadeh, Raymundo Arroyave, Xiaoning Qian","pos":"#3704","link":"https://openreview.net/forum?id=RS1rsq6gmA","abs":"In batch multi-objective Bayesian optimization (MOBO), it is often desirable to identify the whole Pareto optimal set, especially when considering the complicated interplay between different design criteria and constraints. This poses unique challenges in acquiring batches of both high quality and diversity to cover the Pareto front. We propose a novel acquisition strategy, Probability of Matching (POM), which evaluates both batch candidate quality and diversity by explicitly capturing the likelihood that all batch points are Pareto optimal, and the probability that they collectively cover the full Pareto set. To estimate the coverage probability and promote diversity, we incorporate non-replacement sampling principles, resulting in our new POM-guided batch MOBO method. Across synthetic benchmarks and real-world tasks, our method consistently outperforms state-of-the-art baselines on standard MOBO metrics as well as a new design-space coverage metric, Expected Minimum Distance (EMD), with comparable computational efficiency.
","absKo":"batch multi-objective Bayesian optimization (MOBO)에서는, 특히 서로 다른 design criterion과 constraint의 복잡한 상호작용을 고려할 때, 전체 Pareto optimal set을 식별하는 것이 종종 바람직하다. 이는 Pareto front를 충분히 덮기 위해 높은 품질과 다양성을 모두 갖춘 batch를 확보하는 데 독특한 도전 과제를 제시한다. 우리는 batch candidate의 품질과 다양성을 모두 평가하는 새로운 acquisition strategy인 Probability of Matching (POM)을 제안한다. 이 방법은 모든 batch point가 Pareto optimal일 likelihood와, 이들이 collectively 전체 Pareto set을 덮을 probability를 명시적으로 포착한다. coverage probability를 추정하고 다양성을 촉진하기 위해, 우리는 non-replacement sampling 원리를 통합하여 새로운 POM-guided batch MOBO 방법을 구성한다. synthetic benchmark와 real-world task 전반에 걸쳐, 우리의 방법은 표준 MOBO metric뿐 아니라 새로운 design-space coverage metric인 Expected Minimum Distance (EMD)에서도 state-of-the-art baseline을 일관되게 능가하며, 계산 효율성은 비슷한 수준을 유지한다.
"},{"id":"67039","en":"Position: Zeroth-Order Optimization in Deep Learning Is Underexplored, Not Underpowered","ko":"Position: 딥러닝에서의 Zeroth-Order Optimization은 저평가된 것이 아니라 덜 탐구된 것이다","authors":"Sijia Liu, Yicheng Lang, Soumyadeep Pal, Changsheng Wang, Yancheng Huang, Chongyu Fan, James Diffenderfer, Bhavya Kailkhura, Yihua Zhang","pos":"#3705","link":"https://openreview.net/forum?id=zRub3IxmLx","abs":"Zeroth-order (ZO) optimization, learning from finite differences of function evaluations without backpropagation, has recently regained attention in deep learning due to its memory efficiency and applicability to gray- or black-box pipelines. Yet, ZO methods are often dismissed as fundamentally unscalable because of estimator variance and unfavorable query complexity. We argue that this conclusion might be misguided: ZO optimization is underexplored, not underpowered. We show that many perceived limitations stem from myopic development practices, most notably full-space, element-wise, estimator-centric designs. We articulate six positions spanning the algorithmic, systems, and evaluation stack. First, we revisit the feasibility boundaries of estimator-centric ZO methods through variance control, variance–query tradeoffs, and directional-derivative lenses. Then, we identify three underexplored opportunities: (i) subspace and spectral views of ZO that enable interpretable variance reduction with graceful query scaling, (ii) the forward-only nature of ZO as a systems advantage for communication-efficient, pipeline-friendly, and resource-constrained training, and (iii) the need to de-obfuscate ZO evaluations from task complexity. We strongly advocate rethinking ZO optimization around its unique strengths and acting accordingly, opening a viable path toward large-scale, system-aware, and resource-efficient learning with ZO optimization.
","absKo":"Backpropagation 없이 function evaluation의 finite difference로부터 학습하는 zeroth-order(ZO) optimization은, memory 효율성과 gray-box 또는 black-box pipeline에의 적용 가능성 덕분에 최근 deep learning에서 다시 주목받고 있다. 그러나 ZO 방법은 estimator variance와 불리한 query complexity 때문에 본질적으로 확장성이 떨어진다고 종종 평가절하된다. 우리는 이 결론이 잘못되었을 수 있다고 주장한다. ZO optimization은 power가 부족한 것이 아니라 충분히 탐구되지 않은 것이다. 많은 제약은 근시안적인 개발 관행, 특히 full-space, element-wise, estimator-centric 설계에서 비롯된다고 본다. 우리는 algorithmic, systems, evaluation stack 전반에 걸친 여섯 가지 관점을 제시한다. 먼저 variance control, variance-query tradeoff, directional derivative 관점에서 estimator-centric ZO method의 실현 가능성 경계를 재검토한다. 이어서 세 가지 충분히 탐구되지 않은 기회를 식별한다. (i) 해석 가능한 variance reduction과 완만한 query scaling을 가능하게 하는 ZO의 subspace 및 spectral 관점, (ii) communication-efficient, pipeline-friendly, resource-constrained training에 대한 시스템적 이점으로서의 ZO의 forward-only 특성, (iii) task complexity로부터 ZO evaluation을 탈가림(de-obfuscate)할 필요성이다. 우리는 ZO optimization의 고유한 강점을 중심으로 이를 재고하고 그에 맞게 행동할 것을 강하게 주장하며, 이를 통해 ZO optimization으로 대규모, 시스템 인식적, 자원 효율적 learning으로 가는 실현 가능한 경로를 연다.
"},{"id":"66691","en":"Optimal Classical and Quantum Algorithms for Gradient Testing and Estimation by Comparisons","ko":"비교를 통한 Gradient 테스트 및 추정을 위한 최적 고전 및 양자 알고리즘","authors":"Xiwen Tao, Chenyi Zhang, Helin Wang, Yexin Zhang, Tongyang Li","pos":"#3706","link":"https://openreview.net/forum?id=1JG0y5cOmK","abs":"We study gradient testing and gradient estimation of smooth functions using only a comparison oracle that, given two points, indicates which one has the larger function value. For any smooth $f\\colon\\mathbb R^n\\to\\mathbb R$, $\\mathbf{x}\\in\\mathbb R^n$, and $\\varepsilon>0$, we design a gradient testing algorithm that determines whether the normalized gradient $\\nabla f(\\mathbf{x})/||\\nabla f(\\mathbf{x})||$ is $\\varepsilon$-close or $2\\varepsilon$-far from a given unit vector $\\mathbf{v}$ using $O(n)$ queries, as well as a gradient estimation algorithm that outputs an $\\varepsilon$-estimate of $\\nabla f(\\mathbf{x})/||\\nabla f(\\mathbf{x})||$ using $O(n\\log(1/\\varepsilon))$ queries. We prove lower bounds establishing the optimality of both algorithms. Furthermore, we study these problems in the quantum comparison oracle model where queries can be made in superpositions, and develop quantum algorithms for gradient testing and gradient estimation using $O(1)$ and $O(\\log (n/\\varepsilon))$ queries, respectively.","absKo":"우리는 두 점이 주어지면 어느 쪽의 함수값이 더 큰지를 알려주는 comparison oracle만을 사용하여 smooth function의 gradient testing과 gradient estimation을 연구한다. 임의의 smooth $f\\colon\\mathbb R^n\\to\\mathbb R$, $\\mathbf{x}\\in\\mathbb R^n$, 그리고 $\\varepsilon>0$에 대해, 우리는 정규화된 gradient $\\nabla f(\\mathbf{x})/||\\nabla f(\\mathbf{x})||$가 주어진 단위 벡터 $\\mathbf{v}$로부터 $\\varepsilon$-가깝거나 $2\\varepsilon$-먼지를 $O(n)$ queries로 판별하는 gradient testing 알고리즘과, $\\nabla f(\\mathbf{x})/||\\nabla f(\\mathbf{x})||$의 $\\varepsilon$-estimate를 $O(n\\log(1/\\varepsilon))$ queries로 출력하는 gradient estimation 알고리즘을 설계한다. 또한 두 알고리즘의 optimality를 보이는 lower bound를 증명한다. 더 나아가, query를 superposition으로 보낼 수 있는 quantum comparison oracle model에서 이 문제들을 연구하고, 각각 $O(1)$ 및 $O(\\log (n/\\varepsilon))$ queries를 사용하는 quantum gradient testing 및 gradient estimation 알고리즘을 개발한다."},{"id":"62196","en":"Local Constrained Bayesian Optimization","ko":"지역 제약 Bayesian Optimization","authors":"Jingzhe Jing, Zheyi Fan, Szu Hui Ng, Qingpei Hu","pos":"#3707","link":"https://openreview.net/forum?id=iq8WrTozWy","abs":"Bayesian optimization (BO) for high-dimensional constrained problems remains a significant challenge due to the curse of dimensionality. We propose **L**ocal **C**onstrained **B**ayesian **O**ptimization (LCBO), a novel framework tailored for such settings. Unlike trust-region methods that are prone to premature shrinking when confronting tight or complex constraints, LCBO leverages the differentiable landscape of constraint-penalized surrogates to alternate between rapid local descent and uncertainty-driven exploration. Theoretically, we prove that LCBO achieves a convergence rate for the Karush-Kuhn-Tucker (KKT) residual that depends polynomially on the dimension $d$ for common kernels under mild assumptions, offering a rigorous alternative to global BO where regret bounds typically scale exponentially. Extensive evaluations on high-dimensional benchmarks (up to 100D) demonstrate that LCBO consistently outperforms state-of-the-art baselines.","absKo":"고차원 constrained problem에 대한 Bayesian optimization (BO)은 차원의 저주 때문에 여전히 큰 도전 과제로 남아 있다. 우리는 이러한 설정에 맞춘 새로운 framework인 **L**ocal **C**onstrained **B**ayesian **O**ptimization (LCBO)를 제안한다. LCBO는 제약이 빡빡하거나 복잡할 때 조기 축소에 취약한 trust-region method와 달리, constraint-penalized surrogate의 differentiable landscape를 활용하여 빠른 local descent와 uncertainty-driven exploration을 번갈아 수행한다. 이론적으로, 우리는 LCBO가 일반적인 kernel에 대해 완화된 가정 하에서 Karush-Kuhn-Tucker (KKT) residual에 대한 수렴률을 달성함을 증명하며, 그 수렴률은 차원 $d$에 대해 다항적으로 의존한다. 이는 regret bound가 대개 지수적으로 스케일하는 global BO에 대한 엄밀한 대안을 제공한다. 최대 100D의 고차원 benchmark에 대한 광범위한 평가에서 LCBO는 state-of-the-art baseline을 일관되게 능가한다."},{"id":"62471","en":"Iterated Population Based Training with Task-Agnostic Restarts","ko":"작업 비의존적 재시작을 포함한 Iterated Population Based Training","authors":"Alexander Chebykin, Tanja Alderliesten, Peter A.N Bosman","pos":"#3708","link":"https://openreview.net/forum?id=gKF5AQ91iv","abs":"Hyperparameter Optimization (HPO) can lift the burden of tuning hyperparameters (HPs) of neural networks. HPO algorithms from the Population Based Training (PBT) family are efficient thanks to dynamically adjusting HPs every few steps of the weight optimization. Recent results indicate that the number of steps between HP updates is an important meta-HP of all PBT variants that can substantially affect their performance. Yet, no method or intuition is available for efficiently setting its value. We introduce Iterated Population Based Training (IPBT), a novel PBT variant that automatically adjusts this HP via restarts that reuse weight information in a task-agnostic way and leverage time-varying Bayesian optimization to reinitialize HPs. Evaluation on 8 image classification and reinforcement learning tasks shows that, on average, our algorithm matches or outperforms 5 previous PBT variants and other HPO algorithms (random search, ASHA, SMAC3), without requiring a budget increase or any changes to its HPs.
","absKo":"Hyperparameter Optimization(HPO)은 neural network의 hyperparameter(HP) 튜닝 부담을 덜어줄 수 있다. Population Based Training(PBT) 계열의 HPO 알고리즘은 weight optimization의 몇 step마다 HP를 동적으로 조정하므로 효율적이다. 최근 결과는 HP 업데이트 사이의 step 수가 모든 PBT 변형의 중요한 meta-HP이며, 성능에 상당한 영향을 미칠 수 있음을 보여준다. 그러나 이 값을 효율적으로 설정하는 방법이나 직관은 아직 없다. 우리는 Iterated Population Based Training(IPBT)을 소개한다. 이는 task-agnostic한 방식으로 weight information을 재사용하는 restart와 time-varying Bayesian optimization을 활용한 HP 재초기화를 통해 이 HP를 자동으로 조정하는 새로운 PBT 변형이다. 8개의 image classification 및 reinforcement learning task에서 평가한 결과, 우리의 알고리즘은 budget을 늘리거나 HP를 변경할 필요 없이 평균적으로 이전의 5개 PBT 변형과 다른 HPO 알고리즘(random search, ASHA, SMAC3)과 동등하거나 더 우수한 성능을 보였다.
"},{"id":"63985","en":"Gradient-Free Approaches is a Key to an Efficient Interaction with Markovian Stochasticity","ko":"Gradient-Free 접근법은 Markovian Stochasticity와의 효율적 상호작용의 핵심이다","authors":"Boris Prokhorov, Semyon Chebykin, Alexander Gasnikov, Aleksandr Beznosikov","pos":"#3709","link":"https://openreview.net/forum?id=S1TwW9szYm","abs":"This paper deals with stochastic optimization problems involving Markovian noise with a zero-order oracle. We present and analyze a novel derivative-free method for solving such problems in strongly convex smooth and non-smooth settings with both one-point and two-point feedback oracles. Using a randomized batching scheme, we show that when mixing time $\\tau$ of the underlying noise sequence is less than the dimension of the problem $d$, the convergence estimates of our method do not depend on $\\tau$. This observation provides an efficient way to interact with Markovian stochasticity: instead of invoking the expensive first-order oracle, one should use the zero-order oracle. Finally, we complement our upper bounds with the corresponding lower bounds. This confirms the optimality of our results.","absKo":"이 논문은 zero-order oracle을 사용하는 Markovian noise가 포함된 stochastic optimization problem을 다룬다. 우리는 one-point 및 two-point feedback oracle 모두를 갖는 strongly convex smooth 및 non-smooth setting에서 이러한 문제를 해결하기 위한 새로운 derivative-free method를 제시하고 분석한다. randomized batching scheme을 사용하여, 기반 noise sequence의 mixing time $\\tau$가 문제 차원 $d$보다 작을 때 본 방법의 수렴 추정치는 $\\tau$에 의존하지 않음을 보인다. 이 관찰은 Markovian stochasticity와 상호작용하는 효율적인 방법을 제시한다. 즉, 비용이 큰 first-order oracle을 호출하는 대신 zero-order oracle을 사용해야 한다는 것이다. 마지막으로, 우리는 상응하는 lower bound를 통해 upper bound를 보완한다. 이는 우리의 결과가 최적임을 확인해준다."},{"id":"63631","en":"Finding Stationary Points by Comparisons","ko":"비교를 통한 정지점 찾기","authors":"Helin Wang, Chenyi Zhang, Xiwen Tao, Yexin Zhang, Tongyang Li","pos":"#3710","link":"https://openreview.net/forum?id=VFpMpVXDJS","abs":"We study the problem of finding stationary points of non-convex functions when access to the objective is provided only through a comparison oracle that, given two points, outputs which has the larger function value. For a twice differentiable $f\\colon\\mathbb R^n\\to\\mathbb R$ with Lipschitz gradient and Hessian, we develop an algorithm that outputs an $\\epsilon$-stationary point using $\\widetilde O(n^2/\\epsilon^{1.5})$ queries. Our approach uses a subroutine that estimates the normalized Hessian to accuracy $\\delta$ using $\\widetilde O(n^2\\log(1/\\delta))$ queries. We further study this problem with a quantum comparison oracle model where queries can be made in superpositions, and develop the first quantum algorithm that finds an $\\epsilon$-stationary point, which takes $\\widetilde O(n/\\epsilon^{1.5})$ queries.","absKo":"목적 함수에 대한 접근이 오직 comparison oracle을 통해서만 주어질 때, 비볼록 함수의 stationary point를 찾는 문제를 연구한다. 이 oracle은 두 점을 입력받아 더 큰 함수값을 갖는 쪽을 출력한다. Lipschitz gradient와 Hessian을 갖는 두 번 미분 가능한 $f\\colon\\mathbb R^n\\to\\mathbb R$에 대해, 우리는 $\\widetilde O(n^2/\\epsilon^{1.5})$개의 query를 사용하여 $\\epsilon$-stationary point를 출력하는 알고리즘을 개발한다. 우리의 접근은 정규화된 Hessian을 정확도 $\\delta$까지 $\\widetilde O(n^2\\log(1/\\delta))$개의 query로 추정하는 subroutine을 사용한다. 또한 query를 superposition으로 수행할 수 있는 quantum comparison oracle model에서도 이 문제를 연구하며, $\\epsilon$-stationary point를 찾는 최초의 quantum algorithm을 개발한다. 이 알고리즘은 $\\widetilde O(n/\\epsilon^{1.5})$개의 query를 사용한다."},{"id":"66029","en":"Evolution of Benchmark: Black-Box Optimization Benchmark Design through Large Language Model","ko":"벤치마크의 진화: 대형 언어 모델을 통한 블랙박스 최적화 벤치마크 설계","authors":"Chen Wang, Sijie Ma, Zeyuan Ma, Yue-Jiao Gong","pos":"#3711","link":"https://openreview.net/forum?id=7kXXBRMi1r","abs":"Benchmark Design in Black-Box Optimization (BBO) is a fundamental yet open-ended topic. Early BBO benchmarks are predominantly human-crafted, introducing expert bias and constraining diversity. Automating this design process can relieve the human-in-the-loop burden while enhancing diversity and objectivity. We propose Evolution of Benchmark (EoB), an automated BBO benchmark designer empowered by the large language model (LLM) and its program evolution capability. Specifically, we formulate benchmark design as a bi-objective optimization problem towards maximizing (i) landscape diversity and (ii) algorithm-differentiation ability across a portfolio of BBO solvers. Under this paradigm, EoB iteratively prompts LLM to evolve a population of benchmark programs and employs a reflection-based scheme to co-evolve the landscape and its corresponding program. Comprehensive experiments validate our EoB is a competitive candidate in multi-dimensional usages: 1) Benchmarking BBO algorithms; 2) Training and testing learning-assisted BBO algorithms; 3) Extending proxy for expensive real-world problems.
","absKo":"Black-Box Optimization (BBO)에서의 Benchmark Design은 근본적이면서도 개방형인 주제이다. 초기 BBO benchmark들은 대체로 사람이 직접 설계하여 expert bias를 도입했고, 다양성을 제한했다. 이 설계 과정을 자동화하면 human-in-the-loop 부담을 줄이는 동시에 다양성과 객관성을 높일 수 있다. 우리는 large language model (LLM)과 그 program evolution capability에 의해 구동되는 자동 BBO benchmark designer인 Evolution of Benchmark (EoB)를 제안한다. 구체적으로, benchmark design을 (i) landscape diversity와 (ii) BBO solver 포트폴리오 전반에서의 algorithm-differentiation ability를 최대화하는 bi-objective optimization problem으로 정식화한다. 이 패러다임에서 EoB는 LLM에 반복적으로 benchmark program population을 진화시키도록 prompting하고, reflection-based scheme을 사용해 landscape와 그에 대응하는 program을 공동 진화시킨다. 포괄적인 실험을 통해 우리의 EoB가 다차원적 활용에서 경쟁력 있는 후보임을 검증한다. 1) BBO algorithm benchmarking; 2) learning-assisted BBO algorithms의 training 및 testing; 3) expensive real-world problems를 위한 proxy 확장.
"},{"id":"62943","en":"Evolution Strategies at the Hyperscale","ko":"초대규모 환경의 Evolution Strategies","authors":"Bidipta Sarkar, Mattie Fellows, Juan Duque, Alistair Letcher, Antonio León Villares, Anya Sims, Clarisse Wibault, Dmitry Samsonov, Dylan Cope, Jarek Liesen, Kang Li, Lukas Seier, Theo Wolf, Uljad Berdica, Valentin Mohl, Alexander D. Goldie, Aaron Courville, Karin Sevegnani, Shimon Whiteson, Jakob Foerster","pos":"#3712","link":"https://openreview.net/forum?id=bfVJ4GsHrO","abs":"Evolution Strategies (ES) is a class of powerful black-box optimisation methods that are highly parallelisable and can handle non-differentiable and noisy objectives. However, naïve ES becomes prohibitively expensive at scale on GPUs due to the low arithmetic intensity of batched matrix multiplications with unstructured random perturbations. We introduce Evolution Guided GeneRal Optimisation via Low-rank Learning (EGGROLL), which improves arithmetic intensity by structuring individual perturbations as rank-$r$ matrices, resulting in a hundredfold increase in training speed for billion-parameter models at large population sizes, achieving up to 91\\% of the throughput of pure batch inference. We provide a rigorous theoretical analysis of ES for high-dimensional parameter objectives, investigating conditions needed for ES updates to converge in high dimensions, revealing a linearising effect, and proving consistency between EGGROLL and ES as parameter dimension increases. Our experiments show that EGGROLL: (1) enables the stable pretraining of nonlinear recurrent language models that operate purely in integer datatypes, (2) is competitive with GRPO for post-training LLMs on reasoning tasks, and (3) does not compromise performance compared to ES in tabula rasa RL settings, despite being faster.","absKo":"Evolution Strategies(ES)는 병렬화가 뛰어나고 미분 불가능하며 noisy한 objective를 다룰 수 있는 강력한 black-box optimisation 방법이다. 그러나 순진한 ES는 구조화되지 않은 random perturbation을 사용하는 batched matrix multiplication의 낮은 arithmetic intensity 때문에 GPU에서 규모가 커질수록 지나치게 비용이 커진다. 우리는 Evolution Guided GeneRal Optimisation via Low-rank Learning(EGGROLL)을 제안한다. 이는 개별 perturbation을 rank-$r$ matrix로 구조화하여 arithmetic intensity를 높이며, 그 결과 대규모 population size에서 billion-parameter model의 training 속도를 100배 향상시키고, 순수 batch inference throughput의 최대 91\\%에 도달한다. 우리는 고차원 parameter objective에 대한 ES의 엄밀한 이론 분석을 제공하며, ES update가 고차원에서 수렴하는 데 필요한 조건을 조사하고, 선형화 효과를 밝히며, parameter dimension이 증가할 때 EGGROLL과 ES 사이의 일관성을 증명한다. 우리의 실험은 EGGROLL이 다음을 가능하게 함을 보여준다. (1) 정수 데이터형만으로 동작하는 비선형 recurrent language model의 안정적인 pretraining, (2) reasoning task에서 LLM post-training을 위한 GRPO와의 경쟁력, (3) 더 빠르면서도 tabula rasa RL 설정에서 ES와 비교해 성능 저하가 없다는 점."},{"id":"60774","en":"Depth over Fidelity in Fixed-Budget Noisy Evolution Strategies","ko":"고정 예산 Noisy Evolution Strategy에서 Fidelity보다 Depth","authors":"Sichen Wang, Zhipeng Lu","pos":"#3713","link":"https://openreview.net/forum?id=woocESr6ga","abs":"Noisy evolution strategies commonly mitigate ranking uncertainty by improving per-generation fidelity—for example, by allocating budget to resampling candidates or using robust aggregation to stabilize the within-generation ordering. Under strict fixed evaluation budgets, however, any additional intra-generation querying directly reduces the number of generations the algorithm can execute, shortening the optimization trajectory. This dynamic can be characterized as prioritizing fidelity over depth. We propose a paradigm shift in fixed-budget regimes toward depth over fidelity, arguing that the cumulative progress from a long sequence of noise-smoothed updates often outweighs that of a short sequence of rigorously denoised ones. We operationalize this principle via probabilistic elite membership, replacing hard truncation with conditional expected rank weights that integrate over ranking uncertainty. This shifts noise handling from the evaluation stage to the selection stage: rather than repeatedly reevaluating candidates to denoise their objective values, we directly smooth the selection signal driving the update. We instantiate this approach using residual bootstrapping: we perform sparse reevaluations near the selection boundary, store standardized noise residuals in a reusable pool, and generate bootstrap rankings to estimate expected weights. Recognizing that residual pool mismatch constitutes a potential statistical risk, we derive a falsifiable error decomposition and provide runtime diagnostics to ensure estimator validity. To prevent oversmoothing in low-noise regimes, we introduce an adaptive probe-and-switch mechanism that leverages a low-cost rank disagreement metric to dynamically select between standard CMA-ES and our bootstrap-based updates. Extensive evaluations across the COCO bbob-noisy suite and diverse external tasks—including RL policy search and noisy HPO—demonstrate consistent gains. Specifically, in high-misranking regimes constrained by strict budgets, our residual-bootstrap approach achieves substantially steeper progress curves than both uncertainty-handling CMA-ES and fixed-k resampling baselines. These results substantiate a testable thesis: when budgets are limited and ranking uncertainty is high, integrating uncertainty at the selection stage is more sample-efficient than reducing it at the evaluation stage.
","absKo":"Noisy evolution strategies는 일반적으로 per-generation fidelity를 개선하여 ranking uncertainty를 완화한다. 예를 들어, candidates를 resampling하는 데 budget을 할당하거나 robust aggregation을 사용해 within-generation ordering을 안정화한다. 그러나 엄격한 fixed evaluation budget 하에서는 generation 내부에서 추가적인 querying을 할수록 알고리즘이 실행할 수 있는 generation 수가 직접적으로 줄어들어 optimization trajectory가 짧아진다. 이러한 동학은 fidelity를 depth보다 우선하는 것으로 특징지을 수 있다. 우리는 fixed-budget regime에서 fidelity보다 depth를 우선하는 패러다임 전환을 제안하며, 잡음이 smoothed된 긴 연속 업데이트에서의 누적 진전이, 엄밀하게 denoised된 짧은 연속 업데이트보다 종종 더 크다는 점을 주장한다. 우리는 이 원리를 probabilistic elite membership을 통해 구현한다. 즉, hard truncation을 ranking uncertainty를 적분하는 conditional expected rank weights로 대체한다. 이는 noise handling을 evaluation stage에서 selection stage로 이동시킨다. candidate의 objective value를 denoise하기 위해 반복적으로 reevaluate하는 대신, update를 구동하는 selection signal을 직접 smooth한다. 우리는 residual bootstrapping을 사용하여 이 접근을 구체화한다. selection boundary 근처에서 sparse reevaluation을 수행하고, 표준화된 noise residual을 재사용 가능한 pool에 저장하며, bootstrap ranking을 생성하여 expected weight를 추정한다. residual pool mismatch가 잠재적인 statistical risk를 구성한다는 점을 인식하고, 우리는 반증 가능한 error decomposition을 유도하며 estimator의 유효성을 보장하기 위한 runtime diagnostics를 제공한다. low-noise regime에서 oversmoothing을 방지하기 위해, 우리는 low-cost rank disagreement metric을 활용하여 standard CMA-ES와 bootstrap-based update 사이를 동적으로 선택하는 adaptive probe-and-switch mechanism을 도입한다. COCO bbob-noisy suite와 RL policy search 및 noisy HPO를 포함한 다양한 외부 task 전반에 대한 광범위한 평가는 일관된 성능 향상을 보여준다. 특히, 엄격한 budget 제약 하에서 high-misranking regime에서는 residual-bootstrap 접근이 uncertainty-handling CMA-ES와 fixed-k resampling baseline 모두보다 훨씬 더 가파른 progress curve를 달성한다. 이러한 결과는 검증 가능한 하나의 논지를 뒷받침한다. budget이 제한되고 ranking uncertainty가 높을 때, selection stage에서 uncertainty를 통합하는 것이 evaluation stage에서 이를 줄이는 것보다 sample-efficient하다."},{"id":"62149","en":"$\\texttt{MetaDistill}$: Unlocking the Performance Ceiling for Pretrained Optimizers","ko":"$\\texttt{MetaDistill}$: 사전학습된 Optimizer의 성능 한계 돌파","authors":"Muqi Han, Ruoqi Xing, KAI WU, Xiaoyu Zhang, Handing Wang, Zilong Wang","pos":"#3807","link":"https://openreview.net/forum?id=jNO4iYhZUu","abs":"Meta Black-Box Optimization (MetaBBO) has emerged as a promising paradigm by employing meta learning to automatically optimize the configurations of low-level black-box optimizers. Despite its potential, the generalization of MetaBBO remains significantly constrained when facing unseen, complex objective landscapes. We identify that this bottleneck stems from a restricted performance upper bound inherent in current training mechanisms: by learning from scratch in a self-supervised or unsupervised manner, meta optimizers are never exposed to advanced, high-quality optimization behaviors, forcing them to converge on suboptimal strategies. In this paper, we propose $\\texttt{MetaDistill}$, a general MetaBBO training framework designed to lift the strategy ceiling through pretraining and test-time fine-tuning. In the pretraining stage, we represent high-quality strategies from classical algorithms as expert optimization trajectories and utilize them for diversity-preserving distillation, enabling the learnable optimizer to internalize advanced optimization behaviors. In the optional fine-tuning stage, we perform self-supervised fine-tuning as a warm-start procedure to further refine the distilled knowledge on unseen tasks. We evaluate our $\\texttt{MetaDistill}$ framework on the BBOB test suite and three control tasks. The results demonstrate that $\\texttt{MetaDistill}$ significantly improves the generalization ability of various learnable optimizers compared to their original training paradigms.","absKo":"Meta Black-Box Optimization (MetaBBO)은 meta learning을 사용하여 low-level black-box optimizer의 설정을 자동으로 최적화하는 유망한 패러다임으로 부상했다. 잠재력에도 불구하고, MetaBBO의 일반화는 보지 못한 복잡한 objective landscape를 마주할 때 여전히 크게 제약된다. 우리는 이 병목이 현재의 training mechanism에 내재된 제한된 performance upper bound에서 비롯됨을 식별한다. self-supervised 또는 unsupervised 방식으로 scratch부터 학습하기 때문에, meta optimizer는 고급의 고품질 optimization behavior를 결코 접하지 못하며, 그 결과 비최적 전략에 수렴할 수밖에 없다. 본 논문에서 우리는 pretraining과 test-time fine-tuning을 통해 strategy ceiling을 높이기 위해 설계된 일반적인 MetaBBO training framework인 $\\texttt{MetaDistill}$을 제안한다. pretraining 단계에서 우리는 classical algorithm의 고품질 strategy를 expert optimization trajectory로 표현하고 이를 diversity-preserving distillation에 활용하여, 학습 가능한 optimizer가 고급 optimization behavior를 내재화하도록 한다. 선택적인 fine-tuning 단계에서는 unseen task에서 distillation된 지식을 추가로 정교화하기 위해 warm-start 절차로 self-supervised fine-tuning을 수행한다. 우리는 BBOB test suite와 세 개의 control task에서 $\\texttt{MetaDistill}$ framework를 평가한다. 결과는 $\\texttt{MetaDistill}$이 원래의 training paradigm과 비교하여 다양한 learnable optimizer의 generalization ability를 크게 향상시킴을 보여준다."},{"id":"64828","en":"A Language-Guided Bayesian Optimization for Efficient LoRA Hyperparameter Search","ko":"효율적 LoRA 하이퍼파라미터 탐색을 위한 Language-Guided Bayesian Optimization","authors":"Baek Seong-Eun, Lee Jung-Mok, Kim Sung-Bin, Tae-Hyun Oh","pos":"#3808","link":"https://openreview.net/forum?id=JNdi6E05NJ","abs":"Fine-tuning Large Language Models (LLMs) with Low-Rank Adaptation (LoRA) offers a resource-efficient way to personalize or specialize. However, LoRA is highly sensitive to hyperparameter choices, and performing an exhaustive hyperparameter search remains computationally intensive. To address these challenges, we propose a framework that integrates the domain knowledge of pre-trained LLMs into the Bayesian Optimization (BO) process to efficiently search for LoRA hyperparameters. To leverage pre-trained LLMs' knowledge, our approach repurposes them as a discrete-to-continuous mapping module to link hyperparameters and their domain knowledge to a continuous vector space, where BO is conducted. We design and control the mapping via language prompting, providing a domain-aware textual prompt that describes the relationships among hyperparameters and their respective roles. This allows us to explicitly inject domain knowledge about LoRA into the LLM in natural language. We also introduce an additional learnable token to capture residual information that is difficult to describe linguistically in the prompt. This aids BO to sample more high-performing hyperparameters. In addition, by leveraging the strong correlation observed between the performance obtained from full and subset training datasets in LoRA training regimes, we introduce proxy training and evaluation using a data subset. This significantly improves the efficiency of our method. We demonstrate that our hyperparameter, discovered with only about 30 iterations, achieves more than 20% performance improvement over standard hyperparameters found from about 45,000 combinations. Code will be released.
","absKo":"Low-Rank Adaptation (LoRA)를 사용한 Large Language Models (LLMs)의 fine-tuning은 개인화 또는 specialization을 위한 자원 효율적인 방법을 제공한다. 그러나 LoRA는 hyperparameter 선택에 매우 민감하며, exhaustive hyperparameter search는 여전히 계산 비용이 크다. 이러한 과제를 해결하기 위해, 우리는 pre-trained LLM의 domain knowledge를 Bayesian Optimization (BO) 과정에 통합하여 LoRA hyperparameter를 효율적으로 탐색하는 프레임워크를 제안한다. pre-trained LLM의 지식을 활용하기 위해, 우리의 접근은 이를 hyperparameter와 그 domain knowledge를 continuous vector space에 연결하는 discrete-to-continuous mapping module로 재활용한다. 우리는 language prompting을 통해 이 mapping을 설계하고 제어하며, hyperparameter 간의 관계와 각 역할을 설명하는 domain-aware textual prompt를 제공한다. 이를 통해 LoRA에 대한 domain knowledge를 자연어로 LLM에 명시적으로 주입할 수 있다. 또한 prompt에서 언어적으로 설명하기 어려운 residual information을 포착하기 위해 추가적인 learnable token을 도입한다. 이는 BO가 더 높은 성능의 hyperparameter를 샘플링하는 데 도움이 된다. 더 나아가, LoRA 학습 체계에서 full dataset과 subset dataset으로 얻은 성능 사이에 강한 상관관계가 관찰된다는 점을 활용하여, data subset을 이용한 proxy training과 evaluation을 도입한다. 이는 우리의 방법 효율성을 크게 향상시킨다. 약 30번의 iteration만으로 발견된 hyperparameter가 약 45,000개 조합에서 찾은 standard hyperparameter보다 20% 이상의 성능 향상을 달성함을 보인다. 코드는 공개될 예정이다.
"},{"id":"60499","en":"AGZO: Activation-Guided Zeroth-Order Optimization for LLM Fine-Tuning","ko":"AGZO: LLM Fine-Tuning을 위한 Activation-Guided Zeroth-Order Optimization","authors":"Wei LIN, Yining Jiang, Qingyu Song, Qiao Xiang, Hong Xu","pos":"#3809","link":"https://openreview.net/forum?id=zfVxpXEZti","abs":"Zeroth-Order (ZO) optimization has emerged as a promising solution for fine-tuning LLMs under strict memory constraints, as it avoids the prohibitive memory cost of storing activations for backpropagation. However, existing ZO methods typically employ isotropic perturbations, neglecting the rich structural information available during the forward pass. In this paper, we identify a crucial link between gradient formation and activation structure: the gradient of a linear layer is confined to the subspace spanned by its input activations. Leveraging this insight, we propose Activation-Guided Zeroth-Order optimization (AGZO). Unlike prior methods, AGZO extracts a compact, activation-informed subspace on the fly during the forward pass and restricts perturbations to this low-rank subspace. We provide a theoretical framework showing that AGZO optimizes a subspace-smoothed objective and provably yields update directions with higher cosine similarity to the true gradient than isotropic baselines. Empirically, we evaluate AGZO on Qwen3 and Pangu models across various benchmarks. AGZO consistently outperforms state-of-the-art ZO baselines and significantly narrows the performance gap with first-order fine-tuning, while maintaining almost the same peak memory footprint as other ZO methods.
","absKo":"Zeroth-Order (ZO) optimization은 backpropagation을 위한 activations 저장의 막대한 메모리 비용을 피할 수 있기 때문에, 엄격한 메모리 제약 하에서 LLMs를 fine-tuning하는 유망한 해법으로 떠올랐다. 그러나 기존 ZO 방법은 대개 isotropic perturbation을 사용하며, forward pass 동안 이용 가능한 풍부한 구조 정보를 간과한다. 본 논문에서는 gradient 형성과 activation 구조 사이의 핵심적 연결고리를 발견한다. 즉, linear layer의 gradient는 그 input activations가 span하는 subspace에 국한된다. 이 통찰을 바탕으로 우리는 Activation-Guided Zeroth-Order optimization (AGZO)를 제안한다. 기존 방법과 달리 AGZO는 forward pass 동안 compact한 activation-informed subspace를 즉시 추출하고, perturbation을 이 low-rank subspace로 제한한다. 우리는 AGZO가 subspace-smoothed objective를 최적화하며, isotropic baseline보다 true gradient와의 cosine similarity가 더 높은 update direction을 보장함을 이론적으로 보인다. 실증적으로는 다양한 benchmark에서 Qwen3와 Pangu 모델에 대해 AGZO를 평가한다. AGZO는 일관되게 state-of-the-art ZO baseline을 능가하고 first-order fine-tuning과의 성능 격차를 크게 좁히면서도, 다른 ZO 방법들과 거의 동일한 peak memory footprint를 유지한다.
"},{"id":"64899","en":"ALAS: Additive Learnable Alpha-Stable Kernels for Flexible Bayesian Optimization","ko":"ALAS: 유연한 Bayesian Optimization을 위한 Additive Learnable Alpha-Stable Kernel","authors":"Weibo Huang, Cheng Hua","pos":"#3810","link":"https://openreview.net/forum?id=IlcYgLsvUN","abs":"Bayesian Optimization is widely used for expensive black-box optimization, yet its success often depends on choosing a kernel that matches the objective’s unknown structure. In this work, we propose ALAS, a flexible Gaussian Process kernel family built from symmetric $\\alpha$-stable spectral components. By learning the stability parameter $\\alpha$, ALAS adapts its effective smoothness from data, capturing both smooth trends and sharp irregularities. We present two parameterizations: ALAS, a single stationary component with joint spectral modulation, and ALAS-Sep, a separable variant that learns dimension-wise tail behavior to improve robustness on approximately decomposable objectives. Experiments on standard benchmarks and real-world surrogates demonstrate strong and robust performance across diverse settings.","absKo":"Bayesian Optimization은 비용이 큰 black-box optimization에 널리 사용되지만, 그 성공은 종종 목적함수의 알려지지 않은 구조에 맞는 kernel을 선택하는 데 달려 있다. 본 연구에서는 symmetric $\\alpha$-stable spectral component로 구성된 유연한 Gaussian Process kernel family인 ALAS를 제안한다. stability parameter $\\alpha$를 학습함으로써, ALAS는 데이터로부터 effective smoothness를 적응적으로 조정하여 매끄러운 추세와 급격한 불규칙성을 모두 포착한다. 우리는 두 가지 parameterization을 제시한다. ALAS는 joint spectral modulation을 갖는 단일 stationary component이며, ALAS-Sep는 대체로 분해 가능한 objective에서 robustness를 높이기 위해 dimension-wise tail behavior를 학습하는 separable variant이다. 표준 benchmark와 real-world surrogate에서의 실험은 다양한 설정 전반에 걸쳐 강력하고 robust한 성능을 보여준다."},{"id":"63417","en":"AdaMeZO: Adam-style Zeroth-Order Optimizer for LLM Fine-tuning Without Maintaining the Moments","ko":"AdaMeZO: 모멘트 유지 없이 LLM 미세조정을 위한 Adam 스타일 영차 옵티마이저","authors":"Zhijie Cai, Haolong Chen, Guangxu Zhu","pos":"#3811","link":"https://openreview.net/forum?id=XLc102wbnT","abs":"Fine-tuning LLMs is necessary for various dedicated downstream tasks, but classic backpropagation-based fine-tuning methods require substantial GPU memory. To this end, a recent work, MeZO, which relies solely on forward passes to fine-tune LLMs, significantly reduces GPU requirements at the cost of slower convergence due to its indifference to loss landscapes. Standard solutions, such as Adam, explore loss landscapes by estimating the first- and second-order moments and storing them in memory to guide the model's movement through dimensions with lower curvature and vice versa. However, directly applying Adam negates MeZO's advantage as it will triple the memory requirement. In light of this, we propose AdaMeZO, a zeroth-order optimizer that leverages Adam-style first- and second-moment estimates without maintaining them in memory. We present a theoretical analysis of AdaMeZO, corroborated by extensive experiments demonstrating its performance, showing that it can outperform MeZO while requiring up to 70% fewer forward passes. Trajectory visualizations affirm AdaMeZO's ability to adapt to diverse loss landscapes.
","absKo":"LLM을 다양한 전용 downstream task에 맞게 fine-tuning하는 것은 필요하지만, 전통적인 backpropagation 기반 fine-tuning 방법은 상당한 GPU 메모리를 요구한다. 이를 위해 최근 제안된 MeZO는 forward pass만으로 LLM을 fine-tune할 수 있어 GPU 요구량을 크게 줄이지만, loss landscape를 반영하지 않는다는 점 때문에 수렴이 느려지는 대가를 치른다. Adam과 같은 표준 해법은 first- and second-order moment를 추정해 메모리에 저장하고, 이를 바탕으로 curvature가 낮은 차원으로는 더 멀리, 그 반대의 경우에는 더 조심스럽게 모델을 이동시키며 loss landscape를 탐색한다. 그러나 Adam을 직접 적용하면 메모리 요구량이 세 배로 늘어나므로 MeZO의 장점이 사라진다. 이러한 점을 고려해, 우리는 메모리에 이를 유지하지 않으면서 Adam 스타일의 first- and second-moment estimate를 활용하는 zeroth-order optimizer인 AdaMeZO를 제안한다. 우리는 AdaMeZO에 대한 이론적 분석을 제시하고, 광범위한 실험으로 그 성능을 입증한다. 그 결과 AdaMeZO는 MeZO보다 우수하면서도 forward pass 수를 최대 70%까지 줄일 수 있음을 보인다. trajectory 시각화는 AdaMeZO가 다양한 loss landscape에 적응할 수 있음을 확인해준다.
"},{"id":"61909","en":"Breaking Multi-Task Curse: Reward-Weighted Evolution for Black-Box Many-Task Optimization","ko":"멀티태스크의 저주 극복: Black-Box 다과제 최적화를 위한 Reward-Weighted Evolution","authors":"Yanchi Li, Jiao Liu, Wenyin Gong, Qiong Gu, Yue Zhao, Yew Soon ONG","pos":"#3812","link":"https://openreview.net/forum?id=lkGnJhXUNu","abs":"Evolutionary multi-tasking accelerates black-box optimization via knowledge transfer but falters in scenarios involving many low-similarity tasks. We identify this scalability barrier as the Multi-Task Curse, driven by evaluation budget dispersion and negative transfer. To overcome this, we propose MES-RET (Many-task Evolution Strategy with Reward-weighted Evaluation and Transfer), which combats budget dispersion via a reward-weighted evaluation scheme that guarantees superior expected improvement, while simultaneously mitigating negative transfer through a robust reward-weighted aggregation of mean and covariance statistics, ensuring a safe fallback to independent evolution. Furthermore, to handle neural dimensional mismatches in many-task policy search, we introduce a semantic parameter alignment strategy that bridges heterogeneous state-action spaces. Extensive experiments on synthetic benchmarks, real-world engineering problems, and reinforcement learning tasks demonstrate that MES-RET consistently outperforms state-of-the-art methods, notably enabling skill transfer across morphologically distinct policies.
","absKo":"Evolutionary multi-tasking은 knowledge transfer를 통해 black-box optimization을 가속하지만, 낮은 유사성을 가진 많은 task가 포함된 시나리오에서는 성능이 저하된다. 우리는 이러한 확장성의 한계를 평가 budget 분산과 negative transfer가 초래하는 Multi-Task Curse로 규정한다. 이를 극복하기 위해, 우리는 reward-weighted evaluation scheme을 통해 budget 분산을 억제하고 더 우수한 expected improvement를 보장하는 동시에, mean과 covariance 통계의 강건한 reward-weighted aggregation을 통해 negative transfer를 완화하여 독립적인 evolution으로 안전하게 되돌아갈 수 있도록 하는 MES-RET(Many-task Evolution Strategy with Reward-weighted Evaluation and Transfer)를 제안한다. 또한, 많은 task policy search에서 neural dimensional mismatch를 처리하기 위해, 이질적인 state-action space를 연결하는 semantic parameter alignment 전략을 도입한다. synthetic benchmark, 실제 공학 문제, reinforcement learning task에 대한 광범위한 실험은 MES-RET가 state-of-the-art 방법들을 일관되게 능가하며, 특히 형태적으로 구별되는 policy 간 skill transfer를 가능하게 함을 보여준다.
"},{"id":"63446","en":"Bridging Spherical Black-Box Optimizers","ko":"구면 블랙박스 옵티마이저 연결","authors":"Johannes Ackermann, Stefano Peluchetti","pos":"#3813","link":"https://openreview.net/forum?id=X9yKVwZ7if","abs":"When gradient information is unavailable, black-box optimization (BBO) methods provide a practical alternative. While Evolution Strategies (ES), Consensus-Based Optimization (CBO), Optimization via Integration (OVI), and related methods have each been studied independently, their connections remain underexplored. We unify these approaches within a common theoretical framework, revealing that they differ primarily in two design choices: fitness aggregation (controlling sharpness preference) and consensus scope (controlling modality). Leveraging these insights, we introduce hybrid optimizers that interpolate between existing methods. Our ES-OVI hybrid allows explicit control over the preference for flat minima, enabling a trade-off between performance and robustness in continuous control tasks. Our CBO-OVI hybrids combine the high-dimensional efficiency of parametric methods with the multimodal capabilities of particle-based approaches, achieving competitive results on language model merging under limited evaluation budgets. We validate our methods on standard BBO benchmarks and high-dimensional locomotion tasks, demonstrating that the hybrid methods can outperform their constituent algorithms.
","absKo":"gradient information을 사용할 수 없을 때, black-box optimization (BBO) 방법은 실용적인 대안을 제공한다. Evolution Strategies (ES), Consensus-Based Optimization (CBO), Optimization via Integration (OVI) 및 관련 방법들은 각각 개별적으로 연구되어 왔지만, 이들 사이의 연결은 아직 충분히 탐구되지 않았다. 우리는 이러한 접근법들을 공통의 이론적 프레임워크 안에서 통합하여, 이들이 주로 두 가지 설계 선택, 즉 fitness aggregation(날카로움 선호를 제어)과 consensus scope(모달리티를 제어)에서 차이를 보인다는 점을 밝힌다. 이러한 통찰을 바탕으로, 우리는 기존 방법들 사이를 보간하는 hybrid optimizer를 제안한다. 우리의 ES-OVI hybrid는 flat minima 선호를 명시적으로 제어할 수 있어, continuous control task에서 성능과 robustness 사이의 trade-off를 가능하게 한다. 우리의 CBO-OVI hybrid는 parametric method의 고차원 효율성과 particle-based approach의 multimodal 능력을 결합하며, 제한된 evaluation budget 하에서 language model merging에서 경쟁력 있는 결과를 달성한다. 우리는 표준 BBO benchmark와 고차원 locomotion task에서 우리의 방법을 검증하여, hybrid method가 구성 알고리즘들을 능가할 수 있음을 보여준다.
"},{"id":"64669","en":"CurvZO: Adaptive Curvature-Guided Sparse Zeroth-Order Optimization for Efficient LLM Fine-Tuning","ko":"CurvZO: 효율적 LLM Fine-Tuning을 위한 적응적 Curvature-Guided Sparse Zeroth-Order Optimization","authors":"Shuo Wang, Ziyu Chen, Ming Tang","pos":"#3814","link":"https://openreview.net/forum?id=L35b2JZ8gS","abs":"Fine-tuning large language models (LLMs) with backpropagation achieves high performance but incurs substantial memory overhead, limiting scalability on resource-constrained hardware. Zeroth-order (ZO) optimization provides a memory-efficient alternative by relying solely on forward passes, yet it typically suffers from slow or unstable convergence due to high-variance gradient estimates. Sparse ZO updates partially address this issue by perturbing only a subset of parameters, but their effectiveness hinges on selecting informative parameters, which is challenging in ZO optimization because each query yields only scalar feedback. We propose Adaptive Curvature-Guided Sparse Zeroth-Order Optimization (CurvZO), which tracks curvature signals online from scalar ZO feedback and leverages these signals to construct a parameter-wise sampling distribution for selecting coordinates at each update, reducing the variance of the sparse ZO gradient estimator. Moreover, CurvZO dynamically adapts the perturbation budget to the evolving curvature signal distribution, yielding sparse ZO updates that remain both focused and sufficiently exploratory. Extensive experiments on OPT and Llama across diverse NLP tasks show that CurvZO consistently improves fine-tuning performance and reduces training time over ZO baselines. It improves accuracy by up to 4.4 points and achieves up to a $2\\times$ speedup, while preserving memory efficiency.","absKo":"backpropagation을 사용한 large language model(LLM) fine-tuning은 높은 성능을 달성하지만 상당한 메모리 오버헤드를 수반하여 자원 제약이 있는 하드웨어에서 확장성을 제한한다. Zeroth-order(ZO) optimization은 forward pass에만 의존함으로써 메모리 효율적인 대안을 제공하지만, 고분산 gradient estimate 때문에 일반적으로 수렴이 느리거나 불안정하다. Sparse ZO update는 파라미터의 일부만 perturbing함으로써 이 문제를 부분적으로 완화하지만, 각 query가 scalar feedback만 제공하는 ZO optimization에서는 유용한 파라미터를 선택하는 것이 어렵기 때문에 그 효과는 parameter 선택에 달려 있다. 우리는 Adaptive Curvature-Guided Sparse Zeroth-Order Optimization(CurvZO)을 제안한다. CurvZO는 scalar ZO feedback으로부터 online으로 curvature signal을 추적하고, 이 신호를 활용해 각 update에서 coordinate를 선택하기 위한 parameter-wise sampling distribution을 구성함으로써 sparse ZO gradient estimator의 분산을 줄인다. 또한 CurvZO는 변화하는 curvature signal 분포에 맞추어 perturbation budget을 동적으로 조절하여, 집중성과 충분한 탐색성을 동시에 유지하는 sparse ZO update를 생성한다. OPT와 Llama를 대상으로 다양한 NLP task에서 수행한 광범위한 실험은 CurvZO가 ZO baseline보다 fine-tuning 성능을 일관되게 향상시키고 training time을 줄임을 보인다. 정확도는 최대 4.4 point 향상되며, 메모리 효율성을 유지하면서 최대 $2\\times$ speedup을 달성한다."},{"id":"61788","en":"Noisy Pairwise-Comparison Random Search for Smooth Nonconvex Optimization","ko":"Smooth Nonconvex Optimization을 위한 Noisy Pairwise-Comparison Random Search","authors":"Taha EL BAKKALI EL KADI, Rayane Bouftini, Richard Zhang, Omar Saadi","pos":"#4507","link":"https://openreview.net/forum?id=mvm6NhIT8k","abs":"We consider minimizing high-dimensional smooth nonconvex objectives using only noisy pairwise comparisons. Unlike classical zeroth-order methods limited by the ambient dimension $d$, we propose Noisy-Comparison Random Search (NCRS), a direct-search method that exploits random line search to adapt to the intrinsic dimension $k \\le d$. We establish a novel nonconvex analysis for approximate stationarity: under a uniform-margin oracle with advantage $p$, NCRS attains $\\epsilon$-stationarity with complexity $\\mathcal{O}(k/(p^{2}\\epsilon^{2}))$, explicitly replacing ambient dependence with the intrinsic dimension. Furthermore, we introduce a general tie-aware noise model where comparison quality degrades near ties; for this setting, we prove that a majority-vote variant of NCRS achieves $\\epsilon$-stationarity with complexity $\\mathcal{O}(k^{2}/\\epsilon^{4})$.","absKo":"우리는 잡음이 있는 pairwise comparison만을 사용하여 고차원 smooth nonconvex objective를 최소화하는 문제를 고려한다. ambient dimension $d$에 제한되는 고전적 zeroth-order method와 달리, 우리는 intrinsic dimension $k \\le d$에 적응하는 direct-search method인 Noisy-Comparison Random Search(NCRS)를 제안한다. 우리는 근사 정지성(approximate stationarity)에 대한 새로운 nonconvex 분석을 확립한다. 균일한 margin oracle과 advantage $p$ 하에서, NCRS는 복잡도 $\\mathcal{O}(k/(p^{2}\\epsilon^{2}))$로 $\\epsilon$-stationarity를 달성하며, ambient dependence를 intrinsic dimension으로 명시적으로 대체한다. 더 나아가, comparison quality가 tie 근처에서 저하되는 일반적인 tie-aware noise model을 도입한다. 이 설정에서 majority-vote 변형 NCRS가 복잡도 $\\mathcal{O}(k^{2}/\\epsilon^{4})$로 $\\epsilon$-stationarity를 달성함을 증명한다."},{"id":"65583","en":"Multiple Choice Learning of Low-Rank Adapters for Language Modeling","ko":"언어 모델링을 위한 Low-Rank Adapter의 Multiple Choice 학습","authors":"Victor Letzelter, Hugo Malard, Mathieu Fontaine, Gaël Richard, Slim Essid, Andrei Bursuc, Patrick Perez","pos":"#2000","link":"https://openreview.net/forum?id=CCO35e4DCO","abs":"We propose LoRA-MCL, a training scheme that extends next-token prediction in language models with a method designed to decode diverse, plausible sentence continuations at inference time. Traditional language modeling is an intrinsically ill-posed problem: given a context, multiple ``futures'' may be equally plausible. Our approach leverages Multiple Choice Learning (MCL) and the Winner-Takes-All loss to efficiently handle ambiguity through Low-Rank Adaptation. We provide a theoretical interpretation of applying MCL to language modeling, assuming the data is generated from a mixture of distributions. We illustrate the proposed approach using mixtures of Markov chains. We then demonstrate with experiments on visual and audio captioning, as well as machine translation, that our method achieves high diversity and relevance in generated outputs.
","absKo":"우리는 LoRA-MCL을 제안합니다. 이는 language model의 next-token prediction을 확장하여, inference 시점에 다양하고 그럴듯한 sentence continuation을 decode하도록 설계된 방법을 결합한 training scheme입니다. 전통적인 language modeling은 본질적으로 ill-posed problem입니다. 주어진 context에 대해 여러 ``future''가 동등하게 그럴듯할 수 있기 때문입니다. 우리의 접근법은 Multiple Choice Learning(MCL)과 Winner-Takes-All loss를 활용해 Low-Rank Adaptation을 통해 ambiguity를 효율적으로 처리합니다. 우리는 data가 distribution mixture에서 생성된다고 가정할 때 language modeling에 MCL을 적용하는 이론적 해석을 제공합니다. 또한 Markov chain의 mixture를 사용해 제안 방법을 설명합니다. 이후 visual 및 audio captioning, machine translation 실험을 통해, 우리의 방법이 생성된 output에서 높은 diversity와 relevance를 달성함을 보여 줍니다.
"},{"id":"60491","en":"Quantile-Free Uncertainty Quantification in Graph Neural Networks","ko":"Graph Neural Network에서 Quantile-Free Uncertainty Quantification","authors":"Soyoung Park, Hwanjun Song, Sungsu Lim","pos":"#2404","link":"https://openreview.net/forum?id=zlU90YE4EJ","abs":"Uncertainty quantification (UQ) in graph neural networks (GNNs) is crucial in high-stakes domains but remains a significant challenge. In graph settings, message passing often relies on strong assumptions such as exchangeability, which are rarely satisfied in practice. Moreover, achieving reliable UQ typically requires costly resampling or post-hoc calibration. To address these issues, we introduce Quantile-free Prediction Interval GNN (QpiGNN), a framework that builds on quantile regression (QR) to enable GNN-based UQ by directly optimizing coverage and interval width without requiring quantile inputs or post-processing. QpiGNN employs a dual-head architecture that decouples prediction and uncertainty, and is trained with label-only supervision through a quantile-free joint loss. This design allows efficient training and yields robust prediction intervals, with theoretical guarantees of asymptotic coverage and near-optimal width under mild assumptions. Experiments on 19 synthetic and real-world benchmarks show QpiGNN achieves average 22% higher coverage and 50% narrower intervals than baselines, while ensuring efficiency and robustness to noise and structural shifts.
","absKo":"graph neural networks (GNNs)에서의 uncertainty quantification (UQ)은 high-stakes domain에서 매우 중요하지만 여전히 큰 도전 과제로 남아 있다. graph setting에서는 message passing이 종종 exchangeability와 같은 강한 가정에 의존하는데, 이는 실제로는 거의 충족되지 않는다. 더불어 신뢰할 수 있는 UQ를 달성하려면 일반적으로 비용이 큰 resampling이나 post-hoc calibration이 필요하다. 이러한 문제를 해결하기 위해 우리는 quantile input이나 post-processing 없이도 coverage와 interval width를 직접 최적화하여 GNN 기반 UQ를 가능하게 하는 quantile regression (QR) 기반 프레임워크인 Quantile-free Prediction Interval GNN (QpiGNN)을 제안한다. QpiGNN은 prediction과 uncertainty를 분리하는 dual-head architecture를 사용하며, quantile-free joint loss를 통한 label-only supervision으로 학습된다. 이 설계는 효율적인 학습을 가능하게 하고, 완만한 가정 하에서 asymptotic coverage와 near-optimal width에 대한 이론적 보장을 갖는 robust prediction interval을 제공한다. 19개의 synthetic 및 real-world benchmark에서 수행한 실험은 QpiGNN이 기준 방법들보다 평균 22% 더 높은 coverage와 50% 더 좁은 interval을 달성하면서도 효율성과 noise 및 structural shift에 대한 robustness를 보장함을 보여준다.
"},{"id":"64664","en":"Toward Calibrated Mixture-of-Experts Under Distribution Shift","ko":"분포 이동 하의 Calibrated Mixture-of-Experts를 향하여","authors":"Gina Wong, Drew Prinster, Suchi Saria, Rama Chellappa, Anqi Liu","pos":"#3204","link":"https://openreview.net/forum?id=L6wxelezWk","abs":"Calibration aligns a model's predictive uncertainty with the frequencies of its empirical outcomes and is important toward understanding and trusting reported probabilities. Recent work shows that enforcing calibration at the level of individual predictors can substantially improve ensemble performance, with mixture-of-calibrated-experts (MoCE) models showing strong empirical improvements in particular. However, the conditions under which calibration helps MoCE are not well understood. In this work, we study MoCE models from a distributional robustness perspective, focusing on how routing mechanisms interact with expert-level calibration. We show that for hard routing, expert calibration is sufficient to ensure calibration of the overall model under a broad class of distribution shifts but is insufficient for calibrating a soft-routed model. We characterize the conditions that must hold for a soft-routed MoCE to be calibrated, and we discuss how reframing calibration as a distributionally robust objective helps recover robustness guarantees for soft-routed mixtures.
","absKo":"Calibration은 모델의 예측 불확실성을 경험적 결과의 빈도와 맞추는 것이며, 보고된 확률을 이해하고 신뢰하는 데 중요하다. 최근 연구는 개별 predictor 수준에서 calibration을 강제하면 ensemble 성능을 크게 향상시킬 수 있으며, 특히 mixture-of-calibrated-experts(MoCE) 모델이 강한 경험적 개선을 보인다는 점을 보여주었다. 그러나 calibration이 MoCE에 도움이 되는 조건은 아직 잘 이해되지 않았다. 본 연구에서는 routing 메커니즘이 expert-level calibration과 어떻게 상호작용하는지에 초점을 맞추어, distributional robustness 관점에서 MoCE 모델을 연구한다. 우리는 hard routing의 경우, expert calibration이 광범위한 distribution shift 하에서 전체 모델의 calibration을 보장하기에 충분하지만, soft-routed 모델을 calibration하기에는 충분하지 않음을 보인다. 또한 soft-routed MoCE가 calibrated되기 위해 반드시 충족되어야 하는 조건을 규명하고, calibration을 distributionally robust objective로 재정식화하면 soft-routed mixture에 대한 robustness guarantee를 회복하는 데 도움이 된다는 점을 논의한다.
"},{"id":"64699","en":"Spectral Bridge Variational Inference: Dynamic LoRA via Bures-Wasserstein Gradient Flows","ko":"Spectral Bridge 변분 추론: Bures-Wasserstein Gradient Flow를 통한 Dynamic LoRA","authors":"Yuhang Xi, Yu-Feng Yu, Chuan-Xian Ren, Zhao-Rong Lai","pos":"#3500","link":"https://openreview.net/forum?id=KjF35IhQGS","abs":"Parameter-Efficient Fine-Tuning (PEFT) is essential for adapting Large Language Models, yet existing methods typically struggle to balance model capacity with computational efficiency. Standard approaches often enforce rigid low-rank constraints, while dynamic alternatives incur significant memory overheads. To resolve this dilemma, we propose Spectral Bridge Variational Inference (SBVI), a geometric framework that reformulates LoRA not as static parameter optimization, but as a continuous Wasserstein gradient flow on the manifold of Gaussian measures. Rather than fixing the rank at initialization, SBVI governs the singular value evolution via a stochastic differential equation driven by a thermodynamic competition between task gradients and adaptive entropic friction. This mechanism induces a spectral bifurcation that automatically prunes redundant noise modes while amplifying signal-rich components, naturally discovering a layer-wise optimal rank distribution. We derive a scalable algorithm with linear complexity using factorized Riemannian retractions and an Empirical Bayes friction update. Experiments on reasoning and coding benchmarks demonstrate that SBVI achieves state-of-the-art performance, offering superior accuracy and memory efficiency compared to existing static and dynamic adaptation methods.
","absKo":"Parameter-Efficient Fine-Tuning (PEFT)은 Large Language Model을 적응시키는 데 필수적이지만, 기존 방법은 보통 model capacity와 computational efficiency 사이의 균형을 맞추는 데 어려움을 겪는다. 표준 접근법은 종종 엄격한 low-rank constraint를 강제하는 반면, 동적 대안은 상당한 memory overhead를 유발한다. 이 딜레마를 해결하기 위해, 우리는 LoRA를 정적 parameter optimization이 아니라 Gaussian measure manifold 위의 연속적인 Wasserstein gradient flow로 재정식화하는 기하학적 framework인 Spectral Bridge Variational Inference (SBVI)를 제안한다. 초기화 시 rank를 고정하는 대신, SBVI는 task gradient와 adaptive entropic friction 사이의 열역학적 경쟁이 유도하는 stochastic differential equation을 통해 singular value의 진화를 제어한다. 이 메커니즘은 redundant noise mode를 자동으로 제거하면서 signal-rich component를 증폭하는 spectral bifurcation을 유도하여, layer-wise optimal rank distribution을 자연스럽게 발견한다. 우리는 factorized Riemannian retraction과 Empirical Bayes friction update를 사용해 linear complexity를 갖는 확장 가능한 algorithm을 유도한다. reasoning 및 coding benchmark에서의 실험은 SBVI가 state-of-the-art performance를 달성하며, 기존의 static 및 dynamic adaptation method에 비해 더 우수한 정확도와 memory efficiency를 제공함을 보여준다.
"},{"id":"65480","en":"Leveraging Low-Rank Structures for High-Dimensional Score-Based Sampling","ko":"고차원 Score 기반 샘플링을 위한 Low-Rank 구조 활용","authors":"Robert Gruhlke, Julius Berner, David Sommer, Lorenz Richter","pos":"#3501","link":"https://openreview.net/forum?id=DDQX97Xi1Z","abs":"Diffusion models offer a powerful framework for sampling from complex probability densities by learning to reverse a noising process. A common approach involves solving for the time-reversed stochastic differential equation (SDE), which requires the score function of the evolving sample distribution. The logarithm of this distribution's density is governed by a Hamilton-Jacobi-Bellman (HJB) type partial differential equation (PDE). However, current methods for solving this PDE, such as PINNs or trajectory-based techniques, often suffer from long training times and significant sensitivity to hyperparameter tuning. In this work, we introduce a novel and efficient solver for the underlying HJB equation based on the functional tensor train (FTT) format. The FTT representation leverages latent low-rank structures to efficiently approximate high-dimensional functions, enabling both model compression and rapid computation. By integrating this efficient representation with a backward-in-time iterative scheme derived from backward stochastic differential equations (BSDEs), we develop a fast, robust and accurate sampling method. Our approach overcomes primary bottlenecks of existing techniques, enabling high-fidelity sampling from challenging target distributions with improved efficiency.
","absKo":"Diffusion models는 noising process를 역으로 학습함으로써 complex probability densities에서 sampling하는 강력한 framework를 제공한다. 일반적인 접근법은 time-reversed stochastic differential equation(SDE)을 푸는 것을 포함하며, 이는 변화하는 sample distribution의 score function을 요구한다. 이 distribution의 density의 logarithm은 Hamilton-Jacobi-Bellman(HJB) type partial differential equation(PDE)에 의해 지배된다. 그러나 PINNs나 trajectory-based techniques와 같은 현재의 PDE 해법들은 긴 training time과 hyperparameter tuning에 대한 큰 민감도에 자주 시달린다. 이 연구에서는 functional tensor train(FTT) format에 기반한 underlying HJB equation의 새롭고 효율적인 solver를 제안한다. FTT representation은 latent low-rank structure를 활용하여 high-dimensional function을 효율적으로 근사함으로써, model compression과 빠른 computation을 동시에 가능하게 한다. 이 효율적인 representation을 backward stochastic differential equations(BSDEs)로부터 유도된 backward-in-time iterative scheme과 통합하여, 우리는 빠르고 견고하며 정확한 sampling method를 개발한다. 우리의 접근법은 기존 기법의 주요 병목을 극복하여, 향상된 효율성으로 어려운 target distribution에서 high-fidelity sampling을 가능하게 한다.
"},{"id":"62153","en":"The Theory and Practice of MAP Inference over Non-Convex Constraints","ko":"비볼록 제약에서의 MAP 추론 이론과 실제","authors":"Leander Kurscheidt, Gabriele Masina, Roberto Sebastiani, Antonio Vergari","pos":"#3503","link":"https://openreview.net/forum?id=jIZqAemuqk","abs":"In many safety-critical settings, probabilistic ML systems have to make predictions subject to algebraic constraints, e.g., predicting the most likely trajectory that does not cross obstacles. These real-world constraints are rarely convex, nor the densities considered are (log-)concave. This makes computing this constrained maximum a posteriori (MAP) prediction in an efficient and reliable way extremely challenging. In this paper, we first investigate under which conditions we can perform constrained MAP inference over continuous variables exactly and efficiently and devise a scalable message-passing algorithm for this tractable fragment. Then, we devise a general constrained MAP strategy that interleaves partitioning the domain into convex feasible regions with numerical constrained optimization. We evaluate both methods on synthetic and real-world benchmarks, showing our structure aware approach outperforms constraint-agnostic baselines.
","absKo":"많은 safety-critical setting에서 probabilistic ML system은 algebraic constraint를 만족하는 prediction을 해야 하며, 예를 들어 obstacle을 가로지르지 않는 가장 가능성 높은 trajectory를 예측해야 한다. 이러한 현실 세계의 제약은 convex인 경우가 드물고, 고려되는 density 또한 (log-)concave하지 않은 경우가 많다. 이로 인해 이러한 constrained maximum a posteriori (MAP) prediction을 효율적이고 신뢰성 있게 계산하는 일은 매우 어렵다. 이 논문에서는 먼저 continuous variable에 대해 constrained MAP inference를 정확하고 효율적으로 수행할 수 있는 조건이 무엇인지 조사하고, 이 tractable fragment를 위한 scalable message-passing algorithm을 설계한다. 그런 다음, domain을 convex feasible region으로 partition하는 과정과 numerical constrained optimization을 교대로 수행하는 일반적인 constrained MAP 전략을 제안한다. 우리는 두 방법을 synthetic 및 real-world benchmark에서 평가했으며, structure-aware 접근법이 constraint-agnostic baseline보다 우수함을 보인다.
"},{"id":"66435","en":"Bias-Spectrum Neural Processes for Parametric PDEs: Architecture Priors Meet PDE Constraints","ko":"매개변수 PDE를 위한 Bias-Spectrum Neural Process: 아키텍처 사전 지식과 PDE 제약의 만남","authors":"Hui Li, Huafeng Liu, Chenguang Li, Tianxiao Zhang, Yajun Yang, Liping Jing","pos":"#3504","link":"https://openreview.net/forum?id=3mVFd2TTDw","abs":"Parametric partial differential equations (PDEs) serve as fundamental models across science and engineering, yet constructing fast and accurate surrogate models from sparse, irregularly sampled observations with reliable uncertainty quantification remains challenging. Existing approaches struggle to simultaneously handle variable observation patterns, preserve physics consistency, and provide well-calibrated predictive uncertainty. We introduce Bias-Spectrum Neural Processes (BSNP), a unified meta-learning framework that systematically integrates weak structural priors (translation equivariance, locality) with strong physical priors (governing equations and boundary conditions). BSNP addresses two critical obstacles: discretization overfitting through stochastic collocation that resamples residual evaluation points, and uncertainty collapse through mean-field enforcement that applies PDE constraints only to predictive means while preserving learned uncertainty. Comprehensive experiments on nonlinear Poisson equations, Burgers dynamics, and Navier-Stokes flows demonstrate that BSNP achieves superior accuracy and well-calibrated uncertainty quantification in sparse-data regimes.
","absKo":"Parametric partial differential equation (PDE)는 과학과 공학 전반에서 기본적인 model로 기능하지만, sparse하고 불규칙하게 샘플링된 observation으로부터 신뢰할 수 있는 uncertainty quantification과 함께 빠르고 정확한 surrogate model을 구성하는 것은 여전히 어렵다. 기존 접근법은 variable observation pattern을 동시에 처리하고, physics consistency를 보존하며, 잘 보정된 predictive uncertainty를 제공하는 데 어려움을 겪는다. 우리는 약한 structural prior(translation equivariance, locality)와 강한 physical prior(지배 방정식과 boundary condition)를 체계적으로 통합하는 unified meta-learning framework인 Bias-Spectrum Neural Processes (BSNP)를 제안한다. BSNP는 두 가지 중대한 장애를 해결한다. stochastic collocation을 통해 residual evaluation point를 재샘플링함으로써 discretization overfitting을 완화하고, PDE constraint를 predictive mean에만 적용하면서 학습된 uncertainty는 보존하는 mean-field enforcement를 통해 uncertainty collapse를 방지한다. nonlinear Poisson equation, Burgers dynamics, Navier-Stokes flow에 대한 종합 실험은 BSNP가 sparse-data regime에서 우수한 정확도와 잘 보정된 uncertainty quantification을 달성함을 보여준다.
"},{"id":"62147","en":"Set-Preserving Calibration from Conformal P-Values to E-Values","ko":"Conformal P-Value에서 E-Value로의 집합 보존 Calibration","authors":"Nabil Alami, Jad Zakharia, Souhaib Ben Taieb","pos":"#3505","link":"https://openreview.net/forum?id=jNv4sl4YZH","abs":"Standard conformal prediction (CP) procedures are typically formulated in terms of $p$-values, but reliance on $p$-values alone limits flexibility, for example, when combining dependent evidence across models or data splits. Recent work has explored $e$-value formulations for conformal inference, yet a direct connection between $p$- and $e$-value formulations in CP has been missing, especially regarding their statistical efficiency. We first identify limitations of classical p-to-e calibrators in the CP setting, showing that they are not set-preserving and can lead to overly conservative prediction sets. To address this, we propose a novel P2E calibrator that converts conformal $p$-values into $e$-values without altering the prediction set induced by the original conformal $p$-value. We establish both theoretically and empirically that this calibrator yields substantial efficiency gains over existing p-to-e methods. This $e$-value formulation enables principled use of recent advances in $e$-value merging and randomization to improve conformal inference. We demonstrate its impact in two applications: cross-conformal prediction (CCP), whose variants typically provide only approximate $1-2\\alpha$ coverage, and conformal aggregation (CA). In both cases, our $e$-value-based methods achieve exact $1-\\alpha$ coverage while improving efficiency over standard baselines. More broadly, our approach expands the flexibility of CP and opens new directions for efficient, distribution-free uncertainty quantification.","absKo":"표준 conformal prediction (CP) 절차는 일반적으로 $p$-value로 정식화되지만, $p$-value에만 의존하면 예를 들어 모델이나 data split 전반에 걸친 dependent evidence를 결합할 때 유연성이 제한된다. 최근 연구들은 conformal inference를 위한 $e$-value formulation을 탐구해 왔지만, CP에서의 $p$-value와 $e$-value formulation 사이의 직접적인 연결, 특히 통계적 효율성 측면에서의 연결은 아직 부족하다. 우리는 먼저 CP 설정에서 classical p-to-e calibrator의 한계를 식별하고, 그것이 set-preserving이 아니며 지나치게 보수적인 prediction set을 초래할 수 있음을 보인다. 이를 해결하기 위해, 우리는 원래 conformal $p$-value가 유도하는 prediction set을 변경하지 않으면서 conformal $p$-value를 $e$-value로 변환하는 새로운 P2E calibrator를 제안한다. 우리는 이 calibrator가 기존 p-to-e 방법보다 실질적인 효율성 향상을 제공함을 이론적으로와 실험적으로 모두 입증한다. 이 $e$-value formulation은 최근의 $e$-value merging 및 randomization 발전을 원리 있게 활용하여 conformal inference를 향상시키는 길을 연다. 우리는 두 가지 응용, 즉 cross-conformal prediction (CCP)과 conformal aggregation (CA)에서 그 효과를 보인다. 이들 경우, 우리 $e$-value 기반 방법은 표준 baseline보다 효율성을 개선하면서 정확한 $1-\\alpha$ coverage를 달성한다. 더 넓게는, 우리의 접근법은 CP의 유연성을 확장하고 효율적이며 distribution-free uncertainty quantification을 위한 새로운 방향을 연다."},{"id":"63103","en":"Provably Valid Uncertainty Quantification for Deep Computed Tomography","ko":"심층 컴퓨터 단층촬영을 위한 증명 가능하게 유효한 불확실성 정량화","authors":"Matteo Gätzner, Johannes Kirschner","pos":"#3506","link":"https://openreview.net/forum?id=a6vCNSBBeq","abs":"We present a principled framework for uncertainty quantification in computed tomography (CT) reconstruction. Based on the sequential likelihood mixing framework (Kirschner et al., 2025), we establish the first confidence regions with theoretical coverage guarantees for deep learning-based CT reconstructions. In particular, we consider a realistic forward model following the Beer-Lambert law, i.e., a log-linear forward model with Poisson noise, closely reflecting clinical and scientific imaging conditions. The framework is general and applies to both classical algorithms and deep learning reconstruction methods, including U-Nets, U-Net ensembles, and generative Diffusion models. Empirically, we demonstrate that deep reconstruction methods yield substantially tighter confidence regions than classical reconstructions, without sacrificing theoretical coverage guarantees. Our approach allows the detection of hallucinations in reconstructed images and provides interpretable visualizations of confidence regions. This establishes deep models not only as powerful estimators, but also as reliable tools for uncertainty-aware medical imaging.
","absKo":"우리는 computed tomography (CT) reconstruction에서 uncertainty quantification을 위한 원칙적인 framework를 제시한다. sequential likelihood mixing framework (Kirschner et al., 2025)에 기반하여, deep learning-based CT reconstruction을 위한 이론적 coverage guarantee를 갖는 최초의 confidence region을 확립한다. 특히, 우리는 Beer-Lambert law를 따르는 현실적인 forward model, 즉 Poisson noise를 갖는 log-linear forward model을 고려하며, 이는 임상 및 과학적 imaging condition을 밀접하게 반영한다. 이 framework는 일반적이며 U-Net, U-Net ensemble, generative Diffusion model을 포함한 classical algorithm과 deep learning reconstruction method 모두에 적용된다. 실험적으로 우리는 deep reconstruction method가 theoretical coverage guarantee를 희생하지 않으면서 classical reconstruction보다 훨씬 더 타이트한 confidence region을 산출함을 보인다. 우리의 접근은 reconstructed image에서 hallucination을 탐지할 수 있게 하고, confidence region의 해석 가능한 시각화를 제공한다. 이는 deep model을 강력한 estimator일 뿐 아니라 uncertainty-aware medical imaging을 위한 신뢰할 수 있는 도구로도 자리매김하게 한다.
"},{"id":"61754","en":"Probabilistic Retrofitting of Learned Simulators","ko":"학습된 Simulator의 확률적 Retrofitting","authors":"Cristiana Diaconu, Miles Cranmer, Richard E Turner, Tanya Marwah, Payel Mukhopadhyay","pos":"#3507","link":"https://openreview.net/forum?id=nE5g2b8WW5","abs":"Dominant approaches for modelling Partial Differential Equations (PDEs) rely on deterministic predictions, yet many physical systems of interest are inherently chaotic and uncertain. While training probabilistic models from scratch is possible, it is computationally expensive and fails to leverage the significant resources already invested in high-performing deterministic backbones. In this work, we adopt a training-efficient strategy to transform pre-trained deterministic models into probabilistic ones via retrofitting with a proper scoring rule: the Continuous Ranked Probability Score (CRPS). Crucially, this approach is architecture-agnostic: it applies the same adaptation mechanism across distinct model backbones with minimal code modifications. The method proves highly effective across different scales of pre-training: for models trained on single dynamical systems, we achieve $20–54\\%$ reductions in rollout CRPS and up to $30\\%$ improvements in variance-normalised RMSE (VRMSE) relative to compute-matched deterministic fine-tuning. We further validate our approach on a PDE foundation model, trained on multiple systems and retrofitted on the dataset of interest, to show that our probabilistic adaptation yields an improvement of up to $40\\%$ in CRPS and up to $15\\%$ in VRMSE compared to deterministic fine-tuning. Validated across diverse architectures and dynamics, our results show that probabilistic PDE modelling need not require retraining from scratch, but can be unlocked from existing deterministic backbones with modest additional training cost.","absKo":"지배적인 Partial Differential Equations (PDEs) 모델링 접근법은 결정론적 예측에 의존하지만, 관심 대상인 많은 물리계는 본질적으로 혼돈적이고 불확실하다. 처음부터 probabilistic model을 학습하는 것도 가능하지만 계산 비용이 크며, 이미 고성능 deterministic backbone에 투자된 상당한 자원을 활용하지 못한다. 본 연구에서는 proper scoring rule인 Continuous Ranked Probability Score (CRPS)를 이용해 pre-trained deterministic model을 retrofitting함으로써, 이를 probabilistic model로 변환하는 학습 효율적인 전략을 채택한다. 핵심적으로, 이 접근법은 architecture-agnostic하며, 서로 다른 model backbone에 동일한 adaptation mechanism을 최소한의 코드 수정만으로 적용할 수 있다. 이 방법은 서로 다른 pre-training 규모 전반에서 매우 효과적임을 보인다. 단일 dynamical system으로 학습된 model의 경우, compute-matched deterministic fine-tuning 대비 rollout CRPS를 20–54% 줄이고 variance-normalised RMSE (VRMSE)를 최대 30% 개선한다. 또한 여러 system으로 학습된 뒤 관심 데이터셋에 retrofitting한 PDE foundation model에서도 이 probabilistic adaptation이 deterministic fine-tuning보다 CRPS를 최대 40%, VRMSE를 최대 15% 개선함을 확인한다. 다양한 architecture와 dynamics에서 검증한 결과, probabilistic PDE modeling은 처음부터 다시 학습할 필요가 없으며, 기존 deterministic backbone에 소규모 추가 학습 비용만으로도 구현될 수 있음을 보여준다."},{"id":"62862","en":"Learning Credal Ensembles via Distributionally Robust Optimization","ko":"분포 강건 최적화로 Credal 앙상블 학습","authors":"Kaizheng Wang, Ghifari Adam Faza, Fabio Cuzzolin, Siu Lun Chau, David Moens, Hans Hallez","pos":"#3508","link":"https://openreview.net/forum?id=cRTbp2pv7X","abs":"Credal predictors are epistemic-uncertainty-aware models that produce a convex set of probabilistic predictions. They provide a principled framework for quantifying predictive epistemic uncertainty (EU) and have been shown to improve model robustness across a range of settings. However, most state-of-the-art (SOTA) methods primarily define EU as disagreement induced by random training initializations, which mainly reflects sensitivity to optimization randomness rather than uncertainty from more substantive sources. In response, we formulate EU as disagreement between models trained under different degrees of relaxation of the i.i.d. assumption between the training and test distributions. Building on this idea, we propose CreDRO, which learns an ensemble of plausible models via distributionally robust optimization. As a result, CreDRO captures EU arising not only from training randomness but also from informative disagreement due to potential train–test distribution shifts. Empirically, CreDRO consistently outperforms SOTA credal approaches on downstream tasks, including out-of-distribution detection on extensive benchmarks and selective classification in medical settings.
","absKo":"Credal predictor는 epistemic uncertainty를 인식하는 모델로, convex set의 probabilistic prediction을 생성한다. 이들은 predictive epistemic uncertainty (EU)를 정량화하기 위한 원리적인 framework를 제공하며, 다양한 설정에서 model robustness를 향상시키는 것으로 나타났다. 그러나 대부분의 state-of-the-art (SOTA) 방법은 주로 EU를 random training initialization으로 유도되는 disagreement로 정의하는데, 이는 더 본질적인 원천에서 비롯된 uncertainty라기보다 optimization randomness에 대한 민감성을 주로 반영한다. 이에 대응하여, 우리는 EU를 training distribution과 test distribution 사이의 i.i.d. 가정이 서로 다른 수준으로 완화된 상태에서 학습된 모델 간의 disagreement로 정식화한다. 이 아이디어를 바탕으로, 우리는 distributionally robust optimization을 통해 plausible model의 ensemble을 학습하는 CreDRO를 제안한다. 그 결과 CreDRO는 training randomness에서 비롯된 EU뿐 아니라 잠재적인 train-test distribution shift로 인한 informative disagreement까지 포착한다. 실증적으로 CreDRO는 광범위한 benchmark에서의 out-of-distribution detection과 medical setting에서의 selective classification을 포함한 downstream task에서 SOTA credal approach를 일관되게 능가한다.
"},{"id":"61182","en":"General Synthetic-Powered Inference","ko":"일반 Synthetic-Powered Inference","authors":"Meshi Bashari, Yonghoon Lee, Roy Lotan, Edgar Dobriban, Yaniv Romano","pos":"#3509","link":"https://openreview.net/forum?id=sxLncu2Fhx","abs":"The rapid proliferation of high-quality synthetic data---generated by advanced AI models or collected as auxiliary data from related tasks---presents both opportunities and challenges for statistical inference. This paper introduces a GEneral Synthetic-Powered Inference (GESPI) framework that wraps around any statistical inference procedure to safely enhance sample efficiency by combining synthetic and real data. Our framework leverages high-quality synthetic data to boost statistical power, yet adaptively defaults to the standard method using only real data when synthetic data are of low quality. The error rate of our method remains below a user-specified bound without any distributional assumptions on the synthetic data, and decreases as the quality of the synthetic data improves. This flexibility enables seamless integration with conformal prediction, risk control, hypothesis testing, and multiple testing procedures, all without modifying the base inference method. We demonstrate the benefits of our method on challenging tasks with limited labeled data, including AlphaFold protein structure prediction, and comparing large reasoning models on complex math problems.
","absKo":"고품질 synthetic data의 빠른 확산---advanced AI models에 의해 생성되거나 관련 task에서 auxiliary data로 수집된 data---은 statistical inference에 기회와 도전을 동시에 제시한다. 본 논문은 synthetic data와 real data를 결합해 sample efficiency를 안전하게 향상시키기 위해, 어떤 statistical inference procedure에도 외부에서 감싸서 적용할 수 있는 GEneral Synthetic-Powered Inference (GESPI) framework를 제안한다. 우리의 framework는 고품질 synthetic data를 활용해 statistical power를 높이되, synthetic data의 품질이 낮을 때는 real data만 사용하는 standard method로 adaptive하게 되돌아간다. synthetic data에 대해 어떠한 distributional assumption도 두지 않은 상태에서, 우리의 method의 error rate는 사용자가 지정한 bound 아래에 머무르며, synthetic data의 quality가 좋아질수록 감소한다. 이러한 유연성은 base inference method를 수정하지 않고도 conformal prediction, risk control, hypothesis testing, 그리고 multiple testing procedures와의 seamless integration을 가능하게 한다. 우리는 AlphaFold protein structure prediction과 복잡한 수학 문제에서 large reasoning models를 비교하는 것을 포함해 labeled data가 제한된 까다로운 task에서 본 method의 이점을 보인다.
"},{"id":"64154","en":"Bulk-Calibrated Credal Ambiguity Sets: Fast, Tractable Decision Making under Out-of-Sample Contamination","ko":"벌크 보정된 크리달 모호성 집합: 표본 외 오염 하에서 빠르고 다루기 쉬운 의사결정","authors":"Mengqi Chen, Thomas Berrett, Theodoros Damoulas, Michele Caprio","pos":"#3511","link":"https://openreview.net/forum?id=QO82qIzEsP","abs":"Distributionally robust optimisation (DRO) minimises the worst-case expected loss over an ambiguity set that can capture distributional shifts in out-of-sample environments. While Huber (linear-vacuous) contamination is a classical minimal-assumption model for an $\\varepsilon$-fraction of arbitrary perturbations, including it in an ambiguity set can make the worst-case risk infinite and the DRO objective vacuous unless one imposes strong boundedness or support assumptions. We address these challenges by introducing bulk-calibrated credal ambiguity sets: we learn a high-mass bulk set from data while considering contamination inside the bulk and bounding the remaining tail contribution separately. This leads to a closed-form, finite $\\mathrm{mean}+\\sup$ robust objective and tractable linear or second-order cone programs for common losses and bulk geometries. Through this framework, we highlight and exploit the equivalence between the imprecise probability (IP) notion of upper expectation and the worst-case risk, demonstrating how IP credal sets translate into DRO objectives with interpretable tolerance levels. Experiments on heavy-tailed inventory control, geographically shifted house-price regression, and demographically shifted text classification show competitive robustness-accuracy trade-offs and efficient optimisation times, using Bayesian, frequentist, or empirical reference distributions.","absKo":"Distributionally robust optimisation(DRO)는 out-of-sample 환경에서의 distributional shift를 포착할 수 있는 ambiguity set에 대해 최악의 경우 기대 손실을 최소화한다. Huber(linear-vacuous) contamination은 임의의 perturbation이 $\\varepsilon$ 비율로 존재할 수 있음을 가정하는 고전적 최소 가정 모델이지만, 이를 ambiguity set에 포함하면 boundedness나 support에 대한 강한 가정 없이는 worst-case risk가 무한대가 되어 DRO objective가 무의미해질 수 있다. 우리는 bulk-calibrated credal ambiguity set을 도입하여 이러한 문제를 해결한다: 데이터로부터 높은 질량을 갖는 bulk set을 학습하고, bulk 내부의 contamination을 고려하는 동시에 나머지 tail 기여를 별도로 상한한다. 그 결과 일반적인 loss와 bulk geometry에 대해 닫힌 형식의 유한한 $\\mathrm{mean}+\\sup$ robust objective와 다루기 쉬운 linear 또는 second-order cone program이 도출된다. 이 프레임워크를 통해 우리는 imprecise probability(IP)의 upper expectation 개념과 worst-case risk 사이의 동치를 강조하고 활용하며, IP credal set이 어떻게 해석 가능한 tolerance level을 갖는 DRO objective로 변환되는지 보여준다. Bayesian, frequentist, 또는 empirical reference distribution을 사용한 heavy-tailed inventory control, 지리적으로 이동한 house-price regression, 인구통계적으로 이동한 text classification 실험은 강건성-정확도 trade-off와 효율적인 optimization time 측면에서 경쟁력 있는 성능을 보인다."},{"id":"62122","en":"Transformers Can Learn Posterior Predictive Distributions In-Context","ko":"Transformer는 In-Context로 사후예측분포를 학습할 수 있다","authors":"Gyeonghun Kang, Changwoo Lee, Xiang Cheng","pos":"#3512","link":"https://openreview.net/forum?id=jfKliftgkl","abs":"Prior-data fitted networks (PFNs) have recently emerged as a powerful approach for Bayesian prediction tasks, approximating the posterior predictive distribution (PPD) through in-context learning. Despite their strong empirical performance and ability to go beyond point predictions, theoretical understandings of the algorithmic capability of transformers to learn distributions in context are still lacking. Focusing on Gaussian process regression problems, we show by construction that transformers can implement a gradient descent algorithm targeting the posterior predictive mean and variance, followed by nonlinear mappings that yield binned probabilities of PPD. We study the error bounds of the approximated PPD in terms of attention depth and bin resolution. Based on these results, we further demonstrate the key role of normalization and the choice of attention depth in enabling the extrapolation abilities of transformers beyond the pretraining sample size range. We conduct simulations that corroborate our findings, providing insight into the expressivity of PFNs targeting PPDs and how architectural choices may influence generalization capabilities.
","absKo":"Prior-data fitted network(PFN)은 Bayesian prediction task를 위한 강력한 접근법으로 최근 주목받고 있으며, in-context learning을 통해 posterior predictive distribution(PPD)을 근사한다. 강한 empirical performance와 point prediction을 넘어서는 능력에도 불구하고, transformer가 context 내에서 distribution을 학습하는 algorithmic capability에 대한 이론적 이해는 여전히 부족하다. Gaussian process regression 문제에 초점을 맞춰, 우리는 transformer가 posterior predictive mean과 variance를 목표로 하는 gradient descent algorithm을 구현하고, 이어서 PPD의 binned probability를 산출하는 nonlinear mapping을 수행할 수 있음을 구성적으로 보인다. 우리는 attention depth와 bin resolution 측면에서 근사된 PPD의 error bound를 연구한다. 이 결과를 바탕으로, pretraining sample size 범위를 넘어서는 transformer의 extrapolation 능력을 가능하게 하는 데 있어 normalization과 attention depth 선택의 핵심 역할을 추가로 입증한다. 우리는 이러한 발견을 뒷받침하는 simulation을 수행하여, PPD를 목표로 하는 PFN의 expressivity와 architecture choice가 generalization capability에 어떤 영향을 미칠 수 있는지에 대한 통찰을 제공한다.
"},{"id":"61587","en":"On the Epistemic Uncertainty of Overparametrized Neural Networks","ko":"Overparametrized Neural Networks의 Epistemic Uncertainty에 관하여","authors":"David Rügamer","pos":"#3513","link":"https://openreview.net/forum?id=oiMjaUbSWp","abs":"Epistemic uncertainty is often viewed as a reducible uncertainty that vanishes with increasing data. This perspective implicitly assumes parameter identifiability and equates epistemic uncertainty with predictive variability. In overparametrized neural networks, however, model parameters are typically non-identifiable due to symmetries and redundant representations. As a consequence, substantial parameter uncertainty can persist even when the underlying function is fully identified. In this work, we analyze epistemic uncertainty through the lens of non-identifiability, characterize both discrete and continuous sources of residual uncertainty, and show that these can be measured using a variance-based decomposition. Focusing on one-hidden-layer ReLU networks, we thoroughly analyze the resulting posterior structure and validate our theoretical insights through empirical studies.
","absKo":"epistemic uncertainty는 종종 데이터가 늘어날수록 사라지는 reducible uncertainty로 여겨진다. 이러한 관점은 암묵적으로 parameter identifiability를 가정하고, epistemic uncertainty를 predictive variability와 동일시한다. 그러나 overparametrized neural network에서는 symmetry와 redundant representation 때문에 model parameter가 대개 non-identifiable하다. 그 결과, underlying function이 완전히 식별되더라도 상당한 parameter uncertainty가 지속될 수 있다. 본 연구에서는 non-identifiability의 관점에서 epistemic uncertainty를 분석하고, residual uncertainty의 discrete 및 continuous source를 모두 특성화하며, variance-based decomposition을 통해 이를 측정할 수 있음을 보인다. one-hidden-layer ReLU network에 초점을 맞추어, 이에 따른 posterior structure를 면밀히 분석하고 empirical study를 통해 이론적 통찰을 검증한다."},{"id":"61901","en":"Minimum Distance Summaries for Robust Neural Posterior Estimation","ko":"강건한 Neural Posterior Estimation을 위한 Minimum Distance Summary","authors":"Sherman Khoo, Dennis Prangle, Song Liu, Mark Beaumont","pos":"#3613","link":"https://openreview.net/forum?id=lq8fNVME8v","abs":"Simulation-based inference (SBI) enables amortized Bayesian inference by first training a neural posterior estimator (NPE) on prior-simulator pairs, typically through low-dimensional summary statistics, which can then be cheaply reused for fast inference by querying it on new test observations. Because NPE is estimated under the training data distribution, it is susceptible to misspecification when observations deviate from the training distribution. Many robust SBI approaches address this by modifying NPE training or introducing error models, coupling robustness to the inference network and compromising amortization and modularity. We introduce minimum-distance summaries, a plug-in robust NPE method that adapts queried test-time summaries independently of the pretrained NPE. Leveraging the maximum mean discrepancy (MMD) as a distance between observed data and a summary-conditional predictive distribution, the adapted summary inherits strong robustness properties from the MMD. We demonstrate that the algorithm can be implemented efficiently with random Fourier feature approximations, yielding a lightweight, model-free test-time adaptation procedure. We provide theoretical guarantees for the robustness of our algorithm and empirically evaluate it on a range of synthetic and real-world tasks, demonstrating substantial robustness gains with minimal additional overhead.
","absKo":"Simulation-based inference(SBI)는 prior-simulator pair로 neural posterior estimator(NPE)를 먼저 학습한 뒤, 일반적으로 저차원 summary statistic을 통해 이를 amortized Bayesian inference로 활용함으로써, 새로운 test observation에 질의하는 방식으로 빠른 inference를 저비용으로 재사용할 수 있게 한다. NPE는 training data distribution 하에서 추정되므로, observation이 training distribution에서 벗어날 때 misspecification에 취약하다. 많은 robust SBI 접근법은 NPE 학습을 수정하거나 error model을 도입하여 이를 해결하는데, 이 경우 robustness가 inference network에 결합되어 amortization과 modularity를 해친다. 우리는 minimum-distance summaries를 제안한다. 이는 사전학습된 NPE와 독립적으로 질의 시점의 test summary를 적응시키는 plug-in robust NPE 방법이다. observed data와 summary-conditional predictive distribution 사이의 distance로 maximum mean discrepancy(MMD)를 활용함으로써, 적응된 summary는 MMD로부터 강한 robustness 특성을 이어받는다. 우리는 random Fourier feature approximation을 사용해 이 algorithm을 효율적으로 구현할 수 있음을 보이며, lightweight하고 model-free한 test-time adaptation procedure를 제공한다. 또한 알고리즘의 robustness에 대한 이론적 보장을 제시하고, 다양한 synthetic 및 real-world task에서 실험적으로 평가하여 최소한의 추가 오버헤드로 상당한 robustness 향상을 보임을 입증한다.
"},{"id":"65522","en":"Beyond Softmax: A Natural Parameterization for Categorical Random Variables","ko":"Softmax를 넘어서: 범주형 확률 변수를 위한 자연 매개변수화","authors":"Alessandro Manenti, Cesare Alippi","pos":"#3806","link":"https://openreview.net/forum?id=ClBpWdkPZd","abs":"Latent categorical variables are frequently found in deep learning architectures. They can model actions in discrete reinforcement-learning environments, represent categories in latent-variable models, or express relations in graph neural networks. Despite their widespread use, their discrete nature poses significant challenges to gradient-descent learning algorithms. While a substantial body of work has offered improved gradient estimation techniques, we take a complementary approach. Specifically, we: 1) revisit the ubiquitous softmax function and demonstrate its limitations from an information-geometric perspective; 2) replace the softmax with the catnat function, a function composed by a sequence of hierarchical binary splits; we prove that this choice offers significant advantages to gradient descent due to the resulting diagonal Fisher Information Matrix. A rich set of experiments - including graph structure learning, variational autoencoders, and reinforcement learning - empirically show that the proposed function improves the learning efficiency and yields models characterized by consistently higher test performance. Catnat is simple to implement and seamlessly integrates into existing codebases. Moreover, it remains compatible with standard training stabilization techniques and, as such, offers a better alternative to the softmax function.
","absKo":"잠재 categorical variable은 deep learning architecture에서 자주 발견된다. 이들은 discrete reinforcement-learning environment에서 action을 모델링하거나, latent-variable model에서 category를 나타내거나, graph neural network에서 관계를 표현할 수 있다. 이처럼 널리 사용됨에도 불구하고, 이들의 discrete한 특성은 gradient-descent learning algorithm에 중대한 도전 과제를 제시한다. 많은 연구가 개선된 gradient estimation 기법을 제안해 왔지만, 우리는 보완적인 접근을 취한다. 구체적으로, 1) 널리 쓰이는 softmax 함수를 재검토하고 information-geometric 관점에서 그 한계를 보인다. 2) softmax를 계층적 이진 분할(hierarchical binary splits)의 순서로 구성된 catnat 함수로 대체한다. 우리는 이 선택이 그 결과로 생기는 diagonal Fisher Information Matrix 덕분에 gradient descent에 상당한 이점을 제공함을 증명한다. graph structure learning, variational autoencoder, reinforcement learning을 포함한 다양한 실험은 제안한 함수가 learning efficiency를 향상시키고 일관되게 더 높은 test performance를 갖는 모델을 만든다는 것을 실증적으로 보여준다. Catnat은 구현이 간단하며 기존 코드베이스에 매끄럽게 통합된다. 또한 standard training stabilization technique과도 호환되므로, softmax 함수의 더 나은 대안이 된다.
"},{"id":"68707","en":"Zono-Conformal Prediction: Zonotope-Based Uncertainty Quantification for Regression and Classification Tasks","ko":"Zono-Conformal Prediction: 회귀 및 분류 태스크를 위한 Zonotope 기반 불확실성 정량화","authors":"Laura Lützow, Michael Eichelbeck, Mykel Kochenderfer, Matthias Althoff","pos":"#4501","abs":"Conformal prediction is a popular uncertainty quantification method that augments a base predictor to return sets of predictions with statistically valid coverage guarantees. However, current methods are often computationally expensive and data-intensive, as they require constructing an uncertainty model before calibration. Moreover, existing approaches typically represent the prediction sets with intervals, which limits their ability to capture dependencies in multi-dimensional outputs. We address these limitations by introducing zono-conformal prediction, a novel approach inspired by interval predictor models and reachset-conformant identification that constructs prediction zonotopes with assured coverage. By placing zonotopic uncertainty sets directly into the model of the base predictor, zono-conformal predictors can be identified via a single, data-efficient linear program. While we can apply zono-conformal prediction to arbitrary nonlinear base predictors, we focus on feed-forward neural networks in this work. Aside from regression tasks, we also construct optimal zono-conformal predictors in classification settings where the output of an uncertain predictor is a set of possible classes. We provide probabilistic coverage guarantees and present methods for detecting outliers in the identification data. In extensive numerical experiments, we show that zono-conformal predictors are less conservative than interval predictor models and standard conformal prediction methods, while achieving a similar coverage over the test data.
","absKo":"Conformal prediction은 기준 예측기(base predictor)를 확장하여 통계적으로 유효한 coverage 보장을 갖는 prediction set을 반환하는 널리 쓰이는 uncertainty quantification 방법이다. 그러나 기존 방법들은 불확실성 모델을 calibration 전에 구성해야 하므로 대체로 계산 비용이 크고 데이터도 많이 필요하다. 더구나 기존 접근법은 보통 prediction set을 interval로 표현하는데, 이는 다차원 출력에서 의존성을 포착하는 능력을 제한한다. 우리는 interval predictor model과 reachset-conformant identification에서 영감을 받은 새로운 접근법인 zono-conformal prediction을 도입하여 이러한 한계를 해결한다. 이 방법은 coverage가 보장된 prediction zonotope을 구성한다. zonotopic uncertainty set을 base predictor의 model 안에 직접 넣음으로써, zono-conformal predictor는 단 하나의 데이터 효율적인 linear program을 통해 식별될 수 있다. 본 연구에서는 zono-conformal prediction을 임의의 비선형 base predictor에 적용할 수 있지만, 초점은 feed-forward neural network에 맞춘다. 회귀 과제뿐 아니라, 출력이 가능한 class들의 집합인 불확실한 predictor의 output을 갖는 classification 설정에서도 최적의 zono-conformal predictor를 구성한다. 우리는 probabilistic coverage 보장을 제시하고 identification data에서 outlier를 탐지하는 방법을 제공한다. 광범위한 수치 실험에서 zono-conformal predictor가 interval predictor model과 표준 conformal prediction 방법보다 덜 보수적이면서도 테스트 데이터에서 유사한 coverage를 달성함을 보인다.
"},{"id":"61043","en":"From Individual Calibration to Reliable Classifiers: ALD Parameterization with mPAIC Guarantees","ko":"개별 Calibration에서 신뢰할 수 있는 Classifier로: mPAIC 보장을 갖춘 ALD Parameterization","authors":"Deming Sheng, Ricardo Henao","pos":"#4502","link":"https://openreview.net/forum?id=uFRkrPYq2D","abs":"Modern neural classifiers can achieve remarkable predictive performance, yet often suffer from miscalibration. In this paper, we introduce a unified calibration framework applicable to arbitrary distribution-based classifiers. The proposed calibration objective guarantees a monotone Probably Approximately Individually Calibrated (mPAIC) predictor, which theoretically implies the properties of a Probably Approximately Calibrated Classifier (PACC) with explicit error bounds. To enable stable and effective optimization, we further devise a Decoupled Dual-Stream Optimization (DDSO) strategy with gradient detachment to reconcile discriminative representation learning and continuous calibration. Notably, our framework bridges calibration paradigms, supporting flexible deployment either as an end-to-end pre-calibration objective or as a lightweight post-calibration adapter. Extensive experiments across nine real-world datasets demonstrate that our approach consistently outperforms strong baselines, achieving superior performance on both accuracy and multi-level calibration.
","absKo":"현대의 neural classifier는 놀라운 예측 성능을 달성할 수 있지만, 종종 miscalibration 문제를 겪는다. 본 논문에서는 임의의 distribution-based classifier에 적용 가능한 통합 calibration framework를 제안한다. 제안하는 calibration objective는 monotone Probably Approximately Individually Calibrated (mPAIC) predictor를 보장하며, 이는 이론적으로 명시적 error bound를 갖는 Probably Approximately Calibrated Classifier (PACC)의 성질을 함의한다. 안정적이고 효과적인 최적화를 위해, 우리는 discriminative representation learning과 continuous calibration을 조화시키기 위한 gradient detachment를 포함하는 Decoupled Dual-Stream Optimization (DDSO) 전략을 추가로 고안한다. 특히, 우리의 framework는 calibration paradigm 사이를 연결하여, end-to-end pre-calibration objective로도, 경량 post-calibration adapter로도 유연하게 배포할 수 있다. 9개의 실제 데이터셋 전반에 걸친 광범위한 실험은 우리의 접근이 강력한 baseline을 일관되게 능가하며, accuracy와 다중 수준 calibration 모두에서 우수한 성능을 달성함을 보여준다.
"},{"id":"61667","en":"Conformal Calibration Transfer","ko":"Conformal 보정 전이","authors":"Achref Doula","pos":"#4503","link":"https://openreview.net/forum?id=nw5aekrzBa","abs":"Conformal prediction converts point predictions into set-valued predictions with coverage guarantees under exchangeability between calibration and deployment data. We study conformal calibration transfer, where this requirement fails because labeled calibration is available only in a source space, while prediction sets are needed in a target space linked to the source through unlabeled paired observations (e.g., paired modalities or sensor changes). We propose Transported Conformal Calibration (TCC): we transport labeled source calibration into the target space using the paired data, and then correct residual post-transport mismatch using only unlabeled target inputs. We instantiate this correction with two complementary methods: TCC-KS, which uses a label-free uncertainty surrogate to detect mismatch and adjust calibration conservatively, and weighted-TCC, which reweights transported calibration toward the target domain for improved efficiency when weights are stable. We provide finite-sample target-domain coverage guarantees that adapt to an observable measure of mismatch. Across CIFAR-100-C, Tiny-ImageNet-C, and SEN12MS, we show reliable target-domain coverage transfer without labeled target calibration data, with label-free diagnostics that predict when correction is needed.
","absKo":"Conformal prediction은 calibration 데이터와 deployment 데이터 사이의 exchangeability 하에서 coverage guarantee를 갖는 set-valued prediction으로 point prediction을 변환합니다. 우리는 conformal calibration transfer를 연구하는데, 이 경우 labeled calibration은 source space에서만 가능하고, prediction set은 source와 unlabeled paired observation(예: paired modality 또는 sensor change)으로 연결된 target space에서 필요하기 때문에 이 요구가 성립하지 않습니다. 우리는 Transported Conformal Calibration (TCC)을 제안합니다. paired data를 사용하여 labeled source calibration을 target space로 transport한 뒤, unlabeled target input만을 사용해 transport 후 남는 mismatch를 보정합니다. 우리는 이 보정을 두 가지 상보적인 방법으로 구현합니다. TCC-KS는 label-free uncertainty surrogate를 사용하여 mismatch를 감지하고 calibration을 보수적으로 조정하며, weighted-TCC는 가중치가 안정적일 때 효율성을 향상시키기 위해 transported calibration을 target domain 쪽으로 재가중합니다. 우리는 관찰 가능한 mismatch measure에 적응하는 finite-sample target-domain coverage guarantee를 제공합니다. CIFAR-100-C, Tiny-ImageNet-C, SEN12MS 전반에서, labeled target calibration data 없이도 신뢰할 수 있는 target-domain coverage transfer를 보였으며, label-free diagnostic은 보정이 필요한 시점을 예측합니다.
"},{"id":"60741","en":"Beyond Static Pipelines: Learning Dynamic Workflows for Text-to-SQL","ko":"정적 Pipeline을 넘어: Text-to-SQL을 위한 동적 Workflow 학습","authors":"Yihan Wang, Peiyu Liu, Runyu Chen, Wei Xu","pos":"#109","link":"https://openreview.net/forum?id=x2CHpqD6L8","abs":"Text-to-SQL has recently achieved impressive progress, yet remains difficult to apply effectively in real-world scenarios. This gap stems from the reliance on single static workflows, fundamentally limiting scalability to out-of-distribution and long-tail scenarios. Instead of requiring users to select suitable methods through extensive experimentation, we attempt to enable systems to adaptively construct workflows at inference time. Through rigorous theoretical and empirical analysis, we demonstrate that optimal dynamic policies consistently outperform the best static workflow, with performance gains fundamentally driven by heterogeneity across candidate workflows. Motivated by this, we propose SquRL, a reinforcement learning framework that enhances LLMs' reasoning capability in adaptive workflow construction. We design a rule-based reward function and introduce two effective training mechanisms: dynamic actor masking to encourage broader exploration, and pseudo rewards to improve training efficiency. Experiments on widely-used Text-to-SQL benchmarks demonstrate that dynamic workflow construction consistently outperforms the best static workflow methods, with especially pronounced gains on complex and out-of-distribution queries.
","absKo":"Text-to-SQL은 최근 인상적인 진전을 이루었지만, 실제 환경에서 효과적으로 적용하기에는 여전히 어렵다. 이러한 격차는 단일 static workflow에 의존하는 데서 비롯되며, 이는 out-of-distribution 및 long-tail 시나리오로의 확장성을 근본적으로 제한한다. 방대한 실험을 통해 적절한 방법을 사용자가 선택하도록 요구하는 대신, 우리는 시스템이 inference time에 workflow를 적응적으로 구성하도록 하는 것을 목표로 한다. 엄밀한 이론적 및 실증적 분석을 통해, 최적의 dynamic policy가 항상 가장 좋은 static workflow를 능가하며, 성능 향상은 본질적으로 후보 workflow들 간의 이질성에 의해 주도됨을 보인다. 이를 바탕으로, 우리는 LLM의 적응적 workflow 구성 능력을 향상시키는 reinforcement learning framework인 SquRL을 제안한다. 우리는 rule-based reward function을 설계하고, 더 넓은 exploration을 유도하기 위한 dynamic actor masking과 학습 효율을 높이기 위한 pseudo rewards라는 두 가지 효과적인 training mechanism을 도입한다. 널리 사용되는 Text-to-SQL benchmark에서의 실험은 dynamic workflow construction이 가장 좋은 static workflow method를 일관되게 능가하며, 특히 복잡하고 out-of-distribution인 query에서 두드러진 향상을 보임을 입증한다.
"},{"id":"65018","en":"Adaptive Multi-Round Allocation with Stochastic Arrivals","ko":"확률적 도착을 활용한 적응적 Multi-Round 할당","authors":"Yuqi Pan, Davin Choo, Haichuan Wang, Milind Tambe, Alastair van Heerden, Cheryl Johnson","pos":"#112","link":"https://openreview.net/forum?id=HigEPnWgLQ","abs":"We study a sequential resource allocation problem motivated by adaptive network recruitment, in which a limited budget of identical resources must be allocated over multiple rounds to individuals with stochastic referral capacity. Successful referrals endogenously generate future decision opportunities while allocating additional resources to an individual exhibits diminishing returns. We first show that the single-round allocation problem admits an exact greedy solution based on marginal survival probabilities. In the multi-round setting, the resulting Bellman recursion is intractable due to the stochastic, high-dimensional evolution of the frontier. To address this, we introduce a population-level surrogate value function that depends only on the remaining budget and frontier size. This surrogate enables an exact dynamic program via truncated probability generating functions, yielding a planning algorithm with polynomial complexity in the total budget. We further analyze robustness under model misspecification, proving a multi-round error bound that decomposes into a tight single-round frontier error and a population-level transition error. Finally, we evaluate our method on synthetic and real-world recruitment scenarios.
","absKo":"우리는 adaptive network recruitment에서 동기된 sequential resource allocation 문제를 연구한다. 이 문제에서는 동일한 resource의 제한된 budget을 여러 round에 걸쳐 stochastic referral capacity를 지닌 개인들에게 할당해야 한다. 성공적인 referral은 미래의 decision opportunity를 endogenous하게 생성하는 반면, 개인에게 추가 resource를 할당하는 것은 diminishing returns를 보인다. 우리는 먼저 단일 round allocation problem이 marginal survival probability에 기반한 exact greedy solution을 허용함을 보인다. multi-round setting에서는, frontier의 stochastic하고 고차원적인 진화 때문에 resulting Bellman recursion이 intractable하다. 이를 해결하기 위해, 남은 budget과 frontier size에만 의존하는 population-level surrogate value function을 도입한다. 이 surrogate는 truncated probability generating function을 통해 exact dynamic program을 가능하게 하며, 총 budget에 대해 polynomial complexity를 갖는 planning algorithm을 제공한다. 또한 model misspecification 하에서의 robustness를 분석하여, multi-round error bound가 tight한 single-round frontier error와 population-level transition error로 분해됨을 증명한다. 마지막으로 synthetic 및 real-world recruitment scenario에서 우리의 방법을 평가한다.
"},{"id":"68801","en":"Reinforcement Learning from Bagged Reward","ko":"Bagged Reward로부터의 강화학습","authors":"Yuting Tang, Xin-Qiang Cai, Yao-Xiang Ding, Qiyu Wu, Guoqing Liu, Masashi Sugiyama","pos":"#113","abs":"In Reinforcement Learning (RL), it is commonly assumed that an immediate reward signal is generated for each action taken by the agent, helping the agent maximize cumulative rewards to obtain the optimal policy. However, in many real-world scenarios, designing immediate reward signals is difficult; instead, agents receive a single reward that is contingent upon a partial sequence or a complete trajectory. In this work, we define this challenging problem as RL from Bagged Reward (RLBR), where sequences of data are treated as bags with non-Markovian bagged rewards, leading to the formulation of Bagged Reward Markov Decision Processes (BRMDPs). Theoretically, we demonstrate that RLBR can be addressed by solving a standard MDP with properly redistributed bagged rewards allocated to each instance within a bag. Empirically, we find that reward redistribution becomes more challenging as the bag length increases, due to reduced informational granularity. Existing reward redistribution methods are insufficient to address these challenges. Therefore, we propose a novel reward redistribution method equipped with a bidirectional attention mechanism, enabling the accurate interpretation of contextual nuances and temporal dependencies within each bag. We experimentally demonstrate that the proposed method consistently outperforms existing approaches.
","absKo":"Reinforcement Learning (RL)에서는 일반적으로 에이전트가 취한 각 action마다 즉각적인 reward signal이 생성되어, 에이전트가 누적 reward를 최대화하여 최적 policy를 얻는 데 도움이 된다고 가정한다. 그러나 많은 실제 시나리오에서는 즉각적인 reward signal을 설계하기가 어렵고, 대신 에이전트는 부분 sequence 또는 complete trajectory에 조건부인 단일 reward를 받는다. 본 연구에서는 이러한 어려운 문제를 RL from Bagged Reward (RLBR)로 정의하며, 데이터 sequence를 non-Markovian bagged reward를 갖는 bag로 취급함으로써 Bagged Reward Markov Decision Processes (BRMDPs)를 정식화한다. 이론적으로 우리는 RLBR이 bag 내 각 instance에 적절히 재분배된 bagged reward를 할당한 표준 MDP를 푸는 것으로 해결될 수 있음을 보인다. 실증적으로는 bag 길이가 증가할수록 정보의 세분성이 줄어들기 때문에 reward redistribution이 더 어려워진다는 사실을 확인한다. 기존 reward redistribution 방법들은 이러한 문제를 해결하기에 충분하지 않다. 따라서 우리는 각 bag 내부의 맥락적 뉘앙스와 시간적 의존성을 정확하게 해석할 수 있도록 bidirectional attention mechanism을 갖춘 새로운 reward redistribution 방법을 제안한다. 실험을 통해 제안한 방법이 기존 접근법보다 일관되게 우수함을 보인다.
"},{"id":"65623","en":"Online Rubrics Elicitation from Pairwise Comparisons","ko":"쌍대 비교로부터의 온라인 루브릭 도출","authors":"MohammadHossein Rezaei, Robert Vacareanu, Zihao Wang, Clinton Wang, Bing Liu, Yunzhong He, Afra Feyza Akyürek","pos":"#114","link":"https://openreview.net/forum?id=BjypaSs3sS","abs":"Rubrics provide a flexible way to train LLMs on open-ended long-form answers where verifiable rewards are not applicable and human preferences provide coarse signals. Prior work shows that reinforcement learning with rubric-based rewards leads to consistent gains in LLM post-training. Most existing approaches rely on rubrics that remain static over the course of training. Such static rubrics, however, are vulnerable to reward-hacking type behaviors and fail to capture emergent desiderata that arise during training. We introduce Online Rubrics Elicitation (OnlineRubrics), a method that dynamically curates evaluation criteria in an online manner through pairwise comparisons of responses from current and reference policies. This online process enables continuous identification and mitigation of errors as training proceeds. Empirically, this approach yields consistent improvements of up to 8% over training exclusively with static rubrics across AlpacaEval, GPQA, ArenaHard as well as the validation sets of expert questions and rubrics. We qualitatively analyze the elicited criteria and identify prominent themes such as transparency, practicality, organization, and reasoning.
","absKo":"Rubric은 verifiable reward를 적용하기 어렵고 human preference가 거친 신호만 제공하는 open-ended long-form answer에 대해 LLM을 학습시키는 유연한 방법을 제공한다. 선행 연구는 rubric-based reward를 이용한 reinforcement learning이 LLM post-training에서 일관된 성능 향상을 이끈다는 것을 보여준다. 대부분의 기존 접근법은 학습 내내 정적인 rubric에 의존한다. 그러나 이러한 정적 rubric은 reward-hacking 유형의 행동에 취약하며, 학습 중에 새롭게 등장하는 desiderata를 포착하지 못한다. 우리는 현재 policy와 reference policy의 response를 pairwise comparison하여 평가 기준을 online 방식으로 동적으로 선별하는 방법인 Online Rubrics Elicitation (OnlineRubrics)을 소개한다. 이 online 과정은 학습이 진행되는 동안 오류를 지속적으로 식별하고 완화할 수 있게 한다. 실험적으로 이 접근법은 AlpacaEval, GPQA, ArenaHard뿐 아니라 expert question과 rubric의 validation set 전반에서 오직 static rubric만 사용해 학습할 때보다 최대 8%까지 일관된 향상을 보인다. 우리는 elicited criteria를 정성적으로 분석하고 transparency, practicality, organization, reasoning과 같은 두드러진 주제를 식별한다.
"},{"id":"68792","en":"Comparing Deterministic and Soft Policy Gradients for Optimizing Gaussian Mixture Actors","ko":"Gaussian Mixture Actor 최적화를 위한 결정적 및 Soft Policy Gradient 비교","authors":"Sheelabhadra Dey, Guni Sharon","pos":"#115","abs":"Gaussian Mixture Models (GMMs) have been recently proposed for approximating actors in actor-critic reinforcement learning algorithms. Such GMM-based actors are commonly optimized using stochastic policy gradients along with an entropy maximization objective. In contrast to previous work, we define and study deterministic policy gradients for optimizing GMM-based actors. Similar to stochastic gradient approaches, our proposed method, denoted $\\textit{Gaussian Mixture Deterministic Policy Gradient}$ (Gamid-PG), encourages policy entropy maximization. To this end, we define the GMM entropy gradient using $\\textit{Variational Approximation}$ of the $KL$-divergence between the GMM's constituting Gaussians. We compare Gamid-PG with common stochastic policy gradient methods on benchmark dense-reward MuJoCo tasks and sparse-reward Fetch tasks. We observe that Gamid-PG outperforms stochastic gradient-based methods in 3/6 MuJoCo tasks while performing similarly on the remaining 3 tasks. In the Fetch tasks, Gamid-PG outperforms single-actor deterministic gradient-based methods while performing worse than stochastic policy gradient methods. Consequently, we conclude that GMMs optimized using deterministic policy gradients (1) should be favorably considered over stochastic gradients in dense-reward continuous control tasks, and (2) improve upon single-actor deterministic gradients.","absKo":"Gaussian Mixture Models (GMMs)은 최근 actor-critic reinforcement learning 알고리즘에서 actor를 근사하기 위한 방법으로 제안되었다. 이러한 GMM-based actor는 일반적으로 entropy 최대화 목적과 함께 stochastic policy gradient를 사용해 최적화된다. 기존 연구와 달리, 우리는 GMM-based actor를 최적화하기 위한 deterministic policy gradient를 정의하고 이를 연구한다. stochastic gradient 접근법과 유사하게, 우리가 제안하는 방법인 \\textit{Gaussian Mixture Deterministic Policy Gradient} (Gamid-PG)는 policy entropy 최대화를 장려한다. 이를 위해 우리는 GMM을 구성하는 Gaussian들 사이의 $KL$-divergence에 대한 \\textit{Variational Approximation}을 사용해 GMM entropy gradient를 정의한다. 우리는 Gamid-PG를 benchmark dense-reward MuJoCo task와 sparse-reward Fetch task에서 일반적인 stochastic policy gradient 방법들과 비교한다. 그 결과 Gamid-PG는 6개의 MuJoCo task 중 3개에서 stochastic gradient 기반 방법들을 능가했으며, 나머지 3개 task에서는 유사한 성능을 보였다. Fetch task에서는 Gamid-PG가 single-actor deterministic gradient 기반 방법들보다 우수했지만, stochastic policy gradient 방법들보다는 성능이 낮았다. 따라서 우리는 deterministic policy gradient로 최적화된 GMM이 (1) dense-reward continuous control task에서는 stochastic gradient보다 우선적으로 고려되어야 하며, (2) single-actor deterministic gradient를 개선한다고 결론짓는다."},{"id":"63348","en":"$f$-Divergence Regularized RLHF: Two Tales of Sampling and Unified Analyses","ko":"$f$-발산 정규화 RLHF: 샘플링의 두 이야기와 통합 분석","authors":"Di Wu, Chengshuai Shi, Jing Yang, Cong Shen","pos":"#116","link":"https://openreview.net/forum?id=XrtiZYwcU4","abs":"Reinforcement Learning from Human Feedback (RLHF) has become a cornerstone technique for post-training large language models. While most existing approaches rely on the reverse KL-regularization, recent empirical studies have begun exploring alternative divergences (e.g., forward KL, chi-squared) as regularizers in RLHF. However, a unified theoretical understanding of general $f$-divergence regularization remains under-explored. To fill this gap, this work develops a comprehensive theoretical framework for online RLHF with an $f$-divergence regularized objective. Rather than treating each divergence in isolation, we adopt a holistic perspective across the entire class and propose two algorithms based on distinct sampling principles. The first extends the classical optimism principle with a carefully designed exploration bonus, while the second introduces a new method that exploits the sensitivity of the optimal policy to reward perturbations under $f$-divergence regularization. Theoretical analysis shows that $O(\\log T)$ regret and $O(1/T)$ sub-optimality gap are achievable, establishing provable efficiency of both algorithms and, to the best of our knowledge, the first performance bounds for online RLHF under general $f$-divergence regularization.","absKo":"Reinforcement Learning from Human Feedback (RLHF)는 large language models의 post-training에서 핵심 기법이 되었다. 기존의 대부분 접근법은 reverse KL-regularization에 의존하지만, 최근 실증 연구들은 RLHF의 regularizer로 forward KL, chi-squared와 같은 대안 divergence를 탐색하기 시작했다. 그러나 일반적인 $f$-divergence regularization에 대한 통합된 이론적 이해는 아직 충분히 탐구되지 않았다. 이 공백을 메우기 위해, 본 연구는 $f$-divergence regularized objective를 갖는 online RLHF에 대한 포괄적인 이론적 framework를 제시한다. 각 divergence를 개별적으로 다루는 대신, 우리는 전체 class에 걸친 포괄적 관점을 채택하고 서로 다른 sampling principle에 기반한 두 가지 algorithm을 제안한다. 첫 번째는 carefully designed exploration bonus를 통해 classical optimism principle을 확장한 것이고, 두 번째는 $f$-divergence regularization 하에서 reward perturbation에 대한 optimal policy의 민감도를 활용하는 새로운 방법이다. 이론적 분석은 $O(\\log T)$ regret과 $O(1/T)$ sub-optimality gap이 달성 가능함을 보여주며, 두 algorithm의 provable efficiency를 확립한다. 또한 우리가 아는 한, 이는 일반적인 $f$-divergence regularization 하의 online RLHF에 대한 최초의 performance bound이다."},{"id":"64773","en":"Learning Reward Functions from Multiple Feedback Types with Amortized Variational Inference","ko":"Amortized 변분 추론을 활용한 다중 피드백 유형으로부터의 Reward Function 학습","authors":"Raphaël Baur, Yannick Metz, Maria Gkoulta, Mennatallah El-Assady, Giorgia Ramponi, Thomas Kleine Buening","pos":"#120","link":"https://openreview.net/forum?id=K0ypMhiYe0","abs":"Reward learning typically relies on a single feedback type or combines multiple feedback types using manually weighted loss terms. Currently, it remains unclear how to jointly learn reward functions from heterogeneous feedback types such as demonstrations, comparisons, ratings, rankings, and stops that provide qualitatively different signals. We address this challenge by formulating reward learning from multiple feedback types as Bayesian inference over a shared latent reward function, where each feedback type contributes information through an explicit likelihood. We introduce a scalable amortized variational inference approach that learns a shared reward encoder and feedback-specific likelihood decoders and is trained by optimizing a single evidence lower bound. Our approach avoids reducing feedback to a common intermediate representation and eliminates the need for manual loss balancing. Across discrete and continuous-control benchmarks, we show that jointly inferred reward posteriors outperform single-type baselines, exploit complementary information across feedback types, and yield policies that are more robust to environment perturbations. The inferred reward uncertainty further provides interpretable signals for analyzing model confidence and consistency across feedback types.
","absKo":"Reward learning은 일반적으로 단일 feedback type에 의존하거나, 여러 feedback type을 수동으로 가중한 loss term을 결합한다. 현재로서는 demonstrations, comparisons, ratings, rankings, stops처럼 질적으로 서로 다른 신호를 제공하는 heterogeneous feedback type으로부터 reward function을 어떻게 공동으로 학습할지 아직 명확하지 않다. 우리는 여러 feedback type으로부터의 reward learning을 shared latent reward function에 대한 Bayesian inference로 정식화하여 이 문제를 해결한다. 이때 각 feedback type은 명시적인 likelihood를 통해 정보를 기여한다. 우리는 shared reward encoder와 feedback-specific likelihood decoder를 학습하는 확장 가능한 amortized variational inference 접근법을 제안하며, 단 하나의 evidence lower bound를 최적화하여 학습한다. 우리의 접근법은 feedback을 공통의 intermediate representation으로 축소하지 않으며, 수동 loss balancing도 필요로 하지 않는다. discrete 및 continuous-control benchmark 전반에서, joint inference된 reward posterior가 single-type baseline보다 우수하고, feedback type 간 상보적 정보를 활용하며, environment perturbation에 더 강인한 policy를 생성함을 보인다. 추론된 reward uncertainty는 또한 model confidence와 feedback type 간 consistency를 분석하기 위한 해석 가능한 신호를 제공한다.
"},{"id":"61507","en":"Escaping the Verifier: Learning to Reason via Demonstrations","ko":"Verifier 벗어나기: Demonstration을 통한 추론 학습","authors":"Locke Cai, Max Ryabinin, Ivan Provilkov","pos":"#121","link":"https://openreview.net/forum?id=pS1khvoxHT","abs":"Training Large Language Models (LLMs) to reason often relies on Reinforcement Learning (RL) with task-specific verifiers. However, many real-world reasoning-intensive tasks lack verifiers, despite offering abundant expert demonstrations that remain underutilized for reasoning-focused training. We introduce **RARO** (Relativistic Adversarial Reasoning Optimization), which learns strong reasoning capabilities from expert demonstrations alone via **Inverse Reinforcement Learning**. Our method sets up an adversarial game between a **policy** and a **relativistic critic**: the policy learns to mimic expert answers, while the critic aims to identify the expert among (expert, policy) answer pairs. Both the policy and the critic are trained jointly and continuously via RL, and we identify key stabilization techniques required for robust learning. Empirically, RARO significantly outperforms strong verifier-free baselines across all evaluation tasks—achieving $+13.7$\\% accuracy on Countdown ($1.5\\text{B}$), $+8.2$\\% on DeepMath ($7\\text{B}$), and a $+19.1$\\% win-rate on Poetry Writing ($7\\text{B}$) against expert poems. RARO also exhibits the same robust scaling trends as RL with verifiers. These results demonstrate that our method effectively elicits strong reasoning performance from expert demonstrations alone, enabling robust reasoning learning even when task-specific verifiers are unavailable.","absKo":"LLM(large language models)을 reasoning하도록 학습하는 것은 종종 task-specific verifier와 함께 Reinforcement Learning(RL)에 의존한다. 그러나 실제 세계의 많은 reasoning-intensive task는 verifier가 없음에도 불구하고, reasoning-focused training에 제대로 활용되지 못한 풍부한 expert demonstration을 제공한다. 우리는 **Inverse Reinforcement Learning**을 통해 expert demonstration만으로 강력한 reasoning 능력을 학습하는 **RARO**(Relativistic Adversarial Reasoning Optimization)를 소개한다. 우리의 방법은 **policy**와 **relativistic critic** 사이의 adversarial game을 구성한다. policy는 expert answer를 모방하도록 학습하고, critic은 (expert, policy) answer pair들 사이에서 expert를 식별하는 것을 목표로 한다. policy와 critic은 모두 RL을 통해 공동으로 그리고 지속적으로 학습되며, 우리는 견고한 학습에 필요한 핵심 stabilizing technique을 식별한다. 실험적으로 RARO는 모든 evaluation task에서 강력한 verifier-free baseline을 크게 능가하며, Countdown($1.5\\text{B}$)에서 $+13.7$\\% accuracy, DeepMath($7\\text{B}$)에서 $+8.2$\\%, 그리고 expert poem을 상대로 Poetry Writing($7\\text{B}$)에서 $+19.1$\\% win-rate를 달성한다. RARO는 verifier가 있는 RL과 동일한 robust scaling trend도 보인다. 이러한 결과는 우리의 방법이 expert demonstration만으로도 강력한 reasoning performance를 효과적으로 이끌어낼 수 있으며, task-specific verifier가 없더라도 견고한 reasoning learning을 가능하게 함을 보여준다."},{"id":"62891","en":"Consistent Zero-Shot Imitation with Contrastive Goal Inference","ko":"대조적 목표 추론을 통한 일관된 Zero-Shot Imitation","authors":"Kathryn Wantlin, Chongyi Zheng, Benjamin Eysenbach","pos":"#122","link":"https://openreview.net/forum?id=cBfpI4aLCZ","abs":"In the same way that generative models today conduct most of their training in a self-supervised fashion, how can agentic models conduct their training in a self-supervised fashion, interactively exploring, learning, and preparing to quickly adapt to new tasks? The problem of reward-free exploration is well studied in the unsupervised reinforcement learning (URL) literature but fails to prepare agents for rapid adaptation to new demonstrations. Today's language and vision models are trained on data provided by humans, which provides a strong inductive bias for the sorts of tasks that the model will have to solve. However, when prompted to imitate a new task, some methods perform distribution matching against the demonstration data without properly accounting for the difficulty of various tasks. The key contribution of our paper is a method for pre-training interactive agents in a self-supervised fashion, so that they can instantly mimic expert demonstrations. Our method treats goals (i.e., observations) as the atomic construct. During training, our method automatically proposes goals and practices reaching them, building off prior work in reinforcement learning exploration. During evaluation, our method solves an (amortized) inverse reinforcement learning problem to explain demonstrations as optimal goal-reaching behavior. Experiments on standard benchmarks (not designed for goal-reaching) show that our approach outperforms prior methods for zero-shot imitation.
","absKo":"오늘날 generative model이 대부분의 training을 self-supervised 방식으로 수행하듯이, agentic model은 어떻게 self-supervised 방식으로 training을 수행하며, 상호작용적으로 탐색하고 학습하며, 새로운 task에 빠르게 적응할 준비를 할 수 있을까? reward-free exploration 문제는 unsupervised reinforcement learning (URL) 문헌에서 잘 연구되어 왔지만, agent가 새로운 demonstration에 빠르게 적응하도록 준비시키지는 못한다. 오늘날의 language model과 vision model은 인간이 제공한 data로 학습되며, 이는 model이 해결해야 할 task의 종류에 강한 inductive bias를 제공한다. 그러나 새로운 task를 imitation하도록 prompt했을 때, 일부 method는 demonstration data에 대해 distribution matching을 수행하면서도 다양한 task의 난이도를 적절히 반영하지 못한다. 본 논문의 핵심 기여는 interactive agent를 self-supervised 방식으로 pre-training하여, expert demonstration을 즉시 모방할 수 있게 만드는 방법이다. 우리의 method는 goal, 즉 observation을 원자적 구성 요소로 취급한다. 학습 동안 이 method는 자동으로 goal을 제안하고 이를 달성하는 연습을 수행하며, 이는 reinforcement learning exploration의 기존 연구 위에 구축된다. 평가 시에는 demonstration을 최적의 goal-reaching behavior로 설명하는 amortized inverse reinforcement learning 문제를 푼다. goal-reaching을 위해 설계되지 않은 표준 benchmark 실험에서, 우리의 접근법은 zero-shot imitation에서 기존 method보다 우수한 성능을 보인다.
"},{"id":"66480","en":"The cost of commitment in option-based hierarchical RL","ko":"옵션 기반 계층적 RL에서 커밋의 비용","authors":"Randy Lefebvre, Audrey Durand","pos":"#123","link":"https://openreview.net/forum?id=3Ij7ByBYQF","abs":"Empirically, option-based hierarchical reinforcement (HRL) learning often produces longer and more diverse options when a deliberation cost is charged at option boundaries. However, when options are executed for many steps under an approximate dynamics model, small model errors compound along the option, degrading the quality of the resulting plan. In this work, we introduce the commitment loss to formalize the tradeoff between deliberation cost and model error as a function of option duration. We characterize how optimal termination probabilities vary with this tradeoff under two model-error mechanisms. First, the model is learned from finite data via maximum-likelihood estimation, producing statistical error that interacts with option duration. Second, we consider an input-driven setting where an exogenous input is only observed at option boundaries and evolves unobserved between them, creating a drift-induced mismatch between planned and realized dynamics. In both cases, we solve for the optimal termination behavior as a function of deliberation cost and the error scale, clarifying the behavior of some popular HRL algorithms that approach the deliberation cost as a heuristic.
","absKo":"경험적으로, option-based hierarchical reinforcement(HRL) learning은 option 경계에서 deliberation cost가 부과될 때 더 길고 더 다양한 option을 생성하는 경우가 많다. 그러나 approximate dynamics model 하에서 option이 여러 step 동안 실행되면, 작은 model error가 option을 따라 누적되어 결과 계획(plan)의 품질을 저하시킨다. 본 연구에서는 option duration의 함수로 deliberation cost와 model error 사이의 tradeoff를 정식화하기 위해 commitment loss를 도입한다. 우리는 두 가지 model-error 메커니즘 하에서 이 tradeoff에 따라 최적 termination probability가 어떻게 달라지는지 특징화한다. 첫째, model은 maximum-likelihood estimation을 통해 유한 데이터로부터 학습되며, option duration과 상호작용하는 statistical error를 생성한다. 둘째, 외생 입력이 option 경계에서만 관측되고 그 사이에는 관측되지 않은 채 변화하는 input-driven setting을 고려하는데, 이는 계획된 dynamics와 실제 dynamics 사이에 drift로 인한 mismatch를 만든다. 두 경우 모두에서, 우리는 deliberation cost와 error scale의 함수로서 optimal termination behavior를 구하며, deliberation cost를 heuristic으로 다루는 일부 인기 있는 HRL 알고리즘의 동작을 명확히 설명한다.
"},{"id":"63499","en":"BiTrajDiff: Bidirectional Trajectory Generation with Diffusion Models for Offline Reinforcement Learning","ko":"BiTrajDiff: 오프라인 강화학습을 위한 Diffusion 모델 기반 양방향 궤적 생성","authors":"Yunpeng Qing, Yixiao Chi, Shuo Chen, Shunyu Liu, Kexuan Zhou, Sixu Lin, Litao Liu, Changqing Zou","pos":"#202","link":"https://openreview.net/forum?id=We5wZLUkF5","abs":"Offline Reinforcement Learning (RL) relies on static datasets and often enforces conservative constraints to mitigate out-of-distribution errors, but this inevitably gives rise to learning dataset biases and limited behavioral generalization. Recent Data Augmentation (DA) methods leverage generative models to enrich offline data, yet they mainly operate within a single rollout paradigm and tend to preserve the original trajectory-level connectivity of the dataset. As a result, such methods often introduce local variations and fail to recover connections between distinct behavior patterns. In this paper, we propose Bidirectional Trajectory Diffusion (BiTrajDiff), a novel DA framework that explicitly addresses this limitation. BiTrajDiff decomposes trajectory synthesis into two independent diffusion processes that generate forward-future and backward-history segments conditioned on shared intermediate anchor states. By stitching the generated segments at these anchors, BiTrajDiff can synthesize trajectories that bridge disconnected behavior patterns and recover global trajectory-level connectivity absent from the original data. Extensive experiments on the D4RL benchmark demonstrate that BiTrajDiff consistently outperforms advanced DA methods across a range of offline RL backbones.
","absKo":"Offline Reinforcement Learning (RL)은 정적 dataset에 의존하며, out-of-distribution error를 완화하기 위해 종종 conservative constraint를 적용하지만, 이는 필연적으로 학습 dataset bias와 제한된 behavioral generalization을 초래한다. 최근의 Data Augmentation (DA) 방법은 generative model을 활용해 offline data를 풍부하게 하지만, 주로 단일 rollout paradigm 내에서 동작하며 dataset의 원래 trajectory-level connectivity를 보존하는 경향이 있다. 그 결과 이러한 방법은 종종 local variation만 도입하고 서로 다른 behavior pattern 사이의 연결을 복원하지 못한다. 본 논문에서는 이러한 한계를 명시적으로 해결하는 새로운 DA framework인 Bidirectional Trajectory Diffusion (BiTrajDiff)를 제안한다. BiTrajDiff는 trajectory synthesis를 두 개의 독립적인 diffusion process로 분해하며, 이 process들은 shared intermediate anchor state에 조건부로 forward-future segment와 backward-history segment를 생성한다. 생성된 segment를 이러한 anchor에서 stitching함으로써, BiTrajDiff는 연결이 끊긴 behavior pattern을 이어주는 trajectory를 합성하고 원본 data에 없는 global trajectory-level connectivity를 복원할 수 있다. D4RL benchmark에서의 광범위한 실험은 BiTrajDiff가 다양한 offline RL backbone 전반에서 advanced DA method보다 consistently하게 우수함을 보여준다.
"},{"id":"64976","en":"Active Attacks: Red-teaming LLMs via Adaptive Environments","ko":"Active Attack: 적응적 Environment를 통한 LLM Red-teaming","authors":"Taeyoung Yun, Pierre-Luc St-Charles, Jinkyoo Park, Yoshua Bengio, Minsu Kim","pos":"#203","link":"https://openreview.net/forum?id=IBGRi5HkB4","abs":"We address the challenge of automatically generating diverse attack prompts for large language models (LLMs) that elicit harmful behaviors (e.g., insults, sexual content) and are used for safety fine-tuning. While several prior approaches train LLMs with reinforcement learning (RL) to generate such prompts using only a toxicity classifier as a reward, existing diversity-seeking RL methods often collapse to limited modes: once high-reward prompts are found, exploration of new regions is discouraged. Inspired by the active learning paradigm that encourages adaptive exploration, we introduce \\textbf{Active Attacks}, a novel RL-based red-teaming algorithm that adapts its attacks as the victim evolves. By periodically safety fine-tuning the victim LLM with collected attack prompts, we naturally induce an \\emph{easy-to-hard exploration curriculum}, where the attacker progresses beyond easy modes toward increasingly difficult ones. We observe that this simple plug-and-play module, which seamlessly integrates into existing RL objectives, unexpectedly outperformed prior RL-based methods, improving cross-attack success rates against GFlowNets, the previous state-of-the-art, from 0.07\\% to 31.28\\% (a relative gain of more than 400×) with only a 6\\% increase in computation.
","absKo":"우리는 harmful behavior(예: 욕설, 성적 콘텐츠)를 유발하며 safety fine-tuning에 사용되는 large language model(LLM)을 위해 다양한 attack prompt를 자동 생성하는 문제를 다룬다. 여러 선행 접근법은 toxicity classifier만을 reward로 사용해 이러한 prompt를 생성하도록 reinforcement learning(RL)으로 LLM을 학습시켜 왔지만, 기존의 diversity-seeking RL 방법은 종종 제한된 mode로 붕괴한다. 고보상 prompt가 한 번 발견되면 새로운 영역에 대한 탐색이 억제되기 때문이다. 능동적 탐색을 장려하는 active learning 패러다임에서 영감을 받아, 우리는 피해자 모델이 진화함에 따라 공격을 적응시키는 새로운 RL 기반 red-teaming 알고리즘인 \\textbf{Active Attacks}를 제안한다. 수집된 attack prompt로 victim LLM을 주기적으로 safety fine-tuning함으로써, 우리는 자연스럽게 \\emph{easy-to-hard exploration curriculum}을 유도하며, 공격자는 쉬운 mode를 넘어 점점 더 어려운 mode로 나아가게 된다. 우리는 기존 RL objective에 매끄럽게 통합되는 이 단순한 plug-and-play 모듈이 예상외로 기존 RL 기반 방법들을 능가하여, 이전 state-of-the-art였던 GFlowNets에 대한 cross-attack success rate를 0.07\\%에서 31.28\\%로 향상시켰고(상대적으로 400배 이상 향상), 계산량은 6\\%만 증가시켰음을 관찰했다."},{"id":"64704","en":"Adaptive Policy Backbone via Shared Network","ko":"공유 네트워크를 통한 적응적 Policy Backbone","authors":"Bumgeun Park, Donghwan Lee","pos":"#204","link":"https://openreview.net/forum?id=KhAUoBv0dJ","abs":"Reinforcement learning (RL) has achieved impressive results across various domains, yet the resulting policies often fail to generalize beyond the specific tasks encountered during training. This lack of robustness limits their deployment in real-world scenarios where diverse and unpredictable task demands exist. We propose the Adaptive Policy Backbone (APB), a transferable policy backbone that contains a meta-initialization to provide a highly generalizable representation. APB consists of a frozen, meta-trained backbone paired with lightweight task-specific linear layers that are learned from scratch for each new environment. Our results demonstrate that learning only lightweight task-specific linear layers is sufficient to achieve performance on par with standard RL, even, surprisingly, when the backbone is randomly initialized. Furthermore, we find that this structural constraint inherently enhances the generalization capability of the resulting policies. This advantage extends even to out-of-distribution tasks, where existing meta-RL methods typically fail.
","absKo":"Reinforcement learning (RL)은 다양한 도메인에서 인상적인 결과를 달성했지만, 그 결과로 얻어진 policy는 종종 학습 중 마주한 특정 task를 넘어서는 일반화에 실패한다. 이러한 robust성 부족은 다양하고 예측 불가능한 task 요구가 존재하는 실제 환경에서의 배치를 제한한다. 우리는 Adaptive Policy Backbone (APB)를 제안한다. 이는 highly generalizable representation을 제공하기 위한 meta-initialization을 포함하는 transferable policy backbone이다. APB는 freeze된, meta-trained backbone과 각 새 environment마다 scratch부터 학습되는 lightweight task-specific linear layer로 구성된다. 우리의 결과는 lightweight task-specific linear layer만 학습하는 것만으로도 standard RL에 필적하는 성능을 달성하기에 충분함을 보여주며, 놀랍게도 backbone이 random initialization되어 있더라도 그렇다. 더 나아가, 이러한 구조적 제약이 결과 policy의 generalization capability를 본질적으로 향상시킨다는 사실을 발견했다. 이 이점은 기존 meta-RL 방법이 일반적으로 실패하는 out-of-distribution task에까지 확장된다.
"},{"id":"68780","en":"Return-Aligned Decision Transformer","ko":"Return 정렬 Decision Transformer","authors":"Tsunehiko Tanaka, Kenshi Abe, Kaito Ariu, Tetsuro Morimura, Edgar Simo-Serra","pos":"#206","abs":"Traditional approaches in offline reinforcement learning aim to learn the optimal policy that maximizes the cumulative reward, also known as return. It is increasingly important to adjust the performance of AI agents to meet human requirements, for example, in applications like video games and education tools. Decision Transformer (DT) optimizes a policy that generates actions conditioned on the target return through supervised learning and includes a mechanism to control the agent's performance using the target return. However, the action generation is hardly influenced by the target return because DT’s self-attention allocates scarce attention scores to the return tokens. In this paper, we propose Return-Aligned Decision Transformer (RADT), designed to more effectively align the actual return with the target return. RADT leverages features extracted by paying attention solely to the return, enabling action generation to consistently depend on the target return. Extensive experiments show that RADT significantly reduces the discrepancies between the actual return and the target return compared to DT-based methods.
","absKo":"전통적인 offline reinforcement learning 접근법은 누적 보상, 즉 return을 최대화하는 최적 policy를 학습하는 데 초점을 맞춘다. 비디오 게임이나 교육 도구와 같은 응용에서 AI agent의 성능을 인간의 요구에 맞게 조정하는 일은 점점 더 중요해지고 있다. Decision Transformer(DT)는 target return에 조건화된 action을 supervised learning으로 생성하는 policy를 최적화하며, target return을 사용해 agent의 성능을 제어하는 메커니즘을 포함한다. 그러나 DT의 self-attention이 희소한 attention score를 return token에 거의 할당하지 않기 때문에 action 생성은 target return의 영향을 거의 받지 않는다. 본 논문에서는 실제 return과 target return을 보다 효과적으로 정렬하도록 설계된 Return-Aligned Decision Transformer(RADT)를 제안한다. RADT는 return에만 주의를 기울여 추출한 feature를 활용함으로써 action 생성이 target return에 일관되게 의존하도록 한다. 광범위한 실험 결과, RADT가 DT 기반 방법들에 비해 실제 return과 target return 사이의 불일치를 크게 줄임을 보인다.
"},{"id":"61811","en":"Episodic Memory-Guided Controllable Experience Synthesis for Reinforcement Learning","ko":"강화학습을 위한 Episodic Memory 기반 제어 가능한 경험 합성","authors":"Xiao Ma, Tian Li, Wu-Jun Li","pos":"#208","link":"https://openreview.net/forum?id=mjYcL7esQO","abs":"In real-world scenarios, data collection for reinforcement learning (RL) is often constrained by safety concerns and high costs, resulting in limited data availability. Diffusion models (DMs) have recently demonstrated remarkable capabilities in capturing complex distributions, making data augmentation a promising approach. However, existing DM-based data augmentation methods still suffer from the limited quality of synthesized data for downstream RL tasks. To overcome this limitation, we propose a novel method called episodic memory-guided controllable experience synthesizer (EMCES). EMCES incorporates an episodic memory-based controllable DM with informative yet concise conditions constructed by episodic memory (EM). To guide the synthesis toward high-quality data, we propose an EM-prioritized condition sampling strategy that leverages EM-based temporal-difference errors to focus generation on data most helpful for RL. Furthermore, we introduce a hashing-based state representation for EM to improve its efficiency and further boost the quality of synthetic data. To the best of our knowledge, EMCES is the first work to incorporate EM into controllable DMs and to leverage EM for guiding data synthesis in RL. Experimental results across multiple environments demonstrate that EMCES significantly improves the quality of the synthetic data, thereby improving the performance of several state-of-the-art RL algorithms.
","absKo":"실세계 시나리오에서 reinforcement learning (RL)을 위한 데이터 수집은 안전 문제와 높은 비용으로 인해 제약을 받는 경우가 많아, 사용할 수 있는 데이터가 제한적이다. Diffusion model (DM)은 최근 복잡한 분포를 포착하는 뛰어난 능력을 보여 주었고, 따라서 data augmentation은 유망한 접근으로 떠오르고 있다. 그러나 기존의 DM 기반 data augmentation 방법은 downstream RL task에 사용할 합성 데이터의 품질이 여전히 제한적이라는 문제를 가진다. 이 한계를 극복하기 위해, 우리는 episodic memory-guided controllable experience synthesizer (EMCES)라는 새로운 방법을 제안한다. EMCES는 episodic memory (EM)로 구성된 정보는 풍부하지만 간결한 condition을 사용하는 episodic memory 기반 controllable DM을 통합한다. 고품질 데이터로의 합성을 유도하기 위해, 우리는 EM 기반 temporal-difference error를 활용하여 RL에 가장 도움이 되는 데이터에 generation을 집중시키는 EM-prioritized condition sampling 전략을 제안한다. 더 나아가, EM의 효율성을 높이고 합성 데이터의 품질을 추가로 향상시키기 위해 hashing 기반 state representation을 도입한다. 우리가 아는 한, EMCES는 controllable DM에 EM을 통합한 최초의 작업이며, RL에서 data synthesis를 유도하기 위해 EM을 활용한 최초의 작업이다. 여러 환경에 걸친 실험 결과, EMCES는 합성 데이터의 품질을 유의미하게 향상시키고, 그 결과 여러 최첨단 RL algorithm의 성능을 개선함을 보여 준다.
"},{"id":"61534","en":"Mitigating Plasticity Loss through Architectural Design in Continual Learning","ko":"Continual Learning에서 아키텍처 설계를 통한 Plasticity Loss 완화","authors":"Niklas Koeppe, Luiz Felipe Vecchietti, Dongqi Han, Dongsheng Li, Sang Wan Lee","pos":"#211","link":"https://openreview.net/forum?id=pAhGjPOlwy","abs":"Neural networks for continual reinforcement learning (CRL) often suffer from plasticity loss, i.e., a progressive decline in their ability to learn new tasks arising from increased representational drift (churn) and Neural Tangent Kernel (NTK) rank collapse. Current methods mitigating this problem involve algorithmic interventions such as regularization, resets, and optimization schedules. Here, we propose InterpLayers, a lightweight architectural solution that combines a fixed, parameter-free reference pathway with a learnable projection pathway using input-dependent interpolation weights. This structure makes InterpLayers orthogonal to existing algorithmic solutions. We show through theoretical analysis that InterpLayers upper-bounds the output variability, bounds churn, and prevents a collapse of the NTK rank through continual non-zero rank contribution from the interpolation mechanism. Across different distributional shifts, including permutation, windowing, and expansion, InterpLayers outperform similar gated architectures and achieve similar performance as current state-of-the-art methods without the need for optimization-level intervention or the introduction of sensitive hyperparameters. Ablation studies highlight that these improvements are sustained when InterpLayers are combined with existing algorithmic methods for preventing plasticity loss. These results position InterpLayers as a simple, complementary solution for maintaining plasticity in CRL.
","absKo":"continual reinforcement learning (CRL)을 위한 neural network는 종종 plasticity loss를 겪는다. 즉, representational drift (churn)의 증가와 Neural Tangent Kernel (NTK) rank collapse로 인해 새로운 task를 학습하는 능력이 점진적으로 저하된다. 이 문제를 완화하는 현재 방법은 regularization, reset, optimization schedule과 같은 algorithmic intervention을 포함한다. 여기서 우리는 input-dependent interpolation weight를 사용하여 고정된 parameter-free reference pathway와 학습 가능한 projection pathway를 결합하는 경량 architectural solution인 InterpLayers를 제안한다. 이 구조는 InterpLayers를 기존 algorithmic solution과 직교하도록 만든다. 우리는 이론적 분석을 통해 InterpLayers가 output variability의 상한을 설정하고, churn을 제한하며, interpolation mechanism을 통한 지속적인 non-zero rank 기여로 NTK rank의 collapse를 방지함을 보인다. permutation, windowing, expansion을 포함한 다양한 distributional shift 전반에서 InterpLayers는 유사한 gated architecture를 능가하고, optimization-level intervention이나 민감한 hyperparameter 도입 없이도 현재 state-of-the-art method와 비슷한 성능을 달성한다. ablation study는 InterpLayers를 plasticity loss 방지용 기존 algorithmic method와 결합할 때 이러한 향상이 유지됨을 보여준다. 이러한 결과는 InterpLayers를 CRL에서 plasticity를 유지하기 위한 단순하고 보완적인 해결책으로 자리매김한다.
"},{"id":"65773","en":"Multi-Objective Preference Optimization: Improving Human Alignment of Generative Models","ko":"다목적 선호 최적화: 생성 모델의 인간 정렬 향상","authors":"Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen","pos":"#212","link":"https://openreview.net/forum?id=AFqHVyanzY","abs":"Post-training LLMs with RLHF and preference optimization methods (e.g., DPO, IPO) has greatly improved alignment, yet these approaches assume a single objective. In reality, humans express multiple, often conflicting objectives, such as helpfulness and harmlessness, with no natural scalarization. We study the multi-objective preference alignment problem, where a policy must balance several objectives simultaneously. We propose Multi-Objective Preference Optimization (MOPO), a constrained KL-regularized framework that maximizes a primary objective while enforcing lower bounds on secondary objectives via tunable safety thresholds. MOPO operates directly on pairwise preferences without point-wise rewards, and admits simple closed-form iterative updates. Empirically, MOPO recovers Pareto-optimal policies on synthetic benchmarks and, when fine-tuned on human-preference data, yields multi-billion parameter models that achieve higher rewards and Pareto-dominate baselines, with stable and robust optimization dynamics.
","absKo":"RLHF와 preference optimization 방법들(DPO, IPO 등)로 post-training한 LLM은 alignment를 크게 향상시켰지만, 이러한 접근법은 단일 objective를 가정한다. 실제로 인간은 helpfulness와 harmlessness처럼 서로 충돌하기도 하는 여러 objective를 표현하며, 이를 자연스럽게 scalarization할 방법은 없다. 우리는 여러 objective를 동시에 균형 있게 달성해야 하는 multi-objective preference alignment 문제를 연구한다. 이를 위해 Multi-Objective Preference Optimization(MOPO)을 제안한다. MOPO는 조정 가능한 safety threshold를 통해 secondary objective에 lower bound를 강제하면서 primary objective를 최대화하는 constrained KL-regularized framework이다. MOPO는 point-wise reward 없이 pairwise preference에 직접 작동하며, 단순한 closed-form iterative update를 허용한다. 실험적으로 MOPO는 synthetic benchmark에서 Pareto-optimal policy를 회복하고, human-preference data로 fine-tuning할 경우 multi-billion parameter model이 더 높은 reward를 달성하며 baseline을 Pareto-dominance하는 동시에 안정적이고 견고한 optimization dynamics를 보임을 확인했다.
"},{"id":"64218","en":"Path-Coupled Bellman Flows for Distributional Reinforcement Learning","ko":"분포 강화학습을 위한 경로 결합 Bellman 흐름","authors":"Boyang Xu, Qing Zou, Siqin Yang, Hao Yan","pos":"#213","link":"https://openreview.net/forum?id=Ps58JvpLT7","abs":"Distributional RL models the full return distribution, but common categorical/quantile approaches rely on projection and independently sampled Bellman targets, which ignore the Bellman operator’s affine transport structure and yield high-variance learning signals. We introduce Path-Coupled Bellman Flows, a flow-matching framework that shares base noise to couple the generative trajectories of consecutive states, inducing a geometric Bellman scaling law between their velocity fields. This geometry motivates a $\\lambda$-family of Bellman-flow objectives that functions as a control variate, reducing variance while retaining the same Bellman-consistent fixed point. Across toy diagnostics and offline RL benchmarks (OGBench, D4RL), our method improves training stability and achieves competitive or improved performance relative to prior distributional baselines.","absKo":"Distributional RL은 return distribution 전체를 모델링하지만, 일반적인 categorical/quantile 접근법은 projection과 독립적으로 샘플링된 Bellman target에 의존하여 Bellman operator의 affine transport structure를 무시하고 높은 분산의 learning signal을 낳는다. 우리는 연속된 state의 generative trajectory를 결합하기 위해 base noise를 공유하는 flow-matching framework인 Path-Coupled Bellman Flows를 도입하여, 그 velocity field 사이에 기하학적 Bellman scaling law를 유도한다. 이러한 기하 구조는 동일한 Bellman-consistent fixed point를 유지하면서 분산을 줄이는 control variate로 기능하는 $\\lambda$-family의 Bellman-flow objective를 동기부여한다. toy diagnostic과 offline RL benchmark(OGBench, D4RL) 전반에서, 우리의 방법은 학습 안정성을 개선하고 기존 distributional baseline에 비해 경쟁적이거나 향상된 성능을 달성한다."},{"id":"66412","en":"Beyond Scalar Rewards: Learning from Text Feedback in LLM Post-Training","ko":"스칼라 보상을 넘어서: LLM 사후 훈련에서 텍스트 피드백으로부터의 학습","authors":"Yuda Song, Lili Chen, Fahim Tajwar, REMI MUNOS, Deepak Pathak, J. Bagnell, Aarti Singh, Andrea Zanette","pos":"#2307","link":"https://openreview.net/forum?id=3voRLZLkwU","abs":"The success of RL for LLM post-training stems from an unreasonably uninformative source: a single bit of information per rollout as binary reward or preference label. At the other extreme, distillation offers dense supervision but requires demonstrations, which are costly and difficult to scale. We study natural language feedback as an intermediate signal: richer than scalar rewards, yet cheaper than complete demonstrations. Textual feedback is a natural mode of human interaction and is already abundant in many real-world settings, where users, tools, and automated judges routinely critique LLM outputs. Towards leveraging text feedback at scale, we formalize a multi-turn RL setup where text feedback is available during training but not at inference. Therefore, models must learn to internalize the feedback in order to improve their test-time single-turn performance. To do this, we propose two methods: Self Distillation, which trains the single-turn policy to match its own feedback-conditioned second-turn generations; and Feedback Modeling, which predicts the feedback as an auxiliary objective. We provide theoretical analysis on both methods, and empirically evaluate on reasoning puzzles, competition math, and creative writing tasks. Our results show that both methods consistently outperform strong baselines across benchmarks, highlighting the potential of RL with an additional source of rich supervision at scale.
","absKo":"LLM post-training에서 RL의 성공은 놀라울 정도로 정보량이 적은 신호에서 비롯됩니다. 즉, binary reward 또는 preference label 형태로 rollout당 단 한 비트의 정보만을 사용합니다. 반대편 극단에서는 distillation이 dense supervision을 제공하지만, demonstration이 필요하며 이는 비용이 많이 들고 확장하기 어렵습니다. 우리는 자연어 피드백을 중간 신호로 연구합니다. 이는 scalar reward보다 풍부하지만 완전한 demonstration보다는 저렴합니다. Textual feedback는 인간 상호작용의 자연스러운 방식이며, 실제 많은 환경에서 이미 풍부하게 존재합니다. 사용자, 도구, 자동 judge가 LLM output을 routinely critique합니다. 텍스트 피드백을 대규모로 활용하기 위해, 우리는 training 중에는 text feedback을 사용할 수 있지만 inference 시에는 사용할 수 없는 multi-turn RL 설정을 정식화합니다. 따라서 model은 test-time single-turn performance를 개선하기 위해 피드백을 내재화해야 합니다. 이를 위해 두 가지 방법을 제안합니다. Self Distillation은 single-turn policy가 자신의 feedback-conditioned second-turn generation과 일치하도록 학습합니다. Feedback Modeling은 auxiliary objective로서 feedback을 예측합니다. 우리는 두 방법에 대한 이론적 분석을 제공하고, reasoning puzzle, competition math, creative writing task에서 실험적으로 평가합니다. 결과는 두 방법 모두 여러 benchmark에서 강력한 baseline을 일관되게 능가하며, 대규모로 풍부한 supervision의 추가 소스를 활용하는 RL의 잠재력을 보여 줍니다.
"},{"id":"65968","en":"Batched Contextual Reinforcement","ko":"배치 문맥 강화","authors":"Bangji Yang, Hongbo Ma, Jiajun Fan, Ge Liu","pos":"#2310","link":"https://openreview.net/forum?id=8Oc3Mx754M","abs":"Chain-of-Thought (CoT) reasoning has significantly improved the performance of Large Language Models (LLMs) but comes with substantial computational costs due to excessive token consumption. Existing approaches to reduce inference latency, such as explicit length penalties, often degrade reasoning quality by truncating necessary logical steps. In this work, we introduce a novel, SFT-free reinforcement learning framework that induces emergent token efficiency without explicit length constraints.We propose Batched Contextual Reinforcement (BCR), a training paradigm where the model is prompted to solve multiple reasoning tasks within a single context window, rewarded by independent instance-level accuracy. This formulation introduces an implicit information bottleneck: to maximize the cumulative reward within the context capacity, the model is forced to eliminate syntactic redundancy and focus attention on the semantic core of the reasoning path.Empirically, our method demonstrates a remarkable shift in the efficiency-accuracy Pareto frontier. Using a 1.5B parameter model JustRL-Deepseek-1.5B, we achieve 39.8--62.6% reduction in token usage across five mathematical reasoning benchmarks while maintaining or improving accuracy on four of them. Most notably, on AMC23 and Minerva, we observe a ``free lunch'' phenomenon where accuracy improves by +2.5% and +5.1% respectively, despite using approximately half the tokens. Extensive ablation studies confirm that batched training acts as a superior form of implicit regularization that reduces hallucinations and sharpens attention. Our findings indicate that LLMs possess latent, high-density reasoning modes that can be unlocked via purely structural incentives in RL.
","absKo":"Chain-of-Thought (CoT) reasoning은 Large Language Models (LLMs)의 성능을 크게 향상시켰지만, 과도한 token 소비로 인해 상당한 계산 비용을 수반한다. 명시적 length penalty와 같이 inference latency를 줄이기 위한 기존 접근법은 필요한 논리 단계를 잘라내어 reasoning quality를 저하시키는 경우가 많다. 본 연구에서는 명시적 length constraint 없이도 emergent token efficiency를 유도하는 새로운 SFT-free reinforcement learning framework를 제안한다.We propose Batched Contextual Reinforcement (BCR), a training paradigm where the model is prompted to solve multiple reasoning tasks within a single context window, rewarded by independent instance-level accuracy. This formulation introduces an implicit information bottleneck: to maximize the cumulative reward within the context capacity, the model is forced to eliminate syntactic redundancy and focus attention on the semantic core of the reasoning path.실험적으로, 우리의 방법은 efficiency-accuracy Pareto frontier에서 놀라운 변화를 보인다. 1.5B parameter model JustRL-Deepseek-1.5B를 사용하여, 다섯 개의 mathematical reasoning benchmark 전반에서 token 사용량을 39.8--62.6% 감소시키면서도 그중 네 개에서 정확도를 유지하거나 향상시켰다. 특히 AMC23과 Minerva에서는 각각 +2.5%와 +5.1%의 정확도 향상을 보이면서도 대략 절반의 token만 사용한, 이른바 ``free lunch'' 현상을 관찰했다. 광범위한 ablation study는 batched training이 hallucination을 줄이고 attention을 선명하게 만드는 더 우수한 형태의 implicit regularization으로 작동함을 확인한다. 우리의 발견은 LLM이 RL에서 순수하게 구조적인 인센티브를 통해 활성화될 수 있는 잠재적이고 고밀도인 reasoning mode를 가지고 있음을 시사한다.
"},{"id":"64607","en":"Formalizing Learning from Language Feedback with Provable Guarantees","ko":"증명 가능한 보장과 함께하는 언어 피드백으로부터의 학습 형식화","authors":"Wanqiao Xu, Allen Nie, Ruijie Zheng, Aditya Modi, Adith Swaminathan, Ching-An Cheng","pos":"#4500","link":"https://openreview.net/forum?id=LkTtWmZaxq","abs":"Interactively learning from observation and language feedback is an increasingly studied area driven by the emergence of large language model (LLM) agents. While impressive empirical demonstrations have been shown, so far a principled framing of these decision problems remains lacking. In this paper, we formalize the Learning from Language Feedback (LLF) problem, assert sufficient assumptions to enable learning despite latent rewards, and introduce transfer eluder dimension as a measure to characterize the hardness of LLF problems. We formalize the intuition that information in the feedback governs the learning complexity of LLF problems. We demonstrate cases where learning from rich language feedback can be exponentially faster than learning from reward. We develop a no-regret algorithm, called HELiX, that provably solves LLF problems through sequential interactions, with performance guarantees that scale with the transfer eluder dimension of the problem. Across several empirical domains, we show that HELiX performs well even when repeatedly prompting LLMs does not work reliably. Our contributions mark an important step towards designing principled interactive learning algorithms from generic language feedback.
관찰과 언어 피드백으로부터 상호작용적으로 학습하는 문제는 large language model (LLM) agent의 등장에 힘입어 점점 더 많이 연구되고 있는 분야다. 인상적인 실증 결과들이 제시되었지만, 지금까지 이러한 의사결정 문제에 대한 원리적인 정식화는 여전히 부족하다. 이 논문에서는 Learning from Language Feedback (LLF) 문제를 정식화하고, latent reward가 존재하는 상황에서도 학습을 가능하게 하는 충분한 가정을 제시하며, LLF 문제의 난이도를 특성화하기 위한 척도로 transfer eluder dimension을 도입한다. 우리는 피드백 속 정보가 LLF 문제의 학습 복잡도를 좌우한다는 직관을 정식화한다. 또한 풍부한 언어 피드백으로부터의 학습이 reward로부터의 학습보다 지수적으로 빠를 수 있는 사례를 보인다. 우리는 HELiX라는 no-regret algorithm을 개발하는데, 이는 문제의 transfer eluder dimension에 따라 성능 보장이 확장되면서 순차적 상호작용을 통해 LLF 문제를 증명 가능하게 해결한다. 여러 실증 도메인 전반에서, HELiX는 LLM에 반복적으로 프롬프트를 주는 방식이 안정적으로 작동하지 않는 경우에도 우수한 성능을 보인다. 우리의 기여는 일반적인 언어 피드백으로부터 원리적인 상호작용 학습 알고리즘을 설계하는 데 중요한 진전을 의미한다.
Recent advancements in machine learning have largely been driven by foundation models (FMs) trained on large, diverse datasets, enabling them to generalize effectively to new, related tasks. However, extending this paradigm to reinforcement learning (RL), where an agent interacts with an environment to select actions, remains a significant challenge. Most existing approaches train FMs directly on sets of control tasks, but developing diverse RL environments and scaling training across them can be costly and complex. In this study, we explore a simpler alternative approach based on a classical reduction from RL to regression. We demonstrate that a foundation model pre-trained for regression tasks, when used as an in-context regression (ICR) model, can be directly applied to RL problems. Building on this insight, we introduce a gradient-free method, ICR-RL, that requires no additional training and leverages an ICR foundation model to tackle RL tasks. We evaluate our approach by applying the ICR model with the recently proposed TabPFN, which is trained on a wide range of regression tasks. Experiments conducted on the Gymnasium classic-control benchmark indicate that ICR-RL matches or outperforms state-of-the-art methods, including DQN and PPO. These results show that ICR foundation models can effectively solve RL tasks without fine-tuning, demonstrating their potential as a foundation for RL-oriented models
","absKo":"최근 machine learning의 발전은 주로 대규모이면서 다양한 dataset으로 학습된 foundation model(FM)에 의해 주도되어 왔으며, 이는 이 모델들이 새롭고 관련된 task로 효과적으로 일반화할 수 있게 한다. 그러나 agent가 environment와 상호작용하여 action을 선택하는 reinforcement learning(RL)으로 이 패러다임을 확장하는 일은 여전히 중요한 도전이다. 기존 접근의 대부분은 FM을 control task 집합에 직접 학습시키지만, 다양한 RL environment를 만들고 그 위에서 학습을 확장하는 일은 비용이 크고 복잡하다. 이 연구에서는 RL을 regression으로 환원하는 고전적 reduction에 기반한 더 단순한 대안을 탐구한다. 우리는 regression task로 사전 학습된 foundation model이 in-context regression(ICR) model로 사용될 때, RL problem에 직접 적용될 수 있음을 보인다. 이 통찰을 바탕으로, 추가 학습이 전혀 필요 없고 ICR foundation model을 활용해 RL task를 해결하는 gradient-free method인 ICR-RL을 제안한다. 우리는 최근 제안된 TabPFN을 사용해 ICR model을 적용함으로써 이 접근을 평가했으며, TabPFN은 다양한 regression task로 학습되었다. Gymnasium classic-control benchmark에서 수행한 실험은 ICR-RL이 DQN과 PPO를 포함한 state-of-the-art method와 대등하거나 이를 능가함을 보여준다. 이러한 결과는 ICR foundation model이 finetuning 없이도 RL task를 효과적으로 해결할 수 있음을 보여주며, RL-oriented model의 foundation으로서의 잠재력을 입증한다
"},{"id":"61311","en":"How does Bayesian Sampling help Membership Inference Attacks?","ko":"Bayesian Sampling은 Membership Inference Attack에 어떻게 도움이 되는가?","authors":"Zhenlong Liu, Wenyu Jiang, Feng Zhou, Hongxin Wei","pos":"#4605","link":"https://openreview.net/forum?id=rSytT800kl","abs":"Membership Inference Attacks (MIAs) aim to estimate whether a specific data point was used in the training of a given model. Existing state-of-the-art attacks typically rely on training multiple reference models to approximate the conditional score distribution for individual data points, which leads to significant computational overhead and limits their practical applicability. In this work, we propose a novel approach -- Bayesian Membership Inference Attack (BMIA), which performs conditional attack through Bayesian sampling. Specifically, we apply Laplace approximation to a single reference model to obtain a posterior over model parameters, enabling direct estimation of the conditional score distribution. Theoretically, we demonstrate that Bayesian sampling reduces intra-model variance, thereby improving attack power. This insight naturally motivates the multi-reference variant that further enhances performance when additional reference models are available. Extensive experiments across image, text, and tabular datasets indicate that our method achieves state-of-the-art performance in both effectiveness and efficiency.
","absKo":"Membership Inference Attack (MIA)은 특정 data point가 주어진 model의 학습에 사용되었는지 추정하는 것을 목표로 한다. 기존의 state-of-the-art attack은 보통 여러 reference model을 학습하여 개별 data point에 대한 conditional score distribution을 근사하는 데 의존하며, 이로 인해 상당한 계산 오버헤드가 발생하고 실제 적용 가능성이 제한된다. 이 연구에서 우리는 Bayesian sampling을 통해 conditional attack을 수행하는 새로운 접근법인 Bayesian Membership Inference Attack (BMIA)을 제안한다. 구체적으로, 단일 reference model에 Laplace approximation을 적용하여 model parameter에 대한 posterior를 얻고, 이를 통해 conditional score distribution을 직접 추정할 수 있게 한다. 이론적으로 우리는 Bayesian sampling이 intra-model variance를 줄여 attack power를 향상시킨다는 점을 보인다. 이 통찰은 추가 reference model을 사용할 수 있을 때 성능을 더 향상시키는 multi-reference variant를 자연스럽게 동기부여한다. image, text, tabular dataset 전반에 걸친 광범위한 실험은 우리의 방법이 효과성과 효율성 모두에서 state-of-the-art 성능을 달성함을 보여준다.
"},{"id":"64874","en":"Near-Optimal Private Linear Regression via Iterative Hessian Mixing","ko":"Iterative Hessian Mixing을 통한 준최적 프라이빗 선형 회귀","authors":"Omri Lev, Moshe Shenfeld, Vishwak Srinivasan, Katrina Ligett, Ashia Wilson","pos":"#3300","link":"https://openreview.net/forum?id=IwP8LZzc97","abs":"We study differentially private ordinary least squares (DP-OLS) with bounded data $(X,Y)$ via sketching-based mechanisms. While Gaussian sketching approaches have been explored for DP-OLS \\citep{sheffet2017differentially}, they are typically viewed as less competitive than the Adaptive Sufficient Statistics Perturbation (AdaSSP) method \\citep{wang_adassp}, which directly perturbs the sufficient statistics $(X^{\\top}X, X^{\\top}Y)$ and is information theoretically optimal while also exhibiting strong empirical performance. In this work, we propose the \\emph{Iterative Hessian Mixing} (IHM), an algorithm that builds on Gaussian sketching approaches to DP-OLS and is inspired by the Iterative Hessian Sketch of \\citet{pilanci_hessiansketch}. We prove that IHM is differentially private and provide utility guarantees in the form of excess empirical risk bounds. These bounds improve upon those of AdaSSP by removing a multiplicative factor that can be as large as the square root of the data dimension. The design of the IHM is based on new accuracy guarantees that we present for prior Gaussian sketching approaches for DP-OLS, which clarify when these methods are expected to perform well and how IHM circumvents their inherent limitations. We also conduct a rigorous empirical evaluation on a large suite of datasets, demonstrating that IHM consistently outperforms prior baselines, including AdaSSP.","absKo":"경계가 있는 데이터 $(X,Y)$에 대한 differentially private ordinary least squares(DP-OLS)를 sketching 기반 mechanism을 통해 연구한다. Gaussian sketching 접근법은 DP-OLS를 위해 탐구되어 왔지만 \\citep{sheffet2017differentially}, 일반적으로 충분통계량 $(X^{\\top}X, X^{\\top}Y)$를 직접 perturb하는 Adaptive Sufficient Statistics Perturbation(AdaSSP) 방법 \\citep{wang_adassp}보다 경쟁력이 낮은 것으로 간주된다. AdaSSP는 정보이론적으로 최적일 뿐 아니라 강한 실증 성능도 보인다. 본 연구에서는 Iterative Hessian Sketch \\citep{pilanci_hessiansketch}에서 영감을 받은, DP-OLS를 위한 Gaussian sketching 접근법에 기반한 알고리즘인 \\emph{Iterative Hessian Mixing}(IHM)을 제안한다. 우리는 IHM이 differential privacy를 만족함을 증명하고, excess empirical risk bound 형태의 utility guarantee를 제공한다. 이 bound는 데이터 차원의 제곱근에 달할 수 있는 multiplicative factor를 제거함으로써 AdaSSP의 결과를 개선한다. IHM의 설계는 DP-OLS를 위한 기존 Gaussian sketching 접근법에 대해 우리가 새롭게 제시하는 정확도 보장에 기반하며, 이는 이 방법들이 언제 잘 작동할 것으로 기대되는지와 IHM이 그 본질적 한계를 어떻게 우회하는지를 명확히 한다. 또한 우리는 대규모 데이터셋 집합에서 엄밀한 실증 평가를 수행하여, IHM이 AdaSSP를 포함한 기존 baseline을 일관되게 능가함을 보여 준다."},{"id":"65512","en":"Differentially Private Preference Data Synthesis for Large Language Model Alignment","ko":"Large Language Model 정렬을 위한 Differentially Private 선호 데이터 합성","authors":"Fengyu Gao, Jing Yang","pos":"#3301","link":"https://openreview.net/forum?id=Ctk4XLaUpl","abs":"Preference alignment is a crucial post-training step for large language models (LLMs) to ensure their outputs align with human values. However, post-training on real human preference data raises privacy concerns, as these datasets often contain sensitive user prompts and human judgments. To address this, we propose DPPrefSyn, a novel algorithm for generating differentially private (DP) synthetic preference data to enable privacy-preserving preference alignment. DPPrefSyn is a principled framework grounded in the Bradley–Terry preference model and the intrinsic geometric structure of pairwise human preference data. It first learns an underlying preference model from private data with formal differential privacy guarantees, and then leverages the learned model together with public prompts to synthesize high-quality preference data. It exploits the shared linear structure of per-cluster reward models to effectively capture heterogeneous human preferences in private datasets, and leverages DP Principal Component Analysis (DP-PCA) to improve learning accuracy. Extensive experimental results demonstrate that DPPrefSyn achieves competitive alignment performance under strong DP guarantees. These findings highlight the potential of synthetic preference data as a practical alternative for privacy-preserving preference alignment across a broad range of applications. To the best of our knowledge, this is the first work to generate DP synthetic preference data for LLM alignment.
","absKo":"Preference alignment는 large language model (LLM)의 출력이 인간의 가치와 일치하도록 보장하기 위한 중요한 post-training 단계다. 그러나 실제 인간 preference data로 post-training을 수행하면, 이러한 데이터셋이 민감한 user prompt와 human judgment를 포함하는 경우가 많아 privacy concern이 제기된다. 이를 해결하기 위해 우리는 프라이버시를 보존하는 preference alignment를 가능하게 하는 differentially private (DP) synthetic preference data 생성용 새로운 알고리즘인 DPPrefSyn을 제안한다. DPPrefSyn은 Bradley–Terry preference model과 pairwise human preference data의 내재적 기하 구조에 기반한 원리적 framework다. 이 방법은 먼저 formal differential privacy guarantee 하에서 private data로부터 underlying preference model을 학습하고, 이어서 학습된 model과 public prompt를 활용해 고품질 preference data를 합성한다. 또한 per-cluster reward model의 shared linear structure를 활용하여 private dataset 내 이질적인 human preference를 효과적으로 포착하며, DP Principal Component Analysis (DP-PCA)를 이용해 학습 정확도를 개선한다. 광범위한 실험 결과는 DPPrefSyn이 강한 DP guarantee 하에서도 경쟁력 있는 alignment 성능을 달성함을 보여준다. 이러한 결과는 다양한 응용에서 privacy-preserving preference alignment를 위한 실용적 대안으로서 synthetic preference data의 가능성을 강조한다. 우리가 아는 한, 이는 LLM alignment를 위해 DP synthetic preference data를 생성한 최초의 연구다.
"},{"id":"63045","en":"EPSVec: Efficient and Private Synthetic Text Generation via Dataset Vectors","ko":"EPSVec: 데이터셋 벡터를 통한 효율적이고 사적인 합성 텍스트 생성","authors":"Mohammadamin Banayeeanzade, Qingchuan Yang, Deqing Fu, Spencer Hong, Erin Babinsky, Alfy Samuel, Anoop Kumar, Robin Jia, Sai Praneeth Reddy Karimireddy","pos":"#4600","link":"https://openreview.net/forum?id=aaFfUg013C","abs":"High-quality data is essential for modern machine learning, yet many valuable corpora are sensitive and cannot be freely shared. Synthetic data offers a practical substitute for downstream development, and large language models (LLMs) have emerged as powerful engines for generating it. However, existing private text generation methods are severely inefficient: they are data-intensive, computationally slow, and often require large private corpora or batch sizes to achieve usable quality. We introduce EPSVec, a differentially-private lightweight alternative that steers LLM generation using dataset vectors-directions in activation space that capture the distributional gap between private data and public priors. EPSVec extracts and sanitizes steering vectors just once and then performs standard decoding. This decouples the privacy budget from generation, enabling arbitrarily many synthetic samples without additional privacy cost and yielding strong fidelity even in low-data regimes. Furthermore, we enhance our method by utilizing pretrained (base) models and introducing fixed-shot prompting to boost generation diversity and fidelity. Our experiments demonstrate that EPSVec outperforms existing baselines in distributional alignment and downstream utility, particularly in low-data regimes, while significantly reducing computational overhead.
","absKo":"고품질 데이터는 현대 machine learning에 필수적이지만, 많은 가치 있는 코퍼스는 민감하여 자유롭게 공유할 수 없다. Synthetic data는 downstream development를 위한 실용적인 대안이 되며, large language model(LLM)은 이를 생성하는 강력한 엔진으로 부상했다. 그러나 기존의 private text generation 방법은 매우 비효율적이다. 데이터 집약적이고 계산적으로 느릴 뿐 아니라, 실제로 쓸 만한 품질을 얻기 위해 대규모 private corpus나 큰 batch size를 요구하는 경우가 많다. 우리는 dataset vector, 즉 private data와 public prior 사이의 distributional gap을 포착하는 activation space의 방향을 이용해 LLM 생성을 유도하는 differentially-private한 경량 대안인 EPSVec를 소개한다. EPSVec는 steering vector를 한 번만 추출하고 정제한 뒤, 그 다음에는 표준 decoding을 수행한다. 이를 통해 privacy budget과 generation을 분리하여, 추가 privacy cost 없이 임의로 많은 synthetic sample을 생성할 수 있으며, low-data regime에서도 강한 fidelity를 달성한다. 또한 pretrained(base) model을 활용하고 fixed-shot prompting을 도입하여 generation diversity와 fidelity를 높인다. 우리의 실험은 EPSVec가 특히 low-data regime에서 distributional alignment와 downstream utility 측면에서 기존 baseline을 능가하면서, 계산 오버헤드는 크게 줄임을 보여준다.
"},{"id":"63285","en":"VPD-100K: Towards Generalizable and Fine-grained Visual Privacy Protection","ko":"VPD-100K: 일반화 가능하고 세밀한 시각적 프라이버시 보호를 향하여","authors":"Xiaobin Hu, Enpu zuo, Lanping Hu, Kaiwen Yang, Dianshu Liao, Tianyi Zhang, Bo Yin, Yinsi Zhou, Shidong Pan, xiaoyu sun","pos":"#4601","link":"https://openreview.net/forum?id=YPBm14yRlK","abs":"Privacy protection has become a critical requirement in the era of ubiquitous visual data sharing, imposing higher demands on efficient and robust privacy detection algorithms. However, current robust detection models are severely hindered by the lack of comprehensive datasets. Existing privacy-oriented datasets often suffer from limited scale, coarse-grained annotations, and narrow domain coverage, failing to capture the intricate details of sensitive information in real-world environments. To bridge this gap, we present a large-scale, fine-grained Visual Privacy Dataset (VPD-100K), designed to facilitate generalized privacy detection. We establish a holistic taxonomy comprising four primary domains: Human Presence, On-Screen Personally Identifiable Information (PII), Physical Identifiers, and Location Indicators, containing 100,000 images annotated with 33 fine-grained classes and over 190,000 object instances. Statistical analysis reveals that our dataset features long-tailed distributions, small object scales, and high visual complexity. These characteristics make the dataset particularly valuable for demanding, unconstrained applications such as live streaming, where actors frequently face unintentional, real-time information leakage. Furthermore, we design an effective frequency-enhance lightweight module consisting of frequency-domain attention fusion and adaptive spectral gating mechanism that breaks the limitations of spatial pixel intensity to better capture the subtle details of sensitive information. Extensive experiments conducted on both diverse image and streaming videos benchmarks consistently demonstrate the effectiveness of our VPD-100K dataset and the well-curated frequency mechanism.
","absKo":"Privacy protection은 ubiquitous visual data sharing 시대에 핵심 요구사항이 되었으며, 효율적이고 강건한 privacy detection algorithm에 대한 요구를 높이고 있다. 그러나 현재의 robust detection model은 포괄적인 dataset의 부재로 인해 심각한 제약을 받는다. 기존 privacy-oriented dataset은 종종 규모가 제한적이고, annotation이 거칠며, domain coverage가 좁아 실제 환경에서의 민감한 정보의 복잡한 세부 사항을 포착하지 못한다. 이 격차를 메우기 위해, 우리는 일반화된 privacy detection을 촉진하도록 설계된 대규모의 fine-grained Visual Privacy Dataset (VPD-100K)을 제시한다. 우리는 Human Presence, On-Screen Personally Identifiable Information (PII), Physical Identifiers, Location Indicators의 네 가지 주요 domain으로 구성된 포괄적 taxonomy를 구축했으며, 여기에는 33개의 fine-grained class와 190,000개 이상의 object instance로 주석이 달린 100,000장의 이미지가 포함된다. 통계 분석 결과, 우리의 dataset은 long-tailed distribution, 작은 object scale, 높은 visual complexity를 특징으로 함을 보여준다. 이러한 특성은 라이브 스트리밍처럼 행위자가 의도치 않은 실시간 정보 유출에 자주 노출되는 요구도 높은 unconstrained application에서 특히 유용하게 만든다. 더 나아가, 우리는 frequency-domain attention fusion과 adaptive spectral gating mechanism으로 구성된 효과적인 frequency-enhance lightweight module을 설계하여 spatial pixel intensity의 한계를 극복하고 민감한 정보의 미세한 세부 사항을 더 잘 포착하도록 했다. 다양한 image 및 streaming video benchmark에서 수행한 광범위한 실험은 우리의 VPD-100K dataset과 정교하게 설계된 frequency mechanism의 효과를 일관되게 입증한다.
"},{"id":"62588","en":"Collaborative Disagreement Resolution for Scalable Oversight","ko":"확장 가능한 Oversight를 위한 협업적 Disagreement Resolution","authors":"Yuyang Jiang, Chacha Chen, Teng Wu, Liwen Sun, Han Liu, Shi Feng, Chenhao Tan","pos":"#3212","link":"https://openreview.net/forum?id=fFpNKSuMkQ","abs":"Debate, where AI agents argue opposing positions, has emerged as a key approach to scalable oversight. However, debate faces a fundamental tension: models are incentivized to be persuasive to the judge, which may not always align with epistemic honesty. In this work, we propose an alternative paradigm: disagreement resolution, which reframes the interaction mechanism from adversarial debate to collaborative truth seeking. Drawing on principles from human mediation and conflict resolution, where mediators facilitate dialogue to help disputing parties reach consensus rather than adjudicating between them, we design an automated pipeline that adapts these strategies to AI oversight. Unlike standard debate where models argue for fixed positions, our pipeline directs models to collaboratively identify points of disagreement, examine the evidence for conflicting claims, and converge toward consensus or isolate the specific ``crux'' of their disagreement. We find that Disagreement Resolution consistently helps non-expert models identify the truth, achieving 62.1\\% judging accuracy compared to 49.2\\% for standard debate. Our results provide encouraging empirical evidence for rethinking the scalable oversight protocol from adversarial persuasion to collaborative truth-seeking.
","absKo":"Debate는 AI agent들이 상반된 입장을 논박하는 방식으로, scalable oversight를 위한 핵심 접근으로 부상했다. 그러나 debate에는 근본적인 긴장이 있다. 모델은 judge를 설득하도록 유도되며, 이는 항상 epistemic honesty와 일치하지 않을 수 있다. 본 연구에서는 대안적 패러다임인 disagreement resolution을 제안한다. 이는 상호 대립적 debate에서 협력적 진리 탐색으로 상호작용 메커니즘을 재구성한다. 중재자가 분쟁 당사자들이 판정을 받는 대신 대화를 통해 합의에 도달하도록 돕는 인간 mediation과 conflict resolution의 원리를 바탕으로, 우리는 이러한 전략을 AI oversight에 맞게 조정한 자동화 pipeline을 설계한다. 고정된 입장을 옹호하는 standard debate와 달리, 우리의 pipeline은 모델이 disagreement의 지점을 공동으로 식별하고, 상충하는 주장에 대한 증거를 검토하며, consensus로 수렴하거나 disagreement의 특정 ``crux''를 분리하도록 유도한다. Disagreement Resolution은 비전문가 모델이 진실을 식별하는 데 일관되게 도움을 주며, standard debate의 49.2\\%에 비해 62.1\\%의 judging accuracy를 달성한다. 우리의 결과는 scalable oversight protocol을 adversarial persuasion에서 collaborative truth-seeking으로 재고해야 한다는 점을 설득력 있게 뒷받침하는 실증적 증거를 제공한다.
"},{"id":"61086","en":"FormalJudge: A Neuro-Symbolic Paradigm for Agentic Oversight","ko":"FormalJudge: Agentic 감독을 위한 Neuro-Symbolic 패러다임","authors":"Jiayi Zhou, Yang Sheng, Hantao Lou, Yaodong Yang, Jie Fu","pos":"#301","link":"https://openreview.net/forum?id=tnsQ23imeD","abs":"As LLM-based agents increasingly operate in high-stakes domains with real-world consequences, ensuring their behavioral safety becomes paramount. The dominant oversight paradigm, LLM-as-a-Judge, faces a fundamental dilemma: how can probabilistic systems reliably supervise other probabilistic systems without inheriting their failure modes? We argue that formal verification offers a principled escape from this dilemma, yet its adoption has been hindered by a critical bottleneck: the translation from natural language requirements to formal specifications. This paper bridges this gap by proposing , a neuro-symbolic framework that employs a bidirectional Formal-of-Thought architecture: LLMs serve as specification compilers that top-down decompose high-level human intent into atomic, verifiable constraints, then bottom-up prove compliance using Dafny specifications and Z3 Satisfiability modulo theories solving, which produces mathematical guarantees rather than probabilistic scores. We validate across three benchmarks spanning behavioral safety, multi-domain constraint adherence, and agentic upward deception detection. Experiments on 7 agent models demonstrate that achieves an average improvement of 16.6% over LLM-as-a-Judge baselines, enables weak-to-strong generalization where a 7B judge achieves over 90% accuracy detecting deception from 72B agents, and provides near-linear safety improvement through iterative refinement.
","absKo":"LLM 기반 agent가 실제 세계에 중대한 영향을 미치는 high-stakes domain에서 점점 더 많이 작동함에 따라, 그 행동 안전성 보장은 무엇보다 중요해지고 있다. 지배적인 감독 패러다임인 LLM-as-a-Judge는 근본적인 딜레마에 직면한다: probabilistic system이 어떻게 다른 probabilistic system을 그들의 실패 양상을 그대로 물려받지 않으면서 신뢰성 있게 감독할 수 있는가? 우리는 formal verification이 이 딜레마를 벗어나는 원칙적인 해법을 제공한다고 주장하지만, 그 채택은 치명적인 병목에 의해 가로막혀 왔다. 그것은 바로 자연어 요구사항을 formal specification으로 변환하는 문제이다. 본 논문은 양방향 Formal-of-Thought architecture를 사용하는 neuro-symbolic framework를 제안함으로써 이 간극을 메운다: LLM은 고수준의 인간 의도를 top-down 방식으로 원자적이고 검증 가능한 제약으로 분해하는 specification compiler로 작동한 다음, Dafny specification과 Z3 Satisfiability modulo theories solving을 이용해 bottom-up 방식으로 준수 여부를 증명하며, 이를 통해 probabilistic score가 아니라 수학적 보장을 산출한다. 우리는 behavioral safety, multi-domain constraint adherence, agentic upward deception detection을 아우르는 세 개의 benchmark에서 이를 검증한다. 7개 agent model에 대한 실험은 이 방법이 LLM-as-a-Judge baseline 대비 평균 16.6%의 성능 향상을 달성하고, 7B judge가 72B agent의 deception을 탐지할 때 90% 이상의 accuracy를 보이는 weak-to-strong generalization을 가능하게 하며, 반복적 refinement를 통해 near-linear safety improvement를 제공함을 보여준다.
"},{"id":"64242","en":"When Benign Inputs Lead to Severe Harms: Eliciting Unsafe Unintended Behaviors of Computer-Use Agents","ko":"무해한 입력이 심각한 피해로 이어질 때: Computer-Use 에이전트의 안전하지 않은 의도치 않은 행동 유도","authors":"Jaylen Jones, Zhehao Zhang, Yuting Ning, Eric Fosler-Lussier, Pierre-Luc St-Charles, Yoshua Bengio, Dawn Song, Yu Su, Huan Sun","pos":"#3102","link":"https://openreview.net/forum?id=PbXNvEE0jA","abs":"Although computer-use agents (CUAs) hold significant potential to automate increasingly complex OS workflows, they can demonstrate unsafe unintended behaviors that deviate from expected outcomes even under benign input contexts. However, exploration of this risk remains largely anecdotal, lacking concrete characterization and automated methods to proactively surface long-tail unintended behaviors under realistic CUA scenarios. To fill this gap, we introduce the first conceptual and methodological framework for unintended CUA behaviors, by defining their key characteristics, automatically eliciting them, and analyzing how they arise from benign inputs. We propose AutoElicit: an agentic framework that iteratively perturbs benign instructions using CUA execution feedback, and elicits severe harms while keeping perturbations realistic and benign. Using AutoElicit, we surface hundreds of harmful unintended behaviors from state-of-the-art CUAs such as Claude 4.5 Haiku and Opus. We further evaluate the transferability of human-verified successful perturbations, identifying persistent susceptibility to unintended behaviors across various other frontier CUAs. This work establishes a foundation for systematically analyzing unintended behaviors in realistic computer-use settings.
","absKo":"computer-use agent(CUA)는 점점 더 복잡해지는 OS workflow를 자동화할 수 있는 큰 잠재력을 지니고 있지만, benign한 input context 하에서도 기대 결과에서 벗어난 unsafe한 unintended behavior를 보일 수 있습니다. 그러나 이러한 위험에 대한 탐구는 여전히 주로 일화적 수준에 머물러 있으며, 실제 CUA 시나리오에서 long-tail unintended behavior를 사전에 드러내기 위한 구체적인 특성화와 자동화 방법이 부족합니다. 이 공백을 메우기 위해, 우리는 unintended CUA behavior에 대한 핵심 특성을 정의하고, 이를 자동으로 유도하며, benign input으로부터 어떻게 발생하는지 분석하는 첫 conceptual 및 methodological framework를 제시합니다. 우리는 AutoElicit를 제안하는데, 이는 CUA 실행 피드백을 사용해 benign instruction을 반복적으로 perturb하고, 현실적이면서도 benign한 perturbation을 유지한 채 심각한 해를 유도하는 agentic framework입니다. AutoElicit를 사용하여 우리는 Claude 4.5 Haiku와 Opus 같은 state-of-the-art CUA에서 수백 개의 유해한 unintended behavior를 찾아냈습니다. 또한 인간이 검증한 성공적인 perturbation의 transferability를 평가하여, 다양한 다른 frontier CUA 전반에서 unintended behavior에 대한 지속적인 취약성을 확인했습니다. 이 연구는 현실적인 computer-use setting에서 unintended behavior를 체계적으로 분석하기 위한 기반을 마련합니다."},{"id":"62720","en":"The Safety-Aware Denoiser for Text Diffusion Models","ko":"Text Diffusion Models를 위한 Safety-Aware Denoiser","authors":"Amman Yusuf, Zhejun Jiang, Mi Jung Park","pos":"#3103","link":"https://openreview.net/forum?id=dw5BM3OQfZ","abs":"Recent work on text diffusion models offers a promising alternative to autoregressive generation, but controlling their safety remains underexplored. Existing safety approaches are geared toward autoregressive models and typically rely on post-hoc filtering or inference-time interventions. These are inadequate for effectively addressing safety risks in text diffusion models. We propose the Safety-Aware Denoiser (SAD), a safety-guidance framework in text diffusion models. The SAD modifies the iterative denoising process such that the text sample at the final denoising step is steered toward provably safe regions of the text space. This inference-time method can integrate safety constraints into the denoiser, avoiding computationally expensive retraining of the underlying diffusion model and enabling flexible, lightweight safety guidance. We evaluate the safety of the generated text using the SAD, with respect to hazard taxonomy, memorization, and jailbreak. Experimental results show that SAD substantially reduces unsafe generations while preserving generation quality, diversity, and fluency, outperforming existing methods. These results demonstrate that our safety guidance during denoising provides an effective and scalable mechanism for enforcing safety in text diffusion models.
","absKo":"텍스트 diffusion model에 대한 최근 연구는 autoregressive generation에 대한 유망한 대안을 제시하지만, 그 safety를 제어하는 문제는 아직 충분히 탐구되지 않았다. 기존 safety 접근법은 autoregressive model에 맞춰져 있으며, 대개 post-hoc filtering이나 inference-time intervention에 의존한다. 이는 text diffusion model의 safety risk를 효과적으로 다루기에는 부족하다. 우리는 text diffusion model에서의 safety-guidance framework인 Safety-Aware Denoiser (SAD)를 제안한다. SAD는 iterative denoising process를 수정하여, 최종 denoising step의 text sample이 text space의 증명 가능하게 안전한 영역을 향하도록 유도한다. 이 inference-time method는 safety constraint를 denoiser에 통합할 수 있어, 기반 diffusion model의 계산 비용이 큰 재학습을 피하면서 유연하고 경량의 safety guidance를 가능하게 한다. 우리는 hazard taxonomy, memorization, jailbreak에 대해 SAD를 사용해 생성된 text의 safety를 평가한다. 실험 결과는 SAD가 generation quality, diversity, fluency를 유지하면서 unsafe generation을 크게 줄이며, 기존 방법들을 능가함을 보여준다. 이러한 결과는 denoising 동안의 우리의 safety guidance가 text diffusion model에서 safety를 강제하는 효과적이고 확장 가능한 메커니즘임을 입증한다.
"},{"id":"66258","en":"The Heterogeneous Safety Impacts of Benign Multilingual Fine-Tuning","ko":"무해한 다국어 Fine-Tuning의 이질적 안전 영향","authors":"Will Hawkins, Kai Rawal, Jonathan Rystrøm, Stratis Tsirtsis, Zihao Fu, Greta Warren, Eoin Delaney, Ryan Brown, Sandra Wachter, Brent Mittelstadt, Chris Russell","pos":"#3104","link":"https://openreview.net/forum?id=5M6NoV6Hs6","abs":"Fine-tuning a large language model is a ubiquitous method for enhancing its capability on a specific downstream task. However, prior work has shown that this increase in capability comes with a cost: it can increase a model's tendency to respond to unsafe adversarial prompts, even when fine-tuning with non-adversarial data. We present the first comprehensive empirical study of this phenomenon in multilingual settings by fine-tuning Llama-3.2, Qwen3, and Gemma-3 models using benign data translated across nine languages. We find that safety outcomes are highly sensitive to both the choice of fine-tuning language and the evaluation language, with adversarial compliance rates increasing four-fold in some settings. Multilingual safety drift is decoupled from general capability metrics, and occurs heterogeneously across languages and models. Fine-tuning in non-English languages often induces smaller internal representational drifts than English, but these shifts lead models to default to either exaggerated compliance or refusal. As such, assessing fine-tuning impacts solely in English provides inadequate assurance for deployment. To facilitate further research into these cross-lingual safety blind spots, we release the Multilingual-Benign-Tune dataset and the SORRY-Bench-Multilingual evaluation suite.
","absKo":"대규모 language model을 fine-tuning하는 것은 특정 downstream task에서 능력을 향상시키는 보편적인 방법이다. 그러나 선행 연구는, 비적대적 데이터로 fine-tuning하더라도 이러한 능력 향상이 비용을 동반할 수 있으며, 안전하지 않은 adversarial prompt에 반응하려는 경향이 증가할 수 있음을 보여주었다. 우리는 이 현상을 다국어 환경에서 체계적으로 분석한 최초의 포괄적 실증 연구를 제시한다. 이를 위해 benign data를 아홉 개 언어로 번역해 Llama-3.2, Qwen3, Gemma-3 모델을 fine-tuning했다. 우리는 안전성 결과가 fine-tuning에 사용한 언어와 평가 언어 모두에 매우 민감하며, 일부 설정에서는 adversarial compliance rate가 네 배까지 증가함을 발견했다. multilingual safety drift는 일반적인 capability metric과 분리되어 있으며, 언어와 모델 전반에 걸쳐 이질적으로 나타난다. 영어가 아닌 언어로 fine-tuning하면 영어보다 내부 representational drift가 더 작게 유도되는 경우가 많지만, 이러한 변화는 모델이 과장된 compliance 또는 refusal 중 하나로 default하게 만든다. 따라서 fine-tuning의 영향을 영어로만 평가하는 것은 배포에 대한 충분한 보장을 제공하지 못한다. 이러한 cross-lingual safety blind spot에 대한 추가 연구를 촉진하기 위해 우리는 Multilingual-Benign-Tune dataset과 SORRY-Bench-Multilingual evaluation suite를 공개한다."},{"id":"65797","en":"State-Dependent Safety Failures in Multi-Turn Language Model Interaction","ko":"다중 턴 언어 모델 상호작용에서의 상태 의존적 안전 실패","authors":"pengcheng li, Jie Zhang, Tianwei Zhang, Han Qiu, Zhang kejun, Weiming Zhang, Nenghai Yu, Wenbo Zhou","pos":"#3105","link":"https://openreview.net/forum?id=A3920YD7ue","abs":"Safety alignment in large language models is typically evaluated under isolated queries, yet real-world use is inherently multi-turn. Although multi-turn jailbreaks are empirically effective, the structure of conversational safety failure remains insufficiently understood. In this work, we study safety failures from a state-space perspective and show that many multi-turn failures arise from structured contextual state evolution rather than isolated prompt vulnerabilities. We introduce STAR, a state-oriented diagnostic framework that treats dialogue history as a state transition operator and enables controlled analysis of safety behavior along interaction trajectories. Rather than optimizing attack strength, STAR provides a principled probe of how aligned models traverse the safety boundary under autoregressive conditioning. Across multiple frontier language models, we find that systems which appear robust under static evaluation can undergo rapid and reproducible safety collapse under structured multi-turn interaction. Mechanistic analysis reveals monotonic drift away from refusal-related representations and abrupt phase transitions induced by role-conditioned context. Together, these findings motivate viewing language model safety as a dynamic, state-dependent process defined over conversational trajectories.
","absKo":"대규모 언어 모델의 safety alignment는 보통 isolated query 하에서 평가되지만, 실제 사용은 본질적으로 multi-turn이다. multi-turn jailbreak가 경험적으로 효과적임에도 불구하고, 대화형 safety failure의 구조는 여전히 충분히 이해되지 않았다. 본 연구에서는 safety failure를 state-space 관점에서 분석하고, 많은 multi-turn failure가 고립된 prompt 취약점이 아니라 구조화된 contextual state evolution에서 비롯됨을 보인다. 우리는 대화 이력을 state transition operator로 다루며 interaction trajectory를 따라 safety behavior를 제어된 방식으로 분석할 수 있게 하는 state-oriented diagnostic framework인 STAR를 제안한다. STAR는 attack strength를 최적화하기보다, autoregressive conditioning 하에서 aligned model이 safety boundary를 어떻게 통과하는지를 원리적으로 관찰하는 probe를 제공한다. 여러 frontier language model 전반에서, 정적 평가에서는 견고해 보이는 시스템도 구조화된 multi-turn interaction 하에서는 빠르고 재현 가능한 safety collapse를 겪을 수 있음을 발견했다. mechanistic analysis는 refusal 관련 representation으로부터의 단조로운 drift와 role-conditioned context에 의해 유도되는 급격한 phase transition을 드러낸다. 종합하면, 이러한 결과는 language model safety를 대화 trajectory 위에 정의되는 동적인 state-dependent process로 바라볼 필요가 있음을 시사한다.
"},{"id":"66085","en":"RedDebate: Safer Responses Through Multi-Agent Red Teaming Debates","ko":"RedDebate: 멀티에이전트 레드팀 토론을 통한 더 안전한 응답","authors":"Ali Asad, Stephen Obadinma, Radin Shayanfar, Xiaodan Zhu","pos":"#3106","link":"https://openreview.net/forum?id=79fSrxFKKx","abs":"We introduce RedDebate, a novel multi-agent debate framework that provides the foundation for Large Language Models (LLMs) to identify and mitigate their own unsafe behaviors. Existing AI safety approaches often rely on costly human evaluation or isolated single-model assessment, both constrained by scalability and prone to oversight failures. RedDebate employs collaborative argumentation among multiple LLMs across diverse debate scenarios, enabling them to critically evaluate one another’s reasoning and systematically uncover unsafe failure modes through fully automated red-teaming. We further integrate distinct long-term memory modules that preserve safety-relevant insights from debate interactions and leverage them during subsequent inference, facilitating continuous refinement of model behavior. Empirical evaluation on safety benchmarks across a diverse set of models demonstrates that RedDebate substantially reduces unsafe outputs. While debate alone allows LLMs to refine their behavior, the addition of memory modules yields further significant reductions. To the best of our knowledge, RedDebate is the first fully automated framework to unify multi-agent debate and red-teaming to progressively enhance LLM safety without human intervention.
","absKo":"우리는 RedDebate를 소개한다. RedDebate는 Large Language Models (LLMs)가 스스로의 unsafe behavior를 식별하고 완화할 수 있도록 하는 새로운 multi-agent debate framework이다. 기존 AI safety 접근은 종종 비용이 큰 human evaluation이나 고립된 single-model assessment에 의존하는데, 이는 확장성이 제한되고 oversight failure에 취약하다. RedDebate는 다양한 debate scenario 전반에서 여러 LLM 간의 collaborative argumentation을 활용하여, 각 모델이 서로의 reasoning을 비판적으로 평가하고 fully automated red-teaming을 통해 unsafe failure mode를 체계적으로 발견할 수 있게 한다. 또한 debate interaction에서 안전과 관련된 통찰을 보존하는 distinct long-term memory module을 통합하고, 이를 이후 inference에 활용함으로써 model behavior의 지속적인 refinement를 촉진한다. 다양한 model 집합에 걸친 safety benchmark에서의 empirical evaluation은 RedDebate가 unsafe output을 상당히 감소시킨다는 것을 보여준다. debate만으로도 LLM은 behavior를 개선할 수 있지만, memory module을 추가하면 추가적으로 유의미한 감소가 나타난다. 우리가 아는 한, RedDebate는 human intervention 없이 multi-agent debate와 red-teaming을 통합하여 LLM safety를 점진적으로 향상시키는 최초의 fully automated framework이다.
"},{"id":"67121","en":"Position: Current Model Cards Are Insufficient for Downstream Governance of Open-Weight Foundation Models","ko":"Position: 현재의 Model Card는 Open-Weight Foundation Model의 하위 거버넌스에 불충분하다","authors":"Sungwon Chae, Keonwoo Kim, Hoki Kim, Jaeyeon Ju, Sangchul Park","pos":"#3109","link":"https://openreview.net/forum?id=cNnmRnI1R0","abs":"The growth of open-weight foundation models (OWFMs) has prompted the AI community to re-evaluate strategies for effective downstream governance. Although model cards have been widely adopted as transparency artifacts in model repositories, existing frameworks often fail to adequately inform downstream developers and users about the distinct safety challenges posed by OWFMs. This position paper analyzes 500 model cards hosted on Hugging Face and argues that effective governance of OWFMs requires a multi-layered approach integrating three complementary components: (i) model cards, (ii) acceptable use policies (AUPs), and (iii) licenses. To motivate this claim, we identify a safety gap left by existing regulatory approaches, including model heritage, alignment provenance, and empirically observed behaviors, through an analysis of model cards with safety-critical information. We further argue that standard open-source licenses (OSLs) are poorly suited to OWFMs and often undermine the enforceability of AUPs. Building on these observations, we outline directions for evolving model cards, AUPs, and licenses into integrated safety artifacts to enable a more comprehensive governance framework that coherently integrates informational, normative, and legal dimensions.
","absKo":"open-weight foundation models (OWFMs)의 성장은 AI 커뮤니티로 하여금 다운스트림 거버넌스를 효과적으로 수행하기 위한 전략을 재검토하게 만들었다. model card는 model repository에서 투명성 산출물로 널리 채택되어 왔지만, 기존 프레임워크는 OWFM이 제기하는 고유한 안전성 과제를 downstream developer와 사용자에게 충분히 알리지 못하는 경우가 많다. 이 position paper는 Hugging Face에 호스팅된 500개의 model card를 분석하고, OWFM의 효과적인 거버넌스에는 세 가지 상보적 구성 요소, 즉 (i) model card, (ii) acceptable use policy (AUP), (iii) license를 통합하는 다층적 접근이 필요하다고 주장한다. 이 주장을 뒷받침하기 위해, 우리는 model heritage, alignment provenance, 그리고 실증적으로 관찰된 behavior를 포함하여, 안전상 핵심 정보를 담은 model card 분석을 통해 기존 규제 접근이 남기는 safety gap을 식별한다. 또한 표준 open-source license (OSL)는 OWFM에 부적합하며, 종종 AUP의 집행 가능성을 약화시킨다고 주장한다. 이러한 관찰을 바탕으로, 우리는 정보적 차원, 규범적 차원, 법적 차원을 일관되게 통합하는 보다 포괄적인 거버넌스 프레임워크를 가능하게 하기 위해 model card, AUP, license를 통합된 safety artifact로 발전시키는 방향을 제시한다.
"},{"id":"61845","en":"Who Transfers Safety? Identifying and Targeting Cross-Lingual Shared Safety Neurons","ko":"누가 안전성을 전이하는가? Cross-Lingual 공유 Safety Neuron 식별과 타기팅","authors":"Xianhui Zhang, Chengyu Xie, Linxia Zhu, Yonghui Yang, Weixiang Zhao, Zifeng Cheng, Cong Wang, Fei Shen, Tat-Seng Chua","pos":"#311","link":"https://openreview.net/forum?id=mNX4kpc371","abs":"Multilingual safety remains significantly imbalanced, leaving non-high-resource (NHR) languages vulnerable compared to robust high-resource (HR) ones. Moreover, the neural mechanisms driving safety alignment remain unclear despite observed cross-lingual representation transfer.In this paper, we find that LLMs contain a set of cross-lingual shared safety neurons (SS-Neurons), a remarkably small yet critical neuronal subset that jointly regulates safety behavior across languages. We first identify monolingual safety neurons (MS-Neurons) and validate their causal role in safety refusal behavior through targeted activation and suppression. Our cross-lingual analyses then identify SS-Neurons as the subset of MS-Neurons shared between HR and NHR languages, serving as a bridge to transfer safety capabilities from HR to NHR domains. We observe that suppressing these neurons causes concurrent safety drops across NHR languages, whereas reinforcing them improves cross-lingual defensive consistency. Building on these insights, we propose a simple neuron-oriented training strategy that targets SS-Neurons based on language resource distribution and model architecture. Experiments demonstrate that fine-tuning this tiny neuronal subset outperforms state-of-the-art methods, significantly enhancing NHR safety while maintaining the model's general capabilities.
","absKo":"다국어 안전성은 여전히 크게 불균형하여, non-high-resource (NHR) 언어가 강건한 high-resource (HR) 언어에 비해 취약한 상태로 남아 있다. 또한 관찰된 cross-lingual representation transfer에도 불구하고 safety alignment를 이끄는 neural mechanism은 여전히 불분명하다. 본 논문에서 우리는 LLM이 cross-lingual shared safety neuron (SS-Neuron) 집합을 포함하고 있음을 발견한다. 이는 언어 전반에 걸쳐 safety behavior를 공동으로 조절하는, 놀라울 정도로 작지만 핵심적인 neuron subset이다. 우리는 먼저 monolingual safety neuron (MS-Neuron)을 식별하고, targeted activation과 suppression을 통해 safety refusal behavior에서의 인과적 역할을 검증한다. 이어지는 cross-lingual 분석에서는 HR 언어와 NHR 언어 사이에서 공유되는 MS-Neuron의 subset으로서 SS-Neuron을 식별하며, HR 도메인에서 NHR 도메인으로 safety capability를 전달하는 bridge 역할을 한다는 것을 보인다. 이 neuron을 억제하면 NHR 언어 전반에서 safety가 동시에 저하되는 반면, 이를 강화하면 cross-lingual defensive consistency가 향상된다는 것을 관찰한다. 이러한 통찰을 바탕으로 우리는 language resource distribution과 model architecture에 따라 SS-Neuron을 대상으로 하는 간단한 neuron-oriented training strategy를 제안한다. 실험은 이 작은 neuronal subset을 fine-tuning하는 것이 state-of-the-art method를 능가하며, 모델의 일반적 능력을 유지하면서 NHR safety를 크게 향상시킨다는 것을 보여준다.
"},{"id":"63204","en":"PersistBench: When Should Long-Term Memories Be Forgotten by LLMs?","ko":"PersistBench: LLM은 장기 기억을 언제 잊어야 하는가?","authors":"Sidharth Pulipaka, Oliver Chen, Manas Sharma, Taaha Saleem Bajwa, Vyas Raina, Ivaxi Sheth","pos":"#3110","link":"https://openreview.net/forum?id=Z7Rhzk13NT","abs":"Conversational assistants are increasingly integrating long-term memory with large language models (LLMs). This persistence of memories, e.g., the user is vegetarian, can enhance personalization in future conversations. However, the same persistence can also introduce safety risks that have been largely overlooked. Hence, we introduce \\textbf{PersistBench} to measure the extent of these safety risks. We identify two long-term memory-specific risks: \\textit{cross-domain leakage}, where LLMs inappropriately inject context from the long-term memories; and \\textit{memory-induced sycophancy}, where stored long-term memories insidiously reinforce user biases. We evaluate 18 frontier and open-source LLMs on our benchmark. Our results reveal a surprisingly high failure rate across these LLMs - a median failure rate of $53\\%$ on cross-domain samples and $97\\%$ on sycophancy samples. To address this, our benchmark encourages the development of more robust and safer long-term memory usage in frontier conversational systems.","absKo":"Conversational assistant는 large language model (LLM)과 long-term memory를 점점 더 통합하고 있다. 예를 들어 사용자가 vegetarian이라는 기억처럼 memory가 지속되는 것은 향후 대화에서 personalization을 향상시킬 수 있다. 그러나 이러한 persistence는 간과되어 온 안전성 위험도 초래할 수 있다. 이에 우리는 이러한 safety risk의 범위를 측정하기 위해 \\textbf{PersistBench}를 소개한다. 우리는 두 가지 long-term memory 특이적 위험을 식별한다: \\textit{cross-domain leakage}, 즉 LLM이 long-term memory로부터 context를 부적절하게 주입하는 현상, 그리고 \\textit{memory-induced sycophancy}, 즉 저장된 long-term memory가 사용자 편향을 교묘하게 강화하는 현상이다. 우리는 본 benchmark에서 18개의 frontier 및 open-source LLM을 평가한다. 결과는 이들 LLM 전반에서 놀라울 정도로 높은 실패율을 보여주며, cross-domain sample에서는 중앙값 $53\\%$, sycophancy sample에서는 $97\\%$의 failure rate를 보였다. 이를 해결하기 위해, 본 benchmark는 frontier conversational system에서 더 강건하고 더 안전한 long-term memory 사용의 발전을 장려한다."},{"id":"66269","en":"Emergence of Biased Consensus in Multi-Agent LLM Debates","ko":"다중 에이전트 LLM 토론에서 편향된 합의의 출현","authors":"Maya Okawa","pos":"#3112","link":"https://openreview.net/forum?id=5EtByXq4bX","abs":"Multi-agent LLM debates achieve strong performance on decision-making tasks as well as problem-solving benchmarks, yet their safety and fairness risks remain poorly understood. Notably, interaction can amplify the biases of single LLMs, raising concerns for real-world deployment. We identify the emergence of collective (often biased) norms in multi-agent LLM debates and show that noise (e.g., LLM sampling temperature) is a key driver. To explain this, we propose an analytical framework drawing on physics-inspired theoretical models of social dynamics. We predict a phase transition to collective bias when conformity surpasses a critical threshold given the LLMs' initial bias and debate noise. We test the theoretical predictions through controlled experiments and observe a finite-size crossover consistent with an underlying phase transition. We further find that agent heterogeneity suppresses emergence by smoothing (rounding) this transition. Finally, we show that these insights generalize to realistic decision-making tasks, including investment decisions and LLM-as-a-judge evaluation.
","absKo":"Multi-agent LLM debate는 decision-making task와 problem-solving benchmark에서 강력한 성능을 달성하지만, safety와 fairness risk는 여전히 잘 이해되지 않고 있다. 특히 상호작용은 단일 LLM의 편향을 증폭시킬 수 있어, 실제 배포에 대한 우려를 낳는다. 우리는 multi-agent LLM debate에서 collective(종종 biased) norm의 출현을 식별하고, noise(예: LLM sampling temperature)가 핵심 동인임을 보인다. 이를 설명하기 위해, 우리는 사회 동역학의 physics-inspired theoretical model을 바탕으로 한 analytical framework를 제안한다. 우리는 LLM의 초기 편향과 debate noise가 주어졌을 때, conformity가 임계값을 넘으면 collective bias로의 phase transition이 일어날 것이라고 예측한다. 우리는 통제된 실험으로 이 이론적 예측을 검증하고, underlying phase transition과 일치하는 finite-size crossover를 관찰한다. 또한 agent heterogeneity가 이 전이를 완화(rounded transition)시켜 출현을 억제함을 추가로 발견한다. 마지막으로, 이러한 통찰이 investment decision과 LLM-as-a-judge 평가를 포함한 현실적인 decision-making task로 일반화됨을 보인다.
"},{"id":"63023","en":"EMBGUARD: Constructing Hazard-Aware Guardrails for Safe Planning in Embodied Agents","ko":"EMBGUARD: Embodied Agents의 안전한 계획을 위한 Hazard-Aware Guardrails 구축","authors":"Dongwook Choi, Taeyoon Kwon, Bogyung Jeong, Minju Kim, Yeonjun Hwang, Hyojun Kim, Byungchul Kim, Young Kyun Jang, Jinyoung Yeo","pos":"#3113","link":"https://openreview.net/forum?id=aoUVQ5d8vf","abs":"MLLM-powered embodied agents deployed in real-world environments encounter physical hazards. However, existing approaches lack explicit mechanisms for identifying hazards and reasoning about action-conditioned risks, leading agents to either miss risky interactions or over-identify risks. To address this, we propose EMBGUARD, the first MLLM-based safety guardrail for embodied agents designed to decouple physical risk reasoning from agent policy. By evaluating a (visual observation, action) pair, EMBGUARD identifies hazardous configurations and provides natural language explanations of potential risks. Alongside EMBGUARD, we contribute EMBHAZARD, a training dataset of 17K action-conditioned pairs, and EMBGUARDTEST, a benchmark of 189 manually curated real-world scenarios spanning seven physical risk categories. Through compositional variation of hazards and actions, we generate diverse risky and benign scenarios that agents may encounter during planning. Despite its compact size (2B, 4B), EMBGUARD achieves performance competitive with proprietary MLLMs (e.g., GPT-5.1, Gemini-2.5-Pro) while significantly reducing the false-positive rates that hinder realtime deployment. We make the code, data, and models publicly available at https://anonymous.4open.science/r/EMBGuard-742D.
","absKo":"MLLM 기반 embodied agent가 실제 환경에 배치되면 물리적 위험에 직면한다. 그러나 기존 접근법은 위험을 식별하고 action-conditioned risk를 추론하기 위한 명시적 메커니즘이 부족하여, agent가 위험한 상호작용을 놓치거나 위험을 과도하게 식별하게 만든다. 이를 해결하기 위해 우리는 EMBGUARD를 제안한다. EMBGUARD는 embodied agent를 위한 최초의 MLLM 기반 safety guardrail로, 물리적 risk reasoning을 agent policy와 분리하도록 설계되었다. (visual observation, action) 쌍을 평가함으로써 EMBGUARD는 위험한 구성을 식별하고 잠재적 위험에 대한 자연어 설명을 제공한다. EMBGUARD와 함께 우리는 17K개의 action-conditioned pair로 이루어진 학습 데이터셋 EMBHAZARD와, 7개의 물리적 위험 범주에 걸친 189개의 수작업으로 선별한 실제 시나리오로 구성된 benchmark EMBGUARDTEST를 기여한다. 위험과 action의 조합적 변이를 통해, 계획 단계에서 agent가 마주칠 수 있는 다양한 위험 및 비위험 시나리오를 생성한다. 모델 규모가 작음에도(2B, 4B) EMBGUARD는 proprietary MLLM들(예: GPT-5.1, Gemini-2.5-Pro)과 경쟁력 있는 성능을 달성하면서, 실시간 배치를 방해하는 false-positive rate을 크게 줄인다. 코드, 데이터, 모델은 https://anonymous.4open.science/r/EMBGuard-742D 에서 공개한다.
"},{"id":"65706","en":"Decoy for the Judge: Disrupting Multi-Turn Jailbreaks using Semantics-Preserving Output Rewriting","ko":"심판을 위한 미끼: 의미 보존 출력 재작성을 통한 다중 턴 Jailbreak 교란","authors":"Huanli Gong, Zhipeng Wei, Yu Fu, Haz Shahgir, Ananya Gupta, Yue Dong, N. Benjamin Erichson","pos":"#3114","link":"https://openreview.net/forum?id=Azk4mutSxF","abs":"Multi-turn jailbreak attacks have emerged as a powerful threat to LLM safety, leveraging feedback from auxiliary judge models to iteratively refine harmful queries. Existing defenses mainly focus on detecting or blocking harmful content at the final turn, leaving the judge-driven refinement loop intact and allowing attackers to extract informative feedback from intermediate interactions. We introduce Decoy for the Judge (DJ), a semantics-preserving output rewriting approach that intervenes directly in this feedback loop by modifying the victim LLM’s responses before they are evaluated by the attacker’s judge. By misaligning the judge’s feedback signal, DJ perturbs the judge-driven refinement loop and degrades the attacker’s optimization process while preserving the semantic content of the original response. To enable robust and transferable rewriting, we construct a dataset that captures fine-grained distinctions among semantically similar responses with differing harmfulness signals. Leveraging this dataset, DJ is trained using a combination of supervised fine-tuning (SFT) and direct preference optimization (DPO), allowing it to reliably manipulate judge feedback across diverse judge LLMs. Experiments on HarmBench show that DJ significantly reduces the success rate of state-of-the-art multi-turn jailbreaks, while preserving performance on benign multi-turn benchmarks.
","absKo":"Multi-turn jailbreak attack은 보조 judge model의 feedback을 활용해 harmful query를 반복적으로 정교화함으로써 LLM safety에 대한 강력한 위협으로 부상했다. 기존 defense는 주로 최종 turn에서 harmful content를 탐지하거나 차단하는 데 초점을 맞추며, judge-driven refinement loop는 그대로 남겨두어 공격자가 중간 상호작용에서 유익한 feedback을 추출할 수 있게 한다. 우리는 Decoy for the Judge (DJ)를 제안한다. 이는 피해 LLM의 응답이 공격자의 judge에 의해 평가되기 전에 이를 수정함으로써 이 feedback loop에 직접 개입하는 semantics-preserving output rewriting 방법이다. judge의 feedback signal을 비정렬함으로써, DJ는 judge-driven refinement loop를 교란하고 공격자의 optimization process를 저해하면서도 원래 응답의 semantic content는 보존한다. 견고하고 전이 가능한 rewriting을 가능하게 하기 위해, 우리는 의미적으로 유사하지만 harmfulness signal이 다른 응답들 사이의 세밀한 구분을 포착하는 dataset을 구성한다. 이 dataset을 활용하여 DJ는 supervised fine-tuning (SFT)과 direct preference optimization (DPO)을 결합해 학습되며, 다양한 judge LLM 전반에서 judge feedback을 안정적으로 조작할 수 있다. HarmBench 실험에서 DJ는 state-of-the-art multi-turn jailbreak의 성공률을 유의미하게 낮추면서도 benign multi-turn benchmark에서의 성능은 유지한다.
"},{"id":"67075","en":"Position: LLM-Safety Evaluations Lack Robustness","ko":"Position: LLM 안전성 평가는 강건성이 부족하다","authors":"Tim Beyer, Sophie Xhonneux, Simon Geisler, Gauthier Gidel, Leo Schwinn, Stephan Günnemann","pos":"#3202","link":"https://openreview.net/forum?id=npJ7tn2QO8","abs":"In this position paper, we argue that current safety alignment research efforts for large language models are hindered by many intertwined sources of noise, such as small datasets, methodological inconsistencies, and unreliable evaluation setups. This can, at times, make it impossible to evaluate and compare attacks and defenses fairly, thereby slowing research progress. We systematically analyze the LLM safety evaluation pipeline, covering dataset curation, optimization strategies for automated red-teaming, response generation, and response evaluation using LLM judges. At each stage, we identify key issues and highlight their practical impact. We also propose a set of guidelines for reducing noise and bias in evaluations of future attack and defense papers. Lastly, we offer an opposing perspective, highlighting practical reasons for existing limitations. We believe that addressing the outlined problems in future research will improve the field’s ability to generate easily comparable results and make measurable progress.
","absKo":"이 position paper에서 우리는 large language model을 위한 현재의 safety alignment 연구가 작은 데이터셋, 방법론적 불일치, 신뢰할 수 없는 evaluation setup과 같은 서로 얽힌 다수의 noise 원인들로 인해 저해되고 있다고 주장한다. 이는 때로 attack과 defense를 공정하게 평가하고 비교하는 것을 불가능하게 만들어 연구 진전을 늦춘다. 우리는 dataset curation, automated red-teaming을 위한 optimization strategy, response generation, 그리고 LLM judge를 사용한 response evaluation까지 포괄하여 LLM safety evaluation pipeline을 체계적으로 분석한다. 각 단계에서 핵심 문제를 식별하고 그 실질적 영향을 강조한다. 또한 향후 attack 및 defense 논문 평가에서 noise와 bias를 줄이기 위한 일련의 가이드라인을 제안한다. 마지막으로, 기존 한계에 대한 실용적 이유를 강조하는 반대 관점도 제시한다. 우리는 이후 연구가 제시된 문제들을 다루게 되면, 이 분야가 쉽게 비교 가능한 결과를 생성하고 측정 가능한 진전을 이루는 능력이 향상될 것이라고 믿는다.
"},{"id":"60615","en":"Don't Walk the Line: Boundary Guidance for Filtered Generation","ko":"선을 따라 걷지 마라: 필터링된 생성을 위한 경계 가이던스","authors":"Sarah Ball, Andreas Haupt","pos":"#3205","link":"https://openreview.net/forum?id=yTeVcvtkbI","abs":"Generative models are increasingly paired with safety classifiers that filter harmful or undesirable outputs. A common strategy is to fine-tune the generator to reduce the probability of being filtered, but this can be suboptimal: it often pushes the model toward producing samples near the classifier’s decision boundary, increasing both false positives and false negatives. We propose \\emph{Boundary Guidance}, a reinforcement learning fine-tuning method that explicitly steers generation away from the classifier’s margin. On a benchmark of jailbreak, ambiguous, and long-context prompts, \\emph{Boundary Guidance} improves both the safety and the utility of outputs, as judged by LLM-as-a-Judge evaluations. Comprehensive ablations across model scales and reward designs demonstrate the robustness of our approach. The code is available at https://anonymous.4open.science/r/boundary-avoidance-45G2-45FD1.
","absKo":"Generative model은 해로운 또는 바람직하지 않은 출력을 걸러내는 safety classifier와 점점 더 자주 함께 사용된다. 일반적인 전략은 generator를 fine-tune하여 필터링될 확률을 낮추는 것이지만, 이는 최적이 아닐 수 있다. 이런 방식은 종종 model을 classifier의 decision boundary 부근 샘플을 생성하도록 밀어 넣어 false positive와 false negative를 모두 증가시킨다. 우리는 classifier의 margin에서 명시적으로 멀어지도록 generation을 유도하는 reinforcement learning fine-tuning 방법인 \\emph{Boundary Guidance}를 제안한다. jailbreak, ambiguous, long-context prompt로 구성된 benchmark에서 \\emph{Boundary Guidance}는 LLM-as-a-Judge 평가 기준으로 output의 safety와 utility를 모두 향상시킨다. model scale과 reward design 전반에 대한 포괄적 ablation은 이 접근법의 견고함을 보여준다. 코드는 https://anonymous.4open.science/r/boundary-avoidance-45G2-45FD1 에서 확인할 수 있다.
"},{"id":"66248","en":"A Geometric Analysis of Small-sized Language Model Hallucinations","ko":"소형 언어 모델 환각에 대한 기하학적 분석","authors":"Emanuele Ricco, Elia Onofri, Lorenzo Cima, Stefano Cresci, Roberto Di Pietro","pos":"#3206","link":"https://openreview.net/forum?id=5RQPAHUtCO","abs":"Hallucinations---fluent but factually incorrect responses---pose a major challenge to the reliability of language models, especially in multi-step or agentic settings. This work investigates hallucinations in small-sized LLMs through a geometric perspective, starting from the hypothesis that when models generate multiple responses to the same prompt, genuine ones exhibit tighter clustering in the embedding space, we prove this hypothesis and, leveraging this geometrical insight, we also show that it is possible to achieve a consistent level of separability. This latter result is used to introduce a label-efficient propagation method that classifies large collections of responses from just 30–50 annotations, achieving F1 scores above 90\\%. Our findings, framing hallucinations from a geometric perspective in the embedding space, complement traditional knowledge-centric and single-response evaluation paradigms, paving the way for further research.
","absKo":"환각(hallucination)---유창하지만 사실적으로는 부정확한 응답---은 특히 multi-step 또는 agentic 설정에서 언어 모델의 신뢰성에 큰 도전 과제를 제기한다. 본 연구는 소형 LLM에서의 환각을 기하학적 관점에서 조사한다. 동일한 프롬프트에 대해 모델이 여러 응답을 생성할 때, 진짜 응답은 embedding space에서 더 촘촘한 클러스터링을 보인다는 가설에서 출발하여, 우리는 이 가설을 증명하고, 이러한 기하학적 통찰을 활용해 일관된 수준의 separability를 달성할 수 있음을 보인다. 이 후자의 결과를 이용해, 단 30~50개의 annotation만으로 대규모 응답 집합을 분류하는 label-efficient propagation 방법을 제안하며, F1 score 90\\% 이상의 성능을 달성한다. embedding space에서의 기하학적 관점으로 환각을 정식화한 우리의 발견은 전통적인 knowledge-centric 및 single-response evaluation 패러다임을 보완하며, 후속 연구의 길을 연다.
"},{"id":"65276","en":"Around the World in Eighty Ratings? Quantifying the Salience of Geo-Cultural Values for Pluralistic Alignment","ko":"80개의 평점으로 세계 일주? 다원적 정렬을 위한 지리-문화적 가치의 현저성 정량화","authors":"Arkadiy Saakyan, Charvi Rastogi, Lora Aroyo","pos":"#3207","link":"https://openreview.net/forum?id=F9wgCdVPaV","abs":"Safe global deployment of AI models requires alignment with pluralistic human values, yet in existing safety evaluation datasets the rater pools remain largely homogeneous along geo-cultural dimensions. Through a meta-analysis of existing safety datasets, we observe that the vast majority does not include any geo-cultural information, and the ones that do, lack a robust approach to collect and understand cultural differences in safety ratings. Using the Inglehart-Welzel dimensions of cross-cultural variation, we demonstrate via hierarchical linear modeling that geo-cultural values predict safety ratings significantly better than demographic factors alone ($p<0.05$ in $6$ datasets). Further, our analysis shows that several safety datasets contain at least 10\\% of culturally-sensitive items, where lack of cultural representation in the rater pool would lead to a false negative in safety classification. Finally, we provide empirical evidence that fine-tuned LLMs can identify culturally sensitive items but are not reliable at emulating judgments of raters from diverse cultural backgrounds, underscoring the critical need for continuous geo-culturally stratified (pluralistic) safety evaluations.","absKo":"AI model의 안전한 global deployment는 복수의 인간 가치와의 alignment를 필요로 하지만, 기존 safety evaluation dataset에서는 rater pool이 geo-cultural 차원에서 대체로 동질적이다. 기존 safety dataset에 대한 meta-analysis를 통해, 대다수가 어떤 geo-cultural 정보도 포함하지 않으며, 포함하는 경우에도 safety rating의 문화적 차이를 수집하고 이해할 수 있는 견고한 접근법이 부족함을 관찰했다. Inglehart-Welzel의 cross-cultural variation 차원을 사용하여, hierarchical linear modeling을 통해 geo-cultural value가 demographic factor만으로 설명하는 것보다 safety rating을 유의하게 더 잘 예측함을 보인다($p<0.05$; $6$개 dataset). 더 나아가, 우리의 분석은 여러 safety dataset에 최소 10\\%의 culturally-sensitive item이 포함되어 있으며, rater pool의 문화적 대표성이 부족하면 safety classification에서 false negative가 발생할 수 있음을 보여준다. 마지막으로, fine-tuned LLMs는 culturally sensitive item을 식별할 수는 있지만 다양한 문화적 배경을 가진 rater의 판단을 모사하는 데는 신뢰할 수 없다는 실증적 증거를 제시하며, 지속적이고 geo-culturally stratified(복수주의적) safety evaluation의 중대한 필요성을 강조한다."},{"id":"63362","en":"AutoControl Arena: Synthesizing Executable Test Environments for Frontier AI Risk Evaluation","ko":"AutoControl Arena: Frontier AI 위험 평가를 위한 실행 가능한 테스트 환경 합성","authors":"Changyi Li, Pengfei Lu, Xudong Pan, Fazl Barez, Min Yang","pos":"#3208","link":"https://openreview.net/forum?id=XkDpZusDTK","abs":"As Large Language Models (LLMs) evolve into autonomous agents, existing safety evaluations face a fundamental trade-off: manual benchmarks are costly, while LLM-based simulators are scalable but suffer from logic hallucination. We present AUTOCONTROL ARENA, an automated framework for frontier AI risk evaluation built on the principle of logic-narrative decoupling. By grounding deterministic state in executable code while delegating generative dynamics to LLMs, we mitigate hallucination while maintaining flexibility. This principle, instantiated through a three-agent framework, achieves over 98% end-to-end success and 60% human preference over existing simulators. To elicit latent risks, we vary environmental Stress and Temptation across X-BENCH(70 scenarios, 7 risk categories). Evaluating 9 frontier models reveals: (1) Alignment Illusion: risk rates surge from 21.4% to 52.9% under pressure, with capable models showing disproportionately larger increases; (2) Scenario-Specific Safety Scaling: advanced reasoning improves robustness for direct harms but worsens it for gaming scenarios; and (3) Divergent Misalignment Patterns: weaker models cause non-malicious harm while stronger models develop strategic concealment.
","absKo":"Large Language Models (LLMs)이 자율 agent로 진화함에 따라, 기존 safety evaluation은 근본적인 trade-off에 직면한다. 수작업 benchmark는 비용이 크고, LLM 기반 simulator는 확장 가능하지만 logic hallucination의 문제를 겪는다. 우리는 logic-narrative decoupling 원칙 위에 구축된 frontier AI risk evaluation을 위한 자동화 프레임워크 AUTOCONTROL ARENA를 제시한다. 결정론적 state는 executable code에 grounding하고, 생성적 dynamics는 LLM에 위임함으로써, 유연성을 유지하면서 hallucination을 완화한다. 이 원칙을 세 agent framework로 구현한 결과, 기존 simulator 대비 end-to-end 성공률 98% 이상과 human preference 60% 이상을 달성한다. 잠재적 risk를 유도하기 위해, 우리는 X-BENCH(70 scenarios, 7 risk categories) 전반에서 environmental Stress와 Temptation을 변화시킨다. 9개의 frontier model을 평가한 결과 다음이 드러난다: (1) Alignment Illusion: pressure 하에서 risk rate가 21.4%에서 52.9%로 급증하며, 능력이 뛰어난 모델일수록 증가 폭이 더 크다; (2) Scenario-Specific Safety Scaling: advanced reasoning은 direct harm에 대한 robustness를 향상시키지만 gaming scenario에서는 오히려 악화시킨다; (3) Divergent Misalignment Patterns: 약한 모델은 비악의적 harm을 유발하는 반면, 강한 모델은 전략적 은폐를 발전시킨다.
"},{"id":"65895","en":"Calibrating Conservatism for Scalable Oversight","ko":"확장 가능한 감독을 위한 보수성 보정","authors":"William Overman, Mohsen Bayati","pos":"#3211","link":"https://openreview.net/forum?id=94sQrbiUeI","abs":"Agentic AI systems capable of autonomous planning and extended environmental interaction pose a fundamental control problem: how can humans maintain meaningful oversight of systems that may exceed human capabilities? While scalable oversight is widely studied, existing approaches often rely on complex assumptions, remain largely heuristic, or lack practical methods for sequential settings with statistical guarantees. We introduce Calibrated Collective Oversight (CCO), which aggregates diverse auxiliary scoring functions into a penalty that measures deviation from a conservative baseline. Inspired by Attainable Utility Preservation, CCO enables collective conservatism: when multiple oversight signals register concern, the agent defers. CCO calibrates this conservatism online using Conformal Decision Theory, ensuring that undesirable outcomes remain below a user-specified target $\\alpha$ with finite-time bounds and no distributional assumptions. Experiments on SWE-bench demonstrate that weaker overseers successfully constrain an adversarially misaligned stronger agent. Similarly, on MACHIAVELLI, CCO achieves substantial reductions in ethical violations while preserving reward. In both settings, empirical violation rates closely match the specified targets. Our work demonstrates that combining penalty-based conservatism with online calibration yields practical oversight with statistical guarantees suited for agentic deployment.","absKo":"자율 계획과 장기간의 환경 상호작용이 가능한 agentic AI system은 근본적인 control problem을 제기한다. 즉, 인간은 인간의 능력을 능가할 수 있는 system을 어떻게 의미 있게 감독할 수 있는가? scalable oversight가 널리 연구되고 있지만, 기존 접근법은 종종 복잡한 가정에 의존하거나, 대체로 heuristic에 머무르거나, statistical guarantee가 필요한 순차적 setting을 위한 실용적 방법이 부족하다. 우리는 다양한 auxiliary scoring function을 conservative baseline에서의 편차를 측정하는 penalty로 집계하는 Calibrated Collective Oversight(CCO)를 도입한다. Attainable Utility Preservation에서 영감을 받은 CCO는 collective conservatism을 가능하게 한다. 여러 oversight signal이 우려를 표시하면 agent는 물러난다. CCO는 Conformal Decision Theory를 사용해 이러한 conservatism을 online으로 보정하며, 분포 가정 없이 finite-time bound를 통해 바람직하지 않은 결과가 사용자가 지정한 target $\\alpha$ 이하로 유지되도록 보장한다. SWE-bench에서의 실험은 더 약한 overseer가 적대적으로 misaligned된 더 강한 agent를 성공적으로 제어함을 보여준다. 마찬가지로 MACHIAVELLI에서는 CCO가 reward를 보존하면서 ethical violation을 크게 줄인다. 두 설정 모두에서 경험적 violation rate는 지정된 target과 매우 가깝게 일치한다. 우리의 연구는 penalty-based conservatism과 online calibration을 결합하면 agentic deployment에 적합한 statistical guarantee를 갖춘 실용적 oversight를 제공할 수 있음을 보여준다."},{"id":"65104","en":"Constitutional Black-Box Monitoring for Scheming in LLM Agents","ko":"LLM 에이전트의 음모 행동에 대한 헌법적 블랙박스 모니터링","authors":"Simon Storf, Rich Barton-Cooper, James Peters-Gill, Marius Hobbhahn","pos":"#3213","link":"https://openreview.net/forum?id=GkL3dANi6M","abs":"Safe deployment of Large Language Model (LLM) agents in autonomous settings requires reliable oversight mechanisms. A central challenge is detecting scheming, where agents covertly pursue misaligned goals. One approach to mitigating such risks is LLM-based monitoring: using language models to examine agent behaviors for suspicious actions. We study constitutional black-box monitors: prompted classifiers that detect scheming using only externally observable inputs and outputs, optimized on synthetic data generated from natural-language behavior specifications. We introduce two pipelines for generating synthetic agent trajectories, STRIDE (iterative refinement) and Gloom (agent-environment simulation), from which we generate 1,000 samples each. We optimize monitors on these datasets via prompt sweeps, human refinement, and automated prompt optimization, and evaluate performance on 7,500 held-out trajectories from Control Arena, a suite of grounded environments where agents operate in more realistic contexts. Our results demonstrate that monitors selected purely on synthetic data can generalize to more realistic environments, capturing a meaningful scheming signal. However, we find that performance saturates quickly in our setting, with simple prompt sweeps matching the results of more extensive optimization. Pushing beyond this limit yields no further improvements and instead leads to overfitting.
","absKo":"자율 환경에서 Large Language Model(LLM) agent를 안전하게 배포하려면 신뢰할 수 있는 oversight mechanism이 필요하다. 핵심 과제는 agent가 잘못 정렬된 목표를 은밀하게 추구하는 scheming을 탐지하는 것이다. 이러한 위험을 완화하는 한 가지 접근은 LLM-based monitoring으로, language model을 사용해 agent의 행동에서 의심스러운 행동을 검사하는 것이다. 우리는 constitutional black-box monitor를 연구한다. 이는 외부에서 관측 가능한 입력과 출력만을 사용해 scheming을 탐지하는 prompted classifier이며, 자연어 behavior specification에서 생성된 synthetic data로 최적화된다. 우리는 synthetic agent trajectory를 생성하기 위한 두 가지 pipeline, STRIDE(iterative refinement)와 Gloom(agent-environment simulation)을 소개하며, 각 pipeline에서 1,000개 샘플을 생성한다. 우리는 prompt sweep, human refinement, automated prompt optimization을 통해 이 데이터셋에서 monitor를 최적화하고, agent가 더 현실적인 맥락에서 작동하는 grounded environment 모음인 Control Arena의 7,500개 held-out trajectory에서 성능을 평가한다. 우리의 결과는 synthetic data만으로 선택된 monitor가 더 현실적인 environment로 일반화되어 의미 있는 scheming 신호를 포착할 수 있음을 보여준다. 그러나 우리의 설정에서는 성능이 빠르게 포화되며, 단순한 prompt sweep이 더 광범위한 최적화와 같은 결과를 낸다는 사실도 발견했다. 이 한계를 넘어서도 추가 향상은 없었고, 오히려 overfitting이 발생했다.
"},{"id":"66009","en":"Copyright-Bench: Agentic Evaluation of Copyright Law Compliance","ko":"Copyright-Bench: 저작권법 준수의 에이전트 기반 평가","authors":"Zheng Hui, Doni Bloomfield, Noam Kolt","pos":"#3214","link":"https://openreview.net/forum?id=7y6a5ouziq","abs":"Large language model (LLM) agents increasingly perform commercial tasks that involve retrieving external content such as images and, where appropriate, reproducing that content. LLM agents should comply with the law, including the laws of copyright. Yet today we lack adequate tools to assess whether they do so. To that end, we introduce Copyright-Bench, a benchmark designed to evaluate copyright law compliance of LLM agents. Copyright-Bench is comprised of realistic commercial tasks---website development, merchandise design, and corporate content production---that involve agents selecting between freely licensed content (the use of which is legal) and copyrighted content (the use of which is illegal at least in this setting). Notably, the evaluation introduces prompt variations that simulate different levels of user intent and time pressure. Comparing state-of-the-art agents against a human baseline, we find that: (1) LLM agents take actions that violate copyright law despite the availability of lawful alternatives; and (2) violation rates increase in response to user intent and under simulated time pressure.
","absKo":"Large language model (LLM) agent는 점점 더 이미지와 같은 외부 콘텐츠를 검색하고, 적절한 경우 그 콘텐츠를 재현하는 상업적 작업을 수행하고 있다. LLM agent는 저작권법을 포함한 법을 준수해야 한다. 그러나 오늘날 우리는 그들이 실제로 그렇게 하는지 평가할 적절한 도구를 갖고 있지 않다. 이를 위해 우리는 LLM agent의 저작권법 준수를 평가하도록 설계된 benchmark인 Copyright-Bench를 소개한다. Copyright-Bench는 웹사이트 개발, 상품 디자인, 기업 콘텐츠 제작과 같은 현실적인 상업적 task로 구성되며, agent가 자유 이용 허가 콘텐츠(사용이 합법적임)와 저작권이 있는 콘텐츠(이 상황에서는 최소한 불법인 사용) 사이에서 선택해야 한다. 특히, 평가에는 사용자 의도 수준과 시간 압박의 정도를 모사하는 prompt variation이 포함된다. 최첨단 agent를 인간 baseline과 비교한 결과, 우리는 다음을 발견한다. (1) LLM agent는 합법적 대안이 있음에도 저작권법을 위반하는 행동을 한다. (2) 위반률은 사용자 의도와 시뮬레이션된 시간 압박이 커질수록 증가한다.
"},{"id":"68803","en":"Decoding Safety Feedback from Diverse Raters: A Data-driven Lens on Responsiveness to Severity","ko":"다양한 평가자로부터 안전 피드백 디코딩: 심각도에 대한 반응성의 데이터 주도적 관점","authors":"Pushkar Mishra, Charvi Rastogi, Stephen Pfohl, Alicia Parrish, Tian Teh, Roma Patel, Mark Diaz, Ding Wang, Michela Paganini, Vinodkumar Prabhakaran, Lora Aroyo, Verena Rieser","pos":"#3305","abs":"Ensuring the safety of Generative AI requires a nuanced understanding of pluralistic viewpoints. In this paper, we introduce a novel data-driven approach for analyzing ordinal safety ratings in pluralistic settings. Specifically, we address the challenge of interpreting nuanced differences in safety feedback from a diverse population expressed via ordinal scales (e.g., a Likert scale). We define non-parametric responsiveness metrics that quantify how raters convey broader distinctions and granular variations in the severity of safety violations. Leveraging publicly available datasets of pluralistic safety feedback as our case studies, we investigate how raters from different demographic groups use an ordinal scale to express their perceptions of the severity of violations. We apply our metrics across violation types, demonstrating their utility in extracting nuanced insights that are crucial for aligning AI systems reliably in multi-cultural contexts. We show that our approach can inform rater selection and feedback interpretation by capturing nuanced viewpoints across different demographic groups, hence improving the quality of pluralistic data collection and in turn contributing to more robust AI alignment.
","absKo":"Generative AI의 안전성을 보장하려면 pluralistic viewpoint에 대한 정교한 이해가 필요하다. 본 논문에서는 pluralistic setting에서 ordinal safety rating을 분석하기 위한 새로운 data-driven 접근법을 제안한다. 구체적으로, 우리는 Likert scale과 같은 ordinal scale을 통해 표현되는 다양한 집단의 safety feedback에서 미묘한 차이를 해석하는 문제를 다룬다. 우리는 안전 위반의 더 넓은 구분과 세밀한 변화를 평가자가 얼마나 전달하는지를 정량화하는 non-parametric responsiveness metric을 정의한다. 공개적으로 이용 가능한 pluralistic safety feedback 데이터셋을 case study로 활용하여, 서로 다른 demographic group의 평가자들이 ordinal scale을 사용해 위반의 심각성에 대한 인식을 어떻게 표현하는지 조사한다. 우리는 다양한 violation type에 걸쳐 이러한 metric을 적용하여, 다문화 맥락에서 AI 시스템을 신뢰성 있게 정렬하는 데 중요한 미묘한 통찰을 추출하는 데 그 유용성을 입증한다. 또한 우리의 접근법이 서로 다른 demographic group 전반의 미묘한 관점을 포착함으로써 rater selection과 feedback interpretation에 기여할 수 있으며, 이를 통해 pluralistic data collection의 질을 높이고 궁극적으로 더 견고한 AI alignment에 기여함을 보인다.
"},{"id":"67147","en":"Position: AI Governance Needs ISO-like Interoperability Protocols, Not Just Laws","ko":"Position: AI 거버넌스에는 법률만이 아니라 ISO 유사 상호운용성 프로토콜이 필요하다","authors":"Azmine Toushik Wasi, Mst Islam, Mahfuz Anik, Manjurul Ahsan, Taki Hasan Rafi, Dong-Kyu Chae","pos":"#3309","link":"https://openreview.net/forum?id=TE3ceHd4YU","abs":"As Artificial Intelligence (AI) becomes increasingly embedded in global infrastructure, the urgency for robust governance frameworks has intensified. However, current approaches, led by jurisdiction-specific laws such as the EU AI Act, China's algorithm governance, and the NIST AI Risk Management Framework in the U.S., create a fragmented regulatory landscape. In this position paper, we argue that \\textbf{\\textit{AI governance must be built not on laws alone, but on ISO-like interoperability protocols that enable standardized, machine-readable risk communication across borders}}. Drawing on the success of the GDPR, which was operationalized through standards like ISO 27001 and Privacy by Design, we propose the development of standardized AI \\textit{nutrition labels} containing unified metrics for bias, energy usage, and data provenance to facilitate cross-jurisdictional compliance. These manifests would lower barriers for small and medium enterprises (SMEs), reduce redundant regulatory efforts, and build public trust. The paper addresses concerns that standards may stifle innovation by advocating for modular, versioned protocols designed to evolve in tandem with technological change. Overall, we call for a shift from siloed legal compliance toward interoperable technical conformance, enabling a shared global language for responsible AI deployment.
","absKo":"Artificial Intelligence (AI)가 전 세계 인프라에 점점 더 깊이 내장됨에 따라, 강건한 governance framework의 필요성은 더욱 커지고 있다. 그러나 EU AI Act, 중국의 algorithm governance, 미국의 NIST AI Risk Management Framework 같은 관할권별 법률이 주도하는 현재의 접근법은 파편화된 규제 환경을 만들어낸다. 본 position paper에서 우리는 \\textbf{\\textit{AI governance는 법만으로가 아니라, 국경을 넘어 표준화되고 machine-readable한 risk communication을 가능하게 하는 ISO-like interoperability protocol 위에 구축되어야 한다}}고 주장한다. GDPR이 ISO 27001과 Privacy by Design 같은 standard를 통해 operationalized된 성공에 착안하여, 우리는 bias, energy usage, data provenance에 대한 통합 metric을 담은 표준화된 AI \\textit{nutrition label} 개발을 제안하며, 이는 관할권 간 compliance를 용이하게 할 것이다. 이러한 manifest는 중소기업(SME)의 진입 장벽을 낮추고, 중복 규제 노력을 줄이며, 대중의 신뢰를 구축할 수 있다. 본 논문은 standard가 혁신을 저해할 수 있다는 우려에 대응하여, 기술 변화와 함께 진화하도록 설계된 modular하고 versioned된 protocol을 옹호한다. 전반적으로 우리는 siloed legal compliance에서 상호운용 가능한 기술적 conformance로의 전환을 촉구하며, 책임 있는 AI 배치를 위한 공유된 글로벌 언어를 가능하게 해야 한다고 주장한다.
"},{"id":"63888","en":"It's a TRAP! Task-Redirecting Agent Persuasion Benchmark for Web Agents","ko":"It's a TRAP! 웹 에이전트를 위한 작업 재지향 agent 설득 벤치마크","authors":"Karolina Korgul, Yushi Yang, Arkadiusz Drohomirecki, Piotr Blaszczyk, Will Howard, Lukas Aichberger, Chris Russell, Phil Torr, Adam Mahdi, Adel Bibi","pos":"#3401","link":"https://openreview.net/forum?id=Smk4fl6Q9E","abs":"Web-based agents powered by large language models are increasingly used for tasks such as email management or professional networking. Their reliance on dynamic web content, however, makes them vulnerable to prompt injection attacks: adversarial instructions hidden in interface elements that persuade the agent to divert from its original task. We introduce the Task-Redirecting Agent Persuasion Benchmark (TRAP), an evaluation for studying how persuasion techniques misguide autonomous web agents on realistic tasks. Across six frontier models, agents are susceptible to prompt injection in 25% of tasks on average (13% for GPT-5 to 43% for DeepSeek-R1), with small interface or contextual changes often doubling success rates and revealing systemic, psychologically driven vulnerabilities in web-based agents. We also provide a modular social-engineering injection framework with controlled experiments on high-fidelity website clones, allowing for further benchmark expansion.
","absKo":"large language model이 구동하는 web-based agent는 email management나 professional networking 같은 task에 점점 더 많이 사용되고 있다. 그러나 동적인 web content에 의존하기 때문에 prompt injection attack에 취약하다. 즉, interface element에 숨겨진 adversarial instruction이 agent를 원래 task에서 벗어나게 만들 수 있다. 우리는 persuasion technique이 현실적인 task에서 자율 web agent를 어떻게 오도하는지 연구하기 위한 평가인 Task-Redirecting Agent Persuasion Benchmark (TRAP)를 소개한다. 6개의 frontier model 전반에서 agent는 평균적으로 task의 25%에서 prompt injection에 취약했으며(GPT-5는 13%, DeepSeek-R1은 43%), 작은 interface 또는 context 변화만으로도 성공률이 종종 두 배로 증가했고, web-based agent에 내재한 시스템적이고 심리학적으로 유도된 취약성을 드러냈다. 또한 우리는 고충실도 website clone에서 통제된 실험을 수행할 수 있는 modular social-engineering injection framework를 제공하여, benchmark의 추가 확장을 가능하게 한다.
"},{"id":"65906","en":"RepetitionCurse: Measuring and Understanding Router Imbalance in Mixture-of-Experts LLMs under DoS Stress","ko":"RepetitionCurse: DoS 스트레스 하에서 Mixture-of-Experts LLM의 라우터 불균형 측정 및 이해","authors":"Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong CHEN, Shuai Wang, Wei Wang","pos":"#4416","link":"https://openreview.net/forum?id=91HObJG07V","abs":"Mixture-of-Experts architectures have become the standard for efficient LLM scaling, typically employing expert parallelism to distribute experts across devices. However, the absence of explicit load balancing constraints during inference allows adversarial inputs to trigger severe routing concentration. We demonstrate that out-of-distribution prompts can manipulate the routing mechanism such that all tokens are routed to the same set of top-k experts, which creates computational bottlenecks on certain devices while forcing others to idle. This converts an efficiency mechanism into a denial-of-service attack vector, leading to violations of service-level agreements for time-to-first-token (TTFT). We propose RepetitionCurse, a black-box strategy to exploit this vulnerability. By identifying a universal flaw in MoE router behavior, RepetitionCurse constructs attack prompts using simple repetitive token patterns in a model-agnostic manner. On widely deployed MoE models hosted on 8-GPU clusters, our method increases TTFT by 20% to 148%, significantly degrading service quality.
","absKo":"Mixture-of-Experts architecture는 efficient LLM scaling의 표준이 되었으며, 일반적으로 expert parallelism을 사용해 expert를 여러 device에 분산한다. 그러나 inference 중 explicit load balancing constraint가 없으면 adversarial input이 심각한 routing concentration을 유발할 수 있다. 우리는 out-of-distribution prompt가 routing mechanism을 조작하여 모든 token이 동일한 top-k expert 집합으로 라우팅되게 만들 수 있음을 보인다. 이로 인해 특정 device에는 computational bottleneck이 생기고 다른 device는 유휴 상태가 된다. 결과적으로 efficiency mechanism이 denial-of-service attack vector로 바뀌며, time-to-first-token(TTFT) 서비스 수준 협약 위반으로 이어진다. 우리는 이 취약점을 악용하는 black-box 전략인 RepetitionCurse를 제안한다. MoE router behavior의 보편적 결함을 식별함으로써, RepetitionCurse는 model-agnostic 방식으로 단순한 반복 token pattern을 사용해 attack prompt를 구성한다. 8-GPU cluster에 호스팅된 널리 사용되는 MoE model에서, 우리의 방법은 TTFT를 20%에서 148%까지 증가시켜 서비스 품질을 크게 저하시킨다.
"},{"id":"64418","en":"Provably Convergent Actor-Critic in Risk-averse MARL","ko":"위험 회피 MARL에서 증명 가능하게 수렴하는 Actor-Critic","authors":"Yizhou Zhang, Eric Mazumdar","pos":"#118","link":"https://openreview.net/forum?id=NpguYNGrG2","abs":"Learning stationary policies in infinite-horizon general-sum Markov games (MGs) remains a fundamental open problem in Multi-Agent Reinforcement Learning (MARL). While stationary strategies are preferred for their practicality, computing stationary forms of classic game-theoretic equilibria is computationally intractable—a stark contrast to the comparative ease of solving single-agent RL or zero-sum games. To bridge this gap, we study Risk-averse Quantal response Equilibria (RQE), a solution concept rooted in behavioral game theory that incorporates risk aversion and bounded rationality. We demonstrate that RQE possesses strong regularity conditions that make it uniquely amenable to learning in MGs. We propose a novel two-timescale Actor-Critic algorithm characterized by a fast-timescale actor and a slow-timescale critic. Leveraging the regularity of RQE, we prove that this approach achieves global convergence with finite-sample guarantees. We empirically validate our algorithm in several environments to demonstrate superior convergence properties compared to risk-neutral baselines.
","absKo":"무한-호라이즌 general-sum Markov game(MG)에서 stationary policy를 학습하는 것은 Multi-Agent Reinforcement Learning(MARL)에서 여전히 근본적인 미해결 문제이다. stationary strategy는 실용성 때문에 선호되지만, classic game-theoretic equilibrium의 stationary form을 계산하는 것은 계산적으로 다루기 어렵다. 이는 single-agent RL이나 zero-sum game을 푸는 상대적 용이성과 뚜렷한 대조를 이룬다. 이 간극을 메우기 위해, 우리는 risk aversion과 bounded rationality를 통합하는 behavioral game theory에 뿌리를 둔 solution concept인 Risk-averse Quantal response Equilibria(RQE)를 연구한다. 우리는 RQE가 MG에서 학습에 uniquely amenable하게 만드는 강한 regularity condition을 지님을 보인다. 이를 위해 fast-timescale actor와 slow-timescale critic으로 특징지어지는 새로운 two-timescale Actor-Critic algorithm을 제안한다. RQE의 regularity를 활용하여, 이 접근법이 finite-sample guarantee를 갖는 global convergence를 달성함을 증명한다. 또한 여러 환경에서 알고리즘을 실험적으로 검증하여, risk-neutral baseline에 비해 더 우수한 수렴 특성을 보임을 입증한다.
"},{"id":"65122","en":"Achieving Logarithmic Regret in KL-Regularized Zero-Sum Markov Games","ko":"KL 정규화 Zero-Sum Markov Game에서 로그 후회 달성하기","authors":"Anupam Nayak, Tong Yang, Osman Yagan, Gauri Joshi, Yuejie Chi","pos":"#119","link":"https://openreview.net/forum?id=GcCBoFM8u9","abs":"Reverse Kullback–Leibler (KL) divergence-based regularization with respect to a fixed reference policy is widely used in modern reinforcement learning to preserve the desired traits of the reference policy and sometimes to promote exploration (using uniform reference policy, known as entropy regularization). Beyond serving as a mere anchor, the reference policy can also be interpreted as encoding prior knowledge about good actions in the environment. In the context of alignment, recent game-theoretic approaches have leveraged KL regularization with pretrained language models as reference policies, achieving notable empirical success in self-play methods. Despite these advances, the theoretical benefits of KL regularization in game-theoretic settings remain poorly understood. In this work, we develop and analyze algorithms that provably achieve improved sample efficiency under KL regularization. We study both two-player zero-sum Matrix games and Markov games: for Matrix games, we propose OMG, an algorithm based on best response sampling with optimistic bonuses, and extend this idea to Markov games through the algorithm SOMG, which also uses best response sampling and a novel concept of superoptimistic bonuses. Both algorithms achieve a logarithmic regret in $T$ that scales inversely with the KL regularization strength $\\beta$ in addition to the traditional $\\widetilde{\\mathcal{O}}(\\sqrt{T})$ regret without the $\\beta^{-1}$ dependence.","absKo":"고정된 reference policy에 대한 reverse Kullback–Leibler(KL) divergence 기반 regularization은 현대 reinforcement learning에서 reference policy의 바람직한 특성을 보존하고 때로는 exploration을 촉진하기 위해(균일한 reference policy를 사용할 때 entropy regularization으로 알려짐) 널리 사용된다. 단순한 anchor를 넘어서, reference policy는 환경에서 좋은 action에 대한 사전 지식을 인코딩하는 것으로 해석될 수도 있다. alignment 맥락에서, 최근의 game-theoretic 접근은 pretrained language model을 reference policy로 사용하는 KL regularization을 활용하여 self-play 방법에서 주목할 만한 경험적 성공을 거두었다. 이러한 진전에도 불구하고, game-theoretic 설정에서 KL regularization의 이론적 이점은 여전히 충분히 이해되지 않고 있다. 본 연구에서는 KL regularization 하에서 sample efficiency가 향상됨을 보장할 수 있는 algorithm을 개발하고 분석한다. 우리는 두 플레이어 zero-sum Matrix game과 Markov game을 모두 연구한다. Matrix game의 경우, optimistic bonus를 사용하는 best response sampling 기반 algorithm인 OMG를 제안하고, 이를 Markov game으로 확장한 SOMG를 제안하는데, 이 알고리즘은 best response sampling과 superoptimistic bonus라는 새로운 개념을 사용한다. 두 algorithm 모두 KL regularization 세기 $\\beta$에 반비례하여 스케일하는 logaritmic regret을 $T$에 대해 달성하며, 이는 $\\beta^{-1}$ 의존성이 없는 기존의 $\\widetilde{\\mathcal{O}}(\\sqrt{T})$ regret에 더해진다."},{"id":"60993","en":"Model Monotonicity in Autobidding Auctions: When Do Better Predictions Lead to Better Outcomes?","ko":"Autobidding 경매에서의 모델 단조성: 더 나은 예측은 언제 더 나은 결과로 이어지는가?","authors":"Ashwinkumar Badanidiyuru","pos":"#300","link":"https://openreview.net/forum?id=uiw8P2JGbW","abs":"Online advertising platforms rely on machine learning models to predict click-through rates (pCTR) and conversion rates (pCVR) for auction mechanisms. We introduce a novel framework to study the interaction between recommender system model quality, auction format, and au- tobidder behavior. We formalize when model improvements—defined via a refinement relation inspired by filtrations in probability theory—lead to improvements in platform-level Evaluation Cri- teria Metrics (ECM) such as revenue, welfare, or liquid welfare. Our main contributions are: (1) a formal definition of model improvement based on cluster refinement, and (2) a complete charac- terization of ECM monotonicity across different combinations of bidder types (tCPA, max-CPA), auction formats (first-price, second-price, VCG), and budget constraints. We show that first-price auctions with uniform bidding guarantee revenue monotonicity for tCPA bidders without budgets (via Jensen’s inequality), while second-price auc- tions and budget constraints can break this prop- erty. We provide full numerical counterexamples for all negative results. Our findings have practi- cal implications for advertising platforms seeking to align model improvements with business out- comes.
","absKo":"온라인 광고 플랫폼은 auction mechanism을 위해 click-through rate(pCTR)와 conversion rate(pCVR)를 예측하는 데 machine learning model에 의존한다. 우리는 recommender system model quality, auction format, auto-bidder behavior 간의 상호작용을 연구하기 위한 새로운 framework를 제안한다. 우리는 probability theory의 filtration에서 영감을 받은 refinement relation으로 정의되는 model improvement가 revenue, welfare, liquid welfare와 같은 platform-level Evaluation Criteria Metric(ECM)의 향상으로 이어지는 조건을 정식화한다. 우리의 주요 기여는 다음과 같다. (1) cluster refinement에 기반한 model improvement의 formal definition, 그리고 (2) bidder type(tCPA, max-CPA), auction format(first-price, second-price, VCG), budget constraint의 다양한 조합에 걸친 ECM monotonicity의 완전한 characterization이다. 우리는 uniform bidding을 사용하는 first-price auction이 budget이 없는 tCPA bidder에 대해 revenue monotonicity를 보장함을 보이며(Jensen's inequality를 통해), 반면 second-price auction과 budget constraint는 이 성질을 깨뜨릴 수 있음을 보인다. 우리는 모든 부정적 결과에 대해 완전한 numerical counterexample을 제시한다. 우리의 발견은 model improvement를 business outcome과 정렬하려는 광고 플랫폼에 실질적인 함의를 갖는다.
"},{"id":"62338","en":"Betting on Equilibrium: Monitoring Strategic Behavior in Multi-Agent Systems","ko":"균형에 베팅하기: 다중 에이전트 시스템에서 전략적 행동 모니터링","authors":"Etienne Gauthier, Francis Bach, Michael Jordan","pos":"#3210","link":"https://openreview.net/forum?id=hXO2OP0T4w","abs":"In many multi-agent systems, agents interact repeatedly and are expected to settle into equilibrium behavior over time. Yet in practice, behavior often drifts, and detecting such deviations in real time remains an open challenge. We introduce a sequential testing framework that monitors whether observed play in repeated games is consistent with equilibrium, without assuming a fixed sample size. Our approach builds on the e-value framework for safe anytime-valid inference: by “betting” against equilibrium, we construct a test supermartingale that accumulates evidence whenever observed payoffs systematically violate equilibrium conditions. This yields a statistically sound, interpretable measure of departure from equilibrium that can be monitored online. We also leverage Benjamini-Hochberg-type procedures to increase detection power in large games while rigorously controlling the false discovery rate. Our framework unifies the treatment of Nash, correlated, and coarse correlated equilibria, offering finite-time guarantees and a detailed analysis of detection times. Moreover, we extend our method to stochastic games, broadening its applicability beyond repeated-play settings.
","absKo":"많은 multi-agent system에서 agent들은 반복적으로 상호작용하며 시간에 따라 equilibrium behavior에 정착할 것으로 기대된다. 그러나 실제로는 행동이 종종 드리프트하며, 이러한 deviation을 실시간으로 탐지하는 것은 여전히 열린 과제이다. 우리는 고정된 sample size를 가정하지 않고, 반복 게임에서 관측된 play가 equilibrium과 일치하는지 모니터링하는 sequential testing framework를 제안한다. 우리의 접근법은 안전한 anytime-valid inference를 위한 e-value framework 위에 구축된다. 즉, equilibrium에 반하는 방향으로 “betting”함으로써, 관측된 payoff가 체계적으로 equilibrium condition을 위반할 때마다 evidence를 누적하는 test supermartingale을 구성한다. 이는 온라인으로 모니터링할 수 있는, 통계적으로 타당하고 해석 가능한 equilibrium 이탈 측정치를 제공한다. 또한 Benjamini-Hochberg-type procedure를 활용하여 대규모 게임에서 detection power를 높이는 동시에 false discovery rate를 엄격하게 제어한다. 우리의 framework는 Nash, correlated, coarse correlated equilibrium을 통합적으로 다루며, finite-time guarantee와 detection time에 대한 상세한 분석을 제공한다. 더 나아가, 우리는 이 방법을 stochastic game으로 확장하여 반복 플레이 설정을 넘어 적용 범위를 넓힌다.
"},{"id":"71805","en":"Statistical Impossibility and Possibility of Aligning LLMs with Human Preferences: From Condorcet Paradox to Nash Equilibrium","ko":"LLM을 인간 선호와 정렬하는 것의 통계적 불가능성과 가능성: Condorcet 역설에서 Nash 균형으로","authors":"Kaizhao Liu, Qi Long, Zhekun Shi, Weijie Su, Jiancong Xiao","pos":"#3304","abs":"Aligning large language models (LLMs) with diverse human preferences is critical for ensuring fairness and informed outcomes when deploying these models for decision-making. In this paper, we seek to uncover fundamental statistical limits concerning aligning LLMs with human preferences, with a focus on the probabilistic representation of human preferences and the preservation of diverse preferences in aligned LLMs. We first show that human preferences can be represented by a reward model if and only if the preference among LLM-generated responses is free of any Condorcet cycle. Moreover, we prove that Condorcet cycles exist with probability converging to one exponentially fast under a general probabilistic preference model called the Luce model, thereby demonstrating the impossibility of fully aligning human preferences using reward-based approaches such as reinforcement learning from human feedback. Next, we explore the conditions under which LLMs would employ mixed strategies -- meaning they do not collapse to a single response -- when aligned in the limit using a non-reward-based approach, such as Nash learning from human feedback. We identify a necessary and sufficient condition for mixed strategies: the absence of a response that is preferred over all others by a majority. As a blessing, we prove that this condition holds with high probability under the Luce model, thereby highlighting the statistical possibility of preserving minority preferences without explicit regularization in aligning LLMs.
","absKo":"다양한 인간 선호에 LLM을 정렬하는 것은 이러한 모델을 의사결정에 배치할 때 공정성과 정보에 기반한 결과를 보장하는 데 핵심적이다. 본 논문에서는 인간 선호의 확률적 표현과 정렬된 LLM에서 다양한 선호의 보존에 초점을 맞추어, LLM을 인간 선호에 정렬하는 것에 관한 근본적인 통계적 한계를 밝히고자 한다. 먼저, 인간 선호는 LLM이 생성한 응답들 사이의 선호 관계에 Condorcet cycle이 존재하지 않을 때 그리고 그 경우에만 reward model로 표현될 수 있음을 보인다. 더 나아가, Luce model이라 불리는 일반적인 확률적 선호 모델 하에서 Condorcet cycle이 지수적으로 빠르게 1에 수렴하는 확률로 존재함을 증명하여, reinforcement learning from human feedback과 같은 reward-based 접근법으로는 인간 선호를 완전히 정렬하는 것이 불가능함을 보인다. 다음으로, Nash learning from human feedback와 같은 non-reward-based 접근법으로 정렬할 때 LLM이 어떤 조건에서 mixed strategy, 즉 단일 응답으로 붕괴하지 않는 전략을 사용하게 되는지 탐구한다. 우리는 mixed strategy에 대한 필요충분조건으로, 다수에 의해 다른 모든 응답보다 선호되는 응답이 존재하지 않는다는 점을 제시한다. 다행스럽게도, Luce model 하에서 이 조건이 높은 확률로 성립함을 증명하며, 이를 통해 LLM 정렬에서 명시적 regularization 없이도 소수 선호를 보존할 통계적 가능성이 있음을 강조한다.
"},{"id":"67209","en":"Position: Enabling Fair Revenue Sharing for Data Providers in GenAI Systems","ko":"Position: GenAI 시스템에서 데이터 제공자를 위한 공정한 수익 분배 실현","authors":"Gengrui (Edward) Zhang","pos":"#3308","link":"https://openreview.net/forum?id=CVljt4keIP","abs":"GenAI systems, particularly LLMs, rely heavily on vast amounts of publicly available digital content as training data. A significant portion of this content is protected by copyright. While large-scale data scraping may be lawful under certain jurisdictions, the use of copyrighted works to generate outputs that compete with or replicate original creations raises unresolved legal, economic, and ethical concerns. In this position paper, we argue that data providers should be fairly compensated based on their measurable contribution to inference-time outcomes, rather than through coarse, one-time licensing or blanket agreements. We examine alternative perspectives on data ownership, fair use, and model training, and discuss why existing approaches fail to align incentives between GenAI developers and content creators. We then outline concrete roadmaps for developing decentralized systems that enable contribution-aware revenue sharing, including mechanisms for attribution, accounting, and payout at scale. We argue that fair revenue distribution for data providers will not only help resolve ongoing legal disputes surrounding GenAI systems, but also foster a new era of collaboration, rather than competition, between model developers and data creators. By incentivizing the production and sharing of high-quality datasets, such mechanisms can ultimately accelerate the development of more robust, trustworthy, and socially sustainable GenAI systems.
","absKo":"GenAI 시스템, 특히 LLM은 학습 데이터로서 공개적으로 이용 가능한 방대한 디지털 콘텐츠에 크게 의존한다. 이러한 콘텐츠의 상당 부분은 저작권 보호를 받는다. 대규모 데이터 스크래핑이 일부 관할권에서는 합법일 수 있지만, 원작과 경쟁하거나 이를 복제하는 출력을 생성하는 데 저작권이 있는 작품을 사용하는 것은 여전히 해결되지 않은 법적, 경제적, 윤리적 문제를 낳는다. 본 포지션 페이퍼에서는 데이터 제공자가 coarse한 일회성 라이선스나 포괄적 계약이 아니라, inference-time 결과에 대한 측정 가능한 기여를 바탕으로 공정하게 보상받아야 한다고 주장한다. 우리는 데이터 소유권, fair use, 그리고 model training에 대한 대안적 관점을 검토하고, 왜 기존 접근이 GenAI 개발자와 콘텐츠 창작자 사이의 인센티브를 정렬하지 못하는지 논의한다. 이어서 attribution, accounting, payout을 대규모로 가능하게 하는 메커니즘을 포함하여 contribution-aware revenue sharing을 구현하는 분산 시스템 개발을 위한 구체적인 로드맵을 제시한다. 우리는 데이터 제공자에 대한 공정한 수익 분배가 GenAI 시스템을 둘러싼 진행 중인 법적 분쟁을 해소하는 데 도움이 될 뿐 아니라, 모델 개발자와 데이터 창작자 사이의 경쟁이 아니라 협력의 새로운 시대를 촉진할 것이라고 주장한다. 고품질 데이터셋의 생산과 공유를 장려함으로써, 이러한 메커니즘은 궁극적으로 더 견고하고, 신뢰할 수 있으며, 사회적으로 지속 가능한 GenAI 시스템의 개발을 가속할 수 있다.
"},{"id":"64574","en":"TN-SHAP-G: Graph-Structured Tensor Network Surrogates for Shapley Values and Interactions","ko":"TN-SHAP-G: Shapley Value와 상호작용을 위한 Graph 구조 Tensor Network 대리모델","authors":"Farzaneh Heidari, Guillaume Rabusseau","pos":"#3610","link":"https://openreview.net/forum?id=M4bE60aa1C","abs":"Shapley values are a widely used tool for attributing importance and interactions among input variables in black-box models, but their computation involves a function defined over an exponentially large space of subsets. We propose TN-SHAP-G, a framework that exploits structure in graph-structured inputs to compute Shapley values and higher-order interaction indices efficiently. Given a predictor and a fixed masking scheme, TN-SHAP-G learns a compact, graph-aligned multilinear surrogate that approximates the masked-input behavior, represented as a tensor network whose topology mirrors the input graph. Once trained from a small number of oracle queries, the surrogate enables deterministic recovery of first- and higher-order Shapley indices via the multilinear extension, without additional model queries or Monte Carlo variance. Experiments on molecular benchmarks show that the learned factorization closely matches exact Shapley values on small graphs and scales efficiently to larger graphs where sampling-based methods become infeasible.
","absKo":"Shapley value는 black-box model에서 입력 변수들 사이의 중요도와 interaction을 귀속시키는 데 널리 사용되는 도구이지만, 그 계산은 지수적으로 큰 subset 공간 위에 정의된 함수를 포함한다. 우리는 TN-SHAP-G를 제안한다. 이는 graph-structured input의 구조를 활용하여 Shapley value와 고차 interaction index를 효율적으로 계산하는 framework이다. predictor와 고정된 masking scheme이 주어지면, TN-SHAP-G는 masked-input behavior를 근사하는 compact하고 graph-aligned된 multilinear surrogate를 학습한다. 이 surrogate는 input graph의 topology를 반영하는 tensor network로 표현된다. 소수의 oracle query로 학습이 끝나면, 추가적인 model query나 Monte Carlo variance 없이 multilinear extension을 통해 1차 및 고차 Shapley index를 결정적으로 복원할 수 있다. molecular benchmark에서의 실험은 학습된 factorization이 작은 graph에서는 exact Shapley value와 매우 잘 일치하고, sampling-based method가 더 이상 실용적이지 않은 큰 graph로도 효율적으로 확장됨을 보여준다.
"},{"id":"66360","en":"Understanding Dynamics of Adam in Zero-Sum Games: An ODE Approach","ko":"제로섬 게임에서 Adam의 동역학 이해: ODE 접근법","authors":"Yi Feng, Weiming Ou, Xiao Wang","pos":"#4505","link":"https://openreview.net/forum?id=4MVVscCjYu","abs":"The remarkable success of the Adam in training neural networks has naturally led to the widespread use of its descent-ascent counterpart, Adam-DA, for solving zero-sum games. Despite its popularity in practice, a rigorous theoretical understanding of Adam-DA still lags behind. In this paper, we derive ordinary differential equations (ODEs) that serve as continuous-time limits of the Adam-DA. These ODEs closely approximate the discrete-time dynamics of Adam-DA, providing a tractable analytical framework for understanding its behavior in zero-sum games. Using this ODE approach, we investigate two fundamental aspects of Adam-DA: local convergence and implicit gradient regularization. Our analysis reveals that the roles of the first- and second-order momentum parameters in zero-sum games are exactly the opposite of their well-documented effects in minimization problems. We validate these predictions through GAN experiments across multiple architectures and datasets, demonstrating the practical implications of this reversed momentum effect.
","absKo":"Adam이 neural network 학습에서 거둔 놀라운 성공은 zero-sum game을 풀기 위해 그 descent-ascent 대응물인 Adam-DA가 널리 사용되도록 자연스럽게 이끌었다. 실제에서의 인기도에도 불구하고, Adam-DA에 대한 엄밀한 이론적 이해는 여전히 뒤처져 있다. 이 논문에서는 Adam-DA의 연속시간 극한으로 작동하는 ordinary differential equation (ODE)을 도출한다. 이 ODE는 Adam-DA의 이산시간 dynamics를 밀접하게 근사하여, zero-sum game에서의 거동을 이해하기 위한 다루기 쉬운 분석 framework를 제공한다. 이 ODE 접근법을 사용하여 우리는 Adam-DA의 두 가지 근본적인 측면, 즉 local convergence와 implicit gradient regularization을 조사한다. 우리의 분석은 zero-sum game에서의 first-order 및 second-order momentum parameter의 역할이 minimization problem에서 잘 알려진 효과와 정확히 반대임을 드러낸다. 우리는 여러 architecture와 dataset에 걸친 GAN 실험으로 이러한 예측을 검증하며, 이 reversed momentum effect의 실제적 의미를 입증한다."},{"id":"61271","en":"The Optimal Sample Complexity of Linear Contracts","ko":"선형 계약의 최적 샘플 복잡도","authors":"Mikael Moller Hogsgaard","pos":"#4510","link":"https://openreview.net/forum?id=ry5HitnXzc","abs":"In this paper, we settle the problem of learning optimal linear contracts from data in the offline setting, where agent types are drawn from an unknown distribution and the principal's goal is to design a contract that maximizes her expected utility. Specifically, our analysis shows that the simple Empirical Utility Maximization (EUM) algorithm yields an $\\varepsilon$-approximation of the optimal linear contract with probability at least $1-\\delta$, using just $O(\\ln(1/\\delta) / \\varepsilon^2)$ samples. This result improves upon previously known bounds and matches a lower bound from (Dütting et al., 2025) up to constant factors, thereby proving its optimality. Furthermore, our result establishes the stronger guarantee of uniform convergence: the empirical utility of every linear contract is a $\\varepsilon$-approximation of its true expectation with probability at least $1-\\delta$, using the same optimal $O(\\ln(1/\\delta) / \\varepsilon^2)$ sample complexity.","absKo":"본 논문에서는 오프라인 설정에서 데이터로부터 optimal linear contract를 학습하는 문제를 해결한다. 여기서 agent type은 알려지지 않은 분포에서 샘플링되며, principal의 목표는 기대 utility를 최대화하는 contract를 설계하는 것이다. 구체적으로, 우리의 분석은 단순한 Empirical Utility Maximization (EUM) 알고리즘이 $\\varepsilon$-approximation의 optimal linear contract를 확률 최소 $1-\\delta$로 보장하며, 이는 단지 $O(\\ln(1/\\delta) / \\varepsilon^2)$개의 sample만으로 달성됨을 보여준다. 이 결과는 이전에 알려진 bound를 개선하고 (Dütting et al., 2025)의 lower bound와 상수 차이 수준에서 일치함으로써 최적성을 증명한다. 더 나아가, 우리의 결과는 uniform convergence라는 더 강한 보장을 확립한다. 즉, 모든 linear contract의 empirical utility가 그 true expectation의 $\\varepsilon$-approximation이 되며, 동일한 최적 sample complexity인 $O(\\ln(1/\\delta) / \\varepsilon^2)$를 사용해 확률 최소 $1-\\delta$를 달성한다."},{"id":"65625","en":"Risk-Averse and Optimistic Advertiser Incentive Compatibility in Auto-bidding","ko":"자동 입찰에서 위험 회피적이고 낙관적인 광고주 유인 부합성","authors":"Christopher Liaw, Wennan Zhu","pos":"#4511","link":"https://openreview.net/forum?id=BipvhtXmde","abs":"The rise of auto-bidding in online advertising has created new challenges for ensuring advertiser incentive compatibility, particularly when advertisers delegate bidding to agents with high-level constraints. One challenge is the multiplicity of equilibria with reported constraints. Alimohammadi et al. proposed a notion of Auto-bidding Incentive Compatibility (AIC) which serves to highlight that standard auctions may not incentivize truthful reporting of these constraints. However, their definition of AIC is very stringent as it requires that the worst-case outcome of an advertiser's truthful report is at least as good as the best-case outcome of any of the advertiser's possible deviations. In this paper, we introduce two refined and relaxed concepts: Risk-Averse Auto-bidding Incentive Compatibility (RAIC) and Optimistic Auto-bidding Incentive Compatibility (OAIC). RAIC (OAIC) stipulates that truthful reporting is preferred if its least (most) favorable equilibrium outcome is no worse than the least (most) favorable equilibrium outcome from any misreport. We demonstrate that SPA satisfies both RAIC and OAIC. These findings clarify SPA's incentive properties under auto-bidding, specifically regarding advertiser perspectives on equilibrium selection.
","absKo":"온라인 광고에서 auto-bidding의 부상은 광고주 incentive compatibility를 보장하는 데 새로운 도전 과제를 만들어냈으며, 특히 광고주가 높은 수준의 제약을 가진 에이전트에게 bidding을 위임할 때 더욱 그렇다. 한 가지 도전은 보고된 제약 하에서 equilibrium의 다중성이다. Alimohammadi et al.은 표준 auction이 이러한 제약을 truthful하게 보고하도록 유도하지 못할 수 있음을 드러내는 개념으로 Auto-bidding Incentive Compatibility (AIC)를 제안했다. 그러나 그들의 AIC 정의는 매우 엄격한데, 광고주의 truthful report에 대한 최악의 결과가 광고주의 가능한 모든 deviation 중 최선의 결과보다도 적어도 같아야 하기 때문이다. 본 논문에서는 두 가지 정제되고 완화된 개념, 즉 Risk-Averse Auto-bidding Incentive Compatibility (RAIC)와 Optimistic Auto-bidding Incentive Compatibility (OAIC)를 제안한다. RAIC (OAIC)는 truthful reporting의 가장 덜 유리한(가장 유리한) equilibrium 결과가 어떤 misreport의 가장 덜 유리한(가장 유리한) equilibrium 결과보다 나쁘지 않을 때 truthful reporting이 선호된다고 명시한다. 우리는 SPA가 RAIC와 OAIC를 모두 만족함을 보인다. 이러한 결과는 auto-bidding 하에서 SPA의 incentive 특성을, 특히 equilibrium selection에 대한 광고주 관점에서 명확히 해준다.
"},{"id":"63192","en":"Revisiting the Bertrand Paradox via Equilibrium Analysis of No-regret Learners","ko":"무후회 학습자의 균형 분석을 통한 베르트랑 역설 재고","authors":"ARNAB MAITI, Junyan Liu, Kevin Jamieson, Lillian Ratliff","pos":"#4512","link":"https://openreview.net/forum?id=ZEP68RaUeR","abs":"We study the discrete Bertrand pricing game with a non-increasing demand function. The game has $n \\ge 2$ players who simultaneously choose prices from the set {$1/k, 2/k, \\ldots, 1$}, where $k\\in\\mathbb{N}$. The player who sets the lowest price captures the entire demand; if multiple players tie for the lowest price, they split the demand equally. We study the Bertrand paradox, where classical theory predicts low prices, yet real markets often sustain high prices. To understand this gap, we analyze a repeated-game model in which firms set prices using no-regret learners. Our goal is to characterize the equilibrium outcomes that can arise under different no-regret learning guarantees. We are particularly interested in questions such as whether no-external-regret learners can converge to undesirable high-price outcomes, and how stronger guarantees such as no-swap regret shape the emergence of competitive low-price behavior. We address these and related questions through a theoretical analysis, complemented by experiments that support the theory and reveal surprising phenomena for no-swap regret learners.","absKo":"우리는 비증가 수요 함수가 있는 이산 Bertrand 가격 게임을 연구한다. 이 게임에는 $n \\ge 2$명의 플레이어가 있으며, 이들은 동시에 집합 {$1/k, 2/k, \\ldots, 1$}에서 가격을 선택한다. 여기서 $k\\in\\mathbb{N}$이다. 가장 낮은 가격을 설정한 플레이어가 전체 수요를 차지하며, 여러 플레이어가 최저 가격으로 동률일 경우 수요를 균등하게 나눈다. 우리는 고전 이론이 낮은 가격을 예측하지만, 실제 시장에서는 종종 높은 가격이 지속되는 Bertrand paradox를 연구한다. 이 간극을 이해하기 위해, 기업들이 no-regret learner를 사용해 가격을 설정하는 반복 게임 모델을 분석한다. 우리의 목표는 서로 다른 no-regret learning 보장 하에서 나타날 수 있는 equilibrium 결과를 특성화하는 것이다. 특히 no-external-regret learner가 바람직하지 않은 고가격 결과로 수렴할 수 있는지, 그리고 no-swap regret와 같은 더 강한 보장이 경쟁적인 저가격 행동의 출현을 어떻게 형성하는지와 같은 질문에 관심이 있다. 우리는 이론적 분석과 이를 뒷받침하고 no-swap regret learner에 대해 놀라운 현상을 드러내는 실험을 통해 이러한 질문들과 관련 문제들을 다룬다."},{"id":"67056","en":"Position: Uncertainty is a Strategic Signal in Human–AI Decision Making","ko":"Position: 불확실성은 인간-AI 의사결정에서 전략적 신호이다","authors":"Achref Doula, Otthein Herzog, Siegfried WU, Max Mühlhäuser","pos":"#4513","link":"https://openreview.net/forum?id=vzbCqSwKEI","abs":"AI-assisted decision-making is subject to AI model uncertainty. Prior works proposed to make this uncertainty explicit for increasing trust and transparency, but its behavioral role was rarely treated. This position paper argues, from a game-theoretic perspective, that human–AI decision support should be viewed as a repeated mechanism in which AI uncertainty functions as a strategic signal that shapes how users adopt reliance policies over time. We formalize a framework in which the interface specifies uncertainty signals, user response such as accepting versus verifying, and the resulting policy-shaping consequences. These repeated steps are used to characterize near-separating reliance regimes. A first pilot study conducted with 180 participants supports our proposition: Our game-theoretic mechanism increased verification and sharply reduced blind acceptance of wrong AI outputs. These initial results support treating human–AI interaction as a game-theoretic mechanism with uncertainty as a strategic signal, rather than a static model property or purely informational label.
","absKo":"AI-assisted decision-making은 AI model uncertainty의 영향을 받는다. 선행 연구들은 trust와 transparency를 높이기 위해 이 uncertainty를 명시적으로 만들자고 제안했지만, 그 behavioral role은 거의 다뤄지지 않았다. 이 position paper는 game-theoretic 관점에서 human–AI decision support를 반복적 mechanism으로 보아야 한다고 주장한다. 여기서 AI uncertainty는 시간이 지나며 사용자가 reliance policy를 채택하는 방식을 형성하는 strategic signal로 기능한다. 우리는 interface가 uncertainty signal, accepting versus verifying 같은 user response, 그리고 그에 따른 policy-shaping consequence를 명시하는 framework를 정식화한다. 이러한 반복 단계는 near-separating reliance regime을 특징짓는 데 사용된다. 180명의 참가자와 수행한 첫 pilot study는 우리의 제안을 뒷받침한다. 우리의 game-theoretic mechanism은 verification을 증가시켰고 잘못된 AI output에 대한 맹목적 수용을 크게 줄였다. 이 초기 결과는 human–AI interaction을 static한 model property나 단순한 informational label이 아니라, uncertainty를 strategic signal로 사용하는 game-theoretic mechanism으로 다루어야 함을 지지한다.
"},{"id":"60666","en":"Overcoming the Incentive Collapse Paradox","ko":"Incentive Collapse Paradox 극복하기","authors":"Qichuan Yin, Ziwei Su, Shuangning Li","pos":"#4514","link":"https://openreview.net/forum?id=xqc05bgrDk","abs":"Human labeling increasingly relies on AI assistance, raising incentive challenges when annotators’ effort is unobserved. Recent work by Bastani & Cachon (2025); Sambasivan et al. (2021) shows that accuracy-based payment schemes suffer from incentive collapse: as AI accuracy improves, sustaining positive human effort requires unbounded payments. We study this problem in a budget-constrained setting with strategic annotators whose labeling accuracy depends on unobserved effort. We propose a sentinel-auditing payment mechanism that enforces a strictly positive and controllable level of human effort at finite cost, independent of AI accuracy. Building on this incentive-robust foundation, we develop an incentive-aware active statistical inference framework that jointly optimizes (i) the auditing rate and (ii) active sampling and budget allocation across instances of varying difficulty to minimize the final statistical loss under a single budget. Experiments demonstrate improved cost–error tradeoffs relative to standard active learning and auditing-only baselines.
","absKo":"인간 라벨링은 점점 AI assistance에 의존하고 있으며, annotator의 effort가 관측되지 않을 때 incentive 문제를 야기한다. Bastani & Cachon (2025); Sambasivan et al. (2021)의 최근 연구는 accuracy-based payment scheme가 incentive collapse를 겪는다고 보여준다. 즉, AI 정확도가 향상될수록 양의 human effort를 유지하려면 무한히 큰 지불이 필요해진다. 우리는 라벨링 정확도가 관측되지 않는 effort에 의존하는 strategic annotator가 존재하는 예산 제약 환경에서 이 문제를 연구한다. 우리는 finite cost로 AI 정확도와 무관하게 strictly positive하고 조절 가능한 수준의 human effort를 강제하는 sentinel-auditing payment mechanism을 제안한다. 이러한 incentive-robust한 기반 위에서, 우리는 (i) auditing rate와 (ii) 서로 난이도가 다른 instance들에 대한 active sampling 및 budget allocation을 공동으로 최적화하여 단일 예산 하에서 최종 statistical loss를 최소화하는 incentive-aware active statistical inference framework를 개발한다. 실험은 표준 active learning 및 auditing-only baseline에 비해 더 나은 cost–error tradeoff를 보여준다.
"},{"id":"63352","en":"Learning in Structured Stackelberg Games","ko":"구조화된 Stackelberg 게임에서의 학습","authors":"Nina Balcan, Kiriaki Fragkia, Keegan Harris","pos":"#4622","link":"https://openreview.net/forum?id=XrKzHGg2jB","abs":"We initiate the study of structured Stackelberg games, a novel form of strategic interaction between a leader and a follower where contextual information can be predictive of the follower's (unknown) type. Motivated by applications such as security games and AI safety, we show how this additional structure can help the leader learn a utility-maximizing policy in both the online and distributional settings. In the online setting, we first prove that standard learning-theoretic measures of complexity do not characterize the difficulty of the leader's learning task. Remarkably, we find that there exists a learning-theoretic measure of complexity, analogous to the Littlestone dimension in online classification, that tightly characterizes the leader's instance-optimal regret. We term this the Stackelberg-Littlestone dimension, and leverage it to provide a provably optimal online learning algorithm. In the distributional setting, we provide analogous results by showing that two new dimensions control the sample complexity upper- and lower-bound.
","absKo":"우리는 leader와 follower 간의 전략적 상호작용의 새로운 형태인 structured Stackelberg game의 연구를 시작한다. 이때 contextual information은 follower의 (알려지지 않은) type을 예측하는 데 도움이 될 수 있다. security game과 AI safety 같은 응용에 동기를 두고, 우리는 이러한 추가 구조가 leader가 online 및 distributional setting 모두에서 utility-maximizing policy를 학습하는 데 어떻게 도움이 되는지 보인다. online setting에서 우리는 먼저 standard learning-theoretic complexity measure가 leader의 learning task의 난이도를 특징짓지 못함을 증명한다. 놀랍게도, online classification에서의 Littlestone dimension과 유사하면서 leader의 instance-optimal regret를 정확하게 특징짓는 learning-theoretic complexity measure가 존재함을 발견한다. 우리는 이를 Stackelberg-Littlestone dimension이라 부르며, 이를 활용해 provably optimal online learning algorithm을 제시한다. distributional setting에서는 두 개의 새로운 dimension이 sample complexity의 상한과 하한을 제어함을 보임으로써 유사한 결과를 제시한다."},{"id":"61409","en":"Optimal Rates for Feasible Payoff Set Estimation in Games","ko":"Games에서 Feasible Payoff Set Estimation을 위한 최적 Rates","authors":"Annalisa Barbara, Riccardo Poiani, Martino Bernasconi, Andrea Celli","pos":"#4623","link":"https://openreview.net/forum?id=qV7yFzdK1R","abs":"We study a setting in which two players play a (possibly approximate) Nash equilibrium of a bimatrix game, while a learner observes only their actions and has no knowledge of the equilibrium or the underlying game. A natural question is whether the learner can rationalize the observed behavior by inferring the players' payoff functions. Rather than producing a single payoff estimate, inverse game theory aims to identify the entire set of payoffs consistent with observed behavior, enabling downstream use in, e.g., counterfactual analysis and mechanism design across applications like auctions, pricing, and security games. We focus on the problem of estimating the set of feasible payoffs with high probability and up to precision $\\epsilon$ on the Hausdorff metric. We provide the first minimax-optimal rates for both exact and approximate equilibrium play, in zero-sum as well as general-sum games. Our results provide learning-theoretic foundations for set-valued payoff inference in multi-agent environments.","absKo":"우리는 두 플레이어가 bimatrix game에서 (가능하다면 근사적인) Nash equilibrium을 플레이하고, learner는 그들의 행동만 관찰하며 equilibrium이나 underlying game에 대한 지식은 전혀 없는 설정을 연구한다. 자연스러운 질문은 learner가 플레이어의 payoff function을 추론함으로써 관측된 행동을 합리화할 수 있는가 하는 것이다. inverse game theory는 단일 payoff 추정치를 산출하기보다, 관측된 행동과 일치하는 payoff의 전체 집합을 식별하는 것을 목표로 하며, 이를 통해 auction, pricing, security game과 같은 응용에서 counterfactual analysis 및 mechanism design 등에 활용할 수 있다. 우리는 Hausdorff metric에서 precision $\\epsilon$까지, 그리고 높은 확률로 feasible payoff 집합을 추정하는 문제에 초점을 맞춘다. 우리는 zero-sum 및 general-sum game 모두에서, exact equilibrium play와 approximate equilibrium play에 대해 처음으로 minimax-optimal rate를 제시한다. 우리의 결과는 multi-agent environment에서 set-valued payoff inference를 위한 learning-theoretic 기반을 제공한다."},{"id":"66206","en":"To Grok Grokking: Provable Grokking in Ridge Regression","ko":"Grokking을 Grok하기: Ridge Regression에서의 증명 가능한 Grokking","authors":"Mingyue Xu, Gal Vardi, Itay Safran","pos":"#4508","link":"https://openreview.net/forum?id=5nNNVY8NW4","abs":"We study grokking - the onset of generalization long after overfitting - in a classical ridge regression setting. We prove end-to-end grokking results for learning over-parameterized linear regression models using gradient descent with weight decay. Specifically, we prove that the following stages occur: (i) the model overfits the training data early during training; (ii) poor generalization persists long after overfitting has manifested; and (iii) the generalization error eventually becomes arbitrarily small. Moreover, we show, both theoretically and empirically, that grokking can be amplified or eliminated in a principled manner through proper hyperparameter tuning. To the best of our knowledge, these are the first rigorous quantitative bounds on the generalization delay (which we refer to as the \"grokking time\") in terms of training hyperparameters. Lastly, going beyond the linear setting, we empirically demonstrate that our quantitative bounds also capture the behavior of grokking on non-linear neural networks. Our results suggest that grokking is not an inherent failure mode of deep learning, but rather a consequence of specific training conditions, and thus does not require fundamental changes to the model architecture or learning algorithm to avoid.
","absKo":"우리는 고전적인 ridge regression setting에서 grokking - overfitting이 한참 지난 뒤에 나타나는 generalization의 시작 - 을 연구합니다. weight decay를 사용한 gradient descent로 over-parameterized linear regression model을 학습할 때의 end-to-end grokking 결과를 증명합니다. 구체적으로 다음 단계가 발생함을 보입니다: (i) model은 학습 초기에 training data에 대해 overfit한다; (ii) overfitting이 나타난 뒤에도 poor generalization이 오래 지속된다; (iii) 결국 generalization error는 임의로 작아진다. 더 나아가, 우리는 적절한 hyperparameter tuning을 통해 grokking을 원리 있게 증폭하거나 제거할 수 있음을 이론적으로 그리고 실험적으로 보여줍니다. 우리가 아는 한, 이는 training hyperparameter 측면에서 generalization delay(우리가 \"grokking time\"이라 부르는 것)에 대한 최초의 엄밀한 정량적 bound입니다. 마지막으로, linear setting을 넘어, 우리의 정량적 bound가 non-linear neural network에서의 grokking behavior도 포착함을 실험적으로 보입니다. 우리의 결과는 grokking이 deep learning의 본질적인 실패 모드가 아니라 특정 training condition의 결과이며, 따라서 이를 피하기 위해 model architecture나 learning algorithm의 근본적인 변경이 필요하지 않음을 시사합니다.
"},{"id":"63988","en":"Linear-Core Surrogates: Smooth Loss Functions with Linear Rates for Classification and Structured Prediction","ko":"Linear-Core Surrogates: 분류와 구조화 예측을 위한 선형 수렴률의 매끄러운 손실 함수","authors":"Mehryar Mohri, Yutao Zhong","pos":"#4509","link":"https://openreview.net/forum?id=S0ZmHLCdqW","abs":"The choice of loss function in classification involves a fundamental trade-off: smooth losses (like Cross-Entropy) enable fast optimization rates but yield slow square-root consistency bounds, while piecewise-linear losses (like Hinge) offer fast linear consistency rates but suffer from non-differentiability. We propose *Linear-Core (LC) Surrogates*, a new family of convex loss functions that resolve this tension by stitching a linear core to a smooth tail. We prove that these surrogates are differentiable everywhere while retaining strict linear $H$-consistency bounds, effectively combining the optimization benefits of smoothness with the statistical efficiency of margin-based losses. In the structured prediction setting, we show that this smoothness unlocks a massive computational and energy advantage: it allows for an unbiased stochastic gradient estimator that bypasses the quadratic complexity $O(|\\mathcal{Y}|^2)$ of exact inference (e.g., Viterbi). Empirically, our method achieves a *23$\\times$ speedup* over Structured SVMs on large-vocabulary sequence tagging tasks and demonstrates superior robustness to instance-dependent label noise, outperforming Cross-Entropy by *2.6\\%* on corrupted CIFAR-10.","absKo":"분류에서 loss function의 선택은 근본적인 trade-off를 수반한다. smooth loss(Cross-Entropy와 같은)는 빠른 optimization rate를 가능하게 하지만 느린 square-root consistency bound를 낳고, piecewise-linear loss(Hinge와 같은)는 빠른 linear consistency rate를 제공하지만 non-differentiability로 인해 어려움을 겪는다. 우리는 이 긴장을 해결하는 새로운 convex loss function 계열인 *Linear-Core (LC) Surrogates*를 제안한다. 이는 linear core와 smooth tail을 결합한 형태이다. 우리는 이러한 surrogate가 모든 지점에서 differentiable하면서도 엄격한 linear $H$-consistency bound를 유지함을 증명하며, smoothness의 optimization 이점과 margin-based loss의 statistical efficiency를 효과적으로 결합함을 보인다. structured prediction setting에서, 우리는 이러한 smoothness가 엄청난 계산 및 에너지 우위를 가능하게 함을 보인다. 즉, exact inference(Viterbi 등)의 quadratic complexity $O(|\\mathcal{Y}|^2)$를 우회하는 unbiased stochastic gradient estimator를 허용한다. 실험적으로, 우리의 방법은 대규모 vocabulary sequence tagging task에서 Structured SVM 대비 *23$\\times$ 속도 향상*을 달성하고, instance-dependent label noise에 대한 우수한 강건성을 보이며, corrupted CIFAR-10에서 Cross-Entropy를 *2.6\\%* 능가한다."},{"id":"62050","en":"Breaking the Reversal Curse in Autoregressive Language Models via Identity Bridge","ko":"Identity Bridge로 Autoregressive Language Models의 Reversal Curse 완화","authors":"Xutao Ma, Yixiao Huang, Hanlin Zhu, Somayeh Sojoudi","pos":"#4515","link":"https://openreview.net/forum?id=kKUrbW8xJ3","abs":"Autoregressive large language models (LLMs) have achieved remarkable success in many complex tasks, yet they can still fail in very simple logical reasoning such as the \"reversal curse\" --- when trained on forward knowledge data of the form \"$A \\rightarrow B$\" (e.g., Alice's husband is Bob), the model is unable to deduce the reversal knowledge \"$B \\leftarrow A$\" (e.g., Bob's wife is Alice) during test. Extensive prior research suggests that this failure is an inherent, fundamental limit of autoregressive causal LLMs, indicating that these models tend to memorize factual-level knowledge rather than capture higher-level rules. In this paper, we challenge this view by showing that this seemingly fundamental limit can be mitigated by slightly tweaking the training data with a simple regularization data recipe called the Identity Bridge of the form \"$A \\to A$\" (e.g., The name of Alice is Alice). Theoretically, we prove that under this recipe, even a one-layer transformer can break the reversal curse by analyzing the implicit bias of gradient descent. Empirically, we show that a 1B pretrained language model finetuned with the proposed data recipe achieves a 40\\% success rate on reversal tasks, in stark contrast to a near-zero success rate when trained solely on forward-knowledge data. Our work provides a novel theoretical foundation for the reversal curse and offers a principled, low-cost path to encouraging LLMs to learn higher-level rules from data.","absKo":"Autoregressive large language models (LLMs)은 많은 복잡한 task에서 놀라운 성공을 거두었지만, \"reversal curse\"와 같은 매우 단순한 logical reasoning에서는 여전히 실패할 수 있다. 이는 \"$A \\rightarrow B$\" 형태의 forward knowledge data(예: Alice의 남편은 Bob임)로 학습했을 때, 테스트 시 model이 reverse knowledge \"$B \\leftarrow A$\"(예: Bob의 아내는 Alice임)를 추론하지 못하는 현상이다. 기존의 광범위한 연구는 이러한 실패가 autoregressive causal LLM의 본질적이고 근본적인 한계라고 제안해 왔으며, 이 모델들이 더 높은 수준의 규칙을 포착하기보다는 사실 수준의 지식을 암기하는 경향이 있음을 시사한다. 본 논문에서는 \"$A \\to A$\" 형태의 Identity Bridge라는 단순한 regularization data recipe로 training data를 약간 조정하면 이처럼 근본적으로 보이는 한계를 완화할 수 있음을 보여주며 이러한 관점에 도전한다(예: Alice의 이름은 Alice이다). 이론적으로, 우리는 gradient descent의 implicit bias를 분석하여 이 recipe 하에서 단일 layer transformer조차 reversal curse를 깨뜨릴 수 있음을 증명한다. 실험적으로, 제안한 data recipe로 finetune된 1B pretrained language model이 reversal task에서 40%의 성공률을 달성함을 보이며, 이는 forward-knowledge data만으로 학습했을 때 거의 0%에 가까운 성공률과 뚜렷이 대비된다. 우리의 연구는 reversal curse에 대한 새로운 이론적 토대를 제공하고, LLM이 data로부터 더 높은 수준의 규칙을 학습하도록 유도하는 원리적이고 저비용의 경로를 제시한다."},{"id":"64099","en":"A Studentized Spherical Harmonics–Based Nonparametric Two-Sample Test for Compositional and Directional Data","ko":"구성적·방향성 데이터를 위한 스튜던트화 구면 조화 기반 비모수 이표본 검정","authors":"Binglin Li, Matthew Reed, Seong-Tae Kim","pos":"#4504","link":"https://openreview.net/forum?id=QsxpsAu7l1","abs":"Compositional data analysis has gained increasing attention due to the widespread occurrence of simplex-valued data, including microbiome data. However, existing kernel or distance-based nonparametric two-sample tests are often designed for Euclidean data and rely on square-root or log-transformations, motivating the need for a unified framework for nonparametric two-sample testing applicable to both compositional and directional data. We propose a studentized spherical harmonic energy distance-based two-sample test over a fixed dimensional underlying space, incorporating U-statistics theory and recent developments of studentization in the context of compositional and directional data. We establish asymptotic normality of our studentized test statistics constructed via spherical harmonics theory, avoiding the need for permutation or bootstrap tests. Simulations demonstrate convergence to the limiting distribution, empirical size control, and improved power in certain scenarios. Our proposed framework paves a new direction for nonparametric testing in non-Euclidean data analysis.
","absKo":"Compositional data analysis는 microbiome data를 포함한 simplex-valued data의 광범위한 출현으로 인해 점점 더 주목받고 있다. 그러나 기존의 kernel 또는 distance-based nonparametric two-sample test는 대체로 Euclidean data를 위해 설계되어 있으며 square-root 또는 log transformation에 의존한다. 이는 compositional data와 directional data 모두에 적용 가능한 nonparametric two-sample testing을 위한 통합 프레임워크의 필요성을 뒷받침한다. 우리는 고정된 차원의 underlying space 위에서 studentized spherical harmonic energy distance-based two-sample test를 제안하며, compositional data와 directional data 맥락에서의 U-statistics theory와 최근의 studentization 발전을 통합한다. 우리는 spherical harmonics theory를 통해 구성된 studentized test statistic의 asymptotic normality를 확립함으로써 permutation test나 bootstrap test의 필요를 피한다. 시뮬레이션은 limiting distribution으로의 수렴, empirical size control, 그리고 특정 시나리오에서의 향상된 power를 보여준다. 우리가 제안한 프레임워크는 non-Euclidean data analysis에서의 nonparametric testing에 새로운 방향을 제시한다.
"}];window.dispatchEvent(new CustomEvent("papers-loaded",{detail:"68690"}));