window.ICML_PAPERS["54100"] = [{"id":"0yK6aZLoEF","en":"MoSE: Mixture of Slimmable Experts for Efficient and Adaptive Language Models","ko":"MoSE: 효율적이고 적응적인 언어 모델을 위한 Slimmable Expert의 Mixture","authors":"Nurbek Tastan, Stefanos Laskaridis, Karthik Nandakumar, Samuel Horváth","abs":"<p>Mixture-of-Experts (MoE) models scale large language models efficiently by sparsely activating experts, but once an expert is selected, it is executed fully. Hence, the trade-off between accuracy and computation in an MoE model typically exhibits large discontinuities. We propose Mixture of Slimmable Experts (MoSE), an MoE architecture in which each expert has a nested, slimmable structure that can be executed at variable widths. This enables conditional computation not only over which experts are activated, but also over how much of each expert is utilized. Consequently, a single pretrained MoSE model can support a more continuous spectrum of accuracy-compute trade-offs at inference time. We present a simple and stable training recipe for slimmable experts under sparse routing, combining multi-width training with standard MoE objectives. During inference, we explore strategies for runtime width determination, including a lightweight test-time training mechanism that learns how to map router confidence/probabilities to expert widths under a fixed budget. Experiments on GPT models trained on OpenWebText demonstrate that MoSE matches or improves upon standard MoE at full width and consistently shifts the Pareto frontier for accuracy vs. cost, achieving comparable performance with significantly fewer FLOPs.</p>","absKo":"Mixture-of-Experts (MoE) 모델은 expert를 희소하게 활성화함으로써 large language model을 효율적으로 확장하지만, expert가 한 번 선택되면 전체가 실행된다. 따라서 MoE 모델에서 accuracy와 computation 사이의 trade-off는 대개 큰 불연속성을 보인다. 우리는 각 expert가 가변 폭으로 실행될 수 있는 중첩된 slimmable 구조를 가진 MoE 아키텍처인 Mixture of Slimmable Experts (MoSE)를 제안한다. 이는 어떤 expert가 활성화되는지뿐 아니라 각 expert의 얼마만큼이 활용되는지도 조건부 계산의 대상이 되게 한다. 결과적으로, 하나의 pretrained MoSE 모델은 inference 시 더 연속적인 accuracy-compute trade-off 스펙트럼을 지원할 수 있다. 우리는 sparse routing 하에서 slimmable expert를 위한 간단하고 안정적인 training recipe를 제시하며, multi-width training과 표준 MoE objective를 결합한다. inference 동안에는 고정된 budget 하에서 router confidence/probability를 expert width로 매핑하는 방법을 학습하는 경량 test-time training mechanism을 포함해 runtime width를 결정하는 전략을 탐색한다. OpenWebText로 학습된 GPT 모델에 대한 실험은 MoSE가 full width에서 standard MoE와 동등하거나 더 나은 성능을 보이며, accuracy 대비 cost의 Pareto frontier를 일관되게 이동시켜 훨씬 적은 FLOPs로 비슷한 성능을 달성함을 보여준다.","link":"https://openreview.net/forum?id=0yK6aZLoEF"},{"id":"GxjVGa6QeF","en":"Speedrunning GPT3: Training an (Almost-) GPT3-175B-Quality Model in Under 10K USD","ko":"GPT3 속도 달리기: 1만 달러 미만으로 (거의) GPT3-175B 수준 모델 학습하기","authors":"Georgios Vlassis, Erik Schultheis, Matin Ansaripour, Andrei Panferov, Dan Alistarh","abs":"<p>We describe a system to pretrain a 4B-parameter model, called CloverLM, aimed at zero-shot performance similar to the standard GPT3-175B / OPT-175B models, in a highly cost-effective manner. Our approach works by combining multiple known techniques: (1) accurate native NVFP4 training via the Quartet II algorithm; (2) high-quality data training on the CLIMB dataset; (3) several model and framework-specific optimizations. While we claim no technical novelty, it is notable that we can reach OPT-175B-level accuracy on multi-choice zero-shots in pure NVFP4 using approximately 1600 B300 GPU hours, for an estimated cost between USD 5&#x27;600 (spot) and USD 10&#x27;000 (on-demand), for the main run, on a commercial cloud provider (Verda, 2026). Our code is available at https://github.com/IST-DASLab/CloverLM.</p>","absKo":"우리는 CloverLM이라 불리는 4B parameter model을 pretrain하기 위한 시스템을 설명한다. 이 model은 매우 비용 효율적인 방식으로 표준 GPT3-175B / OPT-175B model과 유사한 zero-shot 성능을 목표로 한다. 우리의 접근법은 다음의 여러 알려진 기법을 결합하여 작동한다: (1) Quartet II algorithm을 통한 정확한 native NVFP4 training, (2) CLIMB dataset을 활용한 고품질 데이터 학습, (3) 여러 model 및 framework-specific optimization. 기술적 novelty를 주장하지는 않지만, 순수 NVFP4에서 약 1600 B300 GPU hour를 사용해 multi-choice zero-shot에서 OPT-175B 수준의 정확도에 도달할 수 있었으며, 주요 run 기준으로 상용 cloud provider(Verda, 2026)에서 예상 비용은 약 USD 5'600(spot)에서 USD 10'000(on-demand) 사이이다. 우리의 코드는 https://github.com/IST-DASLab/CloverLM 에 공개되어 있다.","link":"https://openreview.net/forum?id=GxjVGa6QeF"},{"id":"y2sY80Q3fh","en":"Layout and Fusion Trade-offs for Mixture-of-Experts Inference under Single-Node Tensor Parallelism","ko":"단일 노드 Tensor Parallelism 하에서의 Mixture-of-Experts 추론을 위한 Layout 및 Fusion 트레이드오프","authors":"June Yong Yang, Inhyuk Cho, Taehyeon Kim, Yu Jin Kim, Moontae Lee","abs":"<p>Mixture-of-Experts (MoE) LLMs are increasingly deployed on a single multi-GPU node with tensor parallelism, a practical regime for private and on-premise deployments with bounded user populations, but one that has received less attention than datacenter-scale expert parallelism. This paper argues that this setting is not simply a smaller version of expert-parallel inference. The expert-major pipeline inherited from expert-parallel backends reshapes the bottlenecks of an MoE feed-forward layer under tensor parallelism: turning the pre-permute to an expert-major layout into a dominant cost at large token counts, making down-projection grouped GEMMs unusually thin, and creating a reduction chain between top-k combine and the tensor-parallel AllReduce. Through controlled kernel-level experiments on the MoE-FFN module, we find that the best layout flips with workload shape. Token-major variants win in decode-like regimes, while in-flight-permute variants with persistent down projection win in prefill-like regimes. Across representative MoE shapes, the best variant improves MoE FFN latency by up to nearly 2× over the conventional expert-major baseline (pre-permute + expert-major up/down). Recent serving systems separate prefill and decode at the request and batch level. Our findings suggest that this separation should extend down to the MoE kernel layout itself, calling not for a single fused MoE kernel but for a workload-conditioned layout policy within the MoE FFN.</p>","absKo":"Mixture-of-Experts (MoE) LLM은 최근 tensor parallelism을 사용해 단일 multi-GPU node에서 점점 더 많이 배치되고 있습니다. 이는 사용자 집단이 제한된 private 및 on-premise deployment에 실용적인 방식이지만, datacenter 규모의 expert parallelism에 비해 덜 주목받아 왔습니다. 본 논문은 이 설정이 단순히 expert-parallel inference의 축소판이 아니라고 주장합니다. expert-parallel backend에서 물려받은 expert-major pipeline은 tensor parallelism 하에서 MoE feed-forward layer의 병목을 재구성합니다. 즉, pre-permute를 expert-major layout으로 바꾸는 과정이 큰 token 수에서 지배적인 비용이 되고, down-projection grouped GEMM은 비정상적으로 얇아지며, top-k combine과 tensor-parallel AllReduce 사이에 reduction chain이 생깁니다. MoE-FFN module에 대한 제어된 kernel-level 실험을 통해, 최적 layout은 workload shape에 따라 달라진다는 것을 확인했습니다. token-major variant는 decode와 유사한 regime에서 우세하고, persistent down projection을 갖는 in-flight-permute variant는 prefill과 유사한 regime에서 우세합니다. 대표적인 MoE shape 전반에서 최적 variant는 기존 expert-major baseline(pre-permute + expert-major up/down) 대비 MoE FFN latency를 최대 거의 2배까지 개선합니다. 최근 serving system은 request와 batch 수준에서 prefill과 decode를 분리합니다. 우리의 결과는 이러한 분리가 MoE kernel layout 자체까지 확장되어야 하며, 단일 fused MoE kernel이 아니라 MoE FFN 내에서 workload-conditioned layout policy가 필요함을 시사합니다.","link":"https://openreview.net/forum?id=y2sY80Q3fh"},{"id":"K41rNB0F8j","en":"StructSAM: Structure- and Spectrum-Preserving Token Merging for Segment Anything Models","ko":"StructSAM: Segment Anything Models를 위한 구조와 스펙트럼 보존 token merging","authors":"Duy Minh Ho Nguyen, Tuan Anh Tran, Thuy-Duong Khanh Nguyen, Siwei Xie, Trung Quoc Nguyen, Mai Thanh Nhat Truong, Daniel Palenicek, An Thai Le, Michael Barz, Eric Hannus, TrungTin Nguyen, Tuan Quang Dam, Tran Nguyen Le, Ngan Le, Minh Nhat VU, Khoa D Doan, Vien Anh Ngo, Pengtao Xie, James Zou, Daniel Sonntag, Jan Peters, Mathias Niepert","abs":"<p>SAM achieves strong segmentation but at high inference cost dominated by its ViT image encoder. Token merging accelerates ViTs without retraining, yet directly applying it to SAM is nontrivial: SAM mixes windowed and global attention and requires dense, prompt-conditioned features for precise boundary prediction. We systematically evaluate representative token-merging methods on the SAM family in a strict off-the-shelf setting and find that existing destination-selection heuristics erode boundaries and leak prompt information as merge rates increase. We propose \\textbf{StructSAM}, a resolution-preserving framework that computes lightweight token-energy scores from first-order feature gradients, protects boundary and prompt regions via grid-based flatness screening, and merges flat-region tokens toward low-energy targets with explicit recovery. We further present a spectral graph coarsening analysis showing that score-guided merging yields bounded Laplacian spectral distortion relative to random or window-restricted baselines. Across five natural and medical benchmarks, StructSAM reduces encoder FLOPs by 25--30\\% (up to 40\\%+ with prompt-aware merging) with minor drops in mIoU/Dice, consistently outperforming recent merging techniques at the same compute.</p>","absKo":"SAM은 강력한 segmentation 성능을 보이지만, ViT image encoder에 의해 지배되는 높은 inference cost가 문제다. token merging은 retraining 없이 ViT를 가속하지만, 이를 SAM에 직접 적용하는 것은 쉽지 않다. SAM은 windowed attention과 global attention을 혼합하고 있으며, 정확한 boundary prediction을 위해 dense한 prompt-conditioned feature를 필요로 하기 때문이다. 우리는 엄격한 off-the-shelf setting에서 대표적인 token-merging method를 SAM family에 대해 체계적으로 평가했고, 기존 destination-selection heuristic이 merge rate가 증가할수록 boundary를 훼손하고 prompt 정보를 누출시킨다는 사실을 발견했다. 이에 우리는 first-order feature gradient로부터 lightweight token-energy score를 계산하고, grid-based flatness screening으로 boundary 및 prompt region을 보호하며, 명시적 recovery를 통해 flat-region token을 낮은 energy target으로 병합하는 해상도 보존 framework인 \\textbf{StructSAM}을 제안한다. 또한 score-guided merging이 random 또는 window-restricted baseline에 비해 bounded Laplacian spectral distortion을 갖는다는 것을 보이는 spectral graph coarsening 분석도 제시한다. 다섯 개의 natural 및 medical benchmark 전반에서 StructSAM은 encoder FLOPs를 25--30\\% 줄였고(prompt-aware merging을 사용하면 최대 40\\%+), mIoU/Dice의 감소는 작았으며, 동일한 compute 조건에서 최근 merging technique을 일관되게 능가했다.","link":"https://openreview.net/forum?id=K41rNB0F8j"},{"id":"s66nL9PEw1","en":"Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers","ko":"고정점 추론기: 안정적이고 적응적인 deep loop transformer","authors":"Sajad Movahedi, Vera Milovanović, Shlomo Libo Feigin, Alexander Theus, Thomas Hofmann, Valentina Boeva, T. Konstantin Rusch, Antonio Orvieto","abs":"<p>Looped architectures provide an inductive bias toward learning step-by-step procedures for tasks that require compositional reasoning. The effective layers reached by looping determines the quality of the solution these models reach. Similar to deep architectures, looped architectures are prone to a signal propagation issue induced by depth as the halting decision is postponed. In this paper, we address the signal propagation issue by using pre-norm layers and residual scaling. With this architectural modification, we propose ***FPRM***: a **F**ixed-**P**oint **R**easoning **M**odel that uses fixed-point convergence as an end-to-end halting mechanism in a looped architecture. We show that fixed-point halting allows FPRM to adapt its compute to the difficulty of the task. FPRM proves effective on common reasoning benchmarks, namely Sudoku, Maze, state-tracking and ARC-AGI.</p>","absKo":"Looped architecture는 compositional reasoning이 필요한 task에서 단계별 절차를 학습하도록 유도하는 inductive bias를 제공한다. 루프를 통해 도달한 effective layer 수는 이 모델이 도달하는 해의 품질을 결정한다. deep architecture와 마찬가지로, looped architecture도 halting decision이 지연될 때 depth에 의해 유발되는 signal propagation 문제에 취약하다. 이 논문에서는 pre-norm layer와 residual scaling을 사용해 이 signal propagation 문제를 해결한다. 이러한 architectural modification을 바탕으로, looped architecture에서 fixed-point convergence를 end-to-end halting mechanism으로 사용하는 ***FPRM***: **F**ixed-**P**oint **R**easoning **M**odel을 제안한다. 우리는 fixed-point halting이 FPRM이 task 난이도에 맞춰 compute를 조절할 수 있게 해준다는 것을 보인다. FPRM은 Sudoku, Maze, state-tracking, ARC-AGI 등 일반적인 reasoning benchmark에서 효과적임을 입증한다.","link":"https://openreview.net/forum?id=s66nL9PEw1"},{"id":"QSv1lTk06x","en":"One Simple Trick for Improving the Performance of Energy-Limited Local Inference and Training","ko":"에너지 제한 로컬 추론과 학습 성능을 높이는 한 가지 간단한 요령","authors":"Erik Schultheis, Maximilian Kleinegger, Dan Alistarh","abs":"<p>Energy supply and heat dissipation are two of the main challenges with modern GPU deployments. While typically discussed in the context of new datacenter constructions, the same constraints also apply to small form-factor consumer devices, such as the DGX spark. In workloads characterized by alternating compute-intensive tasks such as matmuls with memory-bound operations such as norms or cross-entropy, the compute-intensive parts might hit power and/or thermal limits and start throttling. In this short paper, we show that _chunking_ the workload into smaller parts that alternate compute and memory in higher frequencies, these power and temperature spikes can be smoothed out, preventing throttling and resulting in considerably faster wallclock time _and_ reduced total energy consumption. We present several scenarios in which this effect can be exploited on a DGX Spark with up to 20% performance and energy improvements, and demonstrate that the same phenomenon also happens on less constrained systems, such as a multi-GPU server, albeit at significantly reduced effect size of 1-2%.</p>","absKo":"Energy supply와 heat dissipation은 현대 GPU deployment의 주요 과제 두 가지다. 이는 보통 새로운 datacenter 구축 맥락에서 논의되지만, DGX spark와 같은 소형 폼팩터 consumer device에도 동일한 제약이 적용된다. matmuls 같은 compute-intensive task와 norms 또는 cross-entropy 같은 memory-bound operation이 번갈아 나타나는 workload에서는, compute-intensive 부분이 power 및/또는 thermal limit에 걸려 throttling되기 시작할 수 있다. 이 짧은 논문에서 우리는 workload를 더 작은 조각으로 쪼개어 compute와 memory가 더 높은 빈도로 교대로 나타나게 하는 _chunking_이 이러한 power와 temperature spike를 완화해 throttling을 방지하고, 그 결과 wallclock time을 상당히 단축하며 _총 에너지 소비_도 줄일 수 있음을 보인다. 우리는 DGX Spark에서 최대 20%의 성능 및 에너지 향상을 활용할 수 있는 여러 시나리오를 제시하고, 덜 제약된 시스템, 예를 들어 multi-GPU server에서도 동일한 현상이 발생하지만 효과 크기는 1-2%로 훨씬 작음을 보인다.","link":"https://openreview.net/forum?id=QSv1lTk06x"},{"id":"kdZbHVOjd6","en":"CLAWS: Calibration-Aware Activation Sparsity for Instruction-Tuned LLMs","ko":"CLAWS: instruction-tuned LLM을 위한 calibration-aware activation sparsity","authors":"Noah Cylich, Karen Mosoyan, Henry Ndubuaku, Roman Shemet","abs":"<p>Modern LLMs contain gated MLPs whose per-token activations are highly skewed, a natural axis for dynamic top-K</p><p>sparsification. Practical sparsity needs both accurate routing and a mask the inference kernel can execute efficiently.</p><p>CATS (Lee et al., 2024) gives the hardware-friendly row-wise mask but routes on local gate information alone, while</p><p>LaRoSA (Liu et al., 2025) improves routing through rotating the basis with calibration data, but induces a column-sparse</p><p>pattern poorly aligned with quantized row-major layouts. We introduce CLAWS, a gradient-saliency calibration method for</p><p>gated-MLP sparsification that keeps the CATS row-sparse execution pattern and multiplies the runtime gate score by a</p><p>static per-neuron saliency constant, so the top-K mask still maps directly to quantized kernels. We also explain why</p><p>this multiplier reorders the native gate score but barely moves LaRoSA&#x27;s rotated-input score, isolating where</p><p>calibration helps. On Gemma-4-E2B-IT at 50\\% FFN density, CLAWS recovers dense-level Avg5 and surpasses matched-recipe</p><p>CATS with LoRA by 6.8pp MMLU (49.6 vs. 42.8), and a custom ARM kernel delivers a $\\times 1.24$ wall-clock speedup on the full</p><p>MLP block.</p>","absKo":"현대 LLM은 token별 활성화가 매우 치우친 gated MLP를 포함하며, 이는 dynamic top-K sparsification의 자연스러운 축이다. 실용적인 sparsity에는 정확한 routing과 inference kernel이 효율적으로 실행할 수 있는 mask가 모두 필요하다.\nCATS(Lee et al., 2024)는 hardware-friendly한 row-wise mask를 제공하지만 local gate information에만 의존해 routing하며, LaRoSA(Liu et al., 2025)는 calibration data로 basis를 회전시켜 routing을 개선하지만 quantized row-major layout과 잘 맞지 않는 column-sparse pattern을 유도한다. 우리는 gated-MLP sparsification을 위한 gradient-saliency calibration 방법인 CLAWS를 제안한다. CLAWS는 CATS의 row-sparse execution pattern을 유지하면서 runtime gate score에 neuron별 static saliency constant를 곱해 top-K mask가 그대로 quantized kernel에 직접 대응되도록 한다. 또한 이 multiplier가 native gate score는 재정렬하지만 LaRoSA의 rotated-input score는 거의 움직이지 않는 이유를 설명하여, calibration이 어디에서 도움이 되는지 구분한다. Gemma-4-E2B-IT에서 FFN density 50%일 때, CLAWS는 dense 수준의 Avg5를 회복하고 matched-recipe CATS with LoRA보다 MMLU를 6.8pp 높게 달성한다(49.6 vs. 42.8). 또한 custom ARM kernel은 전체 MLP block에서 실행 시간 기준 $\\times 1.24$ speedup을 제공한다.","link":"https://openreview.net/forum?id=kdZbHVOjd6"},{"id":"6JGbm48VoG","en":"COAT: COrrelation-Aware Orthogonal Transform for LLM Quantization","ko":"COAT: LLM 양자화를 위한 상관관계 인지 직교 변환","authors":"Indranil Patra, Azhar Yousuf, Manu Mathew, Chandra Sekhar Seelamantula","abs":"<p>Quantization of large language models (LLMs) has become essential to mitigate memory and computational bottlenecks, however the occurrence of massive activation outliers poses the main challenge in low-bit LLM quantization. In the recent works, rotational transforms are demonstrated to effectively improve quantization performance by suppressing outliers, as they reshape activation distributions without changing the underlying model function. Existing approaches typically rely either on fixed data-agnostic transforms, such as Hadamard rotations, or on calibration-time optimization of learned rotations.</p><p>In this paper, we demonstrate that maximizing cross-dimensional correlation provides a principled criterion for constructing quantization-friendly orthogonal transforms. We propose COrrelation-Aware orthogonal Transform (COAT) as a novel and mathematically grounded transform for post-training quantization. COAT synergistically combines a robust, data-independent rotation/Hadamard backbone with an adaptive, data-dependent component, and therefore bridges the gap between data-agnostic structured rotations and learned rotations. This approach proves to be substantially effective for post-training quantization, and numerous experiments on Llama-family models show that COAT is competitive with state-of-the-art rotation methods.</p>","absKo":"large language model(LLM)의 quantization은 memory와 computational bottleneck을 완화하기 위해 필수적이 되었지만, massive activation outlier의 발생이 low-bit LLM quantization의 핵심 과제로 남아 있다. 최근 연구에서는 rotational transform이 activation distribution을 underlying model function을 바꾸지 않고 재구성하여 outlier를 억제하므로 quantization 성능을 효과적으로 향상시킨다는 것이 입증되었다. 기존 접근은 대체로 Hadamard rotation 같은 fixed, data-agnostic transform에 의존하거나, calibration-time에 learned rotation을 optimization하는 방식에 의존한다. \n본 논문에서는 cross-dimensional correlation을 최대화하는 것이 quantization 친화적 orthogonal transform을 구성하는 principled criterion임을 보인다. 우리는 post-training quantization을 위한 새롭고 수학적으로 정당화된 transform인 COrrelation-Aware orthogonal Transform(COAT)을 제안한다. COAT은 robust한 data-independent rotation/Hadamard backbone과 adaptive한 data-dependent component를 시너지 있게 결합하여, data-agnostic structured rotation과 learned rotation 사이의 간극을 메운다. 이 접근은 post-training quantization에 상당히 효과적임이 입증되며, Llama-family model에 대한 다수의 실험에서 COAT이 state-of-the-art rotation method와 경쟁력이 있음을 보인다.","link":"https://openreview.net/forum?id=6JGbm48VoG"},{"id":"wxKn35RAhW","en":"Jacobian-guided Noise Injection for Quantization Robustness in Large Language Models","ko":"대형 Language Model의 양자화 강건성을 위한 Jacobian 유도 잡음 주입","authors":"Deepanshu Pandey, Nahush Lele, Arnav Chavan, Sankalp Dayal, Deepak Gupta","abs":"<p>Quantization of Large Language Models (LLMs) is often hindered by the sensitivity of the self-attention mechanism to discretization errors. We identify the softmax operator as a bottleneck for quantization stability due to its sensitivity to outliers and state-dependent Jacobian. We theoretically establish that suppressing the norm of this Jacobian helps in bounding quantization-induced performance degradation. Based on this, we propose Jacobian-Guided Noise Injection, a training strategy that injects zero-mean Gaussian noise into pre-attention logits, with variance derived directly from the Jacobian Frobenius norm. Unlike prior approaches that rely on heuristic or penalise jacobian directly, our method provides away to identify the optimal noise variance based on the local attention sensitivity. We evaluate the method on SOTA LLM architectures, where it demonstrates improved robustness over popular PTQ methods. Empirical analysis reveals that the proposed method gives up to +37% relative gains on Top-1 accuracy on ImageNet-1K for SigLIP and improves relative perplexity by upto 40% on WikiText for language models in low bit quantisation settings, proving the efficacy of the approach</p>","absKo":"Large Language Models (LLMs)의 quantization은 종종 self-attention 메커니즘이 discretization error에 민감하다는 점 때문에 방해를 받는다. 우리는 softmax 연산자가 outlier와 상태 의존 Jacobian에 민감하기 때문에 quantization 안정성의 병목이라고 식별한다. 우리는 이 Jacobian의 norm을 억제하는 것이 quantization으로 인한 성능 저하를 경계짓는 데 도움이 된다는 점을 이론적으로 확립한다. 이를 바탕으로 우리는 Jacobian-Guided Noise Injection을 제안하는데, 이는 pre-attention logit에 zero-mean Gaussian noise를 주입하는 학습 전략이며, 분산은 Jacobian Frobenius norm에서 직접 도출된다. 휴리스틱에 의존하거나 Jacobian을 직접 패널티하는 기존 접근과 달리, 우리의 방법은 local attention sensitivity를 바탕으로 최적 noise variance를 식별하는 방법을 제공한다. 우리는 이 방법을 SOTA LLM 아키텍처에서 평가했으며, 널리 사용되는 PTQ 방법들보다 향상된 robustness를 보임을 확인했다. 실험 분석은 제안 방법이 SigLIP의 ImageNet-1K Top-1 accuracy에서 최대 +37%의 상대적 향상을 보이고, 저비트 quantization 설정의 언어 모델에서 WikiText perplexity를 최대 40%까지 상대적으로 개선함을 보여주며, 이 접근의 유효성을 입증한다","link":"https://openreview.net/forum?id=wxKn35RAhW"},{"id":"nV7k7G5k5l","en":"Neural Weight Compression for Language Models","ko":"Language Model을 위한 neural weight 압축","authors":"Jegwang Ryu, Minkyu Kim, Seungjun Shin, Hee Min Choi, Dokwan Oh, Jaeho Lee","abs":"<p>Efficient compression of language model weights is increasingly critical as model scale and deployment grow.</p><p>Yet, most existing methods rely on handcrafted transforms and heuristics, reflecting the limited understanding of weights as a data modality. To move beyond this paradigm, we formulate weight compression as neural codec learning and propose Neural Weight Compression (NWC), a framework for training neural codecs on pretrained weight datasets. NWC addresses challenges intrinsic to weight compression, including tensor heterogeneity and the mismatch between reconstruction losses and downstream performance.</p><p>Experiments show that NWC achieves highly competitive accuracy--compression tradeoffs, with particularly strong results in the 4-6 bit regime, without relying on rigid handcrafted components such as the Hadamard transform. These gains extend across diverse architectures, e.g., vision encoders. Our analysis highlights the roles of entropy-constrained quantization and learned transforms in adapting compression to weight data and downstream tasks.</p>","absKo":"언어 model weight의 효율적인 compression은 model scale과 deployment가 커짐에 따라 점점 더 중요해지고 있다. 그러나 대부분의 기존 방법은 수작업으로 설계된 transform과 heuristic에 의존하는데, 이는 weight를 데이터 modality로 보는 이해가 제한적임을 반영한다. 이러한 패러다임을 넘어가기 위해, 우리는 weight compression을 neural codec learning으로 정식화하고 pretrained weight dataset 위에서 neural codec를 학습하는 framework인 Neural Weight Compression (NWC)를 제안한다. NWC는 tensor heterogeneity와 reconstruction loss와 downstream performance 사이의 불일치 등 weight compression에 고유한 문제를 해결한다.\n실험 결과 NWC는 특히 4-6 bit 영역에서 강력한 결과를 보이며, Hadamard transform과 같은 경직된 수작업 구성요소에 의존하지 않고도 매우 경쟁력 있는 accuracy--compression tradeoff를 달성한다. 이러한 향상은 vision encoder를 포함한 다양한 architecture 전반으로 확장된다. 우리의 분석은 compression을 weight data와 downstream task에 맞게 조정하는 데 있어 entropy-constrained quantization과 학습된 transform의 역할을 강조한다.","link":"https://openreview.net/forum?id=nV7k7G5k5l"},{"id":"qGDH71Uanr","en":"IR3DE: A Linear Router for Large Language Models","ko":"IR3DE: Large Language Models를 위한 선형 라우터","authors":"Eros Fanì, Oguzhan Ersoy","abs":"<p>Foundational Large Language Models (LLMs) demonstrate proficiency on a wide range of general tasks, and achieve remarkable results on various specialized tasks via domain-expert LLMs.</p><p>With the ever-growing list of available LLMs, inference routers are being proposed to select the most appropriate LLM for each prompt.</p><p>However, existing routing methods either optimize cost across weak-to-strong generalist LLMs or require substantial training to support domain-expertise routing.</p><p>In this paper, we propose IR3DE, a Ridge Regression-based Router for Domain Experts that provides cheap and fast routing decisions for each prompt.</p><p>We evaluate IR3DE in two Causal Language Modeling (CLM) settings where the tasks are next-token prediction for all domains, and one reasoning setting where each domain has its own distinct reasoning task.</p><p>Despite being a linear router, IR3DE achieves performance comparable to the other baselines in both CLM settings, and surpassing them in the reasoning setting, with a normalized performance of 98.4\\%.</p><p>Moreover, IR3DE enables the addition or removal of new domain experts without requiring the router to be retrained from scratch, allowing a dynamic set of LLMs to be served with minimal disruption to the router itself.</p>","absKo":"기초적인 Large Language Models (LLMs)은 다양한 일반 task에서 뛰어난 성능을 보이며, domain-expert LLM을 통해 여러 특화 task에서도 놀라운 결과를 달성한다.\n사용 가능한 LLM의 수가 계속 늘어남에 따라, 각 prompt에 가장 적합한 LLM을 선택하기 위한 inference router가 제안되고 있다.\n그러나 기존 routing 방법은 약한 모델에서 강한 일반 모델로의 비용 최적화에 초점을 맞추거나, domain-expertise routing을 지원하기 위해 상당한 학습을 요구한다.\n본 논문에서는 각 prompt에 대해 저렴하고 빠른 routing 결정을 제공하는 Ridge Regression 기반 Router for Domain Experts인 IR3DE를 제안한다.\n우리는 모든 domain에 대해 next-token prediction을 수행하는 두 개의 Causal Language Modeling (CLM) 설정과, 각 domain이 고유한 reasoning task를 갖는 하나의 reasoning 설정에서 IR3DE를 평가한다.\n선형 router임에도 불구하고 IR3DE는 두 CLM 설정에서 다른 baseline과 비슷한 성능을 달성하고, reasoning 설정에서는 이를 능가하여 normalized performance 98.4\\%를 기록한다.\n또한 IR3DE는 router를 처음부터 다시 학습할 필요 없이 새로운 domain expert를 추가하거나 제거할 수 있게 해주며, 이를 통해 router 자체에는 최소한의 영향만 주면서 동적인 LLM 집합을 서비스할 수 있다.","link":"https://openreview.net/forum?id=qGDH71Uanr"},{"id":"Wyhqwjl51A","en":"DREAM-MoE: Downstream Routing Error-Aware Margin-Preserving Quantization for Mixture-of-Experts Large Language Models","ko":"DREAM-MoE: Mixture-of-Experts 대규모 언어 모델을 위한 downstream routing error-aware margin-preserving 양자화","authors":"Hancheol Park, Geonho Lee, Tae-Ho Kim","abs":"<p>Post-training quantization (PTQ) is essential for deploying large Mixture-of-Experts (MoE) language models, but quantization can perturb router scores and change the selected experts. Existing router-aware quantization methods mainly align the router outputs of the quantized model with those of the full-precision model at the same layer. However, even small errors in matching router logits can change the relative ordering of experts and alter the selected top-$k$ set. Moreover, in block-wise PTQ where each transformer decoder block is quantized sequentially, reconstruction errors from the currently quantized decoder block can perturb the input to the following MoE router, leading to downstream routing changes. We propose DREAM-MoE, a downstream routing error-aware margin-preserving objective for MoE quantization. DREAM-MoE preserves expert orderings that directly affect top-$k$ routing decisions by enforcing pairwise margins among selected experts and between selected experts and near-boundary unselected experts. It further regularizes each quantized decoder block using the downstream routing behavior of the next MoE router. DREAM-MoE is an auxiliary calibration objective and can be integrated into learning-based PTQ frameworks without adding inference-time modules or computational overhead. Across three MoE LLMs under 4-bit and 3-bit weight-only quantization, DREAM-MoE achieves the best average downstream accuracy in five of six model-bit settings and the lowest language-modeling perplexity in five of six settings.</p>","absKo":"Post-training quantization (PTQ)은 대형 Mixture-of-Experts (MoE) language model을 배포하는 데 필수적이지만, quantization은 router score를 교란하여 선택되는 expert를 바꿀 수 있다. 기존의 router-aware quantization 방법은 주로 quantized model의 router output을 같은 layer의 full-precision model output과 맞추는 데 초점을 둔다. 그러나 router logit을 정밀하게 맞추는 데 작은 오차만 있어도 expert의 상대적 순서가 바뀌고 선택된 top-$k$ 집합이 달라질 수 있다. 또한 각 transformer decoder block을 순차적으로 quantize하는 block-wise PTQ에서는, 현재 quantized된 decoder block의 reconstruction error가 다음 MoE router의 입력을 교란하여 downstream routing 변화를 유발할 수 있다. 우리는 MoE quantization을 위한 downstream routing error-aware margin-preserving objective인 DREAM-MoE를 제안한다. DREAM-MoE는 선택된 expert 간, 그리고 선택된 expert와 경계에 가까운 미선택 expert 간의 pairwise margin을 강제함으로써 top-$k$ routing decision에 직접 영향을 미치는 expert ordering을 보존한다. 또한 다음 MoE router의 downstream routing behavior를 사용하여 각 quantized decoder block을 regularize한다. DREAM-MoE는 auxiliary calibration objective이며, inference-time module이나 계산 오버헤드를 추가하지 않고 learning-based PTQ framework에 통합할 수 있다. 4-bit 및 3-bit weight-only quantization 하에서 세 개의 MoE LLM을 평가한 결과, DREAM-MoE는 6개 model-bit 설정 중 5개에서 평균 downstream accuracy가 가장 높았고, 6개 중 5개에서 language-modeling perplexity가 가장 낮았다.","link":"https://openreview.net/forum?id=Wyhqwjl51A"},{"id":"UZ5V7ub8mi","en":"SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training","ko":"SlimQwen: 대형 MoE model 사전학습에서 pruning과 distillation 탐색","authors":"Shengkun Tang, Zekun Wang, Bo Zheng, Liangyu Wang, Rui Men, Siqi Zhang, Xiulong Yuan, Zihan Qiu, Zhiqiang Shen, Dayiheng Liu","abs":"<p>Structured pruning and knowledge distillation (KD) are typical techniques for compressing large language models, but it remains unclear how they should be applied at pretraining scale, especially to recent mixture-of-experts (MoE) models.</p><p>In this work, we systematically study MoE compression in large-scale pretraining, focusing on three key questions: whether pruning provides a better initialization than training from scratch, how expert compression choices affect the final model after continued training, and which training strategy is most effective.</p><p>We have the following findings: First, across depth, width, and expert compression, pruning a pretrained MoE consistently outperforms training the target architecture from scratch under the same training budget.</p><p>Second, different one-shot expert compression methods converge to similar final performance after large-scale continual pretraining. Motivated by this, we introduce a simple partial-preservation expert merging strategy that improves downstream performance across most benchmarks.</p><p>Third, combining KD with the language modeling loss outperforms KD alone, particularly on knowledge-intensive tasks. We further propose multi-token prediction (MTP) distillation, which yields consistent gains.</p><p>Finally, given the same training tokens, progressive pruning schedules outperform one-shot compression, suggesting that gradual architecture transitions lead to better optimization trajectories.</p><p>Putting it all together, we compress Qwen3-Next-80A3B to a 23A2B model that retains competitive performance. These results offer practical guidance for efficient MoE compression at scale.</p>","absKo":"Structured pruning과 knowledge distillation(KD)은 대규모 language model을 압축하는 데 흔히 쓰이는 기법이지만, 특히 최근의 mixture-of-experts(MoE) model에 대해 pretraining scale에서 이를 어떻게 적용해야 하는지는 여전히 명확하지 않다. \n이 연구에서는 대규모 pretraining에서의 MoE compression을 체계적으로 분석하며, 세 가지 핵심 질문에 초점을 맞춘다: pruning이 scratch로 학습하는 것보다 더 나은 initialization을 제공하는지, expert compression 선택이 계속된 training 이후 최종 model에 어떤 영향을 미치는지, 그리고 어떤 training strategy가 가장 효과적인지이다. \n우리는 다음과 같은 결과를 얻었다. 첫째, depth, width, expert compression 전반에서, pretrained MoE를 pruning하는 것은 동일한 training budget 하에서 target architecture를 scratch로 학습하는 것보다 일관되게 우수하다.\n둘째, 서로 다른 one-shot expert compression method는 대규모 continual pretraining 이후 유사한 최종 성능으로 수렴한다. 이 점에 착안해, 우리는 대부분의 benchmark에서 downstream performance를 향상시키는 간단한 partial-preservation expert merging strategy를 제안한다.\n셋째, KD를 language modeling loss와 결합하면 KD 단독보다 우수하며, 특히 knowledge-intensive task에서 두드러진다. 또한 우리는 일관된 향상을 보이는 multi-token prediction(MTP) distillation도 제안한다.\n마지막으로, 동일한 training token 수를 사용할 때 progressive pruning schedule은 one-shot compression보다 우수하며, 점진적인 architecture transition이 더 나은 optimization trajectory로 이어짐을 시사한다.\n이 모든 결과를 종합하여, 우리는 Qwen3-Next-80A3B를 competitive performance를 유지하는 23A2B model로 압축한다. 이 결과는 대규모 MoE compression을 효율적으로 수행하기 위한 실용적인 지침을 제공한다.","link":"https://openreview.net/forum?id=UZ5V7ub8mi"},{"id":"ShvjLjCOGB","en":"GreenMoE: Exploiting Dynamic Load Imbalance for Energy-Efficient Long-Context MoE Training","ko":"GreenMoE: 에너지 효율적인 장문맥 MoE training을 위한 동적 load imbalance 활용","authors":"Laiyi Li, Zhenheng Tang, Peijie Dong, Qiang Wang","abs":"<p>Large language model training increasingly combines long-context data with mixture-of-experts (MoE) architectures, but this setting also exposes a practical energy-efficiency problem: dynamic sequence packing and expert routing create substantial load imbalance across GPUs. Many energy-saving methods rely on static execution assumptions or reduce frequency on phases that may become critical, which can harm training throughput. We present GreenMoE, a dynamic-load-aware frequency scaling framework that treats non-critical-path waiting time as an energy-saving opportunity. GreenMoE estimates the load of Attention and MoE blocks at runtime, selects GPU core frequencies that satisfy a critical-path time constraint, and applies the selected frequencies through an asynchronous CUDA-event-based controller. In representative single-node configurations, GreenMoE reduces per-GPU step energy by 8.63% with 3.75% step-time overhead in a 64K setting and by up to 10.20% with larger overhead; in a constructed Attention-heavy setting, it reduces non-critical GPU energy by 16.15% with 0.23% overhead.</p>","absKo":"Large language model training은 점점 long-context data와 mixture-of-experts (MoE) architecture를 결합하고 있지만, 이 설정은 동시에 실용적인 energy-efficiency 문제를 드러냅니다. dynamic sequence packing과 expert routing이 GPU 간 load imbalance를 크게 유발하기 때문입니다. 많은 energy-saving 방법은 static execution 가정에 의존하거나, critical phase가 될 수 있는 구간의 빈도를 낮춰 training throughput을 해칠 수 있습니다. 우리는 non-critical-path 대기 시간을 energy-saving 기회로 간주하는 dynamic-load-aware frequency scaling framework인 GreenMoE를 제안합니다. GreenMoE는 runtime에서 Attention과 MoE block의 load를 추정하고, critical-path time constraint를 만족하는 GPU core frequency를 선택한 뒤, asynchronous CUDA-event-based controller를 통해 선택된 frequency를 적용합니다. 대표적인 single-node configuration에서 GreenMoE는 64K 설정에서 step-time overhead 3.75%로 GPU당 step energy를 8.63% 줄였고, 더 큰 overhead를 허용하면 최대 10.20%까지 줄였습니다. 구성한 Attention-heavy 설정에서는 non-critical GPU energy를 0.23% overhead로 16.15% 줄였습니다.","link":"https://openreview.net/forum?id=ShvjLjCOGB"},{"id":"1inovdFo6Z","en":"Learning Adaptive Reasoning Budgets via Constraint-Rectified Training","ko":"제약-정정 학습을 통한 적응적 추론 예산 학습","authors":"Qinhang Wu, Sen Lin, Ming Zhang, Yingbin Liang, Ness Shroff","abs":"<p>Foundation models increasingly rely on long chain-of-thought reasoning traces, improving task performance but imposing substantial inference-time token cost. Existing efficient-reasoning methods often shorten outputs through fixed budgets or scalar rewards that mix correctness and length, making the resulting quality-resource tradeoff difficult to control. We propose Constraint-Rectified Training (CRT), a reference-guarded post-training framework for adaptive efficient reasoning. CRT first minimizes reasoning length while preserving accuracy relative to a frozen reference policy, thereby discovering the shortest reliable reasoning regime for the model. It then treats this discovered regime as a learned token budget and refines correctness without allowing reasoning traces to expand back to unnecessary verbosity. Across multiple reasoning benchmarks and foundation-model backbones, CRT improves the accuracy-efficiency frontier over length-aware baselines. Additional redundancy analysis shows that CRT reduces repetitive reasoning structure beyond what is captured by average token count alone. These results suggest that constrained, budget-aware post-training is a practical mechanism for resource-efficient foundation model inference.</p>","absKo":"Foundation model은 점점 더 긴 chain-of-thought 추론 trace에 의존하고 있으며, 이는 task 성능을 향상시키지만 추론 시점의 token 비용을 크게 증가시킨다. 기존의 효율적 추론(efficient-reasoning) 방법들은 종종 고정 budget이나 정답성과 길이를 섞은 scalar reward를 통해 출력을 줄이는데, 이로 인해 품질-자원 tradeoff를 제어하기가 어렵다. 우리는 적응적 효율 추론을 위한 reference-guarded post-training framework인 Constraint-Rectified Training(CRT)을 제안한다. CRT는 먼저 frozen reference policy에 비해 정확도를 유지하면서 reasoning 길이를 최소화하여, 모델에 대해 가장 짧으면서도 신뢰할 수 있는 reasoning regime를 찾아낸다. 이후 이 발견된 regime를 학습된 token budget으로 간주하고, reasoning trace가 다시 불필요한 장황함으로 확장되지 않도록 하면서 정답성을 정교하게 개선한다. 여러 reasoning benchmark와 foundation model backbone 전반에서 CRT는 길이 인식(length-aware) baseline보다 accuracy-efficiency frontier를 향상시킨다. 추가적인 redundancy 분석은 CRT가 평균 token 수만으로는 포착되지 않는 반복적 reasoning 구조까지 줄인다는 것을 보여준다. 이러한 결과는 제약을 두고 budget을 인식하는 post-training이 자원 효율적인 foundation model 추론을 위한 실용적인 메커니즘임을 시사한다.","link":"https://openreview.net/forum?id=1inovdFo6Z"},{"id":"4eEzQDjorF","en":"Think Deep, Think Fast: Investigating Inference-Time Scaling And The Reasoning Floor","ko":"깊게 생각하고, 빠르게 생각하라: Inference-Time Scaling과 Reasoning Floor의 탐구","authors":"Junlin Wang, Shang Zhu, Jon Saad-Falcon, Ben Athiwaratkun, Qingyang Wu, Jue WANG, Shuaiwen Leon Song, Ce Zhang, Bhuwan Dhingra, James Zou","abs":"<p>There is intense interest in investigating how inference time compute (ITC) (e.g. repeated sampling, refinements, etc) can improve large language model (LLM) capabilities. While breakthroughs like DeepSeek-R1 highlight the power of reinforcement learning for reasoning, the interaction between ITC and reasoning-optimized weights remains poorly understood. This work conducts a comprehensive analysis of inference-time scaling methods for both reasoning and non-reasoning models on challenging reasoning tasks. While prior work suggests that scaling test-time compute can optimally substitute for model parameter scaling, we identify a fundamental limit to this compute-equivalence: the Reasoning Floor. We demonstrate that general-purpose models fail to match the accuracy of reasoning-optimized models even with an order of magnitude more inference compute, suggesting that internalizing reasoning protocols is a prerequisite for effective test-time scaling. Within reasoning models, we find that the complexity of the scaling method often yields diminishing returns; simple majority voting consistently outperforms sophisticated sequential revision and mixture-of-agents frameworks. Crucially, we identify a &quot;Linguistic Signal of Correctness&quot; ---correct responses are significantly more concise and exhibit a lower density of &quot;hedging&quot; and &quot;thinking&quot; markers. We demonstrate that these intrinsic linguistic features can serve as zero-compute proxies for response quality, providing a pathway to more efficient, self-diagnostic reasoning agents.</p>","absKo":"inference time compute(ITC)(예: repeated sampling, refinement 등)가 large language model(LLM) 성능을 어떻게 향상시킬 수 있는지에 대한 관심이 매우 크다. DeepSeek-R1 같은 breakthrough가 reasoning을 위한 reinforcement learning의 힘을 보여 주었지만, ITC와 reasoning-optimized weight 사이의 상호작용은 여전히 충분히 이해되지 않았다. 본 연구는 까다로운 reasoning task에서 reasoning model과 non-reasoning model 모두에 대해 inference-time scaling method를 포괄적으로 분석한다. 기존 연구는 test-time compute를 확장하면 model parameter scaling을 최적으로 대체할 수 있다고 시사하지만, 우리는 이 compute-equivalence의 근본적 한계인 Reasoning Floor를 확인한다. 일반 목적 모델은 inference compute를 자릿수(order of magnitude) 수준으로 더 사용하더라도 reasoning-optimized model의 정확도에 미치지 못하며, 이는 reasoning protocol을 내재화하는 것이 효과적인 test-time scaling의 전제임을 시사한다. reasoning model 내부에서는 scaling method의 복잡성이 종종 수익 체감으로 이어진다는 점을 발견했다. 단순한 majority voting은 정교한 sequential revision 및 mixture-of-agents framework를 일관되게 능가한다. 결정적으로 우리는 \"Linguistic Signal of Correctness\"를 식별했다. 즉, 정답 응답은 훨씬 더 간결하고, \"hedging\" 및 \"thinking\" marker의 밀도가 더 낮다. 우리는 이러한 내재적 언어적 특징이 응답 품질의 zero-compute proxy로 작동할 수 있음을 보이며, 더 효율적이고 자기 진단적인 reasoning agent로 가는 경로를 제시한다.","link":"https://openreview.net/forum?id=4eEzQDjorF"},{"id":"SRQuPOMzkX","en":"StreamAttention: Energy-Efficient and High-Utilization Attention on Systolic Hardware","ko":"StreamAttention: systolic 하드웨어에서의 에너지 효율적이고 활용도 높은 attention","authors":"Olav Førland, H. T. Kung","abs":"<p>Attention computation represents the dominant cost in modern transformers as it grows quadratically with the sequence length. FlashAttention [Dao et al., 2022] cuts the memory cost through tiling and online softmax computation. But the underlying hardware itself remains the bottleneck. Modern accelerators are optimized for matrix multiplication, while the non-linear softmax operation is typically offloaded to much lower-throughput vector units, leading to pipeline stalls. We present StreamAttention, an accelerator co-designed with FlashAttention-2 [Dao, 2023] that sustains continuous streaming of operands on a single systolic array of multiply-accumulate (MAC) units. We map online attention to MAC recurrences that fit the systolic dataflow exactly, and evaluate the softmax exponential as a Chebyshev polynomial with the same MAC units. A four-stage pipeline overlaps every attention phase with no idle cycles between tiles, keeping operands continuously streaming through the array. StreamAttention achieves 95–98% utilization against $\\sim$40% for the closest peer SystolicAttention [Lin et al., 2025]. We demonstrate that the Chebyshev approximation has negligible impact on Llama-3.2-1B (WikiText-103 Perplexity), ViT-Base (ImageNet Top-1), and BERT-Large (SQuAD F1). Furthermore, fusing softmax onto the array eliminates per-tile SRAM round-trips of the score and softmax matrices, cutting per-layer attention energy by up to $\\sim$2.8$\\times$ and average attention power by up to $\\sim$2.9$\\times$ compared to our baseline. This comes at the cost of a $\\sim$34% area overhead and +6% power on pure matrix multiplication over a standard systolic-based matrix unit. We synthesize against the open source SkyWater 130 nm process design kit for area and power, and SRAM energies are from CACTI 7 at 90 nm.</p>","absKo":"Attention computation은 시퀀스 길이에 따라 제곱적으로 증가하므로 현대 transformer에서 지배적인 비용을 차지한다. FlashAttention [Dao et al., 2022]은 tiling과 online softmax computation을 통해 memory cost를 줄였다. 하지만 기반 hardware 자체는 여전히 병목으로 남아 있다. 현대 accelerator는 matrix multiplication에 최적화되어 있는 반면, 비선형 softmax 연산은 일반적으로 훨씬 낮은 throughput의 vector unit으로 오프로딩되며, 그 결과 pipeline stall이 발생한다. 우리는 FlashAttention-2 [Dao, 2023]와 공동 설계된 accelerator인 StreamAttention을 제시한다. 이 시스템은 multiply-accumulate (MAC) unit으로 이루어진 단일 systolic array에서 operand의 연속적인 streaming을 지속적으로 유지한다. 우리는 online attention을 systolic dataflow에 정확히 들어맞는 MAC recurrence로 매핑하고, 동일한 MAC unit으로 softmax exponential을 Chebyshev polynomial로 평가한다. 4-stage pipeline은 모든 attention phase를 tiles 사이의 idle cycle 없이 겹치게 하여, operand가 array를 통해 끊김 없이 계속 흐르도록 유지한다. StreamAttention은 가장 가까운 경쟁 시스템인 SystolicAttention [Lin et al., 2025]의 약 40%에 비해 95–98%의 utilization을 달성한다. 우리는 Chebyshev approximation이 Llama-3.2-1B (WikiText-103 Perplexity), ViT-Base (ImageNet Top-1), BERT-Large (SQuAD F1)에서 사실상 무시할 만한 영향을 준다는 것을 보인다. 더 나아가 softmax를 array에 fusion함으로써 score matrix와 softmax matrix의 tile별 SRAM round-trip을 제거하여, 기준선 대비 layer당 attention energy를 최대 약 2.8배, 평균 attention power를 최대 약 2.9배까지 줄인다. 이 대가는 표준 systolic 기반 matrix unit 대비 약 34%의 area overhead와 pure matrix multiplication에서의 +6% power이다. 우리는 area와 power를 위해 open source SkyWater 130 nm process design kit을 기준으로 합성했으며, SRAM energy는 90 nm의 CACTI 7에서 가져왔다.","link":"https://openreview.net/forum?id=SRQuPOMzkX"},{"id":"0stDFvtMGN","en":"A Recipe for an Elastic Mixture: One Mixture-of-Experts for Every Resource Budget","ko":"탄력적 혼합을 위한 레시피: 모든 자원 예산에 맞는 하나의 Mixture-of-Experts","authors":"Chloe Chia","abs":"<p>We present a single Mixture-of-Experts check-</p><p>point that exposes a continuous memory–quality</p><p>knob at serving time, letting researchers trade</p><p>resident expert memory for quality without retraining or maintaining a family of distilled models. Starting from Qwen3-30B-A3B, we continue-pretraining for a small fraction of the original</p><p>compute budget under a fixed Bernoulli expert</p><p>mask. The resulting model matches a no-mask</p><p>control trained for the same compute at full inference, while degrading far more gracefully at</p><p>mask rates it was never trained on — substan-</p><p>tially lower loss across a wide range of held-out</p><p>masking ratios, where the base model collapses.</p><p>This means a single deployed checkpoint can be</p><p>served at a range of expert-memory footprints,</p><p>shrinking HBM residency on memory-pressured</p><p>nodes, fitting larger batches or longer contexts in</p><p>the freed capacity, and allowing the same weights</p><p>to be co-located with other workloads on a shared</p><p>accelerator. Looking at the router itself, the mechanism is not redundancy. Per-token routing actually becomes more peaky under masking; what</p><p>changes is that different tokens prefer different</p><p>fallbacks, so the batch-level load flattens, yielding</p><p>a meaningful reduction in max-expert load and a</p><p>corresponding theoretical throughput gain on top</p><p>of the memory savings.</p>","absKo":"우리는 서빙 시점에 continuous memory-품질 조절 노브를 노출하는 단일 Mixture-of-Experts checkpoint를 제시한다. 이를 통해 연구자는 distilled model의 패밀리를 재학습하거나 유지보수하지 않고도 resident expert memory를 품질과 맞바꿀 수 있다. Qwen3-30B-A3B를 출발점으로 삼아, 고정된 Bernoulli expert mask 하에서 원래 compute budget의 작은 비율만으로 continue-pretraining을 수행한다. 그 결과 모델은 full inference에서 동일한 compute로 학습한 no-mask control과 맞먹는 성능을 보이면서, 전혀 학습되지 않은 mask rate에서는 훨씬 더 완만하게 성능이 저하된다. 즉, base model이 붕괴하는 넓은 held-out masking ratio 범위에서 상당히 더 낮은 loss를 보인다. 이는 하나의 배포된 checkpoint를 다양한 expert-memory footprint로 서빙할 수 있음을 의미하며, 메모리 압박이 큰 노드에서 HBM residency를 줄이고, 확보된 용량에 더 큰 batch나 더 긴 context를 담거나, 같은 weight를 공유 accelerator 위의 다른 workload와 공존시킬 수 있게 한다. router 자체를 살펴보면 메커니즘은 redundancy가 아니다. token별 routing은 masking 아래에서 오히려 더 peaky해지며, 달라지는 것은 서로 다른 token이 서로 다른 fallback을 선호한다는 점이다. 그 결과 batch 수준의 load가 평탄해져 max-expert load가 의미 있게 감소하고, 메모리 절감에 더해 그에 상응하는 이론적 throughput 향상을 얻는다.","link":"https://openreview.net/forum?id=0stDFvtMGN"},{"id":"TuHltnpNUo","en":"MatMLA: Matryoshka Multi-Head Latent Attention","ko":"MatMLA: Matryoshka 멀티헤드 잠재 어텐션","authors":"Kevin Li, Berlin Chen, Caitlin Wang, Aakash Lahoti, Albert Gu, Tri Dao","abs":"<p>Language models are increasingly deployed under diverse inference constraints, from low-latency interactive serving to higher-quality generation with larger compute budgets. Matryoshka-style Transformers address this setting by exposing multiple compute-quality operating points within a single set of weights, avoiding the need to train, store, and serve separate models for each budget.</p><p>In parallel, multi-head latent attention (MLA) improves autoregressive decoding by replacing full per-head Key-Value (KV) caches with a compact latent cache. These ideas target complementary aspects of inference efficiency: Matryoshka controls the compute budget, while MLA controls the cache footprint. We introduce Matryoshka Multi-Head Latent Attention (MatMLA), a Matryoshka-style extension of MLA that exposes multiple attention-head budgets within a single latent-attention module. MatMLA inherits the compact KV cache of MLA while adding the nested sub-model structure of Matryoshka-style attention. This also resolves a key limitation of nested Multi-Head Attention (MHA): varying the active head count during inference requires irregular KV-cache layouts or full caches with inactive heads, whereas MatMLA&#x27;s fixed-size latent cache gives all sub-models a shared memory format. We show that a 210M-parameter MatMLA model trained on 4.2B FineWeb-Edu tokens with nested head budgets of 12, 8, and 4 heads achieves perplexities close to the corresponding fixed-head</p><p>MLA baselines, while preserving MLA&#x27;s compact KV cache and enabling a shared nested parameterization across compute budgets.</p>","absKo":"언어 모델은 낮은 latency의 interactive serving부터 더 큰 compute budget을 사용하는 고품질 생성까지, 점점 더 다양한 inference constraint 하에 배포되고 있다. Matryoshka-style Transformer는 하나의 가중치 집합에서 여러 개의 compute-quality operating point를 노출함으로써 이러한 설정에 대응하며, 각 budget마다 별도의 모델을 학습·저장·서빙할 필요를 없앤다.\n병행하여, multi-head latent attention(MLA)은 각 head의 full Key-Value(KV) cache를 compact latent cache로 대체하여 autoregressive decoding을 개선한다. 이 아이디어들은 inference efficiency의 상보적인 측면을 겨냥한다. Matryoshka는 compute budget을 제어하고, MLA는 cache footprint를 제어한다. 우리는 Matryoshka Multi-Head Latent Attention(MatMLA)을 소개한다. 이는 하나의 latent-attention module 안에서 여러 attention-head budget을 노출하는 Matryoshka-style extension of MLA이다. MatMLA는 MLA의 compact KV cache를 계승하면서 Matryoshka-style attention의 nested sub-model 구조를 추가한다. 이는 nested Multi-Head Attention(MHA)의 핵심 한계도 해결한다. 추론 중 active head 수를 바꾸려면 불규칙한 KV-cache layout이나 inactive head를 포함한 full cache가 필요하지만, MatMLA의 fixed-size latent cache는 모든 sub-model에 공유되는 memory format을 제공한다. 우리는 FineWeb-Edu token 42억 개로 학습한 2.1억 파라미터 MatMLA 모델이 nested head budget 12, 8, 4를 사용할 때, 해당 fixed-head MLA baseline에 가까운 perplexity를 달성하면서도 MLA의 compact KV cache를 유지하고 compute budget 전반에 걸쳐 공유되는 nested parameterization을 가능하게 함을 보인다.","link":"https://openreview.net/forum?id=TuHltnpNUo"},{"id":"9Ljgbk6H3O","en":"Zero-Shot Quantization for Vision-Language-Action Models via Trajectory Curvature and Attention Guidance","ko":"궤적 곡률과 Attention 가이드를 통한 Vision-Language-Action Model의 제로샷 양자화","authors":"Sung-hwan Han, Youngmin Yi","abs":"<p>Recently, Vision-Language-Action (VLA) models have advanced Embodied AI by integrating LLMs&#x27; reasoning into robotic control.</p><p>While state-of-the-art VLAs combine Large Vision-Language Models (LVLMs) with Diffusion Transformers (DiTs), their substantial memory and computational overhead limit deployment on edge devices.</p><p>Moreover, existing optimization techniques often require training data, which is frequently inaccessible due to privacy concerns.</p><p>We introduce—to the best of our knowledge—the first Zero-Shot Quantization (ZSQ) framework for VLA models.</p><p>By exploiting Flow Matching characteristics, we employ trajectory curvature and an attention-guided masking strategy to generate synthetic calibration data without any access to the original datasets.</p><p>Our method reduces the memory footprint of the quantized components in $\\pi_{0.5}$ and NVIDIA GR00T N1.5 by 70\\% and 55\\%, respectively, under the W4A8 setting, while retaining success rates comparable to data-dependent quantization methods.</p>","absKo":"최근 Vision-Language-Action (VLA) model은 LLM의 reasoning을 robotic control에 통합함으로써 Embodied AI를 발전시켜 왔다. \n최신 VLAs는 Large Vision-Language Model (LVLM)과 Diffusion Transformer (DiT)를 결합하지만, 상당한 memory와 computation overhead로 인해 edge device 배포가 제한된다. \n또한 기존 최적화 기법은 대개 training data를 필요로 하는데, 이는 privacy 문제 때문에 접근이 어려운 경우가 많다. \n우리는 우리가 아는 한 VLA model을 위한 최초의 Zero-Shot Quantization (ZSQ) framework를 제안한다.\nFlow Matching의 특성을 활용하여 trajectory curvature와 attention-guided masking strategy를 사용함으로써, 원본 dataset에 접근하지 않고도 synthetic calibration data를 생성한다.\n우리 방법은 W4A8 setting에서 $\\pi_{0.5}$와 NVIDIA GR00T N1.5의 quantized component memory footprint를 각각 70\\%와 55\\% 줄이면서, data-dependent quantization method와 동등한 성공률을 유지한다.","link":"https://openreview.net/forum?id=9Ljgbk6H3O"},{"id":"PXJSgLXgEr","en":"MAGE: All-[MASK] Block Already Knows Where to Look in Block Diffusion LLM","ko":"MAGE: Block diffusion LLM에서 모든 [MASK] block은 이미 어디를 볼지 안다","authors":"Omin Kwon, Yeonjae Kim, Doyeon Kim, Minseo Kim, Yeonhong Park, Jae W. Lee","abs":"<p>Block diffusion LLMs are an emerging paradigm</p><p>for parallel language generation, but their KV</p><p>caching makes memory access the dominant</p><p>bottleneck in long-context inference, motivating</p><p>sparse attention that attends only to a small KV</p><p>subset per query. In block diffusion, however,</p><p>the B tokens of each block must share a single KV subset, and we show this per-block constraint degrades existing sparse KV estimators by up to 25% in recall. We address this by exploiting a property of the block-diffusion training objective: it aligns the block-average query across denoising steps, so the All-[MASK] block at the first step already reveals the per-block KV subset for the entire trajectory. Building on this, MAGE ([MASK]-Guided Sparse Attention) is a training-free method that runs one exact attention pass at the first step and reuses its top-k index sets for all remaining steps within the block. Across three block-diffusion families on LongBench, MAGE matches Exact Attention at k=512 with near-lossless accuracy, achieves up to 6.82× end-to-end speedup at 128K context, and runs up to 3.35× and 2.28× faster than Quest and SparseD, respectively.</p>","absKo":"Block diffusion LLM은 parallel language generation을 위한 새로운 paradigm이지만, KV caching 때문에 memory access가 long-context inference의 지배적 병목이 되어, query마다 작은 KV subset만 주목하는 sparse attention을 필요로 한다. 그러나 block diffusion에서는 각 block의 B token이 하나의 KV subset을 공유해야 하며, 우리는 이 block별 제약이 기존 sparse KV estimator의 recall을 최대 25%까지 저하시킴을 보인다. 우리는 block-diffusion training objective의 한 가지 특성을 활용해 이 문제를 해결한다. 즉, 이 objective는 denoising step 전반에 걸쳐 block-average query를 정렬하므로, 첫 step의 All-[MASK] block만으로 전체 trajectory에 대한 per-block KV subset을 이미 드러낸다. 이를 바탕으로 MAGE([MASK]-Guided Sparse Attention)는 training-free method로서 첫 step에서 한 번의 exact attention pass를 수행하고, 그 top-k index set을 block 내 남은 모든 step에 재사용한다. LongBench에서 세 가지 block-diffusion family에 걸친 실험에서 MAGE는 k=512에서 Exact Attention과 동일한 결과를 내면서 거의 손실 없는 정확도를 달성하고, 128K context에서 end-to-end 속도를 최대 6.82×까지 높이며, Quest 및 SparseD보다 각각 최대 3.35×, 2.28× 빠르게 동작한다.","link":"https://openreview.net/forum?id=PXJSgLXgEr"},{"id":"9VqvhSZwN6","en":"Staircase Streaming for Low-Latency Multi-Agent Inference","ko":"저지연 멀티에이전트 추론을 위한 계단식 스트리밍","authors":"Junlin Wang, Jue WANG, Zhen Xu, Ben Athiwaratkun, Bhuwan Dhingra, Ce Zhang, James Zou","abs":"<p>Recent advances in large language models (LLMs) opened up new directions for leveraging the collective expertise of multiple LLMs.</p><p>These methods, such as Mixture-of-Agents, typically employ additional inference steps to generate intermediate outputs, which are then used to produce the final response. While multi-agent inference can enhance response quality, it can significantly increase the time to first token (TTFT), posing a challenge for latency-sensitive applications and hurting user experience. To address this issue, we propose staircase streaming for low-latency multi-agent inference. Instead of waiting for the complete intermediate outputs from previous steps, we begin generating the final response as soon as we receive partial outputs from these steps. Experimental results demonstrate that staircase streaming reduces TTFT by up to 93% while maintaining response quality.</p>","absKo":"최근 large language model (LLM)의 발전은 여러 LLM의 집단적 전문성을 활용하는 새로운 방향을 열었다. \nMixture-of-Agents와 같은 이러한 방법은 일반적으로 중간 output을 생성하기 위한 추가 inference step을 사용하고, 그 output을 바탕으로 최종 response를 만든다. multi-agent inference는 response quality를 높일 수 있지만, time to first token (TTFT)을 크게 늘려 latency에 민감한 application에 부담을 주고 user experience를 해칠 수 있다. 이 문제를 해결하기 위해, 우리는 저지연 multi-agent inference를 위한 staircase streaming을 제안한다. 이전 단계의 complete intermediate output을 기다리는 대신, 우리는 이들 단계에서 partial output을 받는 즉시 최종 response 생성을 시작한다. 실험 결과는 staircase streaming이 response quality를 유지하면서 TTFT를 최대 93%까지 줄임을 보여준다.","link":"https://openreview.net/forum?id=9VqvhSZwN6"},{"id":"UmTQ21h8HC","en":"MineDraft: A Framework for Batch Parallel Speculative Decoding","ko":"MineDraft: batch parallel speculative decoding 프레임워크","authors":"Zhenwei Tang, Arun Verma, Zijian Zhou, Zhaoxuan Wu, Alok Prakash, Daniela Rus, Bryan Kian Hsiang Low","abs":"<p>Speculative decoding (SD) accelerates large language model inference by using a smaller draft model to propose draft tokens that are subsequently verified by a larger target model. However, the performance of standard SD is often limited by the strictly sequential execution of these drafting and verification stages. To address this, this paper proposes MineDraft, a batch parallel speculative decoding (PSD) framework designed to effectively hide drafting latency by overlapping it with verification. Our theoretical analysis shows that PSD is substantially more efficient than standard SD. MineDraft realizes the PSD through a novel batch-parallel design that maintains two batches of requests, overlapping drafting for one batch with verification for the other. Our experimental results show significant improvements of MineDraft in both throughput (up to 75%) and end-to-end latency (up to 39%) over standard SD. Furthermore, we have implemented MineDraft as a plugin for vLLM, demonstrating its practicality for production-ready inference systems. The code is publicly available in the [MineDraft GitHub repository](https://github.com/electron-shaders/MineDraft).</p>","absKo":"Speculative decoding (SD)은 더 작은 draft model이 draft token을 제안하고, 이후 더 큰 target model이 이를 검증하는 방식으로 large language model inference를 가속한다. 그러나 standard SD의 성능은 이러한 drafting과 verification 단계가 엄격하게 순차적으로 실행된다는 점에서 종종 제한된다. 이를 해결하기 위해, 이 논문은 verification과 drafting을 겹쳐 drafting latency를 효과적으로 숨기도록 설계된 batch parallel speculative decoding (PSD) 프레임워크인 MineDraft를 제안한다. 우리의 이론적 분석은 PSD가 standard SD보다 상당히 효율적임을 보여준다. MineDraft는 두 개의 request batch를 유지하는 새로운 batch-parallel 설계를 통해 PSD를 구현하며, 하나의 batch에 대한 drafting을 다른 batch의 verification과 겹친다. 실험 결과 MineDraft는 standard SD 대비 throughput(최대 75%)과 end-to-end latency(최대 39%) 모두에서 유의미한 향상을 보인다. 또한 우리는 MineDraft를 vLLM의 plugin으로 구현하여 production-ready inference system에서의 실용성을 입증했다. 코드는 [MineDraft GitHub repository](https://github.com/electron-shaders/MineDraft)에서 공개되어 있다.","link":"https://openreview.net/forum?id=UmTQ21h8HC"},{"id":"yv7Ie3UzlA","en":"Fully Nested Transformers","ko":"완전 중첩 Transformer","authors":"Avi Trost, Alexander Yun, John Cooper, Gabriel Orlanski, Frederic Sala","abs":"<p>Matryoshka Representation Learning produces representations that can be truncated at different granularities to adapt to diverse downstream requirements, but computing them still requires a full forward pass through the model. Elastic architectures enable adaptive inference budgets, but their smaller models do not generally produce representations that are prefixes of those produced by the larger models. To unify these two forms of adaptivity within a single language model, we design StairFormer: a Transformer architecture that nests a hierarchy of prefix submodels by preserving prefix structure at each layer. Running a larger model produces, as prefixes, the same representations that would have been produced by independently running each smaller model. Prefix representations are efficiently computed using the computational paths of smaller submodels, which can then be progressively refined by activating larger portions of the model. This full nesting enables cascading inference and reuse of intermediate computations across model scales because submodels share the same forward pass. Empirically, we show that StairFormer maintains competitive language modeling performance at 1.13B parameters, achieving a CORE metric within an 11.1\\% relative gap of a standard Transformer baseline while satisfying these full nesting constraints.</p>","absKo":"Matryoshka Representation Learning은 다양한 하위 작업 요구에 맞게 서로 다른 granularity로 잘라 사용할 수 있는 representations를 생성하지만, 이를 계산하려면 여전히 모델 전체에 대한 full forward pass가 필요합니다. Elastic architectures는 adaptive inference budgets를 가능하게 하지만, 더 작은 모델이 일반적으로 더 큰 모델이 생성한 representations의 prefix를 이루지는 않습니다. 이러한 두 형태의 adaptivity를 하나의 language model 안에서 통합하기 위해, 우리는 StairFormer를 설계합니다. StairFormer는 각 layer에서 prefix structure를 보존함으로써 prefix submodel의 hierarchy를 중첩하는 Transformer architecture입니다. 더 큰 모델을 실행하면, prefix로서 각각의 더 작은 모델을 독립적으로 실행했을 때 생성되었을 것과 동일한 representations가 산출됩니다. Prefix representations는 더 작은 submodel의 computational paths를 사용해 효율적으로 계산되며, 이후 모델의 더 큰 부분을 활성화함으로써 점진적으로 refinement할 수 있습니다. 이러한 full nesting은 submodel들이 동일한 forward pass를 공유하므로 cascading inference와 모델 scale 전반에 걸친 intermediate computation 재사용을 가능하게 합니다. 실험적으로, 우리는 StairFormer가 1.13B parameters에서 경쟁력 있는 language modeling 성능을 유지하며, 이러한 full nesting constraints를 만족하면서 standard Transformer baseline 대비 11.1\\%의 상대적 격차 내 CORE metric을 달성함을 보입니다.","link":"https://openreview.net/forum?id=yv7Ie3UzlA"},{"id":"U37zxXMEE0","en":"Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs","ko":"Ghosted Layers: 제약 없는 활성화 정렬을 통한 layer-pruned LLM 복원","authors":"Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee","abs":"<p>Layer pruning removes entire Transformer decoder blocks from large language models, but introduces a mismatch between the hidden state received by the next surviving layer and the distribution it was trained to process, leading to significant performance degradation. We propose Ghosted Layers, a training-free recovery module that addresses this issue by solving a boundary activation alignment problem. Our method derives a closed-form optimal linear operator from a small calibration set to reconstruct the activation discrepancy introduced by the pruned layers. We show that this solution corresponds to the unconstrained optimum of the alignment objective, whereas existing methods are restricted to constrained solutions over limited operator subspaces. Experiments across multiple LLM backbones and pruning strategies demonstrate that our method consistently improves accuracy and perplexity over prior training-free baselines, while preserving the efficiency gains of layer pruning.</p>","absKo":"Layer pruning은 대규모 language model에서 Transformer decoder block 전체를 제거하지만, 다음에 살아남는 layer가 받는 hidden state와 그 layer가 학습될 때 처리하도록 훈련된 분포 사이에 mismatch를 유발하여 성능을 크게 저하시킨다. 우리는 이 문제를 boundary activation alignment 문제로 풀어내는 training-free recovery module인 Ghosted Layers를 제안한다. 우리의 방법은 소규모 calibration set에서 닫힌형(closed-form)의 최적 linear operator를 도출하여 pruning된 layer가 도입한 activation discrepancy를 복원한다. 우리는 이 해가 alignment objective의 unconstrained optimum에 해당함을 보이는 반면, 기존 방법들은 제한된 operator subspace 위의 constrained solution에 국한됨을 보인다. 여러 LLM backbone과 pruning strategy 전반의 실험에서, 우리의 방법은 layer pruning의 효율성 이점을 유지하면서도 기존 training-free baseline보다 accuracy와 perplexity를 일관되게 향상시킨다.","link":"https://openreview.net/forum?id=U37zxXMEE0"},{"id":"sRdWDNWenw","en":"Weight Concentration Regularization for Improving Pruning Robustness Under High Sparsity","ko":"높은 희소성에서 가지치기 강건성을 높이기 위한 가중치 집중 정규화","authors":"Vincent-Daniel Yun, Junhyuk Jo, Sunwoo Lee","abs":"<p>Deep neural networks achieve outstanding performance across vision and language tasks, yet their large parameter counts limit deployment in resource-constrained settings. One-shot pruning reduces model size without retraining, but models trained with standard objectives often suffer substantial accuracy drops under aggressive sparsity. Prior work mitigates this drop along two directions: regularizers such as $\\ell_1$ and DeepHoyer that shape the weight distribution during training, and pruning-robust optimizers such as SAM, CrAM, and S$^2$SAM that flatten the loss landscape. Existing regularizers, however, either shrink all weights uniformly ($\\ell_1$) or induce scale-invariant sparsity (DeepHoyer), without concentrating weight energy onto a small set of informative parameters. We propose a Weight Concentration Regularizer (WCR), a training-time regularizer that amplifies the magnitude of a small subset of parameters while driving the remainder toward zero, so that magnitude pruning predominantly removes parameters with negligible functional contribution. We provide a convergence analysis and evaluate WCR on LLM fine-tuning, image classification, and medical segmentation, demonstrating consistent improvements in pruning robustness across architectures and compatibility with existing pruning-robust optimizers.</p>","absKo":"Deep neural networks는 vision과 language 작업 전반에서 뛰어난 성능을 보이지만, 파라미터 수가 매우 커서 자원 제약이 있는 환경에 배포하기 어렵다. One-shot pruning은 재학습 없이 모델 크기를 줄이지만, standard objective로 학습된 모델은 공격적인 sparsity 하에서 정확도가 크게 떨어지는 경우가 많다. 기존 연구는 이러한 감소를 두 가지 방향에서 완화해 왔다. 하나는 학습 중 weight distribution을 조정하는 $\\ell_1$ 및 DeepHoyer 같은 regularizer이고, 다른 하나는 loss landscape를 평탄하게 만드는 SAM, CrAM, S$^2$SAM 같은 pruning-robust optimizer이다. 그러나 기존 regularizer는 모든 weight를 균일하게 줄이거나($\\ell_1$), scale-invariant sparsity(DeepHoyer)를 유도할 뿐, weight energy를 정보가 많은 소수의 parameter에 집중시키지는 못한다. 우리는 Weight Concentration Regularizer(WCR)를 제안한다. WCR은 training-time regularizer로서 소수의 parameter의 크기를 증폭하는 동시에 나머지를 0에 가깝게 몰아, magnitude pruning이 기능적 기여가 미미한 parameter를 주로 제거하도록 한다. 우리는 convergence analysis를 제시하고, WCR을 LLM fine-tuning, image classification, medical segmentation에 대해 평가하여, architecture 전반에서 pruning robustness가 일관되게 향상되며 기존 pruning-robust optimizer와도 호환됨을 보인다.","link":"https://openreview.net/forum?id=sRdWDNWenw"},{"id":"BqKhzrtkGe","en":"Alignment Collapse Under KV Cache Quantization: A 35-Minute Audit for Quantized LLM Deployments","ko":"KV Cache 양자화 하의 정렬 붕괴: Quantized LLM 배포를 위한 35분 감사","authors":"Bruce Changlong Xu, Adarsh Kumarappan, Mu Zhou","abs":"<p>Key--value (KV) cache quantization is now a production default in LLM serving (vLLM, TensorRT-LLM, SGLang), yet standard quality metrics (perplexity, task accuracy, latency) have a blind spot: they cannot detect whether the model still refuses harmful requests after compression. We close that gap. Measuring eleven instruction-tuned models (3.8B-72B) on 1,894 prompts, we find that low-bit KV quantization can silently dismantle safety alignment. Mistral-7B sheds 15.2\\% of its refusals at a perplexity ratio of $1.03\\times$; collapse onsets span four bits across families; and no universal safe bit-width exists. The same vulnerability shows up under vLLM with FP8 KV cache: the standard fp8_e5m2 format causes a 30.3\\% conditional flip on Qwen-2.5-7B, roughly $150\\times$ worse than simulated uniform 8-bit. We propose **Per-Channel Reduction** (PCR), a 20-prompt diagnostic that places each model into one of three failure modes (*outlier-crushes-safety*, *outlier-as-safety*, or *multi-layer dilution*) and prescribes a corresponding mitigation. PCR&#x27;s directional predictions hold across six independent axes (held-out models, the KIVI quantizer, scheme transfer, layer-selection baselines, fresh prompts, system-prompt interventions), and the full audit fits inside a $\\sim$35\\,GPU-minute training-free protocol that</p><p>recovers up to 97\\% of lost alignment at 0-7\\% memory overhead, enabling model-adaptive KV cache compression that replaces</p><p>one-size-fits-all bit-width selection with geometry-informed</p><p>per-layer precision.</p>","absKo":"Key--value (KV) cache quantization은 이제 LLM serving(vLLM, TensorRT-LLM, SGLang)에서 production default가 되었지만, 표준 품질 지표(perplexity, task accuracy, latency)는 압축 후에도 모델이 harmful request를 계속 거부하는지를 감지하지 못한다는 맹점이 있다. 우리는 그 간극을 메운다. 1,894개의 prompt에서 3.8B-72B 규모의 11개 instruction-tuned model을 측정한 결과, low-bit KV quantization이 safety alignment를 조용히 무너뜨릴 수 있음을 발견했다. Mistral-7B는 perplexity ratio가 $1.03\\times$일 때 거부 응답이 15.2\\% 감소했고, collapse onset은 family 전반에 걸쳐 4비트에 걸쳐 나타났으며, 보편적으로 안전한 bit-width는 존재하지 않았다. 같은 취약성은 vLLM의 FP8 KV cache에서도 나타났는데, 표준 fp8_e5m2 format은 Qwen-2.5-7B에서 30.3\\%의 conditional flip을 유발해, simulated uniform 8-bit 대비 약 $150\\times$ 더 나빴다. 우리는 각 모델을 세 가지 failure mode 중 하나(*outlier-crushes-safety*, *outlier-as-safety*, 또는 *multi-layer dilution*)로 분류하고 그에 대응하는 완화책을 제시하는 20-prompt 진단법 **Per-Channel Reduction**(PCR)을 제안한다. PCR의 방향성 예측은 여섯 개의 독립 축(보류된 모델, KIVI quantizer, scheme transfer, layer-selection baseline, 새로운 prompt, system-prompt 개입) 전반에서 유지되며, 전체 audit은 약 $\\sim$35\\,GPU-minute의 training-free 프로토콜 안에 들어가고, 0-7\\% memory overhead로 손실된 alignment의 최대 97\\%를 회복한다. 이를 통해 one-size-fits-all bit-width 선택을 geometry-informed per-layer precision으로 대체하는 model-adaptive KV cache compression이 가능해진다.","link":"https://openreview.net/forum?id=BqKhzrtkGe"},{"id":"ofq7HnlZjs","en":"Training Continuous Chain of Thought Models: A Tale of Two Regimes","ko":"연속적 chain of thought model 훈련: 두 체제의 이야기","authors":"Varun Yerram, He He, Eunsol Choi","abs":"<p>Continuous Chain-of-Thought methods replace verbose reasoning traces with a short sequence of dense latent representations. Earlier continuous CoT methods indirectly supervise the latent representations such that its final state match that of verbose reasoning traces, requiring autoregressive, slow generation during training. We introduce C-MTP, a simpler, faster direct supervision approach that models each latent as an average of the embeddings in the CoT traces to be compressed. Our approach outperforms a prior direct supervision method that approximates the distribution of compressed tokens, and performs competitively to slower indirect supervision approaches in existing evaluation setup with simplified CoT traces (less than 100 tokens). Lastly, we extend the evaluation of Continuous CoT methods to complex tasks with longer reasoning traces ($\\ge$ few hundreds reasoning tokens). We find both direct and indirect supervision training methods perform poorly (roughly 65\\% performance drop) in this setting, revealing the limitations of current continuous CoT methods.</p>","absKo":"Continuous Chain-of-Thought 방법은 장황한 reasoning trace를 짧은 dense latent representation의 sequence로 대체한다. 이전의 continuous CoT 방법은 latent representation의 최종 상태가 장황한 reasoning trace와 일치하도록 간접적으로 supervision했으며, 이로 인해 training 동안 autoregressive한 느린 generation이 필요했다. 우리는 압축될 CoT trace의 embedding을 평균한 값으로 각 latent를 모델링하는, 더 단순하고 더 빠른 직접 supervision 접근법인 C-MTP를 소개한다. 우리의 접근법은 압축된 token의 distribution을 근사하는 기존의 직접 supervision method보다 우수한 성능을 보이며, 단순화된 CoT trace(100 tokens 미만)를 사용하는 기존 평가 설정에서는 더 느린 간접 supervision approach와도 경쟁력 있는 성능을 보인다. 마지막으로, 우리는 더 긴 reasoning trace(수백 개 이상의 reasoning token)를 갖는 복잡한 task로 Continuous CoT method의 평가를 확장한다. 이 설정에서 직접 supervision과 간접 supervision training method 모두 성능이 좋지 않았고(대략 65\\% 성능 하락), 이는 현재 continuous CoT method의 한계를 드러낸다.","link":"https://openreview.net/forum?id=ofq7HnlZjs"},{"id":"YDiYDq5u2Y","en":"Block-Based Double Decoders","ko":"블록 기반 이중 디코더","authors":"Asher Labovich, Vanessa Alexander, Chaitanya Harsha, Benjamin Bradley","abs":"<p>Encoder-decoder models offer substantial inference-time savings over decoder-only models, but their pretraining objectives suffer from sparse supervision and dynamic sequence lengths, keeping them out of practice at scale. We propose block-based double decoders, a novel transformer architecture that utilizes doubly-causal block-based attention masks to train with full loss supervision and static sequence packing, combining decoder-only training efficiency with encoder-decoder inference efficiency. In scaling law experiments, block-based double decoders strongly outperform encoder-decoders and closely track decoder-only models across scales. At inference time, they cut KV-cache memory and per-token compute by at least 2/3 without sacrificing prefill caching or other existing inference optimizations available to decoder-only models.</p>","absKo":"Encoder-decoder model은 decoder-only model에 비해 추론 시 상당한 비용 절감을 제공하지만, pretraining objective가 sparse supervision과 동적인 sequence length에 의존하기 때문에 대규모 실용화가 어려웠다. 우리는 block-based double decoder를 제안한다. 이는 doubly-causal block-based attention mask를 활용하는 새로운 transformer architecture로, full loss supervision과 static sequence packing 하에서 학습되며, decoder-only training 효율성과 encoder-decoder 추론 효율성을 결합한다. scaling law 실험에서 block-based double decoder는 encoder-decoder를 크게 능가하며, scale 전반에 걸쳐 decoder-only model과 매우 유사하게 추세를 따른다. 추론 시에는 prefill caching 및 decoder-only model에서 이용 가능한 다른 기존 추론 최적화를 희생하지 않으면서, KV-cache memory와 token당 compute를 최소 2/3 줄인다.","link":"https://openreview.net/forum?id=YDiYDq5u2Y"},{"id":"VKD70LJaDy","en":"PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding","ko":"PRESTO: Diffusion speculative decoding을 위한 prefix-aligned tree drafting","authors":"Zheng Wang, Zhifan Ye, Qi Cheng, Yonggan Fu, Ziyan Wang, Feng Zhu, Haozhe Zhao, Humphrey Shi, Pavlo Molchanov, Minjia Zhang","abs":"<p>Diffusion Large Language Models (dLLMs) have emerged as a promising alternative to autoregressive (AR) LLMs, generating tokens in parallel. This makes them effective draft models for speculative decoding (SD), producing an entire block of draft tokens in a single forward pass. Yet existing diffusion-based drafting methods rely on linear drafting, even though dLLMs emit multiple candidate tokens across positions, inducing a large combinatorial space of decoding paths. Consequently, they limit acceptance length and decoding efficiency. To exploit this multi-candidate structure, we apply tree-based drafting to diffusion drafters, enabling exploration of diverse candidate paths. However, we find that naive tree drafting is suboptimal: diffusion marginals are prefix-blind, mismatching the prefix-based AR verification and yielding unreliable path ranking. We propose PRESTO, a principled framework that extends tree-based drafting to diffusion drafters while resolving the fundamental mismatch between diffusion draft confidence and prefix-based AR verification through PREfix-aligned Scoring and priority-based Tree search for diffusion speculative decOding. The key principles behind PRESTO are that (1) candidate ranking should align with the prefix-based nature of AR verification, and (2) tree construction should prioritize candidate paths with high verification potential to maximize acceptance length. Extensive experiments show that PRESTO achieves up to an average of 1.5 $\\times$ end-to-end throughput speedup on the state-of-the-art dedicated diffusion drafter SD and an average of 1.12 $\\times$ on self-speculative diffusion LLMs across diverse benchmarks.</p>","absKo":"Diffusion Large Language Model(dLLM)은 token을 병렬로 생성함으로써 autoregressive(AR) LLM의 유망한 대안으로 부상했다. 이는 speculative decoding(SD)에서 효과적인 draft model이 되게 하며, 단일 forward pass로 전체 draft token block을 생성할 수 있게 한다. 그러나 기존의 diffusion 기반 drafting 방법은 선형 drafting에 의존하는데, dLLM은 여러 위치에서 다수의 candidate token을 내놓아 decoding path의 거대한 조합 공간을 유도한다. 그 결과 acceptance length와 decoding efficiency가 제한된다. 이 multi-candidate 구조를 활용하기 위해 우리는 tree-based drafting을 diffusion drafter에 적용하여 다양한 candidate path를 탐색할 수 있게 한다. 하지만 단순한 tree drafting은 최적이 아님을 발견했다. diffusion marginal은 prefix-blind이기 때문에 prefix 기반 AR verification과 맞지 않으며, path ranking이 신뢰할 수 없게 된다. 우리는 PRESTO를 제안한다. 이는 PREfix-aligned Scoring과 priority-based Tree search for diffusion speculative decOding을 통해 diffusion drafter로 tree-based drafting을 확장하면서, diffusion draft confidence와 prefix-based AR verification 사이의 근본적 불일치를 해소하는 원칙적 framework이다. PRESTO의 핵심 원리는 (1) candidate ranking이 AR verification의 prefix 기반 특성과 정렬되어야 하고, (2) tree construction은 acceptance length를 극대화하기 위해 verification potential이 높은 candidate path를 우선해야 한다는 점이다. 광범위한 실험은 PRESTO가 state-of-the-art 전용 diffusion drafter SD에서 평균 1.5× end-to-end throughput speedup, self-speculative diffusion LLM에서는 평균 1.12×를 달성함을 보여준다.","link":"https://openreview.net/forum?id=VKD70LJaDy"},{"id":"LsrmZrp7tW","en":"Cache You Later: Post-Compression KV Repair for Long-Context Agentic LLM Inference","ko":"Cache You Later: 긴 컨텍스트 agentic LLM 추론을 위한 압축 후 KV 복구","authors":"Andrew Rusli, Shreyan Paliwal, Michael Jiao","abs":"<p>As large language models (LLMs) support longer contexts and more capable agentic sessions, what matters in the accumulated context can change with each new query, tool output, or test result. At the same time, inference still depends on a limited active key-value (KV) cache, and many existing KV-cache compression methods decide which past tokens stay active from the current prefix. As a result, tokens that matter in later turns may already have been evicted or compressed away in earlier compression decisions. We argue the KV cache should be multi-tiered and governed by a two-way mechanism: both eviction and repair, not just eviction. We propose RepairKV, a runtime operator for multi-turn agentic inference that reevaluates which evicted KV rows are currently important and restores a budgeted subset from host memory back into the GPU KV cache. Controlled experiments show that RepairKV&#x27;s restoration of evicted tokens improves retrieval accuracy, with the effect persisting across relevance changes and different initial eviction policies, and a preliminary diagnostic on open-source repositories shows the same pattern; on Qwen2.5-7B-Instruct at 32K context, RepairKV achieves 91.0% retrieval on a four-query needle-in-a-haystack task versus 24.5% for the matched no-repair baseline at the same active-cache budget, with only 96 promoted tokens.</p>","absKo":"대규모 language model (LLM)이 더 긴 context와 더 유능한 agentic session을 지원할수록, 누적된 context에서 무엇이 중요한지는 새로운 query, tool output, 또는 test result가 나올 때마다 달라질 수 있다. 동시에 inference는 여전히 제한된 active key-value (KV) cache에 의존하며, 기존의 많은 KV-cache compression 방법은 현재 prefix를 바탕으로 과거 token 중 무엇을 active 상태로 둘지 결정한다. 그 결과, 이후 turn에서 중요해지는 token은 더 이른 compression decision에서 이미 evict되거나 압축되어 사라졌을 수 있다. 우리는 KV cache가 단일 축이 아니라 두 가지 방식, 즉 eviction뿐 아니라 repair까지 포함하는 two-way mechanism으로 관리되어야 한다고 주장한다. 우리는 multi-turn agentic inference를 위한 runtime operator인 RepairKV를 제안하며, 이는 어떤 evicted KV row가 현재 중요한지 재평가하고, budgeted subset을 host memory에서 GPU KV cache로 복원한다. 통제된 실험은 RepairKV의 evicted token 복원이 retrieval accuracy를 향상시키며, 그 효과가 relevance 변화와 서로 다른 초기 eviction policy 전반에 걸쳐 지속됨을 보여 주고, open-source repository에 대한 예비 진단도 같은 패턴을 보인다. Qwen2.5-7B-Instruct에서 32K context일 때, RepairKV는 active-cache budget이 동일한 matched no-repair baseline의 24.5%에 비해 four-query needle-in-a-haystack task에서 91.0% retrieval을 달성했으며, promoted token은 96개에 불과하다.","link":"https://openreview.net/forum?id=LsrmZrp7tW"},{"id":"UgbjqumIWe","en":"Vision Token Pruning via Query--Vision Interaction Decomposition","ko":"Query-Vision interaction 분해를 통한 vision token pruning","authors":"Harshithanjani Athi, Sravan Kumar Ankireddy, Jianzhong Charlie Zhang, Hyeji Kim","abs":"<p>Large vision-language models (VLMs), which process both visual inputs and text queries, incur high inference costs due to the large number of visual tokens, making visual token pruning a natural approach for improving efficiency. Recent work has leveraged query information to guide token selection, often through heuristics derived from attention patterns or token dynamics. However, these approaches do not explicitly exploit the underlying structure of query-vision interactions. We address this gap by observing that the query-vision interaction matrix, naturally induced by the query and key projections already present in transformer attention, is effectively low-rank, with a small number of dominant latent interaction modes capturing query-relevant semantics. Motivated by this observation, we propose Query-Vision Decomposition (QViD), a novel training-free query-aware visual token pruning method that exploits this structure. Extensive experiments on both image and video understanding benchmarks show that QViD consistently improves performance under matched token budgets, with the largest gains appearing under aggressive compression regimes.</p>","absKo":"시각 입력과 텍스트 query를 모두 처리하는 대규모 vision-language model(VLM)은 많은 수의 visual token 때문에 inference 비용이 높으며, 따라서 visual token pruning은 효율성 향상을 위한 자연스러운 접근이다. 최근 연구는 attention pattern이나 token dynamics에서 유도한 heuristic을 통해 query 정보를 활용하여 token selection을 안내해 왔다. 그러나 이러한 접근은 query-vision interaction의 근본 구조를 명시적으로 활용하지 않는다. 우리는 transformer attention에 이미 존재하는 query와 key projection으로부터 자연스럽게 유도되는 query-vision interaction matrix가 실질적으로 low-rank이며, 소수의 지배적인 latent interaction mode가 query와 관련된 semantic을 포착한다는 점을 관찰함으로써 이 간극을 해소한다. 이러한 관찰에 착안해, 우리는 이 구조를 활용하는 새로운 training-free query-aware visual token pruning method인 Query-Vision Decomposition(QViD)을 제안한다. image와 video understanding benchmark 전반에 걸친 광범위한 실험에서 QViD는 동일한 token budget 하에서 일관되게 성능을 향상시켰으며, 특히 강한 compression regime에서 가장 큰 향상을 보였다.","link":"https://openreview.net/forum?id=UgbjqumIWe"},{"id":"ccRl8ClcU1","en":"Adaptive Generate-Rank-Verify: Inference-Time Search with Costly Verification","ko":"적응형 Generate-Rank-Verify: 비용 높은 검증을 포함한 추론 시 검색","authors":"Shaddin Dughmi, Mahdi Haghifam, Yusuf Hakan Kalayci","abs":"<p>Many inference-time language-model pipelines</p><p>combine a cheap reward signal with an expensive</p><p>verifier, such as exact answer checking in</p><p>mathematical reasoning or hidden-test execution</p><p>in code generation. We formalize this setting</p><p>using a learning-theoretic lens as generative active</p><p>search: a cost-sensitive first-positive search</p><p>problem in which a policy adaptively samples</p><p>candidates from an unknown distribution, observes</p><p>cheap scores, and pays for verifier labels</p><p>until it finds a positive example. For a</p><p>fixed prompt, the generator and reward model induce</p><p>two unknown objects: a distribution over</p><p>reward scores and a score-conditioned success</p><p>function. When these quantities are known, we</p><p>characterize the distribution-aware optimal policy</p><p>using a dynamic programming approach. In</p><p>the realistic and practical setting where both the</p><p>score distribution and success function are unknown,</p><p>we propose ADAP, a shellwise adaptive</p><p>generate-rank-verify algorithm that progressively</p><p>increases the number of sampled responses and</p><p>top-ranked verifications. Under the monotonicity</p><p>assumption that higher reward scores are no</p><p>less likely to pass verification, we show that</p><p>ADAP achieves expected cost within a constant</p><p>factor of the distribution-aware optimum. We</p><p>complement this result with learning-theoretic</p><p>lower bounds, based on a centered star number,</p><p>showing that structural assumptions on the score–</p><p>label relationship are necessary. Experiments</p><p>on mathematical reasoning and competitive programming</p><p>validate the predicted advantage over</p><p>both fixed non-adaptive policies and difficultyadaptive</p><p>baselines.</p>","absKo":"많은 inference-time language-model pipeline은 수학적 추론에서의 exact answer checking이나 code generation에서의 hidden-test execution처럼 저렴한 reward signal과 비싼 verifier를 결합한다. 우리는 이 설정을 learning-theoretic 관점에서 generative active search로 정식화한다. 즉, policy가 알려지지 않은 distribution에서 candidate를 적응적으로 샘플링하고, 저렴한 score를 관찰하며, positive example을 찾을 때까지 verifier label 비용을 지불하는 cost-sensitive first-positive search problem이다. 고정된 prompt에 대해 generator와 reward model은 두 개의 미지 객체, 즉 reward score에 대한 distribution과 score-conditioned success function을 유도한다. 이 양이 알려져 있을 때는 dynamic programming 접근을 사용해 distribution-aware optimal policy를 특성화한다. 점수 distribution과 success function 모두 알려지지 않은 현실적이고 실용적인 설정에서는, 우리는 ADAP를 제안한다. ADAP는 sampled response 수와 top-ranked verification 수를 점진적으로 늘려 가는 shellwise adaptive generate-rank-verify algorithm이다. 더 높은 reward score가 verification을 통과할 가능성이 더 낮지 않다는 monotonicity 가정 하에서, ADAP가 distribution-aware optimum의 상수배 이내의 expected cost를 달성함을 보인다. 또한 centered star number에 기반한 learning-theoretic lower bound를 제시하여, score- label 관계에 대한 구조적 가정이 필요함을 보인다. 수학적 추론과 competitive programming 실험은 고정된 non-adaptive policy와 difficulty-adaptive baseline 모두에 대해 예측된 우위를 검증한다.","link":"https://openreview.net/forum?id=ccRl8ClcU1"},{"id":"NiWI3Hrnd5","en":"Sigmoid Attention as a Better Substrate for Learned KV Cache Eviction","ko":"학습된 KV cache 폐기를 위한 더 나은 기반으로서의 Sigmoid Attention","authors":"Isaac Li","abs":"<p>Learned KV-cache eviction often faces a soft-to-hard mismatch: during training, differentiable gates typically attenuate token contributions, whereas inference saves memory only when KV entries are physically removed. We ask whether the attention substrate affects this</p><p>soft-to-hard transition. Using GPT-2-scale Transformers trained on</p><p>OpenWebText, we run a controlled $2\\times2\\times2$ comparison over</p><p>attention type, learned gating, and positional encoding. Although</p><p>sigmoid attention is worse as a dense language model, learned hard</p><p>eviction changes the useful operating points: sigmoid-gated models</p><p>delete KV entries with negligible PPL change relative to their own</p><p>no-eviction references. Under a matched live-cache protocol on the same dense backbones,</p><p>learned sigmoid gates obtain lower PPL than our H$_2$O and KeyDiff</p><p>implementations, whereas softmax gates do not uniformly beat these</p><p>post-hoc methods.</p><p>The results suggest that attention normalization can substantially affect</p><p>whether a training-time soft gate transfers cleanly to hard KV deletion.</p>","absKo":"학습된 KV-cache eviction은 흔히 soft-to-hard mismatch에 직면한다. 학습 중에는 differentiable gate가 token 기여를 완화하는 반면, inference에서는 KV entry가 물리적으로 제거될 때만 메모리가 절약된다. 우리는 attention substrate가 이 soft-to-hard 전환에 영향을 주는지 묻는다. OpenWebText로 학습한 GPT-2 규모 Transformer를 사용해, attention type, learned gating, positional encoding에 대한 통제된 $2\\times2\\times2$ 비교를 수행했다. sigmoid attention은 dense language model로서는 더 나쁘지만, learned hard eviction은 유용한 operating point를 바꾼다. 즉 sigmoid-gated model은 자신의 no-eviction reference와 비교했을 때 PPL 변화가 거의 없이 KV entry를 삭제한다. 동일한 dense backbone에 대해 matched live-cache protocol을 적용하면, learned sigmoid gate는 우리의 H$_2$O 및 KeyDiff 구현보다 더 낮은 PPL을 얻는 반면, softmax gate는 이러한 post-hoc method를 일관되게 능가하지는 못한다. 이 결과는 attention normalization이 training-time soft gate가 hard KV deletion으로 얼마나 잘 전이되는지를 크게 좌우할 수 있음을 시사한다.","link":"https://openreview.net/forum?id=NiWI3Hrnd5"},{"id":"DnPhmFIanE","en":"CoupledNorm: Efficient Normalization via Shared RMS Statistics","ko":"CoupledNorm: 공유 RMS 통계를 통한 효율적 정규화","authors":"Martin Loretz, Sepp Hochreiter","abs":"<p>Normalization layers are treated as computationally inexpensive, yet they still introduce non-negligible latency during autoregressive decoding.</p><p>We propose CoupledNorm, a simple modification to Pre-Norm Transformer blocks that removes one of the two RMS calculations per layer. CoupledNorm shares the per-token RMS statistics between the Attention and MLP sub-layers while retaining separate learned affine parameters.</p><p>In GPT-2-scale pretraining, CoupledNorm matches the training loss and yields similar downstream performance.</p><p>For pretrained 0.6B-8B models, we introduce CoupledNorm post hoc via distillation with small downstream degradation.</p><p>By fusing the remaining pre-MLP normalization operations into existing kernels, CoupledNorm achieves an end-to-end decoding speedup of up to 2%.</p><p>These results suggest that shared second-order statistics are sufficient for effective normalization, challenging the need for independent normalization per sub-layer while improving efficiency.</p>","absKo":"Normalization layer는 계산 비용이 낮다고 여겨지지만, autoregressive decoding 중에는 여전히 무시할 수 없는 latency를 유발한다.\n우리는 각 layer에서 두 개의 RMS 계산 중 하나를 제거하는 Pre-Norm Transformer block의 간단한 수정인 CoupledNorm를 제안한다. CoupledNorm는 Attention과 MLP sub-layer가 token별 RMS 통계를 공유하면서도, 별도의 학습된 affine parameter는 유지한다.\nGPT-2 규모 pretraining에서는 CoupledNorm가 training loss를 맞추고, downstream performance도 유사하게 유지한다.\n0.6B-8B pretrained model에서는 작은 downstream degradation만 감수하면서 distillation을 통해 CoupledNorm를 사후적으로 도입한다.\n남아 있는 pre-MLP normalization 연산을 기존 kernel에 fuse함으로써, CoupledNorm는 end-to-end decoding speedup을 최대 2%까지 달성한다.\n이 결과는 공유된 second-order statistic만으로도 효과적인 normalization이 충분함을 시사하며, sub-layer별 독립 normalization의 필요성에 의문을 제기하는 동시에 효율성을 향상시킨다.","link":"https://openreview.net/forum?id=DnPhmFIanE"},{"id":"CBtx52vftl","en":"CafeQ: Calibration-free Quantization via Learned Transformations and Adaptive Rounding","ko":"CafeQ: 학습된 변환과 적응형 반올림을 통한 보정 없는 양자화","authors":"Ziteng Sun, Adrian Benton, Sadik Yagiz Yetim, Samuel Kushnir, Asher Trockman, Vikas Singh, Suhas Diggavi, Ananda Theertha Suresh","abs":"<p>Post-training weight quantization is an effective method for reducing the serving cost of large language models.</p><p>However, standard round-to-nearest quantization often introduces large errors due to outliers in the weights.</p><p>Proposed mitigation mechanisms include applying adaptive rounding, random rotation transformations or committing to a post-training target using calibration data. Unfortunately, this reliance on calibration data can be severely limiting due to data inavailability, or additional computational overhead. In this paper, we propose algorithms to optimize transformations and adaptive rounding without access to *any* calibration data. The optimization is achieved by designing a suitable proxy function for the quantization loss without calibration data. To maintain inference efficiency, we perform structured matrix transformations for single matrices. For paired weights that interact directly in the computation graph, we use dual matrix transformations and adaptive rounding methods. We conduct experiments on Gemma and Qwen models. Compared to baseline methods without calibration data, we observe consistent improvement across various benchmarks and quantization levels. Compared to SOTA calibration-based methods, for 4-bit quantization on Qwen2.5-7B model, our method achieves comparable performance with $&lt;0.2$ reduction in WikiText-2 and C4 perplexities and even better average score on zero-shot benchmarks, demonstraing the effectiveness of calibration-free quantization.</p>","absKo":"Post-training weight quantization은 대규모 언어 모델의 serving 비용을 줄이는 효과적인 방법이다. \n그러나 표준 round-to-nearest quantization은 weight의 outlier 때문에 큰 error를 자주 유발한다.\n제안된 완화 메커니즘에는 adaptive rounding 적용, random rotation transformation, 또는 calibration data를 사용해 post-training target을 확정하는 방법이 포함된다. 불행히도 이러한 calibration data 의존성은 data inavailability나 추가적인 computational overhead 때문에 심각한 제약이 될 수 있다. 본 논문에서는 어떤 calibration data에도 접근하지 않고 transformation과 adaptive rounding을 최적화하는 알고리즘을 제안한다. 최적화는 calibration data 없이 quantization loss를 대리하는 적절한 proxy function을 설계함으로써 달성된다. inference 효율을 유지하기 위해, 단일 matrix에 대해서는 structured matrix transformation을 수행한다. computation graph에서 직접 상호작용하는 paired weight에 대해서는 dual matrix transformation과 adaptive rounding method를 사용한다. 우리는 Gemma와 Qwen 모델에서 실험을 수행하였다. calibration data가 없는 baseline 방법과 비교했을 때, 다양한 benchmark와 quantization level에서 일관된 향상을 관찰하였다. SOTA calibration-based method와 비교하면, Qwen2.5-7B 모델의 4-bit quantization에서 우리 방법은 WikiText-2와 C4 perplexity를 0.2 미만만큼 감소시키는 수준의 비슷한 성능을 보였고, zero-shot benchmark의 평균 점수는 오히려 더 좋아서 calibration-free quantization의 효과를 입증한다.","link":"https://openreview.net/forum?id=CBtx52vftl"},{"id":"oYiauQToKN","en":"LExI: Layer-Adaptive Active Experts for Efficient MoE Inference","ko":"LExI: 효율적인 MoE 추론을 위한 계층 적응형 active expert","authors":"Krishna Teja Chitty-Venkata, Murali Emani","abs":"<p>Mixture-of-Experts (MoE) models scale efficiently by activating only a subset of experts per token, offering a computationally sparse alternative to dense architectures. While prior post-training optimizations, such as inter- and intra-expert pruning, reduce memory usage but provide limited gains in inference-time compute efficiency. Moreover, existing MoE architectures typically activate a fixed number of experts uniformly across all layers, resulting suboptimal performance. In this work, we first demonstrate that MoE pruning improves only the memory footprint but does not significantly improve inference performance. To address this, we introduce \\textbf{LExI}, a data-free optimization technique that determines the optimal number of active experts per layer in a pretrained MoE. LExI leverages only the model&#x27;s weights to estimate the relative importance of each layer and adaptively assigns the number of active experts per layer. Experiments on several MoEs demonstrate that LExI significantly outperforms traditional MoE pruning approaches in terms of inference efficiency with negligible accuracy loss. For example, using LExI, Qwen1.5-MoE achieves the same throughput on Nvidia H100 GPU with 10\\% better accuracy than traditional expert pruning.</p>","absKo":"Mixture-of-Experts (MoE) model은 token마다 expert의 일부만 활성화함으로써 효율적으로 확장되며, dense architecture에 대한 계산적으로 sparse한 대안을 제공한다. 기존의 post-training optimization, 예를 들어 inter- 및 intra-expert pruning은 memory usage를 줄이지만 inference-time compute efficiency 측면에서는 제한적인 이득만 제공한다. 또한 기존 MoE architecture는 일반적으로 모든 layer에서 고정된 수의 expert를 동일하게 활성화하므로 최적 성능에 미치지 못한다. 본 연구에서는 먼저 MoE pruning이 memory footprint는 개선하지만 inference 성능은 유의미하게 향상시키지 못함을 보인다. 이를 해결하기 위해, 우리는 사전학습된 MoE에서 layer별 active expert의 최적 개수를 결정하는 data-free optimization 기법인 \\textbf{LExI}를 도입한다. LExI는 모델의 weight만을 사용해 각 layer의 상대적 중요도를 추정하고, layer별 active expert 수를 적응적으로 할당한다. 여러 MoE에 대한 실험은 LExI가 정확도 손실은 거의 없이 inference efficiency 측면에서 전통적인 MoE pruning 접근법을 크게 능가함을 보여준다. 예를 들어 LExI를 사용하면 Qwen1.5-MoE는 전통적인 expert pruning보다 10\\% 더 높은 정확도로 Nvidia H100 GPU에서 동일한 throughput을 달성한다.","link":"https://openreview.net/forum?id=oYiauQToKN"},{"id":"uXQyCxN7r9","en":"Characterizing self-speculative decoding approaches for accelerating LLMs","ko":"LLM 가속을 위한 self-speculative decoding 접근법의 특성 분석","authors":"Jungmin Ha, Karthik Ganesan, Anh Nguyen, Tanvir Ahmed, Andreas Moshovos","abs":"<p>Large language model (LLM) inference is bottle-necked by autoregressive token generation, leading to poor GPU utilization and high LLM inference latency.</p><p>Speculative decoding is a promising technique to speed up inference where &#x27;speculative&#x27; tokens are generated with a cheaper model, and then validated en masse by the full model.</p><p>While effective, speculative decoding requires an additional &quot;draft&quot; model.</p><p>Self-speculative decoding obviates this need by reusing parts of the full model itself to generate candidate tokens.</p><p>Existing methods implement this approach in different ways: some exit at an early decoder block, while others selectively skip layers within each block.</p><p>Such a complex design space entails different tradeoffs in draft quality, draft &amp; verification cost, and overall speedup.</p><p>To better understand these tradeoffs, we characterize five self-speculative decoding techniques across three model sizes and three datasets and provide recommendations for future research in this area.</p>","absKo":"Large language model (LLM) inference는 autoregressive token generation에 의해 병목이 생겨 GPU utilization이 낮고 LLM inference latency가 높아진다.\nSpeculative decoding은 더 저렴한 모델로 'speculative' token을 생성한 뒤 full model이 이를 대량 검증함으로써 inference를 가속하는 유망한 기법이다.\n효과적이지만, speculative decoding에는 추가적인 \"draft\" model이 필요하다.\nSelf-speculative decoding은 full model 자체의 일부를 재사용해 candidate token을 생성함으로써 이러한 필요를 제거한다.\n기존 방법들은 이 접근을 서로 다른 방식으로 구현한다. 어떤 방법은 early decoder block에서 종료하고, 다른 방법들은 각 block 내부에서 layer를 선택적으로 skip한다.\n이처럼 복잡한 design space는 draft quality, draft & verification cost, 그리고 전체 speedup 간의 서로 다른 tradeoff를 수반한다.\n이 tradeoff를 더 잘 이해하기 위해, 우리는 세 가지 model size와 세 개의 dataset에 걸쳐 다섯 가지 self-speculative decoding 기법을 특성화하고, 이 분야의 향후 연구를 위한 권고를 제시한다.","link":"https://openreview.net/forum?id=uXQyCxN7r9"},{"id":"hLFRcxXKxY","en":"Block-Level Recursion: Adaptive Test-Time Routing in Large Language Models","ko":"Block-Level Recursion: Large Language Models의 적응형 test-time routing","authors":"Kristiyan Sakalyan, Sanghwan Kim, Leo Schwinn, Quentin Bouniot, Zeynep Akata","abs":"<p>Test-time routing improves frozen large language models (LLMs) by taking non-linear paths through their layers, without modifying weights or generating extra tokens. Existing approaches define route spaces that grow exponentially with depth, making them costly to search and hard to learn from. We therefore introduce $\\textbf{Block-Level Recursion}$ ($\\texttt{BLR}$), a restricted route family that repeats a single contiguous block of transformer layers once. This reduces the number of routes from exponential to quadratic in the number of layers, making exhaustive per-instance evaluation tractable and the oracle upper bound directly measurable. Despite this restriction, $\\texttt{BLR}$ retains most of the routing potential. Across six model families and ten reasoning benchmarks, the optimal block varies across models, tasks, and individual inputs, with per-instance oracle gains of $+59.1\\%$ on average and up to $+75.8\\%$ on individual tasks. $\\texttt{BLR}$ also supports two practical policies: a single train-selected block ($\\texttt{sBLR}$) that requires no router or per-input overhead, and a learned global router ($\\texttt{aBLR}$) trained from dense per-instance rewards over all routes. $\\texttt{sBLR}$ already recovers a substantial fraction of the available gains, while $\\texttt{aBLR}$ improves further by selecting routes per input. With a frozen Qwen2.5-0.5B backbone, $\\texttt{aBLR}$ achieves higher accuracy than the unrouted Qwen2.5-7B model at lower FLOPs.</p>","absKo":"Test-time routing은 frozen large language models (LLMs)을 가중치를 수정하거나 추가 token을 생성하지 않고도 layer들을 비선형 경로로 통과시켜 개선한다. 기존 접근법은 깊이에 따라 지수적으로 커지는 route space를 정의하므로 탐색 비용이 높고 학습하기도 어렵다. 이에 우리는 $\\textbf{Block-Level Recursion}$ ($\\texttt{BLR}$)을 도입한다. 이는 단일 연속적인 transformer layer block을 한 번 반복하는 제한된 route family이다. 이를 통해 route 수가 layer 수에 대해 지수에서 quadratic으로 줄어들어, 인스턴스별 exhaustive evaluation이 가능해지고 oracle upper bound를 직접 측정할 수 있다. 이러한 제한에도 불구하고 $\\texttt{BLR}$은 대부분의 routing potential을 유지한다. 6개의 model family와 10개의 reasoning benchmark 전반에서, 최적의 block은 model, task, 개별 input마다 달라졌으며, instance별 oracle gain은 평균 $+59.1\\%$, 개별 task에서는 최대 $+75.8\\%$였다. $\\texttt{BLR}$은 또한 두 가지 실용적 policy를 지원한다. 하나는 router나 per-input overhead가 없는, 학습으로 선택된 단일 block인 $\\texttt{sBLR}$이고, 다른 하나는 모든 route에 대한 dense per-instance reward로 학습한 global router인 $\\texttt{aBLR}$이다. $\\texttt{sBLR}$만으로도 사용 가능한 gain의 상당 부분을 회수하며, $\\texttt{aBLR}$은 input별 route 선택으로 이를 더 향상시킨다. frozen Qwen2.5-0.5B backbone을 사용할 때, $\\texttt{aBLR}$은 더 낮은 FLOPs에서 unrouted Qwen2.5-7B model보다 더 높은 정확도를 달성한다.","link":"https://openreview.net/forum?id=hLFRcxXKxY"},{"id":"0XVoLXts8F","en":"Low Dimensional Embeddings for Model Capability Understanding","ko":"모델 능력 이해를 위한 저차원 임베딩","authors":"Shivam Patel, William Cocke, Gauri Joshi","abs":"<p>The rapidly growing ecosystem of Large Language Models (LLMs) makes it increasingly difficult to manage and utilize the expanding model pool. We propose LOCUS, an attention-based method that produces low-dimensional embeddings capturing a model&#x27;s capabilities across queries. LOCUS deterministically generates embeddings from query encodings and evaluation scores via a forward pass, enabling new models to be added and existing embeddings to be refined without retraining. A correctness predictor built on these embeddings achieves state-of-the-art routing accuracy on unseen queries. Experiments show that LOCUS requires up to 4.8x fewer query evaluations than baselines while producing robust, geometrically meaningful embeddings whose proximity reflects model similarity, supporting model comparison, clustering, portfolio selection, and proxying unavailable models.</p>","absKo":"빠르게 성장하는 Large Language Models (LLMs) 생태계는 확장되는 model pool을 관리하고 활용하는 일을 점점 더 어렵게 만든다. 우리는 query 전반에 걸친 model의 capabilities를 포착하는 low-dimensional embedding을 생성하는 attention-based method인 LOCUS를 제안한다. LOCUS는 query encoding과 evaluation score로부터 forward pass만으로 embedding을 결정적으로 생성하므로, 재학습 없이도 새 model을 추가하고 기존 embedding을 정련할 수 있다. 이러한 embedding 위에 구축한 correctness predictor는 보지 못한 query에서 state-of-the-art routing accuracy를 달성한다. 실험 결과, LOCUS는 baseline 대비 최대 4.8배 적은 query evaluation만으로도, model similarity를 반영하는 proximity를 갖는 견고하고 기하학적으로 의미 있는 embedding을 생성하여 model comparison, clustering, portfolio selection, 그리고 사용 불가능한 model의 proxying을 지원함을 보인다.","link":"https://openreview.net/forum?id=0XVoLXts8F"},{"id":"ET3T10FKn3","en":"Activation- and Influence-Aware Ranks (AIR): Function-Preserving SVD Compression for LLMs","ko":"Activation- and Influence-Aware Ranks (AIR): LLM을 위한 기능 보존 SVD 압축","authors":"Nico Harder, Daniel Becking, Karsten Mueller, Wojciech Samek","abs":"<p>We present Activation- and Influence-Aware Ranks (AIR), an SVD-based LLM compression framework that guides each weight matrix&#x27;s low-rank approximation with a backward-signal influence metric. Starting from the activation-aware optimum of SVD-LLM(W), AIR runs a single closed-form alternating least squares (ALS) sweep that integrates influence element-wise under a monotone-descent guarantee. AIR is layer-local and composes orthogonally with end-to-end methods: alone it matches ACIP, and AIR+LoRA outperforms it. AIR improves perplexity over SVD-LLM(W) by $&gt;$18% at $\\leq$60% parameter retention, matches its quality with $\\sim$90% less calibration data, and turns parameter savings into FLOP, peak-memory, and per-token-latency gains.</p>","absKo":"우리는 Activation- and Influence-Aware Ranks (AIR)를 제안한다. 이는 backward-signal influence metric으로 각 weight matrix의 low-rank approximation을 유도하는 SVD 기반 LLM compression framework이다. SVD-LLM(W)의 activation-aware optimum에서 출발하여, AIR는 monotone-descent 보장을 유지하면서 influence를 element-wise로 통합하는 단일 closed-form alternating least squares (ALS) sweep을 수행한다. AIR는 layer-local이며 end-to-end method와 직교적으로 결합된다. 단독으로는 ACIP와 동등하고, AIR+LoRA는 이를 능가한다. AIR는 $\\leq$60% parameter retention에서 SVD-LLM(W) 대비 perplexity를 $>$18% 개선하고, 약 90% 적은 calibration data로 동등한 quality를 달성하며, parameter 절감을 FLOP, peak-memory, token당 latency 이득으로 전환한다.","link":"https://openreview.net/forum?id=ET3T10FKn3"},{"id":"qs8X849H2V","en":"Convergence-Gated Distillation for Resource-Adaptive Reinforcement Learning Agents","ko":"자원 적응형 강화학습 Agent를 위한 convergence-gated distillation","authors":"Bruce Changlong Xu, Jay J. Park, Vivek Buch","abs":"<p>Knowledge distillation is a core mechanism for adapting and compressing foundation models, but it is usually treated as a smooth process: better teachers should produce better students. We show that this assumption can fail sharply in self-supervised reinforcement learning. In contrastive RL, distilling from partially trained teachers produces nearly constant student performance across most of teacher training, even when teacher evaluation scores are already high. Student performance jumps only after the teacher crosses a convergence gate—a phase boundary in representation quality that determines whether its capability is transferable.</p><p>We characterize this gate across depth-induced capability transitions in CRL. The gate is robust across three independently trained teachers and predictable from a zero-cost teacher-side behavioral diagnostic, but the diagnostic is not causal: shaping an unconverged teacher’s actions to mimic convergence does not open the gate. Instead, the mechanism is contrastive discrimination difficulty. Varying the InfoNCE temperature shifts the gate by 13 epochs, showing that the adaptation barrier is controlled by the self-supervised objective rather than by surface-level teacher behavior.</p><p>Once the gate is crossed, distillation becomes an effective resource-adaptive mechanism. A width-scaled shallow student matches a deep teacher on Ant Big Maze and reaches 92% of teacher performance on Humanoid from a near-zero baseline. Equal-parameter controls show that shallow students can represent the capability but cannot discover it without a teacher. In contrast, SAC distillation transfers smoothly to a smaller student with no gate, reaching 96.6% of teacher reward. These results suggest that contrastive adaptation objectives can introduce sharp checkpoint-selection barriers absent from reward-based learning. For adaptive foundation-model pipelines, the practical implication is simple: which teacher checkpoint to distill from can dominate how much student capacity or training compute is required.</p>","absKo":"Knowledge distillation은 foundation model을 적응시키고 압축하는 핵심 메커니즘이지만, 보통은 더 나은 teacher가 더 나은 student를 만든다는 매끄러운 과정으로 간주된다. 우리는 이 가정이 self-supervised reinforcement learning에서 급격하게 실패할 수 있음을 보인다. Contrastive RL에서, 부분적으로 학습된 teacher로부터 distillation하면 teacher 학습의 대부분 구간에서 student 성능이 거의 일정하게 유지되며, teacher의 평가 점수가 이미 높더라도 마찬가지다. Student 성능은 teacher가 convergence gate를 넘은 뒤에야 도약한다. 이 gate는 representation quality의 phase boundary로서, 해당 capability가 전이 가능한지를 결정한다.\n\n우리는 CRL에서 depth-induced capability transition 전반에 걸친 이 gate를 특성화한다. 이 gate는 독립적으로 학습된 세 개의 teacher 전반에서 견고하며, 비용이 들지 않는 teacher-side behavioral diagnostic으로 예측 가능하지만, 그 diagnostic은 인과적이지 않다. 수렴하지 않은 teacher의 행동을 수렴한 것처럼 바꾸어도 gate는 열리지 않는다. 대신 메커니즘은 contrastive discrimination difficulty이다. InfoNCE temperature를 변화시키면 gate가 13 epoch 이동하는데, 이는 adaptation barrier가 surface-level teacher behavior가 아니라 self-supervised objective에 의해 제어됨을 보여준다.\n\nGate를 넘어서면 distillation은 효과적인 resource-adaptive mechanism이 된다. Width가 축소된 shallow student는 Ant Big Maze에서 deep teacher와 맞먹고, Humanoid에서는 거의 zero baseline에서 teacher 성능의 92%에 도달한다. 동일 파라미터 control은 shallow student가 capability를 표현할 수는 있지만 teacher 없이는 그 capability를 발견할 수 없음을 보여준다. 반면 SAC distillation은 gate 없이 더 작은 student로 매끄럽게 전이되어 teacher reward의 96.6%에 도달한다. 이러한 결과는 contrastive adaptation objective가 reward-based learning에는 없는 sharp checkpoint-selection barrier를 도입할 수 있음을 시사한다. Adaptive foundation-model pipeline에 대한 실질적 함의는 단순하다. 어떤 teacher checkpoint에서 distill할지에 따라 필요한 student capacity 또는 training compute가 크게 달라질 수 있다.","link":"https://openreview.net/forum?id=qs8X849H2V"},{"id":"suD1tqogTd","en":"Resource-Adaptive Foundation Model Reasoning via Semantic Coverage","ko":"의미적 커버리지를 통한 자원 적응형 foundation model 추론","authors":"Max Ruiz Luyten, Thomas Pouplin, Mihaela van der Schaar","abs":"<p>Foundation-model reasoning is often scaled with fixed trace, branch, or token budgets, but fixed budgets waste inference compute when many rollouts collapse to the same answer class, proof route, evidence pattern, or fix strategy. We formulate test-time reasoning as resource-adaptive portfolio construction: under a compute budget, select unfinished rollout actions that are likely to add residual task-relevant support not already present in the current portfolio. We introduce semantic coverage, a portfolio objective over evaluator-induced support targets, and show that fixed semantic coverage is normalized, monotone, and submodular; under batch separability, the expected gain from bounded completion-level rollout actions inherits the same structure. A residual threshold identity shows that additive trace scoring overcounts support exactly by the expected excess multiplicity of duplicate residual hits, motivating Semantic-Coverage Portfolio Search (SCPS), a receding-horizon controller that scores actions by predicted residual support, predicted overlap, and cost. On a 256-question held-out MMLU-Pro set with Qwen3.5-9B, an exact-answer SCPS variant reaches 91.0% portfolio Pass@16, compared with 75.0% for tree-prefix and 74.2% for semantic-pruning baselines, while using 31.6% of their realized tokens. This is a portfolio-acquisition claim, not a terminal-selector claim: SCPS directs inference compute toward support the portfolio lacks.</p>","absKo":"Foundation-model reasoning은 종종 고정된 trace, branch, 또는 token budget으로 스케일되지만, 많은 rollout이 같은 answer class, proof route, evidence pattern, 또는 fix strategy로 수렴할 때 고정 budget은 inference compute를 낭비한다. 우리는 test-time reasoning을 resource-adaptive portfolio construction으로 정식화한다: compute budget 하에서, 현재 portfolio에 아직 존재하지 않는 task-relevant residual support를 추가할 가능성이 높은 미완료 rollout action을 선택한다. 우리는 evaluator가 유도한 support target 위의 portfolio objective인 semantic coverage를 도입하고, 고정 semantic coverage가 normalized, monotone, submodular함을 보인다. 또한 batch separability 하에서는 bounded completion-level rollout action의 expected gain도 같은 구조를 따른다. residual threshold identity는 additive trace scoring이 기대되는 duplicate residual hit의 excess multiplicity만큼 support를 정확히 과대계상함을 보여 주며, 이는 predicted residual support, predicted overlap, 그리고 cost로 action을 점수화하는 receding-horizon controller인 Semantic-Coverage Portfolio Search(SCPS)를 동기부여한다. Qwen3.5-9B를 사용한 256문항 held-out MMLU-Pro set에서 exact-answer SCPS variant는 portfolio Pass@16 91.0%를 달성했는데, tree-prefix의 75.0%와 semantic-pruning baseline의 74.2%보다 높았으며, 실제 사용 token은 그들의 31.6%에 불과했다. 이는 terminal-selector claim이 아니라 portfolio-acquisition claim이다: SCPS는 inference compute를 portfolio가 결여한 support로 유도한다.","link":"https://openreview.net/forum?id=suD1tqogTd"},{"id":"nYQVHA4prY","en":"Accelerating LLM Inference via Vector Index Based Output Embeddings","ko":"벡터 인덱스 기반 출력 임베딩을 통한 LLM 추론 가속","authors":"Martin Loretz, Sepp Hochreiter","abs":"<p>Large output embedding matrices create a significant memory bandwidth bottleneck during autoregressive decoding, especially for compact LLMs with large multilingual vocabularies. We reformulate the output projection followed by top-k token selection as a maximum inner product search over token embeddings and replace the dense vocabulary projection with an HNSW-based vector index. The resulting output head retrieves only a small candidate set of high-scoring tokens and can be integrated into existing decoding pipelines by scattering retrieved logits into a sparse full-vocabulary tensor. On CPU inference with Gemma 3, Llama 3.2, and Qwen 3 models, our method substantially accelerates the output projection and improves end-to-end batch-size-one decoding throughput by up to 82% for Gemma 3 270M, while preserving generation quality under AlpacaEval evaluation. These results suggest approximate retrieval is a practical alternative to dense output projections in latency-sensitive small-batch decoding.</p>","absKo":"큰 output embedding matrix는 autoregressive decoding 동안, 특히 큰 multilingual vocabulary를 가진 compact LLM에서 심각한 memory bandwidth 병목을 만든다. 우리는 output projection 뒤의 top-k token selection을 token embedding에 대한 maximum inner product search로 재정식화하고, dense vocabulary projection을 HNSW 기반 vector index로 대체한다. 그 결과 생성되는 output head는 높은 점수를 받은 token의 작은 candidate set만을 검색하며, retrieved logits를 sparse full-vocabulary tensor에 scattering함으로써 기존 decoding pipeline에 통합될 수 있다. Gemma 3, Llama 3.2, Qwen 3 모델의 CPU inference에서 우리의 방법은 output projection을 크게 가속하고, Gemma 3 270M에서 최대 82%까지 batch-size-one end-to-end decoding throughput을 향상시키면서도 AlpacaEval 평가에서 generation quality를 유지한다. 이 결과는 지연 시간에 민감한 소규모 배치 decoding에서 approximate retrieval이 dense output projection의 실용적 대안임을 시사한다.","link":"https://openreview.net/forum?id=nYQVHA4prY"},{"id":"XrqcUo6B6L","en":"Layer Verification Accelerates Speculative Tree Decoding","ko":"layer verification이 speculative tree decoding을 가속한다","authors":"Jaeyoung Cha, Hanseul Cho, Chulhee Yun","abs":"<p>Autoregressive decoding, a major bottleneck in LLM inference, requires a complete forward pass for each token generation. Speculative decoding mitigates this cost by using a fast draft model to propose multiple candidate tokens and a verifier to accept or correct them, while preserving the target distribution. Token Verification (TV), a common baseline verification method for multi-step drafts, repeatedly applies a single-step verification rule in the sequence direction and stops at the first rejection. However, it is suboptimal even for drafts with a single candidate per step. We propose **Layer Verification (LV)**, a new modular lifting strategy that converts any single-step verification rule into a draft-tree verifier, improving acceptance efficiency over TV. LV assigns appropriate scores to each tree node according to a single-step verification rule, coordinating acceptance mass across nodes within each layer. It then sweeps the draft tree layer by layer, selecting the accepted endpoint and sampling the corrected token. We prove that LV is lossless and preserves the target distribution when the underlying single-step verifier is lossless. Notably, when instantiated with Global Resolution (Thomas &amp; Pal, 2026b), LV attains near-optimal expected acceptance length in both single-step multi-candidate and multi-step single-candidate drafts. Experiments on synthetic autoregressive models and LLM decoding corroborate the efficacy and efficiency of our method.</p>","absKo":"Autoregressive decoding은 LLM inference의 주요 병목이며, 각 token 생성마다 완전한 forward pass를 필요로 한다. Speculative decoding은 빠른 draft model이 여러 candidate token을 제안하고 verifier가 이를 수락하거나 수정하도록 함으로써 이 비용을 완화하면서 target distribution은 보존한다. 다단계 draft에 대한 일반적인 baseline verification method인 Token Verification (TV)은 sequence 방향으로 단일 단계 verification rule을 반복 적용하고 첫 rejection에서 중단한다. 그러나 이는 단계마다 candidate가 하나뿐인 draft에 대해서도 최적이 아니다. 우리는 **Layer Verification (LV)**를 제안하는데, 이는 임의의 single-step verification rule을 draft-tree verifier로 변환하는 새로운 modular lifting strategy로, TV보다 acceptance efficiency를 향상시킨다. LV는 single-step verification rule에 따라 각 tree node에 적절한 score를 할당하고, 각 layer 내 node들에 걸쳐 acceptance mass를 조정한다. 그런 다음 draft tree를 layer별로 훑으며 accepted endpoint를 선택하고 corrected token을 샘플링한다. 우리는 LV가 lossless이며, underlying single-step verifier가 lossless일 때 target distribution을 보존함을 증명한다. 특히 Global Resolution (Thomas & Pal, 2026b)과 함께 구현하면, LV는 single-step multi-candidate draft와 multi-step single-candidate draft 모두에서 거의 최적의 expected acceptance length를 달성한다. synthetic autoregressive model과 LLM decoding 실험은 우리의 방법의 효율성과 유효성을 뒷받침한다.","link":"https://openreview.net/forum?id=XrqcUo6B6L"},{"id":"s80e8otSxP","en":"AgentKV: Phase-Aware KV Eviction for Agentic LLMs","ko":"AgentKV: agentic LLM을 위한 phase-aware KV eviction","authors":"Taowen Tony Liu, Jeffrey T. H. Wong, Can Xiao, Bowen Yang, Hao Mark Chen, Yiren Zhao","abs":"<p>Agentic workloads can consume on average 1000 times more tokens than chatbot workloads, stressing both KV-cache capacity and decode-time bandwidth. Existing query-centric eviction methods estimate key importance using representative queries drawn from recent tokens, an approach that works when future attention resembles recent attention. We show that agentic generation violates this assumption: its future query distribution is a mixture over think, act, tool, and others phases, whose components occupy measurably different query subspaces. As a result, recency representatives overrepresent the current phase and under-score keys needed by other phases. We propose AgentKV, a phase-aware eviction method that maintains a small set of queries per phase and scores cached keys against their union. AgentKV ranks first or tied first among compressed-cache methods in 78% BFCL tasks and 61% $\\tau^2$-bench tasks, and improves output-token throughput by up to 1.80 times.</p>","absKo":"Agentic workload는 chatbot workload보다 평균적으로 1000배 더 많은 token을 소비할 수 있어, KV-cache 용량과 decode-time bandwidth 모두를 압박한다. 기존의 query-centric eviction 방법은 최근 token에서 뽑은 representative query로 key의 중요도를 추정하는데, 이는 미래 attention이 최근 attention과 유사할 때는 잘 작동한다. 그러나 우리는 agentic generation이 이 가정을 위반함을 보인다. 그 미래 query distribution은 think, act, tool, others phase의 혼합이며, 각 성분은 측정 가능할 정도로 다른 query subspace를 차지한다. 그 결과 recency representative는 현재 phase를 과도하게 대표하고 다른 phase에 필요한 key에는 낮은 점수를 준다. 우리는 phase별로 소수의 query를 유지하고 그 합집합에 대해 cached key를 점수화하는 phase-aware eviction 방법 AgentKV를 제안한다. AgentKV는 BFCL task의 78\\%, $\\tau^2$-bench task의 61\\%에서 compressed-cache 방법 중 단독 1위 또는 공동 1위를 차지하며, output-token throughput을 최대 1.80배 향상시킨다.","link":"https://openreview.net/forum?id=s80e8otSxP"},{"id":"KkN6enKAlU","en":"On State Reduction in Linear Attention","ko":"선형 어텐션에서 상태 축소에 대하여","authors":"Philipp Nazari, T. Konstantin Rusch","abs":"<p>Linear attention offers a computationally efficient yet expressive alternative to softmax attention. However, recent empirical results indicate that the hidden state of trained linear attention models often exhibits a low-rank structure, suggesting that these models underexploit their capacity in practice. To illuminate this phenomenon, we provide a theoretical analysis of the role of rank in linear attention, revealing that low effective rank can amplify query noise during readout from the associative memory. In addition to these theoretical insights, we conjecture that the low-rank states can be substantially reduced post-training with only minimal performance degradation, yielding faster and more memory-efficient models. To this end, we propose a novel hardware-aware approach that structurally prunes key and query matrices, reducing the state size while retaining compatibility with existing kernels. We adapt several existing pruning strategies to fit our framework and, building on our theoretical analysis, propose a novel structured pruning method based on a rank-revealing QR decomposition. Our empirical results, evaluated across models of varying sizes and on various downstream tasks, demonstrate the effectiveness of our state reduction framework.</p>","absKo":"Linear attention은 softmax attention에 대한 계산 효율적이면서도 표현력 있는 대안이다. 그러나 최근 실험 결과는 학습된 linear attention model의 hidden state가 종종 low-rank 구조를 보인다는 점을 보여 주며, 이는 이러한 모델이 실제로는 용량을 충분히 활용하지 못하고 있음을 시사한다. 이 현상을 밝히기 위해 우리는 linear attention에서 rank의 역할에 대한 이론적 분석을 제공하며, effective rank가 낮을수록 associative memory로부터 readout할 때 query noise를 증폭시킬 수 있음을 보여 준다. 이러한 이론적 통찰에 더해, 우리는 학습 후에도 성능 저하를 최소화하면서 low-rank state를 상당히 줄일 수 있다고 추측한다. 이를 위해 key와 query matrix를 구조적으로 pruning하여 state size를 줄이면서도 기존 kernel과의 호환성을 유지하는 hardware-aware approach를 제안한다. 우리는 여러 기존 pruning strategy를 우리 framework에 맞게 변형하고, 이론 분석을 바탕으로 rank-revealing QR decomposition에 기반한 새로운 structured pruning method를 제안한다. 다양한 크기의 model과 여러 downstream task에 걸쳐 평가한 실험 결과는 우리의 state reduction framework의 효과를 보여 준다.","link":"https://openreview.net/forum?id=KkN6enKAlU"},{"id":"G8G97TSBt7","en":"Apertus LLM Family Expansion via Distillation and Quantization","ko":"증류와 양자화를 통한 Apertus LLM 패밀리 확장","authors":"Andrei Panferov, Davit Melikidze, Dan Alistarh","abs":"<p>The wide adoption of LLMs has led to their use in great variety of applications and scenarios, such as chatbot assistants and data annotation, creating the need for the models to satisfy certain budget and hardware constraints. This has led to the trend of LLMs being released in batches consisting of similar models of various sizes for the family of models to adhere to as wide of a range of constraints as possible. In this paper, we validate distillation and quantization as a cost-effective way to expand model families to new sizes and hardware formats. Based on the open-recipe Apertus 8B LLM, we produce Apertus-v1.1 - a distilled family of models with up to 4B parameters trained on 1.7T permissive license tokens. We demonstrate cost-efficiency and strong accuracy performance of our approach for covering large ranges of hardware and systems requirements.</p>","absKo":"LLM의 광범위한 채택은 chatbot assistant와 data annotation 등 매우 다양한 application과 scenario에서의 사용으로 이어졌고, 이로 인해 model이 특정 budget과 hardware constraint를 만족해야 할 필요성이 커졌다. 그 결과, 가능한 한 넓은 범위의 제약을 만족시키기 위해 다양한 크기의 유사한 model들로 구성된 batch 형태로 LLM을 출시하는 추세가 나타났다. 본 논문에서는 distillation과 quantization이 model family를 새로운 size와 hardware format으로 확장하는 비용 효율적인 방법임을 검증한다. Open-recipe Apertus 8B LLM을 기반으로, 우리는 permissive license token 1.7T로 학습된 최대 4B parameter의 distilled model family인 Apertus-v1.1을 만든다. 우리는 다양한 hardware 및 system requirement를 포괄하는 데 있어 이 접근법의 비용 효율성과 강력한 정확도 성능을 입증한다.","link":"https://openreview.net/forum?id=G8G97TSBt7"},{"id":"jlkIyaG32w","en":"What Matters for NVFP4 Training? A Scaling Study of Low-Precision Pre-Training Recipes","ko":"NVFP4 학습에서 무엇이 중요한가? 저정밀 pre-training recipe의 스케일링 연구","authors":"Anjulie Agrusa, Andrei Panferov, Elizabeth Wei, Keith Wyss, Paul Gibbons, Erik Schultheis, Tijmen Blankevoort, Dan Alistarh","abs":"<p>Training large language models directly in 4-bit floating-point (FP) formats promises substantial improvements in throughput and energy efficiency. While some recipe design choices have been validated at scale, many promising approaches remain untested beyond small models and short token horizons, leaving open the question of which trends will hold. We present a systematic comparison of recent NVFP4 recipes at medium-model scale, up to 8B dense and 30B-A3B MoE models, trained up to 1T tokens and focus on which ingredients are necessary for accuracy recovery. We propose a final recipe grounded in the principles behind established stable NVFP4 training at scale, incorporating state-of-the-art techniques such as unbiased gradient estimation with lower quantization error than stochastic rounding. To the best of our knowledge, this is the strongest FP4 training result demonstrated at this scale to date in loss gap to BF16. Through ablation studies, we find that: (i) each technique in the optimized recipe measurably improves loss trajectory, (ii) selective high-precision layers are necessary for recovering accuracy at scale, (iii) not all tensors in the backward pass benefit equally from de-biasing, leaving room to apply complementary error-reduction techniques to the remaining tensors.</p>","absKo":"large language model을 4-bit floating-point(FP) 형식으로 직접 학습시키면 처리량과 에너지 효율을 크게 높일 수 있습니다. 일부 recipe 설계 선택은 대규모에서 검증되었지만, 많은 유망한 접근법은 작은 모델과 짧은 token horizon을 넘어서는 검증이 이루어지지 않아 어떤 경향이 유지될지는 여전히 열려 있습니다. 우리는 최근 NVFP4 recipe를 중간 규모에서 체계적으로 비교합니다. 최대 8B dense 및 30B-A3B MoE 모델, 최대 1T tokens까지 학습된 설정을 다루며, 정확도 회복에 어떤 ingredients가 필요한지에 초점을 맞춥니다. 우리는 대규모에서 확립된 안정적인 NVFP4 학습 원리에 기반한 최종 recipe를 제안하며, stochastic rounding보다 낮은 quantization error를 갖는 unbiased gradient estimation 같은 최첨단 기법을 포함합니다. 우리가 아는 한, 이는 현재까지 이 규모에서 BF16 대비 loss gap 측면에서 시연된 가장 강한 FP4 training result입니다. ablation study를 통해 다음을 확인했습니다: (i) 최적화된 recipe의 각 기법은 loss trajectory를 측정 가능하게 개선한다, (ii) 대규모에서 정확도를 회복하려면 selective high-precision layer가 필요하다, (iii) backward pass의 모든 tensor가 de-biasing의 혜택을 동일하게 받지는 않으며, 나머지 tensor에는 보완적인 error-reduction 기법을 적용할 여지가 남아 있다.","link":"https://openreview.net/forum?id=jlkIyaG32w"},{"id":"i2IDDWcoEw","en":"Fast Inference via Hierarchical Speculative Decoding","ko":"계층형 speculative decoding을 통한 빠른 inference","authors":"Clara Mohri, Amir Globerson, Haim Kaplan, Yishay Mansour, Tal Schuster","abs":"<p>Transformer language models generate text autoregressively, making inference latency proportional to the number of tokens generated. Speculative decoding reduces this latency without sacrificing output quality, by leveraging a small draft model to propose tokens that the larger target model verifies in parallel. In practice, however, there may exist a set of potential draft models—ranging from faster but less inaccurate, to slower yet more reliable. We introduce Hierarchical Speculative Decoding (HSD), an algorithm that stacks these draft models into a hierarchy, where each model proposes tokens, and the next larger model verifies them in a single forward pass, until finally the target model verifies tokens. We derive an expression for the expected latency of any such hierarchy and show that selecting the latency-optimal hierarchy can be done in polynomial time. Empirically, HSD gives up to 1.2× speed-up over the best single-draft baseline, demonstrating the practicality of our algorithm in reducing generation latency beyond previous techniques.</p>","absKo":"Transformer 언어 모델은 autoregressive하게 텍스트를 생성하므로, 추론 지연은 생성된 토큰 수에 비례한다. Speculative decoding은 작은 draft model이 토큰을 제안하고 더 큰 target model이 이를 병렬로 검증함으로써, 출력 품질을 희생하지 않고 지연을 줄인다. 그러나 실제로는 더 빠르지만 덜 정확한 모델부터 더 느리지만 더 신뢰할 수 있는 모델까지, 사용할 수 있는 draft model의 후보 집합이 존재할 수 있다. 우리는 이러한 draft model들을 계층 구조로 쌓는 Hierarchical Speculative Decoding(HSD)을 제안한다. 각 모델이 토큰을 제안하고, 다음으로 큰 모델이 이를 한 번의 forward pass로 검증하며, 마지막으로 target model이 토큰을 검증한다. 우리는 이러한 계층의 기대 지연에 대한 식을 유도하고, 지연 최적 계층을 다항 시간에 선택할 수 있음을 보인다. 실험적으로 HSD는 단일 draft baseline 중 최선 대비 최대 1.2×의 속도 향상을 제공하며, 이전 기법을 넘어 생성 지연을 줄이는 데 있어 우리의 알고리즘의 실용성을 보여준다.","link":"https://openreview.net/forum?id=i2IDDWcoEw"},{"id":"RzsvMA4pyG","en":"SparseSAM: Structured Sparsification of Activations in Segment Anything Models","ko":"SparseSAM: Segment Anything Models에서 activation의 구조화 희소화","authors":"Hoai-Chau Tran, Chi H Nguyen, Duy Minh Ho Nguyen, Mathias Niepert, Fan Lai, Khoa D Doan","abs":"<p>The Segment Anything Model (SAM) achieves strong open-vocabulary segmentation, but its ViT-based image encoders dominate inference latency and memory. Existing activation compression methods, such as token merging, reduce the token length to process, yet introduce non-trivial runtime overhead and encounter catastrophic quality drop under high compression. Other methods applying Sparse Attention focus on attention alone, leaving the MLP fully dense and capping achievable speedup.  We propose \\emph{SparseSAM}, a \\textit{(i) training-free structured sparsification} framework that jointly accelerates attention and MLP layers while preserving token identity. SparseSAM introduces \\textit{(ii) Stripe-Sort Attention}, which uses a deterministic Z-order permutation to transform dense attention into static hardware-friendly sparse patterns, eliminating dynamic masking overhead. SparseSAM further introduces a \\textit{(iii) Residual-Consistency MLP} that routes only informative tokens through the MLP while propagating remaining tokens through the residual pathway. Across four segmentation benchmarks, SparseSAM loses only 0.004 mIoU at a 0.4 density and 0.021 mIoU at 0.3, a 2.10× reduction in accuracy loss versus token merging advances, while achieving 2x faster inference and 2.8× memory reduction.</p>","absKo":"Segment Anything Model (SAM)은 강력한 open-vocabulary segmentation 성능을 달성하지만, ViT 기반 image encoder가 inference latency와 memory를 지배한다. token merging과 같은 기존 activation compression 방법은 처리할 token length를 줄여 주지만, 적지 않은 runtime overhead를 유발하고 높은 압축률에서는 치명적인 성능 저하를 겪는다. Sparse Attention을 적용하는 다른 방법들은 attention에만 초점을 맞추어 MLP는 완전히 dense하게 남겨 두므로, 달성 가능한 speedup이 제한된다. 우리는 token identity를 보존하면서 attention과 MLP layer를 함께 가속하는 \\emph{SparseSAM}, 즉 \\textit{(i) training-free structured sparsification} framework를 제안한다. SparseSAM은 \\textit{(ii) Stripe-Sort Attention}을 도입하는데, 이는 deterministic Z-order permutation을 사용해 dense attention을 static하고 hardware-friendly한 sparse pattern으로 변환하며 dynamic masking overhead를 제거한다. SparseSAM은 또한 \\textit{(iii) Residual-Consistency MLP}를 도입하여 정보성 있는 token만 MLP를 통과시키고 나머지 token은 residual pathway를 통해 전달한다. 네 개의 segmentation benchmark에서 SparseSAM은 density 0.4에서 mIoU를 0.004만 잃고, 0.3에서 0.021만 잃어 token merging 계열 대비 정확도 손실이 2.10× 더 적으면서, inference는 2배 더 빠르고 memory는 2.8× 줄인다.","link":"https://openreview.net/forum?id=RzsvMA4pyG"},{"id":"ZqB0Ab4juk","en":"VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval","ko":"VEDJE: 확장 가능한 video-text retrieval을 위한 비디오 효율적 판별적 joint encoder","authors":"Shahaf Wagner, Gabriele Serussi, Dan Ben Ami, Tomer Galanti, Chaim Baskin","abs":"<p>We recast scalable second-stage video-text retrieval as a *cache-design* problem and present VEDJE, a cached joint reranker for video.</p><p>The difficulty is that pairwise verification needs temporal evidence, but rerankers either re-encode frames per query, which is too slow at index scale, or compress each video into a single global summary, which discards the temporal cues verification depends on.</p><p>VEDJE keeps the cache *video-like*: a frozen visual backbone runs once per video and writes an ordered, frame-local cache that a 33M cross-encoder reads at query time, supported by a residual first-stage score prior and a training-only future-delta loss $\\mathcal{L}_{\\mathrm{delta}}$ that biases tight caches toward frame-to-frame change.</p><p>On MSR-VTT, MSVD, DiDeMo, and ActivityNet, VEDJE lifts R@1 over the matched first-stage retriever in both retrieval directions on all four datasets, reaching T2V R@1 of 56.5 on MSR-VTT and 56.8 on MSVD with the VideoCLIP-backed variant.</p><p>VEDJE thereby keeps pairwise verification on the candidate path while moving its visual cost entirely to indexing time, where it is paid once per video and amortized across all future queries.</p>","absKo":"우리는 확장 가능한 second-stage video-text retrieval을 *cache-design* 문제로 재정의하고, video를 위한 cached joint reranker인 VEDJE를 제시한다. 어려움은 pairwise verification이 temporal evidence를 필요로 한다는 점이지만, reranker는 query마다 frame을 다시 encode해야 하므로 index 규모에서 너무 느리거나, 각 video를 하나의 global summary로 압축해 verification이 의존하는 temporal cue를 잃어버린다는 점이다. VEDJE는 cache를 *video-like*하게 유지한다: frozen visual backbone이 video당 한 번 실행되어 ordered, frame-local cache를 기록하고, query 시점에 33M cross-encoder가 이를 읽는다. 여기에 residual first-stage score prior와, 고정밀 cache가 frame-to-frame change에 치우치도록 만드는 training-only future-delta loss $\\mathcal{L}_{\\mathrm{delta}}$가 결합된다. MSR-VTT, MSVD, DiDeMo, ActivityNet에서 VEDJE는 네 데이터셋 모두에서 양방향 retrieval에서 matched first-stage retriever 대비 R@1을 향상시키며, VideoCLIP 기반 variant로 MSR-VTT에서 T2V R@1 56.5, MSVD에서 56.8에 도달한다. 따라서 VEDJE는 pairwise verification을 candidate path에 유지하면서, visual cost를 전적으로 indexing time으로 옮겨 각 video당 한 번만 지불하고 이후의 모든 query에 amortize한다.","link":"https://openreview.net/forum?id=ZqB0Ab4juk"},{"id":"ss50E1FoBU","en":"ShadowSpec: Towards Zero Speculation Overhead for Substitute Speculative Decoding","ko":"ShadowSpec: 대체 speculative decoding의 추론 오버헤드를 0으로 만드는 방향","authors":"Kuan-Cheng Lin, Pei-Shuo Wang, Jian-Jia Chen, Chun-Che Yang, Chi-Chih Chang, Brian J Chan, Ning-Chi Huang, Mohamed S. Abdelfattah, Kai-Chiang Wu","abs":"<p>Deploying large language models (LLMs) on</p><p>memory constrained consumer GPUs requires</p><p>offloading model parameters to CPU memory,</p><p>where PCIe bandwidth becomes the dominat in-</p><p>ference bottleneck. While speculative decoding</p><p>(SD) reduces the number of target model invo-</p><p>cations, its sequential draft-then-verify pipeline</p><p>leaves the GPU idle during parameter loading,</p><p>limiting throughput in offloading environments.</p><p>We identify that draft model computation and tar-</p><p>get model parameter loading are heterogeneous,</p><p>non-contending operations that can be overlapped</p><p>without resource conflict. Building on this obser-</p><p>vation, we propose two complementary system-</p><p>level strategies to overlap draft tree extension with</p><p>target model parameter loading, converting idle</p><p>GPU cycles into productive draft computation.</p><p>Experiments on consumer GPU demonstrate a</p><p>17–54% end-to-end speedup over the SubSpec</p><p>baseline.</p>","absKo":"대규모 language model (LLM)을\n메모리 제약이 있는 consumer GPU에 배포하려면\n모델 parameter를 CPU memory로 offloading해야 하며,\n이때 PCIe bandwidth가 inference의 지배적인 병목이 된다.\nSpeculative decoding (SD)은 target model 호출 수를 줄이지만,\n순차적인 draft-then-verify pipeline 때문에 parameter loading 동안 GPU가 유휴 상태로 남아\noffloading 환경에서 throughput이 제한된다.\n우리는 draft model computation과 target model parameter loading이 서로 자원을 두고 경합하지 않는 heterogeneous operation이며,\n충돌 없이 겹쳐 실행할 수 있음을 보인다. 이러한 관찰을 바탕으로, 우리는 draft tree extension과 target model parameter loading을 겹치게 하는 두 가지 상보적인 system-level 전략을 제안하여, 유휴 GPU cycle을 생산적인 draft computation으로 전환한다.\nconsumer GPU에서의 실험은 SubSpec baseline 대비 end-to-end speedup 17–54\\%를 보여준다.","link":"https://openreview.net/forum?id=ss50E1FoBU"},{"id":"H0NoX02erJ","en":"SRA-MoE: Output-Aware Selective Router Alignment for MoE Quantization","ko":"SRA-MoE: MoE 양자화를 위한 출력 인지 선택적 라우터 정렬","authors":"Geonho Lee, Hancheol Park, Seunghyun Lee, Jungwook Choi, Tae-Ho Kim","abs":"<p>Mixture-of-Experts (MoE) architectures enable scalable large language models (LLMs), but their deployment remains memory-intensive, making quantization essential. However, quantizing MoE models introduces routing shifts, where expert selection differs from the baseline model and can degrade performance. Existing router alignment methods uniformly minimize routing discrepancies across all tokens, implicitly treating all routing shifts as equally important. In this work, we show routing shifts exhibit highly heterogeneous impact on model outputs: while some routing shifts substantially affect output behavior, many others induce negligible output discrepancy despite large routing changes. Motivated by this observation, we propose Selective Router Alignment (SRA), an output-aware alignment strategy that prioritizes optimization on tokens exhibiting meaningful output discrepancy after quantization. Experiments across multiple MoE LLMs and reasoning benchmarks show that SRA generally improves over conventional router alignment. Our findings suggest that effective MoE router alignment depends not only on reducing router shifts, but also on prioritizing those that meaningfully affect output behavior.</p>","absKo":"Mixture-of-Experts(MoE) architecture는 확장 가능한 large language model(LLM)을 가능하게 하지만, 배포 시 메모리 요구가 크므로 quantization이 필수적이다. 그러나 MoE 모델을 quantize하면 routing shift가 발생하는데, 이는 expert selection이 baseline 모델과 달라져 성능을 저하시킬 수 있다. 기존 router alignment 방법은 모든 token에 대해 routing discrepancy를 균일하게 최소화하며, 모든 routing shift를 동일하게 중요한 것으로 간주한다. 본 연구에서는 routing shift가 모델 출력에 미치는 영향이 매우 이질적임을 보인다. 일부 routing shift는 출력 행동에 상당한 영향을 주지만, 다른 많은 shift는 큰 routing 변화에도 불구하고 출력 discrepancy를 거의 유발하지 않는다. 이러한 관찰에 착안해 우리는 Selective Router Alignment(SRA)를 제안한다. 이는 quantization 후 의미 있는 output discrepancy를 보이는 token에 최적화를 우선 배분하는 output-aware alignment 전략이다. 여러 MoE LLM과 reasoning benchmark에 대한 실험에서 SRA는 일반적으로 기존 router alignment보다 향상된 성능을 보였다. 우리의 결과는 효과적인 MoE router alignment가 단지 router shift를 줄이는 데만 달린 것이 아니라, 출력 행동에 실질적으로 영향을 주는 shift를 우선하는 데도 달려 있음을 시사한다.","link":"https://openreview.net/forum?id=H0NoX02erJ"},{"id":"t2jfdgUnQZ","en":"Fault Robustness of Custom Floating-Point and Integer Formats: Datatype Selection as a Reliability-Aware Compression Decision","ko":"맞춤형 부동소수점 및 정수 형식의 오류 강건성: 데이터형 선택을 신뢰성 인지 압축 결정으로 보기","authors":"R S Haripriya, Jaynarayan T Tudu","abs":"<p>Deploying neural networks on resource-constrained edge devices</p><p>requires both memory-efficient quantization and robustness to</p><p>hardware-induced faults. We present a unified fault robustness study</p><p>across fourteen low-precision datatypes spanning custom Float16,</p><p>Float8, and integer representations under random multi-bit DRAM</p><p>disturbance faults. Robustness is evaluated through top-1 accuracy</p><p>degradation on MobileNetV2, EfficientNet-B0, and ResNet-18 across</p><p>CIFAR-10, CIFAR-100, and Tiny ImageNet. Our results show that</p><p>floating-point fault sensitivity is dominated by exponent-field</p><p>width, with wider exponents causing severe error amplification under</p><p>bit flips. Among all evaluated formats, E4M11 consistently</p><p>provides the best trade-off between clean accuracy and fault</p><p>robustness: it incurs only a $0.23\\%$ average clean-accuracy drop</p><p>relative to FP32 — on par with FP16 and BF16 — yet limits</p><p>worst-case exponent-fault accuracy loss to $6.1\\%$ on average,</p><p>versus $34.6\\%$ for FP16 and $36.2\\%$ for BF16, a</p><p>$5.7{\\times}$/$5.9{\\times}$ robustness gain. Although INT16 is</p><p>structurally immune to exponent faults, it delivers ${\\sim}10.7$ dB</p><p>lower Signal-to-Quantisation-Noise Ratio (SQNR) than E4M11 with no</p><p>compression benefit; INT8 avoids exponent amplification but suffers</p><p>${\\sim}58.8$\\,dB lower SQNR and larger accuracy degradation on</p><p>harder tasks. E4M11 thus uniquely combines near-FP32 accuracy, the</p><p>highest SQNR (${\\sim}79.8$\\,dB) among all formats studied, and</p><p>superior fault tolerance, establishing datatype selection as a reliability-aware design mechanism that requires  no retraining or</p><p>error-correction hardware.</p>","absKo":"자원 제약이 있는 edge device에 neural network를 배치하려면 memory-efficient quantization과 hardware-induced fault에 대한 robustness가 모두 필요하다. 우리는 custom Float16, Float8, integer representation을 포함하는 14개의 low-precision datatype 전반에서, random multi-bit DRAM disturbance fault 하에 수행한 통합 fault robustness study를 제시한다. Robustness는 CIFAR-10, CIFAR-100, Tiny ImageNet 전반에서 MobileNetV2, EfficientNet-B0, ResNet-18의 top-1 accuracy degradation으로 평가된다. 우리의 결과는 floating-point의 fault sensitivity가 exponent-field width에 의해 지배되며, exponent가 더 넓을수록 bit flip 하에서 심각한 error amplification이 발생함을 보여준다. 평가한 모든 format 중 E4M11은 clean accuracy와 fault robustness 사이에서 가장 좋은 trade-off를 일관되게 제공한다. FP32 대비 clean-accuracy drop은 평균 0.23\\%에 불과하여 FP16 및 BF16과 비슷한 수준이지만, worst-case exponent-fault accuracy loss는 평균 6.1\\%로 제한되며, 이는 FP16의 34.6\\%, BF16의 36.2\\%에 비해 5.7{\\times}/5.9{\\times}의 robustness 향상이다. INT16은 구조적으로 exponent fault에 면역이지만, compression benefit 없이 E4M11보다 Signal-to-Quantisation-Noise Ratio(SQNR)가 약 10.7 dB 낮다; INT8은 exponent amplification을 피하지만 SQNR이 약 58.8 dB 더 낮고 더 어려운 task에서 accuracy degradation도 더 크다. 따라서 E4M11은 거의 FP32 수준의 accuracy, 연구한 모든 format 중 가장 높은 SQNR(약 79.8 dB), 그리고 우수한 fault tolerance를 독특하게 결합하며, retraining이나 error-correction hardware 없이도 신뢰성 인식형 설계 메커니즘으로서 datatype selection의 중요성을 보여준다.","link":"https://openreview.net/forum?id=t2jfdgUnQZ"},{"id":"nsIOhilpBE","en":"SubspacePath Pruner: Inference-time Pruning via Probe-based Representation–Parameter Coupling","ko":"SubspacePath Pruner: probe 기반 표현-매개변수 결합을 통한 추론 시 pruning","authors":"Zhiren Gong, Yikun Hou, Fan Wu, CHE WANG, Fuyao Zhang, Tiantong Wu, Yurong Hao, Jiaming Zhang, Yiyang Duan, Tiantong Wang, Fei Huang, Chau Yuen, Wei Yang Bryan Lim","abs":"<p>Large-scale dedicated application of LLMs in diverse scenarios increasingly demands specialized model inference behavior under strict constraints of accuracy, latency, and memory. However, the heterogeneous and long-tailed nature of real-world specialized scenarios makes it difficult to obtain training data and optimize models. We study a practical inference-time specialization setting: given an LLM base, we compile a reusable, budget-bounded pathway/subnetwork within a specific scenario. Our approach is motivated by an empirical coupling phenomenon: input scenario sets aligned with similar representation subspaces (e.g., domain) in embedding space tend to activate a consistent and sparse set of internal reasoning pathways in model parameter space. To build the bridge between them, we propose probe-based SubspacePath Pruner with two core components: (1) Domain-Basis Synthesis (DBS) constructs a quasi-orthogonal basis of domain axes in embedding space, serving as a stable coordinate system. (2) Probe-based Scenario Pruning (PSP) uses efficient layer-wise linear probes to estimate axis alignment and compute budgeted head-wise pathways for a specific scenario. Experiments on LLaMA-2-13B show 29.3 average Recall on cross-domain tests (vs. 24.7 dense) and 21.6 on cross-dataset tests (vs. 25.5 dense) with 1.27x speedup at ~30% pruning ratio.</p>","absKo":"다양한 시나리오에서 LLM을 대규모로 전용 적용하려면, 정확도, latency, memory에 대한 엄격한 제약 아래 특화된 model inference behavior가 점점 더 요구된다. 그러나 현실 세계의 특화 시나리오는 이질적이고 long-tailed한 특성을 가지므로 학습 데이터를 확보하고 모델을 최적화하기가 어렵다. 우리는 실용적인 inference-time specialization 설정을 연구한다. 즉, LLM base가 주어졌을 때 특정 시나리오 내에서 재사용 가능한 예산 제한 pathway/subnetwork를 구성한다. 우리의 접근은 경험적 coupling 현상에서 출발한다. 즉, embedding space에서 유사한 representation subspace(예: domain)에 정렬된 입력 시나리오 집합은 model parameter space에서 일관되고 sparse한 내부 reasoning pathway 집합을 활성화하는 경향이 있다. 이 둘을 연결하기 위해 우리는 두 가지 핵심 구성요소를 갖는 probe-based SubspacePath Pruner를 제안한다. (1) Domain-Basis Synthesis(DBS)는 embedding space에서 domain axis의 quasi-orthogonal basis를 구성하여 안정적인 coordinate system 역할을 한다. (2) Probe-based Scenario Pruning(PSP)은 효율적인 layer-wise linear probe를 사용해 axis alignment를 추정하고, 특정 시나리오를 위한 budgeted head-wise pathway를 계산한다. LLaMA-2-13B에서 수행한 실험은 cross-domain test에서 평균 Recall 29.3( dense 24.7 대비)과 cross-dataset test에서 21.6( dense 25.5 대비)을 보였으며, 약 30% pruning ratio에서 1.27배 속도 향상을 달성했다.","link":"https://openreview.net/forum?id=nsIOhilpBE"},{"id":"yxoylbLB7k","en":"On the Optimal Reasoning Length for RL-Trained Language Models","ko":"RL로 학습한 언어 모델의 최적 추론 길이에 관하여","authors":"Daisuke Nohara, Taishi Nakamura, Rio Yokota","abs":"<p>Reinforcement learning substantially improves reasoning in large language models,</p><p>but it also tends to lengthen chain-of-thought outputs and increase computational cost.</p><p>Although length-control methods have been proposed,</p><p>the length–accuracy relationship they induce remains unclear.</p><p>We train policies with several length-control methods on multiple base models in a controlled setup and find that,</p><p>across both mathematical reasoning and code generation,</p><p>accuracy is non-monotonic in output length, peaking at an intermediate value.</p><p>Mode accuracy, however, continues to improve with length even in settings where sample accuracy plateaus or declines,</p><p>indicating that the non-monotonic length–accuracy relationship is driven by dispersion around an increasingly correct center.</p>","absKo":"Reinforcement learning은 large language model의 reasoning을 크게 향상시키지만,\nchain-of-thought output을 길게 만들고 계산 비용을 증가시키는 경향도 있습니다.\nLength-control method가 제안되어 왔지만,\n그로 인해 유도되는 length–accuracy 관계는 여전히 불분명합니다.\n우리는 여러 base model에서 여러 length-control method로 policy를 통제된 환경에서 학습시키고,\n수학적 reasoning과 code generation 모두에서,\naccuracy가 output length에 대해 non-monotonic하며 중간 정도의 값에서 최고점을 찍는다는 사실을 발견했습니다.\n반면 mode accuracy는 sample accuracy가 정체되거나 감소하는 설정에서도 length가 늘어날수록 계속 향상되며,\n이 non-monotonic length–accuracy 관계가 점점 더 정확해지는 중심 주변의 분산에 의해 유도된다는 점을 시사합니다.","link":"https://openreview.net/forum?id=yxoylbLB7k"},{"id":"Cc4fa11JSz","en":"MoNe: Modular Neural Memory for Efficient Long Context Inference","ko":"MoNe: 효율적인 장문 맥락 추론을 위한 모듈형 신경 기억","authors":"Wonguk Cho, Kyubyung Chae, Tribhuvanesh Orekondy, Sunghyun Park, Hyoungwoo Park, Jeongho Kim, Arash Behboodi, Kyuwoong Hwang, Sungrack Yun","abs":"<p>We present MoNe, a lightweight modular neural memory that attaches to any frozen</p><p>pretrained Transformer to enable long-context inference without retraining.</p><p>MoNe reads context in fixed-size segments via test-time learning of fast-weight neural</p><p>memory networks with layer-localized gradient updates; at inference, the memory generates keys and values from the query tokens alone, with no context tokens re-read. This two-phase design decouples inference cost from context length, achieving $O(N)$</p><p>preprocessing and $O(1)$ query cost with peak GPU memory that does not grow with $N$.</p><p>At 128K tokens, MoNe reduces both compute and peak GPU memory by approximately 80\\%</p><p>compared to ICL with only 6.4\\% parameter overhead. MoNe generalizes to context lengths far beyond the</p><p>backbone&#x27;s native window, achieving strong performance on needle-in-a-haystack</p><p>and word extraction benchmarks from RULER, where ICL degrades sharply.</p>","absKo":"우리는 MoNe를 제안한다. MoNe는 어떠한 frozen pretrained Transformer에도 붙일 수 있는 가벼운 모듈형 neural memory로, 재학습 없이 long-context inference를 가능하게 한다.\nMoNe는 test-time learning으로 fast-weight neural memory networks를 학습하고 layer-localized gradient updates를 적용하여, context를 고정 크기 segment 단위로 읽는다. 추론 시에는 memory가 query tokens만으로 keys와 values를 생성하며, context tokens를 다시 읽지 않는다. 이 두 단계 설계는 inference cost를 context length와 분리하여, $O(N)$ preprocessing과 $O(1)$ query cost를 달성하고, peak GPU memory가 $N$에 따라 증가하지 않도록 한다.\n128K tokens에서 MoNe는 ICL과 비교해 compute와 peak GPU memory를 각각 약 80\\% 줄이면서도 parameter overhead는 6.4\\%에 불과하다. MoNe는 backbone의 native window를 훨씬 넘어서는 context length로 일반화되며, ICL이 급격히 성능 저하를 보이는 RULER의 needle-in-a-haystack 및 word extraction benchmarks에서 강한 성능을 달성한다.","link":"https://openreview.net/forum?id=Cc4fa11JSz"},{"id":"07e99XvHxF","en":"Modality-Aware Block Rotation for Vision-Language-Action Model Quantization","ko":"Vision-Language-Action 모델 양자화를 위한 모달리티 인지 블록 회전","authors":"U-Yeong Kim, Suk-Ju Kang","abs":"<p>Vision-Language-Action (VLA) models enable unified perception, reasoning, and control, but their deployment is constrained by the large memory cost.</p><p>Although post-training quantization (PTQ) is a promising solution, existing rotation-based methods fail under 4-bit quantization.</p><p>We attribute this failure to cross-modal heterogeneity, where vision and language tokens share the same layers but exhibit highly heterogeneous activation statistics, resulting in severe mismatch in both activation scaling and Hessian structure.</p><p>This mismatch fundamentally breaks the assumptions behind existing rotation-based and Hessian-aware quantization methods.</p><p>We propose \\emph{Modality-Aware Block Rotation} (MABR), which preserves modality-specific channel structure by restricting rotation within modality-consistent groups.</p><p>This prevents the diffusion of dominant language activations into vision channels and enables stable low-bit quantization.</p><p>On OpenVLA-7B, MABR substantially bridges the gap to full-precision performance and remains stable where naive 4-bit quantization collapses, incurring only a 3.0\\% performance drop without any fine-tuning.</p>","absKo":"Vision-Language-Action(VLA) 모델은 통합된 perception, reasoning, control을 가능하게 하지만, 큰 메모리 비용 때문에 배포가 제약된다. \nPost-training quantization(PTQ)은 유망한 해결책이지만, 기존 rotation-based 방법은 4-bit quantization에서 실패한다.\n우리는 이 실패의 원인을 cross-modal heterogeneity로 본다. 즉, vision token과 language token이 같은 layer를 공유하지만 activation 통계가 매우 이질적이어서 activation scaling과 Hessian structure 모두에서 심각한 mismatch가 발생한다.\n이 mismatch는 기존 rotation-based 및 Hessian-aware quantization 방법의 가정을 근본적으로 무너뜨린다. \n우리는 modality-specific channel structure를 modality-consistent group 내에서만 rotation하도록 제한함으로써 보존하는 \\emph{Modality-Aware Block Rotation}(MABR)을 제안한다. \n이로써 dominant language activation이 vision channel로 확산되는 것을 방지하고 안정적인 low-bit quantization을 가능하게 한다. \nOpenVLA-7B에서 MABR은 full-precision 성능과의 격차를 크게 좁히며, naive 4-bit quantization이 붕괴하는 상황에서도 안정적으로 동작하고, fine-tuning 없이도 성능 하락은 3.0\\%에 그친다.","link":"https://openreview.net/forum?id=07e99XvHxF"},{"id":"1CjuJgwTqF","en":"Why Limit the Residual Stream to Layers and Not Tokens? Persistent Memory for Continuous Latent Reasoning","ko":"잔차 스트림을 층에만 제한하고 토큰에는 두지 않는 이유는? 연속 잠재 추론을 위한 persistent memory","authors":"Mujtaba farhan, Ashwinee Panda, Maheep Chaudhary, Sean Wu","abs":"<p>Large language models (LLMs) have demon-</p><p>strated remarkable reasoning abilities on math-</p><p>ematical and multi-hop planning tasks. The</p><p>CoCoNuT (Chain of Continuous Thought)</p><p>paradigm (Hao et al., 2024) extends this by en-</p><p>abling models to reason in latent space, exploring</p><p>multiple reasoning paths simultaneously rather</p><p>than committing to a single chain early on. How-</p><p>ever, we identify a limitation we term the con-</p><p>cept bottleneck. At each reasoning pass, inter-</p><p>mediate hidden states are overwritten, causing</p><p>the model to lose critical facts computed in ear-</p><p>lier steps as reasoning depth increases. We ob-</p><p>serve this empirically. On HotpotQA, vanilla Co-</p><p>CoNuT (10.4% EM) fails to improve over the</p><p>CoT baseline (11.0% EM), and performance de-</p><p>grades with curriculum depth on GSM8K. To ad-</p><p>dress this, we propose AGCLR (Adaptive Gated</p><p>Continuous Latent Reasoning), which augments</p><p>CoCoNuT with a Gated Concept Stream. A per-</p><p>sistent residual memory maintained across all rea-</p><p>soning passes, controlled by three learned gates:</p><p>a write gate that commits intermediate facts to</p><p>memory, a read gate that retrieves relevant prior</p><p>states, and a forget gate that prunes irrelevant</p><p>context. Evaluated on GSM8K, HotpotQA, and</p><p>ProsQA using GPT-2 as our base model, AG-</p><p>CLR achieves consistent improvements across</p><p>all types of datasets. With the performance gap</p><p>compounding as curriculum depth increases, di-</p><p>rectly resolving the concept bottleneck. Code</p><p>available at https://anonymous.4open.</p><p>science/r/JJJJ/README.md</p>","absKo":"Large language models (LLMs)은 수학적 및 multi-hop planning 과제에서 놀라운 reasoning 능력을 보여왔다. CoCoNuT (Chain of Continuous Thought) paradigm (Hao et al., 2024)은 이를 확장하여, 모델이 latent space에서 추론하도록 하고, 단일 chain에 일찍 고정되기보다 여러 reasoning path를 동시에 탐색할 수 있게 한다. 그러나 우리는 concept bottleneck이라 부르는 한계를 식별했다. 각 reasoning pass에서 intermediate hidden state가 덮어써지기 때문에, reasoning depth가 증가할수록 모델은 이전 단계에서 계산한 중요한 사실을 잃게 된다. 우리는 이를 실증적으로 관찰했다. HotpotQA에서 vanilla CoCoNuT(10.4% EM)은 CoT baseline(11.0% EM)을 개선하지 못했고, GSM8K에서는 curriculum depth가 증가할수록 성능이 저하되었다. 이를 해결하기 위해 우리는 AGCLR(Adaptive Gated Continuous Latent Reasoning)을 제안하며, 여기에 Gated Concept Stream을 추가한다. 이는 모든 reasoning pass에 걸쳐 유지되는 persistent residual memory로, 세 개의 learned gate에 의해 제어된다: intermediate fact를 memory에 기록하는 write gate, 관련 prior state를 불러오는 read gate, 그리고 무관한 context를 제거하는 forget gate이다. GPT-2를 base model로 사용하여 GSM8K, HotpotQA, ProsQA에서 평가한 결과, AGCLR은 모든 유형의 dataset에서 일관된 개선을 달성했다. 성능 격차는 curriculum depth가 증가할수록 더 커지며, concept bottleneck을 직접적으로 해소한다. Code available at https://anonymous.4open.science/r/JJJJ/README.md","link":"https://openreview.net/forum?id=1CjuJgwTqF"},{"id":"Bew2D82sWR","en":"Re-evaluating Confidence Remasking in Masked Diffusion Language Models","ko":"Masked diffusion language model에서 confidence remasking 재평가","authors":"Stipe Frkovic, Metod Jazbec, Dan Zhang, Christian A. Naesseth, Ilija Bogunovic, Eric Nalisnick","abs":"<p>Masked diffusion language models (dLLMs) have recently emerged as a competitive alternative to autoregressive language models, with the promise of faster inference via parallel token generation. A notable limitation of the masked formulation, however, is that once a token has been unmasked it can no longer be revised, leaving dLLMs vulnerable to early sampling mistakes. To address this, a growing body of work has sought to extend masked dLLMs with self-correcting (remasking) capabilities. One appealing subset of these methods does so in a training-free, post-hoc manner based on token confidence, with encouraging early reported results. In this work, we revisit the empirical evaluation of a representative post-hoc remasking method, WINO, and find that under standard decoding settings (shorter block lengths) it brings little-to-no benefit over confidence-based unmasking alone. Extending the evaluation to non-greedy decoding, we find that while confidence-based remasking can mitigate errors introduced by increased stochasticity to some extent, it also exacerbates the diversity collapse previously reported for confidence-based unmasking. Overall, our results show that the benefits of post-hoc confidence-based remasking are highly setting-dependent, underscoring the need for a more comprehensive evaluation framework.</p>","absKo":"Masked diffusion language model(dLLM)은 최근 autoregressive language model의 경쟁적 대안으로 부상했으며, token을 병렬로 생성함으로써 더 빠른 inference를 제공할 가능성을 보여준다. 그러나 masked formulation의 주목할 만한 한계는 token이 한 번 unmask되면 더 이상 수정할 수 없다는 점으로, dLLM이 초기 sampling mistake에 취약해진다는 것이다. 이를 해결하기 위해 점점 더 많은 연구가 self-correcting(remasking) 기능을 masked dLLM에 확장하려고 해 왔다. 특히 매력적인 하위 집합은 token confidence에 기반한 training-free, post-hoc 방식으로 이를 수행하며, 초기 보고에서는 유망한 결과를 보여주었다. 본 연구에서는 대표적인 post-hoc remasking method인 WINO의 empirical evaluation을 다시 살펴보고, 표준 decoding setting(더 짧은 block length)에서는 confidence-based unmasking만 사용하는 것에 비해 거의 또는 전혀 이득이 없음을 발견했다. Non-greedy decoding까지 평가를 확장해 보면, confidence-based remasking이 증가한 stochasticity로 인해 유발되는 error를 어느 정도 완화할 수는 있지만, confidence-based unmasking에서 이미 보고된 diversity collapse를 오히려 악화시키기도 한다. 전반적으로, post-hoc confidence-based remasking의 이점은 setting에 매우 의존적이며, 더 포괄적인 evaluation framework의 필요성을 강조한다.","link":"https://openreview.net/forum?id=Bew2D82sWR"},{"id":"zEJ6juNLZi","en":"EfficientRollout: System-Aware Self-Speculative Decoding for RL Rollouts","ko":"EfficientRollout: RL rollout을 위한 시스템 인지 self-speculative decoding","authors":"Minseo Kim, Minjae Lee, Seunghyuk Oh, Kevin Galim, Donghoon Kim, Coleman Richard Charles Hooper, Harman Singh, Amir Gholami, Hyung Il Koo, Wonjun Kang","abs":"<p>Reinforcement learning (RL) has become a representative post-training paradigm for large language models (LLMs), but rollout generation remains a dominant latency bottleneck. Autoregressive (AR) sampling decodes responses sequentially, and a small number of long-tailed generations often determine completion time. Speculative decoding (SD) is a well-established technique for serving fixed LLMs that reduces latency by drafting tokens and verifying them in parallel. However, its practical speedups do not directly carry over to RL rollouts: (i) the continuously evolving target model makes static drafters stale, and (ii) active batch sizes shrink throughout rollout decoding, changing whether verification overhead can be amortized. We present EfficientRollout, a system-aware self-SD framework for RL rollouts that induces a quantized drafter directly from the target model (i.e. self-speculative decoding), keeping it coupled to the evolving policy without separate drafter pretraining or online adaptation. It further coordinates a system-aware SD toggle with acceptance-aware draft-length adaptation, speculating only in beneficial regimes while matching the drafting budget to evolving drafter quality. EfficientRollout reduces rollout and end-to-end latency by up to 19.6% and 12.7%, respectively, over an accelerated AR rollout baseline while preserving model quality. Code is available at https://github.com/furiosa-ai/EfficientRollout.</p>","absKo":"Reinforcement learning (RL)은 large language model (LLM)을 위한 대표적인 post-training paradigm이 되었지만, rollout generation은 여전히 지배적인 latency bottleneck이다. Autoregressive (AR) sampling은 응답을 순차적으로 디코딩하며, 소수의 long-tailed generation이 completion time을 좌우하는 경우가 많다. Speculative decoding (SD)은 고정된 LLM을 serving할 때 잘 정립된 기법으로, token을 초안으로 생성한 뒤 병렬로 검증하여 latency를 줄인다. 그러나 실제 speedup은 RL rollout에 직접적으로 이어지지 않는다: (i) 지속적으로 진화하는 target model은 static drafter를 금세 stale하게 만들고, (ii) rollout decoding이 진행됨에 따라 active batch size가 줄어들어 verification overhead를 상쇄할 수 있는지가 달라지기 때문이다. 우리는 RL rollout을 위한 system-aware self-SD framework인 EfficientRollout을 제시한다. 이 framework는 target model에서 직접 quantized drafter를 유도해(self-speculative decoding) 별도의 drafter pretraining이나 online adaptation 없이도 진화하는 policy와 결합되도록 유지한다. 또한 system-aware SD toggle과 acceptance-aware draft-length adaptation을 조율하여, 유리한 regime에서만 speculative하게 동작하면서 draft budget을 변화하는 drafter quality에 맞춘다. EfficientRollout은 가속된 AR rollout baseline 대비 rollout latency를 최대 19.6%, end-to-end latency를 최대 12.7%까지 줄이면서 model quality를 보존한다. 코드는 https://github.com/furiosa-ai/EfficientRollout 에서 제공된다.","link":"https://openreview.net/forum?id=zEJ6juNLZi"},{"id":"llfDaQar98","en":"Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts","ko":"Hybrid Linear Attention을 제대로 다루기: 매우 긴 context를 위한 효율적 distillation과 효과적인 아키텍처","authors":"Yingfa Chen, Zhen Leng Thai, Zihan Zhou, Zhu Zhang, Xingyu Shen, Shuo Wang, Chaojun Xiao, Xu Han, Zhiyuan Liu","abs":"<p>Hybrid Transformer architectures, which combine softmax attention blocks and recurrent neural networks (RNNs), have shown a desirable performance-throughput tradeoff for long-context modeling, but their adoption and studies are hindered by the prohibitive cost of large-scale pre-training from scratch. Some recent studies have shown that pre-trained softmax attention blocks can be converted into RNN blocks through parameter transfer and knowledge distillation. However, these transfer methods require substantial amounts of training data (more than 10B tokens), and the resulting hybrid models also exhibit poor long-context performance, which is the scenario where hybrid models enjoy significant inference speedups over Transformer-based models. In this paper, we present HALO (Hybrid Attention via Layer Optimization), a pipeline for distilling Transformer models into RNN-attention hybrid models. We then present HypeNet, a hybrid architecture with superior length generalization enabled by a novel position encoding scheme (named HyPE) and various architectural modifications. We convert the Qwen3 series into HypeNet using HALO, achieving performance comparable to the original Transformer models while enjoying superior long-context performance and efficiency. The conversion requires just 2.3B tokens, less than 0.01% of their pre-training data</p>","absKo":"softmax attention block과 recurrent neural network(RNN)를 결합한 Hybrid Transformer architecture는 long-context modeling에서 바람직한 performance-throughput tradeoff를 보여 왔지만, 대규모 pre-training을 scratch에서 수행해야 하는 지나치게 큰 비용 때문에 채택과 연구가 제약되어 왔다. 최근 일부 연구는 pre-trained softmax attention block을 parameter transfer와 knowledge distillation을 통해 RNN block으로 변환할 수 있음을 보였다. 그러나 이러한 transfer method는 상당한 양의 training data(100억 token 이상)를 요구하며, 결과로 얻는 hybrid model 역시 Transformer-based model에 비해 inference speedup 이 큰 상황인 long-context performance에서 성능이 낮다. 본 논문에서는 Transformer model을 RNN-attention hybrid model로 distill하기 위한 pipeline인 HALO(Hybrid Attention via Layer Optimization)를 제시한다. 이어서, 새로운 position encoding scheme(HyPE로 명명)과 다양한 architecture modification을 통해 뛰어난 length generalization을 달성하는 hybrid architecture인 HypeNet을 소개한다. 우리는 HALO를 사용해 Qwen3 series를 HypeNet으로 변환했으며, 원래 Transformer model과 동등한 성능을 유지하면서도 더 우수한 long-context performance와 효율성을 얻었다. 이 변환에 필요한 token 수는 pre-training data의 0.01%도 되지 않는 23억 token에 불과하다","link":"https://openreview.net/forum?id=llfDaQar98"},{"id":"PvnR2LDCOs","en":"Latent Cache Flow: Model-to-Model Communication Without Text","ko":"Latent Cache Flow: 텍스트 없이 모델 간 통신하기","authors":"Maximillian Rossi, Prajwal Raghunath, Eugene Wu","abs":"<p>LLM agents today communicate via text, which incurs considerable latency and information loss due to the need to autoregressively decode the sharer model&#x27;s state and encode at the receiver model. Recent work such as Cache-to-Cache seeks to exchange KV caches by learning adapters that translate sharer KV matrices to the receiver model. However, the adapters are large and expensive to train, and translate individual tokens, which requires the target context to be identical. This is unsuitable for agent communication, where the LLMs have differing context.</p><p>We introduce Latent Cache Flow (LCF). To address efficiency, we observe that keys and values can be jointly translated and compressed, reducing the adapter to about 4% of C2C&#x27;s size. To address differing context, we design the adapter to transmit a summary of new information that the target model does not have. Our early experiments show that a pruned 13 MB LCF adapter can be more accurate than C2C at 956 MB in shared-context settings; for different contexts, LCF improves F1 by 7.5% and Exact Match by 23% while 8.5 times faster than text-based communication.</p>","absKo":"오늘날 LLM agent들은 텍스트를 통해 통신하는데, 이는 sharer model의 state를 autoregressively decode하고 receiver model에서 encode해야 하므로 상당한 지연과 정보 손실을 초래한다. Cache-to-Cache와 같은 최근 연구는 sharer의 KV matrix를 receiver model로 변환하는 adapter를 학습하여 KV cache를 교환하려고 시도했다. 그러나 이러한 adapter는 크고 학습 비용이 많이 들며, 개별 token을 변환하므로 target context가 완전히 동일해야 한다. 이는 LLM들이 서로 다른 context를 가지는 agent communication에는 적합하지 않다.\n\n우리는 Latent Cache Flow(LCF)를 제안한다. 효율성 문제를 해결하기 위해, key와 value를 공동으로 변환하고 압축할 수 있음을 관찰했으며, 그 결과 adapter 크기를 C2C의 약 4% 수준으로 줄였다. 서로 다른 context 문제를 해결하기 위해, target model이 가지고 있지 않은 새로운 정보의 요약을 전달하도록 adapter를 설계했다. 초기 실험에서, 13 MB로 pruning된 LCF adapter는 shared-context setting에서 956 MB의 C2C보다 더 정확할 수 있음을 보였다. 서로 다른 context에서는 LCF가 F1을 7.5% 향상시키고 Exact Match를 23% 향상시키면서, text-based communication보다 8.5배 빠르다.","link":"https://openreview.net/forum?id=PvnR2LDCOs"},{"id":"0ky5Hq9JzZ","en":"SpiralFovea: Input-Adaptive Foveated Tokenization as a Third Lever of Resource-Adaptive Inference","ko":"SpiralFovea: 자원 적응형 추론의 세 번째 축으로서 입력 적응형 foveated tokenization","authors":"KyanMahajan, Mohammad Saqlain","abs":"<p>Most adaptive-inference techniques for foundation models change what the model does — early exit, MoE routing, KV-cache compression, dynamic attention sparsity. The input that hits the backbone, however, remains a fixed-grid tokenisation indifferent to image content. We argue that this is a missed lever. We present SpiralFovea, a parameter-free, input-adaptive tokeniser in which token identity, location, scale, and count are all functions of local visual entropy and selection completes before any backbone parameter is queried. Around content-driven hotspot anchors, multi-scale spiral rings produce ≤ 78 patches that replace the standard 196-patch ViT grid at the input stage. Across four canonical fine-grained benchmarks SpiralFovea yields +1.7–2.1 pp accuracy with a 60% reduction in input tokens, a 84% reduction in self-attention FLOPs at every transformer layer, and 18–29% throughput gains over the matched static tokenisation baseline. A controlled ablation on CUB-200-2011 Genus across four backbones reveals a clean diagnostic: the gain magnitude tracks inversely with the strength of the backbone’s whole-image positional prior, isolating self-supervised foundation models as the regime where input-adaptive tokenisation is most valuable.</p>","absKo":"파운데이션 모델을 위한 대부분의 adaptive-inference 기법은 모델이 무엇을 하느냐를 바꾼다. 예를 들어 early exit, MoE routing, KV-cache compression, dynamic attention sparsity가 그렇다. 그러나 backbone에 들어가는 입력은 이미지 내용과 무관하게 고정된 그리드 토큰화로 남아 있다. 우리는 이것이 놓친 레버라고 주장한다. 우리는 SpiralFovea를 제안하는데, 이는 parameter-free의 input-adaptive tokeniser로서 token의 identity, location, scale, count가 모두 local visual entropy의 함수이며, 선택은 어떤 backbone parameter도 조회되기 전에 끝난다. content-driven hotspot anchor 주변에서 multi-scale spiral ring이 표준 196-patch ViT grid를 입력 단계에서 대체하는 최대 78개의 patch를 생성한다. 네 개의 대표적인 fine-grained benchmark 전반에서 SpiralFovea는 입력 token을 60% 줄이면서 정확도를 +1.7–2.1 pp 향상시키고, 각 transformer layer에서 self-attention FLOPs를 84% 줄이며, 대응되는 static tokenisation baseline 대비 처리량을 18–29% 향상시킨다. 네 개의 backbone에 걸친 CUB-200-2011 Genus에 대한 통제된 ablation은 깔끔한 진단을 보여준다. 이득의 크기는 backbone의 whole-image positional prior 강도와 반비례하며, input-adaptive tokenisation이 가장 가치 있는 regime이 self-supervised foundation model임을 분리해낸다.","link":"https://openreview.net/forum?id=0ky5Hq9JzZ"},{"id":"cg1wTCJjjk","en":"KVgrad: Query-Agnostic KV Cache Eviction via Gradient-based Global Importance Scoring","ko":"KVgrad: gradient 기반 전역 중요도 점수로 query-agnostic KV cache 축출","authors":"Jihwan Kwak, Sunghwan Joo, Jung Yoon Hwang, Jaeseok Byun, Taesup Moon","abs":"<p>Transformer-based Large Language Models (LLMs) suffer from substantial memory overhead and latency bottlenecks due to the linear scaling of the Key-Value (KV) cache. Existing KV cache eviction methods typically rely on local heuristics, scoring cached entries by their immediate contribution to the attention output while ignoring the downstream propagation of information to the final representation. To that end, we propose KVgrad, which carries out the eviction by using a query-agnostic importance score that quantifies a cache entry&#x27;s global impact on the final representation. Based on a simple analysis using Taylor approximation and chain-rule, KVgrad factorizes the impact of a cached value into a linear local component and a gradient-based downstream sensitivity term. Then, we apply a magnitude-aware scoring scheme to stabilize the importance score. Evaluations on RULER and LongBench demonstrate that KVgrad achieves an average maximum compression ratio of 6.42x with negligible performance loss (&lt;2%), significantly outperforming strong local-only state-of-the-art baselines. Furthermore, we demonstrate that our signal is highly amenable to distillation; by training a lightweight MLP to predict KVgrad scores from local hidden-state features, we enable high-fidelity, on-the-fly compression at negligible computational cost.</p>","absKo":"Transformer 기반 Large Language Model (LLM)은 Key-Value (KV) cache의 선형적 스케일링 때문에 상당한 메모리 오버헤드와 latency 병목을 겪는다. 기존 KV cache eviction 방법은 대개 지역 휴리스틱에 의존하여, 캐시된 항목이 attention output에 즉시 기여하는 정도만 점수화하고 최종 representation으로의 정보 전파는 무시한다. 이를 위해 우리는 KVgrad를 제안한다. KVgrad는 query-agnostic importance score를 사용하여 eviction을 수행하며, 이는 cache entry가 최종 representation에 미치는 전역적 영향을 정량화한다. Taylor approximation과 chain-rule을 사용한 간단한 분석에 기반해, KVgrad는 캐시된 value의 영향력을 선형적인 local component와 gradient 기반 downstream sensitivity term으로 분해한다. 그런 다음 magnitude-aware scoring scheme을 적용하여 중요도 점수를 안정화한다. RULER와 LongBench에서의 평가 결과, KVgrad는 평균 최대 compression ratio 6.42x를 사실상 무시할 수 있는 성능 저하(<2%)로 달성하며, 강력한 local-only state-of-the-art baseline을 크게 능가한다. 더 나아가, 우리의 신호는 distillation에 매우 적합함을 보인다. local hidden-state feature로부터 KVgrad score를 예측하는 경량 MLP를 학습함으로써, 계산 비용이 거의 들지 않는 고충실도 on-the-fly compression을 가능하게 한다.","link":"https://openreview.net/forum?id=cg1wTCJjjk"},{"id":"NPhEUvT1jH","en":"Relaxed On-Policy Distillation: Selective Credit Allocation for Scaling Reasoning Efficiently","ko":"Relaxed On-Policy Distillation: 효율적 추론 스케일링을 위한 선택적 credit allocation","authors":"Jongwoo Ko, Sara Abdali, Young Jin Kim, Tianyi Chen, Pashmina Cameron","abs":"<p>On-policy distillation (OPD) is a promising approach for transferring reasoning capabilities to capacity-constrained models, yet sampled-token OPD often suffers from entropy collapse and negative transfer. We identify uniform credit allocation as a key bottleneck: existing objectives obtain dense teacher feedback on student-generated trajectories, but apply it uniformly across sampled tokens despite highly heterogeneous token-level signals. Most tokens carry redundant near-zero credit, while rare heavy-tailed negative credits can dominate updates and prematurely suppress plausible reasoning trajectories. We introduce REOPOLD (Relaxed On-Policy Distillation), a framework that relaxes this uniform assignment by controlling where teacher feedback is applied, how strongly it affects the update, and when the allocation rule changes during training. Across diverse reasoning tasks, REOPOLD improves sampled-token OPD over recent post-training baselines with up to 12$\\times$ higher sample efficiency, and extends to cross-vocabulary distillation, self-distillation, and test-time scaling.</p>","absKo":"on-policy distillation(OPD)은 reasoning capability를 capacity-constrained model로 전이하는 유망한 접근법이지만, sampled-token OPD는 종종 entropy collapse와 negative transfer를 겪는다. 우리는 균일한 credit allocation을 핵심 병목으로 식별한다. 기존 objective는 student-generated trajectory 위에서 dense teacher feedback을 얻지만, 매우 이질적인 token-level signal에도 불구하고 이를 샘플된 token 전체에 균일하게 적용한다. 대부분의 token은 중복적인 near-zero credit를 지니는 반면, 드물게 발생하는 heavy-tailed negative credit는 update를 지배하고 그럴듯한 reasoning trajectory를 조기에 억제할 수 있다. 우리는 REOPOLD(Relaxed On-Policy Distillation)를 소개하는데, 이는 teacher feedback이 어디에 적용되는지, 그것이 update에 얼마나 강하게 영향을 미치는지, 그리고 학습 중 allocation rule이 언제 바뀌는지를 제어함으로써 이러한 균일 할당을 완화하는 framework이다. 다양한 reasoning task 전반에서 REOPOLD는 최근 post-training baseline에 비해 sampled-token OPD를 개선하며, 최대 12$\\times$ 더 높은 sample efficiency를 보이고, cross-vocabulary distillation, self-distillation, test-time scaling으로도 확장된다.","link":"https://openreview.net/forum?id=NPhEUvT1jH"},{"id":"RzLGgyuv0C","en":"When Good Enough Is Optimal: Multiplication-Only Matrix Inversion Approximation for Quantized Gated DeltaNet","ko":"충분히 좋으면 최적인가: Quantized Gated DeltaNet을 위한 곱셈만 사용하는 행렬 역행 근사","authors":"Luoming Zhang, Yuwei Ren, Kuizhang, Tian Liu, Lingjuan Ge, Denghao Li, Matthew Harper Langston, Yin Huang, Weiliang Will Zeng, liang zhang","abs":"<p>Matrix inversion in chunk-wise parallel linear attention is a major bottleneck for long-context modeling, particularly on NPUs, where forward-substitution-based methods exhibit limited parallelism and poor hardware utilization. We propose a fast, Matrix Multiplication (MatMul)-based algorithm tailored for strictly lower-triangular matrices arising in chunk-wise linear attention. Motivated by the rapid growth of Neumann-series terms and the diagonal concentration of the inverse matrix, we employ a truncated Neumann expansion with structural masking and parallel residual correction to eliminate sequential dependencies. We further extend our method to low-bits INT by mitigating the dynamic range expansion arising from repeated matrix power operations, and adapt the approximation order and residual step to the chunk size to minimize computational cost while preserving the model’s accuracy.  Experiments on Qwen3.5-family models demonstrate up to 5$\\times$ kernel-level speedup and a 20\\% reduction in decode-layer overhead, while preserving accuracy under both floating-point and low-precision inference. Our method offers an efficient and hardware-friendly solution for scalable linear attention.</p>","absKo":"chunk-wise parallel linear attention에서의 matrix inversion은 긴 context modeling의 주요 병목이며, 특히 NPU에서는 forward-substitution 기반 방법이 병렬성이 제한되고 하드웨어 활용도가 낮다. 우리는 chunk-wise linear attention에서 발생하는 strictly lower-triangular matrix를 위해 맞춤화된 빠른 MatMul 기반 알고리즘을 제안한다. Neumann-series 항의 빠른 증가와 inverse matrix의 diagonal concentration에 착안하여, 우리는 순차 의존성을 제거하기 위해 structural masking과 parallel residual correction을 포함한 truncated Neumann expansion을 사용한다. 또한 반복적인 matrix power operation에서 비롯되는 dynamic range expansion을 완화하여 low-bits INT로 방법을 확장하고, 모델의 정확도를 유지하면서 계산 비용을 최소화하도록 approximation order와 residual step을 chunk size에 맞게 조정한다. Qwen3.5-family model에 대한 실험은 floating-point와 low-precision inference 모두에서 정확도를 유지하면서 kernel 수준에서 최대 5$\\times$의 속도 향상과 decode-layer overhead 20\\% 감소를 보여준다. 우리의 방법은 scalable linear attention을 위한 효율적이고 hardware-friendly한 해법을 제공한다.","link":"https://openreview.net/forum?id=RzLGgyuv0C"},{"id":"uqeOxztSIS","en":"BASTION: Budget-Aware Speculative Decoding with Tree-structured Block Diffusion Drafting","ko":"BASTION: 트리 구조 블록 diffusion 드래프팅을 활용한 예산 인지 speculative decoding","authors":"Soowon Oh, Nam Cao, Yujin Kim, Hojung Jung, Huzama Ahmad, Sangmin Bae, Se-Young Yun","abs":"<p>Block-diffusion drafters have recently emerged as a powerful alternative for speculative decoding by predicting multiple future-token distributions in a single parallel step. However, since these parallel predictions are sampled from position-wise marginals rather than fully conditioned sequences, committing to a single greedy path often fails to capture the target model&#x27;s preferred trajectory. To address this, we propose BASTION, a budget-aware speculative decoding framework with tree-based diffusion drafting. Unlike existing methods that rely on static tree topologies, BASTION dynamically constructs query-dependent trees by balancing draft quality against hardware constraints. Our framework integrates three synergistic components: (1) an acceptance surrogate that estimates expected accepted length via path confidence, (2) an online latency estimator that calibrates a hardware-aware roof-line model, and (3) an adaptive best-first expansion that grows the tree until marginal gains no longer justify incremental verification costs. BASTION is training-free, preserves the target model&#x27;s distribution, and requires no per-setting tuning. Across diverse benchmarks and GPU architectures, BASTION achieves up to a $6.61\\times$ speedup over standard auto-regressive decoding, outperforming state-of-the-art block-diffusion baselines by 39%.</p>","absKo":"Block-diffusion drafter는 한 번의 병렬 단계에서 여러 미래 token 분포를 예측함으로써 speculative decoding의 강력한 대안으로 최근 부상했다. 그러나 이러한 병렬 예측은 완전히 조건부인 sequence가 아니라 position-wise marginal에서 sample되므로, 단일 greedy path를 선택하는 것은 종종 target model이 선호하는 trajectory를 포착하지 못한다. 이를 해결하기 위해 우리는 tree-based diffusion drafting을 사용하는 budget-aware speculative decoding framework인 BASTION을 제안한다. 고정된 tree topology에 의존하는 기존 방법과 달리, BASTION은 draft quality와 hardware constraint 사이의 균형을 맞추며 query-dependent tree를 동적으로 구성한다. 우리의 프레임워크는 다음의 세 가지 상호보완적 구성요소를 통합한다: (1) path confidence를 통해 기대 accepted length를 추정하는 acceptance surrogate, (2) hardware-aware roof-line model을 보정하는 online latency estimator, (3) marginal gain이 점증적 verification cost를 더 이상 정당화하지 못할 때까지 tree를 확장하는 adaptive best-first expansion. BASTION은 training-free이며 target model의 distribution을 보존하고, 설정별 튜닝을 필요로 하지 않는다. 다양한 benchmark와 GPU architecture 전반에서 BASTION은 표준 auto-regressive decoding보다 최대 $6.61\\times$의 speedup을 달성했으며, state-of-the-art block-diffusion baseline보다 39% 더 뛰어난 성능을 보였다.","link":"https://openreview.net/forum?id=uqeOxztSIS"},{"id":"ZqRh99OQEK","en":"Pruning and Distilling Mixture-of-Experts into Dense Language Models","ko":"Mixture-of-Experts를 압축 language model로 pruning하고 distillation하기","authors":"Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho","abs":"<p>Mixture-of-Experts (MoE) is now the dominant architecture for frontier language models, yet it requires all expert parameters to be loaded in memory, making it less preferable for memory-constrained deployment.</p><p>Existing compression methods reduce the number of experts but the output remains an MoE model with the same fundamental limitation.</p><p>We present the first systematic framework for converting a trained MoE into a standard fully dense architecture: experts are scored, selected, and grouped, then concatenated into a dense FFN and refined by knowledge distillation from the MoE teacher.</p><p>We evaluate 7 scoring, 5 grouping, and 2 magnitude scaling methods across a range of selected expert counts on Qwen3-30B-A3B, yielding 350 configurations.</p><p>We find that the choice of scoring method is the most impactful, with our novel diversity-aware scoring consistently outperforming prior methods on Qwen3-30B-A3B, DeepSeek-V2-Lite, and GPT-OSS-20B.</p><p>Under a controlled comparison at matched parameter count, MoE-to-dense outperforms dense-to-dense pruning by +6.3 pp in average downstream accuracy after ~4B-token distillation at 1.6x faster training wall-clock speed.</p>","absKo":"Mixture-of-Experts (MoE)는 이제 frontier language model의 지배적인 architecture가 되었지만, 모든 expert parameter를 memory에 적재해야 하므로 memory 제약이 있는 배포에는 덜 적합하다. 기존 압축 방법은 expert 수를 줄이지만, 결과물은 여전히 같은 근본적 한계를 지닌 MoE model이다. 우리는 학습된 MoE를 표준 fully dense architecture로 변환하는 최초의 체계적 framework를 제시한다: expert를 score하고, 선택하고, 그룹화한 뒤 dense FFN으로 연결하고, MoE teacher로부터 knowledge distillation을 통해 정제한다. 우리는 Qwen3-30B-A3B에서 선택된 expert 수 범위에 걸쳐 7개의 scoring, 5개의 grouping, 2개의 magnitude scaling method를 평가하여 350개의 configuration을 생성한다. 우리는 scoring method의 선택이 가장 큰 영향을 미친다는 점을 발견했으며, 새로 제안한 diversity-aware scoring이 Qwen3-30B-A3B, DeepSeek-V2-Lite, GPT-OSS-20B 전반에서 기존 방법을 일관되게 능가한다. 매칭된 parameter count에서 통제된 비교를 수행했을 때, MoE-to-dense는 약 4B token distillation 후 평균 downstream accuracy에서 +6.3 pp를 기록하며 dense-to-dense pruning보다 우수했고, training wall-clock speed는 1.6배 더 빨랐다.","link":"https://openreview.net/forum?id=ZqRh99OQEK"},{"id":"ddOlFn6d0B","en":"AAAC: Activation-Aware Adaptive Codebooks for 4-bit LLM Weight Quantization","ko":"AAAC: 4-bit LLM 가중치 양자화를 위한 활성화 인식 적응형 코드북","authors":"Beshr IslamBouli, David Jin","abs":"<p>Post-training weight-only quantization to 4 bits is widely used to reduce the memory and compute costs of large language model inference. Existing PTQ methods, such as AWQ and GPTQ, improve how weights are mapped onto a fixed 4-bit grid through scaling, clipping, or error compensation. To further improve accuracy, methods such as OmniQuant and QuIP\\# use gradient-assisted algorithms at the cost of hours of quantization time. In this work, we propose AAAC (Activation-Aware Adaptive Codebooks), a lightweight method for 4-bit LLM weight quantization. AAAC replaces the fixed scalar codebook used in standard quantization with two small learned scalar codebooks (64 bytes) per layer. Each group of weights selects the codebook that minimizes activation-weighted reconstruction error, encoding the choice in the unused sign bit of the group&#x27;s positive scale and adding zero storage overhead. AAAC completes in 3--30 minutes on a single GPU, and adds no memory beyond the model itself. We evaluate against AWQ, GPTQ, IF4, GPTVQ, OmniQuant, SqueezeLLM, and QuIP\\# across model families. AAAC outperforms baselines at orders-of-magnitude less quantization time.</p>","absKo":"사후학습 후 weight-only quantization을 4비트로 수행하는 방식은 대규모 언어 모델 추론의 메모리 및 compute 비용을 줄이기 위해 널리 사용됩니다. AWQ와 GPTQ 같은 기존 PTQ 방법은 scaling, clipping, error compensation을 통해 weight가 고정된 4-bit grid에 매핑되는 방식을 개선합니다. 정확도를 더 높이기 위해 OmniQuant와 QuIP\\# 같은 방법은 수 시간의 quantization 시간을 대가로 gradient-assisted algorithm을 사용합니다. 본 연구에서는 4-bit LLM weight quantization을 위한 경량 방법인 AAAC(Activation-Aware Adaptive Codebooks)를 제안합니다. AAAC는 표준 quantization에서 사용되는 고정 scalar codebook을, layer당 두 개의 작은 learned scalar codebook(64 bytes)으로 대체합니다. 각 weight group은 activation-weighted reconstruction error를 최소화하는 codebook을 선택하고, 이 선택은 group의 양의 scale에 남아 있는 sign bit에 인코딩되므로 추가 저장 오버헤드가 없습니다. AAAC는 단일 GPU에서 3--30분 내에 완료되며, 모델 자체 외에 추가 메모리를 전혀 사용하지 않습니다. 우리는 model family 전반에 걸쳐 AWQ, GPTQ, IF4, GPTVQ, OmniQuant, SqueezeLLM, QuIP\\#와 비교 평가합니다. AAAC는 quantization time을 수십 배에서 수백 배 이상 줄인 상태에서도 baseline을 능가합니다.","link":"https://openreview.net/forum?id=ddOlFn6d0B"},{"id":"VqpLqTSEdX","en":"Improving Cascade Routing for Structured Attribute Generation with Heterogeneous Confidence","ko":"이질적 confidence를 활용한 구조화 attribute 생성용 cascade routing 개선","authors":"Fatemeh Mansoori, Andrea Scarinci, Aditya Aggarwal, Suleiman A. Khan, Ashwin Chandramouli","abs":"<p>Multi-model inference systems—whether based</p><p>on routing, cascading, or unified strategies—often</p><p>rely on confidence signals to decide when a small</p><p>language model (SLM) output should be accepted</p><p>or deferred. While such signals are commonly</p><p>used in classification and short-form generation,</p><p>their reliability in structured generation settings</p><p>remains poorly understood.</p><p>In this work, we study log-probability confidence</p><p>in structured attribute value generation, where a</p><p>model must produce either a schema-compliant</p><p>VALUE or an ABSTAIN outcome. We show that</p><p>confidence is prediction-type-conditioned: in our</p><p>setting, average token log-probability is a stronger</p><p>error-detection signal for VALUE outputs than</p><p>for ABSTAIN outputs. As a result, global confi-</p><p>dence thresholding yields imbalanced trade-offs,</p><p>improving VALUE precision at the cost of recall</p><p>while providing weaker control over abstention</p><p>behavior.</p><p>We therefore cast cascade routing as type-aware</p><p>selective deferral, in which acceptance decisions</p><p>depend on both the confidence score and the pre-</p><p>dicted output type, with VALUE thresholds spe-</p><p>cialized by attribute family. Experiments on a</p><p>large-scale product attribute generation task show</p><p>that a fine-tuned SLM combined with selective</p><p>deferral improves quality–cost trade-offs relative</p><p>to pooled thresholding. The strongest operating</p><p>point routes low-confidence VALUE predictions</p><p>while keeping ABSTAIN predictions from the</p><p>first-stage model, highlighting the importance of</p><p>modeling heterogeneous reliability in structured-</p><p>generation cascades.</p>","absKo":"다중 모델 추론 시스템은 라우팅, 캐스케이딩, 통합 전략 중 어느 것에 기반하든, 작은 언어 모델(SLM) 출력이 수용되어야 하는지 아니면 보류되어야 하는지를 결정할 때 confidence signal에 의존하는 경우가 많다. 이러한 신호는 분류와 짧은 형식 생성에서는 흔히 사용되지만, structured generation setting에서의 신뢰성은 아직 충분히 이해되지 않았다.\n본 연구에서는 structured attribute value generation에서의 log-probability confidence를 연구한다. 이 설정에서 모델은 schema-compliant VALUE 또는 ABSTAIN 결과 중 하나를 생성해야 한다. 우리는 confidence가 prediction-type-conditioned임을 보인다. 즉, 우리 설정에서는 평균 token log-probability가 ABSTAIN 출력보다 VALUE 출력에 대해 더 강한 error-detection signal이다. 그 결과, 전역 confidence thresholding은 불균형한 trade-off를 낳아 VALUE precision은 향상시키는 반면 recall은 희생하고, abstention 동작에 대해서는 더 약한 제어만 제공한다.\n따라서 우리는 cascade routing을 type-aware selective deferral로 정식화한다. 여기서 수용 결정은 confidence score와 예측된 output type 모두에 의존하며, VALUE threshold는 attribute family별로 특화된다. 대규모 product attribute generation task에서의 실험은 selective deferral과 결합된 fine-tuned SLM이 pooled thresholding에 비해 quality-cost trade-off를 개선함을 보여준다. 가장 강한 operating point는 low-confidence VALUE prediction을 라우팅하는 동시에 first-stage model의 ABSTAIN prediction은 유지하며, structured-generation cascade에서 heterogeneous reliability를 모델링하는 것이 중요함을 강조한다.","link":"https://openreview.net/forum?id=VqpLqTSEdX"},{"id":"uCthChFfbe","en":"Dropping the Anchor: Statistical Context Summarization for Distributed Systems via Pulsar Attention","ko":"Anchor 내리기: Pulsar Attention을 이용한 분산 시스템용 통계적 문맥 요약","authors":"Aryan Sood, Shantanu Acharya","abs":"<p>Inference with large language models (LLMs) on long sequences is computationally expensive due to the quadratic complexity of self-attention. Distributed blockwise methods such as Star Attention reduce this cost by sharding context across hosts, but rely on prepending a static, content-blind copy of the first block to every host. We propose Pulsar Attention, which replaces the static anchor with two lightweight, content-aware components: a small attention-sink prefix that stabilizes softmax, and compact cross-block summaries built via a Max-IDF heuristic that selects chunks containing globally rare tokens. This reduces the Phase 1 per-GPU FLOPs by up to 3.3$\\times$ over Star Attention while retaining an identical KV cache footprint. On RULER and BABILong with Llama-3.1-8B, Pulsar Attention outperforms both Star Attention and dense attention at sequence lengths up to 128K tokens, with absolute gains of up to 4.7\\% over the dense baseline.</p>","absKo":"긴 sequence에 대한 large language model(LLM) inference는 self-attention의 quadratic complexity 때문에 계산 비용이 매우 크다. Star Attention과 같은 distributed blockwise method는 context를 host 간에 sharding하여 이 비용을 줄이지만, 매 host마다 첫 번째 block의 정적이고 content-blind한 복사본을 앞에 덧붙이는 방식에 의존한다. 우리는 이 정적 anchor를 두 개의 가벼운 content-aware component로 대체하는 Pulsar Attention을 제안한다. 하나는 softmax를 안정화하는 작은 attention-sink prefix이고, 다른 하나는 전역적으로 드문 token을 포함하는 chunk를 선택하는 Max-IDF heuristic으로 구성된 compact cross-block summary이다. 이를 통해 KV cache footprint는 동일하게 유지하면서 Phase 1 per-GPU FLOPs를 Star Attention 대비 최대 3.3$\\times$ 줄인다. Llama-3.1-8B를 사용한 RULER와 BABILong에서 Pulsar Attention은 sequence length가 128K token에 이를 때까지 Star Attention과 dense attention 모두를 능가하며, dense baseline 대비 최대 4.7\\%의 절대 향상을 보인다.","link":"https://openreview.net/forum?id=uCthChFfbe"},{"id":"GwTFovD6SM","en":"TERMINATOR: Learning Optimal Exit Points for Early Stopping in Chain-of-Thought Reasoning","ko":"TERMINATOR: chain-of-thought 추론에서 조기 종료를 위한 최적 종료 지점 학습","authors":"Alliot Nagle, Jakhongir Saydaliev, Dhia Garbaya, Michael Gastpar, Ashok Vardhan Makkuva, Hyeji Kim","abs":"<p>Large Reasoning Models (LRMs) achieve impressive performance on complex reasoning tasks via Chain-of-Thought (CoT) reasoning, which enables them to generate intermediate thinking tokens before arriving at the final answer. However, LRMs often suffer from significant overthinking, spending excessive compute time even after the answer is generated early on. Prior work has identified the existence of an optimal reasoning length such that truncating reasoning at this point significantly shortens CoT outputs with virtually no change in performance. However, determining optimal CoT lengths for practical datasets is highly non-trivial as they are fully task and model-dependent. In this paper, we precisely address this and design Terminator, an early-exit strategy for LRMs at inference to mitigate overthinking. The central idea underpinning Terminator is that the first arrival of an LRM&#x27;s final answer is often predictable, and we leverage these first answer positions to create a novel dataset of optimal reasoning lengths to train Terminator. Powered by this approach, Terminator achieves significant reductions in CoT lengths of $14\\\\%$–$55\\\\%$ on average across four challenging practical datasets: MATH-500, AIME 2025, HumanEval, and GPQA, while outperforming current state-of-the-art methods and reducing inference latency by more than $2\\times$ compared to the original LRM. Project page: \\url{https://terminator-llm.github.io/}</p>","absKo":"Large Reasoning Model(LRM)은 Chain-of-Thought(CoT) reasoning을 통해 복잡한 추론 task에서 인상적인 성능을 달성한다. 이는 최종 답에 도달하기 전에 중간 thinking token을 생성할 수 있게 해준다. 그러나 LRM은 종종 과도한 overthinking에 시달리며, 답이 일찍 생성된 이후에도 불필요하게 많은 compute time을 소비한다. 선행 연구는 최적의 reasoning length가 존재하며, 이 지점에서 reasoning을 자르면 성능 변화는 거의 없이 CoT output을 크게 줄일 수 있음을 보였다. 그러나 실제 dataset에 대한 최적 CoT length를 결정하는 것은 완전히 task와 model에 종속적이므로 매우 비자명하다. 본 논문에서는 이를 정밀하게 다루고, inference 시 LRM의 overthinking을 완화하기 위한 early-exit strategy인 Terminator를 설계한다. Terminator의 핵심 아이디어는 LRM의 최종 답이 처음 도달하는 시점을 종종 예측할 수 있다는 점이며, 우리는 이 first answer position을 활용해 Terminator를 학습할 optimal reasoning length의 새로운 dataset을 구축한다. 이 접근법을 바탕으로 Terminator는 MATH-500, AIME 2025, HumanEval, GPQA의 4개 어려운 실용 dataset 전반에서 평균 $14\\\\%$–$55\\\\%$의 CoT length 감소를 달성하며, 현재 state-of-the-art method를 능가하고 원래 LRM과 비교해 inference latency를 2배 이상 줄인다. Project page: \\url{https://terminator-llm.github.io/}","link":"https://openreview.net/forum?id=GwTFovD6SM"},{"id":"MqfNzH3TVH","en":"DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction","ko":"DropKV: 근최적 KV-cache 폐기를 위한 residual-output perturbation 분리","authors":"Aozhong Zhang, Selcuk Gurses, Yanxia Deng, Naigang Wang, Chi-Chun Liu, Davis Wertheimer, Derrick Liu, Xin Li, Zi Yang, Felix X.-F. Ye, Penghang Yin","abs":"<p>Key-value (KV) cache management has become a critical bottleneck for scaling Large Language Models (LLMs) to long-context scenarios due to linear memory growth. While recent eviction methods have moved beyond simple attention-score heuristics to incorporate value representations, they typically face a fundamental trade-off: the underlying optimization for minimizing output perturbation is an NP-hard combinatorial problem, leading to mathematically suboptimal heuristics or implementations that are difficult to kernelize. In this work, we propose DropKV, a simple principled eviction framework based on Decoupled Residual-Output Perturbation. By decoupling the joint eviction decision into independent per-token scoring, DropKV circumvents combinatorial intractability and admits a provable constant-factor approximation guarantee under a cone condition that we empirically verify on three long-context LLMs. To ensure practical viability, we provide a high-performance implementation using fused Triton kernels that avoid materializing the full attention matrix, delivering a 19.8$\\times$ scoring-kernel speedup that translates to up to a 9.9\\% matched-batch end-to-end prefill speedup. Extensive evaluations on the RULER and LongBench benchmarks demonstrate that DropKV consistently outperforms state-of-the-art baselines at equivalent cache budgets, achieving the lowest inference latency among eviction methods while also remaining faster than the dynamic cache baseline.</p>","absKo":"Key-value (KV) cache 관리는 선형적인 메모리 증가 때문에 Large Language Models (LLMs)을 긴 context 시나리오로 확장하는 데 있어 중요한 병목이 되었다. 최근의 eviction 방법들은 단순한 attention-score heuristic을 넘어 value representation을 반영하도록 발전했지만, 대개 근본적인 trade-off에 직면한다. 즉, output perturbation을 최소화하는 underlying optimization은 NP-hard한 combinatorial problem이어서, 수학적으로는 suboptimal한 heuristic으로 귀결되거나 kernelization이 어려운 구현으로 이어진다. 이 연구에서 우리는 Decoupled Residual-Output Perturbation에 기반한 간단하고 원리적인 eviction framework인 DropKV를 제안한다. joint eviction decision을 token별 독립 scoring으로 분리함으로써, DropKV는 combinatorial intractability를 우회하고, 우리가 세 개의 long-context LLM에서 경험적으로 검증한 cone condition 하에서 증명 가능한 constant-factor approximation guarantee를 갖는다. 실용성을 확보하기 위해, 우리는 전체 attention matrix를 materialize하지 않는 fused Triton kernel을 사용한 고성능 구현을 제공하며, 이는 scoring-kernel에서 19.8$\\times$의 속도 향상을 달성하고, 최대 9.9\\%의 matched-batch end-to-end prefill speedup으로 이어진다. RULER와 LongBench benchmark에 대한 광범위한 평가에서 DropKV는 동일한 cache budget에서 state-of-the-art baseline을 일관되게 능가했으며, eviction method 중 가장 낮은 inference latency를 달성하는 동시에 dynamic cache baseline보다도 빠르다는 것을 보였다.","link":"https://openreview.net/forum?id=MqfNzH3TVH"},{"id":"KmY5XUgEYe","en":"XShare: Collaborative in-Batch Expert Sharing for Faster MoE Inference","ko":"XShare: 더 빠른 MoE 추론을 위한 배치 내 전문가 협력 공유","authors":"Daniil Vankov, Nikita Ivkin, Jaime Campos Salas, Kyle R. Ulrich, Xiang song, Ashish Khetan, George Karypis","abs":"<p>Mixture-of-Experts (MoE) architectures are increasingly used to efficiently scale large language models. However, in production inference, request batching and speculative decoding significantly amplify expert activation, eroding these efficiency benefits. We address this issue by modeling batch-aware expert selection as a modular optimization problem and designing efficient greedy algorithms for different deployment settings. The proposed method, namely XShare, requires no retraining and dynamically adapts to each batch by maximizing the total gating score of selected experts. It delivers end-to-end throughput improvements of 10-37% across diverse deployment scenarios (single- or mixed-batch, with or without speculative decoding) while preserving baseline accuracy. On mixed-batch workloads, our method Pareto-dominates the baseline on both throughput and accuracy.</p>","absKo":"Mixture-of-Experts (MoE) architecture는 large language model을 효율적으로 확장하는 데 점점 더 많이 사용되고 있다. 그러나 production inference에서는 request batching과 speculative decoding이 expert activation을 크게 증폭시켜 이러한 효율성 이점을 잠식한다. 우리는 batch-aware expert selection을 modular optimisation problem으로 모델링하고, 서로 다른 deployment setting에 맞는 효율적인 greedy algorithm을 설계하여 이 문제를 해결한다. 제안 방법인 XShare는 재학습이 필요 없으며, 선택된 expert의 total gating score를 최대화함으로써 각 batch에 동적으로 적응한다. 이 방법은 baseline accuracy를 유지하면서도 다양한 deployment scenario(single- 또는 mixed-batch, speculative decoding 유무 포함)에서 end-to-end throughput을 10-37% 향상시킨다. mixed-batch workload에서는 throughput과 accuracy 양쪽 모두에서 baseline을 Pareto-dominates한다.","link":"https://openreview.net/forum?id=KmY5XUgEYe"},{"id":"r01XsoS9Wu","en":"You Had One Job: Per-Task Quantization Using LLMs’ Hidden Representations","ko":"한 가지 일만 하라: LLM의 hidden representation을 이용한 태스크별 양자화","authors":"Amit LeVi, Raz Lapid, Rom Himelstein, Chaim Baskin, Ravid Shwartz-Ziv, Avi Mendelson","abs":"<p>Post-training quantization (PTQ) methods allocate precision without considering the target task. This can waste bits on layers that are less relevant to the task signal while over-compressing layers that are critical for downstream behavior. We propose Task-Aware Quantization (TAQ), a training-free, weight-only mixed-precision PTQ framework that uses a small set of unlabeled task calibration prompts to allocate higher precision to task-relevant transformer layers under a fixed bit budget. TAQ estimates layer importance from hidden representations and output sensitivity, and we instantiate it with three scoring rules: TAQ-IS, based on activation information and stability; TAQ-KL, based on output-distribution sensitivity under a quantization-noise proxy; and TAQ-O, a label-informed oracle diagnostic for analyzing layer sensitivity. Across several benchmarks, TAQ outperforms task-agnostic baselines such in most settings, with especially strong gains in the accuracy--memory ratio. We further validate that these gains translate to real deployment behavior through hardware throughput and latency measurements, and analyze calibration robustness and residual-stream error propagation. Overall, TAQ turns mixed-precision PTQ from a model-centric compression step into a task-conditioned precision-allocation problem. The implementation is available at \\href{https://anonymous.4open.science/r/TAQ-9217/README.md}.</p>","absKo":"Post-training quantization(PTQ) 방법은 target task를 고려하지 않고 precision을 할당합니다. 이로 인해 task signal과 덜 관련된 layer에 비트를 낭비하는 반면, downstream behavior에 핵심적인 layer는 과도하게 압축될 수 있습니다. 우리는 Task-Aware Quantization(TAQ)을 제안합니다. 이는 학습이 필요 없는 weight-only mixed-precision PTQ framework로, unlabeled task calibration prompt 소량을 사용해 고정된 bit budget 내에서 task 관련 transformer layer에 더 높은 precision을 할당합니다. TAQ는 hidden representation과 output sensitivity로부터 layer 중요도를 추정하며, 세 가지 scoring rule로 이를 구체화합니다. TAQ-IS는 activation information과 stability를 기반으로 하고, TAQ-KL은 quantization-noise proxy 하에서의 output-distribution sensitivity를 기반으로 하며, TAQ-O는 layer sensitivity 분석을 위한 label-informed oracle diagnostic입니다. 여러 benchmark에서 TAQ는 대부분의 설정에서 task-agnostic baseline보다 우수했으며, 특히 accuracy--memory ratio에서 큰 향상을 보였습니다. 또한 hardware throughput과 latency 측정을 통해 이러한 향상이 실제 deployment behavior로 이어짐을 검증했고, calibration robustness와 residual-stream error propagation도 분석했습니다. 전반적으로 TAQ는 mixed-precision PTQ를 model-centric compression step에서 task-conditioned precision-allocation problem으로 전환합니다. 구현은 \\href{https://anonymous.4open.science/r/TAQ-9217/README.md}에서 확인할 수 있습니다.","link":"https://openreview.net/forum?id=r01XsoS9Wu"},{"id":"sE7hGnJewV","en":"Understanding Layer Patching in Model Size Interpolation","ko":"model size interpolation에서 layer patching 이해하기","authors":"Sara Kangaslahti, Jonathan Geuter, Nihal V. Nayak, Marco Fumero, Francesco Locatello, David Alvarez-Melis","abs":"<p>Zero-shot model size interpolation aims to create new models of intermediate target sizes by combining existing models without additional training. Recent work on boomerang distillation (Kangaslahti et al., 2026) shows that a student language model distilled from a larger teacher can be expanded by iteratively patching its layers, replacing student layers with contiguous blocks of teacher layers to obtain models whose size and performance interpolate between the student and the teacher. In this work, we provide the first systematic study of student-layer selection for model size interpolation. We cast finding the optimal layer subset for each model size as an optimization problem and prove it can be viewed as a shortest-path problem in a certain acyclic graph. In experiments, we show that patching strongly shapes interpolation behavior, with effects that vary substantially across model families. We find that simple sequential strategies---patching either from the first layer to the last or from the last to the first---often achieve surprisingly strong performance in practice. We further introduce KLPatch, a greedy patching algorithm based on KL divergence, which often improves over last-to-first patching and approximately solves the optimization problem. Together, our results provide a principled understanding of how layer patching affects model size interpolation and offer practical guidance for constructing near-optimal interpolated models.</p>","absKo":"Zero-shot model size interpolation은 추가 학습 없이 기존 model을 결합하여 중간 목표 크기의 새로운 model을 만드는 것을 목표로 한다. 최근 boomerang distillation(Kangaslahti et al., 2026)은 더 큰 teacher로부터 distillation된 student language model을 층을 반복적으로 patching하여 확장할 수 있음을 보였으며, student layers를 teacher layers의 연속된 block으로 교체함으로써 크기와 성능이 student와 teacher 사이를 보간하는 model을 얻을 수 있다. 본 연구에서는 model size interpolation을 위한 student-layer selection에 대한 첫 체계적 연구를 제공한다. 우리는 각 model size에 대해 최적의 layer subset을 찾는 문제를 최적화 문제로 정식화하고, 이것이 특정 acyclic graph에서의 shortest-path 문제로 볼 수 있음을 증명한다. 실험에서 patching이 interpolation behavior를 강하게 좌우하며, 그 효과는 model family에 따라 크게 달라짐을 보인다. 우리는 단순한 sequential strategy, 즉 첫 layer부터 마지막 layer까지 또는 마지막 layer부터 첫 layer까지 patching하는 방식이 실제로는 종종 놀라울 정도로 강한 성능을 달성함을 발견한다. 또한 KL divergence에 기반한 greedy patching algorithm인 KLPatch를 도입하는데, 이는 종종 last-to-first patching보다 더 나은 성능을 보이며 최적화 문제를 근사적으로 푼다. 종합하면, 우리의 결과는 layer patching이 model size interpolation에 미치는 영향을 원리적으로 이해하게 해 주며, 거의 최적에 가까운 interpolated model을 구성하기 위한 실용적 지침을 제공한다.","link":"https://openreview.net/forum?id=sE7hGnJewV"},{"id":"8ubnKeIh0Y","en":"Learning When to Attend: Conditional Memory Access for Long-Context LLMs","ko":"언제 주목할지 학습하기: 장문맥 LLM을 위한 조건부 메모리 접근","authors":"Sakshi Choudhary, Aditya Chattopadhyay, Luca Zancato, Elvis Nunez, Matthew Trager, Wei Xia, Stefano Soatto","abs":"<p>Language models struggle to generalize beyond pretraining context lengths, limiting long-horizon reasoning and retrieval. Continued long-context training is effective but expensive due to the quadratic cost of Attention. We observe that most tokens do not require (Global) Attention over the entire sequence and can rely on local context. Based on this, we propose L2A (Learning To Attend), a layer that enables token-wise conditional long-range memory access by learning \\textit{when} to invoke Global Attention. Applied to Qwen2.5 and Qwen3 models, L2A extends the effective context length from 32K to 128K tokens, matching standard long-context training within 3\\% while skipping Global Attention for $\\sim$80\\% of tokens and outperforming prior baselines. We further design custom Triton kernels to efficiently implement L2A on GPUs, achieving $\\sim$2× improvements in training throughput and time-to-first-token over FlashAttention. Additionally, L2A enables post-training pruning of sparse Global Attention layers, reducing KV cache memory by up to 50\\% with negligible performance loss.</p>","absKo":"Language model은 pretraining context length를 넘어 일반화하는 데 어려움이 있어, 장거리 추론과 retrieval이 제한됩니다. 계속되는 long-context training은 효과적이지만 Attention의 quadratic cost 때문에 비용이 큽니다. 우리는 대부분의 token이 전체 sequence에 대한 (Global) Attention을 필요로 하지 않으며 local context에 의존할 수 있음을 관찰했습니다. 이를 바탕으로, Global Attention을 \\textit{언제} 호출할지 학습함으로써 token-wise conditional long-range memory access를 가능하게 하는 layer인 L2A(Learning To Attend)를 제안합니다. Qwen2.5 및 Qwen3 모델에 적용한 결과, L2A는 effective context length를 32K에서 128K token으로 확장하며, Global Attention을 약 80\\%의 token에서 건너뛰면서도 표준 long-context training과 3\\% 이내로 맞먹고 기존 baseline을 능가합니다. 또한 GPU에서 L2A를 효율적으로 구현하기 위해 custom Triton kernel을 설계하여, FlashAttention 대비 training throughput과 time-to-first-token을 약 2배 향상시켰습니다. 추가로 L2A는 sparse Global Attention layer의 post-training pruning을 가능하게 하여, 성능 손실은 거의 없이 KV cache memory를 최대 50\\%까지 줄입니다.","link":"https://openreview.net/forum?id=8ubnKeIh0Y"},{"id":"mEpi4pgzpI","en":"Reducing Attention Distribution Error with Unified Tail Aggregation for Sparse Attention","ko":"Sparse Attention의 통합 tail aggregation으로 attention 분포 오류 줄이기","authors":"Hyunwoo Yu, Jongbeom Lee, Jaemin Choi, Jincheol Yang, Yubin Cho, Joonsik Nam, Seunghun Moon, Jung-Woo Chang, Bongjoon Hyun, Kyomin Sohn, Kyeongbo Kong, Suk-Ju Kang","abs":"<p>While Diffusion Transformers (DiTs) deliver remarkable visual quality in video generation, the massive computational overhead of 3D spatio-temporal attention limits their scalability. To evaluate and optimize sparse attention mechanisms, existing studies predominantly rely on the Top-$K$ Oracle Policy. However, this approach employs rigid truncation that naively discards the continuous tail of the attention distribution, introducing structural errors that degrade temporal consistency during iterative diffusion processes. To address this fundamental flaw, we provide an oracle analysis of these distributional shifts and introduce a novel Low-Delta Oracle Policy. Building on a mathematical proof demonstrating that sparse attention achieves zero error when grouping identical attention scores, our approach prioritizes the structural integrity of the entire attention distribution. As a promising correction mechanism, we propose a Unified Tail Aggregation (UTA) method. By aggregating logits where the score variance is bounded by a marginal delta, UTA supplements a single aggregated logit to restore the attention distribution. Extensive empirical evaluations demonstrate that our approach significantly outperforms the Top-$K$ oracle, achieving up to a 97.4\\% reduction in mean squared error (MSE) at a 50\\% sparsity level. By establishing a tighter theoretical upper bound, this work provides a rigorous foundation for evaluating and stabilizing future sparse attention systems.</p>","absKo":"Diffusion Transformers (DiTs)는 video generation에서 뛰어난 시각적 품질을 제공하지만, 3D spatio-temporal attention의 막대한 계산 오버헤드가 확장성을 제한한다. sparse attention mechanism을 평가하고 최적화하기 위해 기존 연구는 주로 Top-$K$ Oracle Policy에 의존한다. 그러나 이 접근은 attention 분포의 연속적인 tail을 단순히 잘라내는 경직된 truncation을 사용해, iterative diffusion process 동안 temporal consistency를 저해하는 구조적 오류를 유발한다. 이 근본적 결함을 해결하기 위해, 우리는 이러한 분포 변화에 대한 oracle analysis를 제공하고 새로운 Low-Delta Oracle Policy를 도입한다. 동일한 attention score를 묶을 때 sparse attention이 zero error를 달성한다는 수학적 증명에 기반하여, 우리의 방법은 전체 attention distribution의 구조적 무결성을 우선시한다. 유망한 correction mechanism으로서 Unified Tail Aggregation (UTA) 방법을 제안한다. score variance가 marginal delta로 제한된 logits를 집계함으로써, UTA는 하나의 aggregated logit을 보완적으로 추가해 attention distribution을 복원한다. 광범위한 실험 평가는 우리의 접근이 Top-$K$ oracle을 크게 능가함을 보여주며, 50\\% sparsity 수준에서 mean squared error (MSE)를 최대 97.4\\%까지 줄인다. 더 엄밀한 이론적 상계를 확립함으로써, 이 연구는 향후 sparse attention system을 평가하고 안정화하는 데 견고한 토대를 제공한다.","link":"https://openreview.net/forum?id=mEpi4pgzpI"},{"id":"Js8hgqec0G","en":"Referring Video Object Segmentation via Language-aligned Track Selection","ko":"언어 정렬된 track 선택을 통한 referring video object segmentation","authors":"Seongchan Kim, Woojeong Jin, Sangbeom Lim, Heeji Yoon, Hyunwook Choi, Seungryong Kim","abs":"<p>Referring video object segmentation (RVOS) requires tracking and segmenting an object throughout a video according to a given natural language expression, demanding both complex motion understanding and the alignment of visual representations with language descriptions. Given these challenges, Segment Anything Model 2 (SAM2) emerges as a potential candidate due to its ability</p><p>to generate coherent segmentation mask tracks across video frames, and provide an inherent spatio-temporal objectness in its object token representations. In this paper, we introduce SOLA (Selection by Object Language Alignment), a novel framework that leverages SAM2 object tokens as compact video-level object representations, which are aligned with language features through a lightweight track selection module. To effectively facilitate this alignment, we propose an IoU-based pseudo-labeling strategy, which bridges the modality gap between SAM2 representations with language features. Extensive experiments show that SOLA achieves state-of-the-art performance on the MeViS dataset and demonstrate that SOLA offers an effective solution for RVOS. Code and pre-trained weights will be publicly available.</p>","absKo":"Referring video object segmentation(RVOS)은 주어진 자연어 표현에 따라 비디오 전반에 걸쳐 객체를 추적하고 분할해야 하므로, 복잡한 motion understanding과 시각 표현과 언어 설명의 정렬을 모두 요구한다. 이러한 도전에도 불구하고, Segment Anything Model 2(SAM2)는 비디오 프레임 전반에 걸쳐 일관된 segmentation mask track을 생성할 수 있고, object token 표현에 본질적인 spatio-temporal objectness를 제공한다는 점에서 유력한 후보로 떠오른다. 본 논문에서는 SAM2 object token을 압축된 video-level object representation으로 활용하고, 이를 경량 track selection module을 통해 language feature와 정렬하는 새로운 프레임워크인 SOLA(Selection by Object Language Alignment)를 소개한다. 이러한 정렬을 효과적으로 촉진하기 위해, 우리는 SAM2 표현과 language feature 사이의 modality gap을 메우는 IoU-based pseudo-labeling 전략을 제안한다. 광범위한 실험은 SOLA가 MeViS 데이터셋에서 state-of-the-art 성능을 달성함을 보이며, SOLA가 RVOS를 위한 효과적인 해결책임을 입증한다. 코드와 사전학습 가중치는 공개될 예정이다.","link":"https://openreview.net/forum?id=Js8hgqec0G"},{"id":"iyIftYYjlE","en":"Distill, Suppress, and Fuse: Cross-Modal Knowledge Integration for Optical Flow-Free Temporal Action Segmentation","ko":"Distill, Suppress, and Fuse: Optical Flow 없는 시각 없이 시간 행동 분할을 위한 교차 모달 지식 통합","authors":"Seungjin Han, Gyeong-Hyeon Kim, Eunwoo Kim","abs":"<p>Cross-modal knowledge distillation (CMKD) enables efficient inference by transferring knowledge from a teacher model trained on a computationally heavy modality (i.e., optical flow) to a student model operating on a lightweight modality (i.e., RGB).</p><p>However, we find that most current CMKD methods are hindered by a key limitation when applied in temporal action segmentation: motion cues transferred from optical flow often lead the student to produce frame representations that are misaligned with the underlying action structure. To address this, we propose RELATE, an optical flow-free framework that selectively integrates transferred cues while suppressing misaligned cues. We further introduce a prediction refinement strategy to resolve ambiguous segments using multiple predictions.</p><p>Experiments on three benchmarks with multiple segmenters show that RELATE consistently outperforms RGB-only baselines, approaches two-stream performance, and achieves up to 175× faster inference.</p>","absKo":"Cross-modal knowledge distillation(CMKD)은 계산량이 큰 modality(예: optical flow)로 학습된 teacher model의 지식을, 가벼운 modality(예: RGB)에서 동작하는 student model로 전달함으로써 효율적인 추론을 가능하게 한다. 그러나 우리는 temporal action segmentation에 적용할 때 현재의 대부분 CMKD 방법이 핵심 한계에 가로막힌다는 점을 발견했다. 즉, optical flow에서 전달된 motion cue가 student가 근본적인 action structure와 정렬되지 않은 frame representation을 생성하도록 이끄는 경우가 많다. 이를 해결하기 위해, 우리는 정렬되지 않은 cue를 억제하면서 전달된 cue를 선택적으로 통합하는 optical flow-free framework RELATE를 제안한다. 또한 여러 prediction을 활용해 모호한 segment를 해소하는 prediction refinement 전략을 도입한다. 여러 segmenter를 사용한 세 개의 benchmark 실험에서 RELATE는 RGB-only baseline보다 일관되게 우수하며, two-stream 성능에 근접하고, 최대 175배 더 빠른 추론 속도를 달성한다.","link":"https://openreview.net/forum?id=iyIftYYjlE"},{"id":"LPomBkh92H","en":"Adaptive Safety Probing for Resource-Efficient Vision-Language-Action Models","ko":"자원 효율적인 Vision-Language-Action 모델을 위한 적응형 안전 프로빙","authors":"Seongbin Park, Fan Zhang, Hossein Khalili, Nader Sehatbakhsh","abs":"<p>Foundation models (FM) are rapidly moving from cloud-centered language and vision applications into embodied robotic systems, where they must support real-time decision making under strict constraints. Vision-Language-Action (VLA) models are a prominent class of such embodied FMs and are increasingly being used as the main controller of robotic systems. While this integration enables general-purpose robotic behavior, it also introduces safety and security risks. A compromised instruction or unsafe generated action can propagate directly to the robot&#x27;s actuators. Existing defenses often rely on auxiliary perception models, repeated inference, or always-on safety filters, which are poorly matched to resource-constrained robotic platforms.</p><p>We propose an adaptive inference-time safety framework for VLA models that reuses signals already computed inside the frozen policy. First, we show that intermediate hidden states encode task-relevant 3D geometric intent: a lightweight probe trained offline on successful rollouts predicts the intended grasp target and can be used as a low-cost failure monitor. Second, we reconstruct targeted action-to-vision attention maps from the VLA backbone to identify image regions driving the predicted action, avoiding the need for a separate heavyweight vision-language model. Third, we introduce Post-processing Trigger-based Purification, a check-then-defend mechanism that invokes more expensive safety interventions only when lightweight monitors detect a policy violation, target mismatch, or uncertain execution. Together, these components provide a resource-aware adaptive safety and security layer for emerging robotic foundation-model systems. Our simulation results show up to 40\\% runtime improvement compared to a non-adaptive safe FM.</p>","absKo":"Foundation models (FM)은 빠르게 cloud 중심의 language 및 vision application에서 체화된 로보틱 시스템으로 이동하고 있으며, 이들 시스템에서는 엄격한 제약 하에서 real-time decision making을 지원해야 한다. Vision-Language-Action (VLA) model은 이러한 embodied FM의 대표적 범주이며, 점점 더 로봇 시스템의 주 controller로 사용되고 있다. 이러한 통합은 범용 로봇 행동을 가능하게 하지만, 동시에 안전 및 보안 위험도 야기한다. 손상된 instruction이나 안전하지 않은 generated action은 로봇의 actuator로 직접 전파될 수 있다. 기존 방어 기법은 보조 perception model, 반복 inference, 또는 항상 켜져 있는 safety filter에 의존하는 경우가 많아, 자원 제약이 큰 로보틱 플랫폼과는 잘 맞지 않는다.\n\n우리는 freeze된 policy 내부에서 이미 계산된 signal을 재사용하는 VLA model용 adaptive inference-time safety framework를 제안한다. 첫째, 중간 hidden state가 task 관련 3D geometric intent를 인코딩함을 보인다. 성공적인 rollout으로 offline 학습한 lightweight probe는 의도된 grasp target을 예측하며, 저비용 failure monitor로 사용할 수 있다. 둘째, VLA backbone으로부터 target action-to-vision attention map을 복원해 예측된 action을 유도하는 image region을 식별함으로써, 별도의 heavyweight vision-language model이 필요 없도록 한다. 셋째, 우리는 Post-processing Trigger-based Purification을 도입한다. 이는 check-then-defend mechanism으로, lightweight monitor가 policy violation, target mismatch, 또는 불확실한 실행을 감지할 때에만 더 비싼 safety intervention을 호출한다. 이 구성요소들은 함께 새롭게 등장하는 로봇 foundation-model system을 위한 resource-aware adaptive safety 및 security layer를 제공한다. 우리의 simulation 결과는 non-adaptive safe FM에 비해 최대 40\\%의 runtime improvement를 보인다.","link":"https://openreview.net/forum?id=LPomBkh92H"},{"id":"xjGEnemfn2","en":"FlexRank: Nested Low-Rank Knowledge Decomposition for Adaptive Model Deployment","ko":"FlexRank: 적응형 모델 배포를 위한 중첩 저랭크 지식 분해","authors":"Riccardo Zaccone, Stefanos Laskaridis, Marco Ciccone, Samuel Horváth","abs":"<p>The growing scale of deep neural networks, encompassing large language models (LLMs) and vision transformers (ViTs), has made training from scratch prohibitively expensive and deployment increasingly costly.</p><p>These models are often used as computational monoliths with fixed cost, hindering adaptive deployment across different cost budgets.</p><p>We argue that nested components, ordered by importance, can be extracted from pretrained models and selectively activated within the available computational budget. To this end, our proposed FlexRank method leverages low-rank weight decomposition with nested, importance-based consolidation to extract submodels of increasing capabilities. Our approach enables a &quot;train-once, deploy-everywhere&quot; paradigm offering a graceful trade-off between cost and performance without training from scratch for each budget --- advancing practical deployment of large models.</p>","absKo":"LLM과 vision transformer(ViT)를 포함하는 deep neural network의 규모가 커지면서, from-scratch training은 지나치게 비싸졌고 deployment 비용도 점점 증가하고 있다.\n이러한 모델은 종종 고정 비용을 가진 computational monolith로 사용되어, 서로 다른 cost budget에 맞춘 적응적 배치를 어렵게 만든다.\n우리는 중요도에 따라 정렬된 nested component를 pretrained model에서 추출하고, 사용 가능한 computational budget 내에서 선택적으로 활성화할 수 있다고 주장한다. 이를 위해 우리가 제안하는 FlexRank method는 low-rank weight decomposition과 importance-based consolidation을 활용하여 능력이 점진적으로 증가하는 submodel을 추출한다. 우리의 접근은 각 budget마다 새로 학습할 필요 없이 비용과 성능 사이에서 우아한 trade-off를 제공하는 \"train-once, deploy-everywhere\" 패러다임을 가능하게 하며, large model의 실용적 배치를 한 단계 발전시킨다.","link":"https://openreview.net/forum?id=xjGEnemfn2"},{"id":"fEKxOIVBYr","en":"Efficient Encoder-Only Context Compression via Marginal Contribution Scoring","ko":"marginal contribution scoring을 통한 효율적 encoder-only 문맥 압축","authors":"Thao Do, Dinh Phu Tran, An Vo, Seon Kwon Kim, Daeyoung Kim","abs":"<p>Efficient context compression is critical for retrieval-augmented question answering in resource-constrained settings, where long retrieved contexts increase latency, memory use, and LLM reader cost. We propose a lightweight encoder-only framework for query-driven sentence pruning that preserves answer-critical evidence while aggressively reducing irrelevant context. Our method learns marginal contribution scores for sentences using counterfactual training signals, and optimizes a contrastive ranking objective that separates critical evidence from non-critical context. Unlike decoder-heavy compressors, our approach scores all sentences from a single full-context encoding, enabling fast inference with low computational overhead. Experiments show that it maintains accuracy comparable to the strongest baseline while using 3.7$\\times$ less peak memory and substantially lower compression latency, making it suitable for practical resource-constrained deployment.</p>","absKo":"효율적인 context compression은 resource-constrained 환경에서의 retrieval-augmented question answering에 중요하다. 긴 retrieved context는 latency, memory 사용량, 그리고 LLM reader 비용을 증가시키기 때문이다. 우리는 정답에 중요한 evidence는 보존하면서 관련 없는 context는 적극적으로 줄이는 query-driven sentence pruning을 위한 경량 encoder-only framework를 제안한다. 우리의 방법은 counterfactual training signal을 사용해 문장별 marginal contribution score를 학습하고, 중요한 evidence와 비중요 context를 분리하는 contrastive ranking objective를 최적화한다. decoder-heavy compressor와 달리, 우리의 접근법은 단일 full-context encoding으로 모든 문장을 점수화하므로 계산 오버헤드가 낮고 추론이 빠르다. 실험 결과, 가장 강력한 baseline과 동등한 정확도를 유지하면서 peak memory는 3.7$\\times$ 적게 사용하고 compression latency도 크게 낮춰, 실제 resource-constrained deployment에 적합함을 보였다.","link":"https://openreview.net/forum?id=fEKxOIVBYr"},{"id":"qRQU6W1vJ4","en":"Selective Sinkhorn Routing for Improved Sparse Mixture of Experts","ko":"더 나은 sparse Mixture of Experts를 위한 Selective Sinkhorn Routing","authors":"Duc Anh Nguyen, Huu Binh Ta, Duc-Nhuan Le, Tan Minh Nguyen, Toan Tran","abs":"<p>Sparse Mixture-of-Experts (SMoE) models are scalable and computationally efficient, enabling large increases in model capacity with limited inference overhead. Existing SMoE methods often depend on auxiliary objectives, such as load-balancing loss and z-loss, or additional trainable components such as noisy gating. While these techniques encourage expert diversity, they can introduce objective misalignment, increase model complexity, or incur substantial training overhead, especially in Sinkhorn-based routing methods. In this paper, we revisit the token-to-expert assignment as an optimal transport problem. We add constraints to ensure balanced expert utilization. We show that even minimal optimal transport-based routing improves SMoE performance without requiring auxiliary balancing losses. Unlike prior approaches, our method derives gating scores directly from the transport map, leading to more balanced and effective token-to-expert assignments. Building on this insight, we introduce Selective Sinkhorn Routing (SSR), a lightweight routing mechanism that replaces complex auxiliary losses with efficient Sinkhorn-based routing while preserving flexible expert selection. Experiments on language modeling and image classification show that SSR improves training efficiency, accuracy, and robustness to input corruption.</p>","absKo":"Sparse Mixture-of-Experts (SMoE) model은 확장 가능하고 계산적으로 효율적이며, 제한된 inference overhead로 model capacity를 크게 늘릴 수 있다. 기존 SMoE 방법은 종종 load-balancing loss와 z-loss 같은 auxiliary objective, 또는 noisy gating 같은 추가 trainable component에 의존한다. 이러한 기법은 expert diversity를 장려하지만, objective misalignment를 유발하거나 model complexity를 증가시키거나, 특히 Sinkhorn-based routing method에서 상당한 training overhead를 초래할 수 있다. 이 논문에서 우리는 token-to-expert assignment를 optimal transport problem으로 다시 살펴본다. 우리는 균형 잡힌 expert 활용을 보장하기 위한 constraint를 추가한다. 최소한의 optimal transport-based routing만으로도 auxiliary balancing loss 없이 SMoE 성능이 향상됨을 보인다. 기존 접근과 달리, 우리의 방법은 transport map에서 직접 gating score를 도출하므로 더 균형 잡히고 효과적인 token-to-expert assignment를 가능하게 한다. 이 통찰을 바탕으로 우리는 Selective Sinkhorn Routing (SSR)을 제안한다. SSR은 유연한 expert selection을 유지하면서 복잡한 auxiliary loss를 효율적인 Sinkhorn-based routing으로 대체하는 경량 routing mechanism이다. language modeling과 image classification 실험은 SSR이 training efficiency, accuracy, 그리고 input corruption에 대한 robustness를 향상시킴을 보여준다.","link":"https://openreview.net/forum?id=qRQU6W1vJ4"},{"id":"d9H5uBnHeL","en":"SFPruner: Single-Forward Visual Token Subset Selection for Resource-Efficient Multimodal Foundation Model Inference","ko":"SFPruner: 자원 효율적인 multimodal foundation model 추론을 위한 단일 forward 시각 토큰 부분집합 선택","authors":"Jouwon Song, Woohyeong Kim, Seungjae Baek, Kyeongbo Kong","abs":"<p>High-resolution multimodal foundation models allocate substantial inference compute to visual tokens, making visual-token subset selection a central challenge for resource-efficient deployment. Existing pruning methods face a fundamental trade-off: fast heuristic methods introduce little overhead but provide limited redundancy control, while combinatorial subset-optimization methods better preserve diversity but rely on sequential greedy search, which can erode wall-clock gains. We propose SFPruner, a single-forward approximation to redundancy-aware visual token subset selection. Rather than constructing the subset iteratively, SFPruner embeds redundancy control directly into the scoring space through semantics-guided ridge leverage and ranking-based directional masking, enabling one-shot Top-K selection under deployment-specified token budgets. Across image and video MLLMs, SFPruner preserves competitive quality-resource trade-offs while substantially reducing selection overhead, for example from 112.4 ms to 2.5 ms on Qwen2.5-VL at a 512-token budget. These results highlight that, for token pruning to deliver real wall-clock speedups, the selection policy must be both redundancy-aware and computationally lightweight.</p>","absKo":"고해상도 multimodal foundation model은 시각 token에 상당한 inference compute를 할당하므로, visual-token subset selection이 자원 효율적 배포의 핵심 과제가 된다. 기존 pruning 방법은 근본적인 trade-off에 직면한다. 빠른 heuristic 방법은 오버헤드는 적지만 redundancy 제어가 제한적이고, combinatorial subset-optimization 방법은 다양성은 더 잘 보존하지만 순차적 greedy search에 의존하여 wall-clock 이득을 잠식할 수 있다. 우리는 redundancy-aware visual token subset selection을 위한 single-forward approximation인 SFPruner를 제안한다. subset을 반복적으로 구성하는 대신, SFPruner는 semantics-guided ridge leverage와 ranking-based directional masking을 통해 redundancy 제어를 scoring space에 직접 내장하여, 배포 시 지정된 token budget 하에서 one-shot Top-K selection을 가능하게 한다. image와 video MLLM 전반에서 SFPruner는 경쟁력 있는 quality-resource trade-off를 유지하면서 selection overhead를 크게 줄인다. 예를 들어 512-token budget에서 Qwen2.5-VL의 경우 112.4 ms에서 2.5 ms로 감소한다. 이러한 결과는 token pruning이 실제 wall-clock speedup을 제공하려면 selection policy가 redundancy를 인식하면서도 계산적으로 가벼워야 함을 보여준다.","link":"https://openreview.net/forum?id=d9H5uBnHeL"},{"id":"bNn5OusO22","en":"Step-Tagging Early-Stopping: Toward controlling the generation of Language Reasoning Models through black-box step monitoring","ko":"Step-Tagging Early-Stopping: black-box step 모니터링으로 Language Reasoning Model 생성 제어를 향하여","authors":"Yannis Belkhiter, Seshu Tirupathi, Giulio Zizzo, John Kelleher","abs":"<p>Language Reasoning Models (LRMs) have shown impressive performance on solving complex problems requiring multi-steps. However, a growing body of studies show that LRMs are still inefficient, over-generating verification and self-reflection steps. To address this challenge, we introduce the Step-Tagging Early-Stopping (ST-ES) framework, a lightweight sentence-classifier enabling real-time annotation of the type of reasoning steps that an LRM is generating. We show that limiting the count of specific step-type - especially verification and self-reflection steps - yields a more accurate and token-efficient early-stopping criterion than token-count baseline, and that each step-types yield to a different efficiency trade-off. Unlike prior dynamic early-stopping methods, ST-ES operates in a full black-box setting, and offers interpretable early-stopping criteria. We evaluate ST-ES on three mathematical reasoning benchmarks, namely, MATH500, GSM8K, AIME and two knowledge and reasoning benchmarks, MMLU and GPQA respectively. We achieve 20 to 50% token reduction while maintaining comparable accuracy to standard generation.</p>","absKo":"Language Reasoning Model(LRM)은 multi-step이 필요한 복잡한 문제를 해결하는 데서 인상적인 성능을 보여왔다. 그러나 점점 늘어나는 연구는 LRM이 여전히 비효율적이며, verification과 self-reflection step을 과도하게 생성한다고 보여준다. 이 문제를 해결하기 위해 우리는 Step-Tagging Early-Stopping(ST-ES) framework를 제안한다. 이는 LRM이 생성하는 reasoning step의 유형을 실시간으로 주석 처리할 수 있게 하는 경량 sentence-classifier이다. 우리는 특히 verification과 self-reflection step 같은 특정 step-type의 개수를 제한하면 token-count baseline보다 더 정확하고 token-efficient한 early-stopping criterion을 얻을 수 있으며, 각 step-type마다 서로 다른 효율성 trade-off가 나타남을 보인다. 기존의 dynamic early-stopping 방법과 달리 ST-ES는 완전한 black-box setting에서 작동하며, 해석 가능한 early-stopping criterion을 제공한다. 우리는 ST-ES를 세 개의 수학적 추론 benchmark인 MATH500, GSM8K, AIME와 두 개의 지식 및 추론 benchmark인 MMLU와 GPQA에서 평가한다. 우리는 표준 생성과 비슷한 정확도를 유지하면서 20%에서 50%의 token reduction을 달성한다.","link":"https://openreview.net/forum?id=bNn5OusO22"},{"id":"ERsg6xboCk","en":"Resource-Adaptivity Beyond the Model: Sensor Control for Quantized On-Device Vision","ko":"모델을 넘는 자원 적응성: 양자화된 온디바이스 비전용 센서 제어","authors":"Hongjun Suh, Woojin Jang, Hyung-Sin Kim","abs":"<p>Resource-adaptive inference is typically framed as a model-side problem: reduce precision, prune computation, route inputs, or shrink architectures. For camera-based on-device vision, however, the sensor is also a controllable resource that determines the input evidence before inference. We study this interaction on datasets with environment and sensor shifts by evaluating a diverse set of vision models under full-precision and quantized inference across auto-exposure and adaptive sensor policies. Our results show that adaptive sensing often yields larger gains than increasing model size or spending more bits on it: in many cases, compressed models with adaptive sensing outperform higher-precision models using auto-exposure. These findings suggest that resource-adaptive inference for embodied vision should evaluate model--sensor pairs and treat sensing as part of the resource budget. We further show that a simple entropy-based model-free policy can recover much of this benefit without scoring every candidate image with the target model.</p>","absKo":"Resource-adaptive inference는 일반적으로 model-side 문제로 간주된다. precision을 낮추거나, computation을 pruning하거나, input을 routing하거나, architecture를 줄이는 방식이다. 그러나 camera-based on-device vision에서는 sensor 또한 inference 이전에 input evidence를 결정하는 제어 가능한 resource이다. 우리는 environment shift와 sensor shift가 있는 데이터셋에서 auto-exposure 및 adaptive sensor policy 전반에 걸쳐 다양한 vision model을 full-precision과 quantized inference로 평가함으로써 이 상호작용을 연구한다. 우리의 결과는 adaptive sensing이 종종 model size를 늘리거나 더 많은 bit를 쓰는 것보다 더 큰 이득을 준다는 것을 보여준다. 많은 경우, adaptive sensing을 사용하는 compressed model이 auto-exposure를 사용하는 더 높은 precision의 model보다 더 좋은 성능을 낸다. 이러한 발견은 embodied vision을 위한 resource-adaptive inference가 model--sensor pair를 함께 평가하고 sensing을 resource budget의 일부로 취급해야 함을 시사한다. 또한, target model로 모든 후보 이미지를 점수화하지 않고도 단순한 entropy-based model-free policy가 이 이점의 상당 부분을 회복할 수 있음을 보인다.","link":"https://openreview.net/forum?id=ERsg6xboCk"},{"id":"UU82BHpcjP","en":"Prelude: Execution-Class Aware Serving for Decision-Style LLM Inference","ko":"Prelude: decision-style LLM inference를 위한 execution-class-aware serving","authors":"Minzhou Pan, Yuzhou Nie, Ruilin Zhou, Yuheng Tang, Jingyang Zhang, Dawn Song, Bo Li, Wenbo Guo","abs":"<p>Foundation-model inference is usually served through a single chat-oriented runtime even when requests have very different resource lifetimes. We present **Prelude**, a resource-adaptive serving framework for decision-style LLM inference: judges, reward models, safety classifiers, routers, rerankers, embedding models, and prompt-logprob extractors that read a prompt and return a fixed-size artifact or at most one token.</p><p>Prelude classifies work into *OneShot*, *Mixed*, and *Decode* execution classes, avoiding per-request paged-decode state for fixed-output work while preserving the standard paged-KV path for open-ended generation. It also performs prefix-aware OneShot planning and uses an inference-only tokenizer, *fasttoken*, to remove CPU-side overhead from the same hot path.</p><p>On H200, Prelude reaches $16{,}311$ input tok/s on a Qwen3-0.6B prefill-only benchmark, achieving $2.08\\times$ vLLM and $3.85\\times$ SGLang. It also reaches $186.7$ req/s on Qwen3-4B at concurrency 96. A multi-token decode control closes the gap to $1.03\\times$ vLLM, showing that the gains come from execution-class adaptation rather than a uniformly faster forward kernel.</p>","absKo":"foundation model inference는 보통 요청마다 자원 수명이 크게 다름에도 불구하고 하나의 chat-oriented runtime을 통해 제공된다. 우리는 결정 스타일 LLM inference를 위한 resource-adaptive serving framework인 **Prelude**를 제시한다. 여기에는 judge, reward model, safety classifier, router, reranker, embedding model, 그리고 prompt-logprob extractor가 포함되며, 이들은 prompt를 읽고 고정 크기 artifact 또는 최대 한 토큰을 반환한다.\n\nPrelude는 작업을 *OneShot*, *Mixed*, *Decode* execution class로 분류하여, 고정 출력 작업에 대해 request별 paged-decode state를 피하면서도 open-ended generation에는 표준 paged-KV 경로를 유지한다. 또한 prefix-aware OneShot planning을 수행하고, inference-only tokenizer인 *fasttoken*을 사용해 동일한 hot path에서 CPU-side overhead를 제거한다.\n\nH200에서 Prelude는 Qwen3-0.6B prefill-only benchmark에서 16{,}311 input tok/s를 달성하여 vLLM 대비 2.08배, SGLang 대비 3.85배에 이른다. 또한 concurrency 96의 Qwen3-4B에서 186.7 req/s를 달성한다. multi-token decode control은 vLLM과의 격차를 1.03배로 줄여, 성능 향상이 일괄적으로 더 빠른 forward kernel이 아니라 execution class 적응에서 비롯됨을 보여준다.","link":"https://openreview.net/forum?id=UU82BHpcjP"},{"id":"oqacjavnry","en":"Structural Outlier-Aware Post-Training Quantization for Monocular Depth Estimation","ko":"단안 깊이 추정을 위한 구조적 이상치 인지 post-training quantization","authors":"Yun-Seong Jeong, Jincheol Yang, Nahyun Lim, Jaemin Choi, Matti Alexander Zinke, Sungwook Choi, Sung-Sik Cho, Suk-Ju Kang","abs":"<p>ViT-based monocular depth estimation (MDE) models achieve strong accuracy but remain costly to deploy, motivating post-training quantization (PTQ). Existing PTQ methods are not well aligned with dense depth prediction, and recent depth-specific methods provide limited insight into which operators fail and why. We analyze 4-bit PTQ failure across operators using output sensitivity to clipping and cross-input range stability, showing that activation outliers play three distinct roles: range-dominating, signal-bearing, and input-dependent. Based on this analysis, we propose ORA-Q, an operator-role-aware PTQ framework that assigns each operator its grouping granularity, calibrator, and static or dynamic scaling mode. ORA-Q keeps most operators static and applies dynamic scaling only to input-dependent ranges. Experiments on Depth Anything variants and depth benchmarks show that ORA-Q consistently outperforms prior PTQ methods, improving $\\delta_1$ by 0.106 on average under 4-bit quantization.</p>","absKo":"ViT 기반 monocular depth estimation (MDE) 모델은 높은 정확도를 달성하지만 배포 비용이 여전히 크므로 post-training quantization (PTQ)이 필요하다. 기존 PTQ 방법은 dense depth prediction과 잘 맞지 않으며, 최근 depth-specific 방법들도 어떤 operator가 왜 실패하는지에 대한 통찰은 제한적이다. 우리는 clipping에 대한 output sensitivity와 cross-input range stability를 이용해 operator별 4-bit PTQ 실패를 분석하고, activation outlier가 range-dominating, signal-bearing, input-dependent라는 세 가지 서로 다른 역할을 한다는 점을 보인다. 이 분석을 바탕으로, 각 operator에 grouping granularity, calibrator, 그리고 static 또는 dynamic scaling mode를 할당하는 operator-role-aware PTQ framework인 ORA-Q를 제안한다. ORA-Q는 대부분의 operator를 static으로 유지하고 input-dependent range에만 dynamic scaling을 적용한다. Depth Anything 변형과 depth benchmark에 대한 실험에서 ORA-Q는 기존 PTQ 방법들을 일관되게 능가했으며, 4-bit quantization에서 평균적으로 $\\delta_1$를 0.106 향상시켰다.","link":"https://openreview.net/forum?id=oqacjavnry"},{"id":"PpfhfFSoJh","en":"EntropyCache: Decoded Token Entropy Guided KV Caching for Diffusion Language Models","ko":"EntropyCache: Diffusion Language Models를 위한 디코딩 토큰 엔트로피 유도 KV 캐싱","authors":"Minsoo Cheong, Donghyun Son, Woosang Lim, Sungjoo Yoo","abs":"<p>Diffusion-based large language models (dLLMs) rely on bidirectional attention, which prevents lossless KV caching and requires a full forward pass at every denoising step. Existing approximate KV caching methods reduce this cost by selectively updating cached states, but their decision overhead scales with context length or model depth. We propose EntropyCache, a training-free KV caching method that uses the maximum entropy of newly decoded token distributions as a constant-cost signal for deciding *when* to recompute. Our design is grounded in two empirical observations: (1) decoded token entropy correlates with KV cache drift, providing a cheap proxy for cache staleness, and (2) feature volatility of decoded tokens persists for multiple steps after unmasking, motivating recomputation of the $k$ most recently decoded tokens. The skip-or-recompute decision requires only $O(V)$ computation per step, independent of context length and model scale. Experiments on LLaDA-8B-Instruct and Dream-7B-Instruct show that EntropyCache achieves 15.2×–26.4× speedup on standard benchmarks and 22.4×–24.1× on chain-of-thought benchmarks against vanilla baselines, with competitive accuracy and decision overhead accounting for only 0.5% of inference time.</p>","absKo":"Diffusion-based large language models(dLLMs)는 bidirectional attention에 의존하는데, 이는 lossless KV caching을 불가능하게 만들고 모든 denoising step마다 full forward pass를 필요로 합니다. 기존의 approximate KV caching 방법은 cached state를 선택적으로 갱신함으로써 이 비용을 줄이지만, 그 결정 overhead는 context length 또는 model depth에 따라 증가합니다. 우리는 새로 decoded된 token distribution의 maximum entropy를 재계산 시점을 결정하기 위한 constant-cost signal로 사용하는, training-free KV caching 방법인 EntropyCache를 제안합니다. 우리의 설계는 두 가지 경험적 관찰에 기반합니다: (1) decoded token entropy는 KV cache drift와 상관관계를 가지므로 cache staleness의 저렴한 proxy가 되며, (2) decoded token의 feature volatility는 unmasking 이후 여러 step 동안 지속되므로, 가장 최근에 decoded된 k개 token을 재계산하는 것이 타당합니다. skip-or-recompute 결정은 step당 O(V) 계산만 필요로 하며, context length와 model scale에 무관합니다. LLaDA-8B-Instruct와 Dream-7B-Instruct에서 수행한 실험은 EntropyCache가 vanilla baseline 대비 standard benchmark에서 15.2×–26.4×, chain-of-thought benchmark에서 22.4×–24.1×의 속도 향상을 달성하면서도 경쟁력 있는 정확도를 유지하고, decision overhead는 inference time의 0.5%에 불과함을 보여줍니다.","link":"https://openreview.net/forum?id=PpfhfFSoJh"},{"id":"9Joja0tx5c","en":"DIPA: Difficulty-Informed Probabilistic Allocation of Test-Time Compute via Training-Free Proxies","ko":"DIPA: 학습 없는 프록시를 통한 테스트 시점 연산의 난도-인식 확률적 할당","authors":"Wenyang Hu, Yao Shu, See-Kiong Ng, Bryan Kian Hsiang Low","abs":"<p>Large language models (LLMs) excel at complex tasks but incur prohibitive computational costs, particularly when using techniques like self-consistency that require multiple generation attempts. This paper addresses the challenge of input-adaptive test-time compute allocation. We propose a framework that leverages **training-free difficulty proxies** derived directly from LLMs to distribute a fixed compute budget across the test queries, without requiring specialized training for the allocation mechanism. Our objective is to maximize the number of solved instances by dynamically allocating more compute to difficult instances and less to simpler ones, while adhering to a total budget constraint. We first introduce several training-free proxies and empirically demonstrate their effectiveness in estimating instance difficulty. We then design an adaptive allocation strategy guided by these proxies, which is theoretically grounded in a novel bandit formulation. Experiments across math, coding, and Q\\&amp;A benchmarks demonstrate that our method significantly outperforms both uniform budget allocation and training-based allocation baselines. This work presents a practical and readily deployable approach to enhance the resource efficiency of LLM inference for demanding reasoning tasks.</p>","absKo":"Large language models (LLMs)는 복잡한 작업에서 뛰어난 성능을 보이지만, self-consistency처럼 여러 번의 생성 시도를 요구하는 기법을 사용할 때는 계산 비용이 과도하게 커진다. 이 논문은 입력 적응형 test-time compute allocation 문제를 다룬다. 우리는 allocation 메커니즘에 대한 특수한 학습 없이, LLM에서 직접 도출한 **training-free difficulty proxy**를 활용해 고정된 compute budget을 test query들에 분배하는 framework를 제안한다. 우리의 목표는 총 budget 제약을 만족하면서, 어려운 instance에는 더 많은 compute를, 쉬운 instance에는 더 적은 compute를 동적으로 할당해 해결된 instance 수를 최대화하는 것이다. 먼저 여러 training-free proxy를 도입하고, 이것이 instance difficulty 추정에 효과적임을 실증적으로 보인다. سپس 이 proxy로 안내되는 adaptive allocation strategy를 설계하며, 이는 새로운 bandit formulation에 이론적으로 기반한다. 수학, 코딩, Q\\&A benchmark 전반의 실험은 우리의 방법이 균등한 budget allocation과 training-based allocation baseline 모두를 크게 능가함을 보여준다. 이 연구는 까다로운 reasoning task에서 LLM inference의 resource efficiency를 높이기 위한 실용적이고 즉시 배포 가능한 접근을 제시한다.","link":"https://openreview.net/forum?id=9Joja0tx5c"},{"id":"sGzXExjoIf","en":"LongAttnComp: Cross-Family Context Compression for Long-Context Reasoning","ko":"LongAttnComp: 장문 맥락 추론을 위한 교차 계열 context compression","authors":"Mengmeng Ji, Ravi Shanker Raju, Jonathan Lingjie Li, Chen Wu","abs":"<p>As real-world applications increasingly require processing inputs of 100k+ tokens that approach or exceed standard LLM context windows— retrieved documents, long conversations, or extended codebases—the gap between context length and inference efficiency has become a critical bottleneck. Long-context inference imposes significant memory and compute costs, motivating efficient context compression. We observe that long-context task performance decomposes into retrieval and reasoning, and existing training-free attention-based compression methods leave a substantial gap on the retrieval step in demanding long-context settings such as code understanding. We present LongAttnComp, a long-context adaptation of AttnComp (Luo et al., 2025), fine-tuning a lightweight cross-attention scoring layer and introducing token-level chunking, a token-budget top-p algorithm, and a format-agnostic query</p><p>parser. Trained solely on NIAH-style data, LongAttnComp matches or exceeds full-context performance and substantially outperforms training-free baselines across multiple target models on InfiniteBench Code-Debug. Per-task analysis on RULER and LongBench v2 confirms LongAttnComp’s strength on long-context code reasoning while indicating that broader long-context</p><p>applicability is achievable through more diverse training data.</p>","absKo":"실제 애플리케이션은 점점 더 retrieved document, 긴 대화, 확장된 codebase와 같이 표준 LLM context window에 근접하거나 이를 초과하는 100k+ token 입력을 처리해야 하므로, context length와 inference efficiency 사이의 격차가 중요한 병목이 되었다. Long-context inference는 상당한 memory와 compute 비용을 초래하므로, 효율적인 context compression이 요구된다. 우리는 long-context task 성능이 retrieval과 reasoning으로 분해됨을 관찰하며, 기존의 training-free attention 기반 compression 방법은 code understanding과 같은 까다로운 long-context 설정에서 retrieval 단계에 상당한 격차를 남긴다. 우리는 AttnComp(Luo et al., 2025)의 long-context adaptation인 LongAttnComp를 제시하는데, 이는 경량 cross-attention scoring layer를 fine-tuning하고 token-level chunking, token-budget top-p algorithm, format-agnostic query parser를 도입한다. 오직 NIAH-style data로만 학습된 LongAttnComp는 full-context performance와 동등하거나 그 이상을 달성하며, InfiniteBench Code-Debug에서 여러 target model 전반에 걸쳐 training-free baseline을 크게 능가한다. RULER와 LongBench v2에서의 task별 분석은 LongAttnComp가 long-context code reasoning에서 강함을 확인해 주며, 더 다양한 training data를 통해 더 넓은 long-context 적용 가능성이 열릴 수 있음을 시사한다.","link":"https://openreview.net/forum?id=sGzXExjoIf"},{"id":"ByrYoK4vWy","en":"A3: an Analytical Low-Rank Approximation Framework for Attention","ko":"A3: Attention을 위한 해석적 low-rank 근사 프레임워크","authors":"Jeffrey T. H. Wong, Cheng Zhang, Xinye Cao, Pedro Gimenes, Christos-Savvas Bouganis, George Anthony Constantinides, Wayne Luk, Yiren Zhao","abs":"<p>Large language models have demonstrated remarkable performance; however, their massive parameter counts make deployment highly expensive. Low-rank approximation offers a promising compression solution, yet existing approaches have two main limitations: (1) They focus on minimizing the output error of individual linear layers, without considering the architectural characteristics of Transformers, and (2) they decompose a large weight matrix into two small low-rank matrices. Consequently, these methods often fall short compared to other compression techniques like pruning and quantization, and introduce runtime overhead such as the extra GEMM kernel launches and memory operations for decomposed small matrices. To address these limitations, we propose $A^3$, a post-training low-rank approximation framework. $A^3$ splits a Transformer layer into three functional components, namely $\\texttt{QK}$, $\\texttt{OV}$, and $\\texttt{MLP}$ provides analytical solutions that reduces the hidden dimension size inside each component while minimizing the component&#x27;s functional loss. This approach directly reduces model sizes, KV cache sizes, and FLOPs without introducing any runtime overheads. Through extensive experiments, we show that $A^3$ maintains superior performance compared to SoTAs. For example, under the same reduction budget in computation and memory, our low-rank approximated LLaMA 3.1-70B achieves a perplexity of 4.69 on WikiText-2, outperforming the previous SoTA&#x27;s 7.87 by 3.18. We also show versatile applications of $A^3$ in KV cache compression, integration with quantization, fine-tuning and mixed-rank assignments. We open-sourced our framework and code at https://github.com/DeepWok/a3.</p>","absKo":"Large language models는 뛰어난 성능을 보여주지만, 막대한 parameter 수 때문에 배포 비용이 매우 높다. Low-rank approximation은 유망한 압축 해법이지만, 기존 방법에는 두 가지 주요 한계가 있다. (1) Transformer의 구조적 특성을 고려하지 않고 개별 linear layer의 output error 최소화에만 집중한다는 점, (2) 큰 weight matrix를 두 개의 작은 low-rank matrix로 분해한다는 점이다. 그 결과 이러한 방법은 pruning이나 quantization 같은 다른 압축 기법보다 성능이 떨어지는 경우가 많고, 분해된 작은 matrix에 대해 추가적인 GEMM kernel launch와 memory operation 같은 runtime overhead를 유발한다. 이러한 한계를 해결하기 위해 우리는 post-training low-rank approximation framework인 $A^3$를 제안한다. $A^3$는 Transformer layer를 \\texttt{QK}, \\texttt{OV}, \\texttt{MLP}의 세 functional component로 분할하고, 각 component의 functional loss를 최소화하면서 hidden dimension size를 줄이는 analytical solution을 제공한다. 이 접근은 runtime overhead를 추가하지 않으면서 model size, KV cache size, FLOPs를 직접 감소시킨다. 광범위한 실험을 통해 $A^3$가 SoTA 대비 우수한 성능을 유지함을 보였다. 예를 들어 동일한 computation 및 memory reduction budget에서, 우리의 low-rank approximated LLaMA 3.1-70B는 WikiText-2에서 perplexity 4.69를 기록해, 이전 SoTA의 7.87보다 3.18 낮은 값을 달성했다. 또한 $A^3$의 KV cache compression, quantization과의 통합, fine-tuning, mixed-rank assignment 등 다양한 활용 가능성도 보인다. 우리의 framework와 code는 https://github.com/DeepWok/a3 에서 공개했다.","link":"https://openreview.net/forum?id=ByrYoK4vWy"},{"id":"sWF4OAXw7u","en":"HYBRIDKV: Exploiting Head-Dominant Reconstruction for Efficient Query-Agnostic KV Cache Compression","ko":"HYBRIDKV: 효율적인 질의 비의존 KV 캐시 압축을 위한 헤드 지배적 복원 활용","authors":"Changwoo Baek, Kyeongbo Kong","abs":"<p>Efficient key–value (KV) cache compression is crucial for large language models with long contexts. While context-reconstruction attention enables query-agnostic KV compression, its practical use is limited by large compression overhead, i.e., additional prefill-time computation required for reconstruction-based importance scoring beyond standard prefill. We show that reconstruction-based KV importance consistently concentrates on a subset of attention heads, largely independent of the input context. Based on this observation, we propose a hybrid KV cache compression method that combines context-independent head pre-pruning with token-level reconstruction-based pruning. By restricting expensive reconstruction scoring to selected heads, our method significantly reduces compression overhead. Experiments on long-context benchmarks demonstrate up to a 36\\% overhead reduction while largely preserving inference accuracy.</p>","absKo":"효율적인 key–value(KV) cache compression은 긴 context를 다루는 large language models에 매우 중요하다. context-reconstruction attention은 query-agnostic KV compression을 가능하게 하지만, 실제 활용은 큰 compression overhead, 즉 표준 prefill을 넘어 reconstruction-based importance scoring을 위해 추가로 필요한 prefill-time computation 때문에 제한된다. 우리는 reconstruction-based KV importance가 입력 context와 크게 무관하게 attention head의 일부 subset에 일관되게 집중된다는 것을 보였다. 이 관찰을 바탕으로, context-independent head pre-pruning과 token-level reconstruction-based pruning을 결합한 hybrid KV cache compression method를 제안한다. 비싼 reconstruction scoring을 선택된 head로만 제한함으로써, 우리의 방법은 compression overhead를 크게 줄인다. long-context benchmark에서의 실험은 inference accuracy를 대체로 보존하면서 최대 36\\%의 overhead reduction을 달성함을 보여준다.","link":"https://openreview.net/forum?id=sWF4OAXw7u"},{"id":"xExWu1Bhuw","en":"Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping","ko":"학습된 확률적 정지를 통해 Looped Transformer의 외삽을 안정화하기","authors":"Hsun-Yu Kuo, El Mahdi Chayti, Patrik Reizinger, Wieland Brendel, Martin Jaggi","abs":"<p>Looped Transformers – which repeatedly apply a shared block – are an architecturally natural fit for variable-length algorithmic tasks.</p><p>Although they can exhibit strong length generalization beyond the length of training sequences, this behavior is brittle, yielding high out-of-distribution (OOD) variance, even across well-performing in-distribution solutions.</p><p>We trace this variance to the spurious correlation in simple algorithmic tasks between sequence length and number of loops.</p><p>Introducing stochasticity into the number of loops during training sharply reduces OOD variance and stabilises predictions across inference-time loop counts.</p><p>To improve upon heuristic randomisation schemes, we further analyse RL-Halting as a learned stochastic schedule and find it generally improves the accuracy--stability trade-off.</p><p>We provide comparisons across binary addition, Dyck-1, Unique Set, and Copy, showing that learned stochastic stopping often improves this trade-off but can also stabilise a suboptimal computation.</p><p>Overall, our results suggest that ``when to stop&#x27;&#x27; should be treated as a training-time design choice in looped architectures, not merely as an inference-time compute-allocation rule.</p>","absKo":"Looped Transformers - shared block을 반복 적용하는 모델 - 는 variable-length algorithmic task에 구조적으로 자연스럽게 맞는다. \\n이들은 training sequence 길이를 넘어서는 강한 length generalization을 보일 수 있지만, 이러한 거동은 취약하여, 성능이 좋은 in-distribution solution 사이에서도 out-of-distribution (OOD) variance가 크게 나타난다. \\n우리는 이 분산의 원인이 단순한 algorithmic task에서 sequence length와 loop 수 사이의 spurious correlation에 있음을 추적한다.\n학습 동안 loop 수에 stochasticity를 도입하면 OOD variance가 급격히 감소하고, inference-time loop count 전반에 걸쳐 예측이 안정화된다.\nheuristic randomisation scheme을 개선하기 위해, 우리는 RL-Halting을 학습된 stochastic schedule로 추가 분석하고, 이것이 일반적으로 accuracy--stability trade-off를 개선함을 발견한다.\n우리는 binary addition, Dyck-1, Unique Set, Copy 전반의 비교를 제공하며, 학습된 stochastic stopping이 종종 이 trade-off를 개선하지만, suboptimal computation을 안정화할 수도 있음을 보인다. \\n전반적으로 우리의 결과는 ``언제 멈출 것인가''를 looped architecture에서 inference-time compute-allocation rule이 아니라 training-time design choice로 다뤄야 함을 시사한다.","link":"https://openreview.net/forum?id=xExWu1Bhuw"},{"id":"8zKP0fTKr8","en":"HyPER: Bridging Exploration and Exploitation for Scalable LLM Reasoning with Hypothesis Path Expansion and Reduction","ko":"HyPER: 가설 경로 확장과 축소를 통한 확장 가능한 LLM 추론의 탐색-활용 가교","authors":"Shengxuan Qiu, Haochen Huang, Shuzhang Zhong, Pengfei Zuo, Meng Li","abs":"<p>Scaling test-time compute with multi-path reasoning improves the accuracy of foundation models, but often incurs substantial redundant computation.  We study how to make such reasoning more resource-efficient under a fixed inference budget.  Our key observation is that the value of exploration and exploitation is phase-dependent: early decoding benefits from diverse hypothesis paths, whereas later stages require targeted refinement and reliable answer selection.  We introduce **HyPER**, a training-free adaptive test-time compute policy that formulates multi-path reasoning as an online expand--reduce control problem.  HyPER reallocates compute using lightweight confidence and diversity statistics, dynamically choosing among path branching, short-horizon expansion, token-level refinement, and standard decoding.  To improve exploitation without full-path resampling, HyPER further leverages MoE routing diversity for single-token refinement with shared KV states, and uses a length- and confidence-aware voting rule to reduce answer-selection failures.</p><p>Across four MoE models and diverse reasoning benchmarks, HyPER consistently improves the accuracy--compute trade-off, achieving the Pareto frontier while outperforming prior methods by **8~10%** and reducing token consumption by **25~40%**.  These results demonstrate that adaptive control is an effective mechanism for resource-efficient foundation-model inference.</p>","absKo":"multi-path reasoning으로 test-time compute를 확장하면 foundation model의 정확도가 향상되지만, 종종 상당한 중복 계산이 발생합니다. 우리는 고정된 inference budget 하에서 이러한 reasoning을 더 자원 효율적으로 만드는 방법을 연구합니다. 우리의 핵심 관찰은 exploration과 exploitation의 가치는 단계에 따라 달라진다는 것입니다. 초기 decoding은 다양한 hypothesis path의 이점을 얻는 반면, 후반 단계에서는 목표 지향적 refinement와 신뢰할 수 있는 answer selection이 필요합니다. 우리는 multi-path reasoning을 online expand--reduce control problem으로 정식화하는, training-free adaptive test-time compute policy인 **HyPER**를 소개합니다. HyPER는 lightweight confidence 및 diversity statistic을 사용해 compute를 재할당하며, path branching, short-horizon expansion, token-level refinement, standard decoding 중에서 동적으로 선택합니다. full-path resampling 없이 exploitation을 개선하기 위해, HyPER는 공유 KV state를 사용한 single-token refinement에서 MoE routing diversity를 추가로 활용하고, length와 confidence를 고려한 voting rule로 answer-selection 실패를 줄입니다. \n네 개의 MoE model과 다양한 reasoning benchmark에서, HyPER는 accuracy-compute trade-off를 일관되게 개선하여 Pareto frontier를 달성하면서 기존 방법보다 **8~10%** 우수하고 token consumption을 **25~40%** 줄입니다. 이러한 결과는 adaptive control이 resource-efficient foundation-model inference를 위한 효과적인 메커니즘임을 보여줍니다.","link":"https://openreview.net/forum?id=8zKP0fTKr8"},{"id":"AcTTbEyQjR","en":"Implicit Off-Diagonal Curvature Modeling via Gradient Projection for Post-Training Quantization of Vision Transformers","ko":"Vision Transformer의 post-training quantization을 위한 gradient projection 기반 암묵적 비대각 curvature 모델링","authors":"Jincheol Yang, Jaemin Choi, Nahyun Lim, Yun-Seong Jeong, Matti Alexander Zinke, Hyunwoo Yu, Bongjoon Hyun, Kyomin Sohn, Suk-Ju Kang","abs":"<p>In this work, we propose Gradient-Projected Fisher Approximation for Quantization (GPFA-Q), a block reconstruction-based PTQ framework that avoids explicit curvature matrix construction while capturing off-diagonal interactions.</p><p>First, we introduce Gradient-Projected Reconstruction (GPR), which reformulates the Fisher quadratic objective as gradient projections, enabling implicit modeling of cross-dimensional interactions.</p><p>To further support GPR, we integrate Soft Grid Rounding (SGR), which reduces the mismatch between continuous reconstruction and discrete inference, ensuring that gradient projections remain consistent with the quantized model.</p><p>Extensive experiments demonstrate that our GPFA-Q achieves the state-of-the-art performance in low-bit quantization across diverse vision tasks.</p>","absKo":"본 연구에서는 quantization을 위한 Gradient-Projected Fisher Approximation(GPFA-Q)을 제안한다. 이는 explicit curvature matrix construction을 피하면서 off-diagonal interaction을 포착하는 block reconstruction 기반 PTQ framework이다.\n먼저, Gradient-Projected Reconstruction(GPR)을 도입한다. 이는 Fisher quadratic objective를 gradient projection으로 재정식화하여 cross-dimensional interaction을 암묵적으로 모델링할 수 있게 한다.\nGPR을 더욱 뒷받침하기 위해 Soft Grid Rounding(SGR)을 통합한다. 이는 연속적 reconstruction과 이산적 inference 사이의 불일치를 줄여, gradient projection이 quantized model과 일관되게 유지되도록 한다.\n광범위한 실험은 우리의 GPFA-Q가 다양한 vision task에서 low-bit quantization의 state-of-the-art 성능을 달성함을 보여준다.","link":"https://openreview.net/forum?id=AcTTbEyQjR"},{"id":"dMOyAgfLya","en":"Beyond Imitation: A Resource Adaptive Embedder that Outperforms its 14×Larger Teacher on Financial Retrieval","ko":"모방을 넘어: 14배 큰 teacher를 능가하는 자원 적응형 embedder의 금융 검색 성능","authors":"Ailar Mahdizadeh, Aria Salari, Sohail Rajabi, Shahriar Mirabbasi, Panos Nasiopoulos, Alireza Morsali","abs":"<p>Resource adaptive deployment of foundation models often relies on knowledge distillation to compress a large teacher into a smaller student that imitates its outputs. We argue that for domains in which the teacher itself is unreliable, pure imitation is the wrong objective. We study financial retrieval, where embedders must distinguish texts that differ only in numeric content (“revenue grew 12.4%” vs. “1.24%”). On a constructed numeric gap test (**NumGap**), an 8B Qwen3 embedder ranks numeric perturbations as more similar to an anchor than topical distractors roughly 95% of the time. Standard alignment based distillation inherits this weakness. We present **Caliber**, a distillation recipe combining pure $\\ell_2$ alignment with a margin based hinge that asks the student to discriminate numeric perturbations *more strongly* than the teacher. After only one training epoch on 606K passages, Caliber (0.6B parameters) exceeds the zero shot 8B teacher on FinanceBenchRetrieval by 14.3% relative nDCG@10 and improves NumGap-D by 20.6% relative over the LEAF style alignment only baseline. The recipe needs no relevance judgments, no hard negatives, and produces a 14× smaller model that is also more numerically faithful, advancing both the compression and quality dimensions of resource adaptive inference.</p>","absKo":"foundation model의 resource adaptive deployment는 종종 큰 teacher를 더 작은 student로 압축하여 teacher의 출력을 모방하게 하는 knowledge distillation에 의존한다. 우리는 teacher 자체가 신뢰할 수 없는 domain에서는 순수한 imitation이 잘못된 objective라고 주장한다. 우리는 수치 내용만 다른 텍스트를 구분해야 하는 financial retrieval을 연구한다(예: “revenue grew 12.4%” vs. “1.24%”). 구성한 numeric gap test (**NumGap**)에서, 8B Qwen3 embedder는 numeric perturbation을 anchor보다 topical distractor와 더 유사한 것으로 약 95%의 경우에 순위를 매긴다. standard alignment-based distillation은 이러한 약점을 그대로 계승한다. 우리는 pure $\\ell_2$ alignment와, student가 numeric perturbation을 teacher보다 *더 강하게* 구분하도록 요구하는 margin-based hinge를 결합한 distillation recipe **Caliber**를 제안한다. 606K passages로 단 한 epoch만 학습한 후, Caliber(0.6B parameters)는 FinanceBenchRetrieval에서 zero-shot 8B teacher를 relative nDCG@10 기준 14.3% 앞서며, NumGap-D에서는 LEAF-style alignment-only baseline 대비 20.6%의 상대적 향상을 보인다. 이 recipe는 relevance judgment도, hard negative도 필요 없으며, 14배 더 작은 모델을 생성하면서 수치적으로도 더 충실해 resource adaptive inference의 압축과 품질 두 측면을 함께 진전시킨다.","link":"https://openreview.net/forum?id=dMOyAgfLya"},{"id":"SWGVQbVB5U","en":"Multi-Token Prediction via Self-Distillation","ko":"Self-Distillation을 통한 Multi-Token Prediction","authors":"John Kirchenbauer, Abhimanyu Hans, Brian R. Bartoldson, Micah Goldblum, Ashwinee Panda, Tom Goldstein","abs":"<p>Existing techniques for accelerating language model inference, such as speculative decoding, require training auxiliary speculator models and building and deploying complex inference pipelines. We consider a new approach for converting a pretrained autoregressive language model from a slow single next token prediction model into a fast standalone multi-token prediction model using a simple online distillation objective. The final model retains the exact same implementation as the pretrained initial checkpoint and is deployable without the addition of any auxiliary verifier or other specialized inference code. Our method produces models that decode more than $3\\times$ faster at $&lt;5\\%$ drop in accuracy on GSM8K relative to the single token decoding performance of the same checkpoint.</p>","absKo":"speculative decoding과 같은 언어 모델 inference 가속 기법은 보조 speculator model을 학습시키고 복잡한 inference pipeline을 구축 및 배포해야 한다. 우리는 pretrained autoregressive language model을 느린 단일 next token prediction model에서 빠른 독립형 multi-token prediction model로 변환하는 새로운 접근법을 고려한다. 이 방법은 단순한 online distillation objective를 사용한다. 최종 모델은 pretrained 초기 checkpoint와 완전히 동일한 구현을 유지하며, 보조 verifier나 다른 특수한 inference code를 추가하지 않고도 배포할 수 있다. 우리의 방법은 같은 checkpoint의 single token decoding 성능 대비 GSM8K에서 정확도가 5% 미만 감소하는 수준에서 decoding 속도를 3배 이상 높이는 model을 생성한다.","link":"https://openreview.net/forum?id=SWGVQbVB5U"},{"id":"sUzfGWAzOy","en":"Recovering Selectivity with LTI State Space Operators for Portable Long-Context Inference","ko":"이동식 장문맥 추론을 위한 LTI 상태공간 연산자로 선택성 복원하기","authors":"Minseon Gwak, N. Benjamin Erichson, PooGyeon Park","abs":"<p>Mamba has established selective state space models as powerful building blocks for long-context foundation models by replacing linear time-invariant (LTI) recurrences with input-dependent selective recurrences. However, efficient training of such recurrences often relies on specialized fused kernels, limiting portability across diverse hardware. We propose SelectLTI, a simple but effective block that augments an LTI recurrence with input-dependent modulation to recover selective behavior. The proposed block equips any LTI state-space layer with sigmoid-gated modulators, making it trainable and deployable without specialized fused kernels. We evaluate SelectLTI on Selective Copying, a task designed to isolate selective-memory behavior in sequence models. SelectLTI matches or exceeds S6, the selective state-space operator of Mamba, showing that selective behavior can be recovered from an LTI recurrence augmented with lightweight modulation using only standard primitives. We position SelectLTI as a portable building block for efficient long-context foundation models deployed across diverse compute environments.</p>","absKo":"Mamba는 linear time-invariant (LTI) recurrence를 input-dependent selective recurrence로 대체함으로써 selective state space model을 long-context foundation model의 강력한 building block으로 확립했다. 그러나 이러한 recurrence의 효율적인 학습은 특수한 fused kernel에 의존하는 경우가 많아, 다양한 hardware 간 portability가 제한된다. 우리는 SelectLTI를 제안한다. 이는 LTI recurrence에 input-dependent modulation을 더해 selective behavior를 복원하는 단순하지만 효과적인 block이다. 제안하는 block은 어떤 LTI state-space layer에도 sigmoid-gated modulator를 장착하여, 특수한 fused kernel 없이도 학습 및 배포가 가능하게 한다. 우리는 sequence model에서 selective-memory behavior를 분리하기 위해 설계된 task인 Selective Copying에서 SelectLTI를 평가한다. SelectLTI는 Mamba의 selective state-space operator인 S6와 같거나 더 우수한 성능을 보이며, 표준 primitive만 사용한 lightweight modulation을 덧댄 LTI recurrence로도 selective behavior를 복원할 수 있음을 보여준다. 우리는 SelectLTI를 다양한 compute environment에 배포되는 efficient long-context foundation model을 위한 portable building block으로 제시한다.","link":"https://openreview.net/forum?id=sUzfGWAzOy"},{"id":"Q501g8bWsj","en":"Structure-Preserving Adaptive Post-Training Quantization for Monocular Depth Estimation","ko":"단안 깊이 추정을 위한 구조 보존 적응형 post-training quantization","authors":"Jaemin Choi, Jincheol Yang, Nahyun Lim, Yun-Seong Jeong, Matti Alexander Zinke, Hyunwoo Yu, Suk-Ju Kang","abs":"<p>Monocular Depth Estimation (MDE) foundation models such as Depth Anything achieve strong generalization across diverse scenes, but their high computational and memory costs hinder efficient deployment.</p><p>Post-Training Quantization (PTQ) offers a practical compression strategy, yet low-bit PTQ for MDE remains challenging because quantizing query and key projections independently fails to preserve their induced attention maps, while accumulated quantization errors cause distribution shifts in intermediate features.</p><p>To address these challenges, we propose \\textbf{SPA-Q}, a \\textbf{S}tructure-\\textbf{P}reserving \\textbf{A}daptive PTQ framework for MDE.</p><p>SPA-Q introduces Attention-Preserving Calibration, which calibrates quantization parameters by directly preserving the full-precision attention distributions, and Channel-Wise Distribution Alignment, which mitigates quantization-induced distribution shifts through channel-wise affine transformations that are absorbed into the weights after training.</p><p>Experiments on NYUv2 and KITTI show that SPA-Q consistently improves 4-bit quantization performance over existing PTQ methods, reducing AbsRel by 29.5\\% and improving $\\delta_1$ by 20.2\\% on average.</p>","absKo":"Depth Anything과 같은 Monocular Depth Estimation (MDE) foundation model은 다양한 장면에서 강한 generalization을 보이지만, 높은 연산 및 메모리 비용 때문에 효율적인 배포를 어렵게 한다.\nPost-Training Quantization (PTQ)은 실용적인 compression 전략을 제공하지만, MDE에서의 low-bit PTQ는 query와 key projection을 독립적으로 quantize하면 그들이 유도하는 attention map을 보존하지 못하고, 누적된 quantization error가 중간 feature의 distribution shift를 유발하기 때문에 여전히 어렵다.\n이러한 문제를 해결하기 위해, 우리는 MDE를 위한 \\textbf{S}tructure-\\textbf{P}reserving \\textbf{A}daptive PTQ framework인 \\textbf{SPA-Q}를 제안한다.\nSPA-Q는 Attention-Preserving Calibration을 도입하여, full-precision attention distribution을 직접 보존하는 방식으로 quantization parameter를 보정하고, Channel-Wise Distribution Alignment를 통해 channel-wise affine transformation을 사용해 quantization으로 인한 distribution shift를 완화하며, 이 변환은 학습 후 weight에 흡수된다.\nNYUv2와 KITTI에서의 실험은 SPA-Q가 기존 PTQ 방법보다 4-bit quantization 성능을 일관되게 향상시키며, AbsRel을 평균 29.5\\% 감소시키고 $\\delta_1$을 평균 20.2\\% 향상시킴을 보여준다.","link":"https://openreview.net/forum?id=Q501g8bWsj"},{"id":"4ylINNNS6y","en":"Decoupling Spatial and Semantic Token Compression for Vision-Language Model Acceleration","ko":"시각-언어 모델 가속화를 위한 공간 및 의미 token 압축 분리","authors":"Seunghun Moon, Jaehyun Pyun, Hyunwoo Yu, Suk-Ju Kang","abs":"<p>Vision-Language Models (VLMs) face massive inference overhead from extensive visual tokens. Existing Top-$K$ pruning methods mitigate this but suffer from severe spatial bias, information redundancy, and crucial context loss. To address this, we propose TokenNMS, a training-free two-stage framework that reframes token reduction as deterministic feature-space Non-Maximum Suppression (NMS). TokenNMS seamlessly bridges query-agnostic spatial pruning with query-aware semantic filtering, enforcing similarity constraints to penalize semantic overlap. Extensive experiments demonstrate our approach effectively preserves spatially diverse representations while accelerating inference across diverse VLMs.</p>","absKo":"Vision-Language Model(VLM)은 방대한 visual token 때문에 추론 오버헤드가 매우 크다. 기존의 Top-$K$ pruning 방법은 이를 완화하지만, 심한 spatial bias, 정보 중복, 중요한 context 손실이라는 문제를 겪는다. 이를 해결하기 위해 우리는 token reduction을 결정론적 feature-space Non-Maximum Suppression(NMS)으로 재구성하는 training-free two-stage framework인 TokenNMS를 제안한다. TokenNMS는 query-agnostic한 spatial pruning과 query-aware semantic filtering을 매끄럽게 연결하며, similarity constraint를 적용해 semantic overlap에 패널티를 준다. 광범위한 실험은 우리의 접근이 공간적으로 다양한 representation을 효과적으로 보존하면서도 다양한 VLM에서 추론을 가속함을 보여준다.","link":"https://openreview.net/forum?id=4ylINNNS6y"},{"id":"LqWW1SrKcH","en":"WildCat: Near-Linear Attention in Theory and Practice","ko":"WildCat: 이론과 실무에서의 준선형 Attention","authors":"Tobias Schröder, Lester Mackey","abs":"<p>We introduce WildCat, a high-accuracy, low-cost approach to compressing the attention mechanism in neural networks. The attention mechanism is notoriously expensive to deploy due to resource requirements that scale quadratically with the input sequence length $n$. WildCat avoids these quadratic costs by only attending over a small weighted coreset. WildCat runs in near-linear $O(n^{1+o(1)})$ time while guaranteeing super-polynomial $O(n^{-\\sqrt{\\log(\\log(n))}})$ error decay compared to exact attention. This property enables adapting the runtime parameter at the time of deployment depending on resource constraints and quality requirements. In contrast, prior practical approximations either lack error guarantees or require quadratic runtime to guarantee such high fidelity. We couple this advance with a GPU-optimized PyTorch implementation and a suite of benchmark experiments demonstrating the benefits of WildCat for image generation, image classification, and language model KV cache compression.</p>","absKo":"우리는 신경망의 attention mechanism을 고정밀, 저비용으로 압축하는 접근법 WildCat을 소개한다. attention mechanism은 입력 시퀀스 길이 $n$에 따라 이차적으로 증가하는 자원 요구 때문에 배포 비용이 특히 크다. WildCat은 작은 weighted coreset 위에만 attention을 수행함으로써 이러한 quadratic cost를 피한다. WildCat은 exact attention과 비교해 super-polynomial한 $O(n^{-\\sqrt{\\log(\\log(n))}})$ error decay를 보장하면서 거의 선형인 $O(n^{1+o(1)})$ 시간에 동작한다. 이러한 특성은 자원 제약과 품질 요구에 따라 배포 시점에 runtime parameter를 조정할 수 있게 해 준다. 반면 기존의 실용적 approximation들은 error guarantee가 없거나, 그런 수준의 fidelity를 보장하기 위해 quadratic runtime이 필요하다. 우리는 이 진전을 GPU에 최적화된 PyTorch implementation과 함께 제공하며, image generation, image classification, language model KV cache compression에서 WildCat의 이점을 보여 주는 일련의 benchmark experiment를 통해 검증한다.","link":"https://openreview.net/forum?id=LqWW1SrKcH"},{"id":"HFk5TQ2ILj","en":"Leech Lattice Vector Quantization for Efficient LLM Compression","ko":"효율적 LLM 압축을 위한 Leech lattice vector quantization","authors":"Tycho F. A. van der Ouderaa, Mart Van Baalen, Paul N. Whatmough, Markus Nagel","abs":"<p>Scalar quantization of large language models (LLMs) is fundamentally limited by information-theoretic bounds. While vector quantization (VQ) overcomes these limits by encoding blocks of parameters jointly, practical implementations must avoid the need for expensive lookup mechanisms or other explicit codebook storage. Lattice approaches address this through highly structured and dense packing.</p><p>This paper explores the Leech lattice, which, with its optimal sphere packing and kissing configurations at 24 dimensions, is the highest dimensional lattice known with such optimal properties. To make the Leech lattice usable for LLM quantization, we extend an existing search algorithm based on the extended Golay code construction, to i) support indexing, enabling conversion to and from bitstrings without materializing the codebook, ii) allow angular search over union of Leech lattice shells, iii) propose fully-parallelizable dequantization kernel. Together this yields a practical algorithm, namely Leech Lattice Vector Quantization (LLVQ). LLVQ delivers state-of-the-art LLM quantization performance, outperforming recent methods such as Quip\\#, QTIP, and PVQ. These results highlight the importance of high-dimensional lattices for scalable, theoretically grounded model compression.</p>","absKo":"대규모 language model (LLM)의 scalar quantization은 정보이론적 한계에 의해 근본적으로 제약된다. vector quantization (VQ)는 parameter block을 공동으로 인코딩함으로써 이러한 한계를 극복하지만, 실제 구현에서는 비용이 큰 lookup mechanism이나 명시적인 codebook 저장이 필요하지 않아야 한다. lattice 접근법은 이를 매우 구조화되고 조밀한 packing으로 해결한다.\n이 논문은 24차원에서 최적의 sphere packing과 kissing configuration을 가지며, 그러한 최적 특성이 알려진 가장 높은 차원의 lattice인 Leech lattice를 탐구한다. Leech lattice를 LLM quantization에 활용 가능하게 만들기 위해, 우리는 extended Golay code construction에 기반한 기존 search algorithm을 확장하여 i) indexing을 지원해 codebook을 materialize하지 않고도 bitstring으로부터, 그리고 bitstring으로의 변환을 가능하게 하고, ii) Leech lattice shell의 union에 대한 angular search를 허용하며, iii) 완전히 병렬화 가능한 dequantization kernel을 제안한다. 이로써 실용적인 알고리즘인 Leech Lattice Vector Quantization (LLVQ)이 완성된다. LLVQ는 최첨단 LLM quantization 성능을 제공하며, Quip\\#, QTIP, PVQ 같은 최근 방법을 능가한다. 이러한 결과는 확장 가능하고 이론적으로 정당화된 model compression을 위해 고차원 lattice가 중요함을 강조한다.","link":"https://openreview.net/forum?id=HFk5TQ2ILj"},{"id":"YYycBS8yxj","en":"DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices","ko":"DECO: 엔드사이드 장치에서 Dense에 준하는 성능을 내는 sparse mixture-of-experts","authors":"Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu","abs":"<p>While Mixture-of-Experts (MoE) scales model capacity without proportionally increasing computation, its massive total parameter footprint creates significant storage and memory-access bottlenecks, which hinder efficient end-side deployment that simultaneously requires high performance, low computational cost, and small storage overhead. To achieve these properties, we present **DECO**, a sparse MoE architecture designed to match the performance of dense Transformers under identical total parameter budgets and training tokens. DECO utilizes the differentiable and flexible ReLU-based routing enhanced by learnable expert-wise scaling, which adaptively balances the contributions of routed and shared experts. Furthermore, we introduce NormSiLU, an activation function that normalizes inputs prior to SiLU operators, producing a more stable trend of routed-expert activation ratio and a higher intrinsic sparsity level. We also identify an empirical advantage in using non-gated MLP experts with ReLU-based routing, indicating the possibility of MoE architecture simplification. Experiments demonstrate that DECO, activating only 20\\% of experts, matches dense performance and outperforms established MoE baselines. Our specialized acceleration kernel delivers a 3.00$\\times$ speedup on real hardware compared with dense inference. Codes and checkpoints are all available at https://github.com/thunlp/DECO.</p>","absKo":"Mixture-of-Experts(MoE)는 계산량을 비례적으로 늘리지 않으면서 model capacity를 확장할 수 있지만, 총 parameter 수가 매우 커서 storage와 memory-access 측면의 병목이 크게 발생하며, 이는 높은 성능, 낮은 계산 비용, 작은 저장 오버헤드를 동시에 요구하는 end-side deployment를 방해한다. 이러한 특성을 달성하기 위해, 우리는 동일한 total parameter budget과 training token 하에서 dense Transformer의 성능과 맞먹도록 설계된 sparse MoE architecture인 **DECO**를 제안한다. DECO는 learnable expert-wise scaling으로 강화된 differentiable하고 유연한 ReLU 기반 routing을 활용하여, routed expert와 shared expert의 기여를 적응적으로 균형 있게 조절한다. 더 나아가, 우리는 SiLU operator 이전에 입력을 정규화하는 activation function인 NormSiLU를 도입하여 routed-expert activation ratio의 추세를 더 안정적으로 만들고 intrinsic sparsity 수준을 더 높인다. 또한 ReLU 기반 routing에서 non-gated MLP expert를 사용하는 것이 경험적으로 유리함을 확인했으며, 이는 MoE architecture 단순화의 가능성을 시사한다. 실험 결과, 전체 expert의 20%만 활성화하는 DECO는 dense 성능과 일치하면서 기존 MoE baseline을 능가한다. 우리의 특화된 acceleration kernel은 실제 하드웨어에서 dense inference 대비 3.00$\\times$의 속도 향상을 제공한다. 코드와 checkpoint는 모두 https://github.com/thunlp/DECO 에서 확인할 수 있다.","link":"https://openreview.net/forum?id=YYycBS8yxj"},{"id":"rxozYQe8xn","en":"NOSA: Native and Offloadable Sparse Attention","ko":"NOSA: native 및 offload 가능한 sparse attention","authors":"Yuxiang Huang, Pengjie Wang, Jicheng Han, Weilin Zhao, Zhou su, Ao Sun, HongyaLyu, Hengyu Zhao, Yudong Wang, Chaojun Xiao, Xu Han, Zhiyuan Liu","abs":"<p>Decoding throughput is often limited by GPU memory dominated by the KV cache.</p><p>Existing KV cache offloading reduces memory by storing context on CPU and fetching sparse KV subsets, but training-free methods suffer from long-generation quality degradation, while trainable sparse attention incurs excessive CPU--GPU transfers.</p><p>We propose NOSA, a trainable sparse attention mechanism natively designed for KV cache offloading.</p><p>NOSA constrains CPU--GPU KV transfer volume to lower communication overhead and improve throughput.</p><p>We further build NOSI, an offloading inference system that realizes NOSA&#x27;s efficiency.</p><p>Experiments on {1,3,8}B LLMs show that NOSA improves quality across general, long-input, and long-generation tasks, while boosting decoding throughput by up to $5.04\\times$, $1.92\\times$, and $1.83\\times$ over FullAttn, InfLLMv2, and ShadowKV.</p>","absKo":"Decoding throughput은 종종 KV cache가 지배하는 GPU memory에 의해 제한된다.\n기존의 KV cache offloading은 context를 CPU에 저장하고 sparse KV subset을 가져오는 방식으로 memory를 줄이지만, training-free method는 long-generation에서 quality degradation을 겪고, trainable sparse attention은 과도한 CPU--GPU transfer를 유발한다.\n우리는 KV cache offloading을 위해 native하게 설계된 trainable sparse attention mechanism인 NOSA를 제안한다.\nNOSA는 communication overhead를 낮추고 throughput을 향상시키기 위해 CPU--GPU 간 KV transfer volume을 제약한다.\n우리는 또한 NOSA의 효율성을 구현하는 offloading inference system인 NOSI를 구축한다.\n{1,3,8}B LLM에 대한 실험에서 NOSA는 general task, long-input task, long-generation task 전반에서 quality를 향상시키는 동시에, FullAttn, InfLLMv2, ShadowKV 대비 decoding throughput을 최대 $5.04\\times$, $1.92\\times$, $1.83\\times$까지 높인다.","link":"https://openreview.net/forum?id=rxozYQe8xn"},{"id":"A8TRYxTD6S","en":"Empirical Analysis of Layer Redundancy in Diffusion Language Models","ko":"Diffusion Language Model의 층 중복성에 대한 실증 분석","authors":"Yuto Karashima, Hiroaki Ito, Hikari Otsuka, Guanxi Lu, Tatsuya Kaneko, Masato Motomura, Daichi Fujiki","abs":"<p>Diffusion language models (DLMs) are promising alternatives to autoregressive models due to their bidirectional attention and parallel decoding. However, their inference cost becomes significantly higher as they scale. To address this challenge, we propose a dynamic layer-skipping framework. Our approach places a lightweight router before each Transformer layer to make unified, sequence-level execution decisions by aggregating masked token representations. Evaluated on LLaDA-8B across six benchmarks, we achieve a better FLOPs-accuracy trade-off than static and random baselines, including a 14.26\\% FLOPs reduction on PIQA without accuracy loss. Furthermore, analysis reveals that initial layers are consistently critical, and layer redundancy naturally increases as the denoising process progresses.</p>","absKo":"Diffusion language models (DLMs)는 bidirectional attention과 parallel decoding 덕분에 autoregressive model의 유망한 대안이다. 그러나 규모가 커질수록 inference cost가 크게 증가한다. 이 문제를 해결하기 위해 우리는 dynamic layer-skipping framework를 제안한다. 우리의 접근은 각 Transformer layer 앞에 lightweight router를 배치하여, masked token representation을 집계함으로써 sequence-level 실행 결정을 통합적으로 내리게 한다. LLaDA-8B를 여섯 개 benchmark에서 평가한 결과, accuracy 손실 없이 PIQA에서 14.26\\%의 FLOPs 감소를 포함해 static 및 random baseline보다 더 나은 FLOPs-accuracy trade-off를 달성했다. 또한 분석 결과, 초기 layer들이 일관되게 중요하며 denoising 과정이 진행될수록 layer redundancy가 자연스럽게 증가함이 드러났다.","link":"https://openreview.net/forum?id=A8TRYxTD6S"},{"id":"Z5Ifqa2RQC","en":"OriCache: Orientation-Guided Feature Caching for DiT Acceleration","ko":"OriCache: DiT 가속을 위한 방향 유도 특징 캐싱","authors":"Joonsik Nam, Hyunwoo Yu, Suk-Ju Kang","abs":"<p>Diffusion Transformers (DiTs) deliver high-quality generation but require repeated Transformer evaluations over many denoising steps, making inference expensive. Feature caching reduces this cost by reusing intermediate computations across denoising steps, where cache scheduling determines when cached computations can be reused or refreshed. Existing training-free scheduling methods have explored lightweight trajectory cues such as feature distance, update magnitude, and spectral variation. However, the orientation consistency of local updates remains underexplored, despite its potential to reflect the stability of local denoising trajectories. In this work, we propose OriCache, a training-free feature caching method that explicitly incorporates local update orientation into cache scheduling. OriCache computes a cache score from lightweight block inputs by combining update-scale variation with directional alignment between consecutive local updates. By jointly considering how much local updates change and whether their directions remain consistent, OriCache captures complementary aspects of denoising trajectory evolution for recomputation decisions. Experiments on FLUX.1-[dev] and Stable Diffusion 3.5-Large show that OriCache improves over representative static and adaptive caching baselines, and ablations confirm that combining magnitude and orientation yields more reliable cache decisions than either cue alone.</p>","absKo":"Diffusion Transformers(DiTs)는 고품질 생성을 제공하지만, 많은 denoising step에 걸쳐 Transformer를 반복 평가해야 하므로 추론 비용이 크다. Feature caching은 denoising step 간의 intermediate computation을 재사용하여 이 비용을 줄이며, cache scheduling은 cached computation을 언제 재사용하거나 갱신할 수 있는지를 결정한다. 기존의 training-free scheduling 방법들은 feature distance, update magnitude, spectral variation과 같은 가벼운 trajectory cue를 탐구해 왔다. 그러나 local update의 orientation consistency는 local denoising trajectory의 안정성을 반영할 수 있음에도 아직 충분히 탐구되지 않았다. 본 연구에서는 local update orientation을 cache scheduling에 명시적으로 통합하는 training-free feature caching 방법 OriCache를 제안한다. OriCache는 update-scale variation과 연속된 local update 사이의 directional alignment을 결합하여 가벼운 block input으로부터 cache score를 계산한다. local update가 얼마나 변하는지와 그 방향이 얼마나 일관적인지를 함께 고려함으로써, OriCache는 recomputation decision을 위한 denoising trajectory evolution의 상보적 측면을 포착한다. FLUX.1-[dev]와 Stable Diffusion 3.5-Large에서의 실험은 OriCache가 대표적인 static 및 adaptive caching baseline보다 향상됨을 보이며, ablation은 magnitude와 orientation을 함께 결합할 때 어느 한 cue만 사용하는 것보다 더 신뢰할 수 있는 cache decision이 나온다는 점을 확인했다.","link":"https://openreview.net/forum?id=Z5Ifqa2RQC"},{"id":"14yhYy9m7S","en":"Learning Adaptive LLM Decoding","ko":"적응형 LLM 디코딩 학습","authors":"Huangyuan Su, Zhe Ye, Samuel Tenka, Aidan Z.H. Yang, Soonho Kong, Udaya Ghai","abs":"<p>Decoding from large language models (LLMs) typically relies on fixed sampling hyperparameters (e.g., temperature, top-p), despite substantial variation in task difficulty and uncertainty across prompts and individual decoding steps. We propose to learn adaptive decoding policies that dynamically select sampling strategies at inference time, conditioned on available compute resources. Rather than fine-tuning the language model itself, we introduce lightweight decoding adapters trained with reinforcement learning and verifiable terminal rewards (e.g. correctness on math and coding tasks). At the sequence level, we frame decoding as a contextual bandit problem: a policy selects a decoding strategy (e.g. greedy, top-k, min-p) for each prompt, conditioned on the prompt embedding and a parallel sampling budget. At the token level, we model decoding as a partially observable Markov decision process (POMDP), where a policy selects sampling actions at each token step based on internal model features and the remaining token budget. Experiments on the MATH and CodeContests benchmarks show that the learned adapters improve the accuracy–budget tradeoff: on MATH, the token-level adapter improves Pass@1 accuracy by up to 10.2% over the best static baseline under a fixed token budget, while the sequence-level adapter yields 2–3% gains under fixed parallel sampling. Ablation analyses support the contribution of both sequence- and token-level adaptation.</p>","absKo":"large language model(LLM)에서의 decoding은 일반적으로 temperature, top-p 같은 고정 sampling hyperparameter에 의존하지만, prompt와 개별 decoding step마다 task difficulty와 uncertainty가 크게 다르다. 우리는 inference 시점에 available compute resource에 맞춰 sampling strategy를 동적으로 선택하는 adaptive decoding policy를 학습하는 방법을 제안한다. language model 자체를 fine-tuning하는 대신, reinforcement learning과 검증 가능한 terminal reward(예: math 및 coding task의 정답 여부)로 학습된 lightweight decoding adapter를 도입한다. sequence level에서는 decoding을 contextual bandit problem으로 정식화한다. policy는 prompt embedding과 parallel sampling budget에 조건화되어 각 prompt마다 decoding strategy(예: greedy, top-k, min-p)를 선택한다. token level에서는 decoding을 partially observable Markov decision process(POMDP)로 모델링한다. policy는 internal model feature와 남은 token budget을 바탕으로 각 token step에서 sampling action을 선택한다. MATH와 CodeContests benchmark 실험에서 학습된 adapter는 accuracy–budget tradeoff를 개선한다. MATH에서는 token-level adapter가 고정 token budget 하에서 최적 static baseline보다 Pass@1 정확도를 최대 10.2% 향상시키며, sequence-level adapter는 고정 parallel sampling에서 2–3%의 향상을 보인다. ablation analysis는 sequence-level과 token-level adaptation 모두의 기여를 뒷받침한다.","link":"https://openreview.net/forum?id=14yhYy9m7S"},{"id":"tIsX30TADF","en":"LEAP: Learnable End-to-End Adaptive Pruning of Large Language Models","ko":"LEAP: 대규모 언어 모델의 학습 가능한 종단 간 적응형 가지치기","authors":"Mohammad Mozaffari, Younes Hourri, Mohammad Rastegari, Mahyar Najibi","abs":"<p>Unstructured sparsity is now natively accelerated by recent GPU kernels and dataflow hardware, shifting the bottleneck from inference execution to the pruning algorithm. State-of-the-art methods for unstructured LLM pruning are layer-wise surrogates derived from the Optimal Brain Surgeon principle, and they sacrifice end-to-end accuracy, especially under aggressive sparsity. End-to-end alternatives such as MaskLLM and PATCH show that learnable masks can close this gap, but their categorical-over-patterns parameterization scales with the number of valid masks per row and does not port to the unstructured setting. We introduce LEAP, which replaces this intractable parameterization with a per-weight Bernoulli-via-Gumbel-sigmoid relaxation that makes end-to-end unstructured mask learning tractable. Across five LLM families from 0.5B to 8B parameters at 50% and 60% sparsity, LEAP improves six-task average zero-shot accuracy by +2.59 points on average over ADMM, the best layer-wise baseline in our sweep.</p>","absKo":"비구조적 sparsity는 이제 최근 GPU kernel과 dataflow hardware에 의해 네이티브하게 가속되므로, 병목은 inference 실행에서 pruning algorithm으로 이동했다. 비구조적 LLM pruning의 최첨단 방법은 Optimal Brain Surgeon 원리에서 도출된 layer-wise surrogate이며, 특히 공격적인 sparsity 하에서 end-to-end 정확도를 희생한다. MaskLLM과 PATCH 같은 end-to-end 대안은 학습 가능한 mask가 이 격차를 줄일 수 있음을 보여 주지만, pattern별 categorical parameterization은 row당 유효한 mask 수에 따라 확장되며 비구조적 setting으로는 이식되지 않는다. 우리는 이 다루기 어려운 parameterization을, end-to-end 비구조적 mask 학습을 tractable하게 만드는 per-weight Bernoulli-via-Gumbel-sigmoid relaxation으로 대체한 LEAP를 제안한다. 0.5B에서 8B 파라미터까지의 다섯 개 LLM family에 대해 50%와 60% sparsity로 평가한 결과, LEAP는 our sweep에서 가장 좋은 layer-wise baseline인 ADMM 대비 여섯 개 task 평균 zero-shot accuracy를 평균 +2.59포인트 향상시킨다.","link":"https://openreview.net/forum?id=tIsX30TADF"},{"id":"B0N2TDGiOl","en":"QJL is 1-bit Compressive Sensing: An Equivalence and Its Consequences for KV Cache Compression in LLMs","ko":"QJL은 1-bit compressive sensing이다: 동치와 LLM의 KV cache 압축에 대한 함의","authors":"Mohammad Babakmehr","abs":"<p>We establish a formal equivalence between the</p><p>Quantized Johnson–Lindenstrauss (QJL) trans-</p><p>form of the TurboQuant KV cache compression</p><p>scheme and the classical 1-bit compressive sens-</p><p>ing (1-bit CS) model of Boufounos and Bara-</p><p>niuk (2008), which lets us import 1-bit CS theory</p><p>into QJL analysis. From it we derive three new</p><p>consequences. First, reconstruction guarantees</p><p>for QJL side-channel estimates in terms of mea-</p><p>surement count, dimension, and key geometry,</p><p>with a matching m ≍log(n)/γ2</p><p>n lower bound</p><p>via Le Cam/Fano (isotropic-keys model). Sec-</p><p>ond, an analysis of TurboQuant as a two-stage</p><p>operator—rotated scalar quantization composed</p><p>with QJL—yielding a composition error iden-</p><p>tity and a bit-allocation law that explains its de-</p><p>ployed configuration. Third, a rate–distortion</p><p>lower bound identifying the effective rank of</p><p>the residual covariance as the diagnostic gov-</p><p>erning multi-bit residual coding. Empirically,</p><p>KL transform coding cuts residual-reconstruction</p><p>NMSE by 53–74% over scalar quantization on</p><p>concentrated-spectrum residuals, and a QJL 1-</p><p>bit correction stacked on a learned low-rank pro-</p><p>jection adds ≤0.4 perplexity points across six</p><p>LLMs—confirming the composition bound end-</p><p>to-end.</p>","absKo":"우리는 TurboQuant KV cache compression scheme의 Quantized Johnson–Lindenstrauss (QJL) transform과 Boufounos와 Baraniuk(2008)의 고전적인 1-bit compressive sensing(1-bit CS) 모델 사이의 형식적 동치를 확립하며, 이를 통해 1-bit CS 이론을 QJL 분석에 도입할 수 있음을 보인다. 이를 바탕으로 세 가지 새로운 귀결을 도출한다. 첫째, 측정 개수, 차원, key geometry의 관점에서 QJL side-channel estimate에 대한 reconstruction guarantee를 제시하고, isotropic-keys model에서 Le Cam/Fano를 통해 m ≍log(n)/γ2\nn 하한이 일치함을 보인다. 둘째, TurboQuant를 두 단계 연산자, 즉 rotated scalar quantization에 QJL을 합성한 형태로 분석하여 composition error identity와 배포된 구성(deployed configuration)을 설명하는 bit-allocation law를 얻는다. 셋째, residual covariance의 effective rank를 multi-bit residual coding을 좌우하는 진단 지표로 식별하는 rate–distortion 하한을 제시한다. 실험적으로는, KL transform coding이 concentration된 spectrum의 residual에서 scalar quantization 대비 residual-reconstruction NMSE를 53–74% 줄이며, learned low-rank projection 위에 쌓은 QJL 1-bit correction은 여섯 개 LLM 전반에서 perplexity를 0.4포인트 이하만 증가시켜 composition bound가 end-to-end로 성립함을 확인한다.","link":"https://openreview.net/forum?id=B0N2TDGiOl"},{"id":"p6y2soVAlT","en":"Activation Quantization of Vision Encoders Needs Prefixing Registers","ko":"vision encoder의 activation quantization에는 prefixing register가 필요하다","authors":"Seunghyeon Kim, Taesun Yeom, Jinho Kim, Wonpyo Park, Kyuyeun Kim, Jaeho Lee","abs":"<p>Large pretrained vision encoders are central to multimodal intelligence, powering applications from on-device vision processing to vision-language models. Since these applications often demand real-time processing of massive visual data, reducing the inference cost of vision encoders is critical. Quantization offers a practical path, but it remains challenging even at 8-bit precision due to activation outliers. In this work, we propose *RegCache*, a training-free algorithm that mitigates outliers in large-scale pretrained vision encoders and serves as a plug-in module that can be applied on top of other quantization methods. RegCache introduces outlier-prone yet semantically meaningless prefix tokens into the vision encoder, which prevent other tokens from having outliers. Notably, we observe that outliers in vision encoders behave differently from those in language models, motivating two technical innovations: middle-layer prefixing and token deletion. Experimental results show that our method consistently improves quantized model performance across various vision encoders, particularly in extremely low-bit regimes (e.g., 4-bit).</p>","absKo":"Large pretrained vision encoder는 multimodal intelligence의 핵심이며, on-device vision processing부터 vision-language model까지 다양한 application을 구동한다. 이러한 application은 대규모 visual data를 실시간에 가깝게 처리해야 하는 경우가 많으므로, vision encoder의 inference cost를 줄이는 일이 중요하다. Quantization은 실용적인 해법이지만, activation outlier 때문에 8-bit 정밀도에서도 여전히 어렵다. 본 연구에서는 대규모 pretrained vision encoder에서 outlier를 완화하는 training-free algorithm인 *RegCache*를 제안하며, 다른 quantization method 위에 적용할 수 있는 plug-in module로 사용된다. RegCache는 outlier가 발생하기 쉬우면서도 의미론적으로 무의미한 prefix token을 vision encoder에 도입하여, 다른 token에서 outlier가 발생하지 않도록 한다. 특히 우리는 vision encoder의 outlier가 language model의 outlier와 다르게 동작함을 관찰했고, 이는 middle-layer prefixing과 token deletion이라는 두 가지 기술적 혁신을 이끌었다. 실험 결과는 우리의 방법이 다양한 vision encoder에서 quantized model 성능을 일관되게 개선하며, 특히 극저비트 regime(예: 4-bit)에서 두드러짐을 보여준다.","link":"https://openreview.net/forum?id=p6y2soVAlT"},{"id":"5MSxa85tWH","en":"A Tale of Two Temperatures: Simple, Efficient, and Diverse Sampling from Diffusion Language Models","ko":"두 개의 온도 이야기: diffusion language model에서의 간단하고 효율적이며 다양한 sampling","authors":"Theo X. Olausson, Metod Jazbec, Xi Wang, Armando Solar-Lezama, Christian A. Naesseth, Stephan Mandt, Eric Nalisnick","abs":"<p>Much work has been done on designing fast and accurate sampling for diffusion language models (dLLMs). However, these efforts have largely focused on the tradeoff between speed and quality of individual samples; how to additionally ensure diversity across samples remains less well understood. In this work, we show that diversity can be increased by using softened, tempered versions of familiar confidence-based remasking heuristics, retaining their computational benefits and offering simple implementations. We motivate this approach by introducing an idealized formal model of fork tokens and studying the impact of remasking on the expected entropy at the forks. Empirically, the proposed tempered heuristics close the exploration gap (pass@) between existing confidence-based and autoregressive sampling, hence outperforming both when controlling for cost (pass@NFE). We further study how the increase in diversity translates to downstream post-training and test-time compute scaling. Overall, our findings demonstrate that simple, efficient, and diverse sampling from dLLMs is possible.</p>","absKo":"diffusion language model (dLLM)을 위한 빠르고 정확한 sampling 설계에 대해 많은 연구가 이루어져 왔다. 그러나 이러한 노력은 주로 개별 sample의 속도와 품질 사이의 tradeoff에 집중해 왔고, sample 간 다양성을 추가로 어떻게 보장할지는 여전히 충분히 이해되지 않았다. 본 연구에서는 익숙한 confidence-based remasking heuristic의 softened, tempered version을 사용하면 계산상의 이점을 유지하면서 다양성을 높일 수 있음을 보인다. 우리는 fork token에 대한 이상화된 formal model을 도입하고, fork에서의 expected entropy에 대한 remasking의 영향을 분석함으로써 이 접근을 동기부여한다. 실험적으로, 제안한 tempered heuristic은 기존 confidence-based sampling과 autoregressive sampling 사이의 exploration gap(pass@)을 줄여, 비용을 통제할 때 두 방법 모두를 능가한다(pass@NFE). 또한 다양성 증가가 downstream post-training과 test-time compute scaling에 어떻게 이어지는지도 추가로 살펴본다. 전반적으로, 우리의 결과는 dLLM에서 간단하고 효율적이며 다양한 sampling이 가능함을 보여준다.","link":"https://openreview.net/forum?id=5MSxa85tWH"},{"id":"Zfgv1Sa7Ot","en":"TEAM: Temporal–Spatial Consistency Guided Expert Activation for MoE Diffusion Language Model Acceleration","ko":"TEAM: MoE diffusion language model 가속을 위한 시간-공간 일관성 유도 expert 활성화","authors":"Linye Wei, Zixiang Luo, Pingzhi Tang, Meng Li","abs":"<p>Diffusion large language models (dLLMs) enable parallel decoding, and recent MoE dLLMs with autoregressive initialization further improve model capacity and accuracy. However, we identify a mismatch between MoE routing and diffusion decoding: a large number of experts are activated at each denoising step, while only a small subset of tokens is ultimately accepted, resulting in substantial inference overhead and limiting their deployment in latency-sensitive applications. In this work, we propose **TEAM**, a plug-and-play framework that accelerates MoE dLLMs by enabling more accepted tokens with fewer activated experts. TEAM is motivated by the observation that expert routing decisions exhibit strong temporal consistency across denoising levels as well as spatial consistency across token positions. Leveraging these properties, TEAM employs three complementary expert activation and decoding strategies, conservatively selecting necessary experts for decoded and masked tokens and simultaneously performing aggressive speculative exploration across multiple candidates. Experimental results demonstrate that TEAM achieves up to 2.2× speedup over vanilla MoE dLLM, with negligible performance degradation.</p>","absKo":"Diffusion large language model(dLLM)은 parallel decoding을 가능하게 하며, 최근의 autoregressive initialization을 사용하는 MoE dLLM은 model capacity와 accuracy를 추가로 향상시킨다. 그러나 우리는 MoE routing과 diffusion decoding 사이의 mismatch를 확인했다. 즉, denoising step마다 많은 expert가 활성화되는 반면 실제로 최종적으로 받아들여지는 token은 소수에 불과하여, inference overhead가 크게 발생하고 latency-sensitive application으로의 배포를 제한한다. 본 연구에서 우리는 더 적은 expert를 활성화하면서 더 많은 accepted token을 가능하게 하여 MoE dLLM을 가속하는 plug-and-play framework인 **TEAM**을 제안한다. TEAM은 expert routing decision이 denoising level 전반에 걸쳐 강한 temporal consistency를 보이고, token position 전반에 걸쳐 spatial consistency를 보인다는 관찰에서 출발한다. 이러한 성질을 활용해 TEAM은 세 가지 상호 보완적인 expert activation 및 decoding strategy를 사용한다. decoded 및 masked token에 대해 필요한 expert를 보수적으로 선택하는 동시에, 여러 candidate에 걸쳐 공격적인 speculative exploration을 수행한다. 실험 결과 TEAM은 vanilla MoE dLLM 대비 최대 2.2× speedup을 달성하면서도 성능 저하는 미미함을 보여준다.","link":"https://openreview.net/forum?id=Zfgv1Sa7Ot"},{"id":"QuWWYol2nP","en":"Rethinking Layer Redundancy in Large Language Models: Calibration Objectives and Search for Depth Pruning","ko":"Large Language Models의 layer 중복성 재고: 보정 목표와 depth pruning 탐색","authors":"Minkyu Kim, Vincent-Daniel Yun, Youngrae Kim, YoungJin Heo, Suin Cho, Seong-hun Kim, Woosang Lim, Gaeul Kwon","abs":"<p>Depth pruning improves the inference efficiency of large language models by removing Transformer blocks. Prior work has largely treated layer redundancy as an inherent structural property of pretrained networks, emphasizing importance criteria and search algorithms for identifying removable layers. In contrast, we adopt a \\emph{functional perspective}, where redundancy depends jointly on the model and the calibration objective, suggesting that a universal layer ranking may not exist. Through an empirical study across three LLM families, two calibration objectives, and seven search algorithms, we find that different objectives produce qualitatively different pruning patterns, while perplexity and downstream reasoning accuracy rankings often fail to align. In contrast, under a fixed objective, different search algorithms tend to converge to similar pruning solutions. Overall, our results suggest that the calibration objective may play a larger role than the particular search algorithm in determining which layers appear redundant.</p>","absKo":"Depth pruning은 Transformer block을 제거함으로써 large language model의 inference 효율을 높인다. 기존 연구는 주로 layer redundancy를 pretrained network의 본질적 구조적 속성으로 간주하고, 제거 가능한 layer를 식별하기 위한 중요도 기준과 search algorithm에 초점을 맞춰 왔다. 반면 우리는 \\\\emph{functional perspective}를 취한다. 여기서 redundancy는 model과 calibration objective에 jointly 의존하며, 따라서 보편적인 layer ranking은 존재하지 않을 수 있음을 시사한다. 세 개의 LLM family, 두 개의 calibration objective, 그리고 일곱 개의 search algorithm에 걸친 실증 연구를 통해, 서로 다른 objective가 질적으로 다른 pruning pattern을 만들어내며, perplexity와 downstream reasoning accuracy의 ranking은 종종 서로 맞지 않음을 발견했다. 반대로 고정된 objective 아래에서는 서로 다른 search algorithm이 유사한 pruning solution으로 수렴하는 경향이 있다. 전체적으로 우리의 결과는 어떤 layer가 redundant하게 보이는지를 결정하는 데 있어, 특정 search algorithm보다 calibration objective가 더 큰 역할을 할 수 있음을 시사한다.","link":"https://openreview.net/forum?id=QuWWYol2nP"},{"id":"WklS2q5SD9","en":"Recency/Frequency Adaptive KV Caching for Large Language Model Serving","ko":"대규모 언어 모델 serving을 위한 recency/frequency adaptive KV caching","authors":"Yang Shen, Meghana Madhyastha, Robert Underwood, Bogdan Nicolae, Randal Burns","abs":"<p>Key-value (KV) caching is a powerful technique for accelerating large language model inference and generation. Inference workloads are large and diverse, which makes them difficult to cache effectively. Existing cache management strategies adopt the least-recently-used policy for evicting cache blocks. However, LRU leads to multiple unrelated workloads flushing each other&#x27;s caches. To address this, we integrate adaptive caching that dynamically allocates cache space between recently and frequently occurring KV blocks. Evaluations show that it improves the KV cache hit rate by up to 10.8\\% and reduces time to first token by up to 12.6\\% over naive vLLM on synthetic document question answering workloads, and 2.1\\% and 2.0\\% respectively on real-world conversation workloads. The method generalizes well to batch inference and demonstrates clear interpretability while effectively accommodating diverse workloads.</p>","absKo":"Key-value (KV) caching은 large language model inference와 generation을 가속하는 강력한 기법이다. inference workload는 규모가 크고 다양하여 효과적으로 cache하기가 어렵다. 기존 cache management 전략은 cache block을 evict할 때 least-recently-used 정책을 채택한다. 그러나 LRU는 서로 관련 없는 여러 workload가 서로의 cache를 flush하게 만든다. 이를 해결하기 위해 우리는 최근 발생한 KV block과 빈번하게 발생한 KV block 사이에 cache 공간을 동적으로 할당하는 adaptive caching을 통합한다. 평가 결과, synthetic document question answering workload에서 naive vLLM 대비 KV cache hit rate를 최대 10.8% 향상시키고 time to first token을 최대 12.6% 줄였으며, 실제 conversation workload에서는 각각 2.1%와 2.0%를 개선했다. 이 방법은 batch inference에도 잘 일반화되며, 다양한 workload를 효과적으로 수용하면서도 해석 가능성이 분명하다.","link":"https://openreview.net/forum?id=WklS2q5SD9"},{"id":"NIO72rHhKj","en":"Multi-Mixer Models: Flexible Sequence Modeling with Shared Representations","ko":"Multi-Mixer Models: 공유 표현을 활용한 유연한 시퀀스 모델링","authors":"Kevin Li, Asher Trockman, Ananda Theertha Suresh, Ziteng Sun","abs":"<p>Softmax attention is the cornerstone of modern large language models but is hindered by its linear memory and quadratic compute requirements. Linear recurrent models, such as linear attention and state space models, have become widely studied as alternatives due to their linear compute and constant memory requirements. While these sub-quadratic methods achieve promising efficiency gains and competitive results on a wide range of benchmarks, current linear recurrent models still lag behind on tasks that require long-context retrieval or in-context learning, resulting in a growing body of work on hybrid architectures.</p><p>In this work, we propose Oryx, which explores a new axis of developing hybrid models: across the sequence, the model has the ability to operate with different mixers, e.g., quadratic attention and linear recurrences, rather than fixing a single mixer throughout. Oryx ties more than 90% of its parameters across mixer types, enabling attention and recurrent modes to operate over shared internal representations. We validate our design with Mamba-2 and Gated DeltaNet variants up to the 1.4B model scale. Under fixed token budgets and a mixed-training strategy, all modes of the 1.4B Oryx outperform their respective baselines by at least 0.7 percentage points on average on downstream language modeling evaluations.</p><p>On retrieval tasks, Oryx achieves performance comparable to the Transformer baseline even when processing only a tiny fraction (&lt;10%) of the tokens in the attention mode. These results suggest that attention and linear recurrent models can share internal representations, and motivate sequence-axis hybridization as a promising direction for efficient long-context language models.</p>","absKo":"Softmax attention은 현대 large language models의 초석이지만, 선형 memory와 quadratic compute 요구량 때문에 제약을 받는다. linear attention과 state space models 같은 linear recurrent models는 선형 compute와 상수 memory 요구량 덕분에 대안으로 널리 연구되어 왔다. 이러한 sub-quadratic method들은 다양한 benchmark에서 유망한 효율 향상과 경쟁력 있는 결과를 달성하지만, 현재의 linear recurrent models는 여전히 long-context retrieval이나 in-context learning이 필요한 task에서 뒤처지며, 그 결과 hybrid architecture에 대한 연구가 점점 늘어나고 있다.\n이 작업에서 우리는 Oryx를 제안하는데, 이는 hybrid model을 개발하는 새로운 축을 탐색한다. 즉, sequence 전반에 걸쳐 모델이 quadratic attention과 linear recurrence처럼 서로 다른 mixer를 사용할 수 있도록 하며, 하나의 mixer로 전체를 고정하지 않는다. Oryx는 mixer type 간에 90%가 넘는 parameter를 공유하도록 묶어, attention mode와 recurrent mode가 공유 internal representation 위에서 동작할 수 있게 한다. 우리는 1.4B model scale까지의 Mamba-2 및 Gated DeltaNet 변형으로 이 설계를 검증한다. 고정된 token budget과 mixed-training strategy 하에서, 1.4B Oryx의 모든 mode는 downstream language modeling 평가에서 각각의 baseline을 평균 0.7 percentage point 이상 능가한다.\nretrieval task에서는 Oryx가 attention mode에서 전체 token의 극히 일부(<10%)만 처리하더라도 Transformer baseline과 비견되는 성능을 달성한다. 이러한 결과는 attention과 linear recurrent model이 internal representation을 공유할 수 있음을 시사하며, 효율적인 long-context language model을 위한 유망한 방향으로서 sequence-axis hybridization을 뒷받침한다.","link":"https://openreview.net/forum?id=NIO72rHhKj"},{"id":"KvUnIAPEg7","en":"Cross-Tokenizer LLM Distillation through a Byte-Level Interface","ko":"바이트 수준 인터페이스를 통한 크로스 토크나이저 LLM 증류","authors":"Avyav Kumar Singh, Yen-Chen Wu, Alexandru Cioba, Alberto Bernacchia, Davide Buffelli","abs":"<p>Cross-tokenizer distillation (CTD), the transfer of knowledge from a teacher to a student language model when the two use different tokenizers, remains a largely unsolved problem. Existing approaches rely on heuristic strategies to align mismatched vocabularies, introducing considerable complexity. In this paper, we propose a simple but effective baseline called Byte-Level Distillation (BLD) which enables CTD by operating at a common interface across tokenizers: the byte level. In more detail, we convert the teacher&#x27;s output distribution to byte-level probabilities, attach a lightweight byte-level decoder head to the student, and distill through this shared byte-level interface. Despite its simplicity, BLD performs competitively with---and on several benchmarks surpasses---more sophisticated CTD methods, across a range of distillation tasks with models from 1B to 8B parameters. Our results suggest that the byte level is a natural common ground for cross-tokenizer knowledge transfer, while also highlighting that consistent improvements across all tasks and benchmarks remain elusive, underscoring that CTD is still an open problem.</p>","absKo":"Cross-tokenizer distillation (CTD), 즉 teacher와 student language model이 서로 다른 tokenizer를 사용할 때의 지식 전달은 여전히 대부분 해결되지 않은 문제다. 기존 접근은 불일치하는 vocabulary를 정렬하기 위해 heuristic strategy에 의존하며, 이로 인해 복잡성이 상당히 커진다. 이 논문에서는 tokenizer를 가로지르는 공통 interface, 즉 byte level에서 동작함으로써 CTD를 가능하게 하는 간단하지만 효과적인 baseline인 Byte-Level Distillation (BLD)를 제안한다. 더 구체적으로는 teacher의 출력 분포를 byte-level probability로 변환하고, student에 lightweight byte-level decoder head를 부착한 뒤, 이 공유 byte-level interface를 통해 distillation을 수행한다. 단순함에도 불구하고 BLD는 1B에서 8B parameter에 이르는 다양한 distillation task와 여러 benchmark에서 더 정교한 CTD method와 경쟁력 있거나 여러 경우 이를 능가하는 성능을 보였다. 우리의 결과는 byte level이 cross-tokenizer knowledge transfer를 위한 자연스러운 공통 기반임을 시사하는 동시에, 모든 task와 benchmark에서 일관된 개선을 달성하는 일은 여전히 쉽지 않다는 점을 보여주며, CTD가 아직 열린 문제임을 강조한다.","link":"https://openreview.net/forum?id=KvUnIAPEg7"},{"id":"Fk2cK5nF47","en":"CoDistill-GRPO: A Co-Distillation Recipe for Efficient Group Relative Policy Optimization","ko":"CoDistill-GRPO: 효율적인 group relative policy optimization을 위한 co-distillation 조리법","authors":"Soo Min Kwon, Ziteng Sun, Ananda Theertha Suresh, Himanshu Jain, Sanjiv Kumar","abs":"<p>Group Relative Policy Optimization (GRPO) has emerged as a powerful algorithm for improving reasoning in language models, but often fails to improve small models due to sparse rewards on difficult tasks. Existing works attempt to mitigate this issue by leveraging a larger language model as a frozen oracle, either to provide hints for rollouts or for knowledge distillation (KD). However, this assumes the existence of such an oracle, and training one can significantly increase total training time. In this work, we propose CoDistill-GRPO, a co-distillation algorithm that simultaneously trains a large and a small model by maximizing the GRPO objective. The two models learn from each other: the small model uses an on-policy KD reward to learn from the large model&#x27;s distribution, while the large model is updated using rollouts generated  by the small model, reducing the computational overhead of rollout generation. We show that CoDistill-GRPO substantially improves small-model performance over GRPO on mathematical benchmarks across both Qwen and Llama models, with an accuracy increase of 6.0 percentage points on the Minerva dataset for Qwen2.5-Math-1.5B. Interestingly, we also show that the large model trained with CoDistill-GRPO can nearly match standard GRPO performance despite training on small model rollouts. This highlights CoDistill-GRPO as a potential cost-effective alternative to GRPO for larger models.</p>","absKo":"Group Relative Policy Optimization(GRPO)은 language model의 추론 능력을 향상시키는 강력한 알고리즘으로 부상했지만, 어려운 task에서 reward가 희소해 작은 model에서는 종종 성능 향상을 이끌어내지 못합니다. 기존 연구는 더 큰 language model을 고정된 oracle로 활용해 rollout에 대한 hint를 제공하거나 knowledge distillation(KD)을 수행함으로써 이 문제를 완화하려고 합니다. 그러나 이는 그러한 oracle의 존재를 가정하며, oracle을 학습하는 데는 총 학습 시간이 크게 늘어날 수 있습니다. 이 연구에서는 큰 model과 작은 model을 동시에 GRPO objective를 최대화하도록 학습하는 co-distillation algorithm인 CoDistill-GRPO를 제안합니다. 두 model은 서로로부터 학습합니다. 작은 model은 on-policy KD reward를 사용해 큰 model의 distribution에서 학습하고, 큰 model은 작은 model이 생성한 rollout으로 업데이트되어 rollout 생성의 계산 오버헤드를 줄입니다. 우리는 CoDistill-GRPO가 Qwen 및 Llama model 전반의 수학 benchmark에서 GRPO보다 작은 model 성능을 크게 향상시키며, Qwen2.5-Math-1.5B의 Minerva dataset에서는 정확도가 6.0 percentage point 증가함을 보입니다. 흥미롭게도, CoDistill-GRPO로 학습한 큰 model은 작은 model rollout으로 학습했음에도 표준 GRPO 성능에 거의 도달할 수 있음을 보였습니다. 이는 CoDistill-GRPO가 더 큰 model에 대해 GRPO의 비용 효율적인 대안이 될 수 있음을 보여줍니다.","link":"https://openreview.net/forum?id=Fk2cK5nF47"},{"id":"nu3GPfkyJV","en":"AgentRouter: Heterogeneous Model Routing for Cost-Optimal Multi-Step Agentic Workflows","ko":"AgentRouter: 비용 최적의 다단계 agent workflow를 위한 이질적 모델 라우팅","authors":"Rudrendu Kumar Paul, Sourav Nandy","abs":"<p>Enterprise agentic systems that route every trajectory step to a frontier model waste 60-80% of their inference budget on subtasks that smaller models handle equally well. Existing routing solutions optimize single-turn query assignment but ignore a property unique to agentic workflows: subtask complexity varies widely within a single trajectory. A planning step may require frontier-class reasoning while a subsequent formatting step needs only a 7B model. We formalize step-level model routing as a sequential assignment problem over agent trajectories and propose AgentRouter, a lightweight classifier (12M parameters, &lt;5ms overhead per step on an A100 GPU) that maps each trajectory step to one of four model tiers using five features extractable at routing time. Trained on 50,000 annotated agent trajectory steps spanning planning, coding, research, and data analysis tasks, AgentRouter achieves 72% cost reduction relative to frontier-only baselines, retaining 97.3% of frontier-only quality (less than 3% degradation in end-to-end task completion); per-step routing accuracy reaches 91% on minimal-complexity steps and 85% on efficient-tier steps, with 76-82% on the harder mid-range and frontier tiers. On the same benchmarks, RouteLLM and FrugalGPT (applied per-step) achieve only 31% and 44% cost reduction respectively, because their single-turn training signal misses trajectory-level quality dependencies.</p>","absKo":"트라젝터리의 모든 단계마다 frontier model을 호출하는 enterprise agentic system은, 더 작은 모델이 충분히 잘 처리할 수 있는 subtask에 inference budget의 60-80%를 낭비한다. 기존 routing solution은 single-turn query assignment를 최적화하지만, agentic workflow에 고유한 성질, 즉 하나의 trajectory 안에서도 subtask complexity가 크게 달라진다는 점은 무시한다. planning step은 frontier급 추론을 필요로 할 수 있지만, 그 다음 formatting step은 7B model만으로도 충분할 수 있다. 우리는 step-level model routing을 agent trajectory 위의 sequential assignment problem으로 정식화하고, routing 시점에 추출 가능한 5개 feature를 사용해 각 trajectory step을 4개 model tier 중 하나로 매핑하는 경량 classifier(12M parameters, A100 GPU에서 step당 5ms 미만 overhead)인 AgentRouter를 제안한다. planning, coding, research, data analysis task를 아우르는 50,000개의 주석이 달린 agent trajectory step으로 학습한 결과, AgentRouter는 frontier-only baseline 대비 72%의 비용 절감을 달성하면서 frontier-only quality의 97.3%를 유지했다(end-to-end task completion에서 3% 미만 저하). per-step routing accuracy는 minimal-complexity step에서 91%, efficient-tier step에서 85%에 도달했으며, 더 어려운 mid-range 및 frontier tier에서는 76-82%를 기록했다. 같은 benchmark에서 step별로 적용한 RouteLLM과 FrugalGPT는 각각 31%와 44%의 비용 절감에 그쳤는데, 그 이유는 single-turn training signal이 trajectory-level quality dependency를 포착하지 못하기 때문이다.","link":"https://openreview.net/forum?id=nu3GPfkyJV"},{"id":"JP7NNuHG8O","en":"CARES: Context-Aware Resolution Selector for VLMs","ko":"CARES: VLM을 위한 문맥 인식 해상도 선택기","authors":"Moshe Kimhi, Nimrod Shabtay, Raja Giryes, Chaim Baskin, Eli Schwartz","abs":"<p>Large vision–language models (VLMs) commonly process images at native or high resolution to remain effective across tasks. This inflates visual tokens to 97-99% of total tokens, resulting in high compute and latency, even when low-resolution images would suffice. We introduce CARES—a Context Aware Resolution Selector, a lightweight preprocessing module that, given an image–query pair, predicts the \\emph{minimal} sufficient input resolution. CARES uses a compact VLM (350M) to extract features and predict when a target pretrained VLM&#x27;s response converges to its peak ability to answer correctly. Though trained as a discrete classifier over a set of optional resolutions, CARES interpolates continuous resolutions at inference for fine-grained control. Across five multimodal benchmarks spanning documents and natural images, as well as diverse target VLMs, CARES preserves task performance while reducing compute by up to 80%.</p>","absKo":"Large vision–language model(VLM)은 다양한 task에서 효과를 유지하기 위해 일반적으로 이미지를 native 또는 high resolution으로 처리한다. 이로 인해 visual token이 전체 token의 97-99%까지 치솟아, low-resolution image만으로도 충분한 경우에도 compute와 latency가 높아진다. 우리는 CARES(Context Aware Resolution Selector)를 소개한다. 이는 image–query pair가 주어졌을 때 \\emph{최소한으로} 충분한 input resolution을 예측하는 lightweight preprocessing module이다. CARES는 compact VLM(350M)을 사용해 feature를 추출하고, target pretrained VLM의 response가 정답을 맞히는 능력의 최고치에 수렴하는 시점을 예측한다. 옵션 resolution 집합에 대한 discrete classifier로 학습되지만, inference에서는 continuous resolution을 보간하여 세밀한 제어를 가능하게 한다. 문서와 자연 이미지를 아우르는 5개의 multimodal benchmark와 다양한 target VLM 전반에서, CARES는 task performance를 유지하면서 compute를 최대 80%까지 줄인다.","link":"https://openreview.net/forum?id=JP7NNuHG8O"}];window.dispatchEvent(new CustomEvent("papers-loaded",{detail:"54100"}));