AI safety is a rapidly growing area of research that seeks to prevent the harm and misuse of frontier AI technology, particularly with respect to generative AI (GenAI) tools that are capable of creating realistic and high-quality content through text prompts. Examples of such tools include large language models (LLMs) and text-to-image (T2I) diffusion models. As the performance of various leading GenAI models approaches saturation due to similar training data sources and neural network architecture designs, the development of reliable safety guardrails has become a key differentiator for responsibility and sustainability. This paper presents a formalization of the concept of computational safety, which is a mathematical framework that enables the quantitative assessment, formulation, and study of safety challenges in GenAI through the lens of signal processing theory and methods. In particular, we explore two exemplary categories of computational safety challenges in GenAI that can be formulated as hypothesis testing problems. For the safety of model input, we show how sensitivity analysis and loss landscape analysis can be used to detect malicious prompts with jailbreak attempts. For the safety of model output, we elucidate how statistical signal processing can be used to detect AI-generated content. Finally, we discuss opportunities and open challenges in computational safety for GenAI.
","absKo":"AI safety는 frontier AI 기술의 해악과 오용을 방지하기 위한 빠르게 성장하는 연구 분야이며, 특히 text prompt를 통해 사실적이고 고품질의 콘텐츠를 생성할 수 있는 generative AI(GenAI) 도구와 관련이 깊다. 이러한 도구의 예로는 large language model(LLM)과 text-to-image(T2I) diffusion model이 있다. 유사한 학습 데이터 소스와 neural network architecture 설계로 인해 여러 선도적인 GenAI model의 성능이 포화점에 가까워지면서, 신뢰할 수 있는 safety guardrail의 개발은 책임성과 지속가능성을 가르는 핵심 요소가 되었다. 이 논문은 computational safety라는 개념을 정식화하며, signal processing theory와 methods의 관점에서 GenAI의 safety 문제를 정량적으로 평가하고, 정식화하며, 연구할 수 있게 하는 수학적 framework를 제시한다. 특히 우리는 hypothesis testing 문제로 정식화할 수 있는 GenAI의 두 가지 대표적인 computational safety challenge 범주를 살펴본다. 모델 입력의 안전성 측면에서는 sensitivity analysis와 loss landscape analysis를 이용해 jailbreak 시도가 포함된 malicious prompt를 탐지하는 방법을 보인다. 모델 출력의 안전성 측면에서는 statistical signal processing을 활용해 AI-generated content를 탐지하는 방법을 설명한다. 마지막으로 GenAI를 위한 computational safety의 기회와 열린 과제를 논의한다.","link":"https://openreview.net/forum?id=Pd7w8bB7OH","tag":"Oral"},{"id":"epKZscril6","en":"Sequential Membership Inference Attacks","ko":"순차적 멤버십 추론 공격","authors":"Thomas Michel, Debabrota Basu, Emilie Kaufmann","abs":"Modern AI models are not static. They go through multiple updates in their lifecycles. We propose to design Sequential Membership Inference (SeMI) attacks leading to tighter privacy audits by exploiting the sequence of models and injecting a target canary at a controlled insertion time. First, for empirical mean computation, we develop SeMI*, an {optimal SeMI attack to identify the presence of a target inserted at a specific insertion step}. We derive the power of SeMI* to show that accessing the model sequence yields more powerful MI attacks than scrutinising only the final model. SeMI* exhibits an isolation property-- its power depends on the statistics obtained right before and after insertion of the target. Leveraging this insight, we develop practical white-box (accessing model gradients) and black-box (accessing loss) SeMI attacks against models trained with (DP-)SGD. Across datasets and models trained with (DP-)SGD, our experiments show that SeMI attacks achieve higher powers than snapshot-independent baselines, and yield tighter privacy audits thanks to (a) control over the insertion time and (b) observations across the model sequence.
","absKo":"현대 AI model은 정적이지 않다. 그들은 생애주기 동안 여러 차례 업데이트를 거친다. 우리는 model의 순서를 활용하고, 제어된 insertion time에 target canary를 주입함으로써 더 엄격한 privacy audit로 이어지는 Sequential Membership Inference(SeMI) attack을 설계할 것을 제안한다. 먼저, empirical mean computation에 대해 우리는 SeMI*를 개발한다. 이는 {특정 insertion step에 삽입된 target의 존재를 식별하기 위한 최적의 SeMI attack}이다. 우리는 SeMI*의 power를 유도하여 model sequence에 접근하면 마지막 model만 scrutinising하는 것보다 더 강력한 MI attack이 가능함을 보인다. SeMI*는 isolation property를 보이는데, 그 power는 target 삽입 직전과 직후에 얻어진 통계에 의존한다. 이러한 통찰을 활용해, 우리는 (DP-)SGD로 학습된 model에 대한 practical white-box(model gradient에 접근) 및 black-box(loss에 접근) SeMI attack을 개발한다. (DP-)SGD로 학습된 데이터셋과 model 전반에서, 우리의 실험은 SeMI attack이 snapshot-independent baseline보다 더 높은 power를 달성하고, (a) insertion time에 대한 제어와 (b) model sequence 전반의 관측 덕분에 더 엄격한 privacy audit를 제공함을 보여준다.","link":"https://openreview.net/forum?id=epKZscril6","tag":"Oral"},{"id":"ksn4C1zL3H","en":"On the Game-Theoretic Nature of Optimality in Active Hypothesis Testing","ko":"active hypothesis testing에서 최적성의 게임이론적 본질에 대하여","authors":"Sushant Vijayan","abs":"Active Hypothesis Testing (AHT) is a fundamental problem across information theory, multi-armed bandits, and operations research, but a clear characterization of its optimal large deviation behaviour has long been an open challenge. We build upon the work of Komiyama et al. (NeurIPS 2022), which presents a computationally intractable and conceptually unclear formulation of the optimal exponent $R^{go}\\_{\\infty}$ of the error probability. We characterize this optimal error-exponent, in the limit that the sample budget $T \\to \\infty$, as the value of a certain two-player zero-sum differential game. This dynamic game, played over the normalized interval $[0,1]$, has two players, Nature and Agent. The state variable $y_t$ at time $t$ is the negative log-likelihood of the observed samples till then. We show that the players aim to optimize the second-smallest coordinate of the terminal state $y_1$. As a result, we obtain a time-dependent Hamilton-Jacobi-Isaacs (HJI) Partial Differential Equation (PDE) that is used to develop the first numerical schemes in the literature to accurately approximate $R^{go}\\_{\\infty}$. Additionally, we can derive existing and new alternate bounds for $R^{go}\\_{\\infty}$ using the viscosity solution theory of HJI PDEs. Finally, we establish a remarkable time-scaling property of the HJI viscosity solution, which reduces the dynamics to a new time-invariant PDE and provides a novel geometric description of optimality in AHT.
","absKo":"Active Hypothesis Testing(AHT)는 information theory, multi-armed bandit, operations research 전반에 걸친 근본적인 문제이지만, 최적 large deviation 거동에 대한 명확한 특성화는 오랫동안 열린 과제였다. 우리는 Komiyama et al.(NeurIPS 2022)의 연구를 바탕으로, 오류 확률의 최적 exponent $R^{go}\\_{\\infty}$에 대한 계산적으로 다루기 어렵고 개념적으로도 불명확한 formulation을 제시한다. 우리는 샘플 예산 $T \\to \\infty$의 극한에서 이 최적 error-exponent를 특정 two-player zero-sum differential game의 값으로 특성화한다. 정규화된 구간 $[0,1]$에서 진행되는 이 동적 게임에는 Nature와 Agent 두 플레이어가 있다. 시각 $t$에서의 state variable $y_t$는 그때까지 관측된 sample의 negative log-likelihood이다. 우리는 두 플레이어가 terminal state $y_1$의 두 번째로 작은 좌표를 최적화하려 한다는 것을 보인다. 그 결과 time-dependent Hamilton-Jacobi-Isaacs(HJI) Partial Differential Equation(PDE)을 얻으며, 이는 문헌에서 $R^{go}\\_{\\infty}$를 정확하게 근사하는 최초의 수치 scheme을 개발하는 데 사용된다. 또한 HJI PDE의 viscosity solution theory를 이용해 기존 및 새로운 대체 bound를 $R^{go}\\_{\\infty}$에 대해 도출할 수 있다. 마지막으로 우리는 HJI viscosity solution의 주목할 만한 time-scaling 성질을 확립하여 동역학을 새로운 time-invariant PDE로 축약하고, AHT에서 optimality에 대한 새로운 기하학적 설명을 제공한다.","link":"https://openreview.net/forum?id=ksn4C1zL3H","tag":"Oral"},{"id":"AlHlfAKfNd","en":"Minimax-Optimal Kernel Two-sample Testing in Sub-quadratic Time","ko":"부분제곱 시간에서의 minimax 최적 kernel two-sample test","authors":"Ikjun Choi, Shourya Pandey, Purnamrita Sarkar","abs":"Kernel two-sample tests based on Maximum Mean Discrepancy (MMD) are widely used, but the standard quadratic time MMD statistic requires evaluating $\\Theta(N^2)$ kernel pairs where $N$ is the pooled sample size. Several subquadratic approximated MMD tests have been proposed to alleviate this issue, but the existing methods either compromise the test power or assume additional distributional constraints to achieve power comparable to the quadratic-time MMD test. Motivated by this gap, we propose a sub-quadratic time computational method to approximate the MMD test, achieving minimax rate-optimal power with minimal distributional assumptions. Building on ideas in fast kernel density estimation and exponentially convergent trapezoidal rule in numerical analysis, our approximation reduces all-pairs kernel summation to fast Fenwick-tree prefix-sum queries. For fixed dimension, this yields subquadratic-time algorithms for several common characteristic kernels, including Laplace, Mat\\'ern, Gaussian, and inverse multiquadric kernels. The approximation error is controlled tightly enough to have the equivalent power as the minimax-optimal quadratic-time unapproximated MMD test. The same implementation remains subquadratic for the dimension $d=o(\\log N/\\log\\log N)$, and can be paired with dimensionality-reduction algorithms when the signal is low-dimensional.
","absKo":"Maximum Mean Discrepancy (MMD)에 기반한 kernel two-sample test는 널리 사용되지만, 표준 quadratic time MMD statistic은 pooled sample size가 $N$일 때 $\\Theta(N^2)$개의 kernel pair를 평가해야 한다. 이 문제를 완화하기 위해 여러 subquadratic approximated MMD test가 제안되었지만, 기존 방법들은 test power를 희생하거나 quadratic-time MMD test와 비슷한 power를 얻기 위해 추가적인 분포 가정을 필요로 한다. 이러한 공백에 동기부여를 받아, 우리는 최소한의 분포 가정하에서 minimax rate-optimal power를 달성하는 sub-quadratic time computational method로 MMD test를 근사하는 방법을 제안한다. 빠른 kernel density estimation과 수치해석의 exponentially convergent trapezoidal rule 아이디어를 바탕으로, 우리의 근사는 all-pairs kernel summation을 빠른 Fenwick-tree prefix-sum query로 줄인다. 고정 차원에서는 Laplace, Mat\\'ern, Gaussian, inverse multiquadric kernel을 포함한 여러 대표적인 characteristic kernel에 대해 subquadratic-time algorithm을 제공한다. 근사 오차는 minimax-optimal quadratic-time unapproximated MMD test와 동등한 power를 갖도록 충분히 엄격하게 제어된다. 같은 구현은 차원 $d=o(\\log N/\\log\\log N)$에서도 여전히 subquadratic이며, 신호가 저차원일 때는 dimensionality-reduction algorithm과 결합할 수 있다.","link":"https://openreview.net/forum?id=AlHlfAKfNd","tag":"Oral"},{"id":"sXmEpcvZLU","en":"In-Context Pure Exploration in Continuous Decision Spaces","ko":"연속 의사결정 공간에서의 문맥 내 순수 탐색","authors":"Alessio Russo, Yin-Ching Lee, Ryan Welch, Aldo Pacchiano","abs":"In active sequential testing, also termed pure exploration, a learner is tasked with the goal to adaptively acquire information so as to identify an unknown ground-truth hypothesis with as few queries as possible. This problem has several motivating applications, including Best-Arm Identification (BAI) in bandits, where actions index hypotheses, and generalized search problems, where strategically chosen queries reveal partial information about a hidden label. In many modern settings, however, the hypothesis, or recommendation space, is continuous: for example, identifying a near optimal action in a continuous-armed bandit, localizing an $\\epsilon$-ball contained in a target region, or estimating the minimizer of a function from noisy observations. Existing methods are predominantly frequentist and model-specific, while learned approaches have been limited to finite recommendation spaces. We introduce C-ICPE, a theory-guided learned model for Bayesian fixed-confidence pure exploration with continuous recommendations. C-ICPE meta-trains sequential architectures over a task prior to jointly learn exploration, stopping and recommendations strategies. At inference time, it actively gathers evidence on tasks and identifies an $\\epsilon$-optimal recommendation without parameter updates.
","absKo":"active sequential testing, 즉 pure exploration에서는 학습기가 가능한 적은 query로 unknown ground-truth hypothesis를 식별하기 위해 정보를 적응적으로 획득하는 것이 목표다. 이 문제는 여러 동기 부여 응용을 가진다. bandit의 Best-Arm Identification(BAI)에서는 action이 hypothesis를 인덱싱하고, generalized search problem에서는 전략적으로 선택된 query가 숨겨진 label에 대한 부분 정보를 드러낸다. 그러나 많은 현대 setting에서는 hypothesis 또는 recommendation space가 연속적이다. 예를 들어 continuous-armed bandit에서 near optimal action을 식별하거나, target region에 포함된 $\\epsilon$-ball을 localize하거나, noisy observation으로부터 함수의 minimizer를 추정하는 경우가 그렇다. 기존 방법은 주로 frequentist이고 model-specific이며, learned approach는 유한 recommendation space로 제한되어 왔다. 우리는 연속 recommendation을 위한 Bayesian fixed-confidence pure exploration에 대한 theory-guided learned model인 C-ICPE를 소개한다. C-ICPE는 task prior 위에서 sequential architecture를 meta-train하여 exploration, stopping, recommendation 전략을 공동으로 학습한다. inference 시점에는 task에 대해 능동적으로 evidence를 수집하고 parameter update 없이 $\\epsilon$-optimal recommendation을 식별한다.","link":"https://openreview.net/forum?id=sXmEpcvZLU","tag":"Oral"},{"id":"Av9WyvtPu0","en":"Quantifying Ranking Uncertainty in LLM Benchmarks","ko":"LLM 벤치마크에서 순위 불확실성 정량화","authors":"Bitya Neuhof, Yuval Benjamini","abs":"Pretrained models are typically ranked on multi-task leaderboards to assess their effectiveness across diverse tasks. Rank confidence intervals were recently introduced as a method to quantify the uncertainty in these rankings by aggregating pairwise hypothesis tests. In this work, we analyze the sources of uncertainty in the knowledge evaluation benchmark MMLU and show how hypothesis tests can be modified to account for their effects. We demonstrate that ranking variability across MMLU subjects is substantial and should be considered when comparing LLMs or identifying the top-performing models.
","absKo":"사전학습 모델은 일반적으로 다양한 task 전반에서의 효과를 평가하기 위해 multi-task leaderboard에서 순위가 매겨진다. 최근 pairwise hypothesis test를 집계하여 이러한 순위의 불확실성을 정량화하는 방법으로 rank confidence interval이 도입되었다. 본 연구에서는 knowledge evaluation benchmark MMLU에서 불확실성의 원인을 분석하고, hypothesis test를 이러한 효과를 반영하도록 어떻게 수정할 수 있는지 보인다. MMLU subject 전반의 ranking variability가 상당하며, LLM을 비교하거나 최고 성능 모델을 식별할 때 이를 고려해야 함을 입증한다.","link":"https://openreview.net/forum?id=Av9WyvtPu0"},{"id":"v3WjN4lRWJ","en":"Testing direction shifts under orthogonally invariant observations","ko":"직교 불변 관측에서 방향 전이를 검정하기","authors":"Clément Pierquin, Aurélien Bellet, Marc Tommasi, Matthieu Boussard","abs":"We study high-dimensional shift testing when the statistician observes only an orthogonally invariant transformation of the shifted sample $Y_v=X+v$. Examples include norms or Gram matrices. Such observations discard the left angular orientation of $Y_v$, so when the noise $X$ is itself $O(d)$-invariant, they cannot distinguish a shift $v$ from any shift $Uv$. We ask when this geometric loss of information yields a dimension-dependent contraction of distinguishability. We answer this question through Fisher information. For the class of $O(d)$-invariant noise distributions, we prove that every invariant observation satisfies a Fisher-information contraction bound whose leading factor scales as $1/d$, up to constants depending only on the noise law. Then, we instantiate the result for Gaussian and Frobenius-radial Laplace distributions, and show how the Gaussian case improves existing analyses in *privacy amplification by synthetic data release*.
","absKo":"우리는 통계학자가 이동된 샘플 $Y_v=X+v$의 orthogonally invariant transformation만 관측할 수 있는 고차원 shift testing 문제를 연구한다. 예로는 norm이나 Gram matrix가 있다. 이러한 관측은 $Y_v$의 left angular orientation을 버리므로, noise $X$ 자체가 $O(d)$-invariant인 경우에는 shift $v$와 임의의 shift $Uv$를 구별할 수 없다. 우리는 이러한 기하학적 정보 손실이 distinguishability의 차원 의존적 contraction을 유발하는지 묻는다. 이 질문에 Fisher information을 통해 답한다. $O(d)$-invariant noise distribution의 클래스에 대해, 모든 invariant observation이 Fisher-information contraction bound를 만족함을 증명하며, 그 leading factor는 noise law에만 의존하는 상수까지 포함해 $1/d$로 스케일한다. سپس Gaussian 및 Frobenius-radial Laplace distribution에 대해 결과를 구체화하고, Gaussian case가 *privacy amplification by synthetic data release*에 대한 기존 분석을 어떻게 개선하는지 보인다.","link":"https://openreview.net/forum?id=v3WjN4lRWJ"},{"id":"zTnBZp9ck5","en":"Bayesian Frontier-Evaluation Testing Under Repeated Top-k Reporting","ko":"반복되는 top-k 보고 하에서의 Bayesian frontier 평가 테스트","authors":"Yanan Long","abs":"Frontier evaluation is a sequential decision problem under selective reporting. Public evidence often arrives as repeated top-$k$ snapshots rather than full score distributions, so the primitive object is not rejection of a null hypothesis but a frontier-evaluation action chosen under asymmetric loss. We formulate Bayesian testing for this setting by combining a selection-aware frontier model with hypotheses defined as regions of a latent state space. The mathematical core is an observability result: repeated snapshots can constrain a common frontier trajectory, whereas terminal-only archives can agree on the selected terminal law while leaving action-relevant timing unidentified. Synthetic studies illustrate the decision layer while supporting only bounded claims. A repeated-snapshot protocol study covers $225$ fitted records and obtains $219/225$ correct binary horizon decisions, while a posterior-decision analysis covers $374$ fitted records and shows substantially lower frontier-path loss for the repeated-snapshot model. These results are deliberately limited: plateau-time interval coverage remains weak, and the matched terminal-only comparator ties the repeated-snapshot model on the binary horizon decision in the full matched comparison.
","absKo":"Frontier evaluation은 selective reporting 하에서의 sequential decision problem이다. public evidence는 종종 전체 score distribution이 아니라 반복되는 top-$k$ snapshot으로 도착하므로, 기본 객체는 null hypothesis의 기각이 아니라 비대칭 loss 하에서 선택되는 frontier-evaluation action이다. 우리는 selection-aware frontier model과 latent state space의 region으로 정의된 hypothesis를 결합하여 이 설정에 대한 Bayesian testing을 정식화한다. 수학적 핵심은 observability result이다. 반복 snapshot은 공통 frontier trajectory를 제약할 수 있지만, terminal-only archive는 선택된 terminal law에서는 일치하면서도 action과 관련된 timing은 식별하지 못한다. synthetic study는 decision layer를 보여 주는 동시에 bounded claim만을 뒷받침한다. repeated-snapshot protocol study는 $225$개의 fitted record를 다루며 $219/225$의 정확한 binary horizon decision을 얻고, posterior-decision analysis는 $374$개의 fitted record를 다루며 repeated-snapshot model에서 frontier-path loss가 상당히 더 낮음을 보인다. 이러한 결과는 의도적으로 제한적이다. plateau-time interval coverage는 여전히 취약하며, matched terminal-only comparator는 전체 matched comparison에서 binary horizon decision에서 repeated-snapshot model과 동률이다.","link":"https://openreview.net/forum?id=zTnBZp9ck5"},{"id":"NqxjzO67lm","en":"Multiple-Comparison Testing for Cross-Validation Path Optimization Benchmarks: A Hessian-Mismatch Diagnostic for Holm--Bonferroni Failure Modes","ko":"Cross-validation 경로 최적화 벤치마크를 위한 다중비교 검정: Holm--Bonferroni 실패 모드에 대한 Hessian mismatch 진단","authors":"Jinze Yu, Yanping Deng","abs":"Comparing optimization solvers on K-fold cross-validation accuracy across D datasets is a D-comparison problem with correlated test statistics, yet the standard practice reports uncorrected p-values or no p-values at all. We instantiate a Holm--Bonferroni paired t-test protocol on a benchmark of 11 datasets comparing a fast closed-form / fixed-preconditioner logistic-regression solver ($R1{+}10$) to warm-start L-BFGS. Two of 11 datasets reject the iso-accuracy null hypothesis (Adult, $p<10^{-3}$; Covertype, $p=0.001$). We then show, as a post-hoc diagnostic, that the rejections are precisely the datasets with small Hessian-mismatch index $\\mu_{*} := \\lambda_{\\min}(\\mathbf{M}^{-1/2}\\mathbf{H}(\\boldsymbol{\\theta}^{*})\\mathbf{M}^{-1/2})$, where $\\mathbf{M} = 2\\lambda\\mathbf{I}+\\tfrac{1}{4}\\mathbf{X}^{\\top}\\mathbf{X}$ is the fixed preconditioner and $\\mathbf{H}(\\boldsymbol{\\theta}^{*})$ is the optimum-Hessian. We further test whether the progressive estimate $\\hat{\\mu}_{k}$ from early iterates is a valid pre-iteration decision rule and reject this hypothesis: across 10 datasets $\\hat{\\mu}_{5}$ values cluster in $[0.08, 0.21]$ regardless of $\\mu_{*}$ (false-positive rate 100\\% at the $\\hat{\\mu}_{5} \\leq 0.05$ threshold). The work illustrates how multiple-comparison correction interacts with a structural diagnostic in optimization benchmarking.
","absKo":"D개의 dataset에서 K-fold cross-validation accuracy를 기준으로 optimization solver를 비교하는 문제는 상관된 test statistic을 갖는 D-comparison problem이지만, 표준 관행은 보정되지 않은 p-value를 보고하거나 아예 p-value를 보고하지 않는다. 우리는 11개 dataset benchmark에서 Holm--Bonferroni paired t-test protocol을 적용하여, 빠른 closed-form / fixed-preconditioner logistic-regression solver ($R1{+}10$)와 warm-start L-BFGS를 비교한다. 11개 dataset 중 2개는 iso-accuracy null hypothesis를 기각했다(Adult, $p<10^{-3}$; Covertype, $p=0.001$). 이어서 사후 진단으로, 이러한 기각이 정확히 Hessian-mismatch index $\\mu_{*} := \\lambda_{\\min}(\\mathbf{M}^{-1/2}\\mathbf{H}(\\boldsymbol{\\theta}^{*})\\mathbf{M}^{-1/2})$가 작은 dataset들에서 발생함을 보인다. 여기서 $\\mathbf{M} = 2\\lambda\\mathbf{I}+\\tfrac{1}{4}\\mathbf{X}^{\\top}\\mathbf{X}$는 fixed preconditioner이고 $\\mathbf{H}(\\boldsymbol{\\theta}^{*})$는 optimum-Hessian이다. 또한 초기 iterate에서 얻은 progressive estimate $\\hat{\\mu}_{k}$가 사전 반복 결정 규칙으로 유효한지 검정하고 이 가설을 기각한다. 10개 dataset 전반에서 $\\hat{\\mu}_{5}$ 값은 $\\mu_{*}$와 무관하게 $[0.08, 0.21]$에 군집하며, $\\hat{\\mu}_{5} \\leq 0.05$ 임계값에서 false-positive rate는 100\\%였다. 이 연구는 multiple-comparison correction이 optimization benchmarking의 구조적 진단과 어떻게 상호작용하는지 보여 준다.","link":"https://openreview.net/forum?id=NqxjzO67lm"},{"id":"dR7LC7mGqP","en":"Adaptive Personalized Federated Learning via Multi-task Averaging of Kernel Mean Embeddings","ko":"kernel mean embedding의 multi-task averaging을 통한 적응형 개인화 federated learning","authors":"Jean-Baptiste Fermanian, Batiste Le Bars, Aurélien Bellet","abs":"Personalized Federated Learning enables a collection of agents to collaboratively learn individual models without sharing raw data. We propose a new approach in which each agent optimizes a weighted combination of all agents' empirical risks, with the weights learned from data rather than specified a priori. The novelty of our method lies in formulating the estimation of these collaborative weights as a kernel mean embedding estimation problem with multiple data sources, leveraging tools from multi-task averaging to capture statistical relationships between agents. This perspective yields a fully adaptive procedure that requires no prior knowledge of data heterogeneity and automatically transitions between global and local learning regimes. By recasting the objective as a high-dimensional mean estimation problem, we derive finite-sample guarantees on local excess risks for a broad class of distributions, explicitly quantifying the statistical gains of collaboration. To address communication constraints inherent to federated settings, we also propose a practical implementation based on random Fourier features, which allows one to trade communication cost for statistical efficiency. Numerical experiments validate our theoretical results.
","absKo":"Personalized Federated Learning은 원시 데이터를 공유하지 않고도 여러 agent가 협력하여 개별 model을 학습하게 한다. 우리는 각 agent가 모든 agent의 empirical risk의 가중합을 최적화하도록 하는 새로운 접근법을 제안하며, 그 가중치는 사전에 지정되는 것이 아니라 데이터로부터 학습된다. 우리 방법의 새로움은 이러한 협력 가중치의 추정을 여러 데이터 소스를 갖는 kernel mean embedding estimation 문제로 정식화하고, multi-task averaging의 도구를 활용해 agent 간 통계적 관계를 포착하는 데 있다. 이 관점은 데이터 이질성에 대한 사전 지식이 전혀 필요 없고 global learning과 local learning regime 사이를 자동으로 전환하는 완전히 adaptive한 절차를 제공한다. 목적함수를 고차원 mean estimation 문제로 재해석함으로써, 우리는 폭넓은 분포 클래스에 대해 local excess risk에 대한 finite-sample guarantee를 도출하고, 협력의 통계적 이득을 명시적으로 정량화한다. Federated setting에 내재된 communication constraint를 다루기 위해, 우리는 random Fourier feature를 기반으로 한 실용적 구현도 제안한다. 이는 communication cost와 statistical efficiency를 맞바꿀 수 있게 해준다. 수치 실험은 우리의 이론적 결과를 검증한다.","link":"https://openreview.net/forum?id=dR7LC7mGqP"},{"id":"u8NbwHFx0f","en":"Can Training Logs Make Model Comparisons More Precise?","ko":"훈련 로그가 모델 비교를 더 정밀하게 만들 수 있는가?","authors":"Wei-Jung Huang","abs":"Comparing stochastically trained models requires estimating both a performance difference and its uncertainty from repeated runs. We study whether training logs from those same runs can make such comparisons more precise. Because training-log covariates are produced during training rather than measured before it, we use arm-specific covariate adjustment: each model is adjusted only with statistics from its own runs, and the raw mean difference remains the reported effect. In a vision study spanning three architectures and three datasets, simple adjustments based on early training logs often reduce uncertainty in model comparisons. The main limitation is covariate selection.
Broadly searching the log pool for the most correlated statistic often adds more noise than it removes, even when useful statistics exist in hindsight. Training logs therefore appear useful for more precise model comparisons, but only when the adjustment avoids large selection noise.
","absKo":"확률적으로 학습된 모델을 비교하려면 여러 번의 반복 실행으로부터 성능 차이와 그 불확실성을 함께 추정해야 한다. 우리는 동일한 실행들에서 얻은 training log가 이러한 비교를 더 정밀하게 만들 수 있는지 연구한다. training-log covariate는 사전에 측정된 값이 아니라 training 중에 생성되므로, 우리는 arm-specific covariate adjustment를 사용한다. 즉, 각 모델은 자신의 실행에서 나온 통계량만으로 보정하고, raw mean difference는 보고되는 효과로 유지한다. 세 개의 architecture와 세 개의 dataset을 아우르는 vision 연구에서, early training log에 기반한 단순한 adjustment는 종종 model comparison의 불확실성을 줄였다. 주요 한계는 covariate selection이다.\nlog pool 전체를 광범위하게 탐색해 가장 상관이 큰 통계량을 찾는 방식은, hindsight에서 유용한 통계량이 존재하더라도 제거하는 것보다 더 많은 noise를 추가하는 경우가 많았다. 따라서 training log는 더 정밀한 model comparison에 유용해 보이지만, adjustment가 큰 selection noise를 피할 때에만 그렇다.","link":"https://openreview.net/forum?id=u8NbwHFx0f"},{"id":"PI6TU1L5cZ","en":"Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection","ko":"테스트를 테스트하기: class-split 이상 탐지에서의 score-direction 불안정성","authors":"Alejandro Ascárate, Leo Lebrat, Rodrigo Santa Cruz, Clinton Fookes, Olivier Salvado","abs":"Within-dataset class-split evaluation is widely used as a proxy for fully unconditional out-of-distribution anomaly detection. We show that this protocol can become ill-posed when the held-out anomaly class overlaps the normal mixture in representation space. In this regime, anomaly scores may collapse toward chance or even invert, and the preferred score direction can depend on the unknown anomaly class. We introduce a simple training-free diagnostic, neighborhood class leakage, and show that it predicts score-direction instability across Fashion-MNIST, CIFAR-10, and Imagenette, in both pixel and VAE latent spaces. Our results suggest that class-split AD benchmarks should be treated as geometry-dependent stress tests rather than unconditional evidence of anomaly-detection ability.
","absKo":"within-dataset class-split evaluation은 fully unconditional out-of-distribution anomaly detection의 proxy로 널리 사용됩니다. 우리는 held-out anomaly class가 representation space에서 normal mixture와 겹칠 때 이 protocol이 ill-posed가 될 수 있음을 보입니다. 이 regime에서는 anomaly score가 chance 수준으로 붕괴하거나 심지어 반전될 수 있으며, 선호되는 score direction은 알려지지 않은 anomaly class에 따라 달라질 수 있습니다. 우리는 간단한 training-free diagnostic인 neighborhood class leakage를 도입하고, 이것이 Fashion-MNIST, CIFAR-10, Imagenette 전반에서, pixel space와 VAE latent space 모두에서 score-direction instability를 예측함을 보입니다. 우리의 결과는 class-split AD benchmark를 anomaly-detection 능력의 unconditional한 증거가 아니라 geometry-dependent stress test로 취급해야 함을 시사합니다.","link":"https://openreview.net/forum?id=PI6TU1L5cZ"},{"id":"JGUaS2N7G2","en":"A Paired Testing Protocol for Batch-Conditioned Refusal Robustness in LLM Serving","ko":"LLM serving에서 batch-conditioned refusal robustness를 위한 paired testing protocol","authors":"Sahil Kadadekar","abs":"Safety evaluations of language models often treat serving configuration as fixed background infrastructure, but batch condition is an untested treatment variable whenever the same prompt may be evaluated alone, in a synchronized batch, or inside a continuous-batching scheduler. We synthesize four artifact-backed studies into a paired testing protocol: Study A combines local discovery, scorer-corrected adjudication, and true-batching confirmation; Study B tests cross-model generalization; Study C tests continuous-batch composition; and Study D runs a batch-invariant-kernel ablation. The local test finds safety-label changes more often than capability-label changes (0.51% vs. 0.14%), but adjudication of 63 candidate rows leaves only 17 genuine behavioral flips, implying a corrected full-set rate of 0.16%. The 15-model extension finds no detectable universal safety-over-capability skew: flips are near parity (0.94x), alignment type has no detectable association ($p=0.942$, $\\eta^2=0.033$), and output instability is the strongest tested fragility screen ($r=0.909$, bootstrap 95% CI [0.65, 0.97]). In the targeted kernel ablation, standard vLLM reproduces 22/55 label flips on current score-flip candidates, while enabling VLLM_BATCH_INVARIANT=1 reduces the same test to 0/55 flips; the composition test separately finds no aggregate effect at 4.7pp sensitivity. The testing recommendation is exact-stack validation: evaluate refusal at the served batch setting, pair safety prompts with capability controls, and report low-rate directional flips separately from aggregate null effects.
","absKo":"언어 모델의 안전성 평가는 종종 serving configuration을 고정된 배경 인프라로 취급하지만, 동일한 prompt가 단독으로, 동기화된 batch 안에서, 또는 continuous-batching scheduler 내부에서 평가될 수 있다면 batch condition은 아직 검증되지 않은 treatment variable이다. 우리는 네 개의 artifact-backed study를 결합하여 paired testing protocol을 합성한다: Study A는 local discovery, scorer-corrected adjudication, true-batching confirmation을 결합하고; Study B는 cross-model generalization을 시험하며; Study C는 continuous-batch composition을 시험하고; Study D는 batch-invariant-kernel ablation을 수행한다. local test에서는 capability-label 변화보다 safety-label 변화가 더 자주 발견되었지만(0.51% 대 0.14%), 63개 후보 행에 대한 adjudication 후 진짜 behavioral flip은 17개만 남아 corrected full-set rate가 0.16%임을 시사한다. 15-model extension에서는 safety-over-capability의 보편적 편향을 검출하지 못했다: flip은 거의 대등하며(0.94x), alignment type은 검출 가능한 연관이 없고($p=0.942$, $\\eta^2=0.033$), output instability가 가장 강한 fragility screen이었다($r=0.909$, bootstrap 95% CI [0.65, 0.97]). targeted kernel ablation에서 standard vLLM은 현재 score-flip 후보에서 55개 중 22개의 label flip을 재현했지만, VLLM_BATCH_INVARIANT=1을 활성화하면 동일한 test에서 55개 중 0개의 flip으로 줄어들었다; composition test는 별도로 4.7pp sensitivity에서 aggregate effect가 없음을 보였다. 따라서 testing recommendation은 exact-stack validation이다: served batch setting에서 refusal을 평가하고, safety prompt를 capability control과 짝지으며, 낮은 빈도의 directional flip과 aggregate null effect를 분리해 보고하라.","link":"https://openreview.net/forum?id=JGUaS2N7G2"},{"id":"LoG8Wz4Bga","en":"USAD: Uncertainty-aware Statistical Adversarial Detection","ko":"USAD: 불확실성 인지 통계적 적대적 탐지","authors":"Zhijian Zhou, Xunye Tian, Jiacheng Zhang, Zesheng Ye, Yiyi Guo, Donghao Zhang, Liuhua Peng, Feng Liu","abs":"Statistical adversarial detection (SAD) treats detection as a two-sample test. Given a reference set of clean examples (CEs) and a batch of queries, potentially containing an unknown mixture of CEs and adversarial examples (AEs), SAD decides whether the query distribution drifts away from the CE distribution while controlling the false-alarm rate. Existing SAD-based methods mainly use maximum mean discrepancy (MMD) to measure the distributional discrepancy. However, MMD's distributional properties limit its ability to capture characteristic uncertainty patterns of AEs that are crucial for detection: AEs typically exhibit abnormal feature spread (i.e., global uncertainty) and instability under perturbations (i.e., local uncertainty). To close the gap, we propose **Uncertainty-aware Statistical Adversarial Detection** (USAD), which explicitly captures these uncertainty patterns with two new statistics: (1) **Variance Discrepancy** (VD), which measures the difference in feature spread between AEs and CEs to capture global uncertainty differences. (2) **Perturbation-based Covariance Discrepancy** (PCD), which compares feature covariance under Gaussian perturbations to capture local uncertainty differences. By aggregating VD and PCD, USAD achieves superior detection performances over baseline methods against various adversarial attacks, highlighting the importance of considering characteristic behaviors of AEs for effective SAD. Our code is available at: https://anonymous.4open.science/r/USAD.
","absKo":"Statistical adversarial detection(SAD)은 detection을 two-sample test로 취급한다. clean example(CE) reference set과, CE와 adversarial example(AE)의 비율이 알려지지 않은 혼합을 포함할 수 있는 query batch가 주어지면, SAD는 false-alarm rate를 제어하면서 query distribution이 CE distribution에서 벗어나는지를 결정한다. 기존 SAD 기반 방법은 주로 maximum mean discrepancy(MMD)를 사용하여 distributional discrepancy를 측정한다. 그러나 MMD의 분포적 성질은 detection에 중요한 AE의 특징적 uncertainty pattern, 즉 비정상적인 feature spread(global uncertainty)와 perturbation에 대한 불안정성(local uncertainty)을 포착하는 능력을 제한한다. 이 간극을 메우기 위해, 우리는 두 개의 새로운 statistic으로 이러한 uncertainty pattern을 명시적으로 포착하는 **Uncertainty-aware Statistical Adversarial Detection**(USAD)을 제안한다. (1) **Variance Discrepancy**(VD)는 AE와 CE 사이의 feature spread 차이를 측정하여 global uncertainty 차이를 포착한다. (2) **Perturbation-based Covariance Discrepancy**(PCD)는 Gaussian perturbation 하의 feature covariance를 비교하여 local uncertainty 차이를 포착한다. VD와 PCD를 집계함으로써 USAD는 다양한 adversarial attack에 대해 baseline method보다 우수한 detection performance를 달성하며, 효과적인 SAD를 위해 AE의 특징적 behavior를 고려하는 것의 중요성을 보여준다. 코드는 https://anonymous.4open.science/r/USAD 에서 제공된다.","link":"https://openreview.net/forum?id=LoG8Wz4Bga"},{"id":"mRzfHyrPvS","en":"When Top-k Truncation Is Not the Bottleneck: An Equivalence-Test Audit of LLM Logprob Calibration","ko":"top-k truncation이 병목이 아닐 때: LLM logprob calibration에 대한 equivalence test 감사","authors":"Robert Sneiderman","abs":"Equivalence claims in LLM evaluation need equivalence tests, not failed null-hypothesis significance tests: "we observed no effect" is not a valid statistical procedure for claiming two measurement conditions agree. We adopt Two One-Sided Tests (TOST) with pre-specified margins and paired-bootstrap inference as the right primitive for this class of audit. The protocol pairs an analytical leg (which equality the metric would satisfy if the channel were inert) with an empirical TOST at a pre-registered margin. As a running case study we apply it to API logprob top-k truncation in forced four-choice MCQA: an elementary argument bounds the truncation effect on renormalized confidence by the missing answer-token mass, and the empirical leg confirms TOST equivalence at Delta_ECE=0.02 with |Delta_ECE| <= 6e-5 across four self-hosted vLLM conditions. A pre-registered K=3 benchmark of channel pairs on GPQA Diamond stress-tests the joint decision rule and quantifies its resolution limit at Delta_Brier=0.015: all three pairs return inconclusive at n=198, with the temperature-swap CI alone excluding zero (one-sided direction detection). Applied to the rest of the pipeline, the same protocol returns non-equivalence with usable effect sizes, surfacing the confidence aggregator as the dominant non-truncation effect (|Delta_ECE|=0.15 to 0.29). The methodological point is that LLM-evaluation audits stop being "small p-value somewhere" the moment a margin is fixed in advance and the inference is paired. Code, the CalProbe-167 stress set, item-level manifests, the pre-registration, and the deviation log are released as supplementary material.
","absKo":"LLM evaluation에서 equivalence claim은 equivalence test가 필요하지, 실패한 null-hypothesis significance test가 필요한 것이 아니다: \"우리는 효과를 관측하지 못했다\"는 두 측정 조건이 일치한다고 주장하는 유효한 통계 절차가 아니다. 우리는 이 부류의 audit에 적절한 기본 primitive로 pre-specified margin과 paired-bootstrap inference를 갖는 Two One-Sided Tests (TOST)를 채택한다. 이 protocol은 분석적 다리(채널이 inert하다면 metric이 만족해야 할 equality)와 pre-registered margin에서의 경험적 TOST를 짝지어 놓는다. 실행 사례로, 우리는 강제된 four-choice MCQA에서 API logprob top-k truncation에 이를 적용한다: 기초적인 논증은 truncation effect가 renormalized confidence에 미치는 영향을 누락된 answer-token mass로 상계하고, 경험적 다리는 네 개의 self-hosted vLLM 조건 전반에서 \\Delta_ECE=0.02와 |\\Delta_ECE| <= 6e-5에서 TOST equivalence를 확인한다. GPQA Diamond에서 channel pair의 pre-registered K=3 benchmark는 공동 결정 규칙을 stress-test하고 \\Delta_Brier=0.015에서의 해상도 한계를 정량화한다: n=198에서 세 쌍 모두 inconclusive로 나오며, temperature-swap CI만이 0을 배제한다(단측 방향 탐지). 파이프라인의 나머지에 적용하면, 동일한 protocol은 유용한 effect size와 함께 non-equivalence를 반환하며, confidence aggregator를 지배적인 비-truncation effect로 드러낸다(|\\Delta_ECE|=0.15 to 0.29). 방법론적 요지는 margin이 미리 고정되고 추론이 paired되는 순간, LLM-evaluation audit는 더 이상 \"어딘가에서 p-value가 작다\"는 수준에 머물지 않는다는 점이다. 코드, CalProbe-167 stress set, item-level manifest, pre-registration, 그리고 deviation log는 보충 자료로 공개된다.","link":"https://openreview.net/forum?id=mRzfHyrPvS"},{"id":"1ZkhDvJjNA","en":"Adaptive Inference with Weak Instruments","ko":"약한 도구를 이용한 적응적 추론","authors":"Apurv Shukla, Debabrota Basu","abs":"Inference with weak instruments presents a choice between the two-stage least squares (2SLS) yielding tight confidence intervals with low coverage, and the test-based methods, like Anderson–Rubin, producing vacuously wide but valid intervals. We show that this trade-off is unnecessary. First, we show that a convex combination of a bias-controlled estimator, like ordinary least squares, and a valid estimator, like 2SLS, preserves coverage. Second, to yield tight intervals, we propose StAR that uses e-process diagnostics to adaptively set these weights.
StAR's weights involve a multivariate e-value aggregating relevance of all the instruments, and the confidence width of the e-process gating against premature reliance on any instrument. We prove three finite-sample results: (i) StAR's coverage, (ii) StAR's width that transitions from OLS-like at weak instruments to IV-efficient at strong instruments at an explicit rate, and (iii) an oracle inequality for StAR showing that it achieves an error rate within a constant factor of the oracle rate. Our experiments on synthetic data shows that StAR maintains $\\ge 96\\%$ coverage and produces 6× tighter intervals than Anderson–Rubin at weak instruments. Our experiments on clinical AI and econometric data shows that StAR yields valid and informative CIs, and accurately detects collective instrument strength.
","absKo":"weak instrument 하에서의 inference는 두 가지 선택지 사이의 trade-off를 제시한다. 하나는 confidence interval은 좁지만 coverage가 낮은 two-stage least squares (2SLS)이고, 다른 하나는 Anderson–Rubin 같은 test-based method로, 사실상 무의미하게 넓지만 유효한 interval을 만든다. 우리는 이 trade-off가 불필요하다는 것을 보인다. 먼저, ordinary least squares 같은 bias-controlled estimator와 2SLS 같은 valid estimator의 convex combination이 coverage를 보존함을 보인다. 둘째, 더 좁은 interval을 얻기 위해, e-process diagnostics를 사용해 이러한 가중치를 적응적으로 설정하는 StAR를 제안한다.\nStAR의 가중치는 모든 instrument의 relevance를 집계하는 multivariate e-value와, 어떤 instrument에도 성급하게 의존하지 않도록 gate하는 e-process의 confidence width를 포함한다. 우리는 세 가지 finite-sample 결과를 증명한다. (i) StAR의 coverage, (ii) weak instrument에서는 OLS-like하게, strong instrument에서는 IV-efficient하게 전이되는 StAR의 width를 명시적 rate로 보이는 결과, (iii) StAR가 oracle rate의 상수배 이내의 error rate를 달성함을 보이는 oracle inequality. synthetic data 실험에서는 StAR가 $\\ge 96\\%$ coverage를 유지하고, weak instrument에서 Anderson–Rubin보다 6배 더 좁은 interval을 생성함을 보였다. clinical AI와 econometric data 실험에서는 StAR가 유효하면서도 정보성 있는 CI를 제공하고, collective instrument strength를 정확히 탐지함을 보였다.","link":"https://openreview.net/forum?id=1ZkhDvJjNA"},{"id":"7ZHhma69ZB","en":"Safely Optimal: Pure Exploration in Bandits with Unknown Linear Constraints","ko":"안전하게 최적: 알려지지 않은 선형 제약이 있는 bandit에서의 pure exploration","authors":"Udvas Das, Achraf Azize, Debabrota Basu","abs":"In real-world sequential decision making tasks, such as adaptive clinical trials, user studies for recommender systems, we aim to identify a reward-maximising policy over possible decisions while abiding by safety and resource constraints, which might not be exactly known *a priori*. We study these problems in terms of identifying a safe and optimal policy with a fixed confidence level in the multi-armed bandit setting, where pulling each arm yields correlated, noisy reward and cost signals. First, we show the statistical instability of exactly identifying the safely optimal policy. Then, we derive two information-theoretic lower bounds for identifying a safe and $\\epsilon$-optimal policy for unstructured and linear bandits with multiple linear constraints. These results significantly extend the existing lower bound on identifying the unique best arm under a single constraint. Then, we design an algorithmic framework, **PRUNE**, that plugs-in the sequentially estimated reward and cost means in the lower bounds, optimises them efficiently to find a sampling strategy, and deploys two novel stopping rules to output accurate policy recommendations. Finally, we prove that **PRUNE** is asymptotically optimal for both the unstructured and linear bandits with unknown linear constraints.
","absKo":"적응형 임상시험이나 추천 시스템을 위한 사용자 연구와 같은 실제 순차 의사결정 태스크에서 우리는 사전에는 정확히 알려지지 않을 수 있는 안전 및 자원 제약을 준수하면서 가능한 의사결정들 위에서 보상을 최대화하는 정책을 식별하고자 한다. 우리는 각 arm을 당길 때 상관된 잡음이 있는 보상과 비용 신호가 나오는 multi-armed bandit 설정에서, 고정된 신뢰수준으로 안전하고 최적의 정책을 식별하는 문제를 연구한다. 먼저, 우리는 안전하게 최적인 정책을 정확히 식별하는 것이 통계적으로 불안정함을 보인다. 그런 다음, 구조화되지 않은 bandit과 여러 선형 제약을 가진 linear bandit에서 안전하고 $\\epsilon$-optimal한 정책을 식별하기 위한 두 가지 information-theoretic lower bound를 유도한다. 이 결과는 단일 제약 하에서 유일한 best arm을 식별하는 기존 lower bound를 크게 확장한다. 이어서 우리는 lower bound에 순차적으로 추정된 보상과 비용 평균을 대입하고, 이를 효율적으로 최적화해 sampling strategy를 찾으며, 정확한 policy recommendation을 출력하기 위해 두 가지 새로운 stopping rule을 사용하는 알고리즘 프레임워크 **PRUNE**을 설계한다. 마지막으로, **PRUNE**이 알려지지 않은 선형 제약을 가진 구조화되지 않은 bandit과 linear bandit 모두에서 점근적으로 최적임을 증명한다.","link":"https://openreview.net/forum?id=7ZHhma69ZB"},{"id":"ae4Tl3v560","en":"Knockoff-C2ST: False Discovery Controlled Attribution of Distribution Shift","ko":"Knockoff-C2ST: 분포 시프트의 false discovery 통제 attribution","authors":"Şuayp Talha Kocabay, Kerem Yalçın","abs":"Classifier two-sample tests (C2STs) are a standard reduction for deciding whether a distribution shift has occurred, but the reduction by itself is not a valid explanation of what shifted when coordinates are statistically dependent. In high-correlation regimes, standard feature-attribution scores computed from a C2ST inherit correlation bias: variables that merely predict a shifted covariate can receive larger importance than the shifted covariate itself, producing uncontrolled and often severe false discoveries. We introduce Knockoff-C2ST, a feature-attributed two-sample testing procedure that augments C2STs with Model-X knockoff variables and selects shifted coordinates by a sign-symmetric contrast statistic. Under exact Model-X exchangeability and a null defined by invariance of the conditional source and target laws, the selected set obeys finite-sample false discovery rate control at a user-specified level. The method preserves the modeling flexibility of C2STs while converting feature attribution into a multiple-testing procedure with formal error control. Experiments show strong FDR calibration under dependence, severe false-discovery inflation for naive attributions, and a present power bottleneck: tree-gain and loss-difference statistics are conservative, while stability aggregation gives nonzero but still limited recovery.
","absKo":"Classifier two-sample test (C2ST)는 distribution shift가 발생했는지 판단하기 위한 표준적인 reduction이지만, coordinates가 statistically dependent일 때 reduction 그 자체는 무엇이 shift되었는지에 대한 타당한 설명이 되지 못한다. 높은 상관관계 regime에서 C2ST로부터 계산한 standard feature-attribution score는 correlation bias를 그대로 물려받는다. 단지 shifted covariate를 예측하기만 하는 variable이 shifted covariate 자체보다 더 큰 중요도를 받을 수 있으며, 이로 인해 제어되지 않고 종종 심각한 false discovery가 발생한다. 우리는 C2ST를 Model-X knockoff variable로 확장하고 sign-symmetric contrast statistic으로 shifted coordinate를 선택하는 feature-attributed two-sample testing procedure인 Knockoff-C2ST를 제안한다. exact Model-X exchangeability와 source 및 target conditional law의 invariance로 정의된 null 하에서, 선택된 집합은 사용자가 지정한 수준에서 finite-sample false discovery rate control을 만족한다. 이 방법은 C2ST의 modeling flexibility를 보존하면서 feature attribution을 formal error control을 갖는 multiple-testing procedure로 변환한다. 실험은 dependence 하에서 강한 FDR calibration을 보이고, naive attribution에서는 severe false-discovery inflation이 발생하며, 현재의 power bottleneck도 드러낸다. tree-gain과 loss-difference statistic은 보수적이고, stability aggregation은 0이 아닌 회복을 주지만 여전히 제한적이다.","link":"https://openreview.net/forum?id=ae4Tl3v560"},{"id":"8DczH2hiVg","en":"Three Tests for an Adoption-Aware Crop Recommender: Sensitivity, Permutation, Placebo","ko":"adoption-aware 작물 추천기의 세 가지 테스트: 민감도, permutation, placebo","authors":"Vairaaj Bindal","abs":"We evaluated an adoption-aware crop recom-
mender on Ethiopian Living Standards Mea-
surement Study panel data (n = 8,744 cul-
tivated plots) using three classical observa-
tional tests: Rosenbaum signed-rank sensi-
tivity, a sign-exchangeable permutation test
on matched-pair differences, and a stratified
label-shuffle placebo. The recommender tar-
gets Expected Realized Benefit (ERB), the
product of predicted yield gain and predicted
adoption probability, against an accuracy-
only baseline that maximizes yield alone.
The aggregate ERB lift of +50 kg/ha (boot-
strap 95% CI [+24, +74], n = 800 EA-
disjoint test plots) clears Rosenbaum Γ⋆ ≥ 5
on every education subgroup and clears the
permutation test at p < 10−3. The pub-
lished per-education subgroup pattern does
not clear the placebo: the real per-subgroup
means fall inside the placebo distribution at
p ∈ [0.14, 0.87]. The placebo undercuts a
published equity-targeting reading, leaving
descriptive concentration of an aggregate ef-
fect as the defensible report. None of the
three tests is new, and none is yet standard
in observational offline-policy ML. We argue
all three should be.
","absKo":"우리는 Ethiopian Living Standards Measurement Study panel data(n = 8,744 cultivated plots)에서 adoption-aware crop recommender를 평가했으며, 세 가지 classical observational test를 사용했다: Rosenbaum signed-rank sensitivity, matched-pair difference에 대한 sign-exchangeable permutation test, 그리고 stratified label-shuffle placebo. 이 recommender는 Expected Realized Benefit(ERB), 즉 예측된 yield gain과 예측된 adoption probability의 곱을 목표로 하며, yield만을 최대화하는 accuracy-only baseline과 비교했다. aggregate ERB lift +50 kg/ha(bootstrap 95% CI [+24, +74], n = 800 EA-disjoint test plots)는 모든 education subgroup에서 Rosenbaum Γ⋆ ≥ 5를 통과하고 permutation test에서도 p < 10−3로 통과한다. 그러나 발표된 education subgroup별 패턴은 placebo를 통과하지 못한다. 실제 subgroup mean은 p ∈ [0.14, 0.87]에서 placebo distribution 안에 들어간다. 이 placebo는 발표된 equity-targeting 해석을 약화시키며, aggregate effect의 descriptive concentration만이 방어 가능한 보고임을 남긴다. 세 test 모두 새롭지는 않으며, observational offline-policy ML에서 아직 표준도 아니다. 우리는 이 세 가지가 모두 표준이 되어야 한다고 주장한다.","link":"https://openreview.net/forum?id=8DczH2hiVg"},{"id":"8pXOVeXWAM","en":"CLOUDSPLAT: Distributional Contrastive Learning for Tabular Data","ko":"CLOUDSPLAT: 표 형식 데이터에 대한 분포적 contrastive learning","authors":"Amir Raza, Mayank Jauhari, Vikash Sharma, Vipul Joshi, Anurag Tripathi, Christos Faloutsos","abs":"Evaluating whether a learned encoder separates classes well currently requires training a downstream classifier, an expensive, protocol-dependent step that conflates representation quality with classifier choice. We propose the CLOUDSPLAT Separability Index (CSSI), a differentiable two-sample test statistic that answers this question directly: it tests whether the distributions of within-class and between-class embedding distances are separable. CSSI sorts both distance collections and compares them position-by-position via a penalized 1D Wasserstein distance with a generalized p-mean: at p=1 it reduces to a standard average-difference test (analogous to a t-statistic on sorted distances), while p→∞ focuses on the single worst-separated quantile position (the W∞ distance on sorted distances). Unlike kNN accuracy or silhouette (which are non-differentiable), CSSI is differentiable, enabling its direct use as a training loss. We demonstrate this bridge in two roles: (a) As a training loss: plugging CSSI into a contrastive learning framework (CLOUDSPLAT) yields state-of-the-art tabular embeddings, winning on 6/7 datasets at 5% labels against five loss baselines, 7/11 benchmarks against SCARF, and achieving rank 1.9 among six SSL methods, all with a frozen encoder; (b) As a probe-free diagnostic: CSSI achieves Spearman ρ ∈ [+0.73, +0.92] with linear-probe accuracy across three foundation-model architectures on 19 datasets, correctly identifies separability on non-convex geometries where centroid-based metrics fail, and (unlike all competing diagnostics) can be directly optimized. The p parameter provides explicit sensitivity control: low p tests average separation, high p tests worst-case separation, enabling practitioners to tune the test's power profile to their application.
","absKo":"학습된 encoder가 class를 잘 분리하는지 평가하려면 현재 downstream classifier를 학습해야 하는데, 이는 비용이 크고 protocol에 의존하는 단계이며 representation quality와 classifier 선택을 혼동시킨다. 우리는 CLOUDSPLAT Separability Index(CSSI)를 제안한다. 이는 이 질문에 직접 답하는 differentiable two-sample test statistic으로, within-class와 between-class embedding distance의 분포가 분리 가능한지 검정한다. CSSI는 두 distance 집합을 정렬한 뒤 generalized p-mean을 사용한 penalized 1D Wasserstein distance로 위치별 비교를 수행한다. p=1일 때는 표준 평균 차이 검정(정렬된 distance에 대한 t-statistic과 유사)으로 축약되고, p→∞일 때는 가장 분리가 나쁜 단일 quantile 위치에 집중한다(정렬된 distance의 W∞ distance). kNN accuracy나 silhouette처럼 미분 불가능한 방법과 달리 CSSI는 differentiable하므로 training loss로 직접 사용할 수 있다. 우리는 이 다리를 두 역할에서 입증한다. (a) Training loss로서: CSSI를 contrastive learning framework(CLOUDSPLAT)에 넣으면 state-of-the-art tabular embedding을 얻는다. 5% labels 조건에서 5개의 loss baseline을 상대로 6/7개 dataset에서 승리하고, SCARF에 대해서는 7/11 benchmark에서 우세했으며, frozen encoder로 six SSL method 중 rank 1.9를 달성했다. (b) Probe-free diagnostic으로서: CSSI는 19개 dataset에 걸쳐 3개의 foundation-model architecture에서 linear-probe accuracy와 Spearman ρ ∈ [+0.73, +0.92]를 보이며, centroid-based metric이 실패하는 non-convex geometry에서도 separability를 올바르게 식별하고, 경쟁 진단법들과 달리 직접 최적화할 수 있다. p parameter는 명시적 민감도 조절을 제공한다. 낮은 p는 평균적 분리를, 높은 p는 최악 경우 분리를 검정하므로, 사용자는 응용에 맞게 test의 power profile을 조정할 수 있다.","link":"https://openreview.net/forum?id=8pXOVeXWAM"},{"id":"9zOQ7eeev5","en":"FraPPE: Fast and Efficient Preference-based Pure Exploration","ko":"FraPPE: 빠르고 효율적인 선호 기반 순수 탐색","authors":"Udvas Das, Apurv Shukla, Debabrota Basu","abs":"Preference-based Pure Exploration (PrePEx) aims to identify with a given confidence level the set of Pareto optimal arms in a vector-valued (aka multi-objective) bandit, where the reward vectors are ordered via a (given) preference cone $\\mathcal{C}$. Though PrePEx and its variants are well-studied, there does not exist a *computationally efficient* algorithm that can *optimally* track the existing lower bound (Shukla and Basu, 2024) for arbitrary preference cones. We successfully fill this gap by efficiently solving the minimisation and maximisation problems in the lower bound. First, we derive three structural properties of the lower bound that yield a computationally tractable reduction of the minimisation problem. Then, we deploy a Frank-Wolfe optimiser to accelerate the maximisation problem in the lower bound. Together, these techniques solve the maxmin optimisation problem in $\\mathcal{O}(KL^{2})$ time for a bandit instance with $K$ arms and $L$ dimensional reward, which is a significant acceleration over the literature. We further prove that our proposed PrePEx algorithm, **FraPPE**, asymptotically achieves the optimal sample complexity. Finally, we perform numerical experiments across synthetic and real datasets demonstrating that **FraPPE** achieves the lowest sample complexities to identify the exact Pareto set among the existing algorithms.
","absKo":"Preference-based Pure Exploration (PrePEx)은 vector-valued(즉, multi-objective) bandit에서, 주어진 confidence level로 reward vector가 (주어진) preference cone $\\mathcal{C}$에 의해 정렬되는 Pareto optimal arm의 집합을 식별하는 것을 목표로 한다. PrePEx와 그 변형들은 많이 연구되었지만, 임의의 preference cone에 대해 기존 lower bound (Shukla and Basu, 2024)를 *최적으로* 추적할 수 있는 *계산적으로 효율적인* algorithm은 존재하지 않았다. 우리는 lower bound 안의 minimisation과 maximisation problem을 효율적으로 풀어 이 공백을 성공적으로 메운다. 먼저 lower bound의 세 가지 구조적 성질을 도출하여 minimisation problem을 계산적으로 다루기 쉬운 형태로 축소한다. 그런 다음 Frank-Wolfe optimizer를 사용해 lower bound의 maximisation problem을 가속한다. 이 기법들을 결합하면, $K$개의 arm과 $L$차원 reward를 가진 bandit instance에 대해 maxmin optimisation problem을 $\\mathcal{O}(KL^{2})$ 시간에 해결할 수 있으며, 이는 문헌 대비 상당한 가속이다. 또한 우리가 제안한 PrePEx algorithm, **FraPPE**,가 점근적으로 최적의 sample complexity를 달성함을 증명한다. 마지막으로 synthetic 및 real dataset 전반에서 수치 실험을 수행하여, **FraPPE**가 기존 algorithm들 중 정확한 Pareto set을 식별하는 데 필요한 sample complexity가 가장 낮음을 보인다.","link":"https://openreview.net/forum?id=9zOQ7eeev5"},{"id":"PvrQfLAuJt","en":"DP-SPRT: Differentially Private Sequential Probability Ratio Tests","ko":"DP-SPRT: 차등 프라이버시 sequential probability ratio test","authors":"Thomas Michel, Debabrota Basu, Emilie Kaufmann","abs":"We revisit Wald's celebrated Sequential Probability Ratio Test for sequential tests of two simple hypotheses, under privacy constraints. We propose DP-SPRT, a wrapper that can be calibrated to achieve desired error probabilities and privacy constraints, addressing a significant gap in previous work. DP-SPRT relies on a private mechanism that processes a sequence of queries and stops after privately determining when the query results fall outside a predefined interval. This OutsideInterval mechanism improves upon naive composition of existing techniques like AboveThreshold, achieving a factor-of-2 privacy improvement and thus potentially benefiting other continual monitoring procedures. We prove generic upper bounds on the error and sample complexity of DP-SPRT that can accommodate various noise distributions based on the practitioner's privacy needs. We exemplify them in two settings: Laplace noise (pure Differential Privacy) and Gaussian noise (Rényi differential privacy). In the former setting, by providing a lower bound on the sample complexity of any $\\varepsilon$-DP test with prescribed type I and type II errors, we show that DP-SPRT is near optimal when both errors are small and the two hypotheses are close. Moreover, we conduct an experimental study revealing its good practical performance.
","absKo":"우리는 privacy 제약 하에서 두 개의 simple hypothesis에 대한 sequential test를 위해 Wald의 유명한 Sequential Probability Ratio Test를 다시 살펴본다. 우리는 원하는 error probability와 privacy constraint를 달성하도록 조정할 수 있는 wrapper인 DP-SPRT를 제안하며, 이는 기존 연구의 중요한 공백을 메운다. DP-SPRT는 query sequence를 처리하고, query result가 사전에 정의된 interval 밖으로 벗어나는 시점을 privacy-preserving하게 판별한 뒤 중지하는 private mechanism에 의존한다. 이 OutsideInterval mechanism은 AboveThreshold와 같은 기존 기법의 naive composition보다 개선되며, privacy를 2배 향상시켜 다른 continual monitoring procedure에도 잠재적으로 이점을 제공한다. 우리는 실무자의 privacy 요구에 따라 다양한 noise distribution을 수용할 수 있는 DP-SPRT의 error와 sample complexity에 대한 일반적인 upper bound를 증명한다. 또한 Laplace noise(pure Differential Privacy)와 Gaussian noise(Rényi differential privacy)의 두 setting에서 이를 구체화한다. 전자의 setting에서는, type I 및 type II error가 사전 지정된 임의의 $\\varepsilon$-DP test의 sample complexity에 대한 lower bound를 제시하여, 두 error가 작고 두 hypothesis가 가까울 때 DP-SPRT가 거의 최적임을 보인다. 더 나아가, 실험적 연구를 통해 실제 성능이 우수함을 확인한다.","link":"https://openreview.net/forum?id=PvrQfLAuJt"},{"id":"PZPsu1Gv2S","en":"Tweedie's Formula for Testing: Score Identities from Hypothesis Tests to Diffusion Models","ko":"검정을 위한 Tweedie 공식: 가설 검정에서 diffusion model까지의 score 항등식","authors":"Vadim Sokolov, Nicholas Polson, Daniel Zantedeschi","abs":"Tweedie's formula expresses the posterior mean under Gaussian noise as the observation shifted by the score of the log-marginal density. The same identity connects two developments that have evolved separately: Rubin's decision-theoretic view of Bayes hypothesis testing and the denoising step at the heart of modern diffusion generative models. We develop the testing side. Under a spike-and-slab hypothesis, the Tweedie posterior mean decomposes into posterior signal probability times conditional signal mean. The associated local false discovery rate rule is equivalent to Bayes-factor thresholding and satisfies an oracle screening consistency theorem. The key observation is that in a diffusion model with Gaussian forward process, the score network's denoised prediction equals the posterior signal mean under the training prior. For out-of-distribution detection, the training score can be used to recover the training log density, which can then be compared with a specified null density; the fdr-BF equivalence supplies principled false discovery rate thresholds without heuristic calibration.
","absKo":"Tweedie의 formula는 Gaussian noise 하에서 posterior mean을 관측값에 log-marginal density의 score를 더한 형태로 표현한다. 동일한 identity는 서로 별개로 발전해 온 두 흐름, 즉 Bayes hypothesis testing에 대한 Rubin의 decision-theoretic 관점과 현대 diffusion generative model의 핵심인 denoising step을 연결한다. 우리는 testing 측면을 전개한다. spike-and-slab hypothesis 하에서 Tweedie posterior mean은 posterior signal probability와 conditional signal mean의 곱으로 분해된다. 이에 대응하는 local false discovery rate rule은 Bayes factor thresholding과 동등하며 oracle screening consistency theorem을 만족한다. 핵심 관찰은 Gaussian forward process를 갖는 diffusion model에서 score network의 denoised prediction이 training prior 하의 posterior signal mean과 같다는 점이다. out-of-distribution detection에서는 training score를 사용해 training log density를 복원할 수 있고, 이를 지정된 null density와 비교할 수 있다. fdr-BF equivalence는 휴리스틱한 calibration 없이도 원칙적인 false discovery rate threshold를 제공한다.","link":"https://openreview.net/forum?id=PZPsu1Gv2S"},{"id":"6BWFYVa5E3","en":"Transport Instability Coordinates for Early-Warning Tests of Training Loss Spikes","ko":"학습 loss spike 조기 경보 테스트를 위한 transport instability 좌표","authors":"Kim sanghyun","abs":"Loss spikes in neural-network training are typically detected only after probe loss has entered an unstable regime. We frame future spike detection as a sequential testing problem in which row-wise, causal features act as test statistics for a finite non-NaN probe-loss spike event in a future lead window. Standard diagnostics such as loss trends, gradient norms, update norms, and adaptive-moment statistics measure scalar or parameter-space quantities, but they do not directly measure how the current stochastic optimizer transition moves the model’s representations. We introduce Transport Instability Coordinates (TIC), a causal feature-space diagnostic based on ghost updates from a frozen optimizer state. At each measured step, TIC samples ghost microbatches, applies the corresponding temporary AdamW transitions, and records the induced changes in a fixed probe representation and probe loss. These measurements define trace, log-moment, whitened, modal-concentration, and loss-directed transport coordinates, which we use in a discrete-time hazard model for future non-NaN probe-loss spikes. In dense critical-learning-rate Transformer experiments, TIC improves over time, loss-trend, gradient-norm, update-norm, Adam-mismatch, trace-only, and raw-tabular baselines at a fixed false-alert budget. A secondary PolyPythias-410M audit shows that the same coordinates decompose known outlier windows into coordinate-specific transport expansion. The results support feature-space transport as an early-warning statistic for imminent training instability.
","absKo":"신경망 학습에서 loss spike는 일반적으로 probe loss가 불안정한 상태에 들어간 뒤에야 감지된다. 우리는 미래 spike 감지를 순차 검정 문제로 정식화하며, 여기서 row-wise causal feature는 미래 lead window에서의 유한한 non-NaN probe-loss spike 사건에 대한 test statistic으로 작동한다. loss trend, gradient norm, update norm, adaptive-moment statistic과 같은 표준 진단법은 scalar 또는 parameter-space 양을 측정하지만, 현재 stochastic optimizer 전이가 모델의 representation을 어떻게 이동시키는지는 직접 측정하지 못한다. 우리는 frozen optimizer state에서의 ghost update에 기반한 causal feature-space 진단법인 Transport Instability Coordinates (TIC)를 도입한다. 각 측정 step에서 TIC는 ghost microbatch를 샘플링하고, 대응하는 temporary AdamW transition을 적용한 뒤, 고정된 probe representation과 probe loss에 유도된 변화를 기록한다. 이러한 측정은 trace, log-moment, whitened, modal-concentration, loss-directed transport coordinate를 정의하며, 우리는 이를 미래 non-NaN probe-loss spike에 대한 discrete-time hazard model에 사용한다. dense critical-learning-rate Transformer 실험에서 TIC는 고정된 false-alert budget 하에서 time, loss-trend, gradient-norm, update-norm, Adam-mismatch, trace-only, raw-tabular baseline보다 우수한 성능을 보인다. 보조 PolyPythias-410M audit은 동일한 coordinate가 알려진 outlier window를 coordinate별 transport expansion으로 분해함을 보여준다. 이 결과는 feature-space transport가 임박한 학습 불안정성에 대한 조기 경보 통계량으로 유망함을 뒷받침한다.","link":"https://openreview.net/forum?id=6BWFYVa5E3"},{"id":"9e45Lnn1fW","en":"Persistent Homology for Distribution Drift Detection in LLM Embedding Streams","ko":"LLM 임베딩 스트림에서 분포 드리프트 검출을 위한 지속 호몰로지","authors":"Lei Yang","abs":"Deployed language models experience distribution drift in their input streams, degrading performance silently. Existing drift detectors rely on low-order statistics---means, covariances, or kernel embeddings---and may underperform when drift alters the geometric structure of the embedding space without large changes in these quantities. We present the first systematic evaluation of persistent homology for drift detection in LLM embedding streams. We design three centroid-controlled drift scenarios---subtopic reweighting (approximate centroid preservation), style perturbation, and geometric reorganization (exact centroid preservation)---that reduce the advantage of conventional detectors, and evaluate 8 topological features against 6 classical baselines across 2 datasets, 2 embedding models, and 5 random seeds. Our key finding is that Wasserstein distance on $H_0$ persistence diagrams achieves $\\text{AUC} = 0.858$ on geometric reorganization drift, significantly outperforming the best classical baseline ($\\text{MMD-RBF}$, $\\text{AUC} = 0.782$; paired permutation test $p < 0.001$). However, the advantage is scenario-specific: classical methods remain superior on subtopic reweighting drift, and all methods show only moderate power on style perturbation. We provide comprehensive ablations over window size, subsample size, and PCA dimensionality, and show that opological methods run at $37\\text{--}45$ ms per window under the tested settings. Our results establish when topological drift detection adds complementary value and when classical methods suffice.
","absKo":"배포된 language model은 입력 스트림에서 distribution drift를 겪으며, 이는 성능을 조용히 저하시킨다. 기존 drift detector는 low-order statistic, 즉 mean, covariance, 또는 kernel embedding에 의존하며, 이러한 양이 크게 변하지 않으면서 embedding space의 기하학적 구조가 바뀌는 경우 성능이 떨어질 수 있다. 우리는 LLM embedding stream에서 drift detection을 위한 persistent homology의 최초의 체계적 평가를 제시한다. 우리는 기존 detector의 이점을 약화시키는 세 가지 centroid-controlled drift scenario, 즉 subtopic reweighting(근사적 centroid 보존), style perturbation, 그리고 geometric reorganization(정확한 centroid 보존)을 설계하고, 2개 dataset, 2개 embedding model, 5개 random seed에 걸쳐 8개의 topological feature와 6개의 classical baseline을 평가한다. 핵심 발견은 $H_0$ persistence diagram에 대한 Wasserstein distance가 geometric reorganization drift에서 $\\text{AUC} = 0.858$을 달성하여, 최고의 classical baseline($\\text{MMD-RBF}$, $\\text{AUC} = 0.782$; paired permutation test $p < 0.001$)을 유의미하게 능가한다는 점이다. 그러나 이 이점은 scenario-specific하다. classical method는 subtopic reweighting drift에서 여전히 우수하며, 모든 방법은 style perturbation에서는 중간 수준의 성능만 보인다. 우리는 window size, subsample size, PCA dimensionality에 대한 포괄적인 ablation을 제공하고, 테스트한 설정에서 topological method가 window당 37\\text{--}45 ms로 동작함을 보인다. 우리의 결과는 topology 기반 drift detection이 언제 보완적 가치를 더하는지, 그리고 언제 classical method로 충분한지를 규명한다.","link":"https://openreview.net/forum?id=9e45Lnn1fW"},{"id":"CrdVtFSFdz","en":"ICMAPE: In-Context Multiagent Pure Exploration","ko":"ICMAPE: 문맥 내 multiagent 순수 탐색","authors":"Xinyi Hu, Alessio Russo, Aldo Pacchiano","abs":"In some multi-agent systems, the primary objective is not reward maximization but efficient information acquisition to identify unknown properties of the environment as done in active sequential hypothesis testing (ASHT) problems. However, the ASHT literature tends to focus on finite single-agent problems with well-specified models, while there is currently a gap for practical multi-agent methods that can perform active sequential testing.
In this work, we fill this gap and propose a Bayesian learning-based framework for decentralized multi-agent pure-exploration driven by inference objectives. Our method, ICMAPE, jointly learns a centralized neural inference network that estimates a posterior distribution over hypotheses from global trajectory data, and decentralized policies trained through reinforcement learning to select actions based only on local observation histories. Instead of relying on environment rewards, we use inference confidence as the training signal, encouraging agents to collect data that reduces uncertainty and enabling them to stop exploration once the inferred hypothesis reaches the target confidence level. On two synthetic benchmarks and a real-world Maryland nitrate concentration monitoring task, ICMAPE-TD3 achieves target accuracy with fewer exploration steps.
","absKo":"일부 multi-agent system에서 primary objective는 reward maximization이 아니라, active sequential hypothesis testing(ASHT) 문제처럼 환경의 미지의 성질을 식별하기 위한 효율적인 정보 획득이다. 그러나 ASHT 문헌은 잘 정의된 모델을 가진 유한한 single-agent 문제에 초점을 두는 경향이 있으며, 현재 active sequential testing을 수행할 수 있는 실용적인 multi-agent 방법에는 공백이 있다. \n이 연구에서 우리는 이 공백을 메우고, inference objective에 의해 구동되는 decentralized multi-agent pure-exploration을 위한 Bayesian learning 기반 framework를 제안한다. 우리의 방법 ICMAPE는, global trajectory data로부터 hypothesis에 대한 posterior distribution을 추정하는 centralized neural inference network와, local observation history에만 기반해 행동을 선택하도록 reinforcement learning으로 학습된 decentralized policy를 jointly 학습한다. environment reward에 의존하는 대신, 우리는 inference confidence를 training signal로 사용하여 agents가 uncertainty를 줄이는 데이터를 수집하도록 장려하고, inferred hypothesis가 target confidence level에 도달하면 exploration을 멈출 수 있게 한다. 두 개의 synthetic benchmark와 실제 Maryland nitrate concentration monitoring task에서 ICMAPE-TD3는 더 적은 exploration step으로 target accuracy를 달성한다.","link":"https://openreview.net/forum?id=CrdVtFSFdz"},{"id":"3uxHDnpHUP","en":"NOVA-Test: Auditing LLM-Generated Research Hypotheses with Structural Analogy, Prior-Work, and Falsifiability Tests","ko":"NOVA-Test: 구조적 유추, 선행 연구, 반증 가능성 테스트를 통한 LLM 생성 연구 가설 감사","authors":"David Scott Lewis, Karl Wang, Saien Deng, Enrique Zueco, Xiping Gong","abs":"We study LLM research ideation as a hypothesis-testing problem, not a prompting tutorial. The unit under test is a generated research hypothesis together with its structural justification, nearest-prior relation, and proposed falsifier. We repurpose NOVA-Analog as NOVA-Test, a lightweight rejection protocol with three gates: source-target structural alignment, nearest-prior novelty audit, and explicit falsification planning. Across 12 ML/CS bottlenecks and three generation conditions, NOVA-Test improves judged novelty (3.88 vs. 3.00 one-shot and 2.83 literature-search), technical specificity (4.54 vs. 3.21 and 3.00), and falsifiability (4.79 vs. 4.46 and 4.21). Bonferroni-corrected Wilcoxon tests remain significant for all planned comparisons except feasibility versus literature-search. A 488-work novelty audit labels 10/12 NOVA-Test hypotheses plausibly novel versus 3/12 literature-search hypotheses (Fisher one-sided p=0.006). The contribution is not autonomous discovery; it is a reproducible hypothesis-audit scaffold for LLM-related testing problems.
","absKo":"우리는 LLM 연구 ideation을 prompting tutorial이 아니라 hypothesis-testing 문제로 다룬다. 테스트의 단위는 생성된 연구 hypothesis와 그 구조적 정당화, 가장 가까운 prior와의 관계, 그리고 제안된 falsifier이다. 우리는 NOVA-Analog를 NOVA-Test로 재구성하여, source-target 구조 정렬, nearest-prior novelty audit, 명시적 falsification planning이라는 세 개의 gate를 갖는 경량 rejection protocol로 사용한다. 12개의 ML/CS 병목과 세 가지 생성 조건 전반에서, NOVA-Test는 평가된 novelty(3.88 대 3.00 one-shot, 2.83 literature-search), 기술적 구체성(4.54 대 3.21 및 3.00), falsifiability(4.79 대 4.46 및 4.21)를 향상시킨다. Bonferroni 보정 Wilcoxon 검정은 feasibility와 literature-search의 비교를 제외한 모든 사전 계획 비교에서 유의하다. 488개 작업에 대한 novelty audit는 NOVA-Test hypothesis 10/12개를 plausibly novel로 분류한 반면 literature-search hypothesis는 3/12개만 그러했다(Fisher 단측 p=0.006). 이 기여는 자율적 발견이 아니라, LLM 관련 testing 문제를 위한 재현 가능한 hypothesis-audit scaffold이다.","link":"https://openreview.net/forum?id=3uxHDnpHUP"},{"id":"r50FbLuMOs","en":"Adaptive Hypothesis Testing for Dependent Graph-Valued Structures via Topological Value of Information","ko":"위상적 정보 가치로 의존적 그래프-valued 구조를 위한 적응적 가설 검정","authors":"Susanna Di Vita, Philippe Schwaller","abs":"Modern ML systems increasingly output uncertain graph-valued structures, including causal graphs,
mechanistic graphs, interaction networks, and graph-based explanations. In these settings, reliability depends
on deciding which dependent structural hypotheses to test next under a limited budget. We formulate this as
\\emph{adaptive structural hypothesis testing}, where candidate edges are binary hypotheses, tests produce noisy
evidence, and test value depends on the global graph-valued hypothesis state. We introduce Topological
Complexity Minimization (TCM), a cost-aware adaptive testing policy that scores a probabilistic belief graph
using connected components $(\\beta_0)$ and independent cycles $(\\beta_1)$, and selects tests that maximize
expected topological simplification per unit cost. We evaluate TCM on standard Bayesian network DAGs from bnlearn Child, Insurance and 200 atom-level mechanistic graphs from mech-USPTO-31k. Across cycle-dominated, fragmentation-dominated, and mixed corruption regimes, TCM
achieves the highest structural efficiency in both benchmark families while preserving competitive edge-level
F1. On mechanistic graphs, TCM improves over CycleRank from 0.452 to 0.576 in fragmentation regimes
and from 0.715 to 0.830 in mixed regimes; on the Bayesian network DAGs, the corresponding gains are 1.062 to
1.471 and 1.406 to 2.049. These results show that local edge uncertainty is not always aligned with
graph-level disambiguation, and that lightweight topological utilities can support adaptive hypothesis testing
under structural dependence.
","absKo":"현대 ML system은 causal graph, mechanistic graph, interaction network, graph-based explanation을 포함한 불확실한 graph-valued structure를 점점 더 출력한다. 이러한 설정에서 reliability는 제한된 budget 하에서 어떤 dependent structural hypothesis를 다음에 시험할지를 결정하는 데 달려 있다. 우리는 이를 \\emph{adaptive structural hypothesis testing}으로 정식화한다. 여기서 candidate edge는 binary hypothesis이고, test는 noisy evidence를 생성하며, test value는 global graph-valued hypothesis state에 의해 달라진다. 우리는 Topological Complexity Minimization (TCM)을 도입하는데, 이는 connected component $(\\beta_0)$와 independent cycle $(\\beta_1)$를 사용해 probabilistic belief graph를 점수화하고, 단위 비용당 기대 topological simplification을 최대화하는 test를 선택하는 cost-aware adaptive testing policy이다. 우리는 bnlearn Child, Insurance의 표준 Bayesian network DAG와 mech-USPTO-31k의 200개 atom-level mechanistic graph에서 TCM을 평가한다. cycle-dominated, fragmentation-dominated, mixed corruption regime 전반에서 TCM은 경쟁력 있는 edge-level F1을 유지하면서 두 benchmark family 모두에서 가장 높은 structural efficiency를 달성한다. mechanistic graph에서는 fragmentation regime에서 CycleRank의 0.452에서 0.576으로, mixed regime에서 0.715에서 0.830으로 향상되며, Bayesian network DAG에서는 이에 상응하는 향상이 1.062에서 1.471로, 1.406에서 2.049로 나타난다. 이 결과는 local edge uncertainty가 항상 graph-level disambiguation과 정렬되는 것은 아니며, lightweight topological utility가 structural dependence 하에서 adaptive hypothesis testing을 지원할 수 있음을 보여준다.","link":"https://openreview.net/forum?id=r50FbLuMOs"},{"id":"L8NjngLFRV","en":"Membership Circuits: Tractable Membership Testing via Probabilistic Circuits","ko":"Membership Circuits: 확률 회로를 통한 tractable membership testing","authors":"Bennet Wittelsbach, Arseny Skryagin, Jonas Seng, Moritz Willig, Kristian Kersting","abs":"Statistical hypothesis testing is a cornerstone of scientific progress, yet rigorous methods for high-dimensional data remain scarce.
This gap severely limits reliable statistical inference in critical domains such as medicine and pharmaceutics. We address this limitation by introducing Membership Circuits (MCs), a model that leverages the structural properties of Probabilistic Circuits (PCs) to enable tractable, i.e., exact and efficient, computation of multivariate $p$-values, providing formal guarantees on the membership hypothesis. We present extensive evaluations of the test’s properties and investigate its effectiveness in out-of-distribution (OOD) detection.
Finally, we demonstrate that MCs are aware if the learned architecture fails to capture the original dataset.
","absKo":"통계적 가설 검정은 과학적 진보의 초석이지만, 고차원 데이터에 대한 엄밀한 방법은 여전히 드뭅니다. \n이러한 공백은 의학과 약학 같은 핵심 분야에서 신뢰할 수 있는 통계적 추론을 심각하게 제한합니다. 우리는 Probabilistic Circuits (PCs)의 구조적 성질을 활용해 다변량 $p$-value를 tractable하게, 즉 정확하고 효율적으로 계산할 수 있게 하는 모델인 Membership Circuits (MCs)를 도입함으로써 이러한 한계를 해결합니다. 이는 membership hypothesis에 대한 형식적 보장을 제공합니다. 우리는 검정의 성질을 폭넓게 평가하고, out-of-distribution (OOD) 탐지에서의 효과를 조사합니다. \n마지막으로, 학습된 아키텍처가 원래 데이터셋을 포착하지 못할 경우 MCs가 이를 인지한다는 점을 보입니다.","link":"https://openreview.net/forum?id=L8NjngLFRV"},{"id":"1MY39ELzdX","en":"Resolution Diagnostics for Paired LLM Evaluation","ko":"짝지어진 LLM 평가를 위한 해상도 진단","authors":"Anany Kotawala","abs":"Across two public LLM leaderboards, many displayed pairwise rankings do not meet a conventional paired-test resolution target under the actual paired evaluation design: 11 of 40 Open LLM Leaderboard v1 pairwise comparisons and 4 of 9 MMLU-Pro top-10 adjacent-rank pairs are unresolved at (α, 1−β) = (0.05, 0.8). The MMLU-Pro count rises to 6/9 under real subject-level clustering and stays at 5-6 out of 9 in 99.9% of category-bootstrap resamples. We frame paired LLM evaluation as a hypothesis-testing problem, invert level-α, power-(1−β) tests, and report a per-pair resolution ratio q = N/N* as the primary diagnostic. A sharp small-effect expansion with an explicit second-order constant shows that the widely-used unpaired Cohen-h-plus-(1−ρ) shortcut deviates from the correct N* by approximately a factor of two in the close-comparison regime, a deficit that three of five off-the-shelf calculators (Cohen 1988, G*Power, R pwr) silently inherit when the user post-multiplies their per-arm output by (1−ρ). The unresolved-pair pattern remains under multiplicity correction and anytime-valid sequential testing.
","absKo":"두 개의 공개 LLM leaderboard에서, 실제 paired evaluation design 하에서 conventional paired-test resolution target을 충족하지 못하는 pairwise ranking이 많이 관찰된다. Open LLM Leaderboard v1의 40개 pairwise comparison 중 11개와, MMLU-Pro top-10의 인접 순위 pair 9개 중 4개가 (α, 1−β) = (0.05, 0.8)에서 unresolved이다. MMLU-Pro의 경우, 실제 subject-level clustering을 반영하면 이 수치는 6/9로 증가하고, category-bootstrap resample의 99.9%에서 9개 중 5~6개로 유지된다. 우리는 paired LLM evaluation을 hypothesis-testing problem으로 정식화하고, level-α, power-(1−β) test를 역으로 계산하며, per-pair resolution ratio q = N/N*를 주요 진단 지표로 보고한다. 명시적인 second-order constant를 포함한 날카로운 small-effect expansion은 널리 쓰이는 unpaired Cohen h-plus-(1−ρ) shortcut이 close-comparison regime에서 올바른 N*와 대략 2배 차이를 보인다는 것을 보여준다. 이 결함은 사용자가 per-arm output에 (1−ρ)를 사후 곱할 때 Cohen 1988, G*Power, R pwr의 세 가지 상용 계산기가 조용히 그대로 계승하는 문제이기도 하다. unresolved-pair 패턴은 multiplicity correction과 anytime-valid sequential testing 하에서도 유지된다.","link":"https://openreview.net/forum?id=1MY39ELzdX"},{"id":"pKfoaVOJZR","en":"Closing the Abductive Gap: Cognitive Feature Matching to Evaluate Hypotheses in Medical Diagnosis","ko":"가설 평가를 위한 인지적 feature matching으로 좁히는 Abductive Gap","authors":"Varul Srivastava, Narayan G Hegde, Mizhaan Prajit Maniyar, Aravindan Raghuveer, Vaibhav Rajan","abs":"Diagnosis in realistic, open-ended clinical settings remains a challenge for Large Language Models (LLMs) as they struggle with abductive reasoning -- the process of synthesizing patient observations to formulate the most plausible explanatory hypothesis. In this paper, we show that current approaches such as Chain-of-Thought prompting and general-domain reasoning metrics fail to improve diagnostic accuracy, and identify limitations in their ability to generate, evaluate, and rank hypotheses. To address this gap, we introduce the Abductive Reasoning Quality Score (ARQS), grounded in the psychologically principled Tversky’s feature contrast model, to explicitly capture the cognitive structure of clinical judgement. We design strategies to employ ARQS across single- and multi-turn environments.
Experiments on benchmark datasets demonstrate that ARQS-based instructions outperform existing strategies for clinical abduction and process-reward models improving both accuracy and robustness of LLMs. ARQS also serves as a discriminative reward signal for Reinforcement Learning, improving accuracy by up to 26\\%. Finally, in multi-turn simulated clinical environments, our ARQS-based protocol achieves superior diagnostic accuracy while reduced cost-of-care by reducing unnecessary medical testing.
","absKo":"현실적인 open-ended clinical setting에서의 진단은 Large Language Model(LLM)에게 여전히 어려운 과제인데, 이는 LLM이 abductive reasoning, 즉 환자 관찰을 종합해 가장 개연성 높은 설명적 가설을 구성하는 과정에 어려움을 겪기 때문이다. 본 논문에서는 Chain-of-Thought prompting과 일반 도메인 reasoning metric 같은 기존 접근법이 진단 정확도를 개선하지 못함을 보이고, 가설 생성, 평가, 순위화 능력의 한계를 지적한다. 이 격차를 해결하기 위해, 우리는 심리학적으로 정당화된 Tversky의 feature contrast model에 기반한 Abductive Reasoning Quality Score (ARQS)를 도입하여 clinical judgement의 인지 구조를 명시적으로 포착한다. 또한 single-turn과 multi-turn 환경 모두에서 ARQS를 활용하는 전략을 설계한다.\nbenchmark dataset에서의 실험은 ARQS 기반 instruction이 clinical abduction을 위한 기존 전략과 process-reward model을 능가하며, LLM의 정확도와 robustness를 모두 향상시킴을 보여준다. ARQS는 또한 Reinforcement Learning을 위한 판별적 reward signal로 작동하여 정확도를 최대 26\\%까지 개선한다. 마지막으로, multi-turn simulated clinical environment에서 우리의 ARQS 기반 프로토콜은 불필요한 medical test를 줄여 cost-of-care를 낮추면서도 더 우수한 진단 정확도를 달성한다.","link":"https://openreview.net/forum?id=pKfoaVOJZR"},{"id":"KcqIBf7un6","en":"Deadline-Valid Replay: Anytime-Valid Testing for LLM Inference Policies","ko":"Deadline-Valid Replay: LLM 추론 정책을 위한 언제나 유효한 검정","authors":"Rui Gao","abs":"Large language model systems increasingly choose among inference policies rather than fixed models: they may answer greedily, sample multiple completions, branch when confidence is low, or abstain under uncertainty. Under latency deadlines, standard leaderboards do not distinguish a descriptive utility gap from a statistically certified policy advantage. We formulate deadline-constrained LLM policy evaluation as a paired sequential testing problem. Our protocol replays frozen real-model traces, assigns correct-before-deadline utility, and monitors policy comparisons using an anytime-valid mixture betting e-process. In a four-slice Qwen2.5 trace-bank study spanning GSM8K, BBH, ARC, and CoLA, descriptive leaders vary across tasks and deadlines. However, no configured comparison crosses the unadjusted $\\alpha=0.05$ e-value rejection threshold; the largest final e-value is 3.675, below the threshold of 20, and it is based on only three discordant prompts out of 120. In the full four-policy, four-slice, three-deadline grid, a one-sided family-wise Bonferroni-over-e-values rule would require threshold 1440, far above all observed e-values. These results show that deadline-sensitive leaderboard differences can be visible while remaining statistically uncertified, motivating calibrated sequential evidence as a discipline layer for LLM policy evaluation.
","absKo":"대규모 언어 모델 시스템은 점점 고정된 model이 아니라 inference policy 사이에서 선택한다. greedy하게 답할 수도 있고, 여러 completion을 sample할 수도 있으며, confidence가 낮을 때 branch를 만들 수도 있고, uncertainty 하에서 abstain할 수도 있다. latency deadline이 주어지면, 표준 leaderboard는 서술적 utility gap과 통계적으로 인증된 policy 우위를 구분하지 못한다. 우리는 deadline 제약이 있는 LLM policy evaluation을 paired sequential testing 문제로 정식화한다. 우리의 protocol은 고정된 real-model trace를 replay하고, deadline 이전에 정답을 맞힌 경우의 utility를 할당하며, anytime-valid mixture betting e-process를 사용해 policy 비교를 모니터링한다. GSM8K, BBH, ARC, CoLA를 포함하는 네 개 slice의 Qwen2.5 trace-bank 연구에서, 서술적 leader는 task와 deadline에 따라 달라진다. 그러나 어떤 구성된 비교도 보정되지 않은 $\\alpha=0.05$ e-value rejection threshold를 넘지 못했다. 가장 큰 최종 e-value는 3.675로 threshold 20보다 낮으며, 이는 120개 prompt 중 단 3개의 discordant prompt에 기반한다. 전체 four-policy, four-slice, three-deadline grid에서 one-sided family-wise Bonferroni-over-e-values rule은 threshold 1440을 요구하며, 이는 관측된 모든 e-value보다 훨씬 높다. 이 결과는 deadline-sensitive leaderboard 차이가 눈에 보이더라도 통계적으로는 인증되지 않을 수 있음을 보여주며, LLM policy evaluation을 위한 discipline layer로서 calibrated sequential evidence의 필요성을 시사한다.","link":"https://openreview.net/forum?id=KcqIBf7un6"},{"id":"tYc8h8j4DG","en":"The Illusion of Intent: Linear Probes as Sophisticated Keyword Counters in LLM Safety Detection","ko":"의도의 환상: LLM 안전 탐지에서 선형 프로브는 정교한 키워드 카운터에 불과하다","authors":"Ghanem AMARI, Valentin NOËL, Charly Ken Capo-Chichi","abs":"Linear probes trained on LLM hidden states are increasingly used for malicious intent detection in agentic systems, often achieving near-perfect cross-dataset performance and being interpreted as evidence of semantic intent encoding. We challenge this interpretation by showing that probe performance collapses when highly predictive lexical cues are removed. Across multiple LLM backbones, AUROC drops from 1.0 to below 0.10 after lexical ablation, revealing a strong reliance on surface-level artifacts rather than genuine semantic reasoning. We further introduce a controlled contrastive evaluation where benign and malicious prompts share vocabulary but differ in intent, exposing additional weaknesses in standard probing approaches. Motivated by these findings, we propose Contrastive Intent Probing (CIP), a paired training framework designed to reduce shortcut learning through contrastive supervision. In a preliminary pilot study, CIP substantially improves robustness on same-vocabulary adversarial pairs compared to standard probes. Our results suggest that current evaluations of LLM safety probes may overestimate semantic understanding and that future safety benchmarks should incorporate stricter lexical controls and contrastive evaluation protocols.
","absKo":"LLM hidden state에 대해 학습된 linear probe는 agentic system에서 malicious intent detection에 점점 더 많이 사용되고 있으며, 종종 거의 완벽한 cross-dataset 성능을 달성한 뒤 semantic intent encoding의 증거로 해석된다. 우리는 높은 예측력을 가진 lexical cue를 제거하면 probe 성능이 붕괴한다는 점을 보여주며 이 해석에 이의를 제기한다. 여러 LLM backbone 전반에서 lexical ablation 이후 AUROC는 1.0에서 0.10 미만으로 떨어지며, 이는 진정한 semantic reasoning보다 표면적 artifact에 강하게 의존하고 있음을 드러낸다. 또한 benign prompt와 malicious prompt가 vocabulary는 공유하지만 intent는 다른 controlled contrastive evaluation을 도입하여, 표준 probing 접근법의 추가적인 취약점을 드러낸다. 이러한 발견에 기반하여 우리는 Contrastive Intent Probing(CIP)을 제안한다. CIP는 contrastive supervision을 통해 shortcut learning을 줄이도록 설계된 paired training framework이다. 예비 pilot study에서 CIP는 동일 vocabulary adversarial pair에 대해 표준 probe보다 robust함을 크게 향상시켰다. 우리의 결과는 현재의 LLM safety probe 평가가 semantic understanding을 과대평가할 수 있으며, 향후 safety benchmark는 더 엄격한 lexical control과 contrastive evaluation protocol을 포함해야 함을 시사한다.","link":"https://openreview.net/forum?id=tYc8h8j4DG"},{"id":"AHgUvw3E6M","en":"Asymptotically Optimal Sequential Testing with Markovian Data","ko":"Markovian 데이터에 대한 점근적으로 최적의 순차 검정","authors":"Alhad Sethi, Kavali Sofia Sagar, Shubhada Agrawal, Debabrota Basu, P. N. Karthik","abs":"We study one-sided and $\\alpha$-correct sequential hypothesis testing for data generated by an ergodic Markov chain. The null hypothesis is that the unknown transition matrix belongs to a prescribed set $\\cal P$ of stochastic matrices, and the alternative corresponds to a disjoint set $\\cal Q$. We establish a tight non-asymptotic instance-dependent lower bound on the expected stopping time of any valid sequential test under the alternative. Our novel analysis improves the existing lower bounds, which are either asymptotic or provably sub-optimal in this setting. Our lower bound incorporates both the stationary distribution and the transition structure induced by the unknown Markov chain. We further propose an optimal test whose expected stopping time matches this lower bound asymptotically as $\\alpha \\to 0$. We illustrate the usefulness of our framework through applications to sequential detection of model misspecification in Markov Chain Monte Carlo and to testing structural properties, such as the linearity of transition dynamics, in Markov decision processes. Our findings yield a sharp and general characterization of optimal sequential testing procedures under Markovian dependence.
","absKo":"우리는 ergodic Markov chain에서 생성된 데이터에 대해 one-sided 및 $\\alpha$-correct sequential hypothesis testing을 연구한다. null hypothesis는 알려지지 않은 transition matrix가 확률행렬들의 주어진 집합 $\\cal P$에 속한다는 것이고, alternative는 서로소인 집합 $\\cal Q$에 대응한다. 우리는 alternative 하에서 유효한 임의의 sequential test에 대해 기대 stopping time의, instance-dependent한 비점근적 하한을 날카롭게 제시한다. 우리의 새로운 분석은 기존 하한들보다 더 강한 결과를 제공하는데, 기존 결과는 이 setting에서 점근적이거나 증명 가능하게 부분 최적이었다. 우리의 하한은 stationary distribution과 알려지지 않은 Markov chain이 유도하는 transition structure를 모두 반영한다. 또한 우리는 $\\alpha \\to 0$일 때 기대 stopping time이 이 하한과 점근적으로 일치하는 최적 test를 제안한다. 이 framework의 유용성은 Markov Chain Monte Carlo에서 model misspecification의 sequential detection과, Markov decision process에서 transition dynamics의 선형성과 같은 구조적 성질을 검정하는 응용을 통해 보인다. 우리의 결과는 Markovian dependence 하에서 최적 sequential testing procedure에 대한 날카롭고 일반적인 특성을 제공한다.","link":"https://openreview.net/forum?id=AHgUvw3E6M"},{"id":"h9SRf9tW6r","en":"Betting Across Kernels: Anytime-Valid Two-Sample Testing over Kernel Families","ko":"Kernel Family를 넘나드는 베팅: kernel family 전반에 대한 anytime-valid 두 표본 검정","authors":"Diya Sreedhar, Juliana Li","abs":"A sequential kernel two-sample test must commit to a kernel, yet the kernel that best separates two distributions is unknown until they are seen. We report a phenomenon that eliminates this dilemma: a test that spreads its bets across a family of kernels and lets the data reweight them online beats the post-hoc oracle - the single best fixed kernel chosen with full hindsight knowledge of the alternative - reaching its decision in 0.65x the oracle's stopping time on regime-uncertain streams. We call this the no-regret-kernel phenomenon: online aggregation dominates any fixed kernel choice, even the hindsight-optimal one. We explain it with an anytime-valid construction that composes Shekhar-Ramdas online betting within each RKHS with method-of-mixtures aggregation across kernels, achieving stopping time (log K + log(1/alpha) + C)/MMD^2_{k*}, and we prove the phenomenon is tight: a matching lower bound shows the log K price of not knowing the kernel is information-theoretically unavoidable for any anytime-valid test. The construction recovers single-kernel Shekhar-Ramdas at a point-mass prior, yields the first time-uniform confidence sequence on the best-in-family divergence MMD^2_{k*} = sup_lambda MMD^2_{k_lambda}, and lifts via a meta-theorem to independence, goodness-of-fit, and change-point testing. Experiments on LLM auditing (cross-provider drift in 18 samples), A/B testing, and a direct scaling study confirm the predicted (log K + log(1/alpha))/MMD^2_{k*} stopping-time law and exact Type-I control under continuous monitoring, where a naive peeking z-test inflates to 34% false positives.
","absKo":"순차적 kernel two-sample test는 반드시 하나의 kernel을 선택해야 하지만, 두 분포를 가장 잘 분리하는 kernel이 무엇인지는 두 분포를 보기 전까지는 알 수 없습니다. 우리는 이 딜레마를 없애는 현상을 보고합니다. 즉, kernel 가족 전체에 베팅을 분산하고 데이터가 이를 온라인으로 재가중하도록 하는 test가, 사후 oracle - 대안에 대한 완전한 hindsight knowledge를 바탕으로 선택한 단일 최적 고정 kernel - 을 능가하며, regime가 불확실한 stream에서 oracle의 stopping time의 0.65배 만에 결정을 내립니다. 우리는 이를 no-regret-kernel phenomenon이라고 부릅니다. 즉, 온라인 aggregation은 hindsight에서 최적이었던 kernel 선택조차 포함해 어떤 고정 kernel 선택보다도 우세합니다. 우리는 이를 각 RKHS 내부에서 Shekhar-Ramdas online betting을 구성하고 kernel 간에는 method-of-mixtures aggregation을 사용하는 anytime-valid construction으로 설명하며, stopping time $(\\log K + \\log(1/\\alpha) + C)/MMD^2_{k*}$ 를 달성합니다. 또한 이 현상이 tight함을 증명합니다. 일치하는 lower bound는 kernel을 모르는 데 따르는 $\\log K$ 비용이 어떤 anytime-valid test에 대해서도 information-theoretically unavoidable함을 보여줍니다. 이 construction은 point-mass prior에서 single-kernel Shekhar-Ramdas를 복원하고, family 내 최고 divergence $MMD^2_{k*} = \\sup_\\lambda MMD^2_{k_\\lambda}$ 에 대한 최초의 time-uniform confidence sequence를 산출하며, meta-theorem을 통해 independence, goodness-of-fit, change-point testing으로 확장됩니다. LLM auditing(18개 sample에서의 cross-provider drift), A/B testing, 그리고 직접적인 scaling study에 대한 실험은 예측된 $(\\log K + \\log(1/\\alpha))/MMD^2_{k*}$ stopping-time law와 continuous monitoring 하에서의 정확한 Type-I control을 확인하며, 반면 naive peeking z-test는 false positive를 34%까지 부풀립니다.","link":"https://openreview.net/forum?id=h9SRf9tW6r"},{"id":"WCCQQVubwH","en":"A Unified Framework for Statistical Testing of Invariance","ko":"불변성의 통계적 검정을 위한 통합 프레임워크","authors":"Ashkan Soleymani, Behrooz Tahmasebi, Patrick Jaillet, Stefanie Jegelka","abs":"While invariances naturally arise in almost any type of real-world data, no
efficient and robust test exists for detecting them in observational data under
arbitrarily given group actions. We tackle this problem by studying
discrepancy-based measures of invariance that can capture even subtle
distributional asymmetries. Our first contribution is to show that, while detecting worst-case asymmetries
can be \\emph{computationally intractable}, a randomized method can estimate
closeness measures to invariance within \\emph{universal constant factors}. This provides a general framework for statistical testing of
invariance under compact group actions. Despite the extensive and
well-established literature on group-based testing, our methodology, to the best
of our knowledge, is the \\emph{first} to provide statistical tests for general
group invariances with \\emph{finite-sample guarantees on Type II errors}
against worst-case alternatives. We instantiate the framework for common
probability discrepancies, including total variation, Wasserstein distances,
integral probability metrics, energy distance, and maximum mean discrepancy,
obtaining explicit sample-complexity guarantees from empirical convergence
rates.
","absKo":"불변성은 거의 모든 유형의 실제 데이터에서 자연스럽게 나타나지만, 임의로 주어진 group action 하에서 observational data에 존재하는 불변성을 탐지하기 위한 효율적이고 robust한 test는 존재하지 않는다. 우리는 미세한 distribution asymmetry까지 포착할 수 있는 discrepancy-based measure의 관점에서 이 문제를 다룬다. 우리의 첫 번째 기여는, 최악의 경우 asymmetry를 탐지하는 것이 \\emph{계산적으로 다루기 불가능}할 수 있는 반면, randomized method는 \\emph{보편 상수 배수} 이내에서 불변성에 대한 closeness measure를 추정할 수 있음을 보이는 것이다. 이는 compact group action 하에서의 불변성에 대한 statistical testing을 위한 일반적 프레임워크를 제공한다. group-based testing에 대한 방대하고 확립된 문헌에도 불구하고, 우리의 방법론은 우리가 아는 한 최악의 대안에 대해 \\emph{Type II error에 대한 finite-sample guarantee}를 제공하는 일반 group invariance에 대한 \\emph{최초}의 statistical test이다. 우리는 이 프레임워크를 total variation, Wasserstein distance, integral probability metric, energy distance, maximum mean discrepancy를 포함한 일반적인 probability discrepancy에 대해 구체화하며, empirical convergence rate로부터 명시적 sample-complexity guarantee를 얻는다.","link":"https://openreview.net/forum?id=WCCQQVubwH"},{"id":"8xrKbYPB2F","en":"Optimal Guarantees for Auditing Rényi Differentially Private Machine Learning","ko":"Rényi 차등 프라이버시를 적용한 머신러닝 감사에 대한 최적 보장","authors":"Benjamin D. Kim, Lav R. Varshney, Daniel Alabi","abs":"We study black-box auditing for machine learning algorithms that claim Rényi differential privacy (RDP) guarantees. We introduce an auditing framework, based on hypothesis testing, that directly estimates Rényi divergence between neighboring executions using the Donsker–Varadhan (DV) variational estimator. Our analysis yields explicit and non-asymptotic confidence intervals for RDP auditing via class-restricted DV estimators, separating statistical estimation error from algorithmic privacy leakage. We prove matching minimax lower bounds showing that, up to logarithmic factors, our sample-complexity guarantees are information-theoretically optimal, thereby establishing the first optimal guarantees for auditing RDP via DV estimators. Empirically, we instantiate our framework for auditing DP-SGD in a fully black-box setting. Across MNIST and CIFAR-10, and over a wide range of privacy regimes, our auditors produce a strong overall improvement on empirical RDP lower bounds compared to prior state-of-the-art black-box methods especially at small and moderate Rényi orders where accurate auditing is most challenging.
","absKo":"우리는 Rényi differential privacy(RDP) 보장을 주장하는 machine learning algorithm에 대한 black-box auditing을 연구합니다. 우리는 hypothesis testing에 기반한 auditing framework를 도입하며, 인접한 실행 간 Rényi divergence를 Donsker–Varadhan(DV) variational estimator로 직접 추정합니다. 우리의 분석은 class-restricted DV estimator를 통해 RDP auditing에 대한 명시적이고 비점근적인 confidence interval을 제공하며, statistical estimation error와 algorithmic privacy leakage를 분리합니다. 또한 일치하는 minimax lower bound를 증명하여, 로그 요인을 제외하면 우리의 sample-complexity 보장이 정보이론적으로 최적임을 보입니다. 이를 통해 DV estimator를 이용한 RDP auditing에 대해 최초의 최적 보장을 확립합니다. 실험적으로는 완전한 black-box setting에서 DP-SGD auditing에 이 framework를 적용합니다. MNIST와 CIFAR-10 전반, 그리고 넓은 범위의 privacy regime에서, 우리의 auditor는 특히 정확한 auditing이 가장 어려운 작은 및 중간 Rényi order에서 기존 state-of-the-art black-box 방법들에 비해 empirical RDP lower bound를 전반적으로 강하게 개선합니다.","link":"https://openreview.net/forum?id=8xrKbYPB2F"},{"id":"NbDuaxibla","en":"Why Inoculation Prompting Fails to Correct Sycophancy","ko":"inoculation prompting이 왜 sycophancy를 바로잡지 못하는가","authors":"Nok Man Chan","abs":"Sycophancy is the tendency of a language model to agree with a user even when the user is wrong. Inoculation prompting (IP) fine-tunes models on prompts that explicitly elicit an unwanted behavior, aiming to suppress that behavior when the eliciting instruction is absent at test time. Prior work judges whether IP lowers agreement with false claims when suppression is the core objective. That metric conflates two outcomes when success requires rejecting a false premise and supplying the correct answer. On a reconstructed greatest-common-divisor (GCD) benchmark that resists shortcuts, using a single 2B instruction-tuned model (google/gemma-2b-it), we use IP to separate the binary agreement metric from genuine correction. IP rarely produces genuine correction: reductions in measured sycophancy arise mainly through behavioral substitution: refusal, unusable answers, apparent disagreement that preserves the user’s wrong answer or reasoning, and unclear commitment. Across 16 IP prompts per placement, 2 placements, and 4 seeds, behavioral substitution appears in every condition where sycophantic agreement falls at least 10 percentage points below the non-inoculated baseline. Placing the IP prompt after the user message lowers sycophantic agreement by 20.9 percentage points on average and up to 55.3 points, while genuine correction stays below 0.6% in every condition. Base-model elicitation scores only weakly predict the downstream inoculation effects of specific IP prompts and provide useful signal primarily for IP prompt placement. For behaviors that require correction, evaluations should measure premise rejection, answer correction, final commitment, refusal, ambiguity, and preservation of the user’s error as separate outcomes.
","absKo":"Sycophancy는 language model이 사용자가 틀렸더라도 그에게 동의하려는 경향을 의미한다. Inoculation prompting (IP)는 바람직하지 않은 행동을 명시적으로 유도하는 prompt로 model을 fine-tuning하여, 테스트 시점에 그 유도 instruction이 없을 때 해당 행동을 억제하는 것을 목표로 한다. 기존 연구는 억제가 핵심 목표일 때 IP가 거짓 주장에 대한 동의를 얼마나 낮추는지 평가한다. 그러나 그 metric은 성공이 거짓 전제를 거부하고 올바른 답을 제시해야 하는 두 결과를 혼동한다. 우회가 통하지 않도록 구성한 greatest-common-divisor (GCD) benchmark에서, 단일 2B instruction-tuned model (google/gemma-2b-it)을 사용해 우리는 IP를 적용하여 이진 동의 metric과 진정한 교정을 분리한다. IP는 진정한 교정을 거의 만들어 내지 못한다. 측정된 sycophancy 감소는 주로 behavioral substitution, 즉 refusal, 사용할 수 없는 답변, 사용자에게 틀린 답이나 추론을 유지한 채 겉으로는 반대하는 것, 그리고 불분명한 commitment를 통해 나타난다. 배치당 16개의 IP prompt, 2개의 배치, 4개의 seed 전반에서, sycophantic agreement가 non-inoculated baseline보다 적어도 10 percentage point 낮아지는 모든 조건에서 behavioral substitution이 나타난다. IP prompt를 user message 뒤에 배치하면 sycophantic agreement는 평균 20.9 percentage point, 최대 55.3 point까지 낮아지지만, 진정한 교정은 모든 조건에서 0.6% 미만에 머문다. base model elicitation score는 특정 IP prompt의 downstream inoculation effect를 약하게만 예측하며, 주로 IP prompt 배치에 대해서만 유용한 신호를 제공한다. 교정이 필요한 행동에 대해서는 평가가 premise rejection, answer correction, final commitment, refusal, ambiguity, 그리고 사용자의 오류 보존을 서로 다른 결과로 측정해야 한다.","link":"https://openreview.net/forum?id=NbDuaxibla"},{"id":"ydSgbL5xvC","en":"Model Collapse Despite Ground-Truth Verification","ko":"정답 검증에도 불구하고 발생하는 Model Collapse","authors":"Shuo Li Liu","abs":"Exact verifier labels do not stop a sampled source from losing target support. A proof checker can accept every retained artifact under its declared manifest while leaving target modes that never reach the verifier untested. Lean answers one local question: did this artifact check in the declared environment? It checks the surviving artifacts; it cannot restore target support removed by generation or filtering. We formalize this support-loss form of collapse for proof-supervised LLMs. Lean acceptance is exact for a sampled formal artifact; it is not a claim that the artifact distribution equals the target population. A target-risk claim concerns tasks $x\\sim P$ in a different space $\\mathcal{X}$. We therefore separate artifact checks from target-task risk. A target-risk report must declare an adapter and audit it over target modes. Our first result shows the cost of missing support: if a target mode has positive mass but zero anchored source mass, two systems can have the same verifier statistics while their target risks differ by that mode's mass. The verifier has not failed; the denominator has changed. Our fixed-model bound charges residual mass, unsupported target mass, and, on supported modes, verified source loss, loss-class discrepancy, formalization error, and holdout uncertainty. For hypothesis testing, a verified aggregate becomes evidence about $P$ only after the report declares the tested population $P$, $H_0$, $H_1$, the test level $\\eta$, and the upper-bound statistic $T_{\\mathrm{audit}}$. The rejection rule is then explicit, for example $T_{\\mathrm{audit}}\\le\\epsilon$.
","absKo":"정확한 verifier label이 샘플된 source가 target support를 잃는 것을 막지는 못한다. proof checker는 선언된 manifest 아래에서 유지된 모든 artifact를 받아들일 수 있지만, verifier에 도달하지 못하는 target mode는 검증하지 않은 채로 남겨둘 수 있다. Lean answer는 하나의 국소적 질문, 즉 이 artifact가 선언된 환경에서 체크되었는가만 답한다. 그것은 살아남은 artifact를 검사할 뿐이며, generation이나 filtering으로 인해 제거된 target support를 복원할 수는 없다. 우리는 proof-supervised LLM에서 이러한 support-loss 형태의 collapse를 형식화한다. Lean acceptance는 샘플된 formal artifact에 대해서는 exact하지만, artifact distribution이 target population과 같다는 주장은 아니다. target-risk 주장은 다른 공간 $\\mathcal{X}$에서 $x\\sim P$인 task를 다룬다. 따라서 우리는 artifact check와 target-task risk를 분리한다. target-risk report는 adapter를 명시하고 이를 target mode 전반에 걸쳐 audit해야 한다. 우리의 첫 번째 결과는 support 누락의 비용을 보여준다. 어떤 target mode가 양의 mass를 가지지만 anchored source mass가 0이면, 두 시스템은 verifier statistic이 동일하더라도 target risk는 그 mode의 mass만큼 달라질 수 있다. 이 경우 verifier가 실패한 것이 아니라 denominator가 바뀐 것이다. 우리의 fixed-model bound는 residual mass, unsupported target mass, 그리고 supported mode에서는 verified source loss, loss-class discrepancy, formalization error, holdout uncertainty를 charge한다. 가설 검정의 경우, verified aggregate는 report가 test population $P$, $H_0$, $H_1$, test level $\\eta$, 그리고 upper-bound statistic $T_{\\mathrm{audit}}$를 명시한 뒤에야 $P$에 대한 증거가 된다. 그러면 rejection rule은 예를 들어 $T_{\\mathrm{audit}}\\le\\epsilon$처럼 명시적이다.","link":"https://openreview.net/forum?id=ydSgbL5xvC"},{"id":"93M8UGPOKZ","en":"Prediction-Powered Inference Across Many Tasks for AI Evaluation","ko":"AI 평가를 위한 다수 작업 전반의 Prediction-Powered Inference","authors":"Nicolas Emmenegger, Ellery Stahler, Chara Podimata","abs":"Many applications require statistically valid inference across many related tasks, while using only a handful of high-quality labels per hypothesis. In AI evaluation, these tasks may correspond to model behaviors across prompts, subgroups, or hypotheses; in social science surveys, they may correspond to related questions, populations, or measurement conditions. Prediction-powered inference (PPI) uses abundant but inexpensive proxy measurements to improve inference from limited, ``ground-truth'' labels, but commonly used methods treat tasks independently and therefore fail to exploit shared structure across related tasks. This limitation is especially important in settings where only a small number of labels are available per task. To address this issue, we introduce a multi-task prediction-powered inference framework that uses labeled data from related tasks to improve power while preserving task-specific inference. Our methods exploit the shared structure in the proxy-ground-truth relationship through cross-task recalibration, while retaining within-task rectification and power tuning to construct accurate point estimates and confidence intervals. We prove that efficiency gains beyond power-tuned PPI are only possible when the proxy-ground-truth relationship contains nonlinear structure; affine cross-task recalibrations are asymptotically equivalent to using the original proxy. We complement our theoretical findings with experiments on synthetic and semi-synthetic datasets, as well as a case study auditing language models on election-related information during the 2024 U.S. presidential election. Using a large human-annotation study, we show that cross-task recalibration can substantially reduce confidence interval widths when labels are scarce.
","absKo":"많은 응용에서는 각 hypothesis마다 고품질 label이 몇 개만 주어진 상태에서, 서로 관련된 많은 task 전반에 걸친 통계적으로 유효한 inference가 필요하다. AI evaluation에서 이러한 task는 prompt, subgroup, 또는 hypothesis에 따른 model behavior에 해당할 수 있고, 사회과학 survey에서는 관련된 질문, 집단, 또는 측정 조건에 해당할 수 있다. Prediction-powered inference (PPI)는 풍부하지만 비용이 적게 드는 proxy measurement를 활용해 제한된 'ground-truth' label로부터의 inference를 개선하지만, 일반적으로 사용되는 방법은 task를 독립적으로 취급하므로 관련 task들 사이의 공유 구조를 활용하지 못한다. 이 한계는 task당 label 수가 매우 적은 설정에서 특히 중요하다. 이 문제를 해결하기 위해, 우리는 task 간 labeled data를 활용해 power를 높이면서 task-specific inference를 보존하는 multi-task prediction-powered inference framework를 제안한다. 우리의 방법은 cross-task recalibration을 통해 proxy-ground-truth 관계의 공유 구조를 활용하면서, task 내부의 rectification과 power tuning을 유지하여 정확한 point estimate와 confidence interval을 구성한다. 우리는 power-tuned PPI를 넘어서는 효율성 향상은 proxy-ground-truth 관계에 nonlinear structure가 있을 때만 가능하다는 것을 증명한다. affine cross-task recalibration은 원래 proxy를 사용하는 것과 점근적으로 동등하다. 우리는 synthetic 및 semi-synthetic dataset 실험, 그리고 2024년 미국 대통령 선거 기간 동안 선거 관련 정보를 대상으로 language model을 감사(audit)하는 사례 연구로 이론적 결과를 보완한다. 대규모 human-annotation study를 통해, label이 희소할 때 cross-task recalibration이 confidence interval width를 상당히 줄일 수 있음을 보인다.","link":"https://openreview.net/forum?id=93M8UGPOKZ"},{"id":"DGu8j7MMV8","en":"Equivalence Testing of Parametric Models via the Effective Dimension","ko":"유효 차원을 통한 모수적 모델의 동등성 검정","authors":"Marc Kaufmann, Rishit Chatterjee, Alexandre Dang, Mirco Giacobbe, Pascal Berrang","abs":"A natural way to test whether two parameterized models behave equivalently is to query both on $n$ i.i.d. inputs and check whether their predictions agree.
What such a test certifies on the underlying input distribution is a statistical question, and classical answers via combinatorial complexity measures such as the VC dimension are loose for overparametrized families.
We derive a theoretical guarantee for equivalence testing of parameterized probabilistic models using the notion of the Fisher-information--based effective dimension $d_{\\mathrm{eff}}$ Abbas et al. (2021).
The bound certifies expected predictive total-variation disagreement of $O(\\varepsilon\\sqrt{\\ln n / n})$ on unseen data, where $\\varepsilon$ is a tunable parameter controlling the
tradeoff between the error bound and the confidence level.
We instantiate the result on binary logistic regression and derive sample-complexity bounds for testing model equivalence, describing the dichotomy between a parameter-close regime, where $d_{\\mathrm{eff}}$ governs the rate, and a parameter-distant regime, where it does not.
","absKo":"두 개의 parameterized model이 equivalently 동작하는지 테스트하는 자연스러운 방법은 둘 다에 대해 $n$개의 i.i.d. input을 질의하고 예측이 일치하는지 확인하는 것이다.\n이러한 테스트가 underlying input distribution에 대해 무엇을 certifies하는지는 통계적 질문이며, VC dimension 같은 combinatorial complexity measure를 통한 고전적 답은 overparametrized family에 대해 느슨하다.\n우리는 Abbas et al. (2021)의 Fisher-information 기반 effective dimension $d_{\\mathrm{eff}}$ 개념을 사용하여 parameterized probabilistic model의 equivalence testing에 대한 이론적 보장을 도출한다.\n이 bound는 unseen data에서 기대 predictive total-variation disagreement가 $O(\\varepsilon\\sqrt{\\ln n / n})$임을 보증하며, 여기서 $\\varepsilon$는 error bound와 confidence level 사이의 tradeoff를 조절하는 튜너블 parameter이다.\n우리는 이 결과를 binary logistic regression에 적용해 model equivalence testing을 위한 sample-complexity bound를 도출하고, parameter-close regime에서는 $d_{\\mathrm{eff}}$가 rate를 지배하지만 parameter-distant regime에서는 그렇지 않다는 이분법을 설명한다.","link":"https://openreview.net/forum?id=DGu8j7MMV8"},{"id":"8O8etVXvFu","en":"Detecting 4-Bit Adversaries at the Token Level","ko":"토큰 수준에서 4-bit adversary 탐지하기","authors":"Marc Kaufmann, Rishit Chatterjee, Alexandre Dang, Mirco Giacobbe, Pascal Berrang","abs":"Egashira et al. (2024) show that an attacker who controls the served weights of a language model can construct checkpoints that match a clean reference at full precision yet pivot to malicious behavior after quantization. We evaluate whether Token-DiFR (Karvonen & Rinberg, 2025), a per-token verification protocol designed for natural quantization noise, also detects these attacks given black-box query access to the served model and a trusted full-precision reference. Token-DiFR wrongly flags as adversarial even honest 4-bit deployments on the constrained-training pipeline of Egashira et al. (2024), across three base models (Qwen2.5-0.5B-Instruct, Phi-2, StarCoderBase-1B), two 4-bit bitsandbytes schemes (NF4, FP4), and three attack scenarios (over-refusal, content injection, vulnerable-code generation). We then pro-
pose precision-matched calibration, which pairs each served-precision evaluation with a served-precision baseline and isolates parameter drift from precision mismatch. With it, our test produces no false positives on clean served models while flagging every tested adversarial checkpoint.
","absKo":"Egashira et al. (2024)는 language model의 served weight를 제어할 수 있는 공격자가, full precision에서는 clean reference와 일치하지만 quantization 이후에는 malicious behavior로 전환되는 checkpoint를 구성할 수 있음을 보였다. 우리는 자연스러운 quantization noise를 위해 설계된 token별 verification protocol인 Token-DiFR (Karvonen & Rinberg, 2025)가, served model에 대한 black-box query access와 신뢰할 수 있는 full-precision reference가 주어졌을 때도 이러한 공격을 탐지하는지 평가한다. Token-DiFR는 Egashira et al. (2024)의 constrained-training pipeline에서, Qwen2.5-0.5B-Instruct, Phi-2, StarCoderBase-1B의 세 base model, 두 가지 4-bit bitsandbytes scheme (NF4, FP4), 그리고 세 가지 attack scenario(over-refusal, content injection, vulnerable-code generation) 전반에 걸쳐, 심지어 정직한 4-bit deployment까지도 adversarial로 잘못 판정한다. 이어서 우리는 precision-matched calibration을 제안한다. 이는 각 served-precision evaluation을 served-precision baseline과 짝지어, precision mismatch에서 비롯된 것이 아니라 parameter drift를 분리한다. 이를 적용하면, 우리의 test는 clean served model에서 false positive를 내지 않으면서, 테스트한 모든 adversarial checkpoint를 탐지한다.","link":"https://openreview.net/forum?id=8O8etVXvFu"},{"id":"Xti4I2TAY2","en":"Posterior-Driven Actor-Critic Framework for Active Hypothesis Testing","ko":"능동 가설 검정을 위한 posterior-driven actor-critic 프레임워크","authors":"Greg Fields, Tara Javidi","abs":"We propose a readily adaptable, general purpose
framework for learning active hypothesis testing policies across
a wide variety of problem settings. Our PostAC framework
trains a sequential, adaptive policy which tracks a Bayesian
posterior over hypotheses and, at each time-step, uses a deep
neural network to calculate the policy’s actions as a function
of this posterior. We first lay out an actor-critic algorithm
that efficiently trains these DNN policies and then apply our
algorithm to two problems: channel coding with feedback, where
we match the performance of an analytically derived stateof-
the-art coding scheme, and the problem of coherent state
discrimination for optical communication, where we show stateof-
the-art performance in the low power regime.
","absKo":"우리는 다양한 problem setting 전반에서 active hypothesis testing policy를 학습하기 위한, 쉽게 적응 가능한 범용 framework를 제안한다. 우리의 PostAC framework는 hypothesis에 대한 Bayesian posterior를 추적하는 sequential adaptive policy를 학습하며, 각 time-step에서 deep neural network를 사용해 이 posterior의 함수로 policy action을 계산한다. 먼저 이러한 DNN policy를 효율적으로 학습하는 actor-critic algorithm을 제시하고, 이를 두 가지 문제에 적용한다. 하나는 feedback이 있는 channel coding으로, 여기서는 해석적으로 유도된 state-of-the-art coding scheme의 성능과 일치하며, 다른 하나는 optical communication을 위한 coherent state discrimination 문제로, 여기서는 low power regime에서 state-of-the-art 성능을 보인다.","link":"https://openreview.net/forum?id=Xti4I2TAY2"},{"id":"RsUaMBKoLq","en":"Maximum Mean Discrepancy with Unequal Sample Sizes via Generalized U-Statistics","ko":"일반화된 U-통계를 이용한 서로 다른 표본 크기에서의 최대 평균 차이","authors":"Aaron Wei, Milad Jalali, Danica J. Sutherland","abs":"Existing two-sample testing techniques, particularly those based on choosing a kernel for the Maximum Mean Discrepancy (MMD), often assume equal sample sizes from the two distributions. Applying these methods in practice can require discarding valuable data, unnecessarily reducing test power. We address this long-standing limitation by extending the theory of generalized U-statistics and applying it to the usual MMD estimator, resulting in new characterization of the asymptotic distributions of the MMD estimator with unequal sample sizes (particularly outside the proportional regimes required by previous partial results). This generalization also provides a new criterion for optimizing the power of an MMD test with unequal sample sizes. Our approach preserves all available data, enhancing test accuracy and applicability in realistic settings. Along the way, we give much cleaner characterizations of the variance of MMD estimators, revealing something that might be surprising to those in the area: while zero MMD implies a degenerate estimator, it is sometimes possible to have a degenerate estimator with nonzero MMD as well. We give a construction of such a case, and a proof that it does not happen in common situations.
","absKo":"기존의 두 표본 검정 기법, 특히 Maximum Mean Discrepancy (MMD)를 위해 kernel을 선택하는 방식에 기반한 방법들은 흔히 두 분포에서 동일한 sample size를 가정한다. 이러한 방법을 실제에 적용하면 가치 있는 데이터를 버려야 할 수 있고, 그 결과 test power가 불필요하게 낮아진다. 우리는 generalized U-statistics의 이론을 확장하고 이를 일반적인 MMD estimator에 적용함으로써 이 오래된 한계를 해결한다. 그 결과, unequal sample sizes를 갖는 MMD estimator의 asymptotic distribution에 대한 새로운 characterization을 얻으며(특히 이전의 부분 결과들이 요구하던 proportional regime 밖에서), 이 일반화는 unequal sample sizes에서 MMD test의 power를 최적화하는 새로운 기준도 제공한다. 우리의 접근은 사용 가능한 모든 데이터를 보존하여, 현실적인 설정에서 test accuracy와 적용 가능성을 높인다. 이 과정에서 우리는 MMD estimator의 variance에 대해 훨씬 더 깔끔한 characterization을 제시하고, 이 분야의 연구자라면 다소 놀라울 수 있는 사실을 드러낸다. 즉, zero MMD는 degenerate estimator를 뜻하지만, nonzero MMD에서도 때로는 degenerate estimator가 가능하다. 우리는 이러한 경우의 construction을 제시하고, 일반적인 상황에서는 이런 일이 일어나지 않음을 증명한다.","link":"https://openreview.net/forum?id=RsUaMBKoLq"},{"id":"VAx4OqRSmF","en":"Trust from afar: Evaluating remote model instances","ko":"먼 거리의 신뢰: 원격 model instance 평가","authors":"Rishit Chatterjee, Alexandre Dang, Marc Kaufmann, Mirco Giacobbe, Pascal Berrang","abs":"Audits, model reporting, and safety evaluations of frontier models assume that the model a provider claims to serve is the model that answers user queries, but API access alone gives no way to verify this.
We treat the challenge-response protocol as a practical hypothesis test for this problem and ask, on a GPT-2 benchmark, how many queries are needed to detect fine-tuned, compressed, adaptive, and backdoored variants of a trusted reference model.
Detectability is governed primarily by the challenge distribution rather than by the modification: a switching responder that defeats repeated-token challenges is exposed in a single mixed challenge, and a backdoor that passes every ordinary distribution is exposed at a single query by trigger-aware probes.
Because no statistical test can rule out audit-time model switching on its own, we further propose a zkML-assisted variant in which a zero-knowledge proof binds each response to a committed model.
","absKo":"Frontier model에 대한 audit, model reporting, 그리고 safety evaluation은 provider가 주장하는 모델이 실제로 user query에 응답하는 모델이라는 가정에 의존하지만, API access만으로는 이를 검증할 방법이 없다.\n우리는 이 문제에 대해 challenge-response protocol을 실용적인 hypothesis test로 다루고, GPT-2 benchmark에서 trusted reference model의 fine-tuned, compressed, adaptive, 그리고 backdoored variant를 탐지하는 데 몇 개의 query가 필요한지 묻는다.\n탐지 가능성은 modification 자체보다 challenge distribution에 의해 주로 결정된다. 반복된 token challenge를 무력화하는 switching responder는 단 하나의 mixed challenge에서 드러나고, 일반적인 distribution을 모두 통과하는 backdoor는 trigger-aware probe 한 번으로 드러난다.\n어떤 statistical test도 audit-time model switching을 단독으로 배제할 수 없기 때문에, 우리는 각 response를 committed model에 결속시키는 zero-knowledge proof를 사용하는 zkML-assisted variant도 추가로 제안한다.","link":"https://openreview.net/forum?id=VAx4OqRSmF"},{"id":"JI9Ll59uCv","en":"Testing Structured Dependence in Decodable Brain-State Representations: Higher-Order Information and Temporal Topology in fMRI","ko":"해독 가능한 brain-state 표현에서 구조화 의존성 검정: fMRI의 고차 정보와 시간 토폴로지","authors":"Valeriia Kirova, Aleksandr Levin, Ivan Butakov, Alexander Semenenko, Alexey Frolov","abs":"Decoding models can identify brain regions predictive of cognitive states, but
they do not directly test how the information carried by these regions is
organized. We formulate post-decoding analysis of task-fMRI representations as
a set of structured hypothesis-testing problems. Building on an interpretable
decoding pipeline, we test whether brain regions identified as important for
classifying cognitive states differ from less classifier-relevant regions, and
characterize how their information is organized using tools from information
theory and topology. We find that classifier-selected regions exhibit higher pairwise mutual
information than matched low-weight controls, with a significant shift in the
empirical distributions under a two-sample Kolmogorov--Smirnov test. Compact
and distributed brain-state regimes also show distinct O-information profiles:
compact states have near-zero O-information, whereas distributed states exhibit
redundancy-dominated higher-order structure. Surrogate analyses further suggest
that delay-coordinate topology is not explained by marginal signal values alone,
but is constrained by the temporal ordering of the fMRI signals.
","absKo":"Decoding models는 cognitive state를 예측하는 brain region을 식별할 수 있지만,\n그 region이 담고 있는 information이 어떻게 조직되어 있는지는 직접적으로 검증하지 않는다. 우리는 task-fMRI representations에 대한 post-decoding analysis를 구조화된 hypothesis-testing problem의 집합으로 정식화한다. 해석 가능한 decoding pipeline을 바탕으로, cognitive state 분류에 중요하다고 식별된 brain region이 classifier와 덜 관련된 region과 다른지 검정하고, information theory와 topology의 도구를 사용해 그 information이 어떻게 조직되는지 특성화한다. 우리는 classifier가 선택한 region이 matched low-weight control보다 더 높은 pairwise mutual information을 보이며, two-sample Kolmogorov--Smirnov test에서 empirical distribution의 유의한 변화를 보인다는 것을 발견한다. compact 및 distributed brain-state regime도 서로 다른 O-information profile을 보이는데, compact state는 거의 zero에 가까운 O-information을 가지는 반면 distributed state는 redundancy가 우세한 higher-order structure를 보인다. 추가적인 surrogate analysis는 delay-coordinate topology가 단순히 marginal signal value만으로는 설명되지 않으며, fMRI signal의 temporal ordering에 의해 제약된다는 점을 시사한다.","link":"https://openreview.net/forum?id=JI9Ll59uCv"},{"id":"5DrRrtVTDE","en":"Detecting Hidden Chain-of-Thought in Large Language Models With Linguistic, Behavioral, and Mechanistic Indicators","ko":"언어적, 행동적, 기계적 지표로 Large Language Model의 숨은 Chain-of-Thought 검출","authors":"Armaan Singh, Ryan Trinh Le, Jasmine Kaur, Edward Lue Chee Lip, Kiran Nijjer, Adnan Ahmed, Vasu Sharma","abs":"Large language models often answer complex reasoning questions correctly without revealing intermediate steps, raising the question of whether they perform latent reasoning or pattern completion. Existing detection methods rely on surface-level linguistic cues that prior work has shown can be unfaithful. We propose the Hidden CoT Detection Score (HCDS), a comparative behavioral and mechanistic signal that quantifies whether a model's neutral-prompt behavior aligns more closely with its explicit-CoT or with its explicit no-CoT behavior. On Qwen3-4B Instruct, HCDS is robustly positive on both GSM8K and StrategyQA ($+1.87$ to $+2.38$, $p < 10^{-9}$) --- our cleanest hidden-CoT detection result. On Qwen3-4B Thinking, HCDS is also positive ($+0.33$ to $+0.60$, $p < 0.05$) but the result is better read as evidence of prompt-invariance of reasoning traces: under explicit no-CoT directives, Thinking emits a mean of ${\\sim}575$ reasoning tokens vs Instruct's ${\\sim}24$, so the no-CoT pole is not a clean answer-only baseline for that model. Anchor-suppression analysis further shows that the Thinking model distributes its causal load across many reasoning steps, suggesting that hidden chain-of-thought in reasoning-tuned models is more deeply integrated, more prompt-invariant, and more diffuse than in instruction-tuned ones.
","absKo":"대규모 language model은 종종 중간 단계의 추론 과정을 드러내지 않고도 복잡한 reasoning 질문에 올바르게 답하지만, 이것이 latent reasoning 때문인지 아니면 pattern completion 때문인지에 대한 의문이 남아 있다. 기존의 탐지 방법은 표면적인 언어적 단서에 의존하는데, 선행 연구는 이러한 단서가 실제와 어긋날 수 있음을 보여주었다. 우리는 Hidden CoT Detection Score(HCDS)를 제안하는데, 이는 model의 neutral-prompt behavior가 explicit-CoT behavior와 explicit no-CoT behavior 중 어느 쪽에 더 가깝게 정렬되는지를 정량화하는 비교 행동 및 기계론적 신호이다. Qwen3-4B Instruct에서는 HCDS가 GSM8K와 StrategyQA 둘 다에서 강하게 양수($+1.87$ to $+2.38$, $p < 10^{-9}$)를 보여, 우리가 얻은 가장 명확한 hidden-CoT 탐지 결과를 제공한다. Qwen3-4B Thinking에서도 HCDS는 양수($+0.33$ to $+0.60$, $p < 0.05$)이지만, 이 결과는 reasoning trace의 prompt-invariance에 대한 증거로 해석하는 편이 더 적절하다. explicit no-CoT 지시 하에서 Thinking은 평균 ${\\sim}575$개의 reasoning token을 출력하는 반면 Instruct는 ${\\sim}24$개에 불과하므로, 이 model에서는 no-CoT 쪽이 순수한 answer-only baseline이 아니다. anchor-suppression analysis는 또한 Thinking model이 많은 reasoning step에 causal load를 분산시킨다는 점을 보여주며, reasoning-tuned model에서의 hidden chain-of-thought가 instruction-tuned model보다 더 깊게 통합되어 있고, 더 prompt-invariant하며, 더 분산되어 있음을 시사한다.","link":"https://openreview.net/forum?id=5DrRrtVTDE"},{"id":"hl6uK5POee","en":"CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes","ko":"CELEUS: E-Processes를 통한 인증 가능하고 효율적인 LLM 평가","authors":"Zhijian Zhou, Zesheng Ye, Zhaorun Chen, Bo Li, Feng Liu","abs":"Can we trust evaluation scores to capture an LLM's true real-world performance?
*Certifiable* evaluation answers this question by providing guarantee for LLM evaluation.
In particular, existing methods sequentially curate evaluation samples and keep updating confidence intervals (CIs) that cover the true performance with high probability (e.g., 95%) until some conditions are satisfied, e.g., the CI width reaches a target precision.
However, existing methods are not generally anytime-valid: the claimed coverage (e.g., 95%) may fail when CIs are repeatedly updated and used to decide when to stop, leaving a *gap* between theoretical rigor and practice. This paper bridges this gap by proposing **Celeus**, a **C**ertifiable framework for **E**fficient **L**LM evaluation, which leverages ***E***-processes to build anytime-valid CIs.
Concretely, we propose signals that combine two ingredients: (i) **U**ncertainty-guided sampling to select informative samples for evaluation, and (ii) **S**urrogate-assisted approximations for unevaluated samples.
We prove that such signals remain unbiased for the evaluation score conditional on the past, enabling statistically-grounded and anytime-valid $e$-process CIs.
More importantly, the two ingredients reduce estimation variance and help reach the target precision with fewer evaluated samples. We also prove that CIs obtained by **Celeus** can shrink at a near-parametric rate up to logarithmic factors and analyze the oracle variance-optimal sampling rule that motivates the empirical uncertainty-guided one. Experiments show that **Celeus** reaches the target precision using 54-62% fewer evaluated samples than baselines, while preserving anytime-valid coverage.
","absKo":"evaluation score가 LLM의 실제 real-world performance를 정확히 포착한다고 신뢰할 수 있을까? \n*Certifiable* evaluation은 LLM evaluation에 대한 보장을 제공함으로써 이 질문에 답한다.\n특히 기존 방법은 evaluation sample을 순차적으로 선별하고, 어떤 조건이 충족될 때까지 true performance를 높은 확률(예: 95%)로 포함하는 confidence interval(CI)을 계속 갱신한다. 예를 들어 CI width가 목표 precision에 도달할 때까지이다. \n그러나 기존 방법은 일반적으로 anytime-valid하지 않다. 주장된 coverage(예: 95%)는 CI를 반복적으로 갱신하고 중단 시점을 결정하는 데 사용될 때 깨질 수 있으며, 이로 인해 이론적 엄밀성과 실무 사이에 *gap*이 남는다. 본 논문은 **C**ertifiable하고 **E**fficient한 **L**LM evaluation을 위한 **Celeus**를 제안함으로써 이 간극을 메운다. Celeus는 ***E***-process를 활용해 anytime-valid CI를 구성한다. \n구체적으로, 우리는 두 가지 요소를 결합한 signal을 제안한다. (i) evaluation에 유익한 sample을 선택하기 위한 **U**ncertainty-guided sampling, (ii) 평가되지 않은 sample에 대한 **S**urrogate-assisted approximation이다.\n우리는 이러한 signal이 past에 조건부로 evaluation score에 대해 unbiased함을 증명하며, 이를 통해 통계적으로 타당하고 anytime-valid한 $e$-process CI를 가능하게 한다. \n더 중요한 점은, 이 두 요소가 estimation variance를 줄이고 더 적은 evaluated sample로 target precision에 도달하도록 돕는다는 것이다. 또한 **Celeus**가 얻는 CI가 로그 인자를 제외하면 near-parametric rate로 수축할 수 있음을 증명하고, 경험적 uncertainty-guided sampling을 동기 부여하는 oracle variance-optimal sampling rule을 분석한다. 실험 결과 **Celeus**는 anytime-valid coverage를 유지하면서 baseline보다 54-62% 더 적은 evaluated sample로 target precision에 도달한다.","link":"https://openreview.net/forum?id=hl6uK5POee"},{"id":"UqC9fYtLGY","en":"Auditing LLM Jailbreak Detectors as Hypothesis Tests: Permutation P-values and Type-I Error Control via Paraphrase Exchangeability","ko":"가설 검정으로서의 LLM jailbreak detector 감사: permutation p-value와 paraphrase exchangeability를 통한 type-I error 제어","authors":"Vishal Narender Punjabi","abs":"LLM jailbreak detectors gate millions of production queries per day, yet none expose thresholds with finite-sample Type-I guarantees: operationally they are deployed as hypothesis tests; statistically they are not. We frame jailbreak detection as a permutation test under benign-paraphrase exchangeability, a natural symmetry that suffices for finite-sample-exact Type-I control on any black-box classifier. Auditing five production classifiers across five vendors (Granite Guardian, WildGuard, OpenAI Moderation, ShieldGemma, Llama Guard 4) on $150$ benign anchors from XSTest and OR-Bench-Hard, we find default thresholds reject benign paraphrases at $5$--$92\\%$, with paraphrase-rank p-values sharply non-uniform on the grid (KS distance $0.13$--$0.28$, all bootstrap $95\\%$ CIs strictly above $0$). We then propose *Paraphrase-Conformal Calibration* (PCC), a per-prompt threshold giving exact finite-sample Type-I control for any black-box classifier under exchangeability, together with a deployment-friendly split-conformal variant. PCC reduces empirical FPR on benign content to $11$--$23\\%$ across classifiers and sources (up to $7.7\\times$ reduction), and on JailbreakBench calibrated detection drops from $36$--$100\\%$ to $10$--$42\\%$. Four of five classifiers collapse to $10$--$14\\%$ near the structural floor while Llama Guard 4 retains $42\\%$ — a Llama-family pattern matched by Llama Guard 3 and NemoGuard — so PCC also serves as a *diagnostic* separating classifiers that have learned paraphrase-invariance from those that have not.
","absKo":"LLM jailbreak detectors는 하루 수백만 건의 production query를 차단하지만, finite-sample Type-I 보장을 갖춘 threshold를 노출하는 시스템은 없다. 운영 관점에서는 가설 검정으로 배포되지만, 통계적으로는 그렇지 않다. 우리는 jailbreak detection을 benign paraphrase exchangeability 하의 permutation test로 정식화한다. 이는 어떤 black-box classifier에도 finite-sample-exact Type-I control을 보장하는 자연스러운 대칭성이다. XSTest와 OR-Bench-Hard에서 가져온 $150$개의 benign anchor에 대해 Granite Guardian, WildGuard, OpenAI Moderation, ShieldGemma, Llama Guard 4 등 5개 vendor의 production classifier를 감사한 결과, default threshold는 benign paraphrase를 $5$--$92\\%$에서 reject했으며, paraphrase-rank p-value는 grid 상에서 강하게 비균등했다(KS distance $0.13$--$0.28$, 모든 bootstrap $95\\%$ CI가 엄격하게 $0$보다 큼). 이후 우리는 *Paraphrase-Conformal Calibration* (PCC)을 제안한다. 이는 exchangeability 하에서 어떤 black-box classifier에도 정확한 finite-sample Type-I control을 제공하는 per-prompt threshold이며, 배포에 적합한 split-conformal variant도 함께 제공한다. PCC는 classifier와 source 전반에서 benign content의 empirical FPR을 $11$--$23\\%$로 낮추었고(최대 $7.7\\times$ 감소), JailbreakBench에서는 calibrated detection이 $36$--$100\\%$에서 $10$--$42\\%$로 떨어졌다. 5개 classifier 중 4개는 structural floor 근처인 $10$--$14\\%$로 수렴한 반면 Llama Guard 4는 $42\\%$를 유지했는데, 이는 Llama Guard 3와 NemoGuard에서도 보이는 Llama-family 패턴이다. 따라서 PCC는 paraphrase-invariance를 학습한 classifier와 그렇지 못한 classifier를 구분하는 *diagnostic* 역할도 한다.","link":"https://openreview.net/forum?id=UqC9fYtLGY"},{"id":"29ytzQcrXA","en":"$\\lambda$-PSD: Scalable Approximate SNR-Optimised Polynomial Stein Discrepancies","ko":"$\\lambda$-PSD: 확장 가능한 근사 SNR 최적화 polynomial Stein discrepancy","authors":"Minh Long Nguyen, Thanh Long Vu, Christopher Drovandi, Leah F South, Trung Tin Nguyen","abs":"Polynomial Stein discrepancies (PSD) provide a scalable alternative to kernel Stein methods for measuring sample quality and goodness-of-fit testing, but their statistical properties remain poorly understood. We show that increasing polynomial degree primarily amplifies signal without adequately controlling variance, rather than directly optimising the signal-to-noise ratio (SNR). Under suitable assumptions, this might lead to a failure mode in which the $\\text{SNR}^2$ can provably decay exponentially with polynomial degree. Motivated by this observation, we reformulate Stein discrepancy construction as an explicit $\\text{SNR}^2$ maximisation problem, yielding a Rayleigh quotient over Stein features. This perspective motivates $\\lambda$-PSD, an approximate scalable covariance-aware reweighting scheme defined in a low-dimensional subspace. Under Gaussian settings, we show that $\\lambda$-PSD avoids the exponential $\\text{SNR}^2$ collapse and achieves a stable $\\text{SNR}^2$. Empirically, $\\lambda$-PSD substantially improves test power while retaining linear-time complexity in the number of samples, highlighting the importance of SNR-aware design for scalable Stein discrepancies.
","absKo":"Polynomial Stein discrepancy(PSD)는 sample quality 측정과 goodness-of-fit testing을 위한 scalable한 대안이지만, 그 통계적 성질은 아직 잘 이해되지 않았다. 우리는 polynomial degree를 높이는 것이 signal-to-noise ratio(SNR)를 직접 최적화하기보다는 주로 signal을 증폭할 뿐이며 variance를 충분히 제어하지는 못한다는 점을 보인다. 적절한 가정하에서, 이는 $\\text{SNR}^2$가 polynomial degree에 따라 지수적으로 감소할 수 있음을 증명할 수 있는 실패 모드로 이어질 수 있다. 이 관찰에 동기를 얻어, 우리는 Stein discrepancy 구성을 명시적인 $\\text{SNR}^2$ 최대화 문제로 재정식화하여, Stein feature 위의 Rayleigh quotient를 도출한다. 이러한 관점은 저차원 subspace에서 정의된 approximate scalable covariance-aware reweighting scheme인 $\\lambda$-PSD를 이끈다. Gaussian setting에서 우리는 $\\lambda$-PSD가 지수적인 $\\text{SNR}^2$ 붕괴를 피하고 안정적인 $\\text{SNR}^2$를 달성함을 보인다. 실험적으로 $\\lambda$-PSD는 sample 수에 대해 linear-time complexity를 유지하면서 test power를 크게 향상시켜, scalable Stein discrepancy를 설계할 때 SNR-aware design의 중요성을 강조한다.","link":"https://openreview.net/forum?id=29ytzQcrXA"},{"id":"52rL37EZv7","en":"Anytime-Valid Confirmation of Label-Shift Corrections","ko":"Label Shift 보정의 언제나 유효한 확인","authors":"Seungjin Choi","abs":"In small-batch scientific deployments, labeled target outcomes may be
too scarce for reliable shift estimation even when unlabeled target
inputs are available. We address the complementary setting where
the practitioner has a pre-specified label-shift correction from domain
knowledge and asks whether incoming labeled outcomes support it.
We show that the per-observation likelihood ratio between a
label-shift-corrected predictive and the source predictive is a
conditional e-value, so its running product is a nonnegative martingale
and Ville's inequality yields an anytime-valid confirmation rule.
The log martingale equals the cumulative negative log-predictive density (NLPD) gap
between the source and the corrected predictive, converting routine model monitoring into a formal sequential test.
Rejection means the incoming data support the posited correction relative to the source predictive,
but it is not a precise estimate of the degree of shift.
Closed forms are available for GP sources with Gaussian label-shift ratios.
GP regression simulations validate Type I control, finite-sample power,
miscalibration sensitivity, and the small-batch advantage of a reliable
prior over label-based re-estimation.
","absKo":"작은 batch의 scientific deployment에서는 unlabeled target input이 가능하더라도, labeled target outcome이 너무 희소하여 신뢰할 만한 shift estimation을 하기 어려울 수 있다. 우리는 실무자가 domain knowledge에 기반한 pre-specified label-shift correction을 가지고 있으면서 incoming labeled outcome이 그것을 지지하는지 묻는 상보적 상황을 다룬다. 우리는 label-shift-corrected predictive와 source predictive 사이의 관측당 likelihood ratio가 conditional e-value임을 보이고, 그 running product가 nonnegative martingale이며 Ville's inequality가 anytime-valid confirmation rule을 제공함을 보인다. log martingale은 source predictive와 corrected predictive 사이의 누적 negative log-predictive density(NLPD) gap과 같아, 일상적인 model monitoring을 formal sequential test로 바꾼다. rejection은 incoming data가 source predictive에 비해 가정된 correction을 지지함을 뜻하지만, shift의 정도를 정확히 추정하는 것은 아니다. Gaussian label-shift ratio를 갖는 GP source에 대해서는 closed form이 가능하다. GP regression simulation은 Type I control, finite-sample power, miscalibration sensitivity, 그리고 label-based re-estimation보다 신뢰할 수 있는 prior의 small-batch 이점을 검증한다.","link":"https://openreview.net/forum?id=52rL37EZv7"},{"id":"QavwCxZDqc","en":"Evaluating the Predictive Added Value of Dynamics-Aware Spatial Partitions Under Tactical Distribution Shift","ko":"전술적 분포 이동 하에서 동역학 인식 공간 분할의 예측 추가 가치 평가","authors":"Andre N. Costa, Vitor Conrado Faria Gomes, Petter Ogren","abs":"Classical Voronoi Diagrams (VD) provide interpretable spatial partitions for multi-agent systems, but Euclidean proximity is often an incomplete proxy for influence in aerospace engagements, where velocity, mass, and control effort affect spatial dominance. We evaluate whether Linear Quadratic Regulator (LQR)-derived Cost-Induced Voronoi (CIV) summaries provide target-relevant information beyond classical VD geometry and tactical scenario descriptors in high-fidelity air combat simulations. Formulating this as a fold-safe conditional added-value test, CIV features are residualized against the VD and scenario baseline within each training fold, and their explanatory contribution is evaluated using paired out-of-fold probabilistic losses over execution-level pre-hit summaries. The resulting added-value signal persists under scenario-cell clustered inference, negative controls, early flight-state controls, and leave-one-factor-out validation. Within the evaluated scenario family, CIV provides consistent pre-hit explanatory added value for binary target-damage occurrence, supporting its utility as a dynamics-aware representation of the active engagement phase.
","absKo":"Classical Voronoi Diagram(VD)은 multi-agent system을 위한 해석 가능한 spatial partition을 제공하지만, aerospace engagement에서는 velocity, mass, control effort가 spatial dominance에 영향을 주므로 Euclidean proximity는 영향력의 불완전한 대리 변수인 경우가 많다. 우리는 Linear Quadratic Regulator(LQR)에서 유도한 Cost-Induced Voronoi(CIV) 요약이 고충실도 air combat simulation에서 classical VD geometry 및 tactical scenario descriptor를 넘어 target 관련 정보를 제공하는지 평가한다. 이를 fold-safe conditional added-value test로 정식화하여, 각 training fold 내에서 CIV feature를 VD와 scenario baseline에 대해 residualize하고, execution-level pre-hit summary에 대한 paired out-of-fold probabilistic loss를 사용해 설명 기여를 평가한다. 이렇게 얻어진 added-value 신호는 scenario-cell clustered inference, negative control, early flight-state control, leave-one-factor-out validation 하에서도 지속된다. 평가된 scenario family 내에서 CIV는 binary target-damage occurrence에 대해 일관된 pre-hit explanatory added value를 제공하며, 이는 active engagement phase의 dynamics-aware representation으로서의 유용성을 뒷받침한다.","link":"https://openreview.net/forum?id=QavwCxZDqc"},{"id":"lNgPP6CUj2","en":"Online Safety Monitoring for LLMs","ko":"LLM을 위한 온라인 안전 모니터링","authors":"Mona Schirmer, Metod Jazbec, Alexander Timans, Christian A. Naesseth, Maja Waldron, Eric Nalisnick","abs":"Despite alignment training, LLMs remain prone to generating unsafe outputs at deployment time. Monitoring outputs online and raising an alarm when safety can no longer be assumed is therefore critical. We study a simple real-time monitor that turns a verifier signal from an external model into an alarm decision by thresholding, with the threshold calibrated via risk control. In experiments on mathematical reasoning and red teaming datasets, we show that this simple design is competitive with more advanced monitors based on sequential hypothesis testing.
","absKo":"alignment training에도 불구하고, LLM은 배포 시점에 unsafe output을 생성하는 경향이 여전히 크다. 따라서 출력이 온라인에서 모니터링되고 safety를 더 이상 가정할 수 없을 때 경보를 올리는 일은 매우 중요하다. 우리는 외부 model의 verifier signal을 thresholding으로 alarm decision으로 바꾸는 단순한 real-time monitor를 연구하며, threshold는 risk control을 통해 보정한다. mathematical reasoning과 red teaming dataset에서 수행한 실험은, 이 단순한 설계가 sequential hypothesis testing에 기반한 더 고급 monitor들과 경쟁력 있음을 보여 준다.","link":"https://openreview.net/forum?id=lNgPP6CUj2"},{"id":"46CZYcxP0B","en":"Sequential Conditional Independence Testing with Machine Learning Models","ko":"Machine Learning Models를 이용한 순차적 조건부 독립성 검정","authors":"Angel David REYERO LOBO, Michele Meziu, Sebastian Uriel Arias, Peter Grünwald","abs":"Conditional Independence Testing is a ubiquitous problem in scientific discovery. The widely employed Model-X assumption shifts the modelling burden from the dependency of the output given the inputs, to the dependencies within inputs. Log-optimal e-variables have been studied in this setting, but it remains unclear how to optimally include machine learning models in these tests.
In this work, we exploit the performance drop of a model when a given feature is removed to construct a coin-betting e-value for bounded losses and an exponential e-value that mimics density-based approaches.
Surprisingly, in a misspecified setting, we show theoretically and experimentally that neither e-value uniformly outperforms the other. Finally, we provide actionable algorithms, including an antisymmetric kernel density estimation of the loss distribution.
","absKo":"조건부 독립성 검정은 과학적 발견에서 보편적으로 등장하는 문제이다. 널리 사용되는 Model-X 가정은 모델링의 부담을 출력이 입력에 주어졌을 때의 의존성에서 입력들 내부의 의존성으로 옮긴다. 이 설정에서 log-optimal e-variables가 연구되어 왔지만, 머신러닝 모델을 이러한 검정에 어떻게 최적으로 포함할지는 여전히 분명하지 않다.\n 본 연구에서는 주어진 feature가 제거될 때 모델의 성능 저하를 이용해 bounded loss에 대한 coin-betting e-value와 density-based 접근을 모사하는 exponential e-value를 구성한다.\n 놀랍게도, misspecified setting에서 우리는 이론적으로나 실험적으로나 두 e-value 중 어느 쪽도 다른 쪽을 uniformly outperforms하지 않음을 보인다. 마지막으로, loss distribution의 antisymmetric kernel density estimation을 포함한 실행 가능한 알고리즘들을 제시한다.","link":"https://openreview.net/forum?id=46CZYcxP0B"},{"id":"FZ8PTjTUO6","en":"Total Variation Distance Estimation in Autoregressive Models","ko":"autoregressive model에서 total variation distance 추정","authors":"Eric Price, Kevin Tian, Zhiyang Xun, Yusong Zhu","abs":"Modern LLM deployments use a number of implementation choices and inference optimizations (e.g., batching, custom kernels, quantization) on top of fixed weights, so two engines serving "the same model" can produce meaningfully different distributions. We study the problem of estimating the total variation (TV) distance between two length-$n$ autoregressive distributions to additive error $\\varepsilon$ under sample, logit, and noisy-logit access models. Under sample access, we use $\\widetilde{O}(n^2K/\\varepsilon^2)$ queries, where $K$ is the maximum support of the next-token distribution; under logit access, we use $O(n/\\varepsilon^2)$ queries, and this is tight; under noisy logit access, if probability values are given to $\\sigma$ relative error, we use $\\widetilde{O}((n+n^2\\sigma^2)/\\varepsilon^2)$ queries. We complement our theoretical results with an empirical evaluation of our algorithms, for example measuring the distance between sglang and vllm in standard settings. Our experiments highlight the robustness and practicality of estimating total variation distance compared to alternatives such as KL divergence.
","absKo":"현대의 LLM 배포는 고정된 weight 위에 batching, custom kernel, quantization 같은 여러 구현 선택과 inference optimization을 사용하므로, “같은 model”을 제공하는 두 engine이 의미 있게 다른 분포를 만들어낼 수 있다. 우리는 sample, logit, noisy-logit access model 하에서 두 길이-$n$ autoregressive distribution 사이의 total variation (TV) distance를 additive error $\\varepsilon$까지 추정하는 문제를 연구한다. sample access 하에서는 $\\widetilde{O}(n^2K/\\varepsilon^2)$ queries를 사용하며, 여기서 $K$는 next-token distribution의 최대 support이다. logit access 하에서는 $O(n/\\varepsilon^2)$ queries를 사용하며, 이는 tight하다. noisy logit access 하에서는 확률값이 $\\sigma$ relative error로 주어질 때 $\\widetilde{O}((n+n^2\\sigma^2)/\\varepsilon^2)$ queries를 사용한다. 우리는 이론적 결과를 보완하기 위해 알고리즘의 empirical evaluation도 수행했으며, 예를 들어 표준 설정에서 sglang과 vllm 사이의 distance를 측정한다. 우리의 실험은 KL divergence 같은 대안과 비교했을 때 total variation distance 추정의 강건성과 실용성을 강조한다.","link":"https://openreview.net/forum?id=FZ8PTjTUO6"},{"id":"ZhVvlyFZP9","en":"The Leaderboard Lottery: Why Top LLM Rankings Are Often Coin Flips, and How to Fix Them","ko":"리더보드 복권: 상위 LLM 순위가 자주 동전 던지기인 이유와 해결책","authors":"Shourya Vir Jain","abs":"LLM leaderboards rank models by point-estimate accuracy, but the claim users care about—"is the top-ranked model truly best?"—is a post-selection event across all N models. Marginal per-model confidence intervals do not cover this event. On benchmark data calibrated to the Open LLM Leaderboard v2, the reported winner is the population-level best only 0–58% of the time under prompt resampling, far below the nominal 95%. We adapt paired-bootstrap Multiple Comparisons with the Best (MCB) to return a family-wise-error-controlled confidence set of plausible winners. Across synthetic data and six calibrated leaderboard tasks, MCB restores ≥95% coverage while revealing that many benchmarks cannot statistically distinguish their top models: the 95% sets contain 8–35 models. A simulated Chatbot Arena study shows the same post-selection instability for pairwise preference rankings. The correction is simple, requires only per-prompt scores, and can be adopted by leaderboard maintainers immediately.
","absKo":"LLM leaderboard는 point-estimate accuracy로 model을 순위를 매기지만, 사용자가 진짜 궁금해하는 주장인 \"상위 모델이 정말로 가장 좋은가?\"는 모든 N model에 대한 post-selection event이다. 모델별 marginal confidence interval은 이 사건을 포착하지 못한다. Open LLM Leaderboard v2에 맞춰 보정된 benchmark data에서, 보고된 winner가 population-level best인 경우는 prompt resampling 하에서 0–58%에 불과하여, 명목상의 95%에 한참 못 미친다. 우리는 paired-bootstrap Multiple Comparisons with the Best(MCB)를 적용하여, plausible winner에 대한 family-wise-error-controlled confidence set을 반환한다. synthetic data와 여섯 개의 보정된 leaderboard task 전반에서 MCB는 ≥95% coverage를 회복하는 한편, 많은 benchmark가 상위 model들을 통계적으로 구분하지 못함을 드러낸다. 즉, 95% set에 8–35개의 model이 포함된다. 시뮬레이션한 Chatbot Arena study 역시 pairwise preference ranking에서 동일한 post-selection instability를 보인다. 이 보정은 간단하며, prompt별 score만 있으면 되고, leaderboard 유지자들이 즉시 채택할 수 있다.","link":"https://openreview.net/forum?id=ZhVvlyFZP9"},{"id":"rLSNTN1LYy","en":"CITE: Anytime-Valid Statistical Inference in LLM Self-Consistency","ko":"CITE: LLM self-consistency의 언제나 유효한 통계적 추론","authors":"Hirofumi Ota, Naoto Iwase, Yuki Ichihara, Junpei Komiyama, Masaaki Imaizumi","abs":"Large language models often improve reasoning by sampling multiple outputs and aggregating their final answers, but precise and efficient control of error levels remains a challenging task. In particular, deciding when to stop sampling remains difficult when the stopping rule is data-dependent and the set of possible response labels is not known in advance. We study anytime-valid certification of a prespecified target answer as the unique mode of the model’s response distribution, a guarantee distinct from answer correctness. We propose the Certification by Intersection-union Testing with E-processes (CITE) algorithm, which provably controls false certification at any prescribed level under arbitrary data-driven stopping, without requiring prior knowledge of the answer category set. We also prove a category-set-size-free stopping-time rate, establish matching minimax lower bounds up to constants in the main regime, and extend the construction to confidence-weighted voting. Simulations and LLM self-consistency experiments show empirical error control and improved certification in diffuse-tail settings.
","absKo":"Large language model은 여러 출력을 샘플링하고 최종 답변을 집계함으로써 추론 성능을 향상시키는 경우가 많지만, error 수준을 정밀하고 효율적으로 제어하는 일은 여전히 어렵다. 특히 stopping rule이 data-dependent이고 가능한 response label 집합을 사전에 알 수 없을 때는 언제 샘플링을 멈출지 결정하기가 어렵다. 우리는 모델의 response distribution에서 미리 정해진 target answer가 unique mode임을 anytime-valid하게 인증하는 문제를 연구한다. 이는 정답성(correctness)과는 구별되는 보장이다. 우리는 Certification by Intersection-union Testing with E-processes(CITE) 알고리즘을 제안하며, 이는 사전에 정한 임의의 수준에서 arbitrary data-driven stopping 아래 false certification을 provably 제어하고, 답변 범주 집합에 대한 사전 지식 없이도 동작한다. 또한 범주 집합 크기에 무관한 stopping-time rate를 증명하고, 주요 regime에서 상수 차이까지 일치하는 minimax lower bound를 확립하며, 이를 confidence-weighted voting으로 확장한다. 시뮬레이션과 LLM self-consistency 실험은 경험적 error control과 diffuse-tail 설정에서의 향상된 certification을 보여 준다.","link":"https://openreview.net/forum?id=rLSNTN1LYy"},{"id":"03zJyEBw56","en":"Testing the \"Benign Running Statistics\" Hypothesis: Class-Conditional Batch-Normalization Substitution Rejects the Distribution-Shift Account at $p \\lt10^{-19}$","ko":"\"무해한 running statistics\" 가설 검증: 클래스 조건 Batch-Normalization 치환은 분포 이동 설명을 p <10^-19 수준에서 기각한다","authors":"Ali Saffarini","abs":"Batch-normalization (BN) running statistics are widely treated as a benign approximation to the true population mean/variance $\\textemdash$ a numerical convenience whose perturbation should affect accuracy in the same way as any other distribution shift. We pose this as a falsifiable null hypothesis and test it. $H_0$ (distribution-shift account): substituting any non-global statistics at inference should hurt accuracy roughly symmetrically; in particular, substituting same-class statistics (closer to global) should hurt no more than substituting wrong-class statistics (further from global). We design a paired three-condition intervention $\\textemdash$ global / same-class / wrong-class $\\textemdash$ across four CNN architectures and three datasets, totalling 1,320 paired-trial comparisons over 22 trained models. The data reject $H_0$ sharply: same-class accuracy is $3.5$ vs. wrong-class $65.4$ on CIFAR-10/SmallResNet ($t(9) = -39.1$, $p < 10^{-10}$ paired; same-vs-global $t(9) = -374$, $p = 3.5 \\times 10^{-20}$). We then run three pre-registered alternative-explanation tests: (i) a linear-probe test on the same post-substitution features (probe accuracy $\\geq 99.7$ rules out "the encoder broke"); (ii) a GroupNorm architectural-control test (no running statistics; unaffected, rules out "generic running-stat perturbation"); (iii) a temperature-scaling test (ECE halves from $0.394$ to $0.151$ but accuracy unchanged, rules out "logit-scale issue"). A within-architecture layer-wise ablation tests the multiplicative-compounding hypothesis: single-layer drops sum to $29.4$ but the all-layer drop is $86.8$, a $2.95\\times$ super-additive factor that replicates seed-to-seed ($n = 3$). A per-statistic disentangling experiment tests a sub-hypothesis of the algebraic argument below: substituting only $\\mu$ leaves $76.7$ accuracy, only $\\sigma^2$ leaves $27.2$, and the joint substitution reaches $2.8$ $\\textemdash$ neither statistic alone reproduces the catastrophe, the two interact super-additively, and contrary to the one-layer linearization $\\sigma^2$-substitution alone is more damaging than $\\mu$-substitution alone. We close with a one-line algebraic identity that restates the surviving asymmetry as an exact zero in a one-layer linearization. The paper is intended as both an empirical contribution and a worked example of intervention-design hypothesis testing as ML methodology.
","absKo":"Batch-normalization (BN) running statistics는 실제 population mean/variance에 대한 무해한 근사, 즉 perturbation이 accuracy에 다른 distribution shift와 같은 방식으로만 영향을 주어야 하는 수치적 편의로 널리 간주된다. 우리는 이를 반증 가능한 null hypothesis로 정식화하고 검정한다. $H_0$ (distribution-shift account): inference 시 어떤 non-global statistics로 대체하더라도 accuracy는 대체로 대칭적으로 저하되어야 하며, 특히 same-class statistics(더 global에 가까움)로 대체할 때의 손실은 wrong-class statistics(더 global에서 먼 것)로 대체할 때보다 크지 않아야 한다. 우리는 네 가지 CNN architecture와 세 개 dataset에 걸쳐 global / same-class / wrong-class의 paired three-condition intervention을 설계했으며, 총 22개의 trained model에 대해 1,320개의 paired-trial comparison을 수행했다. 데이터는 $H_0$를 강하게 기각한다: CIFAR-10/SmallResNet에서 same-class accuracy는 $3.5$이고 wrong-class는 $65.4$이며($t(9) = -39.1$, paired $p < 10^{-10}$; same-vs-global $t(9) = -374$, $p = 3.5 \\times 10^{-20}$), same-class는 wrong-class보다 훨씬 더 나쁘다. 이어서 우리는 사전 등록된 세 가지 대안 설명 검정을 수행한다: (i) 동일한 substitution 후 features에 대한 linear-probe test(probe accuracy $\\geq 99.7$은 \"encoder가 망가졌다\"를 배제); (ii) GroupNorm architectural-control test(running statistics가 없고 영향받지 않으며, \"generic running-stat perturbation\"을 배제); (iii) temperature-scaling test(ECE는 $0.394$에서 $0.151$로 절반이 되지만 accuracy는 변하지 않아, \"logit-scale issue\"를 배제). architecture 내부의 layer-wise ablation은 multiplicative-compounding 가설을 검정한다: 단일 layer의 감소폭은 합계 $29.4$이지만 모든 layer를 바꾸면 감소폭은 $86.8$로, $2.95\\times$의 super-additive factor가 seed-to-seed($n = 3$)으로 재현된다. per-statistic disentangling experiment는 아래 algebraic argument의 하위 가설을 검정한다: $\\mu$만 대체하면 accuracy는 $76.7$이고, $\\sigma^2$만 대체하면 $27.2$가 남으며, joint substitution은 $2.8$에 도달한다. 즉 어느 statistic도 단독으로는 catastrophe를 재현하지 못하고, 둘은 super-additively 상호작용하며, one-layer linearization과 달리 $\\sigma^2$ substitution 단독이 $\\mu$ substitution 단독보다 더 해롭다. 우리는 마지막에 one-layer linearization에서 살아남는 asymmetry를 정확한 zero로 다시 서술하는 한 줄짜리 algebraic identity로 마무리한다. 이 논문은 empirical contribution이자 ML methodology로서 intervention-design hypothesis testing의 worked example이기도 하다.","link":"https://openreview.net/forum?id=03zJyEBw56"},{"id":"TU8fXovEd6","en":"Pseudo-Label Validation for Unsupervised Domain Adaptation","ko":"비지도 domain adaptation을 위한 pseudo-label 검증","authors":"Nathan Weill, Kaizheng Wang","abs":"Model selection—choosing among candidate predictors, hyperparameters, or checkpoints—is a critical yet underaddressed bottleneck in unsupervised domain adaptation. Without target labels, standard validation fails, and existing unsupervised criteria rely on structural assumptions specific to feature alignment or image classification. We propose to construct a surrogate target validation loss by pseudo-labeling unlabeled target points with an imputation model, enabling model selection via standard holdout evaluation on the target domain. The approach is agnostic to the adaptation method, requires no density-ratio estimation, and applies to any generalized linear model loss, including logistic and square loss. Our central theoretical contribution is an oracle inequality identifying the imputer’s bias, rather than its random error, as the dominant driver of selection quality: because a single imputer generates all pseudo-labels, its bias aggregates across validation points while its stochastic fluctuation enters only through a non-aggregating, averaged proxy. Experiments on kernel methods regularization selection and deep backbone fine-tuning confirm that surrogate validation reliably tracks target risk without any target label.
","absKo":"Model selection—후보 predictor, hyperparameter, checkpoint 중에서 선택하는 일은 unsupervised domain adaptation에서 매우 중요하지만 충분히 다뤄지지 않은 병목이다. target label이 없으면 표준 validation은 실패하고, 기존의 unsupervised criterion은 feature alignment나 image classification에 특화된 구조적 가정에 의존한다. 우리는 imputation model로 unlabeled target point에 pseudo-label을 부여해 surrogate target validation loss를 구성하고, 이를 통해 target domain에서 표준 holdout evaluation으로 model selection이 가능하도록 제안한다. 이 접근은 adaptation method에 구애받지 않으며 density-ratio estimation이 필요 없고, logistic loss와 square loss를 포함한 모든 generalized linear model loss에 적용된다. 우리의 핵심 이론적 기여는 oracle inequality로, selection quality의 지배적 요인이 random error가 아니라 imputer의 bias임을 밝힌다. 단일 imputer가 모든 pseudo-label을 생성하므로 그 bias는 validation point 전반에 걸쳐 누적되는 반면, stochastic fluctuation은 누적되지 않는 평균화된 proxy를 통해서만 들어오기 때문이다. kernel method의 regularization selection과 deep backbone fine-tuning 실험은 surrogate validation이 어떤 target label도 없이도 target risk를 안정적으로 추적함을 확인한다.","link":"https://openreview.net/forum?id=TU8fXovEd6"},{"id":"aS7CLe6qAt","en":"What Do Safety-Aligned LLMs Learn From Mixed Compliance Demonstrations?","ko":"혼합 준수 시연에서 safety-aligned LLM은 무엇을 배우는가?","authors":"Sihui Dai, Mann Patel","abs":"Prior work has shown that in-context demonstrations can jailbreak language models, but it remains unclear how models interpret different types of compliance demonstrations. We study this by mixing *benign compliance* demonstrations (non-harmful request, helpful response) with *harmful compliance* demonstrations (harmful request, helpful response) and testing three hypotheses about how demonstration composition drives harmful compliance. Across four models, we find that benign and harmful demonstrations are not interchangeable: benign demonstrations can either reduce or increase harmful compliance depending on the model. We further show that preference optimization is the critical training stage that prevents benign demonstrations from increasing harmful compliance, that demonstration ordering exhibits strong recency bias, and that models differ in how refusal interacts with in-context learning: some adopt demonstrated formatting even when refusing, while others override all in-context signals upon refusal. Taken together, this work moves beyond showing that demonstration-based jailbreaking works to characterizing *how* it works: what models extract from compliance demonstrations depends on demonstration content, ordering, and training methodology.
","absKo":"기존 연구는 in-context demonstration이 language model을 jailbreak할 수 있음을 보였지만, model이 서로 다른 유형의 compliance demonstration을 어떻게 해석하는지는 여전히 불분명합니다. 우리는 *benign compliance* demonstration(non-harmful request, helpful response)과 *harmful compliance* demonstration(harmful request, helpful response)을 섞어 사용하고, demonstration composition이 harmful compliance를 어떻게 이끄는지에 관한 세 가지 가설을 검증합니다. 네 개 model 전반에서 benign demonstration과 harmful demonstration은 서로 대체 가능하지 않음을 발견했습니다. benign demonstration은 model에 따라 harmful compliance를 줄이기도 하고 오히려 늘리기도 합니다. 또한 preference optimization이 benign demonstration이 harmful compliance를 증가시키는 것을 막는 핵심 training stage임을 보이고, demonstration ordering에는 강한 recency bias가 존재하며, refusal과 in-context learning의 상호작용 방식은 model마다 다르다는 점을 확인합니다. 어떤 model은 거절하면서도 demonstration에서 본 formatting을 채택하지만, 다른 model은 거절하는 순간 모든 in-context signal을 덮어씁니다. 종합하면, 이 연구는 demonstration-based jailbreaking이 작동한다는 사실을 넘어 그것이 *어떻게* 작동하는지를 규명합니다. model이 compliance demonstration에서 추출하는 것은 demonstration content, ordering, training methodology에 달려 있습니다.","link":"https://openreview.net/forum?id=aS7CLe6qAt"},{"id":"xm2Ksake18","en":"Safety Overestimation: A Framework for Identifying Superficial Alignment in Large Language Models","ko":"Safety Overestimation: Large Language Model에서 피상적 정렬을 식별하는 프레임워크","authors":"Sharvin Goyal","abs":"As large language models (LLMs) are deployed in healthcare, legal services, education, and civic infrastructure, the gap between apparent benchmark safety and real-world behavior has become an urgent concern. We introduce the concept of safety overestimation, a term analogous to greenwashing in environmental policy, to describe the systematic overestimation of LLM safety by current evaluation infrastructure. We formalize this gap using a probabilistic framework distinguishing structural decoupling from ordinary distribution shift, present a taxonomy of five mechanisms through which safety overestimation manifests, and synthesize these into the Safety Overestimation Index (SOI): a multi-criteria audit rubric with four formal design requirements and concrete empirical instantiations. We show that existing published results already provide evidence for each of the five mechanisms, and discuss implications for third-party auditing, model card disclosure, and regulatory standards.
","absKo":"대규모 language model(LLM)이 healthcare, legal service, education, civic infrastructure에 배치되면서, benchmark상으로는 안전해 보이지만 실제 환경에서는 그렇지 않은 경우의 격차가 시급한 문제로 떠올랐다. 우리는 현재의 evaluation infrastructure가 LLM 안전성을 체계적으로 과대평가하는 현상을 설명하기 위해, 환경 정책의 greenwashing에 비유되는 safety overestimation이라는 개념을 도입한다. 우리는 이 격차를 구조적 decoupling과 일반적인 distribution shift를 구분하는 probabilistic framework로 정식화하고, safety overestimation이 나타나는 다섯 가지 메커니즘의 taxonomy를 제시하며, 이를 네 가지 formal design requirement와 구체적 empirical instantiation을 갖는 multi-criteria audit rubric인 Safety Overestimation Index(SOI)로 종합한다. 우리는 기존에 출판된 결과만으로도 다섯 메커니즘 각각에 대한 증거를 제공할 수 있음을 보이고, third-party auditing, model card disclosure, regulatory standard에 대한 함의를 논의한다.","link":"https://openreview.net/forum?id=xm2Ksake18"},{"id":"wxEls69qsO","en":"Beyond Perplexity: Character Distribution Signatures and the MDTA Benchmark for AI Text Detection","ko":"퍼플렉서티를 넘어: 문자 분포 시그니처와 AI 텍스트 탐지를 위한 MDTA 벤치마크","authors":"Priyadarshan Narayanasamy, Swastik Agrawal, Klint Faber, Fardina Fathmiul Alam","abs":"Training-free AI text detection methods primarily rely on model log-probabilities, achieving strong performance through approaches like Binoculars and DNA-DetectLLM. However, these methods face a fundamental ceiling as models are optimized through RLHF to produce human-like probability distributions. We introduce an alternative detection signal based on character distribution signatures. We provide theoretical foundations showing that AI models, trained on massive domain-balanced corpora, approximate global character patterns while humans exhibit domain-specialized distributions, creating a "Wall of Separation" where human-AI divergence significantly exceeds AI-AI divergence. To enable systematic evaluation, we construct the Models-Domains-Temperatures-Adversarials (MDTA) benchmark comprising 642,274 prompt-aligned samples across 4 models, 5 domains, 3 temperature settings, and 3 adversarial strategies, substantially expanding the HC3 dataset. We introduce the Letter Distribution Score (LD-Score), demonstrating low correlation (r = 0.08 – 0.13) with perplexity methods. When integrated with DNA-DetectLLM, Binoculars and FastDetectGPT via a non-linear classifier, LD-Score improves both AUROC and F1, with clearer gains in specialized domains where vocabulary constraints amplify the detection signal. The MDTA dataset can be accessed at: https://huggingface.co/datasets/nsp909/MDTA
","absKo":"학습이 필요 없는 AI 텍스트 탐지 방법은 주로 모델의 log-probability에 의존하며, Binoculars와 DNA-DetectLLM 같은 접근법을 통해 강한 성능을 보인다. 그러나 이러한 방법은 RLHF를 통해 인간과 유사한 확률 분포를 생성하도록 최적화된 모델들 앞에서 근본적인 한계에 부딪힌다. 우리는 문자 분포 시그니처에 기반한 대안적 탐지 신호를 제안한다. 우리는 AI 모델이 대규모 도메인 균형 코퍼스로 학습될 때 전역적인 문자 패턴을 근사하는 반면, 인간은 도메인 특화 분포를 보인다는 이론적 근거를 제시하며, 그 결과 인간-AI divergence가 AI-AI divergence를 크게 초과하는 \"Wall of Separation\"이 형성됨을 보인다. 체계적인 평가를 위해, 우리는 4개 모델, 5개 도메인, 3개 temperature 설정, 3개 적대적 전략에 걸쳐 642,274개의 prompt-aligned 샘플로 구성된 Models-Domains-Temperatures-Adversarials (MDTA) 벤치마크를 구축하여 HC3 데이터셋을 크게 확장했다. 우리는 Letter Distribution Score (LD-Score)를 제안하며, 이것이 perplexity 기반 방법들과 낮은 상관(r = 0.08 – 0.13)을 보임을 입증한다. LD-Score를 DNA-DetectLLM, Binoculars, FastDetectGPT와 비선형 분류기에 통합하면 AUROC와 F1이 모두 개선되며, 어휘 제약이 탐지 신호를 증폭시키는 특화 도메인에서 더 뚜렷한 향상을 보인다. MDTA 데이터셋은 다음에서 접근할 수 있다: https://huggingface.co/datasets/nsp909/MDTA","link":"https://openreview.net/forum?id=wxEls69qsO"},{"id":"WR3XMPiVjj","en":"Causal Risk Minimization for High-Dimensional Treatments","ko":"고차원 treatment에 대한 인과적 위험 최소화","authors":"Nikita Dhawan, Arnav Paruthi, Andrew Kim, Lovedeep Gondara, Jekaterina Novikova, Chris J. Maddison","abs":"Predicting the effect of interventions with many possible variations, _e.g._, therapeutic content that affects mental health outcomes or an earnings call transcript that drives movement in share price, is useful across several domains. However, classical causal estimators tend to assume that all possible interventions are observed, which is infeasible when interventions vary widely, for instance, in the space of all text strings. We adapt a well-known approach of recasting causal inference as a learning problem, to address high-dimensional treatment spaces. Specifically, under standard assumptions like no unobserved confounding, we show that causal error decomposes into a series of moment-balancing errors of increasing order, and design objectives that directly improve causal estimation. We also show how to project the effect of a high-dimensional treatment onto lower-dimensional treatment attributes, which allows a single model to answer several causal questions without additional attribute-specific training. We empirically evaluate our estimators in settings with high-dimensional continuous, discrete, and text treatments, the last of which used a semi-synthetic dataset of Amazon Reviews. Our experiments demonstrate the benefit of higher-order balance error optimization and competitive performance of projected causal estimates with attribute-specific estimators.
","absKo":"예를 들어 정신 건강 결과에 영향을 주는 치료 콘텐츠나 주가 변동을 유발하는 earnings call transcript처럼, 가능한 변형이 많은 개입(intervention)의 효과를 예측하는 것은 여러 도메인에서 유용하다. 그러나 고전적 인과 추정기는 대체로 가능한 모든 개입이 관측되었다고 가정하는데, 이는 모든 text string의 공간처럼 개입이 매우 다양할 때는 실현 불가능하다. 우리는 인과 추론을 학습 문제로 재정식화하는 잘 알려진 접근을 고차원 treatment space에 맞게 확장한다. 구체적으로, 관측되지 않은 confounding이 없다는 등의 표준 가정 하에서 인과 오차가 점차 높은 차수의 moment-balancing error 시리즈로 분해됨을 보이고, 인과 추정을 직접 개선하는 목적함수를 설계한다. 또한 고차원 treatment의 효과를 더 저차원적인 treatment attribute로 투영하는 방법을 보이는데, 이를 통해 하나의 모델이 추가적인 attribute-specific training 없이 여러 인과 질문에 답할 수 있다. 우리는 고차원 연속형, 이산형, 그리고 text treatment를 갖는 설정에서 추정기를 실험적으로 평가했으며, 마지막 경우에는 Amazon Reviews의 semi-synthetic dataset을 사용했다. 실험은 고차수 balance error 최적화의 이점과, attribute-specific estimator에 견줄 만한 projected causal estimate의 경쟁력 있는 성능을 보여준다.","link":"https://openreview.net/forum?id=WR3XMPiVjj"},{"id":"8dAGgStbaO","en":"Semiparametrically Efficient Inference for Kernel Measures of Noise Heterogeneity","ko":"잡음 이질성의 kernel measure에 대한 semiparametric 효율적 추론","authors":"Jakub Wornbard, Zikai Shen, Dimitri Meunier, Arthur Gretton","abs":"We develop semiparametrically efficient inference for kernel measures of noise heterogeneity in additive noise models. In many applications, the regression function is estimated using flexible machine learning methods. Downstream procedures based on the resulting residuals can then inherit first-stage bias: regression error may induce spurious dependence between covariates and residuals, invalidating the assumptions needed for standard analysis. We construct a novel Hilbert-valued one-step estimator of the kernel covariance operator between covariates and residuals. Our estimator yields bootstrap-calibrated tests for residual independence and goodness of fit in additive noise models, while also providing asymptotically efficient confidence intervals for the kernel dependence measure under noise heterogeneity. The framework extends to settings with additional covariates, enabling inference on distributional heterogeneity of residual noise across treatment groups. Simulations show improved calibration and power relative to naive plug-in residual methods.
","absKo":"우리는 additive noise model에서 noise heterogeneity의 kernel measure에 대한 semiparametrically efficient inference를 개발한다. 많은 응용에서 regression function은 유연한 machine learning method를 사용해 추정된다. 이후 그 residual을 기반으로 하는 절차는 첫 단계의 bias를 계승할 수 있는데, regression error가 covariate와 residual 사이에 가짜 dependence를 유발하여 표준 분석에 필요한 가정을 무너뜨릴 수 있기 때문이다. 우리는 covariate와 residual 사이의 kernel covariance operator에 대한 새로운 Hilbert-valued one-step estimator를 구성한다. 우리의 estimator는 additive noise model에서 residual independence와 goodness of fit에 대한 bootstrap-calibrated test를 제공하는 한편, noise heterogeneity 하에서 kernel dependence measure에 대한 asymptotically efficient confidence interval도 제공한다. 이 framework는 추가 covariate가 있는 설정으로 확장되어, treatment group 간 residual noise의 distributional heterogeneity에 대한 inference를 가능하게 한다. 시뮬레이션은 naive plug-in residual method에 비해 calibration과 power가 개선됨을 보여준다.","link":"https://openreview.net/forum?id=8dAGgStbaO"},{"id":"f27xCLe8z7","en":"Making Generative Models Know What They Don’t Know via Hypothesis Testing","ko":"가설 검정을 통해 생성 모델이 자신이 모르는 것을 알게 하기","authors":"Leander Kurscheidt, Antonio Vergari","abs":"Out-of-distribution (OOD) detection is a fundamental problem in machine learning, and normalizing flows are natural candidates due to their explicit density. However, likelihood alone is known to be unreliable for OOD detection, as flows may assign higher likelihood to OOD samples than to in-distribution data.
In this work, we propose a goodness-of-fit (GoF) test for normalizing flows based on latent-space statistics. Our method enables both direct assessment of model fit on a held-out dataset via uniformity testing of the $p$-values, and single-sample OOD detection using a recalibrated test statistics. In contrast to existing likelihood- and score-based approaches, this allows principled evaluation of whether the learned flow itself fits the data distribution.
We further show that recalibrated $p$-values provide an interpretable and flexible scoring mechanism for OOD detection when the underlying flow model achieves a sufficiently good fit.
","absKo":"Out-of-distribution(OOD) detection은 machine learning의 근본적인 문제이며, normalizing flow는 명시적 density 때문에 자연스러운 후보이다. 그러나 likelihood만으로는 OOD detection이 신뢰할 수 없다는 것이 알려져 있는데, flow가 in-distribution data보다 OOD sample에 더 높은 likelihood를 부여할 수 있기 때문이다.\n본 연구에서는 latent-space statistics에 기반한 normalizing flow용 goodness-of-fit(GoF) test를 제안한다. 이 방법은 $p$-value의 uniformity testing을 통해 held-out dataset에서 모델 적합도를 직접 평가할 수 있게 하며, recalibrated test statistic을 사용한 single-sample OOD detection도 가능하게 한다. 기존의 likelihood 기반 및 score 기반 접근법과 달리, 이는 학습된 flow 자체가 data distribution에 잘 맞는지 원리적으로 평가할 수 있게 해준다.\n또한 recalibrated $p$-value가 underlying flow model이 충분히 좋은 적합도를 달성할 때, OOD detection을 위한 해석 가능하고 유연한 scoring mechanism을 제공함을 보인다.","link":"https://openreview.net/forum?id=f27xCLe8z7"},{"id":"kfAk7zONzM","en":"The Cost of Learning under Multiple Change Points","ko":"여러 change point 하에서의 학습 비용","authors":"Tomer Gafni, Garud Iyengar, assaf zeevi","abs":"We consider an online learning problem in environments with multiple change points.
In contrast to the single change point problem that is widely studied using classical "high confidence" detection schemes, the multiple change point environment presents new learning-theoretic and algorithmic challenges. Specifically, we show that classical methods may exhibit catastrophic failure (high regret) due to a phenomenon we refer to as endogenous confounding. To overcome this, we propose a new class of learning algorithms dubbed Anytime Tracking CUSUM (ATC). These are horizon-free online algorithms
that implement a selective detection principle, balancing the need to ignore "small" (hard-to-detect) shifts, while reacting "quickly" to significant ones. We prove that the performance of a properly tuned ATC algorithm is nearly minimax-optimal; its regret is guaranteed to closely match a novel information-theoretic lower bound on the achievable performance of any learning algorithm in the multiple change point problem. Experiments on synthetic as well as real-world data validate the aforementioned theoretical findings.
","absKo":"우리는 여러 change point가 존재하는 환경에서의 online learning 문제를 고려한다.\n전통적인 \"high confidence\" detection scheme을 사용해 널리 연구된 단일 change point 문제와 달리, multiple change point 환경은 새로운 learning-theoretic 및 algorithmic 도전을 제기한다. 구체적으로, 우리는 고전적 방법이 endogenous confounding이라고 부르는 현상 때문에 치명적인 실패(높은 regret)를 보일 수 있음을 보인다. 이를 극복하기 위해 우리는 Anytime Tracking CUSUM(ATC)이라 불리는 새로운 학습 알고리즘 계열을 제안한다. 이는 horizon-free online algorithm으로, 작은(탐지하기 어려운) shift는 무시하되 중요한 shift에는 빠르게 반응해야 한다는 요구를 균형 있게 만족시키는 selective detection principle을 구현한다. 우리는 적절히 조정된 ATC algorithm의 성능이 거의 minimax-optimal함을 증명하며, 그 regret가 multiple change point 문제에서 어떤 learning algorithm도 달성할 수 있는 성능에 대한 새로운 information-theoretic lower bound와 매우 가깝게 일치함을 보장한다. 합성 데이터와 실제 데이터 모두에서 수행한 실험은 앞서 언급한 이론적 결과를 검증한다.","link":"https://openreview.net/forum?id=kfAk7zONzM"},{"id":"T94DrCVgxm","en":"Behavior Is Not Representation: Hypothesis Tests for Concept Steering in LLMs","ko":"행동은 표현이 아니다: LLM에서 개념 스티어링을 위한 가설 검정","authors":"Siddharth Shukla","abs":"As large language models transition to core infrastructure, evaluating their internal alignment is critical. We argue that standard behavioral evaluation of steering masks a severe internal misalignment: behavioral steering success does not imply that an SAE-grounded concept representation was faithfully recovered. We introduce Structural Specificity Testing (SST), a methodological protocol for validating whether steering interventions recover concept-specific representations beyond calibrated null baselines. Across 950 concepts, four steering methods, and 5 landmark layers of Gemma-2-2B-IT, our primary GT-independent finding is that analytical methods (DiffMean, LAT, PCA) decompose almost entirely into high-prevalence formatting features that fire on $>$80% of all concepts regardless of target identity---not concept-specific directions. Gradient-trained SteeringVectors produce the strongest behavioral effects ($\\Delta\\text{logit} = +4.1$) while occupying a structurally orthogonal subspace (Jaccard $<0.025$). We additionally report GT-dependent evidence via Bonferroni-corrected SST: no method achieves reliable recovery of assigned SAE ground-truth features (all $p_\\text{adj} = 1.0$); we interpret these results cautiously given that AxBench GT features have mean AUC-ROC 0.196 against sentinel negatives. The structural-behavioral picture is heterogeneous: under hygiene-controlled CryptoBench, analytical methods show moderate correlation (DiffMean $r=0.632$, LAT $r=0.584$), consistent with LRH holding partially for those methods, while SteeringVectors show near-zero correlation ($r=0.042$). Double-dissociation causal ablations further reveal that neither dominant formatting features nor concept-associated semantic features primarily mediate the behavioral effect. Our results motivate hypothesis-testing protocols that jointly validate behavioral efficacy and structural specificity.
","absKo":"대규모 언어모델이 핵심 인프라로 자리 잡아가면서, 그 내부 alignment를 평가하는 일은 매우 중요하다. 우리는 표준적인 steering의 behavioral evaluation이 심각한 internal misalignment를 가린다고 주장한다. 즉, behavioral steering 성공이 SAE-grounded concept representation이 충실하게 복원되었음을 의미하지는 않는다. 우리는 Steering intervention이 calibrated null baseline을 넘어 concept-specific representation을 복원하는지 검증하기 위한 방법론적 프로토콜인 Structural Specificity Testing(SST)을 제안한다. 950개 concept, 4가지 steering method, 그리고 Gemma-2-2B-IT의 5개 landmark layer 전반에서 수행한 결과, 우리의 주요 GT-independent 발견은 analytical method(DiffMean, LAT, PCA)가 거의 전부 높은 빈도의 formatting feature로 분해된다는 점이다. 이들 feature는 target identity와 무관하게 모든 concept의 $>$80%에서 활성화되며, concept-specific direction이 아니다. Gradient-trained SteeringVectors는 가장 강한 behavioral effect를 보였지만($\\Delta\\text{logit} = +4.1$), 구조적으로 직교한 subspace를 차지했다(Jaccard $<0.025$). 또한 Bonferroni-corrected SST를 통해 GT-dependent evidence도 보고한다. 어떤 방법도 할당된 SAE ground-truth feature를 신뢰할 만하게 복원하지 못했다(모두 $p_\\text{adj} = 1.0$). 다만 AxBench GT feature의 mean AUC-ROC가 sentinel negative에 대해 0.196이므로, 이 결과는 신중하게 해석해야 한다. 구조-행동 양상은 이질적이다. hygiene-controlled CryptoBench에서는 analytical method가 중간 정도의 상관을 보였고(DiffMean $r=0.632$, LAT $r=0.584$), 이는 해당 방법들에 대해 LRH가 부분적으로 성립함과 일치한다. 반면 SteeringVectors는 거의 0에 가까운 상관을 보였다($r=0.042$). Double-dissociation causal ablation은 우세한 formatting feature도, concept-associated semantic feature도 행동 효과를 주로 매개하지 않음을 추가로 보여준다. 우리의 결과는 행동적 효능과 구조적 특이성을 함께 검증하는 hypothesis-testing protocol의 필요성을 시사한다.","link":"https://openreview.net/forum?id=T94DrCVgxm"},{"id":"gB1sVBai5N","en":"LLM Scheming Inversely Scales with Pretraining Language Coverage","ko":"LLM scheming은 pretraining 언어 커버리지와 반비례하여 스케일링된다","authors":"Nathan Truong, Aryan Panda, Rayming Ye, Zoe Sun, Maheep Chaudhary","abs":"With the growing capabilities of frontier models, AI alignment becomes increasingly critical in high-risk deployment settings. While recent work has empirically demonstrated in-context scheming—the covert pursuit of misaligned objectives while feigning alignment—in frontier language models, most work has been performed exclusively in English, leaving a major gap in multilingual safety. We apply Petri, an open-source automated auditing framework, to Qwen3-30B-A3B to evaluate deceptive and scheming behaviors across multiple languages. Our findings suggest that scheming scores are inversely correlated with the estimated pretraining language coverage, with low-resource languages averaging 34.2\\% higher scores compared to high-resource languages on a five-category scheming index. Furthermore, we find that the effect of estimated pretraining language coverage is not uniform across scheming behaviors.
","absKo":"최첨단 model의 능력이 커질수록, AI alignment는 고위험 배포 환경에서 더욱 중요해집니다. 최근 연구는 frontier language model에서 in-context scheming, 즉 aligned한 척하면서 misaligned objective를 은밀히 추구하는 행위를 실증적으로 보여주었지만, 대부분의 연구가 영어에만 국한되어 있어 multilingual safety에 큰 공백이 남아 있습니다. 우리는 open-source automated auditing framework인 Petri를 Qwen3-30B-A3B에 적용하여 여러 언어에 걸친 deceptive 및 scheming behavior를 평가했습니다. 우리의 결과는 scheming score가 추정된 pretraining language coverage와 역상관 관계를 보이며, low-resource language의 평균 점수가 five-category scheming index에서 high-resource language보다 34.2\\% 더 높음을 시사합니다. 또한 추정된 pretraining language coverage의 효과가 scheming behavior 전반에 걸쳐 균일하지 않다는 점도 발견했습니다.","link":"https://openreview.net/forum?id=gB1sVBai5N"},{"id":"Gi9hAacwot","en":"Adaptive Joint Testing of Policies in Discounted Markov Decision Processes","ko":"할인 Markov Decision Process에서 정책의 적응적 공동 검정","authors":"Po-An Wang, Kaito Ariu","abs":"We study fixed-confidence joint policy testing in discounted tabular Markov decision processes under active exploration. Given a finite family of target policies, the learner observes a single adaptive trajectory and must certify the sign of every target-policy value with probability at least $1-\\delta$. We identify the instance-specific first-order benchmark for this problem: a characteristic time $T^\\star(p)$, defined by a max--min program over stationary occupancy measures and sign-flipped alternatives. We then develop PT-ACE$(\\mu)$, an online algorithm that couples stabilized exchange-based learning of a bottleneck occupancy allocation, trajectory-compatible navigation from averaged occupancies, and parallel certified policywise stopping via scalar frontier tests. Under a trajectory-side anchor-policy ergodicity condition, and when run with certified numerical subroutines and vanishing input tolerances, PT-ACE$(\\mu)$ is $\\delta$-correct and, for every sufficiently small admissible fixed floor $\\mu>0$, satisfies
$$
\\limsup_{\\delta\\downarrow0}
\\frac{\\mathbb E_p[\\tau_\\delta]}{\\log(1/\\delta)}
\\le
(1+c(\\mu,p))T^\\star(p),
$$
where $c(\\mu,p)\\to0\\quad\\text{as }\\mu\\downarrow0.$
Thus a single adaptive trajectory can certify multiple policy signs at the instance-specific lower-bound rate in the vanishing-floor limit.
","absKo":"우리는 active exploration 하의 discounted tabular Markov decision process(MDP)에서 fixed-confidence joint policy testing을 연구한다. 유한한 target policy 집합이 주어지면, learner는 하나의 adaptive trajectory를 관측하고 모든 target-policy value의 부호를 확률 לפחות $1-\\delta$로 판정해야 한다. 우리는 이 문제에 대한 instance-specific first-order benchmark를 식별한다. 이는 stationary occupancy measure와 sign-flipped alternative에 대한 max--min program으로 정의되는 characteristic time $T^\\star(p)$이다. 이어서 우리는 bottleneck occupancy allocation에 대한 stabilized exchange-based learning, averaged occupancy로부터의 trajectory-compatible navigation, 그리고 scalar frontier test를 통한 parallel certified policywise stopping을 결합한 온라인 알고리즘 PT-ACE$(\\mu)$를 개발한다. trajectory-side anchor-policy ergodicity condition 하에서, 그리고 certified numerical subroutine 및 vanishing input tolerance와 함께 실행할 때, PT-ACE$(\\mu)$는 $\\delta$-correct이며, 충분히 작은 admissible fixed floor $\\mu>0$에 대해\n$$\n\\limsup_{\\delta\\downarrow0}\n\\frac{\\mathbb E_p[\\tau_\\delta]}{\\log(1/\\delta)}\n\\le\n(1+c(\\mu,p))T^\\star(p),\n$$\n를 만족한다. 여기서 $c(\\mu,p)\\to0\\quad\\text{as }\\mu\\downarrow0.$\n따라서 하나의 adaptive trajectory만으로도 vanishing-floor limit에서 instance-specific lower-bound rate로 여러 policy sign을 인증할 수 있다.","link":"https://openreview.net/forum?id=Gi9hAacwot"},{"id":"JX4ACIfsFB","en":"Two-Sample Testing for Monte Carlo Evaluation in Particle Physics: Challenges and Opportunities","ko":"입자 물리학에서의 Monte Carlo 평가를 위한 두 표본 검정: 도전과 기회","authors":"Zeyu Ding, Cornelius Grunwald, Katja Ickstadt, Kevin Kröninger, Salvatore La Cagnina","abs":"Monte Carlo (MC) simulation is central to modern particle physics, where evaluating the fidelity of simulated samples against reference distributions is a fundamental yet under-standardized task. We present \\texttt{MCBench}, a modular benchmark suite for assessing MC sampling quality using distributional distance metrics, including the sliced Wasserstein distance and the maximum mean discrepancy (MMD). Applied to the high-dimensional, structured distributions arising in high-energy physics, the choice of test metric and kernel is known to affect sensitivity in high-dimensional settings \\citep{Gretton2012optimal}. Whether modern learned or adaptive testing methods can provide improved sensitivity for the structured distributions arising in particle physics remains an open and practically important question. We describe the architecture of \\texttt{MCBench}, illustrate key challenges posed by physics data, and outline concrete opportunities for distribution-distance-based hypothesis testing methods to advance the evaluation of physics simulators.
","absKo":"Monte Carlo(MC) 시뮬레이션은 현대 입자물리학의 핵심이며, 시뮬레이션 샘플의 fidelity를 reference distribution과 비교하는 것은 근본적이지만 아직 충분히 표준화되지 않은 작업이다. 우리는 sliced Wasserstein distance와 maximum mean discrepancy(MMD)를 포함한 distributional distance metric을 사용해 MC sampling quality를 평가하는 모듈형 benchmark suite인 \\texttt{MCBench}를 제시한다. 고에너지 물리학에서 등장하는 고차원적이고 구조화된 분포에 적용하면, test metric과 kernel의 선택이 고차원 환경에서의 sensitivity에 영향을 미친다는 것이 알려져 있다 \\citep{Gretton2012optimal}. 현대의 learned 또는 adaptive testing method가 입자물리학에서 나타나는 구조화된 분포에 대해 더 나은 sensitivity를 제공할 수 있는지는 여전히 열려 있고 실무적으로도 중요한 질문이다. 우리는 \\texttt{MCBench}의 구조를 설명하고, physics data가 제기하는 핵심 과제를 예시하며, distribution-distance-based hypothesis testing method가 physics simulator 평가를 발전시킬 수 있는 구체적 기회를 개괄한다.","link":"https://openreview.net/forum?id=JX4ACIfsFB"},{"id":"GF0WQ36sFu","en":"Rethinking Small VLM Quantization: From Component-Wise Analysis to Hardware-Aware Edge Deployment","ko":"소형 VLM 양자화 재고: 구성요소별 분석에서 하드웨어 인지 엣지 배포까지","authors":"Hyeju Shin, Chorwon Kim, Ryangsoo Kim, Hark Yoo, Jaein Kim","abs":"The emergence of vision language models with fewer than 3 billion parameters has accelerated the implementation of on-device multimodal intelligence. However, a detailed understanding of component-wise quantization remains a bottleneck for optimal deployment. This paper presents a systematic evaluation framework for empirically validating five hypotheses across six quantization configurations on the Jetson Orin NX and AGX. By separating the vision encoder, projector, and large language model backbone yields the following results: (1) Quantization sensitivity is governed by the structural paradigm (MoE vs. dense) rather than scale alone, with MoE backbones mitigating INT4 noise where dense backbones degrade; (2) SigLIP encoders incur disproportionate INT8 latency on Jetson Ampere--a deployment-specific encoder-kernel-hardware interaction, not a SigLIP flaw; (3) Although INT4 quantization of LLMs greatly reduces VRAM consumption, it also causes slower token generation due to dequantization overhead; (4) Composite quantization errors are largely additive, except along the modality-alignment path, which is architecture-dependent; (5) The intelligence-per-joule profile varies significantly across platforms owing to memory bandwidth constraints.
","absKo":"3 billion parameters 미만의 vision language model의 등장으로 device-on-device multimodal intelligence 구현이 가속되고 있다. 그러나 component-wise quantization에 대한 정교한 이해는 최적 배포를 가로막는 병목으로 남아 있다. 본 논문은 Jetson Orin NX와 AGX에서 6가지 quantization configuration에 걸쳐 5개의 가설을 경험적으로 검증하기 위한 체계적 evaluation framework를 제시한다. vision encoder, projector, 그리고 large language model backbone을 분리하여 분석한 결과는 다음과 같다. (1) quantization sensitivity는 scale만이 아니라 structural paradigm (MoE vs. dense)에 의해 좌우되며, MoE backbone은 dense backbone이 열화되는 구간에서 INT4 noise를 완화한다; (2) SigLIP encoder는 Jetson Ampere에서 비례적으로 큰 INT8 latency를 발생시키는데, 이는 SigLIP의 결함이 아니라 deployment-specific한 encoder-kernel-hardware interaction이다; (3) LLM의 INT4 quantization은 VRAM 사용량을 크게 줄이지만, dequantization overhead 때문에 token generation은 더 느려진다; (4) composite quantization error는 주로 additive하지만, modality-alignment path를 따라서는 architecture에 따라 달라진다; (5) intelligence-per-joule profile은 memory bandwidth constraint 때문에 platform 간에 크게 달라진다.","link":"https://openreview.net/forum?id=GF0WQ36sFu"},{"id":"zVIk8t8OZO","en":"ScoreStop: Gradient-based early stopping using functional score tests","ko":"ScoreStop: 함수 점수 검정을 이용한 gradient 기반 조기 종료","authors":"Oliver J. Hines, Christian L. Hines","abs":"Gradient boosted decision trees require a stopping rule to avoid overfitting. The standard rule monitors a validation loss and stops if the loss fails to improve for a fixed patience period. However, the patience parameter has no interpretable scale and validation losses can be noisy or implicitly defined by a user-specified gradient. We propose ScoreStop, a gradient-based early-stopping rule that casts the stopping decision at each iteration as a test of the null hypothesis that the current predictor is the population risk minimizer. We use a functional score test, computed on validation data, with a statistic that is scale-invariant in the update direction, with a known asymptotic distribution under the null. Because our test uses gradients rather than loss values, the same construction applies to implicit losses such as LambdaRank, and data-dependent losses such as Cox regression via influence functions. In synthetic experiments and real-data benchmarks, we show that ScoreStop is competitive with loss-based methods.
","absKo":"Gradient boosted decision tree는 overfitting을 피하기 위해 stopping rule이 필요합니다. 표준 규칙은 validation loss를 모니터링하고, loss가 고정된 patience 기간 동안 개선되지 않으면 중단합니다. 그러나 patience parameter는 해석 가능한 스케일이 없고, validation loss는 노이즈가 크거나 사용자가 지정한 gradient에 의해 암묵적으로 정의될 수 있습니다. 우리는 ScoreStop을 제안합니다. 이는 각 iteration의 stopping 결정을 현재 predictor가 population risk minimizer라는 null hypothesis에 대한 검정으로 정식화한 gradient 기반 early-stopping rule입니다. 우리는 validation data에서 계산되는 functional score test를 사용하며, 이 통계량은 update direction에 대해 scale-invariant이고, null 하에서 알려진 asymptotic distribution을 갖습니다. 이 test는 loss value가 아니라 gradient를 사용하므로, 동일한 구성은 LambdaRank 같은 implicit loss와 influence function을 통한 Cox regression 같은 data-dependent loss에도 적용됩니다. synthetic experiment와 real-data benchmark에서, ScoreStop이 loss-based method와 경쟁력이 있음을 보입니다.","link":"https://openreview.net/forum?id=zVIk8t8OZO"},{"id":"U30xTGaauJ","en":"SPOT-FM: A Zero-Shot Hypothesis Test for Tabular Anomalies via In-Context Synthetic Contrasts","ko":"SPOT-FM: in-context synthetic contrast를 이용한 표 형태 이상 탐지를 위한 zero-shot 가설 검정","authors":"Mayank Jauhari, Amir Raza, Abishek Sankararaman, Anurag Tripathi, Vipul Joshi, Vikash Sharma, Boris N. Oreshkin","abs":"We formulate zero-shot tabular anomaly detection as a composite hypothesis test: H₀ states that a query row is drawn from a reference distribution; the alternative is defined by a learned sampler law. We present SPOT-FM, a frozen Tab2D transformer whose classification logit serves as a learned, data-adaptive test statistic, instantiated from a user-supplied reference set with no per-dataset training. The test's alternative hypothesis is constructed via minimal-subset perturbation: only a μ-fraction of features are altered per synthetic contrast, preserving inter-feature structure while producing controlled departures from the empirical quantile box. We prove a data-dependent power lower bound against this alternative (Thm. 1), establish exchangeability of the test statistic under reference-set permutations (Thm. 2), and decompose deployment risk into pre-training fit, task shift, and a sampler-label residual that names where zero-shot transfer fails (Prop. 1). Inference is a single tensorized forward pass (≈11 ms / 1K rows). On 17 ODDS benchmarks SPOT-FM obtains 0.915 average AUC-ROC and 0.752 AUC-PR, improving over FoMo-0D (Shen et al., 2024) on 12/17 datasets.
","absKo":"우리는 zero-shot tabular anomaly detection을 composite hypothesis test로 정식화한다. H₀는 query row가 reference distribution에서 샘플링되었다고 말하며, alternative는 learned sampler law로 정의된다. 우리는 고정된 Tab2D transformer인 SPOT-FM을 제안하며, 그 classification logit은 사용자가 제공한 reference set으로부터 dataset별 추가 학습 없이 구성되는 learned, data-adaptive test statistic 역할을 한다. 이 test의 alternative hypothesis는 minimal-subset perturbation을 통해 구성된다. 즉, synthetic contrast마다 feature의 μ-fraction만 변경하여, feature 간 구조를 보존하면서 empirical quantile box로부터의 통제된 이탈을 만든다. 우리는 이 alternative에 대한 data-dependent power lower bound를 증명하고(Thm. 1), reference-set permutation 하에서 test statistic의 exchangeability를 확립하며(Thm. 2), deployment risk를 pre-training fit, task shift, 그리고 zero-shot transfer가 실패하는 지점을 드러내는 sampler-label residual로 분해한다(Prop. 1). inference는 하나의 tensorized forward pass(≈11 ms / 1K rows)로 끝난다. 17개의 ODDS benchmark에서 SPOT-FM은 평균 AUC-ROC 0.915와 AUC-PR 0.752를 달성하여, 12/17 데이터셋에서 FoMo-0D(Shen et al., 2024)를 능가한다.","link":"https://openreview.net/forum?id=U30xTGaauJ"},{"id":"lNoUCOggKI","en":"Metadata Predictability Is Not Evidence Dependence: An Intervention-Based Audit for Weak-Label Benchmarks","ko":"메타데이터 예측 가능성은 증거 의존성이 아니다: weak-label benchmark에 대한 개입 기반 감사","authors":"Kan Shao","abs":"We study a protocol-level test for weak-label benchmarks: whether benchmark outputs change when the provided evidence is intervened on. Metadata-only shortcut checks answer a different question, namely whether outputs are predictable from metadata priors. We therefore combine a metadata statistic, the Metadata Prior Dominance Score (MPDS), with an evidence-intervention statistic, ΔEvi, measuring sensitivity to evidence identity under cross-item shuffling. Synthetic HotpotQA gives a constructed counterexample to metadata-only screening: MPDS is only moderate (0.643), yet ΔEvi is zero. Stronger-reader reruns show why calibration belongs in the test procedure: SNLI shows a calibration reversal, reconstructed HotpotQA occupies a question-dominant warning region, and FEVER is a strongly evidence-sensitive positive control across four transformers. The practical lesson is simple: benchmark audits should report metadata-only screening, evidence intervention, and reader-strength calibration together.
","absKo":"우리는 weak-label benchmark를 위한 protocol-level test를 연구한다. 즉, 제공된 evidence에 개입했을 때 benchmark output이 변하는가를 묻는 것이다. metadata만을 이용한 shortcut check는 다른 질문, 즉 output이 metadata prior로부터 예측 가능한가를 묻는다. 따라서 우리는 metadata statistic인 Metadata Prior Dominance Score(MPDS)와, cross-item shuffling 하에서 evidence identity에 대한 민감도를 측정하는 evidence-intervention statistic ΔEvi를 결합한다. Synthetic HotpotQA는 metadata-only screening에 대한 구성된 counterexample을 제공한다. MPDS는 그저 중간 수준(0.643)일 뿐이지만, ΔEvi는 0이다. 더 강한 reader로 다시 실행한 결과는 calibration이 왜 test procedure에 포함되어야 하는지를 보여 준다. SNLI는 calibration reversal을 보이고, reconstructed HotpotQA는 question-dominant warning region에 놓이며, FEVER는 네 개 transformer 전반에서 강하게 evidence-sensitive한 positive control이다. 실무적 교훈은 단순하다. benchmark audit는 metadata-only screening, evidence intervention, reader-strength calibration을 함께 보고해야 한다.","link":"https://openreview.net/forum?id=lNoUCOggKI"},{"id":"IirX30JC4u","en":"Sequential Kernel-based Conditional Independence Testing via Adaptive Betting","ko":"적응적 betting을 이용한 순차적 kernel 기반 조건부 독립성 검정","authors":"Zheng He, Danica J. Sutherland","abs":"Testing conditional independence is fundamental without additional assumptions, Type I error control is impossible in general.
The ``Model-X'' paradigm addresses this difficulty by assuming exact knowledge of a relevant conditional distribution.
While small deviations from this assumption can sometimes be tolerated in classical one-shot testing,
existing sequential conditional independence tests typically require the Model-X conditional to be known exactly,
making them fragile when it must instead be estimated.
We propose a new approach that is substantially more robust to such estimation error.
Our method applies testing-by-betting to an adaptively optimized Kernel Conditional Independence statistic,
together with a normalization scheme and a truncate-and-shift calibration strategy.
These modifications greatly reduce Type I error inflation while preserving high power
across high-dimensional synthetic benchmarks and real-world fairness tasks, outperforming existing sequential Model-X approaches.
Code is available at \\url{https://github.com/he-zh/SKCI}.
","absKo":"conditional independence를 검정하는 것은 기본적으로 중요하지만, 추가 가정 없이는 일반적으로 Type I error를 제어할 수 없다.\n ``Model-X'' 패러다임은 관련 conditional distribution을 정확히 안다고 가정함으로써 이 어려움을 다룬다.\n 이 가정에서의 작은 편차는 고전적인 one-shot testing에서는 때때로 허용될 수 있지만,\n 기존의 sequential conditional independence test는 대체로 Model-X conditional이 정확히 알려져 있어야 하므로,\n 이를 추정해야 하는 상황에서는 취약하다.\n 우리는 이러한 추정 오차에 훨씬 더 robust한 새로운 접근법을 제안한다.\n 우리의 방법은 adaptively optimized Kernel Conditional Independence statistic에 testing-by-betting을 적용하고,\n normalization scheme과 truncate-and-shift calibration strategy를 결합한다.\n 이러한 수정은 Type I error inflation을 크게 줄이는 동시에 높은 power를 유지하며,\n 고차원 synthetic benchmark와 실제 fairness task 전반에서 기존 sequential Model-X 접근법을 능가한다.\n 코드는 \\url{https://github.com/he-zh/SKCI}에서 제공된다.","link":"https://openreview.net/forum?id=IirX30JC4u"},{"id":"dWxOiQVBbL","en":"Optimizing Social Utility in Sequential Experiments","ko":"순차 실험에서 사회적 효용 최적화","authors":"Ander Artola Velasco, Stratis Tsirtsis, Manuel Gomez Rodriguez","abs":"Regulatory approval of products in high-stakes domains such as drug development requires statistical evidence of safety and efficacy through large-scale randomized controlled trials. However, the high financial cost of these trials may deter developers who lack absolute certainty in their product's efficacy, ultimately stifling the development of `moonshot' products that could offer high social utility. To address this inefficiency, in this paper, we introduce a statistical protocol for experimentation where the product developer (the agent) conducts a randomized controlled trial sequentially and the regulator (the principal) partially subsidizes its cost. By modeling the protocol using a belief Markov decision process, we show that the agent's optimal strategy can be found efficiently using dynamic programming. Further, we show that the social utility is a piecewise linear and convex function over the subsidy level the principal selects, and thus the socially optimal subsidy can also be found efficiently using divide-and-conquer. Simulation experiments using publicly available data on antibiotic development and approval demonstrate that our statistical protocol can be used to increase social utility by more than $35$% relative to standard, non-sequential protocols.
","absKo":"약물 개발과 같은 high-stakes domain에서 제품의 규제 승인은 대규모 randomized controlled trial을 통해 안전성과 효능에 대한 통계적 증거를 요구한다. 그러나 이러한 trial의 높은 재정적 비용은 자사 제품의 효능에 대한 절대적 확신이 없는 개발자에게 장벽이 되어, 궁극적으로 높은 사회적 효용을 제공할 수 있는 `moonshot' 제품의 개발을 억제할 수 있다. 이러한 비효율을 해결하기 위해, 본 논문에서는 제품 개발자(agent)가 randomized controlled trial을 순차적으로 수행하고 규제 기관(principal)이 그 비용의 일부를 보조하는 실험용 statistical protocol을 제안한다. 이 protocol을 belief Markov decision process로 모델링함으로써, agent의 최적 전략은 dynamic programming으로 효율적으로 찾을 수 있음을 보인다. 또한 사회적 효용은 principal이 선택한 subsidy level에 대해 piecewise linear하고 convex한 함수임을 보이고, 따라서 사회적으로 최적의 subsidy 역시 divide-and-conquer로 효율적으로 찾을 수 있음을 보인다. 항생제 개발과 승인에 대한 공개 데이터를 사용한 시뮬레이션 실험은, 우리의 statistical protocol이 표준적이고 비순차적인 protocol에 비해 사회적 효용을 35\\% 이상 증가시킬 수 있음을 보여준다.","link":"https://openreview.net/forum?id=dWxOiQVBbL"},{"id":"6LXRnYpv5j","en":"Non-Asymptotic Best Policy Identification Guarantees in Online Reinforcement Learning","ko":"온라인 강화학습에서의 비점근 최적 정책 식별 보장","authors":"Joseph Lazzaro, Alessio Russo, Aldo Pacchiano","abs":"In this work we study the Best Policy Identification (BPI) problem in online, tabular Reinforcement Learning. This is an active sequential hypothesis testing problem in which the learner's objective is to identify an optimal policy in a Markov Decision Process (MDP) with high confidence, while minimizing the expected sample complexity to do so. We consider an online setting with deterministic rewards, where the agent must strategically navigate through the MDP in order to effectively explore. Previous works in the literature have provided asymptotically optimal methods for BPI, such as the Navigate and Stop (NaS) algorithm and its variants, however existing analysis remains asymptotic. In this work, we fill that gap by providing the first non-asymptotic sample complexity guarantees for NaS, showing that its sample complexity depends not only on the characteristic time, but also on the connectivity of the underlying MDP, the curvature of the optimal characteristic time, and other instance-dependent quantities. We identify these additional attributes and make explicit their contributions to the overall sample complexity.
","absKo":"본 연구에서는 online, tabular Reinforcement Learning에서의 Best Policy Identification(BPI) 문제를 다룬다. 이는 학습자의 목표가 Markov Decision Process(MDP)에서 최적 정책을 높은 신뢰도로 식별하는 동시에, 이를 위해 필요한 expected sample complexity를 최소화하는 active sequential hypothesis testing 문제이다. 우리는 deterministic reward를 갖는 online setting을 고려하며, 에이전트는 효과적으로 exploration하기 위해 MDP를 전략적으로 이동해야 한다. 기존 문헌에서는 Navigate and Stop(NaS) algorithm과 그 변형들처럼 BPI에 대한 asymptotically optimal method를 제시했지만, 기존 분석은 여전히 asymptotic에 머물러 있다. 본 연구에서는 NaS에 대한 최초의 non-asymptotic sample complexity guarantee를 제시하여, sample complexity가 characteristic time뿐 아니라 underlying MDP의 connectivity, optimal characteristic time의 curvature, 그리고 기타 instance-dependent quantity에도 의존함을 보인다. 우리는 이러한 추가 속성을 식별하고 전체 sample complexity에 대한 이들의 기여를 명시적으로 밝힌다.","link":"https://openreview.net/forum?id=6LXRnYpv5j"},{"id":"bpEA4BGG5w","en":"Asymptotically Log-Optimal Bayes-Assisted Confidence Sequences for Bounded Mean","ko":"bounded mean을 위한 점근적으로 log-optimal한 Bayes 보조 confidence sequence","authors":"Valentin Kilian, Stefano Cortinovis, Francois Caron","abs":"Confidence sequences based on test martingales provide time-uniform uncertainty quantification for the mean of bounded IID observations without parametric distributional assumptions.
Their practical efficiency, however, depends strongly on the choice of martingale updates, and many existing constructions do not exploit prior information about plausible data-generating distributions or mean values.
We propose a Bayes-assisted framework that uses a Bayesian working predictive model to adaptively construct confidence sequences.
For each candidate mean and time point, the predictive distribution selects, among valid one-step martingale factors, the update maximising predictive expected log-growth;
validity is therefore preserved even when the prior or working model is misspecified.
We prove that if the predictive distribution is Wasserstein-consistent, the resulting procedure is asymptotically log-optimal, matching the per-sample log-growth of an oracle procedure with access to the true distribution.
We instantiate the framework using robust predictives based on Dirichlet-process mixtures and Bayesian exponentially tilted empirical likelihood.
Experiments on synthetic data, sequential best-arm identification for LLM evaluation, and prediction-powered inference show that informative priors can substantially reduce confidence-sequence width and sampling effort while retaining anytime-valid coverage.
","absKo":"test martingale에 기반한 confidence sequence는 parametric distributional assumption 없이 bounded IID observation의 평균에 대해 time-uniform uncertainty quantification을 제공한다.\n 그러나 실제 효율성은 martingale update 선택에 크게 좌우되며, 기존의 많은 구성은 그럴듯한 data-generating distribution이나 평균값에 대한 사전 정보를 활용하지 못한다.\n 우리는 Bayesian working predictive model을 사용해 confidence sequence를 적응적으로 구성하는 Bayes-assisted framework를 제안한다.\n 각 후보 평균과 시간점에 대해, predictive distribution은 유효한 one-step martingale factor들 중 predictive expected log-growth를 최대화하는 update를 선택한다.\n 따라서 prior나 working model이 misspecification되어 있어도 valid함은 유지된다.\n 우리는 predictive distribution이 Wasserstein-consistent이면, 결과 절차가 점근적으로 log-optimal하며, 이는 실제 distribution에 접근 가능한 oracle procedure의 샘플당 log-growth과 일치함을 증명한다.\n 우리는 Dirichlet-process mixture와 Bayesian exponentially tilted empirical likelihood에 기반한 robust predictive를 사용해 이 framework를 구체화한다.\n synthetic data, LLM evaluation을 위한 sequential best-arm identification, 그리고 prediction-powered inference에서의 실험은 informative prior가 anytime-valid coverage를 유지하면서 confidence-sequence width와 sampling effort를 상당히 줄일 수 있음을 보여준다.","link":"https://openreview.net/forum?id=bpEA4BGG5w"},{"id":"tby1I9Zioi","en":"Full Conformal Prediction under Stochastic Non-Conformity Measure","ko":"확률적 비적합성 측도 하의 완전 Conformal Prediction","authors":"Thanawat Sornwanee","abs":"The theory of full conformal prediction uses deterministic non-conformity measure, but modern usage of full conformal prediction often relies on machine learning training, making stochasticity inevitable. A simple sufficient condition of almost sure permutation invariance of the non-conformity measure can be too restrictive, so many have suggested the relaxation to permutation in distribution as a condition for full conformal prediction validity. We, however, show that this commonly known condition is actually insufficient. We then provide a correct sufficient condition: \\emph{Conditional Independence & Permutation Invariance in Distribution}, which encompasses several stochastic settings that may be used in machine learning.
","absKo":"full conformal prediction의 theory는 deterministic non-conformity measure를 사용하지만, 현대의 full conformal prediction 사용은 machine learning training에 의존하는 경우가 많아 stochasticity가 불가피하다. non-conformity measure가 almost surely permutation invariant하다는 간단한 충분조건은 지나치게 제한적일 수 있으므로, 많은 이들이 full conformal prediction의 validity 조건으로 permutation in distribution으로의 완화를 제안해 왔다. 그러나 우리는 이 널리 알려진 조건이 실제로는 충분하지 않음을 보인다. 이어서 우리는 올바른 충분조건인 \\emph{Conditional Independence & Permutation Invariance in Distribution}을 제시하는데, 이는 machine learning에서 사용될 수 있는 여러 stochastic setting을 포괄한다.","link":"https://openreview.net/forum?id=tby1I9Zioi"},{"id":"11RGUr7owf","en":"Tippett-minimum Fusion of Representation-space Diffusion Models for Multi-Encoder Out-of-Distribution Detection","ko":"representation-space diffusion model의 Tippett-minimum fusion을 이용한 multi-encoder out-of-distribution 탐지","authors":"Neelkamal Bhuyan","abs":"We address out-of-distribution (OOD) detection across the full spectrum of
distribution shifts $-$ global domain changes, semantic divergence, texture differences,
and covariate corruptions $-$ through a multi-encoder fusion of per-encoder representation-space
diffusion models (RDMs).
We statistically identify each encoder's sensitivity to specific shift types from ID
data alone and introduce EncMin2L $-$ an encoder-agnostic two-level $\\min(\\cdot)$-gate that
combines and calibrates per-encoder diffusion-based likelihood detectors without OOD
labels, outperforming monolithic multi-encoder baselines at $2.3 \\times$ lower
parameter cost.
Two ID-data diagnostics: $\\eta^2$ (class-conditional F-test) and $\\Delta\\mu$
(log-likelihood shift under synthetic corruptions) $-$ quantify encoder specialization,
while a Tippett minimum $p$-value combination aggregates per-encoder scores into a
single, calibration-stable OOD signal.
EncMin2L achieves $\\geq 0.94$ AUROC across all four shift types simultaneously,
outperforming the state-of-the-art latent-space diffusion OOD detectors across overlapping benchmarks.
","absKo":"우리는 distribution shift의 전 스펙트럼, 즉 global domain change, semantic divergence, texture difference, covariate corruption 전반에 걸친 out-of-distribution (OOD) detection을 per-encoder representation-space diffusion model (RDM)의 multi-encoder fusion을 통해 다룬다.\n우리는 ID 데이터만으로 각 encoder의 특정 shift type에 대한 민감도를 통계적으로 식별하고, EncMin2L을 도입한다. EncMin2L은 OOD label 없이도 per-encoder diffusion-based likelihood detector를 결합하고 보정하는 encoder-agnostic two-level $\\min(\\cdot)$-gate로, parameter cost가 $2.3 \\times$ 더 낮음에도 monolithic multi-encoder baseline보다 우수하다.\n두 가지 ID-data diagnostic, 즉 $\\eta^2$ (class-conditional F-test)와 $\\Delta\\mu$ (synthetic corruption 하에서의 log-likelihood shift)는 encoder specialization을 정량화하며, Tippett minimum $p$-value combination은 per-encoder score를 단일하고 calibration-stable한 OOD signal로 집계한다.\nEncMin2L은 네 가지 shift type 모두에서 동시에 $\\geq 0.94$ AUROC를 달성하며, 겹치는 benchmark 전반에서 최신 latent-space diffusion OOD detector를 능가한다.","link":"https://openreview.net/forum?id=11RGUr7owf"},{"id":"63uW2qFBEj","en":"Incentive design in sequential statistical protocols","ko":"순차적 통계 프로토콜에서의 인센티브 설계","authors":"Drew T Nguyen, Alireza Fallah, Michael I. Jordan","abs":"Many statistical protocols are deployed inside incentive systems: firms decide
whether to run and submit trials, researchers decide which projects to pursue, and
regulators or conferences commit to approval rules before observing outcomes. We
study a sequential principal-agent model of hypothesis testing in which a principal
commits to a history-dependent testing threshold and an agent chooses costly effort and
submission. The principal observes only public testing outcomes, not the latent quality
that determines social value. Even in this no-feedback environment, dynamic testing
rules can create continuation incentives that encourage effort and selective submission.
We illustrate this effect in a two-period construction and analyze timeout policies in an
infinite-horizon discounted setting, showing how future access to testing can substitute
for direct observation of the agent’s private information.
","absKo":"많은 통계적 프로토콜은 인센티브 시스템 안에서 수행된다. 기업은 trial을 실행하고 제출할지 결정하고, 연구자는 어떤 프로젝트를 추진할지 결정하며, 규제기관이나 conference는 결과를 보기 전에 승인 규칙을 확정한다. 우리는 principal이 history-dependent testing threshold에 약속하고 agent가 비용이 드는 effort와 submission을 선택하는 hypothesis testing의 순차적 principal-agent model을 연구한다. principal은 공적 testing outcome만 관찰할 수 있고, 사회적 가치를 결정하는 latent quality는 볼 수 없다. 이러한 no-feedback 환경에서도 동적 testing rule은 continuation incentive를 만들어 effort와 선택적 submission을 장려할 수 있다. 우리는 두 기간 구성에서 이 효과를 보이고, 무한 수평선 할인 설정에서 timeout policy를 분석하여, 미래의 testing 접근이 agent의 사적 정보에 대한 직접 관측을 어떻게 대체할 수 있는지 보여준다.","link":"https://openreview.net/forum?id=63uW2qFBEj"},{"id":"o6kTK2MJxl","en":"Statistical Testing of Large Language Model Reasoning","ko":"대규모 언어 모델 추론의 통계적 검정","authors":"Didier Chételat, Han Zhou, Reza Moravej, Joseph Cotnareanu, Yingxue Zhang, Mark Coates","abs":"Improvements in the linguistic abilities of Large Language Models have made it increasingly difficult to distinguish between correct or incorrect answers they might provide in response to a query. In response, many so-called confidence measures have been developed that quantify the degree of confidence an LLM has in an answer based on a given reasoning, at little to no additional cost beyond what was needed to generate the answer. Given such a measure, the answer is then presented to the user only if the confidence is above a certain pre-defined threshold. In this work, we argue that such a procedure can be reinterpreted as a statistical test based on a single reasoning sample, and to improve its power, we propose instead to generalize the test to a mean of multiple samples. To keep the additional computation reasonable, we propose a novel procedure called StepBootstrap which generates alternative reasoning paths at low cost by resampling steps. We show that its confidence measures capture well the ideal distribution, from which we derive a more powerful test while keeping the computational overhead low.
","absKo":"Large Language Models의 언어 능력이 향상되면서, 질의에 대해 이들이 제공할 수 있는 정답 또는 오답을 구분하는 일이 점점 더 어려워지고 있다. 이에 대응하여, 많은 이른바 confidence measure가 개발되었는데, 이는 답을 생성하는 데 필요한 것 외에 거의 추가 비용 없이, 주어진 reasoning에 기반해 LLM이 해당 답에 대해 가지는 confidence의 정도를 정량화한다. 이러한 measure가 주어지면, 답은 confidence가 미리 정의된 특정 threshold를 넘을 때만 사용자에게 제시된다. 본 연구에서는 이러한 절차를 단일 reasoning sample에 기반한 statistical test로 재해석할 수 있다고 주장하며, 그 power를 높이기 위해 여러 sample의 mean으로 test를 일반화하는 방식을 제안한다. 추가 계산을 합리적인 수준으로 유지하기 위해, step을 resampling하여 낮은 비용으로 대체 reasoning path를 생성하는 StepBootstrap이라는 새로운 절차를 제안한다. 우리는 이 절차의 confidence measure가 이상적인 distribution을 잘 포착함을 보이고, 이를 바탕으로 계산 오버헤드는 낮게 유지하면서 더 강력한 test를 도출한다.","link":"https://openreview.net/forum?id=o6kTK2MJxl"},{"id":"enYvDta9dE","en":"WATCH: Adaptive Monitoring for AI Deployments via Weighted-Conformal Martingales","ko":"WATCH: 가중 conformal martingale을 활용한 AI 배포용 적응형 모니터링","authors":"Drew Prinster, Xing Han, Anqi Liu, Suchi Saria","abs":"Responsibly deploying artificial intelligence (AI) / machine learning (ML) systems in high-stakes settings arguably requires not only proof of system reliability, but also continual, post-deployment monitoring to quickly detect and address any unsafe behavior. Methods for nonparametric sequential testing---especially conformal test martingales (CTMs) and anytime-valid inference---offer promising tools for this monitoring task. However, existing approaches are restricted to monitoring limited hypothesis classes or ``alarm criteria'' (e.g., detecting data shifts that violate certain exchangeability or IID assumptions), do not allow for online adaptation in response to shifts, and/or cannot diagnose the cause of degradation or alarm. In this paper, we address these limitations by proposing a weighted generalization of conformal test martingales (WCTMs), which lay a theoretical foundation for online monitoring for any unexpected changepoints in the data distribution while controlling false-alarms. For practical applications, we propose specific WCTM algorithms that adapt online to mild covariate shifts (in the marginal input distribution), quickly detect harmful shifts, and diagnose those harmful shifts as concept shifts (in the conditional label distribution) or extreme (out-of-support) covariate shifts that cannot be easily adapted to. On real-world datasets, we demonstrate improved performance relative to state-of-the-art baselines.
","absKo":"고위험 환경에서 artificial intelligence(AI) / machine learning(ML) 시스템을 책임 있게 배포하려면 시스템의 신뢰성에 대한 증명뿐 아니라, 안전하지 않은 행동을 신속히 탐지하고 대응하기 위한 지속적인 배포 후 모니터링도 필요하다는 주장이 타당하다. 비모수적 sequential testing을 위한 방법들, 특히 conformal test martingale(CTM)과 anytime-valid inference는 이러한 모니터링 과제에 유망한 도구를 제공한다. 그러나 기존 접근법은 제한된 가설 클래스나 ``alarm criterion''(예: exchangeability 또는 IID 가정을 위반하는 data shift 탐지)만 모니터링하도록 제한되며, shift에 대응한 online adaptation을 허용하지 않거나, 성능 저하나 alarm의 원인을 진단할 수 없다. 본 논문에서는 false alarm을 제어하면서 데이터 분포의 예상치 못한 모든 changepoint에 대해 online monitoring의 이론적 기반을 마련하는, weighted generalization of conformal test martingale(WCTM)을 제안함으로써 이러한 한계를 해결한다. 실제 적용을 위해 우리는 marginal input distribution에서의 경미한 covariate shift에 online으로 적응하고, 유해한 shift를 신속히 탐지하며, 그러한 유해한 shift를 concept shift(conditional label distribution) 또는 쉽게 적응할 수 없는 극단적(out-of-support) covariate shift로 진단하는 구체적인 WCTM algorithm을 제안한다. 실제 데이터셋에서 우리는 state-of-the-art baseline에 비해 향상된 성능을 보인다.","link":"https://openreview.net/forum?id=enYvDta9dE"},{"id":"23yzz0hvtn","en":"Strategic Hypothesis Testing","ko":"전략적 가설 검정","authors":"Yatong Chen, Safwan Hossain, Yiling Chen","abs":"We examine hypothesis testing within a principal-agent framework, where a strategic agent, holding private beliefs about the effectiveness of a product, submits data to a principal who decides on approval. The principal employs a hypothesis testing rule, aiming to pick a p-value threshold that balances false positives and false negatives while anticipating the agent’s incentive to maximize expected profitability. Building on prior work, we develop a game-theoretic model that captures how the agent’s participation and reporting behavior respond to the principal’s statistical decision rule. Despite the complexity of the interaction, we show that the principal's errors exhibit clear monotonic behavior when segmented by an efficiently computable critical p-value threshold, leading to an interpretable characterization of their optimal p-value threshold. We empirically validate our model and these insights using publicly available data on drug approvals. Overall, our work offers a comprehensive perspective on strategic interactions within the hypothesis testing framework, providing technical and regulatory insights.
","absKo":"우리는 principal-agent framework 내에서 hypothesis testing을 살펴본다. 여기서 제품의 효과에 대해 private beliefs를 가진 strategic agent가 principal에게 데이터를 제출하고, principal은 approval 여부를 결정한다. principal은 hypothesis testing rule을 사용하며, agent가 expected profitability를 극대화하려는 유인을 고려하면서 false positive와 false negative를 균형 있게 조절하는 p-value threshold를 선택하려 한다. 기존 연구를 바탕으로, 우리는 agent의 참여와 reporting behavior가 principal의 statistical decision rule에 어떻게 반응하는지를 포착하는 game-theoretic model을 개발한다. 상호작용이 복잡함에도 불구하고, 우리는 계산 효율적으로 구할 수 있는 critical p-value threshold를 기준으로 구간을 나누면 principal의 error가 뚜렷한 monotonic behavior를 보임을 보이고, 이를 통해 최적 p-value threshold의 해석 가능한 특성을 도출한다. 우리는 공개된 drug approvals 데이터를 사용해 우리 model과 이러한 통찰을 실증적으로 검증한다. 전반적으로, 본 연구는 hypothesis testing framework 내의 strategic interactions에 대한 포괄적 관점을 제공하며, 기술적 및 규제적 통찰을 제시한다.","link":"https://openreview.net/forum?id=23yzz0hvtn"},{"id":"0DvO21uDPZ","en":"E-valuator: Reliable Agent Verifiers with Sequential Hypothesis Testing","ko":"E-valuator: 순차 가설 검정을 이용한 신뢰할 수 있는 Agent 검증기","authors":"Shuvom Sadhuka, Drew Prinster, Clara Fannjiang, Gabriele Scalia, Bonnie Berger, Aviv Regev, Hanchen","abs":"_Agentic_ AI systems execute a sequence of actions, such as reasoning, coding or tool calls, in response to user prompts.
To evaluate the success of their trajectories, researchers have developed verifiers, such as process-reward models, to score the quality of each action in an agent's trajectory. Although these heuristic scores can be informative, there are no guarantees of correctness when used to decide whether an agent will yield a successful output.
Here, we introduce _e-valuator_, a method to convert any black-box verifier score into a decision rule with provable control of false alarm rates.
We frame the problem of distinguishing a successful trajectory---that is, a sequence of actions that will lead to a correct response to the user's prompt---from an unsuccessful trajectory as a sequential hypothesis testing problem. E-valuator develops a sequential hypothesis test that remains valid at every step of an agent's trajectory, enabling online monitoring of agents.
Empirically, we demonstrate that e-valuator provides greater statistical power and better false alarm rate control than other strategies across six datasets and three agents.
We additionally show that e-valuator can quickly terminate unsuccessful trajectories to save tokens. Together, e-valuator provides a lightweight framework that converts verifier heuristics into decision rules with statistical guarantees, enabling the deployment of reliable agents.
","absKo":"_Agentic_ AI system은 user prompt에 응답하여 reasoning, coding, tool call과 같은 일련의 action을 실행한다.\n그 trajectory의 성공을 평가하기 위해 연구자들은 agent trajectory의 각 action 품질을 점수화하는 process-reward model과 같은 verifier를 개발해 왔다. 이러한 heuristic score는 유용할 수 있지만, agent가 성공적인 output을 낼지 여부를 결정하는 데 사용할 때 정당성에 대한 보장은 없다.\n여기서는 임의의 black-box verifier score를 false alarm rate를 provably control하는 decision rule로 변환하는 방법인 _e-valuator_를 소개한다.\n우리는 성공적인 trajectory---즉, user prompt에 대한 올바른 response로 이어질 action sequence---와 실패한 trajectory를 구분하는 문제를 sequential hypothesis testing problem으로 정식화한다. E-valuator는 agent trajectory의 매 step마다 유효성을 유지하는 sequential hypothesis test를 구성하여 agent를 online으로 모니터링할 수 있게 한다.\n실험적으로, e-valuator가 여섯 개 데이터셋과 세 개 agent 전반에서 다른 전략들보다 더 높은 statistical power와 더 나은 false alarm rate control을 제공함을 보인다.\n또한 e-valuator가 실패한 trajectory를 빠르게 종료하여 token을 절약할 수 있음도 보인다. 종합하면, e-valuator는 verifier heuristic을 statistical guarantee를 갖는 decision rule로 변환하는 lightweight framework를 제공하여, 신뢰할 수 있는 agent의 배치를 가능하게 한다.","link":"https://openreview.net/forum?id=0DvO21uDPZ"},{"id":"R4F3Nixhhc","en":"Anytime-Valid Hypothesis Testing for Sparse Autoencoder Feature Validation","ko":"Sparse autoencoder feature 검증을 위한 언제나 유효한 가설 검정","authors":"Rudransh Khera","abs":"Sparse autoencoders have become a standard tool for interpreting the internal representations of neural language models, but feature validation remains largely correlational and ad hoc. We introduce a sequential, anytime-valid hypothesis testing framework for validating SAE features against a causal necessity criterion. For each candidate feature, we construct an e-process from paired ablation interventions; across large feature dictionaries, we control the false discovery rate using the e-BH procedure, which is valid under arbitrary dependence between feature-level e-values, and which lets researchers stop at any sample size without inflating Type-I error. On a synthetic task with oracle ground truth, our procedure controls FDR below the target level (empirical FDP $= 0.000 \\pm 0.000$ across 10 seeds at $\\alpha = 0.05$) while recovering features in proportion to their causal effect size. On GPT-2 small with publicly available residual-stream SAEs, our procedure recovers six features on the indirect object identification benchmark at $\\alpha = 0.05$ from $K = 89$ candidates, while Model-X knockoffs with a Gaussian fit recover none on the same data; five of the six recovered features have published interpretations directly aligned with the task structure.
","absKo":"희소 autoencoder는 neural language model의 내부 표현을 해석하는 표준 도구가 되었지만, feature validation은 여전히 대체로 상관적이며 ad hoc 방식에 머물러 있다. 우리는 causal necessity criterion에 대해 SAE feature를 검증하기 위한 sequential, anytime-valid hypothesis testing framework를 제안한다. 각 후보 feature에 대해, 쌍을 이룬 ablation intervention으로부터 e-process를 구성한다. 대규모 feature dictionary 전반에서는 feature-level e-value 사이의 임의의 dependence 하에서도 유효한 e-BH procedure를 사용해 false discovery rate를 제어하며, 이를 통해 연구자는 Type-I error를 부풀리지 않고도 임의의 sample size에서 중단할 수 있다. oracle ground truth가 있는 synthetic task에서는, 우리의 절차가 목표 수준 이하로 FDR을 제어하고(empirical FDP $= 0.000 \\pm 0.000$, 10 seeds, $\\alpha = 0.05$), causal effect size에 비례하여 feature를 복원한다. 공개된 residual-stream SAEs를 사용한 GPT-2 small에서는, indirect object identification benchmark에서 $\\alpha = 0.05$ 및 $K = 89$ candidates 중 6개의 feature를 복원한 반면, Gaussian fit을 사용한 Model-X knockoff은 동일 데이터에서 하나도 복원하지 못했다; 복원된 6개 feature 중 5개는 task structure와 직접 정렬되는 published interpretation을 갖는다.","link":"https://openreview.net/forum?id=R4F3Nixhhc"},{"id":"o8aRR9YuxE","en":"A Statistical Framework for Mechanistic Claims in Neural Networks: The Predict--Intervene--Validate Pipeline","ko":"신경망의 기계론적 주장에 대한 통계적 프레임워크: Predict-Intervene-Validate 파이프라인","authors":"Zacharie Bugaud","abs":"Mechanistic interpretability makes causal claims about neural network internals, yet lacks a standardised statistical framework for validating them. We propose PIV (Predict-Intervene-Validate), a three-stage pipeline for establishing mechanistic claims with quantifiable confidence: (1) Predict: derive a falsifiable prediction from the mechanism and test it blind on held-out models, requiring pre-registration of the certificate before test data generation; (2) Intervene: perform causal interventions (weight surgery, clamping) with proper controls and dose-response analysis, reporting effect sizes and confounds; (3) Validate: test OOD generalisation of the claim itself, not just the model, using hyperparameter-frozen transfer. We instantiate PIV on a concrete mechanism (input-invariant dimensions in Elman RNNs) and demonstrate its discriminative power: blind prediction achieves AUROC $0.97$ on $300$ fresh models, with the pre-registered precision-optimal operating point reaching $97.8\\%$ precision (balanced accuracy $0.71$ at that operating point; Wilson $95\\%$ CIs reported for every rate), while $13$ of $15$ candidate hypotheses are rejected; confound-controlled surgery produces $393/393$ causal breaks on the hypothesised mechanism (cluster-bootstrap $p<10^{-30}$, robust to arbitrary within-model dependence); and hyperparameter-frozen OOD transfer at $12.5\\times$ scaling achieves $160/160$ (beta-binomial null with model-level over-dispersion: $p<10^{-71}$). We derive sample-size guidelines for each PIV stage via power analysis, enabling practitioners to design adequately powered studies. The framework applies to any population-level mechanistic claim and is released as a checklist for mechanistic interpretability submissions, together with the piv Python package and a demo notebook.
","absKo":"Mechanistic interpretability는 neural network 내부에 대해 인과적 주장을 하지만, 이를 검증하기 위한 표준화된 statistical framework는 부족하다. 우리는 PIV(Predict-Intervene-Validate)를 제안한다. 이는 정량화 가능한 confidence로 mechanistic claim을 확립하기 위한 3단계 pipeline이다: (1) Predict: mechanism으로부터 falsifiable prediction을 도출하고 held-out model에서 blind하게 검정하며, test data 생성 전에 certificate의 pre-registration을 요구한다. (2) Intervene: 적절한 control과 dose-response analysis를 동반한 causal intervention(weight surgery, clamping)을 수행하고, effect size와 confound를 보고한다. (3) Validate: 단지 model이 아니라 claim 자체의 OOD generalization을 hyperparameter-frozen transfer로 검정한다. 우리는 PIV를 구체적인 mechanism(input-invariant dimensions in Elman RNNs)에 적용하고 그 판별력을 입증한다. blind prediction은 300개의 새 모델에서 AUROC $0.97$을 달성하며, 사전 등록된 precision-optimal operating point는 $97.8\\%$ precision에 도달한다(그 operating point에서 balanced accuracy는 $0.71$이며, 모든 rate에 대해 Wilson $95\\%$ CI를 보고). 동시에 $15$개의 후보 hypothesis 중 $13$개가 기각된다. confound-controlled surgery는 가설화된 mechanism에 대해 $393/393$의 causal break를 산출하며(cluster-bootstrap $p<10^{-30}$, model 내부의 임의 dependence에 대해 robust), hyperparameter-frozen OOD transfer는 $12.5\\times$ scaling에서 $160/160$을 달성한다(beta-binomial null with model-level over-dispersion: $p<10^{-71}$). 우리는 각 PIV 단계에 대한 power analysis를 통해 sample-size guideline을 도출하여, 실무자가 충분한 검정력을 가진 연구를 설계할 수 있게 한다. 이 framework는 집단 수준의 모든 mechanistic claim에 적용 가능하며, mechanistic interpretability 제출용 checklist와 함께 piv Python package 및 demo notebook으로 공개한다.","link":"https://openreview.net/forum?id=o8aRR9YuxE"},{"id":"UHQrZmIlOn","en":"Black-Box Detection of LLM-Generated Text Using Generalized Jensen Shannon Divergence","ko":"일반화된 Jensen-Shannon divergence를 이용한 LLM 생성 텍스트의 black-box 탐지","authors":"Shuangyi Chen, Ashish J Khisti","abs":"We study black-box detection of machine-generated text under practical constraints: the scoring model (proxy LM) may mismatch the unknown source model, and per-input contrastive generation is costly. We propose SurpMark, a reference-based detector that summarizes a passage by the dynamics of its token surprisals. SurpMark discretizes surprisals into interpretable states, estimates a state-transition matrix for the test text, and scores it via a generalized Jensen–Shannon (GJS) gap between the test transitions and two fixed references (human vs. machine) built once from existing corpora. Theoretically, we derive design guidance for how the discretization bins should scale with data and provide a principled justification for our test statistic. Empirically, across multiple datasets, source models, and scenarios, SurpMark consistently matches or surpasses baselines, demonstrating strong robustness across domains and generators; our experiments on hyperparameter sensitivity exhibit trends that our theoretical results help to explain.
","absKo":"우리는 실용적 제약 하에서 machine-generated text의 black-box detection을 연구한다. 여기서 scoring model(proxy LM)은 알려지지 않은 source model과 불일치할 수 있고, input별 contrastive generation은 비용이 크다. 우리는 passage를 그 token surprisal의 dynamics로 요약하는 reference-based detector SurpMark를 제안한다. SurpMark는 surprisal을 해석 가능한 state로 이산화하고, test text에 대한 state-transition matrix를 추정한 뒤, 기존 corpus에서 한 번만 구축한 두 개의 고정 reference(human vs. machine)와 test transition 사이의 generalized Jensen–Shannon(GJS) gap으로 이를 score한다. 이론적으로 우리는 이산화 bin이 data에 따라 어떻게 스케일되어야 하는지에 대한 설계 지침을 도출하고, 우리의 test statistic에 대한 원리 기반 정당화를 제시한다. 경험적으로는 여러 dataset, source model, scenario 전반에서 SurpMark가 baseline과 일관되게 동등하거나 더 우수한 성능을 보이며, 도메인과 generator에 걸친 강한 robustness를 입증한다. hyperparameter sensitivity에 대한 실험은 우리의 이론적 결과가 설명하는 경향을 보여준다.","link":"https://openreview.net/forum?id=UHQrZmIlOn"},{"id":"jPLicfZ3WY","en":"Sticks and Stones: Positive vs. Negative Emotional Prompt Framings","ko":"막대기와 돌: 긍정적 vs. 부정적 감정 프롬프트 프레이밍","authors":"Vipul Joshi, Vikash Sharma, Anurag Tripathi, Peyush jain, Ujjal Das, Archan Karmakar","abs":"Behavioral claims about large language models frequently rest on evaluations with fewer than 50 observations per cell, no pre-specified hypotheses, and no within-subjects control for item difficulty. We illustrate the cost of this practice and the value of adequately powered testing through a case study on emotional prompt framing, a technique reported to improve accuracy by 8--115\\% in the original EmotionPrompt work. Two competing theories predict opposite valence effects: the sycophancy account predicts praise degrades accuracy, while the stress-degradation account predicts threats do. We pre-specify four hypotheses and run 28{,}000 within-subjects trials across five 2026 frontier LLMs and four reasoning benchmarks (12{,}000 positive + 12{,}000 negative + 4{,}000 neutral), comparing positive framings, negative framings, and neutral baselines at three intensity levels. From a pooled neutral baseline of 88.9\\%, three independent analyses (pooled t-test, paired within-subjects, and linear mixed-effects with item- and model-level random intercepts, item ICC $= 0.51$) converge on the same point estimate for the central H3 contrast: positive and negative framings are indistinguishable ($+0.04$pp, $p = 0.91$, paired 95\\% CI $[-0.34, +0.42]$pp, Cohen's $d \\approx 0.001$). This CI rules out asymmetries larger than about half a percentage point, well below the 2--5pp magnitudes the sycophancy and stress-degradation literatures report on comparable tasks. Both emotional framings directionally underperform neutral by 1.3--1.4pp (raw $p \\approx 0.02$, Holm-adjusted $p \\approx 0.06$, $d \\approx -0.04$); the effects are suggestive but do not survive family-wise correction. A non-emotional distractor control, added after observing the main null and therefore exploratory rather than pre-specified, further supports a task-irrelevant-distraction reading. The original 8--115\\% claim, estimated from 13--20 items, does not survive a design with 200--1{,}319 items per cell and within-subjects pairing.
","absKo":"large language model에 대한 행동적 주장은 종종 cell당 관측치가 50개 미만이고, 사전 지정된 hypothesis가 없으며, item difficulty에 대한 within-subjects control도 없는 평가에 기반합니다. 우리는 original EmotionPrompt 연구에서 정확도를 8--115\\% 향상시킨다고 보고된 emotional prompt framing을 사례 연구로 삼아, 이러한 관행의 비용과 충분한 검정력(power)을 갖춘 testing의 가치를 설명합니다. 두 경쟁 이론은 서로 반대되는 valence effect를 예측합니다. sycophancy account는 praise가 정확도를 떨어뜨린다고 예측하고, stress-degradation account는 threat가 그렇게 만든다고 예측합니다. 우리는 네 개의 hypothesis를 사전 지정하고, 2026년 최전선 frontier LLM 5개와 reasoning benchmark 4개에 걸쳐 28{,}000회의 within-subjects trial을 수행했으며(positive 12{,}000 + negative 12{,}000 + neutral 4{,}000), 세 가지 intensity level에서 positive framing, negative framing, neutral baseline을 비교했습니다. pooled neutral baseline 88.9\\%에서, 세 가지 독립적 분석(pooled t-test, paired within-subjects, item-level과 model-level random intercept를 포함한 linear mixed-effects, item ICC $= 0.51$)은 central H3 contrast에 대해 동일한 point estimate로 수렴합니다. 즉, positive와 negative framing은 구분되지 않습니다($+0.04$pp, $p = 0.91$, paired 95\\% CI $[-0.34, +0.42]$pp, Cohen's $d \\approx 0.001$). 이 CI는 약 반 퍼센트포인트보다 큰 비대칭성을 배제하며, 이는 sycophancy 및 stress-degradation 문헌이 유사한 task에서 보고하는 2--5pp 규모보다 훨씬 작습니다. 두 감정 framing 모두 neutral보다 1.3--1.4pp 낮은 경향을 보였지만(raw $p \\approx 0.02$, Holm-adjusted $p \\approx 0.06$, $d \\approx -0.04$), 효과는 시사적이지만 family-wise correction을 통과하지는 못했습니다. main null을 관찰한 뒤 추가된 non-emotional distractor control은 사전 지정된 것이 아니라 exploratory였지만, task-irrelevant-distraction 해석을 더 뒷받침합니다. 13--20개 item에서 추정된 original 8--115\\% 주장은 cell당 200--1{,}319개 item과 within-subjects pairing을 갖춘 design에서는 유지되지 않았습니다.","link":"https://openreview.net/forum?id=jPLicfZ3WY"},{"id":"Qec9ebeqpB","en":"Safe Particle Selection for Diffusion Steering","ko":"Diffusion Steering을 위한 안전한 파티클 선택","authors":"Kianoosh Ashouritaklimi, Leo Zhang, Iskander Azangulov","abs":"We consider the problem particle selection for diffusion steering, where each current particle is branched, candidate children are evaluated by stochastic rollouts, and only a subset is propagated to the next denoising step. Standard Tweedie plug-in selection is computationally attractive, but for nonlinear rewards it can underestimate high-value ambiguous particles and prune them too early. We propose \\textbf{Safe Particle Selection (SPS)}, which uses the Tweedie plug-in only as a proxy while making pruning decisions through anytime-valid confidence sequences built from e-processes. This yields finite-sample no-false-prune guarantees under adaptive rollout allocation, and the guarantee composes across the diffusion trajectory. Preliminary synthetic experiments show that our method better tracks the oracle, reduces cumulative regret, and retains more genuinely high-value particles than plug-in selection.
","absKo":"우리는 diffusion steering에서의 particle selection 문제를 다룬다. 여기서는 각 현재 particle이 branch로 분기되고, 후보 자식들은 stochastic rollout으로 평가되며, 그중 일부만 다음 denoising step으로 전달된다. 표준 Tweedie plug-in selection은 계산적으로 매력적이지만, nonlinear reward에서는 가치가 높은 ambiguous particle을 과소평가해 너무 일찍 제거할 수 있다. 우리는 Tweedie plug-in을 proxy로만 사용하고, pruning decision은 e-process에서 구성한 anytime-valid confidence sequence를 통해 내리는 \\textbf{Safe Particle Selection (SPS)}를 제안한다. 이는 adaptive rollout allocation 하에서 finite-sample no-false-prune 보장을 제공하며, 이 보장은 diffusion trajectory 전체에 걸쳐 합성된다. 초기 synthetic experiment는 우리의 방법이 oracle을 더 잘 추적하고, cumulative regret를 줄이며, plug-in selection보다 진정으로 고가치인 particle을 더 많이 유지함을 보여준다.","link":"https://openreview.net/forum?id=Qec9ebeqpB"},{"id":"lLXfbgX9fk","en":"Prediction--Powered Active Testing","ko":"예측 기반 능동 테스트","authors":"Kianoosh Ashouritaklimi, Valentin Kilian, Tom Rainforth, Francois Caron","abs":"Active testing estimates model risk from a large unlabelled test pool under a limited labelling budget.
We propose Prediction--Powered Active Testing (PPAT), which combines the LURE estimator with a control variate built from cheap black--box predictions on the full pool, yielding an unbiased estimator with reduced variance. On real regression benchmarks, PPAT remains unbiased and consistently achieves lower variance than both LURE and random sampling.
","absKo":"Active testing은 제한된 labeling budget 아래에서 큰 unlabeled test pool로부터 model risk를 추정한다.\n우리는 Prediction--Powered Active Testing(PPAT)을 제안하는데, 이는 LURE estimator와 전체 pool에 대한 저렴한 black--box prediction으로 구성한 control variate를 결합하여 분산을 줄인 unbiased estimator를 제공한다. 실제 regression benchmark에서 PPAT는 unbiased성을 유지하면서 LURE와 random sampling보다 일관되게 더 낮은 variance를 달성한다.","link":"https://openreview.net/forum?id=lLXfbgX9fk"},{"id":"cyCzrYOOSi","en":"Cycle-Aware Spectral Testing for Community Structure via Renewal Non-Backtracking Random Walks","ko":"renewal non-backtracking random walk를 이용한 커뮤니티 구조의 cycle-aware spectral testing","authors":"Behnaz Moradijamei, Heman Shakeri","abs":"We study goodness-of-fit testing for community structure in networks. Classical spectral tests for the Erdős–Rényi null rely on adjacency information alone and can lose power in sparse or weak-signal regimes. We propose RNBRW-GOF, a cycle-aware spectral test based on renewal non-backtracking random walk retracing probabilities. The method replaces the adjacency matrix by a centered and normalized matrix of RNBRW edge weights and rejects for large values of its largest eigenvalue. On the theory side, we prove exact null centering under edge exchangeability, crude second-moment control, and finite-walk concentration for empirical RNBRW weights. We also establish sparse-regime local dependence decay for bounded truncated scores and derive truncation and normalization results that support the use of RNBRW-based spectral calibration. These results do not yield a full universality theorem for the final matrix statistic; accordingly, inference is theory-motivated and simulation-calibrated via a Bartlett-type correction together with a Tracy–Widom type 1 reference law. Across simulated Erdős–Rényi nulls, the corrected statistic is reasonably calibrated in moderate and large graphs. Under assortative stochastic block alternatives, RNBRW-GOF improves over adjacency-based spectral testing in several sparse and weak-signal regimes and remains competitive with a non-backtracking spectral baseline, which is itself highly competitive in intermediate regimes. Overall, the results position RNBRW-GOF as a practically calibrated, cycle-aware goodness-of-fit test for assortative community structure.
","absKo":"우리는 네트워크에서 community structure에 대한 goodness-of-fit testing을 연구한다. Erdős–Rényi null에 대한 고전적 spectral test는 adjacency 정보만에 의존하며, sparse하거나 signal이 약한 regime에서 power를 잃을 수 있다. 우리는 renewal non-backtracking random walk retracing probability에 기반한 cycle-aware spectral test인 RNBRW-GOF를 제안한다. 이 방법은 adjacency matrix를 RNBRW edge weight의 centered and normalized matrix로 대체하고, 가장 큰 eigenvalue가 클 때 귀무가설을 기각한다. 이론적으로는 edge exchangeability 하에서 정확한 null centering, 대략적인 second-moment control, 그리고 empirical RNBRW weight에 대한 finite-walk concentration을 증명한다. 또한 bounded truncated score에 대한 sparse-regime local dependence decay를 확립하고, RNBRW 기반 spectral calibration의 사용을 뒷받침하는 truncation 및 normalization 결과를 유도한다. 이러한 결과는 최종 matrix statistic에 대한 완전한 universality theorem을 제공하지는 않는다. 따라서 추론은 theory-motivated이며, Bartlett-type correction과 Tracy–Widom type 1 reference law를 결합하여 simulation-calibrated로 수행된다. 여러 simulated Erdős–Rényi null에서, 보정된 statistic은 중간 및 큰 그래프에서 상당히 잘 보정된다. assortative stochastic block alternative 하에서는, RNBRW-GOF가 여러 sparse 및 weak-signal regime에서 adjacency-based spectral testing보다 향상된 성능을 보이며, 중간 regime에서 그 자체로 매우 경쟁적인 non-backtracking spectral baseline과도 경쟁력을 유지한다. 전체적으로 이 결과는 RNBRW-GOF를 assortative community structure를 위한 실용적으로 보정된 cycle-aware goodness-of-fit test로 자리매김하게 한다.","link":"https://openreview.net/forum?id=cyCzrYOOSi"}];window.dispatchEvent(new CustomEvent("papers-loaded",{detail:"54092"}));