We present AXLE (Axiom Lean Engine), a cloud service for Lean 4 proof manipulation, extraction, and verification. Recent progress in AI for mathematics -- reinforcement learning pipelines, agentic proving workflows, dataset curation -- demands Lean 4 tooling that scales to millions of requests while remaining correct and robust; existing infrastructure offers parallel compilation but not scalable proof verification, higher-level proof manipulation, multi-version support, or per-request isolation at the throughput modern AI workflows require. AXLE provides 14 Lean 4 metaprogramming tools spanning strict proof verification, declaration metadata extraction, semantic source manipulation, deterministic proof repair and simplification, and lemma extraction. The service runs as a multi-tenant cloud deployment with per-request isolation and concurrent support for multiple Lean 4 and Mathlib versions, accessible via a Python SDK, command-line interface, web UI, MCP server, and raw HTTP API. AXLE is publicly available and free to use at https://axle.axiommath.ai and via the axiom-axle PyPI package, with no local Lean 4 installation required. It has served over 500 million requests to date and is the underlying infrastructure for Axiom Math's proving efforts, including its 12/12 score on the 2025 Putnam competition.
","absKo":"우리는 Lean 4 proof manipulation, extraction, verification을 위한 cloud service인 AXLE(Axiom Lean Engine)을 제시한다. 최근 수학을 위한 AI의 발전, 즉 reinforcement learning pipeline, agentic proving workflow, dataset curation은 수백만 요청까지 확장되면서도 정확하고 강건한 Lean 4 tooling을 요구한다. 기존 인프라는 parallel compilation은 제공하지만, 확장 가능한 proof verification, higher-level proof manipulation, multi-version support, modern AI workflow가 요구하는 처리량에서의 per-request isolation은 제공하지 않는다. AXLE은 strict proof verification, declaration metadata extraction, semantic source manipulation, deterministic proof repair and simplification, lemma extraction을 아우르는 14개의 Lean 4 metaprogramming tool을 제공한다. 이 서비스는 per-request isolation과 여러 Lean 4 및 Mathlib version에 대한 concurrent support를 갖춘 multi-tenant cloud deployment로 동작하며, Python SDK, command-line interface, web UI, MCP server, raw HTTP API를 통해 접근할 수 있다. AXLE은 https://axle.axiommath.ai 및 axiom-axle PyPI package를 통해 공개적으로 제공되며 무료로 사용할 수 있고, 로컬 Lean 4 설치가 필요 없다. 현재까지 5억 회가 넘는 요청을 처리했으며, Axiom Math의 proving effort를 뒷받침하는 기반 인프라이기도 하다. 여기에는 2025 Putnam competition에서의 12/12 score도 포함된다.","link":"https://openreview.net/forum?id=wfSu56Y6T8","tag":"Oral"},{"id":"7R8PuCMlqR","en":"Measuring Progress in Reasoning Toward Mathematical Discovery with Automatic Verification","ko":"자동 검증으로 수학적 발견을 향한 추론의 진전 측정하기","authors":"Erik Y. Wang, Sumeet Ramesh Motwani, James V Roggeveen, Eliot Hodges, Dulhan Jayalath, Charles London, Kalyan Ramakrishnan, Cheng Zhang, Flaviu Cipcigan, Philip Torr, Alessandro Abate","abs":"Can AI make progress on important, unsolved mathematical problems? Large language models are now capable of sophisticated mathematical and scientific reasoning, but whether they can perform novel research is still widely debated and underexplored. We introduce HorizonMath, a benchmark of 113 predominantly unsolved problems spanning eight domains in mathematics and the mathematical sciences, paired with an open-source evaluation framework for automated verification. Our benchmark targets the generator-verifier gap: problems where discovery is hard and requires meaningful mathematical insight, but verification is computationally straightforward. This contrasts with most existing research-level benchmarks, which instead rely on formal proof verification or manual review, both of which are expensive to scale. Because these solutions are unknown, HorizonMath is immune to data contamination, and most state-of-the-art models score near 0%. Using this framework, we find three research problems for which GPT 5.4 Pro proposes novel solutions that either resolve previously open questions or improve on the best-known published results. Across six frontier models, reasoning efficiency and behavior also vary significantly. We release HorizonMath as an open challenge and a growing community resource, where each verified solution is a candidate contribution to the mathematical literature.
","absKo":"AI가 중요한 미해결 수학 문제에서 진전을 이룰 수 있을까? 대규모 언어 모델은 이제 정교한 수학 및 과학적 추론이 가능하지만, 실제로 새로운 연구를 수행할 수 있는지는 여전히 널리 논쟁 중이며 충분히 탐구되지 않았다. 우리는 수학 및 수학과학의 8개 분야에 걸친 주로 미해결 문제 113개로 구성된 벤치마크인 HorizonMath를 소개하며, 자동 검증을 위한 오픈소스 평가 프레임워크를 함께 제공한다. 우리의 벤치마크는 generator-verifier gap을 겨냥한다. 즉, 발견은 어렵고 의미 있는 수학적 통찰을 필요로 하지만 검증은 계산적으로는 비교적 간단한 문제들이다. 이는 형식적 증명 검증이나 수동 검토에 의존하는 기존 대부분의 연구 수준 벤치마크와 대비되며, 후자의 경우 모두 규모 확장이 비싸다. 이러한 해의 정답은 알려져 있지 않기 때문에 HorizonMath는 데이터 오염에 면역이며, 대부분의 state-of-the-art 모델은 0%에 가까운 점수를 보인다. 이 프레임워크를 사용해 우리는 GPT 5.4 Pro가 기존에 공개된 결과 중 최선보다 개선되거나, 이전에 열려 있던 질문을 해결하는 새로운 해를 제안하는 세 가지 연구 문제를 찾았다. 여섯 개의 frontier 모델 전반에서 추론 효율성과 행동도 크게 달랐다. 우리는 HorizonMath를 열린 도전 과제이자 성장하는 커뮤니티 자원으로 공개하며, 여기서 검증된 각 해는 수학 문헌에 대한 기여 후보가 된다.","link":"https://openreview.net/forum?id=7R8PuCMlqR","tag":"Oral"},{"id":"3qrIRa4OAw","en":"FIPO-Prover: Formalization-Oriented Informal Proof Optimization for Efficient Formal Theorem Proving","ko":"FIPO-Prover: 효율적 Formal Theorem Proving을 위한 Formalization-Oriented Informal Proof Optimization","authors":"Jingkun Ma, Yuchao Wang, Yujia Huo, Derek F. Wong","abs":"We presented FIPO-Prover, a verification-guided framework that reformulates informal-to-formal theorem proving as optimization over an evolving Formalization-oriented Informal Proof (FIP) search graph. FIPO-Prover addresses the gap between informal reasoning and formal verification by converting informal proofs into diagnosable, repairable, and projection-friendly intermediate states. Through step-level causal pairs and verifier feedback from Isabelle, the system enables targeted revision, repair, expansion, pruning, upstream backtracking, and memory-guided search. Experiments demonstrate improved formalization reliability and search efficiency over direct generation and prior decomposition-style methods. These results highlight intermediate proof optimization as a promising direction for scalable formal proof search.
","absKo":"우리는 FIPO-Prover를 제시했는데, 이는 informal-to-formal theorem proving을 진화하는 Formalization-oriented Informal Proof (FIP) search graph 위의 optimization 문제로 재구성하는 verification-guided framework이다. FIPO-Prover는 informal reasoning과 formal verification 사이의 간극을 줄이기 위해 informal proof를 진단 가능하고, 수정 가능하며, projection에 친화적인 중간 상태로 변환한다. step-level causal pair와 Isabelle의 verifier feedback을 통해, 이 시스템은 targeted revision, repair, expansion, pruning, upstream backtracking, memory-guided search를 가능하게 한다. 실험 결과는 직접 생성 및 기존의 decomposition-style method보다 formalization 신뢰성과 탐색 효율이 향상됨을 보여준다. 이러한 결과는 intermediate proof optimization이 확장 가능한 formal proof search를 위한 유망한 방향임을 강조한다.","link":"https://openreview.net/forum?id=3qrIRa4OAw","tag":"Spotlight"},{"id":"TbCZiT3fqG","en":"Are We Measuring Strategy or Phrasing? The Gap Between Surface- and Approach-Level Diversity in LLM Math Reasoning","ko":"전략을 측정하는가, 표현을 측정하는가? LLM 수학 추론에서 표면 수준 다양성과 접근 수준 다양성의 간극","authors":"Sangmook Lee, Minbeom Kim, Jeonghye Kim, Dohyung Kim, Sojeong Rhee, Kyomin Jung","abs":"Diversity in LLM mathematical reasoning is critical for exploration, but common diversity metrics mostly capture \\textit{surface-level variation} rather than differences in how a problem is solved. We address this gap by introducing \\textbf{approach-level diversity}: variation in strategies across correct solutions to the same problem. Using a human-calibrated LLM judge framework, we show that prior diversity measures are unreliable proxies for approach-level diversity, and this mismatch carries over to diversity-aware RLVR, where target metrics are preserved while approach-level diversity declines. Investigating when approach-level diversity helps and whether it can be directly induced, we find that approach-diverse candidate sets improve test-time scaling. However, optimizing an LLM judge diversity reward during training causes the policy to exploit judge-specific preferences rather than broaden its approaches, leaving direct optimization of approach-level diversity as an open problem. Together, our work introduces the notion of approach-level diversity and uncovers a systematic divergence between surface- and approach-level signals, marking a step toward LLMs that reason in genuinely diverse, human-like ways.
","absKo":"LLM 수학적 추론에서의 diversity는 exploration에 중요하지만, 일반적인 diversity metric은 주로 문제를 해결하는 방식의 차이보다는 \\textit{표면 수준의 변이}만 포착한다. 우리는 \\textbf{approach-level diversity}를 도입하여 이 공백을 메운다. 이는 같은 문제의 정답들 사이에서 전략이 달라지는 정도를 의미한다. human-calibrated LLM judge framework를 사용해, 기존 diversity measure가 approach-level diversity의 신뢰할 만한 대리 지표가 아님을 보이며, 이러한 불일치는 diversity-aware RLVR에도 이어져 target metric은 유지되는 반면 approach-level diversity는 감소한다. approach-level diversity가 언제 도움이 되는지, 그리고 그것을 직접 유도할 수 있는지를 조사한 결과, approach-diverse candidate set은 test-time scaling을 개선한다. 그러나 training 중 LLM judge diversity reward를 최적화하면 policy가 접근 방식을 넓히기보다 judge-specific preference를 악용하게 되어, approach-level diversity를 직접 최적화하는 문제는 여전히 열려 있다. 종합하면, 우리의 작업은 approach-level diversity라는 개념을 제시하고 surface-level signal과 approach-level signal 사이의 체계적 괴리를 밝혀, 진정으로 다양하고 human-like한 방식으로 추론하는 LLM을 향한 한 걸음을 내딛는다.","link":"https://openreview.net/forum?id=TbCZiT3fqG","tag":"Spotlight"},{"id":"SoK6IDi4Jz","en":"MLS-Bench: A Holistic and Rigorous Assessment of AI Systems on Building Better AI","ko":"MLS-Bench: 더 나은 AI를 만드는 AI 시스템에 대한 총체적이고 엄밀한 평가","authors":"Bohan Lyu, Yucheng Yang, Siqiao Huang, Jiaru Zhang, Qixin Xu, Xinghan Li, Xinyang Han, Huaqing Zhang, Yicheng Zhang, Runhan Huang, Kaicheng Yang, Zitao Chen, Wentao Guo, Junlin Yang, Xinyue Ai, Wenhao Chai, Yadi Cao, Ziran Yang, Kun Wang, Dapeng Jiang, Huan-ang Gao, Shange Tang, Chengshuai Shi, Simon Shaolei Du, Max Simchowitz, Jiantao Jiao, Dawn Song, Chi Jin","abs":"Modern AI progress has been driven by ML methods that are generalizable across settings and scalable to larger regimes. As large language models demonstrate advanced capabilities in reasoning, coding, and engineering tasks, it is increasingly important to understand whether they can discover such methods rather than only apply existing ones. We introduce MLS-Bench, a benchmark for evaluating whether AI systems can invent generalizable and scalable ML methods. MLS-Bench contains 140 tasks across 12 domains, each requiring an agent to improve one targeted component of an ML system or algorithm and demonstrate that the improvement generalizes across controlled settings and scales. We find that current agents remain far from reliably surpassing human-designed methods, and that engineering-style tuning is easier for them than genuine method invention. We further study the effects of test-time scaling, adaptive compute allocation, and context provision on agents' discovery performance, together with case studies of their behavior. Our analyses suggest that the bottleneck is not only in proposing new methods, but also in the scientific insight needed to plan, validate, and scale claims about them. More search, compute, or context alone does not remove this bottleneck.
","absKo":"현대 AI의 진전은 다양한 setting에서 일반화 가능하고 더 큰 regime로 확장 가능한 ML method에 의해 주도되어 왔다. 대형 language model이 reasoning, coding, engineering task에서 고급 능력을 보여주면서, AI system이 기존 method를 단지 적용하는 데 그치지 않고 그러한 method를 발견할 수 있는지 이해하는 것이 점점 더 중요해지고 있다. 우리는 AI system이 일반화 가능하고 확장 가능한 ML method를 발명할 수 있는지를 평가하기 위한 benchmark인 MLS-Bench를 소개한다. MLS-Bench는 12개 domain에 걸친 140개 task로 구성되며, 각 task는 agent가 ML system 또는 algorithm의 하나의 대상 component를 개선하고, 그 개선이 통제된 setting과 scale 전반에서 일반화됨을 입증하도록 요구한다. 우리는 현재의 agent가 human-designed method를 안정적으로 능가하는 수준에는 아직 크게 미치지 못하며, engineering-style tuning은 진정한 method invention보다 더 쉽게 수행한다는 점을 발견했다. 또한 test-time scaling, adaptive compute allocation, context provision이 agent의 discovery performance에 미치는 영향과 그들의 행동에 대한 case study를 추가로 살펴본다. 우리의 분석은 병목이 단지 새로운 method를 제안하는 데만 있는 것이 아니라, 그것들에 대한 claim을 계획하고, 검증하고, 확장하는 데 필요한 scientific insight에도 있음을 시사한다. 더 많은 search, compute, context만으로는 이 병목을 제거할 수 없다.","link":"https://openreview.net/forum?id=SoK6IDi4Jz","tag":"Spotlight"},{"id":"HgeGw5hu9Z","en":"SEVerA: Verified Self-Evolving Agents with Specification Guidance","ko":"SEVerA: specification guidance를 갖춘 검증된 자기 진화 agent","authors":"Debangshu Banerjee, Changming Xu, Eugene Ie, Ming Zhang, Daiyi Peng, Chu-Cheng Lin, Gagandeep Singh","abs":"Recent works have demonstrated the effectiveness of self-evolving LLM agents across a range of tasks, including program repair and scientific discovery. In this paradigm, a planner LLM synthesizes an agent program (e.g., a model harness) that invokes parametric models, including LLMs, smaller neural networks, and external tools, which are then tuned for each task to improve performance. However, existing self-evolving frameworks provide no formal guarantees of safety or correctness, even though the synthesized programs are executed autonomously on unseen inputs.
We formulate agentic code generation as a constrained learning problem that combines hard formal specifications with soft objectives capturing task utility. We introduce Formally Guarded Generative Models (FGGM), in which each model call is wrapped in a rejection sampler with a verified fallback, ensuring that the model always satisfies a first-order output contract for any input and parameter setting. Building on FGGM, we present SEVerA (*S*elf-*E*volving *Ver*ified *A*gents), a three-stage *Search$\\to$Verify$\\to$Learn* framework. We evaluate SEVerA on policy-compliant agentic tool use ($\\tau^2$-bench), automated program verification, scientific discovery, and symbolic math synthesis. SEVerA achieves zero constraint violations while improving task performance over unconstrained and state-of-the-art baselines, demonstrating that formal behavioral constraints both prune bad candidate programs and steer synthesis toward higher-quality agents.
","absKo":"최근 연구들은 program repair와 scientific discovery를 포함한 다양한 task에서 self-evolving LLM agent의 효과를 입증했다. 이 패러다임에서 planner LLM은 parametric model, 즉 LLM, 더 작은 neural network, 외부 tool을 호출하는 agent program(예: model harness)을 합성하고, 성능 향상을 위해 각 task마다 이를 조정한다. 그러나 기존 self-evolving framework는 합성된 program이 보지 못한 input에서 자율적으로 실행되더라도 안전성이나 정확성에 대한 formal guarantee를 제공하지 않는다.\n우리는 agentic code generation을 hard formal specification과 task utility를 포착하는 soft objective를 결합한 constrained learning problem으로 정식화한다. 우리는 Formally Guarded Generative Models (FGGM)을 도입하는데, 각 model call은 verified fallback이 포함된 rejection sampler로 감싸져 있어, model이 어떤 input과 parameter setting에서도 항상 first-order output contract를 만족하도록 보장한다. FGGM을 기반으로, 우리는 SEVerA (*S*elf-*E*volving *Ver*ified *A*gents)를 제시한다. 이는 세 단계 *Search$\\to$Verify$\\to$Learn* framework이다. 우리는 policy-compliant agentic tool use ($\\tau^2$-bench), automated program verification, scientific discovery, symbolic math synthesis에서 SEVerA를 평가한다. SEVerA는 constraint violation이 0인 상태를 유지하면서도 unconstrained 및 state-of-the-art baseline보다 task performance를 향상시켜, formal behavioral constraint가 나쁜 candidate program을 걸러내고 더 높은 품질의 agent 합성을 유도함을 보여준다.","link":"https://openreview.net/forum?id=HgeGw5hu9Z","tag":"Spotlight"},{"id":"Tdq9dzhVdy","en":"Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision","ko":"Self-Distillation Zero: 자기 수정이 이진 보상을 조밀한 감독 신호로 바꾼다","authors":"Yinghui He, Simran Kaur, Adithya Bhaskar, Yongjin Yang, Jiarui Liu, Narutatsu Ri, Liam H Fowl, Abhishek Panigrahi, Danqi Chen, Sanjeev Arora","abs":"Current post-training methods in verifiable settings fall into two categories. Reinforcement learning (RLVR) relies on binary rewards, which are broadly applicable and powerful, but provide only sparse supervision during training. Distillation provides dense token-level supervision, typically obtained from an external teacher or using high-quality demonstrations. Collecting such supervision can be costly or unavailable. We propose **Self-Distillation Zero (SD-Zero)*, a method that is substantially more training sample-efficient than RL and does not require an external teacher or high-quality demonstrations. SD-Zero trains a single model to play two roles: a Generator, which produces an initial response, and a Reviser, which conditions on that response and its binary reward to produce an improved response. We then perform on-policy self-distillation to distill the reviser into the generator, using the reviser's token distributions conditioned on the generator's response and its reward as supervision. In effect, SD-Zero trains the model to transform binary rewards into dense token-level self-supervision. On math and code reasoning benchmarks with Qwen3-4B-Instruct and Olmo-3-7B-Instruct, SD-Zero improves performance by at least 10% over the base models and outperforms strong baselines, including Rejection Fine-Tuning (RFT), GRPO, and Self-Distillation Fine-Tuning (SDFT), under the same question set and training sample budget. Extensive ablation studies show two novel characteristics of our proposed algorithm: (a) token-level self-localization, where the reviser can identify the key tokens that need to be revised in the generator's response based on reward, and (b) iterative self-evolution, where the improving ability to revise answers can be distilled back into generation performance with regular teacher synchronization.
","absKo":"현재 verifiable setting에서의 post-training 방법은 두 범주로 나뉜다. Reinforcement learning(RLVR)은 binary reward에 의존하는데, 이는 범용적이고 강력하지만 training 중 supervision이 희소하다. Distillation은 일반적으로 외부 teacher나 고품질 demonstration에서 얻은 dense token-level supervision을 제공한다. 그러나 그러한 supervision을 수집하는 것은 비용이 많이 들거나 불가능할 수 있다. 우리는 **Self-Distillation Zero (SD-Zero)*를 제안한다. 이는 RL보다 훨씬 training sample-efficient하며 외부 teacher나 고품질 demonstration을 필요로 하지 않는 방법이다. SD-Zero는 하나의 모델이 두 역할을 수행하도록 학습한다. Generator는 초기 response를 생성하고, Reviser는 그 response와 binary reward를 조건으로 더 나은 response를 생성한다. 그다음 on-policy self-distillation을 수행하여 reviser를 generator에 distill한다. 이때 generator의 response와 그 reward에 조건화된 reviser의 token distribution을 supervision으로 사용한다. 실질적으로 SD-Zero는 모델이 binary reward를 dense token-level self-supervision으로 변환하도록 학습한다. Qwen3-4B-Instruct와 Olmo-3-7B-Instruct를 사용한 math 및 code reasoning benchmark에서, SD-Zero는 base model 대비 최소 10% 성능 향상을 보였고, 동일한 question set과 training sample budget 하에서 Rejection Fine-Tuning(RFT), GRPO, Self-Distillation Fine-Tuning(SDFT)을 포함한 강력한 baseline을 능가했다. 광범위한 ablation study는 제안한 알고리즘의 두 가지 새로운 특징을 보여준다. (a) token-level self-localization: reviser가 reward를 바탕으로 generator response에서 수정이 필요한 핵심 token을 식별할 수 있음, (b) iterative self-evolution: 답변을 수정하는 능력이 향상되면서, regular teacher synchronization을 통해 그것이 다시 generation performance로 distill될 수 있음.","link":"https://openreview.net/forum?id=Tdq9dzhVdy","tag":"Spotlight"},{"id":"EPCNlZRUc3","en":"QED: An Open-Source Multi-Agent System for Generating Mathematical Proofs on Open Problems","ko":"QED: 열린 문제에 대한 수학 증명 생성을 위한 오픈소스 멀티 에이전트 시스템","authors":"Chenyang An, Qihao Ye, Minghao Pan, Jiayun Zhang","abs":"We present QED, an open-source multi-agent system that turns human-provided research questions into complete mathematical proofs without further human guidance. Its pipeline is designed to overcome common failures of single-query proof generation by separating planning, proving, and verification: a decomposition agent structures the proof search, prover agents generate candidate arguments, and verifier agents check correctness. In collaboration with domain experts, we evaluated QED on 18 research-level projects of varying difficulty. QED produced five original works across algebraic geometry, fluid PDEs, probability, and inverse problems. Expert assessments regard these works as solid specialized research contributions, with three comparable in difficulty and scope to work commonly published in established specialist mathematics venues. QED is released at https://github.com/proofQED/QED.
","absKo":"우리는 QED를 제시한다. QED는 사용자가 제공한 research question을 추가적인 인간 지도 없이 완전한 mathematical proof로 바꾸는 오픈소스 multi-agent system이다. 이 pipeline은 planning, proving, verification을 분리함으로써 단일 질의 proof generation의 일반적인 실패를 극복하도록 설계되었다. decomposition agent는 proof search를 구조화하고, prover agent는 후보 argument를 생성하며, verifier agent는 정당성을 검사한다. 도메인 전문가와의 협업으로, 우리는 난이도가 다양한 18개의 research-level project에서 QED를 평가했다. QED는 algebraic geometry, fluid PDEs, probability, inverse problems 전반에서 다섯 개의 original work를 만들어냈다. 전문가 평가는 이 작업들을 탄탄한 specialized research contribution으로 보았으며, 그중 세 개는 기존의 전문 수학 학술지에 흔히 게재되는 작업과 난이도 및 범위가 비슷한 것으로 평가되었다. QED는 https://github.com/proofQED/QED 에서 공개된다.","link":"https://openreview.net/forum?id=EPCNlZRUc3","tag":"Spotlight"},{"id":"EYHxPstNx0","en":"TorchLean: Formalizing Neural Networks in Lean","ko":"TorchLean: Lean에서 신경망 형식화","authors":"Robert Joseph George, Jennifer Cruden, Will Adkisson, Xiangru Zhong, Huan Zhang, Anima Anandkumar","abs":"Neural networks are increasingly deployed in scientific, safety-critical, and mission-critical pipelines, yet verification and analysis are often performed outside the programming environment that defines, runs, and exports the model. This separation creates a semantic gap between the executed network and the analyzed artifact: guarantees can depend on implicit conventions about operator semantics, tensor layouts, preprocessing, floating-point behavior, graph transformations, accelerated kernels, and externally produced certificates. We present TorchLean, a unified framework for formalizing, executing, and verifying neural networks in Lean 4. TorchLean treats learned models as executable programs and first-class mathematical objects with a shared semantics for computation, verification, and theorem proving. The framework provides a PyTorch-style API for typed tensors, layers, objectives, optimizers, automatic differentiation, and graph programs, together with eager and compiled execution paths that lower to a common computation-graph representation. TorchLean supports exact and finite-precision tensor semantics, verified reverse-mode differentiation for supported graph programs, interval and affine bound propagation, CROWN/LiRPA-style certificate checking, import/export workflows, and CUDA-backed execution through explicit FFI boundaries. It also includes formal semantic layers for attention and FlashAttention-style fused operators, state-space sequence models, diffusion and sampling processes, probability kernels, reinforcement-learning objectives and MDPs, and self-supervised objectives. Together, these components provide a semantic foundation for verified machine learning, where executable neural-network artifacts, verification procedures, runtime boundaries, and mathematical claims can be stated and related inside a single theorem-proving environment.
","absKo":"Neural network는 과학, safety-critical, mission-critical pipeline에 점점 더 많이 배치되고 있지만, verification과 analysis는 종종 model을 정의하고 실행하며 export하는 programming environment 밖에서 수행된다. 이러한 분리는 실행된 network와 분석 대상 artifact 사이에 semantic gap을 만든다. 보장은 operator semantics, tensor layout, preprocessing, floating-point behavior, graph transformation, accelerated kernel, 그리고 외부에서 생성된 certificate에 대한 암묵적 관례에 의존할 수 있다. 우리는 Lean 4에서 neural network를 formalize, execute, verify하기 위한 통합 framework인 TorchLean을 제시한다. TorchLean은 learned model을 executable program이자 computation, verification, theorem proving을 위한 공통 semantics를 공유하는 일급 mathematical object로 취급한다. 이 framework는 typed tensor, layer, objective, optimizer, automatic differentiation, graph program을 위한 PyTorch 스타일 API를 제공하며, 공통 computation-graph representation으로 내려가는 eager 및 compiled execution path를 함께 제공한다. TorchLean은 exact 및 finite-precision tensor semantics, 지원되는 graph program에 대한 verified reverse-mode differentiation, interval 및 affine bound propagation, CROWN/LiRPA 스타일 certificate checking, import/export workflow, 그리고 명시적인 FFI boundary를 통한 CUDA-backed execution을 지원한다. 또한 attention과 FlashAttention-style fused operator, state-space sequence model, diffusion 및 sampling process, probability kernel, reinforcement-learning objective와 MDP, self-supervised objective를 위한 formal semantic layer도 포함한다. 이 구성요소들은 검증된 machine learning을 위한 semantic foundation을 제공하며, 실행 가능한 neural-network artifact, verification procedure, runtime boundary, 수학적 claim을 하나의 theorem-proving environment 안에서 기술하고 서로 연결할 수 있게 한다.","link":"https://openreview.net/forum?id=EYHxPstNx0","tag":"Spotlight"},{"id":"x9BLVbCv3g","en":"Lean Refactor: Multi-Objective Controllable Proof Optimization via Agentic Strategy Search","ko":"Lean Refactor: Agent 전략 탐색을 통한 다목적 제어 가능 증명 최적화","authors":"Jialin Lu, Soonho Kong, Rodrigo Stehling, Kaiyu Yang, Zhangyang Wang, Weiran Sun, Wuyang Chen","abs":"We present Lean Refactor, a plug-and-play retrieval-augmented agentic framework for multi-objective, controllable, and version-robust refactoring of Lean proofs. LLM-generated proofs are notoriously correct-but-verbose and brittle across library versions, yet existing refactoring works overlook three practical challenges: 1) Lean refactoring is natively multi-objective (proof length, compilation cost, and version compatibility are often in tension); 2) Lean repositories have fragile compatibility, whereas LLM releases are unaware of Lean/Mathlib versions; 3) Training-based pipelines require repeated fine-tuning with each new LLM release, scaling neither with model churn nor with Lean's release cycle. Lean Refactor steers a frozen agentic LLM with retrievals from a curated database of multi-objective refactoring strategies, each densely annotated with metadata such as supported Lean/Mathlib versions and expected compilation-cost reduction. Experiments show over 70% token-level compression on competition benchmarks, over 20% on research repositories, and up to 60% compilation-time reduction, outperforming prior work and Claude Code. Version-filtered retrieval further improves compression on the target Lean version, and refactored miniF2F proofs exhibit stronger zero-shot version transfer to future Lean releases than their unrefactored counterparts. We will release our code, models, and data upon acceptance.
","absKo":"우리는 Lean proof의 multi-objective, controllable, 그리고 version-robust refactoring을 위한 plug-and-play retrieval-augmented agentic framework인 Lean Refactor를 제시한다. LLM이 생성한 proof는 흔히 정답이지만 장황하고, library version 간에는 취약하다. 그러나 기존 refactoring 연구는 세 가지 실질적 도전을 간과해 왔다. 1) Lean refactoring은 본질적으로 multi-objective이며( proof length, compilation cost, version compatibility가 종종 상충한다); 2) Lean repository는 호환성이 취약한 반면, LLM release는 Lean/Mathlib version을 인지하지 못한다; 3) training-based pipeline은 새 LLM release마다 반복적인 fine-tuning을 필요로 하므로, model churn과 Lean의 release cycle 어느 쪽에도 잘 맞지 않는다. Lean Refactor는 정제된 multi-objective refactoring strategy database에서 retrieval된 정보를 바탕으로 frozen agentic LLM을 조정하며, 각 strategy는 지원하는 Lean/Mathlib version과 예상 compilation-cost reduction 같은 metadata로 촘촘하게 주석되어 있다. 실험 결과, competition benchmark에서는 token-level compression이 70%를 넘고, research repository에서는 20%를 넘으며, compilation time은 최대 60%까지 줄어들어 prior work와 Claude Code를 능가한다. version-filtered retrieval은 target Lean version에서의 compression을 추가로 향상시키며, refactor된 miniF2F proof는 refactoring되지 않은 대응물보다 미래 Lean release로의 zero-shot version transfer가 더 강하다. 승인 시 우리의 code, model, data를 공개할 예정이다.","link":"https://openreview.net/forum?id=x9BLVbCv3g","tag":"Spotlight"},{"id":"ShhLinF41r","en":"What Helps Agentic Lean Provers? A Trace-Level Attribution Study","ko":"agentic Lean prover에 무엇이 도움이 되는가? trace-level attribution 연구","authors":"Pawan Sasanka Ammanamanchi","abs":"Agentic Lean provers now do much more than sample a proof: they compile candidates, read errors, inspect proof states, query libraries, retrieve premises, and decide whether to keep searching or submit. That makes pass rate hard to interpret. We study this attribution problem with trace-level ablations on a frozen 100-task Lean~4 benchmark. The clearest aggregate lesson is simple: compiler feedback helps: M1@8 solves $5$--$8/100$ tasks across four Gemini runs, compared with $0/100$ for one-shot generation and $3/100$ for BoN@8. Residual proof-state feedback is useful but mixed. Richer tool and retrieval channels do not automatically become better provers; they mostly change the route through a problem: what the agent looks up, what it cites, which tasks it reaches, how it spends tool calls, and whether it ever commits. These traces expose a recurring failure mode: many unsuccessful runs keep probing instead of turning available evidence into a final checked proof. We argue that this is exactly what lower-rung ablations should reveal: when an agent should retrieve, search, restart, decompose, or commit.
","absKo":"Agentic Lean prover는 이제 proof를 단순히 샘플링하는 수준을 훨씬 넘어섭니다. candidate를 compile하고, error를 읽고, proof state를 살피며, library를 query하고, premise를 retrieval하며, 계속 탐색할지 아니면 submit할지까지 결정합니다. 따라서 pass rate만으로는 이를 해석하기 어렵습니다. 우리는 frozen된 100-task Lean~4 benchmark에서 trace-level ablation을 통해 이 attribution problem을 연구합니다. 가장 분명한 전체 결론은 단순합니다: compiler feedback은 도움이 됩니다. M1@8은 네 번의 Gemini run에서 $5$--$8/100$ task를 풀었고, one-shot generation은 $0/100$, BoN@8은 $3/100$에 그쳤습니다. residual proof-state feedback도 유용하지만 일관되지는 않습니다. 더 풍부한 tool 및 retrieval channel이 자동으로 더 나은 prover가 되지는 않습니다. 이들은 주로 문제를 통과하는 경로를 바꿉니다: agent가 무엇을 조회하는지, 무엇을 인용하는지, 어떤 task에 도달하는지, tool call을 어떻게 쓰는지, 그리고 끝내 commit하는지 여부를 바꿉니다. 이러한 trace는 반복적으로 나타나는 실패 모드를 드러냅니다. 많은 실패 run이 이미 확보한 evidence를 최종 checked proof로 전환하지 못한 채 계속 probing만 합니다. 우리는 이것이 바로 lower-rung ablation이 밝혀내야 할 것이라고 주장합니다. 즉, agent가 언제 retrieve, search, restart, decompose, 또는 commit해야 하는지입니다.","link":"https://openreview.net/forum?id=ShhLinF41r"},{"id":"TkdaigO0fx","en":"VOUCH for Mathematical Reasoning: Counterfactual Contracts Cure the Self-Verification Pathology","ko":"수학적 추론을 위한 VOUCH: 반사실적 계약이 자기 검증 병리를 치료한다","authors":"Abhay Bhandarkar, Vedanth Nanesha","abs":"Multi-agent verification of chain-of-thought math typically asks one large language model to commit to a counterfactual prediction (“if I change a number in the problem, my answer becomes y′”) and rewards the agent when its post-intervention output matches the commitment. We prove that this single-side self-verification is unsound: a self-coherent reasoner satisfies its commitment by construction, independent of correctness, so the protocol cannot distinguish a careful solver from a confidently wrong one. We document the pathology on GSM8K, the algebra subset of MATH, and SVAMP under a controlled adversarial-prompt regime, where task accuracy falls by up to 28 percentage points while the protocol’s self-verification rate rises by up to 11.6 points. Our fix is a dual-side counterfactual contract: the proposer also commits to a second agent’s post-intervention prediction, a cross-side claim that self-coherence cannot fulfill. Across all six math cells the dual-side construction reduces the hurt:caught ratio by a mean of 46% (per-cell 27% to 68%), with 95% bootstrap CIs strictly above zero on every cell. A same-family LLM-as-judge baseline (Llama-3.1-8B) and self-consistency at k = 5 both inherit the same self-coherent pathology, confirming that the fix is structural rather than a function of sampling or arbitration.
","absKo":"연쇄적 사고(chain-of-thought) 수학에 대한 multi-agent verification은 일반적으로 하나의 대형 language model에게 반사실적 예측(“문제의 숫자를 바꾸면 내 답은 y′가 된다”)에 서약하게 하고, 개입 이후 출력이 그 서약과 일치할 때 에이전트에 보상을 준다. 우리는 이러한 단일 측면 self-verification이 타당하지 않음을 증명한다. 자기-일관적인 추론기는 정답성과 무관하게 구성상 자신의 서약을 충족하므로, 이 프로토콜은 신중한 solver와 자신 있게 틀린 solver를 구별할 수 없다. 우리는 통제된 adversarial-prompt 체제에서 GSM8K, MATH의 대수 하위집합, SVAMP에서 이 병리를 문서화했으며, 이때 task accuracy는 최대 28 percentage points까지 하락하는 반면 프로토콜의 self-verification rate는 최대 11.6 points까지 상승했다. 우리의 수정안은 dual-side counterfactual contract이다. proposer가 또 다른 agent의 개입 이후 예측에 대해서도 서약하도록 하여, self-coherence만으로는 충족할 수 없는 cross-side claim을 만든다. 여섯 개의 수학 cell 전체에서 dual-side 구성은 hurt:caught 비율을 평균 46% 감소시켰고(cell별 27%에서 68%), 모든 cell에서 95% bootstrap CI가 엄격히 0보다 컸다. 같은 family의 LLM-as-judge baseline(Llama-3.1-8B)과 k = 5에서의 self-consistency도 동일한 self-coherent 병리를 그대로 계승했으며, 이는 이 수정이 sampling이나 arbitration의 함수가 아니라 구조적임을 확인한다.","link":"https://openreview.net/forum?id=TkdaigO0fx"},{"id":"UqFZqwG0ub","en":"No LLM Aced Yu Tsumura's 554th Problem","ko":"어떤 LLM도 Yu Tsumura의 554번 문제를 풀지 못했다","authors":"Simon Frieder, William Hart, Leonhard Hasler","abs":"We present a case study about a group theory problem---Yu Tsumura's 554th problem---that has surprisingly diagnostic capabilities for LLMs. On the one hand, this shows, contrary to the optimism about LLMs' problem-solving abilities, fueled by the recent gold medals at the International Math Olympiad (IMO) that LLMs attained, that a group theory problem exists---Yu Tsumura's 554th problem---that a) is within the scope of an IMO problem in terms of proof sophistication, b) is not a combinatorics problem, which is known to cause issues for LLMs, c) has a publicly available solution (likely in the training data of LLMs), and d) cannot be stably solved by any existing off-the-shelf LLM (commercial or open-source). This problem is the end result of a discovery process involving 300+ group theory problems, few of which consistently produced comparable failures across a selection of LLMs, and none of which was at the same level of mathematical sophistication.
We include an analysis of the output traces of 31 LLMs in the years 2025-2026, where our focus is on the top models and their lineages, tracking intermediate versions. Our analysis shows that LLMs reasoning performance across problems is spiky even for comparatively simple problems and implies that there may be fundamental issues with model training approaches.
Additionally, we compare, in a case study, the generic LLM output to a new proof of Yu Tsumura's problem by a former IMO participant, to contrast human reasoning ability with LLM reasoning ability.
The focus on Yu Tsumura's problem further reveals technical issues in the original publicly available proof, and we present a substantially better-motivated proof.
","absKo":"우리는 group theory 문제, 즉 Yu Tsumura의 554번째 문제에 대한 case study를 제시한다. 이 문제는 LLM들에 대해 놀라울 정도로 진단적인 능력을 지닌다. 한편으로 이는 최근 International Math Olympiad (IMO)에서 LLM들이 획득한 금메달들이 부추긴 LLM의 문제 해결 능력에 대한 낙관론과 달리, 다음 조건을 만족하는 group theory 문제가 존재함을 보여준다. a) 증명 정교도 측면에서 IMO 문제의 범위 안에 있고, b) LLM에 문제를 일으키는 것으로 알려진 combinatorics 문제가 아니며, c) 공개적으로 이용 가능한 해답이 존재하고(아마 LLM 학습 데이터에 포함되어 있을 가능성이 높고), d) 현재의 어떤 off-the-shelf LLM(상용 또는 open-source)으로도 안정적으로 풀 수 없다는 점이다. 이 문제는 300개가 넘는 group theory 문제를 탐색하는 discovery process의 최종 결과이며, 그중 소수만이 여러 LLM에서 비슷한 실패를 일관되게 유발했고, 어느 것도 같은 수준의 수학적 정교도에 도달하지 못했다.\n우리는 2025-2026년의 31개 LLM 출력 trace를 분석하며, 특히 top model과 그 lineage, 그리고 중간 버전을 추적하는 데 초점을 맞춘다. 우리의 분석은 비교적 단순한 문제에서도 LLM의 reasoning performance가 매우 들쭉날쭉하며, 모델 학습 접근법 자체에 근본적인 문제가 있을 수 있음을 시사한다.\n또한 case study로 generic LLM output과 전 IMO 참가자가 Yu Tsumura의 문제에 대해 새롭게 제시한 proof를 비교하여, human reasoning ability와 LLM reasoning ability의 대비를 보여준다.\nYu Tsumura의 문제에 집중함으로써 원래 공개된 proof의 기술적 문제도 드러나며, 우리는 훨씬 더 타당한 동기를 갖는 proof를 제시한다.","link":"https://openreview.net/forum?id=UqFZqwG0ub"},{"id":"rWSCSa5exu","en":"Risk-Controlled Lean-as-Judge for Natural-Language Mathematical Reasoning","ko":"자연어 수학 추론을 위한 risk-controlled Lean-as-Judge","authors":"Pauline Bourigault, Xiaotong Ji, Matthieu Zimmer, Rasul Tutunov, Haitham Bou Ammar","abs":"Lean is increasingly used to judge natural-language mathematical answers, but its signal is partial: many answers never formalize, and a failed proof may reflect an ill-typed statement or a missing library fact, not a wrong answer. On MATH-500 we show this signal is (i) sharply coverage-dependent, that is the proof-winning answer is correct 96% of the time at high proved coverage but 20% at low, and (ii) sparse and often unfaithful: a 7B autoformalizer proves a class for only 28% of problems, and a manual audit finds only ≈43% of those proofs faithful. We propose CovCal, a selector over Lean-trace diagnostics that certifies a finite-sample selective-risk bound on accepted answers or abstains, under two regimes (a conservative Bonferroni bound and a tighter dev-then-cal rule). Feasibility depends on autoformalization coverage: with the 7B formalizer the signal is too sparse and Bonferroni abstains on all 20 bootstrap partitions, whereas a prover-specialized formalizer reaches 79% coverage and flips it to feasible on 17 of 20, accepting ≈48% of problems at 0.98 accepted accuracy. Since self-consistency alone is already 91% accurate, and confidence-only abstention gives a stronger empirical coverage-risk frontier in this setting, our contribution is not raw answer-selection accuracy. CovCal gives a precise account of when, and with which formalizer, a partial Lean trace is sufficiently covered to support a risk-controlled and auditable formal decision.
","absKo":"Lean은 자연어 수학 답변을 판정하는 데 점점 더 많이 사용되고 있지만, 그 signal은 부분적이다. 많은 답변이 끝내 formalization되지 않으며, proof 실패는 잘못된 답변이 아니라 ill-typed statement나 누락된 library fact를 반영할 수 있다. MATH-500에서 우리는 이 signal이 (i) coverage 의존성이 매우 크고, 즉 proved coverage가 높을 때 proof-winning answer가 96%의 정확도를 보이지만 낮을 때는 20%에 불과하며, (ii) 희소하고 종종 불충실하다는 것을 보인다. 즉 7B autoformalizer는 문제의 28%에 대해서만 class를 증명하고, 수동 감사에서는 그 proof의 약 43%만이 충실한 것으로 나타난다. 우리는 Lean trace diagnostic 위에서 동작하는 selector인 CovCal을 제안한다. CovCal은 수용된 답변에 대해 finite-sample selective-risk bound를 보장하거나, 두 가지 regime(보수적인 Bonferroni bound와 더 타이트한 dev-then-cal rule) 아래에서 abstain한다. 실현 가능성은 autoformalization coverage에 달려 있다. 7B formalizer를 사용할 때는 signal이 너무 희소하여 Bonferroni가 20개의 bootstrap partition 모두에서 abstain하는 반면, prover-specialized formalizer는 coverage를 79%까지 끌어올려 20개 중 17개에서 이를 feasible하게 만들고, 약 48%의 문제를 0.98의 accepted accuracy로 수용한다. self-consistency만으로도 이미 91%의 정확도를 보이고, 이 setting에서는 confidence-only abstention이 더 강한 empirical coverage-risk frontier를 제공하므로, 우리의 기여는 단순한 answer-selection accuracy가 아니다. CovCal은 어떤 경우에, 그리고 어떤 formalizer와 함께 partial Lean trace가 risk-controlled이고 auditable한 formal decision을 지지할 만큼 충분히 coverage되어 있는지에 대한 정밀한 설명을 제공한다.","link":"https://openreview.net/forum?id=rWSCSa5exu"},{"id":"adCv2IV5V3","en":"Axiom-Audited Trustworthy Formalization of Game-Theoretic Commitment in Lean","ko":"Lean에서 게임이론적 커밋먼트의 공리 검증된 신뢰 가능한 형식화","authors":"Jan Ondras","abs":"As large language models increasingly generate proofs in Lean, Rocq, and Isabelle, a machine-checked proof's trustworthiness turns on two questions its script does not foreground: which foundational axioms it rests on, and where an external, unproved trust assumption enters. We answer both mechanically in a Lean 4 formalization of a game-theoretic commitment result, and from it extract two methods for trustworthy formalization that we argue transfer to verifying AI-generated and autoformalized mathematics. The first treats axiom hygiene as an executable regression test: #guard_msgs-guarded #print axioms assertions pin the foundational-axiom footprint of all 56 declarations (kernel+Classical only; no sorry, no custom axioms), so any drift fails the build with a mismatch. The second isolates the development's single trust assumption (that an external attestation faithfully reflects intent) in a TrustedOracle typeclass with an explicit truthfulness predicate, a worked instance, and a non-instance counterexample proving the obligation is non-vacuous. The case-study object is a dominance-and-equilibrium theorem: for every Stag-Hunt-ordered game, routing players through a verified wrap combinator makes attesting Cooperate weakly dominant, with mutual cooperation the unique Pareto-undominated Nash equilibrium. We prove this for the 2-player and n-player, symmetric and asymmetric cases, the 2-player results obtained by machine-checked specialization of the n-player ones.
","absKo":"Lean, Rocq, Isabelle에서 large language model이 점점 더 proof를 생성함에 따라, machine-checked proof의 신뢰성은 스크립트가 전면에 드러내지 않는 두 가지 질문에 달려 있다. 어떤 foundational axiom에 의존하는가, 그리고 어디에서 외부의 unproved trust assumption이 들어오는가. 우리는 game-theoretic commitment result의 Lean 4 formalization에서 이 둘에 기계적으로 답하고, 그로부터 AI-generated 및 autoformalized mathematics 검증에 일반화된다고 주장하는 trustworthy formalization의 두 가지 방법을 추출한다. 첫째는 axiom hygiene를 실행 가능한 regression test로 다루는 것이다. #guard_msgs-guarded #print axioms assertion이 56개 선언 전체의 foundational-axiom footprint(kernel+Classical only; no sorry, no custom axioms)을 고정하므로, 어떤 드리프트라도 mismatch로 인해 build가 실패한다. 둘째는 개발의 단 하나의 trust assumption(외부 attestation이 의도를 충실히 반영한다는 가정)을 TrustedOracle typeclass로 분리하고, 명시적 truthfulness predicate, 작동 예시, 그리고 의무가 공허하지 않음을 보이는 non-instance counterexample을 제공한다. 사례 연구 객체는 dominance-and-equilibrium theorem이다. 모든 Stag-Hunt-ordered game에 대해 verified wrap combinator를 통해 player를 라우팅하면 attesting Cooperate가 weakly dominant가 되고, mutual cooperation이 유일한 Pareto-undominated Nash equilibrium이 된다. 우리는 이를 2-player 및 n-player, symmetric 및 asymmetric case 모두에 대해 증명하며, 2-player 결과는 n-player 결과의 machine-checked specialization으로 얻는다.","link":"https://openreview.net/forum?id=adCv2IV5V3"},{"id":"5ck1jRE65S","en":"Lean Disprove: Certified Counterexample Search for AI-Assisted Formal Mathematics","ko":"Lean Disprove: AI 지원 형식 수학을 위한 인증된 반례 탐색","authors":"Jan Ondras, Cameron Freer","abs":"LLM-driven formal mathematics has focused mainly on proving true statements; the complementary task of disproving false ones (finding a counterexample the proof assistant can certify) has had little dedicated tool support. We present /disprove, an interactive command for coding agents in the open-source lean4-skills package. Given a Lean goal, the command runs a bounded six-phase cycle to perform certified counterexample search: it profiles the target, consults prior knowledge, selects a disproof method from a registry (including decision procedures, finite enumeration, random sampling, and external scripts such as SAT/SMT queries), searches for a witness, and assembles a shape-specific negation term. It reports REFUTED only when Lean accepts the refutation, and otherwise reports WITNESS-UNCERTIFIED, when a candidate witness was found but could not be certified, or INCONCLUSIVE, when no candidate was found. External witnesses are never trusted directly, but must be lifted into Lean and checked by the kernel. We demonstrate on a pilot benchmark that it certifies counterexamples a bare decision procedure cannot reach, while never refuting a true statement.
","absKo":"LLM-driven formal mathematics는 주로 참인 명제를 증명하는 데 초점을 맞춰 왔으며, 그에 상응하는 거짓 명제를 반증하는 작업, 즉 proof assistant가 인증할 수 있는 counterexample을 찾는 작업에는 전용 도구 지원이 거의 없었다. 우리는 오픈소스 lean4-skills 패키지에서 coding agent를 위한 대화형 명령 /disprove를 제시한다. Lean goal이 주어지면, 이 명령은 인증된 counterexample 탐색을 수행하기 위해 bounded six-phase cycle을 실행한다. 대상의 특성을 프로파일링하고, 사전 지식을 참조하며, registry에서 disproof method를 선택한 뒤(결정 절차, finite enumeration, random sampling, SAT/SMT query와 같은 external script 포함), witness를 탐색하고, 형상에 특화된 negation term을 조립한다. Lean이 반증을 받아들일 때만 REFUTED를 보고하고, 후보 witness는 찾았지만 인증할 수 없으면 WITNESS-UNCERTIFIED를, 후보가 전혀 없으면 INCONCLUSIVE를 보고한다. 외부 witness는 직접 신뢰되지 않으며, 반드시 Lean으로 끌어와 kernel에 의해 검사되어야 한다. 우리는 pilot benchmark에서 이를 시연하며, bare decision procedure로는 도달할 수 없는 counterexample을 인증하면서도, 참인 명제를 잘못 반증하는 일은 없음을 보인다.","link":"https://openreview.net/forum?id=5ck1jRE65S"},{"id":"AmU2b6SNHK","en":"Step-Level Elaboration Improves Natural Language Verification of Research-Level Mathematical Proofs","ko":"단계별 상세화는 연구 수준 수학 증명의 자연어 검증을 향상시킨다","authors":"Yifeng Sun, Kun Yuan","abs":"Large Language Models (LLMs) struggle to rigorously verify complex mathematical proofs. Standard global evaluation approaches suffer from "context poisoning,'' in which superficially plausible statements mask subtle logical flaws, leading to hallucination or over-skepticism. To address this, we shift from global evaluation to strict step-level verification: our framework attempts detailed constructive elaboration for each deduction step while strictly constraining the sources of applied theorems. We evaluate on a curated adversarial diagnostic suite of research-level proofs drawn from the FirstProof challenge. A systematic ablation study suggests that constructive step-level elaboration and control over external mathematical sources are indispensable for localizing subtle logical errors. Beyond improving global evaluation, our approach fundamentally alters the failure taxonomy. Error analysis reveals that, rather than exhibiting severe logical hallucinations, remaining rejections are primarily instances of ``pedantic hyper-rigor'' stemming from unstated domain conventions, effectively exposing implicit ambiguities within the expert benchmark itself. Our findings suggest that shifting verification from direct judgment to detailed constructive proof elaboration, together with control over external mathematical sources, can substantially improve pure natural-language agents' ability to distinguish rigorous proofs from flawed ones, with the potential to strengthen agentic reasoning on frontier mathematical concepts that the base model does not already know well, and implications for future automated proof-review agents.
","absKo":"Large Language Models (LLMs)는 복잡한 수학적 증명을 엄격하게 검증하는 데 어려움을 겪는다. 표준적인 전역 평가 방식은 겉보기에 그럴듯한 진술이 미묘한 논리적 결함을 가리는 \"context poisoning\" 문제를 겪으며, 그 결과 hallucination 또는 과도한 회의주의로 이어진다. 이를 해결하기 위해 우리는 전역 평가에서 엄격한 step-level verification으로 전환한다. 우리의 framework는 적용되는 theorem의 source를 엄격하게 제한하면서, 각 deduction step에 대해 상세한 constructive elaboration을 시도한다. 우리는 FirstProof challenge에서 가져온 연구 수준의 증명으로 구성된 정제된 adversarial diagnostic suite에서 평가한다. 체계적인 ablation study는 상세한 step-level constructive elaboration과 external mathematical source에 대한 통제가 미묘한 논리 오류를 국소화하는 데 필수적임을 시사한다. 전역 평가를 개선하는 것을 넘어, 우리의 접근은 실패 분류 체계 자체를 근본적으로 바꾼다. error analysis는 심각한 logical hallucination을 보이기보다는, 남은 거부가 주로 명시되지 않은 domain convention에서 비롯된 ``pedantic hyper-rigor'' 사례임을 드러내며, 사실상 expert benchmark 자체에 내재한 모호성을 노출한다. 우리의 발견은 직접적인 판단 대신 상세한 constructive proof elaboration으로 verification을 옮기고, external mathematical source를 통제하는 것이, 자연어 기반 agent가 엄밀한 증명과 결함 있는 증명을 구별하는 능력을 크게 향상시킬 수 있음을 시사한다. 이는 base model이 이미 잘 알지 못하는 최전선 수학 개념에 대한 agentic reasoning을 강화할 가능성과, 향후 automated proof-review agent에 대한 함의를 가진다.","link":"https://openreview.net/forum?id=AmU2b6SNHK"},{"id":"jhbkIZOn5a","en":"Reformalization of the Jordan Curve Theorem","ko":"Jordan Curve Theorem의 재정식화","authors":"Sankalp Gambhir, Simon Guilloud, Samuel Chassot","abs":"We present a case study in \\emph{reformalization}, a variant of autoformalization in which the input proof is not natural language but a formal development in a different proof assistant. Concretely, we report three reformalizations of the Jordan Curve Theorem: from Mizar to Lean, from HOL Light to Lean, and from HOL Light to Agda. We analyze the results and identify pipeline design choices that matter for practical reformalization tasks.
","absKo":"우리는 \\emph{reformalization}의 사례 연구를 제시합니다. reformalization은 autoformalization의 변형으로, 입력 증명이 자연어가 아니라 다른 proof assistant의 formal development인 경우입니다. 구체적으로, Jordan Curve Theorem의 세 가지 reformalization을 보고합니다. Mizar에서 Lean으로, HOL Light에서 Lean으로, 그리고 HOL Light에서 Agda로의 변환입니다. 우리는 결과를 분석하고, 실용적인 reformalization task에서 중요한 pipeline 설계 선택을 식별합니다.","link":"https://openreview.net/forum?id=jhbkIZOn5a"},{"id":"NmDabSQR34","en":"SABER-Math: Automated Benchmark for Information Retrieval Evaluation in Mathematics","ko":"SABER-Math: 수학에서 정보 검색 평가를 위한 자동화 벤치마크","authors":"Nikolay Georgiev, Maria Drencheva, Kseniia Ibragimova, Ivo Petrov, Dimitar Iliev Dimitrov, Martin Vechev","abs":"As agentic AI systems tackle more complex mathematical tasks, they increasingly rely on information retrieval (IR) to search problem databases, theorem libraries, and educational resources. However, choosing the right retriever remains difficult, as it is infeasible to directly isolate its effect on downstream performance. On the other hand, existing retrieval-specific benchmarks often fail to capture fine-grained mathematical relevance, penalizing relevant documents. We address this gap by introducing SABER-Math, the first fully automated benchmark for evaluating mathematical IR without expert annotation. Starting from 283K high-school-level math problems with solutions, SABER-Math builds challenging reranking tasks in three steps: (i) first, LLMs extract concise solution summaries and mathematical topics for each problem; (ii) then, per-query relevant documents are discovered using ontology topic-based and lexical solutions-summary-based similarities, and (iii) finally, a Swiss-style LLM preference tournament produces fine-grained relevance ratings for the documents. We evaluate lexical retrievers, specialized mathematical retrieval systems, and recent embedding models. We find that while modern embedding models substantially outperform classical and math-specific baselines, even the strongest systems struggle in symbol-heavy domains like Algebra and Calculus. Importantly, we show that general-purpose IR benchmarks such as MTEB do not reliably predict mathematical performance, especially for recent embedding models, highlighting the need for math-specific retrieval benchmarks.
","absKo":"agentic AI systems가 더 복잡한 수학적 과제를 해결함에 따라, 문제 데이터베이스, theorem library, 교육 자원을 검색하기 위해 information retrieval (IR)에 점점 더 의존하고 있다. 그러나 downstream 성능에 대한 효과를 직접 분리해 내는 것이 비현실적이기 때문에, 적절한 retriever를 선택하는 일은 여전히 어렵다. 한편, 기존의 retrieval-specific benchmark는 세밀한 mathematical relevance를 포착하지 못해 관련 문서를 오히려 불이익하게 평가하는 경우가 많다. 우리는 expert annotation 없이 mathematical IR을 평가하기 위한 최초의 완전 자동 benchmark인 SABER-Math를 도입하여 이 간극을 해소한다. 해답이 포함된 283K개의 고등학교 수준 수학 문제를 출발점으로, SABER-Math는 세 단계로 어려운 reranking task를 구성한다. (i) 먼저 LLM이 각 문제에 대해 간결한 solution summary와 수학 주제를 추출하고, (ii) 그런 다음 ontology topic-based similarity와 lexical solution-summary-based similarity를 사용해 query별 관련 문서를 찾아내며, (iii) 마지막으로 Swiss-style LLM preference tournament가 문서에 대한 세밀한 relevance rating을 생성한다. 우리는 lexical retriever, specialized mathematical retrieval system, 최근 embedding model을 평가한다. 그 결과, 현대 embedding model이 classical baseline과 math-specific baseline을 크게 능가하지만, 가장 강력한 시스템조차 Algebra와 Calculus처럼 symbol-heavy한 도메인에서는 여전히 어려움을 겪는다는 것을 확인했다. 중요한 점은, MTEB와 같은 general-purpose IR benchmark는 특히 최근 embedding model에 대해 수학적 성능을 신뢰성 있게 예측하지 못하며, math-specific retrieval benchmark의 필요성을 드러낸다는 것이다.","link":"https://openreview.net/forum?id=NmDabSQR34"},{"id":"ORbGkwCidx","en":"Evaluating SageMath-Augmented LLM Agents for Computational and Experimental Mathematics","ko":"계산 및 실험 수학을 위한 SageMath-증강 LLM agent 평가","authors":"Pavel Snopov, German Magai","abs":"Recent advances in AI for Mathematics have focused largely on autoformalization and theorem proving, leaving the role of Computer Algebra Systems (CAS) in agentic LLM workflows underexplored. We propose a ReAct-style agentic setup that combines LLM reasoning with verifiable feedback from SageMath, together with Context7 for the up-to-date documentation.
We evaluate this agentic setup across frontier models for solving research-level mathematical problems from the RealMath benchmark in a setting that emulates a computational-mathematics research loop. We also propose a refinement to the RealMath benchmark by introducing multi-step post-processing procedure and multi-stage validation pipeline, both of which increase the quality and reliability of the extracted problem set.
Our experiments reveal substantial performance gains from SageMath access across all evaluated models with OpenAI's flagship model, GPT-5.5, achieving the higher solve rate of $75.2\\%$ and the lowest token usage among tool-enabled configurations. Our findings suggest that CAS-augmented agents represent a promising direction for assisting mathematicians in computational exploration, and we believe that this work is a step towards automated conjecture discovery.
","absKo":"AI for Mathematics의 최근 진전은 주로 autoformalization과 theorem proving에 집중해 왔고, agentic LLM workflow에서 Computer Algebra System(CAS)의 역할은 충분히 탐구되지 않았다. 우리는 LLM reasoning과 SageMath의 검증 가능한 feedback을 결합하고, 최신 문서를 위해 Context7을 함께 사용하는 ReAct-style agentic setup을 제안한다.\n우리는 computational-mathematics research loop를 모사하는 설정에서 RealMath benchmark의 research-level mathematical problem을 해결하기 위해, frontier model들 전반에 걸쳐 이 agentic setup을 평가한다. 또한 우리는 multi-step post-processing procedure와 multi-stage validation pipeline을 도입함으로써 RealMath benchmark를 정제하는 방안을 제안하는데, 이 둘은 추출된 problem set의 품질과 신뢰성을 모두 향상시킨다. \n우리의 실험은 평가한 모든 모델에서 SageMath 접근이 상당한 성능 향상을 가져온다는 것을 보여주며, OpenAI의 flagship model인 GPT-5.5가 tool-enabled configuration 중 가장 높은 solve rate인 $75.2\\%$와 가장 낮은 token usage를 달성했다. 우리의 결과는 CAS-augmented agent가 computational exploration에서 mathematician을 지원하는 유망한 방향임을 시사하며, 이 작업이 automated conjecture discovery를 향한 한 걸음이라 믿는다.","link":"https://openreview.net/forum?id=ORbGkwCidx"},{"id":"EHbCWedsUK","en":"GRAIL: Gradient-Reweighted Advantages for Reinforcement Learning with Verifiable Rewards","ko":"GRAIL: 검증 가능한 보상을 사용하는 강화학습을 위한 기울기 재가중 Advantage","authors":"Tej Deep Pala, Vernon Toh, Soujanya Poria","abs":"Reinforcement learning with verifiable rewards (e.g., GRPO) is now a common way to improve mathematical reasoning in large language models (LLMs). However, current methods usually broadcast one sequence-level advantage to all tokens, or use costly process reward models (PRMs) for step-level supervision. Uniform advantage distribution assumes that all tokens contribute equally to the final reward. This dilutes the gradient signal, since flawed reasoning steps and filler words are updated as strongly as valid logical inferences. To address this, we introduce Gradient-Reweighted Advantage (GRAIL), an intrinsic token-wise advantage reweighting method. GRAIL uses gradient-activation saliency to place more weight on tokens that are more locally sensitive to the final answer. Evaluations across five models from the Qwen3, R1-distilled and OctoThinker families show that GRAIL consistently outperforms GRPO. GRAIL achieved an average improvement of 3.60% in accuracy and 3.05% in Pass@3, demonstrating that fine-grained reasoning alignment can be achieved without process-level supervision.
","absKo":"검증 가능한 reward를 이용한 reinforcement learning(예: GRPO)은 이제 large language model(LLM)의 수학적 추론을 개선하는 일반적인 방법이 되었다. 그러나 현재 방법은 보통 하나의 sequence-level advantage를 모든 token에 broadcast하거나, step-level supervision을 위해 비용이 큰 process reward model(PRM)을 사용한다. Uniform advantage distribution은 모든 token이 최종 reward에 동일하게 기여한다고 가정한다. 이는 잘못된 추론 단계와 filler word가 유효한 논리적 추론만큼 강하게 업데이트되므로 gradient signal을 희석시킨다. 이를 해결하기 위해 우리는 Gradient-Reweighted Advantage(GRAIL)라는 intrinsic token-wise advantage reweighting 방법을 제안한다. GRAIL은 gradient-activation saliency를 사용해 최종 답에 더 국소적으로 민감한 token에 더 큰 가중치를 부여한다. Qwen3, R1-distilled, OctoThinker 계열의 다섯 model에 걸친 평가는 GRAIL이 일관되게 GRPO를 능가함을 보여준다. GRAIL은 정확도에서 평균 3.60%, Pass@3에서 3.05%의 향상을 달성했으며, process-level supervision 없이도 세밀한 reasoning alignment를 달성할 수 있음을 보여준다.","link":"https://openreview.net/forum?id=EHbCWedsUK"},{"id":"yNcFQ9Wa9v","en":"Confidence and Correctness Are Indistinguishable to a Prompted Model on Multimodal Geometry","ko":"Multimodal Geometry에서 프롬프트된 모델에게 Confidence와 Correctness는 구분되지 않는다","authors":"Vipra Bindal","abs":"A self-improving model is usually steered by one
of two signals, its own confidence or whether its
answers are actually correct. Under reinforcement learning this choice matters, since optimizing toward confidence inflates overconfidence and
can cost accuracy while ground-truth rewards
do not. We ask whether the same gap appears
in a lightweight, no-training, in-context loop.
Two vision-language models, Claude Haiku and
Pixtral-12B, each run the loop twice on diagrambased plane-geometry problems from MathVerse,
one arm carrying forward the examples the model
was most confident in, the other the examples
that were actually correct. Across four rounds
the selection signal does not change mathematical
reasoning. Accuracy and calibration are statistically indistinguishable between the two arms, and
so are confidence on wrong answers and abstention. The contrast with reinforcement learning is
the point. A confidence-versus-correctness distinction that DCPO found consequential under
RLHF does not transfer to prompt design, where
it changes nothing we measured. What varies instead is the model. At nearly identical accuracy,
confidence on wrong answers is 0.70 for Claude
and 0.94 for Pixtral, and verified-correct feedback
never reduces it. Overconfidence on errors is a
property of the model, not of the selection signal
or the task.
","absKo":"self-improving model은 보통 두 신호 중 하나에 의해 유도된다. 하나는 자기 자신의 confidence이고, 다른 하나는 답이 실제로 정답인지 여부이다. reinforcement learning에서는 이 선택이 중요하다. confidence를 최적화하면 overconfidence가 부풀려져 정확도가 떨어질 수 있지만, ground-truth reward는 그렇지 않기 때문이다. 우리는 동일한 격차가 가벼운 no-training, in-context loop에서도 나타나는지 묻는다. Claude Haiku와 Pixtral-12B라는 두 vision-language model은 MathVerse의 diagram-based plane-geometry problem에서 각각 loop를 두 번 실행한다. 한 쪽은 모델이 가장 자신 있어 한 예시를 이어받고, 다른 쪽은 실제로 정답이었던 예시를 이어받는다. 네 번의 round에 걸쳐 선택 신호는 수학적 추론을 바꾸지 않는다. 정확도와 calibration은 두 arm 사이에서 통계적으로 구별되지 않으며, 오답에 대한 confidence와 abstention도 마찬가지다. RLHF 하에서 DCPO가 중요하다고 본 confidence-versus-correctness 구분은 prompt design으로는 전이되지 않는다. prompt design에서는 우리가 측정한 어떤 것도 바꾸지 않는다. 대신 달라지는 것은 모델이다. 거의 동일한 정확도에서 오답에 대한 confidence는 Claude에서 0.70, Pixtral에서 0.94이며, verified-correct feedback은 이를 결코 낮추지 못한다. 오류에 대한 overconfidence는 selection signal이나 task가 아니라 모델의 속성이다.","link":"https://openreview.net/forum?id=yNcFQ9Wa9v"},{"id":"T3WDCimC5K","en":"Skill-Synthesizer: Query-Aware Skill Synthesis for Scientific Reasoning","ko":"Skill-Synthesizer: 과학적 추론을 위한 질의 인지형 스킬 합성","authors":"Jacob McCarran, Rajsuryan Singh, Carlos Arribalzaga Jové, Khaled Ahmed, Marco Del Tredici","abs":"Maximizing the value of an agent's accumulated experience requires more than retrieving the most similar skill: it requires selectively combining and adapting knowledge based on the demands of the current problem. This is especially true in scientific reasoning, where solving a problem often requires integrating theoretical principles and procedural knowledge from multiple sources. Existing skill-based memory systems fall short of this: they retrieve whole skills and inject them directly into the agent's context, without reasoning over their content or relationships. This is suboptimal when relevant knowledge is scattered across multiple skills, or when retrieved skills contain information only partially relevant to the current task. We present \\textbf{\\skillsyn}, which addresses these limitations by retrieving relevant passages from a skill library and composing them into a unified, query-specific skill. A dedicated synthesis agent reasons over how retrieved passages complement each other, assembles them into an executable procedure, and verifies intermediate steps through code execution, a highly valuable capability for the derivation-heavy problems that characterize scientific workflows. Evaluated on two challenging physics benchmarks, \\skillsyn consistently outperforms all retrieval baselines in both accuracy and reasoning soundness, with especially strong gains on a graduate-level benchmark where no other retrieval method improves over the memoryless baseline.
","absKo":"에이전트가 축적한 경험의 가치를 극대화하려면 단순히 가장 유사한 skill을 검색하는 것만으로는 부족하며, 현재 문제의 요구에 따라 지식을 선택적으로 결합하고 적응시키는 과정이 필요하다. 이는 이론적 원리와 절차적 지식을 여러 출처에서 통합해야 하는 경우가 많은 scientific reasoning에서 특히 중요하다. 기존의 skill-based memory system은 이에 미치지 못한다. 이들은 전체 skill을 검색해 에이전트의 context에 직접 주입할 뿐, 그 내용이나 상호 관계를 추론하지 않는다. 관련 지식이 여러 skill에 흩어져 있거나, 검색된 skill이 현재 작업과 부분적으로만 관련된 정보를 포함할 때 이는 최적이 아니다. 우리는 이러한 한계를 해결하는 \\textbf{\\skillsyn}을 제안한다. \\skillsyn은 skill library에서 관련 passage를 검색하고 이를 단일의 query-specific skill로 구성한다. 전용 synthesis agent는 검색된 passage들이 서로 어떻게 보완되는지 추론하고, 이를 실행 가능한 procedure로 조립하며, 코드 실행을 통해 중간 단계를 검증한다. 이는 derivation-heavy한 문제들이 특징인 scientific workflow에서 매우 유용한 능력이다. 두 개의 어려운 physics benchmark에서 평가한 결과, \\skillsyn은 정확도와 reasoning soundness 모두에서 모든 retrieval baseline을 일관되게 능가했으며, 특히 다른 어떤 retrieval method도 memoryless baseline을 개선하지 못한 graduate-level benchmark에서 큰 향상을 보였다.","link":"https://openreview.net/forum?id=T3WDCimC5K"},{"id":"60bd3O67QA","en":"LeanRefiner: Agentic Global-to-Local Optimization of Lean Proofs","ko":"LeanRefiner: Lean proof의 agentic global-to-local 최적화","authors":"Tian Cui, Bin Zhang, Changwei Wang, Zhiwei Xu, Zeyang Liu","abs":"Modern Lean provers are increasingly able to produce proofs that pass mechanical verification. However, a verified proof may still be lengthy, repetitive, and difficult to read or maintain. We formalize this setting as proof optimization after correctness and propose LeanRefiner, a framework for optimizing verified Lean proofs under hard correctness constraints. Given a verified Lean proof, LeanRefiner aims to shorten and reorganize it while preserving the theorem statement, maintaining Lean verifiability, and avoiding proof holes. To achieve this goal, LeanRefiner employs a verifier-guided agentic system that combines theorem-level global restructuring with pattern-guided local reduction over bounded proof fragments. Experiments on three collections of verified Lean proofs show that LeanRefiner consistently reduces proof length while satisfying strict verifier constraints. Further analysis shows that these gains mainly stem from the staged collaboration between the global restructuring and local reduction agents, rather than from superficial cleanup or any specific backend.
","absKo":"현대 Lean prover는 기계적 검증을 통과하는 proof를 점점 더 잘 생성할 수 있게 되었다. 그러나 검증된 proof가 여전히 길고, 반복적이며, 읽거나 유지보수하기 어렵다는 문제는 남아 있다. 우리는 이러한 상황을 correctness 이후의 proof optimization으로 정식화하고, 강한 correctness 제약 하에서 검증된 Lean proof를 최적화하는 프레임워크인 LeanRefiner를 제안한다. 검증된 Lean proof가 주어지면, LeanRefiner는 theorem statement를 유지하고, Lean verifiability를 보존하며, proof hole을 피하면서 이를 더 짧고 재구성된 형태로 바꾸는 것을 목표로 한다. 이를 위해 LeanRefiner는 theorem 수준의 global restructuring과 bounded proof fragment에 대한 pattern-guided local reduction을 결합한 verifier-guided agentic system을 사용한다. 세 개의 검증된 Lean proof 모음에 대한 실험에서 LeanRefiner는 엄격한 verifier 제약을 만족하면서도 일관되게 proof 길이를 줄였다. 추가 분석은 이러한 향상이 단순한 cleanup이나 특정 backend 때문이 아니라, global restructuring agent와 local reduction agent의 단계적 협업에서 주로 비롯됨을 보여준다.","link":"https://openreview.net/forum?id=60bd3O67QA"},{"id":"M38oAncfxW","en":"LeanFlow: A Case Study in Workflow-Driven Lean Autoformalization","ko":"LeanFlow: 워크플로 중심 Lean autoformalization 사례 연구","authors":"Lazar Milikic, Simon Guilloud, Khanh Nguyen, Viktor Kunčak","abs":"We present and evaluate LeanFlow, an LLM agent system specialized for translating mathematical papers into buildable Lean projects.
Recent verifier-in-the-loop systems show that large formal artifacts can be produced, but it remains unclear which runtime mechanisms affect completion, auditability, or efficiency in document-to-project formalization.
We study this question through case studies on two previously unformalized mathematical papers in number theory and measure theory, using model, proof-workflow, and toolset ablations with Kimi2.6 and GPT5.5; we report task outcome, API calls, input tokens, and output tokens.
With Kimi2.6, the full workflow completes both document-level projects within the 2000-call budget, while no-queue variants reach the budget limit; with GPT5.5, all document-level variants complete, and the full workflow has the lowest or tied-lowest input-token cost on both sources.
As complementary calibration, LeanFlow reaches 75.7% BEq+ on the PFR slice of RLM25 and solves all five ICML 2026 AI for Math TCS challenge projects in our GPT5.5 runs.
","absKo":"우리는 수학 논문을 buildable Lean project로 번역하는 데 특화된 LLM agent system인 LeanFlow를 제시하고 평가한다.\n최근 verifier-in-the-loop system은 대규모 formal artifact를 생성할 수 있음을 보여주었지만, 문서에서 프로젝트로의 formalization에서 어떤 runtime mechanism이 완료, auditability, 또는 효율성에 영향을 주는지는 여전히 불분명하다.\n우리는 수론과 측도론에서 아직 formalization되지 않은 두 편의 수학 논문에 대한 case study를 통해 이 질문을 연구하며, Kimi2.6과 GPT5.5를 사용해 model, proof-workflow, toolset ablation을 수행한다. 또한 task outcome, API call 수, input token 수, output token 수를 보고한다.\nKimi2.6에서는 전체 workflow가 2000-call budget 내에서 두 개의 document-level project를 모두 완료하는 반면, no-queue variant는 budget 한계에 도달한다. GPT5.5에서는 모든 document-level variant가 완료되며, 전체 workflow는 두 소스 모두에서 input-token 비용이 가장 낮거나 동률 최저를 기록한다.\n보완적 calibration으로서, LeanFlow는 RLM25의 PFR slice에서 75.7% BEq+에 도달하고, 우리의 GPT5.5 실행에서 ICML 2026 AI for Math TCS challenge project 다섯 개를 모두 해결한다.","link":"https://openreview.net/forum?id=M38oAncfxW"},{"id":"oDkmluqgi7","en":"Geometric Measurements of the Axiom of Choice in Neural Proof Embeddings","ko":"신경망 증명 임베딩에서 선택공리의 기하학적 측정","authors":"Rodrigo Mendoza Smith","abs":"The axiom of choice has divided the foundations of mathematics for over a century, but the distinction between classical and constructive proofs has remained a philosophical and methodological one. We use Lean 4's kernel-level tracking of axiom dependence to show that the axiom of choice has a measurable geometric correlate in proof space that obeys a one-parameter mixture law and has operational consequences for neural theorem provers. To do this, we partition $471{,}260$ declarations of Mathlib by transitive dependence on the axiom of choice and represent a filtered population of $42{,}355$ traced theorems by their sequences of tactic invocations. We use the constructive proofs in this dataset to train a self-supervised proof encoder and show that when using it to measure classical proofs, three complementary measurements (anomaly score, reconstruction loss, and density-superlevel containment) exhibit a common decline with the proof's distance from the axiom in the dependency graph, from sharp separation at the shallow boundary (AUC $0.847$ at distance~$2$) to indistinguishability at distance $9{+}$. Robustness controls show that the signature survives length, file, author, and topic controls, and replicates under full-source encoders trained on normalised proof source. Operationally, we show that on an evaluation sample of $251$ Mathlib theorems, Lean's aesop tactic solves constructive theorems at $13\\times$ the rate of classical ones, and a neural-guided hybrid using the ReProver tactic generator compresses the gap to $5\\times$. The geometric anomaly score predicts aesop failure beyond proof length, providing an operational link between the geometric signature and prover performance.
","absKo":"선택 공리는 한 세기 넘게 수학 기초를 둘러싼 논쟁을 불러왔지만, 고전적 증명과 구성적 증명의 구분은 여전히 철학적이고 방법론적인 차원에 머물러 있었다. 우리는 Lean 4의 공리 의존성 추적을 커널 수준에서 활용해, 선택 공리가 증명 공간에서 측정 가능한 기하학적 상관물을 가지며, 이는 1-파라미터 혼합 법칙을 따르고 신경 정리 증명기(neural theorem prover)에 운영상 의미를 갖는다는 것을 보인다. 이를 위해 Mathlib의 $471{,}260$개 선언을 선택 공리에 대한 추이적 의존성에 따라 분할하고, 추적된 $42{,}355$개의 정리를 tactic 호출 시퀀스로 표현하였다. 우리는 이 데이터셋의 구성적 증명으로 자기지도 proof encoder를 학습시키고, 이를 고전적 증명 측정에 사용할 때 세 가지 보완적 측정값(anomaly score, reconstruction loss, density-superlevel containment)이 의존성 그래프에서 공리로부터의 거리와 함께 공통적으로 감소함을 보였다. 즉, 얕은 경계에서는 날카로운 분리(AUC $0.847$, 거리~$2$)가 나타나지만, 거리 $9{+}$에서는 구별 불가능해진다. 강건성 제어 실험은 이 시그니처가 길이, 파일, 저자, 주제 제어를 통과해도 유지되며, 정규화된 증명 소스에서 학습한 full-source encoder에서도 재현됨을 보여준다. 운영적으로는, $251$개의 Mathlib 정리로 이루어진 평가 샘플에서 Lean의 aesop tactic이 고전적 정리보다 구성적 정리를 $13\\times$ 높은 비율로 해결하며, ReProver tactic generator를 사용하는 신경망 유도 하이브리드가 이 격차를 $5\\times$로 줄인다는 것을 보인다. 기하학적 anomaly score는 증명 길이를 넘어서는 aesop 실패를 예측하며, 기하학적 시그니처와 prover 성능 사이의 운영적 연결고리를 제공한다.","link":"https://openreview.net/forum?id=oDkmluqgi7"},{"id":"IWQLGMMIk5","en":"Proof Verification Is Obligation Coverage: Pessimistic Checking of Open-Ended Mathematical Proofs","ko":"증명 검증은 의무 범위 커버리지다: 열린 수학 증명의 비관적 검증","authors":"Sicheng Chen, Po-Hsun Chang, Wentao Cao, Haotian Lu, Xuanming Liu","abs":"Open-ended proof verification is asymmetric: re- jection needs one faithful fatal obstruction, while acceptance requires all necessary theorem pre- conditions, case splits, witness bridges, imported dependencies, and conclusion-support links to be discharged. Existing verifier scaling samples more critiques or finer text chunks, but leaves this universal acceptance object implicit. We in- troduce Obligation-Covered Pessimistic Verifica- tion (OC-PVerify), an implemented verifier that extracts high-risk semantic obligations, checks them under first-error-wins pessimism, validates negative certificates for proof-faithfulness, and optionally audits whether uncovered fatal obliga- tions remain. On IMO-GradingBench, the ma- ture progressive baseline remains strongest on the 300-sample response-level run at 90.0% ac- curacy, but OC-PVerify changes the error profile: provenance-gated OC-PVerify improves the first- 50 split from 84.0% to 92.0% accuracy and from 0.826 to 0.920 F1, while a separate full-credit au- dit reaches 96.0% accuracy with zero false accepts under rubric context. The contribution is a new verification target, not a prompt stack: proof ac- ceptance as obligation coverage, with pessimistic verification recovered as risk-controlled search for a minimal witness of non-coverage.
","absKo":"Open-ended proof verification은 비대칭적이다. rejection은 하나의 faithful한 fatal obstruction만 필요하지만, acceptance는 필요한 모든 theorem pre-condition, case split, witness bridge, imported dependency, 그리고 conclusion-support link가 해소되어야 한다. 기존 verifier scaling은 더 많은 critique나 더 세분화된 text chunk를 샘플링하지만, 이 보편적 acceptance object는 암묵적으로 남겨둔다. 우리는 Obligation-Covered Pessimistic Verification(OC-PVerify)을 도입한다. 이는 high-risk semantic obligation을 추출하고, first-error-wins pessimism 아래에서 이를 점검하며, proof-faithfulness를 위한 negative certificate를 검증하고, 선택적으로 아직 덮이지 않은 fatal obligation이 남아 있는지도 감사하는 구현된 verifier이다. IMO-GradingBench에서 성숙한 progressive baseline은 300-sample response-level run에서 90.0% accuracy로 여전히 가장 강력하지만, OC-PVerify는 error profile을 바꾼다. provenance-gated OC-PVerify는 first-50 split을 84.0%에서 92.0% accuracy로, 그리고 0.826에서 0.920 F1로 개선하며, 별도의 full-credit audit은 rubric context에서 false accept 없이 96.0% accuracy에 도달한다. 이 기여는 새로운 verification target이지 prompt stack이 아니다. 즉, proof acceptance를 obligation coverage로 정의하고, pessimistic verification을 coverage되지 않은 최소 witness를 찾는 risk-controlled search로 복원하는 것이다.","link":"https://openreview.net/forum?id=IWQLGMMIk5"},{"id":"cxNZmu7ODQ","en":"Tacit Verification Apprenticeship for Self-Evolving Scientific Agents","ko":"스스로 진화하는 과학 에이전트를 위한 암묵적 검증 도제학습","authors":"David Scott Lewis, Karl Wang, Zhaoxiang Feng, Junhan Wang, Saien Deng","abs":"Self-evolving scientific agents will not be reliable merely because they can call proof assistants, validators, model checkers, or executable workflows. The hard part is a missing layer of tacit verification craft: choosing definitions, preserving informal intent, splitting proof obligations, navigating libraries, repairing failed scripts, and knowing when a formally accepted artifact is scientifically misaligned. We introduce **Tacit Verification Apprenticeship** (TVA), an architecture and evaluation agenda in which agents learn this craft from proof-state trajectories, failed attempts, expert corrections, semantic-alignment checks, and domain validation traces. We instantiate the idea with a typed memory schema, utility model, failure taxonomy, benchmark design, and three reproducible corpus probes over 1,406 curated records plus an executable semantic-alignment demo. The result is a practical blueprint for scientific agents that improve across cycles while remaining checkable, auditable, and semantically faithful.
","absKo":"Self-evolving scientific agent가 proof assistant, validator, model checker, 또는 executable workflow를 호출할 수 있다는 사실만으로는 신뢰할 수 없다. 핵심은 암묵적 verification craft의 부족한 층이다. 즉, 정의를 선택하고, 비형식적 의도를 보존하고, proof obligation을 분할하고, library를 탐색하고, 실패한 script를 복구하고, 형식적으로 승인된 artifact가 과학적으로 어긋났는지 알아차리는 능력이다. 우리는 **Tacit Verification Apprenticeship** (TVA)을 제안한다. 이는 agent가 proof-state trajectory, 실패한 시도, expert correction, semantic-alignment check, domain validation trace로부터 이 craft를 학습하는 architecture이자 평가 아젠다이다. 우리는 typed memory schema, utility model, failure taxonomy, benchmark design, 그리고 1,406개의 선별된 record와 실행 가능한 semantic-alignment demo 위에서 재현 가능한 세 가지 corpus probe를 통해 이 아이디어를 구현한다. 그 결과는 주기적으로 개선되면서도 검증 가능하고, 감사 가능하며, 의미적으로 충실한 scientific agent를 위한 실용적인 청사진이다.","link":"https://openreview.net/forum?id=cxNZmu7ODQ"},{"id":"nE1q0gRDNr","en":"ImprovEvolve: Basin-Hopping Meets LLM-Guided Evolutionary Search","ko":"ImprovEvolve: Basin-hopping과 LLM-유도 진화 탐색의 결합","authors":"Alexey Kravatskiy, Valentin Khrulkov, Ivan Oseledets","abs":"LLM-guided evolutionary computation, most notably AlphaEvolve, has been remarkably successful in discovering novel mathematical constructions by solving challenging optimization problems. The standard approach is to evolve a monolithic program that directly outputs a candidate solution. We present ImprovEvolve, an algorithmic alternative that drastically reduces cognitive load on the LLM. Instead of prompting the model for an end-to-end optimizer, we evolve a program with three specialized operators of initialization, local improvement, and perturbation. We then approach the optimum by iteratively applying local improvements and intensity-scheduled perturbations, effectively driving a basin-hopping search with LLM-evolved subroutines. For hexagon in hexagon packing, ImprovEvolve discovers new state-of-the-art packings of 11, 12, 15, and 16 hexagons, and additionally for 14, 17, and 23 hexagons after minimal expert tuning of the generated code. For the second autocorrelation inequality, the evolved and human-scaled program pushes the lower bound from 0.96102 to 0.96258. For spherical codes, the ImprovEvolve program lowers the best-known maximum cosine for the majority of 90 randomly chosen diverse state-of-the-art spherical codes, achieving relative improvements of up to 2.4%.
","absKo":"LLM-guided evolutionary computation, 특히 AlphaEvolve는 어려운 최적화 문제를 해결함으로써 새로운 수학적 construction을 발견하는 데 놀라운 성공을 거두었다. 표준 접근법은 후보 해를 직접 출력하는 단일 monolithic program을 진화시키는 것이다. 우리는 LLM의 인지적 부담을 크게 줄이는 algorithmic alternative인 ImprovEvolve를 제시한다. 모델에 end-to-end optimizer를 요청하는 대신, 우리는 initialization, local improvement, perturbation의 세 가지 specialized operator를 가진 program을 진화시킨다. 그런 다음 local improvement와 intensity-scheduled perturbation을 반복적으로 적용해 optimum에 접근하며, 사실상 LLM이 진화시킨 subroutine으로 basin-hopping search를 수행한다. hexagon in hexagon packing에서 ImprovEvolve는 11, 12, 15, 16개 hexagon에 대한 새로운 state-of-the-art packing을 발견했으며, 생성된 code를 최소한의 expert tuning만 거친 뒤 14, 17, 23개 hexagon에 대해서도 추가 성과를 냈다. second autocorrelation inequality에서는 진화된 human-scaled program이 lower bound를 0.96102에서 0.96258로 끌어올렸다. spherical code의 경우, ImprovEvolve program은 무작위로 선택한 90개의 diverse state-of-the-art spherical code 대부분에서 best-known maximum cosine을 낮추었고, 최대 2.4%의 relative improvement를 달성했다.","link":"https://openreview.net/forum?id=nE1q0gRDNr"},{"id":"X8Fdpx4GX9","en":"FormInv: A Measurement Protocol for Semantic Invariance in Mathematical Reasoning Benchmarks","ko":"FormInv: 수학 추론 벤치마크에서 의미 불변성을 측정하기 위한 프로토콜","authors":"Nishal Thomas, Noel Thomas","abs":"A paraphrase-quality audit of MathCheck (Zhou et al., 2024) detected 4 semantically-incorrect paraphrases in 129 groups (3.1%); removing them drops GPT-4o from rank 2 to rank 4 and elevates Claude Haiku and DeepSeek V3 above it; these ranking changes are invisible to any single-model evaluation. Cross-model unanimity found these errors automatically (≥3/4 models for MathCheck; ≥6/9 for our primary evaluation) for under \\$10; in our own dataset the same protocol found that 47% of auto-generated connective-variation paraphrases were semantically incorrect. That flaw compounds a deeper measurement gap. On the theorems every model answers correctly in canonical form, where accuracy is identical by construction, a semantically equivalent rewording still flips the answer for 5-42% of them: Claude Haiku 4.5 flips a known-correct answer ~9× as often as DeepSeek V3 (41.9% vs. 4.7% on the 43 theorems all models share), a 37-point difficulty-controlled gap we call the Conditional Inconsistency Rate (CIR). Crucially CIR is anti-correlated with capability (Spearman ρ = −0.57 between canonical accuracy and CIR, vs. +0.65 for raw consistency), so it is not a relabeling of problem difficulty but an axis largely orthogonal to accuracy; the anti-correlation strengthens to ρ = −0.59 on an independent 103-theorem set, where the ranking also replicates. Raw Semantic Consistency Rates (SCR) span 50-82% across 9 models, but we show this cross-model spread is mostly a mechanical consequence of compounding accuracy over k ≈ 6 paraphrases; what is not mechanical, and what CIR isolates, is the within-theorem clustering of failures (SCR sits ~9 points above an independence null, p < 0.01 for 6 of the 8 models tested). Because no model dominates on all paraphrase families, the families a benchmark chooses to include implicitly fix its model ranking (a No-Free-Benchmark corollary). FormInv supplies the audit protocol (which reranks the published MathCheck benchmark), the difficulty-controlled CIR and SCR as invariance measures (with a proposed per-theorem Cochran's Q significance test) evaluated on 9 models across 366-811 items whose canonical statements are Lean4-verified (paraphrases are CAS- and expert-verified, with the cross-model audit as a third verification layer), and FormInvSelector for regime-aware model selection.
","absKo":"MathCheck(Zhou et al., 2024)의 paraphrase-quality audit에서 129개 그룹 중 4개의 의미적으로 부정확한 paraphrase(3.1%)가 탐지되었다. 이들을 제거하면 GPT-4o는 2위에서 4위로 떨어지고 Claude Haiku와 DeepSeek V3가 그 위로 올라선다. 이러한 순위 변화는 어떤 단일 모델 평가로도 드러나지 않는다. Cross-model unanimity는 이러한 오류를 자동으로 찾아냈다(MathCheck에서는 3/4 모델 이상, 우리의 primary evaluation에서는 6/9 이상). 비용은 10달러 미만이었다. 우리의 데이터셋에서도 같은 protocol은 auto-generated connective-variation paraphrase의 47%가 의미적으로 부정확하다는 사실을 발견했다. 이 결함은 더 깊은 measurement gap과 맞물린다. canonical form에서는 모든 모델이 정답을 맞히는 theorem에서, 정확도는 구조상 동일하다. 그러나 의미적으로 동등한 재서술은 여전히 그중 5-42%에서 답을 바꾼다: Claude Haiku 4.5는 알려진 정답을 DeepSeek V3보다 약 9배 더 자주 뒤집으며(모든 모델이 공유하는 43개 theorem에서 41.9% 대 4.7%), 이것이 우리가 Conditional Inconsistency Rate(CIR)라고 부르는, difficulty를 통제한 37포인트 격차다. 중요한 점은 CIR이 capability와 반상관을 보인다는 것이다(Spearman ρ = −0.57, canonical accuracy와 CIR 사이; raw consistency는 +0.65). 따라서 이것은 문제 난이도의 재표기가 아니라 정확도와 거의 직교하는 축이다. 이 반상관은 독립적인 103-theorem set에서 ρ = −0.59로 더욱 강해지며, 순위 역시 재현된다. Raw Semantic Consistency Rate(SCR)은 9개 모델에서 50-82% 범위를 보이지만, 우리는 이 cross-model spread가 대부분 k ≈ 6개의 paraphrase에 대한 accuracy 누적의 기계적 결과임을 보인다. 기계적이지 않은 것, 그리고 CIR이 분리해내는 것은 theorem 내부에서의 실패 군집화이다(SCR은 독립성 null보다 약 9포인트 높으며, 테스트한 8개 모델 중 6개에서 p < 0.01). 어떤 모델도 모든 paraphrase family에서 우세하지 않기 때문에, 벤치마크가 포함하기로 선택한 family는 암묵적으로 그 모델 순위를 고정한다(No-Free-Benchmark corollary). FormInv는 audit protocol을 제공하며(이를 통해 공개된 MathCheck benchmark를 재순위화한다), difficulty-controlled CIR과 SCR을 invariance measure로 제시한다(제안된 theorem별 Cochran's Q significance test 포함). 이는 canonical statement가 Lean4로 검증된 366-811개 item에 대해 9개 모델을 평가한 것이며(paraphrase는 CAS 및 전문가 검증을 거쳤고, cross-model audit는 세 번째 검증 계층으로 사용되었다), FormInvSelector는 regime-aware model selection을 제공한다.","link":"https://openreview.net/forum?id=X8Fdpx4GX9"},{"id":"C1vfBlssWA","en":"Formalizing Numerical Analysis: An Agent Pipeline and Quality Audit Beyond Kernel Acceptance","ko":"수치 해석의 형식화: kernel 수용을 넘어서는 agent pipeline과 품질 감사","authors":"Theodore Meek, Siyuan Ge, Di Qiu Xiang, Simon Chess, Vasily Ilin","abs":"Recent work has demonstrated that coding agents can formalize entire advanced mathematics textbooks in Lean 4, yet existing efforts concentrate on branches of mathematics already well-represented in mathlib and measure success solely through kernel acceptance. We address both limitations by applying a coding agent to formalize Numerical Methods for Ordinary Differential Equations, a textbook in numerical analysis that is largely absent from mathlib, stressing the agent's capacity to develop new theory from scratch. We further introduce a systematic, reproducible three-dimensional framework for evaluating the quality of agent-produced formalizations beyond compilation: semantic correctness, mathlib reuse, and cross-file reuse via LLM-as-judge methods. Applying this framework to our own formalization and to the released outputs of RepoProver and M2F, we uncover recurring unfaithful formalization patterns - including incomplete multi-part statements, added weakening hypotheses, and parameter restrictions - that kernel acceptance entirely obscures. Our results suggest that compilation-based metrics substantially overstate formalization quality, and we provide a reproducible audit methodology to support more rigorous evaluation of future autoformalization systems.
","absKo":"최근 연구는 coding agent가 Lean 4에서 고급 수학 교재 전체를 formalize할 수 있음을 보여주었지만, 기존 시도는 주로 mathlib에 잘 대표되는 수학 분야에 집중했으며 성공을 kernel acceptance로만 평가했다. 우리는 coding agent를 적용해 수치해석 교재인 Numerical Methods for Ordinary Differential Equations를 formalize함으로써 이 두 한계를 모두 다룬다. 이 교재는 mathlib에 거의 존재하지 않으며, 이는 에이전트가 새로운 이론을 처음부터 개발할 수 있는 역량을 시험한다. 또한 우리는 compilation을 넘어 agent가 생성한 formalization의 품질을 평가하기 위한 체계적이고 재현 가능한 3차원 프레임워크를 제안한다: semantic correctness, mathlib reuse, 그리고 LLM-as-judge 방법을 통한 cross-file reuse이다. 이 프레임워크를 우리의 formalization과 RepoProver 및 M2F의 공개 산출물에 적용한 결과, 불완전한 다중 부분 명세, 추가된 약화 가정, 매개변수 제한을 포함한 반복적인 비충실한 formalization 패턴이 드러났으며, 이는 kernel acceptance만으로는 완전히 가려진다. 우리의 결과는 compilation 기반 metric이 formalization 품질을 상당히 과대평가함을 시사하며, 우리는 향후 autoformalization 시스템의 더 엄밀한 평가를 지원하기 위한 재현 가능한 감사(audit) 방법론을 제공한다.","link":"https://openreview.net/forum?id=C1vfBlssWA"},{"id":"t9b3V5zSgf","en":"Does My Embedding Reflect That \\(A = B\\)? Evaluating Mathematical Equivalence in Embedding Models","ko":"내 임베딩은 \\(A = B\\)를 반영하는가? 임베딩 모델에서의 수학적 동치성 평가","authors":"Jiaying Ye, Samarth Rao, Leo Carlin, Kedar Chintalapati, Saharsh Bhargava, Rachit Jaiswal, Michael Zhou, Jared Darlington, Vasily Ilin, Jarod Alper, Henry Kvinge","abs":"In this paper, we investigate whether current text embedding models can capture mathematical equivalence. To do this, we introduce the \\emph{Mathematically Equivalent but Lexically Different Pairs (MELD) Dataset}, a collection of paired statements that are expressed in very different language but are mathematically equivalent. We show that the current state-of-the-art embedding models struggle with this task. Motivated by this, we propose a contrastive approach to learning embeddings of mathematical text that focuses on aligning different representations. We specifically train models to align informal statements with different formalizations. Our experiments demonstrate that this leads to improvements not only on informal-formal retrieval tasks but also on MELD, which only contains natural language statements.
","absKo":"본 논문에서는 현재의 text embedding models가 mathematical equivalence를 포착할 수 있는지 조사한다. 이를 위해 \\emph{Mathematically Equivalent but Lexically Different Pairs (MELD) Dataset}을 도입하는데, 이는 표현은 매우 다르지만 수학적으로는 동등한 paired statements의 집합이다. 우리는 현재의 state-of-the-art embedding models가 이 작업에 어려움을 겪는다는 점을 보인다. 이에 착안해, 서로 다른 representations를 정렬하는 데 초점을 맞춘 mathematical text의 embedding 학습을 위한 contrastive approach를 제안한다. 특히 informal statements와 서로 다른 formalizations를 정렬하도록 모델을 학습한다. 우리의 실험은 이것이 informal-formal retrieval tasks뿐 아니라 natural language statements만을 포함하는 MELD에서도 향상을 가져옴을 보여준다.","link":"https://openreview.net/forum?id=t9b3V5zSgf"},{"id":"5ib9L6WIaj","en":"SCOPE: Symbolic Constraint-Guided Active Perception","ko":"SCOPE: 기호 제약 유도 능동 지각","authors":"Wentao Cao, Po-Hsun Chang, Sicheng Chen, Xuanming Liu, Haotian Lu","abs":"Current multimodal reasoning systems often allocate extra inference-time computation to sampling additional textual rationales or tool-use trajectories. In visually ambiguous settings, however, the more consequential limitation is often the lack of an explicit intermediate state that records what the system currently believes about the scene, which alternatives remain plausible, which observations support those alternatives, and which new observations would be most informative for separating them. We introduce SCOPE, a symbolic activeperception framework that performs posterior sharpening over uncertainty-aware world hypotheses built from typed predicates, provenance, and explicit contradiction structure. SCOPE alternates between symbolic state induction, consistencybased world pruning, and conflict-driven evidence acquisition, so that additional computation is spent on refining explicit scene hypotheses rather than merely enlarging an unstructured pool of candidate outputs. This shift turns multimodal inference into a process of ambiguity management: the model preserves multiple plausible scene explanations early, prunes inconsistent ones as evidence accumulates, and focuses later perception on the few local conflicts that still influence the answer posterior. Across high-resolution and general multimodal reasoning benchmarks, SCOPE yields strong improvements over competitive baselines while also providing a more interpretable account of how extra computation changes the model’s internal decision state.
","absKo":"현재의 multimodal reasoning 시스템은 추가적인 inference-time computation을 주로 더 많은 textual rationale이나 tool-use trajectory를 샘플링하는 데 할당하는 경우가 많다. 그러나 시각적으로 모호한 상황에서는, 더 중요한 한계가 종종 현재 시스템이 장면에 대해 무엇을 믿고 있는지, 어떤 대안이 여전히 그럴듯한지, 어떤 관측이 그 대안들을 지지하는지, 그리고 이를 구분하기 위해 어떤 새로운 관측이 가장 informative할지를 기록하는 명시적 intermediate state의 부재에 있다. 우리는 typed predicate, provenance, 그리고 명시적 contradiction structure로 구성된 uncertainty-aware world hypothesis 위에서 posterior sharpening을 수행하는 symbolic active perception framework인 SCOPE를 소개한다. SCOPE는 symbolic state induction, consistency-based world pruning, conflict-driven evidence acquisition을 교대로 수행함으로써, 추가 계산이 구조화되지 않은 candidate output의 단순한 확장이 아니라 명시적 scene hypothesis의 정교화에 쓰이도록 한다. 이러한 전환은 multimodal inference를 ambiguity management의 과정으로 바꾼다. 모델은 초기에 여러 개의 그럴듯한 scene explanation을 보존하고, evidence가 축적됨에 따라 일관성 없는 것들을 제거하며, 나중의 perception은 answer posterior에 여전히 영향을 주는 소수의 local conflict에 집중한다. 고해상도 및 general multimodal reasoning benchmark 전반에서 SCOPE는 경쟁력 있는 baseline 대비 강한 향상을 보이는 동시에, 추가 계산이 모델의 internal decision state를 어떻게 바꾸는지에 대해 더 해석 가능한 설명을 제공한다.","link":"https://openreview.net/forum?id=5ib9L6WIaj"},{"id":"KNwvVyPs2N","en":"The Role of Feedback Alignment in Self-Distillation","ko":"self-distillation에서 feedback alignment의 역할","authors":"Semih Kara, Oguzhan Ersoy","abs":"Process supervision (assigning credit to individual steps of a reasoning trace) has been shown to outperform outcome-only rewards for mathematical reasoning. The standard implementation trains a process reward model (PRM) on step-labeled data, which is expensive to collect. We show that using step-aligned critique as context in self-distillation provides PRM-like credit assignment. It correctly signs and localizes per-token advantages at error-prone steps in the solver's trace, without training a reward model.
We compare three training signals in a solver--critic setup on a filtered subset of OpenMathReasoning: (i) a binary reward (\\grpo), (ii) self-distillation with the reference solution, and (iii) self-distillation with a step-by-step critique aligned to the solver's reasoning trace.
Step-aligned critique yields the largest gains, beating \\grpo by 16.11 points in Avg@12 on the evaluation set and reference-solution-conditioned self-distillation by 5.27 points. Per-token advantage analysis explains why: step-aligned feedback concentrates distributional shifts at the tokens where reasoning fails, acting as implicit process supervision. In contrast, the reference solution spreads signal across all tokens, because an alternative derivation diverges from the solver's trace even at correct steps. Self-distillation with step-aligned critique therefore recovers the localization benefit of process supervision within a simpler training pipeline.
","absKo":"Process supervision(추론 궤적의 개별 단계에 credit을 할당하는 것)는 수학적 추론에서 outcome-only reward보다 더 우수한 것으로 나타났다. 표준 구현은 step-labeled data로 process reward model(PRM)을 학습하는데, 이는 수집 비용이 매우 크다. 우리는 step-aligned critique를 self-distillation의 context로 사용하는 것이 PRM과 유사한 credit assignment를 제공함을 보인다. 이는 reward model을 학습하지 않고도, solver의 trace에서 오류가 발생하기 쉬운 단계들의 per-token advantage를 올바르게 부호화하고 위치를 특정한다.\n \n우리는 OpenMathReasoning의 필터링된 subset에서 solver--critic setup으로 세 가지 training signal을 비교한다: (i) binary reward(\\grpo), (ii) reference solution을 이용한 self-distillation, (iii) solver의 reasoning trace와 정렬된 step-by-step critique를 이용한 self-distillation.\n\nStep-aligned critique는 가장 큰 성능 향상을 보이며, evaluation set의 Avg@12에서 \\grpo를 16.11 point 차이로, reference-solution-conditioned self-distillation을 5.27 point 차이로 앞선다. per-token advantage analysis는 그 이유를 설명한다. step-aligned feedback은 reasoning이 실패하는 token에 distributional shift를 집중시켜, 암묵적 process supervision처럼 작동한다. 반면 reference solution은 모든 token에 signal을 퍼뜨리는데, 이는 대안적 derivation이 올바른 단계에서도 solver의 trace와 어긋나기 때문이다. 따라서 step-aligned critique를 사용한 self-distillation은 더 단순한 training pipeline 안에서 process supervision의 localization 이점을 회복한다.","link":"https://openreview.net/forum?id=KNwvVyPs2N"},{"id":"Vc9TNzcWaq","en":"The Agentic Researcher: A Practical Guide to AI-Assisted Research in Mathematics and Machine Learning","ko":"Agentic Researcher: 수학과 머신러닝에서 AI 보조 연구를 위한 실용 가이드","authors":"Max Zimmer, Nico Pelleriti, Christophe Roux, Sebastian Pokutta","abs":"AI tools and agents are reshaping how researchers work, from proving theorems to training neural networks. Yet for many, it remains unclear how these tools fit into everyday research practice.
This paper is a practical guide to AI-assisted research in mathematics and machine learning: We discuss how researchers can use modern AI systems productively, where these systems help most, and what kinds of guardrails are needed to use them responsibly.
It is organized into three parts: (I) a five-level taxonomy of AI integration, (II) an open-source framework that, through a set of methodological rules formulated as agent prompts, turns CLI coding agents (e.g., Claude Code, Codex CLI, OpenCode) into autonomous research assistants, and (III) case studies from deep learning and mathematics.
The framework runs inside a sandboxed container, works with any frontier LLM through existing CLI agents, is simple enough to install and use within minutes, and scales from personal-laptop prototyping to multi-node, multi-GPU experimentation across compute clusters. In practice, our longest autonomous session ran for over 20 hours, dispatching independent experiments across multiple nodes without human intervention.
We stress that our framework is not intended to replace the researcher in the loop, but to augment them.
","absKo":"AI 도구와 에이전트는 정리를 증명하는 일부터 신경망을 학습시키는 일까지, 연구자가 일하는 방식을 바꾸고 있다. 그러나 많은 사람들에게 이러한 도구들이 일상적인 연구 실무에 어떻게 들어맞는지는 여전히 분명하지 않다.\n 이 논문은 수학과 machine learning에서의 AI 보조 연구를 위한 실용 가이드이다. 우리는 연구자들이 현대 AI 시스템을 생산적으로 어떻게 활용할 수 있는지, 이러한 시스템이 어디에서 가장 큰 도움을 주는지, 그리고 책임 있게 사용하기 위해 어떤 안전장치가 필요한지를 논의한다.\n 이 글은 세 부분으로 구성된다. (I) AI 통합의 다섯 단계 taxonomy, (II) agent prompt로 정식화한 일련의 방법론적 규칙을 통해 CLI coding agent(예: Claude Code, Codex CLI, OpenCode)를 자율적인 연구 보조로 바꾸는 오픈소스 프레임워크, (III) deep learning과 수학 사례 연구이다.\n이 프레임워크는 sandboxed container 안에서 실행되며, 기존 CLI agent를 통해 어떤 frontier LLM과도 동작하고, 몇 분 안에 설치하고 사용할 수 있을 만큼 단순하며, 개인 노트북 수준의 프로토타이핑에서 compute cluster 전반의 multi-node, multi-GPU 실험까지 확장된다. 실제로 우리의 가장 긴 자율 세션은 20시간이 넘게 지속되었고, 사람의 개입 없이 여러 노드에 독립적인 실험을 배포했다.\n우리는 이 프레임워크가 loop 안의 연구자를 대체하려는 것이 아니라, 그 연구자를 보완하기 위한 것임을 강조한다.","link":"https://openreview.net/forum?id=Vc9TNzcWaq"},{"id":"M3kKajgMpY","en":"On Compositional Learning Behaviours in Formal Mathematics","ko":"형식 수학에서의 구성적 학습 행동에 관하여","authors":"Kevin Yandoka Denamganai","abs":"Self-evolving scientific agents capable of conquering the hard tail of formal mathematics require Compositional Learning Behaviours (CLBs)---the capacity to ground and recombine novel symbolic structures in context, beyond mere recombination of prelearned atoms. We propose S2B-LM, an adaptation of the CLB-evaluating Symbolic Behaviour Benchmark that removes numerical processing as a confound and adds chain-of-thought scaffolding to elicit rather than merely probe latent CLB competency.
Cross-evaluating ten Lean~4 theorem provers on CLB competency in S2B-LM and miniF2F whole-proof performance, we find correlational and causal evidence of our claim:
First, a necessary-condition analysis via quadrant test yields $p=0.004$, with model scale being ruled out as a confound.
Second, extracting a CLB-encoding activation direction from *DeepSeek-Prover-V2-7B* using S2B-LM traces via Contrastive Activation Addition and applying it during miniF2F whole-proof generation on the AIME subset, CLB suppression collapses solve rate from $32.3\\%$ to $2.9\\%$, without loss of coherence, while suppressing a random activation direction of equal magnitude leaves it at $31.9\\%$.
Together, these results show that CLB competency is **necessary but not sufficient** for the hard tail of formal mathematical verification.
","absKo":"형식 수학의 어려운 꼬리 구간을 정복할 수 있는 자기진화 과학 에이전트는 Compositional Learning Behaviours(CLBs)---미리 학습된 원자들의 단순한 재조합을 넘어, 문맥 속에서 새로운 symbolic structure를 구체화하고 재결합하는 능력---를 필요로 한다. 우리는 수치 처리를 교란 요인으로부터 제거하고, latent CLB 역량을 단순히 검사하는 데 그치지 않고 유도하기 위해 chain-of-thought scaffolding을 추가한 CLB 평가용 Symbolic Behaviour Benchmark의 변형인 S2B-LM을 제안한다. \nS2B-LM의 CLB 역량과 miniF2F 전체 증명 성능에 대해 10개의 Lean~4 theorem prover를 교차 평가한 결과, 우리는 우리의 주장을 뒷받침하는 상관적 및 인과적 증거를 발견한다:\n첫째, quadrant test를 통한 필요조건 분석은 $p=0.004$를 산출했으며, model scale은 교란 요인에서 배제되었다. \n둘째, Contrastive Activation Addition을 사용해 *DeepSeek-Prover-V2-7B*에서 S2B-LM trace를 통해 CLB를 인코딩하는 activation direction을 추출하고, 이를 AIME subset에 대한 miniF2F 전체 증명 생성에 적용했을 때, CLB suppression은 solve rate를 $32.3\\%$에서 $2.9\\%$로 붕괴시켰다. coherence 손실은 없었으며, 같은 크기의 random activation direction을 suppress하면 solve rate는 $31.9\\%$로 유지되었다. \n이러한 결과를 종합하면 CLB 역량은 형식 수학 검증의 어려운 꼬리 구간에 대해 **필요하지만 충분하지는 않다**는 것을 보여준다.","link":"https://openreview.net/forum?id=M3kKajgMpY"},{"id":"4Jgmkx0HvH","en":"Reasoning as a Dynamical System: Online Monitoring of LLMs with Particle Filters","ko":"동적 시스템으로서의 추론: Particle Filter를 이용한 LLM 온라인 모니터링","authors":"Mohammed Abbas","abs":"Online monitoring of LLM reasoning trajectories is increasingly important for inference efficiency, but existing approaches treat steps independently and provide uncalibrated confidence estimates. We model reasoning as a Switching Linear Dynamical System (SLDS) with three latent modes (Normal, Insight, Backtrack) and track it online with a Rao-Blackwellized Particle Filter (RBPF) that marginalises the continuous state analytically and requires no ground-truth labels at test time. Using per-step scores from a Process Reward Model (PRM) as observations, RBPF reaches an AUC of $0.850$ on GSM8K, comparable to strong online and offline baselines. Its main advantage is calibration: RBPF attains the lowest calibration error among all methods (ECE $0.111$), around three times lower than the strongest ranking baselines (MeanPRM $0.305$, EMA $0.311$), making its confidence estimates more directly usable downstream. For early stopping, RBPF commits a correctness verdict 12% of steps early on average, without reducing verdict accuracy. On the harder MATH, the pattern holds: RBPF is competitive on discrimination (AUPR $0.607$, the highest of all methods) and far better calibrated than the ranking baselines.
","absKo":"LLM reasoning trajectory의 온라인 모니터링은 추론 효율성 측면에서 점점 더 중요해지고 있지만, 기존 접근은 step을 독립적으로 취급하며 보정되지 않은 confidence estimate를 제공한다. 우리는 reasoning을 세 개의 latent mode(Normal, Insight, Backtrack)를 갖는 Switching Linear Dynamical System(SLDS)으로 모델링하고, continuous state를 해석적으로 적분 소거하며 test time에 ground-truth label이 필요 없는 Rao-Blackwellized Particle Filter(RBPF)로 이를 온라인 추적한다. Process Reward Model(PRM)의 step별 score를 observation으로 사용했을 때, RBPF는 GSM8K에서 AUC $0.850$을 달성하며 강력한 online 및 offline baseline과 비슷한 수준을 보인다. 그 핵심 장점은 calibration이다. RBPF는 모든 방법 중 가장 낮은 calibration error(ECE $0.111$)를 달성하며, 가장 강한 ranking baseline보다 약 3배 낮다(MeanPRM $0.305$, EMA $0.311$). 이로써 confidence estimate가 downstream에서 더 직접적으로 사용 가능해진다. early stopping의 경우, RBPF는 평균적으로 step의 12%를 미리 사용해 correctness verdict를 내리면서도 verdict 정확도를 낮추지 않는다. 더 어려운 MATH에서도 양상은 유지된다. RBPF는 discrimination 측면에서 경쟁력 있으며(AUPR $0.607$, 모든 방법 중 최고), ranking baseline보다 훨씬 더 잘 보정된다.","link":"https://openreview.net/forum?id=4Jgmkx0HvH"},{"id":"XcDXOOzYX3","en":"Formally Verified AI Co-Reasoning: An Education Case Study","ko":"형식적으로 검증된 AI 공동 추론: 교육 사례 연구","authors":"Arnav Mehta, Thomas Lu, Chenjun Guo, Niels Voss, Manooshree Patel, Rayna Bhattacharyya, Peter Donovan, Gireeja Ranade","abs":"Proof assistants such as Lean4 offer machine-checkable verification of mathematical reasoning, but their adoption is limited because formal languages have a steep learning curve and can be challenging to use. Large language models offer a way to lower this barrier to entry through natural-language co-reasoning systems: proof assistants that users interact with entirely in natural language, and which use formal verification to provide feedback to users who submit incomplete and incorrect proofs. This paper explores such a co-reasoning system in an educational setting. At the core of such systems is an auto-formalizer that must faithfully translate natural-language arguments into formal proofs. This faithful auto-formalization, for an educational setting, is the focus of this work.
We make three contributions. First, we identify desiderata for natural language co-reasoning systems--faithfulness, accuracy, appropriate granularity, transparency, and incremental editability. Second, we introduce an evaluation framework for the first three of these properties in the context of educational proofs. Third, we present a case study on an educational natural-language co-reasoning system for math proofs, whose auto-formalization harness we evaluate on student-written proofs from an undergraduate linear algebra class against the three desiderata.
","absKo":"Lean4 같은 proof assistant는 수학적 reasoning에 대한 machine-checkable verification을 제공하지만, formal language의 학습 곡선이 가파르고 사용이 까다로울 수 있어 채택이 제한됩니다. Large language model은 natural-language co-reasoning system을 통해 이러한 진입 장벽을 낮추는 방법을 제공합니다. 이는 사용자가 전적으로 natural language로 상호작용하는 proof assistant이며, formal verification을 사용해 불완전하거나 잘못된 proof를 제출한 사용자에게 피드백을 제공합니다. 이 논문은 교육 환경에서 이러한 co-reasoning system을 탐구합니다. 이러한 system의 핵심에는 natural-language argument를 formal proof로 충실하게 번역해야 하는 auto-formalizer가 있습니다. 교육 환경에서 이러한 faithful auto-formalization이 이 작업의 초점입니다.\n\n우리는 세 가지 기여를 합니다. 첫째, natural language co-reasoning system을 위한 desiderata, 즉 faithfulness, accuracy, appropriate granularity, transparency, incremental editability를 식별합니다. 둘째, 교육용 proof 문맥에서 이들 중 처음 세 속성을 평가하기 위한 evaluation framework를 도입합니다. 셋째, 수학 proof를 위한 교육용 natural-language co-reasoning system의 case study를 제시하고, 이 시스템의 auto-formalization harness를 undergraduate linear algebra class의 student-written proof에 대해 앞의 세 desiderata로 평가합니다.","link":"https://openreview.net/forum?id=XcDXOOzYX3"},{"id":"TCIXHQRuHx","en":"A Complete Lean Formalization of a TCS Proving Benchmark","ko":"TCS 증명 벤치마크의 완전한 Lean 형식화","authors":"José Luis Delgado","abs":"We formalize the public Phase 1 benchmark for Track 2 of the ICML 2026 AI for Math Workshop, Theoretical Computer Science Proving in Lean. The benchmark consists of 29 challenge files, totaling 500 points, and covers treaps, segment trees, binary heaps, Dijkstra's shortest-path algorithm, and Kruskal's minimum-spanning-tree algorithm. The submitted artifact checks in the supplied Lean 4.28.0, CSLib, and mathlib environment, with no remaining sorry or admit in the challenge files and no changes to the provided definition files. The development centers on abstraction relations and inductive invariants that connect executable data structures to their mathematical specifications: heap membership and priority invariants for Dijkstra, and a disjoint-set/forest connectivity invariant together with a cut-property exchange argument for Kruskal. We describe the proof organization and the library interfaces suggested by the development.
","absKo":"우리는 ICML 2026 AI for Math Workshop의 Track 2를 위한 public Phase 1 benchmark, 즉 Theoretical Computer Science Proving in Lean을 formalize한다. 이 benchmark는 총 500점에 해당하는 29개의 challenge file로 구성되며, treap, segment tree, binary heap, Dijkstra의 shortest-path algorithm, Kruskal의 minimum-spanning-tree algorithm을 포함한다. 제출된 artifact는 제공된 Lean 4.28.0, CSLib, mathlib 환경에서 check되며, challenge file에는 남아 있는 sorry나 admit이 없고 제공된 definition file에는 변경이 없다. 개발의 중심은 실행 가능한 data structure를 수학적 specification과 연결하는 abstraction relation과 inductive invariant이다. Dijkstra에서는 heap membership과 priority invariant를, Kruskal에서는 disjoint-set/forest connectivity invariant와 cut-property exchange argument를 다룬다. 우리는 proof organization과 이 개발이 제안하는 library interface를 설명한다.
","link":"https://openreview.net/forum?id=TCIXHQRuHx"},{"id":"sdOQ7ANk0T","en":"AI-Assisted Discovery of Convex Relaxations via Dual Agents","ko":"이중 에이전트를 통한 볼록 완화의 AI 보조 발견","authors":"Sungyoon Kim, Mert Pilanci","abs":"Recent work shows that LLM agents can improve sharp-constant inequalities by searching for extremal constructions, which yield upper bounds. We address the complementary side: a lower bound holds for every admissible function and follows from a convex relaxation of the nonconvex problem, with tighter relaxations giving stronger bounds. We instantiate the autoresearch paradigm to discover such relaxations: a coding agent proposes valid tightening constraints, a theory agent verifies each one and searches for counterexam-
ples, and every reported bound is certified by an explicit dual-feasible point checked in rigorous interval arithmetic. On two optimization constants studied by Georgiev et al. (2025) - the first autocorrelation inequality (C6.2) and the Erd ˝os minimum-overlap constant (C6.5) - we improve the certified lower bounds from 1.28 to 1.2937 and from 0.379005 to 0.37912, respectively
","absKo":"최근 연구는 LLM agent가 극값 구성을 탐색하여 sharp-constant inequality를 개선할 수 있으며, 이를 통해 상한을 얻을 수 있음을 보여준다. 우리는 그 보완적인 측면, 즉 모든 admissible function에 대해 성립하는 하한을 다룬다. 이 하한은 비볼록 문제의 convex relaxation으로부터 따라오며, 더 타이트한 relaxation일수록 더 강한 하한을 제공한다. 우리는 이러한 relaxation을 발견하기 위해 autoresearch 패러다임을 구현한다. coding agent는 유효한 tightening constraint를 제안하고, theory agent는 각 제안을 검증하며 counter-example을 탐색하고, 보고된 모든 bound는 엄밀한 interval arithmetic으로 검증된 explicit dual-feasible point에 의해 인증된다. Georgiev et al. (2025)이 연구한 두 개의 최적화 상수, 즉 첫 번째 autocorrelation inequality (C6.2)와 Erd ˝os minimum-overlap constant (C6.5)에서, 우리는 인증된 lower bound를 각각 1.28에서 1.2937로, 0.379005에서 0.37912로 개선한다.","link":"https://openreview.net/forum?id=sdOQ7ANk0T"},{"id":"ZrzLTkFfwL","en":"A Minimal Agent for Automated Theorem Proving","ko":"자동 정리 증명을 위한 최소 agent","authors":"Borja Requena, Austin Letson, Krystian Nowakowski, Izan Beltran-Ferreiro, Leopoldo Sarra","abs":"We propose a minimal agentic baseline that enables systematic comparison across different AI-based theorem prover architectures. This design implements the core features shared among state-of-the-art systems: iterative proof refinement, library search and context management. We evaluate this agentic approach using qualitatively different benchmarks and compare various frontier language models and design choices. Our results show competitive performance compared to state-of-the-art approaches, while using a significantly simpler architecture and a fraction of their cost. Additionally, we demonstrate consistent advantages of an iterative approach over multiple single-shot generations, especially in terms of sample efficiency and cost effectiveness. The implementation is released open-source as a candidate reference for future research and as an accessible prover for the community.
","absKo":"우리는 다양한 AI 기반 theorem prover architecture를 체계적으로 비교할 수 있게 해주는 최소한의 agentic baseline을 제안한다. 이 설계는 최첨단 시스템들 사이에서 공통적으로 공유되는 핵심 기능, 즉 반복적 proof refinement, library search, context management를 구현한다. 우리는 질적으로 다른 benchmark를 사용해 이 agentic 접근을 평가하고, 다양한 frontier language model과 design choice를 비교한다. 우리의 결과는 훨씬 단순한 architecture와 그 일부에 불과한 비용을 사용하면서도 state-of-the-art 접근과 견줄 만한 성능을 보인다. 또한 반복적 접근이 여러 single-shot generation보다 일관되게 우수함을 보여주며, 특히 sample efficiency와 cost effectiveness 측면에서 그렇다. 구현은 향후 연구를 위한 후보 reference이자 커뮤니티를 위한 접근 가능한 prover로서 open-source로 공개된다.","link":"https://openreview.net/forum?id=ZrzLTkFfwL"},{"id":"UmBYp5HEf7","en":"AI-Assisted Discovery of a Polynomial Lyapunov Potential for the Antiferromagnetic Potts Model","ko":"반강자성 Potts model을 위한 다항 Lyapunov potential의 AI 보조 발견","authors":"Chendong Song, Zijie Zhou, Chenlin Gu","abs":"Progress in AI for mathematics is largely measured on benchmarks and competition problems, leaving
a gap with the questions working mathematicians actually care about. We argue for a different entry
point: problems whose key idea is simple once seen, yet whose search and verification are tedious.
As a case study from a working mathematician's perspective, we revisit an already-resolved problem
and find a genuinely new proof of it: uniqueness of the Gibbs measure for the three-state
antiferromagnetic Potts model on the infinite binary tree at every positive temperature. Where
prior proofs control the tree recursion through two-step compositions and delicate
computer-assisted estimates, we construct a new one-step polynomial Lyapunov potential on the
simplex that reduces the whole problem to a single finite-dimensional inequality---which we then
discharge by harnessing AI's strength in symbolic computation and exact verification, via a
Bernstein-basis certificate. Beyond the proof itself, we report on the agentic workflow that led to it: we tried several
AI-driven paths to this problem---autonomous proof search, adversarial potential discovery, and
formal-prover attempts---and summarize what worked and what did not, offering a few concrete
lessons for using current agents in this kind of search-and-verify mathematics.
","absKo":"수학 분야의 AI 진전은 대체로 benchmark와 competition problem에서 측정되며, 실제로 working mathematician이 중요하게 여기는 질문과는 간극이 있다. 우리는 다른 진입점을 제안한다. 즉, 핵심 아이디어는 한 번 보이면 간단하지만, 탐색과 검증은 번거로운 문제들이다. working mathematician의 관점에서 하나의 사례 연구로, 우리는 이미 해결된 문제를 다시 살펴보고 그에 대한 진정으로 새로운 증명을 찾아냈다. 그 문제는 무한 binary tree 위의 세 상태 antiferromagnetic Potts model에 대해 모든 양의 온도에서 Gibbs measure의 uniqueness이다. 기존 증명은 tree recursion을 two-step composition과 정교한 computer-assisted estimate로 제어하는 반면, 우리는 simplex 위에 새로운 one-step polynomial Lyapunov potential을 구성하여 전체 문제를 단 하나의 finite-dimensional inequality로 환원한다. 그리고 이를 Bernstein-basis certificate를 통해 AI의 symbolic computation과 exact verification 능력을 활용해 해결한다. 증명 자체를 넘어서, 우리는 그에 이르게 한 agentic workflow도 보고한다. 우리는 이 문제에 대해 autonomous proof search, adversarial potential discovery, formal-prover 시도 등 여러 AI-driven path를 시도했고, 무엇이 효과적이었고 무엇이 그렇지 않았는지를 요약하며, 이러한 탐색-검증 수학에서 현재 agent를 활용하는 데 대한 몇 가지 구체적인 교훈을 제시한다.","link":"https://openreview.net/forum?id=UmBYp5HEf7"},{"id":"obF2i1dK5w","en":"Graffiti3Loop: Generating and Resolving Formal Machine-Generated Graph Conjectures in a Loop","ko":"Graffiti3Loop: 반복 루프에서 형식적 기계 생성 그래프 추측의 생성과 해소","authors":"William Hu, Michael R Douglas, Randy Davila, Philip Vonderlind, Simon Frieder","abs":"We introduce Graffiti3Loop, the first loop that autonomously generates formal graph-theoretic conjectures in Lean4 and attempts to solve them. The conjectures are machine-generated byGraffiti3Loop from finite invariant tables, automatically translated into typed Lean4/mathlib statements, and checked (where Lean4 versions allow) with Lean-FRO Comparator so that a submitted proof must solve the intended formal challenge rather than merely compile. We use a batch of 330 selected conjectures to ground this loop in concrete outputs, which we call Graffiti3Bench-330. In a zero-tool baseline with three open-weight Lean prover checkpoints, no tested output was accepted; we therefore report a failure-mode analysis covering moved or missing Lean APIs, unsolved goals, missing answer blocks, impermissible proof shortcuts, and malformed proof fragments. By contrast, a tool-using, human-guided agentic triage that ran through Graffiti3Bench-330 produced $42$ Lean-checked labels: $17$ proofs of likely new true items and $25$ explicit disproofs. A further $85$ items have computational counterexamples, while $203$ remain likely true after bounded counterexample search. The benchmark part of this loop is intended to measure AI-for-mathematics systems on machine-originated conjectures that sit closer to mathematical discovery workflows than static exercise corpora, including proof, refutation, and hypothesis-repair settings, paving the way for a new engineering-driven approach to mathematics.
","absKo":"우리는 Lean4에서 formal graph-theoretic conjecture를 자율적으로 생성하고 이를 풀려고 시도하는 최초의 loop인 Graffiti3Loop를 소개한다. 이 conjecture는 Graffiti3Loop가 finite invariant table로부터 machine-generated하며, 자동으로 typed Lean4/mathlib statement로 번역되고, (Lean4 version이 허용하는 경우) Lean-FRO Comparator로 검사된다. 이를 통해 제출된 proof는 단순히 컴파일되는 것이 아니라 의도된 formal challenge를 실제로 해결해야 한다. 우리는 이 loop를 구체적인 출력에 기반해 고정하기 위해 330개의 선택된 conjecture 묶음을 사용하며, 이를 Graffiti3Bench-330이라 부른다. 세 개의 open-weight Lean prover checkpoint를 사용한 zero-tool baseline에서는 어떤 테스트 출력도 수용되지 않았다. 따라서 우리는 이동되었거나 누락된 Lean API, 해결되지 않은 goal, missing answer block, 허용되지 않는 proof shortcut, 잘못 형식화된 proof fragment를 포함하는 failure-mode analysis를 보고한다. 반면 도구를 사용하고 사람의 유도 하에 수행된 agentic triage가 Graffiti3Bench-330 전체를 거치며 $42$개의 Lean-checked label을 만들어냈다: $17$개의 새롭고 참일 가능성이 높은 항목에 대한 proof와 $25$개의 명시적 refutation이다. 추가로 $85$개 항목은 계산적 counterexample을 가지며, $203$개는 bounded counterexample search 이후에도 여전히 참일 가능성이 높다. 이 loop의 benchmark 부분은 AI-for-mathematics 시스템을, proof, refutation, hypothesis-repair setting을 포함해 정적 exercise corpus보다 수학적 발견 workflow에 더 가까운 machine-originated conjecture로 평가하는 것을 목표로 하며, 수학에 대한 새로운 engineering-driven 접근법의 길을 연다.","link":"https://openreview.net/forum?id=obF2i1dK5w"},{"id":"4yKKwaYKnt","en":"Recurrence: An Evolving Research-State Copilot for Mathematics","ko":"Recurrence: 수학을 위한 진화하는 연구 상태 Copilot","authors":"Jun Li","abs":"Much of recent AI-for-math frames theorem proving as a single proof obligation: given a statement, generate, check, and revise a proof. In mathematical research, however, progress often depends on the surrounding state that comes before and between proof attempts: fixing the right statement, testing examples and counterexamples, remembering failed routes, extracting reusable lemmas, and deciding what should be attacked next. We present Recurrence, a self-evolving copilot for this layer of mathematical work. Recurrence adds a pre-proof layer to a proof-and-verification pipeline: it locks the target statement, separates exploratory mapping from direct attack, keeps proof-side and disproof-side routes visible, labels claims through adversarial verification, and stores memory items that guide later runs. Its main output is not only a proof attempt, but a reusable record of the proof attempt, counterexample search, verifier objections, failed routes, remaining bottlenecks, and the recommended next target. By “self-evolving” we mean that the research state, prompts, and memory evolve across runs; no model weights are updated. We report pilot evidence from topology campaigns and a cluster-benchmark protocol instantiated on a 22-target Gompf problem list, showing how such artifacts preserve obstructions, avoid false solution claims, and produce human-checkable next steps. Code: https://github.com/Recurrence-Poincare/Recurrence-Agent.
","absKo":"최근 AI-for-math의 많은 연구는 theorem proving을 하나의 proof obligation으로 다룬다. 즉, statement가 주어지면 proof를 생성하고, 확인하고, 수정하는 방식이다. 그러나 수학 연구에서 진전은 종종 proof 시도 전후에 존재하는 주변 상태에 달려 있다. 올바른 statement를 다듬고, 예시와 counterexample을 시험하고, 실패한 경로를 기억하고, 재사용 가능한 lemma를 추출하며, 다음에 무엇을 공격해야 할지 결정하는 일이다. 우리는 이러한 수학적 작업 계층을 위한 self-evolving copilot인 Recurrence를 제시한다. Recurrence는 proof-and-verification pipeline에 pre-proof layer를 추가한다. 목표 statement를 고정하고, 탐색적 mapping과 직접 공격을 분리하며, proof-side와 disproof-side 경로를 모두 보이게 유지하고, adversarial verification을 통해 claim에 label을 붙이며, 이후 실행을 안내하는 memory item을 저장한다. 그 주요 output은 proof attempt뿐 아니라, proof attempt, counterexample 탐색, verifier의 이의 제기, 실패한 경로, 남은 병목, 그리고 추천 next target을 담은 재사용 가능한 기록이다. 여기서 “self-evolving”이란 research state, prompt, memory가 실행 간에 진화한다는 뜻이며, model weight는 전혀 업데이트되지 않는다. 우리는 topology campaign과 22개 target의 Gompf problem list로 구현한 cluster-benchmark protocol에서 얻은 pilot evidence를 보고하며, 이러한 artifact가 obstruction을 보존하고, 잘못된 solution claim을 피하며, 사람이 검증할 수 있는 다음 단계를 산출하는 방식을 보여준다. Code: https://github.com/Recurrence-Poincare/Recurrence-Agent.","link":"https://openreview.net/forum?id=4yKKwaYKnt"},{"id":"OknxQMSpnn","en":"Counterexample-Carrying FormalRx: Lean-Checkable Witnesses for Autoformalization Misalignment","ko":"반례를 동반한 FormalRx: autoformalization 불일치를 위한 Lean 검증 가능한 증인","authors":"Joy Zheyun Yang, Socrates Osorio","abs":"Autoformalization systems can write Lean statements that compile but mistranslate the original mathematics. Existing diagnostic benchmarks like FormalRx ask the model to label and repair the mismatch, but a correction alone does not prove that the candidate and intended formalizations differ in meaning. Lean checks the proposition it sees, not whether the English was captured. We propose Counterexample-Carrying FormalRx (FormalRx-CC): every misalignment diagnosis must be accompanied by a small Lean-checkable artifact that mechanically separates the candidate from the intended formalization. We give a task definition, a seven-family witness taxonomy, an adversarial verification protocol that rejects sorry, admit, and escape hatches, and a 204-example executable artifact with completed 204-example runs on GPT-4.1-mini, GPT-4.1, and Claude Haiku plus one-pass Lean-feedback repair. The results expose a distinction that single-number scoring hides. Lean-feedback repair lifts raw Lean acceptance by 23-61% across the three models, but the joint metric that additionally requires the correct semantic direction is only 13/204 in the strict GPT-4.1-mini funnel: repair fixes proof engineering, not semantic understanding. In the GPT-4.1-mini comparison, full mode passes Lean more often than gold-target mode: 33/204 raw and 48/204 after one repair pass, versus 21/204 in gold mode, suggesting that raw Lean success can conflate witness construction with self-target selection.
","absKo":"Autoformalization system은 컴파일되는 Lean statement를 작성할 수 있지만, 원래 수학을 잘못 번역할 수 있다. FormalRx와 같은 기존 diagnostic benchmark는 모델이 불일치를 표시하고 수정하도록 요구하지만, correction만으로는 candidate formalization과 intended formalization이 의미적으로 다른지 증명할 수는 없다. Lean은 자신이 본 proposition만 검사할 뿐, 영어가 제대로 포착되었는지는 확인하지 않는다. 우리는 Counterexample-Carrying FormalRx(FormalRx-CC)를 제안한다. 즉, 모든 misalignment diagnosis는 candidate와 intended formalization을 기계적으로 구분하는 작은 Lean-checkable artifact와 함께 제시되어야 한다. 우리는 task definition, 7개 family로 구성된 witness taxonomy, sorry, admit, escape hatch를 거부하는 adversarial verification protocol, 그리고 완성된 204개 example run을 포함한 204-example executable artifact를 제시하며, GPT-4.1-mini, GPT-4.1, Claude Haiku에서의 실행과 1-pass Lean-feedback repair를 수행한다. 결과는 단일 숫자 scoring이 가리는 구분을 드러낸다. Lean-feedback repair는 세 모델 전반에서 raw Lean acceptance를 23-61% 끌어올리지만, 올바른 semantic direction까지 요구하는 joint metric은 strict GPT-4.1-mini funnel에서 13/204에 불과하다. 이는 repair가 proof engineering은 고치지만 semantic understanding은 고치지 못함을 뜻한다. GPT-4.1-mini 비교에서는 full mode가 gold-target mode보다 Lean을 더 자주 통과한다: raw 기준 33/204, 1회 repair 후 48/204로, gold mode의 21/204보다 높다. 이는 raw Lean success가 witness construction과 self-target selection을 혼동할 수 있음을 시사한다.","link":"https://openreview.net/forum?id=OknxQMSpnn"},{"id":"iI5UOnuBGw","en":"optimize anything: A Unified Framework for LLM-Based Mathematical and Scientific Optimization","ko":"optimize anything: LLM 기반 수학 및 과학 최적화를 위한 통합 프레임워크","authors":"Lakshya A Agrawal, Donghyun Lee, Shangyin Tan, Wenjie Ma, Karim Elmaaroufi, Rohit Sandadi, Sanjit A. Seshia, Koushik Sen, Dan Klein, Ion Stoica, Joseph E. Gonzalez, Omar Khattab, Alex Dimakis, Matei Zaharia","abs":"LLM-driven optimization for mathematical and scientific discovery is
fragmented across specialized systems for prompt optimization,
evolutionary code search, and agent-architecture search. We argue this
fragmentation is artificial, because the underlying loop is the same
in every case, namely improving a text artifact under a scoring
function. We present optimize_anything, one declarative system that subsumes these
specialties. A single framework raises GPT-4.1-mini on AIME-2025 from
$46.7\\%$ to $60.0\\%$ (beating MIPROv2), discovers a circle-packing
algorithm for $n{=}26$ exceeding AlphaEvolve under a matched rerun,
evolves a 10-line ARC-AGI agent into a $300{+}$ line architecture
lifting Gemini~3 Flash from $32.5\\%$ to $89.5\\%$, and beats Optuna on
$7$ of $10$ hard blackbox problems. Together, we show that text
optimization with LLM-based search is a general-purpose problem-solving
paradigm, unifying tasks traditionally requiring domain-specific
algorithms under a single framework.
","absKo":"수학 및 과학적 발견을 위한 LLM 기반 optimization은 prompt optimization, evolutionary code search, agent-architecture search를 위한 특화된 시스템들로 파편화되어 있다. 우리는 이 파편화가 인위적이라고 주장한다. 왜냐하면 핵심 loop는 모든 경우에 동일하기 때문이다. 즉, scoring function 아래에서 text artifact를 개선하는 것이다. 우리는 optimize_anything을 제시한다. 이는 이러한 특수화들을 포괄하는 하나의 declarative system이다. 단일 framework는 GPT-4.1-mini를 AIME-2025에서 $46.7\\%$에서 $60.0\\%$로 끌어올리고(MIPROv2를 능가함), matched rerun에서 AlphaEvolve를 능가하는 $n{=}26$용 circle-packing algorithm을 발견하며, 10줄짜리 ARC-AGI agent를 Gemini~3 Flash를 $32.5\\%$에서 $89.5\\%$로 끌어올리는 $300{+}$줄 architecture로 진화시키고, $10$개의 어려운 blackbox problem 중 $7$개에서 Optuna를 능가한다. 종합하면, 우리는 LLM-based search를 활용한 text optimization이 일반 목적 problem-solving paradigm임을 보여 주며, 전통적으로 도메인 특화 알고리즘이 필요했던 작업들을 하나의 framework 아래 통합한다.","link":"https://openreview.net/forum?id=iI5UOnuBGw"},{"id":"yGSX76TIEN","en":"Optimizing the Cost-Quality Tradeoff of Agentic Theorem Provers in Lean","ko":"Lean에서 Agentic Theorem Prover의 비용-품질 트레이드오프 최적화","authors":"Kári Rögnvaldsson, Chenhao Sun, Jasper Dekoninck, Martin Vechev","abs":"Large language models (LLMs) are increasingly used in workflows for generating formal proofs in Lean. These workflows often decompose problems into smaller lemmas, sample many proof attempts, and use compiler feedback to guide search. However, they can be prohibitively expensive, often spending substantial compute on attempts that ultimately fail. In this work, we address this problem with an action routing agent that consists of a data plane and a control plane. The data plane generates natural-language lemma decompositions, formalizes them in Lean, and samples proof attempts for the resulting theorem and lemma targets. The control plane observes previous failed Lean attempts, estimates both the likelihood of success and the cost of another attempt, and decides whether to continue proving the current target or restart from a new breakdown. On a subset of PutnamBench, our agent decreases the cost by 28.9% over a fixed-step baseline on average, preserving performance while using substantially less compute. These results suggest that failed Lean trajectories provide actionable signals for cost-aware resource allocation in agentic theorem proving.
","absKo":"대규모 언어 모델(LLM)은 Lean에서 형식적 증명을 생성하는 workflow에서 점점 더 많이 사용되고 있다. 이러한 workflow는 종종 문제를 더 작은 lemma로 분해하고, 많은 proof attempt를 샘플링하며, compiler feedback을 사용해 탐색을 유도한다. 그러나 이 방식은 비용이 매우 클 수 있으며, 결국 실패하는 attempt에 상당한 compute를 소모하는 경우가 많다. 본 연구에서는 data plane과 control plane으로 구성된 action routing agent를 통해 이 문제를 다룬다. data plane은 자연어 lemma decomposition을 생성하고, 이를 Lean에서 formalize하며, 그 결과로 생긴 theorem 및 lemma target에 대해 proof attempt를 샘플링한다. control plane은 이전의 실패한 Lean attempt를 관찰하고, 성공 가능성과 추가 attempt의 비용을 모두 추정한 뒤, 현재 target에 대한 증명을 계속할지 또는 새로운 breakdown에서 다시 시작할지를 결정한다. PutnamBench의 일부 subset에서, 우리의 agent는 평균적으로 fixed-step baseline 대비 비용을 28.9% 줄이면서 성능은 유지했고, 훨씬 적은 compute로 동작했다. 이러한 결과는 실패한 Lean trajectory가 agentic theorem proving에서 비용 인지적 자원 할당을 위한 실행 가능한 신호를 제공함을 시사한다.","link":"https://openreview.net/forum?id=yGSX76TIEN"},{"id":"tjypTO7KT1","en":"Certifying Failed Lean Proof-Agent Searches with Exact Replay","ko":"정확한 재실행으로 Lean 증명 에이전트의 실패한 탐색을 검증하기","authors":"Ryan Farell, Chandrajit L. Bajaj","abs":"Large language models can propose Lean tactics (proof steps that Lean accepts or rejects), but a failed proof search is rarely actionable for a mathematical agent: did it search the proposed tactics poorly, miss a key tactic, or attempt an out-of-reach goal? We make one part of this diagnosis exact. At each reached Lean state we save the tactics the model proposed -- its *recorded support* -- and replay only those saved tactics under fixed depth and timeout bounds. Replay returns a Lean-checked proof, a *closed certificate* that no saved tactic path proves the goal within those bounds, or a timeout transcript. The closed certificate is the useful signal: it shows that replaying the same tactics cannot help, so any repair must add new candidates. We evaluate on CSLib-Holes, a frozen suite of 100 mechanically selected proof holes from the public CSLib Lean project, with the original proofs hidden from the agent. Base BFS-Prover replay solves 10/100 and leaves 74 closed certificates. Adding the statements of in-scope lemmas to the prompt repairs 16/74, against 6/74 for a matched search-only widening, and iterating these Lean-checked additions raises the oracle-free solved count from 10/100 to 39/100, every repair re-checked by Lean. A target-statement control repairs 12/74, so whether the failed-search frontier (the goals left unproved at the dead ends of the failed search) helps beyond the target statement is directional rather than decisive (pooled exact McNemar $p=0.227$). This is a bounded audit layer for proof agents.
","absKo":"Large language models는 Lean이 수락하거나 거부하는 proof step인 Lean tactic을 제안할 수 있지만, 실패한 proof search는 수학적 agent에게 거의 실행 가능한 정보가 아니다. 제안한 tactic을 잘못 탐색했는지, 핵심 tactic을 놓쳤는지, 아니면 도달 불가능한 목표를 시도했는지 알기 어렵기 때문이다. 우리는 이 진단의 한 부분을 정확하게 만든다. 도달한 각 Lean state에서 모델이 제안한 tactic들, 즉 *recorded support*를 저장하고, 고정된 depth와 timeout bound 아래에서 저장된 tactic만 다시 재생한다. Replay는 Lean이 검증한 proof, 주어진 bound 안에서 저장된 tactic 경로로는 goal을 증명할 수 없음을 보여주는 *closed certificate*, 또는 timeout transcript를 반환한다. closed certificate는 유용한 신호다. 같은 tactic을 다시 replay해도 도움이 되지 않으므로, 복구하려면 새로운 후보를 추가해야 함을 보여주기 때문이다. 우리는 공개 CSLib Lean 프로젝트에서 기계적으로 선별한 100개의 proof hole로 구성된 고정된 suite인 CSLib-Holes에서 평가하며, 원래 proof는 agent에게 숨겨져 있다. 기본 BFS-Prover replay는 10/100을 해결하고 74개의 closed certificate를 남긴다. in-scope lemma의 statement를 프롬프트에 추가하면 74개 중 16개를 복구하는데, 이는 매칭된 search-only widening의 74개 중 6개보다 낫다. 그리고 이러한 Lean-checked 추가를 반복하면 oracle-free solved count가 10/100에서 39/100으로 증가하며, 모든 복구는 Lean으로 다시 검증된다. target-statement control은 74개 중 12개를 복구하므로, 실패한 search frontier(실패한 검색의 막다른 지점에서 증명되지 못한 목표들)가 target statement를 넘어선 추가 정보를 주는지는 방향성은 있지만 결정적이지 않다(pooled exact McNemar $p=0.227$). 이는 proof agent를 위한 bounded audit layer다.","link":"https://openreview.net/forum?id=tjypTO7KT1"},{"id":"QfswR1WwtS","en":"Escher-Loop: Mutual Evolution by Closed-Loop Self-Referential Optimization","ko":"Escher-Loop: 폐쇄 루프 자기지시 최적화를 통한 상호 진화","authors":"Ziyang Liu, Xinyan Guo, Xuchen Wei, Han Hao, Liu Yang","abs":"While recent autonomous agents demonstrate impressive capabilities, they predominantly rely on manually scripted workflows and handcrafted heuristics, inherently limiting their potential for open-ended improvement. To address this, we propose Escher-Loop, a fully closed-loop framework that operationalizes the mutual evolution of two distinct populations: Task Agents that solve concrete problems, and Optimizer Agents that recursively refine both the task agents and themselves. To sustain this self-referential evolution, we propose a dynamic benchmarking mechanism that seamlessly reuses the empirical scores of newly generated task agents as relative win-loss signals to update optimizers' scores. This mechanism leverages the evolution of task agents as an inherent signal to drive the evaluation and refinement of optimizers without additional overhead. Empirical evaluations on mathematical optimization problems demonstrate that Escher-Loop effectively pushes past the performance ceilings of static baselines, achieving the highest absolute peak performance across all evaluated tasks under matched compute. Remarkably, we observe that the optimizer agents dynamically adapt their strategies to match the shifting demands of high-performing task agents, which explains the system's continuous improvement and superior late-stage performance.
","absKo":"최근의 autonomous agents는 인상적인 능력을 보여주지만, 대부분 수동으로 작성된 workflows와 handcrafted heuristics에 의존하며, 이는 open-ended improvement의 잠재력을 본질적으로 제한한다. 이를 해결하기 위해 우리는 Escher-Loop를 제안한다. 이는 두 개의 서로 다른 population, 즉 구체적인 문제를 해결하는 Task Agents와 task agents 자신과 자신을 재귀적으로 정교화하는 Optimizer Agents의 상호 진화를 작동시키는 fully closed-loop framework이다. 이러한 자기지시적 진화를 유지하기 위해 우리는 새로 생성된 task agents의 empirical scores를 optimizer의 score를 업데이트하기 위한 relative win-loss signal로 매끄럽게 재사용하는 dynamic benchmarking mechanism을 제안한다. 이 mechanism은 추가 overhead 없이 task agents의 진화를 내재적 signal로 활용해 optimizer의 평가와 정교화를 유도한다. 수학적 최적화 문제에 대한 실험적 평가에서는 Escher-Loop가 static baseline의 performance ceiling을 효과적으로 넘어서는 것을 보여주며, matched compute 하에서 평가된 모든 task 중 가장 높은 absolute peak performance를 달성했다. 놀랍게도, 우리는 optimizer agents가 고성능 task agents의 변화하는 요구에 맞추어 전략을 동적으로 조정하는 것을 관찰했으며, 이는 시스템의 지속적인 향상과 우수한 late-stage performance를 설명한다.","link":"https://openreview.net/forum?id=QfswR1WwtS"},{"id":"GabOHthNPQ","en":"Evaluating the Robustness of Proof Autoformalization in Lean 4","ko":"Lean 4에서 proof autoformalization의 강건성 평가","authors":"Zhengtao Gui, Sheng Yang, Zhouxing Shi","abs":"Proof autoformalization aims to translate a mathematical informal proof written in natural language into a formal proof in a formal language such as Lean~4. Several works have developed LLM-based models for proof autoformalization. However, existing evaluations have typically focused on translating well-formed informal proofs from curated datasets. We argue that a robust proof autoformalizer must remain faithful even for informal proofs that diverge from these idealized ones, and we present the first study on the robustness of proof autoformalization models. We formulate two categories of perturbations and evaluate robustness under each: a global perturbation paraphrases the informal proof in a different style, under which the formalization should remain consistent; a local perturbation alters a value, symbol, or proof step, possibly in a counterfactual way, and a robust formalization should faithfully reflect the perturbation rather than reverting to the original one or inferring a different one on its own. We build a benchmark with both perturbations on miniF2F and MATH-500, and automatically measure how stable a proof autoformalization's correctness is under global perturbations and how faithfully its output reflects local perturbations. We evaluate seven recent models, all of which are sensitive to global perturbations and mostly fail to remain faithful under local perturbations. {Code and data are available via \\url{https://github.com/ucr-rai/robust-proof-autoformalization}}.
","absKo":"Proof autoformalization은 자연어로 쓰인 수학적 비공식 proof를 Lean~4와 같은 formal language의 formal proof로 번역하는 것을 목표로 한다. 여러 연구가 proof autoformalization을 위한 LLM 기반 모델을 개발해 왔다. 그러나 기존 평가는 대체로 정제된 데이터셋의 잘 형식화된 비공식 proof를 번역하는 데 초점을 맞춰 왔다. 우리는 견고한 proof autoformalizer라면 이러한 이상화된 proof와 다르더라도 비공식 proof에 충실해야 한다고 주장하며, proof autoformalization 모델의 robustness에 대한 첫 연구를 제시한다. 우리는 두 범주의 perturbation을 정식화하고 각 경우에서 robustness를 평가한다. global perturbation은 비공식 proof를 다른 스타일로 패러프레이즈하며, 이때 formalization은 일관성을 유지해야 한다. local perturbation은 value, symbol, proof step을 바꾸며 때로는 counterfactual하게 수정하는데, robust formalization은 원래 것으로 되돌리거나 스스로 다른 것을 추론하지 말고 perturbation을 충실히 반영해야 한다. 우리는 miniF2F와 MATH-500에 대해 두 perturbation을 포함하는 benchmark를 구축하고, proof autoformalization의 정답성이 global perturbation 아래에서 얼마나 안정적인지, 그리고 출력이 local perturbation을 얼마나 충실히 반영하는지를 자동으로 측정한다. 우리는 최근의 7개 모델을 평가했으며, 모든 모델이 global perturbation에 민감하고 local perturbation 아래에서 충실성을 유지하는 데 대부분 실패한다. {Code and data are available via \\url{https://github.com/ucr-rai/robust-proof-autoformalization}}.","link":"https://openreview.net/forum?id=GabOHthNPQ"},{"id":"5c0RSYyIWW","en":"Ground False: Dissecting Errors in Formal Mathematics Benchmarks","ko":"Ground False: 형식 수학 벤치마크의 오류 해부","authors":"One An, Marcus J. Min, Xujie Si, Osbert Bastani","abs":"The ground truths in formal mathematics benchmarks are taken on faith. For theorem proving, released formalizations come without formal proofs that certify their correctness. For autoformalization, faithfulness to the informal source is judged only by the benchmark authors, yet such judgments are inherently subjective and lack collective consensus. We show these assumptions fail at scale: our audit of 367 ProofNet formalizations shows that 104 (28\\%) are mathematically false, and a further 100 (27\\%) are not false yet still unfaithful, for a total of 204 (56\\%) unfaithful items. We dissect these errors along three axes (provability, logical strength, root cause) and show they bias evaluation in predictable, asymmetric directions: false ground truths cap theorem-proving signal, while equivalence-based autoformalization metrics compress model gaps through capping and coincidental agreement. We release the corrected benchmark ProofNet-Verified, produced by a semi-automated pipeline combining Lean provability checks, an LLM faithfulness judge, and human review. Applying the same pipeline to six other benchmarks reveals that unfaithful-GT rates span more than an order of magnitude (4.8\\% to 60.0\\%), confirming that the failure modes generalize while absolute quality is dominated by curatorial process. Our data and code are available at https://github.com/marcusm117/ProofNet-Verified.
","absKo":"형식 수학 benchmark의 ground truth는 믿음에 의존한다. theorem proving의 경우 공개된 formalization에는 그 정확성을 인증하는 formal proof가 없다. autoformalization의 경우, informal source에 대한 충실성은 오직 benchmark 저자에 의해 판단되지만, 이러한 판단은 본질적으로 주관적이며 집단적 합의가 없다. 우리는 이러한 가정이 대규모로 실패함을 보인다. ProofNet formalization 367개를 감사한 결과, 104개(28\\%)가 수학적으로 거짓이었고, 추가로 100개(27\\%)는 거짓은 아니지만 여전히 충실하지 않아, 총 204개(56\\%)가 unfaithful 항목이었다. 우리는 이러한 오류를 세 축(provability, logical strength, root cause)으로 분해하고, 이들이 평가를 예측 가능한 비대칭 방향으로 왜곡함을 보인다. 즉, 거짓 ground truth는 theorem-proving signal을 상한으로 제한하고, equivalence-based autoformalization metric은 상한 설정과 우연한 일치를 통해 model gap을 압축한다. 우리는 Lean provability check, LLM faithfulness judge, human review를 결합한 semi-automated pipeline으로 생성된 수정 benchmark ProofNet-Verified를 공개한다. 같은 pipeline을 다른 6개 benchmark에 적용한 결과, unfaithful-GT 비율이 한 자릿수 초반에서 60.0\\%까지, 즉 10배 이상 범위를 보임을 확인했다. 이는 failure mode는 일반화되지만 절대적 품질은 curatorial process에 의해 좌우됨을 보여준다. 데이터와 코드는 https://github.com/marcusm117/ProofNet-Verified 에서 제공된다.","link":"https://openreview.net/forum?id=5c0RSYyIWW"},{"id":"5JK3t0YI5Z","en":"ISM: Self-Improving Strategy Memory for Continual Mathematical Reasoning","ko":"ISM: 지속적 수학 추론을 위한 자기개선 전략 메모리","authors":"Prakhar Dixit, Tim Oates","abs":"We propose Intelligent Schema Memory (ISM), a self-evolving memory-augmented system that improves mathematical reasoning for a frozen LLM under continual learning with hard episodic resets. ISM maintains a compact, self-refined bank of strategy schemas learned from both successful and failed episodes, with symbolic tools that check intermediate steps and certify answers.Without updating model parameters, ISM outperforms passive, retrieval, and reflection baselines on MATH-Hard and OlympiadBench, using 64% and 86% fewer schemas respectively than the strongest passive baseline. These results show that small, actively maintained, and verified strategy memories can support reliable continual mathematical reasoning under strict episodic isolation.
","absKo":"우리는 Intelligent Schema Memory (ISM)을 제안한다. 이는 hard episodic reset이 있는 continual learning 하에서 frozen LLM의 수학적 추론을 향상시키는 self-evolving memory-augmented system이다. ISM은 성공한 episode와 실패한 episode 모두에서 학습된 전략 schema의 compact하고 self-refined된 bank를 유지하며, 중간 단계를 검증하고 답을 인증하는 symbolic tool을 함께 사용한다. 모델 파라미터를 업데이트하지 않으면서도, ISM은 MATH-Hard와 OlympiadBench에서 passive, retrieval, reflection baseline을 능가하며, 가장 강한 passive baseline 대비 각각 64%와 86% 더 적은 schema를 사용한다. 이 결과는 작은 규모이지만 능동적으로 유지되고 검증된 전략 memory가 엄격한 episodic isolation 하에서도 신뢰할 수 있는 continual mathematical reasoning을 뒷받침할 수 있음을 보여준다.","link":"https://openreview.net/forum?id=5JK3t0YI5Z"},{"id":"uQPYAOHyPf","en":"Market Incentivization for Theorem Proving with LLM Agents","ko":"LLM 에이전트를 활용한 정리 증명 시장 인센티브","authors":"Gregory Constantine, Leyan Pan, Vijay Ganesh","abs":"Agentic and multi-agent systems have been increasingly used for solving frontier-level math problems. We present preliminary experimental results with a market-based multi-agent system for proving mathematical theorems, in which agent coordination is mediated by market signals rather than a hand-engineered harness. Agent communities learn via evolutionary signals from market profits and losses. We report initial findings on whether evolutionary pressure produces more profitable agent populations and discuss remaining challenges towards an autonomous multi-agent mathematical system that learns from markets.
","absKo":"Agentic 및 multi-agent system은 최전선 수준의 수학 문제를 해결하는 데 점점 더 많이 사용되고 있다. 우리는 시장 신호에 의해 agent coordination이 매개되는, 수학 정리를 증명하기 위한 market-based multi-agent system의 예비 실험 결과를 제시한다. 여기서 coordination은 hand-engineered harness가 아니라 시장 신호로 이루어진다. Agent community는 market profit과 loss에서 오는 evolutionary signal을 통해 학습한다. 우리는 evolutionary pressure가 더 수익성 높은 agent population을 만들어내는지에 대한 초기 결과를 보고하고, 시장으로부터 학습하는 자율 multi-agent 수학 시스템을 향한 남은 과제들을 논의한다.","link":"https://openreview.net/forum?id=uQPYAOHyPf"},{"id":"R3ltJC0uZN","en":"Beyond Direct Gains: Matched Controls for Evaluating Concept Scaffolds","ko":"직접적 이득을 넘어: 개념 scaffolds 평가를 위한 matched control","authors":"Jiangshan He, Song Dai, Xiaolong Qiao, Jungang Li, Yibo Yan, Xuming Hu","abs":"Reasoning scaffolds such as concepts and hints are often evaluated by asking whether a helpful scaffold improves accuracy. This direct comparison is under-identified: a gain may come from the scaffold's semantic content, from the presence of a scaffold-shaped prompt block, or from sensitivity to plausible but inapplicable auxiliary information. We propose a matched-control protocol for concept scaffolds that compares no-scaffold, format-only, helpful, misleading, and wrong-fact conditions. We evaluate it on 2,000 undergraduate mathematics problems with three randomized versions per problem, which lets us distinguish average instance-level gains from stable gains across variants of the same reasoning objective. In this nine-setting evaluation, helpful concepts improve over format-only controls for most settings under stable accuracy, but the average gain is modest ($G_{\\mathrm{helpful}}=+1.22$ points). We interpret this as a diagnostic helpful-over-format contrast rather than a pure estimate of semantic effect.
","absKo":"concept와 hint 같은 reasoning scaffold는 종종 유용한 scaffold가 accuracy를 개선하는지로 평가된다. 그러나 이 직접 비교는 under-identified되어 있다. 성능 향상은 scaffold의 semantic content에서 올 수도 있고, scaffold 형태의 prompt block의 존재에서 올 수도 있으며, 그럴듯하지만 적용 불가능한 auxiliary information에 대한 민감성에서 올 수도 있다. 우리는 no-scaffold, format-only, helpful, misleading, wrong-fact 조건을 비교하는 concept scaffold용 matched-control protocol을 제안한다. 우리는 이를 문제당 세 가지 무작위 버전이 있는 2,000개의 학부 수학 문제에 적용해, 동일한 reasoning objective의 서로 다른 variant 간에 안정적인 향상과 평균적인 instance-level 향상을 구분할 수 있게 한다. 이 아홉 가지 setting 평가에서, helpful concept는 대부분의 setting에서 stable accuracy 기준으로 format-only control보다 향상되지만, 평균 향상폭은 크지 않았다($G_{\\mathrm{helpful}}=+1.22$ points). 우리는 이를 순수한 semantic effect의 추정치라기보다, format 대비 helpful contrast에 대한 진단으로 해석한다.","link":"https://openreview.net/forum?id=R3ltJC0uZN"},{"id":"wA311n42ck","en":"Diffusion-State Policy Optimization for Masked Diffusion Language Models","ko":"마스킹된 diffusion 언어 모델을 위한 diffusion-state 정책 최적화","authors":"Daisuke Oba, Hiroki Furuta, Naoaki Okazaki","abs":"Masked diffusion language models generate text through iterative masked-token filling, but terminal-only rewards on final completions provide coarse credit assignment for the intermediate filling decisions that shape the generation process. We propose Diffusion-State Policy Optimization (DiSPO), a plug-in credit-assignment layer that directly optimizes intermediate filling decisions. At selected intermediate masked states, \\method\\ branches by resampling the currently masked positions from rollout-cached logits, scores the resulting completions, and updates only the newly filled tokens, requiring no additional multi-step diffusion rollouts or optimizer steps. We formalize a fixed-state objective for branched completions and derive a policy-gradient estimator that reuses the same rollouts as terminal-feedback policy optimization. Experiments on LLaDA-8B-Instruct show that DiSPO consistently improves terminal-feedback baselines, including diffu-GRPO and SPG, on math and planning benchmarks under matched rollout compute and optimizer steps, supporting its use as a general plug-in for masked diffusion policy optimization.
","absKo":"Masked diffusion language model은 반복적인 masked-token filling을 통해 text를 생성하지만, 최종 completion에 대한 terminal-only reward는 생성 과정을 형성하는 중간 filling decision들에 대한 credit assignment를 거칠게만 제공한다. 우리는 중간 filling decision을 직접 최적화하는 plug-in credit-assignment layer인 Diffusion-State Policy Optimization (DiSPO)를 제안한다. 선택된 중간 masked state에서 \\method\\는 rollout-cached logits로부터 현재 masked position을 재샘플링하여 branch를 만들고, 그 결과 completion을 점수화한 뒤 새로 채워진 token만 업데이트하며, 추가적인 multi-step diffusion rollout이나 optimizer step을 요구하지 않는다. 우리는 branched completion을 위한 fixed-state objective를 정식화하고, terminal-feedback policy optimization과 동일한 rollout을 재사용하는 policy-gradient estimator를 유도한다. LLaDA-8B-Instruct 실험에서 DiSPO는 matched rollout compute와 optimizer step 조건에서 diffu-GRPO와 SPG를 포함한 terminal-feedback baseline을 일관되게 개선했으며, masked diffusion policy optimization을 위한 일반적인 plug-in으로서의 활용 가능성을 뒷받침한다.","link":"https://openreview.net/forum?id=wA311n42ck"},{"id":"HUIJyoVgT3","en":"Before Lean Checks: Candidate Exposure in Proof-Action Ranking","ko":"Lean 검사 이전: proof-action ranking에서 후보 노출","authors":"Shivangi Kamat, Yangshuai Wang","abs":"Formal proof agents do not fail only when they cannot finish a theorem; they can fail earlier, when ranking hides the tactics Lean would have accepted. This paper studies that pre-check handoff: which proof-state representations and family priors keep useful candidate tactics inside the short list sent to Lean? We separate inputs visible before the next action from future-tactic metadata, then compare unguided retrieval, hard family routing and a soft family prior on a curated mathlib4 subset. Trace matches suggest that soft family guidance is competitive with unguided retrieval and that hard routing loses alternatives. A 500-state Lean check gives the more consequential picture: unguided retrieval has the strongest top-five Lean acceptance, while soft guidance is close but not better. The result reframes family prediction as a ranking-control problem: useful proof agents should surface several legal next moves for Lean, not merely imitate one recorded trace step.
","absKo":"Formal proof agents는 정리를 끝내지 못할 때만 실패하는 것이 아니다. Lean이 받아들였을 tactics를 ranking이 숨길 때 더 일찍 실패할 수도 있다. 이 논문은 바로 그 pre-check handoff, 즉 다음 행동 이전에 보이는 proof-state representations와 family priors가 Lean으로 보내는 short list 안에 유용한 candidate tactics를 얼마나 잘 유지하는지를 연구한다. 우리는 다음 행동 이전에 보이는 입력과 future-tactic metadata를 분리한 뒤, curated mathlib4 subset에서 unguided retrieval, hard family routing, soft family prior를 비교한다. trace match는 soft family guidance가 unguided retrieval과 경쟁력이 있고 hard routing은 대안을 잃게 만든다는 점을 시사한다. 500-state Lean check는 더 중요한 그림을 보여준다. unguided retrieval이 Lean acceptance top-five에서 가장 강하고, soft guidance는 근접하지만 더 낫지는 않다. 이 결과는 family prediction을 ranking-control problem으로 재정의한다. 유용한 proof agents는 Lean이 선택할 수 있는 여러 legal next moves를 드러내야 하며, 단지 기록된 한 trace step을 모방해서는 안 된다.","link":"https://openreview.net/forum?id=HUIJyoVgT3"},{"id":"OJN0jbUn52","en":"Agentic Separation Logic Specification Synthesis","ko":"Agentic 분리 논리 명세 합성","authors":"Tarun Suresh, David korczynski, Julien Vanegue","abs":"Specification synthesis, the task of automatically inferring formal specifications from program implementations and natural language, is important for refactoring, transpilation, optimization, and verification, yet remains an open challenge for large C++ repositories. Existing LLM-based approaches do not simultaneously scale to such repositories, produce specifications expressive enough to capture systems code features like dynamic memory and heap-allocated data structures, and systematically validate those specifications to rule out incorrect ones. We present Spec-Agent, an agentic system for synthesizing expressive, well-validated specifications across large C++ codebases. Spec-Agent targets a ladder of specification languages: propositional, first-order, propositional separation, and first-order separation logic. For each function, Spec-Agent uses static analysis and runtime heap tracing to select the target specification language, generalizes existing functional tests into fuzz harnesses, and iteratively refines LLM-generated candidates with counterexample-guided feedback. We evaluate Spec-Agent on open-source C++ codebases comprising millions of lines of code. Spec-Agent synthesizes valid specs for 85% of functions, with no false positives observed under fuzzing and expert validation, outperforming Claude Code Opus 4.6 at 10x lower token cost.
","absKo":"Specification synthesis, 즉 program implementation과 natural language로부터 formal specification을 자동으로 추론하는 과제는 refactoring, transpilation, optimization, verification에 중요하지만, 대규모 C++ repository에서는 여전히 열린 문제이다. 기존의 LLM 기반 접근법은 이처럼 큰 repository에 대해 동시에 확장 가능하지도 않고, dynamic memory나 heap-allocated data structure 같은 systems code의 특성을 포착할 만큼 표현력이 풍부한 specification을 생성하지도 못하며, 잘못된 specification을 배제하기 위해 이를 체계적으로 검증하지도 못한다. 우리는 대규모 C++ codebase 전반에서 표현력 있고 잘 검증된 specification을 합성하는 agentic system인 Spec-Agent를 제시한다. Spec-Agent는 propositional, first-order, propositional separation, first-order separation logic으로 이루어진 specification language의 사다리를 대상으로 한다. 각 function에 대해 Spec-Agent는 static analysis와 runtime heap tracing을 사용해 목표 specification language를 선택하고, 기존 functional test를 fuzz harness로 일반화하며, counterexample-guided feedback으로 LLM이 생성한 후보를 반복적으로 정제한다. 우리는 수백만 줄의 코드로 이루어진 open-source C++ codebase에서 Spec-Agent를 평가한다. Spec-Agent는 fuzzing과 expert validation 하에서 false positive 없이 85%의 function에 대해 valid spec을 합성하며, token cost는 10배 낮으면서 Claude Code Opus 4.6보다 우수한 성능을 보인다.","link":"https://openreview.net/forum?id=OJN0jbUn52"},{"id":"neKROJdC8F","en":"Sorries Are Not the Hard Part: An Expert-Review Case Study of a Semi-Autonomous Formalization","ko":"사과가 어려운 부분은 아니다: 반자동 formalization의 전문가 검토 사례 연구","authors":"Brian Nugent, Vasily Ilin","abs":"Large language models can often close proof gaps in interactive theorem provers, but a verified theorem is not the same thing as a reusable library contribution. We study this distinction through a detailed case study: a semi-autonomous formalization in Lean 4 of Grothendieck's vanishing theorem for sheaves of abelian groups on Noetherian topological spaces. The initial version compiles with no sorries, but an expert review found serious problems in definitions, theorem generality, file organization, and the cohomology API. We then ran a review-driven refactor and compression process and obtained a second expert review. The before-and-after comparison shows a sharp split: agents adapted well to local, mechanically checkable feedback, but remained weak at choosing definitions and designing APIs. We argue that autoformalization should be evaluated not only by closed sorries, but by whether the resulting formalization survives expert review as mathematical software.
","absKo":"대규모 언어 모델은 대화형 정리 증명기(interactive theorem prover)에서 proof gap을 메우는 데는 종종 성공하지만, 검증된 정리와 재사용 가능한 라이브러리 기여는 같은 것이 아니다. 우리는 이 구분을 Noetherian 위상 공간 위의 아벨 군의 층(sheaf)에 대한 Grothendieck의 vanishing theorem을 Lean 4로 반자율적으로 formalization한 상세 사례 연구를 통해 살펴본다. 초기 버전은 sorries 없이 컴파일되지만, 전문가 리뷰에서 정의, 정리의 일반성, 파일 구성, cohomology API에 심각한 문제가 발견되었다. 이후 우리는 리뷰 주도 refactor 및 압축 과정을 수행해 두 번째 전문가 리뷰를 얻었다. 전후 비교는 뚜렷한 분화를 보여준다. 에이전트는 국소적이고 기계적으로 검증 가능한 피드백에는 잘 적응했지만, 정의 선택과 API 설계에는 여전히 약했다. 우리는 autoformalization은 단순히 닫힌 sorries의 개수로만 평가되어서는 안 되며, 결과 formalization이 수학적 소프트웨어로서 전문가 리뷰를 견딜 수 있는지로 평가되어야 한다고 주장한다.","link":"https://openreview.net/forum?id=neKROJdC8F"},{"id":"ANbFfjnOi7","en":"SorryDB: Can AI Provers Complete Real-World Lean Theorems?","ko":"SorryDB: AI prover가 실제 Lean 정리를 완성할 수 있는가?","authors":"Austin Letson, Leopoldo Sarra, Auguste Poiroux, Oliver Dressler, Paul Lezeau, Dhyan Aranha, Frederick Pu, Aaron Hill, Miguel Corredera Hidalgo, Julian Berman, George Tsoukalas, Lenny Taelman","abs":"We present SorryDB, a dynamically-updating benchmark of open Lean tasks drawn from 78 real world formalization projects on GitHub. Unlike existing static benchmarks, often composed of competition problems, hillclimbing the SorryDB benchmark will yield tools that are aligned to the community needs, more usable by mathematicians, and more capable of understanding complex dependencies. Moreover, by providing a continuously updated stream of tasks, SorryDB mitigates test-set contamination and offers a robust metric for an agent's ability to contribute to novel formal mathematics projects. We evaluate a collection of approaches, including generalist large language models, agentic approaches, and specialized symbolic provers, over a selected snapshot of 1000 tasks from SorryDB. We show that current approaches are complementary: even though an agentic approach based on Gemini Flash is the most performant, it is not strictly better than other off-the-shelf large-language models, specialized provers, or even a curated list of tactics.
","absKo":"우리는 GitHub의 78개 실제 formalization 프로젝트에서 가져온 열린 Lean task로 구성된 동적으로 갱신되는 benchmark인 SorryDB를 제시한다. 기존의 정적인 benchmark는 대개 competition problem으로 구성되어 있지만, SorryDB benchmark를 따라 hillclimbing 하면 community의 요구에 더 잘 맞고, 수학자에게 더 유용하며, 복잡한 의존성을 더 잘 이해하는 도구를 얻게 된다. 또한 지속적으로 갱신되는 task 스트림을 제공함으로써, SorryDB는 test-set contamination을 완화하고 새로운 formal mathematics 프로젝트에 기여하는 agent의 능력을 측정하는 견고한 지표를 제공한다. 우리는 generalist large language model, agentic approach, specialized symbolic prover를 포함한 여러 접근법을 SorryDB의 1000개 task 선택 스냅샷에서 평가한다. 현재 접근법들은 상호 보완적임을 보인다. Gemini Flash 기반 agentic approach가 가장 높은 성능을 보이지만, 다른 off-the-shelf large-language model, specialized prover, 또는 엄선된 tactic 목록보다 엄밀히 우수한 것은 아니다.","link":"https://openreview.net/forum?id=ANbFfjnOi7"},{"id":"WuHOhedzoA","en":"Most of a Formal Proof is Forced","ko":"형식적 증명의 대부분은 강제된다","authors":"Po-Hung Yeh, Luke Ong","abs":"A language model that writes mathematics can produce something that looks like a proof and is not one.
We grade against the Lean 4 lambda calculus kernel: a candidate is accepted when its inferred type matches the stated goal, using a binary metric that cannot be hallucinated.
On this surface, the next token is largely forced by the goal type and elaboration context, with the residual entropy concentrated at a sparse set of genuine decision points.
A from-scratch and transferred scaling sweep reads loss exponents three to four times steeper than the natural-language reference on both data and parameter axes, with a small irreducible floor;
the exponents are calibration-invariant to the tokenisation scheme.
For models larger than 30M, model size becomes redundant, and loss is set by effective data alone.
The concentrated entropy makes depth-first search cheap: one model call per emitted step boundary, free chain rollout between them.
We demonstrate nontrivial empirical performance with supervised fine-tuning alone, paving the way for a potentially competitive prover.
","absKo":"수학을 쓰는 language model은 proof처럼 보이는 무언가를 만들어낼 수 있지만, 실제 proof가 아닐 수 있다. \n우리는 Lean 4 lambda calculus kernel을 기준으로 채점한다. candidate는 추론된 type이 명시된 goal과 일치할 때 accepted되며, 이는 환각할 수 없는 binary metric을 사용한다. \n이 표면에서는 다음 token이 주로 goal type과 elaboration context에 의해 강하게 결정되며, residual entropy는 실제 결정 지점들로 이루어진 희소한 집합에 집중된다. \nfrom-scratch와 transferred scaling sweep 모두에서 loss exponent는 data와 parameter 축 양쪽에서 natural-language reference보다 3배에서 4배 더 가파르게 읽히며, 작은 irreducible floor가 존재한다. \n이 exponent는 tokenization scheme에 대해 calibration-invariant이다. \n30M보다 큰 model에서는 model size가 중복적이 되고, loss는 effective data만으로 결정된다. \n이렇게 집중된 entropy 덕분에 depth-first search는 싸다. emitted step boundary마다 model call 하나면 되고, 그 사이에는 free chain rollout이 가능하다. \n우리는 supervised fine-tuning만으로도 의미 있는 실증 성능을 보이며, 잠재적으로 경쟁력 있는 prover로 가는 길을 연다.","link":"https://openreview.net/forum?id=WuHOhedzoA"},{"id":"8WsT8YNJYo","en":"Learning from Saturated Data: Signals Beyond Correctness for LLM Training","ko":"포화된 데이터로부터 학습하기: LLM 학습을 위한 정답성 너머의 신호","authors":"Hanno Hiss, Jasper Dekoninck, Martin Vechev","abs":"The growing capabilities of large language models (LLMs) have led to the saturation of many benchmarks and training datasets used to improve them. Motivated by this, we investigate whether questions solved with perfect empirical accuracy can nevertheless be used to improve downstream performance. To do so, we replace binary correctness with two sources of a more fine-grained quality signal: (1) pairwise LLM self-judgments, in which the model evaluates the relative quality of its own solutions, and (2) token-level entropy, where token-level uncertainty is used as a proxy for solution quality. We incorporate these signals into several training algorithms and evaluate them on Qwen3-1.7B-Base. When training exclusively on a simple arithmetic task, quality-based signals improve performance by up to 18.6% over the base model, substantially outperforming rejection sampling. On GSM8K, however, gains are more modest and depend strongly on the quality signal. For instance, self-judgments show poor agreement with a stronger external judge and can even degrade performance below the base model. Overall, our results suggest that quality-based training can extract useful signal from saturated questions for base models, but that applying such signals to more complex tasks requires careful calibration and further study.
","absKo":"대규모 언어 모델(LLM)의 성능이 향상되면서, 이를 개선하는 데 사용되는 많은 benchmark와 training dataset이 포화 상태에 이르렀다. 이러한 배경에서 우리는 완벽한 empirical accuracy로 풀린 문제들이 downstream 성능 개선에도 여전히 쓰일 수 있는지 조사한다. 이를 위해 binary correctness를 두 가지 더 세밀한 quality signal로 대체한다. (1) pairwise LLM self-judgment: 모델이 자신의 해답 간 상대적 품질을 평가하는 방식, (2) token-level entropy: token-level uncertainty를 solution quality의 proxy로 사용하는 방식이다. 우리는 이 신호들을 여러 training algorithm에 통합하고 Qwen3-1.7B-Base에서 평가한다. 단순 산술 task만으로 학습할 때, quality-based signal은 base model 대비 최대 18.6%까지 성능을 향상시키며, rejection sampling을 크게 능가한다. 그러나 GSM8K에서는 향상이 훨씬 제한적이며 quality signal에 강하게 의존한다. 예를 들어 self-judgment는 더 강한 external judge와의 일치도가 낮고, 심지어 base model보다 성능을 떨어뜨릴 수도 있다. 전반적으로 우리의 결과는 quality-based training이 포화된 question에서 base model에 유용한 신호를 추출할 수 있음을 보여주지만, 더 복잡한 task에 이러한 신호를 적용하려면 신중한 calibration과 추가 연구가 필요함을 시사한다.","link":"https://openreview.net/forum?id=8WsT8YNJYo"},{"id":"3mZmYmeRDr","en":"Learned Interventions Inside Lean 4's grind","ko":"Lean 4의 grind 내부에 학습된 개입","authors":"Evan Wang, Simon Chess, Sophie Szeto, Theodore Meek","abs":"Lean~4's grind tactic combines congruence closure, ematching, and case-splitting into a single automated solver, and like any such solver, it relies on hand-tuned heuristics to decide what to instantiate and where to case-split. These heuristics are tempting targets for learning, but there is a catch: because grind's search is non-monotone, a learned heuristic that helps one proof can break another, and an always-on replacement usually nets out near zero. We avoid this by invoking a learned intervention only after stock grind has already failed: a failure-triggered cascade that, by construction, cannot lose a proof \\grind{} already had. We apply it to two of grind's internal decisions. A cost-aware ematch filter solves two more theorems on a held-out set of 855 and runs about 5\\% faster. A lookahead step, run only where stock grind fails, proves five theorems it otherwise times out on. We also report the negative result that motivated the design: across four feature-based models, statically predicting the correct case split is no better than random, because whether a split explodes is a runtime property that the features do not capture. Our results suggest that learning within theorem-proving tactics is most effective as a mechanism for deciding when and how to spend bounded search, backed by a reliable symbolic fallback.
","absKo":"Lean~4의 grind tactic은 congruence closure, ematching, case-splitting을 하나의 자동화된 solver로 결합하며, 그런 종류의 solver가 늘 그렇듯 어떤 인스턴스를 만들지, 어디서 case-split할지를 결정하기 위해 수작업으로 튜닝된 heuristic에 의존한다. 이 heuristic들은 학습의 유력한 대상이지만, 함정이 하나 있다. grind의 탐색은 non-monotone이기 때문에, 한 proof에는 도움이 되는 learned heuristic이 다른 proof를 망칠 수 있으며, 항상 켜진 대체 방식은 대체로 순이익이 거의 0에 수렴한다. 우리는 stock grind이 이미 실패한 뒤에만 learned intervention을 호출하는 방식으로 이를 피한다. 즉, failure-triggered cascade를 사용하여, 설계상 이미 \\grind{}가 확보한 proof를 잃을 수 없게 한다. 우리는 이를 grind의 두 내부 결정에 적용한다. 비용을 인식하는 ematch filter는 보류한 855개 샘플에서 두 개의 정리를 더 증명하고 약 5\\% 더 빠르게 실행된다. stock grind가 실패하는 지점에서만 실행되는 lookahead step은 그렇지 않으면 timeout 나는 다섯 개의 정리를 증명한다. 또한 설계를 촉발한 부정적 결과도 보고한다. 네 개의 feature-based model 전반에서, 올바른 case split을 정적으로 예측하는 것은 무작위보다 낫지 않다. 어떤 split이 폭발하는지는 실행 시점의 특성이며, feature가 그것을 포착하지 못하기 때문이다. 우리의 결과는 theorem-proving tactic 내부의 learning이, bounded search를 언제 그리고 어떻게 쓸지 결정하는 메커니즘으로서 가장 효과적이며, 신뢰할 수 있는 symbolic fallback에 의해 뒷받침될 때 특히 강력함을 시사한다.","link":"https://openreview.net/forum?id=3mZmYmeRDr"},{"id":"FDrM8ziRg4","en":"Diverse Construction of Sidon Sets with Generative Flow Networks","ko":"생성 flow network를 이용한 Sidon set의 다양한 구성","authors":"Massimiliano Esposito, Dmitry Zubarev, Besart Shyti, Alberto Alfarano","abs":"Sidon sets — subsets of [n] with all pairwise
sums distinct — admit many structurally different
maximum-size solutions, making the family Mn
of maximum Sidon sets in [n] a clean benchmark
for diverse combinatorial construction under a
sharp global constraint. We cast maximum-Sidon-
set construction as a sequential GFlowNet with
ordered trajectories and exact feasibility mask-
ing, and study three ingredients chosen to remain
applicable when Mn cannot be enumerated: a
number-theoretic transformer encoding modular,
Fourier, and sum-conflict structure; an adherence
loss over a partial catalogue of maximum sets
at the target; and behavioural cloning transfer-
ring from sizes n < n⋆ to an unseen n⋆. At
n∈{30,50}the number-theoretic backbone con-
sistently dominates MLP and vanilla-transformer
baselines, isolating inductive bias as the domi-
nant source of gain. At n = 80 scratch training
collapses; BC-initialized fine-tuning reaches cov-
erage ≈0.83 of M80, and a 30 →···→80 cur-
riculum reaches 0.77 without using the n = 80
catalogue. The same recipe is designed to ex-
tend to n∈{200,500}, where Mn is no longer
enumerable.
","absKo":"Sidon set은 모든 pairwise sum이 서로 다른 [n]의 부분집합으로, 구조적으로 상이한 최대 크기 해를 많이 허용한다. 이로 인해 [n]에서의 최대 Sidon set family인 M_n은 날카로운 전역 제약 아래에서 다양한 combinatorial construction을 평가하기 위한 깔끔한 benchmark가 된다. 우리는 최대 Sidon set 구성을 순차적 GFlowNet으로 정식화하고, 순서를 갖는 trajectory와 정확한 feasibility masking을 사용하여 연구한다. 또한 M_n을 열거할 수 없을 때에도 적용 가능하도록 다음 세 가지 요소를 검토한다: modular, Fourier, sum-conflict 구조를 인코딩하는 수론적 transformer; target에서의 최대 집합 부분 catalogue에 대한 adherence loss; 그리고 n < n⋆ 크기에서 보이지 않는 n⋆로의 behavioral cloning transfer. n∈{30,50}에서는 수론적 backbone이 일관되게 MLP 및 vanilla-transformer baseline을 능가하여, inductive bias가 성능 향상의 주된 원천임을 분리해 보여준다. n = 80에서는 scratch training이 붕괴하지만, BC-initialized fine-tuning은 M_80의 약 0.83 coverage에 도달하고, 30 →···→80 curriculum은 n = 80 catalogue를 사용하지 않고도 0.77에 도달한다. 동일한 recipe는 M_n이 더 이상 열거 가능하지 않은 n∈{200,500}으로 확장되도록 설계되었다.","link":"https://openreview.net/forum?id=FDrM8ziRg4"},{"id":"MDArMFusA7","en":"Mixture of Graders: Adaptive Strategy Routing for LLM-Based Mathematical Evaluation","ko":"Mixture of Graders: LLM 기반 수학 평가를 위한 적응적 전략 라우팅","authors":"Eric Chen, Aryan Gulati, Brando Miranda, Zeyu Tang, Sanmi Koyejo","abs":"LLM judges are promising for evaluating reasoned mathematical solutions, yet their scores remain prompt-sensitive and unstable. We evaluate 13 grading strategies on Putnam-AXIOM-Grading, a new 500-problem benchmark with 1,000 mathematically annotated candidate solutions, and IMO-GradingBench. The strategies span direct scoring, structured chain-of-thought, and multi-call pipelines such as G-Eval, Chain-of-Verification, and Debate. No fixed strategy dominates, and the strongest single default, comparative prompting, wins only on average. In hindsight, the best strategy per problem differs from the best fixed default in 76% of cases, revealing substantial oracle headroom for adaptive selection. Motivated by this, we train Mixture of Graders, a ModernBERT-large strategy router, using the fixed-strategy score matrix and human labels, then deploy it using only problem and reference features. On Putnam-AXIOM-Grading, MoG improves over the best fixed strategy across all open-weight judge models, with relative MSE reductions up to 27.8% across both Qwen2.5-72B-Math-Instruct and Mistral-Large-Instruct-2411 student responses. It also generalizes across students, with a router trained on Qwen responses outperforming the best fixed default on Mistral responses. The prescription for difficult mathematical grading is not a single best prompt, but a learned mixture over grader strategies. Our code is available at https://anonymous.4open.science/r/mixture-of-graders-8327/README.md.
","absKo":"LLM judge는 reasoning이 필요한 수학적 해답을 평가하는 데 유망하지만, 그 점수는 여전히 prompt에 민감하고 불안정하다. 우리는 1,000개의 수학적으로 주석이 달린 candidate solution을 포함한 새로운 500문항 benchmark인 Putnam-AXIOM-Grading과 IMO-GradingBench에서 13개의 grading strategy를 평가한다. 이 strategy들은 direct scoring, structured chain-of-thought, 그리고 G-Eval, Chain-of-Verification, Debate 같은 multi-call pipeline을 포괄한다. 고정된 단일 strategy가 우세한 경우는 없으며, 가장 강한 단일 default인 comparative prompting도 평균적으로만 이긴다. 사후적으로 보면, 문제별 최적 strategy는 최적의 고정 default와 76%의 경우 다르며, 이는 adaptive selection을 위한 상당한 oracle headroom이 있음을 보여준다. 이를 바탕으로 우리는 fixed-strategy score matrix와 human label을 사용해 ModernBERT-large strategy router인 Mixture of Graders를 학습시키고, 문제와 reference feature만을 사용해 배치한다. Putnam-AXIOM-Grading에서 MoG는 모든 open-weight judge model에 대해 최적의 고정 strategy를 능가하며, Qwen2.5-72B-Math-Instruct와 Mistral-Large-Instruct-2411 student response 모두에서 상대 MSE를 최대 27.8%까지 줄인다. 또한 student 간 일반화도 보이며, Qwen response로 학습한 router가 Mistral response에서 최적의 고정 default를 능가한다. 어려운 수학 채점에 대한 처방은 하나의 최고의 prompt가 아니라, grader strategy들의 learned mixture이다. 우리의 code는 https://anonymous.4open.science/r/mixture-of-graders-8327/README.md 에서 확인할 수 있다.","link":"https://openreview.net/forum?id=MDArMFusA7"},{"id":"QJTSAvHFQn","en":"The Self-Verification Cliff: Generation Outpaces Self-Selection in Frontier LLMs, and It Widens With Capability","ko":"Self-verification cliff: frontier LLM에서는 generation이 self-selection보다 빠르며, 그 격차는 능력과 함께 커진다","authors":"Arihant Jain","abs":"Self-evolving scientific agents must do more than generate candidate
solutions: they must select or verify which of their own outputs
to trust, because every self-play, self-rewarding, and reinforcement-learning
loop that omits an external checker implicitly assumes the model can grade
itself. We test that assumption on competition mathematics, where final answers
are integers and grading is therefore an exact, noise-free oracle. Across two
frontier model families on 86 AIME problems, we find a large and systematic
self-verification cliff: a model contains a correct answer among $k{=}8$
samples far more often than it can pick that answer using its own judgment.
GPT-5.4-mini reaches a correct solution on $54.7\\%$ of problems but self-selects
correctly on only $41.9\\%$, recovering just $36\\%$ of its sampling headroom;
Gemini-3.5-flash recovers $43\\%$. Critically, the cliff widens with
generation ability rather than closing: the stronger generator has the larger
absolute gap. We further show that an external verifier helps only when it is at
least as capable as the generator---a stronger cross-family verifier closes part
of the cliff ($+3.5$ pts), while a weaker one makes selection worse than
self-selection ($-2.3$ pts)---and that majority voting fails to rescue selection
on these diverse-answer problems. The cliff is a structural ceiling on
same-model self-improvement and a concrete argument for external (e.g.formal)
verification in self-evolving math agents.
","absKo":"Self-evolving scientific agents는 후보 해를 생성하는 것만으로는 충분하지 않다. 자기 자신의 출력 중 무엇을 신뢰할지 선택하거나 검증해야 한다. 왜냐하면 외부 checker를 생략한 모든 self-play, self-rewarding, reinforcement-learning loop는 모델이 스스로를 채점할 수 있다는 가정을 암묵적으로 하기 때문이다. 우리는 이 가정을 경쟁 수학에서 시험한다. 여기서는 최종 답이 정수이므로 채점이 정확하고 잡음이 없는 oracle이 된다. 86개의 AIME 문제에 대해 두 개의 frontier model family를 대상으로 실험한 결과, 우리는 크고 체계적인 self-verification cliff를 발견했다. 즉, 모델은 $k{=}8$개의 sample 안에 정답을 포함하는 경우가 자가 판단으로 그 답을 고르는 경우보다 훨씬 많다. GPT-5.4-mini는 문제의 $54.7\\%$에서 정답 해를 도출하지만, self-select는 오직 $41.9\\%$에서만 정확하며, sampling headroom의 $36\\%$만 회수한다. Gemini-3.5-flash는 $43\\%$를 회수한다. 결정적으로, 이 cliff는 생성 능력이 커질수록 줄어들기보다 더 넓어진다. 더 강한 generator가 절대적 격차도 더 크게 만든다. 우리는 또한 external verifier가 generator만큼 적어도 유능할 때에만 도움이 됨을 보인다. 더 강한 cross-family verifier는 cliff의 일부를 메우지만($+3.5$ pts), 더 약한 verifier는 self-selection보다 더 나쁜 선택을 낳는다($-2.3$ pts). 그리고 majority voting은 서로 다른 정답을 내는 이 문제들에서 selection을 구제하지 못한다. 이 cliff는 같은 모델의 자기개선에 대한 구조적 상한이며, self-evolving math agent에서 외부적(예: formal) verification이 필요하다는 구체적 근거다.","link":"https://openreview.net/forum?id=QJTSAvHFQn"},{"id":"wZfssjcuxH","en":"Reasoning or Recall? Blind Evaluation of LLMs on Numerical Function Tasks","ko":"추론인가, 기억인가? 수치 함수 과제에서 LLM의 블라인드 평가","authors":"Ahmad A Rushdi, Kiana Jafari Meimandi, Mykel Kochenderfer","abs":"For numerical tasks, existing LLM evaluations typically measure either the model's ability to generate code or to recall information. We examine a complementary capability: direct numerical inference from data, without tool use. To isolate it, we apply a uniform protocol across three tasks: multifidelity surrogate modeling, numerical integration, and global optimization. The input for each task is a table of point evaluations from a function whose formula is unknown --- a setting typical of uncertainty quantification problems. To focus on reasoning, rather than recall or code execution, we ask LLMs not to guess the underlying function or run code. We evaluated 4 LLMs and standard test functions across growing sample sizes. Models were prompted to select a method (from a list) for each task, then predict the function at unseen query points, estimate the integral, and locate the global minimum (each within a per-task tolerance). LLMs often converged to the same method for the same task, regardless of the training points, while prediction quality and confidence clearly scaled up with sample size. A fraction of answers matched the ground truth to several decimal places, well beyond what sparse-sample interpolation can yield, a pattern consistent with recall rather than reasoning. We probed this with a control function we composed, where recall is not possible: no more matches occurred.
","absKo":"수치적 task의 경우, 기존 LLM 평가는 대개 모델이 코드를 생성하는 능력 또는 정보를 기억하는 능력 중 하나를 측정한다. 우리는 이와 보완적인 능력, 즉 도구 사용 없이 데이터로부터 직접 numerical inference를 수행하는 능력을 검토한다. 이를 분리해 보기 위해 multifidelity surrogate modeling, numerical integration, global optimization의 세 가지 task에 대해 동일한 프로토콜을 적용한다. 각 task의 입력은 formula가 알려지지 않은 함수의 point evaluation 표이며, 이는 uncertainty quantification 문제에서 흔한 설정이다. recall이나 code execution이 아니라 reasoning에 초점을 맞추기 위해, LLM에게 underlying function을 추측하거나 코드를 실행하지 말라고 지시한다. 우리는 4개의 LLM과 표준 test function을 증가하는 sample size에 걸쳐 평가했다. 모델에는 각 task마다 목록에서 method를 선택하도록 프롬프트한 뒤, 관측되지 않은 query point에서 함수 값을 예측하고, 적분값을 추정하며, 전역 최소값을 찾게 했다(각각 task별 tolerance 내에서). LLM은 training point와 무관하게 같은 task에 대해 종종 같은 method로 수렴했으며, prediction quality와 confidence는 sample size에 따라 분명하게 증가했다. 일부 답변은 희소 샘플 보간으로는 얻기 어려울 정도로 ground truth와 소수점 여러 자리까지 일치했는데, 이는 reasoning보다는 recall과 더 일관된 패턴이다. 우리는 recall이 불가능하도록 구성한 control function으로 이를 검증했으며, 더 이상 일치 사례는 나타나지 않았다.","link":"https://openreview.net/forum?id=wZfssjcuxH"},{"id":"6mRtz4X8pw","en":"Semi-Autonomous Formalization of the Vlasov–Maxwell–Landau Equilibrium","ko":"Vlasov–Maxwell–Landau 평형의 반자동 형식화","authors":"Vasily Ilin","abs":"We present a complete Lean 4 formalization of the equilibrium characterization in the Vlasov-Maxwell-Landau (VML) system, which describes the motion of charged plasma. The project demonstrates the full AI-assisted mathematical research loop: an AI reasoning model (Gemini DeepThink) generated the proof from a conjecture, an agentic coding tool (Claude Code) translated it into Lean from natural-language prompts, a specialized prover (Aristotle) closed 111 lemmas, and the Lean kernel verified the result. A single mathematician supervised the process over 10 days at a subscription cost of \\$325, writing zero lines of code.
The entire development process is public: all 229 human prompts, and 213 git commits are archived in the repository. We report detailed lessons on AI failure modes -- hypothesis creep, definition-alignment bugs, agent avoidance behaviors -- and on what worked: the abstract/concrete proof split, adversarial self-review, and the critical role of human review of key definitions and theorem statements. Notably, the formalization was completed before the final draft of the corresponding math paper was finished.
","absKo":"우리는 charged plasma의 운동을 기술하는 Vlasov-Maxwell-Landau (VML) system에서 equilibrium characterization에 대한 완전한 Lean 4 formalization을 제시한다. 이 프로젝트는 AI-assisted mathematical research loop 전체를 보여준다. AI reasoning model (Gemini DeepThink)이 conjecture로부터 proof를 생성했고, agentic coding tool (Claude Code)이 이를 natural-language prompt로부터 Lean으로 변환했으며, specialized prover (Aristotle)가 111개의 lemma를 닫았고, Lean kernel이 결과를 검증했다. 한 명의 수학자가 10일 동안 이 과정을 감독했으며, subscription cost는 \\$325였고, 코드를 한 줄도 작성하지 않았다.\n\n전체 개발 과정은 공개되어 있다. 229개의 human prompt와 213개의 git commit이 모두 repository에 보관되어 있다. 우리는 AI failure mode인 hypothesis creep, definition-alignment bug, agent avoidance behavior에 대한 상세한 교훈과, 효과적이었던 요소들인 abstract/concrete proof split, adversarial self-review, 그리고 핵심 정의와 theorem statement에 대한 human review의 결정적 역할을 보고한다. 주목할 점은, 해당 formalization이 대응하는 math paper의 최종 초안이 완성되기 전에 끝났다는 것이다.","link":"https://openreview.net/forum?id=6mRtz4X8pw"},{"id":"6GCIuS0oO0","en":"Can Large Language Models Design Effective Neural Operators for Solving Partial Differential Equations?","ko":"대형 언어 모델은 편미분방정식 해결을 위한 효과적인 neural operator를 설계할 수 있는가?","authors":"Zeyuan Song, Xiaocong Zhen, Zheyu Jiang","abs":"Accurate numerical solutions of partial differential equations (PDEs) are crucial in numerous science and engineering applications. While neural operators can significantly accelerate the PDE solution process, designing neural architectures that target PDE structure, tailor problem specifications, and train reliably still requires substantial expert knowledge and human effort. We ask whether a large language model can design neural operators end-to-end. We present a four-agent design pipeline with distinct roles: Theorist, Programmer, Critic, and Refiner. The Theorist selects a mathematically grounded operator for a user-specified PDE and derives its formulation. The Programmer produces a self-contained PyTorch implementation. The Critic performs an adversarial review to expose numerical and software issues. The Refiner applies targeted corrections. An automated PDE solver completes the loop by generating data, training the synthesized model, and reporting evaluation metrics and plots. Across extensive PDE benchmark problems, the LLM-designed operators consistently outperform strong baselines in accuracy and sample efficiency, while remaining stable under varied discretizations and noisy initial conditions. Ablation studies show that the Critic and Refiner steps are essential for numerical stability and generalization. These results suggest that LLMs can act as principled collaborative designers of PDE operators, translating problem statements into executable and competitive architectures and moving toward automated and theory-aware scientific machine learning.
","absKo":"편미분방정식(PDE)의 정확한 수치해는 수많은 과학 및 공학 응용에서 매우 중요하다. neural operator는 PDE 해법 과정을 크게 가속할 수 있지만, PDE 구조를 목표로 하는 architecture를 설계하고, 문제 명세에 맞추고, 신뢰성 있게 학습시키기 위해서는 여전히 상당한 전문가 지식과 많은 인력이 필요하다. 우리는 large language model이 neural operator를 end-to-end로 설계할 수 있는지 묻는다. 우리는 서로 다른 역할을 갖는 4-agent design pipeline을 제시한다: Theorist, Programmer, Critic, Refiner. Theorist는 사용자가 지정한 PDE에 대해 수학적으로 타당한 operator를 선택하고 그 formulation을 유도한다. Programmer는 self-contained PyTorch implementation을 생성한다. Critic은 numerical 및 software 문제를 드러내기 위한 adversarial review를 수행한다. Refiner는 목표 지향적 수정을 적용한다. 자동 PDE solver가 loop를 완성하여 데이터를 생성하고, 합성된 model을 학습시키며, evaluation metric과 plot을 보고한다. 광범위한 PDE benchmark 문제 전반에서, LLM이 설계한 operator는 정확도와 sample efficiency에서 강력한 baseline을 일관되게 능가하면서도, 다양한 discretization과 noisy initial condition 하에서 안정성을 유지한다. ablation study는 Critic과 Refiner 단계가 numerical stability와 generalization에 필수적임을 보여준다. 이러한 결과는 LLM이 PDE operator의 원리적 협업 설계자 역할을 수행하여, 문제 서술을 실행 가능하고 경쟁력 있는 architecture로 변환하고, 자동화된 theory-aware scientific machine learning을 향해 나아갈 수 있음을 시사한다.","link":"https://openreview.net/forum?id=6GCIuS0oO0"},{"id":"tKdAywYf9p","en":"PWW-Bench: Probing Visual Mathematical Reasoning with Proofs Without Words","ko":"PWW-Bench: 말 없는 증명을 통한 시각적 수학 추론 탐구","authors":"Sabrina Reguyal, Rahul Saha, Alan Li, Atharva Sehgal","abs":"Human mathematics is profoundly visual at the level of intuition, discovery, and communication, yet current math vision benchmarks focus on shallow calculation-based tasks rather than deeper modes of visual reasoning.
To address this critical gap, we introduce \\textbf{PWW-Bench}, a benchmark for multimodal
mathematical reasoning of vision-language models (VLMs) built from the
\\emph{Proofs Without Words} (PWW) collection--403
single-page diagrams that illustrate proofs of
mathematical theorems with little or no prose.
In particular, PWW-Bench tests whether a model can \\textit{understand proof-based mathematical reasoning from a picture} by asking the model to identify the theorem, point to the geometric components that make the argument work, and recover the logical chain the figure encodes.
To support VLM evaluation on PWW-Bench, we define a rubric-based grading system using an LLM judge. We then conduct pilot experiments on a balanced subset of PWW-Bench with human-calibrated rubrics, evaluating 8 frontier and open-weight VLMs. We find that all models exhibit profound visual understanding failures: even when provided the correct theorem, VLMs do not reconstruct the correct proof. Furthermore, we develop an interface for crowdsourcing rubric calibration across the entire benchmark.
","absKo":"인간의 수학은 직관, 발견, 소통의 수준에서 본질적으로 시각적이지만, 현재의 math vision benchmark는 더 깊은 visual reasoning 방식이 아니라 피상적인 계산 기반 task에 초점을 맞추고 있다.\n이 중요한 격차를 해소하기 위해, 우리는 \\textbf{PWW-Bench}를 소개한다. 이는 \\emph{Proofs Without Words} (PWW) 컬렉션에서 구축한 multimodal\nmathematical reasoning용 benchmark로, vision-language model (VLM)을 평가하기 위해 만들어졌으며, 거의 또는 전혀 prose 없이 수학 정리를 증명하는 403개의\n단일 페이지 도식으로 구성된다. \n특히 PWW-Bench는 모델이 그림에서 proof-based mathematical reasoning을 \\textit{이해할 수 있는지}를 시험한다. 이를 위해 정리를 식별하게 하고, 논증을 성립시키는 기하학적 구성 요소를 지목하게 하며, 그림이 인코딩한 논리 전개를 복원하도록 요구한다. \nPWW-Bench에서 VLM 평가를 지원하기 위해, 우리는 LLM judge를 사용한 rubric-based grading system을 정의한다. 그런 다음 인간이 보정한 rubric을 사용하여 PWW-Bench의 균형 잡힌 부분집합에서 pilot experiment를 수행하고, 8개의 frontier 및 open-weight VLM을 평가한다. 그 결과 모든 모델이 심각한 시각적 이해 실패를 보임을 발견했다. 올바른 정리를 제공해도 VLM은 올바른 증명을 재구성하지 못했다. 또한 우리는 벤치마크 전체에 걸쳐 rubric calibration을 crowdsourcing할 수 있는 인터페이스를 개발한다.","link":"https://openreview.net/forum?id=tKdAywYf9p"},{"id":"Od1zBaFLc2","en":"When LLMs Solve ODEs: Failure Modes, Conservation Blind Spots, and Ground-Truth-Free Auditing","ko":"LLM이 ODE를 풀 때: 실패 양상, 보존성 사각지대, 그리고 정답 없는 감사","authors":"Ahmad A Rushdi","abs":"When frontier LLMs produce numerical solutions for dynamical systems, their errors are silent: a trajectory can look plausible while violating conservation laws by orders of magnitude. We identify three distinct failure regimes: catastrophic divergence, trivial-invariant collapse, and phase drift, and show that each demands a different verification strategy. We propose two ground-truth-free audit signals: the conservation residual R, which measures invariant drift, and step consistency S, which checks whether the trajectory locally satisfies the governing ODE. R catches catastrophic failures but is structurally blind to phase drift and can be trivially satisfied; the complementary signal S closes these gaps. Within-model, S rank-orders true trajectory error with Spearman $ \\rho \\in [0.77,0.99]$ across all six frontier LLMs, and leave-one-task-out analysis confirms robustness ($ \\rho \\in [0.81,0.90]$). We further document that models split into deterministic and stochastic numerical reasoners---the latter producing over $1{,}000\\times$ error variation across identical prompts---and that prompting models to preserve invariants triggers Goodhart-style evaluation gaming: some models learn to emit invariant-preserving but dynamically incorrect trajectories.
","absKo":"frontier LLM이 dynamical system의 수치해를 생성할 때, 그 오류는 조용히 발생합니다. 궤적은 그럴듯해 보이지만 conservation law를 여러 자릿수 규모로 위반할 수 있습니다. 우리는 세 가지 서로 다른 failure regime, 즉 catastrophic divergence, trivial-invariant collapse, phase drift를 식별하고, 각각이 서로 다른 verification strategy를 요구함을 보입니다. 우리는 ground-truth-free audit signal 두 가지를 제안합니다. 하나는 invariant drift를 측정하는 conservation residual R이고, 다른 하나는 궤적이 국소적으로 governing ODE를 만족하는지를 확인하는 step consistency S입니다. R은 catastrophic failure를 잡아내지만 phase drift에는 구조적으로 둔감하며, 쉽게 만족될 수도 있습니다. 보완적인 신호 S는 이러한 공백을 메웁니다. model 내부에서 S는 여섯 개의 frontier LLM 전체에 걸쳐 Spearman $ \\rho \\in [0.77,0.99]$로 실제 trajectory error를 잘 순위화하며, leave-one-task-out analysis는 견고성을 확인합니다($ \\rho \\in [0.81,0.90]$). 또한 우리는 모델이 deterministic numerical reasoner와 stochastic numerical reasoner로 나뉨을 문서화합니다. 후자는 동일한 prompt에 대해 1,000배를 넘는 error variation을 만들어 내며, invariant를 보존하도록 prompt를 주면 Goodhart식 evaluation gaming이 발생함을 보입니다. 일부 모델은 invariant를 보존하지만 dynamics는 틀린 trajectory를 내도록 학습합니다.","link":"https://openreview.net/forum?id=Od1zBaFLc2"},{"id":"ijlkLdhOYI","en":"How do Small Transformer Models Learn Hard Math Tasks?","ko":"작은 Transformer 모델은 어려운 수학 과제를 어떻게 학습하는가?","authors":"Eshika Saxena, Kristin E. Lauter","abs":"Recent works have demonstrated that transformers can be trained to recover sparse, binary cryptographic secrets in the Learning With Errors (LWE) problem, a foundational problem that underlies many post-quantum cryptographic schemes. However, as architectures have evolved to efficient encoder-only models, the mechanism by which these models recover the cryptographic secret has become more opaque. In this paper, we present the first layer-wise and embedding-level mechanistic interpretability analysis of encoder-only transformers trained on LWE samples. We reveal a surprising phenomenon: despite achieving near-zero exact prediction accuracy on the training objective, the models successfully recover the secret by bypassing the standard predictive pathways. We use dimensionality reduction, causal intervention, and linear probing and find that the secret is implicitly present in the positional embedding. Building on this mechanistic understanding, we introduce an architectural intervention that applies $L_1$ sparsity regularization directly to the positional embeddings. This modification forces the model to explicitly isolate the latent secret, transforming the computationally expensive post-hoc secret recovery process into a direct, human-interpretable parameter inspection. Our findings provide fundamental insights into how transformers allocate representational capacity when faced with high-noise, structured combinatorial problems.
","absKo":"최근 연구들은 transformer가 Learning With Errors(LWE) 문제에서 sparse한 binary cryptographic secret를 복원하도록 학습될 수 있음을 보여주었다. LWE는 많은 post-quantum cryptographic scheme의 기반이 되는 핵심 문제이다. 그러나 architecture가 효율적인 encoder-only model로 진화하면서, 이러한 model이 cryptographic secret을 복원하는 메커니즘은 더욱 불투명해졌다. 본 논문에서는 LWE sample로 학습된 encoder-only transformer에 대한 최초의 layer-wise 및 embedding-level mechanistic interpretability 분석을 제시한다. 우리는 놀라운 현상을 밝힌다. training objective에서 exact prediction accuracy가 거의 0에 가깝더라도, 모델은 표준 predictive pathway를 우회하여 secret을 성공적으로 복원한다. 우리는 dimensionality reduction, causal intervention, linear probing을 사용하여 secret이 positional embedding에 암묵적으로 존재함을 발견한다. 이러한 mechanistic 이해를 바탕으로, positional embedding에 직접 $L_1$ sparsity regularization을 적용하는 architectural intervention을 도입한다. 이 수정은 모델이 latent secret을 명시적으로 분리하도록 강제하여, 계산 비용이 큰 post-hoc secret recovery process를 직접적이고 사람이 해석 가능한 parameter inspection으로 전환한다. 우리의 발견은 transformer가 높은 noise와 구조화된 조합적 문제를 마주할 때 representational capacity를 어떻게 할당하는지에 대한 근본적인 통찰을 제공한다.","link":"https://openreview.net/forum?id=ijlkLdhOYI"},{"id":"CPNVU3NkZV","en":"Aligning AI-driven Discovery with Human Intuition","ko":"AI 주도 발견을 인간 직관과 정렬하기","authors":"Kevin Zhang, Judah Goldfeder, Hod Lipson","abs":"As data-driven modeling of physical dynamical systems becomes more prevalent, a new challenge is emerging: making these models more compatible and aligned with existing human knowledge. AI-driven scientific modeling processes typically begin with identifying hidden state variables, then deriving governing equations, followed by predicting and analyzing future behaviors. The critical initial step of identification of an appropriate set of state variables remains challenging for two reasons. First, finding a compact set of meaningfully predictive variables is mathematically difficult and under-defined. A second reason is that variables found often lack physical significance, and are therefore difficult for human scientists to interpret. We propose a new general principle for distilling representations that are naturally more aligned with human intuition, without relying on prior physical knowledge. We demonstrate our approach on a number of experimental and simulated system where the variables generated by the AI closely resemble those chosen independently by human scientists. We suggest that this principle can help make human-AI collaboration more fruitful, as well as shed light on how humans make scientific modeling choices.
","absKo":"물리적 동역학 시스템의 데이터 기반 모델링이 점점 더 널리 쓰이면서, 새로운 과제가 부상하고 있다. 바로 이러한 모델을 기존의 인간 지식과 더 호환되고 정합적으로 만드는 일이다. AI 기반 과학적 모델링 과정은 일반적으로 숨겨진 상태 변수를 식별하는 것으로 시작해, 지배 방정식을 도출하고, 이어서 미래 거동을 예측하고 분석하는 순서로 진행된다. 적절한 상태 변수 집합을 식별하는 핵심의 첫 단계는 두 가지 이유로 여전히 어렵다. 첫째, 의미 있게 예측적인 변수들의 압축된 집합을 찾는 일은 수학적으로 어렵고 정의도 불충분하다. 둘째, 이렇게 찾은 변수들은 종종 물리적 의미가 부족하여 인간 과학자가 해석하기 어렵다. 우리는 사전 물리 지식에 의존하지 않고도, 인간의 직관과 자연스럽게 더 잘 정렬되는 표현을 정제하는 새로운 일반 원리를 제안한다. 우리는 여러 실험 및 시뮬레이션 시스템에서 이 접근법을 입증하며, AI가 생성한 변수들이 인간 과학자들이 독립적으로 선택한 변수들과 매우 유사함을 보인다. 우리는 이 원리가 인간-AI 협업을 더 풍부하게 만드는 데 도움이 될 뿐 아니라, 인간이 과학적 모델링 선택을 어떻게 하는지에 대한 통찰도 제공할 수 있다고 제안한다.","link":"https://openreview.net/forum?id=CPNVU3NkZV"},{"id":"tOLxUvJNlA","en":"Scaffolding, Not Stronger Reasoning: Diagnosing Skill-Card Retrieval for Mathematical Problem Solving","ko":"강한 추론이 아니라 발판: 수학 문제 해결을 위한 스킬 카드 검색 진단","authors":"He Ma, Xinrui Chang, Yuhang Xiao, Ying Wang","abs":"Skill-card retrieval is often presented as reusable reasoning memory: a solver retrieves compact procedural guidance distilled from prior solutions and conditions on it at test time. We ask whether this mechanism actually strengthens mathematical reasoning, or mainly acts as scaffolding for models that still need help. In a paired diagnostic study with released TRS-style DeepMath skill cards, retrieval improves weaker solvers substantially (+10.4 pp for GPT-4o-mini and +4.2 pp for GPT-5.4), but gives only a small and unreliable gain for GPT-5.5 (+0.6 pp). When exact source cards are removed, these gains do not persist, and the GPT-5.5 condition falls 2.6 pp below Direct. For the strongest solver in our study, lower-ranked and random cards shift paired flips toward harm, and manual audits show that many failures arise from partially applicable skills that introduce caveats, convention shifts, wrong limiting regimes, or symbolic drift. These findings suggest that skill-card retrieval is best viewed as useful scaffolding for weaker solvers rather than as a uniformly reliable improvement as solver capability increases.
","absKo":"Skill-card retrieval은 종종 재사용 가능한 reasoning memory로 제시된다. solver는 이전 해법에서 추출된 간결한 procedural guidance를 검색해 test time에 이를 조건으로 사용한다. 우리는 이 메커니즘이 실제로 수학적 추론을 강화하는지, 아니면 여전히 도움이 필요한 모델을 위한 scaffolding 역할에 주로 머무르는지 묻는다. 공개된 TRS-style DeepMath skill card를 사용한 paired diagnostic study에서, retrieval은 약한 solver를 크게 향상시켰지만(GPT-4o-mini에서 +10.4 pp, GPT-5.4에서 +4.2 pp), GPT-5.5에서는 작고 불안정한 개선만 보였다(+0.6 pp). 정확한 source card가 제거되면 이러한 이득은 지속되지 않았고, GPT-5.5 조건은 Direct보다 2.6 pp 낮아졌다. 본 연구에서 가장 강한 solver의 경우, 낮은 순위 및 무작위 card는 paired flip을 harm 쪽으로 이동시켰고, 수동 감사 결과 많은 실패가 caveat, convention shift, 잘못된 limiting regime, 또는 symbolic drift를 도입하는 부분적으로만 적용 가능한 skill에서 비롯됨을 보여준다. 이러한 결과는 skill-card retrieval이 solver 능력이 증가함에 따라 일관되게 신뢰할 수 있는 개선책이라기보다, 약한 solver를 위한 유용한 scaffolding으로 보는 것이 더 적절함을 시사한다.","link":"https://openreview.net/forum?id=tOLxUvJNlA"},{"id":"VkusC12AXQ","en":"BioDimBench: Verifying Unit-Consistent Biomedical Mathematical Reasoning","ko":"BioDimBench: 단위 일관성 있는 생의학 수학 추론 검증","authors":"Mrinal Yalageri, Aarav Sinha","abs":"Scientific agents increasingly perform biomedical calculations involving dosage, concentration, dilution, growth dynamics, and measurement conversion. In these domains, a mathematically plausible final number may still be invalid if it is attached to an incompatible unit. We introduce BioDimBench, a lightweight benchmark for evaluating unit-consistent biomedical mathematical reasoning. The benchmark contains templated biomedical word problems with exact numeric and unit-grounded solutions, along with corrupted solution variants representing arithmetic, formula, unit, conversion, and plausible-scalar wrong-unit errors. We formulate unit verification as dimensional type-checking over quantities, comparing answer-only evaluation against unit-only, numeric-plus-unit, step-aware, and learned verification baselines. Across 500 generated biomedical problems and 3,000 candidate solutions, answer-only verification achieved invalid recall 0.600 and invalid F1 0.750, revealing that scalar matching accepts many dimensionally invalid solutions. In contrast, Numeric+Unit and step-aware verification achieved invalid recall 1.000 and invalid F1 1.000 on the controlled benchmark, detecting every generated corruption category that answer-only checking missed, including all wrong-unit and plausible-scalar wrong-unit cases. These results diagnose a specific and consequential verification gap: benchmarks that evaluate scientific AI by scalar agreement alone may systematically overestimate correctness whenever the quantity class, not just the number, determines validity. We propose dimensional type-checking as a lightweight, training-free verification layer for auditing biomedical calculations.
","absKo":"Scientific agents는 dosage, concentration, dilution, growth dynamics, measurement conversion을 포함하는 biomedical calculation을 점점 더 자주 수행하고 있다. 이러한 영역에서는 수학적으로 그럴듯한 최종 숫자라도 호환되지 않는 unit이 붙어 있으면 여전히 무효일 수 있다. 우리는 unit-consistent biomedical mathematical reasoning을 평가하기 위한 경량 benchmark인 BioDimBench를 소개한다. 이 benchmark는 정확한 수치와 unit 기반 해를 갖는 템플릿화된 biomedical word problem과 함께, arithmetic, formula, unit, conversion, 그리고 plausible-scalar wrong-unit error를 나타내는 손상된 solution variant를 포함한다. 우리는 unit verification을 quantity에 대한 dimensional type-checking으로 정식화하고, answer-only evaluation을 unit-only, numeric-plus-unit, step-aware, 그리고 learned verification baseline과 비교한다. 생성된 biomedical problem 500개와 후보 solution 3,000개에 걸쳐, answer-only verification은 invalid recall 0.600과 invalid F1 0.750을 달성하여 scalar matching이 많은 dimensionally invalid solution을 허용함을 드러냈다. 반면 Numeric+Unit과 step-aware verification은 통제된 benchmark에서 invalid recall 1.000과 invalid F1 1.000을 달성하여, answer-only checking이 놓친 모든 생성된 corruption category를 탐지했으며, 모든 wrong-unit 및 plausible-scalar wrong-unit 사례를 포함했다. 이러한 결과는 구체적이면서도 중요한 verification gap을 지적한다. scalar agreement만으로 scientific AI를 평가하는 benchmark는 quantity class가 단지 숫자뿐 아니라 정당성을 결정하는 경우 정확성을 체계적으로 과대평가할 수 있다. 우리는 biomedical calculation을 감사하기 위한 경량의 training-free verification layer로 dimensional type-checking을 제안한다.
","link":"https://openreview.net/forum?id=VkusC12AXQ"},{"id":"4PXfOlLnmM","en":"Efficient Ranking of Mathematical Reasoning Chains via Calibrated Interpolation Sort","ko":"보정된 보간 정렬을 통한 수학적 추론 체인의 효율적 순위화","authors":"Rohan Keyur Dalal","abs":"Ranking mathematical reasoning chains by quality (for best-of-$n$ decoding, reward model training, or verification) requires expensive pairwise oracle queries. Standard noisy sort needs $\\Theta(n \\log n)$ such queries per batch. We show that mathematical reasoning chains have a property we call score commensurability: when chains are clustered by embedding similarity, quality becomes approximately linear in the latent space, and a small calibration set of $k$ preference pairs suffices to learn a quality direction $\\widehat{w}$. Feeding projected scores to interpolation sort then ranks $n$ chains in $O(n \\log \\log n)$ key comparisons with zero additional oracle queries. On PRM800K (37k human-graded reasoning chains across 900 MATH problems), embedding-based clustering reduces pairwise noise from $\\hat{p} \\approx 0.31$ to $0.11$, enabling calibrated methods to achieve $\\tau_b < 0.12$ with $k = 5000$ pairs. A key structural finding: mathematical topic labels do not ensure commensurability. PRM800K's "intermediate algebra" category spans polynomial factoring, functional equations, and inequalities with no shared quality direction, but k-means clustering on embeddings does. The calibrated direction $\\widehat{w}$ amortizes: once learned, each new batch is ranked with zero additional oracle queries.
","absKo":"수학적 추론 체인의 품질을 기준으로 랭킹하는 작업(best-of-$n$ decoding, reward model training, 또는 verification)은 비용이 큰 pairwise oracle query를 필요로 한다. 표준 noisy sort는 배치당 이러한 query를 $\\Theta(n \\log n)$개 요구한다. 우리는 수학적 추론 체인이 score commensurability라는 성질을 가진다는 점을 보인다. 즉, 체인을 embedding similarity로 클러스터링하면 품질이 latent space에서 거의 선형이 되며, $k$개의 preference pair로 이루어진 작은 calibration set만으로도 quality direction $\\widehat{w}$를 학습할 수 있다. projected score를 interpolation sort에 넣으면, 추가 oracle query 없이 $O(n \\log \\log n)$개의 key comparison만으로 $n$개의 체인을 랭킹할 수 있다. PRM800K(900개의 MATH 문제에 걸친 37k개의 사람 채점 추론 체인)에서 embedding-based clustering은 pairwise noise를 $\\hat{p} \\approx 0.31$에서 $0.11$로 줄여, calibrated method가 $k = 5000$ pair로 $\\tau_b < 0.12$를 달성하게 한다. 핵심 구조적 발견은 다음과 같다. 수학적 주제 라벨만으로는 commensurability가 보장되지 않는다. PRM800K의 \"intermediate algebra\" 범주는 공통의 quality direction이 없는 다항식 인수분해, 함수방정식, 부등식을 모두 포함하지만, embedding에 대한 k-means clustering은 이를 구분한다. 학습된 뒤에는 calibrated direction $\\widehat{w}$가 amortize되므로, 이후 각 새 배치는 추가 oracle query 없이 랭킹된다.","link":"https://openreview.net/forum?id=4PXfOlLnmM"},{"id":"JrAjt20pc7","en":"Typed Inference Dynamics: Auditable State Transitions for Mathematical Reasoning","ko":"Typed Inference Dynamics: 수학적 추론을 위한 감사 가능한 상태 전이","authors":"Behnood Mashayekhi","abs":"Hard mathematical problem solving evolves through persistent partial states: paths are pruned or reactivated, constraints are deposited, subgoals close, and frames change what the next solve can see. Final answers, linear rationales, and scalar process scores flatten this motion. We introduce typed inference dynamics (TID), a state-transition substrate in which a helper proposes typed operations over candidate paths, constraints, subgoals, frames, and determined values; a deterministic reducer accepts, rejects, and logs the operation trace; and the accepted state is rendered to a frozen solver or distilled into adapters. In the original loop, full MATH-500 Level 5 (n=134) within-loop cumulative coverage improves from 35/134 to 53/134 at 7B (+13.4 pp, 95% CI [+7.5,+19.4]) and from 36/134 to 59/134 at 14B-AWQ (+17.2 pp, [+11.2,+23.9]); on OlympiadBench, the 14B-AWQ carrier improves from 4/29 to 11/29, while AIME is null at the reported T2 endpoint. These cumulative endpoints are pass-by-budget coverage inside the original loop, not evidence that typing alone caused the lift; fresh fixed-horizon controls show that repeated attempts explain much of the discovery gain, detect no net any-turn advantage of full TID over a schema-lite state updater at n=134, and expose a discovery-versus-retention gap that terminal and frozen-selector endpoints only partly realize. In the fresh cost profile, D uses 488,512 total tokens, about 1.98x repeated sampling (B) and 1.05x schema-lite updating (C*), while a 5,000-example transition corpus lifts a 7B LoRA from 6/90 to 33/90 passes on a hard harness. The evidence supports typed inference dynamics as an auditable, trainable transition layer between informal rationales and formal proof objects, with retention and state-authority calibration as the next bottlenecks.
","absKo":"어려운 수학 문제 해결은 지속적인 부분 상태를 통해 진화한다. 경로는 가지치기되거나 재활성화되고, 제약은 축적되며, subgoal은 닫히고, frame은 다음 풀이가 볼 수 있는 것을 바꾼다. 최종 답, 선형적 rationale, scalar process score는 이러한 움직임을 평탄화한다. 우리는 typed inference dynamics(TID)를 도입한다. 이는 helper가 후보 경로, 제약, subgoal, frame, 결정된 값에 대해 typed operation을 제안하는 state-transition substrate이며, deterministic reducer가 그 operation trace를 수락, 거절, 기록하고, 수락된 state는 frozen solver에 렌더링되거나 adapter로 distillation된다. 원래 loop에서 full MATH-500 Level 5(n=134)의 loop 내 cumulative coverage는 35/134에서 53/134로 7B에서 향상되고(+13.4 pp, 95% CI [+7.5,+19.4]), 14B-AWQ에서는 36/134에서 59/134로 향상된다(+17.2 pp, [+11.2,+23.9]). OlympiadBench에서는 14B-AWQ carrier가 4/29에서 11/29로 개선되며, 보고된 T2 endpoint에서 AIME는 null이다. 이 누적 endpoint는 원래 loop 내부의 budget당 pass coverage이지, typing 자체가 향상을 유발했다는 증거는 아니다. 새로운 fixed-horizon control은 반복 시도가 발견 증가의 상당 부분을 설명함을 보이고, n=134에서 full TID가 schema-lite state updater보다 any-turn 기준 순이득을 갖는다는 증거를 찾지 못했으며, terminal 및 frozen-selector endpoint가 일부만 실현하는 discovery-versus-retention gap을 드러낸다. 새로운 비용 프로필에서 D는 총 488,512 token을 사용해 repeated sampling(B)의 약 1.98배, schema-lite updating(C*)의 약 1.05배를 기록했고, 5,000개 transition corpus는 hard harness에서 7B LoRA를 6/90 pass에서 33/90 pass로 끌어올렸다. 이 증거는 typed inference dynamics가 비공식적 rationale와 formal proof object 사이의 감사 가능한, 학습 가능한 transition layer임을 지지하며, retention과 state-authority calibration이 다음 병목임을 보여준다.","link":"https://openreview.net/forum?id=JrAjt20pc7"},{"id":"G9ml0GuLs8","en":"Counts Converge, Spacings Do Not: A Two-Level Decomposition of Hardy-Littlewood Deviations in Twin Prime Residue Classes","ko":"쌍둥이 소수 잉여류에서 카운트는 수렴하지만 간격은 수렴하지 않는다: Hardy-Littlewood 편차의 이중 수준 분해","authors":"Wenhao Lu","abs":"The Hardy-Littlewood conjecture predicts the asymptotic global density of
twin primes, but makes no per-class prediction for the 15 valid residue
classes modulo $210$. We decompose deviations from this conjecture into two
independent levels. Using a Python segmented sieve enumerating all
$3{,}424{,}502$ twin prime pairs $(p, p+2)$ up to $10^9$:
(i) count-based deviations per class are at most 0.17% and follow the
expected $O(1/\\sqrt{N})$ statistical fluctuations, consistent with
Hardy-Littlewood being asymptotically correct for counts;
(ii) gap-spacing deviations, measured via the normalized ratio
$\\rho(p) = 2C_2\\,g(p)/(\\ln p)^2$, are 4-5% in magnitude,
Bonferroni-significant in 14 of 15 classes ($|t|$ up to $24.2$), and
persist across all $\\log p$ sub-ranges with Spearman $r_S > 0.97$
between adjacent ranges. We rule out the Lemke Oliver-Soundararajan
anti-persistence bias as an explanation: self-transition rates are
uniformly suppressed below $1/15$ across all classes
(Spearman $r_S = -0.04$, $p = 0.90$ against gap deviation),
confirming our finding is independent of that effect.
Two-stage PySR symbolic regression confirms Hardy-Littlewood at the
per-instance level, then at the class level discovers the term
$m_{70}/\\delta_7$ as the strongest number-theoretic predictor, reducing
regression loss by 76% over a constant baseline. The gap-spacing
deviation is a persistent higher-order phenomenon not predicted by the
standard singular series.
","absKo":"Hardy-Littlewood conjecture는 twin prime의 점근적 전역 밀도를 예측하지만, $210$에 대한 15개의 valid residue class 각각에 대해서는 개별적인 예측을 제시하지 않는다. 우리는 이 conjecture로부터의 편차를 두 개의 독립적인 수준으로 분해한다. Python segmented sieve를 사용해 $10^9$까지의 모든 $3{,}424{,}502$개의 twin prime pair $(p, p+2)$를 열거하여:\n(i) class별 count-based deviation은 최대 0.17%에 불과하며 기대되는 $O(1/\\sqrt{N})$ 통계적 fluctuation을 따르므로, 개수 관점에서는 Hardy-Littlewood가 점근적으로 정확하다는 것과 일치하고;\n(ii) 정규화된 비율 $\\rho(p) = 2C_2\\,g(p)/(\\ln p)^2$로 측정한 gap-spacing deviation은 크기가 4-5%이며, 15개 class 중 14개에서 Bonferroni-significant하고($|t|$ 최대 $24.2$), 인접한 $\\log p$ 구간들 사이에서 Spearman $r_S > 0.97$를 보이며 모든 $\\log p$ sub-range에 걸쳐 지속된다. 우리는 Lemke Oliver-Soundararajan의 anti-persistence bias가 이를 설명한다는 가설을 배제한다: self-transition rate는 모든 class에서 일관되게 $1/15$ 아래로 억제되며(Spearman $r_S = -0.04$, gap deviation에 대해 $p = 0.90$), 우리의 발견이 그 효과와 무관함을 확인한다.\n2단계 PySR symbolic regression은 per-instance 수준에서는 Hardy-Littlewood를 확인하고, 이어 class 수준에서는 $m_{70}/\\delta_7$ 항을 가장 강력한 number-theoretic predictor로 발견하여, 상수 baseline 대비 regression loss를 76% 줄인다. gap-spacing deviation은 표준 singular series가 예측하지 못하는, 지속적인 higher-order 현상이다.","link":"https://openreview.net/forum?id=G9ml0GuLs8"},{"id":"BAxBfSCKyj","en":"Decodable but Not Faithful: Coupling Natural-Language Rationales to Programmatic Verifiers","ko":"디코딩은 가능하지만 충실하지 않다: 자연어 rationale과 프로그램 검증기를 연결하기","authors":"Vatsal Ananthula, Adarsh Kumarappan","abs":"Language models can generate plausible rationales for their predictions, but these explanations may not faithfully represent the model's internal reasoning. We propose *verifier-coupled reasoning*, a framework that inserts inline claims into reasoning traces and trains an auxiliary consistency head to predict programmatic verifier outputs from rationale-span hidden states. The central finding is a gap between *decodability* and *faithfulness*: consistency training reliably makes verifier information decodable from rationale representations, but decodability does not guarantee faithful generation. In LeanCheck (formal theorem proving), rationale-only and proof-only pooling achieve perfect directional separation under counterfactual conflict. In KataGo (Go engine), commentary spans encode 10-way win-rate buckets at 81\\% accuracy. Yet in a code setting, the model achieves 98.6% coupling while its generated explanations remain unfaithful: fluent prose with correct structured claims, but describing unrelated algorithms; a controlled pretrained-vs-from-scratch comparison shows the gap is not capacity-driven. Synthetic activation patching confirms causal influence (73-89\\% vs. 31\\% baseline), FEVER reveals that evidence-only pooling isolates genuine evidence sensitivity at the cost of raw accuracy, and per-claim analysis shows that consistency loss disproportionately benefits fine-grained claims over binary ones. These results establish that consistency losses are effective diagnostics and representation-shaping tools, but not sufficient conditions for faithful reasoning.
","absKo":"Language model은 예측에 대한 그럴듯한 rationale을 생성할 수 있지만, 이러한 설명이 모델 내부 reasoning을 충실하게 반영하지는 않을 수 있다. 우리는 *verifier-coupled reasoning*을 제안한다. 이 framework는 reasoning trace 안에 inline claim을 삽입하고, auxiliary consistency head를 학습시켜 rationale-span hidden state로부터 programmatic verifier output을 예측하게 한다. 핵심 발견은 *decodability*와 *faithfulness* 사이의 간극이다. consistency training은 verifier 정보를 rationale representation에서 안정적으로 decode 가능하게 만들지만, decode 가능성이 faithful generation을 보장하지는 않는다. LeanCheck(formal theorem proving)에서는 rationale-only와 proof-only pooling이 counterfactual conflict 하에서 완전한 directional separation을 달성한다. KataGo(Go engine)에서는 commentary span이 81\\% 정확도로 10-way win-rate bucket을 인코딩한다. 그러나 code setting에서는 모델이 98.6% coupling을 달성함에도 생성된 설명은 faithful하지 않다. 즉, 유창한 산문과 올바른 structured claim을 내놓지만 전혀 관련 없는 알고리즘을 설명한다. controlled pretrained-vs-from-scratch 비교는 이 간극이 capacity 때문이 아님을 보여준다. Synthetic activation patching은 causal influence를 확인하며(기본선 31\\% 대비 73-89\\%), FEVER는 evidence-only pooling이 원시 정확도는 희생하더라도 진정한 evidence sensitivity를 분리해낸다는 점을 드러낸다. 또한 claim별 분석은 consistency loss가 binary claim보다 fine-grained claim에 훨씬 더 큰 이득을 준다는 것을 보여준다. 이 결과들은 consistency loss가 효과적인 진단 도구이자 representation-shaping 도구이지만, faithful reasoning의 충분조건은 아님을 확립한다.","link":"https://openreview.net/forum?id=BAxBfSCKyj"},{"id":"biFmUMB5yP","en":"The Signal-Coverage Matrix: Stratifying Type and Semantic Errors in Statement Autoformalization","ko":"신호-범위 행렬: 명제 autoformalization에서 유형 및 의미 오류를 계층화하기","authors":"Chengxiao Dai, Zhaokun Yan, Zhanhui Lin","abs":"Headline type-correctness (TC%) of LLM autoformalization has climbed from ~53% to ~76% in two years, yet this scalar conceals which errors each method resolves. We propose a signal-coverage matrix that crosses the Lean elaborator (pass/fail) with a semantic-equivalence judgment (equivalent/not), sorting every output into one of four cells: true success (TS), type-only (TO), semantic-only (SO), or both fail (BF). On ProofNet# and MiniF2F-test with DeepSeek V4-Pro across Vanilla, Lean-Retry, Sample-Filter, and Stratified Autoformalization (SAF): (1) the +34 to +36 TS gain across the three elab-feedback methods is ~64% type-stratum recovery, with SO flat on net (87.5% of original semantic errors rescued, 8 newly created). (2) The TO→TS rate is 23/61 for each method (Wilson 95% CI [26.6%, 50.3%]), and this stratum-level recovery rate predicts ΔTS on held-out methods to within 2/186 and renders ΔTC linear in the Vanilla elab-fail rate across six (model, dataset) cells (R²=0.96). (3) The two judges disagree by 26 to 37 pp on elab-feedback outputs (vs. 7 pp on Vanilla), with 30 to 56% of symbolic-judge false negatives traceable to elaborator-forced rewrites. The persistent residual reduces to two gold-formalization errors. TC% gains should be credited by which cell moved, not by the scalar alone.
","absKo":"Headline 수준의 type-correctness (TC%)는 LLM autoformalization에서 지난 2년간 약 53%에서 약 76%로 상승했지만, 이 단일 스칼라는 각 방법이 어떤 오류를 해결하는지는 가린다. 우리는 Lean elaborator의 통과/실패와 semantic-equivalence 판정(동등/비동등)을 교차하는 signal-coverage matrix를 제안하여, 모든 출력을 네 칸 중 하나인 true success (TS), type-only (TO), semantic-only (SO), 또는 both fail (BF)로 분류한다. DeepSeek V4-Pro를 사용해 ProofNet#과 MiniF2F-test에서 Vanilla, Lean-Retry, Sample-Filter, Stratified Autoformalization (SAF)을 비교한 결과: (1) 세 elab-feedback 방법에서 +34에서 +36의 TS 향상은 약 64%의 type-stratum recovery에 해당하며, SO는 순증가 기준으로 변하지 않았다(원래 semantic error의 87.5%가 구조적으로 복구되었고, 8개가 새로 생성됨). (2) TO→TS 전환율은 각 방법마다 23/61이며(Wilson 95% CI [26.6%, 50.3%]), 이 stratum-level recovery rate는 held-out methods의 ΔTS를 2/186 이내로 예측하고, 여섯 개 (model, dataset) 칸에 걸쳐 Vanilla elab-fail rate에 대해 ΔTC가 선형임을 보인다(R²=0.96). (3) 두 판정기는 elab-feedback 출력에서 26~37 pp까지 불일치했는데(Vanilla에서는 7 pp), symbolic-judge의 false negative 중 30~56%는 elaborator가 강제한 rewrite로 추적되었다. 지속되는 residual은 두 개의 gold-formalization 오류로 환원된다. TC%의 향상은 단순한 스칼라가 아니라 어떤 칸이 이동했는지로 공정하게 평가되어야 한다.","link":"https://openreview.net/forum?id=biFmUMB5yP"},{"id":"gDzS44BgiM","en":"DafnyProver: Agentic Verified Code Generation in Dafny","ko":"DafnyProver: Dafny에서의 agentic 검증 코드 생성","authors":"Benjamin Breen, Austin Letson, Borja Requena, Leopoldo Sarra","abs":"We study agentic code generation in Dafny, where a model must generate both executable code and the proof artifacts for verification. We present DafnyProver, a verifier-guided repair framework that iteratively generates implementations, invariants, assertions, and termination arguments. We also introduce LiveCodeBench-Pro-Dafny (LCB-Pro-Dafny), a benchmark of 250 competition-style programming problems translated into Dafny with formal specifications and a verifier-based evaluation harness. On LCB-Pro-Dafny, DafnyProver substantially improves verification success over baseline GPT-5.5 performance. On DafnyBench, DafnyProver reaches 92.7\\% verification success, outperforming the strongest previously reported proof-hint baseline by 6 percentage points. Lastly, we show that verification success and runtime test performance measure different aspects of generated code.
","absKo":"우리는 모델이 실행 가능한 code와 verification을 위한 proof artifact를 모두 생성해야 하는 Dafny에서의 agentic code generation을 연구합니다. 우리는 구현, invariant, assertion, termination argument를 반복적으로 생성하는 verifier-guided repair framework인 DafnyProver를 제시합니다. 또한 formal specification과 verifier-based evaluation harness를 갖춘, 250개의 competition-style programming problem을 Dafny로 번역한 benchmark인 LiveCodeBench-Pro-Dafny (LCB-Pro-Dafny)도 소개합니다. LCB-Pro-Dafny에서 DafnyProver는 baseline GPT-5.5 성능에 비해 verification success를 크게 향상시킵니다. DafnyBench에서는 DafnyProver가 92.7\\% verification success에 도달하여, 이전에 보고된 가장 강력한 proof-hint baseline을 6 percentage point 앞섭니다. 마지막으로, verification success와 runtime test performance는 생성된 code의 서로 다른 측면을 측정한다는 점을 보입니다.","link":"https://openreview.net/forum?id=gDzS44BgiM"},{"id":"l84BLVKJbM","en":"VeRA: Math Benchmarks as Executable Specifications","ko":"VeRA: 실행 가능한 명세로서의 수학 benchmark","authors":"Zerui Cheng, Jiashuo Liu, Chunjie Wu, Jiayang Sun, Jianzhu Yao, Pramod Viswanath, Ge Zhang, Wenhao Huang","abs":"Most reasoning benchmarks are static: the same problems are reused repeatedly, enabling memorization, format exploitation, and saturation. To measure genuine AI progress we need evaluation that is robust by construction, not by post-hoc detection. We propose VeRA (Verified Reasoning Data Augmentation), a framework that compiles benchmark problems into executable specifications consisting of a natural-language template with slots, a coherent generator that samples valid configurations, and a deterministic verifier that validates assignments and computes canonical answers. Once a specification is validated, labels for any newly sampled instance come from executing the verifier, so correctness amortizes across an unbounded stream of fresh variants at near-zero marginal cost. VeRA has two modes. VeRA-E, the equivalent mode, rewrites problems while keeping the underlying logic intact and supports memorization and robustness diagnostics. VeRA-H and VeRA-H-Pro, the hardened modes, systematically increase complexity while remaining verifiable. Evaluating 16 frontier models on GSM8K, AIME-2024 and 2025, Beyond-AIME, AMO-Bench, and GPQA-Diamond shows that VeRA-E exposes robustness and familiarity effects, with 4× dispersion on GSM8K and a Teacher-robust, statistically significant AIME-2024 versus 2025 gap, while VeRA-H and VeRA-H-Pro generate fresh verified tasks that restore headroom on saturated benchmarks. Beyond the automatic pipeline, we release human-audited Verified datasets, comprising 220 of 220 VeRA-E items and 2,187 of 2,299 expert-audited VeRA-H and VeRA-H-Pro items at 95.13% retention, together with a stricter pair-preserving Verified Full release. All code and datasets are made open-source at https://github.com/Marco-Cheng/VeRA.
","absKo":"대부분의 reasoning benchmark는 정적입니다. 같은 문제가 반복해서 재사용되기 때문에 암기, 형식 악용, 포화가 가능해집니다. 진정한 AI 진전을 측정하려면 사후 탐지가 아니라, 설계 자체에서 견고한 evaluation이 필요합니다. 우리는 VeRA(Verified Reasoning Data Augmentation)를 제안합니다. 이는 benchmark 문제를 실행 가능한 specification으로 컴파일하는 프레임워크로, 슬롯이 있는 자연어 템플릿, 유효한 구성을 샘플링하는 coherent generator, 그리고 할당을 검증하고 canonical answer를 계산하는 deterministic verifier로 구성됩니다. specification이 한 번 검증되면, 새로 샘플링된 인스턴스의 label은 verifier를 실행해 얻으므로, 정답성은 거의 추가 비용 없이 무한한 새 변형 스트림에 걸쳐 상각됩니다. VeRA에는 두 가지 모드가 있습니다. equivalent mode인 VeRA-E는 문제를 다시 쓰되 underlying logic은 유지하며, 암기 및 robustness 진단을 지원합니다. hardened mode인 VeRA-H와 VeRA-H-Pro는 검증 가능성을 유지하면서 체계적으로 복잡도를 높입니다. GSM8K, AIME-2024와 2025, Beyond-AIME, AMO-Bench, GPQA-Diamond에서 16개의 frontier model을 평가한 결과, VeRA-E는 robustness와 familiarity effect를 드러내며 GSM8K에서 4배의 분산과 AIME-2024 대 2025의 Teacher-robust하고 통계적으로 유의한 격차를 보여줍니다. 반면 VeRA-H와 VeRA-H-Pro는 포화된 benchmark에서 여유 성능을 회복하는 새로운 검증된 task를 생성합니다. 자동화 파이프라인을 넘어, 우리는 human-audited Verified dataset도 공개합니다. 여기에는 220개의 VeRA-E item 중 220개와 2,299개의 expert-audited VeRA-H 및 VeRA-H-Pro item 중 2,187개가 포함되며, 95.13% retention을 보입니다. 또한 더 엄격한 pair-preserving Verified Full release도 함께 제공합니다. 모든 code와 dataset은 https://github.com/Marco-Cheng/VeRA 에서 open-source로 공개됩니다.","link":"https://openreview.net/forum?id=l84BLVKJbM"},{"id":"RyX0XTfaDT","en":"Online Learnability of Chain-of-Thought Verifiers: Soundness and Completeness Trade-offs","ko":"Chain-of-Thought 검증기의 온라인 학습 가능성: soundness와 completeness의 trade-off","authors":"Maria Florina Balcan, Avrim Blum, Kiriaki Fragkia, Zhiyuan Li, Dravyansh Sharma","abs":"Large Language Models (LLMs) with chain-of-thought generation have demonstrated great potential for solving complex reasoning and planning tasks, though their output is not fully reliable and requires careful verification. Using learned verifiers can help increase trust, enforce safety constraints, and ensure alignment with personal preferences, yet training them is challenging because interactions between generator and verifier may induce substantial distribution shift. Motivated by this challenge, we propose a framework for online learning chain-of-thought verifiers that, given a problem and a sequence of reasoning steps, check the correctness of the solution. Highlighting the asymmetric role of soundness errors (not flagging incorrect reasoning) and completeness errors (rejecting correct reasoning), we introduce novel extensions of the Littlestone dimension which tightly characterize mistake bounds in the realizable setting. We provide optimal algorithms for finding the Pareto-frontier (the smallest total number of mistakes given a budget of soundness mistakes) as well as for minimizing a linear combination of mistake costs. We further show how our learned verifiers can be used to boost the accuracy of a collection of weak generators: under the mild assumption that one of the generators can generate the next reasoning step correctly with some minimal probability, we show how to learn a strong generator with small error and abstention rates.
","absKo":"chain-of-thought 생성을 포함한 Large Language Models (LLMs)는 복잡한 reasoning 및 planning task를 해결하는 데 큰 잠재력을 보여 왔지만, 그 출력이 완전히 신뢰할 수 있는 것은 아니며 면밀한 검증이 필요하다. learned verifier를 사용하면 신뢰도를 높이고, 안전 제약을 강제하며, 개인 선호와의 alignment를 보장할 수 있지만, generator와 verifier의 상호작용이 상당한 distribution shift를 유발할 수 있어 학습이 어렵다. 이러한 도전에 착안하여, 우리는 문제와 reasoning step의 sequence가 주어졌을 때 solution의 정당성을 점검하는 online learning chain-of-thought verifier framework를 제안한다. soundness error(잘못된 reasoning을 잡아내지 못함)와 completeness error(올바른 reasoning을 거부함)의 비대칭적 역할을 강조하며, realizable setting에서 mistake bound를 정밀하게 특성화하는 Littlestone dimension의 새로운 확장을 도입한다. 우리는 Pareto-frontier(주어진 soundness mistake 예산에서 총 mistake 수가 가장 적은 지점)를 찾는 최적 알고리즘과, mistake cost의 선형 결합을 최소화하는 최적 알고리즘을 제시한다. 또한, 학습된 verifier가 약한 generator 집합의 정확도를 높이는 데 어떻게 사용될 수 있는지도 보인다. 완화된 가정하에, generator 중 하나가 다음 reasoning step을 어떤 최소 확률로든 올바르게 생성할 수 있다면, 우리는 작은 error와 abstention rate를 갖는 strong generator를 학습할 수 있음을 보인다.","link":"https://openreview.net/forum?id=RyX0XTfaDT"},{"id":"kuF1yS8Pxu","en":"Reasoning Models Lose their Way with Long Deduction","ko":"Reasoning Model은 긴 deduction에서 길을 잃는다","authors":"Hadeel Al-Negheimish, Jasna Ilieva, Yoon Kim","abs":"Current frontier LLMs can theoretically process long contexts with up to $1M$ tokens. But to what extent can they go beyond simple retrieval and perform deeper reasoning over such long contexts? We propose a simple synthetic benchmark to probe for long-horizon reasoning capabilities of LLMs, focusing on deductive logic expressed in Prolog. Our benchmark, dubbed ProloNg, systematically varies the complexity (reasoning depth) of problems, where the hardest case has a reasoning depth of $22$ and $62k$ context length. We study 8 reasoning models across 5 families of frontier LLMs, and find that all models fail to perform above chance as the reasoning depth grows, with the majority failing beyond depth-$10$.
","absKo":"현재 frontier LLM은 이론적으로 최대 $1M$ token까지의 긴 context를 처리할 수 있다. 하지만 그런 긴 context에서 단순 retrieval을 넘어 더 깊은 추론을 실제로 얼마나 수행할 수 있을까? 우리는 Prolog로 표현된 deductive logic에 초점을 맞춰, LLM의 long-horizon reasoning capability를 점검하는 간단한 synthetic benchmark를 제안한다. 이 benchmark는 ProloNg라 부르며, 문제의 복잡도(추론 깊이)를 체계적으로 변화시킨다. 가장 어려운 경우는 reasoning depth가 $22$이고 context length가 $62k$이다. 우리는 5개 family에 걸친 8개 reasoning model을 연구한 결과, 모든 model이 reasoning depth가 증가함에 따라 chance 수준을 넘지 못하며, 대부분은 depth-$10$을 넘어서면 실패함을 발견했다.","link":"https://openreview.net/forum?id=kuF1yS8Pxu"},{"id":"ujbngu2N8p","en":"SEAD: Competence-Aware On-Policy Distillation via Entropy-Guided Supervision","ko":"SEAD: entropy-guided supervision을 이용한 competence-aware on-policy distillation","authors":"Chia-Hsuan Lee, Zelei Cheng, Yu Wang, Renkun Ni, Sambit Sahu, Shi-Xiong Zhang, William M. Campbell","abs":"On-policy distillation (OPD) has a property absent in offline distillation and RL: teacher supervision quality depends on student competence. Incoherent rollouts yield noisy gradients; already-mastered tokens yield redundant ones. This creates waste at three scales—tokens, training phases, and prompts—yet existing methods supervise uniformly. We introduce SEAD, which uses entropy as a unified probe of this competence-dependent degradation at three scales: (1) joint teacher-student entropy partitions tokens into zones receiving tailored divergences or zero gradient (~50% skipped); (2) a cosine schedule anneals from forward to reverse KL as competence grows; (3) a competence-gated curriculum introduces prompts easy-to-hard. These components are symbiotically necessary: token selection requires coherent rollouts (curriculum), and annealing requires monotonic improvement (also curriculum). On OLMo-3 (7B to 32B), SEAD achieves +4.8 average accuracy over vanilla OPD across six math benchmarks, with ablations confirming super-additive interactions.
","absKo":"On-policy distillation(OPD)은 offline distillation과 RL에는 없는 성질을 갖는다. teacher supervision quality가 student competence에 의존한다는 점이다. 일관성 없는 rollout은 noisy gradient를 낳고, 이미 숙달한 token은 중복된 gradient를 낳는다. 이로 인해 token, training phase, prompt의 세 수준에서 낭비가 발생하지만, 기존 방법은 이를 균일하게 supervise한다. 우리는 SEAD를 도입한다. SEAD는 entropy를 이 competence-dependent degradation을 세 수준에서 포착하는 통합 probe로 사용한다: (1) joint teacher-student entropy가 token을 맞춤형 divergence 또는 zero gradient를 받는 zone으로 나눈다(~50% skip); (2) cosine schedule이 competence가 증가함에 따라 forward KL에서 reverse KL로 anneal한다; (3) competence-gated curriculum이 쉬운 prompt에서 어려운 prompt로 도입한다. 이 구성요소들은 상호의존적으로 필요하다. token selection은 일관된 rollout(curriculum)을 요구하고, annealing은 단조로운 개선(역시 curriculum)을 요구한다. OLMo-3(7B to 32B)에서 SEAD는 여섯 개의 math benchmark 전반에서 vanilla OPD 대비 평균 정확도를 +4.8 향상시켰으며, ablation은 super-additive interaction을 확인했다.","link":"https://openreview.net/forum?id=ujbngu2N8p"},{"id":"f3tz3NbZAH","en":"FrontierOR: Benchmarking LLMs’ Capacity for Efficient Algorithm Design in Large-Scale Optimization","ko":"FrontierOR: 대규모 최적화에서 효율적 알고리즘 설계 역량에 대한 LLM 벤치마킹","authors":"Minwei Kong, Chonghe Jiang, Ao Qu, Wenbin Ouyang, Zhaoming Zeng, Xiaotong Guo, Zhekai Li, Junyi Li, Yi Fan, Xinshou Zheng, Xi Jing, Yikai Zhang, Zhiwei Liang, Seonghoo Kim, Runqing Yang, Zijian Zhou, Sirui Li, Han Zheng, Wangyang Ying, Ou Zheng, Chonghuan Wang, Jinglong Zhao, Hanzhang Qin, Cathy Wu, Paul Pu Liang, Jinhua Zhao, Hai Wang","abs":"Large language models (LLMs) are increasingly used for optimization modeling and solver-code generation, yet practical operations research and optimization problems often require a harder capability: designing scalable algorithms that exploit problem structure and outperform direct formulation-and-solve baselines. Existing benchmarks are limited to small or simplified examples far below real-world scale and complexity. We introduce \\textbf{FrontierOR}, the first literature-grounded benchmark targeting LLM-generated algorithm efficiency on realistic large-scale optimization problems. FrontierOR includes a methodologically diverse set of 180 tasks, each derived from one paper published in top-tier operations research venues, with standardized instances and a hidden, expert-verified evaluation suite. We evaluate seven LLMs spanning frontier, cost-effective, and open-source models both in one-shot and test-time evolution settings. The results reveal that frontier models still struggle to move from executable formulations to efficient optimization algorithms: the strongest one-shot model matches Gurobi's solution quality within a 1\\% gap at a lower runtime on only 31\\% of Full-set instances, and even strong coding agents with test-time evolution achieve only 50\\% on the selected Hard-set instances. FrontierOR establishes a practical evaluation platform for LLM-based optimization algorithm design, which enables future LLMs and agents to be systematically tested on whether they can move beyond correct formulation toward a feasible, high-quality, and efficient algorithm. Code and data are publicly released at \\url{https://github.com/Minw913/FrontierOR}.
","absKo":"Large language model(LLM)은 optimization modeling과 solver-code generation에 점점 더 많이 사용되고 있지만, 실제 operations research 및 optimization 문제는 더 어려운 능력, 즉 문제 구조를 활용하고 direct formulation-and-solve baseline을 능가하는 scalable algorithm 설계가 필요하다. 기존 benchmark는 실제 규모와 복잡성에 훨씬 못 미치는 작은 예제나 단순화된 예제에 한정되어 있다. 우리는 현실적인 대규모 optimization problem에서 LLM이 생성한 algorithm의 효율성을 겨냥한 최초의 literature-grounded benchmark인 \\textbf{FrontierOR}를 소개한다. FrontierOR는 상위권 operations research venue에 발표된 논문 하나에서 파생된 180개의 task로 이루어진 methodologically diverse한 집합을 포함하며, 표준화된 instance와 hidden expert-verified evaluation suite를 제공한다. 우리는 frontier, cost-effective, open-source model을 아우르는 7개의 LLM을 one-shot 및 test-time evolution 설정 모두에서 평가한다. 결과는 frontier model조차 executable formulation에서 efficient optimization algorithm으로 나아가는 데 여전히 어려움을 겪음을 보여준다. 가장 강력한 one-shot model은 더 낮은 runtime으로 Gurobi의 solution quality와 1\\% gap 이내에서 일치했지만 Full-set instance의 31\\%에서만 이를 달성했으며, test-time evolution을 적용한 강력한 coding agent조차 selected Hard-set instance에서 50\\%에 그쳤다. FrontierOR는 LLM 기반 optimization algorithm 설계를 위한 실용적 평가 플랫폼을 확립하며, 향후 LLM과 agent가 올바른 formulation을 넘어 실행 가능하고 고품질이며 효율적인 algorithm으로 나아갈 수 있는지 체계적으로 시험할 수 있게 한다. Code와 data는 \\url{https://github.com/Minw913/FrontierOR}에 공개되어 있다.","link":"https://openreview.net/forum?id=f3tz3NbZAH"},{"id":"SA9GNxiNGs","en":"Can A Base LLM Verify Its Own Math? A Pre-Registered Discriminator-Generator Asymmetry Test On AIME And Four Corrective Probes","ko":"Base LLM은 자기 수학을 검증할 수 있는가? AIME와 4개의 교정 probe에 대한 사전등록 discriminator-generator 비대칭성 검정","authors":"Ethan Y Wang, Aayan Alwani","abs":"Can a base language model tell whether a multi-step math solution is correct? If so, a training pipeline could use the model's own judgment to filter and improve its reasoning without an external teacher. We pre-register a behavioral test of this claim on Qwen2.5-1.5B base over 51 hard AIME problems where the base solves nothing. The test fails on every sub-criterion.
A 17-measurement log-probability extension across five model families (1.5B-72B) initially reproduces this null, but we then uncover a confound: the standard corruption protocol preserves the visible final answer, so the test cannot detect whether the model reads the intermediate reasoning at all.
We fix this with four corrective probes, evaluated across eleven open-weights configurations spanning Qwen2.5, DeepSeek-R1-Distill, Llama-3.1, Mistral, and Gemma-2. The results decompose chain verification into two distinct capacities. Perception (can the model internally distinguish correct from incorrect chains?) is universal: two probes return positive signal on every model and every problem. Verbalization (can the model express that distinction as an explicit YES/NO verdict?) is family-specific: every Qwen variant and every R1-Distill variant passes, but all three pure non-Qwen base models (Llama-3.1, Mistral, Gemma-2) fail at near-zero discrimination. Instruction tuning at 7B amplifies the verdict signal by more than 5x.
A direct intervention confirms the dissociation: a 1,000-example LoRA fine-tune that injects only YES/NO supervision lifts Llama-3.1-8B base from zero to +2.67 verdict delta in 5 minutes, converting the cleanest verdict-blind model into a passing one without touching its perception. The pre-registered behavioral test still fails -- a self-teacher pipeline that needs the base to spontaneously produce correct chains on hard problems remains bottlenecked -- but the "models cannot verify math" reading is wrong at the perception level and wrong for most model families at the verbalization level. We close with design implications for math-chain verification pipelines.
","absKo":"base language model이 multi-step math solution이 올바른지 판단할 수 있는가? 그렇다면 training pipeline이 외부 teacher 없이도 모델 자신의 판단을 사용해 추론을 필터링하고 개선할 수 있다. 우리는 base가 아무것도 풀지 못하는 51개의 어려운 AIME 문제에 대해 Qwen2.5-1.5B base를 대상으로 이 주장에 대한 행동적 테스트를 사전 등록했다. 이 테스트는 모든 sub-criterion에서 실패한다.\n\n다섯 개 model family(1.5B-72B)에 걸친 17개 측정 log-probability 확장은 처음에는 이 null 결과를 재현하지만, 우리는 곧 confound를 발견한다. 표준 corruption protocol이 눈에 보이는 최종 답을 보존하므로, 이 테스트는 모델이 중간 추론을 실제로 읽는지 전혀 감지할 수 없다.\n\n우리는 Qwen2.5, DeepSeek-R1-Distill, Llama-3.1, Mistral, Gemma-2에 걸친 11개의 open-weights configuration에서 평가한 네 가지 corrective probe로 이를 수정한다. 결과는 chain verification을 두 개의 서로 다른 능력으로 분해한다. Perception(모델이 내부적으로 올바른 chain과 잘못된 chain을 구별할 수 있는가?)은 보편적이다. 두 probe 모두 모든 모델과 모든 문제에서 positive signal을 반환한다. Verbalization(그 구분을 명시적인 YES/NO 판정으로 표현할 수 있는가?)은 family-specific이다. 모든 Qwen variant와 모든 R1-Distill variant는 통과하지만, 세 개의 pure non-Qwen base model(Llama-3.1, Mistral, Gemma-2)은 거의 zero discrimination 수준에서 실패한다. 7B에서의 instruction tuning은 verdict signal을 5배 이상 증폭시킨다.\n\n직접 개입은 이 분리를 확인한다. YES/NO supervision만 주입하는 1,000개 예시 LoRA fine-tune은 Llama-3.1-8B base를 5분 만에 zero에서 +2.67 verdict delta로 끌어올려, perception은 건드리지 않은 채 가장 깔끔한 verdict-blind model을 통과하는 모델로 바꾼다. 사전 등록된 행동 테스트는 여전히 실패한다. 어려운 문제에서 base가 올바른 chain을 자발적으로 생성해야 하는 self-teacher pipeline은 여전히 병목에 걸려 있다. 그러나 \"models cannot verify math\"라는 해석은 perception 수준에서는 틀렸고, 대부분의 model family에 대해 verbalization 수준에서도 틀렸다. 우리는 math-chain verification pipeline에 대한 설계 시사점으로 마무리한다.","link":"https://openreview.net/forum?id=SA9GNxiNGs"},{"id":"k3GS4CFGoB","en":"TabularMath: Evaluating Computational Extrapolation in Tabular Learning via Program-Verified Synthesis","ko":"TabularMath: 프로그램 검증 합성을 통한 tabular learning의 계산적 외삽 평가","authors":"Zerui Cheng, Jiashuo Liu, Jianzhu Yao, Pramod Viswanath, Ge Zhang, Wenhao Huang","abs":"Standard tabular benchmarks mainly focus on the evaluation of a model’s capability to interpolate values inside a data manifold, where models good at performing local statistical smoothing are rewarded. However, there exists a very large category of high-value tabular data, including financial modeling and physical simulations, which are generated based upon deterministic computational processes, as opposed to stochastic and noisy relationships. Therefore, we investigate if tabular models can provide an extension from statistical interpolation to computational extrapolation.
We propose TabularMath, a diagnostic benchmark of 114 deterministic problems (233,472 rows) generated from verified programs based on GSM8K and AIME. We evaluate 9 tabular architectures and in-context learning (ICL) with GPT-OSS-120B. On standard regression metrics, TabPFN v2.5 performs remarkably well, achieving R^2 = 0.998 in-distribution and maintaining positive R^2 even under distribution shift---unique among the tabular models we tested. When we measure rounded consistency (exact integer match indicating whether the underlying math problem is solved), a different picture emerges: TabPFN v2.5 drops below 10% on out-of-distribution data, while ICL maintains around 40%. This gap between R^2 and exact-match accuracy suggests that tabular models learn smooth function approximations but struggle to recover precise computational outputs under extrapolation. The two paradigms appear complementary: TabPFN scales efficiently with data; ICL achieves exact computation from few examples. We release all code and data at https://github.com/Marco-Cheng/TabularMath to support further investigation.
","absKo":"표준 tabular benchmark는 주로 model이 data manifold 내부에서 값을 interpolate하는 능력을 평가하는 데 초점을 맞추며, local statistical smoothing을 잘 수행하는 model이 보상을 받는다. 그러나 금융 모델링과 물리 시뮬레이션을 포함한, 가치가 매우 큰 tabular data의 상당 부분은 stochastic하고 noisy한 관계가 아니라 deterministic한 computational process에 기반해 생성된다. 따라서 우리는 tabular model이 statistical interpolation에서 computational extrapolation으로 확장될 수 있는지 조사한다.\n\n우리는 GSM8K와 AIME를 기반으로 검증된 program에서 생성한 114개의 deterministic problem(233,472 rows)으로 이루어진 diagnostic benchmark, TabularMath를 제안한다. 우리는 9개의 tabular architecture와 GPT-OSS-120B를 사용한 in-context learning(ICL)을 평가한다. 표준 regression metric에서는 TabPFN v2.5가 놀라울 정도로 우수한 성능을 보여, in-distribution에서 R^2 = 0.998을 달성하고 우리가 테스트한 tabular model 가운데 유일하게 distribution shift 하에서도 양의 R^2를 유지한다. 그러나 rounded consistency(기저의 math problem이 풀렸는지 나타내는 exact integer match)를 측정하면 다른 양상이 드러난다. TabPFN v2.5는 out-of-distribution data에서 10% 아래로 떨어지는 반면, ICL은 약 40%를 유지한다. R^2와 exact-match accuracy 사이의 이러한 격차는 tabular model이 매끄러운 함수 근사를 학습하지만, extrapolation 상황에서 정확한 computational output을 복원하는 데는 어려움을 겪는다는 점을 시사한다. 두 paradigm은 상호 보완적인 것으로 보인다. TabPFN은 data에 따라 효율적으로 scale하고, ICL은 적은 예시로부터 정확한 computation을 달성한다. 추가 연구를 지원하기 위해 모든 code와 data를 https://github.com/Marco-Cheng/TabularMath 에 공개한다.","link":"https://openreview.net/forum?id=k3GS4CFGoB"},{"id":"WnAAGGyuVv","en":"LemmaBench: A Live, Research-Level Benchmark to Evaluate LLM Capabilities in Mathematics","ko":"LemmaBench: 수학에서 LLM 역량을 평가하기 위한 실시간 연구 수준 벤치마크","authors":"Antoine Peyronnet, Fabian Gloeckle, Amaury Hayat","abs":"We present a new approach for benchmarking Large Language Model (LLM) capabilities on research-level mathematics. Existing benchmarks largely rely on static, hand-curated sets of contest or textbook-style problems as proxies for mathematical research. Instead, we establish an updatable benchmark evaluating models directly on the latest research results in mathematics. This consists of an automatic pipeline that extracts lemmas from the arXiv and rewrites them into self-contained statements by making all assumptions and required definitions explicit. It results in a benchmark that can be updated regularly with new problems taken directly from human mathematical research, while previous instances can be used for training without compromising future evaluations. We benchmark current state-of-the-art LLMs, which went from 10-15$\\%$ accuracy to 40.8\\% accuracy in theorem proving (pass@1) depending on the model, showing that there is both a very fast evolution of LLMs capabilities with respect to human research-level mathematics and still a large margin of progression for general public LLMs to reach human-level proving capabilities in a research context.
","absKo":"우리는 research-level mathematics에서 Large Language Model (LLM) 능력을 benchmark하는 새로운 접근법을 제시한다. 기존 benchmark는 대체로 수학 연구의 대리 지표로서 contest나 textbook 스타일의 문제들로 이루어진 static한, 수작업으로 선별된 집합에 의존한다. 이에 반해, 우리는 모델을 수학의 최신 연구 결과에 직접 평가하는 update 가능한 benchmark를 구축한다. 이는 arXiv에서 lemma를 추출하고 모든 가정과 필요한 정의를 명시적으로 만들어 self-contained statement로 다시 쓰는 자동 pipeline으로 구성된다. 그 결과, 인간의 수학 연구에서 직접 가져온 새로운 문제들로 정기적으로 갱신할 수 있는 benchmark가 만들어지며, 이전 인스턴스는 향후 평가를 저해하지 않으면서 training에 사용할 수 있다. 우리는 현재 state-of-the-art LLM들을 benchmark했으며, 모델에 따라 theorem proving (pass@1) 정확도가 10-15$\\%$에서 40.8$\\%$까지 상승하는 것을 확인했다. 이는 인간 research-level mathematics에 대한 LLM 능력이 매우 빠르게 진화하고 있음을 보여주는 동시에, general public LLM이 research context에서 인간 수준의 proving 능력에 도달하기까지는 여전히 큰 발전 여지가 남아 있음을 시사한다.","link":"https://openreview.net/forum?id=WnAAGGyuVv"},{"id":"QpABpBMzhZ","en":"Mitigating Perceptual Judgment Bias in Multimodal LLM-as-a-Judge for Mathematical and Scientific Reasoning Evaluation","ko":"수학 및 과학 추론 평가에서 multimodal LLM-as-a-Judge의 지각 판단 편향 완화","authors":"Seojeong Park, Jiho Choi, Junyong Kang, Seonho Lee, Jaeyo Shin, Hyunjung Shim","abs":"Multimodal large language models (MLLMs) are increasingly used to evaluate reasoning over mathematical diagrams, scientific figures, and charts, where reliable visual grounding is essential for verifiable assessment.
Yet when visual evidence conflicts with textual cues, MLLM judges tend to reward plausible narratives over perceptually correct answers, a critical failure in evaluating mathematical and scientific reasoning.
We identify this phenomenon as Perceptual Judgment Bias: judges anchor on response text rather than their own visual perception, producing inconsistent and non-verifiable evaluations.
To address this, we introduce the Perceptually Perturbed Judgment Dataset, which constructs minimally edited counterfactual responses that isolate perceptual errors and enable verifiable supervision.
Building on it, we train judges with a verifiable batch-ranking reward via GRPO, yielding coherent global ordering without explicit pairwise labels.
On MLLM-as-a-Judge benchmarks including MathVista, ScienceQA, ChartQA, InfographicVQA and MM-Vet, our method substantially improves perceptual fidelity, ranking coherence, and alignment with human evaluation, with the largest gains on mathematical and scientific reasoning tasks.
","absKo":"Multimodal large language model (MLLM)은 수학적 diagram, scientific figure, chart에 대한 reasoning을 평가하는 데 점점 더 많이 사용되며, 신뢰할 수 있는 visual grounding은 검증 가능한 평가를 위해 필수적이다.\n그런데 visual evidence가 textual cue와 충돌할 때, MLLM judge는 지각적으로는 올바르지 않은 답보다 그럴듯한 서사를 더 높게 평가하는 경향이 있으며, 이는 수학적 및 과학적 reasoning 평가에서 치명적인 실패이다.\n우리는 이 현상을 Perceptual Judgment Bias로 규정한다. 즉, judge가 자신의 visual perception이 아니라 response text에 기준을 두어, 일관되지 않고 검증 불가능한 평가를 만들어낸다.\n이를 해결하기 위해, 우리는 지각적 오류를 분리하고 검증 가능한 supervision을 가능하게 하는 최소 편집 counterfactual response를 구성한 Perceptually Perturbed Judgment Dataset을 도입한다.\n이를 바탕으로, 우리는 GRPO를 통해 verifiable batch-ranking reward로 judge를 학습시켜, 명시적인 pairwise label 없이도 일관된 global ordering을 얻는다.\nMathVista, ScienceQA, ChartQA, InfographicVQA, MM-Vet을 포함한 MLLM-as-a-Judge benchmark에서, 우리의 방법은 perceptual fidelity, ranking coherence, human evaluation과의 정합성을 크게 향상시키며, 특히 수학 및 과학 reasoning task에서 가장 큰 개선을 보인다.","link":"https://openreview.net/forum?id=QpABpBMzhZ"},{"id":"T8nBI2rWJd","en":"Learning-Guided Flip-Graph Search for Low-Rank Polynomial Multiplication","ko":"저랭크 다항식 곱셈을 위한 학습 유도 Flip-Graph 탐색","authors":"Dharunish Yugeswardeenoo","abs":"Polynomial multiplication is a fundamental bilinear operation whose bilinear algorithms correspond to rank-1 decompositions of a structure tensor, with scalar multiplication count equal to the number of rank-1 terms. We study algorithm discovery as learning-guided search over a tensor flip graph, whose nodes are exact decompositions and edges are local algebra-preserving transformations. We propose PolyDiscover, a learning-guided Monte Carlo Tree Search (MCTS) framework that uses a Transformer policy/value model to guide this search. Starting from the schoolbook FOIL decomposition, PolyDiscover navigates orbit flips, zero-sum additions, and recursive rank-reducing rewrites. Under the coefficient restriction {-1,0,1}, all candidate algorithms are verified by reconstruction of the polynomial tensor. For degrees 1–100, the discovered decompositions achieve fewer scalar multiplications than the published Weimerskirch–Paar counts in 84 cases and match them in the remaining 16 under the coefficient restriction over general rings. Structural analysis shows that the discovered algorithms form a recursive subset-sum basis where scalar multiplications are products of overlapping coefficient sums, and output coefficients are recovered by signed inclusion–exclusion.
","absKo":"다항식 곱셈은 구조 텐서의 rank-1 decomposition에 대응하는 기본적인 bilinear operation이며, scalar multiplication 횟수는 rank-1 term의 수와 같다. 우리는 알고리즘 발견을 exact decomposition으로 이루어진 node와, 국소적인 대수 보존 변환인 edge를 갖는 tensor flip graph 위의 learning-guided search로 본다. 우리는 Transformer policy/value model을 사용해 이 search를 유도하는 learning-guided Monte Carlo Tree Search(MCTS) 프레임워크인 PolyDiscover를 제안한다. schoolbook FOIL decomposition에서 시작하여 PolyDiscover는 orbit flip, zero-sum addition, 재귀적인 rank-reducing rewrite를 탐색한다. coefficient restriction {-1,0,1} 하에서 모든 후보 알고리즘은 polynomial tensor의 reconstruction을 통해 검증된다. degree 1–100에 대해, 발견된 decomposition은 84개 경우에서 공개된 Weimerskirch–Paar 카운트보다 더 적은 scalar multiplication을 달성했고, 나머지 16개 경우에서는 일반 ring에 대한 coefficient restriction 하에서 그와 동일한 값을 맞췄다. 구조 분석 결과, 발견된 알고리즘은 재귀적인 subset-sum basis를 이루며, scalar multiplication은 겹치는 coefficient sum의 곱으로 나타나고, 출력 계수는 부호가 있는 inclusion–exclusion으로 복원됨을 보인다.","link":"https://openreview.net/forum?id=T8nBI2rWJd"},{"id":"fMyVTW7Bof","en":"When Wrong Answers Look Right: AEGIS-D, a Multi-Agent Debate System for High-Precision Verification of Hard Competition Mathematics","ko":"틀린 답이 맞아 보일 때: 어려운 대회 수학의 고정밀 검증을 위한 다중 에이전트 토론 시스템 AEGIS-D","authors":"Jiayang Sun, Jiawei Xu, Maxm Pan, Zerui Cheng, Pramod Viswanath","abs":"High-quality mathematical reasoning data are central to both training and evaluation, but such data are only useful when their answers and reasoning traces are reliable. Candidate solutions may be web-scraped, human-written, adapted from existing competition problems, or generated by LLMs; in all cases, a fluent but subtly wrong solution can silently contaminate downstream use. We present a high precision multi-agent debate pipeline for blind verification of competition-level mathematics, in which five heterogeneous agents independently analyze a candidate answer, exchange structured arguments for up to five rounds, and reach a verdict governed by an assessment-gating criterion that requires positive confirming evidence rather than mere non-refutation. On 195 hard-to-verify variants from 58 IMO/USAMO/Putnam-level problems, a single-judge baseline achieves 55.1\\% precision; our pipeline achieves **92.5\\%** precision---an 8.3$\\times$ false-positive reduction---with 59.8\\% problem-level accuracy. A 2$\\times$2 factorial ablation shows that, after accounting for repeated verification, most of the remaining false-positive reduction comes from two architectural mechanisms: **assessment gating** and **heterogeneous agent roles**. These results establish precision-first debate as a practical filtering primitive for mathematical reasoning data, with applications to benchmark curation, reward labeling, RLAIF, and self-improving synthetic-data pipelines.
","absKo":"고품질의 수학적 추론 데이터는 학습과 평가 모두에서 핵심적이지만, 그러한 데이터는 정답과 reasoning trace가 신뢰할 수 있을 때만 유용하다. 후보 해답은 웹 크롤링, 사람이 작성, 기존 competition problem에서 변형, 또는 LLM 생성일 수 있으며, 모든 경우에서 유창하지만 미묘하게 잘못된 해답은 downstream use를 조용히 오염시킬 수 있다. 우리는 competition-level mathematics에 대한 blind verification을 위한 높은 precision의 multi-agent debate pipeline을 제시한다. 이 pipeline에서는 서로 이질적인 다섯 agent가 후보 답안을 독립적으로 분석하고, 최대 다섯 round에 걸쳐 구조화된 argument를 교환하며, 단순한 반박 부재가 아니라 긍정적인 확인 증거를 요구하는 assessment-gating criterion에 의해 판정이 내려진다. 58개의 IMO/USAMO/Putnam 수준 문제에서 추출한 195개의 검증 난이도 변형에 대해, 단일 judge baseline은 55.1% precision을 달성하는 데 그쳤다. 반면 우리의 pipeline은 **92.5%** precision을 달성하여 false-positive를 8.3$\\times$ 줄였고, problem-level accuracy는 59.8%였다. 2$\\times$2 factorial ablation은 반복 검증을 고려한 뒤에도 남는 false-positive 감소의 대부분이 두 가지 architectural mechanism, 즉 **assessment gating**과 **heterogeneous agent roles**에서 비롯됨을 보여준다. 이러한 결과는 precision-first debate가 mathematical reasoning data를 위한 실용적인 filtering primitive임을 확립하며, benchmark curation, reward labeling, RLAIF, self-improving synthetic-data pipeline에 응용될 수 있다.","link":"https://openreview.net/forum?id=fMyVTW7Bof"},{"id":"svadBHt6YN","en":"Four Methods, One Problem: The No-Three-In-Line Problem","ko":"네 가지 방법, 하나의 문제: no-three-in-line 문제","authors":"Pranav Ramanathan, Thomas Prellberg, Prathamesh Dinesh Joshi, Raj Dandekar, Rajat Dandekar, Sreedath Panat","abs":"The No-Three-In-Line problem asks for the maximum number of points that can be placed on an $n \\times n$ grid with no three collinear, a famous problem in combinatorial geometry. We compare four approaches: (i) integer linear programming (ILP) using
Gurobi, (ii) transformer-based pattern learning via PatternBoost, (iii) reinforcement learning using proximal policy optimization (PPO), and (iv) a Scientific Machine Learning (SciML) method that recasts the problem as continuous energy minimisation
solved by gradient flow on Apple Metal. ILP achieves provably optimal solutions up to $19 \\times 19$ grids. PatternBoost matches optimal performance up to $14 \\times 14$ grids and finds 29 points on $15 \\times 15$ grids (optimal is 30). PPO achieves
perfect solutions on $10 \\times 10$ grids but fails at $11 \\times 11$ due to constraint violations. SciML finds optimal $2n$ configurations up to $n = 18$ in several cases on Apple M2 (Metal) hardware without symmetry pruning, but reliability is
non-monotonic: $n = 17$ achieves 0/10 in a 10-run sweep (success reproduced only for one seed), while $n = 18$ succeeds 9/10 runs. Continuous-relaxation methods extend the reach of learning-based solvers well beyond the discrete-search ceilings of
PatternBoost and PPO, suggesting a productive new direction for combinatorial geometry.
","absKo":"No-Three-In-Line 문제는 $n \\times n$ grid 위에 세 점이 일직선상에 놓이지 않도록 배치할 수 있는 최대 점의 수를 묻는, 조합 기하학의 유명한 문제이다. 우리는 네 가지 접근법을 비교한다: (i) Gurobi를 사용하는 integer linear programming(ILP), (ii) PatternBoost를 통한 transformer 기반 pattern learning, (iii) proximal policy optimization(PPO)을 사용하는 reinforcement learning, (iv) Apple Metal에서 gradient flow로 풀리는 continuous energy minimisation으로 문제를 재정식화하는 Scientific Machine Learning(SciML) 방법이다. ILP는 $19 \\times 19$ grid까지 provably optimal solution을 달성한다. PatternBoost는 $14 \\times 14$ grid까지 optimal performance를 맞추고, $15 \\times 15$ grid에서 29개의 점을 찾는다(최적은 30). PPO는 $10 \\times 10$ grid에서 완전한 해를 달성하지만 constraint violation 때문에 $11 \\times 11$에서는 실패한다. SciML은 Apple M2(Metal) 하드웨어에서 symmetry pruning 없이 여러 경우에 $n = 18$까지 optimal한 $2n$ configuration을 찾지만, 신뢰성은 단조롭지 않다: $n = 17$은 10회 실행한 sweep에서 0/10을 달성했으며(성공은 한 seed에서만 재현됨), 반면 $n = 18$은 10회 중 9회 성공한다. Continuous-relaxation 방법은 PatternBoost와 PPO의 discrete-search ceiling을 훨씬 넘어서는 범위로 learning-based solver의 도달 범위를 확장하며, 조합 기하학을 위한 생산적인 새로운 방향을 시사한다.","link":"https://openreview.net/forum?id=svadBHt6YN"},{"id":"7n2S7Tnh4J","en":"Learning from One Another: Toward Complementary Knowledge Transfer via Localized Preference Deltas","ko":"서로에게서 배우기: 지역화된 preference delta를 통한 보완적 지식 전달을 향하여","authors":"Chi-Ping Su, Jing-Hong Hu, Ching-Hsun Tseng, Shin-Jye Lee","abs":"Modern language models increasingly exhibit complementary local strengths, creating heterogeneous model ecosystems where useful capabilities are distributed across models rather than concentrated in a single dominant teacher. This challenges existing transfer pipelines, which typically assume that supervision should originate from a globally stronger model. We propose Delta Preference Transfer (DPT), a localized synthetic preference construction framework for preference-based transfer across language models. DPT constructs chosen/rejected preference pairs within the response space of a single generator by introducing controlled local failures into the rejected response, encouraging the target model to learn localized behavioral refinements rather than directly imitating a globally stronger teacher. This enables targeted preference transfer without requiring external judges, reward models, or globally ordered teacher--student assumptions during either data construction or training. Across diverse settings, DPT consistently improves mathematical reasoning performance and achieves competitive or superior results compared with existing preference-based transfer and knowledge distillation baselines. Our analyses further suggest that DPT provides a practical step toward complementary knowledge transfer in heterogeneous language model ecosystems.
","absKo":"현대의 language model은 점점 상보적인 local strength를 보이며, 유용한 능력이 하나의 지배적 teacher에 집중되기보다 여러 model에 분산된 heterogeneous model ecosystem을 형성하고 있다. 이는 supervision이 전역적으로 더 강한 model에서 시작되어야 한다고 대체로 가정하는 기존 transfer pipeline에 도전한다. 우리는 language model 간 preference-based transfer를 위한 localized synthetic preference construction framework인 Delta Preference Transfer (DPT)를 제안한다. DPT는 rejected response에 통제된 local failure를 주입하여 단일 generator의 response space 내에서 chosen/rejected preference pair를 구성하며, target model이 전역적으로 더 강한 teacher를 직접 모방하기보다 지역적 behavioral refinement를 학습하도록 유도한다. 이를 통해 data construction 또는 training 어느 단계에서도 외부 judge, reward model, 혹은 전역적으로 정렬된 teacher--student 가정을 요구하지 않는 targeted preference transfer가 가능해진다. 다양한 설정 전반에서 DPT는 수학적 추론 성능을 일관되게 향상시키며, 기존 preference-based transfer 및 knowledge distillation baseline과 비교해 경쟁력 있거나 더 우수한 결과를 달성한다. 우리의 분석은 또한 DPT가 이질적인 language model ecosystem에서 상보적 지식 전이를 향한 실용적인 한 걸음이 됨을 시사한다.","link":"https://openreview.net/forum?id=7n2S7Tnh4J"},{"id":"b1cuMvjwDo","en":"BARSA: An Adaptive Test-Time Scaling Strategy for Mathematical Reasoning under Global Compute Budgets","ko":"BARSA: 전역 compute 예산 하의 수학적 추론을 위한 적응형 test-time scaling 전략","authors":"Yufan Zhao, Yinsicheng Jiang, Cheng Deng, Yeqi Huang, Tairan Xu, Zhan Lu, Luo Mai, Wenda Li","abs":"This paper presents our submission to the AI Mathematical Olympiad - Progress Prize 3 (AIMO 3) competition. We propose **Budget-Aware Recursive Self-Aggregation (BARSA)**, an adaptive test-time scaling framework for mathematical reasoning under a global inference budget. BARSA extends Recursive Self-Aggregation by using answer-distribution statistics and runtime estimates to decide whether to accept the current answer or continue with another aggregation round. We evaluate BARSA on the AIMO 3 leaderboards and a curated benchmark of AI-hard problems. Our analysis shows that recursive aggregation is most effective when the correct answer appears as a minority candidate or when the answer distribution is unstable, but remains vulnerable to deceptive wrong majorities. BARSA improves the mean accuracy and reduces score variance when evaluated under a fixed time budget.
Across public leaderboard submissions, BARSA achieved a mean score of $40.38$ with standard deviation $0.744$, compared with $36.70 \\pm 1.567$ for Majority@8 with a dynamic scheduler and $37.91 \\pm 1.676$ for RSA with the same dynamic scheduler. These observational leaderboard results suggest that coupling recursive aggregation with budget-aware scheduling can improve average performance and may improve run-to-run stability.
","absKo":"이 논문은 AI Mathematical Olympiad - Progress Prize 3(AIMO 3) competition에 제출한 내용을 소개한다. 우리는 전역 inference budget 하에서 수학적 추론을 위한 adaptive test-time scaling framework인 **Budget-Aware Recursive Self-Aggregation (BARSA)**를 제안한다. BARSA는 answer-distribution statistics와 runtime estimate를 사용해 현재 answer를 수용할지, 아니면 추가 aggregation round를 계속할지 결정함으로써 Recursive Self-Aggregation을 확장한다. 우리는 AIMO 3 leaderboard와 AI-hard problem으로 구성된 curated benchmark에서 BARSA를 평가한다. 분석 결과, recursive aggregation은 올바른 answer가 minority candidate로 나타나거나 answer distribution이 불안정할 때 가장 효과적이지만, 기만적인 wrong majority에는 여전히 취약함을 보여준다. BARSA는 고정된 time budget 하에서 평가할 때 mean accuracy를 개선하고 score variance를 줄인다.\n공개 leaderboard submission 전반에서 BARSA는 mean score $40.38$, standard deviation $0.744$를 달성했으며, dynamic scheduler를 사용한 Majority@8의 $36.70 \\pm 1.567$ 및 같은 dynamic scheduler를 사용한 RSA의 $37.91 \\pm 1.676$와 비교된다. 이러한 관찰적 leaderboard 결과는 recursive aggregation을 budget-aware scheduling과 결합하면 평균 성능을 높일 수 있고, 실행 간 안정성도 개선할 가능성이 있음을 시사한다.","link":"https://openreview.net/forum?id=b1cuMvjwDo"},{"id":"Cj42HfWCyx","en":"Reinforcement Learning from Rich Feedback with Distributional DAgger","ko":"분포적 DAgger를 활용한 풍부한 피드백 기반 강화학습","authors":"Rishabh Agrawal, Jacob Fein-Ashley, Paria Rashidinejad","abs":"Reasoning models have advanced rapidly, but the dominant reinforcement learning from verifiable rewards (RLVR) recipe remains surprisingly narrow: sample many responses and reward each with a single bit indicating whether the final answer is correct. Yet many settings provide $\\textit{rich feedback}$, including execution traces, tool outputs, expert corrections, and model self-evaluations. We study how to use such feedback through a distributional variant of the classic imitation learning algorithm DAgger, where the learner has local access to an expert distribution on states visited by the current policy. This yields a simple forward cross-entropy objective that admits a blackbox expert and whose sequence-level gradient {conduct rich credit assignment by propagating} future expert-student disagreement back to earlier decisions. We show that prior RL with self-distillation objectives based on reverse KL or Jensen-Shannon fail to guarantee monotonic policy improvement: even when the expert has higher reward, their updates may increase probability on worse actions. In contrast, we show that forward cross-entropy admits monotonic policy improvement and enjoys guarantees on regret. We further show that our objective optimizes a teacher-weighted maximum-likelihood RL lower bound, leading to improved Pass@N. Empirically, our approach, DistIL, improves over RLVR and RL with self-distillation baselines across a variety of domains: scientific reasoning, mathematical reasoning, and coding.
","absKo":"Reasoning model은 빠르게 발전했지만, 지배적인 reinforcement learning from verifiable rewards (RLVR) 절차는 놀랄 만큼 협소하다. 즉, 많은 response를 샘플링한 뒤 최종 답이 정답인지 여부를 나타내는 단일 bit로 각 응답에 보상하는 방식이다. 그러나 많은 환경은 execution trace, tool output, expert correction, model self-evaluation을 포함한 $\\textit{rich feedback}$를 제공한다. 우리는 현재 policy가 방문한 state에 대해 learner가 expert distribution에 로컬하게 접근할 수 있는 classic imitation learning algorithm DAgger의 distributional variant를 통해 이러한 feedback을 사용하는 방법을 연구한다. 이는 blackbox expert를 허용하고, sequence-level gradient가 {rich credit assignment를 수행하여} 미래의 expert-student disagreement를 더 이른 decision으로 전파하는, 단순한 forward cross-entropy objective를 낳는다. 우리는 reverse KL 또는 Jensen-Shannon에 기반한 self-distillation objective를 사용하는 기존 RL이 monotonic policy improvement를 보장하지 못함을 보인다. 즉, expert의 reward가 더 높더라도 업데이트가 더 나쁜 action에 대한 probability를 증가시킬 수 있다. 반면 forward cross-entropy는 monotonic policy improvement를 허용하고 regret에 대한 보장을 제공함을 보인다. 또한 우리의 objective가 teacher-weighted maximum-likelihood RL lower bound를 최적화함을 보이며, 그 결과 Pass@N이 향상된다. 실험적으로 우리의 접근법 DistIL은 scientific reasoning, mathematical reasoning, coding 등 다양한 도메인에서 RLVR 및 RL with self-distillation baseline을 능가한다.","link":"https://openreview.net/forum?id=Cj42HfWCyx"},{"id":"6NkQDugCm7","en":"Sheaf-Guarded Updates: Streaming Structural Verification for Evolving Agent State","ko":"Sheaf-Guarded Updates: 진화하는 agent 상태를 위한 스트리밍 구조 검증","authors":"Jason Leonard Volk","abs":"Self-evolving scientific agents need update-time verification: does the agent's internal state remain coherent after a local self-modification? We model agent state as a growing graph equipped with a cellular sheaf and use coboundary checks, H1H^1
H1 obstruction, Dirichlet energy, and Laplacian spectra to detect represented structural contradictions before commit. Under explicit policy and regularity assumptions, we prove conditional Lyapunov stability results for density and spectral-gap dynamics. A cellular decomposition localizes cohomological recomputation to O(1)O(1)
O(1) amortized per-edit cost under bounded-cell and cached-assembly assumptions, enabling maintenance at V=5V{=}5
V=5M vertices with 35 μ35\\;\\mu
35μs median per-edit latency and zero assembled-cohomology drift on a single commodity machine. On ProofDAG, a controlled proof-dependency coherence test, per-edge coboundary testing achieves exact separation (F1=1.000\\textrm{F1} = 1.000
F1=1.000) under exact representation and F1≥0.94\\textrm{F1} \\geq 0.94
F1≥0.94 under 14%14\\%
14% relative noise. A 990-lemma study with live LLM proposals across 10 mathematical domains shows that coarse natural-language loading causes structural aliasing: valid and contradictory coboundary distributions overlap, identifying loader fidelity as the binding constraint for autonomous commit decisions. A Lean/mathlib benchmark confirms the exact-loader path on 507 declarations and 954 kernel-certified dependency edges across 6 namespace groups, with zero clean residuals (max 2.61×10−162.61 \\times 10^{-16}
2.61×10−16) and all 62 controlled corruptions detected. We present an implemented demonstration of bounded-cell sheaf-cohomological verification under streaming graph mutations at multi-million-vertex scale.
","absKo":"자가진화하는 scientific agents는 update-time verification이 필요하다: agent의 internal state가 local self-modification 이후에도 일관적으로 유지되는가? 우리는 agent state를 cellular sheaf가 장착된 성장하는 graph로 모델링하고, coboundary check, H1H^1\nH1 obstruction, Dirichlet energy, 그리고 Laplacian spectra를 사용해 commit 전에 표현된 structural contradiction을 탐지한다. 명시적인 policy와 regularity assumption 하에서, 우리는 density 및 spectral-gap dynamics에 대한 conditional Lyapunov stability 결과를 증명한다. cellular decomposition은 cohomological recomputation을 bounded-cell 및 cached-assembly assumption 하에서 edit당 amortized O(1)O(1)\nO(1) 비용으로 국소화하여, 단일 commodity machine에서 V=5V{=}5\nV=5M vertices 규모의 maintenance를 가능하게 하며, per-edit latency 중앙값 35 μ35\\;\\mu\n35μs와 assembled-cohomology drift 0을 달성한다. ProofDAG라는 controlled proof-dependency coherence test에서, per-edge coboundary testing은 exact representation 하에서 정확한 분리(F1=1.000\\textrm{F1} = 1.000\nF1=1.000)를 달성하고, 14%14\\%\n14% 상대 노이즈 하에서도 F1≥0.94\\textrm{F1} \\geq 0.94\nF1≥0.94를 보인다. 10개 수학 도메인 전반에 걸쳐 live LLM proposal을 사용한 990-lemma 연구는 coarse natural-language loading이 structural aliasing을 유발함을 보여준다: valid와 contradictory coboundary distribution이 겹치며, loader fidelity가 autonomous commit decision의 핵심 제약임을 드러낸다. Lean/mathlib benchmark는 6개 namespace group에 걸친 507개 declaration과 954개의 kernel-certified dependency edge에서 exact-loader 경로를 확인했으며, residual clean은 0개(max 2.61×10−162.61 \\times 10^{-16}\n2.61×10−16)이고 62개의 controlled corruption을 모두 탐지했다. 우리는 multi-million-vertex 규모의 streaming graph mutation 하에서 bounded-cell sheaf-cohomological verification을 구현한 데모를 제시한다.","link":"https://openreview.net/forum?id=6NkQDugCm7"},{"id":"UK6iuz9NW7","en":"ASyMOB: Algebraic Symbolic Mathematical Operations Benchmark","ko":"ASyMOB: 대수적 기호 수학 연산 benchmark","authors":"Michael Shalyt, Rotem Elimelech, Ido Kaminer","abs":"Large language models (LLMs) are increasingly applied to symbolic mathematics, yet existing evaluations often conflate pattern memorization with genuine reasoning. To address this gap, we present **ASyMOB**, a high-resolution dataset of **35,368** validated symbolic math problems spanning integration, limits, differential equations, series, and hypergeometrics. Unlike prior benchmarks, **ASyMOB** systematically perturbs each seed problem using symbolic, numeric, and equivalence-preserving transformations, enabling a fine-grained assessment of generalization and robustness. Our evaluation reveals three key findings: (1) most models’ performance collapses under minor perturbations, while top systems exhibit an apparent *regime shift* in robustness; (2) integrated code tools stabilize performance, particularly for weaker models; and (3) we identify examples where Computer Algebra Systems (CAS) fail while LLMs succeed, as well as problems solved only via a hybrid LLM-CAS approach, highlighting a promising integration frontier. **ASyMOB** serves as a principled diagnostic tool for measuring and accelerating progress toward building verifiable, trustworthy AI for scientific discovery.
","absKo":"대규모 언어 모델(LLM)은 점점 symbolic mathematics에 적용되고 있지만, 기존 평가는 종종 pattern memorization과 진정한 reasoning을 혼동한다. 이 간극을 메우기 위해, 우리는 integration, limits, differential equations, series, hypergeometrics를 포괄하는 **35,368**개의 검증된 symbolic math problem으로 이루어진 고해상도 데이터셋 **ASyMOB**를 제시한다. 기존 benchmark와 달리 **ASyMOB**는 각 seed problem에 symbolic, numeric, 그리고 equivalence-preserving transformation을 체계적으로 적용하여 generalization과 robustness를 세밀하게 평가할 수 있게 한다. 우리의 평가는 세 가지 핵심 결과를 보여준다: (1) 대부분의 모델은 사소한 perturbation만으로도 성능이 붕괴하지만, 상위 시스템은 robustness에서 뚜렷한 *regime shift*를 보인다; (2) 통합된 code tool은 특히 약한 모델에서 성능을 안정화한다; (3) Computer Algebra System (CAS)이 실패하는 반면 LLM은 성공하는 사례와, hybrid LLM-CAS 접근으로만 풀리는 문제를 식별하여, 유망한 integration frontier를 부각한다. **ASyMOB**는 검증 가능하고 신뢰할 수 있는 scientific discovery용 AI를 구축하는 진전을 측정하고 가속하기 위한 원칙적인 진단 도구로 기능한다.","link":"https://openreview.net/forum?id=UK6iuz9NW7"},{"id":"oEfedgUChS","en":"Weak Critics Make Strong Learners: On-Policy Critique Distillation for Scalable Oversight","ko":"약한 비평가가 강한 학습자를 만든다: 확장 가능한 감독을 위한 on-policy critique distillation","authors":"Can Jin, Tristan J. Li, Rui Wu, Eddy Z. Zhang, Dimitris N. Metaxas","abs":"As large language models become stronger, weak supervisors may fail to provide reliable labels, preferences, or final judgments for complex outputs, limiting both weak-to-strong generalization and scalable oversight. We study a more tractable form of weak supervision: using a weak model as a critic rather than as a labeler or judge. Instead of solving the task or selecting the correct answer, the weak critic only needs to provide a non-misleading revision direction that helps the strong model better use its own knowledge. We call this setting weak-critic strong oversight. We first show that weak critiques can improve frozen strong models at inference time, and that critique quality is key to this improvement. We then propose progressive on-policy critique distillation (OPCD), which filters high-quality critiques and distills critic-guided behavior into the strong model through adaptive self-teacher signals. Experiments on reasoning and alignment benchmarks show that our method improves strong models over training epochs, suggesting an effective path for scalable oversight with weak supervision.
","absKo":"대규모 언어 모델이 더 강력해질수록, 약한 감독자(weak supervisor)는 복잡한 출력에 대해 신뢰할 수 있는 레이블, 선호도, 최종 판단을 제공하지 못할 수 있으며, 이는 weak-to-strong generalization과 scalable oversight 모두를 제한한다. 우리는 약한 모델을 레이블러나 심판이 아니라 비평가(critic)로 사용하는, 더 다루기 쉬운 형태의 weak supervision을 연구한다. 이 약한 비평가는 과제를 풀거나 정답을 고르는 대신, 강한 모델이 자신의 지식을 더 잘 활용하도록 돕는, 오해를 일으키지 않는 수정 방향만을 제공하면 된다. 우리는 이 설정을 weak-critic strong oversight라 부른다. 먼저, 약한 비평이 추론 시점에서 고정된 강한 모델의 성능을 개선할 수 있으며, 이 개선에서 비평의 품질이 핵심임을 보인다. 이어서 우리는 progressive on-policy critique distillation(OPCD)을 제안하는데, 이는 고품질 비평을 필터링하고 적응적 self-teacher 신호를 통해 비평가 유도 행동을 강한 모델에 증류한다. reasoning 및 alignment benchmark에서의 실험은 우리 방법이 학습 epoch가 진행될수록 강한 모델을 개선함을 보여주며, 약한 감독을 이용한 scalable oversight의 효과적인 경로를 시사한다.","link":"https://openreview.net/forum?id=oEfedgUChS"},{"id":"D6PzVeGKhe","en":"PhysMent: An Interactive Approach For LLM Reasoning In Physics Problems","ko":"PhysMent: 물리 문제에서 LLM 추론을 위한 인터랙티브 접근","authors":"Joseph Chan, Utkarsh Jha, Xiyin Yang, Abhinav Jarajapu, Anik Sahai, Eddie Hu, Robin Jeshua Deepak, Stefano Saravalle, Aditya Shah","abs":"Large language models (LLMs) perform strongly on static science benchmarks, yet their ability to reason about the physical world through _active experimentation_ remains poorly understood. We introduce **PhysMent**, a benchmark that evaluates LLM physical reasoning via iterative, tool-mediated interaction with a MuJoCo physics simulator. Unlike static benchmarks that supply all quantities upfront, PhysMent requires models to _discover_ information by applying forces, querying object states, advancing time, and modifying scene geometry before answering. The benchmark comprises 105 scenes of classical mechanics, organized across four difficulty regimes (Easy/Hard $\\times$ Single/Multi), three scene modalities (standard, object creation, hidden objects), and a scene-manipulation category, evaluated with a six-dimensional scoring framework. Results show that current models perform reasonably well on qualitative single-concept tasks (up to 80\\% accuracy) but degrade substantially on quantitative tasks that demand precise, multi-step experimental procedures: most models fall below 30\\% on the hardest single-concept category, where the bottleneck is procedural (adaptive multi-step tool use) rather than conceptual load. Across the seven models, accuracy ranges from 25\\% to 67\\%, with failures due to premature answer submission, inefficient exploration, and inconsistent grounding in simulator feedback rather than conceptual gaps.
","absKo":"Large language model(LLM)은 정적인 science benchmark에서는 강한 성능을 보이지만, _active experimentation_을 통해 물리적 세계를 추론하는 능력은 여전히 잘 이해되지 않았다. 우리는 MuJoCo physics simulator와의 반복적 tool-mediated interaction을 통해 LLM의 물리 추론을 평가하는 benchmark인 **PhysMent**를 소개한다. 모든 quantity를 처음부터 제공하는 static benchmark와 달리, PhysMent은 model이 힘을 가하고, object state를 질의하고, 시간을 진행시키고, scene geometry를 수정한 뒤에 답하도록 하여 정보를 _발견_해야 한다. 이 benchmark는 고전역학의 105개 scene으로 구성되며, 네 가지 difficulty regime(Easy/Hard $\\times$ Single/Multi), 세 가지 scene modality(standard, object creation, hidden objects), 그리고 scene-manipulation category로 조직되어 있고, 6차원 scoring framework로 평가된다. 결과는 현재 model이 qualitative single-concept task에서는 꽤 잘 수행한다는 것(최대 80\\% accuracy)을 보여주지만, 정밀하고 multi-step experimental procedure를 요구하는 quantitative task에서는 크게 저하된다: 대부분의 model은 가장 어려운 single-concept category에서 30\\% 아래로 떨어지며, 여기서 병목은 개념적 부담이 아니라 procedural 부담(adaptive multi-step tool use)이다. 7개 model 전반에서 정확도는 25\\%에서 67\\% 사이이며, 실패 원인은 개념의 부족보다는 성급한 답안 제출, 비효율적 탐색, 그리고 simulator feedback에 대한 일관되지 않은 grounding에 있다.","link":"https://openreview.net/forum?id=D6PzVeGKhe"},{"id":"0mJEOFJX16","en":"Nonlinear Functions of Gaussian Random Vectors Are Subgaussian: An AI-Assisted Note","ko":"Gaussian random vector의 비선형 함수는 subgaussian이다: AI 보조 노트","authors":"Guangyi Zou, Roman Vershynin","abs":"This short note presents a dimension-independent subgaussian concentration bound for Gaussian vectors under coordinate-wise nonlinear mappings. Discovered by Gemini 3.5 Flash, this result applies to any bounded function under a well-conditioned covariance. We apply this tool to resolve an open question posed by [Redacted] on sign-quantized linear maps $Y = \\text{sgn}(Wx)$. By partitioning the square matrix into rectangular blocks, we bypass the typical singularity issues of square random matrices to establish the desired concentration.
","absKo":"이 짧은 노트는 coordinate-wise nonlinear mapping 아래 Gaussian vector에 대한 dimension-independent subgaussian concentration bound를 제시한다. Gemini 3.5 Flash가 발견한 이 결과는 적절히 조건이 맞는 covariance 하에서 어떤 bounded function에도 적용된다. 우리는 이 도구를 sign-quantized linear map $Y = \\text{sgn}(Wx)$에 대해 [Redacted]가 제기한 열린 문제를 해결하는 데 적용한다. 정사각 행렬을 직사각형 블록으로 분할함으로써, 정사각 random matrix의 전형적인 singularity 문제를 우회하여 원하는 concentration을 확립한다.","link":"https://openreview.net/forum?id=0mJEOFJX16"},{"id":"zQU373Qjq4","en":"PRISM: Structured Decomposition for Multimodal Physics and Mathematical Reasoning","ko":"PRISM: 멀티모달 물리 및 수학 추론을 위한 구조적 분해","authors":"Purna Chandra Sekhar Vakudavathu","abs":"Multimodal STEM reasoning remains challenging because visual grounding and computation are often entangled in a single inference pass, leading to deterministic failures. We study whether explicitly decomposing these steps at test time can improve performance on multimodal physics and mathematics problems. To this end, we propose PRISM, a multi-agent framework that separates visual grounding, textual enrichment, and program-aided reasoning. Our results on the SeePhys dataset indicate that structured decomposition is most beneficial when visual dependency and reasoning complexity are high. These findings suggest that separating perception from reasoning can be a practical alternative to inference-time scaling for multimodal STEM tasks. Furthermore, we evaluate its generalization on the MATH-Vision benchmark for mathematical reasoning, demonstrating the robustness of our method.
","absKo":"Multimodal STEM reasoning은 visual grounding과 computation이 종종 하나의 inference pass 안에서 얽혀 있어 deterministic failure로 이어지기 때문에 여전히 어렵다. 우리는 test time에 이러한 단계를 명시적으로 분해하는 것이 multimodal physics와 mathematics problem에서 성능을 향상시킬 수 있는지 연구한다. 이를 위해 visual grounding, textual enrichment, program-aided reasoning을 분리하는 multi-agent framework인 PRISM을 제안한다. SeePhys dataset에서의 결과는 visual dependency와 reasoning complexity가 높을 때 structured decomposition이 가장 유익함을 보여준다. 이러한 결과는 perception과 reasoning을 분리하는 것이 multimodal STEM task에서 inference-time scaling에 대한 실용적 대안이 될 수 있음을 시사한다. 또한 우리는 mathematical reasoning을 위한 MATH-Vision benchmark에서의 일반화 성능을 평가하여, 제안한 method의 robustness를 입증한다.","link":"https://openreview.net/forum?id=zQU373Qjq4"},{"id":"SmSv0S3bUW","en":"Prime Fourier Embeddings: A Principled Basis for Modular Arithmetic","ko":"Prime Fourier Embeddings: 모듈러 산술을 위한 원리적 basis","authors":"Hyunsang Hwang, SuHyun Bae, Donghun Lee","abs":"Numbers have algebraic structure that standard neural embeddings often fail to expose.
We introduce Prime Fourier Embeddings(PFE), which encode integers as prime-indexed $(\\cos, \\sin)$ pairs derived from the harmonic analysis of $\\mathbb{Q}$, providing a pre-structured representation in which modular arithmetic reduces to selecting the relevant prime channel rather than discovering algebraic structure from scratch.
We prove that any linear map equivariant with respect to the product group action on PFE must be block-diagonal with one independent block per prime — a consequence of Schur's lemma applied to the resulting character decomposition.
For square-free composite moduli, the Chinese Remainder Theorem predicts which prime channels are task-relevant.
Both predictions are confirmed empirically across a systematic sweep of prime counts, composite moduli, and input ranges: ablation studies confirm the block-diagonal prediction, task-relevant channels cause large accuracy drops when ablated ($0.60$--$0.92$ diagonal drop) while task-irrelevant channels are effectively inert (off-diagonal drops at or below the statistical noise floor in the majority of configurations).
","absKo":"숫자는 표준적인 neural embedding이 종종 드러내지 못하는 대수적 구조를 지닌다. \n우리는 Prime Fourier Embeddings(PFE)를 제안한다. 이는 $\\mathbb{Q}$의 harmonic analysis에서 유도된 prime-indexed $(\\cos, \\sin)$ 쌍으로 정수를 인코딩하여, modular arithmetic을 처음부터 대수적 구조를 발견하는 대신 관련된 prime channel을 선택하는 문제로 환원하는 사전 구조화된 표현을 제공한다. \n우리는 PFE에 대한 product group action에 대해 equivariant인 임의의 linear map은 prime마다 하나씩 독립적인 block을 갖는 block-diagonal이어야 함을 증명한다. 이는 생성된 character decomposition에 Schur's lemma를 적용한 결과이다.\nsquare-free composite modulus의 경우, Chinese Remainder Theorem이 어떤 prime channel이 task-relevant인지 예측한다.\n이 두 예측은 prime 수, composite modulus, 입력 범위에 대한 체계적인 sweep 전반에서 경험적으로 확인된다. ablation study는 block-diagonal 예측을 확인하며, task-relevant channel을 ablate하면 정확도가 크게 감소하는 반면($0.60$--$0.92$ diagonal drop), task-irrelevant channel은 사실상 영향을 주지 않는다(대부분의 설정에서 off-diagonal drop이 통계적 noise floor 이하).","link":"https://openreview.net/forum?id=SmSv0S3bUW"},{"id":"FOO1ZDISwT","en":"Divide and Abstract: Autoformalization via Decomposition and Abstraction Learning","ko":"분해와 추상화: decomposition과 abstraction learning을 통한 autoformalization","authors":"Marcus J. Min, Yeqi Gao, Wilson Sy, Zhaoyu Li, Xujie Si, Osbert Bastani","abs":"Existing approaches to autoformalization---the task of translating informal mathematics into formal machine-verifiable languages---rely heavily on pre-defined libraries and expect LLMs to directly generate complete formalizations. These approaches face three fundamental limitations: they are bottlenecked by existing abstractions, they have difficulty handling the complexity of realistic statements, and they do not transfer well across formal languages. We propose $\\textit{Divide and Abstract (DNA)}$, a zero-training framework that addresses these challenges through a two-phase approach. First, $\\textit{DNA}$ extracts common mathematical concepts from the entire corpus and formalizes them as reusable abstractions, extending the target language's capability. Second, $\\textit{DNA}$ hierarchically decomposes new statements into structured informal clauses, translates each clause using the learned abstractions, and composes them into complete formalizations. Our evaluation on the LeanEuclidPlus and ProofNet-Hard benchmarks demonstrates consistent improvements across multiple model families, achieving up to $\\textbf{8.6}\\times$ performance gains over baselines. Notably, $\\textit{DNA}$ enables smaller models to match baselines using much larger models, and shows particularly strong performance on complex mathematical statements requiring nested reasoning. Furthermore, our framework requires no training on target languages, making it effective for low-resource domain-specific languages. Our code is available at https://github.com/marcusm117/DNA.
","absKo":"기존의 autoformalization 접근법---비형식 수학을 형식적이고 machine-verifiable한 언어로 번역하는 과제---은 사전 정의된 library에 크게 의존하며, LLM이 완전한 formalization을 직접 생성하기를 기대한다. 이러한 접근법은 세 가지 근본적인 한계에 부딪힌다. 기존 abstraction에 의해 병목이 생기고, 현실적인 statement의 복잡성을 다루기 어렵고, formal language 간 transfer가 잘 되지 않는다. 우리는 이러한 문제를 해결하기 위해 두 단계 접근법을 사용하는 zero-training framework인 $\\textit{Divide and Abstract (DNA)}$를 제안한다. 먼저, $\\textit{DNA}$는 전체 corpus에서 공통적인 수학적 개념을 추출하여 재사용 가능한 abstraction으로 formalize함으로써 target language의 표현 능력을 확장한다. 다음으로, $\\textit{DNA}$는 새로운 statement를 구조화된 informal clause로 계층적으로 분해하고, 학습된 abstraction을 사용하여 각 clause를 번역한 뒤, 이를 조합하여 완전한 formalization을 구성한다. LeanEuclidPlus와 ProofNet-Hard benchmark에서의 평가는 여러 model family 전반에서 일관된 개선을 보였으며, baseline 대비 최대 $\\textbf{8.6}\\times$의 성능 향상을 달성했다. 특히 $\\textit{DNA}$는 더 작은 model이 훨씬 큰 model을 사용하는 baseline과 동등한 수준에 도달할 수 있게 하며, 중첩된 reasoning이 필요한 복잡한 수학적 statement에서 특히 강한 성능을 보인다. 더 나아가, 우리 framework는 target language에 대한 training을 전혀 요구하지 않으므로, 저자원 domain-specific language에도 효과적이다. 코드는 https://github.com/marcusm117/DNA 에서 제공된다.","link":"https://openreview.net/forum?id=FOO1ZDISwT"},{"id":"qIOCYF9eVB","en":"BenchEvolver: Frontier Task Synthesis Via Solution-Centric Evolution","ko":"BenchEvolver: Solution-centric evolution을 통한 프런티어 태스크 합성","authors":"Yangzhen Wu, Aaron J. Li, Wenjie Ma, Ziheng Zhou, Li Cao, Mert Cemri, Shu Liu, Yuran Xiu, Chenxiao Yan, Haikun Zhao, Bin Yu, Ion Stoica, Dawn Song","abs":"The rapid progress of frontier large language models has led to widespread benchmark saturation, limiting the ability of existing datasets to differentiate model capabilities or provide useful training signal. For instance, on LiveCodeBench, frontier models achieve over (99%) Pass@1 on easy splits and exceed (90%) Pass@1 on average across difficulty levels. Constructing new, sufficiently challenging datasets typically requires substantial human effort, creating a bottleneck for continued progress. We study a solution-centric evolutionary approach that automatically transforms existing programming problems into substantially harder variants. Rather than generating problems from scratch, the approach evolves reference solutions through structured transformations and derives corresponding problem statements and tests from the evolved solutions. This design grounds generation in executable semantics, enabling scalable construction of high-quality, diverse, and difficult tasks with verifiable correctness. Applied to LiveCodeBench and SciCode, it produces evolved tasks that are substantially more difficult while preserving validity, reference correctness, and diversity. Importantly, these tasks remain challenging even for the model that generates them, creating the prerequisite for self-improvement rather than merely expanding an evaluation set. We further show that RL on evolved tasks improves held-out coding performance: for \\texttt{gpt-oss-20b}, seed+evolved training achieves (+8.7) and (+8.3) Pass@1 gains on LCB v6 Hard and LCB-Pro Easy, exceeding seed-only gains by (70.7%) and (34.8%), respectively. This closes the loop from self-generated challenges to capability improvement, demonstrating that saturated benchmarks can be converted into both stronger evaluations and reusable training signal.
","absKo":"frontier large language model의 급속한 발전은 광범위한 benchmark saturation을 초래하여, 기존 dataset이 model capability를 구분하거나 유용한 training signal을 제공하는 능력을 제한하고 있다. 예를 들어 LiveCodeBench에서 frontier model은 쉬운 split에서 Pass@1이 99%를 넘고, 난이도 전반 평균에서도 90%를 초과한다. 새롭고 충분히 도전적인 dataset을 구축하려면 보통 상당한 인간의 노력이 필요하며, 이는 지속적인 발전의 병목이 된다. 우리는 기존 programming problem을 자동으로 훨씬 더 어려운 variant로 변환하는 solution-centric evolutionary approach를 연구한다. 이 접근은 문제를 처음부터 생성하는 대신, structured transformation을 통해 reference solution을 진화시키고, 진화된 solution으로부터 대응하는 problem statement와 test를 유도한다. 이러한 설계는 생성을 executable semantics에 기반하게 하여, 검증 가능한 정답성과 함께 고품질·다양성·난이도를 갖춘 task를 확장 가능하게 만든다. LiveCodeBench와 SciCode에 적용했을 때, 이 방법은 validity, reference correctness, diversity를 유지하면서도 훨씬 더 어려운 evolved task를 생성한다. 중요한 점은, 이러한 task가 이를 생성한 model에게도 여전히 어렵다는 것이며, 이는 단순히 evaluation set을 확장하는 것이 아니라 self-improvement의 전제 조건을 만든다. 우리는 또한 evolved task에 대한 RL이 held-out coding performance를 향상시킨다는 점을 보인다: \\texttt{gpt-oss-20b}의 경우, seed+evolved training은 LCB v6 Hard와 LCB-Pro Easy에서 각각 (+8.7), (+8.3) Pass@1 향상을 달성하며, seed-only 대비 각각 (70.7%)와 (34.8%) 더 크다. 이는 self-generated challenge에서 capability improvement로 이어지는 닫힌 고리를 완성하며, saturation된 benchmark가 더 강한 evaluation이자 재사용 가능한 training signal로 전환될 수 있음을 보여준다.","link":"https://openreview.net/forum?id=qIOCYF9eVB"},{"id":"6pcrtBtYIi","en":"Recursive Epistemic Engines for Verifiable Open-Ended Scientific Agents","ko":"검증 가능한 개방형 과학 에이전트를 위한 재귀적 epistemic 엔진","authors":"David Scott Lewis, Enrique Zueco, Haley Yi","abs":"Current language-model research agents can generate ideas, write code, run experiments, and draft reports, but their unit of progress is still too often a fluent research narrative rather than a verified scientific object. We formalize this gap as the *Novelty Horizon*: the boundary beyond which an autonomous system cannot jointly generate, execute, verify, and reuse non-derivative hypotheses. We propose *Recursive Epistemic Engines* (REEs), a template-free architecture that couples large-language-model proposal priors to typed artifact languages, quality-diversity archives, theorem provers, runtime/statistical checkers, and guarded self-modification. The central object is a proof-carrying, experiment-carrying claim package whose value is measured by verified compression gain, expected information gain, transfer, and lineage-auditable reuse. We instantiate the framework with three mechanisms: a verification-gated quality-diversity prover loop; a categorical abstraction layer for compositional scientific objects; and a guarded self-evolution loop for improving verifiers, descriptors, and campaign policies. Three reproducible synthetic experiments isolate the architecture's core claims. Verification-gated QD expands diverse admissible archives while avoiding off-spec artifacts; proof checking without semantic-alignment gates admits many vacuous or misformalized statements; and guarded self-modification preserves heldout utility and verifier strength under Goodhart pressure better than visible-score adoption. The result is a concrete research program for scientific agents that evolve not by producing more plausible papers, but by recursively expanding the space of machine-checkable hypotheses, experiments, and abstractions.
","absKo":"현재의 language-model research agent는 아이디어를 생성하고, 코드를 작성하고, 실험을 실행하고, 보고서를 초안할 수 있지만, 그 진행 단위는 여전히 검증된 scientific object라기보다 유창한 research narrative인 경우가 너무 많다. 우리는 이 간극을 *Novelty Horizon*으로 formalize한다. 즉, 자율 system이 비파생 가설을 함께 생성하고, 실행하고, 검증하고, 재사용할 수 없는 경계이다. 우리는 *Recursive Epistemic Engines* (REEs)를 제안한다. 이는 template-free architecture로서, large-language-model proposal prior를 typed artifact language, quality-diversity archive, theorem prover, runtime/statistical checker, 그리고 guarded self-modification과 결합한다. 중심 객체는 proof-carrying, experiment-carrying claim package이며, 그 가치는 verified compression gain, expected information gain, transfer, 그리고 lineage-auditable reuse로 측정된다. 우리는 이 framework를 세 가지 메커니즘으로 구현한다. verification-gated quality-diversity prover loop, compositional scientific object를 위한 categorical abstraction layer, 그리고 verifier, descriptor, campaign policy를 개선하기 위한 guarded self-evolution loop이다. 세 가지 재현 가능한 synthetic experiment는 architecture의 핵심 주장을 분리해 보여준다. verification-gated QD는 스펙에 맞는 artifact를 피하면서도 다양한 admissible archive를 확장하고, semantic-alignment gate 없이 proof checking을 하면 많은 vacuous 또는 misformalized statement가 허용되며, guarded self-modification은 visible-score adoption보다 Goodhart pressure 하에서 heldout utility와 verifier strength를 더 잘 보존한다. 그 결과는 더 그럴듯한 논문을 더 많이 생산함으로 진화하는 것이 아니라, machine-checkable hypothesis, experiment, abstraction의 공간을 재귀적으로 확장함으로써 진화하는 scientific agent를 위한 구체적 research program이다.","link":"https://openreview.net/forum?id=6pcrtBtYIi"},{"id":"LW3lsb9jA6","en":"Peano Player: Interactive Theorem Proving as a Constrained MDP","ko":"Peano Player: 제약된 MDP로서의 대화형 정리 증명","authors":"Matthew Retchin, Kianté Brantley, Nada Amin","abs":"Reinforcement learning with verifiable rewards is frequently used for neural theorem proving and typically trains on a single binary signal indicating whether a complete generated proof verifies. However, proof assistants are interactive systems: after each tactic, they return an updated proof state and report whether the tactic failed. Prior methods that use tactic-failure signals treat failure as a minor penalty and allow generation to continue after a tactic fails. We introduce Peano Player, a tactic-level theorem prover formulated as a constrained Markov decision process, where the agent observes the verifier-produced proof state, receives reward for closing proofs, and incurs a terminal cost of equal magnitude for failing a tactic. We evaluate in a controlled equational-theory environment over the Peano numbers that generates unlimited provable theorems at controlled difficulty. An ablation over proof-state observation and tactic-failure cost shows that each improves solve rate independently, and their combination more than quadruples overall solve rate relative to the strongest baseline, with a tenfold difference at the greatest difficulty level. These results suggest that theorem-proving agents would benefit from learning from errors during interaction---not only from whether a completed proof verifies---because any tactic-level proof assistant exposes the same per-step signals.
","absKo":"verifiable rewards를 이용한 reinforcement learning은 neural theorem proving에 자주 사용되며, 보통 완전한 generated proof가 검증되는지 여부를 나타내는 단일 binary signal로 학습한다. 그러나 proof assistant는 interactive system이다. 각 tactic 이후에는 갱신된 proof state를 반환하고 tactic이 실패했는지도 보고한다. tactic-failure signal을 사용하는 기존 방법들은 실패를 작은 penalty로 취급하며, tactic이 실패한 뒤에도 생성을 계속 허용한다. 우리는 Peano Player를 소개한다. 이는 constrained Markov decision process로 정식화된 tactic-level theorem prover로, agent는 verifier가 생성한 proof state를 관찰하고, 증명을 닫으면 reward를 받으며, tactic 실패 시 동일한 크기의 terminal cost를 부과받는다. 우리는 controlled difficulty에서 무제한의 provable theorem을 생성하는 Peano number에 대한 equational-theory 환경에서 이를 평가한다. proof-state observation과 tactic-failure cost에 대한 ablation 결과, 각각이 solve rate를 독립적으로 향상시키며, 둘을 결합하면 가장 강력한 baseline 대비 전체 solve rate가 4배 이상 증가하고, 가장 높은 난이도에서는 10배 차이가 난다. 이러한 결과는 theorem-proving agent가 상호작용 중 오류로부터 학습하는 것이, 완성된 proof가 검증되는지 여부만 보는 것보다 유익함을 시사한다. 왜냐하면 tactic-level proof assistant는 모두 동일한 per-step signal을 노출하기 때문이다.","link":"https://openreview.net/forum?id=LW3lsb9jA6"},{"id":"FqYFz767mp","en":"Technical Report for AI4Math-2026 Track 1: Automated Semantic Alignment Verification and Error Categorization of Lean 4 Formalizations via Decomposition-Guided Auditing","ko":"AI4Math-2026 Track 1 기술 보고서: 분해 유도 감사로 Lean 4 형식화의 자동 semantic alignment 검증과 오류 분류","authors":"Huan Vu, cuong tien nguyen, Thien Van Luong","abs":"We present a semantic alignment verification pipeline for Lean 4 autoformalization developed for the AI4Math @ ICML 2026 FormalRx Challenge. Given an informal mathematical statement and a candidate Lean formalization, the system predicts semantic alignment, generates corrected formal statements, localizes erroneous segments, and classifies errors using the 28-category SCI taxonomy. Our approach combines structured decomposition of informal mathematics, LLM-based semantic auditing, correction generation, and a hybrid SCI classifier integrating deterministic token substitution rules with model-based classification. Experiments on the official FormalRx benchmark show that our best system achieves an Overall score of $0.3397$, with strong Verdict F1 ($0.7327$) and Correction accuracy ($0.7671$). Results indicate that tightly coupled semantic reasoning and correction generation outperform heavily decomposed multi-stage pipelines, while symbolic heuristics provide effective complementary signals for SCI categorization.
","absKo":"우리는 AI4Math @ ICML 2026 FormalRx Challenge를 위해 개발한 Lean 4 autoformalization용 semantic alignment verification pipeline을 제시한다. 비형식적인 수학 명제와 후보 Lean formalization이 주어지면, 이 시스템은 semantic alignment를 예측하고, 수정된 formal statement를 생성하며, 오류가 있는 segment를 국소화하고, 28개 범주의 SCI taxonomy를 사용해 오류를 분류한다. 우리의 접근법은 비형식 수학의 구조적 분해, LLM 기반 semantic auditing, correction generation, 그리고 결정적 token substitution rule과 model-based classification을 통합한 hybrid SCI classifier를 결합한다. 공식 FormalRx benchmark에서의 실험 결과, 우리의 최상위 시스템은 Overall score $0.3397$를 달성했으며, 강한 Verdict F1 ($0.7327$)과 Correction accuracy ($0.7671$)를 보였다. 결과는 긴밀하게 결합된 semantic reasoning과 correction generation이 과도하게 분해된 multi-stage pipeline보다 더 우수함을 보여주며, symbolic heuristic이 SCI categorization에 효과적인 보완 신호를 제공함을 시사한다.","link":"https://openreview.net/forum?id=FqYFz767mp"},{"id":"WpdqYk3zaq","en":"LCIA Self-Play: The London Court of International Arbitration as a Benchmark for Verifiable Self-Evolving Scientific Agents","ko":"LCIA Self-Play: 검증 가능한 자기 진화 과학 agent를 위한 벤치마크로서의 런던 국제중재재판소","authors":"David Scott Lewis, Haley Yi","abs":"Self-evolving scientific agents are often evaluated where the training record is observable and correctness can be checked directly, but many scientific and institutional settings expose only selected public traces, contain strategic actors, and impose formal admissibility constraints. **LCIA Self-Play** is a synthetic benchmark inspired by the London Court of International Arbitration that models confidential arbitration as a partially observable hidden-type game with a deterministic legality gate over procedural actions. Agents improve through self-play, belief updating, episodic memory, and capability-preserving rehearsal while being evaluated on calibration, public-slice overfitting, hidden-type robustness, exploitability, violation probability, and retention. Across twelve pre-specified seeds, public-slice supervision preserves ranking signal but is badly miscalibrated on the hidden population (Brier `0.238 +/- 0.001` to `0.254 +/- 0.002`; ECE `0.017 +/- 0.002` to `0.120 +/- 0.006`), while verifier-gated self-play raises worst-hidden-type value over public-greedy play (`0.626 +/- 0.007` versus `0.510 +/- 0.017`) with zero invalid-action mass. Memory replay improves retained old-family value over recent-only adaptation (`0.685 +/- 0.008` versus `0.656 +/- 0.009`), making the contribution a reproducible stress test for constrained self-evolution rather than a legal prediction system.
","absKo":"Self-evolving scientific agent는 훈련 기록이 관찰 가능하고 정답 여부를 직접 확인할 수 있는 환경에서 자주 평가되지만, 많은 과학 및 제도적 상황에서는 선택된 public trace만 노출되고, strategic actor가 존재하며, formal admissibility constraint가 부과된다. **LCIA Self-Play**는 London Court of International Arbitration에서 영감을 받은 synthetic benchmark로, confidential arbitration을 procedural action에 대한 deterministic legality gate가 있는 partially observable hidden-type game으로 모델링한다. Agent는 self-play, belief updating, episodic memory, capability-preserving rehearsal을 통해 개선되며, calibration, public-slice overfitting, hidden-type robustness, exploitability, violation probability, retention을 기준으로 평가된다. 사전 지정된 12개의 seed 전반에서, public-slice supervision은 ranking signal은 유지하지만 hidden population에서는 calibration이 크게 어긋났고(Brier `0.238 +/- 0.001` to `0.254 +/- 0.002`; ECE `0.017 +/- 0.002` to `0.120 +/- 0.006`), verifier-gated self-play는 public-greedy play(`0.510 +/- 0.017`) 대비 worst-hidden-type value를 높였으며(`0.626 +/- 0.007`) invalid-action mass는 0이었다. Memory replay는 최근 데이터만을 이용한 adaptation(`0.656 +/- 0.009`)보다 오래된 family의 retained value를 개선했으며(`0.685 +/- 0.008`), 이 기여는 legal prediction system이 아니라 constrained self-evolution을 위한 재현 가능한 stress test임을 보여준다.","link":"https://openreview.net/forum?id=WpdqYk3zaq"},{"id":"4ob0d33A2l","en":"Scientific CI/CD for Self-Modifying Discovery Agents: Statistical Gödel Gates, Capacity Budgets, and Domain Verifiers","ko":"자기수정형 발견 에이전트를 위한 Scientific CI/CD: Statistical Gödel Gate, Capacity Budget, 도메인 검증기","authors":"David Scott Lewis","abs":"Self-evolving scientific agents can improve by rewriting prompts, tools, workflows, memory, search policies, and eventually evaluators or learned parameters. This capability creates a deployment bottleneck that ordinary benchmark reporting does not address: an edit can improve visible scores while silently degrading calibration, robustness, scientific validity, or future learnability. We propose *Scientific CI/CD*, a governance architecture that treats every self-modification as a high-risk pull request. A candidate edit is promoted only after passing three gates: (i) a Statistical Gödel Gate using anytime-valid e-values or confidence sequences on protected holdouts; (ii) a Capacity Budget Gate that prices model, tool, memory, data-access, and autonomy expansion; and (iii) a Domain Verifier that checks conformal calibration, scientific invariants, and claim-evidence provenance. We define accepted-edit regret, lifetime harmful-adoption rate, evaluator-corruption gap, calibration preservation, rollback utility, and cost-adjusted verified discovery. Three experiments instantiate the gates: a sequential self-edit stream, a capacity-expanding model-selection benchmark, and a dry-lab RNA-seq twin. Across 200-proposal streams, naive repeated testing accepted harmful edits in 6.1% of promoted changes, while the spending-based e-Gödel gate reduced this to 0.008%. Capacity budgeting reduced hidden-risk overfitting in self-expanding polynomial agents, and the domain verifier rejected harmful biomedical workflow edits that passed mechanical or statistical checks. The result is a concrete merge contract for self-evolving scientific agents: improve, but only under valid evidence, bounded capacity, domain constraints, reproducible provenance, and rollback.
","absKo":"자기 진화하는 scientific agent는 prompt, tool, workflow, memory, search policy를 다시 쓰고, 결국 evaluator나 learned parameter까지 바꾸면서 개선될 수 있다. 이 능력은 일반적인 benchmark 보고가 다루지 못하는 배포상의 병목을 만든다. 즉, 하나의 edit가 눈에 보이는 점수는 올리면서 calibration, robustness, scientific validity, future learnability를 조용히 악화시킬 수 있다. 우리는 모든 self-modification을 high-risk pull request로 취급하는 governance architecture, *Scientific CI/CD*를 제안한다. 후보 edit은 세 개의 gate를 통과해야만 승격된다. (i) protected holdout에서 anytime-valid e-value 또는 confidence sequence를 사용하는 Statistical Gödel Gate, (ii) model, tool, memory, data-access, autonomy 확장을 가격화하는 Capacity Budget Gate, (iii) conformal calibration, scientific invariant, claim-evidence provenance를 검사하는 Domain Verifier이다. 우리는 accepted-edit regret, lifetime harmful-adoption rate, evaluator-corruption gap, calibration preservation, rollback utility, cost-adjusted verified discovery를 정의한다. 세 가지 실험이 이 gate들을 구현한다. 순차적 self-edit stream, capacity-expanding model-selection benchmark, dry-lab RNA-seq twin이다. 200개 proposal stream 전반에서 naive repeated testing은 승격된 변경의 6.1%에서 유해한 edit을 받아들였지만, spending-based e-Gödel gate는 이를 0.008%로 줄였다. Capacity budgeting은 self-expanding polynomial agent에서 hidden-risk overfitting을 줄였고, domain verifier는 기계적 또는 통계적 검사를 통과한 유해한 biomedical workflow edit을 거부했다. 결과적으로 자기 진화하는 scientific agent를 위한 구체적인 merge contract가 도출된다. valid evidence, bounded capacity, domain constraint, reproducible provenance, rollback 아래에서만 개선하라.","link":"https://openreview.net/forum?id=4ob0d33A2l"},{"id":"SAY3zZt2my","en":"$\\text{P}^4$Bench: Contamination-Proof, Publicly Verifiable, and Privacy-Preserving LLM Evaluation via Zero-Knowledge Proofs","ko":"$\\text{P}^4$Bench: zero-knowledge proof를 통한 오염 방지, 공개 검증 가능, 프라이버시 보존 LLM 평가","authors":"Enhan Zhao, Yuanrui Zhang, Zhang Zhang, Wei Wu, Di He","abs":"Mathematical benchmarks are central to evaluating the reasoning abilities of large language models (LLMs), but data contamination undermines their reliability when benchmark questions and answers appear in training data.
The most common way to handle contamination is to keep benchmarks private, hiding both test problems and answers from model providers and the public. Although this reduces direct test-set leakage, it sacrifices transparency: the community must trust a third-party benchmark organizer to validate the problems, run the evaluation, verify the answers, and report scores, rather than being able to verify the results independently.
To address this trade-off, we propose $\\text{P}^4$Bench, a contamination-proof, publicly verifiable, and privacy-preserving evaluation framework based on zero-knowledge proofs (ZKPs).
The key idea is to publish benchmark problems while keeping answers private: model providers submit cryptographic proofs that their answers are correct, and anyone can verify these proofs without learning the answers.
This simultaneously enables public benchmark release, answer privacy, and independent verification.
We instantiate $\\text{P}^4$Bench on Boolean satisfiability (SAT) and discrete logarithm problem (DLP) tasks, encoding answer verification as zk-SNARK circuits.
Experiments with frontier LLMs show that the framework can effectively distinguish model capabilities while keeping proof generation and verification practical.
","absKo":"수학 benchmark는 large language model(LLM)의 추론 능력을 평가하는 데 핵심적이지만, benchmark 질문과 답이 training data에 등장할 경우 data contamination이 그 신뢰성을 훼손한다.\ncontamination을 처리하는 가장 흔한 방법은 benchmark를 private하게 유지하여 test problem과 answer를 모두 model provider와 public으로부터 숨기는 것이다. 이는 직접적인 test-set leakage를 줄이지만, 투명성을 희생한다. 즉, community는 문제를 검증하고, evaluation을 수행하고, 답을 확인하며, 점수를 보고하는 일을 제3의 benchmark 운영자에게 의존해야 하고, 결과를 독립적으로 검증할 수는 없다.\n이러한 trade-off를 해결하기 위해 우리는 zero-knowledge proof(ZKP) 기반의 contamination-proof, publicly verifiable, privacy-preserving evaluation framework인 $\\text{P}^4$Bench를 제안한다.\n핵심 아이디어는 benchmark problem은 공개하되 answer는 비공개로 유지하는 것이다. model provider는 자신의 answer가 정답임을 나타내는 cryptographic proof를 제출하고, 누구나 answer를 알지 못한 채 이 proof를 검증할 수 있다.\n이를 통해 benchmark의 public release, answer privacy, independent verification을 동시에 가능하게 한다.\n우리는 answer verification을 zk-SNARK circuit으로 인코딩하여 Boolean satisfiability(SAT)와 discrete logarithm problem(DLP) task에 $\\text{P}^4$Bench를 구현한다.\nfrontier LLM에 대한 실험은 proof 생성과 검증을 실용적인 수준으로 유지하면서도, framework가 model capability를 효과적으로 구분할 수 있음을 보여준다.","link":"https://openreview.net/forum?id=SAY3zZt2my"},{"id":"SBSalCZOSR","en":"ReasFlow: Assisting Reasoning-Centric Scientific Discovery in Applied Mathematics via a Knowledge-Based Multi-Agent System","ko":"ReasFlow: 지식 기반 multi-agent system을 통한 응용수학에서의 reasoning 중심 과학적 발견 지원","authors":"Yutong He, Daibo Li, Guohong Li, Jiahe Geng, Zhengyang Huang, Can Ren, Kun Yuan, Zaiwen Wen","abs":"Existing autonomous research systems focus on empirically driven domains, while theory-driven discovery, which requires rigorous proofs and deep domain knowledge, remains underexplored. Key challenges include verifying theoretical reasoning at scale, insufficient LLM reasoning capabilities for frontier exploration, and the scarcity of procedural heuristics. We introduce **ReasFlow**, an end-to-end multi-agent system that integrates (i) an internal verification loop for auditing logical derivations, and (ii) an automated knowledge retrieval and self-improvement mechanism that proactively surfaces both declarative facts and overlooked heuristics, substantially reducing expert intervention. ReasFlow unifies literature survey, algorithm design, theorem proving, experimentation, and manuscript writing. Applied to five novel research tasks in distributed optimization with minimal human prompts, ReasFlow consistently outperforms state-of-the-art open-source baselines under rigorous LLM-based review.
","absKo":"기존의 autonomous research system은 경험적으로 주도되는 도메인에 초점을 맞추는 반면, 엄격한 증명과 깊은 도메인 지식이 필요한 theory-driven discovery는 아직 충분히 탐구되지 않았다. 주요 과제로는 대규모 이론적 추론 검증, frontier 탐색을 위한 LLM 추론 능력의 부족, 그리고 절차적 heuristic의 희소성이 있다. 우리는 (i) 논리적 유도를 감사하는 internal verification loop와, (ii) 선언적 사실과 간과된 heuristic을 모두 선제적으로 드러내어 expert 개입을 크게 줄이는 자동화된 knowledge retrieval 및 self-improvement mechanism을 통합한 end-to-end multi-agent system인 **ReasFlow**를 소개한다. ReasFlow는 literature survey, algorithm design, theorem proving, experimentation, manuscript writing을 통합한다. 최소한의 human prompt로 distributed optimization의 다섯 가지 새로운 research task에 적용했을 때, ReasFlow는 엄격한 LLM 기반 review 하에서 state-of-the-art open-source baseline을 일관되게 능가한다.","link":"https://openreview.net/forum?id=SBSalCZOSR"},{"id":"DTYjtikcvT","en":"Hard or Just Unreached? Diagnosing the Sampling Blind Spot in Math-Reasoning Difficulty Estimation","ko":"어렵다, 아니면 아직 도달하지 못했나? 수학 추론 난이도 추정의 샘플링 블라인드 스폿 진단","authors":"Luca Zhou, Sajel Shah, Emanuele Rodolà, Roberto Dessi","abs":"Math and science reasoning benchmarks rely on pass@k, the fraction of sampled chains that reach gold, as the canonical per-example difficulty signal. The same signal drives RL with verifiable rewards, math data curation, synthetic curricula, and verifier training. We show this proxy has a persistent blind spot on its hardest stratum: on the eight free-form math cells we test (GSM8K and MATH across four open-weight models), 10.3-22.9% of the examples that no sampling seed solves in six tries are instead solved at matched compute by a six-chain deterministic regime. These are greedy decoding plus five cheap residual-stream perturbations applied via activation grafting, while greedy alone solves at most 6% on these math cells. Recovery scales with the additional budget, across perturbations whose mechanistic distinctness we verify across all twelve cells (cross-kind fix-set Jaccard ≤ 0.47 in every setup). Activation grafting is used as an intervention on internal representations, not a decoding method; we use it purely as a diagnostic and diversification tool, and our recovered items show that the pass@k=0 stratum is structurally identifiable in the residual stream rather than that the unmodified model reaches them under ordinary inference.
","absKo":"수학 및 과학 추론 benchmark는 canonical per-example difficulty signal로서, 샘플링된 chain 중 gold에 도달하는 비율인 pass@k에 의존한다. 같은 신호는 verifiable reward를 사용하는 RL, 수학 데이터 정제, synthetic curriculum, verifier training을 구동한다. 우리는 이 proxy가 가장 어려운 strata에서 지속적인 blind spot을 가진다는 점을 보인다. 테스트한 여덟 개의 free-form math cell(GSM8K와 MATH, 네 개의 open-weight model 전반)에서, 여섯 번의 시도 안에 어떤 sampling seed로도 풀지 못한 예제의 10.3-22.9%가 오히려 동일한 compute에서 six-chain deterministic regime으로는 풀린다. 이 regime은 greedy decoding에 다섯 개의 저비용 residual-stream perturbation을 activation grafting으로 적용한 것이며, greedy만으로는 이 math cell들에서 최대 6%만 푼다. 추가 budget이 늘어남에 따라 recovery가 확장되며, 우리는 mechanistic distinctness를 열두 개 모든 cell에 걸쳐 검증한다(모든 setup에서 cross-kind fix-set Jaccard ≤ 0.47). Activation grafting은 디코딩 방법이 아니라 내부 representation에 대한 intervention으로 사용되며, 우리는 이를 진단 및 다양화 도구로만 활용한다. 또한 우리가 복원한 항목들은 pass@k=0 strata가 ordinary inference에서 수정되지 않은 model에 의해 도달되는 것이 아니라 residual stream에서 구조적으로 식별 가능함을 보여준다.","link":"https://openreview.net/forum?id=DTYjtikcvT"},{"id":"miPLaKmnxe","en":"Technical Report for AI4Math-2026 Track 3: VeraPhys: Verified Ensemble Repair for Multimodal Physics Reasoning","ko":"AI4Math-2026 Track 3 기술 보고서: VeraPhys: multimodal 물리 추론을 위한 검증된 앙상블 복구","authors":"Duc M. Nguyen, Sungahn Ko","abs":"Visual physics reasoning requires systems to connect visual perception, physical laws, mathematical derivations, and faithful explanations. Although recent LLMs and VLMs have improved multimodal reasoning, they often struggle when key problem information is contained primarily in images, especially in challenging settings involving handwritten diagrams, equations, or problem statements. This technical report presents our solution for AI4Math-2026 Track 3: SeePhysPro, a multimodal physics reasoning challenge involving diagrams, expressions, and explanations. We develop VeraPhys, $\\textbf{V}$erified $\\textbf{E}$nsemble $\\textbf{R}$ep$\\textbf{A}$ir for $\\textbf{Phys}$ics, a multi-stage ensemble pipeline that combines Qwen and GPT candidate generation, Python/SymPy-assisted reasoning, local-Qwen verification, OCR-enhanced visual evidence, and conservative answer repair. On the official $\\texttt{test-mini}$ evaluation, our approach achieves $70.96\\%$ overall accuracy.
","absKo":"Visual physics reasoning은 시스템이 시각적 지각, 물리 법칙, 수학적 유도, 그리고 충실한 설명을 연결하도록 요구한다. 최근 LLM과 VLM이 multimodal reasoning을 개선하긴 했지만, 핵심 문제 정보가 주로 이미지에 담겨 있는 경우, 특히 손글씨 다이어그램, 식, 또는 문제 진술이 포함된 까다로운 설정에서는 여전히 어려움을 겪는다. 이 technical report는 AI4Math-2026 Track 3: SeePhysPro를 위한 우리의 해법을 제시한다. SeePhysPro는 diagram, expression, explanation을 포함하는 multimodal physics reasoning challenge이다. 우리는 VeraPhys, $\\textbf{V}$erified $\\textbf{E}$nsemble $\\textbf{R}$ep$\\textbf{A}$ir for $\\textbf{Phys}$ics를 개발했으며, 이는 Qwen과 GPT의 candidate generation, Python/SymPy-assisted reasoning, local-Qwen verification, OCR-enhanced visual evidence, conservative answer repair를 결합한 multi-stage ensemble pipeline이다. 공식 $\\texttt{test-mini}$ 평가에서 우리의 접근법은 전체 정확도 $70.96\\%$를 달성한다.","link":"https://openreview.net/forum?id=miPLaKmnxe"},{"id":"l6vLYcmojb","en":"Learning Large-Scale Modular Addition with an Auxiliary Modulus","ko":"보조 모듈러스를 활용한 대규모 모듈러 덧셈 학습","authors":"Hanato Kikuchi, Ryosuke Masuya, Kazuhiko Kawamoto, Hiroshi Kera","abs":"Learning parity functions, more general modular addition, is a challenging machine learning task due to its input sensitivity. A recent study substantially scaled modular addition learning in both the number of summands and the modulus. Its key idea is to increase zeros in training sequences, reducing the effective number of summands and thus controlling training difficulty; however, this induces covariate shift between training and test input distributions. This study theoretically and empirically analyzes this side effect and proposes a covariate-shift-free method for modular addition. Specifically, we introduce an auxiliary modulus $Kq$ during training, which reduces wrap-around frequency and problem difficulty while preserving the same input distribution across training and testing. Experiments show strong scalability and sample efficiency: even for large input length $N$, large modulus $q$, and small datasets---where the sparse method fails to learn---our method achieves equal or better match accuracy and relaxed $\\tau$-accuracy. For example, at $N=64$ and $q=974269$, our method trained on 100K samples achieves $97.0\\%$ $\\tau$-accuracy at $\\tau=0.05$, while the sparse method achieves only $9.5\\%$ with the same data size and $93.9\\%$ even when extended to 1M samples.
","absKo":"Parity function, 더 일반적으로는 modular addition을 학습하는 것은 입력 민감성 때문에 어려운 machine learning 과제이다. 최근 연구는 summand 개수와 modulus 양쪽 모두를 크게 확장하여 modular addition 학습을 수행했다. 핵심 아이디어는 training sequence에서 zero를 늘려 effective summand 수를 줄이고, 이를 통해 학습 난이도를 제어하는 것이었다. 그러나 이는 training과 test input distribution 사이에 covariate shift를 유발한다. 본 연구는 이 부작용을 이론적·실험적으로 분석하고, covariate-shift-free modular addition 방법을 제안한다. 구체적으로, 우리는 학습 중 auxiliary modulus $Kq$를 도입하여 wrap-around 빈도와 문제 난이도를 낮추면서 training과 testing에서 동일한 input distribution을 유지한다. 실험은 강한 확장성과 sample efficiency를 보인다. 큰 input length $N$, 큰 modulus $q$, 작은 dataset, 즉 sparse method가 학습에 실패하는 경우에도, 우리의 방법은 동일하거나 더 나은 match accuracy와 relaxed $\\tau$-accuracy를 달성한다. 예를 들어 $N=64$와 $q=974269$에서, 100K sample로 학습한 우리의 방법은 $\\tau=0.05$에서 $97.0\\%$의 $\\tau$-accuracy를 달성한 반면, sparse method는 동일한 데이터 크기에서 $9.5\\%$에 그쳤고, 1M sample로 확장했을 때도 $93.9\\%$에 불과했다.","link":"https://openreview.net/forum?id=l6vLYcmojb"},{"id":"WZwbqfW8AV","en":"From Groups to Rings: Causal Evidence for Algebraic Decomposition in Grokked Transformers","ko":"그룹에서 ring으로: grokked transformer에서 대수적 분해의 인과적 증거","authors":"Shurui Zheng, Fanhong Li, Zhixing Huang, ZIXI LI, Lei Ji","abs":"Prior work has shown that grokked Transformers implement discrete Fourier transforms or group character representations for modular arithmetic.
We unify these findings under the Wedderburn--Artin decomposition: using interchange intervention accuracy (IIA), a causal method stronger than ablation, we show that grokked models decompose computation along the Wedderburn components of the target algebra.
Across 11 commutative algebras over $\\F_p$ ($p = 2,3,5,7$)---including 6 with nontrivial Jacobson radical---all grokked models achieve raw IIA $\\geq 0.97$.
When models predict incorrectly, errors remain compartmentalized by component ($3.8\\times$ chance), confirming that independence is structural, not a byproduct of accuracy.
Training dynamics reveal that Wedderburn alignment emerges synchronously with grokking.
For non-commutative groups, models exhibit \\emph{selective} Wedderburn alignment; non-commutativity raises a capacity threshold that larger models overcome.
","absKo":"이전 연구들은 modular arithmetic에 대해 grokked Transformer가 discrete Fourier transform 또는 group character representation을 구현함을 보였다.\n우리는 이를 Wedderburn--Artin decomposition 아래에서 통합한다: ablation보다 강한 causal method인 interchange intervention accuracy (IIA)를 사용하여, grokked model이 target algebra의 Wedderburn component를 따라 계산을 분해함을 보인다.\nF_p 위의 11개 commutative algebra($p = 2,3,5,7$) 전반에서, 비자명한 Jacobson radical을 가진 6개를 포함해 모든 grokked model은 raw IIA $\\geq 0.97$을 달성한다.\n모델이 잘못 예측할 때조차 오류는 component별로 고립되어 남아($3.8\\times$ chance), independence가 정확도의 부산물이 아니라 구조적임을 확인한다.\n학습 dynamics는 Wedderburn alignment가 grokking과 동기적으로 출현함을 보여준다.\n비가환 group에서는 모델이 \\emph{selective} Wedderburn alignment를 보이며, 비가환성은 더 큰 모델이 극복하는 capacity threshold를 높인다.","link":"https://openreview.net/forum?id=WZwbqfW8AV"},{"id":"IfAQFQ56Zi","en":"Dense Supervision but Sparse Guidance: A Token-Level Analysis of On-Policy Self-Distillation","ko":"Dense Supervision이지만 Sparse Guidance: On-Policy self-distillation의 token-level 분석","authors":"Taeckyung Lee, Jeonghye Kim, Hyungjun Yoon, Sung-Ju Lee","abs":"On-policy self-distillation (OPSD) derives a teacher from the student’s own parameters, using privileged feedback to provide dense token-level KL supervision. We analyze this supervision on code-generation tasks and find that it often provides only sparse guidance. At the peak-disagreement position, KL frequently concentrates on tokens unrelated to code logic, such as comments and docstrings, accounting for 45 to 71% of cases. The token at this position is judged to be the primary cause of failure in only 1.1 to 8.9% of cases, although these positions can still influence what the model generates next. Allowing the teacher to continue freely from the peak-disagreement position yields correct solutions in 13.3% of cases, suggesting that the teacher’s capability is better expressed through continued generation than through a single-token score. At the same time, the low success rate reveals a limitation inherent in parameter-shared teachers. More strikingly, substituting only the teacher-preferred token and allowing the student to continue raises success to 9.9%, recovering 71% of the teacher’s free continuations. Our findings explain why SDPO can outperform GRPO: its benefit may come less from reliable local correction and more from concentrated guidance that influences the subsequent generation trajectory. More broadly, local corrective quality and optimization usefulness can diverge in token-level supervision.
","absKo":"on-policy self-distillation (OPSD)은 student 자신의 parameter로부터 teacher를 도출하고, privileged feedback을 사용해 dense token-level KL supervision을 제공한다. 우리는 code-generation task에서 이 supervision을 분석했고, 그것이 종종 sparse한 guidance만 제공함을 발견했다. peak-disagreement position에서 KL은 종종 code logic과 무관한 token, 예를 들어 comment와 docstring에 집중하며, 전체의 45~71%를 차지한다. 이 위치의 token이 실패의 주요 원인으로 판단되는 경우는 1.1~8.9%에 불과하지만, 이러한 위치는 여전히 모델이 다음에 생성하는 내용에 영향을 줄 수 있다. teacher가 peak-disagreement position에서 자유롭게 계속 생성하도록 두면 13.3%의 경우에서 정답 solution을 얻을 수 있어, teacher의 능력이 단일 token score보다 이어지는 generation을 통해 더 잘 드러남을 시사한다. 동시에 낮은 성공률은 parameter-shared teacher에 내재한 한계를 드러낸다. 더욱 주목할 점은 teacher가 선호하는 token만 대체하고 student가 계속 생성하도록 했을 때 성공률이 9.9%로 올라가며, teacher의 자유 생성 결과의 71%를 복원한다는 것이다. 우리의 발견은 SDPO가 왜 GRPO보다 우수할 수 있는지 설명한다. 그 이점은 신뢰할 수 있는 local correction보다는 이후 generation trajectory에 영향을 주는 집중된 guidance에서 더 크게 비롯될 수 있다. 더 넓게 보면, token-level supervision에서는 local corrective quality와 optimization usefulness가 서로 어긋날 수 있다.","link":"https://openreview.net/forum?id=IfAQFQ56Zi"},{"id":"2yIetdPvQh","en":"FactorLibrary: From Polynomials to Circuits via Recursive Subgoals","ko":"FactorLibrary: 재귀적 하위 목표를 통해 다항식에서 회로로","authors":"Rohan Pandey, Michael Ruofan Zeng, Weikun Zhang, Kaijie Jin, Naomi Morato, Archit Ganapule, Bhaumik Mehta, Jarod Alper","abs":"Finding minimal arithmetic circuits for polynomials over finite fields is a combinatorially hard problem central to algebraic complexity theory. We formulate this problem as a two-directional reinforcement learning problem, bottom-up and top-down. To address the challenge of a fast-growing combinatorial search space, we introduce FactorLibrary, which stores factorizable subexpressions that serve as reusable subgoals across training episodes. We trained a bottom-up agent with Gumbel-PPO-MCTS and two top-down agents with PPO-MCTS and SAC. The PPO-MCTS top-down agent exhibited the most stable performance, finding certified optimal circuits up to complexity $8$ with a success rate of \\(91.9\\%\\).
","absKo":"유한체 위 다항식에 대한 최소 산술 회로를 찾는 문제는 대수적 복잡도 이론의 중심에 있는 조합적으로 어려운 문제이다. 우리는 이 문제를 bottom-up과 top-down의 두 방향 강화학습 문제로 정식화한다. 빠르게 증가하는 조합적 탐색 공간의 어려움을 해결하기 위해, 학습 에피소드 전반에 걸쳐 재사용 가능한 서브골로 기능하는 인수분해 가능한 부분식을 저장하는 FactorLibrary를 도입한다. 우리는 Gumbel-PPO-MCTS를 사용한 bottom-up 에이전트와 PPO-MCTS 및 SAC를 사용한 두 개의 top-down 에이전트를 학습했다. PPO-MCTS top-down 에이전트가 가장 안정적인 성능을 보였으며, 복잡도 $8$까지의 인증된 최적 회로를 \\(91.9\\%\\)의 성공률로 찾아냈다.","link":"https://openreview.net/forum?id=2yIetdPvQh"},{"id":"uMTF54muYL","en":"ProofGate: A Reproducible Audit of Faithfulness, Alignment, and Vacuity in State-of-the-Art Lean Theorem Provers","ko":"ProofGate: 최첨단 Lean theorem prover의 충실성, 정렬, 공허성에 대한 재현 가능한 감사","authors":"Edison Yang, Rithik Devaraj Satarla, Neel Marripalapu","abs":"Recent neural theorem provers report pass rates on miniF2F and PutnamBench that, taken at face value, suggest formal mathematical reasoning is nearly solved. We argue that the reported figures conflate three distinct phenomena—proof faithfulness, statement alignment, and problem vacuity—and that a single failed check in any one can render a reported result an unaudited claim. We propose ProofGate, a reproducible audit pipeline implementing four orthogonal checks (kernel-level axiom inspection, banned-tactic linter, negation-counterexample probe, FormalAlign-style alignment score) that together yield a single dimensionless metric, Faithful-Pass. We release ProofGate as a Python package and apply it to every publicly released proof artifact of three recent state-of-the-art systems. Three findings are particularly noteworthy. First, the full kernel-level audit of all 635 DeepSeek-Prover-V2 (miniF2F-test and -valid combined) and Kimina-Prover-72B miniF2F-test proofs against each prover's pinned mathlib revision yields Kernel-Faithful-Pass$_{\\mathcal{T}_1}$ = 100%, with no occurrences of `sorry` and no extra axioms beyond the compiler-trust set; under the strict trusted base $\\mathcal{T}_0$, all 438 DeepSeek proofs pass while 186/197 Kimina proofs pass, the eleven exceptions being precisely those that invoke `native_decide`. Second, SBERT-based alignment scoring on the same items returns a 15.2% misalignment rate on DeepSeek miniF2F-test, within 1.2 percentage points of ReForm's expert-annotated rate. Third, Goedel-Prover-V2's "released proofs" for miniF2F are in fact the benchmark input statements with `sorry` placeholders; the public release contains no auditable proofs, a property the accompanying paper does not state explicitly.
","absKo":"최근 neural theorem prover는 miniF2F와 PutnamBench에서 pass rate를 보고하며, 표면적으로는 formal mathematical reasoning이 거의 해결된 것처럼 보이게 한다. 우리는 보고된 수치가 proof faithfulness, statement alignment, problem vacuity라는 세 가지 서로 다른 현상을 혼동하고 있으며, 이들 중 어느 하나에서라도 단 하나의 check 실패가 있으면 보고된 결과는 감사되지 않은 주장으로 전락할 수 있다고 주장한다. 우리는 재현 가능한 audit pipeline인 ProofGate를 제안한다. 이는 네 가지 orthogonal check(kernel-level axiom inspection, banned-tactic linter, negation-counterexample probe, FormalAlign-style alignment score)을 구현하며, 이들을 통해 단일 무차원 metric인 Faithful-Pass를 산출한다. 우리는 ProofGate를 Python package로 공개하고, 최근 state-of-the-art system 세 개가 공개한 모든 proof artifact에 적용한다. 특히 세 가지 발견이 중요하다. 첫째, 각 prover의 고정된 mathlib revision에 대해 DeepSeek-Prover-V2의 635개 전체(miniF2F-test와 -valid를 합친 것)와 Kimina-Prover-72B의 miniF2F-test proof를 kernel 수준에서 모두 감사한 결과 Kernel-Faithful-Pass$_{\\mathcal{T}_1}$ = 100%였으며, `sorry`는 한 번도 없었고 compiler-trust set을 넘어서는 추가 axiom도 없었다; 엄격한 trusted base $\\mathcal{T}_0$ 하에서는 DeepSeek proof 438개가 모두 통과하고 Kimina proof는 186/197개가 통과했으며, 나머지 11개는 정확히 `native_decide`를 호출하는 경우였다. 둘째, 같은 item에 대한 SBERT 기반 alignment scoring은 DeepSeek miniF2F-test에서 15.2%의 misalignment rate를 반환했으며, 이는 ReForm의 expert-annotated rate와 1.2 percentage point 이내로 일치한다. 셋째, Goedel-Prover-V2의 miniF2F용 \"released proofs\"는 실제로 benchmark input statement에 `sorry` placeholder를 넣은 것에 불과하다; 공개 릴리스에는 감사 가능한 proof가 전혀 없으며, 동반 논문은 이를 명시적으로 밝히지 않는다.","link":"https://openreview.net/forum?id=uMTF54muYL"},{"id":"Wc5TAIUC8k","en":"Proving Your Way to Cooperation: Formalizing Proof-Based Open Source Game Theory in Lean","ko":"협력으로 가는 증명의 길: Lean에서 proof-based open source game theory 형식화","authors":"Colomban Duclaux, Riccardo Formenti, Pepijn Cobben, Bernhard Schölkopf, Zhijing Jin","abs":"Open Source Game Theory studies strategic interaction between agents with full mutual transparency, and offers a promising route to robust cooperation in multi-agent systems. Its proof-based branch, in which agents condition on bounded proof search over each other's source code, is theoretically rich, but lacks any mechanized framework, limiting both its empirical study and its integration into practical systems. We address this gap with the first Lean 4 formalization of proof-based Open Source Game Theory, comprising nine open-source programs together with manually written, machine-checked proofs of the outcome theorems that govern their pairwise play. On top of this verified library, we build an agentic pipeline that turns natural-language strategy descriptions into Lean-verified outcome theorems. This pipeline autonomously reproves 40 of the 45 outcome theorems in the resulting bot-pair matrix. As a first application, we use the verified outcomes to enumerate the Nash equilibria of the induced Prisoner’s Dilemma program meta-game and find a broad spectrum of cooperative equilibria absent from the underlying game.
","absKo":"Open Source Game Theory는 완전한 상호 투명성을 가진 agent들 사이의 전략적 상호작용을 연구하며, multi-agent system에서 견고한 협력으로 가는 유망한 경로를 제공한다. 각자가 서로의 source code에 대한 bounded proof search를 조건으로 삼는 proof-based branch는 이론적으로 풍부하지만, 기계화된 framework가 전혀 없어 실증 연구와 실제 시스템 통합이 모두 제한된다. 우리는 이 공백을 proof-based Open Source Game Theory의 최초 Lean 4 formalization으로 메우며, 수작업으로 작성된 machine-checked proof와 함께 9개의 open-source program을 포함하고, 이들의 pairwise play를 지배하는 outcome theorem을 증명한다. 이 verified library 위에, 자연어 strategy description을 Lean-verified outcome theorem으로 변환하는 agentic pipeline을 구축한다. 이 pipeline은 결과적으로 생성된 bot-pair matrix에서 45개의 outcome theorem 중 40개를 자율적으로 재증명한다. 첫 번째 응용으로, 우리는 검증된 outcome을 사용해 유도된 Prisoner’s Dilemma program meta-game의 Nash equilibrium을 열거하고, underlying game에는 없는 협력적 equilibrium의 폭넓은 스펙트럼을 발견한다.","link":"https://openreview.net/forum?id=Wc5TAIUC8k"},{"id":"ASDIjgm78Z","en":"Escaping the Cognitive Well: Efficient Competition Math with Off-the-Shelf Models","ko":"cognitive well에서 탈출하기: 손쉬운 접근 모델로 경쟁 수학 효율 높이기","authors":"Xingyu Dang, Rohit Agarwal, Rodrigo Porto, Anirudh Goyal, Liam H Fowl, Sanjeev Arora","abs":"In the past year, custom and unreleased math reasoning models reached gold medal performance on the International Mathematical Olympiad (IMO). Similar performance was then reported using large-scale inference on publicly available models but at prohibitive costs (e.g., 3000 USD per problem). In this work, we present an inference pipeline that attains best-in-class performance on IMO-style math problems at an average inference cost orders of magnitude below competing methods while using only general-purpose off-the-shelf models. Our method relies on insights about grader failure in solver-grader pipelines, which we call the Cognitive Well (iterative refinement converging to a wrong solution that the solver as well as the pipeline's internal grader consider to be basically correct). Our pipeline addresses these failure modes through \\emph{conjecture extraction}, wherein candidate lemmas are isolated from generated solutions and independently verified alongside their negations in a fresh environment (context detachment). On IMO-ProofBench Advanced (PB-Adv), our pipeline achieves 87.6% performance using Gemini 3.1 Pro with an average cost per question of ~9 USD. This surpasses the performance of the DeepThink IMO gold-winning model, and more than triples the success rate of the next best publicly accessible pipeline operating at affordable cost.
","absKo":"지난 1년 동안, 맞춤형 및 미공개 math reasoning model이 International Mathematical Olympiad(IMO)에서 gold medal 성능에 도달했다. 이후 공개적으로 사용 가능한 model에 대해 대규모 inference를 사용한 유사한 성능이 보고되었지만, 비용이 지나치게 컸다(예: 문제당 3000 USD). 본 연구에서는 일반 목적의 off-the-shelf model만 사용하면서, 경쟁 방법들보다 평균 inference 비용은 수십 배에서 수백 배 낮고 IMO 스타일 수학 문제에서 최고 수준의 성능을 달성하는 inference pipeline을 제시한다. 우리의 방법은 solver-grader pipeline에서의 grader 실패에 대한 통찰에 의존하는데, 우리는 이를 Cognitive Well이라 부른다(해결기와 pipeline 내부 grader 모두가 대체로 정답으로 간주하는 잘못된 해를 향해 반복적 refinement가 수렴하는 현상). 우리의 pipeline은 \\emph{conjecture extraction}을 통해 이러한 실패 양상을 다룬다. 여기서 생성된 해에서 candidate lemma를 분리하고, 새로운 환경(context detachment)에서 그 부정과 함께 독립적으로 검증한다. IMO-ProofBench Advanced(PB-Adv)에서, 우리의 pipeline은 Gemini 3.1 Pro를 사용해 문제당 평균 약 9 USD 비용으로 87.6% 성능을 달성한다. 이는 DeepThink IMO gold-winning model의 성능을 능가하며, 합리적인 비용으로 작동하는 다음으로 좋은 공개 접근 가능 pipeline의 성공률을 두 배 이상 끌어올린다.","link":"https://openreview.net/forum?id=ASDIjgm78Z"},{"id":"AJYBzF6wBn","en":"Technical Report for AI4Math-2026 Track 2: Mechanically Orchestrated LLM Sub-Agents for Theorem Proving in Lean 4","ko":"AI4Math-2026 Track 2 기술 보고서: Lean 4에서 정리를 증명하기 위한 기계적으로 오케스트레이션된 LLM sub-agent","authors":"Byung-Hak Hwang, Joonhyun La, Chul-hee Lee, Hyojae Lim","abs":"This technical report describes a pipeline for formal proof generation
in Lean 4 that emulates the workflow of a working mathematician:
decompose the theorem into sub-lemmas, probe for counterexamples,
prove each sub-lemma in isolation, construct from scratch what the
library lacks, and assemble the verified pieces under kernel control. Six
sub-agents carry out the cognitive work; a deterministic shell
state machine handles every coordination decision between them.
Diagnostic outputs pass between sub-agents byte-identically, with no
interpretive layer. Applied to the ICML 2026 AI4Math Challenge 2
(Theoretical Computer Science Proving in Lean), the pipeline solves
30 of the 34 challenges (600 of 1000 points) in our local Lean
verification with no human-in-the-loop interaction at any sub-agent
dispatch or coordination decision.
","absKo":"이 기술 보고서는 Lean 4에서 formal proof를 생성하기 위한 pipeline을 설명한다. 이 pipeline은 실무 수학자의 작업 흐름을 모방한다. 정리를 sub-lemma로 분해하고, counterexample을 탐색하며, 각 sub-lemma를 독립적으로 증명하고, library에 없는 것은 처음부터 구성하며, kernel control 하에 검증된 조각들을 조립한다. 여섯 개의 sub-agent가 인지적 작업을 수행하고, 결정론적 shell state machine이 그들 사이의 모든 coordination decision을 처리한다. 진단 output은 해석 계층 없이 byte-identical하게 sub-agent 사이를 오간다. ICML 2026 AI4Math Challenge 2(Theoretical Computer Science Proving in Lean)에 적용했을 때, 이 pipeline은 어떤 sub-agent dispatch나 coordination decision에서도 human-in-the-loop 상호작용 없이 local Lean verification에서 34개 challenge 중 30개를 해결했다(1000점 만점 중 600점).","link":"https://openreview.net/forum?id=AJYBzF6wBn"},{"id":"dyNJGVSy9r","en":"M2F: Automated Formalization of Mathematical Literature at Scale","ko":"M2F: 대규모 수학 문헌의 자동 형식화","authors":"Zichen Wang, Wanli Ma, Zhenyu Ming, Gong Zhang, Kun Yuan, Zaiwen Wen","abs":"Autoformalization is often evaluated one theorem at a time. Frontier mathematics exposes a different bottleneck. Before a hard theorem can be proved, a project needs well-modeled definitions, reusable APIs, canonical lemma statements, and stable dependencies. We present M2F (Math-to-Formal), a framework for compiling long mathematical sources into project-scale Lean infrastructure. M2F first turns source-aligned statement skeletons into a Lean project with proof placeholders. It then freezes statement signatures and repairs the remaining holes. Both stages use a verifier-gated accept/revert contract: an edit is committed only when Lean reports improvement under the pinned environment.
We evaluate M2F as an artifact-construction system, not as a theorem-snippet prover. The released workspace spans seven source roots across six domains, with 591 generated Lean files and 10{,}637 declarations. It builds end to end, and a strengthened static scan finds no explicit bypass, unsafe, or search-disabling patterns. A two-expert adjudicated audit labels 2{,}023/2{,}089 matched statements as acceptable, and M2F closes all 875 proof obligations in the retained audited proof subset. Reuse, source-order, overlap, and \\texttt{mathlib}-compatibility analyses indicate that the generated projects behave as local libraries rather than direct retrieval of existing facts. As a separate fixed-statement Stage~2 probe, M2F solves 96/100 FATE-H instances automatically and two more with human-written natural-language infrastructure hints that expose reusable declarations, not proofs. Together, these results support a statement-first view of large-scale autoformalization.
","absKo":"Autoformalization은 종종 정리 하나씩 개별적으로 평가된다. frontier mathematics는 다른 병목을 드러낸다. 어려운 정리를 증명하기 전에, 프로젝트에는 잘 모델링된 정의, 재사용 가능한 API, canonical lemma statement, 그리고 안정적인 dependency가 필요하다. 우리는 긴 수학 원문을 project-scale Lean infrastructure로 컴파일하기 위한 프레임워크인 M2F(Math-to-Formal)를 제시한다. M2F는 먼저 source-aligned statement skeleton을 proof placeholder가 들어 있는 Lean project로 변환한다. 그다음 statement signature를 고정하고 남은 hole을 복구한다. 두 단계 모두 verifier-gated accept/revert contract를 사용한다. 즉, pinned environment에서 Lean이 개선을 보고할 때에만 편집이 commit된다.\n우리는 M2F를 theorem-snippet prover가 아니라 artifact-construction system으로 평가한다. 공개된 workspace는 6개 도메인에 걸친 7개의 source root를 포함하며, 591개의 생성된 Lean 파일과 10{,}637개의 declaration으로 구성된다. 이 시스템은 end-to-end로 빌드되며, 강화된 static scan에서는 명시적 bypass, unsafe, search-disabling 패턴이 발견되지 않는다. 두 명의 전문가가 판정한 audit에서는 matched statement 2{,}089개 중 2{,}023개가 acceptable로 분류되었고, M2F는 보존된 audited proof subset의 875개 proof obligation을 모두 해결한다. reuse, source-order, overlap, 그리고 \\texttt{mathlib}-compatibility 분석은 생성된 프로젝트가 기존 fact를 직접 retrieval한 것이 아니라 local library처럼 동작함을 시사한다. 별도의 fixed-statement Stage~2 probe로, M2F는 FATE-H instance 100개 중 96개를 자동으로 해결하고, 추가로 2개는 재사용 가능한 declaration을 드러내되 proof는 포함하지 않는 human-written natural-language infrastructure hint와 함께 해결한다. 이 결과들은 대규모 autoformalization에 대해 statement-first 관점을 지지한다.","link":"https://openreview.net/forum?id=dyNJGVSy9r"},{"id":"M5XnUGHeOl","en":"Goedel-Architect: Streamlining Formal Theorem Proving with Blueprint Generation and Refinement","ko":"Goedel-Architect: Blueprint 생성과 정제를 통한 형식 정리 증명 효율화","authors":"Jui-Hui Chung, Ziyang Cai, Zihao Li, Qishuo Yin, Rohit Agarwal, Simon Park, Rodrigo Porto, Narutatsu Ri, Ziran Yang, Shange Tang, Xingyu Dang, Hongzhou Lin, Mengdi Wang, Danqi Chen, Chi Jin, Liam H Fowl, Sanjeev Arora","abs":"We introduce Goedel-Architect, an agentic framework for formal
theorem proving in Lean 4 centered on blueprint generation and
refinement. A blueprint is a dependency graph of definitions and
lemmas that builds up to the main theorem. First, Goedel-Architect generates a blueprint of formally stated definitions and lemmas, along with declared dependencies. This blueprint is optionally guided by a natural language proof. Then, a tool-equipped Lean prover component closes each open lemma node in parallel using relevant dependencies. Failed lemmas in turn drive refinement of the global blueprint. This strategy contrasts with other mainstream approaches which use recursive lemma decomposition, and can inefficiently loop on dead-end strategies. Using the open-weight DeepSeek-V4-Flash
(284B-A13B) as the backbone, Goedel-Architect attains
$99.2\\%$ pass@$1$ on MiniF2F-test and $75.6\\%$ pass@$1$
on PutnamBench. With an optional natural-language proof seeding the
initial blueprint on the harder problems, we additionally close the remaining two MiniF2F-test
problems (reaching 100%), lift PutnamBench to
88.8% (597/672), and solve 4/6 on IMO 2025,
11/12 on Putnam 2025, and 3/6 on USAMO
2026. This represents state-of-the-art performance for an open-source pipeline at a price point
up to 500× less than comparable open-source
pipelines.
","absKo":"우리는 Lean 4에서의 형식적 정리 증명을 위한 agentic framework인 Goedel-Architect를 소개한다. 이 framework는 blueprint 생성과 refinement를 중심으로 한다. blueprint는 주요 정리에 이르기까지 정의와 lemma의 dependency graph이다. 먼저 Goedel-Architect는 선언된 dependency와 함께 형식적으로 서술된 정의와 lemma의 blueprint를 생성한다. 이 blueprint는 선택적으로 자연어 proof의 guidance를 받을 수 있다. 그다음 tool을 갖춘 Lean prover component가 관련 dependency를 사용해 각 열린 lemma node를 병렬로 닫는다. 실패한 lemma는 다시 global blueprint의 refinement를 이끈다. 이 전략은 recursive lemma decomposition을 사용하는 다른 mainstream 접근과 대조되며, dead-end strategy에 비효율적으로 반복될 수 있다. open-weight DeepSeek-V4-Flash\n(284B-A13B)를 backbone으로 사용하여, Goedel-Architect는 MiniF2F-test에서\n$99.2\\%$ pass@$1$, PutnamBench에서 $75.6\\%$ pass@$1$를 달성한다. 더 어려운 문제들에 대해 초기 blueprint를 자연어 proof로 seeding하는 선택적 설정을 사용하면, 나머지 두 개의 MiniF2F-test 문제를 추가로 닫아(100% 도달), PutnamBench를 88.8% (597/672)로 끌어올리고, IMO 2025에서 4/6, Putnam 2025에서 11/12, USAMO 2026에서 3/6을 해결한다. 이는 비교 가능한 open-source pipeline 대비 최대 500배 낮은 비용대에서 달성한, open-source pipeline의 state-of-the-art 성능을 의미한다.","link":"https://openreview.net/forum?id=M5XnUGHeOl"},{"id":"1c85W1WW9k","en":"Self-Supervised Theorem Discovery in a Formal Axiomatic System","ko":"형식 공리 시스템에서의 자기지도 정리 발견","authors":"Kazuki Ota, Takayuki Osa, Tatsuya Harada","abs":"Recent artificial intelligence (AI) systems have shown remarkable progress in mathematical reasoning.
Many existing approaches, including large language models (LLMs), draw on human prior knowledge in the form of mathematical text, code, or theorem libraries.
Although these approaches are highly effective in practice, it remains an open question whether an agent can autonomously discover useful theorems without such human priors.
We study this question in a formal axiomatic system by developing an agent that starts from axioms and inference rules alone and gradually grows a library of useful theorems.
Concretely, we propose a self-supervised theorem-discovery algorithm that alternates between proof search and useful-theorem extraction, building a theorem library whose entries are reused as lemmas for subsequent proof search.
Experiments show that the agent discovers tens of thousands of theorems and finds proofs for human-written benchmark problems, suggesting that its discoveries include theorems meaningful from a human mathematical perspective.
Furthermore, the discovered theorems improve LLM proof performance when provided as prompt lemmas, indicating that they can serve as external knowledge for LLM reasoning.
Our results provide evidence that useful theorems can emerge from proof search without relying on human-provided theorem libraries.
More broadly, they suggest a path toward self-evolving AI systems for mathematics whose discoveries remain formally verifiable.
","absKo":"최근 artificial intelligence (AI) system은 수학적 추론에서 remarkable한 진전을 보여주었다.\nlarge language model (LLM)을 포함한 많은 기존 접근법은 수학 텍스트, 코드, theorem library 형태의 인간 prior knowledge에 의존한다.\n이러한 접근법은 실제로 매우 효과적이지만, 인간 prior 없이 agent가 유용한 theorem을 자율적으로 발견할 수 있는지는 여전히 열린 질문이다.\n우리는 공리와 inference rule만으로 시작해 점차 유용한 theorem의 library를 성장시키는 agent를 개발함으로써 이 질문을 formal axiomatic system에서 연구한다.\n구체적으로, 우리는 proof search와 useful-theorem extraction을 번갈아 수행하며, 그 결과 만들어진 theorem library의 항목을 이후 proof search에서 lemma로 재사용하는 self-supervised theorem-discovery algorithm을 제안한다.\n실험 결과, agent는 수만 개의 theorem을 발견하고 사람이 작성한 benchmark problem에 대한 proof를 찾아냈으며, 이는 그 발견물에 인간 수학의 관점에서 의미 있는 theorem이 포함되어 있음을 시사한다.\n또한 발견된 theorem은 prompt lemma로 제공될 때 LLM의 proof 성능을 향상시키며, 이를 통해 LLM 추론을 위한 external knowledge로 기능할 수 있음을 보여준다.\n우리의 결과는 인간이 제공한 theorem library에 의존하지 않고도 proof search로부터 유용한 theorem이 emergence할 수 있음을 보여준다.\n더 넓게는, 형식적으로 검증 가능한 발견을 유지하면서 스스로 진화하는 수학용 AI system으로 나아가는 경로를 제시한다.","link":"https://openreview.net/forum?id=1c85W1WW9k"},{"id":"FjD3rZPEET","en":"Proof-Refactor: Refactoring Generated Formal Proofs into Modular Artifacts","ko":"Proof-Refactor: 생성된 형식 증명을 모듈형 artifact로 리팩터링","authors":"Yiming Fu, Peixuan Liu, Zichen Wang, Kun Yuan","abs":"Generated formal proofs often compile but remain hard to read, maintain, and reuse.
We study the post-generation refactoring problem: given a verified proof,
produce a better-structured verified proof artifact for the same theorem.
We introduce $\\textbf{Proof-Refactor}$, an agentic framework that decomposes this
task into extracting candidate proof fragments, designing helper declarations,
proving the extracted and designed components, and repairing the
original proof using the verified helpers. The system combines Claude Code,
lean-lsp-mcp, a custom lean_extract tool, and
independent-context external assistance for fragment selection and helper
design. On generated Lean proofs from PutnamBench and Putnam2025,
Proof-Refactor improves LLM-as-a-judge rubric-based refactoring scores over a
baseline that uses Claude Code with lean-lsp-mcp and
lean4-skills, with the largest gains in signature quality and human
readability. These results suggest that process-guided refactoring can improve
the structure of verified proof artifacts without optimizing directly for proof
length.
","absKo":"생성된 formal proof는 종종 컴파일되지만, 읽기 어렵고 유지보수와 재사용이 어렵습니다. 우리는 post-generation refactoring 문제를 연구합니다. 즉, 검증된 proof가 주어졌을 때 같은 theorem에 대해 더 잘 구조화된 검증된 proof artifact를 생성하는 문제입니다. 우리는 이 작업을 후보 proof fragment 추출, helper declaration 설계, 추출 및 설계된 component 증명, 그리고 검증된 helper를 사용해 원래 proof를 복구하는 과정으로 분해하는 agentic framework인 $\\textbf{Proof-Refactor}$를 소개합니다. 이 시스템은 Claude Code, lean-lsp-mcp, 맞춤형 lean_extract tool, 그리고 fragment selection과 helper design을 위한 independent-context 외부 지원을 결합합니다. PutnamBench와 Putnam2025에서 생성된 Lean proof에 대해, Proof-Refactor는 Claude Code와 lean-lsp-mcp 및 lean4-skills를 사용하는 baseline보다 LLM-as-a-judge rubric-based refactoring score를 향상시켰으며, 가장 큰 개선은 signature quality와 human readability에서 나타났습니다. 이러한 결과는 process-guided refactoring이 proof length를 직접 최적화하지 않으면서도 검증된 proof artifact의 구조를 개선할 수 있음을 시사합니다.","link":"https://openreview.net/forum?id=FjD3rZPEET"},{"id":"i9MTMRHHG7","en":"Intent-aligned Formal Specification Synthesis via Traceable Refinement","ko":"추적 가능한 refinement를 통한 intent-aligned formal specification 합성","authors":"Zhe Ye, Aidan Z.H. Yang, Huangyuan Su, Zhenyu Liao, Samuel Tenka, Zhizhen Qin, Udaya Ghai, Dawn Song, Soonho Kong","abs":"Large language models are increasingly used to generate code from natural language, but ensuring correctness remains challenging. Formal verification offers a principled way to obtain such guarantees by proving that a program satisfies a formal specification. However, specifications are frequently missing in real-world codebases, and writing high-quality specifications remains expensive and expertise-intensive. We present VeriSpecGen, a traceable refinement framework that synthesizes intent-aligned specifications in Lean through requirement-level attribution and localized repair. VeriSpecGen decomposes natural language into atomic requirements and generates requirement-targeted tests with explicit traceability maps to validate generated specifications. When validation fails, traceability maps attribute failures to specific requirements, enabling targeted clause-level repairs. VeriSpecGen achieve 86.6% on VERINA SpecGen task using Claude Opus 4.5, improving over baselines by up to 31.8 points across different model families and scales. Beyond inference-time gains, we generate 343K training examples from VeriSpecGen refinement trajectories and demonstrate that training on these trajectories substantially improves specification synthesis by 62-106% relative and transfers gains to general reasoning abilities.
","absKo":"Large language models는 자연어로부터 코드를 생성하는 데 점점 더 많이 사용되고 있지만, correctness를 보장하는 일은 여전히 어렵다. Formal verification은 프로그램이 formal specification을 만족함을 증명함으로써 이러한 보장을 얻는 원칙적 방법을 제공한다. 그러나 실제 codebase에서는 specification이 자주 누락되어 있고, 고품질 specification을 작성하는 일은 여전히 비용이 크고 전문성이 많이 요구된다. 우리는 requirement-level attribution과 localized repair를 통해 intent-aligned specification을 Lean에서 합성하는 traceable refinement framework인 VeriSpecGen을 제시한다. VeriSpecGen은 자연어를 atomic requirement로 분해하고, 생성된 specification을 검증하기 위해 explicit traceability map을 갖는 requirement-targeted test를 생성한다. validation이 실패하면 traceability map이 실패를 특정 requirement에 귀속시켜 clause-level repair를 정밀하게 수행할 수 있게 한다. VeriSpecGen은 Claude Opus 4.5를 사용해 VERINA SpecGen task에서 86.6%를 달성했으며, 다양한 model family와 scale에서 baseline 대비 최대 31.8 point까지 개선했다. inference-time 향상에 그치지 않고, 우리는 VeriSpecGen refinement trajectory로부터 343K개의 training example을 생성했고, 이러한 trajectory로 학습하면 specification synthesis가 상대적으로 62-106%까지 크게 향상되며 일반 reasoning ability로도 이득이 전이됨을 보였다.","link":"https://openreview.net/forum?id=i9MTMRHHG7"},{"id":"XwlOR3nm0F","en":"Joint Consistency: A Unified Test-Time Aggregation Framework via Energy Minimization","ko":"공동 일관성: 에너지 최소화를 통한 통합 테스트 시점 집계 프레임워크","authors":"Yunzhen Yao, Hongye Wang, Yahong Wang, Michael Gastpar, Bo Jiang, Lie He","abs":"This paper studies test-time aggregation, an approach that generates multiple reasoning traces and aggregates them into a final answer. Most existing methods rely on evaluation signals collected from candidate traces in isolation or answer frequencies, while ignoring comparative interactions among candidates. We propose *Joint Consistency* (JC), formulated as a constrained Ising-type energy minimization problem, where independent evaluation signals act as external fields and pairwise comparisons act as interactions. JC provides a unified framework for test-time aggregation that subsumes existing voting and weighted aggregation methods as special cases. Our construction of the interaction matrix leverages LLM-as-a-judge comparisons, and admits a theoretical interpretation under answer-level homogeneity assumptions. Moreover, we develop an efficient approximation strategy that makes interaction modeling practical for large-scale test-time aggregation. Experiments on math and code reasoning benchmarks show that JC consistently outperforms existing baselines across tasks, judge models, trace budgets, and trace-generation settings.
","absKo":"이 논문은 test-time aggregation을 연구한다. 이는 여러 reasoning trace를 생성하고 이를 최종 답으로 집계하는 접근법이다. 기존의 대부분 방법은 후보 trace를 개별적으로부터 수집한 evaluation signal이나 answer frequency에 의존하는 반면, 후보들 사이의 비교적 상호작용은 무시한다. 우리는 *Joint Consistency* (JC)를 제안하는데, 이는 제약된 Ising-type energy minimization problem으로 정식화되며, 독립적인 evaluation signal은 external field로, pairwise comparison은 interaction으로 작용한다. JC는 기존의 voting 및 weighted aggregation 방법을 특수한 경우로 포함하는 test-time aggregation의 통합 프레임워크를 제공한다. interaction matrix의 구성은 LLM-as-a-judge 비교를 활용하며, answer-level homogeneity assumption 하에서 이론적 해석도 가능하다. 더 나아가, 대규모 test-time aggregation에서도 interaction modeling이 실용적이 되도록 하는 효율적인 approximation strategy를 개발한다. 수학 및 코드 reasoning benchmark에서의 실험은 JC가 task, judge model, trace budget, trace-generation setting 전반에 걸쳐 기존 baseline을 일관되게 능가함을 보여준다.","link":"https://openreview.net/forum?id=XwlOR3nm0F"},{"id":"a4idI3jLJn","en":"MechMath: Sorrifier-Driven Formal Decomposition Workflow for Automated Theorem Proving","ko":"MechMath: 자동 정리 증명을 위한 Sorrifier 기반 형식 분해 워크플로우","authors":"Ruichen Qiu, Yichuan Cao, Junqi Liu, Dakai Guo, Xiao-Shan Gao, Lihong Zhi, Ruyong Feng","abs":"Recent advances in large language models (LLMs) and LLM-based agents have substantially improved the capabilities of automated theorem proving. However, for problems that require complex mathematical reasoning, current systems rarely succeed on the first try and must repeatedly modify their proof strategies. Existing approaches for handling failed attempts typically either iteratively fix errors within the proof or discard the entire proof and regenerate it from scratch. The former leads to progressively longer contexts, which progressively degrade the model's ability to attend to the remaining unresolved subproblems, while the latter is inefficient, as it may abandon mostly correct reasoning due to localized errors. To address this dilemma, we propose _MechMath_, a novel agent system that employs a sorrifier-driven formal decomposition strategy. By leveraging the `sorry` placeholder in Lean to precisely isolate unresolved subgoals while preserving the surrounding verified proof structure, MechMath extracts each failed subproblem into a clean, self-contained context and resolves it independently. This avoids both the waste of full regeneration and the excessive context length induced by repeated repairs.
Experimental results on challenging mathematical competition benchmarks, including IMO 2025, Putnam 2025, miniF2F, and a subset of ProverBench, demonstrate that our agent achieves significant advantages in proving efficiency.
","absKo":"대규모 언어 모델(LLM)과 LLM 기반 agent의 최근 발전은 자동 정리 증명(automated theorem proving)의 능력을 크게 향상시켰다. 그러나 복잡한 수학적 추론을 요구하는 문제에서는 현재 시스템이 첫 시도에서 성공하는 경우가 드물며, 증명 전략을 반복적으로 수정해야 한다. 실패한 시도를 처리하는 기존 접근법은 대체로 증명 내부의 오류를 반복적으로 수정하거나, 전체 증명을 버리고 처음부터 다시 생성하는 방식이다. 전자는 점점 더 긴 context를 초래하여, 아직 해결되지 않은 나머지 subproblem에 모델이 주의를 기울이는 능력을 점차 저하시킨다. 반면 후자는 국소적인 오류 때문에 거의 올바른 추론까지 포기할 수 있어 비효율적이다. 이러한 딜레마를 해결하기 위해, 우리는 _MechMath_를 제안한다. _MechMath_는 sorrifier-driven formal decomposition strategy를 사용하는 새로운 agent system이다. `sorry` placeholder를 Lean에서 활용하여 주변의 검증된 proof structure는 보존한 채 미해결 subgoal을 정확히 분리함으로써, MechMath는 각 실패한 subproblem을 깔끔하고 자기완결적인 context로 추출해 독립적으로 해결한다. 이는 전체 재생성의 낭비와 반복적 수리로 인해 유발되는 과도한 context length를 모두 피한다.\nIMO 2025, Putnam 2025, miniF2F, ProverBench의 일부를 포함한 까다로운 수학 경진 benchmark에서 수행한 실험 결과, 우리의 agent가 증명 효율성에서 유의미한 우위를 보임을 확인했다.","link":"https://openreview.net/forum?id=a4idI3jLJn"},{"id":"I8t5C1vYMR","en":"Formalizing Scarf, Brouwer, and Nash in Lean","ko":"Lean에서 Scarf, Brouwer, Nash 형식화하기","authors":"Lyu Yuwei, Li Kai","abs":"We formalize in Lean 4 a complete combinatorial route from Scarf's theorem to Brouwer's fixed point theorem and to the existence of mixed Nash equilibria in finite games. The development follows Ivanov's indexed-order formulation of Scarf's theorem, formalizes the room--door incidence structure and parity argument, instantiates the theorem on finite grids of the standard simplex, and carries out the compactness and continuity argument needed to obtain a fixed point. We then extend the result to finite products of simplices by an explicit embedding--projection construction and use this product theorem to prove mixed Nash equilibrium existence via the Nash map. As a secondary by-product, we derive BrouwerBench, a preliminary 80-item Lean-grounded benchmark for probing proof-structure understanding within this single formal development.
","absKo":"우리는 Lean 4에서 Scarf's theorem에서 Brouwer's fixed point theorem을 거쳐 유한 게임에서 mixed Nash equilibrium의 존재에 이르는 완전한 조합론적 경로를 형식화한다. 이 전개는 Ivanov의 indexed-order formulation of Scarf's theorem을 따르며, room--door incidence structure와 parity argument를 형식화하고, standard simplex의 finite grid 위에서 정리를 구체화하며, fixed point를 얻기 위해 필요한 compactness 및 continuity argument를 수행한다. 이어서 명시적 embedding--projection construction을 통해 결과를 simplex의 finite product로 확장하고, Nash map을 이용해 이 product theorem으로부터 mixed Nash equilibrium 존재를 증명한다. 부차적인 산출물로, 우리는 이 단일 formal development 내에서 proof-structure 이해를 탐색하기 위한 예비 80개 항목의 Lean-grounded benchmark인 BrouwerBench를 도출한다.","link":"https://openreview.net/forum?id=I8t5C1vYMR"},{"id":"khkDinsubG","en":"Solving Is Not Drawing: A Benchmark for Diagrammatic Reasoning in Olympiad Geometry","ko":"풀이는 그림 그리기가 아니다: Olympiad 기하의 도형 추론 benchmark","authors":"Hsien Xin Peng, Anthony Kim, Alvin Li, Calvin Supasanya, Shivank Garg, Kevin Zhu","abs":"Foundation models such as GPT and Claude now solve olympiad-level mathematics with remarkable proficiency, so much so that geometry problem solving has become a standard proxy for their mathematical reasoning. Yet solving a geometry problem and drawing the figure it depends on are not the same skill: progress often hinges on a faithful diagram with the right auxiliary constructions and incidences, and it is unclear that a model which reasons its way to the answer can also produce one. A growing collection of benchmarks, including MathVista, and MathVerse, measures whether models reach the correct answer, but to our knowledge, none isolate the distinct ability to construct the diagram itself, leaving this capability unmeasured. We introduce an open-source benchmark that targets this gap: 954 self-contained olympiad geometry problems, with a 297-problem hard subset, each paired with its solution and a human-authored, high-fidelity diagram in renderable Asymptote code, together with a suite of text-, code-, image-, VLM-, and constraint-based metrics for what we term diagrammatic reasoning. Evaluating current foundation models reveals a pronounced gap between solving and drawing: their diagrams are markedly less faithful, with an average compile success rate of only 36.14\\%. Strong mathematical reasoning, we find, does not imply the ability to construct accurate geometric diagrams. Our benchmark and dataset can be accessed at \\url{https://huggingface.co/datasets/max98765/hard_geometry_problems_with_diagrams}.
","absKo":"GPT와 Claude 같은 foundation model은 이제 올림피아드 수준의 수학 문제를 놀라운 수준으로 해결할 수 있게 되었고, 그 정도가 매우 인상적이어서 기하 문제 해결은 이들의 수학적 추론을 측정하는 표준 proxy가 되었다. 그러나 기하 문제를 푸는 일과 그 문제에 의존하는 도형을 그리는 일은 같은 능력이 아니다. 문제 해결의 진전은 종종 올바른 보조 작도와 incidence를 갖춘 충실한 diagram에 달려 있으며, 모델이 추론을 통해 답에 도달할 수 있다고 해서 그것을 실제로 그려낼 수 있는지는 분명하지 않다. MathVista와 MathVerse를 포함한 점점 더 많은 benchmark가 모델이 정답에 도달하는지를 측정하고 있지만, 우리가 아는 한 diagram 자체를 구성하는 별개의 능력을 고립시켜 측정하는 것은 없어서, 이 능력은 아직 평가되지 않고 있다. 우리는 이 공백을 겨냥한 open-source benchmark를 소개한다. 이 benchmark는 954개의 self-contained 올림피아드 기하 문제와 297문제로 이루어진 hard subset을 포함하며, 각 문제는 해답과 함께 render 가능한 Asymptote code로 작성된 인간 저자의 high-fidelity diagram이 짝지어져 있다. 또한 우리가 diagrammatic reasoning이라 부르는 것을 평가하기 위한 text-, code-, image-, VLM-, 그리고 constraint-based metric suite도 함께 제공한다. 현재의 foundation model을 평가한 결과, 문제를 푸는 능력과 도형을 그리는 능력 사이에 뚜렷한 격차가 드러났다. 이들의 diagram은 현저히 덜 충실했으며, 평균 compile success rate는 고작 36.14\\%였다. 강한 수학적 추론 능력이 정확한 기하 diagram을 구성하는 능력을 의미하지는 않는다는 점을 우리는 확인했다. 우리의 benchmark와 dataset은 \\url{https://huggingface.co/datasets/max98765/hard_geometry_problems_with_diagrams}에서 접근할 수 있다.","link":"https://openreview.net/forum?id=khkDinsubG"},{"id":"QEyrAmMDQP","en":"Agentic Numeric Optimization for Nutrition Planning","ko":"영양 계획을 위한 agentic 수치 최적화","authors":"Kritik Soman","abs":"We introduce Agentic Numeric Optimization (ANO), a framework for nutrition planning that combines a Large Language Model (LLM) orchestrator with a numeric optimizer for meal selection and quantity assignment. Given a free-text user profile query, ANO computes dietary targets, retrieves matching ingredients from the OpenNutrition dataset, builds a structured diet specification, and calls the optimizer to assign ingredient quantities. To measure the benefit of solver-backed planning, we compare ANO against both a Baseline Agent (BA), which shares the same target-computation and retrieval tools but relies on iterative reasoning guided by a nutrient calculator, and a deterministic No-LLM baseline that uses fixed templates and heuristics with the same optimizer.
We evaluate all three planners on synthetically generated benchmarks based on the Canada Health Dietary Reference Intakes (DRI) and MyFitnessPal (MFP) style nutrition targets. Relative to BA, ANO substantially improves calorie adherence: on DRI, the share of profiles within 10 kcal improves from 9.0\\% to 79.5\\%, while on MFP it improves from 3.1\\% to 78.0\\%; the share above ~100 kcal falls from 74.8\\% to 6.8\\% on DRI and from 79.7\\% to 6.8\\% on MFP. While the No-LLM baseline is numerically stronger on several bins, and BA is stronger on palatability, ANO is competitive on cuisine alignment.
","absKo":"우리는 Agentic Numeric Optimization(ANO)을 소개한다. 이는 Large Language Model(LLM) orchestrator와 수치 optimizer를 결합하여 meal selection과 quantity assignment를 수행하는 nutrition planning framework이다. 자유 형식의 사용자 profile query가 주어지면, ANO는 dietary target을 계산하고, OpenNutrition dataset에서 일치하는 ingredient를 검색하며, 구조화된 diet specification을 구축하고, optimizer를 호출하여 ingredient quantity를 할당한다. solver-backed planning의 이점을 측정하기 위해, 우리는 ANO를 두 가지와 비교한다. 하나는 동일한 target computation과 retrieval tool을 공유하지만 nutrient calculator로 유도되는 iterative reasoning에 의존하는 Baseline Agent(BA)이고, 다른 하나는 동일한 optimizer를 사용하되 고정 템플릿과 heuristic을 사용하는 deterministic No-LLM baseline이다.\n우리는 Canada Health Dietary Reference Intakes(DRI)와 MyFitnessPal(MFP) 스타일 nutrition target을 바탕으로 synthetically generated benchmark에서 세 planner를 평가한다. BA와 비교했을 때, ANO는 calorie adherence를 크게 개선한다. DRI에서는 10 kcal 이내에 들어오는 profile 비율이 9.0\\%에서 79.5\\%로 향상되었고, MFP에서는 3.1\\%에서 78.0\\%로 향상되었다. 약 100 kcal를 초과하는 비율은 DRI에서 74.8\\%에서 6.8\\%로, MFP에서 79.7\\%에서 6.8\\%로 감소했다. No-LLM baseline이 몇몇 bin에서는 수치적으로 더 강하고 BA가 palatability에서는 더 강하지만, ANO는 cuisine alignment에서 경쟁력 있는 성능을 보인다.","link":"https://openreview.net/forum?id=QEyrAmMDQP"},{"id":"ThRTOiWkgc","en":"AI Coding Benchmarks Need Proofs, Not Just Tests","ko":"AI 코딩 벤치마크에는 테스트만이 아니라 증명이 필요하다","authors":"Daneshvar Amrollahi, Mahyar Karimi, Brando Miranda, Leni Aniva, Chuyue Sun, Clark Barrett, Sanmi Koyejo","abs":"This paper argues that AI coding benchmarks need
proof-based evaluation, not just passing tests. As frontier LLMs saturate
test-based benchmarks, the signal they provide about code
correctness degrades: a finite test suite cannot distinguish
correct code from merely plausible code, and no finite curation
effort can turn test passing into a general guarantee of semantic
correctness. Proof-based evaluation, where each
correctness claim is backed by a machine-checkable witness against
an explicit formal specification, is the strongest practical oracle
we know for moving beyond sampled behavioral checks. The window may be narrow:
if benchmark targets shape training, then test-only leaderboards
risk reinforcing code generation without corresponding
proof-generation capability. Our argument rests on three planks: a structural
argument that scaling tests cannot close the correctness gap,
empirical evidence from two Lean~4 benchmarks under two frontier
models, and a hand-formalized case-study grid drawn from SWE-Bench.
","absKo":"이 논문은 AI coding benchmark가 단순한 test 통과가 아니라 proof-based evaluation을 필요로 한다고 주장한다. 최전선 LLM이 test-based benchmark를 포화시키면서, 그들이 code correctness에 대해 제공하는 신호는 점점 약해진다. 유한한 test suite만으로는 올바른 코드와 그럴듯할 뿐인 코드를 구별할 수 없고, 아무리 큰 curation effort를 들여도 test 통과를 semantic correctness에 대한 일반적 보증으로 바꿀 수는 없다. correctness claim 하나하나가 명시적 formal specification에 대한 machine-checkable witness로 뒷받침되는 proof-based evaluation은, sampled behavioral check를 넘어서는 데 우리가 아는 가장 강력한 practical oracle이다. 다만 그 창은 좁을 수 있다. benchmark target이 training shape를 결정한다면, test-only leaderboard는 code generation을 강화하면서 대응하는 proof-generation capability는 뒷받침하지 못할 위험이 있다. 우리의 논지는 세 가지 축에 기반한다: test를 확장한다고 correctness gap을 메울 수 없다는 구조적 논증, 두 개의 frontier model 아래에서 두 개의 Lean~4 benchmark로 얻은 empirical evidence, 그리고 SWE-Bench에서 가져온 hand-formalized case-study grid이다.","link":"https://openreview.net/forum?id=ThRTOiWkgc"},{"id":"rlWpAywUII","en":"Agentic Proving for Program Verification","ko":"프로그램 검증을 위한 agentic proving","authors":"Alessandro Sosso, Akhil Arora, Bas Spitters","abs":"Agentic systems have recently emerged as state-of-the-art approaches for automated theorem proving in formal mathematics. To assess how far these capabilities extend to program verification, we evaluate Claude Code in an agentic proving framework on CLEVER, a Lean 4 benchmark for verifiable code generation. Our results show that Claude generates arguably valid specifications for 98.8% of problems (with 81.3% also accepted by CLEVER's isomorphism-based scoring on the correct portion of the benchmark), certifies implementations against correct ground-truth specifications for 87.5% of problems, and reaches a 98.1% success rate on the end-to-end program generation and verification pipeline over entries with self-consistent premises. Across all stages, Claude further provides high-quality feedback on its own attempts (as confirmed under manual review), identifying underlying causes of failure and lingering bugs in the dataset. These findings highlight a growing mismatch between the difficulty of existing program verification benchmarks and the capabilities of modern agentic provers, and point to the need for more rigorous, bug-resilient evaluation methodologies, and in particular for alternatives to isomorphism-based scoring of generated specifications. More broadly, our results provide empirical evidence that tight compiler-in-the-loop agentic paradigms are currently the most effective approach for foundational program verification.
","absKo":"Agentic system은 최근 formal mathematics에서 자동 theorem proving을 위한 최첨단 접근으로 부상했다. 이 능력이 program verification까지 얼마나 확장되는지 평가하기 위해, 우리는 verifiable code generation을 위한 Lean 4 benchmark인 CLEVER에서 agentic proving framework를 사용해 Claude Code를 평가했다. 결과는 Claude가 문제의 98.8%에 대해 아마도 유효한 specification을 생성하고(이 중 81.3%는 benchmark의 올바른 부분에 대해 CLEVER의 isomorphism-based scoring도 통과), 87.5%의 문제에서 올바른 ground-truth specification에 대해 implementation을 certifiy하며, self-consistent premise를 가진 항목들에 대해서는 end-to-end program generation and verification pipeline에서 98.1%의 성공률에 도달함을 보여준다. 모든 단계에서 Claude는 자신의 시도에 대해 고품질 피드백을 추가로 제공했으며(수동 검토로 확인됨), 실패의 근본 원인과 데이터셋에 남아 있는 버그를 식별했다. 이러한 결과는 기존 program verification benchmark의 난이도와 현대 agentic prover의 능력 사이에 커지고 있는 불일치를 부각하며, 더 엄격하고 bug-resilient한 evaluation methodology의 필요성, 특히 생성된 specification에 대한 isomorphism-based scoring의 대안 필요성을 제기한다. 더 넓게 보면, 우리의 결과는 compiler-in-the-loop를 강하게 결합한 agentic paradigm이 현재 foundational program verification에 가장 효과적인 접근임을 실증적으로 보여준다.","link":"https://openreview.net/forum?id=rlWpAywUII"},{"id":"h9NkujtFI6","en":"Self-Improving Language Models with Bidirectional Evolutionary Search","ko":"양방향 진화 탐색을 이용한 자기개선 언어 모델","authors":"Guowei Xu, Zhenting Qi, Huangyuan Su, Weirui Ye, Himabindu Lakkaraju, Sham M. Kakade, Yilun Du","abs":"Search has been proposed as an effective method for self-improving language models and agentic systems, both for post-training sample generation and for inference. However, widely used methods such as best-of-N sampling and tree search face two fundamental limitations: they are guided by sparse verification signals, and they construct candidates primarily through autoregressive expansion, restricting exploration to regions with substantial model probability mass. To address these, we propose Bidirectional Evolutionary Search (BES), a search framework that couples forward candidate evolution with backward goal decomposition. In the forward search, BES augments standard expansion with evolution operators that recombine partial trajectories to generate candidates that are difficult to obtain from a single model rollout. In the backward search, BES recursively decomposes the original task into checkable subgoals, producing dense intermediate feedback that guides forward search. We provide theoretical motivation showing that candidates generated by expansion-only search are confined to a narrow entropy shell while evolutionary operators can escape it, and that backward search can exponentially reduce the number of required samples to find a correct answer. Experiments show that on challenging post-training tasks where mainstream post-training algorithms fail to improve, BES enables consistent gains, and on three open problem solving benchmarks at inference time, BES outperforms existing open-source frameworks in both average and best-case performance.
","absKo":"Search는 post-training sample generation과 inference 모두에서 language model과 agentic system의 self-improvement를 위한 효과적인 방법으로 제안되어 왔다. 그러나 best-of-N sampling과 tree search 같은 널리 쓰이는 방법은 두 가지 근본적 한계를 가진다. 첫째, sparse verification signal에 의해 안내되고, 둘째, 후보를 주로 autoregressive expansion을 통해 구성하므로 탐색이 model probability mass가 큰 영역으로 제한된다. 이를 해결하기 위해 우리는 forward candidate evolution과 backward goal decomposition을 결합한 search framework인 Bidirectional Evolutionary Search(BES)를 제안한다. forward search에서 BES는 표준 expansion에 partial trajectory를 재조합하여 단일 model rollout으로는 얻기 어려운 candidate를 생성하는 evolution operator를 추가한다. backward search에서는 원래 task를 점검 가능한 subgoal로 재귀적으로 분해하여, forward search를 안내하는 조밀한 중간 feedback을 생성한다. 우리는 expansion-only search로 생성된 candidate가 좁은 entropy shell에 갇히는 반면 evolutionary operator는 이를 벗어날 수 있으며, backward search는 정답을 찾는 데 필요한 sample 수를 지수적으로 줄일 수 있음을 보이는 이론적 근거를 제시한다. 실험 결과, 주류 post-training algorithm이 개선에 실패하는 어려운 post-training task에서 BES는 일관된 향상을 가능하게 했고, inference time의 세 가지 open problem solving benchmark에서는 기존 open-source framework보다 average와 best-case performance 모두에서 우수한 성능을 보였다.","link":"https://openreview.net/forum?id=h9NkujtFI6"},{"id":"ivYmbqKuGh","en":"Probabilistic Chain-of-Thought: Sequential Bayesian Inference over Latent Reasoning Correctness","ko":"확률적 Chain-of-Thought: 잠재 추론 정합성에 대한 순차 베이지안 추론","authors":"Suriya Dev Saravanakumar, Ezra Matiwos Wesenie, Kishore Nuthalapati, Laksh Patel","abs":"Chain-of-thought prompting elicits multi-step reasoning from large language
models, yet existing approaches treat confidence at each step as an
independent signal. This independence assumption contradicts the autoregressive generation process, wherein errors at early steps propagate forward and corrupt downstream outputs, creating epistemic blind spots where a model appears locally certain but is globally unreliable, motivating sequence-level probabilistic inference as a principled foundation for reliable neural mathematical reasoning. We introduce \\emph{Probabilistic
Chain-of-Thought} (PCoT), which models a reasoning chain as a Hidden Markov
Model over latent step correctness and performs exact posterior inference via the forward-backward algorithm. PCoT yields a principled answer confidence
$C_{\\mathrm{final}}$ and a posterior-driven reflection policy that dominates raw-score threshold rules under the model. On MATH and GSM8K, PCoT reduces
Expected Calibration Error by $\\mathbf{74\\%}$ over the best heuristic
baseline and improves accuracy by $\\mathbf{14.7}$ percentage points at a
$2\\times$ token budget, while remaining robust across three confidence
estimators. Our analysis of \\emph{sequential contamination}---whereby a
single upstream error suppresses posteriors of all downstream steps---
provides a formal explanation for why point-wise step scoring is
insufficient for reliable mathematical reasoning evaluation.
","absKo":"chain-of-thought prompting은 large language model에서 다단계 추론을 유도하지만, 기존 접근은 각 단계의 confidence를 독립적인 신호로 취급합니다. 이 독립성 가정은 autoregressive generation process와 모순됩니다. 초기 단계의 오류가 뒤로 전파되어 downstream output을 오염시키며, 모델이 국소적으로는 확신해 보이지만 전역적으로는 신뢰할 수 없는 epistemic blind spot을 만들기 때문입니다. 이는 신뢰할 수 있는 neural mathematical reasoning을 위한 원칙적 토대로 sequence-level probabilistic inference를 동기부여합니다. 우리는 추론 chain을 latent step correctness에 대한 Hidden Markov Model로 모델링하고, forward-backward algorithm을 통해 exact posterior inference를 수행하는 \\emph{Probabilistic Chain-of-Thought} (PCoT)를 제안합니다. PCoT는 model 하에서 원칙적인 answer confidence $C_{\\mathrm{final}}$와 raw-score threshold rule을 능가하는 posterior-driven reflection policy를 제공합니다. MATH와 GSM8K에서 PCoT는 최선의 heuristic baseline 대비 Expected Calibration Error를 \\mathbf{74\\%} 줄이고, $2\\times$ token budget에서 정확도를 \\mathbf{14.7} percentage point 향상시키면서도 세 가지 confidence estimator 전반에서 견고함을 유지합니다. 단일 upstream error가 모든 downstream step의 posterior를 억제하는 \\emph{sequential contamination}에 대한 우리의 분석은 point-wise step scoring이 신뢰할 수 있는 수학적 추론 평가에 왜 충분하지 않은지에 대한 형식적 설명을 제공합니다.","link":"https://openreview.net/forum?id=ivYmbqKuGh"},{"id":"c2fEV0p1QP","en":"Counterexample to Majority Optimality in NICD with Erasures","ko":"erasure가 있는 NICD에서 다수 최적성에 대한 반례","authors":"Paata Ivanisvili, Xinyuan Xie","abs":"We asked GPT-5 Pro to look for counterexamples among a public list of open problems (the Simons ``Real Analysis in Computer Science'' collection). After several numerical experiments, it suggested a counterexample for the \\emph{Non-Interactive Correlation Distillation (NICD) with erasures} question: namely, a Boolean function on $5$ bits that achieves a strictly larger value of $\\mathbb{E}|f(z)|$ than the $5$-bit majority function when the erasure parameter is $p=0.40$. In this very short note we record the finding, state the problem precisely, give the explicit function, and verify the computation step by step \\emph{by hand} so that it can be checked without a computer. In addition, we show that for each fixed odd $n$ the majority is optimal (among unbiased Boolean functions) in a neighborhood of $p=0$. We view this as a ``little spark'' of an AI contribution in Theoretical Computer Science: while modern Large Language Models (LLMs) often assist with literature and numerics, here a concrete finite counterexample emerged.
","absKo":"우리는 Simons의 ``Real Analysis in Computer Science'' collection이라는 공개된 open problem 목록에서 counterexample을 찾도록 GPT-5 Pro에 요청했다. 여러 수치 실험 끝에, erasure parameter가 $p=0.40$일 때 \\emph{Non-Interactive Correlation Distillation (NICD) with erasures} 질문에 대해 5-bit majority function보다 더 큰 $\\mathbb{E}|f(z)|$ 값을 달성하는 Boolean function에 대한 counterexample을 제안했다. 이 매우 짧은 note에서는 그 발견을 기록하고, 문제를 정확히 진술하며, 명시적 함수를 제시하고, 컴퓨터 없이도 확인할 수 있도록 계산을 \\emph{by hand}로 단계별 검증한다. 더불어, 각 고정된 odd $n$에 대해 majority가 $p=0$ 근방에서 unbiased Boolean function들 중 optimal임을 보인다. 우리는 이를 Theoretical Computer Science에서의 AI 기여의 ``작은 불꽃''으로 본다. 현대의 Large Language Models(LLMs)는 종종 문헌 탐색과 수치 계산을 돕지만, 여기서는 구체적인 finite counterexample이 나타났다.","link":"https://openreview.net/forum?id=c2fEV0p1QP"},{"id":"9O8cX5mlxv","en":"Know Your Limits : On the Faithfulness of LLMs as Solvers and Autoformalizers in Legal Reasoning","ko":"한계를 알아야 한다: 법률 추론에서 해결기와 autoformalizer로서의 LLM 충실도에 대하여","authors":"Olivia Peiyu Wang, Sanna Wong-Toropainen, Daneshvar Amrollahi, Arush Garg, Tashvi Bansal, Ryan Bai, Leilani H. Gilpin","abs":"Large Language Models (LLMs) achieve strong performance on reasoning tasks, but whether this reflects faithful logical inference or heuristic approximation remains unclear. We study this question in legal entailment by comparing three paradigms, including pure LLM classification, LLM-based Formal Reasoning, and solver-based Formal Reasoning using the Z3 SMT solver, on a re-annotated subset of ContractNLI across five LLMs. Our re-annotation reveals a systematic and measurable gap between pragmatic legal interpretation and strict formal entailment, where a substantial proportion of legally sound inferences are not formally grounded without additional unstated assumptions. While introducing formal structure improves accuracy, with LLM-based Formal Reasoning achieving the highest benchmark performance, we show that this gain does not imply faithful reasoning. We identify three recurring failure modes: \\textit{scope laundering}, where LLMs report solver-inconsistent classifications without executing the underlying formal reasoning, producing conclusions that appear logically grounded but are not; \\textit{implicit constraint blindness}, where LLMs overlook logical constraints present in formal representations; and \\textit{program synthesis failures}, where LLMs generate incorrect Z3 code despite structured prompting. Critically, scope laundering persists across all models, raising serious concerns about the faithfulness of LLM-based formal reasoning as a proxy for symbolic execution. These results reveal a fundamental gap between benchmark accuracy and logical faithfulness.
","absKo":"Large Language Model (LLM)은 reasoning task에서 강한 성능을 보이지만, 이것이 충실한 logical inference인지 아니면 휴리스틱한 근사인지 여부는 여전히 불분명하다. 우리는 법적 entailment에서 이 질문을 연구하기 위해, 재주석한 ContractNLI subset을 대상으로 다섯 개의 LLM에 걸쳐 pure LLM classification, LLM-based Formal Reasoning, 그리고 Z3 SMT solver를 사용하는 solver-based Formal Reasoning의 세 가지 paradigm을 비교한다. 우리의 재주석은 실용적인 법적 해석과 엄격한 formal entailment 사이에 체계적이고 측정 가능한 간극이 있음을 보여주며, 상당수의 legally sound inference는 추가적인 암묵적 가정이 없으면 formal하게는 지지되지 않는다. formal structure를 도입하면 정확도는 향상되며, LLM-based Formal Reasoning이 benchmark에서 가장 높은 성능을 달성하지만, 이러한 향상이 충실한 reasoning을 의미하지는 않음을 우리는 보인다. 우리는 세 가지 반복적 failure mode를 식별한다. \\textit{scope laundering}은 LLM이 실제 formal reasoning을 실행하지 않고 solver와 일치하지 않는 classification을 보고하여, 논리적으로 근거가 있는 것처럼 보이지만 실제로는 그렇지 않은 결론을 내리는 경우를 말한다. \\textit{implicit constraint blindness}는 LLM이 formal representation에 존재하는 논리적 제약을 간과하는 경우다. \\textit{program synthesis failures}는 LLM이 구조화된 prompting에도 불구하고 잘못된 Z3 코드를 생성하는 경우다. 특히 scope laundering은 모든 모델에서 지속되며, symbolic execution의 대리(proxy)로서 LLM-based formal reasoning의 충실성에 심각한 우려를 제기한다. 이 결과는 benchmark 정확도와 logical faithfulness 사이에 근본적인 간극이 있음을 드러낸다.","link":"https://openreview.net/forum?id=9O8cX5mlxv"},{"id":"lkL0qnUv3p","en":"VeriBench: An End-to-End Formal Verification Benchmark for AI Coding Agents in Lean 4","ko":"VeriBench: Lean 4에서 AI 코딩 에이전트를 위한 end-to-end 형식 검증 벤치마크","authors":"Brando Miranda, Srivatsava Daruru, Ethan S Hersch, Zhanke Zhou, Allen Nie, Daneshvar Amrollahi, Leni Aniva, Iddah Mlauzi, Kirill Acharya, Elyas Obbad, Dilara Soylu, Weston Kirk, Zixiao Jolene Wang, Kai Fronsdal, Ying Li, Donald Poindexter Jr, Rakshit Kaushik, Shurui Liu, Yegor Denisov-Blanch, Steven Dillmann, Simon Obstbaum, Santiago Cuellar, John Sarracino, Rylan Schaeffer, Mo Tiwari, Donghyun Lee, Bo Han, Sanmi Koyejo","abs":"Test-based coding benchmarks have repeatedly required strengthening passes (HumanEval, HumanEval+, SWE-Bench, SWE-Bench Verified,SWE-Bench+), each release exposing test-invisible bugs in code that passed the prior suite.
This reflects a structural limit of finite testing: passing tests routinely leave behaviorally important bugs unobserved.
Existing formal-verification benchmarks (e.g., VERINA, FVAPPS, CLEVER, DafnyBench) provide stronger machine-checkable signals, but many
focus on proof completion, scaffolded verified generation, or isolated formal subtasks rather than the full path from developer-written
source code to a verified formal artifact.
We argue that trustworthy code-verification benchmarks must be end-to-end and agentic, scoring full Python-to-Lean
autoformalization under verifier feedback, and must aggregate verification stages conjunctively so that weakness at any stage
penalizes the composite while preserving smooth evaluation signal across models still far from the frontier.
We introduce VeriBench, an 896-task end-to-end Python-to-Lean4 autoformalization benchmark with a 614-task canonical core
(HumanEval-style programs, classical algorithms, Python standard-library functions, and security examples) and a 282-task
high-assurance-inspired set across 14 domains including cryptography, aerospace, medical devices, and compilers.
We score agents with the Smooth Conjunctive Score for Code verification (SCSC), a log-domain geometric mean over five per-task factors,
$\\mathrm{SCSC} = \\exp\\!\\bigl(\\tfrac{1}{5}\\sum_i \\log f_i\\bigr)$, combining (i) the agent's Lean file typechecks, (ii) the agent's
theorems verify without sorry, (iii) the agent's theorems semantically cover the curated reference theorems (an LLM-judge
estimate, not a kernel-checked entailment), and (iv,v) reference-side validity gates ($D_1, D_2$) ensuring the curated reference itself
compiles and proves cleanly before being used to score agents.
Under an agentic verifier-feedback loop, Codex, Claude Code, and Leanstral-v2 reach SCSC of only $0.42$, $0.36$, and $0.23$; iterative
self-correction adds $14.3\\%$ over single-shot baselines, yet judge-estimated theorem-to-reference coverage stalls uniformly at $\\leq
0.11$ across all three agents, a candidate specification gap corroborated by an LLM judge calibrated against five independent
human raters (Pearson $r=0.70$, $p<10^{-11}$).
VeriBench frames code-verification evaluation as end-to-end conjunctive grounding, surfacing specification synthesis as a
candidate bottleneck at least as severe as proof search and offering a measurable target for verifiable AI coding agents.
","absKo":"test-based coding benchmark는 반복적으로 강화된 pass를 요구해 왔다(HumanEval, HumanEval+, SWE-Bench, SWE-Bench Verified,SWE-Bench+). 각 release는 이전 suite를 통과한 code에서 test로는 보이지 않던 bug를 드러냈다.\n 이는 finite testing의 구조적 한계를 반영한다. 테스트를 통과하더라도 행동적으로 중요한 bug가 관찰되지 않은 채 남는 일이 흔하다.\n 기존의 formal-verification benchmark(예: VERINA, FVAPPS, CLEVER, DafnyBench)는 더 강력한 machine-checkable signal을 제공하지만, 많은 경우\n proof completion, scaffolded verified generation, 또는 고립된 formal subtask에 초점을 맞출 뿐, developer가 작성한\n source code에서 verified formal artifact로 가는 전체 경로를 다루지는 않는다.\n 우리는 신뢰할 수 있는 code-verification benchmark는 end-to-end이자 agentic이어야 하며, verifier feedback 하에서 full Python-to-Lean\n autoformalization을 평가하고, 검증 단계들을 conjunctive하게 집계하여 어떤 단계에서든 약점이 composite를 penalize하도록 하면서도 frontier에 아직 크게 못 미치는 model들에 대해 매끄러운 평가 신호를 보존해야 한다고 주장한다.\n 우리는 VeriBench를 소개한다. 이는 896-task end-to-end Python-to-Lean4 autoformalization benchmark로, 614-task canonical core\n (HumanEval-style program, classical algorithm, Python standard-library function, security example)와 14개 domain에 걸친 282-task\n high-assurance-inspired set을 포함하며, cryptography, aerospace, medical devices, compilers 등이 그 예이다.\n 우리는 Smooth Conjunctive Score for Code verification(SCSC)로 agent를 평가한다. 이는 task별 다섯 요인의 log-domain geometric mean으로,\n $\\mathrm{SCSC} = \\exp\\!\\bigl(\\tfrac{1}{5}\\sum_i \\log f_i\\bigr)$ 이며, (i) agent의 Lean file typecheck, (ii) agent의\n theorem이 sorry 없이 verify되는지, (iii) agent의 theorem이 curated reference theorem을 semantic하게 포괄하는지(LLM-judge\n 추정치이며 kernel-checked entailment은 아님), 그리고 (iv,v) reference-side validity gate($D_1, D_2$)를 결합하여 curated reference 자체가\n agent를 scoring하는 데 사용되기 전에 깨끗하게 compile되고 proof되는지 보장한다.\n agentic verifier-feedback loop 하에서 Codex, Claude Code, Leanstral-v2는 각각 SCSC 0.42, 0.36, 0.23에 도달한다. 반복적\n self-correction은 single-shot baseline 대비 14.3\\% 향상시키지만, judge가 추정한 theorem-to-reference coverage는 세 agent 모두에서 균일하게 $\\leq\n 0.11$에 머무르며, 이는 독립적인 다섯 명의 human rater에 대해 보정한 LLM judge와도 일치하는 candidate specification gap이다(Pearson $r=0.70$, $p<10^{-11}$).\n VeriBench는 code-verification evaluation을 end-to-end conjunctive grounding으로 재구성하며, specification synthesis를\n proof search만큼이나 심각한 candidate bottleneck으로 드러내고, verifiable AI coding agent를 위한 측정 가능한 target을 제공한다.","link":"https://openreview.net/forum?id=lkL0qnUv3p"},{"id":"Rh7mc7FdGN","en":"QEDBENCH: Quantifying the Alignment Gap in Automated Evaluation of University-Level Mathematical Proofs","ko":"QEDBENCH: 대학 수준 수학 증명의 자동 평가에서 정렬 격차 정량화","authors":"Santiago Gonzalez, Alireza Amiri Bavandpour, Peter Ye, Edward Zhang, Ruslans Aleksejevs, Todor Antić, Polina Baron, Sujeet Bhalerao, Shubhrajit Bhattacharya, Zachary Burton, John Byrne, Hyungjun Choi, Nujhat Ahmed Disha, Koppány István Encz, Yuchen Fang, Robert Joseph George, Ebrahim Ghorbani, Alan Goldfarb, Jing Guo, Meghal Gupta, Stefano Huber, Annika Kanckos, Minjung Kang, Hyun Jong Kim, Dino Lorenzini, Levi Lorenzo, Tianyi Mao, Giovanni Marzenta, Ariane M. Masuda, Lukas Mauth, Ana Mickovic, Andrés Miniguano-Trujillo, Antoine Moulin, Wenqi Ni, Tomos Parry, Kevin Ren, Hossein Roodbarani, Mathieu Rundström, Manjil Saikia, Detchat Samart, Rebecca Steiner, Connor Stewart, Dhara Thakkar, Jeffrey Tse, Vasiliki Velona, Yunhai Xiang, Sibel Yalçın, Jun Yan, Ji Zeng, Arman Cohan, Quanquan C. Liu","abs":"Self-evolving mathematical agents require reliable internal critics: a system that can generate conjectures or proofs but cannot verify them will optimize for persuasive mistakes. We introduce QEDBench, a benchmark and audit protocol for measuring whether frontier LLM judges align with expert mathematicians when grading upper-undergraduate and early-graduate natural-language proofs. QEDBench contains 272 proof problems across ten mathematical domains, more than 1,300 frontier-model-generated proofs, over 1,000 hours of expert human evaluation, and a fully crossed $7 \\times 5$ evaluator-solver matrix under both expert and course-specific rubrics. We find a systematic alignment gap: several LLM judges accept flawed proofs at high rates, with Llama 4 Maverick reaching a 74.8\\% false-positive leniency rate and evaluators such as Qwen 2.5 Max and Llama 4 Maverick showing significant positive correlation between score and LaTeX density. Additional mixed-effects, binary-decision, contamination, and rubric-ablation analyses rule out simple confounds such as same-family self-preference, score discretization, and underspecified prompts. Our results show that current LLM judges are not yet reliable autonomous verifiers for mathematical agents, and provide a concrete benchmark for training and auditing the next generation of proof evaluation systems.
","absKo":"자기 진화하는 수학적 agent는 신뢰할 수 있는 내부 critic을 필요로 한다. 추측이나 증명을 생성할 수는 있지만 이를 검증하지 못하는 시스템은 설득력 있는 실수를 최적화하게 된다. 우리는 QEDBench를 제안한다. 이는 frontier LLM judge가 상위 학부 및 초기 대학원 수준의 자연어 증명을 채점할 때 expert mathematician과 얼마나 정렬되는지를 측정하기 위한 benchmark이자 audit protocol이다. QEDBench는 10개 수학 분야에 걸친 272개의 증명 문제, 1,300개가 넘는 frontier-model-generated proofs, 1,000시간이 넘는 expert human evaluation, 그리고 expert 및 course-specific rubric 모두에서 수행된 완전 교차 $7 \\times 5$ evaluator-solver matrix를 포함한다. 우리는 체계적인 alignment gap을 발견했다. 여러 LLM judge가 결함이 있는 증명을 높은 비율로 수용했으며, Llama 4 Maverick은 74.8\\%의 false-positive leniency rate에 도달했고, Qwen 2.5 Max와 Llama 4 Maverick 같은 evaluator는 score와 LaTeX density 사이에 유의미한 양의 상관을 보였다. 추가적인 mixed-effects, binary-decision, contamination, rubric-ablation 분석은 같은 family 선호, score discretization, 불충분하게 명세된 prompt와 같은 단순한 혼란 요인을 배제한다. 우리의 결과는 현재의 LLM judge가 수학적 agent를 위한 신뢰할 수 있는 자율 검증기로는 아직 부족함을 보여주며, 차세대 proof evaluation system을 학습하고 감사하기 위한 구체적인 benchmark를 제공한다.","link":"https://openreview.net/forum?id=Rh7mc7FdGN"},{"id":"XiIVpZvJ2L","en":"Beyond the Frontier: Stochastic Backtracking for Efficient Test-Time Scaling","ko":"최전선을 넘어: 효율적인 test-time scaling을 위한 stochastic backtracking","authors":"Dao Tran, Duc Anh Le, Tien Ngoc Luu, Quan Pham, Tung Pham, Hung H Bui","abs":"Test-time scaling improves language-model reasoning by spending additional compute to explore multiple solution trajectories. The key challenge is to maximize accuracy while minimizing the total number of generated tokens during reasoning. Recent PRM-guided methods score intermediate prefixes to steer this search, but most are frontier-only: they keep only the current active prefixes and irreversibly prune or resample away the rest using noisy PRM scores. This can cause premature commitment, diversity collapse, and the loss of prefixes that still admit correct continuations. We introduce $\\textbf{stochastic backtracking over a persistent pool}$ of historical prefixes, allowing test-time compute to revisit previously generated states instead of only expanding the current frontier. To make this efficient, we propose two complementary mechanisms. $\\textbf{Subpool Selection}$ strengthens greedy PRM-guided search by applying Top-$N$
selection within random subpools, giving historical prefixes a chance to bypass over-scored frontier candidates. $\\textbf{Power Backtrack Sequential Monte Carlo}$ extends SMC-style resampling to the persistent pool using powered PRM scores and mixture-corrected weights. Across mathematical reasoning benchmarks and model scales, our methods consistently achieve higher accuracy per token count, and the same level of accuracy using only a fraction of the token count in comparison to strong PRM-guided baselines, demonstrating that persistent-pool stochastic backtracking provides a simple and effective way to improve the accuracy–token trade-off in test-time scaling.
","absKo":"Test-time scaling은 여러 solution trajectory를 탐색하기 위해 추가 compute를 사용함으로써 language-model reasoning을 개선한다. 핵심 과제는 reasoning 동안 생성되는 총 token 수를 최소화하면서 정확도를 최대화하는 것이다. 최근의 PRM-guided 방법들은 중간 prefix를 점수화해 이 탐색을 유도하지만, 대부분 frontier-only 방식이다. 현재 활성 prefix만 유지하고, noisy PRM score를 이용해 나머지는 되돌릴 수 없게 prune하거나 resample한다. 이는 premature commitment, diversity collapse, 그리고 여전히 올바른 continuation을 허용하는 prefix의 손실을 초래할 수 있다. 우리는 과거 prefix의 지속적 pool에 대한 $\\textbf{stochastic backtracking}$을 도입하여, test-time compute가 현재 frontier만 확장하는 대신 이전에 생성된 state를 다시 방문할 수 있게 한다. 이를 효율적으로 만들기 위해 두 가지 상보적 메커니즘을 제안한다. $\\textbf{Subpool Selection}$은 random subpool 내에서 Top-$N$ selection을 적용해 greedy PRM-guided search를 강화함으로써, historical prefix가 over-scored frontier candidate를 우회할 기회를 제공한다. $\\textbf{Power Backtrack Sequential Monte Carlo}$는 powered PRM score와 mixture-corrected weight를 사용해 persistent pool로 SMC-style resampling을 확장한다. 수학적 reasoning benchmark와 다양한 model scale 전반에서, 우리의 방법은 token count 대비 더 높은 accuracy를 일관되게 달성했으며, 강력한 PRM-guided baseline과 비교해 훨씬 적은 token count만으로도 동일한 수준의 accuracy를 얻었다. 이는 persistent-pool stochastic backtracking이 test-time scaling에서 accuracy–token trade-off를 개선하는 간단하고 효과적인 방법임을 보여준다.","link":"https://openreview.net/forum?id=XiIVpZvJ2L"},{"id":"5CrChyQ3Su","en":"VeriScale: Adversarial Test-Suite Scaling for Verifiable Code Generation","ko":"VeriScale: 검증 가능한 코드 생성을 위한 적대적 Test Suite 확장","authors":"Yifan Bai, Xiaoyang Liu, Zihao Mou, Guihong Wang, Jian Yu, Shuhan Xie, Yantao Li, Yangyu Zhang, Jingwei Liang, Tao Luo","abs":"As large language models (LLMs) are increasingly deployed for software engineering, constructing high-quality benchmarks is crucial for evaluating not just the functional correctness, but also the formal verifiability of generated code. However, existing benchmarks are limited by the quantity and quality of positive and negative test cases, leading to an overestimation of model capabilities in generating specifications and implementations. To address this, we propose VeriScale, a novel framework driven by the adversarial implementations.
It consists of two stages: test-suite expansion to construct diverse and challenging test cases, and test-suite reduction to distill them into compact yet discriminative suites. While VeriScale is general, we instantiate it on Verina to construct VerinaPlus, which expands the original test suites by over 83$\\times$, and VerinaLite, a lightweight 14$\\times$ variant. Our experiments across eight state-of-the-art LLMs demonstrate that VerinaPlus exposes substantial model weaknesses hidden by the original benchmark, evidenced by sharp score drops on both SpecGen and CodeGen tasks, whereas VerinaLite maintains this discriminative power at a fraction of the evaluation cost. The enhanced benchmarks and source code are publicly available at https://github.com/XiaoyangLiu-sjtu/VeriScale.
","absKo":"대규모 language model(LLM)이 software engineering에 점점 더 많이 배치됨에 따라, 고품질 benchmark를 구축하는 일은 생성된 code의 기능적 정답성뿐 아니라 형식적 검증 가능성까지 평가하는 데 매우 중요하다. 그러나 기존 benchmark는 positive 및 negative test case의 수와 품질이 제한적이어서, specification과 implementation을 생성하는 데 있어 model의 능력을 과대평가하게 된다. 이를 해결하기 위해 우리는 adversarial implementation에 의해 구동되는 새로운 framework인 VeriScale을 제안한다. \n이 framework는 두 단계로 구성된다. 첫째, test-suite expansion을 통해 다양하고 어려운 test case를 구성하고, 둘째, test-suite reduction을 통해 이를 작지만 판별력이 높은 suite으로 압축한다. VeriScale은 일반적이지만, 우리는 이를 Verina에 적용해 원래 test suite을 83$\\times$ 이상 확장한 VerinaPlus와, 더 가벼운 14$\\times$ 변형인 VerinaLite를 구축한다. 8개의 state-of-the-art LLM에 대한 실험에서, VerinaPlus는 원래 benchmark가 가리고 있던 model의 큰 약점을 드러냈으며, SpecGen과 CodeGen task 모두에서 점수가 크게 하락하는 것으로 확인되었다. 반면 VerinaLite는 평가 비용의 일부만으로도 이러한 판별력을 유지한다. 향상된 benchmark와 source code는 https://github.com/XiaoyangLiu-sjtu/VeriScale 에서 공개되어 있다.","link":"https://openreview.net/forum?id=5CrChyQ3Su"},{"id":"ESY5Eh5Kwo","en":"AgentPSO: Evolving Agent Reasoning Skill via Multi-agent Particle Swarm Optimization","ko":"AgentPSO: 멀티 에이전트 Particle Swarm Optimization을 통한 에이전트 추론 능력 진화","authors":"Hyunmin Hwang, Jaemin Kim, Choonghan Kim, Hangeol Chang, Jong Chul Ye","abs":"Multi-agent reasoning has shown promise for improving the problem-solving ability of large language models by allowing multiple agents to explore diverse reasoning paths.
However, most existing multi-agent methods rely on inference-time debate or aggregation, which can be vulnerable to incorrect peer influence and biased consensus.
Moreover, the agents themselves remain static, as their underlying reasoning skills do not evolve across tasks.
In this paper, we introduce \\textbf{AgentPSO}, a particle-swarm-inspired framework for evolving multi-agent reasoning skills.
AgentPSO treats each agent as a particle-like reasoner whose state is a natural-language skill and whose velocity is a semantic update direction,
iteratively guiding agents toward higher-performing skill configurations.
Across training iterations, each agent updates its skill by combining its previous velocity, personal-best skill, global-best skill, and a self-reflective direction derived from peer reasoning trajectories.
This enables agents to learn reusable reasoning behaviors by drawing on their own experience and on the strongest skills found by the population, without updating the parameters of the backbone language model.
Experiments on mathematical and general reasoning benchmarks show that AgentPSO improves over static single-agent skills and test-time-only multi-agent reasoning baselines.
The evolved skills further transfer across benchmarks and to another backbone model, suggesting that AgentPSO captures reusable reasoning procedures rather than merely optimizing benchmark-specific prompts.
Code is publicly available at https://github.com/HYUNMIN-HWANG/AgentPSO/.
","absKo":"다중 에이전트 reasoning은 여러 에이전트가 다양한 reasoning 경로를 탐색할 수 있게 함으로써 대형 language model의 문제 해결 능력을 향상시키는 데 유망함을 보여왔다.\n그러나 기존의 대부분의 multi-agent 방법은 inference-time debate 또는 aggregation에 의존하며, 이는 잘못된 peer influence와 편향된 consensus에 취약할 수 있다.\n더욱이 에이전트 자체는 정적으로 남아 있어, 그들의 근본적인 reasoning skill은 task 전반에 걸쳐 진화하지 않는다.\n이 논문에서는 다중 에이전트 reasoning skill의 진화를 위한 particle-swarm에서 영감을 받은 framework인 \\textbf{AgentPSO}를 소개한다.\nAgentPSO는 각 에이전트를 state가 natural-language skill이고 velocity가 semantic update direction인 particle-like reasoner로 취급하며,\n더 높은 성능의 skill configuration을 향해 에이전트들을 반복적으로 유도한다.\n훈련 iteration 전반에 걸쳐 각 에이전트는 이전 velocity, personal-best skill, global-best skill, 그리고 peer reasoning trajectory에서 도출된 self-reflective direction을 결합하여 자신의 skill을 업데이트한다.\n이를 통해 backbone language model의 parameter를 업데이트하지 않고도, 자신의 경험과 population에서 발견된 가장 강력한 skill을 활용하여 재사용 가능한 reasoning behavior를 학습할 수 있다.\n수학적 reasoning 및 일반 reasoning benchmark에서의 실험은 AgentPSO가 정적 single-agent skill 및 test-time-only multi-agent reasoning baseline보다 더 우수함을 보여준다.\n진화된 skill은 benchmark를 넘어 다른 backbone model로도 전이되며, AgentPSO가 단지 benchmark-specific prompt를 최적화하는 것이 아니라 재사용 가능한 reasoning procedure를 포착함을 시사한다.\n코드는 공개되어 있으며 https://github.com/HYUNMIN-HWANG/AgentPSO/ 에서 확인할 수 있다.","link":"https://openreview.net/forum?id=ESY5Eh5Kwo"},{"id":"EzgoVswq4a","en":"JURY-RL: Votes Propose, Proofs Dispose for Label-Free RLVR","ko":"JURY-RL: 표결이 제안하고 증명이 폐기하는 label-free RLVR","authors":"Xinjie Chen, Biao Fu, Wu Jing, Guoxin Chen, Xinggao Liu, Dayiheng Liu, Minpeng Liao","abs":"Reinforcement learning with verifiable rewards (RLVR) enhances reasoning in large language models (LLMs) but typically depends on human-annotated answers or curated reward specifications. Label-free alternatives such as majority voting or LLM-as-a-Judge remove this cost but introduce false positives that destabilize training. We introduce JURY-RL, a label-free RLVR framework that decouples answer proposal from reward disposal: rollouts matching the plurality-voted answer receive positive reward only when that answer is verified in Lean. When verification is inconclusive, ResZero (Residual-Zero) discards the unverified plurality and redistributes a zero-mean, variance-preserving signal over the residual answers, keeping the optimization gradient stable without reinforcing unverifiable consensus. Across three backbones trained on math data, JURY-RL outperforms label-free baselines on mathematical reasoning, transfers to code generation and general benchmarks, and surpasses a majority-vote baseline in the test-time RL (TTRL) setting; it matches supervised ground-truth training on pass@1 and beats it on pass@k and response diversity.
","absKo":"검증 가능한 보상을 사용하는 reinforcement learning(RLVR)은 large language model(LLM)의 reasoning을 향상시키지만, 일반적으로 human-annotated answer나 정제된 reward specification에 의존한다. majority voting이나 LLM-as-a-Judge 같은 label-free 대안은 이러한 비용을 제거하지만, training을 불안정하게 만드는 false positive를 유발한다. 우리는 answer proposal과 reward disposal을 분리하는 label-free RLVR framework인 JURY-RL을 제안한다. plurality-voted answer와 일치하는 rollout은 그 answer가 Lean에서 검증된 경우에만 positive reward를 받는다. verification이 inconclusive할 때, ResZero(Residual-Zero)는 검증되지 않은 plurality를 버리고 zero-mean, variance-preserving signal을 residual answer에 재분배하여, 검증 불가능한 consensus를 강화하지 않으면서 optimization gradient를 안정적으로 유지한다. math data로 학습된 세 가지 backbone 전반에서, JURY-RL은 mathematical reasoning에서 label-free baseline을 능가하고, code generation과 일반 benchmark로 전이되며, test-time RL(TTRL) setting에서 majority-vote baseline을 상회한다. 또한 pass@1에서는 supervised ground-truth training과 동등하고, pass@k와 response diversity에서는 이를 능가한다.","link":"https://openreview.net/forum?id=EzgoVswq4a"},{"id":"gn87KYz8xf","en":"KL for a KL: On-Policy Distillation with Control Variate Baseline","ko":"KL for a KL: control variate baseline을 사용한 on-policy distillation","authors":"Minjae Oh, Sangjun Song, Gyubin Choi, Yunho Choi, Yohan Jo","abs":"On-Policy Distillation (OPD) has emerged as a dominant post-training paradigm for large language models, especially for reasoning domains like mathematics. However, OPD remains unstable in practice due to the high gradient variance of its single-sample Monte Carlo estimator, and recipes for stable training are still immature. We propose vOPD (On-Policy Distillation with a control variate baseline), which casts OPD as policy-gradient RL and stabilizes it by introducing a control variate baseline—canonically a value function—from the RL literature. We show that the OPD value function admits a closed form as the per-token negative reverse KL divergence between the student and the teacher, available directly from the already-computed forward pass with no additional critic or inference. Existing stabilization methods either compute the full token-level reverse KL over the entire vocabulary, adding significant overhead, or restrict it to a top-k support, biasing the objective. vOPD instead preserves the lightweight single-sample estimator, subtracting the value function as a detached baseline to keep the gradient unbiased while reducing variance. Furthermore, we show that a top-k approximation of the baseline further lowers cost without compromising performance. Across mathematical and scientific reasoning, vOPD consistently outperforms vanilla OPD and matches the most expensive full-vocabulary baseline, offering an efficient stabilization of On-Policy Distillation through principled RL variance reduction.
","absKo":"On-Policy Distillation(OPD)은 특히 수학과 같은 reasoning domain에서 large language model을 위한 지배적인 post-training paradigm으로 부상했다. 그러나 OPD는 단일 샘플 Monte Carlo estimator의 높은 gradient variance 때문에 실제로는 여전히 불안정하며, 안정적인 학습을 위한 recipe도 아직 성숙하지 않았다. 우리는 vOPD(On-Policy Distillation with a control variate baseline)를 제안한다. 이는 OPD를 policy-gradient RL로 해석하고, RL 문헌의 control variate baseline, 전형적으로 value function을 도입하여 이를 안정화한다. 우리는 OPD의 value function이 student와 teacher 사이의 token별 negative reverse KL divergence로 닫힌 형태를 가지며, 추가 critic이나 inference 없이 이미 계산된 forward pass에서 직접 얻을 수 있음을 보인다. 기존 안정화 방법은 전체 vocabulary에 대해 token-level reverse KL을 모두 계산하여 상당한 오버헤드를 추가하거나, 이를 top-k support로 제한해 objective에 편향을 유발한다. 반면 vOPD는 가벼운 single-sample estimator를 유지하면서 value function을 detached baseline으로 빼 주어 gradient unbiased를 유지하고 variance를 줄인다. 더 나아가, baseline의 top-k approximation이 성능을 해치지 않으면서 비용을 더 낮춘다는 점도 보인다. 수학 및 과학적 reasoning 전반에서 vOPD는 vanilla OPD를 일관되게 능가하며, 가장 비싼 full-vocabulary baseline과도 견줄 만한 성능을 보이면서, 원리적으로 타당한 RL variance reduction을 통해 On-Policy Distillation을 효율적으로 안정화한다.","link":"https://openreview.net/forum?id=gn87KYz8xf"},{"id":"JhdK2Uc2fX","en":"Learning Verifiable Mathematical Laws for Scientific Agents via Graph-Hamiltonian World Models","ko":"Graph-Hamiltonian world model을 통한 과학 agent용 검증 가능한 수학 법칙 학습","authors":"Hrishi Sunder","abs":"Scientific agents need learned mathematical laws, not only next-state predictors. We study how an agent can learn a compact mathematical law, verify its invariants during deployment, and use it for intervention. The learned object is a graph-local Hamiltonian $H_G$: a known interaction graph decomposes the scalar energy into node and edge terms, and its gradients define dynamics through $f = J\\nabla H_G$. This representation yields mathematical verification conditions for planned rollouts, including symplecticity, Hamiltonian integrability, and energy drift. For finite linear Hamiltonian bases, law learning reduces to ridge regression in the graph-local Hamiltonian dimension $P_G = |V|p_v + |E|p_e$, giving a finite-horizon planning guarantee with statistical term $\\widetilde{O}(\\sqrt{P_G/n})$ and matching lower bounds. Experiments on graph-coupled oscillators and nonlinear pendula validate $n/P_G$ scaling, edge dependence, geometric verification, transition-only behavior, MPC intervention gains, and a minimal residual-guided refinement loop. Graph-Hamiltonian world models therefore provide verifiable learned laws as primitives for scientific agents.
","absKo":"과학적 에이전트에는 다음 상태 예측기뿐 아니라 학습된 수학적 법칙이 필요하다. 우리는 에이전트가 어떻게 압축된 수학적 법칙을 학습하고, 배포 중에 그 불변성을 검증하며, 이를 개입에 활용할 수 있는지 연구한다. 학습되는 대상은 graph-local Hamiltonian $H_G$이다. 알려진 interaction graph가 스칼라 에너지를 node term과 edge term으로 분해하며, 그 gradient가 $f = J\\nabla H_G$를 통해 dynamics를 정의한다. 이 표현은 계획된 rollout에 대해 symplecticity, Hamiltonian integrability, energy drift를 포함한 수학적 검증 조건을 제공한다. 유한한 linear Hamiltonian basis에 대해서는, 법칙 학습이 graph-local Hamiltonian 차원 $P_G = |V|p_v + |E|p_e$에서의 ridge regression으로 환원되며, 통계 항 $\\widetilde{O}(\\sqrt{P_G/n})$와 일치하는 lower bound를 갖는 finite-horizon planning guarantee를 제공한다. graph-coupled oscillator와 nonlinear pendulum 실험은 $n/P_G$ scaling, edge dependence, geometric verification, transition-only behavior, MPC intervention gain, 그리고 최소 residual-guided refinement loop를 검증한다. 따라서 Graph-Hamiltonian world model은 과학적 에이전트를 위한 primitive로서 검증 가능한 학습 법칙을 제공한다.","link":"https://openreview.net/forum?id=JhdK2Uc2fX"},{"id":"xmHP3UhGQ8","en":"CertJudge: Evaluating Lean Formal-Code With Falsifiable Properties","ko":"CertJudge: 반증 가능한 속성을 이용한 Lean 형식-코드 평가","authors":"Ethan S Hersch, Brando Miranda, Elyas Obbad, Srivatsava Daruru, Zhanke Zhou, Kirill Acharya, Sanmi Koyejo","abs":"LLM judges are increasingly used to evaluate AI-generated code, tests, theorems, and formal specifications. In our setting, a judge scores the quality of a candidate Lean 4 artifact relative to a gold reference, but validating each new judge, prompt, model, or threshold with fresh human ratings is expensive and does not scale. We ask whether this validation can be amortized through behavioral checks that are automatic and falsifiable. We propose CertJudge, a property-certification protocol for LLM judges of Lean~4 theorem and specification quality. Instead of treating human agreement as the only validation signal, CertJudge tests whether a judge behaves correctly under controlled perturbations measuring identity, bug monotonicity, specification monotonicity, and stability. These diagnostics are combined into a variance-aware trust index, TI_var which provides a summary of judge reliability rather than a universal evaluator constant. On a human-labeled validation suite, TI_var strongly predicts judge-level human alignment, reporting validation-set Spearman correlations of 0.833 (avg labels), 0.905 (pass1), and 0.738 (pass2). On VeriBench, we use the calibrated judge to rank theorem-generation methods, illustrating how a small human calibration set can support scalable judge selection. These results are validation-set calibration evidence, not a claim of universal reliability or deployment-time generalization.
","absKo":"LLM judge는 AI가 생성한 code, test, theorem, formal specification을 평가하는 데 점점 더 많이 사용된다. 우리의 설정에서 judge는 candidate Lean 4 artifact의 품질을 gold reference에 비해 점수화하지만, 새로운 judge, prompt, model, threshold를 매번 fresh human rating으로 검증하는 것은 비용이 많이 들고 확장성이 없다. 우리는 이 검증을 자동적이고 반증 가능한 behavioral check로 amortize할 수 있는지 묻는다. 우리는 Lean 4 theorem 및 specification 품질을 위한 LLM judge용 property-certification protocol인 CertJudge를 제안한다. 인간 일치를 유일한 검증 신호로 취급하는 대신, CertJudge는 identity, bug monotonicity, specification monotonicity, stability를 측정하는 controlled perturbation 하에서 judge가 올바르게 동작하는지를 검사한다. 이러한 진단은 분산을 고려한 trust index TI_var로 결합되며, 이는 universal evaluator constant가 아니라 judge 신뢰도의 요약치를 제공한다. 인간이 라벨링한 validation suite에서 TI_var는 judge 수준의 human alignment을 강하게 예측하며, validation-set Spearman correlation은 0.833(avg labels), 0.905(pass1), 0.738(pass2)였다. VeriBench에서는 이 calibrated judge를 사용해 theorem generation 방법을 순위화함으로써, 소규모 human calibration set이 확장 가능한 judge 선택을 어떻게 지원할 수 있는지 보여준다. 이러한 결과는 validation-set calibration evidence이며, universal reliability나 deployment-time generalization을 주장하는 것은 아니다.","link":"https://openreview.net/forum?id=xmHP3UhGQ8"},{"id":"xv4tZd9tPh","en":"From Table to Cell: Attention for Better Reasoning with TABALIGN","ko":"From Table to Cell: TABALIGN을 이용한 더 나은 추론을 위한 Attention","authors":"Tung Sum Thomas Kwok, Zeyong Zhang, Xinyu Wang, Chunhe Wang, Xiaofeng Lin, Hanwei Wu, Lei Ding, Guang Cheng, Zhijiang Guo","abs":"Multi-step LLM reasoning over structured tables fails because planning and execution share no explicit cell-grounding contract. Existing methods constrain the planner to a left-to-right factorization at odds with table permutation invariance, and score intermediate states by generated content alone, overlooking cell grounding. We conduct a pilot study showing that diffusion language models (DLMs) produce more human-aligned and permutation-stable cell attention on tables than autoregressive models, with a 40.2% median reduction in attention-AUROC variability under row reordering. Motivated by this, we propose TABALIGN, a planned table reasoning framework that operationalizes the contract. TABALIGN pairs a masked DLM planner, whose bidirectional denoising emits plan steps as binary cell masks, with TABATTN, a lightweight verifier trained on 1,600 human-verified attention standards to score each step by its attention overlap with the plan-designated mask. Across eight benchmarks covering table question answering and fact verification, TABALIGN improves average accuracy by 15.76 percentage points over the strongest open-source baseline at comparable 8B-class scale, with a matched-backbone ablation attributing 2.87 percentage points of this gain to the DLM planner over an AR planner on a fixed reasoner. Cleaner DLM plans also accelerate downstream reasoning execution by 44.64%.
","absKo":"구조화된 table에 대한 multi-step LLM reasoning이 실패하는 이유는 planning과 execution이 명시적인 cell-grounding contract를 공유하지 않기 때문이다. 기존 방법은 planner를 table permutation invariance와 어긋나는 left-to-right factorization으로 제한하고, 중간 state를 생성된 내용만으로 점수화하여 cell grounding을 간과한다. 우리는 pilot study를 통해 diffusion language model (DLM)이 autoregressive model보다 table에서 인간 정렬적이며 permutation-stable한 cell attention을 더 잘 생성함을 보였고, row reordering 하에서 attention-AUROC variability의 중앙값이 40.2% 감소함을 관찰하였다. 이에 착안하여, 우리는 이 contract를 실제로 동작시키는 planned table reasoning framework인 TABALIGN을 제안한다. TABALIGN은 bidirectional denoising이 plan step을 binary cell mask로 내보내는 masked DLM planner와, 1,600개의 human-verified attention standard로 학습된 lightweight verifier인 TABATTN을 결합하여, 각 step을 plan이 지정한 mask와의 attention overlap으로 점수화한다. table question answering과 fact verification을 포괄하는 8개 benchmark 전반에서, TABALIGN은 비슷한 8B급 scale에서 가장 강력한 open-source baseline 대비 평균 정확도를 15.76 percentage points 향상시켰으며, matched-backbone ablation은 고정된 reasoner에서 AR planner 대비 DLM planner가 이 향상의 2.87 percentage points를 담당함을 보여준다. 더 깨끗한 DLM plan은 downstream reasoning execution도 44.64% 가속한다.","link":"https://openreview.net/forum?id=xv4tZd9tPh"},{"id":"bRcMy0OTnl","en":"Faithful Autoformalization via Roundtrip Verification and Repair","ko":"왕복 검증과 수정을 통한 충실한 autoformalization","authors":"Daneshvar Amrollahi, Jerry Lopez, Clark Barrett","abs":"When an LLM formalizes natural language, how do we know the output is faithful?
We propose a roundtrip verification approach which does not require ground-truth annotations: formalize a statement, translate the result back to natural language, re-formalize, and use a formal tool to check logical equivalence.
When the two formalizations agree, this provides evidence of a faithful formalization.
When they disagree, a stage-level diagnosis localizes the error to a specific translation step, and a scoped repair operator attempts to correct that step.
We evaluate the framework on two statutory domains (the Texas Transportation Code and the Texas Parks and Wildlife Code) using two LLMs (Claude Opus~4.6 and GPT-5.2) with three repair baselines.
Diagnosis-guided scoped repair is the most effective method, with effectiveness contingent on the reliability of the diagnosis function.
Across both domains and both models, under our full repair system, rules that fail the equivalence check show 1.4$\\times$-2.5$\\times$ more NLI drift than rules that pass it.
","absKo":"LLM이 natural language를 formalize할 때, 출력이 faithful한지 어떻게 알 수 있는가?\n우리는 ground-truth annotation을 요구하지 않는 roundtrip verification 접근을 제안한다. 진술을 formalize하고, 그 결과를 다시 natural language로 번역한 뒤, 다시 formalize하고, formal tool을 사용해 logical equivalence를 검사한다.\n두 formalization이 일치하면, 이는 faithful formalization의 증거를 제공한다.\n불일치하면 stage-level diagnosis가 오류를 특정 번역 단계로 국소화하고, scoped repair operator가 그 단계를 수정하려고 시도한다.\n우리는 두 개의 statutory domain(Texas Transportation Code와 Texas Parks and Wildlife Code)에서 두 개의 LLM(Claude Opus~4.6과 GPT-5.2), 그리고 세 가지 repair baseline을 사용해 이 framework를 평가한다.\nDiagnosis-guided scoped repair가 가장 효과적인 방법이며, 그 효과성은 diagnosis function의 신뢰성에 달려 있다.\n두 domain과 두 model 전체에서, 우리의 full repair system 하에서는 equivalence check에 실패하는 rule이 통과하는 rule보다 1.4$\\times$-2.5$\\times$ 더 큰 NLI drift를 보인다.","link":"https://openreview.net/forum?id=bRcMy0OTnl"},{"id":"MWLIRDa4DC","en":"Foundry: Host-Owned Trust and Memory for Long-Horizon Agent Swarms","ko":"Foundry: 장기 에이전트 swarm을 위한 호스트 소유의 신뢰와 기억","authors":"Monishwaran Maheswaran, Leon Lakhani, Shu Liu, Yuqing Jian, Tianyi Zhang, Kurt Keutzer, James Zou, Aditya Akella, Ben Athiwaratkun, Chenfeng Xu","abs":"LLM-agent swarms can turn frontier models into discovery engines but fail when agents own the two states that determine progress: trusted evaluation and persistent memory. Without an external evaluator, agents reward-hack local reports and claim improvements that do not survive independent checking; without shared memory, agents waste budget re-discovering already-falsified hypotheses. We introduce Foundry, a host-coordinated control plane whose principle is: agents propose, while the host verifies and remembers. The host owns an authoritative evaluator, an established-facts registry that compounds evidence across independent agents, and a hypervisor $\\rightarrow$ orchestrator $\\rightarrow$ solver hierarchy that routes work under token budgets. Across combinatorial mathematics, GPU-kernel engineering, and computational biology, Foundry instantiates without per-domain changes: it tightens the Erdos minimum-overlap upper bound, achieves the fastest GPUMode Trimul kernel runtime on H100, and matches the state-of-the-art on the OpenProblems single-cell denoising benchmark. These results suggest that progress in agentic discovery depends not only on stronger agents, but on the system boundary that separates untrusted proposal generation from trusted verification and memory.
","absKo":"LLM-agent swarm은 frontier model을 discovery engine으로 바꿀 수 있지만, 진행을 좌우하는 두 상태, 즉 신뢰할 수 있는 evaluation과 persistent memory를 에이전트가 직접 소유할 때 실패한다. external evaluator가 없으면 에이전트는 local report를 reward-hack하고 독립적인 검증을 거치면 살아남지 못할 개선을 주장한다. shared memory가 없으면 이미 falsify된 가설을 다시 발견하느라 budget을 낭비한다. 우리는 Foundry를 소개한다. Foundry는 host-coordinated control plane으로, 핵심 원리는 다음과 같다: agents propose하고 host는 verify하고 remember한다. host는 authoritative evaluator, 독립적인 agent들에 걸친 evidence를 누적하는 established-facts registry, 그리고 token budget 아래에서 작업을 라우팅하는 hypervisor $\\rightarrow$ orchestrator $\\rightarrow$ solver 계층을 소유한다. 조합적 수학, GPU-kernel engineering, computational biology 전반에서 Foundry는 도메인별 변경 없이 구현되었으며, Erdos minimum-overlap upper bound를 더 강하게 조이고, H100에서 GPUMode Trimul kernel의 가장 빠른 runtime을 달성했으며, OpenProblems single-cell denoising benchmark에서 state-of-the-art와 일치하는 성능을 보였다. 이 결과는 agentic discovery의 진전이 더 강한 에이전트뿐 아니라, 신뢰할 수 없는 proposal generation과 신뢰할 수 있는 verification 및 memory를 가르는 system boundary에 달려 있음을 시사한다.","link":"https://openreview.net/forum?id=MWLIRDa4DC"},{"id":"LxW54SEDPo","en":"Formalization of QFT: Osterwalder–Schrader Axioms for the Free Field in Lean 4","ko":"QFT의 형식화: Lean 4에서 자유장에 대한 Osterwalder–Schrader 공리","authors":"Anna Mei, Michael R Douglas","abs":"A foundational result in constructive quantum field theory is the construction of the free bosonic field on four-dimensional Euclidean spacetime and the verification that it satisfies the Glimm-Jaffe axioms, a variant of the Osterwalder-Schrader axioms. We present a complete formalization of this result in the Lean 4 interactive theorem prover. The project serves as a proof of concept that extended arguments in mathematical physics can be translated into machine-checked proofs using currently available formalization tools and AI assistance.
We introduce the relevant background in interactive theorem proving and constructive quantum field theory, describe the structure of the formalization, and discuss the design choices and methods that made the project feasible. Because the work was carried out during a period of rapid change in AI coding capabilities, from July 2025 to March 2026, we also reflect on how these changes affected the formalization process. We conclude by discussing practical strategies for AI-assisted formalization and its possible role in the future of theoretical physics.
","absKo":"constructive quantum field theory의 기초적인 결과 중 하나는 4차원 Euclidean spacetime에서 free bosonic field를 구성하고, 그것이 Osterwalder-Schrader axioms의 변형인 Glimm-Jaffe axioms를 만족함을 검증하는 것이다. 우리는 Lean 4 interactive theorem prover에서 이 결과를 완전하게 formalization한 내용을 제시한다. 이 프로젝트는 수학적 물리학의 장대한 논증도 현재 사용 가능한 formalization 도구와 AI assistance를 통해 machine-checked proof로 옮길 수 있음을 보여 주는 proof of concept 역할을 한다.\\n\\n우리는 interactive theorem proving과 constructive quantum field theory의 관련 배경을 소개하고, formalization의 구조를 설명하며, 이 프로젝트를 가능하게 만든 설계 선택과 방법을 논의한다. 또한 2025년 7월부터 2026년 3월까지 AI coding 역량이 빠르게 변화하는 시기에 작업이 수행되었기 때문에, 이러한 변화가 formalization 과정에 어떤 영향을 미쳤는지도 성찰한다. 마지막으로 AI-assisted formalization을 위한 실용적 전략과 이가 이론물리학의 미래에서 가질 수 있는 역할을 논의하며 결론짓는다.","link":"https://openreview.net/forum?id=LxW54SEDPo"},{"id":"IkZeGi2j8P","en":"VERITAS: Verifier-Guided Proof Search for Zero-Shot Formal Theorem Proving","ko":"VERITAS: zero-shot formal theorem proving을 위한 verifier-guided proof search","authors":"Manish Acharya, Zhenyu Liao, Yueke Zhang, Kevin Leach, Yu Huang, Yifan Zhang","abs":"LLM-based formal provers often collapse rich verifier signals (syntax errors, type mismatches, partial goal progress) into a binary pass/fail bit. We present VERITAS, a zero-shot framework that routes every verifier signal back into proof search through a two-phase protocol: Best-of-N sampling first, then a critic-guided MCTS pass that ingests Phase 1 failures as explicit negative examples. The protocol preserves every theorem solved by its own Phase 1 sweep, so Phase 2’s additional solves are attributable to feedback-driven exploration. VERITAS reaches 40.6% on miniF2F (vs. an independently run Best-of-5 at 36.9%, Portfolio 26.2%) and 7.3% on VERITAS-CombiBench, a 55-theorem combinatorics benchmark we release on which Best-of-5 (1.8%) falls below Portfolio (3.6%), exposing that unguided sampling hurts when correct lemma names must be recovered iteratively from verifier feedback. Artifacts are available on GitHub.
","absKo":"LLM 기반 formal prover는 종종 풍부한 verifier signal(syntax error, type mismatch, partial goal progress)을 binary pass/fail 비트로 축약한다. 우리는 모든 verifier signal을 두 단계 protocol을 통해 proof search로 되돌리는 zero-shot framework인 VERITAS를 제시한다: 먼저 Best-of-N sampling을 수행하고, 그다음 Phase 1 실패를 명시적 negative example으로 받아들이는 critic-guided MCTS pass를 진행한다. 이 protocol은 자신의 Phase 1 sweep으로 해결한 모든 theorem을 보존하므로, Phase 2의 추가 해결은 feedback-driven exploration에 기인한다고 볼 수 있다. VERITAS는 miniF2F에서 40.6%를 달성했으며(별도로 실행한 Best-of-5 36.9%, Portfolio 26.2% 대비), 우리가 공개한 55개 theorem의 combinatorics benchmark인 VERITAS-CombiBench에서는 7.3%를 기록했다. 이 benchmark에서 Best-of-5(1.8%)는 Portfolio(3.6%)보다 낮아, verifier feedback으로부터 올바른 lemma name을 반복적으로 복구해야 할 때 unguided sampling이 해롭다는 점을 드러낸다. 아티팩트는 GitHub에서 제공된다.","link":"https://openreview.net/forum?id=IkZeGi2j8P"},{"id":"YWMnpol8i1","en":"InvariantBench: Can Large Language Models Exhibit Inherent Reasoning Across Equivalent Transformations?","ko":"InvariantBench: 대규모 언어 모델은 동등한 변환 전반에서 본질적 추론을 보일 수 있는가?","authors":"Azmine Toushik Wasi, Mahir Absar Khan, Abdur Rahman, Wahid Faisal, Sukanta Saha, Saimon Bhuiyan, Mahdiya Rahman Sukanya, Rahatun Nesa Priti, Md. Iqramul Hoque, Munem Shahriar, Raima Islam, Sanatan Sushil, Shahriyar Zaman Ridoy, Kazi Rajwan Sultan, MD Shafikul Islam, Md Manjurul Ahsan, Md Rizwan Parvez","abs":"Reasoning is often attributed to large language models (LLMs), yet it remains unclear whether they operate over underlying semantics or rely on surface-form patterns. Existing benchmarks evaluate correctness on fixed problem instances, but overlook a fundamental property of reasoning: invariance under semantics-preserving transformations. If a model truly understands a problem, its predictions should remain consistent across equivalent representations.
We introduce InvariantBench, a benchmark of $1{,}200$ seed problems $\\times$ $4$ invariant forms, spanning 16 tasks across 3 reasoning families and 12 fine-grained invariance axes. Each problem is paired with multiple semantically equivalent variants under a strict invariance contract, enabling evaluation beyond accuracy to measure consistency across representations.
Experiments on 15 frontier and open-weight LLMs reveal a persistent invariance gap: accuracy drops of $1-5\\%$ for strong models and $>10$ pp for smaller systems under transformation, with full-consistency rates remaining below $5\\%$ for most models, compared to $>48\\%$ for the best systems and $>98\\%$ for humans. These results show that high base accuracy substantially overestimates reasoning ability, and establish invariance as a necessary axis for evaluating and improving robust language understanding.
","absKo":"reasoning은 종종 대규모 언어 모델(LLM)에 귀속되지만, 이들이 underlying semantics를 다루는지 아니면 surface-form pattern에 의존하는지는 여전히 불분명하다. 기존 benchmark는 고정된 문제 인스턴스에서의 정답 여부를 평가하지만, semantics-preserving transformation 하에서의 invariance라는 reasoning의 근본적 성질은 간과한다. 모델이 진정으로 문제를 이해한다면, 그 예측은 동등한 representation들 사이에서 일관되어야 한다.\n우리는 InvariantBench를 제안한다. 이는 1,200개의 seed problem × 4개의 invariant form으로 구성되며, 3개의 reasoning family와 12개의 세분화된 invariance axis 전반에 걸쳐 총 16개 task를 포함한다. 각 문제는 엄격한 invariance contract 아래에서 의미적으로 동등한 여러 variant와 짝지어져 있어, 정확도를 넘어 representation 간 일관성을 측정하는 평가를 가능하게 한다.\n15개의 frontier 및 open-weight LLM에 대한 실험은 지속적인 invariance gap을 드러낸다. 강한 모델에서도 transformation에 따라 정확도가 1-5\\% 하락하고, 더 작은 시스템에서는 10 pp 이상 하락한다. 또한 대부분의 모델에서 full-consistency rate는 5\\% 미만에 머무르며, 이는 최고의 시스템의 48\\% 초과, 인간의 98\\% 초과와 대비된다. 이러한 결과는 높은 base accuracy가 reasoning 능력을 상당히 과대평가함을 보여주며, 강건한 언어 이해를 평가하고 개선하기 위한 필수 축으로 invariance를 확립한다.","link":"https://openreview.net/forum?id=YWMnpol8i1"},{"id":"9Snu8C81Qq","en":"When RL Suppresses Its Own Vocabulary: Recovering Reasoning Diversity in Puzzle-to-Math Transfer","ko":"RL이 자기 어휘를 억누를 때: 퍼즐-투-수학 전이에서 추론 다양성 회복","authors":"Mayug Maniparambil, Arjun Karuvally, Terrence Sejnowski, Fergal Reid","abs":"Reinforcement learning using verifiable rewards (RLVR) improves LLM reasoning, but the conditions under which it transfers across domains---and why it does so---remain under-explored. We study cross-domain transfer in a 7B model whose SFT and RL post-training stages use only constraint-satisfaction puzzles, with no mathematics problems in the post-training data. To analyze how transfer emerges, we introduce a reasoning primitive-level framework that combines a 9-class span classifier with motif extraction, allowing us to segment chain-of-thought traces into primitive motifs and track their evolution across training stages and domains. We find that puzzle SFT induces a reasoning-primitive vocabulary, yielding a $+7$pp \\texttt{pass@32} gain on OlymMATH-Hard. Vanilla GSPO then composes these primitives into longer compute--verify chains, adding a further $+6$pp. However, this RL stage also suppresses exploratory primitives such as \\textit{hypothesize} and \\textit{backtrack}. To address this, we introduce a novelty bonus that rewards diverse correct rollouts, using perplexity under the reference model as a signal. This restores recovery primitives during RL and adds a further $+7$pp \\texttt{pass@32} relative to vanilla GSPO. Finally, the end-to-end recipe raises the hard-math capability ceiling from $16.0\\%$ at the OLMo3-7B-Instruct-SFT base to $36.0\\%$, without adding any mathematics problems during the SFT or RL stages.
","absKo":"verifiable reward를 사용하는 reinforcement learning (RLVR)은 LLM reasoning을 개선하지만, 그것이 어떤 조건에서 domain 간 전이되는지, 그리고 왜 그런지는 아직 충분히 탐구되지 않았다. 우리는 post-training data에 mathematics problem이 전혀 없는, constraint-satisfaction puzzle만으로 SFT와 RL post-training 단계를 구성한 7B model에서 cross-domain transfer를 연구한다. 전이가 어떻게 나타나는지 분석하기 위해, 9-class span classifier와 motif extraction을 결합한 reasoning primitive-level framework를 도입한다. 이를 통해 chain-of-thought trace를 primitive motif로 분절하고 학습 단계와 domain 전반에 걸친 진화를 추적할 수 있다. 우리는 puzzle SFT가 reasoning-primitive vocabulary를 유도하여 OlymMATH-Hard에서 $+7$pp \\texttt{pass@32} 향상을 낳음을 발견했다. 그 위에 vanilla GSPO는 이러한 primitive를 더 긴 compute--verify chain으로 조합하여 추가로 $+6$pp를 더한다. 그러나 이 RL 단계는 \\textit{hypothesize}와 \\textit{backtrack} 같은 탐색적 primitive를 억제하기도 한다. 이를 해결하기 위해, reference model 하의 perplexity를 신호로 사용하여 다양한 정답 rollout을 보상하는 novelty bonus를 도입한다. 이 방식은 RL 동안 recovery primitive를 복원하고, vanilla GSPO 대비 추가로 $+7$pp \\texttt{pass@32}를 더한다. 마지막으로 end-to-end recipe는 SFT나 RL 단계에서 수학 문제를 추가하지 않고도 hard-math capability ceiling을 OLMo3-7B-Instruct-SFT base의 $16.0\\%$에서 $36.0\\%$로 끌어올린다.","link":"https://openreview.net/forum?id=9Snu8C81Qq"},{"id":"5dialBJcmD","en":"Precision-Aware Automated Discovery of Numerical Function Approximations via Landscape-Adaptive Search and LLM Agents","ko":"LLM agent와 landscape-adaptive search를 활용한 수치 함수 근사식의 정밀 인식 자동 발견","authors":"Toghrul Abbasov, Limeng ZHANG, Zhihang Lin, Zhenyang Xiao, Xiaoxiao Tu, Zirong Zeng, Wentao Lin, Zheng Lingchao, Li Jun, Yuwei Fan, Tian Ding, Congliang Chen, Ruoyu Sun","abs":"Elementary-function approximations are core components of numerical
software, yet their design remains a manual, per-function, per-precision
exercise. Reduced precision makes this substantially harder: designs that
are accurate in real arithmetic can suffer catastrophic cancellation,
intermediate overflow, or silent saturation when evaluated natively at
the deployment precision. AutoNumerics-Zero recast this design step as
evolutionary search over computation graphs, but its CMA-ES-based inner
constant solver can discard good graph structures after poor constant
optimization, and its outer workflow still requires manual decisions
about interval partitioning and per-piece strategy selection. We
address both limitations with a precision-aware, three-level pipeline:
an outer language-model agent for partitioning, strategy
selection, verification, and retry; a middle
AutoNumerics-Zero-inspired evolutionary search over short arithmetic
DAGs; and an inner fitter that combines Levenberg--Marquardt with
Nelder--Mead on the requested rounded-arithmetic metric. On identical
AutoNumerics-Zero $2^x$ candidates, the inner loop matches or improves
published optima while avoiding large CMA-ES failures. End-to-end tanh
experiments against same-precision OpenLibm-style baselines show that
the full pipeline improves native-precision kernels: in fp16 tanh, it reduces
max ULP from $287$ to $2$ on a dense validation grid.
","absKo":"초등 함수 근사는 수치 소프트웨어의 핵심 구성요소이지만, 그 설계는 여전히 함수별, 정밀도별 수작업에 의존한다. reduced precision에서는 이 문제가 훨씬 더 어려워진다. 실수 연산에서는 정확한 설계가 배포 정밀도에서 native로 평가될 때 catastrophic cancellation, 중간 overflow, 또는 silent saturation을 겪을 수 있기 때문이다. AutoNumerics-Zero는 이 설계 단계를 computation graph에 대한 evolutionary search로 재구성했지만, CMA-ES 기반 inner constant solver는 상수 최적화가 좋지 않을 경우 좋은 graph 구조를 버릴 수 있고, outer workflow도 여전히 interval partitioning과 per-piece strategy selection에 대한 수동 결정을 요구한다. 우리는 이러한 두 한계를 precision-aware, three-level pipeline으로 해결한다. 즉, partitioning, strategy selection, verification, retry를 담당하는 outer language-model agent, 짧은 arithmetic DAG에 대한 AutoNumerics-Zero-inspired evolutionary search를 수행하는 middle 단계, 그리고 요청된 rounded-arithmetic metric에서 Levenberg--Marquardt와 Nelder--Mead를 결합한 inner fitter로 구성된다. 동일한 AutoNumerics-Zero $2^x$ 후보들에서 inner loop는 큰 CMA-ES 실패를 피하면서도 공개된 최적값과 동일하거나 더 나은 결과를 달성한다. same-precision OpenLibm-style baseline과의 end-to-end tanh 실험에서는 전체 pipeline이 native-precision kernel을 향상시킴을 보였다. fp16 tanh에서 max ULP를 $287$에서 $2$로 줄였다.","link":"https://openreview.net/forum?id=5dialBJcmD"},{"id":"2rREyVB08Y","en":"Squeeze Evolve: Unified Multi-Model Orchestration for Verifier-Free Evolution","ko":"Squeeze Evolve: Verifier-Free Evolution을 위한 통합 Multi-Model Orchestration","authors":"Monishwaran Maheswaran, Leon Lakhani, Zhongzhu Zhou, Shijia Yang, Junxiong Wang, Coleman Richard Charles Hooper, Yuezhou Hu, Rishabh Tiwari, Jue WANG, Harman Singh, Qingyang Wu, Yuqing Jian, Ce Zhang, Kurt Keutzer, Tri Dao, Xiaoxia Wu, Ben Athiwaratkun, James Zou, Chenfeng Xu","abs":"We show that verifier-free evolution is bottlenecked by both diversity and efficiency: without external correction, repeated evolution accelerates collapse toward narrow modes, while the uniform use of a high-cost model wastes compute and quickly becomes economically impractical. We introduce Squeeze Evolve, a unified multi-model orchestration framework for verifier-free evolutionary inference. Our approach is guided by a simple principle: allocate model capability where it has the highest marginal utility. Stronger models are reserved for high-impact stages, while cheaper models handle the other stages at much lower costs. This principle addresses diversity and cost-efficiency jointly while remaining lightweight. Squeeze Evolve naturally supports open-source, closed-source, and mixed-model deployments. Across AIME 2025, HMMT 2025, LiveCodeBench V6, GPQA-Diamond, ARC-AGI-V2, and multimodal vision benchmarks, such as MMMU-Pro and BabyVision, Squeeze Evolve consistently improves the cost–capability frontier over single-model evolution and achieves new state-of-the-art results on several tasks. Empirically, Squeeze Evolve reduces API cost by up to $\\sim$3$\\times$ and increases fixed-budget serving throughput by up to $\\sim$10$\\times$. Moreover, on discovery tasks, Squeeze Evolve is the first verifier-free evolutionary method to match, and in some cases exceed, the performance of verifier-based evolutionary methods.
","absKo":"우리는 verifier-free evolution이 다양성과 효율성 모두에 의해 병목된다는 점을 보인다. 외부 보정이 없으면 반복적인 evolution은 좁은 mode로의 붕괴를 가속하고, 고비용 모델을 일률적으로 사용하면 계산 자원을 낭비하며 빠르게 경제적으로 비현실적이 된다. 우리는 verifier-free evolutionary inference를 위한 통합 multi-model orchestration framework인 Squeeze Evolve를 제안한다. 우리의 접근법은 단순한 원칙에 의해 안내된다. 즉, 모델 능력을 한계 효용이 가장 큰 지점에 배분하는 것이다. 더 강한 모델은 영향이 큰 단계에만 할당하고, 더 저렴한 모델은 다른 단계들을 훨씬 낮은 비용으로 처리한다. 이 원칙은 경량성을 유지하면서 diversity와 cost-efficiency를 함께 해결한다. Squeeze Evolve는 open-source, closed-source, mixed-model 배치를 자연스럽게 지원한다. AIME 2025, HMMT 2025, LiveCodeBench V6, GPQA-Diamond, ARC-AGI-V2, 그리고 MMMU-Pro와 BabyVision 같은 multimodal vision benchmark 전반에서, Squeeze Evolve는 single-model evolution보다 cost-capability frontier를 일관되게 개선하고 여러 과제에서 새로운 state-of-the-art 결과를 달성한다. 실증적으로 Squeeze Evolve는 API cost를 최대 약 3배 줄이고, 고정 예산 serving throughput을 최대 약 10배 높인다. 더 나아가 discovery task에서는 Squeeze Evolve가 verifier-free evolutionary method 중 처음으로 verifier-based evolutionary method의 성능과 맞먹거나 어떤 경우에는 이를 능가한다.","link":"https://openreview.net/forum?id=2rREyVB08Y"},{"id":"4vARlk9o95","en":"Reasoning Is More Than the Model: Harness-Aware Evaluation of Agents on Verifiable Reasoning Tasks","ko":"추론은 모델만의 문제가 아니다: 검증 가능한 추론 과제에서 에이전트의 Harness-aware 평가","authors":"Zhanke Zhou, Zongze Li, Weikai Huang, Xuan Li, Chentao Cao, Xiao Feng, Xiangyu Lu, Jinbo Hu, Menghan Lu, Yi Xie, Nico Pelleriti, Shiyang Liu, Max Zimmer, Brando Miranda, Jiangchao Yao, Bo Liu, Sanmi Koyejo, Sebastian Pokutta, Bo Han","abs":"Open agents are no longer just models: they are model-harness systems whose behavior depends on tool access, control loops, execution feedback, memory, etc. Yet existing evaluations either test models without a harness or fix a single harness to compare models within a domain, obscuring how harness design shapes reasoning capability. To fill this gap, we introduce AlphaDiana, a unified system for harness-aware evaluation of open agents on verifiable reasoning tasks. AlphaDiana standardizes models, harnesses, benchmarks, execution environments, scorers, budgets, and trajectory logging, enabling controlled comparisons across both models and harnesses. We use AlphaDiana to evaluate open agents across mathematical, scientific, coding, terminal, and multimodal reasoning tasks, combining macro-level comparisons of direct inference and agentic execution with micro-level ablations of core harness capabilities. Trajectory-level analysis attributes successes and failures to reasoning, tool use, execution, state, budget, recovery, and verification, revealing that harnesses can both enable iterative problem-solving and introduce systematic errors. AlphaDiana moves agent evaluation beyond asking whether a system succeeds toward explaining why a model-harness system succeeds or fails.
","absKo":"open agent는 더 이상 단순한 model이 아니다. 이들은 tool access, control loop, execution feedback, memory 등에 따라 동작이 달라지는 model-harness system이다. 그러나 기존 평가들은 harness 없이 model만 시험하거나, 도메인 내에서 model을 비교하기 위해 단 하나의 harness를 고정함으로써 harness design이 reasoning capability를 어떻게 형성하는지 가린다. 이러한 공백을 메우기 위해 우리는 verifiable reasoning task에서 open agent의 harness-aware evaluation을 위한 통합 시스템인 AlphaDiana를 소개한다. AlphaDiana는 model, harness, benchmark, execution environment, scorer, budget, trajectory logging을 표준화하여 model과 harness 모두에 걸친 통제된 비교를 가능하게 한다. 우리는 AlphaDiana를 사용해 수학, 과학, 코딩, terminal, multimodal reasoning task 전반에서 open agent를 평가하며, direct inference와 agentic execution의 macro-level 비교와 핵심 harness capability에 대한 micro-level ablation을 결합한다. trajectory-level analysis는 성공과 실패를 reasoning, tool use, execution, state, budget, recovery, verification에 귀속시키며, harness가 반복적 문제 해결을 가능하게 하는 동시에 체계적 오류를 유발할 수도 있음을 보여준다. AlphaDiana는 agent evaluation을 단순히 시스템이 성공하는지 묻는 단계에서, model-harness system이 왜 성공하거나 실패하는지를 설명하는 단계로 이동시킨다.","link":"https://openreview.net/forum?id=4vARlk9o95"},{"id":"U7tkXcVkV3","en":"SHAPE of Chain-of-Thought in Math Reasoning","ko":"수학 추론에서의 Chain-of-Thought의 SHAPE","authors":"Jonghyun Song, Sangjun Song, Minjae Oh, Haesung Pyun, SungSik Lee, Yohan Jo","abs":"Large language models (LLMs) achieve strong performance on mathematical reasoning benchmarks, yet the mathematically meaningful skills underlying their reasoning remain underexplored. We introduce \\texttt{SHAPE}, a framework that analyzes Chain-of-Thought (CoT) trajectories through two lenses developed in mathematics education: (1) semantic spaces: the model's evolving mathematical interpretations of a problem (e.g., algebraic, geometric), and (2) heuristics: the specific mathematical actions taken within those spaces (e.g., simplifying the problem, working backward).
We first use \\texttt{SHAPE} to analyze the reasoning patterns of various models. Our findings reveal that the mathematical heuristics employed by a model better explain final answer correctness than traditional CoT features. Furthermore, models are likely to reach correct solutions by concentrating their reasoning effort within a few semantic spaces rather than exploring many disparate ones---a pattern consistent with human behavior.
Next, we utilize the \\texttt{SHAPE} lens to evaluate whether post-training truly enhances mathematical proficiency. We find that reinforcement learning induces mode-seeking in heuristic usage.
Lastly, we post-train LLMs by promoting diverse heuristics and demonstrate its effectiveness in improving accuracy.
Overall, \\texttt{SHAPE} provides a theoretically-grounded diagnostic framework for decoding LLM reasoning and offers a new path toward post-training LLMs for math reasoning. The code for our model is available at \\url{https://github.com/holi-lab/SHAPE-of-CoT}
","absKo":"Large language model(LLM)은 mathematical reasoning benchmark에서 강한 성능을 보이지만, 그 reasoning을 뒷받침하는 수학적으로 의미 있는 기술은 아직 충분히 탐구되지 않았다. 우리는 mathematics education에서 개발된 두 가지 관점으로 Chain-of-Thought(CoT) trajectory를 분석하는 framework인 \\texttt{SHAPE}를 소개한다. (1) semantic space: 문제에 대한 모델의 변화하는 수학적 해석(예: algebraic, geometric), 그리고 (2) heuristic: 그 공간 안에서 수행되는 구체적인 수학적 행동(예: 문제를 단순화하기, 거꾸로 풀기).\n우리는 먼저 \\texttt{SHAPE}를 사용해 여러 model의 reasoning pattern을 분석한다. 우리의 발견은 model이 사용한 수학적 heuristic이 전통적인 CoT feature보다 최종 답의 정답 여부를 더 잘 설명한다는 점을 보여준다. 또한 model은 많은 서로 다른 semantic space를 탐색하기보다 소수의 semantic space에 reasoning effort를 집중할 때 올바른 해에 도달할 가능성이 높으며, 이는 인간의 행동과도 일치하는 패턴이다.\n다음으로, 우리는 \\texttt{SHAPE} lens를 활용해 post-training이 실제로 수학적 숙련도를 향상시키는지 평가한다. 그 결과 reinforcement learning이 heuristic 사용에서 mode-seeking을 유도함을 확인했다.\n마지막으로, 우리는 다양한 heuristic을 장려하는 방식으로 LLM을 post-train하고 그 정확도 향상 효과를 입증한다.\n종합하면, \\texttt{SHAPE}는 LLM reasoning을 해독하기 위한 이론적으로 근거 있는 진단 framework를 제공하며, 수학적 reasoning을 위한 LLM post-training의 새로운 경로를 제시한다. 우리의 model 코드는 \\url{https://github.com/holi-lab/SHAPE-of-CoT}에서 확인할 수 있다.","link":"https://openreview.net/forum?id=U7tkXcVkV3"},{"id":"GSl7lw8HhD","en":"P1-VL: Bridging Visual Perception and Scientific Reasoning in Physics Olympiads","ko":"P1-VL: 물리 올림피아드에서 시각 인지와 과학적 추론의 연결","authors":"Yun Luo, Futing Wang, Qianjia Cheng, Fangchen Yu, Haodi Lei, Jianhao Yan, Chenxi Li, Jiacheng Chen, Yufeng Zhao, Haiyuan Wan, Yuchen Zhang, Shenghe Zheng, Junchi Yao, Qingyang Zhang, Haonan He, Wenxuan Zeng, Li Sheng, Chengxing Xie, Yuxin Zuo, Yizhuo Li, Yulun Wu, Rui Huang, Dongzhan Zhou, Kai Chen, Yu Qiao, LEI BAI, Yu Cheng, Ning Ding, Bowen Zhou, Peng Ye, Ganqu Cui","abs":"The transition from symbolic manipulation to science-grade reasoning represents a pivotal frontier for Large Language Models (LLMs), with physics serving as the critical test anchor for binding abstract logic to physical reality. Physics demands that a model maintain physical consistency with the laws governing the universe, fundamentally requiring multimodal perception to ground abstract logic in reality.
To bridge this visual-logical gap, we introduce P1-VL, a family of open-source vision-language models engineered for advanced scientific reasoning. Our method stabilizes post-training through Curriculum Reinforcement Learning, where task difficulty is progressively expanded, and further enhances inference with Agentic Augmentation for iterative self-verification. Evaluated on HiPhO, a rigorous benchmark of 13 physics olympiads exams from 2024–2025, our flagship \\texttt{P1-VL-235B-A22B} becomes the first open-source Vision-Language Model (VLM) to secure 12 gold medals and achieves the state-of-the-art performance in the open-source models. Our agent-augmented system achieves the No.2 overall rank globally, trailing only Gemini-3-Pro. Beyond physics, P1-VL demonstrates remarkable scientific reasoning capacity and generalizability, establishing significant leads over base models in STEM benchmarks.
","absKo":"기호적 조작에서 science-grade reasoning으로의 전환은 Large Language Model (LLM)에게 중요한 최전선이며, physics는 추상적 논리를 물리적 현실과 결속시키는 핵심 시험대 역할을 한다. Physics는 모델이 우주의 법칙을 따르는 물리적 일관성을 유지할 것을 요구하며, 근본적으로 추상적 논리를 현실에 grounding하기 위해 multimodal perception을 필요로 한다.\n이러한 visual-logical gap을 메우기 위해, 우리는 고급 scientific reasoning을 위해 설계된 open-source vision-language model 계열인 P1-VL을 소개한다. 우리의 방법은 task 난이도를 점진적으로 확장하는 Curriculum Reinforcement Learning을 통해 post-training을 안정화하고, iterative self-verification을 위한 Agentic Augmentation으로 inference를 추가로 향상시킨다. 2024–2025년의 13개 physics olympiad exam으로 구성된 엄격한 benchmark인 HiPhO에서 평가한 결과, 우리의 주력 모델 \\texttt{P1-VL-235B-A22B}는 12개의 gold medal을 획득한 최초의 open-source Vision-Language Model (VLM)이 되었고, open-source model 중 state-of-the-art 성능을 달성했다. 우리의 agent-augmented system은 전 세계 종합 순위 2위를 차지했으며, Gemini-3-Pro에만 뒤졌다. Physics를 넘어 P1-VL은 뛰어난 scientific reasoning 능력과 일반화 가능성을 보여주며, STEM benchmark 전반에서 base model 대비 유의미한 우위를 확립한다.","link":"https://openreview.net/forum?id=GSl7lw8HhD"},{"id":"2EgI4uSciP","en":"Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling","ko":"단순하고 통합된 스케일링으로 올림피아드 문제 gold-medal 수준 추론 달성","authors":"Yafu Li, Runzhe Zhan, Haoran Zhang, Shunkai Zhang, Yizhuo Li, Zhilin Wang, Jiacheng Chen, Futing Wang, Xuyang Hu, Yuchen Fan, Bangjie Xu, Yucheng Su, Xinmiao Han, Chenxi Li, Haodi Lei, Yufeng Zhao, Zejin Lin, Qianjia Cheng, Tong Zhu, Xiaoye Qu, Ganqu Cui, Peng Ye, Yun Luo, Zhouchen Lin, Yu Qiao, Bowen Zhou, Ning Ding, Yu Cheng","abs":"Recent progress in reasoning models has substantially advanced long-horizon mathematical and scientific problem solving, with several systems now reaching gold-medal-level performance on International Mathematical Olympiad (IMO) and International Physics Olympiad (IPhO) problems. In this paper, we introduce a simple and unified recipe for converting a post-trained reasoning backbone into a rigorous olympiad-level solver. The recipe first uses a reverse-perplexity curriculum for SFT to instill rigorous proof-search and self-checking behaviors, then scales these behaviors through a two-stage RL pipeline that progresses from RL with verifiable rewards to more delicate proof-level RL, and finally boosts solving performance with test-time scaling. Applying this recipe, we train a 30B-A3B backbone with SFT on around 340K sub-8K-token trajectories followed by 200 RL steps. The resulting model, SU-01, supports stable reasoning on difficult problems with trajectories exceeding 100K tokens, while achieving gold-medal-level performance on mathematical and physical olympiad competitions, including IMO 2025/USAMO 2026 and IPhO 2024/2025. It also demonstrates strong generalization of scientific reasoning to domains beyond mathematics and physics.
","absKo":"reasoning model의 최근 진전은 장기 수학 및 과학 문제 해결을 크게 발전시켰으며, 여러 시스템이 이제 International Mathematical Olympiad (IMO)와 International Physics Olympiad (IPhO) 문제에서 금메달 수준 성능에 도달하고 있다. 이 논문에서는 post-trained reasoning backbone을 엄격한 olympiad 수준 solver로 변환하는 간단하고 통일된 recipe를 소개한다. 이 recipe는 먼저 reverse-perplexity curriculum을 사용한 SFT로 엄격한 proof-search와 self-checking 행동을 주입하고, 이어서 검증 가능한 보상으로 하는 RL에서 더 섬세한 proof-level RL로 이어지는 two-stage RL pipeline으로 이러한 행동을 확장하며, 마지막으로 test-time scaling으로 solving performance를 끌어올린다. 이 recipe를 적용해, 우리는 약 340K개의 sub-8K-token trajectory에 대한 SFT와 그 뒤를 잇는 200 RL step으로 30B-A3B backbone을 학습했다. 그 결과 얻어진 모델 SU-01은 100K token을 넘는 trajectory에서도 어려운 문제에 대해 안정적인 reasoning을 지원하면서, IMO 2025/USAMO 2026과 IPhO 2024/2025를 포함한 수학 및 물리 olympiad competition에서 gold-medal 수준 성능을 달성했다. 또한 수학과 물리학을 넘어선 영역에서도 과학적 reasoning의 강한 일반화를 보여준다.","link":"https://openreview.net/forum?id=2EgI4uSciP"},{"id":"E9CI0wh05e","en":"FrontierSpatial: Holistic Evaluation of Spatial Reasoning in Multimodal Large Language Models","ko":"FrontierSpatial: 멀티모달 대규모 언어 모델의 공간 추론 종합 평가","authors":"Wahid Faisal, Azmine Toushik Wasi, Mohammed Eunus Ali, Md Rizwan Parvez","abs":"Spatial reasoning is a core capability for intelligent systems, yet evaluation of multimodal large language models (MLLMs) remains fragmented across narrowly focused benchmarks targeting isolated skills. To address this limitation, we introduce FrontierSpatial, the first unified large-scale benchmark and evaluation harness for holistic spatial reasoning in multimodal models. FrontierSpatial consolidates and extends 23 datasets into 7,838 questions and 11,825 images, organized within a four-level hierarchy spanning 7 categories, 19 sub-categories, and 65 fine-grained tasks, including Physical, Geometric, Knowledge-Grounded, Relational/Causal, Temporal, Quantitative, and Perceptual Reasoning.
Beyond the benchmark, we contribute: (1) an automated curation pipeline that distills over 60,000 raw instances into a balanced, high-quality benchmark; (2) an automated evaluation harness for reproducible assessment of 16 state-of-the-art MLLMs; and (3) an automated error-analysis framework that generates structured diagnostics across the task hierarchy. Experiments reveal large performance disparities across spatial reasoning categories and systematic weaknesses that remain hidden when benchmarks are studied independently. FrontierSpatial provides a rigorous and extensible foundation for holistic multimodal spatial reasoning research.
","absKo":"공간 추론은 지능형 시스템의 핵심 능력이지만, multimodal large language models(MLLMs)의 평가는 고립된 기술만을 대상으로 하는 좁게 특화된 benchmark들에 걸쳐 파편화되어 있다. 이러한 한계를 해결하기 위해, 우리는 multimodal 모델의 총체적 공간 추론을 위한 최초의 통합 대규모 benchmark이자 evaluation harness인 FrontierSpatial을 제안한다. FrontierSpatial는 23개 dataset을 통합·확장하여 7,838개의 질문과 11,825개의 이미지를 담고 있으며, Physical, Geometric, Knowledge-Grounded, Relational/Causal, Temporal, Quantitative, Perceptual Reasoning을 포함하는 7개 category, 19개 sub-category, 65개 세부 task를 아우르는 4단계 계층 구조로 구성되어 있다. \nbenchmark를 넘어, 우리는 다음을 기여한다: (1) 60,000개가 넘는 raw instance를 균형 잡히고 고품질인 benchmark로 정제하는 자동 curation pipeline; (2) 16개의 state-of-the-art MLLM을 재현 가능하게 평가하기 위한 자동 evaluation harness; (3) task 계층 전반에 걸친 구조화된 진단을 생성하는 자동 error-analysis framework. 실험은 공간 추론 category 전반에서 큰 성능 격차와, benchmark를 개별적으로만 살펴볼 때는 드러나지 않는 체계적 약점을 보여준다. FrontierSpatial는 총체적 multimodal 공간 추론 연구를 위한 엄밀하고 확장 가능한 기반을 제공한다.","link":"https://openreview.net/forum?id=E9CI0wh05e"},{"id":"HHlI81rfC7","en":"TimeSpot: Benchmarking Geo-Temporal Understanding in Vision–Language Models in Real-World Settings","ko":"TimeSpot: 실제 환경에서 Vision-Language Model의 지리-시간 이해 벤치마킹","authors":"Azmine Toushik Wasi, Shahriyar Zaman Ridoy, Koushik Ahamed Tonmoy, Kinga Tshering, S. M. Muhtasimul Hasan, Wahid Faisal, Tasnim Mohiuddin, Md Rizwan Parvez","abs":"Geo-temporal understanding, the ability to infer location, time, and contextual properties from visual input alone, underpins applications such as disaster management, traffic planning, embodied navigation, world modeling, and geography education. Although recent vision–language models (VLMs) have advanced image geo-localization using cues like landmarks and road signs, their ability to reason about temporal signals and physically grounded spatial cues remains limited. To address this gap, we introduce TimeSpot, a benchmark for evaluating real-world geo-temporal reasoning in VLMs. TimeSpot comprises 1,455 ground-level images from 80 countries and requires structured prediction of temporal attributes (season, month, time of day, daylight phase) and geographic attributes (continent, country, climate zone, environment type, latitude–longitude) directly from visual evidence. It also includes spatial–temporal reasoning tasks that test physical plausibility under real-world uncertainty. Evaluations of state-of-the-art open- and closed-source VLMs show low performance, particularly for temporal inference. While supervised fine-tuning yields improvements, results remain insufficient, highlighting the need for new methods to achieve robust, physically grounded geo-temporal understanding.
","absKo":"지리-시간적 이해, 즉 시각 입력만으로 위치, 시간, 그리고 맥락적 속성을 추론하는 능력은 재난 관리, 교통 계획, embodied navigation, world modeling, geography education과 같은 응용을 뒷받침한다. 최근 vision-language models (VLMs)이 랜드마크와 도로 표지판 같은 단서를 활용한 image geo-localization에서는 진전을 보였지만, 시간 신호와 물리적으로 근거가 있는 공간 단서를 추론하는 능력은 여전히 제한적이다. 이 격차를 메우기 위해, 우리는 VLM에서 실제 세계의 geo-temporal reasoning을 평가하기 위한 benchmark인 TimeSpot을 소개한다. TimeSpot은 80개국에서 수집한 1,455개의 지면 수준 이미지를 포함하며, 시각적 증거만으로 시간 속성(계절, 월, 하루 중 시간, 주간/야간 단계)과 지리 속성(대륙, 국가, 기후대, 환경 유형, 위도-경도)을 구조화된 방식으로 예측하도록 요구한다. 또한 실제 세계의 불확실성 하에서 물리적 타당성을 검증하는 spatial-temporal reasoning task도 포함한다. 최신 open-source 및 closed-source VLM에 대한 평가 결과는 특히 시간 추론에서 낮은 성능을 보였다. supervised fine-tuning은 개선을 가져오지만, 결과는 여전히 충분하지 않으며, 강건하고 물리적으로 근거한 geo-temporal understanding을 달성하기 위해 새로운 방법이 필요함을 강조한다.","link":"https://openreview.net/forum?id=HHlI81rfC7"},{"id":"iOJrCtbPlt","en":"What are the Right Symmetries for Formal Theorem Proving?","ko":"formal theorem proving에 필요한 올바른 대칭성은 무엇인가?","authors":"Krzysztof Olejniczak, Radoslav Dimitrov, Xingyue Huang, Bernardo Cuenca Grau, Jinwoo Kim, Ismail Ilkan Ceylan","abs":"Formal theorem provers based on large language models (LLMs) are highly sensitive to superficial variations in problem representation: semantically equivalent statements can exhibit drastically different proof success rates, revealing a failure to respect structural symmetries inherent in formal mathematics. This raises a central question: *what are the right symmetries for formal theorem proving?*
We introduce *rewriting categories*, a category-theoretic framework capturing the compositional, generally non-invertible transformations induced by proof tactics, and use it to formalize two symmetry notions: *proof equivariance*, governing how proof distributions transform under rewrites, and *success invariance* (i.e., invariance of success probability), requiring equivalent statements to be solved with the same probability. We observe that state-based next-tactic provers naturally satisfy proof equivariance by operating on proof states. In contrast, state-of-the-art LLM-based provers satisfy neither property, exhibiting large performance variation across equivalent formulations. To mitigate this, we propose test-time methods that aggregate over equivalent rewritings of the input, showing theoretically that they recover success invariance in the sampling limit, and empirically, that they improve robustness and performance under fixed inference budgets. Our results highlight symmetry as a key missing inductive bias in LLM-based theorem proving and suggest test-time computation as a practical route to approximate it.
","absKo":"대규모 언어 모델(LLM) 기반 형식 정리 증명기는 문제 표현의 표면적 변형에 극도로 민감하다. 의미상 동등한 명제가 증명 성공률에서 극단적으로 다른 결과를 보일 수 있으며, 이는 형식 수학에 내재된 구조적 대칭성을 제대로 존중하지 못한다는 실패를 드러낸다. 이는 핵심 질문을 제기한다: *형식 정리 증명에서 올바른 대칭은 무엇인가?*\n우리는 *rewriting categories*를 도입한다. 이는 proof tactic이 유도하는 구성적이고 일반적으로 비가역적인 변환을 포착하는 범주론적 틀로, 이를 사용해 두 가지 대칭 개념을 형식화한다. 하나는 *proof equivariance*로, rewrite 아래에서 증명 분포가 어떻게 변환되는지를 다룬다. 다른 하나는 *success invariance* 즉 성공 확률의 불변성으로, 동등한 명제들이 같은 확률로 풀려야 한다는 요구다. 우리는 상태 기반 next-tactic 증명기가 proof state 위에서 동작하기 때문에 자연스럽게 proof equivariance를 만족함을 관찰한다. 반면, 최신 LLM 기반 증명기들은 이 두 성질 모두를 만족하지 못하며, 동등한 표현들 사이에서 큰 성능 변동을 보인다. 이를 완화하기 위해 우리는 입력의 동등한 rewriting들을 집계하는 test-time 방법을 제안한다. 이 방법이 샘플링 한계에서 success invariance를 회복함을 이론적으로 보이고, 고정된 inference budget 하에서 견고성과 성능을 향상시킴을 실증적으로 보인다. 우리의 결과는 대칭성이 LLM 기반 정리 증명에서 빠져 있는 핵심 inductive bias임을 강조하며, 이를 근사하는 실용적 경로로 test-time computation을 제안한다.","link":"https://openreview.net/forum?id=iOJrCtbPlt"},{"id":"G5kXgjF7Yj","en":"Learn Hard Problems During RL with Reference Guided Fine-tuning","ko":"reference guided fine-tuning으로 RL 중 어려운 문제 학습하기","authors":"Yangzhen Wu, Shanda Li, Zixin Wen, 周欣, Ameet Talwalkar, Yiming Yang, Wenhao Huang, Tianle Cai","abs":"Reinforcement learning (RL) has become a central mechanism for improving mathematical reasoning in large language models, yet its effectiveness is often limited by reward sparsity: for challenging problems, models fail to sample correct reasoning trajectories, leading to stalled or inefficient learning. We introduce Reference-Guided Fine-Tuning (ReGFT), a pre-RL initialization strategy that leverages reference solutions to improve the effectiveness of subsequent RL. ReGFT uses partial reference guidance to elicit model-generated reasoning traces that remain aligned with the model’s own inference distribution, enabling RL to operate in regimes where reward signals would otherwise be absent. Across three challenging benchmarks (AIME 2024, AIME 2025, and Beyond-AIME), models initialized with ReGFT consistently achieve faster RL convergence, higher final accuracy, and stronger inference-time scaling compared to both raw and ReFT baseline. These results demonstrate that ReGFT can substantially enhance the effectiveness of reinforcement learning for mathematical reasoning.
","absKo":"Reinforcement learning (RL)은 large language model의 mathematical reasoning을 향상시키는 핵심 메커니즘이 되었지만, 그 효과는 종종 reward sparsity에 의해 제한된다. 어려운 문제에서는 model이 올바른 reasoning trajectory를 샘플링하지 못해 학습이 정체되거나 비효율적으로 진행된다. 우리는 후속 RL의 효과를 높이기 위해 reference solution을 활용하는 pre-RL initialization strategy인 Reference-Guided Fine-Tuning (ReGFT)을 제안한다. ReGFT는 partial reference guidance를 사용해 model-generated reasoning trace를 유도하며, 이를 통해 그 trace가 model 자신의 inference distribution과 정렬된 상태를 유지하도록 한다. 그 결과 RL은 원래 reward signal이 존재하지 않았을 regime에서도 작동할 수 있다. 세 가지 challenging benchmark(AIME 2024, AIME 2025, Beyond-AIME) 전반에서 ReGFT로 초기화한 model은 raw baseline과 ReFT baseline 모두에 비해 더 빠른 RL convergence, 더 높은 최종 정확도, 더 강한 inference-time scaling을 일관되게 달성한다. 이 결과는 ReGFT가 mathematical reasoning을 위한 reinforcement learning의 효과를 크게 향상시킬 수 있음을 보여준다.","link":"https://openreview.net/forum?id=G5kXgjF7Yj"},{"id":"qEe4ypDaQp","en":"Learning to Evolve: Open-ended Molecular Optimization with Progress-shaped RL","ko":"진화적으로 학습하기: progress-shaped RL을 통한 개방형 분자 최적화","authors":"Xuan Li, Zhanke Zhou, Zongze Li, Jiangchao Yao, Tongliang Liu, Bo Han","abs":"Open-ended molecular optimization requires models that learn reusable refinement strategies from evaluator feedback, rather than merely expanding test-time search. Yet training-free optimization leaves the model unchanged, while outcome-only reinforcement learning with verifiable rewards (RLVR) collapses a $\\textit{multi-turn}$ refinement trajectory into a $\\textit{single}$ reward, obscuring which edits truly improve molecular quality under validity constraints. To turn molecular evolution trajectories into policy-improving supervision, we introduce $\\textit{Learning to Evolve}$ (L2E), a long-horizon RL framework that extends RLVR from verifying final outputs to learning refinement dynamics. Instead of assigning one outcome reward to an entire generation, L2E constructs $\\textit{turn-specific evolution advantages}$ from validity-gated evaluator feedback, coupling local edit progress with cumulative trajectory utility across sibling refinement chains. This turns intermediate molecular states into learnable supervision, enabling policy optimization over $\\textit{how candidates evolve}$, without critic models, reference trajectories, or preference labels. Empirically, L2E delivers strong gains across molecular optimization benchmarks. On TOMG-Bench, it achieves 19.36 RI on LogP and 4.14 RI on MR, outperforming GRPO by 7.8$\\times$ and 7.6$\\times$, respectively. On multi-property BDP optimization, L2E reaches 4.11 RI on seen instructions and 3.63 RI on unseen ones, improving over the strongest RLVR baselines by 2.8$\\times$ and 3.6$\\times$. These results show that learning credit over evolution trajectories is a key step toward scalable, policy-improving molecular discovery.
","absKo":"개방형 molecular optimization은 단지 test-time search를 확장하는 것이 아니라, evaluator feedback으로부터 재사용 가능한 refinement strategy를 학습하는 모델을 요구한다. 그러나 training-free optimization은 모델을 그대로 유지하고, verifiable reward를 사용하는 outcome-only reinforcement learning (RLVR)은 $\\textit{multi-turn}$ refinement trajectory를 $\\textit{single}$ reward로 압축하여, validity constraints 하에서 어떤 edit이 실제로 molecular quality를 개선하는지 흐리게 만든다. Molecular evolution trajectory를 policy-improving supervision으로 바꾸기 위해, 우리는 RLVR을 최종 출력 검증에서 refinement dynamics 학습으로 확장하는 long-horizon RL framework인 $\\textit{Learning to Evolve}$ (L2E)를 제안한다. L2E는 전체 generation에 하나의 outcome reward를 부여하는 대신, validity-gated evaluator feedback으로부터 $\\textit{turn-specific evolution advantages}$를 구성하고, 이를 sibling refinement chain 전반의 cumulative trajectory utility와 local edit progress에 결합한다. 이렇게 함으로써 중간 molecular state가 학습 가능한 supervision으로 전환되며, critic model, reference trajectory, preference label 없이도 $\\textit{how candidates evolve}$에 대한 policy optimization이 가능해진다. 실험적으로 L2E는 molecular optimization benchmark 전반에서 강력한 성능 향상을 보인다. TOMG-Bench에서는 LogP에서 19.36 RI, MR에서 4.14 RI를 달성하여 각각 GRPO를 7.8$\\times$, 7.6$\\times$ 앞선다. Multi-property BDP optimization에서는 seen instruction에서 4.11 RI, unseen instruction에서 3.63 RI에 도달하며, 가장 강력한 RLVR baseline 대비 각각 2.8$\\times$, 3.6$\\times$ 향상된다. 이러한 결과는 evolution trajectory에 대한 credit learning이 확장 가능하고 policy를 실제로 개선하는 molecular discovery를 향한 핵심 단계임을 보여준다.","link":"https://openreview.net/forum?id=qEe4ypDaQp"},{"id":"RhFdJv6exK","en":"Mapping Uncharted Symmetries: Machine Discovery in Combinatorics","ko":"미지의 대칭성 매핑: 조합론에서의 기계적 발견","authors":"Eugenio Cainelli, Lorenzo Luccioli, Alessandro Iraci, Michele D'Adderio, Giovanni Paolini","abs":"Inspired by long-standing open problems in algebraic combinatorics, we show that modern machine learning can meaningfully contribute to verifiable mathematical discoveries. In particular, we focus on the construction of simple mathematical functions under exact distributional constraints, a setting we formalize as Simple Learning Under Rigid Proportions (SLURP). We tackle this problem by introducing two methods: MapSeek-Functional, which models the desired function alternating pseudo-labeling and supervised training steps; and MapSeek-Symbolic, designed to directly produce symbolic formulas. We successfully apply both methods to a research problem in algebraic combinatorics, discovering a new combinatorial interpretation of the $q,t$-Narayana polynomials arising from representation theory. To our knowledge, this is the first such interpretation based on noncrossing partitions. Using one discovered statistic, we find a combinatorial proof of the symmetry of these polynomials in a previously unsolved case. To streamline verification and reproducibility, we release all code, including a formalization of all the mathematical discoveries of this paper in Lean 4.
","absKo":"대수적 조합론의 오랜 공개 문제에서 영감을 받아, 우리는 현대 machine learning이 검증 가능한 수학적 발견에 의미 있게 기여할 수 있음을 보인다. 특히 우리는 정확한 분포 제약 하에서 단순한 수학 함수의 구성을 다루며, 이를 Simple Learning Under Rigid Proportions(SLURP)으로 정식화한다. 우리는 두 가지 방법을 도입해 이 문제를 해결한다. MapSeek-Functional은 pseudo-labeling과 supervised training 단계를 번갈아 수행하며 원하는 함수를 모델링하고, MapSeek-Symbolic은 symbolic formula를 직접 생성하도록 설계되었다. 우리는 이 두 방법을 대수적 조합론의 한 연구 문제에 성공적으로 적용하여, representation theory에서 비롯되는 $q,t$-Narayana polynomials의 새로운 combinatorial interpretation을 발견했다. 우리가 아는 한, 이것은 noncrossing partitions에 기반한 최초의 해석이다. 발견된 한 statistic을 사용하여, 우리는 이전에 해결되지 않았던 경우에서 이 다항식들의 대칭성에 대한 combinatorial proof를 찾았다. 검증과 재현성을 간소화하기 위해, 우리는 이 논문의 모든 수학적 발견을 Lean 4로 formalization한 것을 포함해 모든 코드를 공개한다.","link":"https://openreview.net/forum?id=RhFdJv6exK"},{"id":"82V0IoalQu","en":"How does RL Post-training Induce Skill Composition? A Case Study on Countdown","ko":"RL post-training이 skill composition을 어떻게 유도하는가? Countdown 사례 연구","authors":"Simon Park, Simran Kaur, Sanjeev Arora","abs":"While reinforcement learning (RL) successfully enhances reasoning in large language models, its role in fostering compositional generalization (the ability to synthesize novel skills from known components) is often conflated with mere length generalization. To this end, we study what RL post-training teaches models about skill composition and how the composition structure affects the skill trasnfer. We focus on the COUNTDOWN task (given $n$ numbers and a target, form an expression that evaluates to the target) and analyze model solutions using expression trees, where each subtree corresponds to a reusable subtask and thus can be viewed as a ``skill.'' Tracking tree shapes and their success rates over training, we find: (i) out-of-distribution (OOD) generalization to larger and to unseen tree shapes, indicating compositional reuse of subtasks; (ii) the order of skill acquisition depends upon the composition structure---models master shallow balanced trees (workload is balanced between subtasks) before deep unbalanced ones, with persistent fragility on right-heavy structures for a fixed composition depth. Our diagnostic reveals what is learned, in what order, and where generalization fails, clarifying how RL-only post-training induces OOD generalization beyond what standard metrics such as pass@k reveal. To study the implication of our findings for more real-world tasks, we present a preliminary study on formal theorem proving.
","absKo":"reinforcement learning(RL)은 large language model의 추론 능력을 성공적으로 향상시키지만, 이를 통해 compositional generalization(알려진 component로부터 새로운 skill을 합성하는 능력)이 촉진되는 역할은 종종 단순한 length generalization과 혼동된다. 이를 위해 우리는 RL post-training이 모델에게 skill composition에 대해 무엇을 가르치는지, 그리고 composition structure가 skill transfer에 어떤 영향을 미치는지 연구한다. 우리는 COUNTDOWN task($n$개의 숫자와 목표가 주어졌을 때, 목표값으로 평가되는 표현식을 구성하는 과제)에 초점을 맞추고, expression tree를 사용하여 모델의 해를 분석한다. 각 subtree는 재사용 가능한 subtask에 해당하므로 ``skill''로 볼 수 있다. 학습 동안 tree shape와 그 성공률을 추적한 결과, 우리는 다음을 발견했다: (i) 더 큰 tree와 보지 못한 tree shape로의 out-of-distribution(OOD) generalization은 subtask의 compositional reuse를 시사한다; (ii) skill acquisition의 순서는 composition structure에 의존한다 - 모델은 shallow balanced tree(작업량이 subtask 사이에 균형 있게 분배됨)를 deep unbalanced tree보다 먼저 익히며, 고정된 composition depth에서 right-heavy structure에 대한 취약성이 지속된다. 우리의 진단은 무엇이, 어떤 순서로 학습되며, 어디서 generalization이 실패하는지를 드러내어, RL-only post-training이 pass@k와 같은 표준 metric이 보여주는 것 이상의 OOD generalization을 어떻게 유도하는지 명확히 한다. 이러한 발견이 더 실제적인 과제에 갖는 함의를 살펴보기 위해, 우리는 formal theorem proving에 대한 예비 연구를 제시한다.","link":"https://openreview.net/forum?id=82V0IoalQu"},{"id":"yYQjp8mcLi","en":"LeanCat: A Lean Dataset for Evaluating Library-Grounded Category-Theoretic Reasoning","ko":"LeanCat: 라이브러리 기반 범주론적 추론 평가를 위한 Lean 데이터셋","authors":"Rongge Xu, Hui Dai, Yiming Fu, Jiedong Jiang, Tianjiao Nie, Junkai Wang, Holiverse Yang, Zhi-Hao Zhang","abs":"Modern formal theorem proving increasingly depends on large formal libraries, motivating focused evaluation datasets for library-grounded reasoning in addition to established olympiad-style, undergraduate, and other formal reasoning tasks. Category theory is a natural domain for this evaluation because proofs often rely on abstract interfaces, universal properties, and reusable library constructions. We introduce $\\textbf{LeanCat}$, a compact evaluation dataset of 100 statement-level category-theory tasks in Lean 4 and Mathlib. Each task includes a natural-language statement, a Lean-checkable formal theorem file, topic and difficulty labels, and source metadata. LeanCat evaluates how models navigate Mathlib interfaces and compose existing abstractions, including tasks that require local definitions or bridge lemmas beyond direct theorem lookup. We evaluate strong generalist models, specialized provers, and retrieval-augmented proving protocols across separate settings. The best static generalist baseline solves 12/100 tasks under controlled pass@4 evaluation, while retrieve--generate--verify protocols reach 24/100 overall and 1/40 High tasks in the best controlled setting, highlighting how formal grounding, retrieval, and interaction change measured performance on this focused benchmark.
","absKo":"현대의 formal theorem proving은 점점 더 큰 formal library에 의존하고 있으며, 이에 따라 기존의 olympiad-style, undergraduate 및 기타 formal reasoning task와 더불어 library-grounded reasoning을 위한 집중적인 평가 데이터셋이 필요하다. Category theory는 증명이 종종 abstract interface, universal property, 그리고 재사용 가능한 library construction에 의존하기 때문에 이러한 평가에 자연스러운 도메인이다. 우리는 Lean 4와 Mathlib에서 100개의 statement-level category theory task로 구성된 간결한 평가 데이터셋인 $\\textbf{LeanCat}$을 소개한다. 각 task는 자연어 명세, Lean으로 검사 가능한 formal theorem file, topic 및 difficulty label, 그리고 source metadata를 포함한다. LeanCat은 모델이 Mathlib interface를 어떻게 탐색하고 기존 abstraction을 조합하는지 평가하며, 직접적인 theorem lookup을 넘어 local definition이나 bridge lemma를 요구하는 task도 포함한다. 우리는 별도의 설정에서 강력한 generalist model, specialized prover, retrieval-augmented proving protocol을 평가한다. 가장 좋은 static generalist baseline은 통제된 pass@4 평가에서 12/100 task를 해결하는 반면, retrieve--generate--verify protocol은 최고의 통제 설정에서 전체 24/100, High task 1/40에 도달한다. 이는 formal grounding, retrieval, interaction이 이 집중형 benchmark에서 측정 성능을 어떻게 바꾸는지 보여 준다.","link":"https://openreview.net/forum?id=yYQjp8mcLi"},{"id":"1yWx6FfWEP","en":"Are Non-BPE Tokenizers Ready to Improve LLM Numeracy?","ko":"비-BPE tokenizer가 LLM의 수리 능력 향상에 준비되었는가?","authors":"Yizhan Huang, HUANG Nianchen, Yunxiang Li, Siu Po Wong, Michael R. Lyu","abs":"Arithmetic remains a persistent weakness for large language models (LLMs). However, major research efforts have primarily focused on tool use or reasoning chains, which bypass this foundational limitation rather than addressing it directly. While tokenization has emerged as a promising line of research to tackle this numeracy issue, it still lacks a systematic evaluation.
Regarding this gap, our paper asks whether alternatives to standard Byte-Pair Encoding (BPE) tokenization can improve arithmetic while preserving general natural-language (NL) ability.
We study three tokenizer innovations over a (fix-vocabulary) BPE baseline: 1) \\textit{cross-tokenizer distillation} for controlled digit chunking, 2)
\\textit{specialized number encodings} that represent numerical text with a \\verb|<num>| token, and 3) \\textit{byte-level LLMs} that operate on bytes instead of token-level. We build an evaluation protocol that requires LLM arithmetic capabilities to solve arithmetic problems in both explicit and implicit ways. Surprisingly, our result shows that
all three current alternatives could not outperform BPE in the arithmetic-NL Pareto frontier.
","absKo":"산술은 대규모 언어 모델(LLM)의 지속적인 약점으로 남아 있습니다. 그러나 주요 연구 노력은 주로 tool use나 reasoning chain에 집중해 왔으며, 이는 이 근본적 한계를 직접 해결하기보다 우회하는 방식입니다. tokenization이 이러한 수치 계산 문제를 다루기 위한 유망한 연구 방향으로 떠오르고 있지만, 아직 체계적인 평가는 부족합니다.\n이 공백을 바탕으로, 본 논문은 표준 Byte-Pair Encoding(BPE) tokenization의 대안이 일반 자연어(NL) 능력을 유지하면서 산술 성능을 향상시킬 수 있는지 질문합니다. \n\n우리는 고정 vocabulary BPE baseline 위에서 세 가지 tokenizer 혁신을 연구합니다. 1) 제어된 digit chunking을 위한 \\textit{cross-tokenizer distillation}, 2) 수치 텍스트를 \\verb|Token-level signals such as entropy, log-probabilities, and confidence scores offer an appealing way to verify LLM reasoning correctness without additional model calls. Yet reported AUROC values vary widely, from near chance to above 0.80, and it remains unclear how much of this variation reflects the signal itself rather than the evaluation protocol. We show that protocol choices can change apparent verification performance more than the choice of token-level method. Under controlled within-problem leave-one-out evaluation on hard math problems, entropy-based verifiers that appear to achieve 0.80+ AUROC under less controlled settings fall to 0.60--0.75. Moreover, their excess AUROC over a permutation null is only 0.00--0.17. We further show that removing direction-agnostic scoring, an oracle-like evaluation convention that selects the better direction after observing labels, causes final-token entropy to drop from 0.72--0.75 AUROC to 0.47--0.48 under fixed-direction scoring. These results suggest that shallow token-level statistics are useful diagnostics but weak standalone verifiers. We release our controlled evaluation protocol to help future work distinguish genuine verification signal from protocol-dependent effects.
","absKo":"entropy, log-probability, confidence score와 같은 token-level 신호는 추가 모델 호출 없이 LLM 추론의 정당성을 검증할 수 있는 매력적인 방법을 제공한다. 그러나 보고된 AUROC 값은 우연 수준에 가까운 값부터 0.80을 넘는 값까지 크게 달라지며, 이러한 변동의 상당 부분이 신호 자체보다 평가 프로토콜에서 비롯된 것인지 분명하지 않다. 우리는 프로토콜 선택이 token-level 방법의 선택보다 보이는 검증 성능을 더 크게 바꿀 수 있음을 보인다. 어려운 수학 문제에 대해 통제된 within-problem leave-one-out 평가를 적용하면, 덜 통제된 설정에서 0.80+ AUROC를 달성하는 것처럼 보이는 entropy 기반 verifier들은 0.60--0.75로 떨어진다. 더구나 permutation null 대비 초과 AUROC는 0.00--0.17에 불과하다. 또한 방향을 먼저 보고 더 나은 방향을 선택하는 oracle-like 평가 관행인 direction-agnostic scoring을 제거하면, final-token entropy는 고정 방향 scoring에서 0.72--0.75 AUROC에서 0.47--0.48로 하락한다. 이러한 결과는 얕은 token-level 통계가 유용한 진단 도구이기는 하지만 독립적인 verifier로서는 약하다는 점을 시사한다. 우리는 향후 연구가 진짜 검증 신호와 프로토콜 의존적 효과를 구분할 수 있도록 통제된 평가 프로토콜을 공개한다.","link":"https://openreview.net/forum?id=wRImV3kfR1"},{"id":"5Ll4O4VeH8","en":"Toward Unified Evaluation of Mathematical AI: A Survey and Framework","ko":"수학 AI의 통합 평가를 향하여: 서베이와 프레임워크","authors":"Nishitha A","abs":"Large language models have achieved remarkable results on mathematical reasoning tasks, yet the field lacks a unified framework for
evaluating both natural-language solutions and formal proofs. Existing surveys treat formal verification, LLM-as-judge, process reward models, and human grading as isolated paradigms organized by training pipeline or dataset role, while the 2024–2026 period has produced a fragmented landscape of over thirty new benchmarks spanning competition mathematics, undergraduate coursework, and research-level problems. We present a paradigm centric taxonomy crossing the formal/informal boundary, organizing evaluation methodology into six paradigms—symbolic checkers, formal proof verifiers, LLM-as-judge, process/outcome reward models, human expert grading, and hybrid generative verifiers—and systematically classify benchmarks along five orthogonal axes: difficulty tier, answer type (final-answer vs. proof),
formalization level, contamination resistance, and linguistic breadth. We then provide direct evidence that paradigms diverge systematically: a synthesis of published results and a confirmatory study on the Open Proof Corpus (n=150) yield cross-paradigm Cohen’s κ in the 0.04–0.28 range, with correlated over-acceptance between LLM- judge and PRM signals in 48% of disagreements. Our critical gap analysis reveals that no existing verifier paradigm simultaneously satisfies correctness guarantees, scalability, and alignment with human mathematical judgment, motivating a research agenda toward unified evaluation.
","absKo":"Large language models는 mathematical reasoning task에서 놀라운 성과를 거두었지만, 자연어 해답과 formal proof를 모두 평가할 수 있는 통합 framework는 여전히 부족하다. 기존 survey는 formal verification, LLM-as-judge, process reward model, human grading을 training pipeline이나 dataset role에 따라 분리된 패러다임으로 다루는 반면, 2024–2026년 기간에는 competition mathematics, undergraduate coursework, research-level problem을 아우르는 30개가 넘는 새로운 benchmark가 분절된 형태로 등장했다. 우리는 formal/informal 경계를 가로지르는 paradigm-centric taxonomy를 제시하여 evaluation methodology를 symbolic checker, formal proof verifier, LLM-as-judge, process/outcome reward model, human expert grading, hybrid generative verifier의 여섯 가지 패러다임으로 조직하고, benchmark를 difficulty tier, answer type(final-answer vs. proof), formalization level, contamination resistance, linguistic breadth의 다섯 개 직교 축에 따라 체계적으로 분류한다. 이어서 우리는 패러다임 간 차이가 체계적으로 존재함을 직접적으로 보인다. 출판된 결과의 종합과 Open Proof Corpus(n=150)에서의 confirmatory study는 패러다임 간 Cohen’s κ가 0.04–0.28 범위에 있음을 보여주며, disagreement의 48%에서 LLM-judge와 PRM 신호 사이에 상관된 over-acceptance가 나타난다. 우리의 critical gap analysis는 어떤 기존 verifier paradigm도 correctness guarantee, scalability, human mathematical judgment과의 alignment를 동시에 만족하지 못함을 드러내며, 통합 평가를 향한 연구 의제를 촉진한다.","link":"https://openreview.net/forum?id=5Ll4O4VeH8"},{"id":"lkEWRJn2U3","en":"Learn to Explore In-Context via Reinforcement Learning","ko":"reinforcement learning을 통해 in-context에서 탐색하도록 학습하기","authors":"Futing Wang, Jianhao Yan, Yun Luo, Ganqu Cui, Zhi Wang, Xiaoye Qu, Yue Zhang, Yu Cheng, Tao Lin","abs":"Achieving effective test-time scaling requires models to perform \\emph{in-context exploration} --- the ability to generate, evaluate, and refine multiple reasoning hypotheses within a single trajectory.
However, how to quantify and incentivize such exploration during reinforcement learning remains unclear.
In this work, we propose a principled view of in-context exploration through \\emph{state coverage}, measuring the diversity of abstract reasoning states visited during generation.
While directly optimizing state coverage is intractable, we show that trajectory length provides a simple and effective proxy for expanding exploration capacity.
However, naively encouraging longer reasoning leads to degenerate behaviors such as repetition.
To address this, we propose Length-Incentivized Non-redundant Exploration (\\method), a reward shaping approach that jointly incentivizes longer trajectories and penalizes redundant patterns.
Experiments across multiple models and benchmarks show that \\method consistently improves reasoning performance and leads to more diverse reasoning trajectories, resulting in stronger test-time scaling behavior.
On Qwen3-4B-Base, \\method improves average mathematical reasoning accuracy by 4.4 points over strong RL baselines, while also improving out-of-domain generalization.
","absKo":"효과적인 test-time scaling을 달성하려면 model이 \\emph{in-context exploration}을 수행해야 한다. 즉, 단일 trajectory 안에서 여러 reasoning hypothesis를 생성, 평가, 정제할 수 있어야 한다.\n 그러나 reinforcement learning 동안 이러한 exploration을 어떻게 정량화하고 동기부여할지는 아직 명확하지 않다.\n 본 연구에서는 생성 과정에서 방문하는 추상적 reasoning state의 다양성을 측정하는 \\emph{state coverage}를 통해 in-context exploration에 대한 원칙적인 관점을 제안한다.\n state coverage를 직접 최적화하는 것은 다루기 어렵지만, trajectory 길이가 exploration capacity를 확장하는 간단하고 효과적인 proxy임을 보인다.\n 그러나 단순히 더 긴 reasoning을 장려하면 repetition과 같은 퇴화된 행동이 발생한다.\n 이를 해결하기 위해, 우리는 Length-Incentivized Non-redundant Exploration(\\method)을 제안한다. 이는 더 긴 trajectory를 장려하는 동시에 중복 패턴을 패널티하는 reward shaping approach이다.\n 여러 model과 benchmark에 걸친 실험은 \\method가 reasoning performance를 일관되게 향상시키고 더 다양한 reasoning trajectory를 유도하여, 더 강한 test-time scaling behavior를 이끈다는 것을 보여준다.\n Qwen3-4B-Base에서 \\method는 강한 RL baseline 대비 평균 수학 reasoning 정확도를 4.4 points 향상시키는 한편, out-of-domain generalization도 개선한다.","link":"https://openreview.net/forum?id=lkEWRJn2U3"},{"id":"OYuyV3aZ6D","en":"Inference-Time Diversity in RL-Trained Lean Theorem Provers: A Diagnostic Study","ko":"RL로 학습된 Lean theorem prover의 추론 시 다양성: 진단 연구","authors":"Zachary Burton","abs":"RL-trained Lean theorem provers mode-collapse at inference time: on miniF2F-test with DeepSeek-Prover-V1.5-RL, doubling the i.i.d.\\ sampling budget from $k{=}32$ to $k{=}64$ produces zero additional solved theorems (42/244 in both cases). A fixed schedule of 15 tactic skeletons breaks this plateau and recovers a $+45\\%$ relative improvement at $k{=}16$ (mean $\\Delta = +12.3 \\pm 4.2$ theorems across $n{=}3$ seeds, sign preserved in every seed). A controlled diversity ablation rules out the prompt-diversity confound: tactic skeletons help, paraphrases match the baseline, and irrelevant Lean comments actively degrade. A leave-one-out formalization-difficulty stratification reveals a structural-content gradient across the three perturbations. The phenomenon is RL-specific: V1.5-Base proves zero theorems regardless of intervention, identifying RL as the stage that creates the proof capability which subsequently collapses; extending to two additional 7B Lean provers, RL-trained DeepSeek-Prover-V2-7B contributes $+3$ frontier solves no i.i.d.\\ baseline can reach despite a flat aggregate, while SFT-trained Goedel-Prover does not ($-10.0 \\pm 4.4$ theorems, $n{=}3$, sign preserved every seed). Inference-time structural diversity is a cheap, complementary axis for RL-trained provers, orthogonal to scaling model size or training compute.
","absKo":"RL로 학습된 Lean theorem prover는 추론 시 mode-collapse를 보입니다. miniF2F-test에서 DeepSeek-Prover-V1.5-RL을 사용할 때, i.i.d. sampling budget를 $k{=}32$에서 $k{=}64$로 두 배로 늘려도 추가로 해결되는 theorem은 전혀 없으며(두 경우 모두 42/244), 고정된 15개의 tactic skeleton schedule은 이 정체를 깨고 $k{=}16$에서 상대적으로 $+45\\%$의 향상을 회복합니다($n{=}3$ seeds에서 mean $\\Delta = +12.3 \\pm 4.2$ theorem, 모든 seed에서 부호 유지). 통제된 diversity ablation은 prompt-diversity confound를 배제합니다. tactic skeleton은 도움이 되지만 paraphrase는 baseline과 같고, 관련 없는 Lean comment는 오히려 성능을 저해합니다. leave-one-out formalization-difficulty stratification은 세 가지 perturbation 전반에 걸친 structural-content gradient를 드러냅니다. 이 현상은 RL-specific입니다. V1.5-Base는 어떤 개입을 하더라도 theorem을 하나도 증명하지 못하므로, RL이 이후 붕괴하는 proof capability를 만들어 내는 단계임을 보여 줍니다. 두 개의 추가 7B Lean prover로 확장하면, RL-trained DeepSeek-Prover-V2-7B는 평탄한 aggregate에도 불구하고 어떤 i.i.d. baseline도 도달할 수 없는 frontier solve를 $+3$개 추가로 달성하는 반면, SFT-trained Goedel-Prover는 그렇지 않습니다($-10.0 \\pm 4.4$ theorem, $n{=}3$, 모든 seed에서 부호 유지). 추론 시 structural diversity는 RL-trained prover를 위한 저비용의 보완적 축이며, 모델 크기나 training compute를 키우는 것과는 독립적입니다.","link":"https://openreview.net/forum?id=OYuyV3aZ6D"},{"id":"EvU0vEo7er","en":"Xolver: Generalist Reasoning and Problem Solving through Federated Multi-Agent Dynamics and Holistic Experience Learning","ko":"Xolver: 연합형 multi-agent 동역학과 총체적 경험 학습을 통한 범용 추론 및 문제 해결","authors":"Md Tanzib Hosain, Salman Rahman, Md Kishor Morol, Md Rizwan Parvez","abs":"LLMs solve every problem in two senses of isolation: across problems they discard prior reasoning traces, and within a single problem they cannot compare or reuse parallel attempts. We close this gap with Xolver, a training-free framework with three contributions. (i) Holistic Experience, a typed formalism mapping four human experience sources—mentorship, prior-self, tool mastery, peer collaboration—onto retrieval, self-retrieval, tool use, and multi-agent solving. (ii) Federated Agent Learning: agents independently solve the full problem and a judge curates a fixed-size top-m ones; subsequent rounds condition on this buffer rather than on free-form peer messages. (iii) A dual-memory inference algorithm} coupling episodic and intermediate, with quality-gated insertion and a relevance/recency/novelty eviction rule. Extensive experiments across 14 reasoning, agentic, and coding benchmarks demonstrate that Xolver consistently outperforms not only collaborative baseline methods such as debate, panel discussion, and cascading with identical setups (e.g., agents, tools, and iterations) but also specialized evolving/iterative, memory-augmented, and tool-using agents, including OctoTools, Search-o1, AWorld, OpenHands, OAgents, and Agent S2.5. Even with lightweight backbones (e.g., QWQ-32B), Xolver surpasses state-of-the-art proprietary models, and with stronger backbones (e.g., o3-mini-high), it achieves new state-of-the-art performance across a broad range of benchmarks. We will release all code/data.
","absKo":"LLM은 고립이라는 두 가지 의미에서 모든 문제를 푼다. 문제들 사이에서는 이전 reasoning trace를 버리고, 하나의 문제 안에서는 병렬 시도를 비교하거나 재사용할 수 없다. 우리는 세 가지 기여를 갖는 training-free framework인 Xolver로 이 간극을 메운다. (i) Holistic Experience: mentorship, prior-self, tool mastery, peer collaboration이라는 네 가지 human experience source를 retrieval, self-retrieval, tool use, multi-agent solving에 대응시키는 typed formalism. (ii) Federated Agent Learning: agent가 전체 문제를 독립적으로 풀고 judge가 고정 크기의 top-m 결과만 선별하며, 이후 라운드는 자유형 peer message가 아니라 이 buffer를 조건으로 한다. (iii) quality-gated insertion과 relevance/recency/novelty eviction rule을 결합한 episodic memory와 intermediate memory를 연결하는 dual-memory inference algorithm}.\n\n14개의 reasoning, agentic, coding benchmark에 대한 광범위한 실험은 Xolver가 debate, panel discussion, cascading처럼 동일한 setup(예: agent, tool, iteration)을 사용하는 협업 baseline method뿐 아니라, OctoTools, Search-o1, AWorld, OpenHands, OAgents, Agent S2.5를 포함한 특화된 evolving/iterative, memory-augmented, tool-using agent보다도 일관되게 우수함을 보여준다. 가벼운 backbone(예: QWQ-32B)에서도 Xolver는 state-of-the-art proprietary model을 능가하며, 더 강한 backbone(예: o3-mini-high)에서는 다양한 benchmark 전반에서 새로운 state-of-the-art 성능을 달성한다. 우리는 모든 code/data를 공개할 예정이다.","link":"https://openreview.net/forum?id=EvU0vEo7er"},{"id":"UJaWmLcSG9","en":"Towards Automated Causal Effect Estimation with Self-Evolving AI","ko":"Self-Evolving AI를 통한 자동 인과 효과 추정으로의 길","authors":"Can Wang, Hongyu Zhao, Yiqun T. Chen","abs":"Causal inference is central to scientific discovery, yet choosing appropriate methods remains challenging due to the complexity of statistical methodology and real-world data. Inspired by the success of artificial intelligence in accelerating scientific software, we introduce an evolutionary framework that uses large language models to discover and iteratively refine causal methods. Across benchmarks, our estimators consistently outperform established baselines: our best estimator lay on the Pareto frontier of 58 human submissions for a recent community competition. We also extend the algorithm to achieve competitive results in settings with estimated rewards. Analysis of the evolutionary trajectories shows that agents progressively discover sophisticated strategies tailored to unrevealed data-generating mechanisms. Our findings suggest that language-model-guided evolution could be used in scientific settings with partially observed rewards such as causal inference.
","absKo":"Causal inference는 scientific discovery의 핵심이지만, 통계적 methodology와 실제 데이터의 복잡성 때문에 적절한 method를 선택하는 일은 여전히 어렵다. 과학용 software를 가속하는 데 있어 artificial intelligence의 성공에서 영감을 받아, 우리는 large language model을 사용해 causal method를 발견하고 반복적으로 refinement하는 evolutionary framework를 제안한다. 여러 benchmark 전반에서 우리의 estimator는 일관되게 기존 baseline을 능가한다. 최근 community competition의 human submission 58개 중 우리의 best estimator는 Pareto frontier 위에 위치했다. 또한 estimated reward가 있는 설정에서도 경쟁력 있는 결과를 달성하도록 알고리즘을 확장했다. evolutionary trajectory 분석은 agent가 점차 unrevealed data-generating mechanism에 맞춘 정교한 전략을 발견함을 보여준다. 우리의 결과는 language-model-guided evolution이 causal inference와 같이 reward가 부분적으로만 관측되는 scientific setting에서 활용될 수 있음을 시사한다.","link":"https://openreview.net/forum?id=UJaWmLcSG9"},{"id":"A4FI5tZRT4","en":"Neural Algorithmic Reasoning Must Explain When Neuralization Adds Value","ko":"Neural Algorithmic Reasoning은 신경화가 언제 가치를 더하는지 설명해야 한다","authors":"Yu He, Robert R Nerem, Timo Stoll, Semih Cantürk, Dobrik Georgiev Georgiev, Solveig Wittig, Chendi Qian, Floris Geerts, Stefanie Jegelka, Ellen Vitercik, Yusu Wang, Nikolaos Karalias, Christopher Morris","abs":"Neural algorithmic reasoning (NAR) has emerged as a promising direction for integrating mathematical and algorithmic reasoning into end-to-end trainable neural pipelines, aiming to bring the structure and reliability of algorithms into practical pipelines, such as real-world mathematical problem solving. This position paper argues that, despite growing interest, NAR remains a broad and ambiguously defined collection of ideas. This vagueness obscures its relationship to neighboring areas, such as differentiable programming and machine learning for combinatorial optimization, and risks slowing progress. We argue that NAR has distinctive leverage, but realizing this leverage requires clearer answers to two central questions: what should count as NAR, and when is neuralizing an algorithmic procedure genuinely justified? To this end, we propose a working definition of NAR, clarify where it should and should not be applied, and identify theoretical goals for understanding correctness, generalization, and benefits of neuralized algorithms. We further propose empirical protocols that emphasize cross-paradigm comparisons and track practical value beyond synthetic algorithmic tasks. Together, these objectives provide a roadmap for developing NAR into a coherent research area with broader scientific and practical impact.
","absKo":"Neural algorithmic reasoning (NAR)은 수학적·알고리즘적 추론을 end-to-end로 학습 가능한 neural pipeline에 통합하기 위한 유망한 방향으로 부상했으며, 실제 수학 문제 해결과 같은 실용적 파이프라인에 알고리즘의 구조와 신뢰성을 가져오는 것을 목표로 한다. 이 position paper는 관심이 커지고 있음에도 불구하고, NAR이 여전히 폭넓고 모호하게 정의된 아이디어들의 집합에 머물러 있다고 주장한다. 이러한 모호성은 differentiable programming이나 combinatorial optimization을 위한 machine learning 같은 인접 분야와의 관계를 흐리게 하고, 진전을 늦출 위험이 있다. 우리는 NAR이 독특한 효용을 지니고 있다고 보지만, 그 효용을 실현하려면 두 가지 핵심 질문에 더 명확한 답이 필요하다고 주장한다. 무엇을 NAR로 간주해야 하는가, 그리고 언제 어떤 algorithmic procedure를 neuralize하는 것이 진정으로 정당화되는가? 이를 위해 우리는 NAR에 대한 working definition을 제안하고, 그것이 적용되어야 하는 경우와 적용되지 말아야 하는 경우를 구분하며, 정확성, generalization, 그리고 neuralized algorithm의 이점을 이해하기 위한 이론적 목표를 제시한다. 또한 synthetic algorithmic task를 넘어 cross-paradigm 비교와 실용적 가치를 추적하는 empirical protocol도 제안한다. 이들 목표는 NAR을 더 넓은 과학적·실용적 영향력을 지닌 일관된 연구 영역으로 발전시키기 위한 로드맵을 제공한다.","link":"https://openreview.net/forum?id=A4FI5tZRT4"},{"id":"niWcx5mmys","en":"Holm-Bonferroni Verification of Math Solvers: A Hessian-Mismatch Diagnostic for Benchmark-Level Failure Modes","ko":"수학 풀이기의 Holm-Bonferroni 검증: 벤치마크 수준 실패 모드에 대한 Hessian mismatch 진단","authors":"Jinze Yu, Yanping Deng","abs":"Verifying math solvers and AI-driven optimization systems across a benchmark suite is a multiple-comparison problem with correlated test statistics, yet benchmark practice routinely reports uncorrected $p$-values or none at all. We propose a verification protocol pairing Holm-Bonferroni multiple-comparison correction with a problem-specific structural diagnostic that attributes per-dataset rejections to algorithmic mechanism. We instantiate the protocol on a foundational math solver --- $\\ell_{2}$-regularized logistic regression --- where a fast closed-form solver ($R1{+}10$, single Cholesky) is compared against warm-start L-BFGS across 11 datasets. The Holm-Bonferroni-corrected paired $t$-test rejects the iso-accuracy null on exactly 2 of 11 datasets (Adult, $p<10^{-3}$; Covertype, $p=0.001$). The rejected datasets are precisely those with smallest Hessian-mismatch index $\\mu_{*} := \\lambda_{\\min}(\\mathbf{M}^{-1/2}\\mathbf{H}(\\boldsymbol{\\theta}^{*})\\mathbf{M}^{-1/2})$, a generalized Rayleigh quotient that controls the solver's asymptotic linear convergence rate. The pre-iteration estimate $\\hat{\\mu}_{5}$ fails as a decision rule (FP rate $100\\%$ at $\\tau=0.05$): $\\hat{\\mu}_{5}$ values cluster in $[0.08, 0.21]$ regardless of true $\\mu_{*}$. The protocol generalizes to verification of any math AI system whose error has a spectral characterization: replace $\\mu_{*}$ with the problem-specific convergence diagnostic. We compare four correction procedures (Bonferroni, Holm-Bonferroni, Benjamini-Hochberg, no correction) and four test statistics (paired $t$, Wilcoxon, sign-test, bootstrap CI), all consistent on the two rejections.
","absKo":"수학 솔버와 AI 기반 최적화 시스템을 benchmark suite 전반에서 검증하는 것은 상관된 test statistic을 갖는 multiple-comparison 문제이지만, benchmark 관행은 종종 보정되지 않은 $p$-value를 보고하거나 아예 보고하지 않는다. 우리는 Holm-Bonferroni multiple-comparison correction과, 알고리즘 메커니즘에 따라 각 dataset의 rejection을 귀속시키는 문제 특화 structural diagnostic을 결합한 검증 프로토콜을 제안한다. 우리는 이 프로토콜을 기초적인 수학 솔버인 $\\ell_{2}$-regularized logistic regression에 적용한다. 여기서 빠른 closed-form solver($R1{+}10$, single Cholesky)를 11개 dataset에서 warm-start L-BFGS와 비교한다. Holm-Bonferroni로 보정한 paired $t$-test는 iso-accuracy null을 정확히 11개 중 2개 데이터셋(Adult, $p<10^{-3}$; Covertype, $p=0.001$)에서만 기각한다. 기각된 데이터셋은 정확히 가장 작은 Hessian-mismatch index $\\mu_{*} := \\lambda_{\\min}(\\mathbf{M}^{-1/2}\\mathbf{H}(\\boldsymbol{\\theta}^{*})\\mathbf{M}^{-1/2})$를 가지는 경우이며, 이는 solver의 점근적 선형 수렴률을 제어하는 generalized Rayleigh quotient이다. 사전 반복 추정치 $\\hat{\\mu}_{5}$는 의사결정 규칙으로 실패한다(FP rate $100\\%$ at $\\tau=0.05$): $\\hat{\\mu}_{5}$ 값은 실제 $\\mu_{*}$와 무관하게 $[0.08, 0.21]$에 군집한다. 이 프로토콜은 스펙트럴 특성화가 가능한 모든 수학 AI 시스템의 검증으로 일반화된다. 즉, $\\mu_{*}$를 문제 특화 convergence diagnostic으로 대체하면 된다. 우리는 네 가지 correction procedure(Bonferroni, Holm-Bonferroni, Benjamini-Hochberg, no correction)와 네 가지 test statistic(paired $t$, Wilcoxon, sign-test, bootstrap CI)을 비교하며, 모두 두 개의 rejection에 대해 일치한다.","link":"https://openreview.net/forum?id=niWcx5mmys"},{"id":"oxBDPN1To2","en":"Formal-AVS: a Lean benchmark for anytime-valid confidence-sequence theorem proving","ko":"Formal-AVS: anytime-valid confidence-sequence 정리 증명을 위한 Lean 벤치마크","authors":"Aidan Z.H. Yang","abs":"Anytime-valid confidence sequences provide confidence intervals
valid at every stopping time, removing the optional-stopping
problem in A/B testing and sequential clinical trials. Deploying
them correctly requires proving that the implementation matches
the theory, since subtle bugs silently invalidate coverage
guarantees. We release Formal-AVS, a benchmark of $60$
Lean 4 theorems formalizing properties of four anytime-valid
families (Howard-Ramdas, betting, Whitehouse vector, asymptotic
CLT) against a companion library and a fixed Mathlib commit. We
evaluate seven solvers across three capability levels. Single-shot
generalist closure peaks at $22/60$ and drops to zero on
cross-function targets. A four-round agentic refinement loop
closes the first non-Aristotle cross-function target and narrows
the prompt-sensitivity gap. Harmonic Aristotle closes $53/60$
axiom-clean and surfaces three false-as-stated targets that all
other solvers accepted. We release the benchmark, a companion
Lean library, and a 14-session Aristotle history archive with
closed proofs, refutation witnesses, and axiom audits.
","absKo":"Anytime-valid confidence sequences는 stopping time마다 유효한 confidence interval을 제공하여, A/B testing과 sequential clinical trial에서 optional-stopping 문제를 제거한다. 이를 올바르게 배포하려면 구현이 이론과 일치함을 증명해야 하는데, 미묘한 버그가 coverage guarantee를 조용히 무효화할 수 있기 때문이다. 우리는 Formal-AVS를 공개한다. Formal-AVS는 companion library와 고정된 Mathlib commit을 기준으로, 네 가지 anytime-valid family(Howard-Ramdas, betting, Whitehouse vector, asymptotic CLT)의 성질을 formalize한 $60$개의 Lean 4 theorem으로 구성된 benchmark이다. 우리는 세 가지 capability level에 걸쳐 일곱 개 solver를 평가했다. single-shot generalist closure는 최고 $22/60$에 그쳤고 cross-function target에서는 0으로 떨어졌다. 4라운드 agentic refinement loop는 Aristotle이 아닌 최초의 cross-function target을 닫았고 prompt sensitivity gap을 좁혔다. Harmonic Aristotle는 $53/60$을 axiom-clean으로 닫았고, 다른 모든 solver가 받아들인 세 개의 false-as-stated target을 드러냈다. 우리는 benchmark, companion Lean library, 그리고 닫힌 proof, refutation witness, axiom audit를 담은 14-session Aristotle history archive를 공개한다.","link":"https://openreview.net/forum?id=oxBDPN1To2"},{"id":"9Ll1y5OFn9","en":"DAPS: Dependency-Aware Premise Selection for LLM Theorem Proving","ko":"DAPS: LLM 정리 증명을 위한 의존성 인식 전제 선택","authors":"Yinya Huang, Zixuan Chen, Wenyuan Jiang, Junling Wang, Mrinmaya Sachan","abs":"LLM-based theorem proving in Lean 4 has advanced rapidly, but provers are difficult to leverage newly contributed lemmas. Existing neural selectors rank candidates by semantic similarity, with three intrinsic limitations: frequency-skewed retrieval, isolated pairwise ranking, and degradation on out-of-distribution queries such as competition problems and informal language. Given that mathematics is structured by dependencies rather than similarities, we restore this signal to both the training data and the model. We conduct the first systematic mining of 53 Lean Blueprint projects, a previously untapped corpus of 3,805 manually curated informal+formal nodes that capture rare, research-level premises absent from Mathlib4. We further pair it with the extraction of comprehensive, typed, multi-level Mathlib4 dependencies. We then introduce DAPS, a dependency-aware premise selector with a structural neighborhood encoder, a group-level contrastive objective, and a Mathlib-then-Blueprint adaptation procedure. DAPS reaches Recall@32 of 89.31 on Mathlib4-Heldout, 11.47 over the strong selector LeanHammer, and holds its lead across out-of-distribution benchmarks. DAPS further improves three general-purpose LLMs on the informal IMO-ProofBench. Dependency graphs, benchmarks, and code are available and will be released under a permissive license upon publication.
","absKo":"Lean 4에서의 LLM 기반 theorem proving은 빠르게 발전했지만, prover가 새로 기여된 lemma를 활용하기는 어렵다. 기존 neural selector는 후보를 semantic similarity로 순위화하지만, frequency-skewed retrieval, isolated pairwise ranking, competition problem이나 informal language 같은 out-of-distribution query에서의 성능 저하라는 세 가지 내재적 한계를 가진다. 수학이 similarity가 아니라 dependency로 구조화된다는 점을 고려하면, 우리는 이 신호를 training data와 model 양쪽에 복원해야 한다. 우리는 53개의 Lean Blueprint project를 대상으로 한 최초의 체계적 mining을 수행했는데, 이는 이전에 활용되지 않았던 3,805개의 수작업으로 정제된 informal+formal node로 구성된 corpus이며, Mathlib4에 없는 희귀한 research-level premise를 담고 있다. 여기에 더해 포괄적이고 typed된 multi-level Mathlib4 dependency extraction을 결합했다. 그다음 structural neighborhood encoder, group-level contrastive objective, Mathlib-then-Blueprint adaptation procedure를 갖춘 dependency-aware premise selector인 DAPS를 도입한다. DAPS는 Mathlib4-Heldout에서 Recall@32 89.31을 달성하여 강력한 selector인 LeanHammer보다 11.47 높았고, out-of-distribution benchmark 전반에서도 우위를 유지한다. 또한 DAPS는 informal IMO-ProofBench에서 세 개의 general-purpose LLM 성능을 추가로 향상시킨다. dependency graph, benchmark, code는 사용 가능하며, 출판 시 관대한 라이선스로 공개될 예정이다.","link":"https://openreview.net/forum?id=9Ll1y5OFn9"},{"id":"d2jgqlEweL","en":"Not All Proofs Are Equal: Evaluating LLM Proof Quality Beyond Correctness","ko":"모든 증명이 같은 것은 아니다: 정답 여부를 넘어 LLM 증명 품질 평가","authors":"Ivo Petrov, Jasper Dekoninck, Dimitar Iliev Dimitrov, Martin Vechev","abs":"Large language models (LLMs) have become capable mathematical problem-solvers, often producing correct proofs for challenging problems. However, correctness alone is not sufficient: mathematical proofs should also be clear, concise, insightful, and transferable to other problems. While this proof quality is subjective and depends on the reader and context, many of its components are concrete and broadly valued. In this work, we identify such components and introduce ProofRank, a benchmark curated from challenging mathematical competitions. ProofRank evaluates several scalable proxies of proof quality: (i) conciseness, measuring whether proofs avoid unnecessary steps; (ii) computational ease, measuring the extent to which a proof relies on tedious calculations; (iii) cognitive simplicity, measuring how accessible the used proof techniques are; (iv) diversity, measuring how varied a model's proofs for a single problem are; and (v) adaptivity, measuring whether a model can follow a specified proof technique. Across models, we find substantial differences in proof quality that are not captured by correctness-only benchmarks. We also observe significant trade-offs between proof-quality metrics and correctness, suggesting that future evaluations of mathematical reasoning should measure how useful LLM-generated proofs are.
","absKo":"Large language models (LLMs)은 점점 더 능숙한 수학 문제 해결자가 되어, 종종 어려운 문제에 대해 올바른 proof를 생성한다. 그러나 정답성만으로는 충분하지 않다: 수학적 proof는 명확하고, 간결하며, 통찰력이 있고, 다른 문제로 전이 가능해야 한다. 이러한 proof quality는 독자와 맥락에 따라 주관적이지만, 그 구성 요소들 중 많은 부분은 구체적이며 널리 가치 있게 여겨진다. 본 연구에서는 이러한 구성 요소를 식별하고, challenging mathematical competitions에서 정제한 benchmark인 ProofRank를 소개한다. ProofRank는 proof quality의 여러 확장 가능한 proxy를 평가한다: (i) conciseness, 즉 proof가 불필요한 단계를 피하는지 측정한다; (ii) computational ease, 즉 proof가 번거로운 계산에 얼마나 의존하는지 측정한다; (iii) cognitive simplicity, 즉 사용된 proof technique가 얼마나 접근 가능한지 측정한다; (iv) diversity, 즉 한 문제에 대해 model의 proof가 얼마나 다양한지 측정한다; 그리고 (v) adaptivity, 즉 model이 지정된 proof technique를 따를 수 있는지 측정한다. 여러 model에 걸쳐, 우리는 correctness-only benchmark로는 포착되지 않는 proof quality의 상당한 차이를 발견했다. 또한 proof-quality metric과 correctness 사이의 의미 있는 trade-off도 관찰했으며, 이는 향후 수학적 reasoning 평가가 LLM이 생성한 proof가 얼마나 유용한지를 측정해야 함을 시사한다.","link":"https://openreview.net/forum?id=d2jgqlEweL"},{"id":"DmPE4byHuN","en":"Beyond Benchmarks: MathArena as an Evaluation Platform for Mathematics with LLMs","ko":"벤치마크를 넘어: LLM과 함께하는 수학 평가 플랫폼으로서의 MathArena","authors":"Jasper Dekoninck, Nikola Jovanović, Tim Gehrunger, Kári Rögnvaldsson, Ivo Petrov, Chenhao Sun, Martin Vechev","abs":"Large language models (LLMs) are becoming increasingly capable mathematical collaborators, but static benchmarks are no longer sufficient for tracking progress: they are often narrow in scope, quickly saturated, and rarely updated. We instead need evaluation platforms: continuously maintained systems that run, aggregate, and analyze evaluations across many benchmarks. In this work, we build on the original MathArena benchmark by broadening it from final-answer olympiad problems into an evaluation platform for mathematical reasoning with LLMs. MathArena now covers proof-based competitions, research-level arXiv problems, and formal proof generation in Lean. We also maintain a clear evaluation protocol and regularly add benchmarks as model capabilities improve. Notably, GPT-5.5 reaches 98% on the 2026 USA Math Olympiad and 74% on research-level questions, showing that frontier models can now solve extremely challenging mathematical problems. This highlights the importance of continuously maintained platforms like MathArena for tracking progress in mathematical reasoning.
","absKo":"대규모 언어 모델(LLM)은 점점 더 유능한 수학적 협업자 되어가고 있지만, 정적 benchmark만으로는 더 이상 진전을 추적하기에 충분하지 않다. 이런 benchmark는 대개 범위가 좁고, 빠르게 포화되며, 거의 갱신되지 않는다. 대신 필요한 것은 evaluation platform, 즉 여러 benchmark에 걸쳐 evaluation을 지속적으로 실행, 집계, 분석하는 유지보수형 시스템이다. 본 연구에서는 기존 MathArena benchmark를 확장하여, 최종 답만 맞히는 olympiad 문제에서 벗어나 LLM을 위한 수학적 추론 evaluation platform으로 발전시킨다. MathArena는 이제 proof-based competition, research-level arXiv problem, 그리고 Lean에서의 formal proof generation까지 포괄한다. 또한 명확한 evaluation protocol을 유지하고, model capability가 향상됨에 따라 benchmark를 정기적으로 추가한다. 특히 GPT-5.5는 2026 USA Math Olympiad에서 98%, research-level question에서 74%를 달성하여, frontier model이 이제 매우 도전적인 수학 문제도 풀 수 있음을 보여준다. 이는 수학적 추론의 진전을 추적하기 위해 MathArena와 같은 지속적으로 유지되는 platform의 중요성을 부각한다.","link":"https://openreview.net/forum?id=DmPE4byHuN"},{"id":"CInhNzUwfZ","en":"Differentiable Algebra Discovery Accelerates Grokking via a Non-Fourier Mechanism","ko":"미분 가능한 대수 발견이 비푸리에 메커니즘을 통해 grokking을 가속한다","authors":"Bryan Cheng","abs":"Neural networks can implicitly discover algebraic structure through the grokking phenomenon, but prior mechanistic accounts are limited to cyclic groups and sparse Fourier representations; whether a learned algebraic prior can generalize to arbitrary finite groups and dramatically accelerate convergence remains open. We introduce FORGE: a rank-R bilinear product μ(a,b)=Σᵣ Wᵣ((Uᵣa)⊙(Vᵣb)) trained jointly with associativity, identity, and inverse algebra losses, which we prove is a CP factorization of the group multiplication tensor T_G. Six propositions characterize the mechanism: a Strassen-refined rank bound (rank_CP(T_{S₄})≤55 < 64 = Σ_ρ dim(ρ)³, improving the Wedderburn upper bound via Strassen's and Laderman's matrix-multiplication algorithms); mechanistic Wedderburn recovery; CP–isotypic alignment and Frobenius–Schur discrimination; a causal axiom-emergence theorem; and a universal sub-linear grokking-time scaling law. A four-way matched-budget ablation isolates the architecture as essential: on ℤ/97, MLP+Grokfast achieves 0.86× (a slowdown), while FORGE+Grokfast achieves 10.20×; matched MLPs fail on S₃, D₄, A₄ in all 9 runs (val=0.000), while FORGE groks all three in ∼10³ steps via a qualitatively distinct non-Fourier route (6 seeds, sign test p<0.016): effective harmonic modes ≈23 vs. ≈16. FORGE groks every finite group tested—abelian, dihedral, alternating, symmetric, and quaternionic—through A₇ (order 2,520) and ℤ_{1009} (order 1,009); on A₅ (smallest non-solvable group) FORGE achieves 10.1× speedup over MLP (1,800 vs. 18,267 steps) and 3.0× over MLP+Grokfast (5,467 steps). Grokking time follows a universal power law 732·|G|^{0.170} (R²=0.785, 20 groups, 68 seeds): a 168× increase in group order costs only 2.4× more steps. Mechanistic analysis recovers ≈1,630 of 1,639 Wedderburn conjugacy-class multiplicities exactly; identity axiom emergence causally precedes generalization by 583±80 steps in all 12 seed-runs, refuting the tautology hypothesis. Beyond group theory, FORGE reduces Hamiltonian invariant drift by 20–150,000× and improves QM9 U₀ MAE by 15.3%, establishing differentiable algebra discovery as a general-purpose inductive bias.
","absKo":"Neural network는 grokking 현상을 통해 암묵적으로 algebraic structure를 발견할 수 있지만, 기존 mechanistic account는 cyclic group과 sparse Fourier representation에 국한되어 있으며, 학습된 algebraic prior가 임의의 finite group으로 일반화되고 수렴을 극적으로 가속할 수 있는지는 여전히 열려 있다. 우리는 FORGE를 소개한다. 이는 rank-R bilinear product μ(a,b)=Σᵣ Wᵣ((Uᵣa)⊙(Vᵣb))로, associativity, identity, inverse algebra loss와 함께 공동 학습되며, 이것이 group multiplication tensor T_G의 CP factorization임을 증명한다. 여섯 개의 proposition이 이 메커니즘을 특징짓는다. 즉, Strassen-refined rank bound (rank_CP(T_{S₄})≤55 < 64 = Σ_ρ dim(ρ)³, Strassen과 Laderman의 matrix multiplication algorithm을 통해 Wedderburn upper bound를 개선); mechanistic Wedderburn recovery; CP–isotypic alignment와 Frobenius–Schur discrimination; causal axiom-emergence theorem; 그리고 보편적인 sub-linear grokking-time scaling law이다. 네 가지 matched-budget ablation은 architecture가 필수적임을 분리해서 보여준다. ℤ/97에서 MLP+Grokfast는 0.86×(오히려 느려짐)인 반면, FORGE+Grokfast는 10.20×를 달성한다. matched MLP는 S₃, D₄, A₄에서 9회 전부 실패(val=0.000)한 반면, FORGE는 질적으로 다른 비-Fourier 경로를 통해 세 그룹 모두를 약 10³ step 만에 grok 한다(6 seeds, sign test p<0.016): effective harmonic mode는 약 23개 대 약 16개다. FORGE는 테스트한 모든 finite group - abelian, dihedral, alternating, symmetric, quaternionic - 에서 A₇(order 2,520)와 ℤ_{1009}(order 1,009)까지 grok한다. A₅(가장 작은 non-solvable group)에서는 FORGE가 MLP보다 10.1배 빠르고(1,800 vs. 18,267 step), MLP+Grokfast보다 3.0배 빠르다(5,467 step). Grokking time은 보편적인 power law 732·|G|^{0.170} (R²=0.785, 20 group, 68 seed)를 따른다: group order가 168배 증가해도 step은 2.4배만 더 든다. Mechanistic analysis는 Wedderburn conjugacy-class multiplicity 1,639개 중 약 1,630개를 정확히 복원하고, identity axiom emergence가 모든 12개 seed-run에서 일반화보다 583±80 step 먼저 인과적으로 나타나 tautology 가설을 반박한다. group theory를 넘어, FORGE는 Hamiltonian invariant drift를 20–150,000배 줄이고 QM9 U₀ MAE를 15.3% 개선하여, differentiable algebra discovery가 범용 inductive bias가 될 수 있음을 입증한다.","link":"https://openreview.net/forum?id=CInhNzUwfZ"},{"id":"kil5cfURcp","en":"TEMPO: Scaling Test-time Training for Large Reasoning Models","ko":"TEMPO: 대형 추론 모델을 위한 test-time training 확장","authors":"Qingyang Zhang, Xinke Kong, Haitao Wu, Qinghua Hu, Minghao Wu, Baosong Yang, Yu Cheng, Yun Luo, Ganqu Cui, Changqing Zhang","abs":"Large reasoning models (LRMs) remain static after training, limiting their ability to adapt to novel problems. Test-time training (TTT) addresses this by adapting model parameters on unlabeled test instances, continuously extending capabilities beyond offline training. However, existing TTT methods that rely on self-generated reward signals plateau quickly: without external grounding, the reward signal drifts as the policy evolves, causing both performance saturation and diversity collapse. We propose TEMPO, a dual-agent self-evolution framework that interleaves policy refinement by a reasoning agent on unlabeled questions with periodic recalibration of a verification agent (critic) on a labeled dataset. By formalizing this alternating procedure through the Expectation-Maximization (EM) algorithm, we reveal that prior single-agent self-rewarding methods are incomplete EM variants that omit the crucial verification step. Restoring this step tightens the evidence lower bound (ELBO) and enables sustained self-evolution. Across diverse model families (Qwen3 and OLMO3) and reasoning tasks, TEMPO improves OLMO3-7B on AIME 2024 from 33.0\\% to 51.1\\% and Qwen3-14B from 42.3\\% to 65.8\\%, while maintaining high output diversity. These results demonstrate that collaborative dual-agent self-evolution can push LRMs substantially beyond their static training boundaries. Code is available at \\url{https://anonymous.4open.science/r/TEMPO-3A56}.
","absKo":"Large reasoning model (LRM)은 학습 이후 정적이어서 새로운 문제에 적응하는 능력이 제한된다. test-time training (TTT)은 비라벨 test instance에서 model parameter를 적응시킴으로써 이를 해결하며, offline training을 넘어 능력을 지속적으로 확장한다. 그러나 self-generated reward signal에 의존하는 기존 TTT method는 빠르게 성능이 정체된다. 외부 grounding이 없으면 policy가 진화함에 따라 reward signal이 drift하여 performance saturation과 diversity collapse를 모두 유발한다. 우리는 unlabeled question에서 reasoning agent가 policy를 refinement하는 과정과, labeled dataset에서 verification agent(critic)를 주기적으로 recalibration하는 과정을 교차시키는 dual-agent self-evolution framework인 TEMPO를 제안한다. 이 alternating procedure를 Expectation-Maximization (EM) algorithm으로 정식화함으로써, 기존의 single-agent self-rewarding method가 핵심적인 verification step을 생략한 incomplete EM variant임을 보인다. 이 step을 복원하면 evidence lower bound (ELBO)가 tighter해지고 지속적인 self-evolution이 가능해진다. 다양한 model family (Qwen3와 OLMO3)와 reasoning task 전반에서 TEMPO는 OLMO3-7B의 AIME 2024 성능을 33.0\\%에서 51.1\\%로, Qwen3-14B의 성능을 42.3\\%에서 65.8\\%로 향상시키면서도 높은 output diversity를 유지했다. 이 결과는 collaborative dual-agent self-evolution이 LRM을 정적 training boundary를 훨씬 넘어서는 수준으로 끌어올릴 수 있음을 보여준다. 코드는 \\url{https://anonymous.4open.science/r/TEMPO-3A56}에서 제공된다.","link":"https://openreview.net/forum?id=kil5cfURcp"},{"id":"0CDKlMQj3W","en":"Geometry of Reason: Spectral Signatures of Valid Mathematical Reasoning","ko":"이성의 기하학: 올바른 수학적 추론의 스펙트럼 시그니처","authors":"Valentin NOËL","abs":"Verifying whether a language model is genuinely reasoning or pattern-matching remains an open problem: learned verifiers are expensive, and output-based heuristics are brittle.
We show that valid mathematical reasoning induces a measurable, training-free spectral signature in transformer attention.
By treating each attention matrix as a weighted token graph, we extract four diagnostics: Fiedler value, High-Frequency Energy Ratio (HFER), spectral entropy, and smoothness, that require no learned parameters.
Experiments across seven models from four architectural families yield effect sizes up to Cohen's $d = 3.30$ ($p < 10^{-116}$), enabling $85$-$96$% single-threshold classification accuracy.
Two findings sharpen the interpretation.
First, \\emph{Platonic validity}: the spectral signal tracks logical coherence rather than compiler acceptance, proofs rejected for timeouts or missing imports are correctly classified as valid, a distinction confirmed by a manual audit ($\\kappa = 0.82$, $n = 51$).
Second, \\emph{architectural determinism}: Sliding Window Attention shifts the discriminative feature from HFER to smoothness ($d = 2.09$, $p < 10^{-48}$), showing that attention design governs which spectral channel encodes reasoning quality.
Causal ablation confirms the signature traces induction-head circuits.
The method generalises to informal chain-of-thought ($d = 0.78$, $p < 10^{-3}$), and in proof search, HFER reranking improves Best-of-16 Pass@1 by $+4.4$-$6.6$\\%, matching $98$% of the AUC of fully supervised probes with zero labels.
Spectral graph analysis is a principled, architecture-aware primitive for reasoning verification.
","absKo":"language model이 진짜로 reasoning하고 있는지, 아니면 단순히 pattern matching을 하는지를 검증하는 문제는 여전히 열려 있다. learned verifier는 비용이 크고, output 기반 heuristic은 취약하다.\n우리는 유효한 수학적 reasoning이 transformer attention 안에서 측정 가능한, 학습이 필요 없는 spectral signature를 유도함을 보인다.\n각 attention matrix를 가중 token graph로 간주함으로써, 우리는 학습된 parameter가 전혀 필요 없는 네 가지 진단 지표인 Fiedler value, High-Frequency Energy Ratio(HFER), spectral entropy, smoothness를 추출한다.\n네 가지 architecture family에서 나온 일곱 개 model에 대한 실험은 Cohen's $d = 3.30$까지의 효과 크기($p < 10^{-116}$)를 보였고, 단일 임계값 기준으로 $85$-$96$%의 분류 정확도를 가능하게 했다.\n두 가지 발견이 해석을 더욱 선명하게 한다.\n첫째, \\emph{Platonic validity}: spectral signal은 compiler acceptance가 아니라 logical coherence를 추적한다. timeout이나 missing import 때문에 거절된 proof도 올바르게 valid로 분류되며, 이는 수동 audit로 확인되었다($\\kappa = 0.82$, $n = 51$).\n둘째, \\emph{architectural determinism}: Sliding Window Attention은 판별 feature를 HFER에서 smoothness로 이동시킨다($d = 2.09$, $p < 10^{-48}$). 이는 attention 설계가 reasoning quality를 인코딩하는 spectral channel을 결정함을 보여 준다.\nCausal ablation은 이 signature가 induction-head circuit을 추적함을 확인한다.\n이 방법은 informal chain-of-thought에도 일반화된다($d = 0.78$, $p < 10^{-3}$). 또한 proof search에서 HFER reranking은 Best-of-16 Pass@1을 $+4.4$-$6.6$\\% 향상시키며, zero label로 fully supervised probe의 AUC의 $98$%에 해당하는 성능을 달성한다.\nSpectral graph analysis는 reasoning verification을 위한 원칙적이고 architecture-aware한 primitive이다.","link":"https://openreview.net/forum?id=0CDKlMQj3W"},{"id":"NRkkBkFyoF","en":"Evolutionary Multi-Task Optimization for LLM-Guided Discovery","ko":"LLM-guided discovery를 위한 진화적 multi-task 최적화","authors":"Halil Alperen Gozeten, Xuechen Zhang, Muhammed Emrullah Ildiz, Ege Onur Taga, Tara Javidi, Samet Oymak","abs":"Recent LLM-guided evolutionary search methods have shown that iterative program mutation can discover strong algorithms, but they typically optimize each task independently, even when related tasks share reusable structure. We introduce Evolutionary Multi-Task Optimization (EMO) for LLM-guided program discovery, and propose EMO-STA (Shared-Then-Adapt), a two-stage framework that first evolves a shared archive of executable programs across a task family and then adapts selected shared candidates to each target task. Within EMO-STA, we explore multiple adaptation strategies, including warm-starting from the shared archive, adapting the best average shared program, and adapting the shared program that performs best on each target task. Across eight task families spanning continuous optimization, geometric construction, modeling, and algorithmic optimization, EMO-STA improves over matched-compute single-task evolution in most settings, with STA Best-Local providing the strongest in-distribution adaptation and STA Best-Shared yielding robust transfer to unseen tasks. Compute-allocation experiments show that allocating a substantial fraction of the family-level budget to shared evolution is consistently beneficial, with roughly balanced shared and adaptation budgets often being optimal. Beyond compute efficiency, we show that shared evolution can mitigate overfitting in low-evidence settings (e.g. few training data), including ARC tasks and time-series feature engineering, by favoring programs that generalize across all tasks rather than exploiting task-specific brittle artifacts.
","absKo":"최근 LLM-guided evolutionary search 방법들은 반복적인 program mutation이 강력한 algorithm을 발견할 수 있음을 보여 주었지만, 일반적으로 관련 task가 재사용 가능한 구조를 공유하더라도 각 task를 독립적으로 최적화한다. 우리는 LLM-guided program discovery를 위한 Evolutionary Multi-Task Optimization(EMO)을 소개하고, EMO-STA(Shared-Then-Adapt)를 제안한다. 이는 먼저 task family 전반에 걸쳐 executable program의 shared archive를 진화시키고, 이후 선택된 shared candidate를 각 target task에 맞게 적응시키는 two-stage framework이다. EMO-STA 내부에서는 shared archive에서 warm-start하기, best average shared program을 적응시키기, 각 target task에서 가장 잘 작동하는 shared program을 적응시키기 등 여러 adaptation strategy를 탐색한다. continuous optimization, geometric construction, modeling, algorithmic optimization을 아우르는 8개 task family 전반에서 EMO-STA는 대부분의 설정에서 matched-compute single-task evolution을 개선했으며, STA Best-Local은 in-distribution adaptation에서 가장 강력한 성능을, STA Best-Shared는 보이지 않은 task로의 견고한 transfer를 보였다. compute-allocation 실험은 family-level budget의 상당 부분을 shared evolution에 할당하는 것이 일관되게 유익하며, shared budget과 adaptation budget을 대략 균형 있게 배분하는 것이 종종 최적임을 보여 준다. compute 효율성을 넘어, 우리는 shared evolution이 ARC task와 time-series feature engineering을 포함한 low-evidence setting(예: few training data)에서 task-specific brittle artifact를 악용하기보다 모든 task 전반에 일반화되는 program을 선호함으로써 overfitting을 완화할 수 있음을 보인다.","link":"https://openreview.net/forum?id=NRkkBkFyoF"},{"id":"cpCe27WuA3","en":"Machine-checked refutation of a convergence theorem in dopamine-dependent credit assignment with Kairos","ko":"도파민 의존적 credit assignment에서 Kairos를 이용한 수렴 정리의 기계 검증 반박","authors":"Aidan Z.H. Yang","abs":"When an animal receives a reward, the brain must determine which
past actions caused it, a problem known as credit assignment.
Neuroscience models this process using reinforcement-learning (RL)
algorithms whose convergence proofs are cited from the mathematics
literature but rarely re-checked in the form they are used. We
show that a widely-cited convergence theorem for actor-critic
learning is false in its commonly-retold form: a missing
boundedness assumption allows the learning process to diverge.
The corrected statement machine-checks in Lean 4: 12 theorems
close with zero sorry, 2 close modulo explicitly documented
stochastic-approximation axioms proved in a companion library,
and 3 are intentional counterexamples demonstrating the refutation. We built Kairos, a multi-agent system that verifies
scientific claims against a formal proof, randomized tests, and a
neural simulation calibrated on published data. Applied to
dopamine-dependent credit assignment, Kairos fits experimental
behavioral data to $4.4\\%$ error ($n = 55$ actions), collapses a
reported slow-versus-fast learner dichotomy into a single
continuous population ($n = 14$), and predicts in closed form a
testable shift in credit-window timing for genetically modified
mice. The approach generalizes to any scientific claim that
inherits a formal guarantee from a cited theorem.
","absKo":"동물이 보상을 받으면, 뇌는 어떤 과거의 행동이 그 보상을 유발했는지 알아내야 하며, 이 문제를 credit assignment라고 한다. Neuroscience에서는 이 과정을 reinforcement-learning (RL) algorithm으로 모델링하며, 그 수렴 증명은 수학 문헌에서 인용되지만 실제 사용되는 형태로는 거의 재검증되지 않는다. 우리는 actor-critic learning에 대한 널리 인용되는 수렴 정리가 통상적으로 전해지는 형태로는 거짓임을 보인다. 빠진 boundedness 가정 때문에 learning process가 발산할 수 있다. 수정된 명제는 Lean 4에서 machine-check된다: 12개의 theorem은 zero sorry로 닫히고, 2개는 companion library에서 증명된 명시적으로 문서화된 stochastic-approximation axiom을 제외하면 닫히며, 3개는 반박을 보여주는 의도된 counterexample이다. 우리는 과학적 주장을 formal proof, randomized test, 그리고 발표된 데이터에 맞춘 neural simulation과 대조하여 검증하는 multi-agent system인 Kairos를 구축했다. dopamine-dependent credit assignment에 적용했을 때, Kairos는 실험 behavioral data를 $4.4\\%$ 오차로 적합했고 ($n = 55$ actions), 보고된 slow-versus-fast learner 이분법을 하나의 연속적인 population으로 붕괴시켰으며 ($n = 14$), 유전적으로 변형된 생쥐에서 credit-window timing의 검증 가능한 변화를 closed form으로 예측했다. 이 접근은 인용된 theorem에서 formal guarantee를 상속하는 모든 scientific claim으로 일반화된다.","link":"https://openreview.net/forum?id=cpCe27WuA3"},{"id":"B4wUi2VIWj","en":"Automating Potential Discovery for the $k$-Server Conjecture","ko":"$k$-Server conjecture에 대한 잠재적 증명의 자동 발견","authors":"Kirill Brilliantov, Etienne Bamas, Emmanuel Abbe","abs":"We aim to accelerate progress toward the $k$-server conjecture by automating the search for potential functions, the central object in the dominant proof paradigm for this problem. We formulate potential discovery as an executable optimization problem adapted for AI agents: an agent submits a Python program defining a candidate potential function, and an automatic verifier checks it against a large system of inequalities. The verifier provides dense feedback through the number of violated inequalities and a stringent success criterion of zero violations. The evaluation is sound but incomplete: any violation refutes the submitted potential on the tested instance, while zero violations do not by themselves constitute a full proof. Nevertheless, in the open $k=4$ circle case, a zero-violation candidate would be mathematically interesting in its own right: no known potential function satisfies all constraints under our formulation, and such a candidate would identify a concrete new structure for a possible proof. Our experiments show that current agentic methods can solve the resolved $k=3$ case and make partial progress in the open $k=4$ regime. In particular, agents discover a new potential with fewer violations than previously known candidates under our formulation, though the challenge remains unresolved. At the same time, the contrast between successful recovery of zero-violation potentials in the resolved $k=3$ case and persistent failure modes in the open $k=4$ case suggests that this setting can also serve as a useful benchmark for code-based mathematical discovery agents.
","absKo":"우리는 이 문제에 대한 지배적인 proof paradigm의 중심 대상인 potential function 탐색을 자동화함으로써 $k$-server conjecture로의 진전을 가속화하고자 한다. 우리는 potential discovery를 AI agent에 맞춘 실행 가능한 optimization problem으로 정식화한다. agent는 candidate potential function을 정의하는 Python program을 제출하고, automatic verifier가 이를 대규모 inequality system에 대해 검사한다. verifier는 위반된 inequality의 개수로 밀도 높은 피드백을 제공하며, 위반이 0개일 때만 성공으로 간주하는 엄격한 기준을 적용한다. 평가는 sound하지만 incomplete하다. 즉, 어떤 violation이라도 테스트된 instance에서 제출된 potential을 반증하지만, 위반이 0개라고 해서 곧바로 완전한 proof가 되는 것은 아니다. 그럼에도 open $k=4$ circle case에서는, 위반 0개의 candidate 자체가 수학적으로 충분히 흥미롭다. 우리의 formulation 아래에서는 모든 constraint를 만족하는 known potential function이 없으며, 그런 candidate는 가능한 proof를 위한 구체적인 새로운 구조를 식별해 주기 때문이다. 실험 결과, 현재의 agentic method는 해결된 $k=3$ case를 풀어내고 open $k=4$ regime에서도 부분적 진전을 보였다. 특히 agent들은 우리의 formulation 아래에서 이전에 알려진 candidate보다 위반이 더 적은 새로운 potential을 발견했지만, 문제는 여전히 해결되지 않았다. 동시에, 해결된 $k=3$ case에서 위반 0개의 potential을 성공적으로 복원한 것과 open $k=4$ case에서 지속되는 실패 양상의 대비는, 이 설정이 code-based mathematical discovery agent를 위한 유용한 benchmark로도 기능할 수 있음을 시사한다.","link":"https://openreview.net/forum?id=B4wUi2VIWj"},{"id":"t9iBTo1zBG","en":"Lean2Isabelle: Factorized Cross-Assistant Proof Translation","ko":"Lean2Isabelle: 인수분해된 교차 어시스턴트 증명 번역","authors":"Guanyu Liu, Jingkun Ma, Derek F. Wong","abs":"Formal proofs are spread across proof assistants, but reusing a verified Lean proof in Isabelle/HOL requires more than syntax translation: the target theory must check and preserve the source theorem's meaning under semantic evaluation. We introduce Lean2Isabelle, a verifier-grounded Lean-to-Isabelle proof-translation framework that factorizes the task into target-statement prediction and statement-conditioned Isabelle theory generation. This factorization supports Reference-Statement evaluation, which isolates proof reconstruction with a verified target statement, and Predicted-Statement evaluation, which measures the end-to-end cascade. We construct Herald-ISA and LeanWorkbook-ISA, derive MiniF2F-DSP from public DeepSeek-Prover-V2 miniF2F Lean proofs, and train Statement-SFT, Theory-SFT, and a GRPO proof translator with Isabelle/PISA verifier feedback, Minimal Valid Progress shaping, and a Difficulty-Ordered curriculum. Statement-SFT reaches 86.0% and 85.7% EqStmt@1 on LeanWorkbook-ISA and MiniF2F-DSP; in Reference-Statement proof translation, GRPO-MVP-DifficultyOrdered raises LeanWorkbook-ISA SemPass@1 from 49.8% to 54.3%. In Predicted-Statement translation, the final system reaches 39.1% and 24.0% SemPass@1 on LeanWorkbook-ISA and MiniF2F-DSP, while source ablations lower LeanWorkbook-ISA SemPass@1 to 45.3% without Lean input and 43.2% with a shuffled Lean proof, indicating that matched Lean context carries useful proof signal.
","absKo":"Formal proof는 여러 proof assistant에 분산되어 있지만, 검증된 Lean proof를 Isabelle/HOL에서 재사용하려면 단순한 syntax translation 이상이 필요하다. target theory는 source theorem의 의미를 semantic evaluation 하에서 확인하고 보존해야 한다. 우리는 Lean2Isabelle을 제안한다. 이는 target-statement prediction과 statement-conditioned Isabelle theory generation으로 과제를 분해하는 verifier-grounded Lean-to-Isabelle proof-translation framework이다. 이 분해는 검증된 target statement를 고정해 proof reconstruction을 분리하는 Reference-Statement evaluation과, end-to-end cascade를 측정하는 Predicted-Statement evaluation을 지원한다. 우리는 Herald-ISA와 LeanWorkbook-ISA를 구성하고, 공개 DeepSeek-Prover-V2 miniF2F Lean proof로부터 MiniF2F-DSP를 유도했으며, Isabelle/PISA verifier feedback, Minimal Valid Progress shaping, Difficulty-Ordered curriculum을 활용한 Statement-SFT, Theory-SFT, GRPO proof translator를 학습했다. Statement-SFT는 LeanWorkbook-ISA와 MiniF2F-DSP에서 각각 86.0%와 85.7% EqStmt@1에 도달했다. Reference-Statement proof translation에서는 GRPO-MVP-DifficultyOrdered가 LeanWorkbook-ISA SemPass@1을 49.8%에서 54.3%로 끌어올렸다. Predicted-Statement translation에서는 최종 시스템이 LeanWorkbook-ISA와 MiniF2F-DSP에서 각각 39.1%와 24.0% SemPass@1을 달성했다. 한편 source ablation은 Lean input이 없을 때 LeanWorkbook-ISA SemPass@1을 45.3%로, shuffled Lean proof를 사용할 때 43.2%로 낮췄으며, 이는 정렬된 Lean context가 유용한 proof signal을 담고 있음을 시사한다.","link":"https://openreview.net/forum?id=t9iBTo1zBG"},{"id":"091ziax0aV","en":"SkillX: Automatically Constructing Skill Knowledge Bases for Agents","ko":"SkillX: Agent를 위한 스킬 지식 베이스 자동 구축","authors":"Chenxi Wang, Zhuoyun Yu, Xin Xie, Wuguannan YAO, Runnan Fang, Shuofei Qiao, Kexin Cao, Guozhou Zheng, Xiang Qi, Peng Zhang, Shumin Deng","abs":"Learning from experience is crucial for creating more capable LLM-based agents. However, the prevailing self-evolving paradigm is fundamentally inefficient: it forces each agent to learn in isolation, redundantly mining experiences from its own limited capabilities and scarce training data, resulting in expertise that fails to generalize. To break this cycle, we introduce SkillX, a framework that autonomously pre-builds a plug-and-play skill library. SkillX operates through a fully automated pipeline built on three synergistic innovations: **i) Multi-Level Skills Design**, which distills raw trajectories into three-tiered hierarchy of strategic plans, functional skills, and atomic skills; **ii) Iterative Skills Refinement**, which automatically revises skills based on execution feedback to continuously improve library quality; and **iii) Exploratory Skill Expansion**, which proactively generates and validates novel skills to expand coverage beyond seed training data. Using this framework, we construct a reliable plug-and-play skill library using a state-of-the-art agent, GLM-4.6. We conduct extensive experiments on challenging long-horizon, user-interactive benchmarks, including AppWorld, BFCL-v3, and
$\\tau^2$-Bench, demonstrating the effectiveness of SkillX. We also provide strategic insights into how experience transfer impacts model performance.
","absKo":"경험으로부터 학습하는 것은 더 유능한 LLM-based agent를 만드는 데 매우 중요하다. 그러나 현재의 self-evolving paradigm은 본질적으로 비효율적이다. 각 agent가 고립된 상태에서 학습하도록 강제하여, 자신의 제한된 능력과 부족한 training data에서 경험을 중복적으로 채굴하게 만들고, 결과적으로 일반화되지 못하는 expertise만을 남긴다. 이 악순환을 끊기 위해 우리는 plug-and-play skill library를 자율적으로 사전 구축하는 프레임워크인 SkillX를 제안한다. SkillX는 세 가지 상호보완적 혁신 위에 구축된 완전 자동화 pipeline으로 동작한다. **i) Multi-Level Skills Design**은 raw trajectory를 strategic plan, functional skill, atomic skill의 3계층 hierarchy로 추출한다; **ii) Iterative Skills Refinement**는 execution feedback을 바탕으로 skill을 자동 수정하여 library quality를 지속적으로 향상시킨다; **iii) Exploratory Skill Expansion**은 새로운 skill을 능동적으로 생성하고 검증하여 seed training data를 넘어 coverage를 확장한다. 이 framework를 사용하여 우리는 state-of-the-art agent인 GLM-4.6을 활용해 신뢰할 수 있는 plug-and-play skill library를 구축한다. 또한 AppWorld, BFCL-v3, \n$\\tau^2$-Bench를 포함한 어려운 long-horizon user-interactive benchmark에서 광범위한 실험을 수행하여 SkillX의 효과를 입증한다. 더 나아가 경험 전달이 model performance에 미치는 영향을 해석하는 전략적 통찰도 제공한다.","link":"https://openreview.net/forum?id=091ziax0aV"},{"id":"vn8d5m64Cm","en":"BRIDGE: Building Representations in Domain-Guided Verified Program Synthesis","ko":"BRIDGE: 도메인 유도 검증 프로그램 합성에서 표현을 구축하기","authors":"Robert Joseph George, Carson Eisenach, Udaya Ghai, Dominique Perrault-Joncas, Anima Anandkumar, Dean Foster","abs":"Large language models can generate plausible code, but remain brittle for formal verification in proof assistants such as Lean. A central scalability challenge is that verified synthesis requires consistent artifacts across several coupled domains: executable code, formal specifications, theorem statements, and proof attempts. Existing approaches often treat these artifacts separately. We present **BRIDGE**, a structured prompting framework for multi-artifact program synthesis. BRIDGE decomposes generation into three interconnected domains: Code, Specification, and Theorem/Proof, and uses domain-specific intermediate reasoning to connect them. In Lean, BRIDGE often follows a code-first workflow, using the generated implementation as a semantic anchor for downstream specification, theorem statement, and proof-attempt generation. Across 178 algorithmic problems and five LLMs, BRIDGE improves Lean executable correctness by up to nearly 1.5× over direct prompting and can be roughly 2× more sample efficient at comparable generation lengths. We further find that specification-oriented prompting improves Python pass rates by up to 17.5 percentage points. Beyond inference-time prompting, supervised fine tuning on BRIDGE-style reasoning traces yields nearly 1.5× higher Lean pass success than code-only fine tuning, suggesting that these intermediate representations provide a learnable inductive bias. BRIDGE provides a practical framework for scaling verified synthesis while highlighting the remaining gap between executable correctness and full formal proof generation.
","absKo":"대규모 언어 모델은 그럴듯한 코드를 생성할 수 있지만, Lean과 같은 proof assistant에서의 formal verification에는 여전히 취약하다. 핵심적인 확장성 과제는 검증된 합성이 실행 가능한 코드, formal specification, theorem statement, proof attempt 등 서로 결합된 여러 도메인 전반에 걸쳐 일관된 artifact를 요구한다는 점이다. 기존 접근법은 이러한 artifact를 대개 분리해서 다룬다. 우리는 multi-artifact program synthesis를 위한 structured prompting framework인 **BRIDGE**를 제안한다. BRIDGE는 생성 과정을 Code, Specification, Theorem/Proof의 세 가지 상호 연결된 도메인으로 분해하고, 도메인별 중간 추론을 사용해 이들을 연결한다. Lean에서 BRIDGE는 흔히 code-first workflow를 따르며, 생성된 구현을 downstream specification, theorem statement, proof-attempt 생성을 위한 semantic anchor로 사용한다. 178개의 algorithmic problem과 5개의 LLM에 걸친 실험에서, BRIDGE는 direct prompting 대비 Lean 실행 가능 정답률을 최대 거의 1.5배까지 향상시키며, 유사한 생성 길이에서는 약 2배 더 sample-efficient할 수 있다. 또한 specification-oriented prompting이 Python pass rate를 최대 17.5 percentage point까지 개선함을 확인했다. inference-time prompting을 넘어, BRIDGE 스타일 reasoning trace로 supervised fine tuning을 수행하면 code-only fine tuning보다 Lean pass success가 거의 1.5배 높아지며, 이러한 중간 표현이 학습 가능한 inductive bias를 제공함을 시사한다. BRIDGE는 검증된 합성을 확장하기 위한 실용적 framework를 제공하는 동시에, 실행 가능한 정답성과 완전한 formal proof 생성 사이에 여전히 남아 있는 격차를 부각한다.","link":"https://openreview.net/forum?id=vn8d5m64Cm"},{"id":"EsEqPLc0ef","en":"From Agents to Axioms: Verifier-Gated Lean Formalization for Statistical Learning Theory","ko":"Agents에서 공리로: 통계학습이론을 위한 verifier-gated Lean 형식화","authors":"Rob Sneiderman","abs":"This paper presents a verifier-gated acceptance workflow for agent-assisted Lean formalization, demonstrated on FormalSLT, a nontrivial Lean 4 / Mathlib statistical-learning-theory library. The contribution is not a new statistical-learning-theory theorem or a model benchmark; it is a reproducible PR-level protocol in which machine-written formalization edits are treated as untrusted proposals and admitted only through Lean build, proof-hygiene gates, and a blocking #print axioms audit.
The submitted artifact contains 45 Lean modules, 20,080 source lines including FormalSLT.lean, 412 theorem/lemma declarations, and 107 showcase axiom traces covering VC, PAC-Bayes, Rademacher, Azuma, covering-number, and algorithmic-stability components. Over a 61h39m May 2026 run, theorem-scoped targets were dispatched through isolated worktrees and pull requests; the ledger records 67
opened PRs, 60 merged, and 7 closed or superseded. The accepted showcase theorems audit to {propext, Classical.choice, Quot.sound}. The result is a concrete acceptance layer for reliable scientific agents: agents may propose formalization state transitions, but the Lean kernel, CI, and axiom audit decide what lands.
","absKo":"이 논문은 agent-assisted Lean formalization을 위한 verifier-gated acceptance workflow를 제시하며, 비자명한 Lean 4 / Mathlib statistical-learning-theory 라이브러리인 FormalSLT를 통해 이를 입증한다. 이 기여는 새로운 statistical-learning-theory 정리나 model benchmark가 아니라, 기계가 작성한 formalization edit를 신뢰되지 않은 proposal로 취급하고 Lean build, proof-hygiene gate, 그리고 blocking #print axioms audit를 통해서만 수용하는 재현 가능한 PR 수준의 protocol이다.\n\n제출된 artifact에는 FormalSLT.lean을 포함한 45개의 Lean module, 20,080줄의 source lines, 412개의 theorem/lemma 선언, 그리고 VC, PAC-Bayes, Rademacher, Azuma, covering-number, algorithmic-stability 구성요소를 포괄하는 107개의 showcase axiom trace가 들어 있다. 2026년 5월 61h39m에 걸친 실행 동안 theorem-scoped target들은 isolated worktree와 pull request를 통해 분배되었고, ledger에는 열린 PR 67개, merged 60개, closed 또는 superseded 7개가 기록되었다. 수용된 showcase theorem은 {propext, Classical.choice, Quot.sound}로 audit된다. 결과적으로 이는 신뢰 가능한 scientific agents를 위한 구체적인 acceptance layer를 제공한다. agents는 formalization state transition을 제안할 수 있지만, 실제로 무엇이 반영되는지는 Lean kernel, CI, 그리고 axiom audit가 결정한다.","link":"https://openreview.net/forum?id=EsEqPLc0ef"},{"id":"4PShGfBOMG","en":"ITPEval: Benchmarking Formal Translation Across Interactive Theorem Provers","ko":"ITPEval: 대화형 정리 증명기 전반의 형식적 번역 벤치마킹","authors":"Jiayi Wu, Robert Joseph George, Anima Anandkumar","abs":"Formal theorem proving has emerged as a frontier challenge for machine learning, yet the ecosystem is fragmented: proofs remain siloed across incompatible systems, limiting both training data for learning-based provers and the portability of verified results. We present **ITPEval**, the first benchmark for evaluating automated formal proof translation across four major ITPs (Lean 4, Rocq, Isabelle, and HOL Light), spanning two distinct logical foundations. Our benchmark comprises 1,560 source files and 6,848 theorems organized into a *controlled* tier of axiomatized files that isolates foundational translation difficulty, and an *ecosystem* tier drawn from real libraries that exposes API and proof-style mismatches. We release `itpeval`, a unified multi-ITP verification infrastructure with state-isolated warm backends that preserve per-artifact native checking semantics. We evaluate both *statement* and *proof* translation across five frontier and open-weight LLMs on 12 directed translation pairs: statement translation peaks at 29.1% pass@1 and proof translation at 10.5%; controlled theorems reach 29.7% proof pass@1 versus 5.2% for ecosystem-level translations, confirming that library mismatch is the dominant bottleneck. In addition to pass@k evaluation, a deterministic Lean 4 BEq check establishes equivalence for 54.0% of verified source 7 $\\mapsto$ Lean 4 miniF2F statement translations, showing that native type-checking alone can substantially overestimate semantic fidelity; in an autoformalization/auto-informalization round-trip study, Rocq and HOL Light are easier formalization targets than Lean 4 and Isabelle, while multi-ITP context improves pooled Lean 4 success from 4.8% to 10.6%. Our benchmark, verification infrastructure, and evaluation pipelines are publicly released.
","absKo":"Formal theorem proving은 machine learning의 최전선 과제로 부상했지만, 생태계는 분절되어 있다. proof가 호환되지 않는 여러 system에 고립되어 있어, 학습 기반 prover를 위한 training data와 검증 결과의 portability가 모두 제한된다. 우리는 서로 다른 두 logical foundation을 아우르는 네 개의 주요 ITP(Lean 4, Rocq, Isabelle, HOL Light) 간 자동 formal proof translation을 평가하기 위한 최초의 benchmark인 **ITPEval**을 제시한다. 우리의 benchmark는 1,560개의 source file과 6,848개의 theorem으로 구성되며, foundational translation difficulty를 분리해내는 axiomatized file로 이루어진 *controlled* tier와, API 및 proof-style mismatch를 드러내는 실제 library에서 추출한 *ecosystem* tier로 조직된다. 우리는 각 artifact의 native checking semantics를 보존하는 state-isolated warm backend를 갖춘 통합 multi-ITP verification infrastructure인 `itpeval`을 공개한다. 우리는 12개의 directed translation pair에 대해 다섯 개의 frontier 및 open-weight LLM으로 *statement* 및 *proof* translation을 모두 평가한다. statement translation은 29.1% pass@1, proof translation은 10.5%에서 최고치를 보였다. controlled theorem은 ecosystem-level translation의 5.2%에 비해 proof pass@1 29.7%에 도달해, library mismatch가 지배적인 병목임을 확인한다. pass@k 평가에 더해, deterministic Lean 4 BEq check는 검증된 source 7 $\\mapsto$ Lean 4 miniF2F statement translation의 54.0%에 대해 동등성을 확립하며, native type-checking만으로는 semantic fidelity를 상당히 과대평가할 수 있음을 보여준다. autoformalization/auto-informalization round-trip 연구에서는 Rocq와 HOL Light가 Lean 4와 Isabelle보다 더 쉬운 formalization 대상이며, multi-ITP context는 pooled Lean 4 성공률을 4.8%에서 10.6%로 향상시킨다. 우리의 benchmark, verification infrastructure, evaluation pipeline은 공개되어 있다.","link":"https://openreview.net/forum?id=4PShGfBOMG"},{"id":"5olUroPMyc","en":"Re$^2$Math: Benchmarking Theorem Retrieval in Research-Level Mathematics","ko":"Re$^2$Math: 연구 수준 수학에서 theorem retrieval 벤치마킹","authors":"Zicheng Lyu, Wenjie Yang, Shengzhong Zhang, Zengfeng Huang","abs":"Large language models are increasingly capable at closed-world mathematical reasoning, but research assistance also requires source-grounded use of the literature. When a proof reaches a non-trivial step, a useful assistant should determine whether the needed tool (e.g., a lemma) already exists, identify a suitable scholarly source, and verify that its assumptions align with the current proof context.
To rigorously evaluate such capabilities, we introduce Re$^2$Math, a benchmark for tool-grounded retrieval from partial mathematical proofs. Each instance is built from a candidate instrumental citation in the proof of a main theorem, with hierarchical context and an optional leakage-controlled anchor hint. We also make the task source-grounded yet citation-agnostic in that any admissible theorem sufficient for the proof transition is accepted.
Evaluation uses a release-frozen retrieval artifact, ensuring reproducibility, while the benchmark itself supports automatic, continual expansion with newly constructed instances. On the current benchmark test set, the best fixed-judge ToolAcc reaches 7.0\\%, despite substantially higher rates of source grounding, indicating that current systems often retrieve valid statements but fail to establish their applicability to the local proof step.
By decoupling citation recall, grounding, and proof-gap sufficiency, Re$^2$Math transforms literature-grounded mathematical tool use into a controlled diagnostic task.
","absKo":"Large language models는 닫힌 세계의 수학적 추론에서는 점점 더 강력해지고 있지만, research assistance에는 문헌에 근거한 source-grounded use가 추가로 필요하다. 증명이 비자명한 단계에 도달했을 때, 유용한 assistant는 필요한 tool(예: lemma)이 이미 존재하는지 판단하고, 적절한 scholarly source를 식별하며, 그 가정이 현재 proof context와 일치하는지 검증해야 한다.\n이러한 능력을 엄밀히 평가하기 위해 우리는 부분적인 수학 증명에서의 tool-grounded retrieval을 위한 benchmark인 Re$^2$Math를 소개한다. 각 인스턴스는 main theorem 증명에서의 후보 instrumental citation을 바탕으로 구성되며, hierarchical context와 optional leakage-controlled anchor hint를 포함한다. 또한 이 과제는 source-grounded이면서 citation-agnostic하도록 만들어, 증명 전환에 충분한 admissible theorem이면 무엇이든 허용한다.\n평가에는 release-frozen retrieval artifact를 사용하여 재현 가능성을 보장하며, benchmark 자체는 새로 구성된 인스턴스로 자동적이고 지속적인 확장을 지원한다. 현재 benchmark test set에서 가장 좋은 fixed-judge ToolAcc는 7.0\\%에 불과한데, source grounding 비율은 훨씬 높기 때문이다. 이는 현재 시스템이 유효한 명제를 검색하는 데는 능하지만, 그것이 local proof step에 실제로 적용 가능한지 확립하는 데는 자주 실패함을 보여준다.\ncitation recall, grounding, proof-gap sufficiency를 분리함으로써 Re$^2$Math는 문헌 기반 수학적 tool use를 통제된 진단 과제로 전환한다.","link":"https://openreview.net/forum?id=5olUroPMyc"},{"id":"9xlQRnbFoX","en":"V1: Unifying Generation and Self-Verification for Parallel Reasoners","ko":"V1: 병렬 추론기를 위한 생성과 자기검증의 통합","authors":"Harman Singh, Xiuyu Li, Kusha Sareen, Monishwaran Maheswaran, Sijun Tan, Xiaoxia Wu, Junxiong Wang, Alpay Ariyak, Qingyang Wu, Samir Khaki, Rishabh Tiwari, Long Lian, Yucheng Lu, Boyi Li, Alane Suhr, Ben Athiwaratkun, Kurt Keutzer","abs":"Test-time scaling for complex reasoning tasks shows that leveraging inference-time compute, by methods such as independently sampling and aggregating multiple solutions, results in significantly better task outcomes. However, a critical bottleneck is **verification**: sampling is only effective if correct solutions can be reliably identified among candidates. While existing approaches typically evaluate candidates independently via scalar scoring, we demonstrate that models are substantially stronger at **pairwise verification**. Leveraging this insight, we introduce **V1**, a framework that unifies generation and verification through efficient pairwise ranking. **V1** comprises two components: **V1-Infer**, an uncertainty-guided algorithm using a tournament-based ranking that dynamically allocates self-verification compute to candidate pairs whose relative correctness is most uncertain; and **V1-PairRL**, an RL framework that jointly trains a single model as both generator and pairwise self-verifier, ensuring the verifier adapts to the generator’s evolving distribution. On competitive code generation, SWE and terminal-based agents, math reasoning, and medical QA benchmarks, **V1-Infer** improves **Pass@1** by up to **10%** over pointwise verification and outperforms **SoTA** aggregation-based test-time scaling while being more efficient. Furthermore, **V1-PairRL** achieves test-time scaling gains of **3.8 − 10pp** over standard RL and pointwise joint training on code, math, and non-verifiable domains, and improves base **Pass@1** by up to **8.7pp** over standard RL. [Project page & code](https://harmandotpy.github.io/v1-verification/).
","absKo":"복잡한 reasoning task에서의 test-time scaling은, 여러 해를 독립적으로 샘플링하고 집계하는 방법처럼 inference-time compute를 활용할 때 task 결과가 크게 향상됨을 보여준다. 그러나 중요한 병목은 **verification**이다. 샘플링은 후보들 중에서 정답 해를 신뢰성 있게 식별할 수 있을 때만 효과적이기 때문이다. 기존 접근법이 보통 scalar scoring으로 후보를 독립적으로 평가하는 반면, 우리는 모델이 **pairwise verification**에서는 훨씬 더 강하다는 점을 보인다. 이 통찰을 바탕으로, 우리는 효율적인 pairwise ranking을 통해 generation과 verification을 통합하는 **V1** 프레임워크를 제안한다. **V1**은 두 구성요소로 이루어진다. 하나는 불확실성 유도 알고리즘인 **V1-Infer**로, tournament 기반 ranking을 사용해 상대적 정답성이 가장 불확실한 후보 쌍에 self-verification compute를 동적으로 할당한다. 다른 하나는 **V1-PairRL**로, 단일 model을 generator이자 pairwise self-verifier로 공동 학습시키는 RL 프레임워크이며, verifier가 generator의 변화하는 분포에 적응하도록 보장한다. 경쟁적인 code generation, SWE 및 terminal-based agent, math reasoning, medical QA benchmark에서 **V1-Infer**는 pointwise verification 대비 **Pass@1**을 최대 **10%**까지 향상시키며, 더 효율적이면서도 **SoTA** aggregation-based test-time scaling을 능가한다. 또한 **V1-PairRL**은 code, math, non-verifiable domain 전반에서 standard RL 및 pointwise joint training 대비 test-time scaling 이득 **3.8 − 10pp**를 달성하고, base **Pass@1**을 standard RL 대비 최대 **8.7pp** 향상시킨다. [Project page & code](https://harmandotpy.github.io/v1-verification/).","link":"https://openreview.net/forum?id=9xlQRnbFoX"},{"id":"WYEco9GqGK","en":"Machine-Checked Finite Differential Privacy in Lean","ko":"Lean에서 기계 검증된 유한 차분 프라이버시","authors":"Bright Liu","abs":"Differential privacy proofs often rely on finite-sum arguments that are routine on paper but sensitive to side conditions: events must be represented explicitly, stochastic validity is separate from the privacy inequality, and post-processing and composition rely on nonnegativity. We present a compact Lean 4 formalization of finite pure differential privacy that exposes these proof obligations theorem-by-theorem. The artifact models mechanisms as real-valued kernels, proves equivalence between pointwise and finite-event privacy, verifies post-processing and deterministic post-processing, proves two-stage adaptive and disjoint-product parallel composition theorems, and checks randomized response and a generic finite exponential mechanism. It also includes bundled stochasticity-plus-privacy preservation lemmas and a checked signed-kernel counterexample with a negative entry showing why post-processing nonnegativity cannot be dropped. The contribution is proof-engineering clarity rather than an automated theorem-proving system or a deployable privacy library. The development is intentionally limited to finite events and real-valued kernels; it does not cover approximate differential privacy, continuous distributions, verified samplers, floating-point semantics, or arbitrary interactive protocols.
","absKo":"Differential privacy 증명은 종종 종이 위에서는 일상적이지만 부가 조건에 민감한 finite-sum 논리에 의존한다: 사건은 명시적으로 표현되어야 하고, stochastic validity는 privacy inequality와 별도로 다루어야 하며, post-processing과 composition은 nonnegativity에 의존한다. 우리는 이러한 증명 의무를 theorem-by-theorem 수준에서 드러내는 finite pure differential privacy의 간결한 Lean 4 formalization을 제시한다. 이 artifact는 mechanism을 real-valued kernel로 모델링하고, pointwise privacy와 finite-event privacy 사이의 동등성을 증명하며, post-processing과 deterministic post-processing을 검증하고, two-stage adaptive composition과 disjoint-product parallel composition 정리를 증명하며, randomized response와 일반적인 finite exponential mechanism을 점검한다. 또한 stochasticity와 privacy 보존을 묶은 lemma들과, post-processing nonnegativity를 생략할 수 없는 이유를 보여주는 음의 항 하나를 포함한 signed-kernel counterexample도 검증했다. 이 기여의 핵심은 자동 정리 증명 시스템이나 배포 가능한 privacy library가 아니라 proof-engineering의 명료성이다. 개발 범위는 의도적으로 finite events와 real-valued kernels로 제한되며, approximate differential privacy, continuous distributions, verified samplers, floating-point semantics, 또는 임의의 interactive protocol은 다루지 않는다.","link":"https://openreview.net/forum?id=WYEco9GqGK"},{"id":"LDvdC5NP0q","en":"Adaptive Generate-Rank-Verify: Inference-Time Search with Costly Verification","ko":"Adaptive Generate-Rank-Verify: 비용이 큰 검증을 수반하는 추론 시 탐색","authors":"Shaddin Dughmi, Mahdi Haghifam, Yusuf Hakan Kalayci","abs":"Many inference-time language-model pipelines combine a cheap reward signal with an expensive verifier, such as exact answer checking in mathematical reasoning or hidden-test execution in code generation. We formalize this setting using a learning-theoretic lens as generative active search: a cost-sensitive first-positive search problem in which a policy adaptively samples candidates from an unknown distribution, observes cheap scores, and pays for verifier labels until it finds a positive example. For a fixed prompt, the generator and reward model induce two unknown objects: a distribution over reward scores and a score-conditioned success function. When these quantities are known, we characterize the distribution-aware optimal policy using a dynamic programming approach. In the realistic and practical setting where both the score distribution and success function are unknown, we propose ADAP, a shellwise adaptive generate-rank-verify algorithm that progressively increases the number of sampled responses and top-ranked verifications. Under the monotonicity assumption that higher reward scores are no less likely to pass verification, we show that ADAP achieves expected cost within a constant factor of the distribution-aware optimum. We complement this result with learning-theoretic lower bounds, based on a centered star number, showing that structural assumptions on the score– label relationship are necessary. Experiments on mathematical reasoning and competitive programming validate the predicted advantage over both fixed non-adaptive policies and difficulty-adaptive baselines.
","absKo":"많은 inference-time language-model pipeline은 값싼 reward signal과 비싼 verifier를 결합한다. 예를 들어 수학적 추론에서의 exact answer checking이나 code generation에서의 hidden-test execution이 그렇다. 우리는 이 설정을 learning-theoretic 관점에서 generative active search로 정식화한다. 이는 정책이 unknown distribution에서 후보를 적응적으로 샘플링하고, 값싼 점수를 관찰하며, positive example을 찾을 때까지 verifier label에 비용을 지불하는 cost-sensitive first-positive search 문제이다. 고정된 prompt에 대해 generator와 reward model은 두 개의 미지의 객체를 유도한다. 하나는 reward score에 대한 분포이고, 다른 하나는 score-conditioned success function이다. 이 양이 알려져 있을 때, 우리는 dynamic programming 접근으로 distribution-aware optimal policy를 특성화한다. score distribution과 success function이 모두 알려지지 않은 현실적이고 실용적인 설정에서는, 샘플링한 응답 수와 top-ranked verification 수를 점진적으로 늘리는 shellwise adaptive generate-rank-verify 알고리즘 ADAP을 제안한다. 더 높은 reward score가 verification을 통과할 가능성이 더 낮지 않다는 monotonicity 가정 하에서, ADAP이 distribution-aware optimum의 상수 배 이내의 expected cost를 달성함을 보인다. 우리는 centered star number에 기반한 learning-theoretic lower bound로 이 결과를 보완하며, score–label 관계에 대한 구조적 가정이 필요함을 보인다. 수학적 추론과 competitive programming 실험은 고정된 non-adaptive policy와 difficulty-adaptive baseline 모두에 대해 예측된 우위를 검증한다.","link":"https://openreview.net/forum?id=LDvdC5NP0q"},{"id":"k9AEQlEqLD","en":"Learning to Explore with Parameter-Space Noise: A Deep Dive into Parameter-Space Noise for Reinforcement Learning with Verifiable Rewards","ko":"파라미터 공간 노이즈로 탐색하기: 검증 가능한 보상을 가진 강화학습을 위한 파라미터 공간 노이즈 심층 분석","authors":"Bizhe Bai, Xinyue Wang, Peng Ye, Tao Chen","abs":"Reinforcement Learning with Verifiable Rewards (RLVR) enhances large language model (LLM) reasoning, yet growing evidence indicates an \\emph{exploration ceiling}: they tend to reweight existing solution traces and produce low-diversity rollouts. This restricts the discovery of novel solution perspective and weakens out-of-distribution generalization. We address this limitation by directly perturbing the rollout policy's parameters while updating the clean policy model as usual, an approach that achieves better temporal consistency and yields more complex behavior patterns. To stabilize learning from these perturbed rollouts, which are inherently off-policy, we incorporate truncated importance sampling. Furthermore, we introduce a lightweight, dynamic noise scheduler based on semantic diversity and model self-certainty to optimally adjust the noise scale. Instantiated on GRPO, our method (PSN-GRPO) demonstrates its efficacy through four key contributions: (1) it improves high-budget pass@$k$, increases semantic and operational diversity, increases CoT consistency, and remains complementary to exploration-oriented RLVR techniques; (2) it validates efficacy across multiple models, including Qwen2.5, Qwen3, and Llama-3.1; (3) it shows robust performance on out-of-distribution science and coding benchmarks; and (4) it uncovers novel solution perspectives for problems the original model could not solve, as shown by qualitative analysis.
","absKo":"Verifiable Reward를 사용하는 Reinforcement Learning(RLVR)은 large language model(LLM)의 reasoning을 향상시키지만, 증가하는 증거는 \\emph{exploration ceiling}이 존재함을 보여준다. 즉, 기존 solution trace에 가중치를 재분배하는 경향이 있고 low-diversity rollout을 생성한다. 이로 인해 새로운 solution perspective의 발견이 제한되고 out-of-distribution generalization이 약해진다. 우리는 rollout policy의 parameter를 직접 perturb하면서 clean policy model은 평소처럼 업데이트하는 방식으로 이 한계를 다룬다. 이 접근은 더 나은 temporal consistency를 달성하고 더 복잡한 behavior pattern을 이끈다. 본질적으로 off-policy인 이러한 perturbed rollout으로부터의 학습을 안정화하기 위해 truncated importance sampling을 도입한다. 또한 semantic diversity와 model self-certainty를 바탕으로 noise scale을 최적으로 조정하는 경량의 dynamic noise scheduler를 제안한다. GRPO 위에 구현한 우리의 방법(PSN-GRPO)은 네 가지 핵심 기여를 통해 그 효과를 보여준다. (1) high-budget pass@$k$를 개선하고, semantic 및 operational diversity를 높이며, CoT consistency를 증가시키고, exploration-oriented RLVR technique과도 상호 보완적이다. (2) Qwen2.5, Qwen3, Llama-3.1을 포함한 여러 model 전반에서 효과를 검증한다. (3) out-of-distribution science 및 coding benchmark에서 견고한 성능을 보인다. (4) 정성적 분석에서 원래 model이 풀지 못했던 문제에 대해 새로운 solution perspective를 드러낸다.","link":"https://openreview.net/forum?id=k9AEQlEqLD"},{"id":"OoKo4ArYTX","en":"MathlibPR: Pull Request Merge-Readiness Benchmark for Formal Mathematical Libraries","ko":"MathlibPR: 형식 수학 라이브러리의 pull request 병합 준비성 벤치마크","authors":"Zixuan Xie, Xinyu Liu, Shangtong Zhang","abs":"The ecosystem of Lean and Mathlib has become the de facto standard for large language model (LLM) assisted formal reasoning with remarkable successes in recent years. Those successes, however, only consume Mathlib as an essential dependency but do not directly contribute to it. In the meantime, the growth of Mathlib has recently been bottlenecked by the review process, which requires human reviewers to judge whether proposed pull requests (PRs) follow the Mathlib's conventions and are worth integrating as part of a shared mathematical infrastructure. This leads to our central question: can LLMs help review Mathlib PRs? To this end, we introduce MathlibPR, a benchmark built from real Mathlib4 PR histories. We further propose a staged evaluation protocol and use it to evaluate both LLM models (e.g., DeepSeek, Qwen, Goedel, and Kimina) and LLM agents (e.g., Codex and Claude Code). Surprisingly, both LLM models and LLM agents struggle to distinguish merge-ready PRs from build-passing PRs that were revised or never merged. By turning Mathlib PR histories into a supervised signal, MathlibPR provides a step toward reviewer assistants and reward models that could help evaluate PRs and steer LLMs toward producing merge-ready Mathlib contributions.
","absKo":"Lean과 Mathlib 생태계는 최근 몇 년간 놀라운 성과를 거두며 large language model(LLM) 기반 formal reasoning의 사실상 표준이 되었다. 그러나 그러한 성과는 Mathlib를 필수 dependency로만 소비할 뿐, Mathlib에 직접 기여하지는 않는다. 한편 Mathlib의 성장 자체는 최근 review process에 의해 병목이 생겼는데, 이 과정에서는 인간 reviewer가 제안된 pull request(PR)가 Mathlib의 관례를 따르는지, 그리고 공유 수학 인프라의 일부로 통합할 가치가 있는지를 판단해야 한다. 이에 따라 우리의 핵심 질문은 다음과 같다: LLM이 Mathlib PR review를 도울 수 있는가? 이를 위해 우리는 실제 Mathlib4 PR history로부터 구성한 benchmark인 MathlibPR을 소개한다. 또한 staged evaluation protocol을 제안하고, 이를 사용해 LLM model들(예: DeepSeek, Qwen, Goedel, Kimina)과 LLM agent들(예: Codex, Claude Code)을 평가한다. 놀랍게도 LLM model과 LLM agent 모두 build는 통과하지만 수정되었거나 병합되지 않은 PR과 merge-ready PR을 구별하는 데 어려움을 겪는다. Mathlib PR history를 supervised signal로 변환함으로써, MathlibPR은 reviewer assistant와 reward model을 향한 한 걸음을 제공하며, 이는 PR 평가를 돕고 LLM이 merge-ready Mathlib contribution을 생성하도록 유도할 수 있다.","link":"https://openreview.net/forum?id=OoKo4ArYTX"},{"id":"oeOAs8QiLJ","en":"Evolutionary System Prompt Learning for Reinforcement Learning in LLMs","ko":"LLM에서 강화학습을 위한 진화적 시스템 프롬프트 학습","authors":"Lunjun Zhang, Ryan Chen, Bradly C. Stadie","abs":"Building agentic systems that can autonomously self-improve from experience is a longstanding goal of AI. Large language models (LLMs) today primarily self-improve via two mechanisms: self-reflection for context updates, and reinforcement learning (RL) for weight updates. In this work, we propose Evolutionary System Prompt Learning (E-SPL), a method for jointly improving model contexts and model weights. In each RL iteration, E-SPL samples trajectories under multiple system prompts in parallel, then jointly applies RL updates to LLM weights and evolutionary updates to system prompts. System prompts evolve via mutation and crossover, two genetic operators driven by LLM self-reflection; selection is based on relative performance ratings updated across RL iterations. E-SPL encourages a natural division between declarative knowledge encoded in prompts and procedural knowledge encoded in weights, resulting in improved performance across reasoning and agentic tasks. For instance, in an easy-to-hard (AIME $\\rightarrow$ BeyondAIME) generalization setting, E-SPL improves RL success rate from 38.8% $\\rightarrow$ 45.1% while also outperforming reflective prompt evolution (40.0%). Overall, our results demonstrate that RL and system prompt evolution are deeply synergistic, and combining the two yields consistent gains in sample efficiency and generalization.
","absKo":"경험으로부터 자율적으로 self-improve할 수 있는 agentic system을 만드는 것은 AI의 오랜 목표였다. 오늘날 large language model(LLM)은 주로 두 가지 메커니즘으로 self-improve한다: context update를 위한 self-reflection과 weight update를 위한 reinforcement learning(RL)이다. 이 작업에서 우리는 model context와 model weight를 함께 개선하는 방법인 Evolutionary System Prompt Learning(E-SPL)을 제안한다. 각 RL iteration에서 E-SPL은 여러 system prompt 아래에서 trajectory를 병렬로 샘플링한 뒤, LLM weight에 대한 RL update와 system prompt에 대한 evolutionary update를 함께 적용한다. System prompt는 LLM self-reflection이 구동하는 두 genetic operator인 mutation과 crossover를 통해 진화하며, selection은 RL iteration 전반에 걸쳐 갱신되는 상대 performance rating을 기반으로 이루어진다. E-SPL은 prompt에 인코딩된 declarative knowledge와 weight에 인코딩된 procedural knowledge 사이의 자연스러운 분업을 촉진하여 reasoning 및 agentic task 전반에서 성능을 향상시킨다. 예를 들어, easy-to-hard(AIME $\\rightarrow$ BeyondAIME) generalization setting에서 E-SPL은 RL success rate를 38.8% $\\rightarrow$ 45.1%로 개선했으며 reflective prompt evolution(40.0%)도 능가했다. 전반적으로 우리의 결과는 RL과 system prompt evolution이 깊이 시너지적이며, 둘을 결합하면 sample efficiency와 generalization에서 일관된 향상을 얻을 수 있음을 보여준다.","link":"https://openreview.net/forum?id=oeOAs8QiLJ"},{"id":"LqEUj1BJ4y","en":"EMA Policy Gradient: Taming Reinforcement Learning for LLMs with EMA Anchor and Top-k KL","ko":"EMA Policy Gradient: EMA 앵커와 Top-k KL로 LLM용 강화학습 안정화","authors":"Lunjun Zhang, Jimmy Ba","abs":"Reinforcement Learning (RL) has enabled Large Language Models (LLMs) to acquire increasingly complex reasoning and agentic behaviors. In this work, we propose two simple techniques to improve policy gradient algorithms for LLMs. First, we replace the fixed anchor policy during RL with an Exponential Moving Average (EMA), similar to a target network in deep Q-learning. Second, we introduce Top-k KL estimator, which allows for flexible interpolation between exact KL and sampled KL. We derive the stability conditions for using EMA anchor; moreover, we show that our Top-k KL estimator yields both unbiased KL values and unbiased gradients at any k, while bringing the benefits of exact KL. When combined with GRPO, the two techniques (EMA-PG) lead to a significant performance boost. On math reasoning, it allows R1-distilled Qwen-1.5B to reach 53.9% on OlympiadBench compared to 50.8% by GRPO. On agentic RL domains, with Qwen-3B base, EMA-PG improves GRPO by an average of 33.3% across 7 datasets of Q&A with search engines, including 29.7% $\\rightarrow$ 44.1% on HotpotQA, 27.4% $\\rightarrow$ 40.1% on 2WikiMultiHopQA. Overall, we show that EMA-PG is a simple, principled, and powerful approach to scaling RL for LLMs.
","absKo":"Reinforcement Learning (RL)은 Large Language Models (LLMs)이 점점 더 복잡한 reasoning과 agentic behavior를 획득하도록 이끌어 왔다. 본 연구에서는 LLM을 위한 policy gradient algorithm을 개선하는 두 가지 간단한 기법을 제안한다. 첫째, RL 동안의 고정 anchor policy를 deep Q-learning의 target network와 유사한 Exponential Moving Average (EMA)로 대체한다. 둘째, exact KL과 sampled KL 사이를 유연하게 보간할 수 있는 Top-k KL estimator를 도입한다. 우리는 EMA anchor 사용에 대한 안정성 조건을 유도하고, 더 나아가 우리의 Top-k KL estimator가 어떤 k에서도 unbiased KL value와 unbiased gradient를 모두 제공하면서 exact KL의 장점을 가져온다는 점을 보인다. 이를 GRPO와 결합하면 두 기법(EMA-PG)은 성능을 크게 끌어올린다. 수학 추론에서는 R1-distilled Qwen-1.5B가 OlympiadBench에서 GRPO의 50.8%에 비해 53.9%에 도달하게 한다. agentic RL 도메인에서는 Qwen-3B base를 사용하여, EMA-PG가 검색 엔진을 활용하는 Q&A 데이터셋 7개 전체에서 GRPO를 평균 33.3% 향상시키며, HotpotQA에서는 29.7% $\\rightarrow$ 44.1%, 2WikiMultiHopQA에서는 27.4% $\\rightarrow$ 40.1%를 달성한다. 전반적으로 우리는 EMA-PG가 LLM을 위한 RL 확장을 위한 단순하고 원리적이며 강력한 접근법임을 보인다.","link":"https://openreview.net/forum?id=LqEUj1BJ4y"},{"id":"cXHVj1UjVs","en":"Measuring Representation Robustness in Large Language Models for Geometry","ko":"기하를 위한 대형 언어 모델의 표현 강건성 측정","authors":"Vedant Jawandhia, Yash Sinha, Ankan Pal, Murari Mandal, Dhruv Kumar","abs":"arge language models (LLMs) are increasingly evaluated on mathematical and geometric reasoning, yet their robustness to equivalent problem representations remains poorly understood, despite its importance for reliable use in education and scientific problem-solving. In geometry, identical problems can be expressed in Euclidean, coordinate, or vector form, and inconsistent model behavior across these representations raises concerns about whether LLMs reason over abstract structure or rely on surface-level cues. Existing benchmarks largely report aggregate accuracy on fixed formats, implicitly assuming representation invariance and thereby masking systematic failures caused purely by representational changes.
We address this gap by proposing a controlled, representation-aware evaluation framework that measures correctness, invariance, and consistency at the problem level across parallel Euclidean, coordinate, and vector formulations. Our evaluation incorporates strict answer matching, bootstrap confidence intervals, paired McNemar tests, representation-flip analyses, and regression controls for surface complexity.
Evaluating ten widely used LLMs (7B–20B parameters) on a curated dataset of high-school geometry problems derived from standard textbooks, we find statistically significant performance gaps induced solely by representation choice, with vector formulations emerging as a consistent point of failure even after controlling for length and symbolic complexity. These results show that high accuracy does not imply representation-invariant reasoning, exposing a critical limitation in current LLM evaluation practices.
","absKo":"대규모 언어 모델(LLM)은 수학 및 기하 reasoning에서 점점 더 많이 평가되고 있지만, 교육과 과학적 problem-solving에서의 신뢰할 수 있는 사용에 중요함에도 불구하고 동등한 problem representation에 대한 robustness는 여전히 충분히 이해되지 않고 있다. 기하학에서는 동일한 문제가 Euclidean, coordinate, 또는 vector form으로 표현될 수 있으며, 이러한 representation 간에 모델 behavior가 일관되지 않으면 LLM이 추상 구조를 추론하는지, 아니면 표면적 단서에 의존하는지에 대한 우려가 제기된다. 기존 benchmark는 대체로 고정된 format에서의 aggregate accuracy만 보고하며, representation invariance를 암묵적으로 가정함으로써 representation 변화만으로 발생하는 체계적 실패를 가린다.\n\n우리는 problem level에서 parallel Euclidean, coordinate, vector formulation 전반에 걸쳐 correctness, invariance, consistency를 측정하는 통제된 representation-aware evaluation framework를 제안함으로써 이 공백을 메운다. 우리의 평가는 strict answer matching, bootstrap confidence interval, paired McNemar test, representation-flip analysis, 그리고 surface complexity에 대한 regression control을 포함한다.\n\n표준 교과서에서 가져온 고등학교 기하 문제로 구성된 정제된 dataset에서 널리 사용되는 10개의 LLM(7B–20B parameter)을 평가한 결과, representation 선택만으로 유발되는 통계적으로 유의미한 성능 차이를 발견했으며, 길이와 symbolic complexity를 통제한 이후에도 vector formulation이 일관된 실패 지점으로 나타났다. 이러한 결과는 높은 accuracy가 representation-invariant reasoning을 의미하지 않음을 보여주며, 현재 LLM 평가 관행의 중대한 한계를 드러낸다.","link":"https://openreview.net/forum?id=cXHVj1UjVs"},{"id":"qeZStJVYnc","en":"CombiBench: Benchmarking LLM Capability for Combinatorial Mathematics","ko":"CombiBench: 조합론 수학에서의 LLM 능력 평가","authors":"Junqi Liu, Xiaohan Lin, Bolton Bailey, Jonas Bayer, Yaël Dillies, Weijie Jiang, Xiaodan Liang, Roman Soletskyi, Haiming Wang, Yunzhou Xie, Beibei Xiong, Zhengfeng Yang, Jujian Zhang, Lihong Zhi, Zekai Zhu, Jia LI, Zhengying Liu","abs":"Neurosymbolic approaches integrating large language models with formal reasoning have recently achieved human-level performance on mathematics competition problems in algebra, geometry, and number theory. In comparison, combinatorics remains a challenging domain, characterized by a lack of appropriate benchmarks and theorem libraries. To address this gap, we introduce CombiBench, a comprehensive benchmark comprising 100 combinatorial problems, each formalized in Lean~4 and paired with its corresponding informal statement. The problem set covers a wide spectrum of difficulty levels, ranging from middle school to IMO and university level, and spans more than ten combinatorial topics. CombiBench is suitable for testing IMO-solving capabilities since it includes all IMO combinatorics problems since 2000 (except IMO 2004 Problem 3, whose statement contains an image). Furthermore, we provide a comprehensive and standardized evaluation framework, dubbed \\emph{Fine-Eval} (for \\textbf{F}ill-in-the-blank \\textbf{in} L\\textbf{e}an Evaluation), for formal mathematics. It accommodates not only proof-based problems but also, for the first time, the evaluation of fill-in-the-blank questions. Using Fine-Eval as the evaluation method and Kimina Lean Server as the backend, we benchmark several LLMs on CombiBench. State-of-the-art LLMs solve only 48% of CombiBench problems, highlighting its complexity and importance for LLM evaluation.
","absKo":"대규모 언어 모델과 형식적 추론을 통합한 neurosymbolic approach는 최근 algebra, geometry, number theory의 수학 경시대회 문제에서 인간 수준의 성능을 달성했다. 이에 비해 combinatorics는 적절한 benchmark와 theorem library가 부족해 여전히 어려운 영역으로 남아 있다. 이러한 격차를 해소하기 위해, 우리는 100개의 combinatorial problem으로 구성된 포괄적 benchmark인 CombiBench를 제안한다. 각 문제는 Lean~4로 formalize되어 있으며 대응하는 informal statement와 짝지어진다. 이 문제 집합은 중학교 수준부터 IMO 및 대학 수준까지 다양한 난이도를 포괄하고, 10개 이상의 combinatorial topic을 다룬다. CombiBench는 2000년 이후의 모든 IMO combinatorics 문제를 포함하므로 IMO-solving capability를 테스트하는 데 적합하다(이미지가 포함된 IMO 2004 Problem 3은 제외). 또한 우리는 formal mathematics를 위한 포괄적이고 표준화된 평가 프레임워크인 \\emph{Fine-Eval} (\\textbf{F}ill-in-the-blank \\textbf{in} L\\textbf{e}an Evaluation)을 제시한다. 이 프레임워크는 proof-based problem뿐 아니라, 처음으로 fill-in-the-blank question의 평가도 지원한다. Fine-Eval을 평가 방법으로, Kimina Lean Server를 backend로 사용하여, 우리는 CombiBench에서 여러 LLM을 벤치마크했다. 최첨단 LLM도 CombiBench 문제의 48%만 해결하며, 이는 그 복잡성과 LLM 평가에서의 중요성을 보여준다.","link":"https://openreview.net/forum?id=qeZStJVYnc"},{"id":"L4kh17ZuSa","en":"Which Regular Languages Admit Provably Correct RNN Implementations? A Lattice-Theoretic Characterisation via Forward-Invariant Sets","ko":"어떤 정규 언어가 증명 가능하게 올바른 RNN 구현을 허용하는가? 전방 불변 집합을 통한 격자 이론적 특성화","authors":"Zacharie Bugaud","abs":"We study which regular languages can be recognised by recurrent neural networks with a forward-invariant certificate of length generalisation. An Elman RNN defines a switched dynamical system $h_{t+1} = \\tanh(W_{hh} h_t + u_{x_t})$; we prove that length generalisation under such a certificate is equivalent to the existence of a forward-invariant positive-margin set (Theorem 2.1, if-and-only-if). We then establish a precise connection to automata theory: the class of regular languages admitting forward-invariant RNN implementations is contained within the class of absorbing-state languages, those whose minimal DFA has an accept state $q_a$ with $\\delta(q_a, \\sigma) = q_a$ for all $\\sigma \\in \\Sigma$. This class is closed under union and intersection (but not complement in general). Non-absorbing languages (modular counting, last-$k$, alternating patterns) provably cannot admit forward-invariant sets of this form, and empirically show near-zero (0--7%) success with our training protocol (vs. 63--100% baseline). We verify the characterisation computationally: Kleene iteration on the complete lattice of axis-aligned boxes converges in $\\sim 14$ iterations ($\\rho_\\mathcal{T} \\approx 0.12$), and CQLF certificates via LMI verify 109/110 models up to $H = 70$. Across 42 absorbing patterns and 12 non-absorbing patterns: 350/350 vs $\\leq 7$%, a near-perfect separation predicted by the lattice-theoretic characterisation. The gap formula $\\mathrm{gap}_d \\approx \\operatorname{sech}^2(\\bar{z}_d) \\cdot |\\Delta z_d|$ connects the automaton structure to an analytic sufficient condition ($r = +0.743$, F1 $= 0.872$). The result is a one-directional characterisation of the expressibility-verifiability boundary for recurrent networks on formal languages: necessity is proven, while the converse is supported empirically across the 42 absorbing patterns we tested.
","absKo":"우리는 forward-invariant certificate를 통한 length generalisation을 만족시키는 recurrent neural network가 어떤 regular language를 인식할 수 있는지 연구한다. Elman RNN은 switched dynamical system $h_{t+1} = \\tanh(W_{hh} h_t + u_{x_t})$를 정의한다; 우리는 이러한 certificate 하에서의 length generalisation이 forward-invariant positive-margin set의 존재와 동치임을 증명한다(Theorem 2.1, if-and-only-if). 이어서 우리는 automata theory와의 정확한 연결을 확립한다: forward-invariant RNN implementation을 허용하는 regular language의 클래스는 absorbing-state language 클래스에 포함되는데, 이 language들은 최소 DFA가 모든 $\\sigma \\in \\Sigma$에 대해 $\\delta(q_a, \\sigma) = q_a$를 만족하는 accept state $q_a$를 가지는 것들이다. 이 클래스는 union과 intersection에 대해 닫혀 있지만(일반적으로 complement에 대해서는 아님) 닫혀 있지 않다. Non-absorbing language(modular counting, last-$k$, alternating pattern)는 이러한 형태의 forward-invariant set을 가질 수 없음을 증명할 수 있으며, 우리의 training protocol에서는 거의 0--7%의 성공률을 보인다(baseline 63--100% 대비). 우리는 이 characterisation을 계산적으로 검증한다: axis-aligned box의 complete lattice에서 Kleene iteration은 약 14번의 iteration에서 수렴하며($\\rho_\\mathcal{T} \\approx 0.12$), LMI를 통한 CQLF certificate는 $H = 70$까지 110개 중 109개 model을 검증한다. 42개의 absorbing pattern과 12개의 non-absorbing pattern 전반에서: 350/350 vs $\\leq 7$%, lattice-theoretic characterisation이 예측한 거의 완벽한 분리다. gap formula $\\mathrm{gap}_d \\approx \\operatorname{sech}^2(\\bar{z}_d) \\cdot |\\Delta z_d|$는 automaton structure를 analytic sufficient condition과 연결하며($r = +0.743$, F1 $= 0.872$), 그 결과 formal language에 대한 recurrent network의 expressibility-verifiability boundary에 대한 단방향 characterisation이 된다: necessity는 증명되었고, converse는 우리가 테스트한 42개의 absorbing pattern 전반에서 실증적으로 뒷받침된다.","link":"https://openreview.net/forum?id=L4kh17ZuSa"},{"id":"dv6Q569DQe","en":"Boosting Reinforcement Learning with Verifiable Rewards via Randomly Selected Few-Shot Guidance","ko":"무작위 선택된 few-shot guidance를 통한 검증 가능한 보상 기반 Reinforcement Learning 강화","authors":"Kai Yan, Alex Schwing, Yu-Xiong Wang","abs":"Reinforcement Learning with Verifiable Rewards (RLVR) has achieved great success in developing Large Language Models (LLMs) with chain-of-thought rollouts for many tasks such as math and coding. Nevertheless, RLVR struggles with sample efficiency on difficult problems where correct rollouts are hard to generate. Prior works propose to address this issue via demonstration-guided RLVR, i.e., to conduct Supervised FineTuning (SFT) when RL fails; however, SFT often requires a lot of data, which can be expensive to acquire. In this paper, we propose FEST, a \\textbf{FE}w-\\textbf{S}ho\\textbf{T} demonstration-guided RLVR algorithm. It attains compelling results with only $128$ demonstrations randomly selected from an SFT dataset. We find that three components are vital for the success: supervised signal, on-policy signal, and decaying weights on the few-shot SFT dataset to prevent overfitting from multiple-epoch training. On several benchmarks, FEST outperforms baselines with magnitudes less SFT data, even matching their performance with full dataset. The code is available at https://github.com/KaiYan289/FEST; the model and datasets are available at https://huggingface.co/collections/kaiyan289/fest.
","absKo":"Reinforcement Learning with Verifiable Rewards(RLVR)는 math와 coding 같은 많은 task에서 chain-of-thought rollout을 갖는 Large Language Model(LLM)을 개발하는 데 큰 성공을 거두었다. 그럼에도 불구하고 RLVR은 정답 rollout을 생성하기 어려운 난제에서 sample efficiency 측면의 어려움을 겪는다. 기존 연구는 이를 demonstration-guided RLVR, 즉 RL이 실패할 때 Supervised FineTuning(SFT)을 수행하는 방식으로 해결하고자 제안했지만, SFT는 종종 많은 데이터가 필요해 획득 비용이 크다. 본 논문에서는 \\textbf{FE}w-\\textbf{S}ho\\textbf{T} demonstration-guided RLVR 알고리즘인 FEST를 제안한다. 이는 SFT dataset에서 무작위로 선택한 $128$개의 demonstration만으로도 인상적인 결과를 달성한다. 우리는 성공에 세 가지 구성요소가 중요함을 발견했다. supervised signal, on-policy signal, 그리고 여러 epoch의 training에서 overfitting을 방지하기 위한 few-shot SFT dataset에 대한 decaying weight이다. 여러 benchmark에서 FEST는 더 적은 SFT data를 사용하는 baseline보다 우수하며, full dataset을 사용할 때와 성능이 같아지는 수준에 도달하기도 한다. 코드는 https://github.com/KaiYan289/FEST 에, model과 dataset은 https://huggingface.co/collections/kaiyan289/fest 에 공개되어 있다.","link":"https://openreview.net/forum?id=dv6Q569DQe"},{"id":"8wlVmrAP8v","en":"Draw2Think: Harnessing Geometry Reasoning through Constraint Engine Interaction","ko":"Draw2Think: 제약 엔진 상호작용을 통한 기하 추론 활용","authors":"Juncheng Hu, Jiawei Du, Xin Zhang, Joey Tianyi Zhou","abs":"Vision-language models solve geometry problems with rising accuracy, yet their intermediate states remain latent and unverifiable: a relation expressed in textual reasoning or drawing code carries no guarantee that a constraint-satisfying configuration realizes it. We observe that existing externalization methods based on rendered pixels or one-shot scripts fail to provide exact, per-action geometric guarantees. Enforcing geometric relations by algebraic definition closes this gap: the workspace becomes a constraint-checked evolving canvas. We present **Draw2Think**, a framework that recasts geometric reasoning from latent spatial inference into agentic interaction with the GeoGebra constraint engine. In a **Propose-Draw-Verify** loop, Draw2Think externalizes hypotheses onto an executable canvas, measures exact geometric quantities, and feeds structured observations back to the model, so subsequent reasoning proceeds from checked canvas state grounded by the shared workspace. This externalization makes two properties separately auditable: model-level *Construction Fidelity* (whether the canvas realizes the intended configuration) and engine-level *Measurement Faithfulness* (exact values and relations from canvas constraints). Across construction, outcome, and rendering evaluations, Draw2Think builds canvases that pass 95.9% predicate-level and 84.0% strict problem-level construction checks on *GeoGoal*, improves outcome accuracy by up to 4.1%/16.4% on planar/solid benchmarks, and attains 68.2%/90.5% strict/relaxed rendering scores on *GenExam-math*.
","absKo":"Vision-language model은 geometry 문제를 점점 더 높은 정확도로 푸르고 있지만, 그 중간 상태는 여전히 latent하며 검증할 수 없습니다. 텍스트 reasoning이나 drawing code로 표현된 관계는, 그 관계를 만족하는 configuration이 실제로 존재한다는 보장을 주지 못합니다. 우리는 rendered pixel이나 one-shot script에 기반한 기존 externalization 방법이 action별 정확한 geometric guarantee를 제공하지 못함을 관찰했습니다. 기하 관계를 algebraic definition으로 강제하면 이 간극이 메워집니다. 작업 공간은 constraint-checked evolving canvas가 됩니다. 우리는 기하 추론을 latent spatial inference에서 GeoGebra constraint engine과의 agentic interaction으로 재구성하는 프레임워크인 **Draw2Think**를 제시합니다. **Propose-Draw-Verify** 루프에서 Draw2Think는 가설을 실행 가능한 canvas 위에 외재화하고, 정확한 geometric quantity를 측정하며, 구조화된 관찰을 모델에 다시 공급합니다. 그 결과 이후의 추론은 공유 workspace로부터 근거가 확보된 checked canvas state를 바탕으로 진행됩니다. 이러한 externalization은 두 가지 속성을 별도로 감사 가능하게 만듭니다. 모델 수준의 *Construction Fidelity*는 canvas가 의도한 configuration을 실제로 구현하는지 여부를, engine 수준의 *Measurement Faithfulness*는 canvas constraint로부터 나온 정확한 값과 관계를 의미합니다. construction, outcome, rendering 평가 전반에서 Draw2Think는 *GeoGoal*에서 predicate-level construction check 95.9\\%, strict problem-level construction check 84.0\\%를 통과하는 canvas를 만들고, planar/solid benchmark에서 outcome accuracy를 최대 4.1\\%/16.4\\% 향상시키며, *GenExam-math*에서 strict/relaxed rendering score 68.2\\%/90.5\\%를 달성합니다.","link":"https://openreview.net/forum?id=8wlVmrAP8v"},{"id":"Dc6AEOYQjM","en":"Topological Control of Optimization Dynamics on Evolving Manifolds","ko":"진화하는 다양체 위 최적화 동역학의 위상적 제어","authors":"Xingrui Gu","abs":"Machine learning optimization is usually framed as a sequence of local responses to the current gradient. In high-dimensional nonconvex training, however, it is more naturally understood as a noise-driven process of trajectory evolution. Motivated by symplectic reduction, which compresses high-dimensional dynamics onto a lower-dimensional effective manifold while preserving essential structure, we propose Trajectory-Adaptive Geometric Damping (TAGD), a geometry-topology control framework for first-order optimization. TAGD uses recent gradient history to estimate a low-rank effective subspace via online Gram-PCA, decomposes each update into tangential and normal components, and adaptively regulates normal suppression through multiscale topological stability feedback. This yields a trajectory-level control mechanism on a low-dimensional effective submanifold, rather than a purely local update rule. Theoretically, under local Fisher geometry, we show that the resulting update reduces information-geometric error, tightens the one-step descent bound, and remains robust to finite-window subspace estimation error; we further show that topological feedback acts as an online proxy for an otherwise unobservable orthogonal bias-variance tradeoff. Empirically, across CIFAR-10 and WikiText-103, TAGD improves performance in 11 of 12 settings without modifying the internal state of the base optimizer. On WikiText-103, relative to AdamW, it improves average best validation perplexity by 8.26% on LLaMA-style models and 5.96% on GPT-J-style models, for an overall gain of 7.11%. Trajectory and local loss-landscape visualizations further show that TAGD enters low-loss channels earlier, reduces lateral drift, and in some cases alters basin selection. Overall, TAGD unifies information geometry, low-rank subspace control, and topological stability feedback within an online optimization framework, offering a trajectory-centric view of deep learning optimization.
","absKo":"Machine learning optimization은 보통 현재 gradient에 대한 연속적인 local response로 프레임화된다. 그러나 고차원 비볼록 학습에서는 이를 trajectory evolution의 noise-driven process로 이해하는 편이 더 자연스럽다. 고차원 동역학을 핵심 구조를 보존한 채 더 낮은 차원의 effective manifold로 압축하는 symplectic reduction에 착안하여, 우리는 first-order optimization을 위한 geometry-topology control framework인 Trajectory-Adaptive Geometric Damping (TAGD)를 제안한다. TAGD는 최근 gradient history를 사용해 online Gram-PCA로 low-rank effective subspace를 추정하고, 각 update를 tangential component와 normal component로 분해한 뒤, multiscale topological stability feedback를 통해 normal suppression을 적응적으로 조절한다. 이는 단순한 local update rule이 아니라, 낮은 차원의 effective submanifold 위에서 trajectory 수준의 제어 메커니즘을 제공한다. 이론적으로는 local Fisher geometry 하에서, 제안한 update가 information-geometric error를 줄이고 one-step descent bound를 더 타이트하게 만들며, finite-window subspace estimation error에 대해서도 견고함을 보임을 보인다. 또한 topological feedback가 본래는 관측 불가능한 orthogonal bias-variance tradeoff의 online proxy로 작동함을 보인다. 실험적으로는 CIFAR-10과 WikiText-103 전반에서, TAGD는 base optimizer의 internal state를 수정하지 않고도 12개 설정 중 11개에서 성능을 향상시킨다. WikiText-103에서는 AdamW 대비 LLaMA-style model에서 평균 best validation perplexity를 8.26% 개선하고, GPT-J-style model에서는 5.96% 개선하여, 전체적으로 7.11%의 향상을 보인다. Trajectory 및 local loss-landscape visualization은 TAGD가 low-loss channel에 더 일찍 진입하고, lateral drift를 줄이며, 일부 경우 basin selection을 바꾼다는 점도 보여준다. 전반적으로 TAGD는 information geometry, low-rank subspace control, 그리고 topological stability feedback를 online optimization framework 안에서 통합하여, deep learning optimization에 대한 trajectory-centric한 관점을 제공한다.","link":"https://openreview.net/forum?id=Dc6AEOYQjM"},{"id":"5HOo62Myp2","en":"Position: Assumption Search, Not Proof Search: AI Assistance for Theory-Oriented Social Science","ko":"Position: 증명 탐색이 아니라 가정 탐색이다: 이론 지향 사회과학을 위한 AI 보조","authors":"Heikichi Hayashi, Ruoran Lai, Shawn Yu, Huanxi Zhang, Jiazhuo Li","abs":"This position paper argues that AI-for-math paradigms do not transfer directly to
theory-oriented social science. Although theoretical social science—especially
areas such as theoretical economics—often contains substantial mathematical
derivation and proof, its central research bottleneck is frequently not proof search
under strong verification. Instead, progress often depends on assumption search:
identifying assumptions, mechanisms, boundary conditions, and interpretations
that are coherent, meaningful, and disciplinarily acceptable under weak external
validation. This difference has important implications for AI system design. We
argue that AI assistance in such settings should be organized around human-in-the
loop workflows that support problem framing, assumption proposal, verification,
branching, and scholarly adjudication, rather than around proof-centric automation
alone. We use Adrasteia as a concrete instantiation of this position and present
limited empirical evidence as supporting illustration rather than definitive validation.
Our goal is not to claim that theory-oriented social science can be reduced to
workflow engineering, but to argue that future AI systems for these domains should
treat human judgment and assumption search as first-class design principles. The
paper is centered on economics and offers only cautious extrapolation to adjacent
theory-oriented social-science settings.
","absKo":"이 position paper는 AI-for-math 패러다임이 이론 지향적 사회과학에 직접적으로 전이되지 않는다고 주장한다. 이론 사회과학, 특히 이론 경제학과 같은 영역은 종종 상당한 수학적 유도와 증명을 포함하지만, 그 핵심 연구 병목은 강한 verification 하에서의 proof search가 아닌 경우가 많다. 오히려 진전은 종종 assumption search, 즉 약한 외부 검증 하에서 일관성 있고, 의미 있으며, 학문적으로 수용 가능한 가정, 메커니즘, 경계 조건, 해석을 찾아내는 데 달려 있다. 이러한 차이는 AI system 설계에 중요한 함의를 갖는다. 우리는 이러한 환경에서의 AI 지원은 증명 중심 자동화만이 아니라, problem framing, assumption proposal, verification, branching, scholarly adjudication을 지원하는 human-in-the-loop workflow를 중심으로 조직되어야 한다고 주장한다. 우리는 Adrasteia를 이 입장의 구체적 구현 사례로 사용하고, 제한적인 실증 증거를 최종 검증이 아니라 보조적 설명으로 제시한다. 우리의 목표는 이론 지향 사회과학을 workflow engineering으로 환원할 수 있다고 주장하는 것이 아니라, 향후 이 영역을 위한 AI system은 human judgment와 assumption search를 일급 설계 원리로 다뤄야 한다는 점을 강조하는 것이다. 이 논문은 경제학에 초점을 맞추며, 인접한 이론 지향 사회과학 설정으로의 일반화는 신중하게만 제시한다.","link":"https://openreview.net/forum?id=5HOo62Myp2"},{"id":"f1w6qjx6zW","en":"From Ricci Curvature to Metric Matching: A Simplified Approach to Geometric Transfer Learning","ko":"Ricci 곡률에서 metric matching까지: 기하학적 transfer learning을 위한 단순화된 접근","authors":"Sung Moon Ko, Jaewan Lee, Sumin Lee, Soorin Yim, Sehui Han","abs":"Riemannian geometry offers a principled framework for modeling the smooth, curved latent spaces induced by deep learning models, and has shown particular promise in transfer learning. Recent approaches improve prediction performance by aligning the Ricci scalar curvature between target and source domains, thereby matching their intrinsic geometric structures. However, Ricci curvature computation is mathematically complex and computationally expensive, limiting its reproducibility. In this work, we propose a simplified metric matching approach that reduces both the algorithmic complexity and computational cost. Our method leverages an exact diffeomorphism between target and source spaces, enabling coordinate frame alignment such that, by definition of the curvature tensor, the curvature remains unchanged. Extensive experiments demonstrate that our approach improves training speed by 91.1\\% and reduces memory usage by 62.6\\% compared to GEAR, a Ricci curvature–based method, while maintaining comparable predictive performance.
","absKo":"Riemannian geometry는 deep learning model이 유도하는 매끄럽고 곡률이 있는 latent space를 모델링하기 위한 원리적인 프레임워크를 제공하며, transfer learning에서 특히 유망함이 입증되어 왔다. 최근 접근법들은 target domain과 source domain 사이의 Ricci scalar curvature를 정렬함으로써 예측 성능을 향상시키고, 이를 통해 intrinsic geometric structure를 일치시킨다. 그러나 Ricci curvature 계산은 수학적으로 복잡하고 계산 비용이 커서 재현성을 제한한다. 본 연구에서는 algorithmic complexity와 computational cost를 모두 줄이는 단순화된 metric matching 접근법을 제안한다. 우리의 방법은 target space와 source space 사이의 exact diffeomorphism을 활용하여 coordinate frame alignment를 가능하게 하며, curvature tensor의 정의에 따라 curvature는 변하지 않는다. 광범위한 실험은 우리의 접근법이 Ricci curvature 기반 방법인 GEAR와 비교해 학습 속도를 91.1\\% 향상시키고 메모리 사용량을 62.6\\% 줄이면서도, 예측 성능은 유사하게 유지함을 보여준다.","link":"https://openreview.net/forum?id=f1w6qjx6zW"},{"id":"FK9LEhmjof","en":"Nemotron-Math: Efficient Long-Context Distillation of Mathematical Reasoning from Multi-Mode Supervision","ko":"Nemotron-Math: 다중 모드 supervision에서 수학적 추론을 효율적으로 장문맥 증류","authors":"Wei Du, Shubham Toshniwal, Branislav Kisacanin, Sadegh Mahdavi, Ivan Moshkov, George Armstrong, Stephen Ge, Edgar Minasyan, Feng Chen, Igor Gitman","abs":"High-quality mathematical reasoning supervision requires diverse reasoning styles, long-form traces, and effective tool integration, capabilities that existing datasets provide only in limited form. Leveraging the multi-mode generation ability of \\texttt{gpt-oss-120b}, we introduce \\dataset{}, a large-scale mathematical reasoning dataset containing 7.5M solution traces across high, medium, and low reasoning modes, each available both with and without Python tool-integrated reasoning (TIR). The dataset integrates 85K curated AoPS problems with 262K community-sourced StackExchange-Math problems, combining structured competition tasks with diverse real-world mathematical queries. We conduct controlled evaluations to assess the dataset’s quality. \\dataset{} consistently outperforms the original \\texttt{OpenMathReasoning} on matched AoPS problems, and incorporating StackExchange-Math substantially improves robustness and generalization, especially on HLE-Math, while preserving accuracy on math-competition benchmarks. To support efficient long-context training, we develop a sequential bucketed strategy that accelerates 128K context-length fine-tuning by 2–3× without significant accuracy loss compared to the full-length training. To verify the scalability of our supervision, we further perform experiments on \\texttt{Qwen3-8B} and \\texttt{Qwen3-30B-A3B}, showing that both models converge to similar final accuracy under our full context training recipe. Overall, \\dataset{} provides diverse, high-quality, and scalable reasoning supervision, enabling state-of-the-art performance, including 100\\% \\texttt{maj@16} accuracy on AIME 2024/2025 for both \\texttt{Qwen3-8B} and \\texttt{Qwen3-30B-A3B} with Python TIR.
","absKo":"고품질 수학적 추론 supervision은 다양한 reasoning style, long-form trace, 그리고 효과적인 tool integration을 필요로 하지만, 기존 데이터셋은 이러한 능력을 제한된 형태로만 제공한다. \\texttt{gpt-oss-120b}의 multi-mode generation 능력을 활용하여, 우리는 \\dataset{}를 소개한다. 이는 high, medium, low reasoning mode에 걸친 7.5M개의 solution trace를 포함하는 대규모 수학적 추론 데이터셋이며, 각 trace는 Python tool-integrated reasoning (TIR) 유무에 따라 모두 제공된다. 이 데이터셋은 85K개의 정제된 AoPS 문제와 262K개의 커뮤니티 소스 StackExchange-Math 문제를 통합하여, 구조화된 competition task와 다양한 실제 수학 질의를 결합한다. 우리는 데이터셋의 품질을 평가하기 위해 통제된 실험을 수행한다. \\dataset{}는 정합된 AoPS 문제에서 원본 \\texttt{OpenMathReasoning}을 일관되게 능가하며, StackExchange-Math를 포함하면 특히 HLE-Math에서 강건성과 일반화가 크게 향상되는 동시에, math-competition benchmark에서의 정확도는 유지된다. 긴 context 학습을 효율적으로 지원하기 위해, 우리는 sequential bucketed strategy를 개발하여 전체 길이 학습과 비교했을 때 유의미한 정확도 손실 없이 128K context-length fine-tuning을 2–3× 가속한다. 우리의 supervision의 확장성을 검증하기 위해, \\texttt{Qwen3-8B}와 \\texttt{Qwen3-30B-A3B}에 대해서도 추가 실험을 수행했으며, 두 모델 모두 전체 context 학습 레시피 하에서 유사한 최종 정확도로 수렴함을 보였다. 전반적으로 \\dataset{}는 다양하고 고품질이며 확장 가능한 reasoning supervision을 제공하고, Python TIR을 사용한 \\texttt{Qwen3-8B} 및 \\texttt{Qwen3-30B-A3B} 모두에서 AIME 2024/2025에 대해 100\\% \\texttt{maj@16} 정확도를 포함하는 state-of-the-art 성능을 가능하게 한다.","link":"https://openreview.net/forum?id=FK9LEhmjof"},{"id":"kCoJgTMUD5","en":"Awakening the Sleeping Agent: Lean-Specific Agentic Data Reactivates General Tool Use in Goedel Prover","ko":"잠든 에이전트 깨우기: Lean 특화 agentic 데이터가 Goedel Prover의 일반 도구 사용을 재활성화한다","authors":"Jui-Hui Chung, Hongzhou Lin, Lai Jiang, Shange Tang, Chi Jin","abs":"Heavy supervised fine-tuning (SFT) on a target domain can strongly suppress capabilities that were present in the base model. We study this phenomenon in formal mathematics using Goedel-Prover-V2, an open-source model heavily trained on 1.8M formal-math examples. After domain specialization, the model almost completely loses its ability to produce valid tool calls, even when explicitly instructed to use tools, dropping from 89.4% function-calling accuracy in the base model to nearly 0%. We ask whether this agentic collapse is permanent or instead reversible. To answer this question, we fine-tune the specialized model on a small amount of Lean-specific tool-use data. Remarkably, as few as 100 agentic traces are sufficient to restore strong tool-calling behavior. Importantly, this recovery is not the result of reward hacking or benchmark-specific optimization: the recovery data is entirely drawn from the Lean setting, where the model uses natural-language queries to search the Mathlib library for relevant theorems and lemmas, yet the regained capability transfers well beyond that domain. In particular, these same 100 Lean-specific traces improve performance on the Berkeley Function Calling Leaderboard (BFCL) from near zero to 83.8%, approaching the base model's 89.4% despite the mismatch in task distribution and protocol. The recovered capability is also practically useful in-domain. On ProofNet, pass@32 improves from 21.51% to 25.81%. Together, these results show that heavy domain SFT can suppress general tool-use ability without permanently erasing it, and that a small amount of domain-specific agentic data can awaken dormant tool-use capabilities.
","absKo":"타깃 도메인에 대한 heavy supervised fine-tuning(SFT)은 base model에 존재하던 capability를 강하게 억제할 수 있다. 우리는 180만 개의 formal-math 예제로 강하게 학습된 open-source model인 Goedel-Prover-V2를 사용해 formal mathematics에서 이 현상을 연구한다. 도메인 특화 이후, model은 tool을 사용하라는 명시적 지시가 있어도 유효한 tool call을 생성하는 능력을 거의 완전히 상실하며, base model의 function-calling accuracy 89.4%에서 거의 0%로 떨어진다. 우리는 이러한 agentic collapse가 영구적인지, 아니면 되돌릴 수 있는지 묻는다. 이를 답하기 위해 특화된 model을 소량의 Lean-specific tool-use data로 fine-tune한다. 놀랍게도 100개의 agentic trace만으로도 강한 tool-calling behavior를 복구하기에 충분하다. 중요한 점은, 이 회복이 reward hacking이나 benchmark-specific optimization의 결과가 아니라는 것이다. recovery data는 전부 Lean setting에서 가져왔으며, model은 natural-language query를 사용해 Mathlib library에서 관련 theorem과 lemma를 검색한다. 그럼에도 회복된 capability는 해당 도메인을 넘어 잘 전이된다. 특히 이 100개의 Lean-specific trace는 Berkeley Function Calling Leaderboard(BFCL) 성능을 거의 0에서 83.8%까지 끌어올려, task distribution과 protocol이 다름에도 base model의 89.4%에 근접한다. 회복된 capability는 도메인 내에서도 실제로 유용하다. ProofNet에서는 pass@32가 21.51%에서 25.81%로 향상된다. 이 결과는 heavy domain SFT가 일반적인 tool-use 능력을 영구적으로 지우지 않으면서도 억제할 수 있음을 보여주며, 소량의 도메인 특화 agentic data가 잠재된 tool-use capability를 깨울 수 있음을 시사한다.","link":"https://openreview.net/forum?id=kCoJgTMUD5"},{"id":"R57hlMlpkm","en":"Quokka: Accelerating Program Verification with LLMs via Invariant Synthesis","ko":"Quokka: invariant synthesis를 통해 LLM으로 프로그램 검증 가속하기","authors":"Anjiang Wei, Tianran Sun, Tarun Suresh, Haoze Wu, Ke Wang, Alex Aiken","abs":"Program verification relies on loop invariants, yet automatically discovering strong invariants remains a long-standing challenge. We investigate whether large language models (LLMs) can accelerate program verification by generating useful loop invariants. We introduce Quokka, an evaluation-oriented framework for LLM-based invariant synthesis that provides sound evaluation and achieves state-of-the-art performance. Unlike prior work that treats LLM outputs as noisy symbolic material requiring substantial post-processing, Quokka adopts a simpler and evaluation-centric design that directly validates whether each LLM-generated invariant helps prove the target assertion. We construct a benchmark of 866 instances derived from SV-COMP and evaluate 9 state-of-the-art LLMs across multiple model families. We demonstrate that supervised fine-tuning and Best-of-N sampling yield measurable improvements, and we show that Quokka consistently outperforms prior LLM-based verifiers.
","absKo":"Program verification은 loop invariant에 의존하지만, 강력한 invariant를 자동으로 발견하는 일은 오랫동안 해결되지 않은 도전 과제였다. 우리는 large language model(LLM)이 유용한 loop invariant를 생성함으로써 program verification을 가속할 수 있는지 조사한다. 이를 위해 LLM 기반 invariant synthesis를 위한 evaluation-oriented framework인 Quokka를 제안하며, 이는 sound evaluation을 제공하고 state-of-the-art 성능을 달성한다. LLM 출력을 상당한 후처리가 필요한 noisy symbolic material로 취급하던 기존 연구와 달리, Quokka는 더 단순하고 evaluation-centric한 설계를 채택하여 각 LLM 생성 invariant가 target assertion을 증명하는 데 실제로 도움이 되는지를 직접 검증한다. 우리는 SV-COMP에서 파생된 866개 instance로 benchmark를 구성하고, 여러 model family에 걸쳐 9개의 state-of-the-art LLM을 평가한다. Supervised fine-tuning과 Best-of-N sampling이 측정 가능한 성능 향상을 가져옴을 보이며, Quokka가 기존 LLM-based verifier를 일관되게 능가함을 보여준다.","link":"https://openreview.net/forum?id=R57hlMlpkm"}];window.dispatchEvent(new CustomEvent("papers-loaded",{detail:"54102"}));