AI agents are being increasingly deployed in dynamic, open-ended environments that require adapting to new information as it arrives. To efficiently measure this capability for realistic use-cases, we propose building grounded simulations that replay real-world events in the order they occurred. We build FutureSim, where agents forecast world events beyond their knowledge cutoff while interacting with a chronological replay of the world: real news articles arriving and questions resolving over the simulated period. We evaluate frontier agents in their native harness, testing their ability to predict world events over a three-month period from January to March 2026. FutureSim reveals a clear separation in their capabilities, with the best agent's accuracy being 25%, and many having worse calibration than a constant predictor. Through careful ablations, we show how FutureSim offers a realistic setting to study emerging research directions like long-horizon test-time adaptation, search, memory and reasoning about uncertainty. Overall, we hope our benchmark design paves the way to measure AI progress on long-horizon open-ended adaptation spanning multiple months in the real world.
","absKo":"AI agent는 새로운 정보가 들어오는 대로 적응해야 하는 dynamic하고 open-ended한 environment에 점점 더 많이 배치되고 있다. 현실적인 use-case에서 이 능력을 효율적으로 측정하기 위해, 우리는 실제 사건을 발생 순서대로 재생하는 grounded simulation을 구축하는 방식을 제안한다. 우리는 FutureSim을 구축했는데, 여기서 agent는 지식 cutoff를 넘어서는 world event를 예측하면서 세계의 chronological replay와 상호작용한다. 즉, 실제 news article이 도착하고, 시뮬레이션 기간 동안 question이 순차적으로 해소된다. 우리는 frontier agent를 native harness에서 평가하며, 2026년 1월부터 3월까지 3개월 동안의 world event를 예측하는 능력을 시험한다. FutureSim은 그 능력에서 뚜렷한 차이를 드러내며, 최고의 agent 정확도는 25%에 불과하고 많은 agent는 constant predictor보다 calibration이 더 나쁘다. 세심한 ablation을 통해, FutureSim이 long-horizon test-time adaptation, search, memory, uncertainty에 대한 reasoning과 같은 새로운 연구 방향을 연구하기 위한 현실적인 setting을 제공함을 보인다. 전반적으로, 우리는 이 benchmark design이 실제 세계에서 여러 달에 걸친 long-horizon open-ended adaptation에 대한 AI progress 측정의 길을 열어주기를 기대한다.","link":"https://openreview.net/forum?id=s0F0l0Jl7e","tag":"Oral"},{"id":"WwxELkT48R","en":"Forecasting Emerges from Auto-Regressive Pretraining: Latent Predictive Structure in Language Models","ko":"예측은 auto-regressive pretraining에서 출현한다: 언어 모델의 잠재 예측 구조","authors":"Alexis Roger, Prateek Humane, Zhenghan Tai, Gwen Legate, Andrei Mircea, Vasilii Feofanov, Irina Rish","abs":"Predicting how a sequence will continue is a basic problem for intelligent systems. We show that large language models contain usable
forecasting structure before any explicit time-series supervision. A
single linear readout from frozen Qwen3-0.6B hidden states maps ordinary text
sequences to numerical trajectories that resemble real time series, and those
trajectories can be used for straightforward forecasts. The distribution over output tokens also gives coherent, non-crossing probabilistic forecasts in a single forward pass. After time-series
specialization, pretrained models show aligned gradients and improve
immediately, whereas randomly initialized models spend early training in a
destructive-interference regime. These findings suggest that auto-regressive
pretraining already shapes representations around temporal continuation; and
finetuning adapts that structure to numerical forecasting rather than
creating it from scratch.
","absKo":"일련의 시퀀스가 어떻게 이어질지를 예측하는 것은 지능 시스템의 기본 문제이다. 우리는 대형 language model이 explicit time-series supervision 이전에도 유용한 forecasting structure를 포함하고 있음을 보인다. frozen Qwen3-0.6B hidden state에서 나온 단일 linear readout은 일반 텍스트 시퀀스를 실제 time series와 유사한 수치 궤적으로 매핑하며, 그 궤적은 직접적인 forecast에 사용할 수 있다. output token의 분포 또한 단일 forward pass에서 서로 교차하지 않는 일관된 probabilistic forecast를 제공한다. time-series specialization 이후에는 pretrained model이 aligned gradient를 보이고 즉시 향상되는 반면, randomly initialized model은 초기 training을 destructive-interference regime에서 보낸다. 이러한 결과는 auto-regressive pretraining이 이미 temporal continuation을 중심으로 representation을 형성하고 있으며, finetuning은 그 구조를 처음부터 만드는 것이 아니라 수치 예측에 맞게 적응시킨다는 점을 시사한다.","link":"https://openreview.net/forum?id=WwxELkT48R","tag":"Oral"},{"id":"VF3SHjyHB5","en":"Allocation, Not Volume: Test-Time Compute for Agentic Forecasting","ko":"할당, 볼륨이 아니다: Agentic 예측을 위한 Test-Time Compute","authors":"Atin Aboutorabi, Gaetan de Rassenfosse, Nicolas Flammarion, Maksym Andriushchenko","abs":"Test-time compute scaling has been studied extensively in verifiable domains such as math and code; how to spend an inference budget for forecasting future events, where no test-time verifier exists, is far less studied. We compare three multi-agent compute-allocation policies, static depth (*Predictor-Critic*), static breadth (*Ensemble*), and adaptive routing (*Hierarchical Orchestrator*), on a contamination-controlled benchmark of $228$ label-balanced binary ForecastBench questions resolved strictly after every base model's knowledge cutoff. On $\\texttt{gpt-5.4-mini}$, adaptive routing occupies the entire Pareto frontier of cost and accuracy ($80.7%$ at USD $0.18$/q vs. $78.1%$/USD $0.90$ Ensemble and $76.8%$/USD $1.67$ Predictor-Critic). The same Pareto ordering replicates on $\\texttt{gpt-5.4-nano}$, where the Orchestrator is about $13\\times$ cheaper than the top Ensemble with no statistically significant accuracy gap; the Orchestrator's cost-quality advantage further extends to Claude Sonnet 4.5, DeepSeek v4 Flash, and Gemini 2.5 Flash, so the result is not a single-model artefact. A two-stage diagnostic explains the win as *selective spending*: the Orchestrator concentrates compute on questions where its cheap direct baseline is uncertain.
","absKo":"test-time compute scaling은 수학과 코드처럼 검증 가능한 도메인에서는 광범위하게 연구되어 왔지만, test-time verifier가 존재하지 않는 미래 사건 forecasting에서 inference budget을 어떻게 사용할지는 훨씬 덜 연구되었다. 우리는 세 가지 multi-agent compute-allocation policy, 즉 static depth(*Predictor-Critic*), static breadth(*Ensemble*), adaptive routing(*Hierarchical Orchestrator*)을 비교한다. 실험은 모든 base model의 knowledge cutoff 이후에 엄격하게 해소되는, contamination-controlled benchmark의 228개 label-balanced binary ForecastBench 질문에서 수행했다. `gpt-5.4-mini`에서는 adaptive routing이 비용과 정확도의 전체 Pareto frontier를 차지한다(USD $0.18$/q에서 80.7% vs. Ensemble의 USD $0.90$에서 78.1%, Predictor-Critic의 USD $1.67$에서 76.8%). 같은 Pareto ordering은 `gpt-5.4-nano`에서도 재현되며, 여기서 Orchestrator는 통계적으로 유의미한 정확도 차이 없이 최고 Ensemble보다 약 13배 저렴하다. Orchestrator의 비용-품질 우위는 Claude Sonnet 4.5, DeepSeek v4 Flash, Gemini 2.5 Flash로도 확장되므로, 이 결과가 단일 모델의 산물이 아님을 보여준다. 두 단계 진단은 이 성과를 *selective spending*으로 설명한다. 즉, Orchestrator는 저렴한 직접 baseline이 불확실한 질문에 compute를 집중한다.","link":"https://openreview.net/forum?id=VF3SHjyHB5","tag":"Oral"},{"id":"Iw4jKx6hIx","en":"Agentic Forecasting using Sequential Bayesian Updating of Linguistic Beliefs","ko":"언어적 신념의 순차적 Bayesian 업데이트를 이용한 agentic forecasting","authors":"Kevin Murphy","abs":"We present the Bayesian Linguistic Forecaster (BLF), an agentic
system for binary forecasting that achieves state-of-the-art
performance on the ForecastBench benchmark. The system is built on
three ideas: (1) a \\emph{linguistic belief state} that combines a
numeric probability with natural-language evidence summaries and is
updated by the LLM at each step of an iterative tool-use loop;
(2) \\emph{multi-trial aggregation} via shrunken logit-space averaging;
and (3) \\emph{hierarchical Platt calibration} with per-source
intercepts, which avoids over-shrinking extreme predictions on sources
with skewed base rates. On 400 questions from the ForecastBench
leaderboard, BLF outperforms all top public methods, including
Cassi, GPT-5, Grok 4.20, and Foresight-32B, and is the only method
to significantly beat a strong LLM-free crowd+empirical-prior
baseline. Mixed-effects ablations across five base LLMs show that all
three components contribute, with their relative importance depending
on the base model and on whether a crowd anchor is available.
","absKo":"우리는 ForecastBench benchmark에서 state-of-the-art 성능을 달성하는 binary forecasting용 agentic 시스템인 Bayesian Linguistic Forecaster(BLF)를 제시한다. 이 시스템은 세 가지 아이디어를 기반으로 한다: (1) LLM이 iterative tool-use loop의 각 단계에서 갱신하는, 수치 확률과 자연어 증거 요약을 결합한 \\emph{linguistic belief state}; (2) shrunken logit-space averaging을 통한 \\emph{multi-trial aggregation}; (3) 편향된 base rate를 가진 source에서 극단적 예측이 과도하게 축소되는 것을 막는, source별 intercept를 사용하는 \\emph{hierarchical Platt calibration}. ForecastBench leaderboard의 400개 질문에서 BLF는 Cassi, GPT-5, Grok 4.20, Foresight-32B를 포함한 모든 상위 공개 방법을 능가했으며, 강력한 LLM-free crowd+empirical-prior baseline을 유의미하게 이긴 유일한 방법이다. 다섯 개 base LLM에 대한 mixed-effects ablation은 세 구성 요소 모두가 기여함을 보여주며, 상대적 중요성은 base model과 crowd anchor의 존재 여부에 따라 달라진다.","link":"https://openreview.net/forum?id=Iw4jKx6hIx","tag":"Oral"},{"id":"UuKdJjQcfM","en":"Forecasting Motion in the Wild","ko":"야생 환경의 운동 예측","authors":"Neerja Thakkar, Shiry Ginosar, Jacob C Walker, Jitendra Malik, Joao Carreira, Carl Doersch","abs":"Visual intelligence requires anticipating the future behavior of agents, yet vision systems lack a general representation for motion and behavior. We propose dense point trajectories as visual tokens for behavior, a structured mid-level representation that disentangles motion from appearance and generalizes across diverse non-rigid agents, such as animals in-the-wild. Building on this abstraction, we design a diffusion transformer that models unordered sets of trajectories and explicitly reasons about occlusion, enabling coherent forecasts of complex motion patterns. To evaluate at scale, we curate 300 hours of unconstrained animal motion from video through robust shot detection and camera-motion compensation. Experiments show that forecasting trajectory tokens achieves category-agnostic, data-efficient prediction, outperforms state-of-the-art baselines, and generalizes to rare species and morphologies, providing a foundation for predictive visual intelligence in the wild.
","absKo":"Visual intelligence는 agent의 미래 행동을 예측할 수 있어야 하지만, vision system은 motion과 behavior를 위한 일반적인 representation이 부족하다. 우리는 behavior를 위한 visual token으로 dense point trajectories를 제안한다. 이는 motion과 appearance를 분리하고, wild에서의 animal과 같은 다양한 non-rigid agent 전반으로 일반화되는 구조화된 mid-level representation이다. 이러한 abstraction을 바탕으로 우리는 순서가 없는 trajectory 집합을 모델링하고 occlusion을 명시적으로 추론하는 diffusion transformer를 설계하여, 복잡한 motion pattern에 대한 일관된 forecast를 가능하게 한다. 대규모 평가를 위해 우리는 robust shot detection과 camera-motion compensation을 통해 video에서 제약 없는 animal motion 300시간을 구축했다. 실험 결과 trajectory token을 forecast하는 방식은 category-agnostic하고 data-efficient한 prediction을 달성하며, state-of-the-art baseline을 능가하고, 희귀한 종과 형태로도 일반화됨을 보여주었다. 이는 wild 환경에서 predictive visual intelligence의 기반을 제공한다.","link":"https://openreview.net/forum?id=UuKdJjQcfM","tag":"Oral"},{"id":"LYSTj2Cnuu","en":"When do prophets profit in prediction markets?","ko":"예측 시장에서 예언자는 언제 이익을 내는가?","authors":"Anri Gu, Nicole Kagan, Alec Sun, Jibang Wu, Haifeng Xu","abs":"Prediction markets aggregate dispersed beliefs into prices that act as probabilistic forecasts of uncertain events. Classical theory establishes a clean equivalence between forecasting accuracy and trading profit, but only for the specific automated market maker (AMM) design. However, the largest exchanges today are based on central limit order books in which informed forecasters routinely lose money while uninformed strategies can profit on simple heuristics. We resolve this discrepancy by establishing a formal equivalence between predictive accuracy and profitability. For any strictly proper scoring rule $S$, we exhibit a ``proper'' betting strategy that depends only on the forecaster's prediction $\\mathbf{p}$ and the market price $\\mathbf{q}$ and earns positive expected profit whenever $\\mathbf{p}$ outperforms $\\mathbf{q}$ under $S$ and the market has sufficient liquidity. The proof rests on a decomposition of expected profit that strictly generalizes the classical AMM guarantee and also explains how strategies can profit without an accuracy edge. Empirically, across thousands of forecasts from AI models, proper betting is the only strategy that reliably converts accuracy into profit, and we further identify systematic forecasting personas and show how the optimal proper strategy varies across them. A month-long live deployment achieves $+80.33$\\% return on investment with a Sharpe ratio of $3.35$.
","absKo":"prediction market은 분산된 신념을 불확실한 사건에 대한 probabilistic forecast로 작동하는 price에 집약한다. 고전 이론은 forecasting accuracy와 trading profit 사이의 깔끔한 동치성을 확립하지만, 이는 특정 automated market maker(AMM) 설계에 대해서만 성립한다. 그러나 오늘날 가장 큰 exchange는 central limit order book 기반이며, 이곳에서는 정보가 있는 forecaster가 흔히 돈을 잃는 반면, 정보가 없는 전략이 단순 heuristic으로 이익을 낼 수 있다. 우리는 predictive accuracy와 profitability 사이의 formal equivalence를 확립하여 이 불일치를 해소한다. 임의의 strictly proper scoring rule $S$에 대해, forecaster의 prediction $\\mathbf{p}$와 market price $\\mathbf{q}$에만 의존하는 ``proper'' betting strategy를 제시하며, $S$에서 $\\mathbf{p}$가 $\\mathbf{q}$보다 우수하고 market에 충분한 liquidity가 있을 때 positive expected profit을 얻는다. 증명은 expected profit의 decomposition에 기반하며, 이는 고전적 AMM 보장을 엄밀히 일반화할 뿐 아니라 accuracy 우위 없이도 strategy가 어떻게 이익을 낼 수 있는지도 설명한다. 실증적으로, 수천 개의 AI model forecast 전반에서 proper betting은 accuracy를 profit으로 안정적으로 전환하는 유일한 strategy이며, 우리는 추가로 체계적인 forecasting persona를 식별하고 최적의 proper strategy가 그것들 사이에서 어떻게 달라지는지도 보인다. 한 달간의 live deployment는 $+80.33$%의 return on investment와 $3.35$의 Sharpe ratio를 달성한다.","link":"https://openreview.net/forum?id=LYSTj2Cnuu","tag":"Spotlight"},{"id":"pTiRAPtDzK","en":"Forecast-to-Trade: Hierarchical Reinforcement Learning for Decision-Aware Financial Forecasting","ko":"Forecast-to-Trade: 의사결정 인식 금융 예측을 위한 계층적 강화학습","authors":"Zijie Zhao, Roy E. Welsch","abs":"Forecasting systems are often judged by prediction quality, but real deployments require converting forecasts into actions under constraints, costs, and risk. We study this forecast-to-decision problem in text-aware equity portfolio management, where market forecasts and news-derived risk signals must become executable rebalancing decisions. We propose Hierarchical Reinforced Trader (HRT), a bi-level reinforcement learning framework that separates sparse directional selection from risk-aware portfolio execution. A factorized High-Level Controller selects per-asset increase, reduce, or hold directions from compact market and text-derived signals, while a Low-Level Controller converts these directions into feasible portfolio weight adjustments under turnover, drawdown, and text-risk penalties. On an open 89-stock Nasdaq news benchmark with 2013–2018 training, 2019 validation, and 2020–2023 out-of-sample testing, HRT improves the learning-based return–risk–cost trade-off: Sharpe rises from 1.06 for HRT-Base to 1.24, daily turnover falls from 0.112 to 0.090, and the policy remains comparatively robust under transaction-cost stress. These results position financial trading as a demanding benchmark for decision-aware AI forecasting rather than point prediction alone.
","absKo":"forecasting system은 종종 prediction quality로 평가되지만, 실제 배포에서는 제약, 비용, 위험 하에서 forecast를 action으로 전환해야 한다. 우리는 text-aware equity portfolio management에서의 forecast-to-decision 문제를 연구한다. 여기서는 market forecast와 news에서 유도된 risk signal이 실행 가능한 rebalancing decision으로 바뀌어야 한다. 우리는 sparse한 directional selection과 risk-aware portfolio execution을 분리하는 bi-level reinforcement learning framework인 Hierarchical Reinforced Trader(HRT)를 제안한다. factorized High-Level Controller는 압축된 market 및 text-derived signal로부터 자산별 increase, reduce, hold 방향을 선택하고, Low-Level Controller는 turnover, drawdown, text-risk penalty 하에서 이러한 방향을 실행 가능한 portfolio weight 조정으로 변환한다. 2013–2018년 training, 2019년 validation, 2020–2023년 out-of-sample testing으로 구성된 공개 89개 종목 Nasdaq news benchmark에서, HRT는 learning-based return–risk–cost trade-off를 개선한다: Sharpe는 HRT-Base의 1.06에서 1.24로 상승하고, daily turnover는 0.112에서 0.090으로 감소하며, policy는 transaction-cost stress 하에서도 비교적 강건함을 유지한다. 이러한 결과는 금융 trading을 point prediction만이 아니라 decision-aware AI forecasting의 까다로운 benchmark로 자리매김하게 한다.","link":"https://openreview.net/forum?id=pTiRAPtDzK","tag":"Spotlight"},{"id":"fHxZNsmUxB","en":"Curating the Future: A Scalable Recipe for Training Open-Ended Forecasters","ko":"미래를 큐레이션하기: 개방형 예측자 학습을 위한 확장 가능한 레시피","authors":"Nikhil Chandak, Shashwat Goel, Ameya Prabhu, Moritz Hardt, Jonas Geiping","abs":"High-stakes decision making involves reasoning under uncertainty about the future. In this work, we train language models to make predictions on open-ended forecasting questions. To scale up training data, we synthesize novel forecasting questions from global events reported in daily news. While directly training on this data leads to performance drops, carefully curating questions creates a valuable training resource. We use the resulting dataset, OpenForesight, to post-train Qwen3 thinking models. To prevent leakage of future information during training and evaluation, we use an offline news corpus, both for data generation and retrieval in our forecasting system. Guided by a small validation set, we show the benefits of retrieval, and an improved reward function for reinforcement learning (RL). Once we obtain our final forecasting system, we perform held-out testing between May to August 2025. Our specialized model, OpenForecaster-8B, matches much larger proprietary models, with our training improving the accuracy, calibration, and consistency of predictions. We find calibration improvements from forecasting training generalize across popular benchmarks. We open-source our models, code, and data to make LLM based forecasting research broadly accessible.
","absKo":"고위험 의사결정은 미래에 대한 불확실성 하에서의 추론을 포함한다. 본 연구에서는 언어 모델을 학습시켜 열린 형식(open-ended) forecasting question에 대한 예측을 수행하게 한다. 학습 데이터를 확장하기 위해, 우리는 일간 뉴스에서 보도된 글로벌 이벤트로부터 새로운 forecasting question을 합성한다. 이 데이터를 직접 학습에 사용하면 성능이 저하되지만, 질문을 신중하게 선별하면 가치 있는 학습 자원이 된다. 그 결과로 얻은 데이터셋 OpenForesight를 사용해 Qwen3 thinking model을 post-train한다. 학습과 평가 중 미래 정보가 누수되는 것을 방지하기 위해, forecasting system에서 data generation과 retrieval 모두에 오프라인 뉴스 코퍼스를 사용한다. 작은 validation set의 지침에 따라 우리는 retrieval의 이점과 강화학습(RL)을 위한 개선된 reward function을 보인다. 최종 forecasting system을 확보한 뒤에는 2025년 5월부터 8월까지 held-out testing을 수행한다. 우리의 특화 모델 OpenForecaster-8B는 훨씬 더 큰 proprietary model과 견줄 만한 성능을 보이며, 우리의 학습은 예측의 정확도, calibration, consistency를 향상시킨다. forecasting training을 통한 calibration 개선은 널리 사용되는 benchmark 전반으로 일반화됨을 확인했다. 우리는 LLM 기반 forecasting 연구를 폭넓게 접근 가능하게 만들기 위해 모델, 코드, 데이터를 오픈소스로 공개한다.","link":"https://openreview.net/forum?id=fHxZNsmUxB","tag":"Spotlight"},{"id":"V4uDGayOmw","en":"ForecastCompass: Guiding Agentic Forecasting with Adaptive Factor Memory","ko":"ForecastCompass: 적응적 factor memory로 agentic forecasting 유도","authors":"Yurui Chang, Yongkang Du, Yuanpu Cao, Jinghui Chen, Lu Lin","abs":"Agentic forecasting is important for decision-making in dynamic environments, yet remains difficult because agents must make calibrated predictions from incomplete, time-limited evidence. Memory can transfer lessons from resolved forecasts to future tasks, but existing agent-memory methods rarely capture reusable predictive factors or calibration knowledge. We propose ForecastCompass (FoCo), an adaptive factor-based memory framework for agentic forecasting. FoCo organizes experience with a hierarchical task taxonomy and maintains two complementary memories: factor memory for reusable predictive dimensions and reasoning memory for probability updating, uncertainty handling, and calibration. Through retrospective memory revision, FoCo accumulates transferable forecasting knowledge over time. Experiments on Prophet Arena and FutureX with GPT-5-mini and Gemini-2.5-Flash show improved accuracy and calibration.
","absKo":"Agentic forecasting은 동적인 환경에서의 의사결정에 중요하지만, 불완전하고 시간 제약이 있는 evidence로부터 보정된 예측을 해야 하므로 여전히 어렵습니다. memory는 해결된 forecast에서 얻은 교훈을 미래 task로 이전할 수 있지만, 기존의 agent-memory 방법은 재사용 가능한 predictive factor나 calibration knowledge를 거의 포착하지 못합니다. 우리는 agentic forecasting을 위한 adaptive factor-based memory framework인 ForecastCompass(FoCo)를 제안합니다. FoCo는 계층적 task taxonomy로 경험을 조직하고, 두 가지 상호보완적 memory를 유지합니다. 하나는 재사용 가능한 predictive dimension을 위한 factor memory이고, 다른 하나는 probability updating, uncertainty handling, calibration을 위한 reasoning memory입니다. retrospective memory revision을 통해 FoCo는 시간이 지남에 따라 transferable forecasting knowledge를 축적합니다. GPT-5-mini와 Gemini-2.5-Flash를 사용한 Prophet Arena와 FutureX 실험에서 정확도와 calibration이 향상됨을 보였습니다.","link":"https://openreview.net/forum?id=V4uDGayOmw","tag":"Spotlight"},{"id":"vIXPxsiCID","en":"Future-as-Label: Scalable Supervision from Real-World Outcomes","ko":"Future-as-Label: 실제 세계 결과로부터의 확장 가능한 supervision","authors":"Benjamin Turtel, Paul Wilczewski, Kris Skotheim","abs":"Time creates free supervision: forecasts about real-world events
eventually resolve to verifiable outcomes. We use this temporal structure
to train language models for probabilistic forecasting from causally
masked information, assigning rewards only after events resolve. Our
approach applies reinforcement learning with proper scoring rules to
outcome-based supervision, using rank-32 LoRA fine-tuning of
gpt-oss-120b. On a held-out synthetic future-events benchmark, the trained
model improves over strong frontier and open-weight baselines, including
GPT-5, achieving the best log score, Brier score, and calibration error.
These results suggest that real-world outcome resolution can provide
scalable supervision for improving forecasting accuracy and calibration
without human annotation.
","absKo":"시간은 공짜 감독을 만든다. 현실 세계 사건에 대한 예측은\n결국 검증 가능한 결과로 귀결된다. 우리는 이 시간적 구조를\n사용해 인과적으로 마스킹된 정보로부터 확률적 예측을 위한 언어 모델을 학습하며,\n사건이 해결된 뒤에만 보상을 부여한다. 우리의 접근은 proper scoring rule을\n결과 기반 감독에 적용하고, gpt-oss-120b를 rank-32 LoRA fine-tuning하여\n강화학습을 수행한다. 보류된 synthetic future-events benchmark에서 학습된\n모델은 GPT-5를 포함한 강력한 frontier 및 open-weight baseline을 능가하며,\n가장 좋은 log score, Brier score, calibration error를 달성한다.\n이 결과는 현실 세계의 결과 해소가 인간 주석 없이도 예측 정확도와 calibration을\n향상시키는 확장 가능한 감독을 제공할 수 있음을 시사한다.","link":"https://openreview.net/forum?id=vIXPxsiCID","tag":"Spotlight"},{"id":"TSA5kRUKZv","en":"Beyond Accuracy: Can LLM Forecasters Profit on Prediction Markets?","ko":"정확도를 넘어: LLM 예측자가 prediction market에서 수익을 낼 수 있는가?","authors":"Steven Henry, Jillian Ross, Alana Marzoev, Eric So, Andrew Lo","abs":"Whether large language models can reliably profit against real-world prediction markets is an open question, despite increasing evidence that frontier LLMs approach human accuracy on forecasting tasks. We evaluate a range of off-the-shelf LLM forecasters on a large set of resolved binary questions from highly liquid prediction markets, where market prices serve as a benchmark that aggregates the beliefs of thousands of human bettors. We find that the strongest single LLM forecaster achieves accuracy statistically indistinguishable from the market while earning significantly higher realized returns. The LLM's edge comes entirely from losing less when wrong, exploiting behavioral biases in prediction markets rooted in human psychology. To further strengthen these returns, we apply the classical wisdom-of-crowds principle to LLMs: we construct a diverse crowd of LLM agents and use within-crowd agreement as a confidence filter on the best individual forecaster's predictions. Conditioning first on crowd agreement yields significantly higher Sharpe ratio, portfolio ROI, and average PnL than either the unfiltered LLM forecaster or the market baseline. This work opens up a new direction for AI forecasting that combines individual-model strength with crowd-derived signals, and motivates further research.
","absKo":"large language model이 실제 prediction market에서 안정적으로 수익을 낼 수 있는지는 아직 열린 질문이다. 다만 frontier LLM이 forecasting task에서 사람 수준의 accuracy에 근접하고 있다는 증거는 점점 늘고 있다. 우리는 매우 유동성이 높은 prediction market에서 정산된 대량의 binary question에 대해, 범용으로 사용할 수 있는 여러 LLM forecaster를 평가한다. 여기서 market price는 수천 명의 human bettor의 믿음을 집계한 benchmark로 사용된다. 우리는 가장 강력한 단일 LLM forecaster가 market과 통계적으로 구별되지 않는 정확도를 보이면서도, 실현 수익은 유의미하게 더 높음을 발견했다. LLM의 우위는 틀렸을 때 덜 잃는 데서 비롯되며, 이는 human psychology에 뿌리를 둔 prediction market의 behavioral bias를 활용한 것이다. 이러한 수익을 더 강화하기 위해, 고전적 wisdom-of-crowds 원리를 LLM에 적용한다. 우리는 다양한 LLM agent 집단을 구성하고, 집단 내 합의를 best individual forecaster의 예측에 대한 confidence filter로 사용한다. 먼저 crowd agreement를 조건으로 걸면, 필터링하지 않은 LLM forecaster나 market baseline보다 Sharpe ratio, portfolio ROI, average PnL이 유의미하게 높아진다. 이 연구는 individual model의 강점과 crowd-derived signal을 결합하는 새로운 AI forecasting 방향을 제시하며, 후속 연구를 촉진한다.","link":"https://openreview.net/forum?id=TSA5kRUKZv","tag":"Spotlight"},{"id":"lbpDR9pj5F","en":"Reaching the frontier of AI forecasting with reinforcement learning","ko":"reinforcement learning으로 AI 예측의 최전선에 도달하기","authors":"Scott Jeen, Matthew Aitchison, Maximilian Anthony Hugh Clark, Toby Shevlane, Ben Day","abs":"Top AI forecasting systems perform similarly to skilled humans using off-the-shelf LLMs that aren't necessarily trained for the task. We ask whether this recipe can be improved by fine-tuning models specifically for judgmental forecasting. To answer this question, we fine-tune gpt-oss-120b with reinforcement learning on roughly 10,000 binary forecasting questions, rewarding probabilities assigned to realized outcomes. We find that fine-tuning elevates gpt-oss-120b from below frontier LLM performance to marginally above them on held-out Metaculus AI Benchmark questions.
","absKo":"최상위 AI forecasting system은, 반드시 해당 task를 위해 훈련된 것은 아닌 off-the-shelf LLM을 사용하면서도 숙련된 인간과 비슷한 성능을 보인다. 우리는 이 방식이 judgmental forecasting에 맞춰 모델을 fine-tuning함으로써 개선될 수 있는지 묻는다. 이 질문에 답하기 위해, 우리는 gpt-oss-120b를 약 10,000개의 binary forecasting question에 대해 reinforcement learning으로 fine-tune하고, 실제로 실현된 outcome에 할당된 probability를 보상한다. 그 결과, fine-tuning은 gpt-oss-120b를 frontier LLM performance보다 낮은 수준에서 held-out Metaculus AI Benchmark question에서 그보다 약간 높은 수준으로 끌어올린다는 것을 발견했다.","link":"https://openreview.net/forum?id=lbpDR9pj5F","tag":"Spotlight"},{"id":"gg3ak5iwPb","en":"ForecastBench-Sim: A Simulated-World Forecasting Benchmark","ko":"ForecastBench-Sim: 시뮬레이션 세계 예측 벤치마크","authors":"Jaeho Lee, Nick Merrill, Ezra Karger","abs":"Forecasting benchmarks for general-purpose AI systems usually inherit the constraints of the real world: outcomes resolve slowly, tail events are rare, and counterfactual questions are difficult to score. We introduce ForecastBench-Sim, a simulated-world forecasting benchmark built on game rollouts from Freeciv, a turn-based strategy game modelled on the Civilization series. Forecasters receive a fixed world report (a structured snapshot of the current game state) and answer questions about hidden future states; the benchmark then continues the simulation and scores forecasts. Because the world is simulated, the same setup can generate continuous or binary forecasting questions at arbitrary time horizons, paired intervention worlds for conditional or causal questions, and resolved examples of rare or disruptive outcomes. We describe the benchmark pipeline, question families, scoring protocol, and release artifacts, and report validation slices from model evaluations and an anonymized human pilot. ForecastBench-Sim is intended to complement real-world forecasting benchmarks by providing controlled, immediately resolvable tasks for studying probabilistic reasoning under dynamic world states.
","absKo":"범용 AI system을 위한 forecasting benchmark는 대개 현실 세계의 제약을 그대로 물려받는다. 결과가 천천히 확정되고, tail event는 드물며, counterfactual question은 채점하기 어렵다. 우리는 Civilization series를 모델링한 turn-based strategy game인 Freeciv의 game rollout을 바탕으로 구축한 simulated-world forecasting benchmark인 ForecastBench-Sim을 소개한다. 예측자는 고정된 world report(현재 game state의 구조화된 snapshot)를 받고 숨겨진 미래 상태에 대한 질문에 답한다. 이후 benchmark는 simulation을 계속 진행하고 예측을 채점한다. 세계가 시뮬레이션되기 때문에, 동일한 설정에서 임의의 시간 지평에 대해 continuous 또는 binary forecasting question을 생성할 수 있고, conditional 또는 causal question을 위한 paired intervention world를 만들 수 있으며, 드물거나 파괴적인 outcome의 해소된 예시도 제공할 수 있다. 우리는 benchmark pipeline, question family, scoring protocol, release artifact를 설명하고, model evaluation과 anonymized human pilot에서 얻은 validation slice를 보고한다. ForecastBench-Sim은 dynamic world state 하에서 probabilistic reasoning을 연구하기 위한 통제 가능하고 즉시 해소 가능한 task를 제공함으로써 현실 세계 forecasting benchmark를 보완하는 것을 목표로 한다.","link":"https://openreview.net/forum?id=gg3ak5iwPb","tag":"Spotlight"},{"id":"V54NQF6qgQ","en":"Decentralized Aggregation of LLM Predictions via Wagering Mechanisms","ko":"wagering mechanism을 통한 LLM 예측의 분산 집계","authors":"Yuhong Luo, David Pennock, Xintong Wang","abs":"We propose WALLA, a decentralized mechanism for aggregating probabilistic predictions from multiple LLMs using wagering mechanisms.
Each model reports a prediction and a learned wager reflecting its expected score advantage; predictions are then aggregated using wagers as weights.
Our mechanism introduces a leave-one-out baseline that yields four key properties: dominant-strategy incentive compatibility under general belief structures, a best-response wager proportional to expected score advantage, decoupling of prediction and wager optimization and bounded worst-case deficit independent of the number of participants.
Experiments on QA benchmarks
and a forecasting benchmark
show that WALLA matches centralized baselines while simultaneously achieving advantage-weighted aggregation, uncertainty-awareness, fully decentralized learning, and incentive-compatibility guarantees.
","absKo":"우리는 wagering mechanism을 사용하여 여러 LLM의 probabilistic prediction을 집계하는 decentralized mechanism인 WALLA를 제안합니다. \n각 모델은 prediction과, 예상 score advantage를 반영하는 learned wager를 보고하며, 이후 prediction은 wager를 가중치로 사용하여 집계됩니다. \n우리의 mechanism은 leave-one-out baseline을 도입하며, 이를 통해 네 가지 핵심 성질을 얻습니다. 일반적인 belief structure 하에서의 dominant-strategy incentive compatibility, expected score advantage에 비례하는 best-response wager, prediction과 wager optimization의 분리, 그리고 참가자 수와 무관한 bounded worst-case deficit입니다. \nQA benchmark와 forecasting benchmark에서의 실험은 WALLA가 centralized baseline과 일치하는 성능을 보이는 동시에 advantage-weighted aggregation, uncertainty-awareness, fully decentralized learning, incentive-compatibility guarantee를 모두 달성함을 보여줍니다.","link":"https://openreview.net/forum?id=V54NQF6qgQ","tag":"Spotlight"},{"id":"hboiVmIX3a","en":"Approximate Recall, Approximate Forecasts: Recall as a Diagnostic for LLM Forecasting Errors","ko":"근사적 recall, 근사적 forecast: LLM forecasting 오류 진단으로서의 recall","authors":"Shubhaankar Gupta, Prashanth Bhaskara, Seojoon Yeon","abs":"Large Language Models (LLMs) exhibit approximate recall: they retain coarse associations about past events while losing fidelity on specific details. Past research on LLMs has quantified different models' forecasting ability in real-world events using prediction markets, but has not studied how losing said fidelity impacts their forecasting abilities. For example: while an LLM correctly recalls that the answer to: ''Did Anna Sawai win the Best Drama Actress in the 76th Emmy Awards?'' is ''Yes,'' it incorrectly states the event date as September 22 rather than September 15. In this paper, we introduce a novel metric called the Recall Fidelity Score to study how imprecision in internalized knowledge propagates to forecasting capability on future events. On resolved historical markets, we find that higher local recall fidelity around semantically similar past events predicts lower forecasting error on resolved markets, and the same signal predicts smaller distance from open markets prices.
","absKo":"Large Language Models (LLMs)는 approximate recall을 보인다. 즉, 과거 사건에 대한 거친 연관은 유지하지만 특정 세부사항의 정확도는 잃는다. LLM에 대한 기존 연구는 prediction markets를 사용해 실제 사건에서 서로 다른 모델의 forecasting ability를 정량화했지만, 이러한 정확도 손실이 forecasting ability에 어떤 영향을 미치는지는 연구하지 않았다. 예를 들어, LLM은 ''Did Anna Sawai win the Best Drama Actress in the 76th Emmy Awards?''의 답이 ''Yes''라는 것은 올바르게 기억하지만, event date를 September 15가 아니라 September 22라고 잘못 말한다. 본 논문에서는 내재화된 knowledge의 부정확성이 미래 사건에 대한 forecasting capability로 어떻게 전파되는지를 연구하기 위해 Recall Fidelity Score라는 새로운 metric을 도입한다. resolved historical markets에서, 의미적으로 유사한 과거 사건 주변의 더 높은 local recall fidelity가 resolved markets에서 더 낮은 forecasting error를 예측하며, 같은 signal이 open markets prices와의 거리가 더 작음을 예측함을 발견한다.","link":"https://openreview.net/forum?id=hboiVmIX3a","tag":"Spotlight"},{"id":"GhUK6VGW67","en":"Foresight-Phys: A Benchmark for Forecasting the Results of Physical Experiments","ko":"Foresight-Phys: 물리 실험 결과 예측 벤치마크","authors":"Nikita Kazeev, Ian Babich","abs":"Forecasting has emerged as a hallmark aspiration of general-purpose AI, with a super-human performance ceiling: it pairs extraordinary difficulty, where the best human experts fail regularly, with rigorous real-world validation. Scientific research is itself a forecasting problem—finite resources force an exploration/exploitation tradeoff that relies on prophesying the results of studies before conducting them. We introduce Foresight-Phys, a benchmark that asks AI to predict the results of physical experiments from the newest arXiv preprints. We present the framework along with results for 135 experiments and 661 typed result fields extracted from 26 physics preprints first released in 2026, after the GPT-5.x training cutoff. The extraction is automated, suiting an online benchmark fed by regularly pulling fresh papers.
GPT-5.5 attains a mean prediction quality of 94.5% on the headline results papers state in their abstracts—an impressive, but inflated score, as published preprints report overwhelmingly successful outcomes, so a model steeped in the literature can anticipate a central result without reasoning about the specific experiment. A name-only baseline that hides the setup and reveals only the target quantity already scores 84.6%, leaving the full experimental description worth under ten points. On numeric quantities GPT-5.5 reaches a relative CRPS of 0.41 yet places only 52.4% of its predictions within one standard deviation of the truth: genuine intuition for physical scale, but marked overconfidence against an ideal Gaussian observer's 68.3%.
Code, data, and per-paper reports: https://github.com/kazeevn/Foresight-Phys
","absKo":"Forecasting은 general-purpose AI의 대표적인 지향점으로 부상했으며, super-human performance ceiling을 갖는다. 즉, 최고의 인간 전문가조차 자주 실패할 만큼 매우 어렵지만, 실제 세계에서의 엄격한 검증이 가능하다. 과학 연구 자체도 하나의 forecasting problem이다. 한정된 자원은 수행 전 연구 결과를 예언하는 데 의존하는 exploration/exploitation tradeoff를 강제하기 때문이다. 우리는 최신 arXiv preprint로부터 물리 실험 결과를 예측하도록 AI에 요구하는 벤치마크인 Foresight-Phys를 소개한다. 우리는 GPT-5.x training cutoff 이후인 2026년에 처음 공개된 26개의 physics preprint에서 추출한 135개 실험과 661개의 typed result field에 대한 결과와 함께 프레임워크를 제시한다. 추출은 자동화되어 있으며, 정기적으로 새 논문을 가져오는 online benchmark에 적합하다.\n\nGPT-5.5는 초록에서 논문이 주장하는 대표 결과에 대해 평균 94.5%의 prediction quality를 달성한다. 이는 인상적이지만 과장된 점수이기도 한데, 출판된 preprint는 압도적으로 성공적인 결과를 보고하므로, 문헌에 깊이 노출된 모델은 특정 실험에 대해 추론하지 않더라도 핵심 결과를 예상할 수 있기 때문이다. setup은 숨기고 target quantity만 드러내는 name-only baseline만으로도 이미 84.6%를 기록해, 전체 experimental description의 가치는 10점 미만으로 남는다. numeric quantity에 대해서는 GPT-5.5가 relative CRPS 0.41에 도달하지만, 예측의 52.4%만이 truth의 1 standard deviation 안에 들어간다. 이는 물리적 scale에 대한 진정한 직관이 있으나, 이상적인 Gaussian observer의 68.3%와 비교할 때 현저한 overconfidence가 있음을 의미한다.\n\n코드, 데이터, paper별 보고서: https://github.com/kazeevn/Foresight-Phys","link":"https://openreview.net/forum?id=GhUK6VGW67"},{"id":"nb9fVwdBVI","en":"RIFT: Reliability of LLM and Physics Forecasters across Time-Horizons in Coupled PDE Systems","ko":"RIFT: 결합 PDE 시스템에서 time horizon 전반에 걸친 LLM 및 물리 예측기의 신뢰성","authors":"Kuntal Thakur, Ayan Banerjee, Christian Stoddard, Majid M Sadeghi, Sandeep Gupta","abs":"Transformer-based time series models achieve strong short-term forecasts, but their reliability over multi-year horizons in PDE-governed physical systems is untested. We introduce RIFT, a systematic comparison of learning-based (Time-LLM with GPT-2 and BERT backbones), physics-based (MODFLOW 6 + GWT, ODE), and hybrid forecasters for subsurface thermal and discharge prediction, spanning 1 month to 10 years across a proprietary mine dataset (1-year ground truth) and USGS Kennecott (3-year). We find a horizon-dependent crossover: Time-LLM dominates short horizons, BERT degrades 4x by 5 months while GPT-2 holds through 1 year, and physics solvers dominate beyond. Hybrid residual learning fails on mine data and only marginally helps on USGS. We give a closed-form predictor for the crossover, $h^* \\sim \\min(L_{\\text{lookback}}, \\tau_{\\text{phys}})$, recovering the empirical ~1-year transition on both systems.
","absKo":"Transformer 기반 time series model은 단기 예측에서는 강한 성능을 보이지만, PDE가 지배하는 물리 시스템에서 수년에 걸친 장기 horizon에서의 신뢰성은 아직 검증되지 않았다. 우리는 지하 열 및 discharge 예측을 위한 learning-based(Time-LLM과 GPT-2, BERT backbone), physics-based(MODFLOW 6 + GWT, ODE), hybrid forecaster를 1개월부터 10년까지 비교하는 체계적 연구 RIFT를 제안한다. 비교는 proprietary mine dataset(1년 ground truth)과 USGS Kennecott(3년)을 포괄한다. 우리는 horizon에 따라 달라지는 crossover를 발견했다. Time-LLM은 짧은 horizon에서 우세하고, BERT는 5개월까지 4배 저하되며 GPT-2는 1년까지 유지되는 반면, physics solver는 그 이후 구간에서 우세하다. Hybrid residual learning은 mine data에서는 실패하고 USGS에서는 제한적으로만 도움이 된다. 우리는 crossover에 대한 closed-form predictor $h^* \\sim \\min(L_{\\text{lookback}}, \\tau_{\\text{phys}})$를 제시하며, 두 시스템 모두에서 경험적으로 관찰된 약 1년 전이를 복원한다.","link":"https://openreview.net/forum?id=nb9fVwdBVI"},{"id":"mi8QiWomm3","en":"Leakage-Aware Benchmarking of LLM Forecasting: Real-Time Nowcasts as the Decision-Time Input for Macro Factor Ranking","ko":"LLM 예측의 누설 인식 벤치마킹: 거시 요인 순위를 위한 의사결정 시점 입력으로서의 실시간 nowcast","authors":"Mao Guan, Qian Chen","abs":"Forecasting benchmarks for retrieval-augmented LLMs routinely confound model capability with information leakage: features labeled with a target’s timestamp are often not observable at the system’s decision time. We study leakage-controlled equity factor ranking with a retrieval-augmented 7B open-source LLM forecaster. At each month-end from 2023-04 to 2026-03, the forecaster observes only decision-time information: lag-shifted FRED macro variables, recent macro-event summaries, and the Cleveland Fed’s archived daily CPI nowcast for unreleased current-month inflation. A macro-analog retrieval module selects historical states, a critic LLM compresses them into one tactical rule, and an actor LLM maps the current state and recent rules into scores for seven U.S. equity style factors. The full pipeline obtains a median monthly Spearman rank IC of +0.154, with positive means across three non-overlapping contiguous 12-month subwindows; the mean IC remains statistically underpowered, with a bootstrap 95% confidence interval that includes zero. Non-LLM baselines under the same decision-time constraint demonstrate that a kNN macro-analog model recovers a comparable median IC, indicating that real-time inflation information and macro-similar retrieval explain much of the median signal. The LLM pipeline retains higher mean IC and a stronger long-short allocation sanity check, suggesting that any marginal benefit is concentrated in the extreme rankings that drive long-short portfolio formation. A descriptive audit of the 36 critic rules and per-month case studies appears in the appendix.
","absKo":"retrieval-augmented LLM의 forecasting benchmark는 흔히 model capability와 information leakage를 혼동한다. target의 timestamp로 표시된 feature가 시스템의 decision time에는 관측 불가능한 경우가 많기 때문이다. 우리는 retrieval-augmented 7B open-source LLM forecaster를 사용하여 leakage-controlled equity factor ranking을 연구한다. 2023-04부터 2026-03까지 매월 말에, forecaster는 decision-time 정보만 관측한다: lag-shifted FRED macro variable, 최근 macro-event summary, 그리고 미공개된 당월 inflation에 대한 Cleveland Fed의 archived daily CPI nowcast. macro-analog retrieval module은 과거 state를 선택하고, critic LLM은 이를 하나의 전술 규칙으로 압축하며, actor LLM은 현재 state와 최근 규칙을 7개의 U.S. equity style factor 점수로 매핑한다. 전체 pipeline은 median monthly Spearman rank IC +0.154를 달성하며, 겹치지 않는 연속 12개월 구간 세 개 모두에서 양의 평균을 보인다. 그러나 mean IC는 여전히 통계적으로 충분한 검정력이 없고, zero를 포함하는 bootstrap 95% confidence interval을 갖는다. 동일한 decision-time 제약 하의 non-LLM baseline은 kNN macro-analog model이 비슷한 median IC를 회복함을 보여주며, 실시간 inflation 정보와 macro-similar retrieval이 median signal의 상당 부분을 설명함을 시사한다. LLM pipeline은 더 높은 mean IC와 더 강한 long-short allocation sanity check를 유지하여, 추가 이점이 long-short portfolio formation을 좌우하는 극단적 ranking에 집중되어 있음을 시사한다. 36개의 critic rule과 월별 case study에 대한 서술적 audit는 appendix에 수록되어 있다.","link":"https://openreview.net/forum?id=mi8QiWomm3"},{"id":"DSXfEnYCbK","en":"Period-Aware Inductive Bias Versus Scale on Influenza-like Illness Forecasting","ko":"기간 인식 귀납 편향 대 스케일: 독감 유사 질병 예측에서","authors":"YongKyung Oh, Alex Bui","abs":"Forecasting influenza-like illness (ILI) is important for public-health planning, but weekly surveillance series combine short-lag persistence with annual recurrence and season-to-season shifts in peak timing and amplitude. Foundation models (FMs) and large language model (LLM)-adapted forecasters are increasingly used for time-series forecasting, yet on the standard ILI benchmark they do not show a clear average-error advantage over strong compact baselines. We therefore propose EPIC (Efficient Periodic Inductive Convolution), a compact attention-free forecaster that combines temporal convolution, period projection, and latent horizon projection. Under the same benchmark setting, EPIC achieves lower four-horizon average error than published compact and LLM-based comparators, and ablations show that the temporal and periodic branches contribute complementary information. This advantage is concentrated in the average and shorter-to-medium horizons, while the longest horizon remains a limitation. On this weekly ILI benchmark, a small period-aware inductive bias is more effective than additional model scale.
","absKo":"독감 유사 질환(ILI) 예측은 공중보건 계획에 중요하지만, 주간 감시 시계열은 짧은 지연의 지속성, 연간 재발, 그리고 피크 시점과 진폭의 시즌 간 변화를 함께 포함한다. Foundation models(FMs)과 large language model(LLM)에 맞춘 forecaster들은 점점 더 time-series forecasting에 사용되고 있지만, 표준 ILI benchmark에서는 강력한 compact baseline 대비 뚜렷한 평균 오차 우위를 보이지 않는다. 이에 우리는 temporal convolution, period projection, latent horizon projection을 결합한 compact attention-free forecaster인 EPIC(Efficient Periodic Inductive Convolution)을 제안한다. 동일한 benchmark setting에서 EPIC은 공개된 compact 및 LLM 기반 비교 대상보다 더 낮은 four-horizon average error를 달성하며, ablation은 temporal branch와 periodic branch가 상호보완적인 정보를 제공함을 보여준다. 이 이점은 average horizon과 shorter-to-medium horizon에 집중되어 있으며, 가장 긴 horizon은 여전히 한계로 남는다. 이 주간 ILI benchmark에서는 추가적인 model scale보다 작은 period-aware inductive bias가 더 효과적이다.","link":"https://openreview.net/forum?id=DSXfEnYCbK"},{"id":"DPrS5jDoR3","en":"DELPHYNE: A Pre-Trained Model for General and Financial Time Series","ko":"DELPHYNE: 일반 및 금융 시계열을 위한 사전학습 모델","authors":"Xueying Ding, Aakriti Mittal, Achintya Gopal","abs":"Time-series data is a vital modality within data science communities, particularly in financial applications, where it helps in detecting patterns, understanding market behavior, and making informed financial decisions based on historical data. Recent advances in language modeling have led to the rise of time-series pre-trained models that are trained on vast collections of datasets and applied to diverse tasks across financial domains. However, across financial applications, existing time-series pre-trained models have not shown promising performance boost over simple finance benchmarks in both zero-shot and fine-tuning settings due to lack of financial data within the pre-training stage, and the negative transfer effect due to inherently different time-series patterns across domains. To address the above problems, we introduce a Pre-trained Model for Finance Time-series (Delphyne). Delphyne achieves superior performance on various financial tasks as compared to existing foundation and full-shot models and we also use mechanistic analysis to explore attention routing during fine-tuning.
","absKo":"시계열 데이터는 데이터 과학 커뮤니티, 특히 금융 응용에서 매우 중요한 모달리티로, 패턴 탐지, 시장 행동 이해, 그리고 과거 데이터에 기반한 정보 있는 금융 의사결정에 도움을 준다. 최근 language modeling의 발전으로 방대한 데이터셋 모음으로 학습되고 금융 도메인의 다양한 태스크에 적용되는 time-series pre-trained models가 등장했다. 그러나 금융 응용 전반에서 기존 time-series pre-trained models는 pre-training 단계에 금융 데이터가 부족하고, 도메인마다 본질적으로 다른 시계열 패턴으로 인한 negative transfer effect 때문에 zero-shot과 fine-tuning 설정 모두에서 단순한 finance benchmarks 대비 유망한 성능 향상을 보여주지 못했다. 이러한 문제를 해결하기 위해 우리는 금융 시계열을 위한 Pre-trained Model(Delphyne)을 소개한다. Delphyne은 기존 foundation models와 full-shot models에 비해 다양한 금융 태스크에서 더 뛰어난 성능을 달성하며, 또한 mechanistic analysis를 사용해 fine-tuning 동안의 attention routing을 탐구한다.","link":"https://openreview.net/forum?id=DPrS5jDoR3"},{"id":"sn6pO7YmYw","en":"Iterative Computation as Anytime Forecasting: Dense Supervision for Calibrated Trajectories in Recurrent World Models","ko":"언제나 가능한 예측으로서의 반복 계산: 순환 세계 모델에서 보정된 궤적을 위한 밀집 감독","authors":"Bao N Nguyen Truong, Hoyeon Chang, Alexander Rubinstein, Seong Joon Oh","abs":"Many modern neural forecasters \\emph{iterate}: world models roll out a learned transition, recursive Transformers refine a prediction over many cycles, looped language models ``think longer'' before answering. We collect these systems under a single abstraction -- \\emph{Iterative Neural Computations} (INCs) -- and identify the standard practice of supervising only the final iterate (\\emph{endpoint supervision}) as the shared cause of two failure modes that matter directly for forecasting: (i) gradients through long rollout chains are noisy and direction-corrupted, destabilizing long-horizon training; and (ii) intermediate iterates are unconstrained, ruling out anytime prediction and horizon extrapolation.
We introduce \\emph{Dense Intermediate Consistency for Endpoints} (DICE), a model-agnostic training framework that supervises every iterate through a \\emph{shared} readout head. The change is purely in the loss, adds $<5\\%$ training compute, and turns any INC into an anytime forecaster whose intermediate states are valid, calibrated predictions. We further derive a probability-space stability bound linking DICE to a decision-theoretic stopping rule, Adaptive Stability Halting. Across three INC families, DICE delivers near-perfect horizon extrapolation on prefix sums, $+7.4$\\,pp on long-horizon maze planning, $+3.97$\\,pp on bAbI temporal reasoning, and a $6.6\\times$ inference-time speedup with no accuracy loss.
","absKo":"많은 현대 neural forecaster는 \\emph{반복한다}: world model은 학습된 transition을 rollout하고, recursive Transformer는 여러 cycle에 걸쳐 prediction을 정제하며, looped language model은 답하기 전에 더 오래 ``생각''한다. 우리는 이러한 시스템을 하나의 abstraction인 \\emph{Iterative Neural Computations} (INC) 아래에 모으고, 마지막 iterate만 감독하는 표준 관행(\\emph{endpoint supervision})이 forecasting에 직접적으로 중요한 두 가지 실패 모드의 공통 원인임을 밝힌다. (i) 긴 rollout chain을 통한 gradient는 noisy하고 direction이 왜곡되어 장기 horizon 학습을 불안정하게 만들며; (ii) 중간 iterate에는 제약이 없어 anytime prediction과 horizon extrapolation이 불가능해진다.\n우리는 모든 iterate를 \\emph{shared} readout head로 감독하는 model-agnostic training framework인 \\emph{Dense Intermediate Consistency for Endpoints} (DICE)를 소개한다. 이 변화는 손실 함수에만 국한되며 training compute를 $<5\\%$만 추가하고, 어떤 INC라도 중간 상태가 유효하고 calibrated된 prediction이 되는 anytime forecaster로 바꾼다. 또한 DICE와 decision-theoretic stopping rule인 Adaptive Stability Halting을 연결하는 probability-space stability bound를 유도한다. 세 가지 INC family 전반에서 DICE는 prefix sum에서 거의 완벽한 horizon extrapolation, 긴 horizon maze planning에서 $+7.4$\\,pp, bAbI temporal reasoning에서 $+3.97$\\,pp, 그리고 정확도 손실 없이 $6.6\\times$의 inference-time speedup을 제공한다.","link":"https://openreview.net/forum?id=sn6pO7YmYw"},{"id":"U27ZfUx7JE","en":"Outcome-Free Arbitrage Audits and Coherence Repairs for LLM Forecasters","ko":"LLM 예측자를 위한 결과 없는 차익거래 감사와 coherence 수정","authors":"Juliana Li, Diya Sreedhar","abs":"LLM forecasters now rival crowd aggregates on resolved-outcome benchmarks, but they are deployed on questions that have not yet resolved, where no outcome is available to score them. The same probabilities can still be checked for coherence: ask a model for $P(A)$ and for its complement $P(A^c)$, and the two often fail to sum to one. In de Finetti's sense, coherence is a no-arbitrage condition, so an incoherent forecast vector is a self-inconsistent price system, detectable and repairable ahead of resolution. Reading each forecast as the price of a \\\\$1 contract, we audit four classes of static arbitrage: complementary pairs, monotonicity chains, Fr\\'echet conjunction bounds, and logical entailment. Across 15 forecasters on CoherenceBench v0 (262 events), $68.8\\\\%$ of complementary pairs are incoherent and the mean implied arbitrage is \\\\$$0.143$ per \\\\$1 of gross notional. A single closed-form step, the symmetric projection onto the coherent set, certifies a per-pair Brier reduction of $g^2/4$ for gap $g$ before any outcome is consulted (Theorem 1, the square of the per-dollar arbitrage); on the resolved benchmark this is $20.37\\\\%$ of pair-Brier, with no extra model calls. Accuracy does not reliably predict coherence (Spearman $\\rho{=}{+}0.15$, $95\\\\%$ CI $[{-}0.42,{+}0.65]$, $n{=}15$): accurate models still quote arbitrage on most pairs, so coherence is a diagnostic in its own right. We release the benchmark and a one-command audit.
","absKo":"LLM forecaster는 이제 resolved-outcome benchmark에서 crowd aggregate와 견줄 만하지만, 아직 결과가 확정되지 않은 질문에 배치되며, 그 경우 점수를 매길 outcome이 존재하지 않는다. 하지만 동일한 probability는 coherence 측면에서 여전히 점검할 수 있다. 모델에게 $P(A)$와 그 보완사건 $P(A^c)$를 물으면, 둘이 합쳐 1이 되지 않는 경우가 자주 있다. de Finetti의 의미에서 coherence는 no-arbitrage condition이므로, incoherent forecast vector는 모순된 가격 체계이며, 결과가 확정되기 전에 탐지하고 수정할 수 있다. 각 forecast를 $1 계약의 가격으로 해석하여, 우리는 네 가지 static arbitrage를 감사한다. 즉, complementary pair, monotonicity chain, Fr\\'echet conjunction bound, logical entailment이다. CoherenceBench v0(262 events)의 15개 forecaster 전반에서, complementary pair의 68.8%가 incoherent이며 평균 implied arbitrage는 gross notional $1당 \\\\$0.143이다. coherent set으로의 symmetric projection이라는 하나의 closed-form step만으로, 어떤 outcome도 보기 전에 gap $g$에 대해 pair당 Brier reduction $g^2/4$를 보장할 수 있다(Theorem 1, dollar당 arbitrage의 제곱). resolved benchmark에서는 이것이 추가 model call 없이 pair-Brier의 20.37%에 해당한다. Accuracy는 coherence를 신뢰성 있게 예측하지 못한다(Spearman $\\rho{=}{+}0.15$, 95% CI $[{-}0.42,{+}0.65]$, $n{=}15$): 정확한 model도 여전히 대부분의 pair에서 arbitrage를 제시하므로, coherence 자체가 독립적인 진단 지표다. 우리는 benchmark와 one-command audit를 공개한다.","link":"https://openreview.net/forum?id=U27ZfUx7JE"},{"id":"ohagh74v0a","en":"Presentation Robustness for LLM Forecasters","ko":"LLM 예측자의 발표 강건성","authors":"Leon Luo","abs":"Language models are increasingly used as probabilistic forecasters for real-world events. A basic reliability question is whether equivalent descriptions of the same event and evidence yield similar probabilities. We study this through presentation robustness: for each binary forecasting market, we hold the target, outcome, and source identities fixed while changing either source-summary wording or question phrasing. On 200 resolved Prophet Arena target markets and four LLMs, equivalent presentations frequently change forecasts, including side flips across the $0.5$ decision boundary. These changes predict forecast error, separate useful stability from uninformative uncertainty, and reveal failures hidden by single-prompt evaluation. Source-summary rewrites and question rephrasings expose complementary failure modes, showing that robustness to one wording change does not imply robustness to the other. Prompt averaging helps when alternate wordings move the model toward a strong reference forecast and can hurt when they move away. Our results establish presentation robustness as a practical evaluation axis for LLM forecasting, alongside accuracy and calibration.
","absKo":"언어 모델은 현실 세계 사건에 대한 확률적 forecaster로 점점 더 많이 사용되고 있다. 기본적인 신뢰성 질문은 동일한 사건과 증거를 equivalent하게 기술한 표현이 유사한 확률을 산출하는가이다. 우리는 이를 presentation robustness를 통해 연구한다. 각 binary forecasting market에 대해 target, outcome, source identity는 고정한 채 source-summary의 문구나 question phrasing만 변경한다. 200개의 resolved Prophet Arena target market과 4개의 LLM에서, equivalent한 presentation은 forecast를 자주 바꾸며, 여기에는 $0.5$ decision boundary를 넘나드는 방향 반전도 포함된다. 이러한 변화는 forecast error를 예측하고, 유용한 안정성과 정보가 없는 불확실성을 구분하며, 단일 prompt 평가로는 드러나지 않는 실패를 보여준다. source-summary rewrite와 question rephrasing은 상보적인 실패 모드를 드러내며, 하나의 문구 변화에 대한 robustness가 다른 변화에 대한 robustness를 보장하지 않음을 보여준다. prompt averaging은 대체 문구가 모델을 강한 reference forecast 쪽으로 이동시킬 때는 도움이 되지만, 그 반대 방향으로 움직일 때는 해가 될 수 있다. 우리의 결과는 accuracy와 calibration과 함께, LLM forecasting을 위한 실용적인 평가 축으로 presentation robustness를 확립한다.","link":"https://openreview.net/forum?id=ohagh74v0a"},{"id":"7u0BQ2Lpv7","en":"Generative Bayesian Computation for Probabilistic Forecasting with Discrete Events","ko":"이산 이벤트를 갖는 확률 예측을 위한 생성적 베이지안 계산","authors":"Nicholas Polson, Vadim Sokolov","abs":"Many forecasting problems feature events with known timing but unknown magnitude: earnings announcements, central bank decisions, and election dates are all scheduled months in advance, yet standard models treat event timing as a latent Bernoulli draw, discarding this calendar information. We develop sequential Generative Bayesian Computation (GBC) as an online learning framework grounded in proper scoring rules: draw candidates from a tractable generative model, an implicit quantile network, reweight by a scoring-rule loss, and resample; known event dates condition the generator directly, eliminating latent-variable timing inference. For financial returns, this yields an earnings-jump model with an analytic Gaussian jump-size posterior on announcement days and no ESS collapse. For stochastic volatility, the mixture Kalman filter is the optimal GBC generator, raising effective sample size from 0.73 to 0.92 while maintaining calibrated 90% credible coverage, as confirmed across 100 replications.
","absKo":"많은 forecasting 문제는 시점은 알려져 있지만 규모는 알 수 없는 event를 포함한다. earnings announcement, central bank 결정, election date는 모두 수개월 전에 예정되지만, 표준 model은 event timing을 latent Bernoulli draw로 취급하여 이러한 calendar information을 버린다. 우리는 proper scoring rule에 기반한 online learning framework로서 sequential Generative Bayesian Computation (GBC)을 개발한다: tractable generative model, implicit quantile network에서 candidate를 샘플링하고, scoring-rule loss로 reweight한 뒤 resample한다. 알려진 event date는 generator를 직접 조건화하여 latent-variable timing inference를 제거한다. 금융 수익률의 경우, 이는 announcement day에 analytic Gaussian jump-size posterior를 가지며 ESS collapse가 없는 earnings-jump model을 제공한다. stochastic volatility의 경우, mixture Kalman filter가 최적의 GBC generator이며, 100회 반복 전반에서 calibrated 90% credible coverage를 유지하면서 effective sample size를 0.73에서 0.92로 높인다.","link":"https://openreview.net/forum?id=7u0BQ2Lpv7"},{"id":"PK18JRw1W8","en":"Forecasting Time-Varying Correlation Matrices with Large Language Models","ko":"대규모 언어 모델을 이용한 시변 상관 행렬 예측","authors":"Georgii Petrov, Ilya Novitskiy, Mironov Kirill Sergeevich, Sergey Muravyov, Valeria Efimova, Viacheslav Shalamov","abs":"Forecasting a time-varying correlation matrix is a core financial prediction problem: portfolio variance, value-at-risk, and composite stress indices are all non-linear functions of it, and a valid forecast must stay on a constrained manifold - symmetric, unit-diagonal, positive semidefinite. We ask whether a pre-trained large language model (LLM) can do this zero-shot. We prompt Anthropic Claude to read a short history of a five-asset panel and emit the next correlation matrix directly as JSON; a light eigenvalue-repair step fixes the rare invalid output, and is needed on only ~2% of calls. On two daily panels (Russia financial-stress sub-indices and Eurostoxx country returns) chain-of-thought prompting beats the persistence baseline at multi-week horizons, by a margin that grows monotonically with the horizon and reaches about +5% of the persistence-to-oracle error gap at the one-month horizon on both panels; at the one-day horizon, where persistence is near-perfect, it does not. The LLM does not beat the strongest classical baseline, exponential smoothing toward the long-run average. We explain why, and show that the LLM is not merely a worse version of that baseline: it moves the matrix in a genuinely different and informative direction, but takes too small a step. This points to hybrid forecasters that keep the LLM's direction and borrow a classical method's magnitude.
","absKo":"시간에 따라 변하는 correlation matrix를 예측하는 것은 핵심 금융 예측 문제입니다. portfolio variance, value-at-risk, composite stress index가 모두 이에 대한 비선형 함수이며, 유효한 예측은 대칭, 단위 대각, positive semidefinite라는 제약된 manifold 위에 있어야 합니다. 우리는 pretrained large language model(LLM)이 이를 zero-shot으로 수행할 수 있는지 질문합니다. 우리는 Anthropic Claude에 5개 자산 panel의 짧은 history를 읽게 한 뒤 다음 correlation matrix를 JSON으로 직접 출력하도록 프롬프트합니다. 가벼운 eigenvalue-repair 단계가 드물게 발생하는 유효하지 않은 출력을 수정하며, 전체 호출의 약 2%에서만 필요합니다. 두 개의 일간 panel(Russia financial-stress sub-index와 Eurostoxx country return)에서 chain-of-thought prompting은 multi-week horizon에서 persistence baseline을 능가하며, 그 격차는 horizon이 길어질수록 단조롭게 커지고 한 달 horizon에서는 두 panel 모두에서 persistence-to-oracle error gap의 약 +5%에 도달합니다. 반면 persistence가 거의 완벽한 1일 horizon에서는 그렇지 않습니다. LLM은 가장 강력한 classical baseline인 long-run average로의 exponential smoothing을 능가하지 못합니다. 우리는 그 이유를 설명하고, LLM이 단지 그 baseline의 더 나쁜 버전이 아님을 보입니다. 실제로 LLM은 행렬을 본질적으로 다르고 유익한 방향으로 이동시키지만, 그 이동 폭이 너무 작습니다. 이는 LLM의 direction은 유지하고 classical method의 magnitude를 빌리는 hybrid forecaster의 가능성을 시사합니다.","link":"https://openreview.net/forum?id=PK18JRw1W8"},{"id":"pn2Dn315u1","en":"Discover then Refine: A Joint Multiple Choice Learning and Flow Matching Framework for Heat Demand Forecasting","ko":"발견 후 정제: 열 수요 예측을 위한 joint multiple choice learning과 Flow Matching 프레임워크","authors":"Malek Mahjoub, Vasile-Marian Scuturici","abs":"District heating optimization requires forecasting models that characterize the inherent multimodality of demand. While generative approaches address this, they typically rely on heavy, undirected sampling and require post-hoc clustering to yield actionable results. We propose a two-stage framework integrating Multiple Choice Learning (MCL) with Flow Matching to generate forecasts with explicit probabilities. Our approach offers three primary benefits: First, MCL identifies diverse hypotheses that guide targeted sampling, ensuring comprehensive coverage of the outcome space, including low-probability events. Second, because these hypotheses act as an aligned prior, the flow model requires fewer integration steps, reducing inference time compared to global generative baselines. Finally, by providing explicit probabilities for each hypothesis, the framework equips operators with a set of weighted scenarios for risk assessment. Evaluated on real-world public data from 3,021 buildings in Aalborg, Denmark, our method achieves competitive accuracy and calibration while allowing for real-time operational decision-making.
","absKo":"District heating optimization은 demand의 본질적인 multimodality를 특성화하는 forecasting model을 필요로 한다. generative approach가 이를 다루긴 하지만, 대개 무거운 undirected sampling에 의존하고, 실행 가능한 결과를 얻기 위해 사후 clustering이 필요하다. 우리는 explicit probability를 갖는 forecast를 생성하기 위해 Multiple Choice Learning (MCL)과 Flow Matching을 통합한 2단계 framework를 제안한다. 우리의 접근법은 세 가지 주요 이점을 제공한다. 첫째, MCL은 targeted sampling을 안내하는 다양한 hypothesis를 식별하여, 낮은 확률 사건을 포함한 outcome space를 포괄적으로 커버할 수 있게 한다. 둘째, 이러한 hypothesis가 정렬된 prior로 작용하기 때문에 flow model은 더 적은 integration step만 필요로 하며, global generative baseline에 비해 inference time을 줄인다. 마지막으로, 각 hypothesis에 대한 explicit probability를 제공함으로써 운영자가 risk assessment를 위한 가중 scenario 집합을 활용할 수 있게 한다. 덴마크 Aalborg의 3,021개 건물에서 수집한 실제 public data로 평가한 결과, 우리의 방법은 실시간 운영 의사결정을 가능하게 하면서도 경쟁력 있는 accuracy와 calibration을 달성한다.","link":"https://openreview.net/forum?id=pn2Dn315u1"},{"id":"d3Qq4weuwz","en":"Efficient Forecasting of Task Failures in LLM Agents through Adaptive Fault Injection","ko":"적응형 fault injection을 통한 LLM 에이전트의 작업 실패 효율적 예측","authors":"Vartika Sengar, Parth Thakkar, Pranoy Panda, Shrey Satapara, Emmy Liu, Vijay Viswanathan, Sho Takemori, Graham Neubig, Chaitanya Devaguptapu","abs":"LLM agents perform long-horizon tasks where small errors can compound across tool calls and reasoning steps. We introduce Task Failure Forecasting, which predicts from a partial execution trace whether the current agent policy is likely to fail. Unlike retrospective failure analysis, this enables runtime intervention while recovery is still possible. The key challenge is separating recoverable mistakes from fatal ones, a distinction humans make with only 54\\% accuracy. To address this, we use adaptive fault injection: targeted perturbations of successful traces, guided by bandit-based prioritization and verified through rollouts. Trained on this synthetic supervision, a lightweight Qwen-3-8B forecaster achieves 78.01\\% weighted F1, outperforms Claude-4.5 Sonnet by 18 points at 100× lower cost, and improves agent success by 2–16 \\% points across diverse benchmarks.
","absKo":"LLM agent는 작은 error가 tool call과 reasoning step을 거치며 누적되는 long-horizon task를 수행한다. 우리는 부분 execution trace로부터 현재 agent policy가 실패할 가능성이 높은지를 예측하는 Task Failure Forecasting을 도입한다. 사후적인 failure analysis와 달리, 이는 recovery가 여전히 가능한 시점에 runtime intervention을 가능하게 한다. 핵심 과제는 회복 가능한 실수와 치명적인 실수를 구분하는 것이며, 인간은 이를 54\\%의 정확도로만 구분한다. 이를 해결하기 위해 우리는 adaptive fault injection을 사용한다: bandit 기반 우선순위화로 안내되고 rollout으로 검증된 성공 trace의 targeted perturbation이다. 이 synthetic supervision으로 학습된 lightweight Qwen-3-8B forecaster는 78.01\\% weighted F1을 달성하고, 100× 더 낮은 비용으로 Claude-4.5 Sonnet보다 18 point 앞서며, 다양한 benchmark에서 agent success를 2–16 \\% point 향상시킨다.","link":"https://openreview.net/forum?id=d3Qq4weuwz"},{"id":"9payEItr83","en":"DuoMamba: A Decomposition-Free State Space Model for Long-Term Time Series Forecasting","ko":"DuoMamba: 장기 시계열 예측을 위한 분해 없는 state-space model","authors":"Anna-Alina Bondarets, Taras Rumezhak, Volodymyr Karpiv","abs":"Recent state-space-model forecasters for long-term time series share a common design: trend, seasonal, or frequency decomposition modules stacked on top of a Mamba-1 backbone, as in KARMA, SST, and DMamba. Whether these modules are architecturally essential, or whether they are compensating for Mamba-1's limited multi-scale expressivity, has not been tested directly. We introduce DuoMamba, a forecaster with Mamba-2 backbone with chunk-aligned patch tokenization and no decomposition module, and run a controlled ablation that varies the backbone (Mamba-1 vs. Mamba-2) and the presence of decomposition across three published architectures. Across nine standard LTSF benchmarks the ablation produces a sign flip: decomposition reduces MSE under Mamba-1 but increases it under Mamba-2, while DuoMamba alone matches or exceeds the state of the art on most datasets. DuoMamba also sets new SOTA on the high-channel Traffic and ECL benchmarks, where prior decomposition-heavy methods explicitly fail, and reduces parameters and training-step latency by roughly half. Together these results indicate that decomposition modules in current SSM forecasters compensate for limitations of an earlier backbone generation rather than encoding a permanent inductive bias.
","absKo":"장기 시계열을 위한 최근 state-space-model forecaster들은 KARMA, SST, DMamba에서처럼 Mamba-1 backbone 위에 trend, seasonal, 또는 frequency decomposition module을 쌓는 공통된 설계를 따른다. 이러한 module이 구조적으로 필수적인지, 혹은 Mamba-1의 제한된 multi-scale expressivity를 보완하는 것인지 직접 검증된 적은 없었다. 우리는 chunk-aligned patch tokenization과 decomposition module이 없는 Mamba-2 backbone을 갖춘 forecaster인 DuoMamba를 제안하고, backbone(Mamba-1 대 Mamba-2)과 decomposition 유무를 세 가지 공개 architecture 전반에서 변화시키는 controlled ablation을 수행한다. 아홉 개의 표준 LTSF benchmark 전반에서 이 ablation은 부호 반전을 보여준다: decomposition은 Mamba-1 아래에서는 MSE를 줄이지만 Mamba-2 아래에서는 오히려 증가시키는 반면, DuoMamba 단독으로는 대부분의 dataset에서 최신 성능(state of the art)과 맞먹거나 이를 능가한다. DuoMamba는 또한 기존의 decomposition-heavy method가 명시적으로 실패하던 high-channel Traffic과 ECL benchmark에서 새로운 SOTA를 달성하고, parameter 수와 training-step latency를 대략 절반으로 줄인다. 종합하면, 이러한 결과는 현재 SSM forecaster의 decomposition module이 영구적인 inductive bias를 인코딩한다기보다, 이전 세대 backbone의 한계를 보완하고 있음을 시사한다.","link":"https://openreview.net/forum?id=9payEItr83"},{"id":"WH72pFAjgI","en":"A Lightweight Deep Learning Approach to Spatiotemporal Heat Forecasting","ko":"시공간 열 예측을 위한 경량 딥러닝 접근법","authors":"Euan Marney, Linus Ericsson","abs":"Across the world, climate change is getting increasingly worse. This has significant global impacts for living conditions and wellbeing. In particular, extreme heat poses a growing risk to mortality. In 2003, in response to a devastating heatwave, the Spanish Ministry for Health began work on dedicated frameworks to predict and mitigate the public health impacts of extreme heat. Ultimately, these frameworks rely fundamentally on forecasts of daily maximum temperature. Current operational forecast products perform well, particularly those produced by the European Centre for Medium‑Range Weather Forecasts (ECMWF). However, their flagship numerical model, IFS, is very computationally expensive and their flagship AI model, AIFS Ensemble, requires large amounts of data. This study evaluates whether a lightweight deep learning approach can provide useful short‑range temperature predictions using atmospheric reanalysis data.
We train a convolutional neural network based on a U‑Net architecture on ERA5 reanalysis data to predict daily maximum 2m air temperature over the Iberian Peninsula across multiple forecast lead times. Model performance is examined with respect to three aspects: sensitivity to the length of the input temporal context, the contribution of different atmospheric variables, and comparison with current operational forecast products produced by the European Centre for Medium‑Range Weather Forecasts (ECMWF).
Results show that forecast accuracy is strongly dependent on lead time and only weakly affected by extending the input context beyond seven days. Feature analysis indicates that surface pressure creates the most consistent improvements at short lead times. When benchmarked against archived ECMWF forecasts, the proposed model exhibits useful skill at very short horizons but loses accuracy as lead time increases. Despite this, the model trains on substantially less data and a smaller set of environmental variables. It therefore provides a more efficient alternative suitable for deployment on edge devices with minimal computational resources and less than 0.5GB of GPU memory.
","absKo":"전 세계적으로 기후 변화는 점점 더 심각해지고 있다. 이는 생활 조건과 웰빙에 중대한 전 지구적 영향을 미친다. 특히 극심한 고온은 사망률에 대한 위험이 증가하고 있다. 2003년, 파괴적인 폭염에 대응하여 스페인 보건부는 극심한 고온의 공중보건 영향을 예측하고 완화하기 위한 전용 프레임워크 개발을 시작했다. 궁극적으로 이러한 프레임워크는 일 최고기온 예측에 근본적으로 의존한다. 현재의 operational forecast product는 특히 European Centre for Medium‑Range Weather Forecasts (ECMWF)가 생성한 제품이 우수한 성능을 보인다. 그러나 그들의 대표 numerical model인 IFS는 계산 비용이 매우 크고, 대표 AI model인 AIFS Ensemble은 대량의 데이터가 필요하다. 본 연구는 atmospheric reanalysis data를 사용하여 경량 deep learning 접근법이 유용한 short-range temperature prediction을 제공할 수 있는지 평가한다.\n\n우리는 U‑Net architecture 기반 convolutional neural network를 ERA5 reanalysis data로 학습시켜, Iberian Peninsula 전역의 일 최고 2m 공기 온도를 여러 forecast lead time에 대해 예측한다. 모델 성능은 입력 temporal context 길이에 대한 민감도, 서로 다른 atmospheric variable의 기여도, 그리고 European Centre for Medium‑Range Weather Forecasts (ECMWF)가 생성한 현재 operational forecast product와의 비교라는 세 가지 측면에서 검토된다.\n\n결과는 forecast accuracy가 lead time에 크게 의존하며, 입력 context를 7일 이상으로 확장해도 그 영향은 비교적 작다는 것을 보여준다. feature analysis는 surface pressure가 short lead time에서 가장 일관된 개선을 제공함을 시사한다. archived ECMWF forecast와 benchmark했을 때, 제안 모델은 매우 짧은 horizon에서는 유용한 skill을 보이지만 lead time이 증가할수록 정확도가 떨어진다. 그럼에도 불구하고, 이 모델은 훨씬 적은 데이터와 더 작은 환경 변수 집합으로 학습된다. 따라서 최소한의 계산 자원과 0.5GB 미만의 GPU memory로 edge device에 배치하기에 적합한 더 효율적인 대안이 된다.","link":"https://openreview.net/forum?id=WH72pFAjgI"},{"id":"KA5RdNascV","en":"GENERATIVE TRAFFIC FORECASTING: PRESERVING SHOCKWAVE TOPOLOGY WITH DIFFUSION MODELS","ko":"생성형 교통 예측: diffusion model로 shockwave 위상 보존","authors":"Md. Iqramul Hoque, Md Ibrahim Khalil, Tasfia Noor Chowdhury, Tanjim Binta Hasan Jerin","abs":"Standard spatiotemporal graph neural networks for traffic forecasting rely on point-wise regression, minimizing Mean Squared Error. This induces "spectral bias," causing models to act as low-pass filters that smooth out high-frequency, safety-critical shockwaves. We propose a physics-aware generative framework reformulating forecasting as a conditional denoising process. Using a History-Aware Conditional UNet1D and Denoising Diffusion Probabilistic Models, our approach preserves the spatiotemporal topology of traffic flow on the PeMSD7 dataset. To mitigate stochastic variance without reintroducing spectral bias, an Ensemble Medoid inference strategy (N=10) extracts a structurally coherent consensus trajectory. Escaping pixel-perfect MSE minimization incurs an RMSE penalty (9.76 mph) due to the spatiotemporal "double penalty" effect. Nevertheless, our framework achieves a Medoid MAE of 5.32 mph and successfully recovers the sharp kinematic phase transitions and backward propagation of phantom jams that deterministic baselines obliterate, prioritizing physical consistency over pure error minimization.
","absKo":"교통 예측을 위한 표준 spatiotemporal graph neural network는 point-wise regression에 의존하여 Mean Squared Error를 최소화한다. 이는 \"spectral bias\"를 유발해, 모델이 고주파의 안전-critical shockwave를 평활화하는 low-pass filter처럼 작동하게 만든다. 우리는 forecasting을 conditional denoising process로 재정식화하는 physics-aware generative framework를 제안한다. History-Aware Conditional UNet1D와 Denoising Diffusion Probabilistic Models를 사용해, 우리의 접근법은 PeMSD7 데이터셋에서 traffic flow의 spatiotemporal topology를 보존한다. stochastic variance를 완화하면서 spectral bias를 다시 도입하지 않기 위해, Ensemble Medoid inference strategy (N=10)가 구조적으로 일관된 consensus trajectory를 추출한다. pixel-perfect MSE minimization에서 벗어나면 spatiotemporal \"double penalty\" 효과로 인해 RMSE 패널티(9.76 mph)가 발생한다. 그럼에도 불구하고, 우리의 framework는 Medoid MAE 5.32 mph를 달성하고, 결정론적 baseline이 지워버리는 날카로운 kinematic phase transition과 phantom jam의 backward propagation을 성공적으로 복원함으로써, 순수한 error minimization보다 물리적 일관성을 우선시한다.","link":"https://openreview.net/forum?id=KA5RdNascV"},{"id":"wtI0bIBaAc","en":"AgentRx: A Benchmark for Multimodal Clinical Forecasting with LLM Agents","ko":"AgentRx: LLM Agent를 활용한 멀티모달 임상 예측 벤치마크","authors":"Baraa Al Jorf, Farah E. Shamout","abs":"Effective clinical forecasting requires integrating heterogeneous multimodal data, including electronic health records, images, and clinical notes. While Large Language Model (LLM) agents present a promising solution to mitigate healthcare data fragmentation, their effectiveness in multimodal clinical risk forecasting remains largely unexplored. To address this, we introduce AgentRx, a systematic benchmark evaluating single and multi-agent LLM frameworks across unimodal and multimodal clinical prediction tasks using real-world data. Our findings highlight that single agent frameworks outperform naive multi-agent systems, are better at handling multimodal data, and are better calibrated.
","absKo":"효과적인 clinical forecasting에는 electronic health records, images, clinical notes를 포함한 이질적인 multimodal data의 통합이 필요하다. Large Language Model (LLM) agent는 healthcare data fragmentation을 완화하는 유망한 해결책이지만, multimodal clinical risk forecasting에서의 효과는 여전히 충분히 탐구되지 않았다. 이를 해결하기 위해 우리는 실제 세계 데이터를 사용하여 unimodal 및 multimodal clinical prediction task 전반에서 single-agent와 multi-agent LLM framework를 평가하는 체계적 benchmark인 AgentRx를 소개한다. 우리의 결과는 single-agent framework가 naive multi-agent system보다 우수하고, multimodal data를 더 잘 처리하며, calibration도 더 잘 이루어진다는 점을 보여준다.","link":"https://openreview.net/forum?id=wtI0bIBaAc"},{"id":"aO9AcXA6Se","en":"Mix, Don’t Pick: Why Synthetic Corpus Composition Matters for Time Series Foundation Model Pretraining","ko":"섞어라, 고르지 말고: 시계열 foundation model pretraining에서 synthetic corpus 구성의 중요성","authors":"Aaryan Nagpal, Debdeep Sanyal, Dhruv Kumar, Murari Mandal, Saurabh Deshpande","abs":"Choosing the wrong synthetic generator for time-series foundation model pretraining is costly: under identical training budgets, the best and worst generators produce up to a $2\\times$ gap in forecasting error, yet the field has no principled way to make this choice. The problem is compounded by the fact that generator rankings are not stable across architectures: across 11 generator families evaluated on Chronos-T5-Mini and Moirai-Small trained from scratch, we find that which generators are useful depends on the model architecture. Rather than solving the generator selection problem, we sidestep it: a simple equal-weight mixture of all generators matches or beats the best individual generator for both architectures, and composing this mixture with real data yields the strongest pretraining corpora overall. Synthetic pretraining is therefore a corpus composition problem, not a generator selection problem, and composition choices should be validated per model family rather than assumed to transfer.
","absKo":"잘못된 synthetic generator를 time-series foundation model pretraining에 선택하는 것은 비용이 큽니다. 동일한 training budget에서 best와 worst generator는 forecasting error에서 최대 2배의 격차를 보이지만, 이 선택을 원칙적으로 정하는 방법은 아직 없습니다. 이 문제는 generator 순위가 architecture에 따라 안정적이지 않다는 점 때문에 더 복잡해집니다. Chronos-T5-Mini와 Moirai-Small을 scratch부터 학습하여 평가한 11개 generator family 전반에서, 어떤 generator가 유용한지는 model architecture에 달려 있음을 확인했습니다. generator selection 문제를 푸는 대신, 우리는 이를 우회합니다. 모든 generator를 동일 가중치로 섞은 단순한 mixture는 두 architecture 모두에서 최상의 individual generator와 맞먹거나 능가하며, 이 mixture를 real data와 결합하면 전체적으로 가장 강한 pretraining corpus가 됩니다. 따라서 synthetic pretraining은 generator selection 문제가 아니라 corpus composition 문제이며, composition 선택은 model family별로 검증되어야지 transfer될 것이라고 가정해서는 안 됩니다.","link":"https://openreview.net/forum?id=aO9AcXA6Se"},{"id":"idEEtE5Jhv","en":"From Marks to Narratives: Language-Augmented Spatio-Temporal Point Processes","ko":"표식에서 서사로: 언어 증강 시공간 포인트 프로세스","authors":"Zheng Dong, Xiaoyue Liu","abs":"Spatio-temporal point processes (STPPs) provide a principled framework for forecasting discrete events in continuous time and space, yet most existing models represent additional event information as fixed categorical marks. This abstraction is increasingly restrictive for modern event streams, where events are often accompanied by rich free-form textual descriptions and reducing them into categorical labels can lose valuable information about the underlying event dynamics. Large language models emerge as powerful tools for handling textual context. However, they still lack principled mechanisms for modeling complex spatio-temporal dynamics. We introduce language-augmented spatio-temporal point process (LA-STPP), a framework that leverages rich texts in the past events for future event prediction. More importantly, our framework enables free-form text generation as part of the event forecasting. LA-STPP couples an STPP-based forecaster with a fine-tuned language model via a shared history representation that encodes past event times, locations, and textual content. By conditioning language generation on spatio-temporal dynamics, LA-STPP predicts not only the timing and location of future events but also their semantic content. Experiments show that LA-STPP largely improves text prediction quality over text-only baselines while preserving superior spatio-temporal forecasting capability, suggesting a path toward language-capable world models that forecast when, where, and what will happen next.
","absKo":"Spatio-temporal point process(STPP)는 continuous time과 space에서 discrete event를 예측하기 위한 원리적인 framework를 제공하지만, 기존 모델의 대부분은 추가 event 정보를 고정된 categorical mark로 표현한다. 이러한 추상화는 현대 event stream에서는 점점 더 제약적이다. 실제 event는 종종 풍부한 자유형 텍스트 설명을 동반하며, 이를 categorical label로 축소하면 underlying event dynamics에 대한 귀중한 정보를 잃을 수 있다. Large language model은 textual context를 다루는 강력한 도구로 부상하고 있다. 그러나 여전히 복잡한 spatio-temporal dynamics를 모델링하기 위한 원리적인 메커니즘은 부족하다. 우리는 language-augmented spatio-temporal point process(LA-STPP)를 제안하며, 이는 과거 event의 풍부한 텍스트를 활용해 미래 event를 예측하는 framework이다. 더 중요한 점은, 이 framework가 event forecasting의 일부로 free-form text generation을 가능하게 한다는 것이다. LA-STPP는 과거 event의 시간, 위치, 텍스트 내용을 인코딩하는 shared history representation을 통해 STPP 기반 forecaster와 fine-tuned language model을 결합한다. language generation을 spatio-temporal dynamics에 조건화함으로써, LA-STPP는 미래 event의 시점과 위치뿐 아니라 의미적 내용까지 예측한다. 실험은 LA-STPP가 text-only baseline보다 text prediction quality를 크게 향상시키는 동시에 우수한 spatio-temporal forecasting capability를 유지함을 보여주며, 이는 언제, 어디서, 그리고 다음에 무엇이 일어날지 예측하는 language-capable world model로 가는 길을 시사한다.","link":"https://openreview.net/forum?id=idEEtE5Jhv"},{"id":"sgB6Jwgjod","en":"OptimismBench: Forecasting Bias and the Alignment Effect in Language Model Judgment","ko":"OptimismBench: 언어 모델 판단에서의 예측 편향과 정렬 효과","authors":"Seonglae Cho, Adriano Koshiyama","abs":"Large language models are increasingly used as decision aids whose probability judgments shape downstream choices. Whether those judgments carry a systematic directional tilt has been hard to detect: standard calibration metrics aggregate unsigned errors, and naturalistic uncertainty offers no ground-truth probability. When an LLM rates a startup’s success at 70% but its failure at 15%, the missing 15 points expose a distortion no aggregate score flags. We introduce OPTIMISMBENCH, which detects directional bias using inverted pairs: for each scenario we elicit both P(success) and P(failure) and measure whether positive and negative framings are treated symmetrically. Across 17 models from 8 providers, fourteen exhibit significant optimism and three exhibit pessimism. The pattern is stable under prompt and temperature ablations, and an eleven-model six-language probe shows inter-model variance is 3.4×inter-language variance and bias magnitude correlates with cross-lingual stability (r=0.61). Smaller and base-stage models are more optimistic, and a four-pair controlled base-versus-chat probe confirms causally that alignment training attenuates optimism. When alignment makes a model more helpful, it also tilts its probabilities; downstream pipelines inherit the tilt by default.
","absKo":"대규모 언어 모델은 점점 의사결정 보조 도구로 사용되고 있으며, 그 확률 판단은 downstream 선택을 좌우한다. 그러한 판단에 체계적인 방향성 편향이 있는지는 파악하기 어려웠는데, 표준 calibration metric은 부호 없는 오차를 집계하고, 자연스러운 불확실성에는 ground-truth probability가 없기 때문이다. LLM이 스타트업의 성공 확률을 70%로, 실패 확률을 15%로 평가한다면, 빠진 15%p는 어떤 집계 점수도 드러내지 못하는 왜곡을 보여준다. 우리는 inverted pair를 사용해 방향성 편향을 탐지하는 OPTIMISMBENCH를 제안한다. 각 시나리오마다 P(success)와 P(failure)를 모두 elicitation하고, positive framing과 negative framing이 대칭적으로 다뤄지는지를 측정한다. 8개 provider의 17개 모델 전반에서, 14개는 유의한 optimism을, 3개는 pessimism을 보인다. 이 패턴은 prompt와 temperature ablation에 대해 안정적이며, 11개 모델의 6개 언어 probe는 inter-model variance가 inter-language variance의 3.4배이고, 편향의 크기가 cross-lingual stability와 상관됨(r=0.61)을 보인다. 더 작은 모델과 base-stage 모델일수록 더 optimistic하며, 4쌍의 통제된 base-versus-chat probe는 alignment training이 optimism을 약화시킨다는 점을 인과적으로 확인한다. alignment가 모델을 더 유용하게 만들 때, 그 확률값도 함께 기울며, downstream pipeline은 그 기울기를 기본값으로 물려받는다.","link":"https://openreview.net/forum?id=sgB6Jwgjod"},{"id":"Vugn5qZWpq","en":"Measuring Source-Induced Bias in LLM Forecasts with Prediction Markets","ko":"예측 시장을 활용한 LLM 예측의 source-induced bias 측정","authors":"Mykola Khandoga, Yevhen Kostiuk, Anton Polishko, Kostiantyn Kozlov, Yurii Filipchuk, Dmytro Zamriy, Artur Kiulian","abs":"Every information ecosystem produces beliefs that shape strategic decisions. Both human analysts and AI systems inherit the blind spots of their information sources. We show that LLMs, combined with prediction markets, function as a calibrated instrument for measuring how far ecosystem-induced beliefs deviate from an external reference: LLMs extract the beliefs a text corpus implies, and prediction market price trajectories — anchored at resolution by realised outcomes — provide the calibration reference against which to quantify the deviation.
We isolate the bias contribution of specific text through ablation: varying information context while holding the model fixed, with a contaminated model that knows actual outcomes as control. Applied to 111 Ukraine-related prediction markets (~93,000 predictions, four models), we find that English news context systematically biases territorial predictions, wrong 64–72% of the time (*p* < 10⁻⁶). A contaminated model that knows actual outcomes shows the same error rate, indicating the bias originates primarily in the text. Supplementing with Ukrainian military-analytical sources reduces the bias for all clean models; absolute-error gains are partial and model-dependent.
We show that the distortion originates primarily in the sources, not the models. Consistent across four architectures, it will persist in any system that processes them and propagate into downstream decisions.
","absKo":"모든 정보 생태계는 전략적 결정을 형성하는 belief를 만들어낸다. 인간 분석가와 AI system 모두 정보 출처가 가진 blind spot을 계승한다. 우리는 LLM과 prediction market을 결합하면 생태계 유래 belief가 외부 reference로부터 얼마나 벗어나는지 측정하는 보정된 도구로 기능함을 보인다. LLM은 텍스트 코퍼스가 함의하는 belief를 추출하고, resolution 시 실제 outcome에 고정된 prediction market price trajectory는 그 편차를 정량화하는 calibration reference를 제공한다.\n\n우리는 ablation을 통해 특정 텍스트의 bias 기여를 분리한다. 즉, 모델은 고정한 채 정보 맥락을 바꾸고, 실제 outcome을 아는 contaminated model을 control로 사용한다. 약 93,000개의 prediction, 네 개 모델에 걸친 우크라이나 관련 111개 prediction market에 적용한 결과, English news context는 territorial prediction을 체계적으로 왜곡하며, 64~72%의 경우에서 틀렸다(*p* < 10⁻⁶). 실제 outcome을 아는 contaminated model도 같은 error rate를 보였으며, 이는 bias가 주로 텍스트에서 비롯됨을 시사한다. Ukrainian military-analytical source를 보충하면 모든 clean model에서 bias가 감소하지만, absolute-error 개선은 부분적이며 model-dependent하다.\n\n우리는 왜곡이 주로 model이 아니라 source에서 발생함을 보인다. 네 가지 architecture 전반에서 일관되며, 이를 처리하는 모든 system에 남아 downstream decision으로 전파될 것이다.","link":"https://openreview.net/forum?id=Vugn5qZWpq"},{"id":"QqtvS8ZMhb","en":"Forecasting Model Success at Inference Time: Calibrated Probabilistic Forecasts for Cost-Optimal LLM Cascades","ko":"추론 시점에서 model 성공 예측하기: 비용 최적 LLM cascade를 위한 보정된 확률 예측","authors":"Varun Kotte","abs":"Forecasting is often framed as predicting external future events. We study a shorter-horizon but operationally central forecast inside AI systems: will a cheaper language model succeed on this query, or should the system pay for a stronger model? We instantiate this view as UCCI, an uncertainty-calibrated cascaded inference system. UCCI extracts a token-margin signal from the small model's generation, calibrates it with isotonic regression into a probability forecast of small-model error, and escalates to the large model only when the forecasted accuracy gain justifies the marginal cost. Under calibrated forecasts and a constant-gain escalation model, threshold policies are cost-optimal. On a 75,000-query production named entity recognition workload, calibration reduces ECE from 0.12 to 0.03, and the resulting cascade reaches micro-F1 of 0.91 at 31% lower cost than always using the large model. The central claim is that forecast quality, not raw model confidence, is the load-bearing object in cost-aware AI inference.
","absKo":"Forecasting은 흔히 외부의 미래 사건을 예측하는 것으로 이해된다. 우리는 더 짧은 시간 범위를 갖지만 AI system 내부에서 운영상 핵심적인 한 가지 forecast를 연구한다. 더 저렴한 language model이 이 query를 성공적으로 처리할 것인가, 아니면 system이 더 강한 model에 비용을 지불해야 하는가? 우리는 이 관점을 uncertainty-calibrated cascaded inference system인 UCCI로 구체화한다. UCCI는 작은 model의 generation에서 token-margin signal을 추출하고, 이를 isotonic regression으로 보정하여 small-model error의 probability forecast로 바꾸며, forecast된 accuracy gain이 marginal cost를 정당화할 때만 large model로 escalation한다. 보정된 forecast와 constant-gain escalation model 아래에서는 threshold policy가 cost-optimal하다. 75,000개 query로 구성된 production named entity recognition workload에서 calibration은 ECE를 0.12에서 0.03으로 낮추고, 그 결과 cascade는 항상 large model을 사용하는 경우보다 31% 낮은 비용으로 micro-F1 0.91을 달성한다. 핵심 주장은 cost-aware AI inference에서 핵심적으로 지탱하는 대상은 raw model confidence가 아니라 forecast quality라는 점이다.","link":"https://openreview.net/forum?id=QqtvS8ZMhb"},{"id":"yhzJD1zUxi","en":"VSTF: Vision and Sequence Models for Time-Frequency Time Series Forecasting","ko":"VSTF: Time-Frequency 시계열 예측을 위한 Vision 및 Sequence Model","authors":"Junlin Liu, Yanting Yang, Ren Wang","abs":"Recent advancements in time series forecasting have shifted from purely sequential modeling toward incorporating multiple representations. Time series data exhibit two fundamental axes of variation: the interplay between time and frequency domains, and the ability to be represented as either numerical sequences or visual structures. Existing methods typically exploit only one or two of these axes, which leads to systematic blind spots in capturing complex patterns. To formalize a complete modeling basis, we propose the Vision and Sequence Time-Frequency (VSTF) framework, a quad-representation design that integrates Sequence-Time, Vision-Time, Sequence-Frequency, and Vision-Frequency views. Because these distinct modalities capture complementary features, simply ensembling them is sub-optimal. Instead, VSTF employs a cross-modal contrastive learning objective, treating the diverse views as natural augmentations to enforce agreement and extract a unified, noise-resistant latent space. Extensive experiments demonstrate that mapping this complete 2x2 representational basis to a unified latent space consistently outperforms uni-modal and bi-modal baselines in long-term forecasting, while also exhibiting strong generalization to anomaly detection and imputation tasks.
","absKo":"최근 time series forecasting의 발전은 순차적 모델링만을 다루는 방향에서 여러 representation을 통합하는 방향으로 이동해 왔다. time series 데이터는 두 가지 근본적인 variation 축을 보인다. 하나는 time domain과 frequency domain의 상호작용이고, 다른 하나는 numerical sequence 또는 visual structure로 표현될 수 있다는 점이다. 기존 방법은 보통 이들 축 중 하나 또는 둘만 활용하므로 복잡한 패턴을 포착하는 데 체계적인 사각지대가 생긴다. 완전한 modeling basis를 정식화하기 위해, 우리는 Sequence-Time, Vision-Time, Sequence-Frequency, Vision-Frequency view를 통합하는 quad-representation 설계인 Vision and Sequence Time-Frequency (VSTF) framework를 제안한다. 이 서로 다른 modality는 상보적인 feature를 포착하므로, 단순한 ensemble은 최적이 아니다. 대신 VSTF는 cross-modal contrastive learning objective를 사용해, 다양한 view를 자연스러운 augmentation으로 간주하고 이를 통해 agreement를 강제하며 잡음에 강한 unified latent space를 추출한다. 광범위한 실험은 이 완전한 2x2 representational basis를 unified latent space로 매핑하는 것이 long-term forecasting에서 uni-modal 및 bi-modal baseline을 일관되게 능가하며, anomaly detection과 imputation task로도 강한 generalization을 보임을 보여준다.","link":"https://openreview.net/forum?id=yhzJD1zUxi"},{"id":"8YwDmls8ys","en":"Analogical Deep Research: Retrieving and Integrating Historical Analogies for Foresight Analysis","ko":"유추적 deep research: 전망 분석을 위한 역사적 유추 검색 및 통합","authors":"Yongqiang Chen, Guangyi Chen, Yuewen Sun, Kun Zhang","abs":"Historical analogies – past events that share a mechanism with the current situation, are among the most powerful tools for foresight analysis. We introduce Analogical Deep Research (ADR), a task that asks LLM agents to retrieve and integrate such analogies, and the first benchmark ADR-bench covering 15 historical and forward events. We find that state-of-the-art deep research (DR) agents largely fail at ADR, defaulting to surface matching. We argue ADR is inherently a causal problem and prove that (i) surface-level methods are non-identifiable for hidden mechanisms, while (ii) two or more cross-confirming analogies are sufficient to distinguish structural necessity from coincidence. Then, we propose Causal Analogical Researcher (CANA), an agent that decomposes events into general structural forms and synthesizes a Structural Analogy Brief for analogy generation and integration. CANA improves analogy generation by up to 10% over the state of the art and substantially outperforms commercial DR agents on ADR-bench.
","absKo":"역사적 유추 - 현재 상황과 메커니즘을 공유하는 과거 사건 - 는 foresight analysis를 위한 가장 강력한 도구 중 하나다. 우리는 LLM agent가 이러한 유추를 검색하고 통합하도록 요구하는 task인 Analogical Deep Research(ADR)를 도입하고, 15개의 역사적 및 미래 사건을 다루는 최초의 benchmark인 ADR-bench를 제시한다. 우리는 최첨단 deep research(DR) agent들이 대체로 ADR에 실패하며, 표면적 일치에 의존한다고 발견한다. 우리는 ADR가 본질적으로 causal problem이라고 주장하고, (i) surface-level method는 숨겨진 메커니즘에 대해 non-identifiable하며, (ii) 두 개 이상의 cross-confirming analogy는 structural necessity와 우연을 구분하기에 충분함을 증명한다. 그런 다음 우리는 사건을 일반적인 structural form으로 분해하고, analogy 생성을 위한 Structural Analogy Brief를 종합하는 agent인 Causal Analogical Researcher(CANA)를 제안한다. CANA는 analogy 생성에서 최신 방법보다 최대 10% 향상되며, ADR-bench에서 상용 DR agent들을 크게 능가한다.","link":"https://openreview.net/forum?id=8YwDmls8ys"},{"id":"Tqos7VqQhH","en":"Arbitrage-Free Forecasts from Language Models via Coherence Projection","ko":"일관성 projection을 통한 언어 모델 기반 무차익 예측","authors":"Anany Kotawala","abs":"LLMs queried independently produce marginal probabilities that violate basic logical relations: a model may assign 60% to both “Fed cuts rates” and “Fed does not cut rates,” exposing any aggregator that reads its forecasts to arbitrage. Joint elicitation fixes this when the forecaster controls the prompt, but many workflows cannot batch: agentic loops, retrieval pipelines, and third-party-API consumers. For this post-hoc, marginal-only regime we propose Joint-Coherent Decoding (JCD), an inference-time L2 projection of K-sample marginals onto the polytope of coherent marginals. JCD’s Brier-improvement guarantee predicts a saturation-slope sign-flip when benchmark labels violate the relation; on Paleka’s OrChecker the slope flips from +1/m to −0.45 as predicted. Across a four-model Paleka panel and a six-model Polymarket panel from four providers, per-stream calibration plus JCD reduces mean Brier by 16.7%. In a historical Polymarket mid-price backtest, JCD-L2 realizes USD 79 cumulative PnL versus USD 43 raw and remains positive under a 2% fee assumption. Code: https://anonymous.4open.science/r/jcd-forecasting-2810.
","absKo":"독립적으로 질의된 LLM은 기본적인 논리 관계를 위반하는 marginal probability를 산출한다. 예를 들어, 모델이 “Fed cuts rates”와 “Fed does not cut rates” 둘 다에 60%를 부여할 수 있으며, 이는 예측을 읽어들이는 어떤 aggregator도 arbitrage에 취약하게 만든다. forecaster가 prompt를 통제할 때는 joint elicitation이 이를 해결하지만, 많은 workflow는 batch로 처리할 수 없다. agentic loop, retrieval pipeline, third-party API consumer가 그렇다. 이 사후적(post-hoc) marginal-only regime을 위해 우리는 Joint-Coherent Decoding(JCD)을 제안한다. 이는 K-sample marginal을 coherent marginal의 polytope 위로 사영하는 inference-time L2 projection이다. JCD의 Brier-improvement guarantee는 benchmark label이 관계를 위반할 때 saturation slope의 부호가 반전될 것이라고 예측하며, Paleka의 OrChecker에서 slope는 예측대로 +1/m에서 −0.45로 반전된다. 네 개 model의 Paleka panel과 네 provider의 여섯 model로 구성된 Polymarket panel 전반에서, stream별 calibration과 JCD를 결합하면 mean Brier가 16.7% 감소한다. 과거 Polymarket mid-price backtest에서는 JCD-L2가 USD 79의 누적 PnL을 달성하여 raw USD 43을 상회했고, 2% fee 가정하에서도 수익이 양수로 유지된다. 코드: https://anonymous.4open.science/r/jcd-forecasting-2810.","link":"https://openreview.net/forum?id=Tqos7VqQhH"},{"id":"GGhWR2ohHZ","en":"How Predictable is AI Progress?","ko":"AI 진보는 얼마나 예측 가능한가?","authors":"David Mayo, Abdulrahman Alabdulkareem, Albert Eaton Shaw, Colin Conwell, Andrey Gizdov, Andrei Barbu, Boris Katz, Brian Cheung","abs":"Benchmarks only serve to measure what models are capable of now, not what they will be capable of in the future. We find that the ordering of acquired capabilities is remarkably consistent across large populations of AI models, which begs the question of whether one can forecast which specific examples and capabilities future models will solve next. We propose formalizing this problem into a new evaluation task called progress prediction: Can we forecast which unsolved problems will be solved next as future models improve? We find that progress follows a structured pattern, a sign of potential predictability. Through an empirical study of hundreds of millions of predictions made by 1,000+ vision models and 1,500+ language models, we find that this predictability may be possible due to the consistent order in which models acquire capabilities across architectures, datasets, and modalities.
","absKo":"Benchmark는 모델이 지금 무엇을 할 수 있는지만 측정할 뿐, 미래에 무엇을 할 수 있게 될지는 측정하지 못한다. 우리는 대규모 AI model 집단에서 획득되는 capability의 순서가 놀라울 정도로 일관되다는 사실을 발견했으며, 이는 미래 모델이 다음에 어떤 specific example과 capability를 해결할지를 예측할 수 있는지에 대한 질문을 제기한다. 우리는 이 문제를 progress prediction이라는 새로운 evaluation task로 정식화할 것을 제안한다. 즉, future model이 발전함에 따라 아직 해결되지 않은 어떤 문제들이 다음에 해결될지를 예측할 수 있는가? 우리는 progress가 구조화된 pattern을 따른다는 사실을 발견했으며, 이는 예측 가능성의 잠재적 신호다. 1,000개 이상의 vision model과 1,500개 이상의 language model이 만든 수억 건의 prediction에 대한 실증 연구를 통해, 이러한 예측 가능성은 architecture, dataset, modality를 가로질러 모델이 capability를 획득하는 순서가 일관되기 때문에 가능할 수 있음을 보인다.","link":"https://openreview.net/forum?id=GGhWR2ohHZ"},{"id":"TaOQd4cmKg","en":"MacroBench: Measuring Frontier LLM Macroeconomic Forecasting Ability","ko":"MacroBench: 최첨단 LLM의 거시경제 예측 능력 측정","authors":"Arjun Neervannan, Sujai Hiremath, Sumiran Singh Thakur, Guanghan Ning, Deniz Zorlu","abs":"Macroeconomic forecasting is an important task, yet no existing benchmark both anonymizes the underlying data and validates that evaluations are uncontaminated, a critical gap given that historical price series are heavily represented in pretraining corpora. We introduce MacroBench, a benchmark that measures macroeconomic forecasting in LLMs via US 10-year Treasury yield forecasts across 35 years of macro regimes, with anonymized historical and temporal context and a contamination adjustment mechanism. Each task presents a 36-month window of twelve z-scored macro indicators, gives the model a fixed statistical toolset in Python, and elicits a distributional 10Y yield forecast at 1-, 3-, and 6-month horizons. After contamination adjustment, no frontier LLM significantly outperforms walk-forward AR(1) on anonymized Treasury yield forecasting except GPT-5.5, which narrowly beats it. More broadly, we establish a recipe for contamination-free benchmarks on any historically rich macro series, enabling rigorous evaluation in central-bank scenario analysis, monetary policy research, and debt markets.
","absKo":"Macroeconomic forecasting은 중요한 과제이지만, 기존 benchmark 중에서는 underlying data를 anonymize하면서도 평가가 uncontaminated되었는지를 검증하는 것이 없으며, 이는 historical price series가 pretraining corpora에 대거 포함되어 있다는 점을 고려할 때 중요한 공백이다. 우리는 35년의 macro regime에 걸친 US 10-year Treasury yield forecast를 통해 LLM의 macroeconomic forecasting을 측정하는 benchmark인 MacroBench를 소개한다. 이 benchmark는 anonymized historical 및 temporal context와 contamination adjustment mechanism을 제공한다. 각 task는 twelve z-scored macro indicators의 36개월 window를 제시하고, 모델에 Python에서의 fixed statistical toolset을 제공하며, 1-, 3-, 6-month horizon에서 distributional 10Y yield forecast를 유도한다. contamination adjustment 후에는 GPT-5.5를 제외하고는 어떤 frontier LLM도 anonymized Treasury yield forecasting에서 walk-forward AR(1)을 유의미하게 능가하지 못했으며, GPT-5.5는 이를 근소하게 앞섰다. 더 넓게는, 우리는 historically rich한 어떤 macro series에도 적용 가능한 contamination-free benchmark recipe를 확립하여, central-bank scenario analysis, monetary policy research, debt markets에서의 엄밀한 평가를 가능하게 한다.","link":"https://openreview.net/forum?id=TaOQd4cmKg"},{"id":"TEKsCA3Ml0","en":"From Narrative to Auditable Forecasts: A Structured Scaffold for Agentic Forecasting","ko":"서사에서 감사 가능한 예측으로: Agentic forecasting을 위한 구조화된 스캐폴드","authors":"Yuanpu Cao, Yongkang Du, Yurui Chang, Lu Lin, Jinghui Chen","abs":"LLM agents are increasingly used for live forecasting, where they retrieve up-to-date information and produce estimates for unresolved future events. However, current agentic forecasting often relies on implicit narrative aggregation: agents collect evidence, discuss it in prose, and often assign a probability without an explicit update path from evidence to forecast. This limits both calibration and auditability. We propose AuditForecast, an agentic scaffold for structured probabilistic forecasting. AuditForecast decomposes each forecast into a model-derived base probability and a set of evidence-grounded factor updates, which are then combined mechanically in odds space. This yields a traceable derivation from evidence to forecast and enables per-component attribution and post-hoc auditing. Across multiple live forecasting benchmarks, AuditForecast improves forecasting accuracy and calibration relative to strong agentic baselines while also making the forecasting process more interpretable and auditable.
","absKo":"LLM agent는 점점 live forecasting에 사용되고 있으며, 최신 정보를 검색해 미해결 미래 사건에 대한 추정치를 생성한다. 그러나 현재의 agentic forecasting은 종종 암묵적인 narrative aggregation에 의존한다. agent가 evidence를 모으고, 그것을 prose로 논의한 뒤, evidence에서 forecast로 이어지는 명시적 update path 없이 probability를 할당하는 경우가 많다. 이는 calibration과 auditability를 모두 제한한다. 우리는 구조화된 probabilistic forecasting을 위한 agentic scaffold인 AuditForecast를 제안한다. AuditForecast는 각 forecast를 model-derived base probability와 evidence-grounded factor update의 집합으로 분해한 뒤, 이를 odds space에서 기계적으로 결합한다. 이렇게 하면 evidence에서 forecast까지 추적 가능한 유도를 제공하고, component별 attribution과 사후 auditing도 가능해진다. 여러 live forecasting benchmark 전반에서 AuditForecast는 강력한 agentic baseline 대비 forecasting accuracy와 calibration을 개선하는 동시에, forecasting 과정을 더 해석 가능하고 audit 가능하게 만든다.
","link":"https://openreview.net/forum?id=TEKsCA3Ml0"},{"id":"ZMEIc25o0a","en":"One Token per Trade: Multi-Resolution Limit Order Book Forecasting with a Foundation Model","ko":"거래당 한 토큰: 파운데이션 모델을 이용한 다중 해상도 호가장부 예측","authors":"Srijan Sood, Maxime Kawawa-Beaudan, Zhijin Guo, Daniel Borrajo","abs":"Forecasting models for limit order books (LOB) are typically resolution-specific: top-of-book time series (L1), depth snapshots (L2), or event-stream prediction (L3).
The atomic element of financial markets is the individual order or trade.
We argue that an event-stream foundation model can produce forecasts at all three resolutions from one set of trained weights.
Pairing with a market simulator – a deterministic world model of order-flow dynamics – enables auditable step-wise forecasts, essential for trading-desk deployment.
We train TradeFM, a 524M decoder-only Transformer, on over 10 billion order-flow tokens of US equity market data.
We introduce a joint multivariate tokenization that encodes each trade event as one token factoring inter-arrival time, price level, volume, action, and side.
Current time-series foundation models tokenize each feature independently and recover cross-feature structure through attention; we tokenize the joint event directly, so per-feature marginal forecasts reduce to slicing-and-summing over the joint softmax.
We evaluate at all three resolutions: (L3) event-stream 1-step NLL falls below the uniform baseline with zero-shot transfer across time and geography (US, CN, JP); (L2) recursive rollouts track emergent market factors – spreads, bid-ask volumes, order-book imbalance – more closely than Compound Hawkes and zero-intelligence baselines on Wasserstein and K-S distances; (L1) log-return distributions and canonical stylized facts hold across horizons (10s–120s).
A single foundation-model + simulator architecture spans point and probabilistic forecasting, synthetic data generation, and counterfactual reasoning over market impact.
","absKo":"Limit order book (LOB)을 위한 forecasting model은 일반적으로 resolution-specific하다: top-of-book time series (L1), depth snapshot (L2), event-stream prediction (L3).\n금융시장의 원자적 요소는 개별 order 또는 trade이다.\n우리는 event-stream foundation model이 하나의 학습된 weight 집합으로 이 세 가지 resolution 모두에 대한 forecast를 생성할 수 있다고 주장한다.\n시장 시뮬레이터, 즉 order-flow dynamics의 deterministic world model과 결합하면, trading desk 배치에 필수적인 audit 가능한 step-wise forecast가 가능해진다.\n\n우리는 미국 주식 시장 데이터의 100억 개가 넘는 order-flow token으로 구성된 524M decoder-only Transformer인 TradeFM을 학습한다.\n우리는 각 trade event를 inter-arrival time, price level, volume, action, side를 인수분해하는 하나의 token으로 인코딩하는 joint multivariate tokenization을 도입한다.\n현재의 time-series foundation model은 각 feature를 독립적으로 token화하고 attention을 통해 cross-feature structure를 복원한다. 반면 우리는 joint event를 직접 token화하므로, feature별 marginal forecast는 joint softmax를 slicing하고 summing하는 것으로 줄어든다.\n\n우리는 세 가지 resolution 모두에서 평가한다: (L3) event-stream 1-step NLL은 zero-shot transfer로 시간과 지리(US, CN, JP)를 넘어 uniform baseline보다 낮아진다; (L2) recursive rollout은 Wasserstein 거리와 K-S 거리에서 Compound Hawkes 및 zero-intelligence baseline보다 spread, bid-ask volume, order-book imbalance와 같은 emergent market factor를 더 잘 추적한다; (L1) log-return distribution과 canonical stylized fact는 모든 horizon(10s–120s)에서 유지된다.\n단일 foundation-model + simulator architecture는 point forecasting과 probabilistic forecasting, synthetic data generation, market impact에 대한 counterfactual reasoning을 모두 포괄한다.","link":"https://openreview.net/forum?id=ZMEIc25o0a"},{"id":"oLwaBjoj3h","en":"Semantics-Enhanced Retrieval-Augmented Time Series Forecasting","ko":"의미 향상 retrieval-augmented 시계열 예측","authors":"Shiqiao Zhou, Zipeng Wu, Holger Schöner, Edouard Fouché, IAG Wilson, Shuo Wang","abs":"Time series forecasting models often benefit from historical patterns. Inspired by Retrieval-Augmented Generation (RAG), recent research explored retrieving relevant historical time series segments to enhance forecasting. However, relying solely on time series similarity is often insufficient for retrieval under non-stationarity. To address this, we propose a multimodal approach: a **S**emantics-**E**nhanced **R**etrieval-**A**ugmented Time Series **F**orecasting framework, SERAF. Unlike mainstream approaches that depend only on time series similarity, SERAF conducts dual retrieval over the time series and their self-generated textual descriptions. It retrieves two complementary sets of historical patterns and corresponding futures, which are selectively and jointly used to guide future predictions. Experiments across seven real-world datasets demonstrate the effectiveness of SERAF in bridging numerical and semantic views of time series compared with state-of-the-art baselines.
","absKo":"Time series forecasting model은 종종 과거 pattern의 이점을 얻는다. Retrieval-Augmented Generation (RAG)에서 영감을 받아, 최근 연구는 forecasting을 향상시키기 위해 관련 있는 과거 time series segment를 retrieval하는 방법을 탐구해 왔다. 그러나 time series similarity에만 의존하는 것은 비정상성(non-stationarity) 하에서 retrieval에 충분하지 않은 경우가 많다. 이를 해결하기 위해 우리는 multimodal approach, 즉 **S**emantics-**E**nhanced **R**etrieval-**A**ugmented Time Series **F**orecasting framework인 SERAF를 제안한다. time series similarity에만 의존하는 주류 접근법과 달리, SERAF는 time series와 self-generated textual description에 대해 이중 retrieval을 수행한다. 이를 통해 상호 보완적인 두 세트의 historical pattern과 그에 대응하는 future를 retrieval하고, 이들은 선택적으로 그리고 jointly 사용되어 future prediction을 유도한다. 일곱 개의 실제 dataset에서 수행한 실험은 state-of-the-art baseline과 비교했을 때, 수치적 관점과 semantic 관점의 time series를 연결하는 데 있어 SERAF의 효과를 입증한다.","link":"https://openreview.net/forum?id=oLwaBjoj3h"},{"id":"ppN6CmoNOk","en":"Forecasting With LLMs: Improved Generalization Through Feature Steering","ko":"LLMs로 하는 예측: feature steering을 통한 일반화 향상","authors":"Humzah Merchant, Bradford Levy","abs":"Successful forecasting involves identifying patterns between historical and future states of the world which generalize to future observations. We apply LLMs to a variety of forecasting tasks and inspect their internal states using sparse autoencoders to understand whether they appear to rely on time-specific pieces of knowledge versus generalizable patterns. Our analyses identify features associated with both time-aware reasoning and look-ahead-biased reasoning. We then apply the LLMs to an ***entirely different domain*** and intervene on these features. We find that amplifying time-awareness features ***substantially*** reduces look-ahead bias on forecasting prompts while preserving general reasoning performance. In contrast, steering the candidate look-ahead-bias features does not produce an effect. These results suggest that interpretable temporal features can be used to causally shift LLMs toward more historically grounded reasoning.
","absKo":"성공적인 forecasting은 세계의 과거 상태와 미래 상태 사이에서 패턴을 식별하고, 그것이 미래 관측으로 일반화되도록 하는 일이다. 우리는 LLM을 다양한 forecasting task에 적용하고, sparse autoencoder를 사용해 내부 상태를 살펴봄으로써 이 모델들이 시점별 지식 조각에 의존하는지, 아니면 일반화 가능한 패턴에 의존하는지를 이해하고자 한다. 우리의 분석은 time-aware reasoning과 look-ahead-biased reasoning 모두와 연관된 feature를 식별한다. 이후 우리는 LLM을 ***완전히 다른 도메인***에 적용하고 이러한 feature에 개입한다. 그 결과 time-awareness feature를 증폭하면 forecasting prompt에서 look-ahead bias가 ***상당히*** 줄어드는 동시에 일반적인 reasoning 성능은 유지됨을 확인했다. 반면 후보 look-ahead-bias feature를 steering하는 것은 효과를 만들지 못했다. 이러한 결과는 해석 가능한 temporal feature를 사용해 LLM의 reasoning을 더 역사적으로 근거 있는 방향으로 인과적으로 이동시킬 수 있음을 시사한다.","link":"https://openreview.net/forum?id=ppN6CmoNOk"},{"id":"wFBzV0hWw1","en":"StretchTime: Adaptive Time Series Forecasting via Symplectic Attention","ko":"StretchTime: symplectic attention을 통한 적응형 시계열 예측","authors":"Yubin Kim, Viresh Pati, Jevon Twitty, Vinh Pham, Shihao Yang, Jiecheng Lu","abs":"Transformer architectures have established strong baselines in time series forecasting, yet they typically rely on positional encodings that assume uniform, index-based temporal progression. However, real-world systems, from shifting financial cycles to elastic biological rhythms, frequently exhibit ``time-warped'' dynamics where the effective flow of time decouples from the sampling index. In this work, we first formalize this misalignment and prove that rotary position embedding (RoPE) is mathematically incapable of representing non-affine temporal warping. To address this, we propose Symplectic Positional Embeddings (SyPE), a learnable encoding framework derived from Hamiltonian mechanics. SyPE strictly generalizes RoPE by extending the rotation group $\\mathrm{SO}(2)$ to the symplectic group $\\mathrm{Sp}(2,\\mathbb{R})$, modulated by a novel input-dependent adaptive warp module. By allowing the attention mechanism to adaptively dilate or contract temporal coordinates end-to-end, our approach captures locally varying periodicities without requiring pre-defined warping functions. We implement this mechanism in StretchTime, a multivariate forecasting architecture that achieves state-of-the-art performance on standard benchmarks, demonstrating superior robustness on datasets exhibiting non-stationary temporal dynamics.
","absKo":"Transformer architecture는 time series forecasting에서 강한 baseline을 확립했지만, 일반적으로 균일한 index 기반 temporal progression을 가정하는 positional encoding에 의존합니다. 그러나 금융 주기의 변화부터 탄력적인 생물학적 리듬에 이르기까지 실제 시스템은 sampling index와 효과적인 시간의 흐름이 분리되는 ``time-warped'' dynamics를 자주 보입니다. 이 연구에서는 먼저 이러한 불일치를 정식화하고, rotary position embedding (RoPE)이 비선형(non-affine) temporal warping을 수학적으로 표현할 수 없음을 증명합니다. 이를 해결하기 위해 우리는 Hamiltonian mechanics에서 유도된 learnable encoding framework인 Symplectic Positional Embeddings (SyPE)를 제안합니다. SyPE는 새로운 input-dependent adaptive warp module에 의해 조절되며, rotation group $\\mathrm{SO}(2)$를 symplectic group $\\mathrm{Sp}(2,\\mathbb{R})$로 확장함으로써 RoPE를 엄밀히 일반화합니다. attention mechanism이 temporal coordinate를 end-to-end로 적응적으로 팽창 또는 수축하도록 허용함으로써, 사전에 정의된 warping function 없이도 국소적으로 변하는 periodicity를 포착합니다. 우리는 이 메커니즘을 StretchTime에 구현했으며, 이는 multivariate forecasting architecture로서 표준 benchmark에서 state-of-the-art performance를 달성하고, 비정상적 temporal dynamics를 보이는 dataset에서 더 뛰어난 robustness를 보여줍니다.","link":"https://openreview.net/forum?id=wFBzV0hWw1"},{"id":"C2gibjVzHs","en":"Latent Market Dynamics: A World Model Framework for Agentic Prediction Markets","ko":"잠재적 시장 동학: agentic prediction market을 위한 world model 프레임워크","authors":"Jay Oza, Hrishikesh Yadav","abs":"Prediction markets expose rich observable signals, including YES/NO prices, spreads, liquidity, volume, open interest, and event metadata, but their evolution also reflects latent belief states, probability-regime shifts, order-flow pressure, inventory exposure, and uncertainty. This paper introduces the Latent Market Simulator (LMS), a stochastic world-model framework for agentic prediction-market replay. LMS learns compact latent representations of Kalshi-style binary markets using a sequential objective that combines observation reconstruction, posterior prior KL regularization, and reward prediction. At decision time, the agent performs uncertainty-aware model-predictive planning over continuous quote actions using the Cross-Entropy Method, approximate replay feature-state rollouts, calibrated reward diagnostics, and safety projections for inventory, probability risk, and quote consistency. In held-out historical replay across 96 selected markets, 16,756 probability-feature rows, 37,737 policy steps, and 21 policies and ablations, LMS achieves higher market-quality replay reward than non world-model baselines while maintaining high quote availability and controlled risk exposure.
","absKo":"Prediction market는 YES/NO 가격, spread, liquidity, volume, open interest, event metadata를 포함한 풍부한 관측 신호를 드러내지만, 그 진화는 latent belief state, probability-regime shift, order-flow pressure, inventory exposure, uncertainty도 반영한다. 이 논문은 agentic prediction-market replay를 위한 stochastic world-model 프레임워크인 Latent Market Simulator (LMS)를 소개한다. LMS는 observation reconstruction, posterior prior KL regularization, reward prediction을 결합한 sequential objective를 사용해 Kalshi 스타일 binary market의 compact latent representation을 학습한다. 의사결정 시점에 에이전트는 Cross-Entropy Method, approximate replay feature-state rollout, calibrated reward diagnostics, inventory, probability risk, quote consistency에 대한 safety projection을 사용하여 continuous quote action 위에서 uncertainty-aware model-predictive planning을 수행한다. 선택된 96개 시장, 16,756개의 probability-feature row, 37,737개의 policy step, 그리고 21개의 policy와 ablation에 대한 보류된 역사적 replay에서, LMS는 높은 quote availability와 통제된 risk exposure를 유지하면서 world-model이 아닌 baseline보다 더 높은 market-quality replay reward를 달성한다.","link":"https://openreview.net/forum?id=C2gibjVzHs"},{"id":"CmagUOHWQC","en":"Do Time Series Foundation Model Benchmarks Hide Regime-Dependent Failures? Evidence from Traffic Speed Forecasting","ko":"시계열 foundation model 벤치마크는 regime 종속 실패를 숨기는가? 교통 속도 예측 증거","authors":"Yingshuo Wang, Xian Sun, Lingdong Kong, Wei Gao, Yanhang Li, Zhichao Fan, Zexin Zhuang","abs":"Standard benchmarks evaluate time series foundation models (TSFMs) using aggregate metrics, but these can mask severe failures in critical operating regimes. We introduce regime-stratified evaluation and apply it to three TSFMs on two standard traffic speed benchmarks. Traffic exhibits abrupt regime switching between free-flow and congested states, producing bimodal speed distributions during transitions. When we stratify by traffic regime, both accuracy and prediction-interval coverage degrade sharply during transitions: transition-regime MAE reaches 11 mph (versus 3 mph overall), and empirical coverage of 90% prediction intervals drops as low as 55%. These failures are invisible in aggregate metrics because free-flow observations dominate the sample. A simple historical conditional baseline (sampling from per-sensor training distributions) achieves better transition coverage than any TSFM, but has far worse overall accuracy. We propose bimodal mixture augmentation (BMA), a post-hoc method that combines TSFM forecasts with historical distributional knowledge, approaching the historical baseline's transition coverage while preserving the TSFM's accuracy. Our results suggest that TSFM benchmarks should incorporate regime-aware evaluation to surface failures that aggregate metrics hide.
","absKo":"표준 benchmark는 time series foundation model(TSFM)을 aggregate metric으로 평가하지만, 이는 중요한 operating regime에서의 심각한 실패를 가릴 수 있다. 우리는 regime-stratified evaluation을 도입하고, 이를 두 개의 표준 traffic speed benchmark에 대한 세 개의 TSFM에 적용한다. 교통은 free-flow와 congested state 사이의 급격한 regime switching을 보이며, 전환 구간에서 bimodal speed distribution을 만든다. traffic regime별로 분리해 보면, accuracy와 prediction-interval coverage 모두 전환 구간에서 급격히 악화된다. transition-regime MAE는 11 mph에 달해 전체 평균 3 mph와 대비되며, 90% prediction interval의 empirical coverage는 55%까지 떨어진다. free-flow observation이 sample을 지배하기 때문에 이러한 실패는 aggregate metric에서는 보이지 않는다. 단순한 historical conditional baseline(sampler per-sensor training distribution)은 어떤 TSFM보다도 전환 구간 coverage가 좋지만, 전체 accuracy는 훨씬 나쁘다. 우리는 TSFM forecast와 historical distributional knowledge를 결합하는 post-hoc 방법인 bimodal mixture augmentation(BMA)을 제안하며, TSFM의 accuracy를 유지하면서 historical baseline의 transition coverage에 근접하게 한다. 우리의 결과는 TSFM benchmark가 aggregate metric이 가리는 실패를 드러내기 위해 regime-aware evaluation을 포함해야 함을 시사한다.","link":"https://openreview.net/forum?id=CmagUOHWQC"},{"id":"0EXEP7wrLS","en":"Quantizing Time-Series Models As Dynamical Systems: Trajectory-Based Quantization Sensitivity Score","ko":"동역학 시스템으로서 시계열 모델 양자화하기: 궤적 기반 양자화 민감도 점수","authors":"Mariya Pavlova, Harrison Bo Hua Zhu, Elizaveta Semenova, Yingzhen Li","abs":"We introduce the Trajectory-based Quantization Sensitivity Score (TQS), a metric that reframes post-training quantization (PTQ) through the lens of dynamical-systems stability. By modeling the network’s rollout as a discrete-time dynamical system, TQS characterizes how quantization-induced errors propagate and amplify over the rollout horizon. Unlike conventional PTQ methods, where sensitivity analysis is often coupled to the quantization procedure, TQS enables a priori sensitivity estimation decoupled from quantizer selection and bit-width assignment. This separation allows for quantization budget planning even for black-box or compiled networks with fused operators. Building on this, we present TQS-PTQ, a flexible mixed-precision framework that requires no calibration data or costly second-order approximations. Our experiments show that a dynamical-systems perspective provides a robust, high-performing pathway for low-precision deployment in resource-constrained settings.
","absKo":"우리는 Trajectory-based Quantization Sensitivity Score (TQS)를 소개한다. 이는 post-training quantization (PTQ)을 dynamical-systems stability의 관점에서 재해석한 metric이다. 네트워크의 rollout을 discrete-time dynamical system으로 모델링함으로써, TQS는 quantization으로 유도된 error가 rollout horizon을 따라 어떻게 전파되고 증폭되는지를 특성화한다. sensitivity analysis가 종종 quantization procedure와 결합되는 기존 PTQ 방법과 달리, TQS는 quantizer 선택 및 bit-width 할당과 분리된 a priori sensitivity estimation을 가능하게 한다. 이러한 분리는 black-box 또는 fused operator를 가진 compiled network에 대해서도 quantization budget planning을 가능하게 한다. 이를 바탕으로, 우리는 calibration data나 비용이 큰 second-order approximation이 필요 없는 유연한 mixed-precision framework인 TQS-PTQ를 제시한다. 실험 결과는 dynamical-systems 관점이 resource-constrained setting에서 low-precision deployment를 위한 견고하고 높은 성능의 경로를 제공함을 보여준다.","link":"https://openreview.net/forum?id=0EXEP7wrLS"},{"id":"YnNHhcgORk","en":"When Does Evidence Help Prompted LLM Forecasting? Evidence Access and Prompt Structure Across 12 Models","ko":"증거가 프롬프트된 LLM 예측에 언제 도움이 되는가? 12개 모델에 걸친 증거 접근과 프롬프트 구조","authors":"Akram Naoufel Tabet, Mitja Luštrek","abs":"We present a controlled study of how evidence access and prompt
structure shape LLM-based forecasting. Using 114 resolved
binary questions from ForecastBench, we evaluate 12 models across three
prompting strategies: a direct control prompt, a base-rate prompt that
asks models to anchor on historical frequency, and a Bayesian prompt
that asks models to state a prior and update on evidence. We compare
two information conditions: closed-book forecasting, where models
receive no external evidence, and shared evidence retrieved via AskNews
before the timestamp at which the market baseline is recorded. Across
8,196 valid forecasts, shared evidence lowers Brier scores
in the same direction across most models and prompt-level aggregates ($\\Delta=-0.028$, 95\\% CI $[-0.067,+0.009]$). The improvement is directionally robust but, at the pilot's 114-question cluster count, does not reach significance for the pooled effect; it is concentrated in questions whose evidence packet carries direct recent-status or base-rate information ($\\Delta$ = −0.112, 95\\% CI [−0.198, −0.026]) and is negligible otherwise. Bayesian-style prompting performs worse than the control prompt in closed-book settings, consistent with recent
evidence that structured reasoning prompts can degrade LLM forecasts
when external information is unavailable. Although Bayesian prompting
shows the largest numerical improvement from evidence, its advantage
over the control prompt is only suggestive at pilot scale and does not
reach conventional significance (DiD $=-0.011$, $p=0.08$). Despite these gains, no LLM beats the freeze-time prediction-market baseline. These findings suggest that
evidence access improves LLM forecasting, but that prompt structure
alone is insufficient: even evidence-grounded models remain behind
market baselines and suffer from overconfident extreme probabilities.
","absKo":"우리는 evidence access와 prompt structure가 LLM 기반 forecasting에 어떤 영향을 미치는지에 대한 통제된 연구를 제시한다. ForecastBench의 해소된 114개의 binary question을 사용하여, 우리는 세 가지 prompting strategy에 걸쳐 12개 모델을 평가한다: 직접적인 control prompt, 모델이 historical frequency에 anchor하도록 요구하는 base-rate prompt, 그리고 prior를 명시하고 evidence에 따라 update하도록 요구하는 Bayesian prompt. 우리는 두 가지 정보 조건을 비교한다. 외부 evidence를 받지 않는 closed-book forecasting과, market baseline이 기록되는 timestamp 이전에 AskNews로부터 검색한 shared evidence이다. 8,196개의 유효한 forecast 전반에서, shared evidence는 대부분의 모델과 prompt-level aggregate에서 Brier score를 같은 방향으로 낮춘다($\\Delta=-0.028$, 95\\% CI $[-0.067,+0.009]$). 개선은 방향성 면에서 견고하지만, pilot의 114-question cluster count에서는 pooled effect에 대해 유의성에 도달하지 못한다. 효과는 evidence packet이 직접적인 recent-status 또는 base-rate 정보를 담고 있는 질문에 집중되어 있으며($\\Delta$ = −0.112, 95\\% CI [−0.198, −0.026]), 그 외에는 미미하다. Bayesian-style prompting은 closed-book 환경에서 control prompt보다 더 나쁜 성능을 보이는데, 이는 구조화된 reasoning prompt가 외부 정보가 없을 때 LLM forecast를 저하시킬 수 있다는 최근 evidence와 일치한다. Bayesian prompting은 evidence로부터 가장 큰 수치적 개선을 보이지만, control prompt에 대한 우위는 pilot 규모에서는 단지 시사적 수준에 그치며 관습적 유의성에는 도달하지 못한다(DiD $=-0.011$, $p=0.08$). 이러한 개선에도 불구하고 어떤 LLM도 freeze-time prediction-market baseline을 능가하지 못한다. 이 결과는 evidence access가 LLM forecasting을 개선하지만 prompt structure만으로는 충분하지 않음을 시사한다. evidence를 반영한 모델조차 market baseline에 뒤처지며, 과도하게 자신만만한 극단 확률의 문제를 겪는다.","link":"https://openreview.net/forum?id=YnNHhcgORk"},{"id":"sla6EBQBNA","en":"An adversarial tournament design for efficiently probing the frontier of AI forecasting","ko":"AI 예측의 최전선을 효율적으로 탐색하기 위한 적대적 토너먼트 설계","authors":"Ben Day, Scott Jeen, Simion-Vlad Bogolin, Maximilian Anthony Hugh Clark, Toby Shevlane","abs":"We show that existing forecasting tournaments are inefficient probes of the capability frontier: most questions are either trivially easy or effectively intractable, with only a small fraction in the regime where leading systems disagree. We propose an adversarial design that admits more discriminating question formats and makes question-writing itself competitive, rewarding writers in proportion to the disagreement their questions induce among the strongest forecasters. We instantiate this as a live tournament with a $25,000 prize pool and report early findings on the questions that survive adversarial selection.
","absKo":"우리는 기존 forecasting tournament가 capability frontier를 탐지하는 probe로서는 비효율적임을 보인다. 대부분의 질문은 자명하게 쉽거나 사실상 풀 수 없을 정도로 어려우며, 선도 시스템들이 의견을 달리하는 영역에 있는 질문은 극히 일부에 불과하다. 우리는 더 구별력 있는 question format을 허용하고, 질문 작성 자체를 경쟁적으로 만들어, 가장 강력한 forecaster들 사이에 더 큰 disagreement를 유도하는 질문을 쓴 사람에게 그 정도에 비례해 보상을 주는 adversarial design을 제안한다. 이를 $25,000 prize pool을 갖는 live tournament로 구현하고, adversarial selection을 통과한 질문들에 대한 초기 결과를 보고한다.","link":"https://openreview.net/forum?id=sla6EBQBNA"},{"id":"WlHeFUW23D","en":"Repackaging Temporal Evidence: A Unifying Interface for Temporal Prediction","ko":"시간적 증거 재구성: 시간 예측을 위한 통합 인터페이스","authors":"Hao-Run Cai, Hao-Chen Liu, Ji-Yang Zhao, Yu-Jie Lai, Han-Jia Ye","abs":"Temporal tabular prediction and irregular time-series prediction often use related longitudinal records, but they define different prediction protocols. Temporal tables expose a timestamped covariate row and evaluate generalization to future periods, whereas irregular time-series tasks expose entity-specific observations relative to a query time. We study this difference as an evidence-packaging issue rather than a boundary between data modalities. Our unified protocol interface specifies the information available at query time before prediction. It identifies two failure modes in direct cross-domain transfer: entity collapse, where records from unrelated entities are treated as one sequence, and temporal relation mismatch, where a tabular row hides the source sequence needed by a time-series model. The same interface also enables protocol-level recoveries: context-based tabular predictors can be evaluated on irregular histories through entity contexts, and selected temporal tables can be recovered as entity histories or sequence-to-label examples.
","absKo":"temporal tabular prediction과 irregular time-series prediction은 관련된 longitudinal record를 자주 사용하지만, 서로 다른 prediction protocol을 정의한다. temporal table은 타임스탬프가 있는 covariate row를 노출하고 미래 기간에 대한 generalization을 평가하는 반면, irregular time-series task는 query time에 상대적인 entity-specific observation을 노출한다. 우리는 이 차이를 data modality 사이의 경계가 아니라 evidence packaging의 문제로 연구한다. 우리의 통합 protocol interface는 prediction 전에 query time에 이용 가능한 정보를 명시한다. 이 인터페이스는 direct cross-domain transfer에서 두 가지 실패 모드를 식별한다. entity collapse는 관련 없는 entity의 record를 하나의 sequence로 취급하는 경우이고, temporal relation mismatch는 tabular row가 time-series model에 필요한 source sequence를 숨기는 경우이다. 같은 interface는 protocol 수준의 복구도 가능하게 한다. context-based tabular predictor는 entity context를 통해 irregular history에서 평가될 수 있고, 선택된 temporal table은 entity history 또는 sequence-to-label example로 복원될 수 있다.","link":"https://openreview.net/forum?id=WlHeFUW23D"},{"id":"N0ONKv1KfP","en":"ForesightFlow: An Information Leakage Score Framework for Prediction Markets","ko":"ForesightFlow: Prediction Markets를 위한 정보 유출 점수 프레임워크","authors":"Maksym Nechepurenko","abs":"Decentralized prediction markets such as Polymarket aggregate dispersed beliefs into continuously updated price signals, but their on-chain transparency and pseudonymous participation also create unusually permissive conditions for trading on material non-public information. Recent empirical work has documented hundreds of millions of dollars in anomalous profits on Polymarket between 2024 and 2026; existing detection approaches are almost exclusively *post-hoc* and offer no actionable signal during the window when informed flow is moving prices.
We propose an information-theoretic framework for quantifying informed flow on prediction markets. We introduce the **Information Leakage Score** (ILS), a label generator that quantifies how much of a market's terminal information move was priced in before the corresponding public news event, and show that ILS admits a clean interpretation in terms of the **Murphy decomposition of the Brier score**: high ILS corresponds to *front-loaded resolution*. We specify the score's resolution-typology and operational scope conditions.
A pilot empirical study on $n{=}725$ event-resolved Polymarket markets produces structural negative findings: a resolution-anchored news-timestamp proxy does **not** separate event-resolved markets from a matched control population (Mann-Whitney $p{=}10^{-6}$, in the wrong direction), and **zero of 24** documented insider-trading cases satisfy the original ILS scope. The audit reveals that documented Polymarket insider cases are systematically *deadline-resolved* ("Will event $X$ occur by date $Y$?"), falling outside the original scope.
We accordingly extend the score to a **deadline-ILS** variant anchored at the underlying event timestamp, with a per-category constant-hazard baseline for the time-to-event distribution. The contribution is a methodologically transparent label generator with an explicit scoring-rule reading, scope conditions validated by negative findings, and an extension that closes the gap between methodology and the population in which informed trading has been empirically attested.
","absKo":"Polymarket과 같은 decentralized prediction market은 분산된 belief를 지속적으로 갱신되는 price signal로 집계하지만, on-chain transparency와 pseudonymous participation은 material non-public information에 기반한 거래에 대해 이례적으로 관대한 조건도 만든다. 최근의 실증 연구는 2024년에서 2026년 사이 Polymarket에서 수억 달러 규모의 비정상적 이익을 문서화했으며, 기존 탐지 접근법은 거의 전적으로 *post-hoc*이고, informed flow가 가격을 움직이는 시점에 실행 가능한 신호를 제공하지 못한다.\n\n우리는 prediction market에서 informed flow를 정량화하기 위한 정보이론적 프레임워크를 제안한다. 우리는 **Information Leakage Score**(ILS)를 도입하는데, 이는 시장의 terminal information move 중 얼마나 많은 부분이 대응하는 공개 뉴스 이벤트 이전에 이미 가격에 반영되었는지를 정량화하는 label generator이며, ILS가 **Murphy decomposition of the Brier score**의 관점에서 깔끔하게 해석될 수 있음을 보인다. 높은 ILS는 *front-loaded resolution*에 해당한다. 우리는 이 점수의 resolution-typology와 운용 범위 조건을 명시한다.\n\n$n{=}725$개의 event-resolved Polymarket market에 대한 파일럿 실증 연구는 구조적 부정 결과를 낳는다. resolution을 기준으로 한 news-timestamp proxy는 일치시킨 control population과 event-resolved market을 구분하지 못했으며(Mann-Whitney $p{=}10^{-6}$, 방향도 반대), 문서화된 24개의 insider-trading 사례 중 **0개**만이 원래 ILS 범위를 만족했다. 감사 결과, 문서화된 Polymarket insider 사례들은 체계적으로 *deadline-resolved*였다(\"이벤트 $X$가 날짜 $Y$까지 발생할 것인가?\"), 따라서 원래 범위 밖에 있었다.\n\n이에 따라 우리는 underlying event timestamp를 기준으로 하는 **deadline-ILS** 변형을 확장하며, time-to-event distribution에 대해 category별 constant-hazard baseline을 사용한다. 이 기여는 명시적인 scoring-rule 해석을 갖는 방법론적으로 투명한 label generator, 부정 결과로 검증된 범위 조건, 그리고 정보화된 거래가 실증적으로 확인된 모집단과 방법론 사이의 간극을 메우는 확장을 제공한다.","link":"https://openreview.net/forum?id=N0ONKv1KfP"},{"id":"JAYM7AGe50","en":"Diversity is the strength of the AI crowd","ko":"다양성은 AI 군중의 힘이다","authors":"Matthew Aitchison, Scott Jeen, Toby Shevlane, Ben Day","abs":"Top AI forecasting systems perform similarly to skilled humans by combining frontier LLMs with forecasting-specific context gathering and scaffolding. We study how to improve this recipe through ensembling: given a fixed number of samples, which off-the-shelf model forecasts should be combined to maximize forecasting performance? On binary questions from the Metaculus AI Benchmark, we find that standalone performance is not enough for strong ensembling: additional forecasts add little when they come from frontier LLMs with highly correlated predictions. Instead, the strongest ensembles combine accurate but diverse forecasters; among the off-the-shelf frontier models we study, we find Grok 4 to be especially valuable because its predictions are less correlated with those of Gemini 3 Pro and GPT-5. These results suggest that the strength of the AI crowd comes not from sampling more forecasts indiscriminately, but from combining forecasts across models with complementary errors, motivating forecasting systems that explicitly optimize for both model quality and diversity.
","absKo":"최상위 AI forecasting 시스템은 frontier LLM과 forecasting 특화 context gathering 및 scaffolding을 결합함으로써 숙련된 인간과 비슷한 성능을 보인다. 우리는 ensemble을 통해 이 레시피를 어떻게 개선할 수 있는지 연구한다. 고정된 수의 sample이 주어졌을 때, forecasting 성능을 최대화하기 위해 어떤 off-the-shelf model forecast를 결합해야 하는가? Metaculus AI Benchmark의 binary question에서, 단독 성능만으로는 강한 ensemble을 보장할 수 없음을 발견했다. frontier LLM에서 나온 예측은 서로 높은 상관을 가지므로 추가 forecast의 기여가 작다. 대신 가장 강력한 ensemble은 정확하지만 다양한 forecaster를 결합한다. 우리가 연구한 off-the-shelf frontier model 가운데서는 Grok 4가 특히 유용한데, 그 예측이 Gemini 3 Pro 및 GPT-5의 예측과 덜 상관되기 때문이다. 이러한 결과는 AI crowd의 강점이 무작정 더 많은 forecast를 샘플링하는 데 있는 것이 아니라, 상보적인 오류를 가진 model 전반의 forecast를 결합하는 데 있음을 시사하며, model quality와 diversity를 모두 명시적으로 최적화하는 forecasting system의 필요성을 뒷받침한다.","link":"https://openreview.net/forum?id=JAYM7AGe50"},{"id":"G3F96WLjgw","en":"Elicitation Format Drives Divergent LLM Geopolitical Forecasts","ko":"elicitation 형식이 LLM 지정학적 예측을 분기시킨다","authors":"Suhas Hariharan, George Ghetiu, Ari Weiler-Ofek, Hao Jie Pe, Tatsan Kantasit, Michal Bravansky, Raphael Tang","abs":"Large language models are approaching expert-level performance on geopolitical forecasting tasks, but a broad literature on LLM behavior shows that model outputs can shift under minor prompt perturbations. Whether matched geopolitical forecasts are similarly unstable under benign changes in elicitation remains underexplored. We study that question in a closed-book setting using Claude, GPT-OSS, and Qwen models and matched country-index forecasting tasks that hold the country, index, and horizon fixed while varying question form. A closed-book ForecastBench control confirms that the models are competent forecasters. Yet on governance targets, binary questions produce much larger US-sphere versus China-sphere gaps than matched numerical forecasts of the same country--index pairs. A Human Freedom Index comparison shows a smaller cross-bloc gap on matched economic sub-indices, suggesting that the binary amplification is concentrated in politically evaluative concepts rather than country forecasting in general. Trilingual reruns reveal additional but less uniform instability, and mirrored improve/decline prompts do not support a simple yes-saying explanation. We therefore argue that evaluations of LLM geopolitical forecasting should report robustness to elicitation alongside resolved-event accuracy, especially for politically evaluative targets.
","absKo":"Large language model은 geopolitical forecasting task에서 expert-level performance에 근접하고 있지만, LLM behavior에 대한 광범위한 문헌은 model output이 작은 prompt perturbation에도 달라질 수 있음을 보여준다. 정합된 geopolitical forecast 역시 무해한 elicitation 변화에 따라 비슷하게 불안정한지는 충분히 탐구되지 않았다. 우리는 Claude, GPT-OSS, Qwen model과 closed-book setting의 matched country-index forecasting task를 사용해 이 질문을 연구한다. 이때 country, index, horizon은 고정하고 question form만 바꾼다. Closed-book ForecastBench control은 해당 model들이 유능한 forecaster임을 확인해 준다. 그러나 governance target에서는 binary question이 같은 country--index pair에 대한 matched numerical forecast보다 US-sphere와 China-sphere 간 격차를 훨씬 더 크게 만든다. Human Freedom Index 비교에서는 matched economic sub-index에서 bloc 간 격차가 더 작게 나타나, binary amplification이 country forecasting 전반보다는 정치적으로 평가적인 개념에 집중되어 있음을 시사한다. Trilingual rerun은 추가적이지만 덜 일관된 불안정을 드러내며, mirrored improve/decline prompt는 단순한 yes-saying 설명을 지지하지 않는다. 따라서 우리는 LLM geopolitical forecasting 평가가 resolved-event accuracy와 함께 elicitation에 대한 robustness도 보고해야 하며, 특히 정치적으로 평가적인 target에서 더욱 그러해야 한다고 주장한다.","link":"https://openreview.net/forum?id=G3F96WLjgw"},{"id":"BscmCO2BMk","en":"Evaluating Long-Form Forecasts by Their Effect on Downstream Predictions","ko":"장기 예측을 하위 예측에 미치는 영향으로 평가하기","authors":"Jeremy Qin, Nikhil Chandak, Shashwat Goel, Hardik Bhatnagar, Ameya Prabhu, Jonas Geiping, Moritz Hardt, Maksym Andriushchenko","abs":"Language model evaluations for judgmental forecasting currently test short-answer predictions to fully specified questions. However, when reasoning about the future, the precise important questions are often not known in advance, making real-world forecasting more open-ended. In this work, we study how to evaluate AI responses questions like ``How will AI capabilities progress by 2027?'', which have no single ground-truth. On the surface, this task is mired with tradeoffs between the accuracy, importance, and quality of evidence of the forecast's claims. Nevertheless, we show that a verifiable unification is possible. We argue that the value of a long-form forecast lies in how it updates the world model of a downstream predictor. Specifically, we measure how providing a long-form forecast improves the prediction accuracy of a weaker model for a sample of world events. We test seven frontier models with this framework, finding meaningful differences in their long-form forecasts about AI progress, which when conditioned on, lead to significant improvements in the event forecasts of the downstream predictors. We hope our methodology paves the way to measuring and improving the quality of generative forecasts used by people in their everyday decision-making.
","absKo":"판단적 forecasting을 위한 language model 평가는 현재 완전히 명세된 질문에 대한 단답형 예측을 시험한다. 그러나 미래를 추론할 때는 정확히 중요한 질문이 사전에 종종 알려져 있지 않아, 실제 forecasting은 더 개방형이다. 본 연구에서는 ``How will AI capabilities progress by 2027?''처럼 단일 ground-truth가 없는 질문에 대한 AI 응답을 어떻게 평가할지 다룬다. 표면적으로 이 과제는 forecast의 주장에 대한 accuracy, importance, evidence quality 사이의 tradeoff에 얽혀 있다. 그럼에도 우리는 검증 가능한 통합이 가능함을 보인다. 우리는 long-form forecast의 가치는 downstream predictor의 world model을 얼마나 업데이트하는지에 있다고 주장한다. 구체적으로, long-form forecast를 제공했을 때 약한 model이 sample world event에 대해 얼마나 더 정확히 예측하는지 측정한다. 우리는 이 프레임워크로 일곱 개의 frontier model을 테스트했고, AI progress에 대한 long-form forecast에서 의미 있는 차이를 발견했다. 그리고 이를 조건으로 할 때 downstream predictor의 event forecast가 유의미하게 향상되었다. 우리는 이 방법론이 사람들이 일상적 의사결정에서 사용하는 generative forecast의 품질을 측정하고 향상시키는 길을 열어주기를 기대한다.","link":"https://openreview.net/forum?id=BscmCO2BMk"},{"id":"jm8DOafA7D","en":"Enabling Uncertainty-Aware Time-Series Forecasting in Federated Learning for Urban Water Dynamics","ko":"도시 물 동역학을 위한 Federated Learning에서 불확실성 인식 시계열 예측 가능하게 만들기","authors":"Golnoosh Abdollahinejad, Patrik Okanovic, Denisa-Andreea Constantinescu, Sergey Shevchik, Torsten Hoefler, David Atienza","abs":"Urban water forecasting is essential for flood awareness and resilient city operations. Yet, in real-world deployment, sensor data is fragmented due to utility privacy policies and sensor failures. Therefore, city-scale forecasting must operate across fragmented sensor ownership while providing calibrated uncertainty under sensor failures. To address this, we extend the functionality of the transformer forecasting model by introducing i) a quantile regression head for uncertainty calibration on forecasting intervals, and ii) a sensor-disjoint federated training scheme, scaled up to 1,000 sensors across 100 clients without raw-data exchange in between, with remaining robustness to a Zipf-1 ownership skew. The quantile head preserves point-forecast absolute error from 0.0489 to 0.0338. The federated training retains this skill end-to-end. The developed framework is easily adjustable to local privacy policies, provides uncertainty-aware forecasting at its backbone, and applies to city-scale risk management. We map the architecture developed onto the canonical world-model recipe and identify the missing components for closed-loop urban water management.
","absKo":"도시 수문 예측은 홍수 인식과 복원력 있는 도시 운영에 필수적입니다. 그러나 실제 배포에서는 utility privacy policy와 sensor failure 때문에 sensor data가 파편화됩니다. 따라서 도시 규모 예측은 sensor ownership이 분절된 환경 전반에서 작동하면서도 sensor failure 하에서 calibrated uncertainty를 제공해야 합니다. 이를 해결하기 위해 우리는 transformer forecasting model의 기능을 확장합니다. i) forecasting interval에서 uncertainty calibration을 위한 quantile regression head, ii) raw data exchange 없이 100개 client에 걸쳐 최대 1,000개 sensor까지 확장되는 sensor-disjoint federated training scheme을 도입하고, 여기에 Zipf-1 ownership skew에 대한 잔존 robust성을 확보합니다. quantile head는 point forecast absolute error를 0.0489에서 0.0338로 유지합니다. federated training은 이 성능을 end-to-end로 보존합니다. 개발한 framework는 local privacy policy에 쉽게 맞출 수 있고, backbone에서 uncertainty-aware forecasting을 제공하며, 도시 규모 risk management에 적용할 수 있습니다. 우리는 이 architecture를 canonical world-model recipe에 대응시켜 매핑하고, closed-loop urban water management에 부족한 구성요소를 식별합니다.","link":"https://openreview.net/forum?id=jm8DOafA7D"},{"id":"8G9ljUNQo7","en":"Robustness of Multimodal Foundation-Model Forecasting for Postoperative Cancer Outcomes","ko":"수술 후 암 결과 예측에서 multimodal foundation model의 견고성","authors":"KuanTing Wu","abs":"Postoperative outcome forecasting is a stringent test of whether frozen medical foundation-model embeddings can support clinically meaningful intelligence: predictions must remain useful under censoring, limited event counts, and comparison with established clinical anchors. We study two-year disease-free survival forecasting in an anonymized in-house resected NSCLC/LUAD cohort with paired preoperative computed tomography (CT) and postoperative hematoxylin-and-eosin whole-slide images (WSI). Using frozen patient-level embeddings, we evaluate a complete 2 x 2 matrix of CT foundation models (Pillar-0, CT-FM) and pathology foundation models (TITAN, Prov-GigaPath), together with WSI-only, CT-only, and score-level fusion models. Simple late averaging is the most stable fusion rule across all model combinations; the strongest TITAN plus Pillar-0 setting reaches a C-index of 0.799 and AUROC of 0.810, improving over its matched WSI-only baseline. However, a stage-only clinical anchor reaches a C-index of 0.837 and AUROC of 0.840 in the same task, and an exploratory TCGA-KIRC stress test similarly favors clinical/Leibovich-like baselines over frozen image embeddings. These results support a clinically anchored view of multimodal foundation embeddings: they are scalable forecasting substrates, but their value should be judged by incremental benefit, calibration, and robustness rather than by standalone image-only performance.
","absKo":"수술 후 결과 예측은 frozen medical foundation-model embedding이 임상적으로 의미 있는 intelligence를 지원할 수 있는지 시험하는 엄격한 검증이다. 예측은 censoring, 제한된 event 수, 그리고 확립된 clinical anchor와의 비교 속에서도 유용해야 한다. 우리는 preoperative computed tomography(CT)와 postoperative hematoxylin-and-eosin whole-slide image(WSI)가 짝지어진 anonymized in-house resected NSCLC/LUAD cohort에서 2년 disease-free survival 예측을 연구했다. frozen patient-level embedding을 사용해, CT foundation model(Pillar-0, CT-FM)과 pathology foundation model(TITAN, Prov-GigaPath)의 완전한 2 x 2 matrix를 평가했으며, WSI-only, CT-only, score-level fusion model도 함께 평가했다. 단순 late averaging은 모든 model 조합에서 가장 안정적인 fusion rule이었다. 가장 강한 TITAN plus Pillar-0 설정은 C-index 0.799와 AUROC 0.810에 도달하여 대응되는 WSI-only baseline을 개선했다. 그러나 같은 과제에서 stage-only clinical anchor는 C-index 0.837과 AUROC 0.840에 도달했고, 탐색적 TCGA-KIRC stress test 역시 frozen image embedding보다 clinical/Leibovich-like baseline을 선호했다. 이 결과는 multimodal foundation embedding에 대한 clinically anchored한 관점을 지지한다. 이들은 확장 가능한 forecasting substrate이지만, 그 가치는 standalone image-only 성능이 아니라 incremental benefit, calibration, robustness로 평가되어야 한다.","link":"https://openreview.net/forum?id=8G9ljUNQo7"},{"id":"cqnuY2xFQl","en":"Reflexivity as Prompt: Does Awareness of Self-Reinforcing Market Dynamics Improve LLMs as Financial Market Forecasters?","ko":"Prompt로서의 반성성: 자기강화 시장 역학에 대한 인식이 LLM의 금융 시장 예측 능력을 높이는가?","authors":"Eugene W Park","abs":"We study how frontier large language models (LLMs) behave as financial forecasters during boom-bust market cycles when made progressively aware of Soros's theory of reflexivity. Standard AI-assisted forecasting treats the market as an exogenous system. Reflexivity theory holds otherwise: prices shape fundamentals, and every forecaster is a participative agent in the loop it analyzes. We evaluate three frontier models - GPT-5, Claude Sonnet-4.6, and Gemini-3-Pro - under four accumulating zero-shot conditions across two historically distinct episodes: the dot-com bubble (1996 - 2001) and the global financial crisis (2004 - 2009). The primary metric is directional forecasting accuracy; we also report the Sharpe ratio of an implied long/cash strategy to capture the risk-adjusted economic value of the forecasts. All inputs are anonymized and normalized to guard against memorization. We find that conditions incorporating reflexivity awareness improve forecasting accuracy differently across models and context windows, revealing that the same theoretical awareness can produce qualitatively different forecasting behavior across frontier LLMs.
","absKo":"우리는 Soros의 reflexivity theory를 점진적으로 인식하도록 만들었을 때, frontier large language model (LLM)들이 boom-bust market cycle 동안 financial forecaster로서 어떻게 행동하는지 연구한다. 표준 AI-assisted forecasting은 시장을 exogenous system으로 취급한다. Reflexivity theory는 다르게 본다. 가격은 fundamentals를 형성하며, 모든 forecaster는 자신이 분석하는 loop 안에서 참여하는 agent이다. 우리는 세 가지 frontier model - GPT-5, Claude Sonnet-4.6, Gemini-3-Pro - 을 두 개의 역사적으로 구분되는 episode, 즉 dot-com bubble (1996 - 2001)과 global financial crisis (2004 - 2009)에서, 누적되는 네 가지 zero-shot condition 하에 평가한다. 주요 metric은 방향성 forecasting accuracy이며, 우리는 예측의 risk-adjusted economic value를 포착하기 위해 implied long/cash strategy의 Sharpe ratio도 보고한다. 모든 input은 memorization을 방지하기 위해 anonymized되고 normalized되었다. 우리는 reflexivity awareness를 포함하는 condition이 model과 context window에 따라 forecasting accuracy를 다르게 향상시킨다는 사실을 발견했으며, 같은 이론적 awareness가 frontier LLM마다 질적으로 다른 forecasting behavior를 만들어낼 수 있음을 보여준다.","link":"https://openreview.net/forum?id=cqnuY2xFQl"},{"id":"8ZrpbYgFe6","en":"Proxy Scoring Enables Benchmarking LLM Forecasters Without Waiting for Outcomes","ko":"proxy scoring으로 결과를 기다리지 않고 LLM 예측기를 benchmark할 수 있다","authors":"Julius Hege, Gitta Kutyniok","abs":"Large language models are increasingly used as general-purpose forecasters, but benchmarking their forecasting ability remains slow and fragile. Retrospective benchmarks risk training-data contamination, while prospective benchmarks require waiting weeks or months for questions to resolve. We propose an instantaneous evaluation method based on proxy scoring rules. Rather than scoring each forecast against the eventual outcome, we score it against an extremized aggregate of the forecasts made by other models, drawing on the literature on information elicitation without verification. Empirically these proxy scores correlate strongly with resolved-outcome metrics such as the Brier score on existing LLM forecasting data and are almost as predictive as Brier scores of future performance and substantially less noisy across time. We further show the effectiveness of the method crucially depends on the aggregation method used: simple means and medians can perform poorly, while logit-mean aggregation followed by extremization yields consistently strong correlations.
","absKo":"large language model은 점점 더 범용 forecaster로 사용되고 있지만, 그 forecasting 능력을 benchmark하는 일은 여전히 느리고 취약하다. retrospective benchmark는 training data contamination의 위험이 있고, prospective benchmark는 질문이 해결되기까지 몇 주 또는 몇 달을 기다려야 한다. 우리는 proxy scoring rule에 기반한 즉각적인 평가 방법을 제안한다. 각 forecast를 최종 결과와 비교해 채점하는 대신, verification 없이 정보를 이끌어내는 문헌에 의존해 다른 모델들이 만든 forecast의 extremized aggregate와 비교해 채점한다. 실증적으로 이러한 proxy score는 기존 LLM forecasting data에서 Brier score 같은 resolved-outcome metric과 강하게 상관되며, 미래 성능에 대한 Brier score만큼 예측력이 높고 시간에 따라 훨씬 덜 noisy하다. 또한 이 방법의 효과는 사용되는 aggregation method에 크게 좌우됨을 보인다. 단순 mean과 median은 성능이 좋지 않을 수 있지만, logit-mean aggregation 뒤 extremization을 적용하면 일관되게 강한 상관을 보인다.","link":"https://openreview.net/forum?id=8ZrpbYgFe6"},{"id":"7E6kblWqAP","en":"From Events to Impacts: Calibrated Decomposition for LLM-Based Geopolitical Forecasting","ko":"이벤트에서 영향으로: LLM 기반 지정학 예측을 위한 보정된 분해","authors":"Bernhard Escherich, Christian Schroll, Dr. La Toya Waha","abs":"Predicting geopolitical risk often requires understanding how events propagate into specific downstream exposures, a task poorly captured by binary occurrence benchmarks. We introduce Decomposed Impact Forecasting (DIF), a framework that disentangles event occurrence, transmission probability, and conditional material impact. This DIF is evaluated on Seed-20, a novel, manually curated pilot set designed for temporal integrity and auditable forecasting. Our results show that calibrated DIF outperforms direct and retrieval-augmented baselines in Brier and log scores. This work contributes an auditable protocol and pilot evidence for moving beyond binary forecasting toward structured impact estimation in LLMs.
","absKo":"지정학적 위험을 예측하는 일은 종종 사건이 특정 downstream exposure로 어떻게 전파되는지를 이해해야 하며, 이는 binary occurrence benchmark으로는 잘 포착되지 않는다. 우리는 event occurrence, transmission probability, conditional material impact를 분리하는 framework인 Decomposed Impact Forecasting (DIF)을 도입한다. 이 DIF는 temporal integrity와 auditable forecasting을 위해 설계된 새롭고 수작업으로 정제된 pilot set인 Seed-20에서 평가된다. 우리의 결과는 calibrated DIF가 Brier score와 log score에서 direct baseline 및 retrieval-augmented baseline보다 우수함을 보여준다. 이 작업은 LLM에서 binary forecasting을 넘어 structured impact estimation으로 나아가기 위한 auditable protocol과 pilot evidence를 제공한다.","link":"https://openreview.net/forum?id=7E6kblWqAP"},{"id":"sIl7i83c68","en":"Accurate Forecasts Do Not Ensure Safe Decision","ko":"정확한 예측이 안전한 의사결정을 보장하지는 않는다","authors":"Jaehyun Pyun, Seunghun Moon, Suk-Ju Kang","abs":"Pedestrian forecasting is still largely evaluated with retrospective best-of-$K$ metrics such as minADE and minFDE, although planners must commit to safe actions before the future is observed. We introduce the Trajectory-Decision benchmark protocol (TrajD), a compact decision-centric stress test built on the TrajImpute missing-trajectory benchmark dataset. TrajD fixes the incomplete-history carrier, ego-action set, planner, ego-agent selection rule, and ground-truth decision metrics, then audits five stochastic sources--MoFlow, SingularTrajectory, TUTR, NMRF, and SocialGAN--through one forecast-to-decision pipeline. Source planning leaves substantial avoidable collision risk. As a reference action-risk alignment method, a lightweight two-fold out-of-fold (OOF) aligner leaves source samples unchanged but rescales planner action scores, reducing collision by about one third on average; a less conservative operating point partially recovers goal progress. Results show that forecasting benchmarks should report downstream safe decisions alongside geometric sample accuracy.
","absKo":"Pedestrian forecasting은 여전히 minADE와 minFDE 같은 retrospective best-of-$K$ metric으로 주로 평가되지만, planner는 미래가 관측되기 전에 안전한 action을 commit해야 합니다. 우리는 Trajectory-Decision benchmark protocol(TrajD)을 제안하는데, 이는 TrajImpute missing-trajectory benchmark dataset 위에 구축한 compact decision-centric stress test입니다. TrajD는 incomplete-history carrier, ego-action set, planner, ego-agent selection rule, 그리고 ground-truth decision metric을 고정한 뒤, 다섯 개의 stochastic source인 MoFlow, SingularTrajectory, TUTR, NMRF, SocialGAN을 하나의 forecast-to-decision pipeline으로 감사합니다. Source planning은 상당한 수준의 avoidable collision risk를 남깁니다. reference action-risk alignment method로서 lightweight two-fold out-of-fold(OOF) aligner는 source sample은 그대로 두되 planner action score를 rescale하여 평균적으로 collision을 약 3분의 1 줄였고, 덜 보수적인 operating point는 goal progress를 부분적으로 회복했습니다. 결과는 forecasting benchmark가 geometric sample accuracy와 함께 downstream safe decision도 보고해야 함을 보여줍니다.","link":"https://openreview.net/forum?id=sIl7i83c68"},{"id":"QgCF3VkvCa","en":"A Black-Box Reduction from Regret to Multi-Level Coverage","ko":"후회(regret)에서 다단계 커버리지로의 블랙박스 축약","authors":"Tuo Liu, Edgar Dobriban, Francesco Orabona","abs":"Online Conformal Prediction (OCP) sequentially constructs prediction sets whose average empirical coverage converges to a target level over time, for arbitrary, potentially adversarial datasets. In the multi-level setting of OCP, prediction sets are produced at $d$ coverage levels at once. Prior work showed that online gradient descent with lazy isotonic projections produces sets properly nested across levels, but with a $\\sqrt{d}$ dependence in the per-level coverage convergence rate. Here, we both generalize and improve prior work. First, we show that lazy isotonic projections can be safely used for the construction of multi-level online conformal prediction sets from any online learning algorithm. Then, through a black-box reduction, we show that the linearized regret of the online algorithm itself automatically gives control over both per-level calibration and distributional consistency of multi-level predictions via Fenchel duality. Finally, by using the Weighted Interval Score, the standard scoring rule for assessing multi-level interval forecasts, we prove that these projections reduce both the size of the sets and their under-coverage. We show two instantiations of our theory, $p$-norm Online Mirror Descent and coordinate-wise Universal-Portfolio, both improving the dependence on the number of levels to $\\sqrt{\\log d}$ for the multi-OCP problem.
Experiments on stock prices, electricity demand, and synthetic streams confirm consistent gains in coverage-width trade-offs over existing baselines.
","absKo":"Online Conformal Prediction(OCP)은 arbitrary하고 잠재적으로 adversarial한 dataset에 대해 평균 empirical coverage가 시간에 따라 target level로 수렴하는 prediction set을 순차적으로 구성한다. OCP의 multi-level setting에서는 prediction set이 한 번에 $d$개의 coverage level에서 생성된다. 기존 연구는 lazy isotonic projection을 사용한 online gradient descent가 level 간 적절히 nested된 set을 생성하지만, per-level coverage convergence rate에서 $\\sqrt{d}$ 의존성을 가진다는 것을 보였다. 여기서 우리는 기존 연구를 일반화하고 동시에 개선한다. 먼저, lazy isotonic projection이 어떤 online learning algorithm으로부터도 multi-level online conformal prediction set을 구성하는 데 안전하게 사용될 수 있음을 보인다. 그런 다음 black-box reduction을 통해, online algorithm 자체의 linearized regret가 Fenchel duality를 통해 multi-level prediction의 per-level calibration과 distributional consistency를 자동으로 동시에 제어함을 보인다. 마지막으로, multi-level interval forecast를 평가하는 표준 scoring rule인 Weighted Interval Score를 사용해, 이러한 projection이 set의 크기와 under-coverage를 모두 줄인다는 것을 증명한다. 우리는 이론의 두 가지 instantiation, 즉 $p$-norm Online Mirror Descent와 coordinate-wise Universal-Portfolio를 제시하며, 둘 다 multi-OCP 문제에서 level 수에 대한 의존성을 $\\sqrt{\\log d}$로 개선한다. 주가, 전력 수요, synthetic stream에 대한 실험은 기존 baseline 대비 coverage-width trade-off에서 일관된 향상을 확인해 준다.","link":"https://openreview.net/forum?id=QgCF3VkvCa"},{"id":"QSWVA0PnPi","en":"What if Tomorrow is the World Cup Final? Counterfactual Time Series Forecasting with Textual Conditions","ko":"내일이 월드컵 결승이라면? 텍스트 조건을 활용한 반사실적 시계열 예측","authors":"Shuqi Gu, Yongxiang Zhao, Baoyu Jing, Kan Ren","abs":"Time series forecasting has become increasingly critical in real-world scenarios, where future sequences are influenced not only by historical patterns but also by forthcoming events. In this context, forecasting must dynamically adapt to complex and stochastic future conditions, which introduces fundamental challenges in both forecasting and evaluation. Traditional methods typically rely on historical data or factual future conditions, while overlooking counterfactual scenarios. Furthermore, many existing approaches are restricted to simple structured conditions, limiting their ability to generalize to the real-world complexities. To address these gaps, we introduce the task of counterfactual time series forecasting with textual conditions, enabling more flexible and condition-aware forecasting. We propose a comprehensive evaluation framework that encompasses both factual and counterfactual settings, even in the absence of ground truth time series. Additionally, we present a novel text-attribution mechanism that distinguishes mutable from immutable factors, thereby improving forecast accuracy under sophisticated and stochastic textual conditions.
","absKo":"Time series forecasting은 실제 세계의 여러 상황에서 점점 더 중요해지고 있으며, 미래 sequence는 과거 패턴뿐 아니라 다가올 사건의 영향도 받는다. 이러한 맥락에서 forecasting은 복잡하고 확률적인 future condition에 동적으로 적응해야 하며, 이는 forecasting과 evaluation 모두에 근본적인 도전을 제기한다. 전통적인 방법은 일반적으로 historical data 또는 factual future condition에 의존하는 반면, counterfactual scenario는 간과한다. 또한 많은 기존 접근은 단순하고 구조화된 condition에 제한되어 있어, 실제 세계의 복잡성으로 일반화하는 능력이 제한된다. 이러한 공백을 해결하기 위해 우리는 text condition을 갖는 counterfactual time series forecasting task를 도입하여 더 유연하고 condition-aware한 forecasting을 가능하게 한다. 우리는 ground truth time series가 없는 경우까지 포함하는 factual 및 counterfactual setting을 아우르는 포괄적인 evaluation framework를 제안한다. 추가로, mutable factor와 immutable factor를 구분하는 새로운 text-attribution mechanism을 제시하여, 정교하고 확률적인 textual condition 하에서 forecast accuracy를 향상시킨다.","link":"https://openreview.net/forum?id=QSWVA0PnPi"},{"id":"SNjhsnUvhH","en":"SC-JEPA: Stabilizing Latent Predictive Learning for Time-Series Anomaly Prediction","ko":"SC-JEPA: 시계열 이상 예측을 위한 latent predictive learning 안정화","authors":"Yanan He, Yunshi Wen, Xin Wang, Tengfei Ma","abs":"Time-series anomaly prediction aims to forecast future system failures before they emerge, making latent predictive models such as JEPA a promising framework for capturing precursor dynamics. However, directly applying continuous self-distillation to time-series data is often unstable and can lead to representation collapse, while also struggling to model precursors evolving at different temporal scales. To address this, we propose **SC-JEPA**, a new JEPA-based framework to model time-series anomaly prediction in a discretized predictive state space. It introduces a soft codebook bottleneck to stabilize latent predictive learning and encourage regime-level structure in the learned representations. Building on this stabilized latent space, we further design a multi-resolution predictive objective to capture precursor patterns at different temporal scales. Experiments on five benchmarks show that SC-JEPA achieves strong early-warning performance.
","absKo":"time-series anomaly prediction은 미래의 시스템 실패가 나타나기 전에 이를 예측하는 것을 목표로 하므로, JEPA와 같은 latent predictive model이 precursor dynamics를 포착하기 위한 유망한 framework가 된다. 그러나 continuous self-distillation을 time-series data에 직접 적용하면 종종 불안정하고 representation collapse로 이어질 수 있으며, 서로 다른 temporal scale에서 진화하는 precursor를 모델링하는 데도 어려움이 있다. 이를 해결하기 위해 우리는 discretized predictive state space에서 time-series anomaly prediction을 모델링하는 새로운 JEPA 기반 framework인 **SC-JEPA**를 제안한다. 이 방법은 latent predictive learning을 안정화하고 학습된 representation에 regime-level structure를 장려하기 위해 soft codebook bottleneck을 도입한다. 이렇게 안정화된 latent space 위에서, 우리는 서로 다른 temporal scale의 precursor pattern을 포착하기 위한 multi-resolution predictive objective도 설계한다. 다섯 개 benchmark에서의 실험은 SC-JEPA가 강력한 early-warning performance를 달성함을 보여준다.","link":"https://openreview.net/forum?id=SNjhsnUvhH"},{"id":"zwDRjyd0md","en":"TimeRouter: Efficient and Adaptive Routing of Time Series Foundation Models","ko":"TimeRouter: 시계열 파운데이션 모델의 효율적이고 적응적인 라우팅","authors":"Kanghui Ning, Yushan Jiang, Kashif Rasul, Anderson Schneider, Yuriy Nevmyvaka, Dongjin Song","abs":"Time-series foundation models (TSFMs) are increasingly explored as predictive experts within emerging agentic time-series systems. However, TSFMs exhibit heterogeneous inductive biases, and no single model consistently dominates across forecasting regimes, making expert selection a critical challenge. Existing systems often delegate this decision to LLM-based controllers, incurring substantial inference overhead. We present TimeRouter, an efficient routing framework that leverages empirical complementarity across a pool of pretrained TSFMs through lightweight discriminative routing, selective gating, and ensemble fallback. Concretely, TimeRouter combines a learned routing head, a selective gate, and an ensemble fallback, enabling adaptive expert selection without invoking an LLM at inference time. TimeRouter achieves state-of-the-art performance on the GIFT-EVAL leaderboard, with an LB MASE of 0.6765. Beyond benchmark performance, our ablation studies provide empirical insights into TSFM routing design, highlighting the importance of pool composition and selective gating. Taken together, these results position TimeRouter as a modular and lightweight routing layer for future agentic time-series systems built upon foundation-model pools.
","absKo":"Time-series foundation model(TSFM)은 emerging agentic time-series system에서 predictive expert로 점점 더 많이 탐색되고 있다. 그러나 TSFM은 이질적인 inductive bias를 보이며, 어떤 단일 모델도 forecasting regime 전반에서 일관되게 우세하지 않기 때문에 expert selection이 핵심 과제가 된다. 기존 시스템은 종종 이 결정을 LLM 기반 controller에 맡기며, 상당한 inference overhead를 초래한다. 우리는 사전 학습된 TSFM 풀 간의 실증적 상보성을 lightweight discriminative routing, selective gating, ensemble fallback을 통해 활용하는 효율적인 routing framework인 TimeRouter를 제시한다. 구체적으로 TimeRouter는 learned routing head, selective gate, ensemble fallback을 결합하여 inference 시 LLM을 호출하지 않고도 적응적 expert selection을 가능하게 한다. TimeRouter는 GIFT-EVAL leaderboard에서 LB MASE 0.6765로 state-of-the-art 성능을 달성한다. benchmark 성능을 넘어, 우리의 ablation study는 TSFM routing 설계에 대한 실증적 통찰을 제공하며, pool composition과 selective gating의 중요성을 강조한다. 종합하면, 이 결과는 TimeRouter를 foundation-model pool 위에 구축되는 미래의 agentic time-series system을 위한 modular하고 lightweight한 routing layer로 자리매김하게 한다.","link":"https://openreview.net/forum?id=zwDRjyd0md"},{"id":"CJd8EW3Oqj","en":"Aligning LLMs with Human Uncertainty: A Beta-Bernoulli Calibrator for LLM Forecasting","ko":"인간의 불확실성과 정렬하기: LLM 예측을 위한 Beta-Bernoulli calibrator","authors":"Hui Dai, Ryan Teehan, Parsa Torabian, Mengye Ren","abs":"Probabilistic forecasting estimates the likelihood of uncertain future events. To improve LLM forecasting, existing methods typically learn from binary outcomes to output verbalized forecasts. However, while aggregated human forecasts contain rich information in both the crowd probability estimate and the degree of agreement among forecasters, how to utilize these signals remains underexplored. To address this, we propose the Beta-Bernoulli Calibrator (BBC), which converts an initial point estimate forecast from any model into a distribution over event likelihood, using supervision from both binary outcomes and human forecasts. BBC models event likelihood $p \\sim \\text{Beta}(\\alpha, \\beta)$ and outcome $y \\sim \\text{Bernoulli}(p)$, with the mean as the calibrated point forecast and the variance as the epistemic uncertainty. Our results show that BBC generally provides better calibrated and more accurate forecasts than both traditional post-hoc calibration methods and models fine-tuned specifically for forecasting, while remaining lightweight and having good generalization. We also show that the epistemic uncertainty captured by BBC is a more reliable predictor of forecasting error than verbalized confidence.
","absKo":"Probabilistic forecasting은 불확실한 미래 사건이 발생할 가능성을 추정한다. LLM forecasting을 개선하기 위해 기존 방법은 일반적으로 binary outcome에서 학습하여 verbalized forecast를 출력한다. 그러나 집계된 human forecast는 crowd probability estimate와 forecaster들 사이의 합의 정도 모두에 풍부한 정보를 담고 있음에도, 이러한 신호를 어떻게 활용할지는 아직 충분히 탐구되지 않았다. 이를 해결하기 위해 우리는 Beta-Bernoulli Calibrator (BBC)를 제안한다. 이는 binary outcome과 human forecast 양쪽의 supervision을 사용하여 어떤 model의 초기 point estimate forecast를 사건 발생 가능성에 대한 분포로 변환한다. BBC는 사건 가능성을 $p \\sim \\text{Beta}(\\alpha, \\beta)$, 결과를 $y \\sim \\text{Bernoulli}(p)$로 모델링하며, 평균은 calibrated point forecast로, 분산은 epistemic uncertainty로 사용한다. 우리의 결과는 BBC가 전통적인 post-hoc calibration method와 forecasting에 특화해 fine-tuning한 model보다 일반적으로 더 잘 보정되고 더 정확한 forecast를 제공하면서도, 가볍고 generalization도 우수함을 보여준다. 또한 BBC가 포착한 epistemic uncertainty가 verbalized confidence보다 forecasting error의 더 신뢰할 만한 예측자임을 보인다.","link":"https://openreview.net/forum?id=CJd8EW3Oqj"},{"id":"SXVjN9VLeJ","en":"Alive and Predicting: A Live Evaluation of Multi-Step Forecasting Agents","ko":"살아 있는 예측: 다단계 예측 agent의 실시간 평가","authors":"Will Wu, Hui Dai, Mengye Ren","abs":"Large language models are increasingly capable forecasters, yet most of this capability has been measured by retrospective backtest on already-resolved questions, and recent live benchmarks score only the agent's final probability. We present a live, multi-step forecasting agent that operates autonomously on a major prediction market, with every intermediate forecast, retrieved evidence item, and tool invocation recorded and published in real time. Scoring forecasts by their information coefficient against the subsequent market movement, the agent beats a zero-shot baseline at every horizon from one day to one month after the forecast, with the largest margin in the first two weeks before the market converges toward the agent's earlier view. Because every reasoning step is recorded, we can identify which pipeline stages and tools contribute most to forecasting accuracy and surface agent pipeline design lessons.
","absKo":"Large language model은 점점 더 유능한 forecaster가 되고 있지만, 이 능력의 대부분은 이미 해결된 질문에 대한 retrospective backtest로 측정되어 왔고, 최근의 live benchmark는 에이전트의 최종 probability만을 점수화한다. 우리는 주요 prediction market에서 자율적으로 동작하는 live multi-step forecasting agent를 제시하며, 모든 중간 forecast, 검색된 evidence item, tool invocation을 실시간으로 기록하고 공개한다. 이후 시장 움직임에 대한 information coefficient로 forecast를 점수화하면, 에이전트는 예측 후 1일에서 1개월까지 모든 horizon에서 zero-shot baseline을 능가하며, 가장 큰 차이는 시장이 에이전트의 초기 견해에 수렴하기 전인 첫 2주 동안 나타난다. 모든 reasoning step이 기록되므로, 우리는 어떤 pipeline stage와 tool이 forecasting accuracy에 가장 크게 기여하는지 식별하고 agent pipeline 설계에 대한 교훈을 도출할 수 있다.","link":"https://openreview.net/forum?id=SXVjN9VLeJ"},{"id":"52YiEhiL35","en":"What Should We Forecast? Benchmarking Agents on Early Question Discovery","ko":"무엇을 예측해야 하는가? 초기 문제 발견에서 에이전트 벤치마킹","authors":"Keisuke Ueda, Robert West, Veniamin Veselovsky","abs":"Forecasting systems are usually evaluated after someone has already specified the question. HorizonBench evaluates the preceding step: whether an agent can identify which future uncertainties are worth forecasting before they become salient. We construct a set of later-resolved events from future news, give agents only cutoff-bounded historical news, and score whether their generated questions cover the same underlying uncertainties. Across 445 geopolitical events, frontier agents recover only a low-single-digit fraction of future-salient events at fixed candidate budgets, with substantial variation across models and event types. These results suggest that early question discovery remains a distinct bottleneck for AI forecasting.
","absKo":"Forecasting system은 대개 누군가가 이미 질문을 정의한 뒤에 평가된다. HorizonBench는 그 이전 단계, 즉 agent가 앞으로의 불확실성 중 무엇이 forecast할 가치가 있는지를 salient해지기 전에 식별할 수 있는지를 평가한다. 우리는 미래 news에서 나중에 해소된 event 집합을 구성하고, agent에게는 cutoff가 제한된 과거 news만 제공한 뒤, 생성한 질문이 같은 근본 불확실성을 포괄하는지 점수화한다. 445개의 geopolitical event 전반에서 frontier agent는 고정된 candidate budget에서 향후 salient한 event를 저단일 자릿수 비율만 회복했으며, model과 event type에 따라 큰 차이를 보였다. 이러한 결과는 early question discovery가 AI forecasting에서 여전히 별도의 병목임을 시사한다.","link":"https://openreview.net/forum?id=52YiEhiL35"},{"id":"jGrQOk2Xa0","en":"Temporally Supervised Linear Probes Improve LLM Forecasts","ko":"시간적으로 지도된 선형 프로브가 LLM 예측을 향상시킨다","authors":"Marius Binner","abs":"Large language models can verbalize probabilistic forecasts about the future,
but their verbalized probabilities may not fully reflect the
forecast-relevant information in their internal computations. We study
this gap by comparing verbalized probabilities with linear probes trained on the hidden activations that produced them.
In our experiments, probes beat raw verbalized probabilities, scalar recalibration, text-only embedding probes, and calibration-oriented prompt variants under a chronological split.
These results suggest a simple low-cost method for improving LLM forecasts when hidden activations are available.
","absKo":"Large language model은 미래에 대한 probabilistic forecast를 말로 표현할 수 있지만, 이렇게 verbalized된 probability가 내부 계산에 들어 있는 forecast 관련 정보를 온전히 반영하지는 않을 수 있다. 우리는 verbalized probability와 그것을 만들어낸 hidden activation에 대해 학습된 linear probe를 비교하여 이 간극을 연구한다.\n우리의 실험에서 probe는 chronological split 하에서 raw verbalized probability, scalar recalibration, text-only embedding probe, calibration-oriented prompt variant보다 더 나은 성능을 보였다.\n이 결과는 hidden activation을 사용할 수 있을 때 LLM forecast를 개선하는 간단하고 저비용인 방법을 시사한다.","link":"https://openreview.net/forum?id=jGrQOk2Xa0"},{"id":"8YeXiIc44s","en":"Do Language Models Update their Forecasts with New Information?","ko":"언어 모델은 새로운 정보로 예측을 갱신하는가?","authors":"Moy Yuan, Zifeng Ding, Andreas Vlachos","abs":"Prior work largely treats forecasting statically, ignoring how forecasts and confidence should evolve with new evidence. We introduce EvolveCast, a framework evaluating whether large language models (LLMs) appropriately revise forecasts given new information released after their training cutoff. Comparing LLMs against human forecasters, we find that while models show some responsiveness, their updates are consistently overly conservative. Furthermore, both verbalized and logits-based confidence estimates remain poorly calibrated compared to the human reference standard. These findings suggest current approaches (e.g., RAG) are insufficient for probabilistic reasoning; models treat new information as mere retrieval context rather than evidence that dynamically shifts posterior probabilities. EvolveCast highlights the critical need for robust mechanisms to incorporate external knowledge into belief updating.
","absKo":"이전 연구는 대부분 forecasting을 정적으로 다루며, 새로운 증거가 들어올 때 예측과 confidence가 어떻게 진화해야 하는지는 무시했다. 우리는 EvolveCast를 제안한다. 이 프레임워크는 large language model(LLM)이 training cutoff 이후에 공개된 새로운 정보를 바탕으로 예측을 적절히 수정하는지 평가한다. LLM과 human forecaster를 비교한 결과, 모델들은 어느 정도 반응성을 보이지만 업데이트는 일관되게 지나치게 보수적이었다. 또한 verbalized confidence와 logits-based confidence 모두 human reference standard에 비해 여전히 calibration이 좋지 않았다. 이러한 결과는 현재의 접근법(예: RAG)이 probabilistic reasoning에는 충분하지 않음을 시사한다. 모델은 새로운 정보를 posterior probability를 동적으로 이동시키는 증거가 아니라 단순한 retrieval context로 취급한다. EvolveCast는 external knowledge를 belief updating에 통합하는 견고한 메커니즘의 절실한 필요성을 강조한다.","link":"https://openreview.net/forum?id=8YeXiIc44s"},{"id":"l39W17uBcb","en":"Decision-Relevant Predictions with Joint Scoring Rules","ko":"공동 scoring rule을 이용한 의사결정 관련 예측","authors":"Rubi Hudson","abs":"When a decision-making principal wishes to elicit predictions from an agent using a proper scoring rule, the principal must specify the outcomes to be assigned probability. This can result in them either missing important considerations or facing too much information to process. We would instead like the agent making the prediction to provide the decision-relevant set of outcomes. This could be either the simplest set of outcomes leading the principal to the decision they would make under full information, or the simplest set of outcomes where no further information would change the principal's decision. We show that it is impossible to strictly incentivize an agent to provide these sets, but that it can be done with two or more agents evaluated jointly. This is done by rewarding agents refining the outcome set in a way that changes the principal's decision. We then show how to adapt the mechanism to elicit a prediction in simplified form, for cases where the set of possible outcomes is very large or continuous. These mechanisms can be used to augment human judgment, and in the AI training process for auditing and aligning their decision making.
","absKo":"의사결정 주체가 proper scoring rule을 사용해 에이전트로부터 예측을 이끌어내고자 할 때, 주체는 어떤 결과들에 확률을 부여할지 명시해야 한다. 이 과정은 중요한 고려사항을 놓치게 하거나, 너무 많은 정보를 처리해야 하는 상황을 초래할 수 있다. 우리는 대신 예측을 수행하는 에이전트가 의사결정에 관련된 결과 집합을 제공하길 원한다. 이는 주체가 완전한 정보 하에서 내릴 결정으로 이끄는 가장 단순한 결과 집합일 수도 있고, 추가 정보가 더 이상 주체의 결정을 바꾸지 못하는 가장 단순한 결과 집합일 수도 있다. 우리는 에이전트가 이러한 집합을 제공하도록 엄격하게 동기부여하는 것은 불가능하다는 것을 보이지만, 두 명 이상의 에이전트를 공동 평가하면 가능하다는 것을 보인다. 이는 주체의 결정을 바꾸는 방식으로 결과 집합을 정제하는 에이전트에게 보상을 주는 방식으로 이뤄진다. 이어서 가능한 결과의 집합이 매우 크거나 연속적인 경우를 위해, 단순화된 형태의 예측을 유도하도록 메커니즘을 어떻게 조정할 수 있는지도 보인다. 이러한 메커니즘은 인간 판단을 보완하는 데 사용할 수 있으며, AI training process에서 그들의 의사결정을 감사하고 정렬하는 데에도 활용될 수 있다.","link":"https://openreview.net/forum?id=l39W17uBcb"},{"id":"Qaxb5pqRkj","en":"Preference Optimization Drives Monoculture in LLM Prediction Markets","ko":"선호도 최적화가 LLM 예측 시장에서 단일문화를 촉진한다","authors":"James Begin, Brendan Gho, Suman Muppavarapu, Tyson Tsay, Atharva Mohan, Afnan Shaik, Ruizhe Li, Vasu Sharma, Archana Vaidheeswaran, Kevin Zhu","abs":"Prediction markets rest on the independence of participant errors.
As LLM agents become active traders on platforms like Kalshi and
Polymarket, we ask: does this independence hold when the crowd is
composed of LLMs? We find it does not. LLM agents fine-tuned with
Direct Preference Optimization (DPO) share a convergent output
distribution, producing pairwise error correlations of $\\rho = 0.70$
and reducing ten agents to the effective forecasting power of
${\\approx}1.4$ independent forecasters ($N_{\\text{eff}}$).
This is not a scaling problem: $N_{\\text{eff}}$ remains flat from $N=5$ to $N=40$, and the 10-agent market
(67.6\\%) fails to match a single standalone agent (70.2\\%). Two
controlled ablations isolate DPO as the causal driver ($\\Delta\\rho =
+0.46$ on identical SFT weights; replicated at 8B and 70B scale). Among
mitigations tested, only cross-model diversity (reducing $\\rho$ from
0.68 to 0.40) survives adversarial pressure. As LLMs become more
aligned, markets built from them become more monocultural.
","absKo":"예측 시장은 참가자 오류의 독립성에 기반한다.\nLLM agent가 Kalshi와 Polymarket 같은 플랫폼에서 능동적 trader로 활동하기 시작하면서, 우리는 묻는다: 군집이 LLM으로 구성될 때도 이 독립성이 성립하는가? 우리의 결과는 그렇지 않다는 것이다. Direct Preference Optimization (DPO)로 fine-tune된 LLM agent들은 수렴하는 출력 분포를 공유하며, 그 결과 쌍별 오류 상관계수는 $\\rho = 0.70$에 이르고, 10개의 agent를 실질적으로 약 ${\\approx}1.4$개의 독립적 예측자에 해당하는 예측력($N_{\\text{eff}}$)으로 줄인다.\n이는 scaling 문제와는 다르다. $N_{\\text{eff}}$는 $N=5$에서 $N=40$까지 평평하게 유지되며, 10-agent 시장(67.6\\%)은 단일 standalone agent(70.2\\%)에도 미치지 못한다. 두 개의 통제된 ablation은 동일한 SFT weights에서 DPO를 인과적 원인으로 분리해낸다($\\Delta\\rho = +0.46$; 8B와 70B scale에서 재현됨). 테스트한 완화책 중에서는 cross-model diversity만이 adversarial pressure를 견디며($\\rho$를 0.68에서 0.40으로 감소), LLM이 더 aligned될수록 그것들로 구성된 시장은 더 단일문화적이 된다는 점을 보여준다.","link":"https://openreview.net/forum?id=Qaxb5pqRkj"},{"id":"Pn1mlWbDEf","en":"Simulation-Augmented Multi-Step Split Conformal Prediction for Aggregated Forecasts","ko":"집계 예측을 위한 시뮬레이션 증강 다단계 split conformal prediction","authors":"Andro Sabashvili","abs":"We study uncertainty quantification for aggregated forecasting tasks such as annual totals and year-over-year growth rates. We propose SA-MSCP, a simulation-augmented multi-step split conformal method that generates future paths from cross-validated residuals using a block bootstrap and constructs prediction intervals from empirical quantiles. Experiments show that SA-MSCP improves empirical coverage over a simulated-path baseline for aggregated and growth-rate targets. Our results demonstrate that simulation-enhanced conformal calibration is an effective and general framework for uncertainty quantification in aggregated time-series forecasting.
","absKo":"우리는 연간 합계와 전년 대비 성장률 같은 aggregated forecasting task에서의 uncertainty quantification을 연구한다. 우리는 SA-MSCP를 제안한다. 이는 block bootstrap을 사용해 cross-validated residual로부터 미래 경로를 생성하고, empirical quantile로 prediction interval을 구성하는 simulation-augmented multi-step split conformal method이다. 실험 결과 SA-MSCP는 aggregated target과 growth-rate target 모두에서 simulated-path baseline보다 empirical coverage를 개선한다. 우리의 결과는 simulation으로 강화된 conformal calibration이 aggregated time-series forecasting에서 uncertainty quantification을 위한 효과적이고 일반적인 프레임워크임을 보여준다.","link":"https://openreview.net/forum?id=Pn1mlWbDEf"},{"id":"JgekLYbn9w","en":"Beyond Forecasting: The Belief-to-Trade Layer in Prediction-Market Agents","ko":"예측을 넘어서: prediction market agent의 belief-to-trade 계층","authors":"Yishu Wang, Yuxuan Wang, Jiaqi Deng, Hanyang Tang","abs":"Forecasting future events has attracted growing attention as a testbed for general-purpose AI. A natural way to ground this evaluation is let the models trade in the prediction markets. Trading, however, requires more than forecasting. Moreover, recent benchmarks report a substantial gap between calibrated probability scores and the trading results. We propose Raven-Agent, to the best of our knowledge, the first autonomous trading agent for prediction markets. On a controlled replay over an archived decision set, our architecture achieves the only positive return and the only positive risk-adjusted return among all tested policies. We have released our code in https://github.com/Alchemist-X/predict-raven
","absKo":"미래 사건 예측은 범용 AI의 테스트베드로서 점점 더 큰 주목을 받고 있다. 이 평가를 정당화하는 자연스러운 방법은 모델이 prediction market에서 거래하도록 하는 것이다. 그러나 trading에는 forecasting 이상의 것이 필요하다. 또한 최근 benchmark는 calibrated probability score와 trading 결과 사이에 상당한 격차가 있음을 보고한다. 우리는 Raven-Agent를 제안한다. 우리가 아는 한, 이는 prediction market을 위한 최초의 autonomous trading agent이다. archived decision set에 대한 controlled replay에서, 우리의 architecture는 테스트한 모든 policy 중 유일하게 positive return과 positive risk-adjusted return을 달성한다. 코드는 https://github.com/Alchemist-X/predict-raven 에 공개했다.","link":"https://openreview.net/forum?id=JgekLYbn9w"},{"id":"oBvLAlzGq3","en":"Latent Stochastic Interpolants for Probabilistic Time Series Forecasting","ko":"확률적 시계열 예측을 위한 잠재 확률적 보간자","authors":"Max Bourgeat, Sobihan Surendran","abs":"Deep learning has achieved strong performance in time series forecasting, yet probabilistic forecasting remains challenging due to the need to represent uncertainty, multimodality, and temporal dependence across future trajectories. Motivated by the success of latent-space generative models in domains such as image and text generation, we investigate latent generative modeling for probabilistic time series forecasting. We propose Latent Stochastic Interpolants, a conditional latent generative framework that learns expressive latent dynamics using stochastic interpolants. Our method combines a recurrent encoder that summarizes historical observations and covariates, a conditional latent stochastic interpolant, and a probabilistic decoder to model conditional future trajectories. We show that the corresponding conditional stochastic interpolant objective recovers the optimal conditional velocity field, providing a principled justification for the proposed method. Empirically, the proposed approach achieves competitive results compared with existing generative forecasting methods on standard benchmark datasets.
","absKo":"deep learning은 time series forecasting에서 강한 성능을 달성했지만, probabilistic forecasting은 미래 trajectory 전반에 걸친 uncertainty, multimodality, temporal dependence를 표현해야 하므로 여전히 어렵다. image 및 text generation과 같은 domain에서 latent-space generative model의 성공에 동기부여를 받아, 우리는 probabilistic time series forecasting을 위한 latent generative modeling을 연구한다. 우리는 stochastic interpolant를 사용해 표현력이 풍부한 latent dynamics를 학습하는 conditional latent generative framework인 Latent Stochastic Interpolants를 제안한다. 우리의 방법은 과거 관측치와 covariate를 요약하는 recurrent encoder, conditional latent stochastic interpolant, 그리고 probabilistic decoder를 결합하여 conditional future trajectory를 모델링한다. 우리는 해당 conditional stochastic interpolant objective가 optimal conditional velocity field를 복원함을 보이며, 이를 통해 제안 방법에 원리적 정당성을 제공한다. 실험적으로 제안한 접근법은 표준 benchmark dataset에서 기존 generative forecasting 방법과 비교해 경쟁력 있는 결과를 달성한다.","link":"https://openreview.net/forum?id=oBvLAlzGq3"},{"id":"mUDSfYM8jv","en":"Forecasts as a Behavioral Probe of Language Models","ko":"언어 모델의 행동적 탐침으로서의 예측","authors":"Simon Mahns, Elliot James Paschal, Nicole Kagan","abs":"We use probabilistic forecasting as a black-box behavioral probe of latent beliefs in language models. Eight open-weight LLMs forecast 75 resolved binary questions across five issue axes, each paired with a polarity-inverted twin and elicited under pro/anti framing primes. The probe surfaces belief-like structure: forecasts share an axis-level lean across models, shift predictably under priming, and remain partially coherent under polarity inversion (median complement error $0.13$). But the signal is partial. Only one of five axes survives a polarity-coding control, and the priming effect cannot be separated from compliance with assertive prompts. Forecasting is a usable probe for LLM priors, but apparent model ``views'' depend heavily on how questions are coded, inverted, and framed.
","absKo":"우리는 언어 모델의 잠재적 신념을 black-box 방식으로 탐지하기 위한 행동적 probe로 probabilistic forecasting을 사용한다. 8개의 open-weight LLM이 다섯 개 issue axis에 걸친 75개의 해결된 binary question을 예측하며, 각 질문은 polarity가 반전된 twin을 갖고 pro/anti framing prime 아래에서 유도된다. 이 probe는 belief-like structure를 드러낸다: 예측은 모델들 사이에서 axis 수준의 경향을 공유하고, priming에 따라 예측 가능하게 변하며, polarity inversion 아래에서도 부분적으로 일관성을 유지한다(median complement error $0.13$). 그러나 신호는 부분적이다. 다섯 축 중 단 하나만이 polarity-coding control을 통과하며, priming effect는 assertive prompt에 대한 순응과 분리할 수 없다. Forecasting은 LLM prior를 탐지하는 데 쓸 수 있는 probe이지만, 겉으로 보이는 모델의 ``views''는 질문이 어떻게 coding되고, inverted되며, framed되는지에 크게 좌우된다.","link":"https://openreview.net/forum?id=mUDSfYM8jv"},{"id":"qvaYT6ZNOd","en":"HMTMO-GP: Hierarchical Multi-Task Multi-Output Gaussian Processes","ko":"HMTMO-GP: 계층적 다중 작업 다중 출력 Gaussian Processes","authors":"Yan Chen, Ti-chiun Chang, Kevin Stone","abs":"Machine learning models often employ a multi-task/multi-output (MTMO) architecture to tackle data scarcity by exploiting structural correlation. In this work, we extend Gaussian processes (GP) for hierarchical MTMO problems, referred to as HMTMO-GP, which leverages GP probabilistic modeling for data-efficient learning and intrinsic uncertainty estimation. Our results on gene expression time series and an antibody solution viscosity dataset demonstrate that HMTMO-GP delivers strong predictive accuracy and well‑calibrated uncertainty estimates compared to existing multi‑task or multi‑output GP models.
","absKo":"Machine learning 모델은 데이터 희소성을 완화하고 structural correlation을 활용하기 위해 multi-task/multi-output(MTMO) architecture를 자주 사용합니다. 이 연구에서는 hierarchical MTMO 문제를 위한 Gaussian processes(GP)를 확장한 HMTMO-GP를 제안합니다. 이는 data-efficient learning과 intrinsic uncertainty estimation을 위해 GP probabilistic modeling을 활용합니다. gene expression time series와 antibody solution viscosity dataset에서의 결과는, HMTMO-GP가 기존의 multi-task 또는 multi-output GP 모델보다 뛰어난 예측 정확도와 잘 보정된 uncertainty estimate를 제공함을 보여줍니다.","link":"https://openreview.net/forum?id=qvaYT6ZNOd"},{"id":"aqoyILOwDn","en":"Polynomial Input Preconditioning for Zero-Shot Time Series Forecasting","ko":"제로샷 시계열 예측을 위한 다항식 입력 전처리","authors":"Jerry Han, Alex Kawaja, Benjamin Cole, Elad Hazan","abs":"Universal Sequence Preconditioning (USP) is a theoretical framework for online sequence prediction that preprocesses observations via fixed polynomial convolution to achieve hidden-dimension-free sublinear regret for marginally stable linear dynamical systems, and this paper investigates whether these techniques transfer empirically to zero-shot patch-based transformer time-series forecasters like Moirai 2.0. The proposed method, polynomial input preconditioning, concatenates the preconditioned signal as an auxiliary input channel while leaving the forecast target unchanged, adding only 0.11% additional parameters while improving a Moirai 2.0 Small baseline by 2.9% geometric-mean MASE on GIFT-Eval with similar gains on FEVBench. The gains persist at a 100K-step training budget with a larger relative gap and lower cross-seed variance than the matched baseline, and the method performs especially well on longer prediction horizons, achieving a 5.4% improvement on long-horizon tasks. Capacity-matched zero and duplicate-channel controls confirm that the performance gains stem from the polynomial content itself rather than the marginal parameter increase, suggesting that theory-guided structural priors injected before tokenization offer a lightweight path to improving time-series foundation model performance without scaling model size or attention complexity.
","absKo":"Universal Sequence Preconditioning(USP)은 고정된 polynomial convolution으로 관측치를 전처리하여 marginally stable linear dynamical system에서 hidden-dimension-free sublinear regret를 달성하는 online sequence prediction의 이론적 framework이며, 본 논문은 이러한 기법이 Moirai 2.0과 같은 zero-shot patch-based transformer time-series forecaster로 실증적으로 전이되는지를 조사한다. 제안하는 polynomial input preconditioning 방법은 forecast target은 변경하지 않은 채 전처리된 signal을 보조 입력 채널로 concatenation하며, 0.11%의 추가 parameter만 더하면서 GIFT-Eval에서 Moirai 2.0 Small baseline을 geometric-mean MASE 기준 2.9% 개선하고, FEVBench에서도 유사한 향상을 보인다. 이러한 개선은 100K-step training budget에서도 더 큰 상대 격차와 매칭된 baseline보다 낮은 cross-seed variance로 유지되며, 이 방법은 특히 더 긴 prediction horizon에서 성능이 좋고, long-horizon task에서 5.4% 개선을 달성한다. capacity-matched zero-channel 및 duplicate-channel control은 성능 향상이 미미한 parameter 증가가 아니라 polynomial content 자체에서 비롯됨을 확인하며, tokenization 이전에 주입되는 theory-guided structural prior가 model size나 attention complexity를 확장하지 않고도 time-series foundation model 성능을 개선하는 가벼운 경로를 제공함을 시사한다.","link":"https://openreview.net/forum?id=aqoyILOwDn"},{"id":"wT44VGxSzR","en":"WorldFork: Auditable Branching Rollouts for LLM Forecasting","ko":"WorldFork: LLM 예측을 위한 감사 가능한 분기 롤아웃","authors":"Hanson Wen, Shing Cheung James Gui","abs":"Forecasting agents should produce not only calibrated probabilities, but also inspectable records of the assumptions and evidence that support those probabilities. We introduce WorldFork, an auditable branching-rollout protocol for LLM forecasting that turns a public event card into a multiverse of branching timelines with actors, constraints, candidate endpoints, branch lineage, path mass, endpoint ledgers, and report provenance. On 24 masked retrospective resolved-event cards, unconditional branching reduces WorldFork Brier score from 0.282 to 0.214, improves log score from 0.725 to 0.581, and yields lower per-card Brier loss than no-branch rollouts on 17 of 24 cases under an exact zero-difference comparison; a fixed 50/50 blend with a direct JSON forecast reaches Brier 0.205. These results are pilot evidence rather than a confirmatory benchmark: retrospective masking only partially controls leakage, the sign test is suggestive but not significant ($p=0.064$), and a card-bootstrap confidence interval includes zero. A post-hoc error analysis suggests a bias--variance pattern in which branching preserves otherwise-missed endpoint mass, but can dilute no-branch forecasts that were already decisive and correct. The main contribution is therefore a forecast object and audit protocol that make branching assumptions, unresolved mass, and mechanism claims inspectable for future locked evaluations.
","absKo":"forecasting agent는 보정된 확률뿐 아니라, 그 확률을 지지하는 가정과 증거의 검사 가능한 기록도 생성해야 한다. 우리는 공개 이벤트 카드를 actors, constraints, candidate endpoints, branch lineage, path mass, endpoint ledger, report provenance를 포함하는 분기된 다중 우주 타임라인으로 변환하는, LLM forecasting을 위한 감사 가능한 branching-rollout 프로토콜 WorldFork를 제안한다. 24개의 masked retrospective resolved-event card에서, unconditional branching은 WorldFork Brier score를 0.282에서 0.214로 낮추고, log score를 0.725에서 0.581로 개선했으며, exact zero-difference comparison 하에서 24개 중 17개 사례에서 no-branch rollout보다 더 낮은 카드당 Brier loss를 보였다. direct JSON forecast와의 고정 50/50 혼합은 Brier 0.205를 달성했다. 이러한 결과는 confirmatory benchmark가 아니라 파일럿 증거이다. retrospective masking은 leakage를 부분적으로만 통제하며, sign test는 시사적이지만 유의하지 않고($p=0.064$), card-bootstrap confidence interval은 0을 포함한다. 사후 error analysis는 branching이 원래 놓쳤을 수 있는 endpoint mass를 보존하지만, 이미 결정적이고 정확했던 no-branch forecast를 희석시킬 수 있는 bias--variance 패턴을 시사한다. 따라서 본 기여의 핵심은 미래의 locked evaluation을 위해 branching 가정, unresolved mass, mechanism claim을 검사 가능하게 만드는 forecast object와 audit protocol이다.","link":"https://openreview.net/forum?id=wT44VGxSzR"},{"id":"9iQtBHHBBx","en":"SciPaths: Forecasting Pathways to Scientific Discovery","ko":"SciPaths: 과학적 발견으로 가는 경로 예측","authors":"Eric Chamoun, Yizhou Chi, Yulong Chen, RUI CAO, Zifeng Ding, Michalis Korakakis, Andreas Vlachos","abs":"Scientific forecasting benchmarks often ask models to predict future papers, citations, or ideas. We introduce discovery pathway forecasting: given a target scientific contribution and the prior literature available at a specified time, models must identify the enabling contributions required to make the target feasible and determine which, if any, are realized by prior work. To support this task, we present SciPaths, a benchmark of 262 expert-annotated gold pathways and 2,444 silver pathways from machine learning and natural language processing papers. Each pathway records enabling contributions, functional roles, rationales, and prior-work groundings or unmapped decisions. Evaluating frontier and open-weight language models, we find that current systems recover only a small fraction of expert pathways under strict semantic matching, with the best model reaching 0.189 F1 and core methodological dependencies hardest to identify. Prior-work grounding improves substantially when gold enabling contributions are provided, indicating that decomposition quality is a major bottleneck for end-to-end scientific forecasting. SciPaths shifts evaluation from predicting relevant papers or isolated ideas toward forecasting the dependency structure that makes scientific contributions feasible.
","absKo":"Scientific forecasting benchmark은 종종 모델에게 미래 paper, citation, 또는 idea를 예측하도록 요구한다. 우리는 discovery pathway forecasting을 도입한다: 주어진 target scientific contribution과 특정 시점에 이용 가능한 prior literature를 바탕으로, 모델은 해당 target을 실현 가능하게 만드는 데 필요한 enabling contribution을 식별하고, 그중 어떤 것이 prior work에 의해 이미 실현되었는지 판별해야 한다. 이 task를 지원하기 위해, 우리는 machine learning과 natural language processing paper에서 추출한 262개의 expert-annotated gold pathway와 2,444개의 silver pathway로 구성된 benchmark인 SciPaths를 제시한다. 각 pathway는 enabling contribution, functional role, rationale, 그리고 prior-work grounding 또는 unmapped decision을 기록한다. frontier 및 open-weight language model을 평가한 결과, 현재 시스템은 strict semantic matching 하에서 expert pathway의 극히 일부만 복원하며, 최고의 model도 F1 0.189에 그쳤고 핵심 methodological dependency를 식별하는 것이 가장 어려웠다. gold enabling contribution이 제공되면 prior-work grounding은 크게 향상되며, 이는 decomposition quality가 end-to-end scientific forecasting의 주요 병목임을 시사한다. SciPaths는 평가의 초점을 관련 paper나 고립된 idea를 예측하는 데서 벗어나, scientific contribution을 가능하게 하는 dependency structure를 예측하는 방향으로 전환한다.","link":"https://openreview.net/forum?id=9iQtBHHBBx"},{"id":"Vu3NvCY2jo","en":"Auditing Actionability in AI Forecasting Interfaces","ko":"AI 예측 인터페이스에서 actionability 감사","authors":"Srinivas Raghav V C, Aditya Sri Ram Barnala","abs":"AI forecasting systems are often evaluated by predictive accuracy or calibration, yet they are frequently deployed as interfaces for action. This creates a gap: a forecast may be accurate for its target while hiding distinctions needed to choose the right intervention. We study this gap as a problem of decision sufficiency. Given an exposed forecast interface $I(X)$ and a declared decision query $q(X)$, we ask whether the information available at decision time is sufficient for the downstream action. We introduce an actionability audit based on prospective certificates. A certificate $C$ is accepted only when it is available before action, passes identification and provenance checks, improves held-out decision regret beyond forecast-only repairs, and leaves residual risk within the declared claim level. Its value is measured as $CV(C;I,q)=R^\\star(I;q)-R^\\star((I,C);q)$. The audit returns one of four verdicts: certify, refine, lower the claim, or refuse. Across controlled, semi-real, and real forecasting settings, the protocol identifies positive score-cell refinement on X5 RetailHero and partial user-level refinement on Drink Less, while refusing or lowering claims on myBPmyLife, HeartSteps, and iFlex when evidence is non-deployable, weak, or supports only a coarser decision level. The results show that actionability should be treated as a gated statistical claim about the deployed forecast interface, not as a property inherited from predictive accuracy.
","absKo":"AI forecasting system은 종종 predictive accuracy나 calibration으로 평가되지만, 실제로는 행동을 위한 interface로 배포되는 경우가 많다. 이로 인해 갭이 발생한다. 즉, 어떤 forecast는 target에 대해서는 정확하더라도, 올바른 intervention을 선택하는 데 필요한 구분을 숨길 수 있다. 우리는 이 갭을 decision sufficiency의 문제로 본다. 노출된 forecast interface $I(X)$와 선언된 decision query $q(X)$가 주어졌을 때, 우리는 decision time에 이용 가능한 정보가 downstream action에 충분한지를 묻는다. 우리는 prospective certificate를 기반으로 한 actionability audit를 도입한다. certificate $C$는 행동 이전에 이용 가능하고, identification 및 provenance 검사를 통과하며, forecast-only repair보다 held-out decision regret를 개선하고, residual risk를 선언된 claim level 이내로 유지할 때에만 수용된다. 그 가치는 $CV(C;I,q)=R^\\star(I;q)-R^\\star((I,C);q)$로 측정된다. audit는 certify, refine, lower the claim, refuse의 네 가지 verdict 중 하나를 반환한다. 통제된 forecasting setting, 준실제(semi-real) setting, 실제(real) setting 전반에서, 이 protocol은 X5 RetailHero에서 positive score-cell refinement를, Drink Less에서 부분적인 user-level refinement를 식별하는 반면, 증거가 deployable하지 않거나 약하거나 더 거친 decision level만을 지지할 때는 myBPmyLife, HeartSteps, iFlex에서 claim을 거부하거나 낮춘다. 결과는 actionability가 predictive accuracy로부터 상속되는 속성이 아니라, 배포된 forecast interface에 대한 gated statistical claim으로 취급되어야 함을 보여준다.","link":"https://openreview.net/forum?id=Vu3NvCY2jo"},{"id":"23WjbgikEQ","en":"Forward-Chaining Temporal Point Process","ko":"순방향 체이닝 temporal point process","authors":"Chao Yang, Wendi Ren, Shuang Li","abs":"We propose Forward-Chaining Temporal Point Process (FC-TPP), a neuro-symbolic framework that maintains a predicate-level latent state updated via differentiable multi-hop forward chaining. Instead of conditioning directly on raw histories, future events are generated from a logic-completed latent state, enabling constraint-aware and controllable forecasting. Experiments on synthetic and real-world datasets (MIMIC-IV, LogiCity, EPIC-100) show that FC-TPP improves generation and forecasting quality under limited data, achieves stronger rule adherence, and provides interpretable control over predicted trajectories.
","absKo":"우리는 Forward-Chaining Temporal Point Process (FC-TPP)를 제안한다. 이는 predicate-level latent state를 differentiable multi-hop forward chaining으로 업데이트하는 neuro-symbolic framework이다. raw histories에 직접 조건을 거는 대신, 미래 이벤트를 logic-completed latent state로부터 생성함으로써 constraint-aware하고 controllable한 forecasting을 가능하게 한다. synthetic 및 real-world datasets (MIMIC-IV, LogiCity, EPIC-100)에서의 실험은 FC-TPP가 limited data 환경에서 generation 및 forecasting quality를 향상시키고, 더 강한 rule adherence를 달성하며, predicted trajectories에 대한 interpretable control을 제공함을 보여준다.","link":"https://openreview.net/forum?id=23WjbgikEQ"},{"id":"8ryqliR6m3","en":"Physics-Informed Bidirectional Graph Networks for Traffic Prediction: Deriving Message Passing Direction from Traffic Flow Theory","ko":"교통 예측을 위한 physics-informed 양방향 graph network: 교통 흐름 이론으로부터 message passing 방향 유도하기","authors":"Benjamin Lartey","abs":"Traffic prediction is essential for intelligent transportation systems, yet existing graph neural networks treat spatial message passing as direction-agnostic, ignoring the physics of traffic wave propagation. We propose RA-BiGN, a physics-informed bidirectional graph network that derives its message passing direction from the Lighthill-Whitham-Richards (LWR) traffic flow model. Our key insight is that the characteristic speed $c = v_f(1 - 2\\rho/\\rho_{\\max})$ determines whether information propagates downstream (free-flow, $c > 0$) or upstream (congestion/shockwaves, $c < 0$). We embed this physics into a learnable propagation weight $\\alpha$ that dynamically balances bidirectional graph convolution based on local traffic state. Experiments on PEMS04 and PEMS08 demonstrate competitive performance with state-of-the-art methods, while ablations confirm that physics-informed $\\alpha$ outperforms uniform weighting. Crucially, visualizations show the learned $\\alpha$ correlates with speed and occupancy exactly as LWR theory predicts, validating our physics-grounded design. Our work suggests that incorporating domain-specific physical laws into GNN architectures is a promising direction for spatiotemporal forecasting.
","absKo":"교통 예측은 지능형 교통 시스템에서 필수적이지만, 기존 graph neural network는 spatial message passing을 direction-agnostic하게 다루어 교통 파동 전파의 물리를 무시한다. 우리는 Lighthill-Whitham-Richards(LWR) 교통 흐름 모델로부터 message passing 방향을 도출하는 physics-informed bidirectional graph network인 RA-BiGN을 제안한다. 우리의 핵심 통찰은 characteristic speed $c = v_f(1 - 2\\rho/\\rho_{\\max})$가 정보가 하류로 전파되는지(free-flow, $c > 0$) 또는 상류로 전파되는지(congestion/shockwaves, $c < 0$)를 결정한다는 점이다. 우리는 이 물리를 지역 교통 상태에 따라 bidirectional graph convolution을 동적으로 균형 조정하는 learnable propagation weight $\\alpha$에 통합한다. PEMS04와 PEMS08에서의 실험은 state-of-the-art method와 경쟁력 있는 성능을 보여주며, ablation은 physics-informed $\\alpha$가 uniform weighting보다 우수함을 확인한다. 특히 시각화 결과 learned $\\alpha$가 LWR 이론이 예측하는 그대로 speed 및 occupancy와 상관됨을 보여주어, 우리의 physics-grounded design을 검증한다. 우리의 연구는 domain-specific physical law를 GNN architecture에 통합하는 것이 spatiotemporal forecasting을 위한 유망한 방향임을 시사한다.","link":"https://openreview.net/forum?id=8ryqliR6m3"}];window.dispatchEvent(new CustomEvent("papers-loaded",{detail:"54091"}));