A fraud scorer needs to answer in under 2 ms. The strongest tabular foundation models (TFMs) take 151 to 1,275 ms on GPU. We close this gap by distilling the TFM offline into an XGBoost or CatBoost student that runs natively on CPU. The central obstacle is specific to in-context learning: when an ICL teacher scores an example that already lives in its own context, the output collapses to a near one-hot vector and carries no inter-class structure to distill. Stratified out-of-fold (OOF) teacher labeling removes this leakage and is the only component of the pipeline that is genuinely required.
We benchmark this recipe across 153 classification datasets drawn from TALENT, OpenML-CC18, TabZilla, TabArena, with four TFM teachers and four student families. Distilling TabICLv2 into XGBoost yields a macro-mean ROC-AUC of 0.882 (97.1% of TabICLv2's solo AUC; 96.5% of the per-dataset best-teacher AUC) at 1.9 ms on a single CPU core, 79x faster than the teacher, and beats a tuned CatBoost baseline on 51% of datasets (Wilcoxon p=0.0008; wins average +0.021 AUC, losses -0.010). Four secondary findings sharpen the picture. Teacher rank transfers exactly to student rank for the GBDT student families, but inverts at the top for MLP students. Gains concentrate on low-dimensional data (<=21 features: +0.011 over CatBoost, n=79; >21 features: +0.001, n=74); on high-dimensional tasks where the teacher itself trails CatBoost, distillation makes things worse. Multi-teacher averaging adds +0.006 AUC for MLP students (p=0.003) but is practically negligible for tree students (+0.0006).
","absKo":"fraud scorer는 2 ms 이내에 응답해야 한다. 가장 강력한 tabular foundation model(TFM)은 GPU에서 151 ms에서 1,275 ms가 걸린다. 우리는 TFM을 오프라인으로 XGBoost 또는 CatBoost student로 distillation하여 CPU에서 네이티브로 실행되도록 함으로써 이 격차를 좁힌다. 핵심 장애물은 in-context learning에 특유하다. 즉, ICL teacher가 이미 자신의 context 안에 존재하는 예제를 점수화하면 출력이 거의 one-hot vector로 붕괴해 distillation할 inter-class structure를 전혀 담지 못한다. stratified out-of-fold(OOF) teacher labeling은 이 leakage를 제거하며, 실제로 파이프라인에서 진정으로 필요한 유일한 구성요소이다.\n\n우리는 TALENT, OpenML-CC18, TabZilla, TabArena에서 추출한 153개 classification dataset 전반에서, 네 개의 TFM teacher와 네 개의 student family를 사용해 이 recipe를 평가했다. TabICLv2를 XGBoost로 distillation하면 macro-mean ROC-AUC가 0.882(단독 TabICLv2 AUC의 97.1%; 데이터셋별 최고 teacher AUC의 96.5%)이고, 단일 CPU core에서 1.9 ms가 걸려 teacher보다 79배 빠르며, 조정된 CatBoost baseline을 데이터셋의 51%에서 능가한다(Wilcoxon p=0.0008; 승리 시 평균 +0.021 AUC, 패배 시 -0.010). 네 가지 2차 결과가 그림을 더 선명하게 한다. GBDT student family에서는 teacher의 rank가 student의 rank로 정확히 전이되지만, MLP student에서는 최상위에서 역전된다. 성능 향상은 저차원 데이터(<=21 features: CatBoost 대비 +0.011, n=79; >21 features: +0.001, n=74)에 집중되며, teacher 자체가 CatBoost보다 뒤처지는 고차원 task에서는 distillation이 오히려 악화된다. multi-teacher averaging은 MLP student에서 +0.006 AUC를 더하지만(p=0.003), tree student에서는 실질적으로 무시할 수준이다(+0.0006).","link":"https://openreview.net/forum?id=n1TUx8fHpv"},{"id":"anK6dppdfa","en":"TradeFM: A Generative Foundation Model for Trade-flow and Market Microstructure","ko":"TradeFM: 무역 흐름과 시장 마이크로구조를 위한 생성형 foundation model","authors":"Srijan Sood, Maxime Kawawa-Beaudan, Daniel Borrajo, Manuela Veloso","abs":"Foundation models have transformed domains from language to genomics by learning general-purpose representations from large-scale, heterogeneous data.
We introduce TradeFM, a 524M-parameter generative Transformer that brings this paradigm to market microstructure, learning directly from 10.7 billion trade messages across $>$9,000 US equities.
To enable cross-asset generalization, we develop scale-invariant features and a universal tokenization scheme that map the heterogeneous, multi-modal event stream of order flow into a unified discrete sequence – eliminating asset-specific calibration.
Integrated with a deterministic market simulator, TradeFM-generated rollouts reproduce key stylized facts of financial returns, including heavy tails, volatility clustering, and absence of return autocorrelation.
Quantitatively, TradeFM achieves 2-3$\\times$ lower distributional error than Compound Hawkes baselines and generalizes zero-shot to geographically out-of-distribution APAC markets with substantial perplexity overlap.
Together, these results suggest that scale-invariant trade representations capture transferable structure in market microstructure, opening a path toward synthetic data generation, stress testing, and learning-based trading agents.
","absKo":"Foundation model은 대규모의 이질적 데이터로부터 범용 representation을 학습함으로써 언어에서 genomics에 이르는 다양한 분야를 변화시켜 왔다.\n우리는 524M-parameter generative Transformer인 TradeFM을 소개하며, 이 패러다임을 market microstructure로 확장한다. TradeFM은 9,000개 이상의 US equities에서 발생한 107억 개의 trade message로부터 직접 학습한다.\n자산 간 일반화를 가능하게 하기 위해, 우리는 이질적이고 multi-modal한 order flow event stream을 통합된 discrete sequence로 매핑하는 scale-invariant feature와 universal tokenization scheme을 개발했으며, 이를 통해 asset-specific calibration을 제거한다.\n결정론적 market simulator와 결합된 TradeFM-generated rollout은 heavy tail, volatility clustering, return autocorrelation의 부재를 포함한 금융 수익률의 핵심 stylized fact를 재현한다.\n정량적으로, TradeFM은 Compound Hawkes baseline보다 2-3$\\times$ 더 낮은 distributional error를 달성하며, 상당한 perplexity overlap과 함께 지리적으로 분포 밖인 APAC market으로 zero-shot 일반화한다.\n종합하면, 이러한 결과는 scale-invariant trade representation이 market microstructure에서 transferable structure를 포착함을 시사하며, synthetic data generation, stress testing, learning-based trading agent로 가는 길을 연다.","link":"https://openreview.net/forum?id=anK6dppdfa"},{"id":"wRWaegFYMx","en":"Parameter-Free Encoders Remain Viable for RDB Foundation Models","ko":"파라미터 없는 인코더도 RDB Foundation Model에서 여전히 유효하다","authors":"Linjie Xu, David Wipf","abs":"Given a relational database (RDB) storing heterogeneous tabular information, how can we predict missing (or future) values in some target column of interest? As the space of potential targets is vast across enterprise settings, it is preferable to avoid learning a new model from scratch each time there is a new prediction task. Frozen foundation models based on RDB-specific encoders provide a viable solution, but ideal design remains an open question. On the one hand, it has recently been argued that certain parameter-free subgraph encoders combined with single-table foundation models can achieve near SOTA performance, with no RDB-specific pre-training required. Meanwhile, other contemporary studies advocate for \\textit{parameterized} encoders pre-trained to exploit observable labels for learning task-specific representations. To address this ambiguity, we analyze RDB encoder properties specifically when labels are present as inputs, proving limitations on the potential efficacy of trainable encoder parameters. As empirical validation, we demonstrate that considerably simpler parameter-free encoders are still capable of strong performance across many relevant benchmarking tasks.
","absKo":"이질적인 tabular 정보를 저장하는 relational database(RDB)가 주어졌을 때, 관심 있는 target column의 누락된 값(또는 미래 값)을 어떻게 예측할 수 있는가? 기업 환경 전반에서 잠재적 target의 공간이 매우 크므로, 새로운 prediction task가 생길 때마다 매번 새 모델을 처음부터 학습하는 것은 피하는 것이 바람직하다. RDB-specific encoder를 기반으로 한 frozen foundation model은 실용적인 해법을 제공하지만, 이상적인 설계는 여전히 열려 있는 질문이다. 한편 최근 일부 연구는 RDB-specific pre-training이 필요 없이, parameter-free subgraph encoder와 single-table foundation model을 결합하면 SOTA에 근접하는 성능을 달성할 수 있다고 주장한다. 반면 다른 최신 연구들은 관측 가능한 label을 활용해 task-specific representation을 학습하도록 pre-trained된 \\\\textit{parameterized} encoder를 옹호한다. 이러한 모호성을 해결하기 위해, 우리는 label이 입력으로 존재할 때의 RDB encoder 특성을 분석하고, trainable encoder parameter의 잠재적 효용에 대한 한계를 증명한다. 경험적 검증으로는, 훨씬 더 단순한 parameter-free encoder도 많은 관련 benchmarking task에서 여전히 강한 성능을 낼 수 있음을 보인다.","link":"https://openreview.net/forum?id=wRWaegFYMx"},{"id":"eaztRkmhlL","en":"TARPA: Retrieval Priors for Time-Series Foundation Models on Audience Retention","ko":"TARPA: 시청자 유지율을 위한 시계열 foundation model용 retrieval prior","authors":"Dmitriy Petukhov, Nikolai Kharchevnikov, Leon Useinov, Sviatoslav A. Stumpf, Valeria Efimova","abs":"Frozen time-series foundation models (TS-FMs) promise off-the-shelf representations for forecasting tasks with little supervision. TS-FMs are pretrained to forecast future values from past observations. It remains unclear whether this knowledge transfers to predicting retention curves from multimodal content in a few-shot setting. We study this setting on a multimodal structured-output regression task: audience retention prediction on YouTube, with audio, visual, and text-derived per-second channels alongside tabular video-level metadata. We find two paired results — naive featurising fails, prior-conditioning succeeds: (1) A naive frozen TS-FM that consumes the multimodal per-second features does not improve over a no-FM baseline: the TS-FM was pretrained on raw univariate time series, not on engineered features. (2) Conditioning the same TS-FM on a non-parametric retention prior significantly improves how closely the predicted curve matches the true retention shape. Our method, TARPA (Template-Augmented Retrieval Prior Adapter), feeds the retrieval prior as an additional input channel to the frozen TTM backbone, giving the FM at least one channel in the format it was pretrained on. TARPA achieves the best RMSE and Spike-RMSE across all evaluated methods — a tree-based CatBoost regressor, FM-based predictors (TTM, Chronos-Bolt), and FM-free predictors.
On this multimodal structured task, TS-FMs yield measurable gains when at least one input channel matches their pretraining format.
","absKo":"고정된 time-series foundation model(TS-FM)은 supervision이 거의 없는 forecasting task를 위한 off-the-shelf representation을 약속한다. TS-FM은 과거 관측값으로부터 미래 값을 예측하도록 pretrain된다. 하지만 이러한 지식이 few-shot setting에서 multimodal content로부터 retention curve를 예측하는 데 전이되는지는 아직 불분명하다. 우리는 YouTube의 audience retention prediction을 대상으로, audio, visual, text-derived per-second channel과 video-level tabular metadata를 함께 사용하는 multimodal structured-output regression task에서 이를 연구한다. 우리는 두 가지 짝지어진 결과를 발견했다. naive featurising은 실패하고, prior-conditioning은 성공한다: (1) multimodal per-second feature를 입력으로 사용하는 naive frozen TS-FM은 no-FM baseline보다 개선되지 않는다. TS-FM은 raw univariate time series로 pretrain되었지, engineered feature로 pretrain된 것이 아니기 때문이다. (2) 같은 TS-FM에 non-parametric retention prior를 조건으로 주면, 예측된 curve가 실제 retention shape에 얼마나 가깝게 맞는지가 유의미하게 향상된다. 우리의 방법인 TARPA(Template-Augmented Retrieval Prior Adapter)는 retrieval prior를 frozen TTM backbone의 추가 입력 채널로 넣어, FM이 pretraining 당시와 같은 형식의 채널을 적어도 하나 받도록 한다. TARPA는 tree-based CatBoost regressor, FM-based predictor(TTM, Chronos-Bolt), FM-free predictor를 포함해 평가한 모든 방법 중 최고의 RMSE와 Spike-RMSE를 달성한다.\n이 multimodal structured task에서 TS-FM은 적어도 하나의 입력 채널이 pretraining 형식과 일치할 때 측정 가능한 성능 향상을 보인다.","link":"https://openreview.net/forum?id=eaztRkmhlL"},{"id":"RpNvhdvd2v","en":"PluRel-to-RDB-PFN: Schema-Guided Synthetic Relational Pretraining","ko":"PluRel-to-RDB-PFN: 스키마 유도 합성 관계형 pretraining","authors":"Mohammad Sadeq Abolhasani, Viswanath Ganapathy","abs":"Relational Foundation Models (RFMs) require large-scale synthetic relational databases for pretraining, but existing approaches tightly couple data generation with the model training pipeline.
We study whether \\plurel{}, a general-purpose synthetic relational database generator, can serve as an external data source for \\rdbpfn{}, a relational in-context learner originally pretrained on its own specialized synthetic prior using ${\\sim}1.8$M tasks across two stages.
We build a conversion pipeline that maps \\plurel{}-generated databases—including externally constructed binary prediction tasks—into the \\rdbpfn{} training format and evaluate three curriculum strategies: \\sgf{} (real-world schema then fully synthetic), \\fs{} (diverse synthetic schemas throughout), and \\sgl{} (fully synthetic then real-world schema).
Using only ${\\sim}5{,}500$ relational databases (${\\sim}33$K tasks)—roughly $55\\times$ fewer tasks than the original protocol—and no single-table warm-up, our best curriculum (\\sgf{}) achieves $0.6346$ average ROC-AUC across 19 real benchmark tasks at 1024-shot context, recovering 87.6\\% of the published \\rdbpfn{} performance ($0.7245$).
At 64-shot context, the gap narrows to 93.8\\% ($0.6116$ vs.\\ $0.6517$).
Our results demonstrate that external synthetic generators can provide useful pretraining signals for RFMs when combined with appropriate curriculum design and that exposure to a real-world schema early in training is substantially more effective than late-stage schema adaptation.
","absKo":"Relational Foundation Models(RFMs)는 pretraining을 위해 대규모 synthetic relational database가 필요하지만, 기존 접근법은 data generation을 model training pipeline과 밀접하게 결합한다.\n우리는 \\plurel{}라는 범용 synthetic relational database generator가, 두 단계에 걸쳐 약 ${\\sim}1.8$M task로 자체 특화된 synthetic prior로 사전 학습된 relational in-context learner인 \\rdbpfn{}의 external data source로 기능할 수 있는지 연구한다.\n우리는 \\plurel{}가 생성한 database를 외부에서 구성한 binary prediction task를 포함하여 \\rdbpfn{} training format으로 변환하는 conversion pipeline을 구축하고, 세 가지 curriculum strategy인 \\sgf{}(real-world schema 후 fully synthetic), \\fs{}(다양한 synthetic schema를 전 기간에 걸쳐 사용), \\sgl{}(fully synthetic 후 real-world schema)을 평가한다.\n단 하나의 single-table warm-up도 없이, 약 ${\\sim}5{,}500$개의 relational database(${\\sim}33$K task), 즉 원래 protocol보다 약 $55\\times$ 적은 task만을 사용했음에도, 우리의 최선의 curriculum(\\sgf{})은 1024-shot context에서 19개의 실제 benchmark task에 걸쳐 평균 ROC-AUC $0.6346$를 달성하여, 발표된 \\rdbpfn{} 성능($0.7245$)의 87.6\\%를 회복했다.\n64-shot context에서는 그 격차가 93.8\\%($0.6116$ 대 $0.6517$)로 좁아진다.\n우리의 결과는 적절한 curriculum design과 결합될 때 외부 synthetic generator가 RFM에 유용한 pretraining signal을 제공할 수 있으며, 학습 초기에 real-world schema에 노출되는 것이 후기의 schema adaptation보다 훨씬 효과적임을 보여준다.","link":"https://openreview.net/forum?id=RpNvhdvd2v"},{"id":"1Ov4RAWuW4","en":"Memory Efficient Tabular Foundation Models","ko":"메모리 효율적인 Tabular Foundation Models","authors":"Shuting Luo, Monika Mikhail Kanaan, Cameron Gordon, Anna Leontjeva, Simon Lucey","abs":"Tabular Foundation Models, such as TabPFN, have received a large amount of recent attention due to their performance on in-context tabular machine learning tasks, which often exceeds classical baselines. However, practical deployment considerations of these models has received less attention. In this paper we investigate the memory requirements for these models. We demonstrate that employing model compression approaches can enable memory reductions of up to 7.6$\\times$ with similar levels of performance, reducing deployment requirements by nearly 87%. Our work provides insight to practitioners seeking efficient deployment of these models in practical settings.
","absKo":"TabPFN과 같은 Tabular Foundation Model은 in-context tabular machine learning task에서 classical baseline을 종종 능가하는 성능 덕분에 최근 큰 주목을 받았다. 그러나 이들 모델의 실제 배포 관점에 대한 고려는 상대적으로 적었다. 본 논문에서는 이러한 모델의 메모리 요구사항을 조사한다. 우리는 model compression 접근법을 적용하면 유사한 수준의 성능을 유지하면서 최대 7.6$\\times$의 메모리 절감을 달성할 수 있음을 보이며, 배포 요구사항을 거의 87% 줄일 수 있음을 보여준다. 본 연구는 실제 환경에서 이들 모델을 효율적으로 배포하려는 실무자에게 유용한 통찰을 제공한다.","link":"https://openreview.net/forum?id=1Ov4RAWuW4"},{"id":"1k9oK22A3R","en":"From Noisy Oracles to Useful Constraints: LLM-Guided Constraint Selection for Synthetic Tabular Data","ko":"잡음 많은 오라클에서 유용한 제약으로: 합성 tabular 데이터에 대한 LLM 유도 제약 선택","authors":"Tejumade Afonja, Joscha Cüppers, Mario Fritz","abs":"Structured foundation models increasingly depend on large corpora of high-quality tabular data for pretraining and evaluation. Yet standard deep generative models routinely violate domain constraints, producing structurally implausible samples that are unsuitable for high-stakes downstream tasks. Constraint-aware generation addresses this but require constraints to be specified upfront, creating a costly annotation bottleneck. We propose EVS (Extract, Verify, Select), which removes this bottleneck by treating large language models as scalable but noisy proxies for domain knowledge. EVS extracts candidate constraints from column metadata, verifies them against the training data, and selects a utility-preserving subset via binary search in $\\mathcal{O}(\\log K)$ model evaluations without any ground-truth constraint labels. Across three datasets and four LLMs, EVS reduces constraint violation rates to near zero while matching the downstream utility of unconstrained generation, and approaches the performance of expert-annotated baselines when the LLM recovers high-quality constraints.
","absKo":"Structured foundation model은 pretraining과 evaluation을 위해 점점 더 고품질 tabular data의 대규모 말뭉치에 의존하고 있다. 그러나 표준 deep generative model은 도메인 제약을 자주 위반하여, 고위험 downstream task에 적합하지 않은 구조적으로 불가능한(sample)들을 생성한다. constraint-aware generation은 이를 해결하지만, 제약을 사전에 명시해야 하므로 비용이 큰 annotation 병목을 만든다. 우리는 대규모 언어 모델을 도메인 지식의 확장 가능하지만 노이즈가 있는 proxy로 취급함으로써 이 병목을 제거하는 EVS(Extract, Verify, Select)를 제안한다. EVS는 column metadata에서 후보 제약을 추출하고, 이를 training data와 대조하여 검증한 뒤, ground-truth constraint label 없이 $\\mathcal{O}(\\log K)$번의 model evaluation으로 utility를 보존하는 부분집합을 binary search로 선택한다. 세 개의 dataset과 네 개의 LLM에서 EVS는 constraint violation rate를 거의 0에 가깝게 낮추면서도 unconstrained generation의 downstream utility를 유지하고, LLM이 고품질 제약을 복원할 수 있을 때 expert-annotated baseline의 성능에 근접한다.","link":"https://openreview.net/forum?id=1k9oK22A3R"},{"id":"ywumgXC5bh","en":"Mix, Don’t Pick: Why Synthetic Corpus Composition Matters for Time Series Foundation Model Pretraining","ko":"섞고, 고르지 마라: 합성 코퍼스 구성은 시계열 파운데이션 모델 사전학습에서 중요하다","authors":"Aaryan Nagpal, Debdeep Sanyal, Dhruv Kumar, Murari Mandal, Saurabh Deshpande","abs":"Choosing the wrong synthetic generator for time-series foundation model pretraining is costly: under identical training budgets, the best and worst generators produce up to a $2\\times$ gap in forecasting error, yet the field has no principled way to make this choice. The problem is compounded by the fact that generator rankings are not stable across architectures: across 11 generator families evaluated on Chronos-T5-Mini and Moirai-Small trained from scratch, we find that which generators are useful depends on the model architecture. Rather than solving the generator selection problem, we sidestep it: a simple equal-weight mixture of all generators matches or beats the best individual generator for both architectures, and composing this mixture with real data yields the strongest pretraining corpora overall. Synthetic pretraining is therefore a corpus composition problem, not a generator selection problem, and composition choices should be validated per model family rather than assumed to transfer.
","absKo":"time-series foundation model pretraining을 위해 잘못된 synthetic generator를 선택하는 것은 비용이 큽니다. 동일한 training budget에서 최선과 최악의 generator는 forecasting error에서 최대 $2\\times$의 격차를 만드는데도, 이 선택을 위한 원칙적인 방법은 아직 없습니다. 이 문제는 generator ranking이 architecture에 따라 안정적이지 않다는 사실로 더욱 심화됩니다. Chronos-T5-Mini와 Moirai-Small을 scratch에서 학습시키며 평가한 11개 generator family 전반에서, 어떤 generator가 유용한지는 model architecture에 따라 달라진다는 점을 확인했습니다. generator selection problem을 푸는 대신, 우리는 이를 우회합니다. 모든 generator의 simple equal-weight mixture는 두 architecture 모두에서 개별 최상위 generator와 같거나 더 나은 성능을 보이며, 이 mixture를 real data와 결합하면 전체적으로 가장 강력한 pretraining corpus가 됩니다. 따라서 synthetic pretraining은 generator selection problem이 아니라 corpus composition problem이며, composition choice는 전이된다고 가정하기보다 model family별로 검증되어야 합니다.","link":"https://openreview.net/forum?id=ywumgXC5bh"},{"id":"U5OBLh3jfZ","en":"TEMPO: Time Series Understanding via Discrete Tokenization","ko":"TEMPO: 이산 tokenization을 통한 시계열 이해","authors":"Riccardo Maggioni","abs":"Time-series signals are a primary data modality in medicine, manufacturing, and engineering, yet integrating them into large language models remains an open challenge. Prior approaches either project continuous encoder representations into the LLM via cross-attention, which can collapse during training, or serialize individual timestep amplitudes as text, discarding temporal structure. We propose TEMPO, which extends an LLM's vocabulary with discrete codes from a context-aware transformer tokenizer using finite scalar quantization. Signal and text tokens share the same embedding space and self-attention stream, requiring no architectural modification and fewer than 1% trainable parameters. On five benchmarks spanning activity recognition, sleep staging, bearing-fault diagnosis, and time-series QA, TEMPO with a 4B-parameter backbone matches or exceeds cross-attention and text-serialization baselines while producing natural-language reasoning grounded in the signal.
","absKo":"Time-series signal은 medicine, manufacturing, engineering에서 핵심적인 data modality이지만, 이를 large language model에 통합하는 것은 여전히 열린 과제다. 기존 접근은 연속적인 encoder representation을 cross-attention으로 LLM에 주입하는데, 이는 학습 중 붕괴할 수 있거나, 개별 timestep amplitude를 text로 직렬화하여 temporal structure를 잃어버린다. 우리는 context-aware transformer tokenizer로부터 finite scalar quantization을 사용한 discrete code로 LLM의 vocabulary를 확장하는 TEMPO를 제안한다. signal token과 text token은 동일한 embedding space와 self-attention stream을 공유하므로, architecture 수정이 필요 없고 trainable parameter도 1% 미만이다. activity recognition, sleep staging, bearing-fault diagnosis, time-series QA를 아우르는 5개 benchmark에서, 4B-parameter backbone을 사용하는 TEMPO는 signal에 근거한 자연어 추론을 생성하면서 cross-attention 및 text-serialization baseline과 동등하거나 더 우수한 성능을 보인다.","link":"https://openreview.net/forum?id=U5OBLh3jfZ"},{"id":"r0rUbOXBUE","en":"When GNNs Fail: Quantifying and Overcoming Temporal Correlation Volatility in Time Series","ko":"GNN이 실패할 때: 시계열에서 시간 상관 변동성의 정량화와 극복","authors":"Chen Shao, Zhenyi ZHU, Tobias Käfer","abs":"Graph Neural Networks (GNNs) for multivariate time series forecasting model series as nodes and pairwise temporal correlations as edges under a static topology assumption. We study GNN representational power under both static and dynamic settings and identify critical limitations. We introduce Temporal Correlation Volatility (TCV), a model-agnostic metric for the distributional evolution of latent graph structures, and link it to performance degradation: popular models, including Transformers, generalize poorly in high-TCV regimes and are often beaten by structure-agnostic baselines. We propose \\fullproposed{} (\\proposed), a GNN layer with two mechanisms: (D1)~\\mechanismOne, capturing path-based neighborhoods, and (D2)~\\mechanismTwo, identifying optimal dynamics via local static approximation. On synthetic and real-world benchmarks, \\proposed{} improves performance by up to $45.6\\%$, with the largest gain reaching \\85.7\\%. Code: \\url{https://github.com/ChenS676/GLIDE}.
","absKo":"Graph Neural Networks (GNNs)는 다변량 시계열 예측에서 시계열을 노드로, 쌍별 temporal correlation을 엣지로 모델링하며, 정적 topology 가정을 둡니다. 우리는 정적 및 동적 설정 모두에서 GNN의 표현력을 연구하고, 핵심적인 한계를 식별합니다. 우리는 Temporal Correlation Volatility (TCV)를 도입하는데, 이는 latent graph structure의 분포적 진화를 측정하는 model-agnostic metric이며, 이를 성능 저하와 연결합니다. Transformer를 포함한 널리 쓰이는 모델들은 TCV가 높은 영역에서 일반화가 좋지 않으며, 종종 structure-agnostic baseline에 뒤처집니다. 우리는 \\fullproposed{} (\\proposed)를 제안합니다. 이는 두 가지 메커니즘을 가진 GNN layer로, (D1)~\\mechanismOne은 path-based neighborhood를 포착하고, (D2)~\\mechanismTwo는 local static approximation을 통해 최적의 dynamics를 식별합니다. synthetic 및 real-world benchmark에서 \\proposed{}는 최대 $45.6\\%$까지 성능을 향상시키며, 가장 큰 향상폭은 \\85.7\\%에 달합니다. Code: \\url{https://github.com/ChenS676/GLIDE}.","link":"https://openreview.net/forum?id=r0rUbOXBUE"},{"id":"QpTkqxxSiw","en":"Language Pretraining Gives Structured Forecasters a Sequential Prior","ko":"언어 사전학습은 구조화된 forecaster에 순차적 prior를 부여한다","authors":"Zhenghan Tai, Alexis Roger, Prateek Humane, Gwen Legate, Andrei Mircea, Vasilii Feofanov, Irina Rish","abs":"Structured-data foundation models now target transfer across time series, tabular data, text, and other sequential domains, but it remains unclear what language pretraining contributes to forecasting beyond a generic transformer architecture. We study this question by adapting Qwen3-0.6B to probabilistic time-series forecasting on GiftEval and comparing language-pretrained models with identical randomly initialized models under full and parameter-efficient finetuning. Language pretraining gives a large early optimization advantage, especially in limited-adaptation regimes: LoRA attention updates recover most of the effective transfer benefit of full finetuning. Frozen-state probes, retrieval forecasts, gradient coherence, and effective-rank dynamics indicate that language models already contain reusable sequential structure before time-series supervision. These results frame language-to-time-series transfer as efficient low-rank specialization of a pretrained sequential inductive bias, with implications for future structured-data foundation models.
","absKo":"Structured-data foundation model은 이제 time series, tabular data, text, 그리고 다른 sequential domain으로의 transfer를 목표로 하지만, language pretraining이 generic transformer architecture를 넘어 forecasting에 무엇을 더하는지는 여전히 명확하지 않다. 우리는 Qwen3-0.6B를 GiftEval에서 probabilistic time-series forecasting에 맞게 적응시키고, language-pretrained model과 동일한 random initialization model을 full finetuning 및 parameter-efficient finetuning 조건에서 비교함으로써 이 질문을 연구한다. Language pretraining은 특히 제한된 adaptation regime에서 큰 초기 optimization 우위를 제공한다. LoRA attention update만으로도 full finetuning이 주는 실질적 transfer 이득의 대부분을 회복할 수 있다. Frozen-state probe, retrieval forecast, gradient coherence, effective-rank dynamics는 language model이 time-series supervision 이전에도 재사용 가능한 sequential structure를 이미 담고 있음을 시사한다. 이 결과는 language-to-time-series transfer를, 사전학습된 sequential inductive bias의 효율적인 low-rank specialization으로 규정하며, 향후 structured-data foundation model에 대한 함의를 제공한다.","link":"https://openreview.net/forum?id=QpTkqxxSiw"},{"id":"3mYAxwt6q7","en":"DataSynK: Causal-Symbolic EHR Synthesis for Tabular Foundation Models in Low-Resource Settings","ko":"DataSynK: 저자원 환경의 Tabular Foundation Models를 위한 Causal-Symbolic EHR 합성","authors":"Eduarda T. C. Chagas, Roberta Viola, Juarez Monteiro, Francisco Galuppo Azevedo, Saulo Fernandes Saturnino, Adriano Veloso","abs":"The chronic scarcity of labeled electronic health records (EHRs) limits the development of tabular foundation models, especially in Global South settings. While deep generative models collapse under extreme data scarcity, traditional structured generators fail to guarantee clinical plausibility.To address this, we propose DataSynK, a novel pipeline integrating causal discovery, prior medical ontology, and symbolic logic constraints to synthesize binary tabular EHRs. Empirical evaluations on real-world clinical data show that DataSynK avoids the mode collapse exhibited by deep generators in low-resource regimes and achieves the highest ontological validity among the evaluated methods, together with the strongest balanced-classification utility. While DataSynK is not the best on every marginal-fidelity metric, it is the only method that combines positive ontological validity with the highest downstream utility, suggesting that ontology-guided structural validity is a useful complement to distributional fidelity for knowledge-guided clinical data generation. Code is available at: https://github.com/eduarda-chagas/DataSynk.
","absKo":"만성적으로 labeled electronic health records (EHRs)가 부족한 상황은 tabular foundation model의 개발을 제한하며, 특히 Global South 환경에서 그 제약이 두드러진다. deep generative model은 극심한 데이터 부족 하에서 붕괴하는 반면, 전통적인 structured generator는 임상적 개연성을 보장하지 못한다. 이를 해결하기 위해, 우리는 causal discovery, prior medical ontology, symbolic logic constraint를 통합해 binary tabular EHRs를 합성하는 새로운 파이프라인 DataSynK를 제안한다. 실제 임상 데이터를 사용한 실증 평가에서 DataSynK는 저자원 환경에서 deep generator가 보이는 mode collapse를 회피했으며, 평가된 방법들 중 가장 높은 ontological validity와 가장 강한 balanced-classification utility를 달성했다. DataSynK가 모든 marginal-fidelity metric에서 최고는 아니지만, positive ontological validity와 최고 downstream utility를 함께 달성한 유일한 방법이라는 점은, ontology-guided structural validity가 knowledge-guided clinical data generation에서 distributional fidelity를 보완하는 유용한 요소임을 시사한다. 코드는 다음에서 제공된다: https://github.com/eduarda-chagas/DataSynk.","link":"https://openreview.net/forum?id=3mYAxwt6q7"},{"id":"Lxi62zMl39","en":"Semantics or Structure? Auditing Text Sensitivity in Multimodal Time-Series Forecasting","ko":"의미인가 구조인가? 멀티모달 시계열 예측에서 텍스트 민감도 감사","authors":"Karthik Sridhar, Atharva Gupta, Nishant Pradhan, Murari Mandal, Dhruv Kumar, Saurabh Deshpande","abs":"Multimodal time-series forecasting has emerged as a promising paradigm in which natural-language context is expected to improve predictive performance. Recent multimodal foundation models, including Aurora, as well as early- and late-fusion approaches such as MM-TSFlib and TaTS, report substantial gains over unimodal baselines on the Time-MMD benchmark, attributing these improvements to textual information. However, whether these models are actually sensitive to the semantic content of the text remains unverified. We address this question through controlled text perturbations, attribution analyses, and probes of Aurora's text pathway. On Time-MMD, swapping each row's text for any other real text (empty, constant, within-domain shuffled, or cross-domain) moves mean MSE by less than 0.5\\% on all three architectures. The improvement reported in the literature is recovered when a co-shipped numeric column is removed without touching text.
We conclude that, on this benchmark and within this family of frozen-encoder architectures, text content is not the operative signal behind the reported gains. To support future work on text integration in multimodal foundation models for structured data, we release our perturbation protocol and evaluation harness as a reusable diagnostic toolkit.
","absKo":"Multimodal time-series forecasting은 자연어 문맥이 예측 성능을 향상시킬 것으로 기대되는 유망한 패러다임으로 부상했다. Aurora를 포함한 최근의 multimodal foundation model과 MM-TSFlib, TaTS 같은 early- 및 late-fusion 접근법은 Time-MMD benchmark에서 unimodal baseline 대비 상당한 성능 향상을 보고하며, 그 개선을 text 정보에 기인한다고 설명한다. 그러나 이러한 모델이 실제로 text의 semantic content에 민감한지는 검증되지 않았다. 우리는 controlled text perturbation, attribution analysis, 그리고 Aurora의 text pathway probe를 통해 이 질문에 답한다. Time-MMD에서 각 행의 text를 다른 어떤 실제 text로 바꾸더라도(빈 문자열, 상수, 동일 도메인 셔플, cross-domain 포함) 세 아키텍처 모두에서 mean MSE의 변화는 0.5\\% 미만이었다. 문헌에서 보고된 개선은 text는 건드리지 않고 함께 제공되는 numeric column만 제거했을 때도 재현되었다.\\n우리는 이 benchmark와 frozen-encoder 아키텍처 계열에서는 text content가 보고된 성능 향상의 실제 신호가 아니라고 결론짓는다. 구조화된 데이터용 multimodal foundation model에서 text integration에 관한 향후 연구를 지원하기 위해, 우리는 perturbation protocol과 evaluation harness를 재사용 가능한 diagnostic toolkit으로 공개한다.","link":"https://openreview.net/forum?id=Lxi62zMl39"},{"id":"L94GfndIir","en":"Bounded Context Management for Tabular Foundation Models on Stream Learning","ko":"스트림 학습에서 표형 foundation model을 위한 제한된 문맥 관리","authors":"Jinmo Lee, Doyun Choi, Moongi Choi, Jaemin Yoo","abs":"Tabular stream learning requires predictions on sequentially arriving examples under distribution shift. While standard methods adapt by updating model states, tabular foundation models (TFMs) make predictions conditioned on a labeled context in an in-context manner, making them a natural alternative for stream learning. This shifts the challenge from how to update the model to how to manage the context. We propose a future-information view that yields three practical requirements for context management: preserve recent examples, retain uncertain examples, and remove redundant examples. We instantiate these requirements as CURE (Context management via Uncertainty-aware admission and Redundancy-aware Eviction), a context-managing policy with entropy-gated admission and redundancy-aware eviction. Across seven streams, CURE shows up to 27.0\\% relative improvement over classical stream learners, remains robust across multiple TFM backbones, and ranks first among other policy variants. Code and datasets are available at https://github.com/morcellinus/CURE-ICML-FMSD.
","absKo":"Tabular stream learning은 distribution shift 하에서 순차적으로 도착하는 예시에 대해 예측을 수행해야 합니다. 표준 방법은 model state를 업데이트함으로써 적응하지만, tabular foundation models (TFMs)은 labeled context에 조건화된 in-context 방식으로 예측을 수행하므로 stream learning에 자연스러운 대안이 됩니다. 이는 모델을 어떻게 업데이트할 것인가의 문제를 context를 어떻게 관리할 것인가의 문제로 바꿉니다. 우리는 future-information 관점을 제안하며, context 관리에 대한 세 가지 실용적 요구사항을 도출합니다: 최근 예시를 보존하고, 불확실한 예시를 유지하며, 중복된 예시는 제거할 것. 우리는 이러한 요구사항을 CURE (Context management via Uncertainty-aware admission and Redundancy-aware Eviction)로 구현합니다. 이는 entropy-gated admission과 redundancy-aware eviction을 갖춘 context-managing policy입니다. 7개의 stream 전반에서 CURE는 classical stream learner 대비 최대 27.0\\%의 상대적 향상을 보였고, 여러 TFM backbone 전반에서 견고했으며, 다른 policy variant들 중 1위를 차지했습니다. 코드와 데이터셋은 https://github.com/morcellinus/CURE-ICML-FMSD 에서 제공됩니다.","link":"https://openreview.net/forum?id=L94GfndIir"},{"id":"QfXHxB9VSS","en":"What You Pretrain On Matters: Synthetic Task Distributions Determine Tabular Foundation Model Quality","ko":"사전학습 대상이 중요하다: 합성 task 분포가 tabular foundation model의 품질을 결정한다","authors":"Mohamed Bouadi, Nassim Bouarour, Shivam Dubey, Varun Kulkarni, Aditya Tanna, Vinay kumar Sankarapu","abs":"Tabular foundation models acquire their inductive biases almost entirely from synthetic pretraining distributions, yet prior design remains poorly understood. Standard synthetic priors are too well-behaved: they omit the confounding, structured missingness, distributional shift, and spurious support-query correlations that characterize real tabular data. We introduce O'Prior, a compositional realism prior built around four coupled components: a hierarchical SCM meta-generator spanning diverse functional families; a modular realism engine covering heterogeneous marginals, missingness, and target transforms; an explicit stress module injecting confounding and support-query mismatch; and a curriculum-governed, leakage-safe generation protocol. Holding architecture, optimizer, and compute budget fixed, O'Prior yields consistent and substantial improvements across real tabular benchmarks. Ablations confirm that mechanism diversity, realism composition, and shift-aware stress each contribute independently, establishing synthetic prior construction as a first-order and largely overlooked determinant of tabular foundation model quality.
","absKo":"tabular foundation model은 inductive bias를 거의 전적으로 synthetic pretraining distribution에서 얻지만, prior design은 여전히 잘 이해되지 않고 있다. 표준 synthetic prior는 너무 잘 정돈되어 있어, 실제 tabular data를 특징짓는 confounding, structured missingness, distributional shift, spurious support-query correlation을 빠뜨린다. 우리는 네 가지 결합된 component를 중심으로 구성된 compositional realism prior인 O'Prior를 소개한다. 이는 다양한 functional family를 포괄하는 hierarchical SCM meta-generator, heterogeneous marginal, missingness, target transform을 다루는 modular realism engine, confounding과 support-query mismatch를 주입하는 explicit stress module, 그리고 leakage-safe generation protocol을 포함하는 curriculum-governed 메커니즘이다. architecture, optimizer, compute budget를 고정한 상태에서 O'Prior는 실제 tabular benchmark 전반에서 일관되고 상당한 성능 향상을 제공한다. ablation은 mechanism diversity, realism composition, shift-aware stress가 각각 독립적으로 기여함을 확인하며, synthetic prior construction이 tabular foundation model quality를 좌우하는 일차적이면서도 대체로 간과된 결정 요인임을 입증한다.","link":"https://openreview.net/forum?id=QfXHxB9VSS"},{"id":"H6t3IZfnqt","en":"Can Tabular Foundation Models Predict Algorithm Runtime Distributions?","ko":"tabular foundation model이 알고리즘 실행 시간 분포를 예측할 수 있는가?","authors":"Hagverdi Ibrahimli, Steven Adriaensen","abs":"Algorithm runtime prediction is a natural testbed for tabular foundation models: it is structured, data-limited, practically important, and requires calibrated uncertainty estimates. Since runtimes can be highly variable and heavy-tailed, we study not only point prediction but full instance-specific runtime distribution prediction. We evaluate TabPFN, a pretrained tabular foundation model performing in-context Bayesian prediction, on established SAT and AI planning benchmarks. TabPFN outperforms classical tabular baselines and specialized neural models, with especially large gains in low-data regimes. At the same time, we uncover a surprising failure mode: on some benchmarks, larger contexts degrade predictive performance. These results establish TabPFN as a strong baseline for empirical runtime modeling and runtime prediction as a challenging benchmark for uncertainty quantification and context scaling in tabular foundation models.
","absKo":"Algorithm runtime prediction은 tabular foundation model을 시험하기에 자연스러운 testbed이다. 구조화되어 있고, data가 제한적이며, 실용적으로 중요하고, 보정된 uncertainty estimate를 요구하기 때문이다. runtime은 매우 변동성이 크고 heavy-tailed일 수 있으므로, 우리는 point prediction뿐 아니라 instance-specific runtime distribution 전체의 예측도 함께 연구한다. 우리는 pretrained tabular foundation model로 in-context Bayesian prediction을 수행하는 TabPFN을 확립된 SAT 및 AI planning benchmark에서 평가했다. TabPFN은 고전적인 tabular baseline과 특화된 neural model을 능가했으며, 특히 low-data regime에서 큰 향상을 보였다. 동시에 우리는 놀라운 실패 양상도 발견했다. 일부 benchmark에서는 더 큰 context가 predictive performance를 저하시켰다. 이 결과는 TabPFN을 empirical runtime modeling의 강력한 baseline으로 확립하는 동시에, tabular foundation model에서 uncertainty quantification과 context scaling을 위한 도전적인 benchmark로 runtime prediction을 제시한다.","link":"https://openreview.net/forum?id=H6t3IZfnqt"},{"id":"4rlzjjSTmg","en":"Towards Effective LLM Reasoning for Time Series Classification","ko":"시계열 분류를 위한 효과적인 LLM 추론을 향하여","authors":"Jiahui Zhou, Dan Li, Wenjie Feng, Lin Li, Jian Lou, See-Kiong Ng","abs":"The reasoning capabilities of large language models (LLMs) have significantly advanced their performance by enabling in-depth understanding of diverse tasks. However, applying LLMs to the time series domain remains nontrivial, as evidenced by the limited efficacy of directly adapting text-domain reasoning techniques. While recent work has shown promise in several time series tasks, further leveraging LLM reasoning advancements for time series classification (TSC) remains under-explored, despite its prevalence in real-world applications. In this paper, we propose ReasonTSC, a framework designed to leverages LLM reasoning capabilities for TSC through a multi-turn reasoning and a fused decision-making strategy. ReasonTSC first steers the model to think over the characteristics of time series data, integrates predictions and confidence scores from plug-in classifiers, e.g., domain-specific models, as in-context examples, and guides the LLM through a structured reasoning process: it evaluates the initial assessment, backtracks to consider alternative hypotheses, and compares their merits before arriving at a final classification. Preliminary experiments suggest that ReasonTSC can outperform both existing baselines and plug-in models, and is even capable of correcting plug-in models' false predictions.
","absKo":"대규모 language model(LLM)의 reasoning 능력은 다양한 작업에 대한 깊은 이해를 가능하게 하면서 성능을 크게 향상시켜 왔다. 그러나 LLM을 time series 도메인에 적용하는 일은 여전히 쉽지 않다. text 도메인 reasoning 기술을 그대로 적응시키는 방식의 효용이 제한적이라는 점이 이를 보여준다. 최근 연구가 여러 time series task에서 가능성을 보였지만, 실제 응용에서 널리 쓰이는 time series classification(TSC)에 대해 LLM reasoning의 진전을 더 활용하는 연구는 아직 충분히 탐구되지 않았다. 본 논문에서는 ReasonTSC를 제안한다. 이는 multi-turn reasoning과 fused decision-making strategy를 통해 LLM의 reasoning 능력을 TSC에 활용하도록 설계된 framework이다. ReasonTSC는 먼저 모델이 time series 데이터의 특성을 숙고하도록 유도하고, domain-specific model과 같은 plug-in classifier의 prediction과 confidence score를 in-context example로 통합한 뒤, 구조화된 reasoning process를 통해 LLM을 안내한다. 즉, 초기 평가를 검토하고, 대안 가설을 고려하기 위해 backtrack하며, 최종 분류에 이르기 전에 각 가설의 장단점을 비교한다. 예비 실험은 ReasonTSC가 기존 baseline과 plug-in model 모두를 능가할 수 있으며, 심지어 plug-in model의 오분류를 수정하는 능력도 있음을 시사한다.","link":"https://openreview.net/forum?id=4rlzjjSTmg"},{"id":"49DWDGNGwf","en":"TiViT: Time Series Representations for Classification Lie Hidden in Pretrained Vision Transformers","ko":"TiViT: Pretrained Vision Transformer에 숨겨진 분류용 시계열 표현","authors":"Simon Roschmann, Quentin Bouniot, Vasilii Feofanov, Ievgen Redko, Zeynep Akata","abs":"Adapting vision models for time series analysis is compelling, yet all existing approaches are falling short of dedicated time series foundation models (TSFMs) in classification. We propose **Ti**me **Vi**sion **T**ransformer (**TiViT**), the first framework to successfully unlock the representational power of frozen Vision Transformers (ViTs) pretrained on large-scale image datasets for time series classification. By using hidden representations of OpenCLIP models, TiViT achieves state-of-the-art performance on time series classification benchmarks without finetuning. We analyze the representations of TiViT and find that intermediate ViT layers with high intrinsic dimension are the most effective. We further assess the alignment between TiViT and TSFM representation spaces, revealing strong complementarity and additional gains through feature concatenation. Finally, we unfreeze the ViT backbone for continual pretraining on synthetic time series.
","absKo":"시간 series analysis를 위해 vision model을 적응시키는 것은 매력적이지만, 기존의 모든 접근법은 classification에서 전용 time series foundation model(TSFM)에 미치지 못한다. 우리는 대규모 image dataset으로 pretrained된 frozen Vision Transformer(ViT)의 표현력을 time series classification에 성공적으로 활용하는 최초의 framework인 **Ti**me **Vi**sion **T**ransformer(**TiViT**)를 제안한다. OpenCLIP model의 hidden representation을 사용함으로써, TiViT는 finetuning 없이 time series classification benchmark에서 state-of-the-art 성능을 달성한다. 우리는 TiViT의 representation을 분석하여, intrinsic dimension이 높은 중간 ViT layer가 가장 효과적임을 발견한다. 또한 TiViT와 TSFM representation space 사이의 alignment를 평가하여, 강한 상보성과 feature concatenation을 통한 추가 이득을 확인한다. 마지막으로, synthetic time series에 대한 continual pretraining을 위해 ViT backbone을 unfreeze한다.","link":"https://openreview.net/forum?id=49DWDGNGwf"},{"id":"AKHqrrUdWD","en":"GITCO: Gated Inference-Time Context Optimization in TSFMs","ko":"GITCO: TSFM에서의 gated inference-time context optimization","authors":"Manya Pandey, Dhruv Kumar, Murari Mandal, Saurabh Deshpande","abs":"Patch-based Time Series Foundation Models (TSFMs) suffer from
\\textit{context poisoning:} structurally anomalous patches capture disproportionate attention and silently degrade zero-shot forecast quality. We propose improving TSFM accuracy at inference time by optimizing the input context rather than modifying model weights. We present \\textbf{GITCO} (Gated Inference-Time Context Optimization), a lightweight three-component framework:
\\textit{Gate, Router,} and \\textit{Critic} that selectively identifies and suppresses harmful patches without any parameter updates. Evaluated on TimesFM 2.5 across 53 GIFT-Eval datasets under K-fold cross-validation, GITCO achieves an average +1.95\\% MASE reduction on TimesFM 2.5 while capturing 89.9\\% of the improvement upper bound. We introduce \\textit{context sensitivity profiles} as a new characterizable property of TSFMs: the mapping from time series meta-features to expected accuracy improvement under inference-time context intervention, shaped jointly by model architecture and the statistical structure of the data.
","absKo":"Patch-based Time Series Foundation Model(TSFM)은 \\textit{context poisoning}에 취약하다. 구조적으로 비정상적인 patch가 과도한 attention을 끌어 zero-shot forecast 품질을 조용히 저하시킨다. 우리는 model weight를 수정하는 대신 input context 자체를 최적화하여 inference time에서 TSFM 정확도를 개선하는 방법을 제안한다. 우리는 \\textbf{GITCO}(Gated Inference-Time Context Optimization)를 제시한다. 이는 \\textit{Gate}, \\textit{Router}, \\textit{Critic}으로 구성된 경량 3요소 framework로, 어떤 parameter update도 없이 유해한 patch를 선택적으로 식별하고 억제한다. TimesFM 2.5를 대상으로 53개의 GIFT-Eval dataset에서 K-fold cross-validation으로 평가한 결과, GITCO는 TimesFM 2.5에서 평균 +1.95\\% MASE reduction을 달성했고, 개선 상한의 89.9\\%를 포착했다. 우리는 \\textit{context sensitivity profile}을 TSFM의 새로운 특성으로 도입한다. 이는 inference-time context intervention 하에서 기대 정확도 향상과 time series meta-feature 사이의 대응이며, model architecture와 데이터의 통계적 구조가 함께 형성한다.","link":"https://openreview.net/forum?id=AKHqrrUdWD"},{"id":"nMRrgMF2S8","en":"Synthetic Causal Priors for In-Context Time-Series Classification","ko":"in-context 시계열 분류를 위한 합성 causal prior","authors":"Hao-Run Cai, Han-Jia Ye","abs":"Time-series classification (TSC) tasks differ in sensors, sequence lengths, channel counts, and label semantics, making support-conditioned in-context prediction a natural interface. We study how to generate synthetic classification episodes for this setting. Our generator unifies KernelSynth temporal templates, SCM mechanisms, label rules, support/query sampling, and optional multichannel observation. The main empirical lesson is label visibility: a label can be causally meaningful, but transfer depends on whether its effect is recoverable from the observed series. On the binary UCR-42 subset, an enforced-path within-SCM label prior, where one SCM generates all classes through a hidden causal source, is the strongest full-support synthetic prior in our comparison: it outperforms both a KernelSynth mixup prior and a class-SCM prior, without using target benchmark series during pretraining.
","absKo":"time-series classification (TSC) task는 sensor, sequence length, channel 수, label semantics가 서로 달라 support-conditioned in-context prediction이 자연스러운 인터페이스가 된다. 우리는 이 설정을 위한 synthetic classification episode를 어떻게 생성할지 연구한다. 우리의 generator는 KernelSynth temporal template, SCM mechanism, label rule, support/query sampling, 선택적 multichannel observation을 통합한다. 핵심적인 실험적 교훈은 label visibility이다. label은 인과적으로 의미 있을 수 있지만, 그 효과가 관측된 series로부터 복원 가능할 때에만 transfer가 가능하다. binary UCR-42 subset에서, 하나의 SCM이 hidden causal source를 통해 모든 class를 생성하는 enforced-path within-SCM label prior는, 비교한 방식들 중 가장 강한 full-support synthetic prior로 나타났다. 이는 pretraining 동안 target benchmark series를 사용하지 않으면서도 KernelSynth mixup prior와 class-SCM prior를 모두 능가한다.","link":"https://openreview.net/forum?id=nMRrgMF2S8"},{"id":"TdpqVBB8na","en":"HEPA: A Self-Supervised Horizon-Conditioned Event Predictive Architecture for Time Series","ko":"HEPA: 시계열을 위한 자기지도 horizon-conditioned event predictive architecture","authors":"Jonas Petersen, Gian-Alessandro Lombardi, Riccardo Maggioni, Camilla Mazzoleni, Federico Martelli, Philipp Christian Petersen","abs":"Critical events in multivariate time series, from turbine failures to cardiac arrhythmias, demand accurate prediction, yet labeled data is scarce because such events are rare and costly to annotate. We introduce HEPA (Horizon-conditioned Event Predictive Architecture), built on two key principles. First, a causal Transformer encoder is pretrained via a Joint-Embedding Predictive Architecture (JEPA): a horizon-conditioned predictor learns to forecast future representations rather than future values, forcing the encoder to capture predictable temporal dynamics from unlabeled data alone. Second, we freeze the encoder and finetune only the predictor toward the target event, producing a monotonic survival cumulative distribution function (CDF) over horizons. With fixed architecture and optimiser hyperparameters across all benchmarks, HEPA handles water contamination, cyberattack detection, volatility regimes, and eight further event types across 11 domains, exceeding leading time-series architectures including PatchTST, iTransformer, MAE, and Chronos-2 on at least 10 of 14 benchmarks, with an order of magnitude fewer tuned parameters and, on lifecycle datasets, an order of magnitude less labeled data.
","absKo":"turbine failure부터 cardiac arrhythmia까지, multivariate time series의 critical event는 정확한 예측을 요구하지만, 이런 사건은 드물고 주석 달기 비용이 커서 labeled data가 부족하다. 우리는 두 가지 핵심 원리에 기반한 HEPA(Horizon-conditioned Event Predictive Architecture)를 소개한다. 첫째, causal Transformer encoder를 Joint-Embedding Predictive Architecture(JEPA)로 pretrain한다. horizon-conditioned predictor가 미래 value가 아니라 미래 representation을 예측하도록 학습하여, encoder가 unlabeled data만으로 예측 가능한 temporal dynamics를 포착하도록 강제한다. 둘째, encoder를 freeze하고 predictor만 target event에 맞춰 finetune하여, horizon에 대해 monotonic survival cumulative distribution function(CDF)을 생성한다. 모든 benchmark에서 architecture와 optimiser hyperparameter를 고정한 상태에서, HEPA는 water contamination, cyberattack detection, volatility regime, 그리고 11개 domain에 걸친 추가 8가지 event type을 처리하며, PatchTST, iTransformer, MAE, Chronos-2를 포함한 선도적인 time-series architecture를 14개 benchmark 중 최소 10개에서 능가한다. 또한 tuned parameter는 한 자릿수 배수 수준으로 적고, lifecycle dataset에서는 labeled data도 한 자릿수 배수 수준으로 적게 필요하다.","link":"https://openreview.net/forum?id=TdpqVBB8na"},{"id":"nYshRurz2i","en":"SimGuard: Context-Aware Anomaly Filtering via Similarity-Guided Error Detection","ko":"SimGuard: 유사도 유도 오류 탐지를 통한 문맥 인지형 이상 필터링","authors":"Amir Raza, Mayank Jauhari, Vikash Sharma, Vipul Joshi, Boris N. Oreshkin, Anurag Tripathi","abs":"Given millions of invoices flagged daily by en-
terprise anomaly detectors, how can we reliably
separate genuine errors from benign anomalies
without drowning human investigators, when a
single missed error can cost millions and vendor-
specific retraining is infeasible? We present Sim-
Guard, a context-aware error-detection frame-
work built on two ideas: asymmetric tempera-
ture decoupling in the InfoNCE loss, which pre-
vents feature suppression on heterogeneous tab-
ular data, and a curriculum over the denomina-
tor temperature τdenom and corruption rate pcorr
that sharpens hard-negative discrimination with-
out losing rare-error sensitivity. At inference,
SimGuard retrieves the k most similar histori-
cal cases within a vendor partition and filters
anomalies that match known benign patterns via a
similarity-weighted vote over investigator-verified
labels. SimGuard operates as a post-hoc filtering
layer downstream of foundation-model classifiers
such as TabPFN (Hollmann et al., 2025), whose
high recall (0.92) generates excessive false posi-
tives that domain-specific filtering must resolve.
On enterprise-scale invoice datasets SimGuard re-
duces flagged anomalies by 15% while keeping
recall loss below 1%; paired with TabPFN on
public fraud benchmarks it achieves Santander
F1 of 0.53 (vs. TabPFN alone 0.51) and Credit
Card Fraud F1 of 0.77 to 0.78 (vs. 0.73) at volume
reductions of 9.4% to 31.0%. Each SimGuard
prediction comes with its retrieved neighbors as
case-level explanations, and the system absorbs
new error patterns by adding investigator-labeled
cases to the repository, with no retraining required
(full results in App. D)
","absKo":"엔터프라이즈 anomaly detector가 매일 수백만 건의 invoice를 flag하는 상황에서, 단 하나의 missed error가 수백만 달러의 손실로 이어질 수 있고 vendor별 retraining은 비현실적인데, 인적 조사자를 압도하지 않으면서 어떻게 진짜 오류와 무해한 anomaly를 신뢰성 있게 구분할 수 있을까? 우리는 SimGuard를 제안한다. SimGuard는 두 가지 아이디어 위에 구축된 context-aware error-detection framework로, heterogeneous tabular data에서 feature suppression을 막는 InfoNCE loss의 asymmetric temperature decoupling과, denominator temperature τdenom 및 corruption rate pcorr에 대한 curriculum을 통해 희귀 오류에 대한 민감도를 잃지 않으면서 hard-negative discrimination을 강화한다. inference 시 SimGuard는 vendor partition 내부에서 가장 유사한 과거 사례 k개를 retrieval하고, investigator가 검증한 label에 대한 similarity-weighted vote를 통해 알려진 benign pattern과 일치하는 anomaly를 필터링한다. SimGuard는 TabPFN (Hollmann et al., 2025) 같은 foundation-model classifier의 downstream에 위치하는 post-hoc filtering layer로 동작하며, TabPFN의 높은 recall (0.92)이 만들어내는 과도한 false positive를 도메인별 필터링으로 해소한다. 엔터프라이즈 규모 invoice dataset에서 SimGuard는 recall 손실을 1% 미만으로 유지하면서 flagged anomaly를 15% 줄였고, 공개 fraud benchmark에서는 TabPFN 단독 대비 Santander F1 0.51에서 0.53으로, Credit Card Fraud F1 0.73에서 0.77~0.78로 향상시키면서 9.4%에서 31.0%의 volume reduction을 달성했다. 각 SimGuard prediction에는 case-level explanation으로 retrieval된 neighbor가 함께 제공되며, investigator가 label을 단 사례를 repository에 추가하기만 하면 retraining 없이 새로운 error pattern을 흡수한다(전체 결과는 App. D에 수록).","link":"https://openreview.net/forum?id=nYshRurz2i"},{"id":"FZaZoe67ne","en":"Ensembling Tabular Foundation Models: A Diversity Ceiling and a Calibration Trap","ko":"tabular foundation model 앙상블: 다양성 한계와 calibration 함정","authors":"Aditya Tanna, Yash Jignesh Desai, Pratinav Seth, Mohamed Bouadi, Nassim Bouarour, Vinay kumar Sankarapu","abs":"Tabular foundation models (TFMs) now match or beat tuned gradient-boosted trees on a growing fraction of tabular tasks, but **no single TFM wins on every dataset**. Ensembling is the textbook fix, and it works less well than expected. Six modern TFMs form a near-redundant pool: their **mean pairwise Q-statistic is 0.961**, close enough to 1 that any convex combination is bounded above. We benchmark **six ensemble strategies over six TFMs on 153 OpenML classification tasks**. The best ensemble, two-level cascade stacking, buys **+0.18% accuracy over the strongest single TFM** at 253× the compute . A Friedman–Nemenyi analysis places three ensembles and the best base TFM in a single equivalence group; three other ensembles are significantly worse than the best base. Stacking with a logistic-regression meta-learner is the most striking case: competitive accuracy and ROC-AUC, the worst log-loss rank among the ensembles. The meta-learner improves accuracy by sharpening class boundaries, which destroys calibration. We recommend **greedy selection as the practical default**.
","absKo":"Tabular foundation models (TFMs)는 이제 점점 더 많은 tabular task에서 튜닝된 gradient-boosted trees와 맞먹거나 이를 능가하지만, **모든 데이터셋에서 이기는 단일 TFM은 없다**. 앙상블은 교과서적인 해결책이며, 기대만큼 잘 작동하지는 않는다. 최신 TFM 여섯 개는 거의 중복된 풀을 이룬다. 이들의 **평균 pairwise Q-statistic은 0.961**으로, 1에 충분히 가까워 어떤 convex combination도 상한이 제한된다. 우리는 **153개의 OpenML classification task 위에서 여섯 TFM에 대해 여섯 가지 ensemble strategy를 벤치마크**했다. 최고의 앙상블인 two-level cascade stacking은 가장 강한 단일 TFM 대비 **정확도를 +0.18% 높이는 대신 compute는 253배** 더 든다. Friedman–Nemenyi 분석에서는 세 개의 앙상블과 최고의 base TFM이 하나의 equivalence group에 놓였고, 다른 세 앙상블은 최고의 base보다 유의하게 나빴다. logistic-regression meta-learner를 사용하는 stacking은 가장 두드러진 사례인데, 앙상블들 가운데 가장 낮은 log-loss rank를 보이면서도 경쟁력 있는 accuracy와 ROC-AUC를 보였다. meta-learner는 class boundary를 더 날카롭게 만들어 accuracy를 개선하지만, 그 대가로 calibration이 무너진다. 우리는 **실용적인 기본값으로 greedy selection을 권장**한다.","link":"https://openreview.net/forum?id=FZaZoe67ne"},{"id":"YCAl9rtW2n","en":"Recall Residualisation: Decontaminating Foundation-Model Evaluation on Public Time-Series Benchmarks","ko":"Recall Residualisation: 공개 시계열 벤치마크에서 파운데이션 모델 평가의 오염 제거","authors":"Anany Kotawala","abs":"Foundation-model evaluations on public time-series benchmarks risk conflating forecasting skill with parametric recall: factor returns, macroeconomic indicators, and climate indices are widely mirrored in pretraining data, so a model’s apparent “skill” on such a benchmark may reflect retrieval of labels rather than predictive ability. Standard evaluation cannot distinguish the two. We propose Recall Residualization: regress any LLM-derived signal on the model’s own direct value-recall of the benchmark, and report the residual signal–truth correlation as decontaminated skill. A worst-case orthogonal decomposition gives an upper bound; OLS gives a co-located linear point estimate. In a 20-cell study across four benchmarks and five frontier LLMs, apparent skill up to |ρ| = 0.93 collapses to |ρ| ≤ 0.17 after residualization, with LeakShare ≥ 0.97 in 19/20 cells. Dedicated time-series foundation models forecast the same months at or near AR(1)-level performance under their native numeric-history interface, indicating that the contamination channel is specific to date- and label-conditioned text queries. Code here: https://github.com/ananykotawala/recall-residualization.
","absKo":"공개 time-series benchmark에서의 foundation model 평가는 forecasting skill과 parametric recall을 혼동할 위험이 있다. factor return, macroeconomic indicator, climate index는 pretraining data에 널리 포함되어 있으므로, 이러한 benchmark에서 모델의 겉보기 “skill”은 예측 능력이라기보다 label의 검색을 반영할 수 있다. 표준 평가는 이 둘을 구분할 수 없다. 우리는 Recall Residualization을 제안한다. 즉, LLM에서 파생된 어떤 신호든 모델 자신의 benchmark 직접 value-recall에 대해 회귀시키고, residual signal-truth correlation을 decontaminated skill로 보고한다. 최악의 경우 orthogonal decomposition은 상한을 제공하고, OLS는 co-located linear point estimate를 제공한다. 네 개의 benchmark와 다섯 개 frontier LLM에 걸친 20-cell 연구에서, 겉보기 skill은 |ρ| = 0.93까지 나타나지만 residualization 후에는 |ρ| ≤ 0.17로 붕괴하며, 19/20 cell에서 LeakShare ≥ 0.97을 보였다. 전용 time-series foundation model은 고유한 numeric-history interface 하에서 같은 달을 AR(1) 수준에 가깝게 예측했으며, 이는 오염 채널이 date- 및 label-conditioned text query에 특이적임을 시사한다. 코드: https://github.com/ananykotawala/recall-residualization.","link":"https://openreview.net/forum?id=YCAl9rtW2n"},{"id":"wdv1dX1s9w","en":"Feature Space Translation Framework for Cross-Device Alignment and Derivation of Clinically Relevant Retinal Biomarkers from Foundation Model Embeddings","ko":"Foundation Model 임베딩으로부터 장치 간 정렬과 임상적으로 의미 있는 망막 바이오마커 도출을 위한 특징 공간 변환 프레임워크","authors":"Sparsh Rastogi, Akshat Bakshi, Jidugu Sriharisesh, Imran Razzak, Jatin Bedi, Sahil Thakur","abs":"Oculomics enables non-invasive assessment of systemic diseases through retinal imaging, offering a portable and cost-effective alternative to traditional diagnostic methods. However, its clinical deployment is hindered by device-induced variability, which limits generalization across heterogeneous imaging systems. Although retinal foundation models have recently achieved strong performance across diverse downstream tasks, their robustness across heterogeneous imaging devices remains limited, and their latent representations do not directly correspond to clinically meaningful retinal biomarkers.
To address these challenges, we propose a unified feature-space translation framework based on tabular learning that learns feature-space alignments between heterogeneous imaging devices and retinal foundation-model representations, enabling cross-device retinal biomarker translation and clinically meaningful biomarker estimation from foundation-model embeddings in both same-device and cross-device settings. Experiments on the AI-READI dataset demonstrate accurate cross-device retinal biomarker alignment, recovery of clinically meaningful biomarkers from RETFound embeddings, and robust cross-device biomarker estimation, achieving up to $78.50\\%$, $87.50\\%$, and $76.00\\%$ $R^2$, respectively. These findings establish feature-space translation as an effective strategy for mitigating device-induced variability while improving the interpretability and clinical utility of retinal foundation models without requiring architectural modifications.
","absKo":"Oculomics는 retinal imaging을 통해 systemic disease를 비침습적으로 평가할 수 있게 하며, 전통적인 진단 방법의 대안으로 휴대 가능하고 비용 효율적인 수단을 제공한다. 그러나 device-induced variability 때문에 임상 배치는 제약을 받으며, 이는 이질적인 imaging system 전반에서의 generalization을 제한한다. 최근 retinal foundation model이 다양한 downstream task에서 강한 성능을 달성했지만, 이질적인 imaging device 전반에서의 robustness는 여전히 제한적이며, latent representation이 임상적으로 의미 있는 retinal biomarker와 직접 대응하지는 않는다.\n이러한 문제를 해결하기 위해, 우리는 이질적인 imaging device와 retinal foundation-model representation 사이의 feature-space alignment을 학습하는 tabular learning 기반 unified feature-space translation framework를 제안한다. 이는 cross-device retinal biomarker translation과, same-device 및 cross-device setting 모두에서 foundation-model embedding으로부터 임상적으로 의미 있는 biomarker 추정을 가능하게 한다. AI-READI dataset에서의 실험은 정확한 cross-device retinal biomarker alignment, RETFound embedding으로부터의 임상적으로 의미 있는 biomarker 복원, 그리고 강건한 cross-device biomarker estimation을 보여주며, 각각 최대 $78.50\\%$, $87.50\\%$, $76.00\\%$ $R^2$를 달성한다. 이러한 결과는 architectural modification 없이 device-induced variability를 완화하면서 retinal foundation model의 interpretability와 임상적 유용성을 향상시키는 효과적인 전략으로서 feature-space translation을 확립한다.","link":"https://openreview.net/forum?id=wdv1dX1s9w"},{"id":"pGK4RbJTC9","en":"TabPFN-TSRA: Retrieval-Augmented TabPFN for Time-Series Forecasting","ko":"TabPFN-TSRA: 시계열 예측을 위한 Retrieval-Augmented TabPFN","authors":"Zijian Tang, Ying Zhang, Zhenjun Liu, Sibo Cai, Shibin Yue, Meili Zhang","abs":"TabPFN-based time-series forecasting enables zero-shot prediction by reformulating forecasting as tabular regression, but existing methods still rely on explicit temporal features and global historical summarization, which can be insufficient for non-stationary, event-driven dynamics and may dilute informative local signals. We propose TabPFN-TSRA, a retrieval-augmented framework for TabPFN-based forecasting. TabPFN-TSRA retrieves analogous historical patterns using level-shift-corrected correlation matching and organizes the retrieved segments into temporally aligned feature matrices for TabPFN. This design provides compact and relevant local evidence beyond fixed features while preserving temporal structure. Experiments on 11 benchmark datasets show that TabPFN-TSRA outperforms TabPFN-TS and TabPFN-TSP, achieving an 82% win rate in terms of MAE and enhancing the ability to forecast trend evolution. These results demonstrate the effectiveness of retrieval augmentation for TabPFN-based forecasting. Code is available at: https://github.com/sibo-cai/TabPFN-TSRA.
","absKo":"TabPFN 기반 time-series forecasting은 forecasting을 tabular regression으로 재구성하여 zero-shot prediction을 가능하게 하지만, 기존 방법은 여전히 명시적 temporal feature와 전역 historical summarization에 의존하며, 이는 non-stationary하고 event-driven한 dynamics에서는 충분하지 않을 수 있고 정보가 풍부한 local signal을 희석시킬 수 있다. 우리는 TabPFN 기반 forecasting을 위한 retrieval-augmented 프레임워크인 TabPFN-TSRA를 제안한다. TabPFN-TSRA는 level-shift-corrected correlation matching을 사용해 유사한 과거 패턴을 검색하고, 검색된 segment를 temporal alignment가 맞는 feature matrix로 구성하여 TabPFN에 제공한다. 이 설계는 고정된 feature를 넘어 compact하고 관련성 높은 local evidence를 제공하면서 temporal structure를 보존한다. 11개 benchmark dataset에 대한 실험에서 TabPFN-TSRA는 TabPFN-TS와 TabPFN-TSP를 능가했고, MAE 기준 82%의 win rate를 달성했으며 trend evolution을 예측하는 능력도 향상시켰다. 이러한 결과는 TabPFN 기반 forecasting에서 retrieval augmentation의 효과를 보여준다. 코드는 다음에서 제공된다: https://github.com/sibo-cai/TabPFN-TSRA.","link":"https://openreview.net/forum?id=pGK4RbJTC9"},{"id":"dHlMWk5X7O","en":"Dr-CiK: A Testbed for Foresight-Driven Agents","ko":"Dr-CiK: foresight-driven agent를 위한 시험장","authors":"Yihong Tang, Andrew Robert Williams, Arjun Ashok, Vincent Zheng, Lijun Sun, Alexandre Drouin, Issam H. Laradji, Étienne Marcotte, Valentina Zantedeschi","abs":"Time series forecasting in real-world settings often depends not only on historical observations, but also on external context that must be actively discovered from noisy, heterogeneous information sources. Yet existing context-aided forecasting benchmarks typically assume that supporting context is already provided, leaving open whether agents can identify it on their own. When it comes to forecasting, Context is Key (CiK). However, identifying the right context from a large knowledge base and distilling it into forecast-useful evidence requires Deep Research (DR). Therefore, we introduce Dr-CiK, a benchmark for evaluating whether agents can retrieve forecasting-relevant supporting context from a document corpus, filter out distractors, distill the retrieved context into forecast-useful evidence, and generate forecasts supported by that evidence. Through context ablations and evaluations of state-of-the-art deep research and forecasting methods paired together, we show that high-quality context substantially improves forecasting performance in Dr-CiK. However, current DR agents recover only a small fraction of the ground-truth supporting evidence (usually $<5\\%$), are frequently misled by distractors ($>80\\%$ distractor citations), and can cause forecasters to perform worse with retrieved context than with no context at all. Our results motivate research on foresight-driven agents that search for the right context to predict the future.
Dr-CiK is publicly available at https://servicenow.github.io/Dr-CiK.
","absKo":"실세계 setting에서의 time series forecasting은 과거 관측치뿐 아니라, noisy하고 heterogeneous한 정보원들에서 적극적으로 찾아내야 하는 external context에 의존하는 경우가 많다. 그러나 기존의 context-aided forecasting benchmark는 대개 supporting context가 이미 제공된다고 가정하므로, agent가 이를 스스로 식별할 수 있는지는 열려 있다. forecasting에서는 Context is Key (CiK)이다. 하지만 큰 knowledge base에서 올바른 context를 식별하고 이를 forecast에 유용한 evidence로 정제하려면 Deep Research (DR)가 필요하다. 따라서 우리는 Dr-CiK를 소개한다. 이는 document corpus에서 forecasting-related supporting context를 retrieval하고, distractor를 걸러내고, retrieved context를 forecast에 유용한 evidence로 distill하며, 그 evidence에 의해 지지되는 forecast를 생성할 수 있는지 평가하기 위한 benchmark이다. context ablation과 최첨단 deep research 및 forecasting 방법을 결합한 평가를 통해, 우리는 고품질 context가 Dr-CiK에서 forecasting 성능을 상당히 향상시킨다는 점을 보인다. 그러나 현재의 DR agent는 ground-truth supporting evidence의 극히 일부만 회수하며(보통 $<5\\%$), distractor에 자주 현혹되고($>80\\%$ distractor citations), retrieved context가 없을 때보다 오히려 성능이 나빠지게 만들 수 있다. 우리의 결과는 미래를 예측하기 위해 올바른 context를 찾는 foresight-driven agent에 대한 연구를 촉진한다.\nDr-CiK는 https://servicenow.github.io/Dr-CiK 에서 공개되어 있다.","link":"https://openreview.net/forum?id=dHlMWk5X7O"},{"id":"IYnHchzvYB","en":"Optimizing Pre-Training of Tabular Foundation Models by Shaping Geometry","ko":"기하 구조를 형성하여 tabular foundation model의 pre-training 최적화하기","authors":"Humzah Merchant, Sriniketh Vangaru, Randall Balestriero","abs":"Tabular foundation models (TFMs) are trained to solve new supervised learning problems in-context, despite not knowing the downstream table, feature distribution, or label rule during pretraining. This suggests that successful classifier TFMs might learn broad, well-spread intermediate representations that later layers can adapt to task-specific decision boundaries. We test this hypothesis in supervised TabPFN-style pretraining and find that it does not hold: while the model learns in-context prediction, its intermediate embeddings do not naturally become more isotropic or well dispersed. We therefore introduce row- and column-wise Sketched Isotropic Gaussian Regularization (SIGReg) for tabular transformer hidden states and use it to directly shape representation geometry. Early-layer SIGReg reorganizes the model across depth, producing better-distributed early embeddings while preserving later layers for task-specific decision structure. This improves convergence speed, classification performance, and seed-to-seed stability with little additional overhead.
","absKo":"Tabular foundation model(TFM)은 pretraining 동안 downstream table, feature distribution, label rule을 알지 못한 채 in-context로 새로운 supervised learning problem을 해결하도록 학습된다. 이는 성공적인 classifier TFM이 이후 layer가 task-specific decision boundary에 적응할 수 있는, 넓고 잘 퍼진 intermediate representation을 학습할 수 있음을 시사한다. 우리는 supervised TabPFN-style pretraining에서 이 가설을 시험했고, 그것이 성립하지 않음을 발견했다. 모델은 in-context prediction을 학습하지만, 중간 embedding이 자연스럽게 더 isotropic하거나 더 잘 분산되지는 않는다. 따라서 우리는 tabular transformer hidden state에 대해 row-wise 및 column-wise Sketched Isotropic Gaussian Regularization(SIGReg)을 도입하고, 이를 사용해 representation geometry를 직접 형성한다. early-layer SIGReg는 depth 전반에 걸쳐 모델을 재조직하여, 더 잘 분포된 early embedding을 만들면서도 later layer는 task-specific decision structure를 위해 보존한다. 그 결과, 추가 오버헤드는 거의 없이 convergence speed, classification performance, 그리고 seed-to-seed stability가 향상된다.","link":"https://openreview.net/forum?id=IYnHchzvYB"},{"id":"KmlIIDYv8T","en":"Frozen LLM Column Embeddings Are Strong Baselines for Column Type Annotation","ko":"고정된 LLM 열 임베딩은 열 유형 주석을 위한 강력한 베이스라인이다","authors":"Ehsan Hoseinzade, Ke Wang","abs":"Column type annotation (CTA), the task of assigning semantic labels such as Name, City, or Date to table columns, is central to automatic understanding of relational tables. Existing approaches often rely on handcrafted features, task-specific fine-tuning, or prompt-based inference. This paper studies a simpler alternative: using frozen large language models (LLMs) to produce column embeddings and training lightweight classifiers on top. Across six benchmark datasets and ten baselines, frozen LLM column embeddings outperform the strongest prior baseline by 3.7 points without any LLM fine-tuning. Results further show that much of the gain comes from the embedding layer itself, while classifier choice contributes only smaller additional improvements. We further analyze pooling strategies and LLM backbones to better understand the design choices behind frozen LLM-based column embeddings. Overall, strong CTA performance can be achieved without task-specific fine-tuning or prompt engineering, providing a practical baseline for column type annotation.
","absKo":"Column type annotation (CTA), 즉 Name, City, Date와 같은 semantic label을 table column에 부여하는 작업은 relational table을 자동으로 이해하는 데 핵심적이다. 기존 접근은 종종 handcrafted feature, task-specific fine-tuning, 또는 prompt-based inference에 의존한다. 이 논문은 더 단순한 대안을 연구한다. 즉, frozen large language models (LLMs)을 사용해 column embedding을 생성하고 그 위에 lightweight classifier를 학습하는 방식이다. 6개의 benchmark dataset과 10개의 baseline에 걸쳐, frozen LLM column embedding은 어떤 LLM fine-tuning도 없이도 가장 강한 기존 baseline보다 3.7 point 높은 성능을 보였다. 결과는 추가 향상의 상당 부분이 embedding layer 자체에서 비롯되며, classifier 선택의 기여는 상대적으로 작은 추가 개선에 그친다는 점도 보여준다. 우리는 또한 pooling strategy와 LLM backbone을 분석하여 frozen LLM-based column embedding의 설계 선택을 더 잘 이해하고자 했다. 전반적으로, task-specific fine-tuning이나 prompt engineering 없이도 강력한 CTA 성능을 달성할 수 있으며, 이는 column type annotation을 위한 실용적인 baseline을 제공한다.","link":"https://openreview.net/forum?id=KmlIIDYv8T"},{"id":"8LBHb5N3ns","en":"Evaluating System 1 vs. 2 Reasoning Approaches for Zero-Shot Time Series Forecasting: A Benchmark and Insights","ko":"zero-shot 시계열 예측을 위한 System 1 vs. 2 추론 접근법 평가: benchmark와 통찰","authors":"Haoxin Liu, Zhiyuan Zhao, Shiduo Li, B. Aditya Prakash","abs":"Reasoning ability is crucial for solving challenging tasks. With the advancement of foundation models, such as the emergence of large language models (LLMs), a wide range of reasoning strategies has been proposed, including test-time enhancements, such as Chain-of-Thought, and post-training optimizations, as used in DeepSeek-R1. While these reasoning strategies have demonstrated effectiveness across various challenging language or vision tasks, their applicability and impact on time-series forecasting (TSF), particularly the challenging zero-shot TSF, remain largely unexplored. In particular, it is unclear whether zero-shot TSF benefits from reasoning and, if so, what types of reasoning strategies are most effective.
To bridge this gap, we propose REC4TS, the first benchmark that systematically evaluates the effectiveness of popular reasoning strategies when applied to zero-shot TSF tasks. REC4TS conducts comprehensive evaluations across datasets spanning eight domains, covering unimodal and multimodal settings under short- and long-term forecasting horizons. More importantly, REC4TS provides key insights: (1) Self-consistency emerges as the most effective test-time reasoning strategy; (2) Hybrid reasoning with low-to-moderate reasoning effort often gives the best win-rate trade-off; (3) DeepSeek-R1 performs best among evaluated System 2 models, suggesting that outcome-oriented GRPO-style training may be promising while remaining confounded by model-family and training-data differences; (4) Multimodal TSF benefits more from reasoning strategies compared to unimodal TSF.
Beyond these insights, REC4TS establishes two building blocks to support future zero-shot TSF reasoning research: (1) A novel dataset, TIME-THINKING, containing forecasting samples annotated with reasoning trajectories from multiple advanced LLMs, and (2) A simple test-time scaling trend for foundation TSF models inspired by self-consistency. All data and code are accessible at: https://anonymous.4open.science/r/REC4TS-2700
","absKo":"reasoning 능력은 어려운 과제를 해결하는 데 매우 중요하다. large language models (LLMs)의 등장과 같은 foundation models의 발전과 함께, Chain-of-Thought 같은 test-time enhancement와 DeepSeek-R1에서 사용된 post-training optimization을 포함하여 다양한 reasoning 전략이 제안되어 왔다. 이러한 reasoning 전략은 다양한 어려운 language 또는 vision task에서 효과를 보여 왔지만, time-series forecasting (TSF), 특히 도전적인 zero-shot TSF에 대한 적용 가능성과 영향은 아직 거의 탐구되지 않았다. 특히 zero-shot TSF가 reasoning의 이점을 실제로 얻는지, 그리고 그렇다면 어떤 종류의 reasoning 전략이 가장 효과적인지는 명확하지 않다.\n\n이 간극을 메우기 위해, 우리는 REC4TS를 제안한다. REC4TS는 zero-shot TSF task에 popular reasoning strategy를 적용했을 때의 효과를 체계적으로 평가하는 최초의 benchmark이다. REC4TS는 8개 도메인에 걸친 dataset 전반에서 포괄적인 평가를 수행하며, short-term 및 long-term forecasting horizon 아래에서 unimodal 및 multimodal setting을 모두 다룬다. 더 중요하게는, REC4TS가 다음과 같은 핵심 통찰을 제공한다. (1) Self-consistency가 가장 효과적인 test-time reasoning strategy로 나타난다. (2) low-to-moderate reasoning effort를 사용하는 hybrid reasoning이 종종 가장 좋은 win-rate trade-off를 제공한다. (3) 평가한 System 2 model 중에서는 DeepSeek-R1이 가장 좋은 성능을 보이며, 이는 outcome-oriented GRPO-style training이 유망할 수 있음을 시사하지만, model family와 training data의 차이에 의해 혼재될 수 있다. (4) multimodal TSF는 unimodal TSF보다 reasoning strategy의 이점을 더 크게 받는다.\n이러한 통찰 외에도, REC4TS는 향후 zero-shot TSF reasoning 연구를 지원하기 위한 두 가지 구성 요소를 제시한다. (1) 여러 advanced LLM의 reasoning trajectory로 주석된 forecasting sample을 포함하는 새로운 dataset, TIME-THINKING, (2) self-consistency에서 영감을 받은 foundation TSF model을 위한 간단한 test-time scaling trend. 모든 data와 code는 다음에서 확인할 수 있다: https://anonymous.4open.science/r/REC4TS-2700","link":"https://openreview.net/forum?id=8LBHb5N3ns"},{"id":"2iVtmlMjxI","en":"Learning to Cool: State Space Models for Smarter Automobile AC Systems","ko":"더 시원하게 학습하기: 더 똑똑한 자동차 AC 시스템을 위한 State Space Models","authors":"Sam Mikhak, Forrest Felsch, Taehyung Wang","abs":"We investigate the application of modern state-space models for time series forecasting of automobile air conditioning (AC) power draw, a task critical for improving heating, ventilation, and air conditioning (HVAC) control systems impacting fuel or battery consumption by up to 20% (Vasile-Müller, 2011). Traditional long short-term memory (LSTM) based approaches struggle with long-range dependencies in high-resolution vehicle telemetry, motivating our exploration of the Structured State Space Sequence (S4) architecture. We train and evaluate S4 forecaster variants on more than 7,000 sliding windows of data, then compare them against a hybrid LSTM-Attention baseline. Across multiple window configurations, S4 consistently outperforms the baseline, achieving a mean squared error (MSE) as low as $0.000288$, an $R^2$ up to $0.9820$, and a weighted mean absolute percentage error (WMAPE) as low as $0.0247$. We also report latency and parameter counts, showing that the S4 forecaster remains compact and suitable for in-vehicle deployment. These results demonstrate that structured state-space models can improve predictive accuracy for automotive HVAC forecasting while maintaining a lightweight footprint, providing a foundation for next-generation energy-aware control systems.
","absKo":"우리는 자동차 에어컨(AC) 전력 소모의 시계열 예측에 최신 state-space model을 적용하는 문제를 조사한다. 이 과제는 연료 또는 배터리 소비에 최대 20%까지 영향을 미치는 heating, ventilation, and air conditioning (HVAC) 제어 시스템을 개선하는 데 중요하다(Vasile-Müller, 2011). 전통적인 long short-term memory (LSTM) 기반 접근법은 고해상도 차량 텔레메트리에서 장기 의존성을 다루는 데 어려움을 겪기 때문에, 우리는 Structured State Space Sequence (S4) 아키텍처를 탐구한다. 우리는 7,000개가 넘는 슬라이딩 윈도우 데이터에서 S4 예측기 변형들을 학습하고 평가한 뒤, hybrid LSTM-Attention baseline과 비교한다. 여러 윈도우 설정에서 S4는 일관되게 baseline을 능가했으며, mean squared error (MSE)를 최저 $0.000288$까지, $R^2$를 최대 $0.9820$까지, weighted mean absolute percentage error (WMAPE)를 최저 $0.0247$까지 달성했다. 또한 지연 시간과 파라미터 수를 보고하여, S4 예측기가 여전히 컴팩트하며 차량 내 배치에 적합함을 보인다. 이러한 결과는 structured state-space model이 자동차 HVAC 예측의 예측 정확도를 향상시키면서도 경량성을 유지할 수 있음을 보여주며, 차세대 에너지 인지 제어 시스템의 토대를 제공한다.","link":"https://openreview.net/forum?id=2iVtmlMjxI"},{"id":"LtXucHLtiN","en":"Benchmarking Tabular Foundation Models for Churn Prediction","ko":"이탈률 예측을 위한 Tabular Foundation Models 벤치마킹","authors":"Sobhan Seyedzadeh, Mostafa Karimi","abs":"Customer churn prediction is one of the most consequential ML-driven
classification challenges across industries, where a single percentage-point gain in predictive accuracy translates into measurable retained revenue. Historically addressed by classical ML and, more recently, by deep learning and tree ensembles, churn prediction has lacked a systematic evaluation of the latest tabular foundation models (TFMs) built on in-context learning (ICL), a paradigm in which a model issues predictions from a labelled context in a single forward pass, with no retraining on the target dataset. We present the first cross-industry benchmark of sixteen models, spanning classical baselines, deep learning, tree ensembles, and six distinct TFMs (TabPFN, TabICL, TabDPT, Mitra, LimiX, and ConTextTab) across nine publicly available datasets covering seven industry sectors. TFMs collectively and decisively outperform all classical, deep learning, and tree-ensemble alternatives; TabICL v2, which operates without hardware constraints or subsampling, is the state-of-the-art, ranking in the top three on eight of nine datasets and outperforming XGBoost by up to 9.23\\,pp PR-AUC with no dataset-specific retraining; a result that positions TFMs as fully industry-ready tools that businesses across all sectors can embrace today. SHAP-validated, ablation-confirmed actionable insights further identify the dominant churn driver in every industry studied, delivering a fully deployable and explainable end-to-end pipeline.
","absKo":"Customer churn prediction은 산업 전반에서 가장 중요한 ML 기반 classification challenge 중 하나로, 예측 정확도의 단 1 percentage-point 향상도 측정 가능한 retained revenue 증가로 이어진다. 전통적으로 classical ML과 최근에는 deep learning 및 tree ensemble으로 다뤄져 왔지만, churn prediction에 대해 in-context learning (ICL) 기반 최신 tabular foundation model (TFM)을 체계적으로 평가한 연구는 없었다. ICL은 모델이 target dataset에 대한 재학습 없이, labelled context만으로 단일 forward pass에서 예측을 수행하는 paradigm이다. 우리는 classical baseline, deep learning, tree ensemble, 그리고 여섯 가지 distinct TFM (TabPFN, TabICL, TabDPT, Mitra, LimiX, ConTextTab)을 포함하여, 7개 산업 sector를 포괄하는 9개 공개 dataset에서 16개 모델을 비교한 최초의 cross-industry benchmark를 제시한다. TFM은 classical, deep learning, tree-ensemble 대안들을 집단적으로 그리고 결정적으로 능가한다. 하드웨어 제약이나 subsampling 없이 동작하는 TabICL v2는 state-of-the-art로, 9개 dataset 중 8개에서 top three에 들었고, dataset-specific retraining 없이 XGBoost를 최대 9.23\\,pp PR-AUC까지 앞질렀다. 이는 TFM을 오늘날 모든 sector의 기업이 채택할 수 있는 완전한 산업용 도구로 자리매김시킨다. SHAP으로 검증되고 ablation으로 확인된 실행 가능한 insight는 연구한 모든 산업에서 지배적인 churn driver를 추가로 식별하며, 완전히 배포 가능한 explainable end-to-end pipeline을 제공한다.","link":"https://openreview.net/forum?id=LtXucHLtiN"},{"id":"YRcXyqoemK","en":"Objective and data-driven Bayesian inference using TabPFN models","ko":"TabPFN 모델을 이용한 객관적이고 데이터 기반의 Bayesian 추론","authors":"Elias Chaibub Neto","abs":"Neural posterior estimation with prior-data fitted networks (NPE-PFN) has emerged as a promising tool for Bayesian inference, enabling posterior approximation from simulated data generated under user-specified prior and likelihood models. Here, we adapt TabPFN-based NPE-PFN modeling for performing both objective Bayesian inference and data-driven Bayesian analysis. Importantly, while both contributions can be strait-forwardly implemented under the NPE-PFN framework, they cannot be implemented (or at least not as easily) under alternative computational approaches. In the objective Bayes front, we propose a new class of default prior distributions for which maximum a posteriori (MAP) and maximum likelihood (MLE) inferences coincide. These priors yield MAP/MLE equivalence independent of the chosen probability model, enabling more automatic Bayesian analysis without model-specific prior design. On the data-driven front, we show how the NPE-PFN machinery can be used to approximate MLE estimation through overconfident asymptotic Bayesian arguments allowing the implementation of empirical Bayes methodology. Simulation studies illustrate the flexibility and effectiveness of the proposed approaches.
","absKo":"prior-data fitted network (NPE-PFN)을 이용한 neural posterior estimation은 Bayesian inference를 위한 유망한 도구로 부상했으며, 사용자가 지정한 prior와 likelihood model 아래에서 생성된 simulated data로부터 posterior를 근사할 수 있게 한다. 여기서는 objective Bayesian inference와 data-driven Bayesian analysis를 모두 수행하기 위해 TabPFN 기반 NPE-PFN modeling을 적응시킨다. 중요한 점은, 두 기여 모두 NPE-PFN framework에서는 비교적 간단히 구현할 수 있지만, 대안적 계산 접근법에서는 구현할 수 없거나 적어도 훨씬 어렵다는 것이다. objective Bayes 측면에서는, maximum a posteriori (MAP) 추론과 maximum likelihood (MLE) 추론이 일치하는 새로운 default prior distribution 부류를 제안한다. 이러한 prior는 선택된 probability model과 무관하게 MAP/MLE의 동등성을 제공하므로, model-specific prior 설계 없이도 더 자동화된 Bayesian analysis가 가능해진다. data-driven 측면에서는, NPE-PFN machinery를 사용해 과신적인 asymptotic Bayesian argument를 통해 MLE 추정을 근사하는 방법을 보이며, 이를 통해 empirical Bayes methodology를 구현할 수 있음을 보인다. 시뮬레이션 연구는 제안한 접근법의 유연성과 효과를 입증한다.","link":"https://openreview.net/forum?id=YRcXyqoemK"},{"id":"vYEpo2F7ty","en":"Structured Physical Attributes Enable Efficient Foundation Models for Land-Surface Prediction","ko":"구조화된 물리 속성은 지표면 예측을 위한 효율적인 foundation model을 가능하게 한다","authors":"Nicholas Kraabel, Jiangtao Liu, Yuchen Bian, Daniel Kifer, Chaopeng Shen","abs":"Foundation models for structured tabular and time-series data have demonstrated strong zero-shot and transfer capabilities across general-purpose prediction tasks, yet their applicability to domain-governed physical systems remains underexplored. We present StefaLand, a structured foundation model pretrained on tabular landscape attributes and meteorological time-series across 8,634 global catchments, targeting two core Earth system prediction tasks: streamflow forecasting and soil moisture estimation. StefaLand employs a transformer-based masked autoencoder with cross-variable group masking to learn interactions among physically related attribute groups, and is adapted to downstream tasks through lightweight residual adapters. Against strong baselines including TabPFN, TiRex, AlphaEarth embeddings, and supervised LSTM models, StefaLand achieves consistent gains in spatial generalization under strict holdout regimes, reducing streamflow RMSE by approximately 20\\% over supervised baselines in ungauged basin experiments. Our results demonstrate that domain-specialized pretraining on structured physical attributes provides stronger cross-domain transfer than general-purpose tabular foundation models, and offers a computationally accessible alternative to large-scale vision-based Earth observation models.
","absKo":"Structured tabular 및 time-series data를 위한 foundation models는 일반 목적 예측 작업 전반에서 강한 zero-shot 및 transfer capability를 보여주었지만, domain-governed physical systems에 대한 적용 가능성은 아직 충분히 탐구되지 않았다. 우리는 전 세계 8,634개 catchment의 tabular landscape attribute와 meteorological time-series로 pretrain된 structured foundation model인 StefaLand를 제시하며, streamflow forecasting과 soil moisture estimation이라는 두 가지 핵심 Earth system prediction task를 대상으로 한다. StefaLand은 physically related attribute group 간 상호작용을 학습하기 위해 cross-variable group masking을 사용하는 transformer-based masked autoencoder를 사용하며, downstream task에는 lightweight residual adapter로 적응된다. TabPFN, TiRex, AlphaEarth embeddings, supervised LSTM models를 포함한 강력한 baseline과 비교했을 때, StefaLand은 엄격한 holdout regime에서 spatial generalization에 일관된 향상을 보였고, ungauged basin experiment에서 supervised baseline 대비 streamflow RMSE를 약 20\\% 줄였다. 우리의 결과는 structured physical attribute에 대한 domain-specialized pretraining이 general-purpose tabular foundation model보다 더 강한 cross-domain transfer를 제공하며, 대규모 vision-based Earth observation model에 대한 computationally accessible한 대안이 됨을 보여준다.","link":"https://openreview.net/forum?id=vYEpo2F7ty"},{"id":"9cluMqZFGA","en":"SCBench: A Testbed for Causal Inference with Time Series Panel Data","ko":"SCBench: 시계열 패널 데이터의 인과 추론을 위한 테스트베드","authors":"Megan Richards, Saeyoung Rho, Kyunghyun Cho","abs":"Synthetic control (SC) is a widely used method for estimating causal effects from observational panel data, with classical approaches expressing a target trajectory as a linear combination of donor trajectories. Recent advances in foundation models pretrained on synthetic data have shown strong performance in structured, sample-limited regimes such as tabular and time-series prediction, raising the question of whether such models are also effective for synthetic control. We conduct a large-scale empirical study of traditional and foundation model approaches on over 300K simulated panels, spanning fully linear to fully nonlinear state-space dynamics, varying noise regimes, and a range of panel sizes and ranks. Comparing three foundation models (TabPFN, TabPFN-TS, and Chronos) against standard SC baselines (Robust SC, Lasso, and Simplex), we identify regimes where foundation models outperform classical baselines, including when latent dynamics are nonlinear and panels are high rank. Linear methods remain competitive or superior in low-rank and near-linear settings, with Simplex providing a reliable baseline across our testbed. These results suggest that foundation models pretrained on synthetic data are a promising direction for synthetic control in challenging regimes, and we release our benchmarks and analysis to support future work.
","absKo":"Synthetic control(SC)은 관측 panel data에서 causal effect를 추정하는 데 널리 사용되는 방법으로, 고전적 접근법은 target trajectory를 donor trajectory의 선형 결합으로 표현한다. 합성 데이터로 사전학습된 foundation model의 최근 발전은 tabular 및 time-series prediction과 같은 구조화되고 sample이 제한된 환경에서 강력한 성능을 보였고, 이는 그러한 모델이 synthetic control에서도 효과적인지에 대한 의문을 제기한다. 우리는 완전 선형부터 완전 비선형 state-space dynamics까지, 다양한 noise regime과 panel size 및 rank를 포괄하는 30만 개 이상의 simulated panel에서 전통적 접근과 foundation model 접근을 대상으로 대규모 실증 연구를 수행한다. 세 개의 foundation model(TabPFN, TabPFN-TS, Chronos)과 표준 SC baseline(Robust SC, Lasso, Simplex)을 비교한 결과, latent dynamics가 비선형이고 panel이 high rank일 때를 포함하여 foundation model이 고전적 baseline을 능가하는 regime를 식별했다. 선형 방법은 low-rank 및 거의 선형에 가까운 설정에서 여전히 경쟁력이 있거나 더 우수하며, Simplex는 우리의 testbed 전반에서 신뢰할 수 있는 baseline을 제공한다. 이러한 결과는 합성 데이터로 사전학습된 foundation model이 어려운 regime의 synthetic control에 유망한 방향임을 시사하며, 우리는 향후 연구를 지원하기 위해 benchmark와 분석을 공개한다.","link":"https://openreview.net/forum?id=9cluMqZFGA"},{"id":"xTxfxVoUux","en":"PerturbPFN: Probing the Limits of Synthetic Priors in Perturbation Modelling","ko":"PerturbPFN: 변형 모델링에서 합성 사전지식의 한계 탐구","authors":"Yuche Gao, José Miguel Hernández-Lobato, Siyuan Guo","abs":"Predicting cellular responses to unseen chemical perturbations is challenging due to unknown mechanisms, high-dimensional responses, and limited experimental coverage. We propose PerturbPFN, a PFN-style amortized model for unknown-target perturbation prediction under a hierarchical synthetic structural prior. Rather than directly regressing expression responses, PerturbPFN infers a latent system graph, sparse intervention targets, and intervention strengths, then propagates their effects through an SCM decoder. The model is trained entirely on prior-predictive synthetic episodes generated from biologically motivated graph and expression simulators, enabling structured in-context inference without test-time gradient updates. We evaluate PerturbPFN on both real single-cell perturbation data and synthetic benchmarks, covering effect prediction, target identification, and regulatory structure discovery. Our results show that PerturbPFN offers a complementary trade-off to specialized baselines, achieving competitive perturbation prediction with low inference cost while exposing interpretable intermediate estimates of targets, strengths, and system structure.
","absKo":"알 수 없는 화학적 perturbation에 대한 세포 반응을 예측하는 일은, 기작이 알려져 있지 않고 반응이 고차원적이며 실험적 커버리지가 제한적이기 때문에 어렵다. 우리는 계층적 synthetic structural prior 하에서 unknown-target perturbation prediction을 위한 PFN 스타일의 amortized model인 PerturbPFN을 제안한다. PerturbPFN은 expression response를 직접 회귀하는 대신, latent system graph, sparse intervention targets, intervention strengths를 추론한 뒤, 그 효과를 SCM decoder를 통해 전파한다. 이 모델은 생물학적으로 동기부여된 graph 및 expression simulator가 생성한 prior-predictive synthetic episode에서 전적으로 학습되며, test-time gradient update 없이 구조화된 in-context inference를 가능하게 한다. 우리는 PerturbPFN을 실제 single-cell perturbation 데이터와 synthetic benchmark 모두에서 평가하며, effect prediction, target identification, regulatory structure discovery를 포괄한다. 결과는 PerturbPFN이 전문화된 baseline에 대해 상보적인 trade-off를 제공함을 보여준다. 즉, 낮은 inference cost로 경쟁력 있는 perturbation prediction을 달성하는 동시에, targets, strengths, system structure에 대한 해석 가능한 intermediate estimate를 드러낸다.","link":"https://openreview.net/forum?id=xTxfxVoUux"},{"id":"h0ffYnBlRo","en":"Benchmarking Multimodal Clinical Foundation Models to Reveal Significant Demographic Disparities","ko":"중대한 인구통계학적 격차를 드러내기 위한 multimodal clinical foundation model 벤치마킹","authors":"Milan Mohan, Saketh Lingisetty, Umar Ahmad, Avi Kumar, Shankar Harikrishnan, Sanjana Chamarty, Kevin Zhu","abs":"Medical imaging foundation models produce high-dimensional structured feature vectors for downstream tabular classifiers, bridging visual pretraining and structured clinical data pipelines. We benchmark MedImageInsight, MedSigLIP, and BiomedCLIP on INSPECT, pairing CTPA imaging with longitudinal EHR, using linear and MLP probes across PE diagnostic and seven prognostic tasks. We report three findings. First, logistic regression outperforms all MLP variants for MedImageInsight (+0.014) and MedSigLIP (+0.021), indicating linearly separable structure in high-capacity embeddings. Second, structured EHR adds at most +0.003 AUROC over frozen CT alone (+0.017 for BiomedCLIP readmission), confirming fusion cannot compensate for representational deficits. Third and primarily, age is the dominant disparity: patients aged 18–40 face underdiagnosis rates (UDR) of 0.63–0.80 versus 0.31–0.41 for ages 75–90 (gap 0.32–0.45), exceeding race/ethnicity and gender gaps across all eight tasks. Adversarial debiasing is the only mitigation that reduces gaps without hurting AUROC: age-targeted debiasing cuts MedImageInsight’s gap by 79% (0.333→0.069; p<0.001) at 0.011 AUROC cost. BiomedCLIP debiasing is unreliable (p≥0.12), suggesting embedding expressivity is a prerequisite for demographic disentanglement.
","absKo":"의료 영상 foundation model은 하위 tabular classifier를 위해 고차원 구조화 feature vector를 생성하며, 시각적 사전학습과 구조화된 임상 데이터 파이프라인을 연결한다. 우리는 INSPECT에서 MedImageInsight, MedSigLIP, BiomedCLIP을 CTPA 영상과 longitudinal EHR을 짝지어 평가하고, PE 진단 및 7개의 예후 과제 전반에서 linear probe와 MLP probe를 사용해 benchmark했다. 우리는 세 가지 결과를 보고한다. 첫째, logistic regression은 MedImageInsight(+0.014)와 MedSigLIP(+0.021)에서 모든 MLP 변형보다 뛰어나며, 이는 고용량 embedding에 선형 분리가 가능한 구조가 있음을 시사한다. 둘째, 구조화된 EHR을 추가해도 frozen CT 단독 대비 AUROC는 최대 +0.003만 증가하며(+0.017 for BiomedCLIP readmission), fusion이 표현력의 결함을 보완할 수 없음을 확인한다. 셋째이자 핵심적으로, 연령이 가장 큰 격차를 만든다. 18–40세 환자는 75–90세 환자의 0.31–0.41에 비해 0.63–0.80의 underdiagnosis rate(UDR)를 보여(격차 0.32–0.45), 여덟 개 과제 모두에서 인종/민족 및 성별 격차를 웃돈다. adversarial debiasing만이 AUROC를 해치지 않으면서 격차를 줄이는 완화책이다. 연령 표적 debiasing은 MedImageInsight의 격차를 79% 줄여(0.333→0.069; p<0.001) AUROC 비용 0.011에서 달성한다. BiomedCLIP debiasing은 신뢰할 수 없으며(p≥0.12), 이는 embedding 표현력이 인구통계적 분리를 위한 전제 조건임을 시사한다.","link":"https://openreview.net/forum?id=h0ffYnBlRo"},{"id":"oQINTd9din","en":"Large-Scale Pretraining unlocks Few-Shot Prediction for Relational Data","ko":"대규모 사전학습이 relational data에 대한 few-shot 예측을 가능하게 한다","authors":"Rishabh Ranjan, Vignesh Kothapalli, Harshvardhan Agarwal, Charilaos I. Kanatsoulis, Roshan Reddy Upendra, Tom Palczewski, Carlos Guestrin, Jure Leskovec","abs":"Few-shot adaptation has been crucial to the success of foundation models for language and vision, but foundation models for structured relational data still require thousands of labeled examples to perform well. We show that, when
pretrained at scale with the right recipe, a Relational Transformer (RT) becomes a strong few-shot predictor across diverse databases. Our
recipe has three ingredients: THE JOIN, the largest
open relational pretraining corpus to date, with
6,255 forecasting tasks across 650 real-world
databases; a pretraining procedure that mixes context sizes, masks many cells per window, and
fills the context via random-walk retrieval; and
test-time compute scaling via context ensembling
and per-task context tuning. On RelBench, the
resulting model matches the strongest in-context
learning pipelines (RDBLearn + TabICLv2 and
an LLM Agent + TabICLv2) using 23–32× fewer
in-context labels, and exceeds the prior fully-supervised state of the art (RelGNN) without
any task-specific training. Ablations show that
schema semantics, multi-cell masking, random-walk retrieval, and mixed task pretraining each
contribute materially to the regime.
","absKo":"few-shot adaptation은 언어와 vision 분야의 foundation model 성공에 결정적이었지만, structured relational data를 위한 foundation model은 여전히 잘 작동하려면 수천 개의 labeled example이 필요하다. 우리는 적절한 recipe로 대규모 pretraining을 하면 Relational Transformer(RT)가 다양한 database 전반에서 강력한 few-shot predictor가 됨을 보인다. 우리의 recipe는 세 가지 요소로 구성된다: 현재까지 가장 큰 open relational pretraining corpus인 THE JOIN, 650개의 실제 database에 걸친 6,255개의 forecasting task; context size를 혼합하고, window마다 많은 cell을 mask하며, random-walk retrieval로 context를 채우는 pretraining procedure; 그리고 context ensembling과 per-task context tuning을 통한 test-time compute scaling. RelBench에서, 이 모델은 23–32배 더 적은 in-context label만으로도 가장 강한 in-context learning pipeline(RDBLearn + TabICLv2 및 LLM Agent + TabICLv2)과 맞먹는 성능을 보이며, task-specific training 없이도 이전의 fully-supervised SOTA(RelGNN)를 능가한다. ablation 결과는 schema semantics, multi-cell masking, random-walk retrieval, 혼합 task pretraining이 각각 이 regime에 실질적으로 기여함을 보여준다.","link":"https://openreview.net/forum?id=oQINTd9din"},{"id":"5B1lb8jrgo","en":"Lost in Aggregation: How Benchmarks Overlook Irreplaceable Model Strengths","ko":"Aggregation의 함정: 벤치마크가 대체 불가능한 모델 강점을 어떻게 간과하는가","authors":"Andrej Tschalzev, Stefan Lüdtke, Heiner Stuckenschmidt, Christian Bartelt","abs":"Tabular machine learning benchmarks typically summarize performance by averaging scores, ranks, or pairwise wins across datasets. Such aggregates are useful for selecting robust default models, but they can obscure a different question: which models are necessary to attain peak performance on particular datasets? We argue that benchmark evaluation should also consider the data-centric peak performance frontier, defined by the best statistically supported performance achieved on each dataset. From this perspective, a model may be irreplaceable, sufficient, redundant, or fallible depending on whether it uniquely reaches the frontier, ties with frontier models, is dominated by alternatives, or performs significantly worse than typical competitors. Applying this framework to TabArena, we find that common leaderboard metrics largely measure consistency and failure avoidance, and are much less aligned with dataset-level irreplaceability. As a result, models with unique dataset-specific strengths can appear mediocre under standard aggregation. Our results suggest that benchmark progress should be measured not only by improvements in average score, but also by whether new models expand the set of attainable peak performances across datasets.
","absKo":"Tabular machine learning benchmark는 보통 dataset 전체에 걸쳐 score, rank, pairwise win을 평균내어 성능을 요약한다. 이러한 집계는 robust default model을 선택하는 데 유용하지만, 어떤 model이 특정 dataset에서 peak performance를 달성하는 데 필요한가라는 다른 질문을 가릴 수 있다. 우리는 benchmark evaluation이 data-centric peak performance frontier도 함께 고려해야 한다고 주장한다. 이 frontier는 각 dataset에서 달성된 통계적으로 뒷받침되는 최고 성능으로 정의된다. 이러한 관점에서 model은 frontier를 유일하게 달성하면 irreplaceable, frontier model과 동률이면 sufficient, alternative에 의해 지배되면 redundant, 일반적인 경쟁 모델보다 유의하게 나쁘면 fallible일 수 있다. 이 프레임워크를 TabArena에 적용한 결과, 일반적인 leaderboard metric은 주로 consistency와 failure avoidance를 측정하며 dataset-level irreplaceability와는 훨씬 덜 맞물려 있음을 발견했다. 그 결과, dataset-specific strength가 독특한 model도 표준 집계에서는 평범해 보일 수 있다. 우리의 결과는 benchmark progress가 평균 score의 향상뿐 아니라, 새로운 model이 dataset 전반에서 달성 가능한 peak performance의 집합을 확장하는지로도 측정되어야 함을 시사한다.","link":"https://openreview.net/forum?id=5B1lb8jrgo"},{"id":"2EFykQheZD","en":"Staying Alive: Uncensored Survival Analysis with Tabular Foundation Models","ko":"계속 살아남기: Tabular Foundation Models를 이용한 비검열 생존 분석","authors":"Mariana Vargas Vieyra","abs":"Survival Analysis (SA) is a statistical framework that models the time span until some event of interest occurs. Widely used in several domains, including healthcare and churn prediction, a central challenge in its applicability stems from the time of the event being partially observed or "right-censoring".
Tabular Foundation Models (TFM) have attracted significant interest in recent years due to their ability to perform prediction tasks in a single forward pass, requiring no dataset-specific parameter fitting. Despite their success, their application to prediction tasks on time-to-event data remains difficult due to right censoring.
In this work, we present a training-free method to survival regression by leveraging TFMs to both predict the time of the event and iteratively impute right-censored data.
Our method uses a TFM to construct an Accelerated Failure Time (AFT) model requiring no training beyond fitting a single scalar parameter. Subsequently, by building on the Buckley-James estimator, we introduce a non-parametric in-context estimator for right-censored data.
Our experiments on standard survival analysis benchmarks show that our method is competitive with several parametric and semi-parametric survival regression models that require training, including Cox regression and parametric AFT models.
","absKo":"Survival Analysis (SA)는 관심 있는 특정 사건이 발생할 때까지의 시간을 모델링하는 통계적 framework이다. healthcare와 churn prediction을 포함한 여러 도메인에서 널리 사용되지만, 그 적용 가능성의 핵심적인 도전은 사건 시점이 부분적으로만 관측되거나, 즉 \"right-censoring\"된다는 점에 있다.\n Tabular Foundation Models (TFM)은 dataset-specific parameter fitting 없이 단일 forward pass로 prediction task를 수행할 수 있다는 이유로 최근 큰 관심을 받아왔다. 그러나 그 성공에도 불구하고, time-to-event data에 대한 prediction task에 적용하는 일은 right censoring 때문에 여전히 어렵다. \n이 연구에서 우리는 TFM을 활용해 사건 시점을 예측하고 right-censored data를 반복적으로 impute하는 방식으로, training 없이 수행되는 survival regression 방법을 제시한다.\n 우리의 방법은 TFM을 사용해 단일 scalar parameter fitting 외에는 추가 학습이 필요 없는 Accelerated Failure Time (AFT) model을 구성한다. 그 다음 Buckley-James estimator를 바탕으로, right-censored data를 위한 non-parametric in-context estimator를 도입한다.\n표준 survival analysis benchmark에 대한 실험 결과, 우리의 방법은 Cox regression과 parametric AFT model을 포함해 학습이 필요한 여러 parametric 및 semi-parametric survival regression model과 경쟁할 만한 성능을 보였다.","link":"https://openreview.net/forum?id=2EFykQheZD"},{"id":"gsuqQs0G0K","en":"Reverso: Efficient Time Series Foundation Models for Zero-shot Forecasting","ko":"Reverso: zero-shot forecasting을 위한 효율적 시계열 foundation model","authors":"Xinghong Fu, Yanhong Li, GEORGIOS PAPAIOANNOU, Yoon Kim","abs":"Learning time series foundation models has been shown to be a promising approach for zero-shot time series forecasting across diverse time series domains. Insofar as scaling has been a critical driver of performance of foundation models in other modalities such as language and vision, much recent work on time series foundation modeling has focused on scaling. This has resulted in time series foundation models with hundreds of millions of parameters that are, while performant, challenging to deploy, especially in memory-constrained settings such as in edge and on-device deployment. This paper describes a simple parameter-efficient architecture for time-series foundation modeling. Our architecture consists of three components: a multi-scale input strategy where we create multiple versions of the original input via downsampling at different scales; hybrid sequence-mixing layers consisting of long convolutions and DeltaNet layers; and an attention-based decoder head. We combine our architecture with standard data augmentation recipes to train a family of parameter-efficient time series foundation models, dubbed Reverso. Reverso achieves competitive performance across zero-shot forecasting, classification and anomaly detection, pushing the performance-efficiency Pareto frontier.
","absKo":"time series foundation model을 학습하는 것은 다양한 time series 도메인에서 zero-shot time series forecasting을 수행하는 유망한 접근으로 입증되어 왔다. 다른 modality, 예를 들어 language와 vision에서 foundation model 성능의 핵심 동인이 scaling이었듯이, 최근 time series foundation modeling 연구의 상당 부분도 scaling에 초점을 맞추고 있다. 그 결과 수억 개의 parameter를 가진 time series foundation model이 등장했지만, 성능은 뛰어나더라도 특히 edge나 on-device deployment와 같은 memory-constrained 환경에서는 배포가 어렵다. 이 논문은 time-series foundation modeling을 위한 간단한 parameter-efficient architecture를 제시한다. 우리의 architecture는 세 가지 구성요소로 이루어진다: 서로 다른 scale에서 downsampling을 통해 원본 input의 여러 버전을 만드는 multi-scale input strategy, long convolution과 DeltaNet layer로 이루어진 hybrid sequence-mixing layer, 그리고 attention-based decoder head. 우리는 이 architecture와 standard data augmentation recipe를 결합해 Reverso라고 부르는 parameter-efficient time series foundation model family를 학습한다. Reverso는 zero-shot forecasting, classification, anomaly detection 전반에서 경쟁력 있는 성능을 달성하며, performance-efficiency Pareto frontier를 전진시킨다.","link":"https://openreview.net/forum?id=gsuqQs0G0K"},{"id":"W7NIrEh8bI","en":"Foundation Models for Sparse, Multi-Relational Risk Prediction in Global Supply Chains","ko":"전 세계 공급망의 희소 다중관계 위험 예측을 위한 foundation model","authors":"Ruohong Li, George Pu, James Nordlund, Prasanth Meiyappan","abs":"Tabular and relational foundation models have demonstrated strong in-context learning on academic benchmarks, but their behavior on enterprise-scale structured data—marked by multi-relational schemas, extreme sparsity, and cold-start inference requirements—remains understudied. We evaluate two foundation model paradigms on global supply chain compliance risk prediction, a setting that stresses all three dimensions simultaneously. Our AutoFE+TFM pipeline automates temporal feature engineering across relational tables via Deep Feature Synthesis (DFS) and performs in-context learning without fine-tuning, discovering cross-table interaction features invisible to the hand-crafted
production baseline. A relational foundation model (RFM), Griffin, preserves multi-table structure. On 3,700+ entities, DFS+TabICL improves
P@90R from .662 to .665 and F1 from .745 to .750 when incorporating resolution tables, while matching baseline ROC-AUC (.804 vs. .807). On a disjoint-entity supplier split, a metadata-only inference mode retains .729 AUC and .622 P@90R for zero-history entities, exceeding the dataset positive rate (.540) and confirming actionable cold-start scoring. Our results show that foundation models match a gradient-boosted baseline on enterprise relational data while eliminating manual feature engineering and enabling cold-start inference—a capability absent from the current production pipeline.
","absKo":"Tabular 및 relational foundation model은 academic benchmark에서 강한 in-context learning을 보여 주었지만, multi-relational schema, 극단적 sparsity, cold-start inference 요구사항이 특징인 enterprise-scale structured data에서의 동작은 아직 충분히 연구되지 않았다. 우리는 세 가지 차원을 동시에 강하게 요구하는 설정인 global supply chain compliance risk prediction에서 두 가지 foundation model 패러다임을 평가한다. 우리의 AutoFE+TFM pipeline은 Deep Feature Synthesis (DFS)를 통해 relational table 전반의 temporal feature engineering을 자동화하고, fine-tuning 없이 in-context learning을 수행하여 수작업으로 만든 production baseline에는 보이지 않던 cross-table interaction feature를 찾아낸다. relational foundation model (RFM)인 Griffin은 multi-table structure를 보존한다. 3,700개 이상의 entity에서, DFS+TabICL은 resolution table을 포함할 때 P@90R을 0.662에서 0.665로, F1을 0.745에서 0.750으로 향상시키면서 baseline ROC-AUC(0.804 대 0.807)와 동등한 수준을 유지한다. 서로 분리된 entity의 supplier split에서는 metadata-only inference mode가 zero-history entity에 대해 0.729 AUC와 0.622 P@90R을 유지하며 dataset positive rate(0.540)를 상회하고, 실제로 활용 가능한 cold-start scoring을 확인시켜 준다. 우리의 결과는 foundation model이 enterprise relational data에서 gradient-boosted baseline과 맞먹는 성능을 보이면서도 manual feature engineering을 제거하고 cold-start inference를 가능하게 한다는 점을 보여 준다. 이는 현재 production pipeline에는 없는 능력이다.","link":"https://openreview.net/forum?id=W7NIrEh8bI"},{"id":"dA8IZj8R46","en":"Towards Pretraining Text Encoders for TabPFN","ko":"TabPFN을 위한 텍스트 인코더 사전학습을 향하여","authors":"Mustafa Tajjar, Alexander Pfefferle, Lennart Purucker, Frank Hutter","abs":"Tabular foundation models, such as TabPFN, achieve strong performance on tabular datasets with numerical and categorical data, but do not natively handle high-cardinality text features. Standard pipelines, therefore, embed text with a language model and compress the resulting vectors with PCA into a small number of scalar features before inputting them into TabPFN. This creates an information bottleneck: most embedding dimensions are discarded, and the compressed representation must then be expanded again by TabPFN's feature encoder. End-to-end alternatives can avoid PCA, but they require large amounts of pretraining data containing text cells and usually perform subpar compared to tabular foundation models that were pretrained on large amounts of synthetic data. Inspired by modality-alignment approaches like LLaVA (vision-to-LLM token projection) and TableGPT-style systems (table-to-LLM token projection), we introduce the TabPFN Text Adapter (text-to-TFM token projection). We freeze both the sentence encoder and TabPFN, and train only a lightweight adapter that maps text embeddings into a short sequence of tokens in TabPFN's embedding space. This design removes the PCA bottleneck, preserves TabPFN's numerical strengths, and is more efficient to train than end-to-end text-tabular pipelines.
","absKo":"TabPFN과 같은 tabular foundation model은 numerical 및 categorical data가 있는 tabular dataset에서 강력한 성능을 보이지만, 고-cardinality text feature는 기본적으로 다루지 못한다. 따라서 표준 파이프라인은 text를 language model로 embedding한 뒤, 그 벡터를 PCA로 소수의 scalar feature로 압축하여 TabPFN에 입력한다. 이는 정보 병목을 만든다. 대부분의 embedding dimension이 버려지고, 압축된 representation은 다시 TabPFN의 feature encoder에 의해 확장되어야 한다. End-to-end 대안은 PCA를 피할 수 있지만, text cell을 포함한 대규모 pretraining data를 필요로 하며 보통 대량의 synthetic data로 사전학습된 tabular foundation model보다 성능이 떨어진다. LLaVA의 modality-alignment 접근법(vision-to-LLM token projection)과 TableGPT 스타일 시스템(table-to-LLM token projection)에 착안해, 우리는 TabPFN Text Adapter(text-to-TFM token projection)를 소개한다. 우리는 sentence encoder와 TabPFN을 모두 freeze하고, text embedding을 TabPFN의 embedding space 안의 짧은 token sequence로 매핑하는 경량 adapter만 학습한다. 이 설계는 PCA 병목을 제거하고, TabPFN의 numerical strength를 보존하며, end-to-end text-tabular pipeline보다 학습 효율도 높다.","link":"https://openreview.net/forum?id=dA8IZj8R46"},{"id":"aBu8Xd6R6s","en":"Bootstrap-Conditioned Action Selection with Tabular Foundation Models","ko":"Tabular foundation model을 이용한 bootstrap-conditioned action selection","authors":"Devansh Gupta, Shiv Kumar Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin","abs":"Contextual bandits offer a natural framework for sample-efficient personalization, but practical deployment remains difficult under sparse, biased interaction data, unreliable uncertainty estimates, and severe cold starts. We study whether pretrained tabular foundation models with in-context learning can be turned into randomized policies for online decision making. We propose BC-ICL (Bootstrap-conditioned action selection using ICL), which at each round draws a bootstrap resample of the interaction history, conditions a frozen pretrained ICL model on that resample, scores all actions, and selects the action with the highest sampled score. We further introduce an arm-context conditioning architecture that promotes shared statistical strength across actions and helps avoid common bootstrap failure modes of isolated-arm bandits. Empirically, this policy delivers strong early-round regret and regret performance on standard contextual bandit suites, outperforming established baselines under a strict online protocol.
","absKo":"Contextual bandit는 sample-efficient personalization을 위한 자연스러운 프레임워크를 제공하지만, 희소하고 편향된 interaction data, 신뢰하기 어려운 uncertainty estimate, 그리고 심각한 cold start 때문에 실제 배포는 여전히 어렵다. 우리는 in-context learning을 사용하는 pretrained tabular foundation model을 online decision making을 위한 randomized policy로 바꿀 수 있는지 연구한다. 우리는 BC-ICL(Bootstrap-conditioned action selection using ICL)을 제안하는데, 이는 각 round마다 interaction history의 bootstrap resample을 하나 뽑고, 그 resample로 frozen pretrained ICL model을 conditioning한 뒤, 모든 action을 score하고, sampled score가 가장 높은 action을 선택한다. 또한 우리는 action 간 shared statistical strength를 촉진하고, isolated-arm bandit에서 흔히 발생하는 bootstrap failure mode를 피하는 데 도움이 되는 arm-context conditioning architecture를 도입한다. 실험적으로 이 policy는 standard contextual bandit suite에서 강한 early-round regret과 regret 성능을 보이며, 엄격한 online protocol 하에서 확립된 baseline들을 능가한다.","link":"https://openreview.net/forum?id=aBu8Xd6R6s"},{"id":"r19rlhngOD","en":"MulTaBench: Benchmarking Multimodal Tabular Learning with Text and Image","ko":"MulTaBench: 텍스트와 이미지를 활용한 multimodal tabular learning 벤치마킹","authors":"Alan Arazi, Eilam Shapira, Shoham Grunblat, Mor Ventura, Elad Hoffer, Gioia Blayer, David Holzmüller, Lennart Purucker, Gaël Varoquaux, Frank Hutter, Roi Reichart","abs":"Tabular Foundation Models have recently established the state of the art in supervised tabular learning. However, they lack native support for unstructured modalities such as text and image, and rely on frozen, pretrained embeddings to process them. We show that tuning the embeddings to the task improves performance on established Multimodal Tabular benchmarks. We introduce MulTaBench, a benchmark of 40 datasets, split equally between image-tabular and text-tabular tasks. We focus on predictive tasks where the modalities provide complementary predictive signal, and where generic embeddings lose critical information, necessitating Target-Aware Representations that are aligned with the task. We demonstrate that the gains from target-aware representation tuning generalize across both text and image modalities, several tabular learners, encoder scales, and embedding dimensions. MulTaBench constitutes the largest image-tabular benchmarking effort to date, enabling the research of novel architectures which incorporate target-aware representations, paving the way for the development of novel Multimodal Tabular Foundation Models.
","absKo":"Tabular Foundation Models는 최근 supervised tabular learning에서 state of the art를 확립했다. 그러나 text와 image 같은 unstructured modality에 대한 native 지원이 없고, 이를 처리하기 위해 frozen pretrained embedding에 의존한다. 우리는 embedding을 task에 맞게 tuning하면 확립된 Multimodal Tabular benchmark에서 성능이 향상됨을 보인다. 우리는 40개 dataset으로 구성된 benchmark인 MulTaBench를 소개하며, 이를 image-tabular task와 text-tabular task로 절반씩 나눈다. 우리는 modality가 상보적인 predictive signal을 제공하고, generic embedding이 핵심 정보를 잃어 Target-Aware Representation, 즉 task에 정렬된 representation이 필요한 predictive task에 초점을 맞춘다. 우리는 target-aware representation tuning의 이점이 text와 image modality 모두, 여러 tabular learner, encoder scale, embedding dimension 전반에 걸쳐 일반화됨을 보인다. MulTaBench는 현재까지 가장 큰 image-tabular benchmarking effort로, target-aware representation을 통합하는 새로운 architecture 연구를 가능하게 하며, 새로운 Multimodal Tabular Foundation Models 개발의 길을 연다.","link":"https://openreview.net/forum?id=r19rlhngOD"},{"id":"XLFOyHaZmq","en":"Covariance-Aware Transformers for Quadratic Programming and Decision Making","ko":"이차 계획과 의사결정을 위한 공분산 인식 transformer","authors":"Kutay Tire, Yufan Zhang, Ege Onur Taga, Samet Oymak","abs":"We explore the use of transformers for solving quadratic programs and how this capability benefits decision-making problems that involve covariance matrices. We first show that the linear attention mechanism can provably solve unconstrained QPs by tokenizing the matrix variables (e.g.~$A$ of the objective $\\frac{1}{2}x^\\top Ax+b^\\top x$) row-by-row and emulating gradient descent iterations. Furthermore, by incorporating MLPs, a transformer block can solve (i) $\\ell_1$-penalized QPs by emulating iterative soft-thresholding and (ii) $\\ell_1$-constrained QPs when equipped with an additional feedback loop. Our theory motivates us to introduce Time2Decide: a generic method that enhances a time-series foundation model (TSFM) by explicitly feeding the covariance matrix between the variates. We empirically find that Time2Decide uniformly outperforms the base TSFM model for the classical portfolio optimization problem that admits an $\\ell_1$-constrained QP formulation. Remarkably, Time2Decide can also outperform the two-step "Predict-then-Optimize (PtO)" procedure where we first forecast the returns and then explicitly solve a QP. Our results reveal that transformers benefit from explicitly admitting second-order statistics and this can enable them to effectively solve two-step decision-making problems in one forward pass.
","absKo":"우리는 transformer를 사용해 quadratic program을 해결하는 방법과, 이 능력이 covariance matrix를 포함하는 decision-making problem에 어떤 이점을 주는지 탐구한다. 먼저 linear attention mechanism이 행렬 변수(예: 목적함수 $\\frac{1}{2}x^\\top Ax+b^\\top x$의 $A$)를 row-by-row로 tokenization하고 gradient descent iteration을 모사함으로써 unconstrained QP를 이론적으로 해결할 수 있음을 보인다. 나아가 MLP를 도입하면 transformer block은 (i) iterative soft-thresholding을 모사하여 $\\ell_1$-penalized QP를, (ii) 추가 feedback loop를 장착하면 $\\ell_1$-constrained QP를 해결할 수 있다. 이러한 이론을 바탕으로 우리는 Time2Decide를 제안한다. 이는 variate 간 covariance matrix를 명시적으로 입력으로 제공함으로써 time-series foundation model(TSFM)을 강화하는 일반적 방법이다. 우리는 Time2Decide가 $\\ell_1$-constrained QP formulation을 갖는 고전적 portfolio optimization 문제에서 base TSFM model을 일관되게 능가함을 실증적으로 확인했다. 놀랍게도 Time2Decide는 먼저 수익률을 예측한 뒤 명시적으로 QP를 푸는 two-step \"Predict-then-Optimize(PtO)\" 절차보다도 더 나은 성능을 낼 수 있다. 우리의 결과는 transformer가 second-order statistics를 명시적으로 허용할 때 이로부터 이점을 얻으며, 이를 통해 두 단계의 decision-making problem을 단일 forward pass로 효과적으로 해결할 수 있음을 보여준다.","link":"https://openreview.net/forum?id=XLFOyHaZmq"},{"id":"6lzVn6W4kg","en":"Evaluating Time Series Foundation Models for Electricity Price Forecasting: Contamination Risk, Distributional Shifts, and Covariate Dependence","ko":"전력 가격 예측을 위한 시계열 foundation model 평가: 오염 위험, 분포 이동, 공변량 의존성","authors":"Zhenghua Pan, Ahmed Aziz Ezzat","abs":"Time series foundation models (TSFMs) have shown strong zero-shot forecasting performance, but their generalization in covariate-driven, non-stationary settings is underexplored. Electricity price forecasting (EPF) presents a challenging testbed due to complex temporal dependencies, distributional shifts, and strong reliance on structural and contextual information. We propose a two-dataset-benchmarking framework for EPF to mitigate contamination risk and enable fair evaluation of TSFMs. We examine key aspects of EPF including point and probabilistic forecasting performance, tail behavior, price spikes, and comparisons against domain-specific methods. We find that TSFMs are highly competitive and often outperform general-purpose baselines. Yet, their performance depends critically on covariate support, and they do not consistently surpass domain-specific methods tailored to EPF. Interestingly, simple ensembles of TSFMs and domain-specific methods appear to have significant potential, suggesting that the two approaches capture complementary predictive information.
","absKo":"Time series foundation models (TSFMs)은 강력한 zero-shot forecasting 성능을 보여왔지만, covariate-driven한 non-stationary setting에서의 generalization은 충분히 탐구되지 않았다. Electricity price forecasting (EPF)은 복잡한 temporal dependency, distributional shift, 그리고 structural 및 contextual information에 대한 강한 의존성 때문에 까다로운 testbed를 제공한다. 우리는 contamination risk를 완화하고 TSFMs의 공정한 평가를 가능하게 하기 위해 EPF를 위한 two-dataset-benchmarking framework를 제안한다. 우리는 point forecasting과 probabilistic forecasting 성능, tail behavior, price spike, 그리고 domain-specific method와의 비교를 포함한 EPF의 핵심 측면을 조사한다. 우리는 TSFMs가 매우 경쟁력이 높고, 종종 general-purpose baseline을 능가한다는 것을 발견한다. 그러나 성능은 covariate support에 결정적으로 좌우되며, EPF에 맞게 조정된 domain-specific method를 일관되게 능가하지는 못한다. 흥미롭게도, TSFMs와 domain-specific method의 단순한 ensemble은 상당한 잠재력을 보이며, 두 접근법이 상보적인 predictive information을 포착함을 시사한다.","link":"https://openreview.net/forum?id=6lzVn6W4kg"},{"id":"iIRdd86Xkr","en":"Foundations without Fundamentals: Zero-Shot Blind Spots in Time Series FMs","ko":"기초는 있지만 fundamentals는 없다: time series FM의 zero-shot blind spot","authors":"Nafiseh Ghoroghchian, Haipeng Zhang, Shuyi Han, Alex Labach, George Stein","abs":"Despite the success of Time Series Foundation Models (TSFMs) on broad benchmarks, their ability to internalize basic temporal logic, especially in settings supported by exogenous covariates, remains under-examined. We introduce SimpleTimeBench, a diagnostic univariate and multivariate ``unit test" suite for primitives such as monotonic trends, periodic signals and leading indicator covariates, scenarios where near-perfect forecasts should be trivial. Surprisingly, prominent multivariate TSFMs (Chronos-2, Moirai and Toto) frequently produce suboptimal zero-shot forecasts for these inputs. While fine-tuning Chronos-2 improves its behaviour on specific tasks, we show that this adaptation degrades performance on other fundamental patterns rather than enhancing its generalizable foundational capabilities. This reveals a gap between pre-training scale and basic temporal reasoning, suggesting that current TSFMs could potentially lack the inductive biases needed to capture simple predictable functions. We further demonstrate that these failures are not merely synthetic curiosities: they persist in real-world sensor forecasting, where TSFMs consistently underutilize leading indicators available in observed covariates. This inability to capture simple relationships limits the practical utility and reliability of current multivariate models.
","absKo":"비록 Time Series Foundation Models(TSFMs)이 다양한 벤치마크에서 성공을 거두었지만, 특히 외생 공변량이 뒷받침되는 설정에서 기본적인 temporal logic을 내재화하는 능력은 아직 충분히 검토되지 않았다. 우리는 SimpleTimeBench를 소개한다. 이는 단조 추세, 주기 신호, leading indicator 공변량과 같은 primitive를 위한 진단용 univariate 및 multivariate ``unit test\" suite로, 거의 완벽한 예측이 자명해야 하는 시나리오를 다룬다. 놀랍게도, 대표적인 multivariate TSFMs(Chronos-2, Moirai, Toto)는 이러한 입력에 대해 종종 최적 이하의 zero-shot forecast를 생성한다. Chronos-2를 fine-tuning하면 특정 task에서는 동작이 개선되지만, 이러한 적응은 일반화 가능한 foundational capability를 강화하기보다 다른 기본 패턴들에서의 성능을 저하시키는 것으로 나타났다. 이는 pre-training 규모와 기본 temporal reasoning 사이의 간극을 드러내며, 현재 TSFMs가 단순하고 예측 가능한 함수를 포착하는 데 필요한 inductive bias를 충분히 갖추지 못했을 가능성을 시사한다. 또한 우리는 이러한 실패가 단순한 synthetic curiosity가 아님을 보인다. 실제 sensor forecasting에서도 이 문제는 지속되며, TSFMs는 관측된 covariates에 포함된 leading indicators를 일관되게 충분히 활용하지 못한다. 이러한 단순한 관계를 포착하지 못하는 한계는 현재 multivariate model의 실용적 유용성과 신뢰성을 제한한다.","link":"https://openreview.net/forum?id=iIRdd86Xkr"},{"id":"A1Al2YF74W","en":"A Causal DAG Prior for Synthetic Time-Series Classification Datasets","ko":"합성 시계열 분류 데이터셋을 위한 인과 DAG 사전","authors":"Franco Martino O'Rourke, Ana Trisovic, Dimitris Bertsimas","abs":"A Prior-data fitted Network learns the posterior predictive induced by
its training prior; bringing this paradigm to multivariate
time-series classification therefore calls for a synthetic generator
that produces complete labelled datasets with temporal structure.
We introduce a causal prior that synthesizes each dataset from a
randomly sampled DAG over typed nodes across two modalities
(tabular attributes and time series), natively producing multivariate,
multi-class TSC datasets with cross-modal causal structure across
channels, timesteps and labels, a regime not addressed by existing
synthetic priors. To validate the
prior, we finetune TabPFN v2.5 with minimal adaptations and evaluate on
75 UCR/UEA datasets within TabPFN's operating regime. Finetuning on our generator
significantly outperforms both the unmodified upstream model and a
tabular-only ablation of the same prior (Wilcoxon signed-rank
$p=3.0\\times 10^{-8}$ on ROC-AUC), isolating the contribution of the
cross-modal temporal structure.
","absKo":"Prior-data fitted Network는 자신의 training prior가 유도하는 posterior predictive를 학습한다. 따라서 이 패러다임을 multivariate time-series classification에 적용하려면, temporal structure를 가진 complete labeled dataset을 생성하는 synthetic generator가 필요하다. 우리는 두 modality(tabular attribute와 time series)에 걸친 typed node의 random DAG로부터 각 dataset을 합성하는 causal prior를 제안한다. 이는 channel, timestep, label 전반에 걸쳐 cross-modal causal structure를 가진 multivariate, multi-class TSC dataset을 자연스럽게 생성하며, 기존 synthetic prior가 다루지 못한 regime이다. 이 prior를 검증하기 위해 최소한의 적응만으로 TabPFN v2.5를 finetune하고, TabPFN의 operating regime 내에서 75개의 UCR/UEA dataset에 대해 평가했다. 우리의 generator로 finetune한 모델은 수정되지 않은 upstream model과 동일한 prior의 tabular-only ablation 모두를 유의하게 능가했으며(ROC-AUC에서 Wilcoxon signed-rank $p=3.0\\times 10^{-8}$), cross-modal temporal structure의 기여를 분리해 보여주었다.","link":"https://openreview.net/forum?id=A1Al2YF74W"},{"id":"8Zxm19jTVM","en":"Learned Sequence Representations over Raw Credit Events for Credit-Abuse Scoring","ko":"신용 남용 점수를 위한 원시 credit event 기반 학습 시퀀스 표현","authors":"Tianming Zhou, Jiarui Xu, Nitesh Kumar, Alexander Statnikov","abs":"Credit abuse is a rare and costly outcome at consumer-credit platforms; industry evidence places its concentration in moderately-aged credit files. Tuned gradient-boosted decision trees (GBDTs) over hand-engineered features are the prevailing choice, and recent tabular foundation models are advertised to match them. We ask whether a learned representation over raw credit-event sequences, used in place of engineered aggregates of those events, is a better fit. To produce this representation, we pretrain a causal Transformer on credit-event sequences with self-supervised objectives and adapt the backbone to the downstream label via supervised finetuning. On an out-of-time evaluation, under both an XGBoost classifier and an in-context tabular foundation model, the sequence-based feature set beats the engineered-aggregate alternative on AUPR (XGBoost: 0.068 $\\rightarrow$ 0.147; TabPFN: 0.097 $\\rightarrow$ 0.141). Among single-factor upgrades from the (XGBoost, engineered) baseline, at production training scale the representation-only upgrade (XGBoost on the sequence-based vector) outperforms the classifier-only upgrade (TabPFN on the engineered alternative) on both AUPR (0.147 vs 0.097) and recall at a 0.5\\% decline threshold (0.230 vs 0.184).
","absKo":"credit abuse는 소비자 신용 플랫폼에서 드물지만 비용이 큰 결과이며, 산업적 증거는 그 집중이 비교적 오래된 credit file에 있음을 보여준다. 수작업으로 설계한 feature 위에서 튜닝한 gradient-boosted decision tree(GBDT)가 주류 선택이고, 최근의 tabular foundation model은 이를 능가한다고 홍보된다. 우리는 이들 사건의 engineered aggregate 대신 raw credit-event sequence 위에서 학습된 representation이 더 적합한지 묻는다. 이 representation을 만들기 위해, 우리는 credit-event sequence에 대해 self-supervised objective로 causal Transformer를 pretrain하고, supervised finetuning을 통해 backbone을 downstream label에 맞춘다. out-of-time evaluation에서, XGBoost classifier와 in-context tabular foundation model 양쪽 모두에서 sequence-based feature set이 engineered-aggregate 대안보다 AUPR에서 더 우수했다(XGBoost: 0.068 $\\rightarrow$ 0.147; TabPFN: 0.097 $\\rightarrow$ 0.141). 단일 요소 업그레이드 관점에서, production training scale에서는 representation-only 업그레이드(XGBoost를 sequence-based vector에 적용)가 classifier-only 업그레이드(TabPFN을 engineered alternative에 적용)보다 AUPR(0.147 대 0.097)과 0.5\\% decline threshold에서의 recall(0.230 대 0.184) 모두에서 더 나았다.","link":"https://openreview.net/forum?id=8Zxm19jTVM"},{"id":"QT1ySCPeW3","en":"Speedrunning Tabular Foundation Model Pretraining","ko":"tabular foundation model 사전학습의 스피드런","authors":"Salih Bora Öztürk, Alexander Pfefferle, Frank Hutter","abs":"Pretraining cost is a major bottleneck for research on tabular foundation models, slowing the iteration cycle for new architectures, priors, and optimization ideas.
Yet the community lacks a simple way to compare and accumulate pretraining speedups.
We introduce a community speedrun for nanoTabPFN: contributors modify a single-file training script and compete to reach a fixed downstream ROC AUC target on subsampled TabArena using one NVIDIA L40S GPU.
The current best record reaches the target in 0.92 minutes, an 81x speedup over the 74.32 minute baseline while using 22x fewer synthetic datasets.
The speedrun format provides a simple protocol for the community to add, verify, and stack pretraining improvements, with the leaderboard open to contributions.
Code and records are available at https://github.com/borawhocodess/modded-nanotabpfn
","absKo":"사전학습 비용은 tabular foundation model 연구의 주요 병목으로, 새로운 architecture, prior, optimization idea를 빠르게 반복하는 사이클을 늦춥니다.\n 그러나 커뮤니티에는 사전학습 속도 향상을 비교하고 누적하는 단순한 방법이 없습니다.\n 우리는 nanoTabPFN을 위한 community speedrun을 제안합니다. 참가자들은 단일 파일 training script를 수정하고, 하나의 NVIDIA L40S GPU를 사용해 subsampled TabArena에서 고정된 downstream ROC AUC target에 도달하는 경쟁을 벌입니다.\n 현재 최고 기록은 0.92분 만에 target에 도달하며, 이는 74.32분 baseline 대비 81배의 속도 향상이고 synthetic dataset도 22배 적게 사용합니다.\n speedrun 형식은 커뮤니티가 사전학습 개선을 추가, 검증, 누적할 수 있는 간단한 protocol을 제공하며, leaderboard는 기여를 열어두고 있습니다.\n 코드와 기록은 https://github.com/borawhocodess/modded-nanotabpfn 에서 확인할 수 있습니다","link":"https://openreview.net/forum?id=QT1ySCPeW3"},{"id":"7jbzkGYag6","en":"Are Tabular Foundation Model Rankings Reliable? A Generalizability Theory Analysis of RelBench and DBInfer","ko":"Tabular foundation model 순위는 신뢰할 수 있는가? RelBench와 DBInfer에 대한 일반화 이론 분석","authors":"Dinesh Katupputhur Ramprasath, Tom Palczewski, Joe Meyer, Roshan Reddy Upendra, Minghua Li","abs":"Tabular and relational learning foundation models
are often evaluated on multi-task relational benchmarks such as RelBench and DBInfer, where models are ranked by aggregated task-level performance. However, how reliable are these rankings?
We apply Generalizability Theory (G-theory), a
variance decomposition framework from measurement science, to quantify ranking reliability
across 14 datasets (9 RelBench + 5 DBInfer),
48 tasks, and up to 35 models from 11 families. We decompose score variance into model
differences (signal), task effects, model×task interaction, and sampling error. Our analysis yields
three main findings: (1) only 2 of 14 datasets
achieve Eρ2 > 0.80, the psychometric threshold for reliable measurement; (2) Decision-study
(D-study) simulations show that 80–99% of test
items can be removed while maintaining ranking
stability (ρ > 0.90), revealing massive redundancy; (3) Model×task interaction, which indicates task-dependent model behavior, is substantial across several datasets and dominates in some
cases, reaching 81.2% of variance on rel-stack.
Collectively, these findings suggest that single number leaderboard rankings of tabular and relational learning foundation models may provide an unstable estimate of relative model performance.
","absKo":"tabular 및 relational learning foundation model은 종종 RelBench와 DBInfer 같은 multi-task relational benchmark에서 평가되며, 모델은 task-level 성능을 집계한 값으로 순위가 매겨진다. 그러나 이러한 순위는 얼마나 신뢰할 수 있을까?\n우리는 measurement science에서 나온 variance decomposition framework인 Generalizability Theory(G-theory)를 적용하여 14개 dataset(9개 RelBench + 5개 DBInfer), 48개 task, 그리고 11개 family에서 최대 35개의 model에 걸친 ranking reliability를 정량화한다. 우리는 score variance를 model 차이(signal), task effect, model×task interaction, sampling error로 분해한다. 분석 결과 세 가지 주요 발견이 나온다. (1) 14개 dataset 중 단 2개만이 신뢰할 수 있는 측정의 psychometric threshold인 Eρ2 > 0.80을 달성한다. (2) Decision-study(D-study) 시뮬레이션은 ranking stability(ρ > 0.90)를 유지하면서 test item의 80–99%를 제거할 수 있음을 보여주며, 이는 막대한 redundancy를 드러낸다. (3) task-dependent model behavior를 나타내는 Model×task interaction은 여러 dataset에서 상당하며 일부 경우에는 지배적이며, rel-stack에서는 분산의 81.2%에 이른다. 종합하면, 이러한 발견은 tabular 및 relational learning foundation model의 단일 숫자 leaderboard ranking이 상대적 model 성능에 대한 불안정한 추정치를 제공할 수 있음을 시사한다.","link":"https://openreview.net/forum?id=7jbzkGYag6"},{"id":"o3dwy5pDAJ","en":"In-Context Learning Under Regime Change","ko":"regime change 하의 in-context learning","authors":"Carson Dudley, Yutong Bi, Xiaofeng Liu, Samet Oymak","abs":"Non-stationary sequences arise naturally in forecasting and decision-making. The data-generating process shifts at unknown times, and models must detect the change, discard or downweight obsolete evidence, and adapt to new dynamics on the fly. Transformer-based foundation models increasingly rely on in-context learning for time series forecasting, tabular prediction, and continuous control. As these models are deployed in non-stationary environments, understanding their ability to detect and adapt to regime shifts is important. We formalize this as an in-context change-point detection problem and formally establish the existence of transformer models that solve this problem. Our construction demonstrates that model complexity, in layers and parameters, depends on the level of information available about the change-point location, from no knowledge to knowing exact timing. We validate our results with experiments on synthetic linear regression, where trained transformers match the performance of optimal baselines across information levels. We also show that encoding and incorporating changepoint knowledge indeed improves the real-world performance of a pretrained foundation models on infectious disease forecasting and on financial volatility forecasting around Federal Open Market Committee (FOMC) announcements without retraining, demonstrating practical applicability to real-world regime changes.
","absKo":"비정상정상(non-stationary) sequence는 forecasting과 decision-making에서 자연스럽게 발생한다. data-generating process는 알려지지 않은 시점에 변하고, model은 변화를 감지하고, 오래된 evidence를 버리거나 약화시키며, 새로운 dynamics에 즉시 적응해야 한다. Transformer 기반 foundation model은 time series forecasting, tabular prediction, continuous control에서 in-context learning에 점점 더 의존하고 있다. 이러한 model이 non-stationary environment에 배치됨에 따라, regime shift를 감지하고 적응하는 능력을 이해하는 것이 중요하다. 우리는 이를 in-context change-point detection problem으로 formalize하고, 이 문제를 푸는 transformer model의 존재를 형식적으로 확립한다. 우리의 구성은 model complexity가 layer와 parameter 측면에서 change-point location에 관한 정보 수준에 따라 달라짐을 보여준다. 즉, 아무 정보가 없는 경우부터 정확한 시점을 아는 경우까지를 포함한다. 우리는 synthetic linear regression 실험으로 결과를 검증했으며, 학습된 transformer가 정보 수준 전반에서 optimal baseline의 성능과 일치함을 보였다. 또한 changepoint knowledge를 encoding하고 통합하는 것이 retraining 없이도 infectious disease forecasting과 Federal Open Market Committee (FOMC) 발표 전후의 financial volatility forecasting에서 pretrained foundation model의 실제 성능을 향상시킴을 보여, 실제 regime change에 대한 실용적 적용 가능성을 입증한다.","link":"https://openreview.net/forum?id=o3dwy5pDAJ"},{"id":"jCbehzZBsk","en":"Foundation Models for Partial Causal Identification","ko":"부분 인과 식별을 위한 파운데이션 모델","authors":"Alexis Bellot, Anish Dhir","abs":"This paper investigates the development of causal foundation models for bounding the effect of interventions and counterfactuals from observational data. We show that a canonical prior can be defined with full support over the space of structural causal models with discrete observables. With this canonical prior, we translate the problem of bounding counterfactuals into that of learning distributions over functions that map data (and possibly structural assumptions) to a causal query of interest. This extends the promising causal foundational modelling paradigm to the estimation of partially-identifiable causal effects, i.e., under unobserved confounding, where multiple values are equally compatible with the observed data and prior structural assumptions.
","absKo":"이 논문은 observational data로부터 interventions와 counterfactual의 effect를 bound하기 위한 causal foundation model의 발전을 살펴본다. 우리는 discrete observable을 갖는 structural causal model 공간 전체에 대해 full support를 갖는 canonical prior를 정의할 수 있음을 보인다. 이 canonical prior를 통해, counterfactual을 bound하는 문제를 데이터(및 경우에 따라 structural assumption)를 관심 causal query로 매핑하는 function들의 distribution을 학습하는 문제로 변환한다. 이는 부분적으로 식별 가능한 causal effect, 즉 unobserved confounding 하에서 관측된 데이터와 사전 structural assumption과 모두 일치할 수 있는 값이 여러 개인 경우까지 포함하도록, 유망한 causal foundational modelling paradigm을 확장한다.","link":"https://openreview.net/forum?id=jCbehzZBsk"},{"id":"Y00pwFyrHR","en":"TabDPT-Turbo: Efficient In-Context Learning for Tabular Prediction","ko":"TabDPT-Turbo: 표 형식 예측을 위한 효율적인 in-context learning","authors":"Rasa Hosseinzadeh, Alex Labach, Zexin Xue, Shuyi Han, Valentin Thomas, Anthony L. Caterini","abs":"Tabular foundation models, driven by in-context learning, have rapidly grown in quality and popularity. However, recent approaches with either cell-based architectures or retrieval have sacrificed efficiency for raw performance, restricting their utility in situations where compute is limited or inference speed is crucial. We adopt an alternate approach, sticking with row-based attention while incorporating long context pre-training to eliminate the need for retrieval. By combining this with architectural improvements and SSL pre-training on a newly-sourced, larger corpus of real data results, we present TabDPT-Turbo, a model that provides comparable default performance to TabDPT v1.1 on TabArena-Lite, CC18, and CTR23, at orders of magnitude faster. In our experiments, TabDPT-Turbo is the fastest model overall among leading foundation models. We have released the new model as TabDPT v1.2 at https://github.com/layer6ai-labs/TabDPT-inference.
","absKo":"in-context learning에 의해 구동되는 tabular foundation model은 품질과 인기가 빠르게 성장해 왔다. 그러나 cell-based architecture나 retrieval을 사용하는 최근 접근법은 순수 성능을 위해 효율성을 희생하여, compute가 제한되거나 inference speed가 중요한 상황에서의 유용성을 제한했다. 우리는 row-based attention을 유지하면서 long context pre-training을 통합해 retrieval의 필요를 제거하는 대안적 접근법을 채택한다. 이를 새로운 데이터로 수집한 더 큰 real data corpus에 대한 architecture 개선 및 SSL pre-training과 결합하여, TabArena-Lite, CC18, CTR23에서 TabDPT v1.1과 비교 가능한 기본 성능을 수십 배 더 빠른 속도로 제공하는 TabDPT-Turbo를 제시한다. 우리의 실험에서 TabDPT-Turbo는 선도적 foundation model 중 전체적으로 가장 빠른 모델이었다. 우리는 새 모델을 TabDPT v1.2로 https://github.com/layer6ai-labs/TabDPT-inference 에 공개했다.","link":"https://openreview.net/forum?id=Y00pwFyrHR"},{"id":"yrVRaS2Ocu","en":"MEG-GPT-2: A Generative Foundation Model for MEG with Structured Neural Representations","ko":"MEG-GPT-2: 구조화된 신경 표현을 위한 MEG 생성형 파운데이션 모델","authors":"SungJun Cho, Chetan Gohil, Oiwi Parker Jones, Mark Woolrich","abs":"Foundation modelling of neural time series has largely focused on EEG and is typically evaluated with downstream tasks, leaving open questions about the fidelity of learnt representations. In this paper, we introduce MEG-GPT-2, a decoder-only transformer-based foundation model trained on source-level MEG data using a self-supervised autoregressive objective with factorised channel-time attention. Post-hoc analyses show that the model successfully captures temporal dynamics and spectral structure of brain activity while encoding anatomically meaningful spatial organisation and partially recovering amplitude-based functional connectivity. However, phase-sensitive inter-channel dependencies remain insufficiently modelled, highlighting limitations in capturing higher-order dynamics under short context lengths. Our results demonstrate that generative and representation-level evaluations provide complementary insights beyond downstream performance, offering a framework for assessing the neuroscientific validity of foundation models.
","absKo":"신경 시계열의 foundation modeling은 주로 EEG에 집중되어 왔고, 일반적으로 downstream task로 평가되어 학습된 representation의 fidelity에 대한 문제는 여전히 남아 있다. 본 논문에서는 source-level MEG data로 학습한 decoder-only transformer 기반 foundation model인 MEG-GPT-2를 소개한다. 이 모델은 factorised channel-time attention을 사용하는 self-supervised autoregressive objective로 학습되었다. 사후 분석 결과, 이 모델은 뇌 활동의 temporal dynamics와 spectral structure를 성공적으로 포착하는 동시에, 해부학적으로 의미 있는 spatial organisation을 인코딩하고 amplitude-based functional connectivity를 부분적으로 복원함을 보인다. 그러나 phase-sensitive inter-channel dependency는 여전히 충분히 모델링되지 않아, 짧은 context length 하에서 higher-order dynamics를 포착하는 데 한계가 있음을 보여준다. 우리의 결과는 generative evaluation과 representation-level evaluation이 downstream performance를 넘어 상보적인 통찰을 제공하며, foundation model의 neuroscientific validity를 평가하기 위한 프레임워크를 제시함을 보여준다.","link":"https://openreview.net/forum?id=yrVRaS2Ocu"},{"id":"ddITrUyMTB","en":"Localized TabICLv2: Scaling Tabular In-Context Learning through k-NN","ko":"Localized TabICLv2: k-NN을 통한 tabular in-context learning 확장","authors":"Beimnet Bekele Guta","abs":"Foundational models for tabular data have made significant progress in recent years, with TabICLv2 reporting state-of-the-art performance on several tabular classification tasks. However, full-context tabular ICL still suffers from attention cost that grows with the training-context size, which limits its ability to handle large datasets efficiently. Localized TabICLv2 introduces a method that reduces the inference cost of TabICLv2 by retrieving only the \\(k\\) nearest training neighbours for each test point, measured by similarity in the model's Stage 2 row-representation space, rather than using the full training context. This requires no architectural changes, and we show that accuracy retention can be improved through additional Stage 2 and Stage 3 fine-tuning. On TabArena classification tasks, the fine-tuned localized model retains 98.64\\% of Full TabICLv2 accuracy and it achieves a median 2.18$\\times$ speedup in batch inference, and reaches approximately 249$\\times$ median speedup in the single-query serving setting.
","absKo":"표 형식 데이터용 foundational model은 최근 몇 년간 큰 진전을 이루었으며, TabICLv2는 여러 tabular classification task에서 state-of-the-art 성능을 보고했습니다. 그러나 full-context tabular ICL은 여전히 training-context 크기에 따라 증가하는 attention cost 때문에 대규모 데이터셋을 효율적으로 처리하는 능력이 제한됩니다. Localized TabICLv2는 전체 training context를 사용하는 대신, model의 Stage 2 row-representation space에서의 유사도로 측정해 각 test point마다 가장 가까운 training neighbor \\(k\\)개만 retrieval함으로써 TabICLv2의 inference cost를 줄이는 방법을 제안합니다. 이는 아키텍처 변경을 전혀 필요로 하지 않으며, 추가 Stage 2 및 Stage 3 fine-tuning을 통해 accuracy retention을 향상시킬 수 있음을 보입니다. TabArena classification task에서 fine-tuned localized model은 Full TabICLv2 accuracy의 98.64\\%를 유지하고 batch inference에서 median 2.18$\\times$ speedup을 달성하며, single-query serving 설정에서는 약 249$\\times$ median speedup에 도달합니다.","link":"https://openreview.net/forum?id=ddITrUyMTB"},{"id":"L0Mj9fY94c","en":"Latent Chain-of-Thought Improves Structured-Data Transformers","ko":"Latent Chain-of-Thought는 구조화 데이터 Transformer를 개선한다","authors":"Carson Dudley, Samet Oymak","abs":"Chain-of-thought and more broadly test-time-compute is known to augment the expressive capabilities of language models and led to major innovations in reasoning. Motivated by this success, this paper explores latent chain-of-thought as well as the impact of depth and looping for time-series and tabular data. We propose a recurrent scheme in which a structured-data transformer, after an initial forward pass, compresses its query-position hidden states into feedback tokens that are appended to the input and processed again, allowing multiple rounds of latent computation before prediction. We compare CoT models against a same-depth no-CoT baseline, a deeper baseline matched to the CoT model in effective depth, and a looped transformer with weight-tied recurrence but no additional chain-of-thought tokens. Across 36 datasets in time-series forecasting and tabular prediction, latent chain-of-thought improves over the baseline on 8/9 time-series datasets (+10.99\\% average gain) and 22/27 tabular datasets (+5.31\\% average gain). Across both settings, the CoT models perform the best on average. These results demonstrate that latent chain-of-thought is a useful axis for scaling test-time compute for transformer-based prediction on structured data.
","absKo":"Chain-of-thought와 더 넓게는 test-time-compute는 language model의 표현 능력을 증강하는 것으로 알려져 있으며, reasoning에서 큰 혁신을 이끌었다. 이러한 성공에 동기를 받아, 본 논문은 time-series와 tabular data에 대한 latent chain-of-thought 및 depth와 looping의 영향을 탐구한다. 우리는 구조화된 데이터 transformer가 초기 forward pass 이후 query-position hidden state를 feedback token으로 압축해 입력에 덧붙이고 다시 처리하도록 하는 recurrent scheme을 제안하며, 이를 통해 prediction 전에 여러 라운드의 latent computation이 가능하게 한다. 우리는 CoT model을 같은 depth의 no-CoT baseline, CoT model과 effective depth를 맞춘 더 깊은 baseline, 그리고 추가 chain-of-thought token은 없지만 weight-tied recurrence를 갖는 looped transformer와 비교한다. time-series forecasting과 tabular prediction의 36개 dataset 전반에서, latent chain-of-thought는 baseline 대비 8/9개의 time-series dataset에서 개선되었고(+10.99\\% average gain), 22/27개의 tabular dataset에서 개선되었다(+5.31\\% average gain). 두 설정을 통틀어 CoT model이 평균적으로 가장 좋은 성능을 보였다. 이러한 결과는 latent chain-of-thought가 structured data에 대한 transformer 기반 prediction에서 test-time compute를 확장하는 데 유용한 축임을 보여준다.","link":"https://openreview.net/forum?id=L0Mj9fY94c"},{"id":"CAaTQAfq7c","en":"Causal Foundation Models for Time Series based on Prior-Data fitted Networks","ko":"Prior-Data fitted Networks 기반 시계열 causal foundation model","authors":"Dennis Thumm, Arik Reuter, Jake Robertson, Shi Bin Hoo, Adrian Weller, Frank Hutter, Ying Chen, Bernhard Schölkopf","abs":"Foundation models trained on synthetic data have recently transformed tabular machine learning and time series forecasting, with Prior-Data Fitted Networks (PFNs) being the leading approach. Causal Foundation Models (CFMs) extend the PFN paradigm from prediction to causal effect estimation. However, existing CFMs are limited to static (i.i.d.) settings and do not address the challenges posed by temporal data. In this work, we extend the PFN framework to estimate causal effects in time series. We identify prior-design criteria and introduce a novel temporal causal PFN prior that yields data with meaningful causal effects while maintaining the stability of sampled trajectories. Furthermore, we provide theoretical results that shed light on the asymptotic behaviour of the conditional interventional distribution implied by a temporal causal prior. Empirically, we find that PFNs can successfully learn to estimate causal effects in temporal settings, achieving promising performance on synthetic data covering the back-door and front-door settings.
","absKo":"Synthetic data로 학습된 foundation model은 최근 tabular machine learning과 time series forecasting을 변화시켰으며, 그중 Prior-Data Fitted Networks (PFNs)가 선도적인 접근법이다. Causal Foundation Models (CFMs)는 PFN paradigm을 prediction에서 causal effect estimation으로 확장한다. 그러나 기존 CFMs는 정적(i.i.d.) setting에만 제한되며 temporal data가 제기하는 도전은 다루지 못한다. 본 연구에서는 PFN framework를 time series에서 causal effect를 추정하도록 확장한다. 우리는 prior-design criterion을 식별하고, 샘플된 trajectory의 stability를 유지하면서 의미 있는 causal effect를 갖는 데이터를 생성하는 새로운 temporal causal PFN prior를 도입한다. 또한 temporal causal prior가 함의하는 conditional interventional distribution의 asymptotic behavior를 조명하는 이론적 결과를 제시한다. 실험적으로는 PFN이 temporal setting에서 causal effect 추정을 성공적으로 학습할 수 있음을 확인했으며, back-door 및 front-door setting을 포함하는 synthetic data에서 유망한 성능을 달성한다.","link":"https://openreview.net/forum?id=CAaTQAfq7c"},{"id":"hZgJjZRE4a","en":"Text-Attention Guided In-Context Forecasting for Multimodal Time Series Prediction","ko":"멀티모달 시계열 예측을 위한 text-attention guided in-context forecasting","authors":"Yuyan Guo, Mingzhe Zhang, Vishwesh Ramanathan, Maryam Motamedi, Nafiseh Ghoroghchian, Shuyi Han, Alex Labach, Anthony L. Caterini, Yi Sui","abs":"Real-world time series forecasting often contains both numerical histories and textual context, such as news, reports, or event descriptions. Existing multimodal forecasting methods typically incorporate text through LLM-based prompting or representation-level fusion, which presents a modelling challenge when textual signals are heterogeneous, noisy and unevenly informative. We propose TAG-ICF, a text-attention guided in-context learning (ICL) forecasting framework that uses a frozen, pretrained ICL backbone for numerical prediction while using text to modulate attention over historical examples. Textual inputs are analyzed using LLMs and embedded as lagged features to compute query-context relevance scores, serving as an attention gate that prioritizes contextually relevant historical patterns.
TAG-ICF consistently outperforms all multimodal baselines across nine datasets, yielding superior average ranks of 1.50 and 1.22 in MSE and MAE, respectively. Our framework surpasses numerical-only ICL on nearly all datasets and delivers up to 23.94% MAE improvement relative to the strongest competing methods in diverse settings.
","absKo":"실세계 time series forecasting은 종종 수치적 history와 news, reports, event descriptions 같은 textual context를 함께 포함한다. 기존 multimodal forecasting methods는 일반적으로 text를 LLM-based prompting 또는 representation-level fusion으로 통합하는데, 이는 textual signal이 이질적이고, noisy하며, 정보량이 고르지 않을 때 modeling상의 도전을 유발한다. 우리는 text가 historical examples에 대한 attention을 조절하도록 하는 text-attention guided in-context learning (ICL) forecasting framework인 TAG-ICF를 제안한다. 이 프레임워크는 수치 예측을 위해 frozen, pretrained ICL backbone을 사용하면서, text를 lagged feature로 변환해 query-context relevance score를 계산하고, 이를 통해 contextually relevant historical pattern을 우선시하는 attention gate로 활용한다.\nTAG-ICF는 아홉 개 데이터셋 전반에서 모든 multimodal baseline을 일관되게 능가하며, MSE와 MAE에서 각각 1.50과 1.22의 우수한 average rank를 달성한다. 우리의 framework는 거의 모든 데이터셋에서 numerical-only ICL을 능가하고, 다양한 설정에서 가장 강력한 경쟁 방법 대비 MAE를 최대 23.94% 개선한다.","link":"https://openreview.net/forum?id=hZgJjZRE4a"},{"id":"2yvEiFhNCT","en":"Bayesian Tabular Few-shot Learning with Causal Information","ko":"인과 정보를 활용한 Bayesian Tabular Few-shot Learning","authors":"Ole Ossen, Jake Robertson, Arik Reuter, Magnus Bühler, Lennart Purucker, Frank Hutter","abs":"Recently, the task of tabular few-shot prediction has received considerable attention, with most existing methods incorporating contextual information using language models. In contrast, we present a purely Bayesian method for tabular few-shot prediction based on providing a probability distribution over possible causal structures as an additional model input. The model then performs Bayesian inference, weighing different data generation hypotheses by considering both their likelihood of generating the provided data and their compatibility with the provided distribution over causal structures. In our evaluations, we find that our method significantly increases model performance even on real world data when suitable causal information is provided.
","absKo":"최근 표 형식 few-shot 예측 과제가 큰 주목을 받았으며, 기존 방법의 대부분은 언어 모델을 사용해 문맥 정보를 통합한다. 이와 대조적으로, 우리는 가능한 인과 구조들에 대한 확률분포를 추가적인 모델 입력으로 제공하는 것에 기반한, 완전히 Bayesian한 표 형식 few-shot 예측 방법을 제시한다. 이후 모델은 Bayesian 추론을 수행하며, 주어진 데이터를 생성할 가능성과 제공된 인과 구조 분포와의 적합성을 함께 고려하여 서로 다른 데이터 생성 가설의 가중치를 조정한다. 우리의 평가에서, 적절한 인과 정보가 제공될 때 이 방법이 실제 세계 데이터에서도 모델 성능을 유의미하게 향상시킨다는 것을 확인했다.","link":"https://openreview.net/forum?id=2yvEiFhNCT"},{"id":"7DZ3u0SD4b","en":"Probing Memorization of Tabular In-Context Learning","ko":"Tabular in-context learning의 memorization 탐지","authors":"Francesco Capano, Jonas Böhler","abs":"Large tabular models (LTMs), i.e., tabular foundation models leveraging in-context learning (ICL), achieve state-of-the-art performance on tabular tasks. While LLMs are known to unintentionally memorize training data, the memorization dynamics of LTMs remain largely unexplored. We investigate the potential for parametric memorization in tabular ICL. We introduce ICLMEM, a probing framework designed to separate context-based predictions from parametric memorization. Our zero-information multiple-choice context strips away valid contextual patterns to force the model to fall back on its parametric memory. Our controlled fine-tuning setup establishes membership ground truth and accounts for common pitfalls, e.g., distribution shift, feature contamination, base-rate fallacy, and the pre-trained base model acts as reference to calibrate for sample difficulty. Our controlled evaluation on a leading real-world-trained LTM detects moderate memorization signals in 8 out of 10 tasks ($\\text{AUC}$ up to $0.67$ and TPR at $1\\%$ FPR $>0.1$). Notably, memorization signals are strongest for low-cardinality and binary tasks. However, they largely vanish under realistic training conditions. Our findings show LTM memorization signals under specific circumstances (single-task fine-tuning with fixed samples across many epochs and small query size). To protect sensitive data, appropriate measures must be taken, which we discuss.
","absKo":"Large tabular models (LTMs), 즉 in-context learning (ICL)을 활용하는 tabular foundation model은 tabular task에서 state-of-the-art 성능을 달성한다. LLM이 의도치 않게 training data를 암기하는 것으로 알려져 있는 반면, LTM의 memorization dynamics는 대체로 아직 탐구되지 않았다. 우리는 tabular ICL에서 parametric memorization의 가능성을 조사한다. 이를 위해 context-based prediction과 parametric memorization을 분리하도록 설계된 probing framework인 ICLMEM을 도입한다. 우리의 zero-information multiple-choice context는 유효한 contextual pattern을 제거하여 model이 parametric memory에 의존하도록 강제한다. 통제된 fine-tuning setup은 membership ground truth를 확립하고 distribution shift, feature contamination, base-rate fallacy 같은 일반적인 함정을 통제하며, pre-trained base model은 sample difficulty를 보정하기 위한 reference로 작동한다. 선도적인 실제 데이터로 학습된 LTM에 대한 통제된 평가에서 10개 task 중 8개에서 중간 수준의 memorization signal을 탐지했으며($\\text{AUC}$ 최대 0.67, FPR 1%에서 TPR > 0.1), 특히 low-cardinality와 binary task에서 signal이 가장 강했다. 그러나 현실적인 training condition에서는 이러한 signal이 대부분 사라진다. 우리의 결과는 특정 상황에서의 LTM memorization signal을 보여준다(고정된 sample으로 여러 epoch에 걸친 single-task fine-tuning과 작은 query size). 민감한 데이터를 보호하기 위해 적절한 조치가 필요하며, 이에 대해 논의한다.","link":"https://openreview.net/forum?id=7DZ3u0SD4b"},{"id":"PDik7bpFhE","en":"SurvivalPFN: Amortizing Survival Prediction via In-Context Bayesian Inference","ko":"SurvivalPFN: in-context Bayesian inference를 통한 생존 예측 amortization","authors":"Shi-ang Qi, Vahid Balazadeh, Michael Cooper, Russell Greiner, Rahul G Krishnan","abs":"Survival analysis models time-to-event outcomes under censoring, but selecting an appropriate estimator from many specialized approaches often requires substantial methodological expertise. We introduce SurvivalPFN, a prior-data fitted network that amortizes Bayesian inference for censored observations through in-context learning. SurvivalPFN is pretrained on a diverse family of synthetic, identifiable, and right-censored data-generating processes, enabling it to amortize survival analysis in a single forward pass during inference. As a result, the model adapts to the effective complexity of each dataset without task-specific training or hyperparameter tuning, avoids restrictive parametric assumptions, and produces calibrated survival distributions. In a benchmark spanning 61 survival datasets, 21 methods, and 5 evaluation metrics, SurvivalPFN achieves strong predictive performance and often improves upon established models. These results suggest that SurvivalPFN offers a principled and practical foundation model for survival analysis.
","absKo":"Survival analysis는 censoring 하에서 time-to-event 결과를 모델링하지만, 수많은 특화된 접근법 중 적절한 estimator를 선택하려면 상당한 방법론적 전문성이 필요합니다. 우리는 in-context learning을 통해 censored 관측치에 대한 Bayesian inference를 amortize하는 prior-data fitted network인 SurvivalPFN을 제안합니다. SurvivalPFN은 식별 가능하고 right-censored된 다양한 synthetic data-generating process family로 사전 학습되어, inference 시 단일 forward pass로 survival analysis를 amortize할 수 있습니다. 그 결과, 이 모델은 task-specific training이나 hyperparameter tuning 없이 각 dataset의 effective complexity에 적응하고, 제한적인 parametric assumption을 피하며, calibrated survival distribution을 생성합니다. 61개의 survival dataset, 21개의 method, 5개의 evaluation metric에 걸친 benchmark에서 SurvivalPFN은 강력한 predictive performance를 달성하며 기존 모델을 자주 개선합니다. 이러한 결과는 SurvivalPFN이 survival analysis를 위한 principled하고 practical한 foundation model을 제공함을 시사합니다.","link":"https://openreview.net/forum?id=PDik7bpFhE"},{"id":"NGQyvk68vU","en":"BALMS: Benchmarking Agentic LLMs for Mental Health Sensing","ko":"BALMS: 정신 건강 감지를 위한 agentic LLMs 벤치마킹","authors":"Yu Yvonne Wu, Arvind Pillai, Yuliang Chen, Sudarshan Regmi, Tess Z Griffin, Michael V. Heinz, Lisa Marsch, Nicholas C. Jacobson, Andrew Campbell","abs":"Ubiquitous wearable and mobile devices can collect large-scale, longitudinal multivariate behavioral and physiological signals, opening new opportunities for personalized monitoring of mental wellbeing. LLM-based agentic systems, which augment language models with reasoning, planning, and external tools, offer a promising paradigm for interpreting such longitudinal records and providing personalized, interactive health support. However, most existing healthcare agents are designed for clinical text and have not been systematically evaluated on daily-life multivariate sensor data, leaving the capabilities and limitations of agentic paradigms on this structured longitudinal modality unclear. We present a benchmark of LLM-based agentic systems for longitudinal wearable mental wellbeing tasks, spanning multiple datasets, using both closed and open source backbones, and three representative agentic frameworks.
Through zero-shot and reasoning evaluation and sensitivity analyses over temporal length, we jointly report performance, cost, and latency, and distill design insights for agentic systems on longitudinal mobile health.
","absKo":"널리 보급된 wearable 및 mobile device는 대규모 longitudinal multivariate behavioral 및 physiological signal을 수집할 수 있으며, 이는 personalized mental wellbeing monitoring에 새로운 기회를 연다. 언어 모델에 reasoning, planning, external tool을 결합한 LLM-based agentic system은 이러한 longitudinal record를 해석하고 개인화된 interactive health support를 제공하는 데 유망한 패러다임을 제시한다. 그러나 기존 healthcare agent의 대부분은 clinical text를 위해 설계되었고, 일상 생활의 multivariate sensor data에 대해 체계적으로 평가된 적이 없어, 이 structured longitudinal modality에서 agentic paradigm의 능력과 한계가 불분명하다. 우리는 longitudinal wearable mental wellbeing task를 위한 LLM-based agentic system benchmark를 제시한다. 이는 여러 dataset을 포괄하며, closed 및 open source backbone을 모두 사용하고, 세 가지 대표 agentic framework를 포함한다.\nzero-shot 및 reasoning evaluation과 temporal length에 대한 sensitivity analysis를 통해 성능, 비용, latency를 함께 보고하고, longitudinal mobile health에서 agentic system을 위한 설계 통찰을 도출한다.","link":"https://openreview.net/forum?id=NGQyvk68vU"},{"id":"kCnZUf1VYC","en":"Tabular Foundation Models Are Effectively Shallow","ko":"Tabular Foundation Models는 실질적으로 얕다","authors":"Irene Cannistraci, Julia E Vogt","abs":"In-context-learning Tabular Foundation Models (TFMs) are uniquely suited to scenarios with limited resources since they require no additional training on the target data. However, their architectures impose high inference latency and memory costs, hindering deployment in some environments. Simpler alternatives (e.g. Gradient-Boosted Decision Trees) run on CPU and often match their performance, but at the cost of manual feature engineering, preprocessing, and hyperparameter tuning that transformer models avoid by design.
In this paper we show that it is possible to simplify TFMs, by substituting up to $\\sim$94\\% of the blocks using a closed-form linear translator, while preserving downstream performance and requiring minimal compute. We evaluate our approach across 15 classification and regression benchmarks spanning both general and clinical domains. This provides a practical pathway to dramatic throughput enhancements and lightweight inference, preserving the zero-shot convenience of foundation models without the prohibitive computational costs.
","absKo":"In-context-learning Tabular Foundation Model(TFM)은 target data에 대한 추가 학습이 필요 없기 때문에 자원이 제한된 상황에 특히 적합하다. 그러나 architecture가 inference latency와 memory cost를 크게 요구하여 일부 환경에서는 배포를 어렵게 만든다. 더 단순한 대안(예: Gradient-Boosted Decision Trees)은 CPU에서 동작하며 종종 비슷한 성능을 내지만, transformer model이 설계상 회피하는 수동 feature engineering, preprocessing, hyperparameter tuning이 필요하다는 대가를 치른다.\n이 논문에서는 closed-form linear translator를 사용해 최대 약 94%의 block을 대체하면서 downstream performance를 보존하고 계산량도 최소화하는 방식으로 TFM을 단순화할 수 있음을 보인다. 우리는 general domain과 clinical domain을 아우르는 15개의 classification 및 regression benchmark에서 이 접근법을 평가한다. 이는 foundation model의 zero-shot 편의성을 유지하면서도 과도한 계산 비용 없이 처리량을 극적으로 높이고 lightweight inference를 가능하게 하는 실용적 경로를 제공한다.","link":"https://openreview.net/forum?id=kCnZUf1VYC"},{"id":"RiaXCBoWje","en":"Hierarchical Synthetic Tabular Data Generation: A Hybrid Top-Down and Bottom-Up Framework","ko":"계층적 합성 Tabular 데이터 생성: 상향식과 하향식 하이브리드 프레임워크","authors":"Junfeng Nie, Alvin Jin, Xiaohui Chen","abs":"Existing approaches for synthetic tabular data generation are based on either purely generative models or LLMs, both struggling with data heterogeneity, logical consistency, rare-event coverage, and robustness in low-data regimes. In this paper, we propose a hierarchical hybrid top-down and bottom-up (H-TDBU) framework that decouples semantic structures from stochastic texture. In the top-down path, structure-driven logical constraints and cross-modal alignment rules are constructed, while in the bottom-up path, lightweight tabular generators are used to learn local statistical patterns from real data. The two paths are consolidated in a unified synthesis engine with an iterative feedback loop. We evaluate the framework on weak multimodal financial benchmarks combining tabular and sentiment-text data. Experimental results show that our H-TDBU approach improves train-synthetic-test-real performance over neural baseline methods while preserving semantic consistency. Our results suggest that hierarchical rule-guided synthesis provides an effective mechanism for combining controllability, semantic coherence, and statistical fidelity in synthetic data generation.
","absKo":"synthetic tabular data generation을 위한 기존 접근법은 순수 generative model 또는 LLM에 기반하며, 둘 다 data heterogeneity, logical consistency, rare-event coverage, low-data regime에서의 robustness에 어려움을 겪는다. 본 논문에서는 semantic structure를 stochastic texture로부터 분리하는 hierarchical hybrid top-down and bottom-up(H-TDBU) framework를 제안한다. top-down 경로에서는 구조 기반 논리 제약과 cross-modal alignment rule을 구성하고, bottom-up 경로에서는 가벼운 tabular generator를 사용해 실제 데이터로부터 local statistical pattern을 학습한다. 두 경로는 iterative feedback loop를 갖춘 통합 synthesis engine에서 결합된다. 우리는 tabular 데이터와 sentiment-text 데이터를 결합한 weak multimodal financial benchmark에서 이 framework를 평가한다. 실험 결과는 H-TDBU 접근법이 semantic consistency를 유지하면서 neural baseline method 대비 train-synthetic-test-real 성능을 향상시킴을 보여준다. 우리의 결과는 hierarchical rule-guided synthesis가 synthetic data generation에서 controllability, semantic coherence, statistical fidelity를 결합하는 효과적인 메커니즘임을 시사한다.","link":"https://openreview.net/forum?id=RiaXCBoWje"},{"id":"EruNY8fps7","en":"Evolutionary Feature Engineering for Structured Data","ko":"구조화 데이터의 진화적 feature engineering","authors":"Ege Onur Taga, Yilin Zhuang, Muhammed Emrullah Ildiz, Petros Mol, Abhimanyu Das, Karthik Duraisamy, Samet Oymak","abs":"Large language models are increasingly used as open-ended search operators in evolutionary optimization. We introduce Evolutionary Feature Engineering (EFE), a framework that uses LLM-based evolution to discover preprocessing programs for structured data. EFE represents transformations as Python programs with a standardized fit/transform interface and refines them using dataset context, summary statistics, and validation feedback. For time-series forecasting, EFE-Time learns invertible dataset-specific normalizations that improve time-series foundation models, reducing MASE, WQL, and MAE by at least 3\\% on average and up to 19\\% on COVID-Deaths. For tabular prediction, EFE-Tab evolves compact, interpretable feature programs that improve or match prior LLM-based feature-engineering methods, with especially strong gains for decision trees. Overall, EFE shows that LLM-based evolution can improve structured-data model performances.
","absKo":"대규모 언어 모델은 진화 최적화에서 점점 더 오픈엔드 검색 연산자로 사용되고 있다. 우리는 구조화 데이터에 대한 preprocessing programs를 발견하기 위해 LLM 기반 진화를 사용하는 Evolutionary Feature Engineering(EFE) 프레임워크를 제안한다. EFE는 변환을 표준화된 fit/transform 인터페이스를 갖는 Python programs로 표현하고, dataset context, summary statistics, 그리고 validation feedback을 활용해 이를 정교화한다. time-series forecasting에서는 EFE-Time이 invertible한 dataset-specific normalization을 학습하여 time-series foundation models를 개선하며, COVID-Deaths에서 평균적으로 최소 3\\%, 최대 19\\%까지 MASE, WQL, MAE를 줄인다. tabular prediction에서는 EFE-Tab이 compact하고 interpretable한 feature programs를 진화시켜 이전 LLM 기반 feature-engineering 방법을 개선하거나 동등한 성능을 보이며, 특히 decision trees에서 큰 향상을 보인다. 전반적으로 EFE는 LLM 기반 진화가 structured-data 모델 성능을 향상시킬 수 있음을 보여준다.","link":"https://openreview.net/forum?id=EruNY8fps7"},{"id":"pj1XShgzSv","en":"Agentic Data Intelligence for General Tabular Modeling","ko":"일반 tabular modeling을 위한 Agentic Data Intelligence","authors":"Jun-Peng Jiang, An-Yang Ji, Jia-Yi Zhu, Han-Jia Ye","abs":"Tabular data is one of the most common forms for organizing real-world information, supporting diverse tasks such as prediction, reasoning, querying, and generation. Despite rapid progress in tabular learning, most existing methods remain specialized for isolated problem formulations. Recent advances in large language models and agentic systems have shown increasing potential for general-purpose problem solving, offering an opportunity for unified tabular modeling. However, applying such models to tables remains challenging, as language models are often insensitive to numerical and structural information, while tabular tasks are highly heterogeneous in objectives, inputs, and evaluation protocols. In this work, we propose a general tabular agent for agentic data intelligence, {\\sc TabAgent}, aiming to solve diverse table-centric tasks within a unified framework. The agent integrates rich tool-use interfaces, structured task-solving skills, and a reliable execution harness, allowing it to select appropriate actions and reasoning strategies for different tabular scenarios. Beyond standard table processing, we further endow the agent with specialized capabilities, including multimodal table understanding, table tabulation, and implicit prediction through problem decomposition. Experiments across diverse tabular tasks demonstrate that our method effectively handles heterogeneous task requirements and moves toward general tabular modeling.
","absKo":"Tabular data는 실제 정보를 조직하는 가장 일반적인 형식 중 하나로, prediction, reasoning, querying, generation 등 다양한 task를 지원한다. tabular learning이 빠르게 발전했음에도 불구하고, 기존 방법의 대부분은 여전히 개별 문제 정식화에 특화되어 있다. 최근 large language model과 agentic system의 발전은 범용 문제 해결에 대한 가능성을 점점 더 보여 주고 있으며, 통합된 tabular modeling을 위한 기회를 제공한다. 그러나 language model은 수치 정보와 구조 정보를 민감하게 반영하지 못하는 경우가 많고, tabular task는 목적, 입력, 평가 프로토콜이 매우 이질적이어서 이러한 모델을 table에 적용하는 일은 여전히 어렵다. 본 연구에서는 통합된 framework 내에서 다양한 table 중심 task를 해결하는 것을 목표로 하는 agentic data intelligence용 general tabular agent인 {\\sc TabAgent}를 제안한다. 이 agent는 풍부한 tool-use interface, 구조화된 task-solving skill, 신뢰할 수 있는 execution harness를 통합하여, 서로 다른 tabular scenario에 맞는 적절한 action과 reasoning strategy를 선택할 수 있게 한다. 표준 table processing을 넘어, 우리는 multimodal table understanding, table tabulation, problem decomposition을 통한 implicit prediction을 포함한 specialized capability도 부여한다. 다양한 tabular task 전반에 대한 실험은 우리의 방법이 이질적인 task 요구를 효과적으로 처리하며 general tabular modeling을 향해 나아감을 보여준다.","link":"https://openreview.net/forum?id=pj1XShgzSv"},{"id":"og3UVhP7M1","en":"CausalTab: Pretraining Across Causal Environments for Tabular Causal Discovery","ko":"CausalTab: tabular causal discovery를 위한 인과 환경 전반의 사전학습","authors":"Zi-Rong Li, Si-Yang Liu, Tian-Zuo Wang, Han-Jia Ye","abs":"Tabular causal discovery seeks directed structure from observational and optionally interventional samples.
Causal discovery foundation models amortize this problem by mapping a dataset---values plus optional intervention masks---to graph hypotheses in one forward pass, yet often trail strong classical methods when pretraining coverage is narrow.
We introduce CausalTab, a structured-tabular model with axial attention over variables and samples and asymmetric edge scoring, trained under *broad causal pretraining* over diverse graph priors, mechanisms, noise laws, dimensionalities, sample budgets, and observational versus mixed-interventional layouts, composed dynamically into episodes.
We evaluate on seven synthetic benchmark families and a complementary semantic SCM benchmark with authored domains (still simulator-grounded).
CausalTab achieves strong aggregate recovery with the largest gains when interventional evidence is available; a qualitative PCA on an administrative-workflow scenario suggests embeddings partially separate interpretable workflow roles, complementing synthetic scores.
Together, these results highlight environment-rich pretraining as a practical ingredient for amortized causal discovery.
","absKo":"Tabular causal discovery는 observational sample과 선택적으로 interventional sample로부터 directed structure를 찾는다.\nCausal discovery foundation model은 dataset---value와 optional intervention mask---를 한 번의 forward pass로 graph hypothesis로 매핑함으로써 이 문제를 amortize하지만, pretraining coverage가 좁을 때는 강력한 classical method에 종종 뒤처진다.\n우리는 변수와 sample에 대한 axial attention과 비대칭 edge scoring을 갖는 structured-tabular model인 CausalTab을 소개한다. 이 모델은 다양한 graph prior, mechanism, noise law, dimensionality, sample budget, observational versus mixed-interventional layout 위에서 broad causal pretraining으로 학습되며, episode로 동적으로 구성된다.\n우리는 일곱 개의 synthetic benchmark family와, 작성된 domain을 포함하되 여전히 simulator 기반인 보완적 semantic SCM benchmark에서 평가한다.\nCausalTab은 전반적인 recovery에서 강한 성능을 보이며, interventional evidence가 있을 때 가장 큰 향상을 달성한다. 행정 workflow scenario에 대한 정성적 PCA는 embedding이 해석 가능한 workflow role을 부분적으로 분리함을 시사하며, synthetic score를 보완한다.\n이 결과들은 함께 environment-rich pretraining이 amortized causal discovery의 실용적 구성 요소임을 강조한다.","link":"https://openreview.net/forum?id=og3UVhP7M1"},{"id":"sDrP8WsCb3","en":"ReGeN: Reference-Guided Synthetic Multivariate Time Series Generation for Forecasting","ko":"ReGeN: 예측을 위한 참조 유도 합성 다변량 시계열 생성","authors":"Moulik Gupta, Aaditya Jain, Dhruv Kumar, Murari Mandal, Saurabh Deshpande","abs":"Training robust multivariate time series forecasting models requires large, diverse corpora, yet many real-world domains provide only a handful of observed sequences. Existing generators fail to resolve this mismatch: prior-based approaches (e.g., CauKer, TimePFN) produce domain-agnostic samples, while data-driven methods (e.g., TimeGAN) treat references as black-box supervision, forfeiting explicit control over periodic structure, local variability, and cross-variable dynamics. We propose \\textsc{ReGeN}, a reference-guided generative pipeline that treats observed sequences not as examples to imitate, but as structural scaffolds for controllable synthesis. \\textsc{ReGeN} decomposes each reference into three interpretable components: a phase-aligned periodic backbone capturing dominant domain morphology; per-variable stochastic residuals modeled with a deep-kernel Gaussian process; and lag-aware cross-variable dependencies injected through a structural causal model with fitted coupling coefficients. Sampling these components at controllable temperature broadens distributional coverage while preserving domain-grounded structure. We show that \\textsc{ReGeN}-generated data consistently substitutes for real sibling data with minimal forecasting degradation, and in strongly periodic domains such as traffic, can outperform the real source itself. We further show that a foundation model pretrained on \\textsc{ReGeN} corpora outperforms those pretrained on prior-based and data-driven synthetic alternatives. This suggests that in low-data regimes, how reference data is structurally exploited can matter as much as how much data is available.
","absKo":"강건한 다변량 시계열 예측 모델을 학습하려면 크고 다양한 코퍼스가 필요하지만, 많은 실제 도메인은 관측된 시퀀스를 손에 꼽을 정도로만 제공한다. 기존 생성기는 이러한 불일치를 해결하지 못한다. prior 기반 접근법(예: CauKer, TimePFN)은 도메인에 구애받지 않는 샘플을 생성하고, data-driven 방법(예: TimeGAN)은 reference를 black-box supervision으로 취급하여, 주기적 구조, 국소적 변동성, 변수 간 동역학에 대한 명시적 제어를 포기한다. 우리는 관측된 시퀀스를 모방해야 할 예시가 아니라, 제어 가능한 합성을 위한 구조적 scaffold로 취급하는 reference-guided generative pipeline인 \\textsc{ReGeN}을 제안한다. \\textsc{ReGeN}은 각 reference를 세 가지 해석 가능한 구성요소로 분해한다. 즉, 우세한 도메인 형태를 포착하는 phase-aligned periodic backbone, deep-kernel Gaussian process로 모델링한 변수별 stochastic residual, 그리고 fitted coupling coefficient를 갖는 structural causal model을 통해 주입되는 lag-aware cross-variable dependency이다. 제어 가능한 temperature에서 이들 구성요소를 샘플링하면 도메인에 근거한 구조를 보존하면서 분포적 coverage를 넓힐 수 있다. 우리는 \\textsc{ReGeN}으로 생성한 데이터가 최소한의 예측 성능 저하로 실제 sibling data를 일관되게 대체하며, traffic처럼 강한 주기성을 지닌 도메인에서는 실제 source 자체보다 더 나은 성능을 낼 수 있음을 보인다. 또한 \\textsc{ReGeN} 코퍼스로 사전학습한 foundation model이 prior 기반 및 data-driven synthetic 대안들로 사전학습한 모델보다 더 우수함을 보인다. 이는 low-data regime에서 reference data를 얼마나 많이 가지고 있는가 못지않게, reference data를 구조적으로 어떻게 활용하는가가 중요할 수 있음을 시사한다.","link":"https://openreview.net/forum?id=sDrP8WsCb3"},{"id":"GUDjbVGFc1","en":"Towards Evaluating Data Priors for Tabular Foundation Models","ko":"tabular foundation model을 위한 데이터 prior 평가를 향하여","authors":"Zeynep Türkmen, Kürşat Kaya, Alexander Pfefferle, Frank Hutter","abs":"Data-generating priors are a central component of tabular foundation models because they define the task distribution used during pretraining. However, priors are rarely evaluated as independent components, making it difficult to understand how much they affect downstream model behavior. This raises a methodological question: how can priors from different tabular foundation models be compared independently of the architectures and training protocols they were introduced with? To study this question, we implement a unified interface for publicly available priors from recent tabular foundation models and priors constructed from real datasets. We generate training tasks from each prior, train the same model architecture under a fixed training protocol, and evaluate the resulting models on shared downstream classification tasks. We compare priors through both generated-task statistics and downstream predictive performance. Our results show that different priors favor different downstream behaviors, with some achieving stronger absolute performance and others exhibiting more consistent relative rankings across datasets. We further find that data-level similarity only partially explains downstream behavior. Our code is available at https://github.com/automl/TFM-Playground/tree/prior-dev.
","absKo":"Data-generating prior는 pretraining 동안 사용되는 task distribution을 정의하기 때문에 tabular foundation model의 핵심 구성 요소이다. 그러나 prior는 독립적인 구성 요소로서 거의 평가되지 않으며, 이로 인해 downstream model behavior에 얼마나 영향을 미치는지 이해하기 어렵다. 이는 방법론적 질문을 제기한다. 서로 다른 tabular foundation model의 prior를, 그것들이 도입된 architecture와 training protocol과 독립적으로 어떻게 비교할 수 있는가? 이 질문을 연구하기 위해, 우리는 최근 tabular foundation model에서 공개된 prior와 real dataset으로 구성한 prior에 대해 통합된 interface를 구현한다. 우리는 각 prior로부터 training task를 생성하고, 고정된 training protocol 하에서 동일한 model architecture를 학습시킨 뒤, 생성된 model을 공유 downstream classification task에서 평가한다. 우리는 생성된 task의 통계와 downstream 예측 성능을 통해 prior를 비교한다. 우리의 결과는 서로 다른 prior가 서로 다른 downstream behavior를 선호하게 만든다는 것을 보여주며, 일부는 더 강한 절대 성능을 달성하고 다른 일부는 dataset 전반에서 더 일관된 상대 순위를 보인다. 우리는 또한 data-level similarity만으로는 downstream behavior를 부분적으로만 설명할 수 있음을 발견한다. 코드는 https://github.com/automl/TFM-Playground/tree/prior-dev 에서 공개되어 있다.","link":"https://openreview.net/forum?id=GUDjbVGFc1"},{"id":"CUXaSOR9fA","en":"Air Quality Arena: A Large-Scale Multi-Region Ground Monitoring Dataset and Benchmark for Air Quality Forecasting with Time-Series Foundation Models","ko":"Air Quality Arena: 시계열 foundation model을 위한 대규모 다지역 지상 관측 데이터셋과 대기질 예측 벤치마크","authors":"Rishi Bharadwaj, Manik Gupta, Pandarasamy Arjunan","abs":"Air pollution causes an estimated 7.9 million premature deaths annually, making accurate forecasting a critical public health priority. Machine learning is increasingly being applied to forecast air pollution levels, yet existing benchmarks remain narrow in both geographic scope and pollutant coverage, and fail to evaluate the latest generation of time series foundation models (TSFMs) on real world, large scale data. We present Air Quality Arena (AQA), a large scale multi-country and multi-pollutant dataset (AQA-Data) and benchmark (AQA-Bench) to address this gap. AQA covers 6 major pollutants over a three year period across 7 diverse countries and 4 continents, with more than 14,000 station-pollutant series, aiming to provide a comprehensive benchmark for air quality tasks. We benchmark this dataset across 11 leading time series foundation models and classical baselines to assess performance on short-term air quality forecasting. Our results demonstrate that TSFMs are effective zero-shot forecasters and consistently outperform classical baselines, with our top-performing model employing a cross-modal architecture that leverages a vision foundation model for time series forecasting. AQA is publicly released at \\url{AirQualityArena.github.io}
","absKo":"대기 오염은 연간 약 790만 명의 조기 사망을 유발하는 것으로 추정되며, 정확한 예측은 중요한 공중보건 과제이다. machine learning은 대기 오염 수준 예측에 점점 더 많이 적용되고 있지만, 기존 benchmark는 지리적 범위와 오염물질 커버리지 모두에서 여전히 협소하며, 실제 대규모 데이터에서 최신 세대 time series foundation models (TSFMs)을 평가하지 못한다. 우리는 이러한 격차를 해소하기 위해 Air Quality Arena (AQA)를 제시한다. 이는 대규모 다국가·다오염물질 데이터셋(AQA-Data)과 benchmark(AQA-Bench)이다. AQA는 7개 다양한 국가와 4개 대륙에 걸친 3년 기간 동안 6대 주요 오염물질을 포함하며, 14,000개 이상의 station-pollutant series를 보유해 air quality 과제를 위한 포괄적 benchmark를 제공하는 것을 목표로 한다. 우리는 이 데이터셋을 11개의 선도적인 time series foundation model과 classical baseline에 대해 벤치마킹하여 단기 air quality forecasting 성능을 평가한다. 우리의 결과는 TSFMs가 효과적인 zero-shot forecaster이며 classical baseline을 일관되게 능가함을 보여주며, 최고 성능 모델은 time series forecasting을 위해 vision foundation model을 활용하는 cross-modal architecture를 사용한다. AQA는 \\url{AirQualityArena.github.io}에서 공개된다.","link":"https://openreview.net/forum?id=CUXaSOR9fA"},{"id":"oKlirtyeF7","en":"Temporal Feature Extractors in EEG Foundation Models: A Controlled Comparison Including a Pretrained Time-Series Model","ko":"EEG foundation model의 temporal feature extractor: 사전학습된 시계열 모델을 포함한 통제 비교","authors":"Ayşe Betül Yüce, Chris Joey Leffler, Sarun Varghese, Myra Spiliopoulou, Sebastian Stober","abs":"Electroencephalography (EEG) foundation models aim to learn generalizable representations from large-scale brain recordings. However, the role of temporal feature extractors and whether pretrained time-series foundation models (TSFMs) can be effectively transferred to this setting remains underexplored. We conduct a controlled comparison of three temporal feature extraction strategies, including a linear baseline, a convolutional encoder, and a frozen pretrained TSFM (MOMENT), within a unified EEG foundation model. We evaluate their impact on representation quality using two downstream tasks: motor imagery and emotion recognition. Results reveal different trends across the evaluated benchmarks. On the motor imagery dataset, simple temporal representations perform competitively, whereas the emotion dataset benefits from richer temporal modeling. Although not specifically adapted to EEG, the pretrained TSFM serves as an effective temporal feature extractor, suggesting that general-purpose time-series representations can be transferred as frozen temporal feature extractors within EEG foundation models.
","absKo":"Electroencephalography (EEG) foundation models는 대규모 뇌 기록으로부터 일반화 가능한 표현을 학습하는 것을 목표로 한다. 그러나 temporal feature extractor의 역할과 pretrained time-series foundation models (TSFMs)를 이 설정에 효과적으로 transfer할 수 있는지는 아직 충분히 탐구되지 않았다. 우리는 linear baseline, convolutional encoder, frozen pretrained TSFM (MOMENT)을 포함한 세 가지 temporal feature extraction 전략을 하나의 통합된 EEG foundation model 안에서 통제된 비교를 수행한다. 그리고 motor imagery와 emotion recognition이라는 두 downstream task에서 representation quality에 미치는 영향을 평가한다. 결과는 평가한 benchmark들 사이에서 서로 다른 경향을 보여준다. motor imagery dataset에서는 단순한 temporal representation도 경쟁력 있는 성능을 보이는 반면, emotion dataset은 더 풍부한 temporal modeling의 이점을 얻는다. EEG에 특화되어 설계되지는 않았지만, pretrained TSFM은 효과적인 temporal feature extractor로 작동하며, 이는 general-purpose time-series representation이 EEG foundation models 내에서 frozen temporal feature extractor로 transfer될 수 있음을 시사한다.","link":"https://openreview.net/forum?id=oKlirtyeF7"},{"id":"9nCMtYGxQt","en":"Do Tabular Foundation Models Learn Rules or Memorize Exemplars?","ko":"표 형식 Foundation Model은 규칙을 학습하는가, 아니면 예시를 암기하는가?","authors":"Amir Rezaei Balef, Mykhailo Koshil, Behzad Nourani-Koliji, Katharina Eggensperger","abs":"We investigate how tabular foundation models (TFMs) generalize during in-context learning (ICL), focusing on whether they rely on memorizing context examples or learning abstract rules. Standard evaluation metrics assess empirical performance, but provide limited insight into the underlying mechanisms driving model predictions. Understanding these mechanisms enables better prediction of model behavior on new downstream tasks and supports more robust applications. To address this, we adapt and extend controlled experimental frameworks to the tabular domain and evaluate six state-of-the-art TFMs under settings that distinguish exemplar-based interpolation from rule-based extrapolation. We empirically examine how generalization behavior evolves with the number of training samples and across model layers. We observe that models with similar predictive performance can exhibit substantially different generalization strategies, with a common trend of transitioning from exemplar-based behavior in early layers to more rule-based reasoning in deeper layers. These findings suggest that predictive accuracy alone is insufficient to characterize model behavior.
","absKo":"우리는 tabular foundation model (TFM)이 in-context learning (ICL) 동안 어떻게 generalization하는지 조사하며, context example을 암기하는지 아니면 추상적 rule을 학습하는지에 초점을 맞춘다. 표준 평가 지표는 경험적 성능을 평가하지만, model prediction을 이끄는 근본 메커니즘에 대한 통찰은 제한적이다. 이러한 메커니즘을 이해하면 새로운 downstream task에서의 model behavior를 더 잘 예측할 수 있고, 보다 견고한 application을 지원한다. 이를 위해 우리는 controlled experimental framework를 tabular domain에 맞게 조정·확장하고, exemplar-based interpolation과 rule-based extrapolation을 구분하는 설정에서 최첨단 TFM 여섯 개를 평가한다. 우리는 training sample 수와 model layer 전반에 걸쳐 generalization behavior가 어떻게 변하는지 경험적으로 살펴본다. 그 결과, 유사한 predictive performance를 보이는 model이라도 generalization strategy는 상당히 다를 수 있으며, 흔한 경향은 초기 layer에서는 exemplar-based behavior를 보이다가 더 깊은 layer로 갈수록 더 rule-based reasoning으로 전환된다는 점이다. 이러한 결과는 predictive accuracy만으로는 model behavior를 충분히 특징지을 수 없음을 시사한다.","link":"https://openreview.net/forum?id=9nCMtYGxQt"},{"id":"NtU2gLl4hN","en":"Towards Benchmarking Time Series Foundation Models on Native Scientific Data","ko":"자연 과학 데이터에서 시계열 foundation model 벤치마킹을 향하여","authors":"Lewis O'Donnell, Arinbjörn Kolbeinsson, Benedikt Kolbeinsson, Marc Peter Deisenroth","abs":"Time series foundation models are evaluated on benchmarks that pre-align observations to a uniform grid, discarding the irregular, multi-rate structure present in real scientific data. We show empirically that preprocessing-induced degradation is large, architecture-specific, and invisible under conventional benchmarks. We propose a cross-domain benchmark spanning nuclear fusion, healthcare, and climate, stored in a unified observation set format that preserves native timestamps and mixed modalities without grid alignment and define four evaluation tasks and a hierarchical metric system to assess model capabilities.
","absKo":"time series foundation model은 관측치를 uniform grid에 미리 정렬하는 benchmark에서 평가되며, 그 과정에서 실제 과학 데이터에 존재하는 불규칙한 multi-rate 구조가 사라진다. 우리는 preprocessing으로 인한 성능 저하가 크고, architecture-specific하며, conventional benchmark에서는 보이지 않는다는 점을 실증적으로 보인다. 이를 위해 nuclear fusion, healthcare, climate를 아우르는 cross-domain benchmark를 제안하며, native timestamp와 mixed modality를 grid alignment 없이 보존하는 unified observation set format에 저장한다. 또한 model capability를 평가하기 위해 네 개의 evaluation task와 계층적 metric system을 정의한다.","link":"https://openreview.net/forum?id=NtU2gLl4hN"},{"id":"enXSrwGxRn","en":"When Simpler ICL Outperforms Pretrained Tabular Foundation Models for RNA Editing","ko":"RNA 편집에서 사전학습 tabular foundation model보다 더 단순한 ICL이 우수할 때","authors":"Ran Eisenberg, Efraim Rahamim, Erez Levanon, Ofir Lindenbaum","abs":"Pretrained tabular In-Context Learning (ICL) models promise to transfer to new structured-data tasks, but biomedical tables often differ sharply from their benchmark regimes. We study RNA editing prediction from single-cell gene expression profiles, where the model must predict each cell's editing index. Evaluation against tabular foundation models shows they achieve lower performance and are slower than a task-trained alternative. We investigate whether ICL can be simplified: instead of deploying a large pretrained ICL model directly, we train an explicit retrieval-based ICL adapter with attention-based multiple-instance learning (MIL) over genes and a gated correction from similar labeled training cells. This task-trained adapter achieves the best overall rank correlation, outperforming both tabular foundation models and task-trained baselines on most tissues, while requiring only ${\\approx}1.4$ minutes of inference per fold, a $45{\\times}$ speedup. Its additive prediction form separates the query-cell gene score from the retrieved-cell context correction, providing gene-level and support-set explanations without post-hoc attributions. For some shifted biomedical regression tables, simpler domain-structured ICL can be stronger, faster, and more interpretable than direct pretrained tabular ICL.
","absKo":"사전학습된 tabular In-Context Learning(ICL) 모델은 새로운 structured-data task로 전이될 수 있을 것으로 기대되지만, biomedical table은 종종 benchmark regime과 크게 다르다. 우리는 단일 세포 gene expression profile로부터 RNA editing prediction을 연구하는데, 이때 모델은 각 cell의 editing index를 예측해야 한다. tabular foundation model과의 평가 결과, 이들은 task-trained 대안보다 성능이 낮고 더 느리다. 우리는 ICL을 더 단순화할 수 있는지 조사한다. 즉, 대규모 pretrained ICL model을 직접 배치하는 대신, gene에 대한 attention-based multiple-instance learning(MIL)과 유사한 labeled training cell로부터의 gated correction을 사용하는 명시적 retrieval-based ICL adapter를 학습한다. 이 task-trained adapter는 대부분의 tissue에서 tabular foundation model과 task-trained baseline을 모두 능가하며, 전체적으로 가장 좋은 rank correlation을 달성하는 동시에 fold당 추론 시간이 약 ${\\approx}1.4$분에 불과해 $45{\\times}$의 속도 향상을 보인다. 그 additive prediction form은 query-cell gene score와 retrieved-cell context correction을 분리해, post-hoc attribution 없이 gene-level 및 support-set 설명을 제공한다. 일부 분포가 이동한 biomedical regression table에서는 더 단순한 domain-structured ICL이 직접적인 pretrained tabular ICL보다 더 강력하고, 더 빠르며, 더 해석 가능할 수 있다.","link":"https://openreview.net/forum?id=enXSrwGxRn"},{"id":"oN4FIXBVeS","en":"Context-Aware Learning Curve Extrapolation with Prior-Data Fitted Networks","ko":"Prior-Data Fitted Network를 이용한 context-aware learning curve extrapolation","authors":"Cheng Yan, Steven Adriaensen, Tom Julian Viering","abs":"Extrapolating learning curves of machine learning algorithms can help estimate future performance at larger training set sizes and inform data collection budgets, yet remains challenging on heterogeneous tabular benchmarks where curve shapes vary across learners and tasks. We revisit real-data training for Learning Curve Prior-Data Fitted Networks and find that direct training often overfits. We first introduce Real-LC-PFN++, a stabilized real-data baseline that combines early stopping and a content-free learnable dummy token (also called register token). Building on this, we propose CTX-LC-PFN, a context-aware extrapolator that conditions its predictive distribution on auxiliary context, specifically, the learner identity and observed training performance. In the largest learning curve benchmark, LCDB 1.1, our methods improve uncertainty calibration and extrapolation accuracy across observation regimes. Code is available at https://github.com/learning-curve-research/CTX-LC-PFN.
","absKo":"machine learning algorithm의 learning curve를 extrapolate하면 더 큰 training set 크기에서의 미래 성능을 추정하고 data collection budget을 계획하는 데 도움이 될 수 있지만, learner와 task에 따라 curve shape이 달라지는 이질적인 tabular benchmark에서는 여전히 어렵다. 우리는 Learning Curve Prior-Data Fitted Networks를 위한 real-data training을 다시 살펴보고, 직접 학습은 종종 overfit된다는 것을 발견했다. 먼저, early stopping과 content-free learnable dummy token(또는 register token이라고도 함)을 결합한 안정화된 real-data baseline인 Real-LC-PFN++를 도입한다. 이를 바탕으로, 보조 context, 특히 learner identity와 관측된 training performance에 조건화하는 context-aware extrapolator인 CTX-LC-PFN을 제안한다. 가장 큰 learning curve benchmark인 LCDB 1.1에서, 우리의 방법은 observation regime 전반에 걸쳐 uncertainty calibration과 extrapolation accuracy를 개선한다. 코드는 https://github.com/learning-curve-research/CTX-LC-PFN 에서 확인할 수 있다.","link":"https://openreview.net/forum?id=oN4FIXBVeS"},{"id":"FJSkVoD4k3","en":"Explaining Tabular Foundation Model Differences Through Meta-Features","ko":"메타 특성을 통해 tabular foundation model 차이 설명하기","authors":"Markus Herre, Andrej Tschalzev, Sascha Marton, Christian Bartelt","abs":"With the rise of tabular foundation models alongside traditional models still performing well on many tasks, choosing the right model for a tabular dataset remains difficult. We investigate whether dataset meta-features can explain performance gaps between model families on tabular prediction tasks. Using the TabArena benchmark results, we analyze dataset-level performance gaps and relate them to model-agnostic meta-features. After strict statistical tests with false discovery control, we find that (1) for neural network vs. tree gaps, no meta-feature survives false discovery control, (2) for non-foundation vs. foundation model gaps, one association is robust but does not generalize when tested in leave-one-dataset-out prediction, and (3) for TabICLv2 vs. TabPFN-2.6, one robust association also improves held-out prediction. Furthermore, we conduct a leave-one-dataset-out analysis and find that meta-feature predictors fail to improve meaningfully over a simple baseline. Overall, our results show the heterogeneity of tabular datasets and that global meta-feature approaches are not robust enough to offer explanations on the 51 TabArena datasets.
","absKo":"전통적 model도 여전히 많은 task에서 좋은 성능을 보이는 가운데 tabular foundation model의 부상으로, tabular dataset에 대해 적절한 model을 고르는 일은 여전히 어렵다. 우리는 dataset meta-feature가 tabular prediction task에서 model family 간 성능 격차를 설명할 수 있는지 조사한다. TabArena benchmark 결과를 사용하여 dataset 수준의 성능 격차를 분석하고, 이를 model-agnostic meta-feature와 연결한다. false discovery control이 적용된 엄격한 statistical test 이후, 우리는 다음을 발견했다. (1) neural network와 tree의 격차에서는 어떤 meta-feature도 false discovery control을 통과하지 못한다. (2) non-foundation과 foundation model의 격차에서는 하나의 association이 견고하지만 leave-one-dataset-out prediction으로 테스트하면 일반화되지 않는다. (3) TabICLv2와 TabPFN-2.6의 비교에서는 하나의 견고한 association이 hold-out prediction도 개선한다. 또한 leave-one-dataset-out 분석을 수행한 결과, meta-feature predictor는 단순 baseline보다 의미 있게 나아지지 못함을 확인했다. 전반적으로, 우리의 결과는 tabular dataset의 이질성을 보여주며, 전역적인 meta-feature 접근이 51개의 TabArena dataset에 대해 설명을 제공하기에는 충분히 견고하지 않음을 시사한다.","link":"https://openreview.net/forum?id=FJSkVoD4k3"},{"id":"oTxjy6BBcb","en":"LLM-Guided Hard Negative Mining for Structured Product Data Matching","ko":"구조화된 제품 데이터 매칭을 위한 LLM-guided hard negative mining","authors":"Manoj Chandrashekar Rao, Mohammed Abraar, Raj Dandekar, Prathamesh Dinesh Joshi, Rajat Dandekar, Sreedath Panat","abs":"Dense bi-encoder models for product entity matching rely on in-batch negatives during contrastive training, which exposes the model only to semantically distant non-matches and leaves near-duplicate hard cases entirely unseen. We demonstrate empirically that this creates a persistent empirical ceiling on top-1 retrieval accuracy (Acc@1): across the WDC LSPC Computers benchmark, Acc@1 remains flat at ~4.5% regardless of whether training data is increased 10-fold or training is extended to 15 epochs, and this ceiling replicates across all four WDC LSPC product categories (Computers, Cameras, Watches, Shoes). To partially overcome it, we propose LLM-HN, which uses GPT-4o-mini as a controllable structured perturbation generator, synthesizing four typed hard negative types (phonetic, component-swap, abbreviation, semantic distractor) under three prompting strategies (zero-shot, few-shot, chain-of-thought), providing attribute-level supervision unavailable to corpus-mining approaches at this data scale. A five-factor ablation reveals that chain-of-thought component-swap negatives at 4:1 yield the primary gains: Acc@5 = 0.5459 (±0.0080, +6.9%) and MRR = 0.2599 (±0.0019, +4.5%) using only 10% of labeled data at under $1.50 API cost; Acc@1 shows a consistent but non-significant directional lift (0.0439±0.0009 vs. baseline 0.0433; t(5)=1.48, p=0.10, six seeds).
","absKo":"product entity matching을 위한 dense bi-encoder model은 contrastive training 동안 in-batch negative에 의존하는데, 이 방식은 모델에 의미적으로 멀리 떨어진 non-match만을 노출시키고, near-duplicate와 같은 어려운 사례는 전혀 보지 못하게 만든다. 우리는 이로 인해 top-1 retrieval accuracy (Acc@1)에 지속적인 경험적 상한이 생김을 실증적으로 보인다. WDC LSPC Computers benchmark 전반에서, 학습 데이터를 10배 늘리거나 학습을 15 epoch까지 연장하더라도 Acc@1은 약 4.5% 수준에서 변하지 않았고, 이 상한은 WDC LSPC의 네 product category(Computers, Cameras, Watches, Shoes) 모두에서 재현되었다. 이를 부분적으로 완화하기 위해, 우리는 GPT-4o-mini를 제어 가능한 structured perturbation generator로 사용하여 세 가지 prompting strategy(zero-shot, few-shot, chain-of-thought) 아래 네 가지 유형의 hard negative(phonetic, component-swap, abbreviation, semantic distractor)를 합성하는 LLM-HN을 제안한다. 이는 이 데이터 규모에서 corpus-mining approach가 제공하지 못하는 attribute-level supervision을 제공한다. 다섯 요인 ablation 결과, chain-of-thought component-swap negative를 4:1 비율로 사용할 때 주요 이득이 나타났다: label data의 10%만 사용하고 API 비용은 $1.50 미만으로 Acc@5 = 0.5459 (±0.0080, +6.9%) 및 MRR = 0.2599 (±0.0019, +4.5%)를 달성했다. Acc@1은 일관되게 방향성 있는 향상을 보였지만 통계적으로 유의하지는 않았다(0.0439±0.0009 vs. baseline 0.0433; t(5)=1.48, p=0.10, six seeds).","link":"https://openreview.net/forum?id=oTxjy6BBcb"},{"id":"XWF3Sa0xIO","en":"HICL-TBI: Hyperbolic In-Context Learning for Traumatic Brain Injury Outcome Prediction","ko":"HICL-TBI: 외상성 뇌손상 결과 예측을 위한 hyperbolic in-context learning","authors":"Thai Khanh Nguyen, Thanh-Hai Tran","abs":"Tabular foundation models like TabPFN excel at training-free In-Context Learning (ICL), yet standard retrieval strategies rely on Euclidean geometry, failing to capture the hierarchical progressions inherent in clinical data. In this paper, we introduce HICL-TBI, a novel Hyperbolic ICL framework that integrates Poincaré Ball geometry to resolve this representational bottleneck. To robustly handle real-world data imperfections, we propose Hyperbolic Fréchet Imputation to reconstruct missing values without flat-space distortion, and Density-Aware Hyperbolic Retrieval to dynamically adapt the context size based on local manifold density. By mapping mild cases near the origin and exponentially separating severe outliers, our approach effectively mitigates class imbalance and the Euclidean crowding problem. Extensive experiments on three real-world Traumatic Brain Injury (TBI) datasets demonstrate that HICL-TBI outperforms Euclidean baselines in fine-grained classification and small-data regimes, all while maintaining a strictly training-free pipeline.
","absKo":"TabPFN 같은 tabular foundation model은 training-free In-Context Learning(ICL)에서 뛰어나지만, 표준 retrieval strategy는 Euclidean geometry에 의존하여 clinical data에 내재한 hierarchical progression을 포착하지 못합니다. 이 논문에서는 이러한 representational bottleneck를 해결하기 위해 Poincaré Ball geometry를 통합한 새로운 Hyperbolic ICL framework인 HICL-TBI를 소개합니다. 실제 데이터의 불완전성을 견고하게 다루기 위해, flat-space distortion 없이 missing value를 복원하는 Hyperbolic Fréchet Imputation과 local manifold density에 따라 context size를 동적으로 조정하는 Density-Aware Hyperbolic Retrieval을 제안합니다. 경미한 사례는 origin 근처에 배치하고 중증 outlier는 지수적으로 분리함으로써, 우리의 접근법은 class imbalance와 Euclidean crowding problem을 효과적으로 완화합니다. 세 개의 실제 Traumatic Brain Injury(TBI) dataset에 대한 광범위한 실험은 HICL-TBI가 fine-grained classification과 small-data regime에서 Euclidean baseline을 능가하며, 동시에 엄격히 training-free한 pipeline을 유지함을 보여 줍니다.","link":"https://openreview.net/forum?id=XWF3Sa0xIO"},{"id":"ULoLF1aOo1","en":"Causal Foundation Models Perform Better without Post-treatment Variables","ko":"Causal foundation model은 post-treatment variable 없이 더 잘 수행한다","authors":"Junha Ham, Deokgyu Kim, Doeun Kim, Serjin Kim, Sanghack Lee","abs":"Causal Foundation Models (CFMs) amortize Bayesian causal inference by pretraining on synthetic datasets, enabling zero-shot conditional average treatment effect (CATE) estimation. This paper studies the structural bias induced when post-treatment covariates are included in the inference-time query set of CFMs. The bias decomposes into three terms, and the CATE estimation error of two representative CFMs, Do-PFN and CausalPFN, is consistent with the corresponding theoretical bounds under mediator and collider conditioning. In an Oracle-Exclude experiment, removing post-treatment covariates from the query set reduces estimation error by approximately 25% for Do-PFN and up to 72% for CausalPFN without retraining. As a practical alternative to oracle exclusion, Treatment-Centric Local Discovery (TC-LD) filters query covariates before inference. It recovers 85.5%-92.6% of the Oracle headroom on the synthetic benchmark and detects all synthetically injected mediators in semi-synthetic experiments on IHDP and ACIC 2016.
","absKo":"Causal Foundation Models (CFMs)는 synthetic dataset으로 pretraining함으로써 Bayesian causal inference를 amortize하며, zero-shot conditional average treatment effect (CATE) 추정을 가능하게 한다. 이 논문은 inference-time query set에 post-treatment covariate가 포함될 때 CFMs에 유도되는 structural bias를 연구한다. 이 bias는 세 항으로 분해되며, 두 대표적인 CFM인 Do-PFN과 CausalPFN의 CATE 추정 오차는 mediator 및 collider conditioning 하에서 해당 이론적 bound와 일치한다. Oracle-Exclude 실험에서 post-treatment covariate를 query set에서 제거하면 retraining 없이 Do-PFN의 추정 오차는 약 25%, CausalPFN은 최대 72%까지 감소한다. oracle exclusion의 실용적 대안으로, Treatment-Centric Local Discovery (TC-LD)는 inference 전에 query covariate를 필터링한다. 이 방법은 synthetic benchmark에서 Oracle headroom의 85.5%-92.6%를 회복하고, IHDP 및 ACIC 2016의 semi-synthetic 실험에서 주입된 모든 mediator를 탐지한다.","link":"https://openreview.net/forum?id=ULoLF1aOo1"},{"id":"T8qbmiE0yZ","en":"Mutual Information-Guided Corruption for Improved Self-Supervised Representation Learning in Tabular Data","ko":"표 형태 데이터의 자기지도 표현 학습 향상을 위한 상호정보량 유도 노이즈 주입","authors":"Michael Lawson, Emerald Sy, Kehui Zhang, Raymond H. Chan, Kannie W. Y. Chan, Rosa H. M. Chan","abs":"Self-supervised learning has revolutionised representation learning in computer vision and natural language processing, yet tabular data remains challenging due to heterogeneous feature distributions and complex inter-feature dependencies. Whilst recent methods use random feature corruption for pretraining, they typically ignore the statistical structure inherent in tabular datasets. We propose a self-supervised learning framework that leverages mutual information to automatically discover and exploit feature dependencies during pretraining. Our approach constructs feature groups based on statistical relationships and uses these to guide data augmentation, by incorporating conditional variational autoencoders for realistic sample generation. Experiments on plaque prediction from pretraining on UK Biobank data, 6 open-source medical datasets, and 69 OpenML-CC18 benchmark tasks demonstrate superior label efficiency, requiring fewer labeled examples to reach comparable performance.
","absKo":"Self-supervised learning은 computer vision과 natural language processing에서 representation learning을 혁신했지만, tabular data는 이질적인 feature 분포와 복잡한 feature 간 의존성 때문에 여전히 어렵다. 최근 방법들은 pretraining을 위해 random feature corruption을 사용하지만, 보통 tabular dataset에 내재된 통계적 구조는 무시한다. 우리는 pretraining 동안 mutual information을 활용해 feature dependency를 자동으로 발견하고 활용하는 self-supervised learning framework를 제안한다. 우리의 접근은 통계적 관계에 기반해 feature group을 구성하고, conditional variational autoencoder를 도입하여 현실적인 sample 생성을 유도함으로써 data augmentation을 수행한다. UK Biobank 데이터로 사전학습한 plaque prediction, 6개의 open-source medical dataset, 그리고 69개의 OpenML-CC18 benchmark task에서 수행한 실험은, 더 적은 labeled example만으로도 동등한 성능에 도달하는 superior label efficiency를 보여준다.","link":"https://openreview.net/forum?id=T8qbmiE0yZ"},{"id":"w82j6qd9Od","en":"VLM-Guided Noisy Label Detection for Structured Network Traffic in Low-Resource IDS","ko":"저자원 IDS에서 구조화된 네트워크 트래픽의 VLM 유도 잡음 라벨 탐지","authors":"Yuha Jeon, Myung-Sun Baek","abs":"Accurate Intrusion Detection Systems (IDS) rely on high-quality labeled network traffic data, yet real-world deployments suffer from scarce annotations and label noise introduced during automated or crowdsourced labeling pipelines. We present VLM-IDs, a multimodal noisy label detection pipeline combining CoTeaching-based filtering, Adaptive Cluster Density(ACD) sub-clustering, and a fine-tuned Vision Language Model (VLM). Our approach converts per-feature flow statistics into three-channel Shannon Entropy density maps enabling a Qwen2-VL-2B model to localize high-risk feature bin regions and guide selective augmentation and density-aware feature injection into a Random Forest classifier. Experiments on DoHBrw2020 and Gotham2025 under symmetric noise rates of 20-45\\% with N=250-1000 show consistent improvements over a raw RF baseline and the prior method RAPIER, with up to 13.4 percentage-point F1 improvement on DoHBrw2020 at p=0.40.
","absKo":"정확한 Intrusion Detection Systems (IDS)는 고품질로 라벨링된 네트워크 트래픽 데이터에 의존하지만, 실제 배포 환경에서는 자동화되거나 crowdsourced labeling 파이프라인에서 유입되는 주석 부족과 label noise 문제에 시달린다. 우리는 CoTeaching 기반 필터링, Adaptive Cluster Density(ACD) sub-clustering, 그리고 fine-tuned Vision Language Model (VLM)을 결합한 multimodal noisy label detection 파이프라인 VLM-IDs를 제안한다. 우리의 접근법은 각 feature의 flow statistics를 3채널 Shannon Entropy density map으로 변환하여 Qwen2-VL-2B 모델이 고위험 feature bin 영역을 localize하고, 이를 바탕으로 Random Forest classifier에 selective augmentation과 density-aware feature injection을 유도하도록 한다. DoHBrw2020과 Gotham2025에서 symmetric noise rate 20-45\\%, N=250-1000 조건으로 수행한 실험은 raw RF baseline과 기존 방법 RAPIER보다 일관되게 우수했으며, DoHBrw2020에서 p=0.40일 때 최대 13.4 percentage-point의 F1 향상을 보였다.","link":"https://openreview.net/forum?id=w82j6qd9Od"},{"id":"Uau401gQnx","en":"Are Time Series Foundation Models Ready for Oil and Gas Drilling Anomaly Detection?","ko":"시계열 foundation model은 oil and gas drilling anomaly detection에 준비되었는가?","authors":"Soumyadipta Sengupta, Abdallah Benzine, Sebastiaan Buiting, Ankush Mishra","abs":"Anomaly detection of multivariate time-series data is an important component of oil and gas drilling anomaly detection, including early identification of hookload and torque events associated with stuck-pipe risk. Although recent Time Series Foundation Models (TSFM) have shown strong forecasting performance, their value for industrial anomaly detection tasks remains unclear. In this paper, we evaluate two forecasting-based TSFM models, Chronos-2 and Toto, against lightweight CNN, CNN-FNO, and MLP baselines for hookload and torque anomaly detection.
Our experiments show that Chronos-2 obtains the highest F1 score on both tasks. However, the gain is task-dependent. Domain specific forecasting-based finetuning gives only a small improvement on hookload, while it improves Chronos-2 substantially on torque anomaly detection. We also find that a 5M-parameter CNN-FNO reaches near-parity with the 120M-parameter Chronos-2 on the torque task, with much lower inference time, but does not close the gap on hookload.
These results suggest that newer TSFM models can be useful for drilling anomaly detection, particularly when combined with domain-specific forecasting based finetuning. At the same time, their advantage is not uniform across anomaly types, and simpler architectures remain strong candidates for real-time deployment. The study highlights the need to evaluate TSFM not only by accuracy, but also by latency, and cost.
","absKo":"다변량 시계열 데이터의 anomaly detection은 stuck-pipe risk와 관련된 hookload 및 torque event의 조기 식별을 포함하여, oil and gas drilling anomaly detection의 중요한 구성요소이다. 최근 Time Series Foundation Model(TSFM)은 강력한 forecasting 성능을 보여주었지만, 산업용 anomaly detection task에서의 효용은 아직 명확하지 않다. 이 논문에서는 hookload 및 torque anomaly detection에서 경량 CNN, CNN-FNO, MLP baseline과 두 개의 forecasting-based TSFM model인 Chronos-2와 Toto를 비교 평가한다.\n\n실험 결과 Chronos-2가 두 task 모두에서 가장 높은 F1 score를 달성했다. 그러나 향상 폭은 task에 따라 달랐다. domain-specific forecasting-based finetuning은 hookload에서는 작은 개선만을 보였지만, torque anomaly detection에서는 Chronos-2를 상당히 향상시켰다. 또한 500만 parameter의 CNN-FNO가 torque task에서 1억 2천만 parameter의 Chronos-2와 거의 동등한 성능을 훨씬 낮은 inference time으로 달성했지만, hookload에서는 격차를 좁히지 못했다.\n\n이러한 결과는 새로운 TSFM model이 drilling anomaly detection에 유용할 수 있으며, 특히 domain-specific forecasting-based finetuning과 결합될 때 그러하다는 점을 시사한다. 동시에 이러한 이점은 anomaly type 전반에 걸쳐 균일하지 않으며, 더 단순한 architecture도 real-time deployment를 위한 강력한 후보로 남는다. 이 연구는 TSFM을 정확도뿐 아니라 latency와 cost로도 평가할 필요가 있음을 강조한다.","link":"https://openreview.net/forum?id=Uau401gQnx"},{"id":"sdBsI9MA5a","en":"A Foundation Model Approach to Particle Accelerator Operational Data","ko":"입자 가속기 운용 데이터에 대한 foundation model 접근","authors":"Mahindra Singh Rautela, Alexander Scheinker","abs":"Large-scale scientific facilities, such as particle accelerators, are complex systems composed of thousands of interacting components that must operate collectively to support diagnostics and control and to ensure safe, reliable operation. These facilities rely on extensive sensor networks that generate large volumes of heterogeneous and noisy data, often sampled at different rates across subsystems. In this paper, we adopt the foundation-model paradigm to learn general-purpose sensor representations from historical accelerator data through self-supervised pretraining. We introduce SensOFormer, a denoising masked transformer with a Perceiver-style encoder–decoder architecture designed to handle variable sensor sets, accommodate variable sampling rates, and learn robust representations from noisy measurements. The model is pretrained on multiple particle-accelerator datasets and transferred to downstream tasks, including missing-data imputation, anomaly detection, cavity identification, and fault identification. Through extensive evaluations and comparisons, we demonstrate that a single self-supervised model can learn reusable representations for diverse operational tasks in large-scale scientific facilities.
","absKo":"입자 가속기와 같은 대규모 과학 시설은 진단과 제어를 지원하고 안전하고 신뢰할 수 있는 운영을 보장하기 위해 수천 개의 상호작용하는 구성요소로 이루어진 복잡한 시스템이다. 이러한 시설은 방대한 센서 네트워크에 의존하며, 이 네트워크는 이기종이고 잡음이 많은 대규모 데이터를 생성하고, 하위 시스템마다 서로 다른 속도로 샘플링되는 경우가 많다. 본 논문에서는 foundation-model 패러다임을 채택하여, 자기지도 사전학습을 통해 과거 가속기 데이터로부터 범용 센서 표현을 학습한다. 우리는 가변적인 센서 집합을 처리하고, 가변 샘플링 속도를 수용하며, 잡음이 있는 측정값으로부터 강건한 표현을 학습하도록 설계된 Perceiver 스타일 encoder–decoder 아키텍처를 갖는 denoising masked transformer인 SensOFormer를 제안한다. 이 모델은 여러 particle-accelerator 데이터셋으로 사전학습되며, 결측 데이터 보간, 이상 탐지, cavity 식별, fault 식별을 포함한 downstream task로 전이된다. 광범위한 평가와 비교를 통해, 하나의 자기지도 모델이 대규모 과학 시설의 다양한 운영 과제를 위한 재사용 가능한 표현을 학습할 수 있음을 보인다.","link":"https://openreview.net/forum?id=sdBsI9MA5a"},{"id":"zROz2mgYql","en":"Multimodal Structured Foundation Models for Noisy Documents: A 110M Encoder Where Structure Matches Scale on Clinical Key--Value Generation","ko":"노이즈가 있는 문서를 위한 멀티모달 구조화 파운데이션 모델: 구조와 규모가 일치하는 1억 1천만 파라미터 인코더의 임상 key-value 생성","authors":"Yingyun Li, Haiyang Qian","abs":"Foundation models for structured data have so far assumed that the data
arrives clean and tabular. In healthcare, however, a large share of
structured records is locked inside scanned paper reports of heterogeneous
layout (free-text notes, multi-column forms, and table-heavy lab and
pathology reports) recovered through error-prone OCR. The standard pipeline
turns these into rows of key--value pairs and treats the OCR step as
upstream ground truth, even though its error rate varies systematically
with capture quality and layout. We argue that this regime calls for a
multimodal view of structured generation, in which OCR quality
signals are treated as a first-class modality alongside text, and key--value
structure is treated as a first-class pretraining target. We instantiate
this view as a noise-aware encoder whose input layer fuses text with seven
OCR-derived reliability signals, and whose pretraining replaces MLM/NSP
with two structure-aware objectives over key--value pairs. On 3,582
OCR-derived clinical-report pages, an 110M-parameter model trained this
way outperforms strong Chinese encoder baselines by up to +4.6 F1 points on
end-to-end key--value pairing and beats a 0.6B medical decoder LLM by
+31.1 F1 points --- a result that runs against parameter-count-as-scaling-axis
intuition. Treating noise as signal and structure as supervision is, in
our setting, a stronger lever than scale, and we sketch the implications
for tabular and document-grounded structured foundation models more broadly.
","absKo":"structured data를 위한 foundation model은 지금까지 데이터가 clean하고 tabular한 형태로 들어온다고 가정해 왔다. 그러나 healthcare에서는 structured record의 상당 부분이 이질적인 layout의 스캔된 paper report 안에 갇혀 있으며, error-prone OCR을 통해 복원된다. 여기에는 free-text note, multi-column form, table-heavy lab 및 pathology report가 포함된다. 표준 pipeline은 이를 key--value pair의 row로 변환하고 OCR 단계를 upstream ground truth로 취급하지만, 실제로는 그 error rate가 capture quality와 layout에 따라 체계적으로 달라진다. 우리는 이러한 환경이 structured generation에 대한 multimodal view를 요구한다고 주장한다. 여기서 OCR quality signal은 text와 함께 first-class modality로 취급되고, key--value structure는 first-class pretraining target으로 취급된다. 우리는 이를 text와 seven 개의 OCR-derived reliability signal을 input layer에서 결합하는 noise-aware encoder와, MLM/NSP를 key--value pair에 대한 두 가지 structure-aware objective로 대체하는 pretraining으로 구현한다. 3,582개의 OCR-derived clinical-report page에서, 이렇게 학습한 110M-parameter model은 end-to-end key--value pairing에서 최대 +4.6 F1 point까지, 그리고 0.6B medical decoder LLM보다 +31.1 F1 point 더 높은 성능으로 강력한 Chinese encoder baseline을 능가한다. 이는 parameter-count-as-scaling-axis 직관에 어긋나는 결과다. noise를 signal로, structure를 supervision으로 다루는 것이 우리의 설정에서는 scale보다 더 강한 lever이며, 우리는 tabular 및 document-grounded structured foundation model에 대한 함의를 더 넓게 개괄한다.","link":"https://openreview.net/forum?id=zROz2mgYql"},{"id":"UMGFi5C19P","en":"Retrieval-Augmented Foundation Model Enhances Risk Prediction Using Electronic Health Records","ko":"Retrieval-Augmented Foundation Model이 electronic health record를 활용한 위험 예측을 향상시킨다","authors":"Saeed Shurrab, Mariam Al-Omari, Dana El Samad, Farah E. Shamout","abs":"Electronic Health Records (EHR) contain rich longitudinal patient information widely used for predictive modeling. However, effectively leveraging historical data remains challenging due to long trajectories, event heterogeneity, temporal irregularity, and varying relevance of past visits. Existing approaches rely on fixed windows or uniform aggregation, which may obscure clinically important signals. We introduce $\\texttt{EHR-RAGp}$, a retrieval-augmented foundation model that dynamically integrates relevant patient history. We construct an EHR vector database via clinically relevant chunking strategies and employ a prototype-guided retrieval module to identify and weight the most relevant historical segments for a given prediction task. Across multiple tasks, $\\texttt{EHR-RAGp}$ consistently outperforms state-of-the-art EHR foundation models.
","absKo":"전자 건강 기록(EHR)은 예측 모델링에 널리 사용되는 풍부한 종단적 환자 정보를 담고 있다. 그러나 긴 궤적, 이벤트 이질성, 시간적 불규칙성, 그리고 과거 방문의 가변적인 관련성 때문에 역사적 데이터를 효과적으로 활용하는 일은 여전히 어렵다. 기존 접근법은 고정 윈도우 또는 균일한 집계를 사용해 임상적으로 중요한 신호를 가릴 수 있다. 우리는 관련 환자 이력을 동적으로 통합하는 retrieval-augmented foundation model인 $\\texttt{EHR-RAGp}$를 제안한다. 우리는 임상적으로 관련 있는 chunking 전략을 통해 EHR 벡터 데이터베이스를 구축하고, prototype-guided retrieval 모듈을 사용해 주어진 예측 작업에 가장 관련성 높은 과거 세그먼트를 식별하고 가중한다. 여러 태스크 전반에서 $\\texttt{EHR-RAGp}$는 state-of-the-art EHR foundation model들을 일관되게 능가한다.","link":"https://openreview.net/forum?id=UMGFi5C19P"},{"id":"5BkHclEOW0","en":"RAD-TFM: Robust and Domain-Adapted Tabular Foundation Models","ko":"RAD-TFM: 강건하고 도메인 적응된 Tabular Foundation Model","authors":"Matthew Peroni, Franck Le, Vadim Sheinin","abs":"Tabular foundation models (TFMs) have shown promise for structured data, but they do not consistently outperform strong traditional ML methods across datasets. Although TFMs can be pretrained entirely on synthetic data, prior work has primarily relied on fixed priors over synthetic data generators. We instead frame generator selection as an adversarial distributional robustness problem: adapt the generator distribution toward datasets with large _optimality gaps_, defined as the shortfall between TFM performance and the best achievable performance on that dataset. We also align synthetic generation with real-world datasets from a target domain, constraining the adversary toward realistic data. These components form the Robust and Domain-Adapted Tabular Foundation Models (RAD-TFM) pipeline, a model-agnostic adversarial training framework. Applied to TabPFN V2, RAD-TFM improves performance across six tabular benchmarks, yielding up to an 11\\% increase in mean normalized AUC over TabPFN V2 and other baselines using only 100k additional synthetic datasets, less than 0.1\\% of the original pretraining scale.
","absKo":"Tabular foundation model (TFM)은 structured data에서 유망함을 보여 왔지만, dataset 전반에서 강력한 traditional ML method를 일관되게 능가하지는 못한다. TFM은 synthetic data만으로도 pretraining될 수 있지만, 선행 연구는 주로 synthetic data generator에 대한 고정 prior에 의존해 왔다. 우리는 대신 generator selection을 adversarial distributional robustness 문제로 정식화한다. 즉, TFM performance와 해당 dataset에서 달성 가능한 최선의 성능 사이의 격차인 _optimality gap_이 큰 dataset 쪽으로 generator distribution을 조정한다. 또한 synthetic generation을 대상 domain의 실제 dataset과 정렬하여 adversary가 현실적인 data를 향하도록 제약한다. 이러한 구성 요소는 model-agnostic adversarial training framework인 Robust and Domain-Adapted Tabular Foundation Models (RAD-TFM) pipeline을 이룬다. TabPFN V2에 적용했을 때, RAD-TFM은 여섯 개의 tabular benchmark 전반에서 성능을 향상시켰으며, 추가 synthetic dataset 100k개, 즉 원래 pretraining 규모의 0.1\\% 미만만 사용하면서 TabPFN V2 및 다른 baseline 대비 mean normalized AUC를 최대 11\\%까지 높였다.","link":"https://openreview.net/forum?id=5BkHclEOW0"},{"id":"iIsQ9SiAxF","en":"Multi-Task Multimodal Fusion with Tabular Foundation Models for Pertussis Booster Response Prediction","ko":"tabular foundation model을 활용한 다중작업 멀티모달 융합과 pertussis booster 반응 예측","authors":"Divya Sitani","abs":"Pertussis booster vaccination produces immune responses that vary widely across individuals in both peak magnitude and long term durability, governed by partly distinct biological compartments. Most computational models target only one phase; jointly predicting both is non-trivial because the endpoints are biologically dissociated, samples are small, and modalities have structured missingness. We propose a multi-task contrastive fusion architecture combining frozen TabPFN-v2 per-modality encoders, a dual-label supervised contrastive loss, modality dropout calibrated to empirical missingness, and missingness-masked attention fusion. On the CMI-PB pertussis booster subset (four modalities: antibody titers, cytokines, cell frequencies, gene expression; 44.9\\% of Task 1 subjects and 39.6\\% of Task 2 subjects missing at least one modality), we jointly predict peak response ($\\log_2$(day 14 / day 0) IgG anti-pertussis-toxin fold change, n = 158) and durability ($\\log_2$(day 120 / day 30) retention, n = 96). The model achieves test AUROC 0.797 (95\\% CI [0.621, 0.948]) for peak and 0.755 ([0.519, 0.945]) for durability, both significant under joint label permutation (p = 0.002, p = 0.045). Across logistic regression, XGBoost, and MLP baselines on raw features and TabPFN embeddings, the proposed model is the only method whose 95\\% CIs lie above chance on both tasks simultaneously.
","absKo":"Pertussis booster vaccination은 개인마다 peak magnitude와 long-term durability 모두에서 크게 다른 immune response를 유발하며, 이는 일부는 서로 구분되는 biological compartment에 의해 좌우된다. 대부분의 computational model은 한 phase만을 대상으로 한다. 그러나 두 endpoint를 함께 예측하는 것은 생물학적으로 분리되어 있고, 표본이 작으며, modality에 structured missingness가 존재하기 때문에 비자명하다. 우리는 frozen TabPFN-v2 per-modality encoder, dual-label supervised contrastive loss, 경험적 missingness에 맞춰 보정된 modality dropout, 그리고 missingness-masked attention fusion을 결합한 multi-task contrastive fusion architecture를 제안한다. CMI-PB pertussis booster subset(4개 modality: antibody titer, cytokine, cell frequency, gene expression; Task 1 대상의 44.9\\%, Task 2 대상의 39.6\\%가 적어도 하나의 modality가 누락됨)에서 우리는 peak response($\\log_2$(day 14 / day 0) IgG anti-pertussis-toxin fold change, n = 158)와 durability($\\log_2$(day 120 / day 30) retention, n = 96)를 jointly predict한다. 이 model은 peak에 대해 test AUROC 0.797(95\\% CI [0.621, 0.948]), durability에 대해 0.755([0.519, 0.945])를 달성하며, 두 값 모두 joint label permutation 하에서 유의하다(p = 0.002, p = 0.045). raw feature와 TabPFN embedding에 대해 logistic regression, XGBoost, MLP baseline과 비교했을 때, 제안한 model만이 두 task 모두에서 95\\% CI가 chance를 동시에 상회하는 유일한 방법이다.","link":"https://openreview.net/forum?id=iIsQ9SiAxF"},{"id":"Q5iGt2Z0Ql","en":"TabPATE: Differentially Private Tabular In-Context Learning Without Public Data","ko":"TabPATE: 공개 데이터 없이 차등 프라이버시 tabular in-context learning","authors":"Dariush Wahdany, Matthew Jagielski, Jesse C. Cresswell, Adam Dziedzic, Franziska Boenisch","abs":"Tabular foundation models enable accurate in-context learning (ICL) from small labeled datasets, but the private records placed in context can leak through model predictions. We first show that even basic membership inference attacks succeed against tabular ICL, motivating formal privacy protection. We then introduce TabPATE, a differentially private PATE-style defense for tabular ICL that does not require public in-distribution data. TabPATE partitions the private context across teacher models, privately aggregates their labels on synthetic tabular queries, and releases the resulting labeled queries as a student context. Because tabular features are bounded and relatively low-dimensional, useful queries can be generated from feature ranges alone or from lightly privatized marginals. Across tabular benchmarks, TabPATE preserves competitive utility while reducing membership inference to near-random success, providing a practical path to private tabular ICL without public data.
","absKo":"Tabular foundation model은 작은 labeled dataset으로부터 정확한 in-context learning (ICL)을 가능하게 하지만, context에 넣어진 private record가 model prediction을 통해 유출될 수 있다. 우리는 먼저 기본적인 membership inference attack조차 tabular ICL에 대해 성공할 수 있음을 보여주며, 이는 형식적인 privacy protection의 필요성을 뒷받침한다. 이어서 public in-distribution data를 필요로 하지 않는, tabular ICL을 위한 differential private PATE-style defense인 TabPATE를 소개한다. TabPATE는 private context를 teacher model에 걸쳐 분할하고, synthetic tabular query에 대한 label을 privacy-preserving하게 aggregate한 뒤, 그 결과로 얻어진 labeled query를 student context로 공개한다. tabular feature는 bounded되어 있고 상대적으로 low-dimensional이므로, 유용한 query는 feature range만으로도 또는 약하게 privatize된 marginal로부터 생성할 수 있다. 여러 tabular benchmark 전반에서 TabPATE는 경쟁력 있는 utility를 유지하면서 membership inference를 거의 무작위 수준으로 낮추어, public data 없이 private tabular ICL을 실용적으로 수행할 수 있는 경로를 제공한다.","link":"https://openreview.net/forum?id=Q5iGt2Z0Ql"},{"id":"FNtlPbGvwc","en":"Lookahead Automated Feature Engineering for Tabular Prediction via Kaggle-Guided Knowledge Transfer","ko":"Kaggle-guided 지식 전이를 통한 tabular 예측용 lookahead 자동 feature engineering","authors":"Si-Yang Liu, Zong-Da Li, Chenming Xu, Han Li, Rui-Qiao Chen, Han-Jia Ye","abs":"Feature Engineering (FE) can substantially boost accuracy in tabular prediction, yet identifying effective transformations remains challenging: the space of possible operations is vast, and current LLM-based approaches often default to generic ''common-sense'' features and make myopic, step-by-step choices that overlook beneficial feature combinations.
We propose Forge (**F**eature **O**ptimization with **R**etrieved knowledge **G**uidance and lookahead **E**xploration), a retrieval-augmented lookahead framework that makes LLM-driven feature engineering both more informed and less myopic.
Forge improves the quality of proposed transformations by *transferring* practical feature-engineering expertise: it grounds generation in high-performing Kaggle solutions and retrieves task-relevant patterns that guide the LLM beyond ad hoc transformations.
It further improves the search process by enabling lookahead selection over multiple candidate feature programs, increasing the chance of discovering feature sets that work well *together* rather than optimizing each step in isolation.
Across real-world tabular tasks with semantically meaningful metadata, FORGE consistently outperforms LLM-based automated feature engineering baselines and serves as a plug-in feature generator whose engineered features generalize across diverse downstream tabular learners.
","absKo":"Feature Engineering (FE)은 tabular prediction의 정확도를 크게 높일 수 있지만, 효과적인 transformation을 식별하는 일은 여전히 어렵다. 가능한 operation의 공간은 방대하고, 현재의 LLM 기반 접근법은 종종 일반적인 ''common-sense'' feature에 머무르며, step-by-step 선택에만 매달려 유익한 feature 조합을 놓치는 myopic한 경향을 보인다.\n우리는 Forge(**F**eature **O**ptimization with **R**etrieved knowledge **G**uidance and lookahead **E**xploration)를 제안한다. 이는 retrieval-augmented lookahead framework로, LLM 주도 feature engineering을 더 정보에 기반하고 덜 myopic하게 만든다.\nForge는 실전 feature-engineering 전문성을 *전달*함으로써 제안되는 transformation의 품질을 높인다. 구체적으로, 고성능 Kaggle solution을 바탕으로 generation을 grounding하고, task와 관련된 pattern을 retrieval하여 LLM이 ad hoc transformation을 넘어서도록 유도한다.\n또한 여러 candidate feature program에 대한 lookahead selection을 가능하게 하여 탐색 과정을 개선하며, 각 단계를 고립적으로 최적화하는 대신 함께 잘 작동하는 feature set을 발견할 가능성을 높인다.\n의미 있는 semantically meaningful metadata를 갖는 실제 tabular task 전반에서, FORGE는 LLM 기반 자동 feature engineering baseline을 일관되게 능가하며, 생성된 feature가 다양한 downstream tabular learner에 걸쳐 일반화되는 plug-in feature generator로 기능한다.","link":"https://openreview.net/forum?id=FNtlPbGvwc"},{"id":"zKWdTO8ART","en":"On the Application of Time-Series Foundation Models for Detecting Long-Context Anomalies in Industrial Control Systems","ko":"산업 제어 시스템의 장문맥 이상 탐지를 위한 시계열 파운데이션 모델 적용에 관하여","authors":"Alexa Lowe, Clement Fung, Lujo Bauer","abs":"Machine learning (ML) can be used to protect critical, industrial processes. By predicting future industrial-process values, ML models can identify anomalies indicative of harmful malfunctions or cyberattacks. However, training ML models for industrial processes in practice is hindered by the scarcity of high-quality training data and technical expertise. Thus, we explore the application of pre-trained time-series foundation models (FMs) for detecting anomalies in industrial processes.
In an evaluation with two time-series FMs and three ICS, we find that FMs struggle to detect long-duration anomalies, which are common when ICS are attacked. We introduce a new time-series forecasting method that filters out suspicious data and uses previously predicted data as input, called Forecast Fallback (FF). We show that FF significantly improves performance for detecting ICS anomalies (i.e., 0.1--0.45 increase in ROC-AUC).
Our work demonstrates challenges for using time-series FMs to detect ICS anomalies and illustrates open challenges for future work that uses time-series FMs for critical, industrial processes.
","absKo":"Machine learning (ML)은 중요한 industrial process를 보호하는 데 사용될 수 있다. 미래의 industrial-process value를 예측함으로써, ML model은 유해한 오작동이나 cyberattack을 나타내는 anomaly를 식별할 수 있다. 그러나 실제 산업 공정에서 ML model을 학습시키는 일은 고품질 training data의 부족과 기술 전문성의 부족으로 인해 어렵다. 따라서 우리는 industrial process에서 anomaly를 탐지하기 위해 pre-trained time-series foundation model (FM)의 적용을 탐구한다.\n 두 개의 time-series FM과 세 개의 ICS를 사용한 평가에서, 우리는 FM이 ICS가 공격받을 때 흔한 장시간 anomaly를 탐지하는 데 어려움을 겪는다는 사실을 발견했다. 우리는 의심스러운 데이터를 걸러내고 이전에 예측한 데이터를 input으로 사용하는 새로운 time-series forecasting method인 Forecast Fallback (FF)를 소개한다. FF가 ICS anomaly 탐지 성능을 유의미하게 향상시킴을 보인다(즉, ROC-AUC가 0.1--0.45 증가).\n 우리의 연구는 time-series FM을 사용해 ICS anomaly를 탐지하는 데 존재하는 어려움을 보여 주며, 중요한 industrial process에 time-series FM을 활용하는 향후 연구를 위한 열린 과제를 제시한다.","link":"https://openreview.net/forum?id=zKWdTO8ART"},{"id":"5CJKugZUEF","en":"Signature-Kernel Based Evaluation Metrics for Robust Probabilistic and Tail-Event Forecasting","ko":"강건한 확률 및 꼬리 사건 예측을 위한 Signature-Kernel 기반 평가 지표","authors":"Benjamin R Redhead, Thomas L Lee, Peng Gu, Víctor Elvira, Amos Storkey","abs":"Standard sample-based metrics like Continuous Ranked Probability Score (CRPS) and Quantile Loss (QL) are frequently used in the evaluation of probabilistic time-series forecasting. However, these metrics fail to capture multivariate correlations or assess the ability to capture distribution tails. These global metrics are insensitive to errors on high-utility events in distributional tails due to over-representation of the distribution's body. To accurately measure distributional fidelity on tail-regions and regions of high utility while still having a proper scoring rule, we introduce a family of censored signature kernel metrics. Our proposed metrics concentrate evaluation of forecasts to a focus region, representing high-utility or distributional tails, by collapsing the body of the distribution to a single pivot. Our benchmarks on time-series foundation models (TSFMs) reveal that while a clear ranking can be formed for distribution capture, there is no clear winner for tasks like systemic load prediction. This indicates that models with a strong ability to capture an overall distribution do not produce forecasts with high downstream utility. To encourage the use of the proposed metrics we open-source the efficient signature kernel (ESK) library. This library facilitates batch computation, with custom triton kernels, achieving a speed-up of up to 3.58$\\times$ compared to implementations via the popular SigKernel library.
","absKo":"Continuous Ranked Probability Score(CRPS)와 Quantile Loss(QL) 같은 표준 sample-based metric은 확률적 time-series forecasting 평가에 자주 사용된다. 그러나 이러한 metric은 multivariate correlation을 포착하지 못하고 distribution tail을 포착하는 능력을 평가하지도 못한다. 이러한 global metric은 distribution의 body가 과도하게 대표되기 때문에 distribution tail에서의 고가치 이벤트에 대한 오류에 둔감하다. tail region과 고가치 영역에서의 distributional fidelity를 정확히 측정하면서도 proper scoring rule을 유지하기 위해, 우리는 censored signature kernel metric의 family를 제안한다. 제안하는 metric은 distribution의 body를 하나의 pivot으로 축약함으로써, 고가치 또는 distribution tail을 나타내는 focus region에 forecast 평가를 집중시킨다. time-series foundation model(TSFM)에 대한 우리의 benchmark는 distribution capture에 대해서는 명확한 순위를 만들 수 있지만, systemic load prediction 같은 task에서는 뚜렷한 승자가 없음을 보여준다. 이는 전체 distribution을 잘 포착하는 model이 downstream utility가 높은 forecast를 만들어내지는 않는다는 점을 시사한다. 제안한 metric의 사용을 장려하기 위해 우리는 efficient signature kernel(ESK) library를 오픈소스로 공개한다. 이 library는 custom triton kernel을 사용한 batch computation을 지원하며, 널리 사용되는 SigKernel library 구현 대비 최대 3.58$\\times$의 속도 향상을 달성한다.","link":"https://openreview.net/forum?id=5CJKugZUEF"},{"id":"lkuOIfXLwJ","en":"Context Window Failures in Relational Foundation Models","ko":"관계형 foundation model의 context window 실패","authors":"Denis Oliveira Correa, Francisco Galuppo Azevedo","abs":"Recent Relational Deep Learning architectures have been proposed as foundation models for multi-table relational data, yet they impose constrained neighborhood budgets that force row truncation when an entity has many related records. We introduce Animus, a synthetic financial dataset in which predicting customer income requires aggregating up to tens of thousands of transactions. On the raw representation, three recently proposed models (RT, Griffin, RelGT) achieve $R^2 \\le 0.18$; a single, routine, temporal pre-aggregation step recovers $R^2$ up to $0.65$. This questions whether current relational foundation models are ready for high-cardinality real-world data.
","absKo":"최근의 Relational Deep Learning architecture는 multi-table relational data를 위한 foundation model로 제안되었지만, entity가 많은 related record를 가질 때 row truncation을 강제하는 제한된 neighborhood budget을 부과한다. 우리는 customer income을 예측하는 데 수만 건의 transaction을 집계해야 하는 synthetic financial dataset인 Animus를 소개한다. raw representation에서는 최근 제안된 세 모델(RT, Griffin, RelGT)이 $R^2 \\le 0.18$을 달성하는 반면, 단 하나의 일상적인 temporal pre-aggregation step만으로 $R^2$가 최대 $0.65$까지 회복된다. 이는 현재의 relational foundation model이 high-cardinality real-world data에 준비되었는지에 의문을 제기한다.","link":"https://openreview.net/forum?id=lkuOIfXLwJ"},{"id":"M8o7jbKX9P","en":"FairOpt-PFN: Amortized Counterfactual Fairness with Optimal Fair Targets","ko":"FairOpt-PFN: 최적의 공정 목표를 이용한 amortized 반사실 공정성","authors":"Enes Hasani, Jake Robertson, Frank Hutter","abs":"Ensuring algorithmic fairness is critical for both ethical and legal reasons. Grounded in causal modeling, Counterfactual Fairness provides a framework that aligns well with human intuition. However, traditional approaches to counterfactual fairness require knowledge of the true Structural Causal Model (SCM) at inference time. While much recent work has focused on removing this barrier, Prior-Data Fitted Networks (PFNs) have emerged as a particularly powerful paradigm for amortized bayesian inference. Recent work leverages PFNs to perform counterfactually fair inference using purely observational data, thereby bypassing the need for explicit causal modeling of the fairness task at hand. Yet, the pre-training objective utilized in this approach unnecessarily discards valid, counterfactually fair predictive signal. In this work, we propose a novel pre-training objective derived around utility-optimal decision-making subject to the counterfactual fairness constraint. Evaluating our approach through strictly controlled causal experiments that systematically scale bias, we demonstrate that this pre-training target yields a better fairness-utility trade-off.
","absKo":"알고리즘 공정성을 보장하는 것은 윤리적 이유와 법적 이유 모두에서 중요하다. causal modeling에 기반한 Counterfactual Fairness는 인간의 직관과 잘 맞는 framework를 제공한다. 그러나 전통적인 counterfactual fairness 접근법은 추론 시점에 true Structural Causal Model (SCM)에 대한 지식을 요구한다. 최근 많은 연구가 이 장벽을 제거하는 데 집중해 왔지만, Prior-Data Fitted Networks (PFNs)는 amortized bayesian inference를 위한 특히 강력한 paradigm으로 부상했다. 최근 연구는 PFN을 활용해 오직 observational data만으로 counterfactually fair inference를 수행함으로써, 현재 다루는 fairness task에 대해 명시적인 causal modeling이 필요 없도록 했다. 그러나 이 접근에서 사용되는 pre-training objective는 유효한 counterfactually fair predictive signal을 불필요하게 버린다. 본 연구에서는 counterfactual fairness constraint를 만족하는 utility-optimal decision-making을 중심으로 도출한 새로운 pre-training objective를 제안한다. bias를 체계적으로 확장하는 엄격히 통제된 causal experiment로 우리 접근을 평가한 결과, 이 pre-training target이 더 나은 fairness-utility trade-off를 제공함을 보인다.","link":"https://openreview.net/forum?id=M8o7jbKX9P"},{"id":"QVavRSyjmj","en":"Next-Token Prediction Enables Scalable Learning of Sleep Physiology","ko":"다음 토큰 예측으로 수면 생리의 확장 가능한 학습이 가능해진다","authors":"Jonathan F. Carter","abs":"Foundation models offer a promising route to compress multi-modal physiological signals into better measures of human health, with broad applications across sleep medicine, cardiology and neurology. Existing models are typically trained with contrastive or masked-reconstruction objectives, both of which have known shortcomings on stochastic, continuous signals. In this work, we show that next-token prediction is a simple and scalable alternative. We develop Hypnos, a multi-modal sleep foundation model trained via next-token prediction over residual-vector-quantization tokens drawn from eight sensing modalities of overnight polysomnography recordings (e.g.\\ EEG, ECG, respiratory signals). A large auto-regressive RQ-Transformer jointly predicts the next token across all modalities in parallel, with a novel modality-masking strategy enabling generalisation to subsets of modalities during inference. Using over 20{,}000 overnight recordings drawn from nine public datasets, we find that both next-token perplexity and downstream probing performance continue to improve with model scale. Hypnos matches or exceeds prior sleep foundation models and strong supervised baselines on sleep stage classification across in-domain and held-out test sets.
","absKo":"파운데이션 모델은 다중 모달 생리 신호를 인간 건강의 더 나은 지표로 압축하는 유망한 경로를 제공하며, 수면의학, 심장학, 신경학 전반에 걸쳐 폭넓은 응용이 가능하다. 기존 모델은 일반적으로 contrastive 또는 masked-reconstruction objective로 학습되는데, 이 둘 모두 stochastic하고 연속적인 신호에서는 알려진 한계를 갖는다. 본 연구에서는 next-token prediction이 단순하면서도 확장 가능한 대안임을 보인다. 우리는 Hypnos를 개발했는데, 이는 야간 polysomnography 기록의 8개 sensing modality에서 추출한 residual-vector-quantization token에 대해 next-token prediction으로 학습된 다중 모달 수면 파운데이션 모델이다(예: EEG, ECG, respiratory signals). 대규모 auto-regressive RQ-Transformer는 모든 modality에 걸쳐 다음 토큰을 병렬로 공동 예측하며, 새로운 modality-masking 전략을 통해 추론 시 modality의 부분집합으로도 일반화할 수 있다. 9개의 공개 데이터셋에서 수집한 20,000건 이상의 야간 기록을 사용하여, 모델 규모가 커질수록 next-token perplexity와 downstream probing 성능이 모두 계속 향상됨을 확인했다. Hypnos는 in-domain 및 held-out test set 전반의 수면 단계 분류에서 기존 수면 파운데이션 모델과 강력한 supervised baseline에 필적하거나 이를 능가한다.","link":"https://openreview.net/forum?id=QVavRSyjmj"},{"id":"5Shv4Ar4N9","en":"On the Uncertainty in Prior-Data Fitted Network Pretraining","ko":"Prior-Data Fitted Network 사전학습의 불확실성에 대하여","authors":"Manuel Hülskamp, Julius Kobialka, Emanuel Sommer, David Rügamer","abs":"Prior-data fitted networks (PFNs) have recently emerged as a new paradigm for supervised machine learning by approximating Bayesian posterior predictive distributions via in-context learning. While leading to state-of-the-art predictive performance across a wide range of benchmarks, quantifying the approach's uncertainty is challenging. Using an empirical risk minimization perspective, we characterize possible sources of uncertainty in PFN predictions and empirically show that certain uncertainties cannot be reduced by simply scaling the model size or pretraining. To explicitly address these overlooked sources of uncertainty, we study deep ensembles of PFNs and formulate a Bayesian neural network version of PFNs for which we obtain samples from an approximate posterior via Markov chain Monte Carlo.
","absKo":"Prior-data fitted network (PFN)은 in-context learning을 통해 Bayesian posterior predictive distribution을 근사함으로써 supervised machine learning의 새로운 paradigm으로 최근 부상했다. 다양한 benchmark에서 state-of-the-art predictive performance를 보이지만, 접근법의 uncertainty를 정량화하는 것은 어렵다. empirical risk minimization 관점에서 PFN 예측에서의 가능한 uncertainty 원천을 규정하고, 특정 uncertainty는 단순히 model size를 키우거나 pretraining을 강화하는 것만으로는 줄일 수 없음을 실증적으로 보인다. 이러한 간과된 uncertainty 원천을 명시적으로 다루기 위해, 우리는 PFN의 deep ensemble을 연구하고, approximate posterior로부터 Markov chain Monte Carlo를 통해 sample을 얻을 수 있는 Bayesian neural network 버전의 PFN을 정식화한다.","link":"https://openreview.net/forum?id=5Shv4Ar4N9"},{"id":"Q1P83jtxXY","en":"Inspectable Tabular Foundation Models via In-Context Kernel Learning","ko":"In-Context Kernel Learning을 통한 해석 가능한 tabular foundation model","authors":"Ratmir Miftachov, Bruno Charron, Simon Valentin","abs":"Tabular foundation models like TabPFN and TabICL achieve state-of-the-art performance through in-context learning, yet their architectures remain fundamentally opaque. We introduce KernelICL, a framework to enhance tabular foundation models with quantifiable sample-based inspectability. Building on the insight that in-context learning is akin to kernel regression, we make this mechanism explicit by replacing the final prediction layer with kernel functions (Gaussian, dot-product, kNN) so that every prediction is a transparent weighted average of training labels. We achieve prediction-layer inspectability through case-based reasoning, and quantify it via the perplexity of the weight distribution over retrieved training samples. On 55 TALENT benchmark datasets, KernelICL achieves performance on par with existing tabular foundation models, demonstrating that explicit kernel constraints on the final layer enable inspectable predictions without sacrificing performance.
","absKo":"TabPFN과 TabICL 같은 tabular foundation model은 in-context learning을 통해 최첨단 성능을 달성하지만, 그 architecture는 여전히 본질적으로 불투명하다. 우리는 sample 기반 inspectability를 정량화할 수 있는 tabular foundation model 향상 프레임워크인 KernelICL을 제안한다. in-context learning이 kernel regression과 유사하다는 통찰에 기반하여, 우리는 최종 prediction layer를 kernel function(Gaussian, dot-product, kNN)으로 대체하여 이 메커니즘을 명시적으로 만든다. 그 결과 모든 예측은 training label의 투명한 가중 평균이 된다. 우리는 case-based reasoning을 통해 prediction-layer inspectability를 달성하고, retrieval된 training sample에 대한 weight distribution의 perplexity로 이를 정량화한다. 55개의 TALENT benchmark dataset에서 KernelICL은 기존 tabular foundation model과 동등한 수준의 성능을 달성했으며, 최종 layer에 대한 명시적 kernel 제약이 성능 저하 없이 inspectable prediction을 가능하게 함을 보여준다.","link":"https://openreview.net/forum?id=Q1P83jtxXY"},{"id":"iZO7RRZDCC","en":"Towards Continuous-time Causal Foundation Models","ko":"연속시간 인과 파운데이션 모델을 향하여","authors":"Dennis Thumm, Ruben Wiedemann, Ying Chen","abs":"Extending discrete-time causal Prior-data Fitted Networks for time series to continuous time invites writing the mechanism as a stochastic differential equation (SDE)---but if the SDE is integrated \\emph{once per observation gap}, the trajectory law depends on when it is observed, and the prior remains a discrete-time Markov model in SDE clothing.
We propose a precise continuity criterion---trajectory-law invariance to the observation schedule---together with a three-tier taxonomy (discrete; naive observation-grid integration; fine-grid integration with decoupled observation) and a construction realising the top tier on a random DAG with OU or small-MLP nonlinear drifts, irregular observation schedules, and hard / soft / time-varying interventions.
A $2 \\times 2$ encoder $\\times$ integrator ablation, run independently on a linear and a nonlinear prior, finds fine-grid integration beats naive on 8/8 cells (sign-consistency $p < 1/256$) with the gap growing as the eval grid refines; the encoder axis is null with fine integration but time-aware-leading with naive.
We release the prior and a preliminary zero-shot protocol on pharmacokinetic and physical-system data.
","absKo":"시간 시계열을 위한 discrete-time causal Prior-data Fitted Networks를 continuous time으로 확장하려면 메커니즘을 stochastic differential equation(SDE)로 쓰고 싶어진다. 하지만 SDE를 \\emph{관측 간격마다 한 번씩} 적분하면 trajectory law는 관측 시점에 의존하게 되고, prior는 SDE 옷을 입은 discrete-time Markov model에 머문다.\n 우리는 observation schedule에 대한 trajectory-law invariance를 continuity criterion으로 정밀하게 제안하고, 세 단계 taxonomy(discrete; naive observation-grid integration; observation과 decoupled된 fine-grid integration)를 함께 제시한다. 또한 random DAG 위에서 OU 또는 작은 MLP nonlinear drift, 불규칙한 observation schedule, hard / soft / time-varying intervention을 갖는 top tier를 실현하는 construction을 제시한다.\n 선형 prior와 비선형 prior 각각에 대해 독립적으로 실행한 $2 \\times 2$ encoder $\\times$ integrator ablation에서 fine-grid integration은 8/8 셀에서 naive보다 우수했으며(sign-consistency $p < 1/256$), eval grid가 더 촘촘해질수록 그 격차는 더 커졌다. encoder 축은 fine integration에서는 null이었지만 naive에서는 time-aware-leading이었다.\n 우리는 prior와 pharmacokinetic 및 physical-system data에 대한 preliminary zero-shot protocol을 공개한다.","link":"https://openreview.net/forum?id=iZO7RRZDCC"},{"id":"GOf9c4lOCf","en":"A Causal Foundation Model for Structure and Outcome Prediction","ko":"구조와 결과 예측을 위한 인과 foundation model","authors":"Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha","abs":"We introduce TabPFN-CFM, a causal foundation model that can handle multiple causal problems. TabPFN-CFM predicts both causal structure and outcomes from observational data, supports queries on all three levels of Pearl's Causal Hierarchy and uses known graph structure when available to improve predictions. TabPFN-CFM is trained on synthetic datasets, and generalises to real datasets, demonstrating improved performance over both structural and outcome prediction baselines.
","absKo":"우리는 여러 causal 문제를 처리할 수 있는 causal foundation model인 TabPFN-CFM을 소개한다. TabPFN-CFM은 observational data로부터 causal structure와 outcome을 모두 예측하고, Pearl's Causal Hierarchy의 세 수준 전부에 대한 query를 지원하며, 알려진 graph structure가 있을 때 이를 활용해 예측을 개선한다. TabPFN-CFM은 synthetic dataset으로 학습되며 real dataset에 일반화되고, structural baseline과 outcome prediction baseline 모두에 대해 향상된 성능을 보인다.","link":"https://openreview.net/forum?id=GOf9c4lOCf"},{"id":"X1s2qN24kX","en":"From Time-Series to Text: Multimodal and Agentic Approaches for Automated Drilling Report Generation","ko":"시계열에서 텍스트로: 자동 시추 보고서 생성을 위한 multimodal 및 agentic 접근","authors":"Ankush Mishra, Sebastiaan Buiting, Soumyadipta Sengupta, Abdallah Benzine","abs":"Daily Drilling Reports (DDRs) summarize complex operations by analysing high-frequency sensor data. Automating DDR generation is challenging, requiring joint reasoning over multivariate time series and domain-specific semantics.
In this work, we evaluate three methodologies for DDR generation from raw sensor data: (i) a multimodal architecture integrating time series foundation models (TSFMs, e.g., Chronos-2) via cross-modal conditioning, (ii) a vision-language model (VLM) reasoning over visualized sensor plots, and (iii) a tool-augmented Agentic approach utilizing SQL for iterative data exploration.
Our results reveal complementary strengths. The Agentic system achieves the highest accuracy in precise numerical extraction due to explicit tool use. In contrast, the TSFM-based multimodal approach excels at capturing temporally extended contextual events, demonstrating stronger implicit temporal understanding. Rather than identifying a single best method, these findings establish DDR generation as a multi-paradigm problem and point to hybrid systems---combining agentic retrieval with TSFM inductive biases---as a promising direction for future work.
","absKo":"Daily Drilling Reports(DDR)은 고주파 센서 데이터를 분석하여 복잡한 작업을 요약한다. DDR 생성을 자동화하는 것은 다변량 시계열과 도메인 특화 의미론에 대한 공동 추론을 필요로 하므로 어렵다.\n\n본 연구에서는 원시 센서 데이터로부터 DDR을 생성하는 세 가지 방법론을 평가한다: (i) cross-modal conditioning을 통해 time series foundation model(TSFM, 예: Chronos-2)을 통합한 multimodal architecture, (ii) 시각화된 센서 플롯을 대상으로 추론하는 vision-language model(VLM), (iii) 반복적 데이터 탐색을 위해 SQL을 활용하는 tool-augmented Agentic 접근법이다.\n\n우리 결과는 상보적인 강점을 보여준다. Agentic system은 명시적 tool 사용 덕분에 정확한 수치 추출에서 가장 높은 정확도를 달성한다. 반면 TSFM 기반 multimodal approach는 시간적으로 길게 확장되는 문맥적 사건을 포착하는 데 뛰어나며, 더 강한 암묵적 temporal understanding을 보인다. 단일 최고의 방법을 식별하기보다, 이러한 결과는 DDR 생성을 multi-paradigm 문제로 규정하고, agentic retrieval과 TSFM의 inductive bias를 결합한 hybrid system이 향후 연구를 위한 유망한 방향임을 시사한다.","link":"https://openreview.net/forum?id=X1s2qN24kX"},{"id":"P1bvn0jvGX","en":"TFM-Retouche: A Lightweight Input-Space Adapter for Tabular Foundation Models","ko":"TFM-Retouche: 표 형식 foundation model을 위한 경량 입력 공간 어댑터","authors":"Duong Nguyen, Mohammed Jawhar, Nicolas CHESNEAU","abs":"Tabular foundation models (TFMs) such as TabPFN-2.6, TabICLv2, ConTextTab, Mitra, LimiX, and TabDPT achieve strong zero-shot performance through in-context learning, but their inductive biases remain fixed at inference time. Adapting a pretrained TFM to a specific dataset typically requires either full fine-tuning, which is expensive, or parameter-efficient methods such as LoRA, which must be tailored to the internal architecture of each TFM, with mixed empirical evidence on accuracy and calibration (Tanna et al., 2026; Rubachev et al., 2025). We introduce TFM-Retouche, a lightweight input-space residual adapter that is architecture-agnostic with respect to the frozen TFM backbone. The adapter learns a small residual correction in the input space to align the input data with the inductive biases of
the pretrained model, and is trained end-to-end through the frozen TFM with a post-training identity guard that falls back to the unmodified TFM whenever adaptation does not help on held-out validation. On TabArena-Lite (Erickson et al., 2025) (51 datasets spanning binary classification, multiclass, and regression), TabICLv2-Retouche, the framework instantiated on TabICLv2, is the top-ranked method on the leaderboard with light per-task tuning and ensembling, lifting aggregate Elo by +56 over the frozen TabICLv2 base and sitting on the Pareto front of predictive quality versus both training and inference time.
","absKo":"TabPFN-2.6, TabICLv2, ConTextTab, Mitra, LimiX, TabDPT와 같은 tabular foundation model(TFM)은 in-context learning을 통해 강력한 zero-shot 성능을 달성하지만, 그 inductive bias는 inference 시점에 고정되어 있다. 사전학습된 TFM을 특정 dataset에 적응시키려면 일반적으로 비용이 큰 full fine-tuning이 필요하거나, 각 TFM의 내부 architecture에 맞춰 조정되어야 하는 LoRA와 같은 parameter-efficient method를 사용해야 하며, 정확도와 calibration에 대해서는 경험적 근거가 엇갈린다(Tanna et al., 2026; Rubachev et al., 2025). 우리는 frozen TFM backbone에 대해 architecture-agnostic한 경량 input-space residual adapter인 TFM-Retouche를 소개한다. 이 adapter는 입력 데이터를 사전학습된 model의 inductive bias에 맞추기 위해 input space에서 작은 residual correction을 학습하며, adaptation이 held-out validation에서 도움이 되지 않을 경우 수정되지 않은 TFM으로 되돌아가는 post-training identity guard를 통해 frozen TFM을 end-to-end로 학습한다. TabArena-Lite(Erickson et al., 2025)의 51개 dataset(binary classification, multiclass, regression 포함)에서, TabICLv2-Retouche는 TabICLv2 위에 구현된 framework로서 가벼운 task별 tuning과 ensembling을 통해 leaderboard에서 1위를 차지했으며, frozen TabICLv2 base 대비 aggregate Elo를 +56 올렸고, training time과 inference time 모두에 대해 predictive quality의 Pareto front 위에 위치했다.","link":"https://openreview.net/forum?id=P1bvn0jvGX"},{"id":"Bei8F38H9r","en":"Implicit Reward Alignment For Training Causally-Coherent Tabular Data Generators","ko":"인과적으로 일관된 tabular data generator 학습을 위한 암묵적 보상 정렬","authors":"Matea Gjika, Giuseppe Iannone, Luca Sfragara, Pavithra Harsha, Georgia Perakis","abs":"Foundation models for structured data are increasingly being used as queryable generators for scenario planning and counterfactual analysis, requiring models that are statistically realistic, causally coherent, and capable of conditional querying from partial inputs. Yet existing approaches to tabular data generation either optimize solely for distributional fidelity, or impose causality through explicit structural assumptions, which are untenable in a real-world setting. We argue that counterfactual queryability is a key missing reliability axis, for tabular FMs and introduce Causal Reward Aligned Fine-Tuning (CRAFT), a reinforcement learning framework where language models are trained to produce causally-consistent samples only through implicit reward signals. Across multiple semi-synthetic and benchmark settings, we compare against 15 baseline models spanning LLM-, diffusion-, VAE-, and GAN-based generators, using multiple metrics along both realism and causal coherence dimensions, and show that reward-based alignment improves counterfactual accuracy and treatment-effect estimation, even in settings where baseline models achieve comparable distributional realism. More broadly, these findings suggest that intervention-consistent generative behavior can emerge from alignment objectives alone, without strong architectural priors or explicit encoding of the causal graph.
","absKo":"Structured data용 foundation model은 scenario planning과 counterfactual analysis를 위한 queryable generator로 점점 더 많이 사용되고 있으며, 이는 통계적으로 현실적이고, causally coherent하며, 부분 입력으로부터 conditional querying이 가능한 model을 요구한다. 그러나 기존 tabular data generation 접근법은 distributional fidelity만 최적화하거나, 명시적 structural assumption을 통해 causality를 부과하는데, 이는 실제 환경에서는 수용하기 어렵다. 우리는 counterfactual queryability가 tabular FM에서 빠져 있는 핵심 reliability 축이라고 주장하며, language model이 암묵적 reward signal만을 통해 causally-consistent sample을 생성하도록 학습되는 reinforcement learning framework인 Causal Reward Aligned Fine-Tuning (CRAFT)를 소개한다. 여러 semi-synthetic 및 benchmark setting 전반에서, 우리는 LLM-, diffusion-, VAE-, GAN-based generator를 포괄하는 15개의 baseline model과 비교하고, realism과 causal coherence 양쪽 차원에서 여러 metric을 사용해 평가한다. 그 결과 reward-based alignment가 baseline model들이 비슷한 distributional realism을 달성하는 setting에서도 counterfactual accuracy와 treatment-effect estimation을 향상시킨다는 것을 보였다. 더 넓게 보면, 이러한 결과는 강한 architectural prior나 causal graph의 명시적 인코딩 없이도 alignment objective만으로 intervention-consistent generative behavior가 emergent하게 나타날 수 있음을 시사한다.","link":"https://openreview.net/forum?id=Bei8F38H9r"},{"id":"0KE9OHvEo1","en":"Should LLMs Explain Every Time-Series Alert? A Reliability-Routed Audit for Structured Data Monitoring","ko":"LLM이 매번 모든 시계열 경보를 설명해야 하는가? 구조화 데이터 모니터링을 위한 신뢰성 기반 감사","authors":"WANG Yibo, Shuai Wang, Zhang Ting, Huang Runqing, Tsin Hei Koo, Zhiqiang Cao","abs":"Large language models can turn structured time-series alerts into fluent explanations, but fluency can amplify trust in weak or false alerts. We study a narrower question than anomaly detection: after a detector fires, should an LLM explanation be emitted at all? We audit three detector-side reliability signals: score extremeness, margin above threshold, and concentration of variable-level evidence. On SMD, conservative routing raises routed-alert precision from 0.125 to 0.512, but only at 0.011 coverage, showing that reliable explanation opportunities can be sparse under weak detector evidence. Machine-level validation/test splits expose high variance: across five splits, the hard router averages 0.169 ± 0.126 precision, with one split reaching 0.365 precision at 0.016 coverage. Across DeepSeek-v4-flash, DeepSeek-v4-pro, Qwen-plus, and Qwen-flash, routing reduces calls and improves an alert-validity proxy, whereas LLM self-gating remains permissive and prompt-sensitive. This study contributes a reliability audit for foundation-model-based structured-data monitoring, focused on selective explanation eligibility after detector alerts.
","absKo":"대규모 언어 모델은 구조화된 시계열 알림을 유창한 설명으로 바꿀 수 있지만, 그 유창함은 약하거나 거짓인 알림에 대한 신뢰를 증폭시킬 수 있다. 우리는 이상 탐지보다 더 좁은 질문을 다룬다. 탐지기가 발화한 뒤, LLM 설명을 아예 내보내야 하는가? 우리는 탐지기 측 신뢰성 신호 세 가지를 점검한다: score의 극단성, threshold를 얼마나 넘는지에 대한 margin, 그리고 변수 수준 증거의 집중도. SMD에서 보수적 라우팅은 라우팅된 알림의 precision을 0.125에서 0.512로 높이지만, coverage는 0.011에 불과해, 탐지기 증거가 약할 때 신뢰할 수 있는 설명 기회가 희소할 수 있음을 보여준다. 머신 수준 validation/test split은 높은 분산을 드러낸다. 다섯 개 split 전반에서 hard router의 평균 precision은 0.169 ± 0.126이며, 한 split에서는 0.016 coverage에서 0.365 precision에 도달한다. DeepSeek-v4-flash, DeepSeek-v4-pro, Qwen-plus, Qwen-flash 전반에서 라우팅은 호출 수를 줄이고 알림 유효성에 대한 proxy를 개선하는 반면, LLM self-gating은 여전히 관대하고 prompt에 민감하다. 이 연구는 foundation model 기반 구조화 데이터 모니터링을 위한 신뢰성 audit를 제안하며, 탐지기 알림 이후 selective explanation eligibility에 초점을 맞춘다.","link":"https://openreview.net/forum?id=0KE9OHvEo1"},{"id":"DzcWAYcR2n","en":"Causal Foundation Models with Continuous Treatments","ko":"연속 처리를 포함한 인과 파운데이션 모델","authors":"Christopher Stith, Medha Barath, Vahid Balazadeh, Jesse C. Cresswell, Rahul G Krishnan","abs":"Estimating causal effects from observational data is a fundamental challenge in many disciplines. In this paper, we present the first causal foundation model for the continuous treatment setting. This setting is even more challenging as models need to represent effects across a continuum of treatment values. Our model meta-learns the ability to predict causal effects across a wide variety of unseen tasks without additional training or fine-tuning. We design a novel prior over data-generating processes with continuous treatments, then train a transformer to reconstruct individual treatment-response curves given only observational data, leveraging in-context learning to amortize expensive Bayesian posterior inference. Our model achieves state-of-the-art performance compared to causal models which are trained for each task.
","absKo":"관찰 데이터로부터 인과 효과를 추정하는 것은 여러 학문 분야에서 근본적인 도전 과제이다. 본 논문에서는 연속적 treatment 설정을 위한 최초의 causal foundation model을 제시한다. 이 설정은 model이 연속적인 treatment 값 전반에 걸친 효과를 표현해야 하므로 더욱 어렵다. 우리의 model은 추가 학습이나 fine-tuning 없이도 다양한 미지의 task 전반에서 인과 효과를 예측하는 능력을 meta-learning한다. 우리는 continuous treatment를 갖는 data-generating process에 대한 새로운 prior를 설계한 뒤, observational data만 주어졌을 때 개별 treatment-response curve를 복원하도록 transformer를 학습한다. 이 과정에서 in-context learning을 활용해 비용이 큰 Bayesian posterior inference를 amortize한다. 우리의 model은 각 task마다 별도로 학습한 causal model들과 비교해 state-of-the-art 성능을 달성한다.","link":"https://openreview.net/forum?id=DzcWAYcR2n"},{"id":"ajIvCEbadL","en":"Training Fair Tabular Foundation Models","ko":"공정한 tabular foundation model 학습","authors":"Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji","abs":"Tabular Foundation Models (TFMs) have emerged as leading methods for tabular predictive tasks, leveraging in-context learning to predict on new data without task-specific training. Despite the increased use of TFMs in high-stakes decision-making, their fairness properties remain largely unexplored. In this work, we incorporate fairness constraints directly into TFM training, enabling fair predictions in a single forward pass. Our approach addresses two key challenges: limited access to sensitive attributes in training data, and the incompatibility of existing fairness techniques with the in-context learning paradigm. We propose \\ftfm{}, a scalable training strategy based on synthetic fairness tasks and a fairness-aware architecture using a gradient reversal layer, which encourages the model to learn representations invariant to sensitive attributes. Experiments on 120 fairness tasks show consistent improvements in fairness while maintaining competitive accuracy.
","absKo":"Tabular Foundation Models(TFMs)는 tabular predictive task를 위한 선도적 방법으로 부상했으며, in-context learning을 활용해 task-specific training 없이 새로운 데이터에 대해 예측한다. 고위험 의사결정에서 TFMs의 사용이 증가했음에도 불구하고, 공정성(fairness) 특성은 여전히 대부분 탐구되지 않았다. 본 연구에서는 공정성 제약을 TFM training에 직접 통합하여, 단일 forward pass에서 공정한 예측이 가능하도록 한다. 우리의 접근법은 training data에서 sensitive attribute에 대한 접근이 제한적이라는 점과, 기존 fairness technique이 in-context learning paradigm과 양립하지 않는다는 두 가지 핵심 과제를 다룬다. 우리는 synthetic fairness tasks에 기반한 확장 가능한 training strategy와, gradient reversal layer를 사용하는 fairness-aware architecture인 \\ftfm{}을 제안하며, 이는 모델이 sensitive attribute에 불변한 representation을 학습하도록 유도한다. 120개의 fairness task에 대한 실험은 경쟁력 있는 정확도를 유지하면서 공정성이 일관되게 개선됨을 보여준다.","link":"https://openreview.net/forum?id=ajIvCEbadL"},{"id":"LXSawSSeA9","en":"Where Computation Lives Inside TabPFN: Causal Localisation of Attention Head Function","ko":"TabPFN 내부의 계산은 어디에 존재하는가: 어텐션 헤드 기능의 인과적 위치화","authors":"Atharva Gupta, Dhruv Kumar, Murari Mandal, Saurabh Deshpande","abs":"We present the first causal mechanistic analysis of a tabular foundation model, investigating how TabPFN 2.5’s feature wise attention heads distribute computation across layers. Using activation patching, ablation, and attention entropy across two synthetic regression datasets, we find clear temporal specialisation: one head’s causal necessity dominates that of the others by 2 to 5 times at peak layer, with its dominant layer shifting across tasks of different complexity, while the remaining heads exhibit symmetric late layer profiles. Attention entropy and patching provide convergent evidence for the computationally active layers of the dominant head. We additionally conduct an extremely preliminary investigation of inference-time steerability via contrastive activation steering. In these initial experiments, steering fails to transfer across samples. We hypothesize that this is because TabPFN's in-context learning mechanism encodes task structure through context-dependent attention rather than the stable parametric directions that make steering tractable in language models.
","absKo":"우리는 tabular foundation model에 대한 최초의 causal mechanistic analysis를 제시하며, TabPFN 2.5의 feature-wise attention head가 layer 전반에 걸쳐 계산을 어떻게 분배하는지 조사한다. activation patching, ablation, attention entropy를 두 개의 synthetic regression dataset에서 사용한 결과, 명확한 temporal specialization을 발견했다. 하나의 head는 peak layer에서 다른 head들보다 causal necessity가 2배에서 5배 더 크게 지배적이며, 그 지배적 layer는 복잡성이 다른 task에 따라 이동하는 반면, 나머지 head들은 대칭적인 late-layer profile을 보인다. attention entropy와 patching은 지배적 head의 computationally active layer에 대해 수렴하는 증거를 제공한다. 또한 contrastive activation steering을 이용한 inference-time steerability에 대해 극히 예비적인 조사를 수행했다. 이 초기 실험에서는 steering이 sample 간에 전달되지 않았다. 우리는 이것이 TabPFN의 in-context learning mechanism이 language model에서 steering을 가능하게 하는 안정적인 parametric direction이 아니라 context-dependent attention을 통해 task structure를 인코딩하기 때문이라고 가설을 세운다.","link":"https://openreview.net/forum?id=LXSawSSeA9"},{"id":"xrwkOUb8kp","en":"Behavioral Proxy Conditioning for Financial Stress Scenario Generation with a Pretrained Diffusion Model","ko":"사전학습 Diffusion Model을 활용한 금융 스트레스 시나리오 생성을 위한 Behavioral Proxy Conditioning","authors":"Elena Kuular, Junsuk Choe","abs":"Controllable financial scenario generation is challenging because historical crises are rare and difficult to model directly. To address this, we adapt a pretrained diffusion model for financial time-series generation using interpretable behavioral proxy conditioning. The proxy combines HMM regime probabilities, cross-market correlation, and realized volatility rank, allowing the model to generate calm and stress scenarios for seven global equity indices. To make conditioning more robust, we randomly drop proxy groups during training, allowing the model to use information from all components. These design choices enable the model to generate realistic financial scenarios that remain responsive to regime conditions. The final model passes $20/21$ risk/tail checks plus $7/7$ volatility sanity checks, for a total of $27/28$ regime separation checks across all four seeds with an average stress-to-calm volatility ratio of $(2.47 ± 0.08)×$ and $0$% exact replay of historical windows. Portfolio-level stress scenarios also show substantially worse CVaR95 than calm scenarios, suggesting that behavioral proxy conditioning can make pretrained generative models effective for downstream financial stress testing under data scarcity.
","absKo":"제어 가능한 금융 시나리오 생성은 역사적 위기가 드물고 직접 모델링하기 어렵기 때문에 도전적이다. 이를 해결하기 위해, 우리는 해석 가능한 behavioral proxy conditioning을 사용해 금융 시계열 생성을 위한 pretrained diffusion model을 적응시킨다. 이 proxy는 HMM regime probabilities, cross-market correlation, realized volatility rank를 결합하며, 모델이 7개의 글로벌 equity index에 대해 calm 및 stress 시나리오를 생성하도록 한다. conditioning을 더 강건하게 만들기 위해, 학습 중 proxy group을 무작위로 drop하여 모델이 모든 구성 요소의 정보를 활용하도록 한다. 이러한 설계 선택은 모델이 regime condition에 민감하게 반응하면서도 현실적인 금융 시나리오를 생성할 수 있게 한다. 최종 모델은 평균 stress-to-calm volatility ratio가 $(2.47 ± 0.08)×$이고 역사적 window의 exact replay가 $0$%이며, 4개의 모든 seed에 대해 총 $27/28$개의 regime separation check 중 $20/21$개의 risk/tail check와 $7/7$개의 volatility sanity check를 통과했다. portfolio-level stress scenario 역시 calm scenario보다 CVaR95가 현저히 나빠, behavioral proxy conditioning이 데이터가 부족한 상황에서 pretrained generative model을 downstream financial stress testing에 효과적으로 만들 수 있음을 시사한다.","link":"https://openreview.net/forum?id=xrwkOUb8kp"},{"id":"kDEHp7ytr2","en":"SurvPFN: Towards Foundation Models for Survival Predictions","ko":"SurvPFN: 생존 예측을 위한 foundation model을 향하여","authors":"Samuel Böhm, Lennart Purucker, Frank Hutter, Pascal Schlosser","abs":"Tabular foundation models (TFMs) have made rapid progress in standard classification and regression, but time-to-event survival prediction
tasks have remained largely untouched. Unlike in standard regression tasks, survival prediction models must account for censored data.
Standard TFMs cannot handle natively censored data, leading to biased and inaccurate predictions, making them unsuitable for real-world applications. To overcome this fundamental limitation, we propose SurvPFN, a prior-data fitted network (PFN), for survival prediction tasks.
We pretrain SurvPFN on millions of synthetic survival prediction tasks to learn survival via distributional regression that accounts for censored data. SurvPFN works by (1) generating data with Weibull event times and a non-informative censoring mechanism; (2) integrating a censored event indicator; and (3) minimizing a censored negative log-likelihood. On SurvSet, a collection of real-world survival tasks,
SurvPFN is highly competitive with classical and deep survival baselines without per-dataset fitting, a survival-specific architecture, or feature engineering. We show that survival can be treated as a continuous-time distributional regression problem with censored loss, unlocking the power of PFNs for time-to-event predictions.
","absKo":"Tabular foundation model(TFM)은 표준 classification과 regression에서 빠르게 발전해 왔지만, time-to-event survival prediction task는 대체로 다뤄지지 않았다. 표준 regression task와 달리 survival prediction model은 censored data를 고려해야 한다.\n표준 TFM은 censored data를 natively 처리할 수 없어서 편향되고 부정확한 prediction을 만들어내며, 실제 응용에는 부적합하다. 이러한 근본적 한계를 극복하기 위해 우리는 survival prediction task를 위한 prior-data fitted network(PFN)인 SurvPFN을 제안한다.\n우리는 censored data를 반영하는 distributional regression을 통해 survival을 학습하도록 SurvPFN을 수백만 개의 synthetic survival prediction task로 pretrain한다. SurvPFN은 (1) Weibull event time과 non-informative censoring mechanism으로 data를 생성하고, (2) censored event indicator를 통합하며, (3) censored negative log-likelihood를 최소화함으로써 동작한다. 실제 survival task 모음인 SurvSet에서 SurvPFN은 데이터셋별 fitting, survival-specific architecture, feature engineering 없이도 classical baseline과 deep survival baseline에 대해 매우 경쟁력 있는 성능을 보인다. 우리는 survival을 censored loss를 갖는 continuous-time distributional regression 문제로 다룰 수 있음을 보이며, 이를 통해 time-to-event prediction에서 PFN의 잠재력을 열어 보인다.","link":"https://openreview.net/forum?id=kDEHp7ytr2"},{"id":"u2uOPq1u6I","en":"Dataset Inference for Data Provenance and Privacy Auditing in Tabular Foundation Models","ko":"표형 foundation model에서 데이터 출처와 프라이버시 감사를 위한 데이터셋 추론","authors":"Dariush Wahdany, Jesse C. Cresswell, Naiqing Guan, Atiyeh Ashari Ghomi, Franziska Boenisch, Adam Dziedzic","abs":"Tabular foundation models (TFMs) are increasingly deployed through black-box APIs and trained on real-world tabular datasets. While private, proprietary, or otherwise unauthorized datasets may be incorporated into pre-training corpora, there are currently no dedicated methods for determining whether a given tabular dataset was used to train a TFM. As a solution, we introduce the first dataset inference method for TFMs, aiming to infer whether a suspect dataset was part of a model’s pre-training data. We systematically analyze a broad collection of candidate signals that can be observed from a black-box TFM via input manipulation and find that we can reliably infer dataset membership for several state-of-the-art TFMs trained on real tabular data, achieving up to 0.997 ROCAUC. We then study factors that influence dataset identification, including pre-training data composition, model capacity, and the use of real vs. synthetic data. Our results show that our dataset inference method is a practical auditing tool for detecting privacy leakage and the use of proprietary datasets in TFMs.
","absKo":"Tabular foundation models (TFMs)은 점점 더 black-box API를 통해 배포되고 실제 tabular dataset으로 학습되고 있다. private, proprietary 또는 그 밖에 허가되지 않은 dataset이 pre-training corpus에 포함되었을 수 있지만, 주어진 tabular dataset이 TFM 학습에 사용되었는지를 판별하기 위한 전용 방법은 현재 존재하지 않는다. 이를 해결하기 위해 우리는 TFM을 위한 최초의 dataset inference method를 도입하며, 의심되는 dataset이 model의 pre-training data에 포함되었는지 추론하는 것을 목표로 한다. 우리는 input manipulation을 통해 black-box TFM에서 관찰 가능한 광범위한 후보 signal을 체계적으로 분석했고, 실제 tabular data로 학습된 여러 state-of-the-art TFM에서 dataset membership을 신뢰성 있게 추론할 수 있음을 확인했으며, 최대 0.997 ROCAUC를 달성했다. 이후 우리는 pre-training data composition, model capacity, real vs. synthetic data 사용 여부를 포함해 dataset identification에 영향을 주는 요인들을 연구했다. 결과는 우리의 dataset inference method가 privacy leakage와 TFM에서 proprietary dataset 사용을 탐지하는 실용적인 auditing tool임을 보여준다.","link":"https://openreview.net/forum?id=u2uOPq1u6I"},{"id":"HVvARHEA9M","en":"Beyond Task-Specific Classifiers: In-Context Inference for Time Series Classification Foundation Models","ko":"태스크 특화 분류기를 넘어: 시계열 분류 foundation model을 위한 In-Context 추론","authors":"Juntao Fang, Shifeng Xie, Shengbin Nie, Yuhui Ling, Yuming Liu, Zijian Li, Keli Zhang, Lujia Pan, Themis Palpanas, Ruichu Cai","abs":"Time series classification foundation models are commonly evaluated by freezing a pretrained backbone and fitting task-specific classifiers on extracted representations. While effective, this pipeline entangles representation quality with classifier choice, hyperparameter tuning, and per-dataset optimization, making it less suitable when deployment-time fitting is undesirable. We propose TIC-FM, a deployment-time training-free in-context inference framework that uses labeled support examples as context and predicts query labels without fitting task-specific classifiers. TIC-FM maps time series and labels into an ICL-compatible token space, consolidates long contexts with latent memory, and performs leakage-safe parallel inference via support-only label injection and split-masked reasoning. On the UCR archive, TIC-FM improves average accuracy over representative classifier-fitting baselines, especially in low-label regimes, suggesting that support-conditioned in-context inference is a practical alternative for time series classification.
","absKo":"Time series classification foundation models는 일반적으로 pretrained backbone을 고정한 뒤, 추출된 representations 위에 task-specific classifiers를 학습하는 방식으로 평가된다. 이 파이프라인은 효과적이지만 representation quality를 classifier choice, hyperparameter tuning, dataset별 최적화와 얽히게 만들어, deployment-time fitting이 바람직하지 않은 상황에는 덜 적합하다. 우리는 TIC-FM을 제안하는데, 이는 labeled support examples를 context로 사용하고 task-specific classifiers를 fitting하지 않고 query labels를 예측하는 deployment-time training-free in-context inference framework이다. TIC-FM은 time series와 labels를 ICL-compatible token space로 매핑하고, latent memory로 긴 context를 통합하며, support-only label injection과 split-masked reasoning을 통해 leakage-safe parallel inference를 수행한다. UCR archive에서 TIC-FM은 대표적인 classifier-fitting baselines보다 평균 accuracy를 향상시키며, 특히 low-label regime에서 두드러진다. 이는 support-conditioned in-context inference가 time series classification을 위한 실용적인 대안임을 시사한다.","link":"https://openreview.net/forum?id=HVvARHEA9M"},{"id":"T2msnjOWrh","en":"Time series Foundation Models based on Physics-Informed Synthetic Histories for Cold-Start Photovoltaic Forecasting","ko":"물리정보 기반 합성 이력으로 Cold-Start 태양광 발전 예측을 위한 시계열 Foundation Models","authors":"Lorenzo Longarini, Alessandro Rongoni, Simone Silenzi, Emanuele Frontoni, Riccardo Rosati","abs":"At commissioning time, Photovoltaic (PV) operators must forecast production before target-site observations are available, limiting the direct use of standard supervised forecasters. This cold-start setting is addressed with a zero-shot pipeline that generates a synthetic production history from plant metadata and meteorological covariates, enabling time-series foundation models (TSFMs) to forecast through inference-time conditioning. Five TSFMs are benchmarked against classical baselines under strict Cold-Start Baseline, Real Feedback, and Self-Forecast Feedback strategies. The evaluation spans $440$ PV sites across four datasets and diverse climates regimes. Covariate-aware foundation models outperform baselines by approximately $1.7–2\\times$: TabPFN-TS achieves the lowest error under Real Feedback (MAE $0.514$, RMSE $0.721$ $kWh$ ${kWp}^{-1}$ ${d}^{-1}$), while Chronos-2 is most robust under Self-Forecast Feedback. Performance is largely insensitive to the synthetic-history source, indicating that accuracy is driven more by the availability of plausible temporal context than by the specific generator.
","absKo":"시공 시점에 Photovoltaic(PV) 운영자는 대상 사이트 관측치가 확보되기 전에 생산량을 예측해야 하므로, 표준 supervised forecaster를 직접 활용하기가 제한된다. 이 cold-start 설정은 식물 메타데이터와 기상 공변량으로부터 합성 생산 이력을 생성하는 zero-shot pipeline으로 다루며, 이를 통해 time-series foundation models(TSFMs)가 inference-time conditioning을 통해 예측할 수 있게 한다. 다섯 개 TSFM을 엄격한 Cold-Start Baseline, Real Feedback, Self-Forecast Feedback 전략 하에서 classical baseline과 비교 평가한다. 평가는 서로 다른 기후 체제를 포함하는 4개 데이터셋의 440개 PV 사이트에 걸쳐 수행된다. 공변량을 인식하는 foundation model은 baseline보다 대략 $1.7–2\\times$ 더 뛰어난 성능을 보인다. TabPFN-TS는 Real Feedback에서 가장 낮은 오차를 달성했으며(MAE $0.514$, RMSE $0.721$ $kWh$ ${kWp}^{-1}$ ${d}^{-1}$), Chronos-2는 Self-Forecast Feedback에서 가장 강건하다. 성능은 합성 이력의 출처에 크게 둔감하며, 이는 정확도가 특정 생성기보다 plausible한 temporal context의 존재 여부에 더 크게 좌우됨을 시사한다.","link":"https://openreview.net/forum?id=T2msnjOWrh"},{"id":"NkvfL4hv9c","en":"AME-TS: Anchored Mixture-of-Experts for Time Series Forecasting","ko":"AME-TS: 시계열 예측을 위한 anchored Mixture-of-Experts","authors":"Rui Wang, Renhao Xue, Ray Razi, Huan Song, Hannah R Marlowe","abs":"Time series forecasting models are increasingly scaled through large Transformer backbones, yet most existing approaches process all series through a shared dense computation path despite substantial heterogeneity in temporal structure. Mixture-of-Experts (MoE) offers a natural alternative by enabling conditional computation, but standard MoE routing leaves expert specialization weakly identified and often unstable during downstream adaptation. We propose AME-TS, a regime-aware MoE framework for time series forecasting that aligns expert routing with interpretable temporal structure. AME-TS first uses a lightweight regime predictor to estimate series level descriptors, including forecastability, seasonality, trend, and sparsity, and maps them to a soft structural prior over experts. This series-level prior guides token-level routing during training through a training-only prior-alignment loss, encouraging structure-aligned specialization. On
the GIFT-Eval benchmark, AME-TS achieves state-of-the-art or competitive performance across model scales while using substantially fewer active parameters than recent time series foundation models. We further show that AME-TS learns more interpretable routing geometry and substantially more stable expert specialization than standard MoE during fine-tuning on M5. These results
suggest that structure-aware routing is an effective and reliable way to realize the benefits of sparse expert models for time series forecasting.
","absKo":"시계열 예측 모델은 대규모 Transformer backbone을 통해 점점 더 확장되고 있지만, 기존 방법의 대부분은 temporal structure의 상당한 이질성에도 불구하고 모든 시계열을 공유된 dense computation path로 처리한다. Mixture-of-Experts (MoE)는 conditional computation을 가능하게 함으로써 자연스러운 대안이 되지만, 표준 MoE routing은 expert specialization이 약하게 식별되며 downstream adaptation 동안 종종 불안정해지는 문제를 보인다. 우리는 시계열 예측을 위한 regime-aware MoE framework인 AME-TS를 제안한다. AME-TS는 expert routing을 해석 가능한 temporal structure와 정렬한다. AME-TS는 먼저 lightweight regime predictor를 사용해 forecastability, seasonality, trend, sparsity를 포함한 series-level descriptor를 추정하고, 이를 experts에 대한 soft structural prior로 매핑한다. 이 series-level prior는 training-only prior-alignment loss를 통해 학습 동안 token-level routing을 안내하여, structure-aligned specialization을 촉진한다. GIFT-Eval benchmark에서 AME-TS는 최근의 time series foundation models보다 훨씬 적은 active parameters를 사용하면서도 model scale 전반에 걸쳐 state-of-the-art 또는 경쟁력 있는 성능을 달성한다. 또한 AME-TS가 M5에서 fine-tuning할 때 standard MoE보다 더 해석 가능한 routing geometry와 훨씬 더 안정적인 expert specialization을 학습함을 보인다. 이러한 결과는 structure-aware routing이 시계열 예측에서 sparse expert models의 이점을 실현하는 효과적이고 신뢰할 수 있는 방법임을 시사한다.","link":"https://openreview.net/forum?id=NkvfL4hv9c"},{"id":"dHnkd1Cxqe","en":"Polynomial Input Preconditioning for Zero-Shot Time Series Forecasting","ko":"zero-shot 시계열 예측을 위한 다항식 입력 전처리","authors":"Jerry Han, Alex Kawaja, Benjamin Cole, Elad Hazan","abs":"Universal Sequence Preconditioning (USP) is a theoretical framework for online sequence prediction that preprocesses observations via fixed polynomial convolution to achieve hidden-dimension-free sublinear regret for marginally stable linear dynamical systems, and this paper investigates whether these techniques transfer empirically to zero-shot patch-based transformer time-series forecasters like Moirai 2.0. The proposed method, polynomial input preconditioning, concatenates the preconditioned signal as an auxiliary input channel while leaving the forecast target unchanged, adding only 0.11% additional parameters while improving a Moirai 2.0 Small baseline by 2.9% geometric-mean MASE on GIFT-Eval with similar gains on FEVBench. The gains persist at a 100K-step training budget with a larger relative gap and lower cross-seed variance than the matched baseline, and the method performs especially well on longer prediction horizons, achieving a 5.4% improvement on long-horizon tasks. Capacity-matched zero and duplicate-channel controls confirm that the performance gains stem from the polynomial content itself rather than the marginal parameter increase, suggesting that theory-guided structural priors injected before tokenization offer a lightweight path to improving time-series foundation model performance without scaling model size or attention complexity.
","absKo":"Universal Sequence Preconditioning (USP)는 online sequence prediction을 위한 이론적 framework로, 고정된 polynomial convolution으로 관측치를 전처리하여 marginally stable linear dynamical systems에서 hidden-dimension-free sublinear regret를 달성한다. 본 논문은 이러한 기법이 Moirai 2.0 같은 zero-shot patch-based transformer time-series forecaster에 경험적으로 전이되는지 조사한다. 제안하는 방법인 polynomial input preconditioning은 preconditioned signal을 보조 입력 채널로 concat하면서 forecast target은 그대로 유지하며, 추가 파라미터는 0.11%에 불과하지만 GIFT-Eval에서 Moirai 2.0 Small baseline을 geometric-mean MASE 기준 2.9% 향상시키고, FEVBench에서도 유사한 개선을 보인다. 이러한 향상은 100K-step training budget에서도 유지되며, matched baseline보다 더 큰 상대적 격차와 더 낮은 cross-seed variance를 보이고, 특히 긴 prediction horizon에서 강하게 작동하여 long-horizon task에서 5.4% 개선을 달성한다. capacity-matched zero-channel 및 duplicate-channel control은 성능 향상이 marginal parameter 증가가 아니라 polynomial content 자체에서 비롯됨을 확인해 준다. 이는 tokenization 전에 주입되는 theory-guided structural prior가 model size나 attention complexity를 키우지 않고도 time-series foundation model 성능을 높이는 가벼운 경로가 될 수 있음을 시사한다.","link":"https://openreview.net/forum?id=dHnkd1Cxqe"},{"id":"Brk4KtiYoB","en":"Emergent Temporal Reasoning: Distilling Chain-of-Thought for Zero-Shot Combinatorial Generalization","ko":"창발적 시계열 추론: Zero-Shot 조합 일반화를 위한 Chain-of-Thought 증류","authors":"Jérémy Pawlus, Philippe Helluy, Svitlana Vyetrenko","abs":"This work establishes a Reasoning-Rich Distillation framework extending prior research on time series analysis. We introduce a
synthetic dataset of two time series plots with annotations and textual descriptions provided by a large pretrained foundation
model, specifically Qwen3.5-35B-A3B Vision, under an Answer-then-Explain strategy that justifies the ground-truth elements.
The distilled smaller models are Qwen3.5-2B Text and Qwen3.5-2B Vision, and we investigate whether leveraging vision through
text-plus-image input or appending a pseudo-chain-of-thought learned from the synthetic dataset improves their performance in
multiple time series analysis. Our results highlight the benefit of leveraging both modalities, showing more efficient
pairwise compositional reasoning: small models remain robust on multi-series analysis with $N \\ge 3$ while being trained only
on two-time-series examples. We further push the evaluation boundary to $N=10$, demonstrating persistent pairwise
compositional reasoning capabilities even at extreme (Out-Of-Distribution, OOD) complexity. This work demonstrates, for the first
time, compositional generalization in time series analysis for 2B-parameter large language models.
","absKo":"이 연구는 기존 time series analysis 연구를 확장하는 Reasoning-Rich Distillation 프레임워크를 정립한다. 우리는 두 개의 time series plot, annotation, 그리고 textual description으로 구성된 synthetic dataset을 도입하며, 이는 large pretrained foundation model, 구체적으로 Qwen3.5-35B-A3B Vision이 Answer-then-Explain 전략으로 ground-truth 요소를 정당화하도록 생성한 것이다. 증류된 더 작은 모델은 Qwen3.5-2B Text와 Qwen3.5-2B Vision이며, 우리는 text-plus-image input을 통해 vision을 활용하거나 synthetic dataset에서 학습한 pseudo-chain-of-thought를 덧붙이는 것이 multiple time series analysis 성능을 향상시키는지 조사한다. 실험 결과는 두 모달리티를 함께 활용하는 이점을 강조하며, 더 효율적인 pairwise compositional reasoning을 보여준다. 작은 모델은 두 개의 time series 예제만으로 학습했음에도 $N \\ge 3$인 multi-series analysis에서 강인함을 유지한다. 또한 평가 범위를 $N=10$까지 확장해, 극단적인 (Out-Of-Distribution, OOD) 복잡성에서도 지속적인 pairwise compositional reasoning 능력을 입증한다. 이 연구는 2B-parameter large language model에서 time series analysis의 compositional generalization을 처음으로 보여준다.","link":"https://openreview.net/forum?id=Brk4KtiYoB"},{"id":"FRj6pclhXE","en":"HGR-TabE: Universal Tabular Embeddings via Maximal Correlation Alignment","ko":"HGR-TabE: 최대 상관 정렬을 통한 범용 tabular embedding","authors":"Niharika S. D'Souza, Liane Vogel, Kavitha Srinivas, Sola Shirai, Oktie Hassanzadeh, Horst Samulowitz","abs":"Universal text embedding models show that a single pretrained model can produce representations useful across tasks like classification, clustering, and retrieval. In contrast, tabular foundation models remain largely task-specific. We ask whether a single tabular embedding model can generalize across tasks. We propose HGR-TabE, an initial approach that first aligns heterogeneous table-cell representations into a shared space using Hirschfeld–Gebelein–Rényi (HGR) maximal correlation, capturing relationships between numerical and non-numerical values within rows. We then apply message passing via Hypergraph Transformer (All-Set Transformer modules) to preserve row and column permutation invariance. The model is trained entirely with self-supervision to learn consistent representations at the cell, row, column, and table levels. Without task-specific fine-tuning, it generates embeddings that perform well on row similarity, column similarity, and predictive tasks, demonstrating strong cross-task generalization compared to specialized models.
","absKo":"Universal text embedding model은 단일 pretrained model이 classification, clustering, retrieval 같은 다양한 task 전반에서 유용한 representation을 생성할 수 있음을 보여준다. 반면 tabular foundation model은 여전히 대체로 task-specific하다. 우리는 단일 tabular embedding model이 여러 task에 걸쳐 일반화될 수 있는지 질문한다. 이를 위해 HGR-TabE를 제안한다. HGR-TabE는 먼저 Hirschfeld–Gebelein–Rényi (HGR) maximal correlation을 사용해 이질적인 table-cell representation을 공유 공간으로 정렬함으로써, row 내 numerical value와 non-numerical value 사이의 관계를 포착한다. 그다음 Hypergraph Transformer (All-Set Transformer modules)를 통한 message passing을 적용해 row 및 column permutation invariance를 보존한다. 이 모델은 cell, row, column, table 수준에서 일관된 representation을 학습하도록 전적으로 self-supervision으로 학습된다. task-specific fine-tuning 없이도 row similarity, column similarity, predictive task에서 우수한 성능을 보이는 embedding을 생성하며, specialized model과 비교해 강한 cross-task generalization을 보여준다.","link":"https://openreview.net/forum?id=FRj6pclhXE"},{"id":"kiupx7dsOf","en":"Forecasting Food Inflation in Real Time with Tabular Foundation Models","ko":"Tabular Foundation Models로 실시간 식품 물가 예측","authors":"Mason Linsky","abs":"Food-price inflation is volatile and difficult to forecast, especially around structural breaks where historical relationships cease to hold. We build a monthly forecasting pipeline using public data from FRED to predict U.S. Food CPI dynamics from 1967--2025, evaluating models with strict time-based splits and publication-lag rules to reduce look-ahead bias. On a challenging post-shock test window (Dec. 2023--Dec. 2025), TabPFN is the only method with positive out-of-sample skill (MAE 1.16; $R^2$ 0.69), while all other models yield negative $R^2$ values. Feature-importance diagnostics reveal that failed models rely on temporal trend extrapolation rather than stable economic covariates, consistent with a regime shift. These results provide evidence that tabular foundation models can be unusually robust on small, low-frequency macro-financial datasets where standard ML pipelines break down.
","absKo":"Food-price inflation은 변동성이 크고 예측하기 어렵다. 특히 과거의 관계가 더 이상 유지되지 않는 structural break 주변에서는 더욱 그렇다. 우리는 FRED의 공개 데이터를 사용해 1967--2025년 미국 Food CPI dynamics를 예측하는 월별 forecasting pipeline을 구축하고, look-ahead bias를 줄이기 위해 엄격한 time-based split과 publication-lag rule로 모델을 평가했다. 도전적인 post-shock test window (2023년 12월--2025년 12월)에서 TabPFN만이 유일하게 out-of-sample에서 양의 skill을 보였다 (MAE 1.16; $R^2$ 0.69). 반면 다른 모든 모델은 음의 $R^2$ 값을 기록했다. feature-importance 진단은 실패한 모델들이 안정적인 경제 공변량보다 temporal trend extrapolation에 의존하고 있음을 보여주며, 이는 regime shift와 일치한다. 이러한 결과는 standard ML pipeline이 잘 작동하지 않는 작은 저주파 macro-financial dataset에서 tabular foundation model이 이례적으로 견고할 수 있음을 시사한다.","link":"https://openreview.net/forum?id=kiupx7dsOf"},{"id":"r3RAi8Kqzl","en":"Beyond Accuracy: Toward Trustworthy Tabular Foundation Models in Industrial Applications","ko":"정확도를 넘어: 산업 응용을 위한 신뢰할 수 있는 tabular foundation models를 향하여","authors":"Johannes von Keler, Matthias Woehrle, Jan Achterhold, Mark Schillinger, Maria Lyssenko, Luiz Ricardo Douat","abs":"Tabular foundation models (TabFMs) show immense promise on academic benchmarks, but their transition to real-world industrial applications requires more than just predictive accuracy. In these high-stakes environments, properties like reliability, robustness, and ultimately, the trust of engineers, are paramount. We argue that to leverage these advanced models successfully, the evaluation focus must broaden from isolated accuracy metrics to a more holistic, application-centric view of model behavior.
To illustrate what such an evaluation could entail, we present a targeted study of TabFMs on two industrial engine datasets. We showcase how performance is affected by key factors such as the number of estimators and the training data fraction. Furthermore, on controlled synthetic functions, we analyze the models’ uncertainty quantification in the presence of noise and their behavior under distribution shift, probing their interpolation versus extrapolation capabilities.
Our investigations demand for model cards for TabFMs, TabFM-enabled data and model analysis routines, and holistic benchmarking for reliable and trustworthy application of TabFMs on industrial prediction tasks.
","absKo":"Tabular foundation models (TabFMs)는 academic benchmark에서 매우 큰 가능성을 보이지만, 실제 산업 응용으로의 전환에는 예측 정확도 이상의 것이 필요하다. 이러한 high-stakes 환경에서는 reliability, robustness, 그리고 궁극적으로 engineer의 trust와 같은 속성이 무엇보다 중요하다. 우리는 이러한 advanced model을 성공적으로 활용하려면 평가 초점이 개별 accuracy metric에서 model behavior에 대한 보다 총체적이고 application-centric한 관점으로 확장되어야 한다고 주장한다.\n\n이런 평가가 무엇을 의미할 수 있는지 보여주기 위해, 우리는 두 개의 산업용 engine dataset에서 TabFMs를 대상으로 한 표적 연구를 제시한다. 우리는 estimator 수와 training data fraction 같은 핵심 요인이 성능에 어떤 영향을 미치는지 보여준다. 또한 제어된 synthetic function에서는 noise가 존재할 때의 uncertainty quantification과 distribution shift 하에서의 behavior를 분석하여, interpolation과 extrapolation 능력을 검증한다.\n우리의 조사 결과는 TabFMs를 위한 model card, TabFM이 활성화된 data 및 model analysis routine, 그리고 산업 prediction task에서 TabFMs를 reliable하고 trustworthy하게 적용하기 위한 holistic benchmarking의 필요성을 요구한다.","link":"https://openreview.net/forum?id=r3RAi8Kqzl"},{"id":"8ldqcGf9ra","en":"Probing Clinical Concepts in an EHR Foundation Model via Sparse Autoencoders","ko":"Sparse autoencoder를 통해 EHR foundation model에서 임상 개념 탐구하기","authors":"Shashank Yadav, David M. Routman, Andrew Y. K. Foong","abs":"Foundation models (FMs) trained on large electronic health record (EHR) datasets can predict patient outcomes, but it is difficult to know what medical knowledge they have acquired. Unlike chatbot LLMs, EHR-FMs are being considered for high-stakes clinical deployment, making it especially important to audit what they have learned beyond predictive accuracy. We apply sparse autoencoders (SAEs) to a transformer-based FM trained on the MIMIC-IV dataset, extending SAEbased mechanistic interpretability to FMs trained
on clinical event streams. We use LLM-based interpretation to characterize learned features, suggesting that EHR-FMs organize clinical concepts along an axis distinct from the International Classification of Diseases (ICD) system. We show that learned features are organized by prevalence and that the model encodes candidate matches to known clinical syndromes as single monosemantic features. Syndromic features are composed from lower-level features through crosslayer information-flow circuits that we probe via activation patching. We validate the learned features along two axes: external validity, where feature activations align with held-out ICD phenotypes, and interventional consistency, where activation patching produces measurable downstream effects in source-target pairs. Together, these results demonstrate the utility of SAEs as an interpretive layer for EHR foundation models.
","absKo":"대규모 electronic health record (EHR) dataset으로 학습된 foundation model (FM)은 환자 결과를 예측할 수 있지만, 어떤 의학 지식을 습득했는지 알기는 어렵다. chatbot LLM과 달리 EHR-FM은 고위험 clinical deployment까지 고려되고 있어, 예측 정확도를 넘어 무엇을 학습했는지 audit하는 것이 특히 중요하다. 우리는 MIMIC-IV dataset으로 학습된 transformer-based FM에 sparse autoencoder (SAE)를 적용하여, clinical event stream으로 학습된 FM에 SAE-based mechanistic interpretability를 확장한다. 우리는 LLM-based interpretation을 사용해 학습된 feature를 특성화하고, EHR-FM이 International Classification of Diseases (ICD) 체계와는 다른 축을 따라 clinical concept를 조직한다는 점을 시사한다. 우리는 학습된 feature가 prevalence에 따라 조직되며, 모델이 알려진 clinical syndrome에 대한 candidate match를 단일 monosemantic feature로 인코딩함을 보인다. syndromic feature는 activation patching으로 탐지한 crosslayer information-flow circuit을 통해 더 낮은 수준의 feature로부터 구성된다. 우리는 두 축에서 학습된 feature를 검증한다. external validity에서는 feature activation이 held-out ICD phenotype과 정렬되고, interventional consistency에서는 activation patching이 source-target pair에서 측정 가능한 downstream effect를 만들어낸다. 종합하면, 이러한 결과는 EHR foundation model의 interpretive layer로서 SAE의 유용성을 보여준다.","link":"https://openreview.net/forum?id=8ldqcGf9ra"},{"id":"Z2n7WcIy6j","en":"Can LLMs Use Relational Transformer Embeddings?","ko":"LLM은 관계형 Transformer embedding을 사용할 수 있는가?","authors":"Francisco Galuppo Azevedo, Clarissa Lima Loures","abs":"Injecting frozen relational-encoder embeddings as soft tokens into a large language model (LLM) is a conceptually appealing fusion strategy: the encoder handles multi-table structure, the LLM handles language and reasoning, and no lossy text serialization is required. We test this hypothesis concretely by injecting embeddings from a frozen Relational Transformer (RT) into Qwen3.5-4B via a learned MLP projection and LoRA adaptation, trained first with supervised fine-tuning (SFT) on chain-of-thought reasoning traces and then with group-based reinforcement learning (GSPO). We evaluate across 10 binary classification tasks on 6 relational databases from RelBench, under four supervision regimes: single-task (ST), within-dataset (WD), cross-dataset (CD), and all-task (ALL). The hybrid model does not consistently outperform standalone RT: it is frequently below random, highly sensitive to serialization format and relational-token budget, and unstable under RL training. We report these negative results and analyze the failure modes, arguing that soft-token fusion requires stronger alignment objectives and schema-aware design before it can serve as a reliable route to relational prediction.
","absKo":"frozen relational-encoder embedding을 soft token으로 large language model(LLM)에 주입하는 것은 개념적으로 매력적인 fusion strategy이다. encoder는 multi-table structure를 처리하고, LLM은 language와 reasoning을 담당하며, 손실이 있는 text serialization이 필요하지 않기 때문이다. 우리는 frozen Relational Transformer(RT)의 embedding을 learned MLP projection과 LoRA adaptation을 통해 Qwen3.5-4B에 주입하는 방식으로 이 가설을 구체적으로 검증한다. 학습은 먼저 chain-of-thought reasoning trace에 대한 supervised fine-tuning(SFT)으로 수행하고, 이후 group-based reinforcement learning(GSPO)으로 이어간다. 우리는 RelBench의 6개 relational database 위에서 10개의 binary classification task를 평가하며, single-task(ST), within-dataset(WD), cross-dataset(CD), all-task(ALL)의 네 가지 supervision regime을 사용한다. hybrid model은 standalone RT를 일관되게 능가하지 못했다. 종종 random보다 낮았고, serialization format과 relational-token budget에 매우 민감했으며, RL training 하에서도 불안정했다. 우리는 이러한 negative result를 보고하고 failure mode를 분석하며, soft-token fusion이 relational prediction의 신뢰할 만한 경로가 되려면 더 강한 alignment objective와 schema-aware design이 필요하다고 주장한다.","link":"https://openreview.net/forum?id=Z2n7WcIy6j"},{"id":"cLQSnWXOfx","en":"FactoryNet: A Large-Scale Dataset toward Industrial Time-Series Foundation Models","ko":"FactoryNet: 산업 시계열 foundation model을 위한 대규모 데이터셋","authors":"Karim Othman, Jonas Petersen, Matei C. Ignuta-Ciuncanu, Camilla Mazzoleni, Federico Martelli, Gian-Alessandro Lombardi, Riccardo Maggioni, Philipp Christian Petersen","abs":"We introduce the first universal pretraining corpus for industrial time-series data: FactoryNet. 51M datapoints across 23k end-to-end task executions (13.3k real, 9.8k synthetic) on six embodiments, unified by a shared schema that enables robust zero-shot cross-embodiment transfer and highly parameter-efficient anomaly detection. We introduce a novel schema: Setpoint, Effort, Feedback, Context (S-E-F-C) underlying the whole pipeline that maps any actuated system into a common representational frame. The corpus spans 27 annotated anomaly types alongside healthy baselines and counterfactual pairs across robotic manipulation and machining domains. Cross-embodiment transfer experiments yield positive results: under bias-aware metrics our model demonstrates fair cross-embodiment transfer capabilities on the evaluated source-target pair, while 24 schema-aligned signals achieves competitive anomaly detection performance compared to high-dimensional baselines. We release FactoryNet as a growing, multi-embodiment dataset to drive progress toward industrial foundation models.
","absKo":"우리는 산업용 time-series data를 위한 최초의 universal pretraining corpus인 FactoryNet을 소개한다. FactoryNet은 six embodiments에서 수행된 23k end-to-end task execution(실제 13.3k, synthetic 9.8k)에 걸친 5100만 datapoint를 공유 schema로 통합한 데이터셋으로, 견고한 zero-shot cross-embodiment transfer와 매우 parameter-efficient한 anomaly detection을 가능하게 한다. 우리는 파이프라인 전체의 기반이 되어 모든 actuated system을 공통의 representational frame으로 매핑하는 새로운 schema, 즉 Setpoint, Effort, Feedback, Context (S-E-F-C)를 도입한다. 이 corpus는 robotic manipulation과 machining domain 전반에서 healthy baseline과 counterfactual pair뿐 아니라 27개의 주석된 anomaly type을 포함한다. Cross-embodiment transfer experiment는 긍정적인 결과를 보인다: bias-aware metric에서 우리 모델은 평가한 source-target pair에 대해 공정한 cross-embodiment transfer capability를 보였으며, 24개의 schema-aligned signal만으로도 high-dimensional baseline에 비해 경쟁력 있는 anomaly detection 성능을 달성했다. 우리는 FactoryNet을 성장하는 multi-embodiment dataset으로 공개하여 industrial foundation model로의 진전을 촉진한다.","link":"https://openreview.net/forum?id=cLQSnWXOfx"},{"id":"tFxw63oxzV","en":"Nonlinear RNNs as a Compute Shortcut for Time Series Foundation Models","ko":"시계열 foundation model을 위한 계산 지름길로서의 비선형 RNN","authors":"Levente Zólyomi, David Stap, Sebastian Böck, Günter Klambauer, Sepp Hochreiter","abs":"Time series foundation models have converged on Transformer and linear-RNN backbones that scale efficiently but do not provide an explicit nonlinear recurrent state-update mechanism,
despite nonstationarity and long-range dependencies being central to time series data.
Pure nonlinear recurrent models track state but scale poorly,
suggesting an expressivity-efficiency trade-off.
We show the trade-off is avoidable:
adding even a single nonlinear sLSTM layer to three popular scalable backbones (Transformer, Gated DeltaNet, and mLSTM) consistently improves forecasting accuracy on GIFT-Eval across five parameter scales (1M--80M).
The gain is largest at small scale,
reaching roughly 4--5\\% for Transformer and Gated DeltaNet at 1M,
and shrinks to under 1\\% for most 80M comparisons.
Yet at matched wall-clock training budget,
the 10M hybrid outperforms a same-sized baseline trained with $\\geq 4\\times$ more compute,
and a single sLSTM placed early in the stack recovers most of the benefit gained from adding more state tracking layers.
Nonlinear state tracking therefore functions as a compute shortcut:
a cheap inductive bias that substitutes for capacity and training time.
","absKo":"time series foundation model은 효율적으로 scale되는 Transformer와 linear-RNN backbone에 수렴해 왔지만, time series 데이터의 핵심인 nonstationarity와 long-range dependency에도 불구하고 명시적인 nonlinear recurrent state-update mechanism을 제공하지 않는다.\n순수 nonlinear recurrent model은 state를 추적하지만 scale이 좋지 않아,\n표현력과 효율성 사이의 trade-off가 시사된다.\n우리는 이 trade-off가 피할 수 있음을 보인다.\n세 가지 널리 사용되는 scalable backbone(Transformer, Gated DeltaNet, mLSTM)에 nonlinear sLSTM layer를 하나만 추가해도, 다섯 개 parameter scale(1M--80M) 전반에서 GIFT-Eval의 forecasting accuracy가 일관되게 향상된다.\n이 향상은 작은 scale에서 가장 크며,\n1M에서 Transformer와 Gated DeltaNet은 대략 4--5\\% 정도 개선된다.\n반면 대부분의 80M 비교에서는 1\\% 미만으로 줄어든다.\n그러나 wall-clock training budget을 맞춰 비교하면,\n10M hybrid는 같은 크기의 baseline을 $\\geq 4\\times$ 더 많은 compute로 학습한 경우보다 더 좋은 성능을 보이고,\nstack 앞부분에 배치된 단일 sLSTM만으로도 더 많은 state tracking layer를 추가해 얻는 이득의 대부분을 회복한다.\n따라서 nonlinear state tracking은 compute shortcut으로 기능한다.\n즉, capacity와 training time을 대체하는 저비용 inductive bias이다.","link":"https://openreview.net/forum?id=tFxw63oxzV"},{"id":"PXSBtjo3Gd","en":"Exploring Differences Between Tabular Enterprise Data and Public Benchmarks","ko":"표 형식 기업 데이터와 공개 벤치마크의 차이 탐구","authors":"Myung Jun Kim, Maximilian Schambach, Frank Essenberger, Andre Sres, Johannes Höhne","abs":"Tabular data dominate the landscape of data science, increasingly attracting innovative machine learning models and tailored benchmarks. Yet, little is known for enterprise data, where tables constitute the backbone of business operations. To broaden the benchmarking landscape for business applications, this work aims to actualize the characteristics of enterprise data by providing an analysis of data statistics and performance measurements of tabular models such as TabPFN, TabICL and ConTextTab. Through our analysis, we find enterprise data markedly differ from tabular benchmarks and we demonstrate that a tabular model that performs well on typical tabular benchmarks may perform poorly on real world enterprise data -- and vice versa. This lack of generalization underlines the need for additional benchmarks with enterprise-grade characteristics.
","absKo":"Tabular data는 data science 전반을 지배하고 있으며, 점점 더 혁신적인 machine learning 모델과 맞춤형 benchmark를 끌어들이고 있다. 그러나 table이 business operations의 기반을 이루는 enterprise data에 대해서는 알려진 바가 거의 없다. business application을 위한 benchmarking 지형을 넓히기 위해, 본 연구는 data statistics와 TabPFN, TabICL, ConTextTab과 같은 tabular model의 성능 측정을 분석함으로써 enterprise data의 특성을 구체화하고자 한다. 분석 결과, enterprise data는 tabular benchmark와 현저히 다르며, 전형적인 tabular benchmark에서는 잘 작동하는 tabular model이 실제 enterprise data에서는 오히려 성능이 낮을 수 있고, 그 반대도 가능함을 보인다. 이러한 generalization 부족은 enterprise-grade 특성을 갖춘 추가 benchmark의 필요성을 강조한다.","link":"https://openreview.net/forum?id=PXSBtjo3Gd"},{"id":"dznQA3JHfI","en":"When Data Is Scarce: The Strength of the Prior in Tabular Foundation Models","ko":"데이터가 희소할 때: tabular foundation model에서 prior의 힘","authors":"Florian D. van Leeuwen, Sara van Erp","abs":"We present a systematic evaluation of Prior-Data Fitted Networks (PFNs) in small-sample ($n < 500$) prediction tasks. First, through synthetic experiments, we quantify how informative parameter priors must be for correctly specified parametric models to match PFN predictive performance. Our results indicate that PFNs are competitive even against models with strong, well-calibrated priors. Second, using subsamples of the TabArena benchmark, we show that PFNs outperform traditional regression and tree-based methods across both classification and regression tasks in small-sample settings.
","absKo":"우리는 소표본($n < 500$) 예측 과제에서 Prior-Data Fitted Networks (PFNs)에 대한 체계적인 평가를 제시한다. 먼저 synthetic experiment를 통해, 올바르게 명세된 parametric model이 PFN 수준의 예측 성능에 도달하려면 parameter prior가 얼마나 정보적이어야 하는지 정량화한다. 우리의 결과는 PFN이 강하고 잘 보정된 prior를 가진 model과 비교해도 경쟁력이 있음을 보여준다. 둘째, TabArena benchmark의 subsample을 사용하여, PFN이 소표본 설정의 classification과 regression 과제 모두에서 전통적인 regression 및 tree-based method를 능가함을 보인다.","link":"https://openreview.net/forum?id=dznQA3JHfI"},{"id":"96HA4mxjkH","en":"Correcting Class Imbalance in Prior-Data Fitted Networks for Tabular Classification","ko":"표 형식 분류를 위한 Prior-Data Fitted Network의 클래스 불균형 보정","authors":"Samuel McDowell, Nathan Stromberg, Lalitha Sankar","abs":"Prior-data fitted networks (PFNs) have achieved exceptional performance on tabular classification tasks. However, like other classifiers, their performance can suffer under the effect of class imbalance, resulting in poor performance for rare classes.
Several techniques exist which attempt to mitigate the deleterious effect of class imbalance on classification performance, but the in-context learning (ICL) dynamic of PFNs means that loss-based strategies are impossible, and other techniques are unproven.
We have adapted several classical techniques addressing class imbalance and analyzed their performance on PFN classification. We observe that thresholding performs exceptionally well because of the calibration characteristics of PFNs, and downsampling performs comparably because of PFNs exceptional limited-data performance, with the additional benefit of reduced computation cost for inference.
","absKo":"Prior-data fitted networks (PFNs)는 tabular classification task에서 뛰어난 성능을 달성했다. 그러나 다른 classifier와 마찬가지로 class imbalance의 영향 아래 성능이 저하될 수 있으며, 그 결과 희귀 class에 대해 성능이 떨어질 수 있다. class imbalance가 classification 성능에 미치는 해로운 영향을 완화하려는 여러 기법이 존재하지만, PFN의 in-context learning (ICL) 동역학 때문에 loss 기반 전략은 불가능하고, 다른 기법들도 아직 입증되지 않았다.\n우리는 class imbalance를 다루는 여러 고전적 기법을 PFN classification에 맞게 조정하고 그 성능을 분석했다. PFN의 calibration 특성 때문에 thresholding이 매우 뛰어난 성능을 보이며, PFN의 제한된 데이터에서의 탁월한 성능 덕분에 downsampling도 비슷한 수준으로 작동함을 관찰했다. 또한 inference computation cost를 줄일 수 있다는 추가적인 이점도 있다.","link":"https://openreview.net/forum?id=96HA4mxjkH"},{"id":"4zY414Cp3v","en":"TSQueryBench: LLM-as-a-Judge for Time-Series Explanations","ko":"TSQueryBench: 시계열 설명을 위한 LLM-as-a-Judge","authors":"Preetham Sivalingam, Murari Mandal, Dhruv Kumar, Saurabh Deshpande","abs":"Natural language explanations of time-series data are increasingly produced by foundation models in high-stakes domains, making factual correctness critical. Evaluating such explanations differs fundamentally from standard natural language generation: correctness requires verifying numerical claims against structured data rather than similarity to reference text. While LLM-as-a-Judge has emerged as a scalable paradigm for text evaluation, its applicability to numerically grounded time-series explanations remains unstudied. We introduce TSQueryBench, a controlled synthetic benchmark of 500 time-series instances across 10 query types, each paired with correct, partially correct, and incorrect explanations. We evaluate six large language models across four tasks: explanation generation, relative ranking, independent scoring, and multi-anomaly detection. Our central finding is a consistent generation–evaluation asymmetry: models that
fail to generate numerically correct explanations nonetheless reliably identify or score correct ones. These results show that rubric-guided LLM evaluation is substantially more reliable than generation for time-series reasoning, supporting LLM judges as scalable evaluators in numerically grounded settings. Code and data: https://github.com/Prxxthxm/TSQueryBench/.
","absKo":"high-stakes domain에서 foundation model이 생성하는 time-series 데이터에 대한 자연어 설명은 점점 더 많아지고 있으며, 따라서 사실적 정확성이 매우 중요하다. 이러한 설명의 평가는 표준 natural language generation과 근본적으로 다르다. 정확성은 reference text와의 유사도가 아니라 구조화된 데이터에 대한 numerical claim 검증을 요구하기 때문이다. LLM-as-a-Judge는 텍스트 평가를 위한 확장 가능한 패러다임으로 부상했지만, 수치적으로 근거가 있는 time-series 설명에 대한 적용 가능성은 아직 연구되지 않았다. 우리는 10가지 query type에 걸친 500개의 time-series instance로 이루어진 통제된 synthetic benchmark인 TSQueryBench를 제시하며, 각 instance에는 올바른 설명, 부분적으로 올바른 설명, 잘못된 설명이 함께 주어진다. 우리는 설명 생성, 상대 순위화, 독립적 scoring, multi-anomaly detection의 네 가지 task에서 6개의 large language model을 평가한다. 핵심 발견은 일관된 generation–evaluation asymmetry이다. 수치적으로 정확한 설명을 생성하지 못하는 model조차도 올바른 설명을 신뢰성 있게 식별하거나 점수를 매긴다. 이러한 결과는 rubric-guided LLM 평가가 time-series reasoning에서 생성보다 훨씬 더 신뢰할 수 있음을 보여 주며, 수치적으로 근거가 있는 setting에서 LLM judge가 확장 가능한 evaluator로서 유효함을 뒷받침한다. Code and data: https://github.com/Prxxthxm/TSQueryBench/.","link":"https://openreview.net/forum?id=4zY414Cp3v"},{"id":"Tda0qprAXQ","en":"Auditing and Fixing Economic Validity in Tabular Foundation Models for Discrete Choice","ko":"이산 선택을 위한 표 형태 Foundation Models의 경제적 타당성 감사와 수정","authors":"Yingshuo Wang, Xian Sun, Yanhang Li, Zhichao Fan, Zexin Zhuang","abs":"Tabular foundation models achieve strong accuracy on choice prediction tasks, but
their predictions often violate the economic logic those tasks require: raising a
price sometimes increases predicted demand, and implied willingness-to-pay estimates
are frequently negative or implausible. We propose a two-stage adapter that embeds
foundation model predictions within a utility-maximization framework. In the first
stage, we estimate a standard choice model whose parameters are constrained to obey
economic theory. In the second stage, we freeze those parameters and train a
correction term that incorporates the foundation model's predictions as additional
information. The result is a model that inherits the foundation model's accuracy gains
while guaranteeing monotonic price–demand relationships under policy perturbation and
producing analytically computable trade-off measures. On two transportation datasets,
the adapter recovers up to 13 percentage points of accuracy over a standard logit
model while maintaining perfect economic consistency, something neither the raw
foundation models nor standard knowledge distillation (training a logit on TFM soft
labels) achieve.
","absKo":"Tabular foundation model은 choice prediction task에서 강한 accuracy를 보이지만, 그 예측은 종종 해당 task가 요구하는 경제적 논리를 위반한다. 가격을 올리면 예측 수요가 증가하기도 하고, implied willingness-to-pay 추정치는 자주 음수이거나 비현실적이다. 우리는 foundation model의 예측을 utility-maximization framework 안에 포함하는 two-stage adapter를 제안한다. 첫 번째 단계에서, 경제 이론을 따르도록 parameter가 제약된 표준 choice model을 추정한다. 두 번째 단계에서, 그 parameter를 고정하고 foundation model의 예측을 추가 정보로 반영하는 correction term을 학습한다. 그 결과, policy perturbation 하에서 monotonic price-demand relationship를 보장하고 analytically computable trade-off measure를 산출하면서도 foundation model의 accuracy 향상을 계승하는 모델이 된다. 두 개의 transportation dataset에서 이 adapter는 standard logit model 대비 최대 13 percentage point의 accuracy 향상을 회복하면서도 완벽한 economic consistency를 유지했으며, 이는 raw foundation model도 standard knowledge distillation(TFM soft label로 logit을 학습하는 방식)도 달성하지 못한 것이다.","link":"https://openreview.net/forum?id=Tda0qprAXQ"},{"id":"Lb0pXRiYg8","en":"SymboLLM-FE: LLM Accelerated Symbolic Regression for Automated Feature Engineering","ko":"SymboLLM-FE: 자동 특성 공학을 위한 LLM 가속 기호 회귀","authors":"Zi-Jian Cheng, Ziyi Jia, Zhi Zhou, Yu-Feng Li, Lan-Zhe Guo","abs":"Tabular data, as a core data format in machine learning, often lacks the discriminative power needed for high-performance modeling due to insufficient feature informativeness. Automated Feature Engineering (AutoFE) overcomes this by automating feature generation and selection, ensuring both model performance and operational efficiency. However, traditional AutoFE often yield features with poor interpretability because they rely on blind mathematical transformations, while large language models (LLM)-based AutoFE faces challenges in requiring costly multi-round iterations to generate high-utility features to effectively enhance model performance, compounded by inherent risks of bias and hallucination. In this paper, we combine **symbo**lic regression with **LLM**s for **f**eature **e**ngineering (SymboLLM-FE) to solve these challenges. We extract mathematically expressive formulas strongly correlated with the target via symbolic regression, which can enhance model performance, then refine them by LLMs with rich prior knowledge to ensure interpretability. Empirical results on six real-world datasets and four Kaggle competitions demonstrate that SymboLLM-FE outperforms existing AutoFE. SymboLLM-FE also addresses the dual challenges of poor interpretability and numerous iterations by employing a statistical prior-grounded LLM refinement mechanism and single-digit LLM calls.
","absKo":"표형 데이터는 머신러닝의 핵심 데이터 형식임에도 불구하고, 피처 정보성이 충분하지 않아 고성능 모델링에 필요한 판별력이 부족한 경우가 많다. Automated Feature Engineering (AutoFE)은 피처 생성과 선택을 자동화함으로써 이를 극복하고, 모델 성능과 운영 효율성을 모두 보장한다. 그러나 전통적인 AutoFE는 맹목적인 수학적 변환에 의존하기 때문에 해석 가능성이 낮은 피처를 생성하는 경우가 많고, LLM-based AutoFE는 모델 성능을 효과적으로 향상시킬 고가치 피처를 생성하기 위해 비용이 큰 다회 반복을 요구하는 데다, 본질적인 편향과 hallucination 위험도 수반한다. 본 논문에서는 이러한 문제를 해결하기 위해 **symbo**lic regression과 **LLM**을 결합한 **f**eature **e**ngineering(SymboLLM-FE)을 제안한다. 우리는 symbolic regression을 통해 목표 변수와 강하게 상관된, 수학적으로 표현력이 풍부한 공식을 추출하여 모델 성능을 향상시킨 뒤, 풍부한 사전 지식을 가진 LLM으로 이를 정련하여 해석 가능성을 확보한다. 6개의 실제 데이터셋과 4개의 Kaggle competition에 대한 실증 결과, SymboLLM-FE는 기존 AutoFE를 능가함을 보여준다. 또한 SymboLLM-FE는 statistical prior-grounded LLM refinement mechanism과 single-digit 수준의 LLM 호출을 활용함으로써, 해석 가능성이 낮고 반복 횟수가 많은 이중 문제도 해결한다.","link":"https://openreview.net/forum?id=Lb0pXRiYg8"},{"id":"z2Jb4Swqjp","en":"SOHET: Sequence Of Heterogeneous Events Transformer with Self-Supervised Pre-Training","ko":"SOHET: 자기지도 사전학습을 사용하는 이종 이벤트 순서 Transformer","authors":"Kees Jan de Vries, Mustafa Radha, Mathijs de Jong","abs":"Many machine learning applications rely on heterogeneous event streams to make predictions, either causally as events arrive or bidirectionally over complete sequences. We propose SOHET (Sequence Of Heterogeneous Events Transformer), a hierarchical architecture combining event-type-specific tabular encoders with temporal and type embeddings, processed by a causal or bidirectional transformer. We introduce three self-supervised pre-training objectives for the causal setting. On a proprietary large-scale real-world Booking.com fraud detection task with 17 event types, SOHET outperforms FlexTPP, NAPPT, and CIPPT by 5.8\\%. Pre-training yields an additional 2.6\\% gain and 2.4$\\times$ faster convergence. On the EBES benchmark, bidirectional SOHET matches or exceeds the published best on 6 out of 8 tasks.
","absKo":"많은 machine learning 응용은 이질적인 event stream에 의존하여, 사건이 도착하는 즉시 인과적으로 예측하거나 전체 sequence에 대해 양방향으로 예측을 수행한다. 우리는 event-type-specific tabular encoder와 temporal/type embedding을 결합하고 causal 또는 bidirectional transformer로 처리하는 계층적 구조인 SOHET(Sequence Of Heterogeneous Events Transformer)을 제안한다. 우리는 causal setting을 위한 세 가지 self-supervised pre-training 목표를 도입한다. 17개 event type을 포함하는 proprietary 대규모 실제 Booking.com fraud detection task에서, SOHET은 FlexTPP, NAPPT, CIPPT보다 5.8\\% 더 높은 성능을 보인다. pre-training은 추가로 2.6\\%의 향상과 2.4$\\times$ 더 빠른 수렴을 제공한다. EBES benchmark에서는 bidirectional SOHET이 8개 task 중 6개에서 공개된 최고 성능과 같거나 이를 능가한다.","link":"https://openreview.net/forum?id=z2Jb4Swqjp"},{"id":"YCedi8zejy","en":"Latent Instructions as Context Surrogates: Enhancing Frozen Time Series Forecasters with Instance-Adaptive Prompts","ko":"잠재 지침을 맥락 대리자로 사용하기: 사례 적응형 프롬프트로 고정된 시계열 예측기 향상","authors":"Zehao Xiao, Shifeng Xie, Lei Zan, Malik Tiomoko, Jianfeng Zhang, Lujia Pan, Keli Zhang, Ievgen Redko","abs":"Time series foundation models (TSFMs) benefit from longer context windows, but with steeply diminishing returns. We propose instance-adaptive latent instructions, a set of learnable prompt tokens prepended to the input of a frozen TSFM that serve as compact context surrogates to encode distributional properties. A lightweight prompt generation module, consisting of an MLP and a learnable latent token basis, maps the statistics of input series to the data-specific prompts for each instance. Introducing only ${\\sim}$0.4\\% additional parameters and no modification to the pretrained model, our method with a short context consistently matches or outperforms the zero-shot baseline with doubled context length, while significantly reducing computational cost. Experiments on 62 long-context test sets from the GIFT-Eval benchmark with different backbones validate the effectiveness and efficiency of our approach.
","absKo":"Time series foundation model(TSFM)은 더 긴 context window의 이점을 얻지만, 그 수익은 급격히 감소한다. 우리는 instance-adaptive latent instruction을 제안한다. 이는 고정된 TSFM 입력 앞에 붙는 학습 가능한 prompt token의 집합으로, 분포적 특성을 인코딩하는 compact context surrogate로 작동한다. MLP와 학습 가능한 latent token basis로 구성된 경량 prompt generation module이 입력 series의 통계를 각 instance에 대한 data-specific prompt로 매핑한다. 사전학습 모델을 전혀 수정하지 않고 약 ${\\sim}$0.4\\%의 추가 파라미터만 도입함으로써, 짧은 context를 사용하는 우리의 방법은 doubled context length를 가진 zero-shot baseline과 일관되게 비슷하거나 더 나은 성능을 보이며, 계산 비용은 크게 줄인다. 서로 다른 backbone을 사용한 GIFT-Eval benchmark의 62개 long-context test set 실험은 우리 접근법의 효과성과 효율성을 검증한다.","link":"https://openreview.net/forum?id=YCedi8zejy"},{"id":"6uEcEWSEfs","en":"Images as Tables: In-Context Learning with TabPFN for Low-Data Detection of AI-Generated Images","ko":"이미지를 표처럼: 저데이터 AI 생성 이미지 탐지를 위한 TabPFN의 in-context learning","authors":"Jan Philip Walter, Shashank Agnihotri, Margret Keuper","abs":"AI-generated image detection is a moving-target problem: detectors trained on one generator often fail when a new generator appears, and only a few labeled examples are available.
We study a simple image-to-table formulation for this regime, where each image is encoded by a frozen DINOv3 backbone, its CLS feature is reduced to a 500-dimensional structured row with PCA, and TabPFN performs real/fake classification by in-context tabular inference rather than task-specific classifier training.
This turns fake-image detection into low-data structured prediction over learned visual features, making detector adaptation depend on the labeled context set instead of gradient-based fine-tuning.
On GenImage, LATTE, a recent state-of-the-art detector, remains stronger when many labeled samples from all generators are available, by 7.4% in the largest pooled setting, but DINOv3-PCA-TabPFN is stronger in the practically important low-data regime, outperforming LATTE by up to 8.2%, and in transfer settings where the detector must generalize from one generator to another.
These results position tabular foundation models as a strong complementary adaptation mechanism for image forensics, shifting adaptation from detector retraining to lightweight in-context updates with a small labeled set of examples.
Code here: https://github.com/jpwalter30/Towards-Generalizable-Detection-of-AI-Generated-Images.
","absKo":"AI-generated image detection은 moving-target problem이다. 한 generator에 대해 학습된 detector는 새로운 generator가 나타나면 종종 실패하며, 라벨된 예시도 몇 개밖에 없다. \n우리는 이 regime을 위한 단순한 image-to-table formulation을 연구한다. 각 이미지는 frozen DINOv3 backbone으로 인코딩되고, CLS feature는 PCA로 500차원의 structured row로 축소되며, TabPFN은 task-specific classifier training이 아니라 in-context tabular inference를 통해 real/fake classification을 수행한다. \n이렇게 하면 fake-image detection이 학습된 visual feature 위의 low-data structured prediction으로 바뀌며, detector adaptation은 gradient-based fine-tuning이 아니라 labeled context set에 의존하게 된다. \nGenImage에서 최근 state-of-the-art detector인 LATTE는 모든 generator의 많은 labeled sample이 उपलब्ध한 경우에는 여전히 더 강력하며, 가장 큰 pooled setting에서 7.4% 우세하다. 그러나 DINOv3-PCA-TabPFN은 실제로 중요한 low-data regime에서 더 강력하여 LATTE보다 최대 8.2% 향상되며, detector가 하나의 generator에서 다른 generator로 일반화해야 하는 transfer setting에서도 우수하다.\n이 결과는 tabular foundation model이 image forensics를 위한 강력한 보완적 adaptation mechanism임을 보여주며, adaptation을 detector retraining에서 소수의 labeled example을 이용한 가벼운 in-context update로 전환한다.\n코드는 여기: https://github.com/jpwalter30/Towards-Generalizable-Detection-of-AI-Generated-Images.","link":"https://openreview.net/forum?id=6uEcEWSEfs"},{"id":"38eBW6WYFT","en":"APEX: A Network-Native Time-Series Foundation Model for Forecasting and Anomaly Detection for Wireless Edge Operations","ko":"APEX: 무선 엣지 운영의 예측과 이상 탐지를 위한 Network-Native 시계열 Foundation Model","authors":"Swadhin Pradhan, Niloo Bahadori, Peiman Amini","abs":"Generic time-series foundation models transfer poorly to wireless network telemetry whose signals are bursty, zero-inflated, and coupled across protocol layers. We present APEX, a network-native, decoder-only transformer for forecasting enterprise AP telemetry, and evaluate it on DHCP degradation as a representative network task. APEX is pre-trained on 10-channel
multivariate telemetry from ∼4,500 production wireless networks (∼100K AP time series, 34 metrics per AP), and is available as APEX-
Large (269M, cloud) and APEX-Edge (10.5M, edge). On a 192-step (4-day) DHCP degradation benchmark, APEX-Large reduces MAE by 18% over the strongest foundation-model baseline (Toto) and 38% over SARIMA, with anomaly-detection F1 = 0.93, while APEX-Edge enables sub-second, privacy-preserving inference on AP-class edge hardware. These results suggest network-native pre-training is a practical foundation for proactive wireless operations.
","absKo":"범용 time-series foundation model은 신호가 bursty하고, zero-inflated이며, protocol layer 전반에 걸쳐 결합된 wireless network telemetry에는 잘 전이되지 않는다. 우리는 enterprise AP telemetry 예측을 위한 network-native decoder-only transformer인 APEX를 제시하고, 대표적인 network task로서 DHCP degradation에서 이를 평가한다. APEX는 약 4,500개의 production wireless network에서 수집한 10-channel multivariate telemetry(약 100K AP time series, AP당 34개 metric)로 pre-training되었으며, APEX-Large(269M, cloud)와 APEX-Edge(10.5M, edge)로 제공된다. 192-step(4일) DHCP degradation benchmark에서 APEX-Large는 가장 강력한 foundation-model baseline(Toto)보다 MAE를 18% 줄이고 SARIMA보다 38% 줄였으며, anomaly-detection F1 = 0.93을 달성했다. 한편 APEX-Edge는 AP급 edge hardware에서 sub-second privacy-preserving inference를 가능하게 한다. 이 결과는 network-native pre-training이 proactive wireless operations를 위한 실용적인 foundation임을 시사한다.","link":"https://openreview.net/forum?id=38eBW6WYFT"},{"id":"fOph6xxdyP","en":"FlexTab: Towards a Flexible Encoder-Decoder Architecture for Tabular In-Context Learning","ko":"FlexTab: tabular in-context learning을 위한 유연한 encoder-decoder 아키텍처를 향하여","authors":"Marek Polewczyk, Maximilian Schambach, Marco Spinaci, Sam Thelin, Johannes Höhne","abs":"We introduce FlexTab, a flexible encoder-decoder architecture for in-context learning on tabular data that combines a single, task-agnostic encoder with a suite of task-specific decoders. Unlike existing tabular in-context learners, which entangle feature representations with a specific prediction target, our design produces target-agnostic row embeddings that can be leveraged across a range of downstream tasks. We demonstrate this flexibility on three distinct tasks: classification, regression, and entity matching. We note that our architecture can be extended to problems such as outlier detection, clustering, and entity classification in relational databases, among others. Both the encoder and the task-specific decoders are trained on a large corpus of real-world, unlabeled tables. FlexTab achieves state-of-the-art or competitive performance across the examined tasks. Our results demonstrate that a single shared encoder, paired with task-specific decoders, can serve as an effective general-purpose backbone for diverse tabular prediction problems.
","absKo":"우리는 tabular data에 대한 in-context learning을 위한 유연한 encoder-decoder architecture인 FlexTab을 제안한다. FlexTab은 단일의 task-agnostic encoder와 여러 task-specific decoder를 결합한다. 특정 prediction target과 feature representation을 얽어버리는 기존 tabular in-context learner와 달리, 우리의 설계는 target-agnostic row embedding을 생성하며, 이를 다양한 downstream task에 활용할 수 있다. 우리는 이 유연성을 classification, regression, entity matching의 세 가지 서로 다른 task에서 입증한다. 또한 우리의 architecture는 outlier detection, clustering, relational database에서의 entity classification 같은 문제로도 확장될 수 있음을 보인다. encoder와 task-specific decoder는 모두 실제 세계의 unlabeled table로 이루어진 대규모 corpus에서 학습된다. FlexTab은 검토한 task 전반에서 state-of-the-art 또는 경쟁력 있는 성능을 달성한다. 우리의 결과는 task-specific decoder와 결합된 단일 shared encoder가 다양한 tabular prediction problem을 위한 효과적인 general-purpose backbone이 될 수 있음을 보여준다.","link":"https://openreview.net/forum?id=fOph6xxdyP"},{"id":"qway3qFkUL","en":"Realistic Evaluation of TabPFN v2.5 in Open Environments","ko":"개방 환경에서 TabPFN v2.5의 현실적 평가","authors":"Zi-Jian Cheng, Ziyi Jia, Lan-Zhe Guo","abs":"Tabular data has garnered significant attention in machine learning research. While tree-based models have long dominated tabular machine learning tasks, the recently proposed deep learning model TabPFN v2.5 has emerged, demonstrating unparalleled performance and scalability potential. Although extensive research has been conducted on TabPFN v2.5 to further improve performance, the majority of this research remains confined to closed environments, neglecting the challenges that frequently arise in open environments. This naturally leads to an important question of **whether TabPFN v2.5 can maintain strong performance under open-environment challenges**. To this end, we conduct the first comprehensive evaluation of TabPFN v2.5's adaptability in open environments. We construct a unified evaluation framework covering various real-world challenges and assess the robustness of TabPFN v2.5 under this framework. Empirical results demonstrate that **TabPFN v2.5 shows significant limitations in data-fitting scenarios but is suitable for covariate-shifted, class-imbalanced, and prior-driven tasks**. To advance future research in open environments, we advocate for **open-environment tabular benchmarks featuring multi-metric evaluation, a strengthened emphasis on robustness, dedicated modules for TabPFN v2.5, and the use of synthetic data that reflects open-environment characteristics during training**.
","absKo":"tabular data는 machine learning 연구에서 큰 주목을 받아 왔습니다. tree-based model이 오랫동안 tabular machine learning task를 지배해 왔지만, 최근 제안된 deep learning model TabPFN v2.5는 탁월한 성능과 확장 가능성을 보이며 부상했습니다. TabPFN v2.5의 성능을 더 끌어올리기 위한 연구가 광범위하게 진행되었지만, 그 대부분은 closed environment에 국한되어 있으며 실제로 open environment에서 빈번히 발생하는 문제는 충분히 다루지 못했습니다. 이는 자연스럽게 **TabPFN v2.5가 open-environment challenge에서도 강한 성능을 유지할 수 있는가**라는 중요한 질문으로 이어집니다. 이를 위해 우리는 open environment에서 TabPFN v2.5의 적응성을 최초로 종합 평가합니다. 다양한 실제 상황을 포괄하는 통합 evaluation framework를 구성하고, 이를 바탕으로 TabPFN v2.5의 robustness를 평가합니다. 실험 결과는 **TabPFN v2.5가 data-fitting scenario에서는 상당한 한계를 보이지만, covariate-shift, class-imbalance, prior-driven task에는 적합함**을 보여줍니다. 향후 open-environment 연구를 진전시키기 위해, 우리는 **multi-metric evaluation을 갖춘 open-environment tabular benchmark, robustness에 대한 강화된 강조, TabPFN v2.5 전용 module, 그리고 training 시 open-environment 특성을 반영한 synthetic data의 사용**을 제안합니다.","link":"https://openreview.net/forum?id=qway3qFkUL"},{"id":"U4KiOBxY1X","en":"Inducing Causal Order through Tabular In-Context Learning","ko":"표형 In-Context Learning을 통한 인과 순서 유도","authors":"Sascha Xu, Sarah Mameche, Jilles Vreeken","abs":"Tabular foundation models (TFMs) achieve state-of-the-art predictive performance on tabular data, but primarily rely on correlational structure susceptible to change under distribution shift or intervention.
To address this, we propose inducing causal structure into TFMs by constraining predictive attention to features that precede a given target under a causal ordering. Our architecture differentiably ranks tabular columns and constructs an attention mask that restricts information flow in the anticausal direction.
Crucially, we infer the causal order itself directly from data by likelihood maximization without access to the underlying causal structure during training.
Experiments across diverse classes of structural causal models show that
our method TabOrder reliably infers accurate causal orderings, enabling it to outperform purely associational models under interventions and distribution shift.
","absKo":"Tabular foundation model(TFM)은 tabular data에서 state-of-the-art 예측 성능을 달성하지만, 주로 distribution shift나 intervention 하에서 변하기 쉬운 correlational structure에 의존한다. 이를 해결하기 위해 우리는 causal ordering에 따라 주어진 target보다 앞서는 feature에 predictive attention을 제한함으로써 TFMs에 causal structure를 유도하는 방법을 제안한다. 우리의 architecture는 tabular column을 미분 가능하게 순위화하고, anticausal direction의 정보 흐름을 제한하는 attention mask를 구성한다. 핵심적으로, 우리는 학습 중 underlying causal structure에 접근하지 않고도 likelihood maximization만으로 causal order 자체를 데이터로부터 직접 추론한다. 다양한 structural causal model class 전반의 실험에서, 우리의 방법 TabOrder는 정확한 causal ordering을 안정적으로 추론하며, intervention과 distribution shift 하에서 순수 associative model보다 더 나은 성능을 보이게 한다.","link":"https://openreview.net/forum?id=U4KiOBxY1X"},{"id":"TUYc2XUdwz","en":"Statistically Indistinguishable, Operationally Distinct: A Formal Barrier for Tabular Foundation Models","ko":"통계적으로 구별 불가능하고 운영적으로는 구별되는 것: 표 형태 Foundation Models를 위한 형식적 장벽","authors":"Tassilo Klein, Johannes Hoffart","abs":"Tabular foundation models cannot reason about data produced by running systems without access to the rules that govern them. We make this statement falsifiable. The \\emph{Operational Turing Test} (OTT) constructs pairs of legal and rule-violating database states whose $1$- and $2$-way column-value marginals match to a total variation of $<0.02$; Le~Cam's lemma then bounds any values-only classifier at $\\geq0.49$ Bayes error. Three values-only baselines (XGBoost, TabICL, TabPFN) hit the bound exactly (accuracy $0.50$, pre-registered two one-sided tests (TOST) $p<0.002$), raw row-level access does not help, exposing relational value consistency closes most of the gap, and only a classifier fed by seven executable rule-derived audits reaches $1.00$ classification accuracy. In three matched $100$-state frontier large-language-model (LLM) runs, models given the schema, trigger source, rule tables, and state files classify at most $2/50$ legal states as LEGAL; GPT-5.5 accepts $0/50$ legal states even with higher reasoning effort and a Structured Query Language (SQL) executor. The access-ladder pattern also appears on a second schema with structurally distinct rule families (banking ledger: cross-row balance, cumulative aggregate). The barrier is identifiability, not capacity: scale, data, and richer features cannot cross it without operational grounding.
","absKo":"Tabular foundation model은 그것을 지배하는 규칙에 접근하지 않고서는, 실행 중인 시스템이 생성한 데이터에 대해 추론할 수 없다. 우리는 이 진술을 반증 가능하게 만든다. \\emph{Operational Turing Test}(OTT)는 합법 상태와 규칙 위반 database state의 쌍을 구성하며, 이때 $1$-way와 $2$-way column-value marginal은 total variation $<0.02$로 일치한다. Le~Cam's lemma는 values-only classifier의 Bayes error를 적어도 $0.49$로 상한한다. 세 개의 values-only baseline(XGBoost, TabICL, TabPFN)은 정확히 이 한계에 도달했고(accuracy $0.50$, 사전 등록된 two one-sided tests(TOST) $p<0.002$), raw row-level access는 도움이 되지 않았으며, relational value consistency를 드러내면 대부분의 격차가 사라졌고, 일곱 개의 executable rule-derived audit을 입력받는 classifier만이 $1.00$ classification accuracy에 도달했다. 세 개의 매칭된 $100$-state frontier large-language-model(LLM) run에서 schema, trigger source, rule table, state file을 제공받은 모델들은 LEGAL로 판정해야 할 합법 상태를 최대 $2/50$개만 맞혔다. GPT-5.5는 더 높은 reasoning effort와 Structured Query Language(SQL) executor가 있어도 합법 상태 $0/50$개를 받아들였다. access-ladder 패턴은 구조적으로 구별되는 rule family를 가진 두 번째 schema(은행 ledger: cross-row balance, cumulative aggregate)에서도 나타난다. 장벽은 capacity가 아니라 identifiability다. scale, data, 더 풍부한 feature도 operational grounding 없이는 이를 넘지 못한다.","link":"https://openreview.net/forum?id=TUYc2XUdwz"},{"id":"8QAsmlh1S4","en":"Impact-Driven Event Covariates for Time-Series Foundation Models","ko":"시계열 foundation model을 위한 영향 기반 event covariate","authors":"Elham Alipour, xiaoli zhang, Boyang Tom Jin","abs":"Pretrained time-series foundation models can condition on future-known covariates, but event covariates are often limited to binary indicators or sparse categorical labels. This is problematic for forecast-based anomaly detection: in financial transaction series, recurring holidays, promotions, and settlement cycles induce predictable shifts that event-unaware systems may flag as false positives. We propose impact-driven event covariates, learned from event-centered residual responses across heterogeneous series rather than from event identity alone. Supplying these covariates to zero-shot Chronos-2 on a synthetic benchmark calibrated to empirical financial-transaction signatures reduces WAPE from 0.2872 to 0.2265 and improves anomaly-detection F1 from 0.2573 to 0.4580 relative to a no-event Chronos baseline. The learned covariates also transfer to unseen accounts with limited history without retraining. The results suggest that event covariates are most useful when their temporal alignment matches the underlying business process, providing an effective interface between domain event structure and pretrained time-series foundation models.
","absKo":"사전학습된 time-series foundation model은 미래에 알려진 covariate를 조건으로 사용할 수 있지만, event covariate는 대개 binary indicator 또는 희소한 categorical label에 국한된다. 이는 forecast 기반 anomaly detection에서 문제가 된다. 금융 거래 시계열에서는 반복되는 휴일, 프로모션, 정산 주기가 예측 가능한 변화를 유발하며, event를 인식하지 못하는 시스템은 이를 false positive로 잘못 표시할 수 있다. 우리는 이벤트의 정체성만이 아니라 이질적인 시계열 전반에서 event-centered residual response를 바탕으로 학습된 impact-driven event covariate를 제안한다. 이러한 covariate를 empirical financial-transaction signature에 맞춘 synthetic benchmark에서 zero-shot Chronos-2에 제공하면, no-event Chronos baseline에 비해 WAPE가 0.2872에서 0.2265로 감소하고 anomaly-detection F1이 0.2573에서 0.4580으로 향상된다. 학습된 covariate는 재학습 없이도 제한된 history만 가진 보이지 않던 account로 전이된다. 이 결과는 event covariate가 underlying business process와 시간적 정렬이 맞을 때 가장 유용하며, domain event structure와 사전학습된 time-series foundation model 사이의 효과적인 인터페이스를 제공함을 시사한다.","link":"https://openreview.net/forum?id=8QAsmlh1S4"},{"id":"9SLZGd9Iur","en":"PRAGMA: A Foundation Model for Banking Event Sequences","ko":"PRAGMA: 은행 이벤트 시퀀스를 위한 Foundation Model","authors":"Maxim Ostroukhov, Ruslan Mikhailov, Vladimir Iashin, Artem Sokolov, Andrei Akshonov, Vitaly Protasov, Dmitrii Beloborodov, Vince Mullin, Roman Enzmann, Georgios Kolovos, Jason Renders, Pavel Nesterov, Anton Repushko","abs":"We present PRAGMA, a family of encoder-style foundation models for multi-source banking event sequences. PRAGMA is pre-trained with masked modelling on a large, heterogeneous corpus of user histories, using a key–value–time tokenisation and a two-branch encoder tailored to the discrete, variable-length nature of financial records. The pre-trained backbone transfers to a wide range of downstream tasks (fraud detection, product recommendation, lifetime value, and more), supporting both frozen-embedding probes and lightweight fine-tuning. Across six diverse banking benchmarks, PRAGMA matches or exceeds strong task-specific baselines from a single shared backbone, reducing the need for hand-crafted features. We report only relative improvements, as absolute metrics are commercially sensitive; all shown examples are synthetic.
","absKo":"우리는 multi-source banking event sequence를 위한 encoder-style foundation model 패밀리인 PRAGMA를 제시한다. PRAGMA는 key–value–time tokenisation과 금융 기록의 이산적이고 가변 길이인 특성에 맞춘 two-branch encoder를 사용하여, 대규모의 이질적인 user history corpus에 대해 masked modelling으로 pre-train된다. 이렇게 pre-train된 backbone은 fraud detection, product recommendation, lifetime value 등 광범위한 downstream task로 전이되며, frozen-embedding probe와 lightweight fine-tuning을 모두 지원한다. 여섯 개의 다양한 banking benchmark에서 PRAGMA는 단일 shared backbone으로 강력한 task-specific baseline과 같거나 그 이상의 성능을 보이며, 수작업 feature engineering의 필요성을 줄인다. 절대 metric은 상업적으로 민감하므로 상대적 개선만 보고하며, 제시된 예시는 모두 synthetic이다.","link":"https://openreview.net/forum?id=9SLZGd9Iur"},{"id":"2Dammq2Yt0","en":"EveryQuery: Zero-Shot Clinical Prediction via Task-Conditioned Pretraining","ko":"EveryQuery: task-conditioned pretraining을 통한 zero-shot 임상 예측","authors":"Payal Chandak, Gregory Kondas, Isaac S. Kohane, Matthew B.A. McDermott","abs":"Foundation models pretrained on electronic health records (EHR) have demonstrated zero-shot clinical prediction. They use an autoregressive procedure to generate synthetic patient futures and aggregate statistics over sampled trajectories, which is computationally expensive, statistically noisy for rare events, and not natively promptable. We introduce EveryQuery, an EHR foundation model that achieves zero-shot inference through task-conditioned pretraining over a structured query language. Rather than generating future trajectories, EveryQuery takes a patient's history and a query $q = (c, \\Delta t)$ specifying a target code and a prediction horizon, and directly estimates the outcome probability via a single forward pass. On MIMIC-IV, EveryQuery outperforms an autoregressive baseline on 85% of 200 (code, duration) prediction tasks (mean $\\Delta$AUC $+0.17$, 95\\% CI $[0.14, 0.19]$). The advantage is most pronounced for rare events as autoregressive performance is strongly coupled to event prevalence, while EveryQuery's is prevalence-invariant. EveryQuery also generalizes to held-out codes and to held-out durations, including extrapolation beyond the longest training horizon. Together, these results suggest that task-conditioned pretraining is a viable paradigm for EHR foundation models.
","absKo":"electronic health records (EHR)로 사전학습된 foundation model은 zero-shot clinical prediction을 보여주었다. 이들은 autoregressive procedure를 사용해 합성된 patient future를 생성하고 샘플링된 trajectory 위에서 통계를 집계하는데, 이는 계산 비용이 크고 희귀 사건에 대해서는 통계적으로 noisy하며, native하게 prompt할 수도 없다. 우리는 structured query language 위에서 task-conditioned pretraining을 통해 zero-shot inference를 달성하는 EHR foundation model인 EveryQuery를 소개한다. 미래 trajectory를 생성하는 대신, EveryQuery는 환자의 history와 target code 및 prediction horizon을 지정하는 query $q = (c, \\Delta t)$를 입력으로 받아 단일 forward pass로 outcome probability를 직접 추정한다. MIMIC-IV에서 EveryQuery는 200개의 (code, duration) prediction task 중 85%에서 autoregressive baseline보다 우수했으며(mean $\\Delta$AUC $+0.17$, 95\\% CI $[0.14, 0.19]$), 특히 희귀 사건에서 그 이점이 가장 두드러졌다. autoregressive 성능은 event prevalence와 강하게 결합되는 반면, EveryQuery의 성능은 prevalence에 불변이기 때문이다. 또한 EveryQuery는 hold-out code와 hold-out duration으로도 일반화되며, 가장 긴 training horizon을 넘어서는 extrapolation도 가능하다. 종합하면, 이러한 결과는 task-conditioned pretraining이 EHR foundation model을 위한 유망한 paradigm임을 시사한다.","link":"https://openreview.net/forum?id=2Dammq2Yt0"},{"id":"FcHLKlJkZl","en":"A Multi-Agent Pipeline for Source-Grounded Synthetic Note Generation from Longitudinal Structured EHR","ko":"종단적 구조화 EHR에서 출처 기반 합성 노트 생성을 위한 multi-agent 파이프라인","authors":"Nina Fatehi, Reihaneh Hassanzadeh, Meysam Ghaffari, Animesh Agarwal, Carlos Morato","abs":"Structured EHR is abundant but sparse, coded, and difficult to use directly for note-centric clinical modeling. We present MedNotes, a multi-agent synthetic data generation pipeline that converts longitudinal structured EHR into source-grounded clinical note representations under explicit quality control. MedNotes treats structured-data-to-text synthesis as a closed-loop agentic process: a generator proposes a note, evaluator agents diagnose factual, coverage, structural, and hallucination-related failures, and a router accepts, revises, or rejects the draft. On 1{,}485 EHRSHOT encounters, MedNotes achieves a 91.4\\% pass rate, with mean factual accuracy of 0.980, completeness of 99.1\\%, structural fidelity of 0.761, and 0.028 critical hallucinations per encounter. Iterative refinement improves acceptance from 69.4\\% to 91.4\\%. The resulting synthetic corpus improves downstream CPT prediction and paragraph-level section prediction when combined with limited real data.
","absKo":"구조화된 EHR는 풍부하지만 희소하고 코드화되어 있으며, 노트 중심 임상 모델링에 직접 사용하기 어렵습니다. 우리는 명시적 품질 관리를 바탕으로 종적 structured EHR를 source-grounded clinical note 표현으로 변환하는 다중 에이전트 합성 데이터 생성 파이프라인인 MedNotes를 제안합니다. MedNotes는 structured-data-to-text synthesis를 닫힌 루프의 agentic process로 다룹니다. 생성기(generator)가 노트를 제안하면 evaluator agents가 사실성, 커버리지, 구조, 환각 관련 실패를 진단하고, router가 초안을 수락, 수정 또는 거절합니다. 1{,}485개의 EHRSHOT encounter에서 MedNotes는 91.4\\%의 통과율을 달성했으며, 평균 사실 정확도 0.980, 완전성 99.1\\%, 구조 충실도 0.761, encounter당 치명적 환각 0.028을 기록했습니다. 반복적 refinement는 수락률을 69.4\\%에서 91.4\\%로 향상시켰습니다. 이렇게 생성된 합성 코퍼스는 제한된 실제 데이터와 결합했을 때 downstream CPT prediction과 paragraph-level section prediction을 개선합니다.","link":"https://openreview.net/forum?id=FcHLKlJkZl"},{"id":"QArxQg4U71","en":"Enhancing Tabular Learners with Context-Aware Semantic Embeddings","ko":"문맥 인지 의미론적 임베딩으로 tabular learner 강화하기","authors":"Günther Schindler, Maximilian Schambach, Johannes Höhne","abs":"While modern tabular learners excel at capturing statistical patterns, they frequently operate in a semantic vacuum, treating categorical values as discrete symbols and ignoring the rich world knowledge inherent in feature names and cell entries.
We propose Context-Aware Semantic Embeddings (CASE), a novel framework that bridges the gap between the semantic understanding of Large Language Models (LLMs) and the statistical capabilities of tabular learners.
Unlike existing methods that embed rows in isolation, CASE utilizes a contextualization strategy:
we pre-fill a tabular LLM’s KV cache with a representative sample of rows to establish a persistent anchor of the dataset’s semantic distribution.
This ensures that generated row embeddings are dynamically contextualized, resolving semantic ambiguities and anchoring representations in domain-specific context.
Our experiments across several benchmarks (CARTE, TextTab, and TabArena) demonstrate that CASE significantly improve performance -- particularly in low-data regimes and on semantically rich datasets -- setting a new state of the art when combined with tabular in-context learners.
","absKo":"현대의 tabular learner는 통계적 패턴을 포착하는 데 뛰어나지만, 범주형 값을 이산 기호로만 취급하고 feature name과 cell entry에 내재한 풍부한 세계 지식을 무시함으로써 종종 semantic vacuum 상태에서 동작한다. 우리는 Context-Aware Semantic Embeddings(CASE)를 제안한다. 이는 Large Language Models(LLMs)의 의미 이해와 tabular learner의 통계적 능력 사이의 간극을 메우는 새로운 framework다. 행을 고립적으로 embedding하는 기존 방법과 달리, CASE는 contextualization 전략을 사용한다. 우리는 대표성 있는 row sample로 tabular LLM의 KV cache를 미리 채워, 데이터셋의 semantic distribution에 대한 지속적인 anchor를 형성한다. 이는 생성된 row embedding이 동적으로 문맥화되도록 하여 semantic ambiguity를 해소하고, 표현을 domain-specific context에 고정시킨다. 여러 benchmark(CARTE, TextTab, TabArena)에 걸친 실험에서 CASE는 특히 low-data regime과 semantic richness가 높은 데이터셋에서 성능을 크게 향상시키며, tabular in-context learner와 결합했을 때 새로운 state of the art를 달성함을 보였다.","link":"https://openreview.net/forum?id=QArxQg4U71"},{"id":"rmpLcZtJ4l","en":"Online Test-Time Adaptation in Tabular Data with Minimal High-Certainty Samples","ko":"최소한의 고확신 표본을 사용하는 표형 데이터의 온라인 test-time adaptation","authors":"Zhiqing Xiao, Mingming Zhang, Junbo Zhao","abs":"Tabular data is ubiquitous across real-world applications, yet most representation learning methods still assume an unrealistic IID setting. In practice, tabular streams often exhibit mixed covariate and label shifts, making existing domain generalization or vision-oriented test-time adaptation methods ineffective. We propose a simple yet effective \\textbf{O}nline \\textbf{T}est-\\textbf{T}ime \\textbf{A}daptation approach for \\textbf{T}abular data (OT3A). OT3A uses high-confidence and domain-consistent pseudo-labels to estimate and correct target label distribution shifts, then applies self-training and entropy minimization on these reliable samples for online adaptation. Extensive experiments across diverse distribution shift scenarios show that OT3A significantly outperforms existing methods, highlighting its efficacy and practicality for real-world tabular adaptation.
","absKo":"Tabular data는 실제 응용 전반에 널리 존재하지만, 대부분의 representation learning method는 여전히 비현실적인 IID 설정을 가정한다. 실제로 tabular stream은 covariate shift와 label shift가 혼재된 형태를 자주 보이므로, 기존의 domain generalization이나 vision-oriented test-time adaptation 방법은 효과가 떨어진다. 우리는 tabular data를 위한 간단하지만 효과적인 \\textbf{O}nline \\textbf{T}est-\\textbf{T}ime \\textbf{A}daptation 접근법(OT3A)을 제안한다. OT3A는 high-confidence이면서 domain-consistent한 pseudo-label을 사용해 target label distribution shift를 추정하고 보정한 뒤, 신뢰할 수 있는 샘플에 대해 self-training과 entropy minimization을 적용하여 online adaptation을 수행한다. 다양한 distribution shift 시나리오에 걸친 광범위한 실험은 OT3A가 기존 방법을 크게 능가함을 보여주며, 실제 tabular adaptation에 대한 효용성과 실용성을 강조한다.","link":"https://openreview.net/forum?id=rmpLcZtJ4l"},{"id":"Sc4U6RInKR","en":"Adapt the Data, Not the Model: Input-Space Adaptation for Frozen Time-Series Predictors","ko":"모델이 아니라 데이터를 적응시켜라: 고정된 시계열 예측기의 입력 공간 적응","authors":"Omer Gotfrid, Dvir Aran, Barak Gahtan, Alex M. Bronstein","abs":"Clinical predictors degrade across hospitals, but regulatory and hardware constraints often forbid changing the validated model. We introduce INPUTADAPTER, an input-space adapter that adapts the data, not the model, while the downstream predictor stays strictly frozen. Most domain adaptation methods assume the encoder is trainable; the complementary regime, where weights are locked but target labels are available, arises in SaMD transfer, firmware-embedded models, and edge deployment, and classical alignment losses cannot propagate through a frozen encoder. INPUTADAPTER is trained to transform target-domain windows into inputs that a predictor trained on the source distribution can consume, without modifying the predictor; optionally, k nearest source exemplars per timestep are retrieved in the encoder's latent space and fused via cross-attention for additional context. Across five ICU tasks (MIMIC-IV adapted to eICU and to HiRID) and all five AdaTime benchmarks, our method outperforms or ties every comparable baseline: four frozen-backbone DA methods, an affine statistics baseline, end-to-end fine-tuning of the predictor, three end-to-end DA methods on the clinical classification tasks, all eleven published end-to-end methods in AdaTime's suite together with two additional strong baselines (CLUDA, RAINCOAT), under the same protocol and five test-time adaptation methods (T3A, SHOT, TENT, SAR, EATA). Our adapter exceeds both the eICU- and the HiRID-native LSTM on four of five clinical tasks, with the largest AUCPR gain on AKI on eICU (+14.1 points).
","absKo":"Clinical predictor는 병원 간에 성능이 저하되지만, 규제 및 하드웨어 제약 때문에 검증된 모델을 변경할 수 없는 경우가 많다. 우리는 model은 그대로 frozen한 채 data만 적응시키는 input-space adapter인 INPUTADAPTER를 소개한다. 이는 downstream predictor를 엄격히 고정한 상태에서 data를 적응시킨다. 대부분의 domain adaptation 방법은 encoder가 학습 가능하다고 가정하지만, weight가 잠겨 있으나 target label은 이용 가능한 상보적 상황은 SaMD transfer, firmware에 내장된 모델, edge deployment에서 나타나며, classical alignment loss는 frozen encoder를 통해 전파될 수 없다. INPUTADAPTER는 target-domain window를 source distribution에서 학습된 predictor가 소비할 수 있는 input으로 변환하도록 학습되며, predictor 자체는 수정하지 않는다. 선택적으로, timestep마다 k개의 nearest source exemplar를 encoder의 latent space에서 검색하여 cross-attention으로 결합해 추가 문맥을 제공한다. 다섯 개의 ICU task(MIMIC-IV를 eICU와 HiRID에 적응)와 모든 다섯 AdaTime benchmark 전반에서, 우리 방법은 비교 가능한 모든 baseline보다 우수하거나 동등한 성능을 보인다: 동일한 protocol 아래의 네 가지 frozen-backbone DA method, affine statistics baseline, predictor의 end-to-end fine-tuning, 임상 분류 task에서의 세 가지 end-to-end DA method, AdaTime suite의 공개된 11개 end-to-end method와 두 개의 추가 강력한 baseline(CLUDA, RAINCOAT), 그리고 다섯 가지 test-time adaptation method(T3A, SHOT, TENT, SAR, EATA). 우리의 adapter는 eICU와 HiRID-native LSTM 모두를 다섯 개 임상 task 중 네 개에서 능가하며, eICU의 AKI에서 가장 큰 AUCPR 향상(+14.1 points)을 보였다.","link":"https://openreview.net/forum?id=Sc4U6RInKR"},{"id":"uHquV6aFH3","en":"Biological Hallucinations in Time-Series Foundation Models: A Benchmark on High-Frequency Neural Waveforms","ko":"시계열 foundation model의 생물학적 환각: 고주파 신경 파형 벤치마크","authors":"Calvin H. Cho","abs":"Time-Series Foundation Models (TSFMs) pretrained predominantly on financial, meteorological, and energy datasets have demonstrated impressive zero-shot generalization, yet their applicability to high-frequency biological signals remains critically under-examined. Neural waveforms such as electroencephalography (EEG) exhibit properties fundamentally distinct from economic or climate time series: strict stationarity within frequency bands, non-linear oscillatory dynamics governed by synaptic physiology, and spectral fingerprints that directly encode neurological state. We present the first systematic benchmark of two state-of-the-art TSFMs—Chronos-T5-Small and TimesFM-1.0-200M—against classical zero-shot baselines (DLinear, PatchTST) on the PhysioNet EEG Motor Imagery Database (160 Hz). We introduce Biological Hallucinations: model outputs that are statistically plausible under generic time-series priors but spectrally incoherent with neurophysiological reality, as measured by Jensen-Shannon divergence of power spectral densities. Our results show that TSFMs exhibit up to 0.6×higher spectral divergence than DLinear despite comparable MSE, exposing a fundamental gap between token-level reconstruction fidelity and biological signal integrity. We characterize performance degradation under frequency downsampling (160→40 Hz), identify three structural root causes, and outline a research agenda for neuro-aware foundation models.
","absKo":"Time-Series Foundation Models(TSFMs)는 주로 금융, 기상, 에너지 dataset으로 pretrain되었음에도 인상적인 zero-shot generalization을 보여주었지만, 고주파 biological signal에 대한 적용 가능성은 여전히 충분히 검토되지 않았다. electroencephalography(EEG)와 같은 neural waveform은 경제 또는 기후 time series와 근본적으로 다른 성질을 가진다: frequency band 내에서의 엄격한 stationarity, synaptic physiology가 지배하는 비선형 oscillatory dynamics, 그리고 neurological state를 직접 인코딩하는 spectral fingerprint가 그것이다. 우리는 PhysioNet EEG Motor Imagery Database(160 Hz)에서 두 개의 state-of-the-art TSFM인 Chronos-T5-Small과 TimesFM-1.0-200M을 classical zero-shot baseline(DLinear, PatchTST)과 비교하는 첫 systematic benchmark를 제시한다. 우리는 Biological Hallucinations를 도입한다: generic time-series prior 하에서는 통계적으로 그럴듯하지만 neurophysiological reality와는 spectral적으로 일관되지 않은 model output으로, 이는 power spectral density의 Jensen-Shannon divergence로 측정한다. 우리의 결과는 TSFM이 비교 가능한 MSE에도 불구하고 DLinear보다 최대 0.6× 더 높은 spectral divergence를 보이며, token-level reconstruction fidelity와 biological signal integrity 사이의 근본적 간극을 드러낸다는 것을 보여준다. 우리는 frequency downsampling(160→40 Hz) 하에서의 performance degradation을 특성화하고, 세 가지 구조적 근본 원인을 식별하며, neuro-aware foundation model을 위한 research agenda를 제안한다.","link":"https://openreview.net/forum?id=uHquV6aFH3"},{"id":"RcsaxrdpfE","en":"A Generative Foundation Model for Heterogeneous Tabular Data","ko":"이질적 tabular 데이터를 위한 생성형 foundation model","authors":"Xiangjian Jiang, Mingxuan Liu, Nikola Simidjievski, Tassilo Klein, Mateja Jamnik","abs":"Generative modelling is a demanding test of foundation models, because it requires robust, holistic representation learning for a given data modality, rather than optimisation for a supervised prediction target alone. While recent work on tabular foundation models has achieved remarkable progress in predictive modelling, generative tabular foundation models remain underexplored. Existing tabular foundation generators, in particular, have not yet consistently matched strong dataset-specific generators in synthetic data quality. A key reason is their misalignment with the distinctive causal structural prior of heterogeneous tabular data.
In this paper, we address this gap by introducing a novel tabular foundation model, **TabFORGE**, built on pretrained **Tab**ular **FO**undational **R**epresentations for **GE**neration. TabFORGE is designed to utilise the implicitly learned causal information underlying diverse tabular datasets in a unified latent space induced by a pretrained causality-aware feature encoder. It further decouples latent modelling from decoding through a two-stage design: we first pretrain a score-based diffusion transformer, and then pretrain a denoising-aligned decoder using the denoised latent embeddings. This design elegantly mitigates the distribution shifts in latent embeddings that typically arise between training and inference.
We evaluate TabFORGE comprehensively against 22 benchmark methods on 45 real-world datasets. Our results show that TabFORGE effectively learns and leverages generalisable tabular representations, enabling efficient generation of high-quality synthetic tabular data, particularly with strong structural fidelity.
","absKo":"Generative modelling은 foundation model에 대한 까다로운 시험이다. 왜냐하면 supervised prediction target 하나를 최적화하는 것만이 아니라, 주어진 data modality에 대해 robust하고 총체적인 representation learning을 요구하기 때문이다. 최근 tabular foundation model에 대한 연구는 predictive modelling에서 괄목할 만한 진전을 이뤘지만, generative tabular foundation model은 아직 충분히 탐구되지 않았다. 특히 기존 tabular foundation generator들은 synthetic data quality에서 강력한 dataset-specific generator를 일관되게 따라잡지 못했다. 핵심 이유는 heterogeneous tabular data가 지니는 독특한 causal structural prior와의 불일치에 있다.\n이 논문에서는 이를 해결하기 위해, pretrained **Tab**ular **FO**undational **R**epresentations for **GE**neration 위에 구축된 새로운 tabular foundation model **TabFORGE**를 제안한다. TabFORGE는 pretrained causality-aware feature encoder에 의해 유도된 unified latent space에서, 다양한 tabular dataset 이면에 암묵적으로 학습된 causal information을 활용하도록 설계되었다. 또한 두 단계 설계를 통해 latent modelling과 decoding을 분리한다. 먼저 score-based diffusion transformer를 pretrain하고, 이후 denoised latent embedding을 사용해 denoising-aligned decoder를 pretrain한다. 이 설계는 학습과 inference 사이에서 일반적으로 발생하는 latent embedding의 distribution shift를 우아하게 완화한다.\n우리는 45개의 real-world dataset에서 22개의 benchmark method와 TabFORGE를 종합적으로 비교 평가한다. 결과는 TabFORGE가 generalisable tabular representation을 효과적으로 학습하고 활용함으로써, 특히 강한 structural fidelity를 갖는 고품질 synthetic tabular data를 효율적으로 생성할 수 있음을 보여준다.","link":"https://openreview.net/forum?id=RcsaxrdpfE"},{"id":"3bzbWeaL5j","en":"TableFactory: Generating Semantically Linked Tabular Data via Multi-Agent Behavioral Simulation","ko":"TableFactory: Multi-Agent Behavioral Simulation을 통한 의미적으로 연결된 Tabular Data 생성","authors":"Mingxuan Liu, Xiangjian Jiang, Johannes Hoffart, Tassilo Klein","abs":"Multi-table operational data is scarce, and much synthetic tabular work targets single-table distribution matching. We present TableFactory, a prompt-conditioned multi-agent simulator that produces semantically linked relational tables for small-business scenarios. From a short text prompt (e.g., ``simulate a butcher shop in a morning market in Barcelona''), an LLM-backed generator builds a full business configuration, such as catalogs, suppliers, staffing, demand, and policies, augmented with macro attributes such as GDP and tax rates. Five abstract entity roles interact through a shared relational world state, materializing a fixed schema of twenty foreign-key-linked tables per run. The environment supports LLM, RL (PPO, SAC, DDPG), and rule-based controllers, together with an MBTI-style persona module for behavioral diversity. We report diagnostic studies of controller interchangeability, scenario and regional variation, and persona effects, and release reproducible table bundles with configurations and metadata. Code is open-sourced.
","absKo":"다중 테이블 운영 데이터는 희소하며, 많은 synthetic tabular 연구는 단일 테이블 distribution matching에 초점을 맞춘다. 우리는 소규모 비즈니스 시나리오를 위해 의미적으로 연결된 relational table을 생성하는 prompt-conditioned multi-agent simulator인 TableFactory를 제시한다. 짧은 텍스트 prompt(예: ``simulate a butcher shop in a morning market in Barcelona'')로부터 LLM 기반 generator가 catalog, supplier, staffing, demand, policy 같은 완전한 비즈니스 구성을 만들고, 여기에 GDP와 tax rate 같은 macro attribute를 보강한다. 5개의 abstract entity role이 shared relational world state를 통해 상호작용하며, 실행마다 foreign key로 연결된 20개의 table로 이루어진 고정 schema를 materialize한다. 이 환경은 LLM, RL (PPO, SAC, DDPG), rule-based controller를 지원하며, 행동 다양성을 위한 MBTI-style persona module도 함께 제공한다. 우리는 controller interchangeability, scenario 및 regional variation, persona effect에 대한 진단 연구를 보고하고, 설정과 metadata가 포함된 재현 가능한 table bundle을 공개한다. 코드는 open-source로 제공된다.","link":"https://openreview.net/forum?id=3bzbWeaL5j"},{"id":"FiA40VNrXZ","en":"Grounded Time-Series Anomaly Detection with Compact Multimodal Models and Preference Optimization","ko":"콤팩트한 multimodal model과 preference optimization을 활용한 grounded 시계열 이상 탐지","authors":"Werner Laemlin, Svitlana Vyetrenko","abs":"We study time-series anomaly detection (TSAD) with compact multimodal
models that jointly perform anomaly interval localization and generate verifiable
natural-language explanations. We introduce a staged V0--V3 framework that
progressively increases input richness and output structure, enabling a 3B
vision-language model to close the gap with GPT-5.2 on out-of-distribution benchmarks
while producing citation-grounded explanations. A key limitation is that
post-SFT explanations exhibit structured grounding errors that invalidate
factual correctness under strict verification. We therefore adopt
DPOP, a positive-anchoring extension, to preserve
the likelihood of well-formed outputs during optimization, raising the
fully-truthful explanation rate from 72.4\\% to 92.6\\% while maintaining
localization performance. Our results show that explicit anchoring makes
grounded preference optimization practical for reliable structured
reasoning with compact multimodal models under strict output constraints.
","absKo":"우리는 anomaly interval localization과 검증 가능한 자연어 설명 생성을 함께 수행하는 compact multimodal model을 이용한 time-series anomaly detection(TSAD)을 연구합니다. 우리는 입력의 풍부함과 출력 구조를 점진적으로 높이는 staged V0--V3 framework를 제안하며, 이를 통해 3B vision-language model이 out-of-distribution benchmark에서 GPT-5.2와의 격차를 줄이면서 citation-grounded explanation을 생성할 수 있게 합니다. 핵심 한계는 post-SFT 설명이 strict verification 하에서 factual correctness를 무너뜨리는 구조화된 grounding error를 보인다는 점입니다. 따라서 우리는 optimization 동안 잘 형성된 출력의 likelihood를 보존하기 위해 positive-anchoring extension인 DPOP을 채택했고, 그 결과 localization 성능을 유지하면서 fully-truthful explanation rate를 72.4\\%에서 92.6\\%로 높였습니다. 우리의 결과는 명시적 anchoring이 strict output constraint 하에서 compact multimodal model로 신뢰할 수 있는 구조적 추론을 수행하는 grounded preference optimization을 실용적으로 만든다는 것을 보여줍니다.","link":"https://openreview.net/forum?id=FiA40VNrXZ"},{"id":"vQeKbsy347","en":"OphthaDT: Generative Digital Twins for Forecasting Visual Acuity Trajectories in Ophthalmology","ko":"OphthaDT: 안과에서 시력 궤적 예측을 위한 생성형 digital twin","authors":"Pietro Belligoli, Nikita Makarov, Sayedali Shetab Boushehri, Fabian Schmich, Raul Rodriguez-Esteban, Michael Patrick Menden","abs":"Precision medicine in ophthalmology requires accurate longitudinal predictions, but the fragmented nature of multimodal clinical data remains a major barrier to accurate forecasting. We introduce OphthaDT, a large language model (LLM) based digital twin for ophthalmology that serializes longitudinal patient histories from $3{,}220$ patients across four Phase III clinical trials into structured narratives to forecast best corrected visual acuity (BCVA). In benchmarks spanning up to 100 weeks, OphthaDT demonstrated the lowest prediction error in neovascular age-related macular degeneration (nAMD), achieving an average mean absolute error (MAE) reduction of 6.0\\% compared to all established baselines. In diabetic macular edema (DME), OphthaDT demonstrated competitive performance against all baselines while outperforming Random Forest and XGBoost by an average MAE reduction of 2.6\\% and 6.9\\%, respectively. Results reveal that OphthaDT's predictive advantage scales with trajectory complexity: whereas linear models remain effective for the more stable treatment responses of DME, OphthaDT's capacity is better suited for capturing the high longitudinal variability of nAMD. Finally, OphthaDT handles irregular sampling without explicit imputation, positioning LLM-based clinical trajectory modeling as a methodology that could reduce patient burden and accelerate drug development.
","absKo":"안과학의 정밀의료는 정확한 종단 예측을 필요로 하지만, 다중모달 임상 데이터의 파편화된 특성은 정확한 예측의 주요 장벽으로 남아 있다. 우리는 안과학을 위한 대형 언어 모델(LLM) 기반 digital twin인 OphthaDT를 소개한다. 이 모델은 네 개의 Phase III 임상시험에 참여한 $3{,}220$명의 환자에 대한 종단 병력을 구조화된 서사로 직렬화하여 best corrected visual acuity (BCVA)를 예측한다. 최대 100주에 걸친 benchmark에서 OphthaDT는 neovascular age-related macular degeneration (nAMD)에서 가장 낮은 예측 오차를 보였으며, 모든 기존 baseline에 비해 평균 mean absolute error (MAE)를 6.0\\% 줄였다. diabetic macular edema (DME)에서는 OphthaDT가 모든 baseline과 경쟁 가능한 성능을 보이면서도 Random Forest와 XGBoost를 평균 MAE 감소율 2.6\\%와 6.9\\%로 각각 능가했다. 결과는 OphthaDT의 예측 우위가 trajectory 복잡도에 따라 확장됨을 보여준다. 즉, 더 안정적인 DME의 치료 반응에서는 linear model이 여전히 효과적인 반면, OphthaDT의 역량은 nAMD의 높은 종단 변동성을 포착하는 데 더 적합하다. 마지막으로, OphthaDT는 explicit imputation 없이 irregular sampling을 처리하므로, LLM 기반 임상 trajectory modeling이 환자 부담을 줄이고 drug development를 가속할 수 있는 방법론임을 보여준다.","link":"https://openreview.net/forum?id=vQeKbsy347"},{"id":"rwtcugrpDq","en":"Benchmarking Attention for Tabular Foundation Models","ko":"tabular foundation models를 위한 attention 벤치마킹","authors":"Maximilian Schambach, Clemens Biehl, Sam Thelin","abs":"Tabular in-context learners such as TabPFN rely on alternating row and column attention over 2D sequences of latent embeddings.
These attention patterns differ markedly from the one-dimensional case in language models: row attention involves longer sequences while column attention operates on much shorter ones.
Furthermore, the strided memory layout of the data makes producing contiguous tensors costly.
Yet efficient attention has been studied mostly for one-dimensional sequences, leaving the two-dimensional tabular setting unexplored.
To this end, we study the unique characteristics of tabular attention and benchmark different backends -- Torch SDPA (efficient and cuDNN) and FlashAttention-2, 3, and 4 -- measuring throughput across realistic tabular shapes on an H100 GPU.
We find that the optimal choice differs between column and row attention: cuDNN-based SDPA dominates column attention at short-to-medium sequence lengths, while FlashAttention-3 dominates row attention by supporting a more compact stride layout directly, avoiding costly tensor copies.
","absKo":"TabPFN과 같은 tabular in-context learner는 2D latent embedding sequence 위에서 row와 column을 번갈아 사용하는 attention에 의존한다.\n이러한 attention pattern은 language model에서의 1차원 경우와 뚜렷하게 다르다. row attention은 더 긴 sequence를 다루는 반면, column attention은 훨씬 더 짧은 sequence에서 동작한다.\n또한 data의 strided memory layout 때문에 연속적인 tensor를 생성하는 비용이 크다.\n그럼에도 efficient attention은 주로 1차원 sequence에서만 연구되어 왔고, 2차원 tabular setting은 거의 탐구되지 않았다.\n\n이를 위해 우리는 tabular attention의 고유한 특성을 연구하고, 현실적인 tabular shape 전반에서 H100 GPU를 사용해 throughput을 측정하며 서로 다른 backend - Torch SDPA(efficient 및 cuDNN), FlashAttention-2, 3, 4 - 를 benchmark한다.\n\n우리는 최적의 선택이 column attention과 row attention에서 다르다는 점을 발견했다. cuDNN 기반 SDPA는 짧은 길이에서 중간 길이의 sequence에 대해 column attention을 지배하는 반면, FlashAttention-3는 더 compact한 stride layout을 직접 지원하여 비용이 큰 tensor copy를 피함으로써 row attention에서 우세하다.","link":"https://openreview.net/forum?id=rwtcugrpDq"},{"id":"WWriHdAbOm","en":"Graph In-Context Operator Networks for Generalizable Spatiotemporal Prediction","ko":"일반화 가능한 시공간 예측을 위한 Graph In-Context Operator Network","authors":"Chenghan Wu, Zongmin Yu, Boai Sun, Liu Yang","abs":"In-context operator learning enables neural networks to infer solution operators from contextual examples without weight updates. While prior work has demonstrated the effectiveness of this paradigm in leveraging vast datasets, a systematic comparison against single-operator learning using identical training data has been absent. We address this gap through controlled experiments comparing in-context operator learning against classical operator learning (single-operator models trained without contextual examples), under the same training steps and dataset. To enable this investigation on real-world spatiotemporal systems, we propose GICON (Graph In-Context Operator Network), combining graph message passing for geometric generalization with example-aware positional encoding for cardinality generalization. Experiments on air quality prediction across two Chinese regions show that in-context operator learning outperforms classical operator learning on complex tasks, generalizing across spatial domains and scaling robustly from few training examples to 100 at inference.
","absKo":"In-context operator learning은 neural network가 weight update 없이 contextual example로부터 solution operator를 추론할 수 있게 한다. 선행 연구가 방대한 데이터를 활용하는 이 패러다임의 효과를 보여주었지만, 동일한 training data를 사용한 single-operator learning과의 체계적 비교는 없었다. 우리는 동일한 training step과 dataset 하에서 in-context operator learning과 classical operator learning(contextual example 없이 학습된 single-operator model)을 비교하는 통제 실험을 통해 이 공백을 메운다. 실제 spatiotemporal system에서의 이러한 조사를 가능하게 하기 위해, 우리는 기하학적 generalization을 위한 graph message passing과 cardinality generalization을 위한 example-aware positional encoding을 결합한 GICON(Graph In-Context Operator Network)을 제안한다. 중국의 두 지역에서 수행한 air quality prediction 실험은 in-context operator learning이 복잡한 task에서 classical operator learning보다 우수하며, spatial domain을 가로질러 일반화하고 적은 training example에서 inference 시 100개까지도 안정적으로 확장됨을 보여준다.","link":"https://openreview.net/forum?id=WWriHdAbOm"},{"id":"4gmLDG0aGC","en":"Beyond Average Leaderboards: When Explicit Graph Priors Help Tabular Foundation Models","ko":"평균 리더보드를 넘어: 명시적 Graph Prior가 Tabular Foundation Model에 도움이 되는 경우","authors":"Franck Le, Keith Grueneberg, Erich M Nahum, Vadim Sheinin","abs":"Average benchmark leaderboards can obscure an important fact about tabular learning: the best-performing model often depends on the dataset. Recent tabular models already exploit information from other rows, for example through row-wise attention or in-context conditioning on support examples, yet it remains unclear when they benefit from an explicit, reusable graph prior over instances. We study this question with LATTICE, a graph-augmented tabular foundation model that refines pretrained row embeddings using an instance-anchor graph and supports both inductive and transductive inference. On a 413-dataset complete-case benchmark, transductive LATTICE significantly outperforms five of seven baselines but trails TabPFN-2.5 overall by 6.8 macro-F1 points, while inductive LATTICE is generally weaker. However, this average ranking hides a clear regime structure. A pairwise regime analysis against TabPFN-2.5 identifies a favorable setting—high instance-to-feature ratio and moderate class balance—where LATTICE reverses the overall ranking, significantly outperforms all seven baselines, and exceeds TabPFN-2.5 by 3.7--10.1 points. These results show that explicit graph priors are not universal upgrades for tabular foundation models, but can be highly effective in predictable structured-data regimes. More broadly, they suggest that tabular foundation models should be evaluated not only by average leaderboard position, but also by the dataset regimes in which their structural assumptions are most beneficial.
","absKo":"평균 benchmark leaderboard는 tabular learning의 중요한 사실을 가릴 수 있다. 최고 성능 모델은 데이터셋에 따라 달라지는 경우가 많다. 최근 tabular model은 row-wise attention이나 support example에 대한 in-context conditioning 같은 방식을 통해 다른 row의 정보를 이미 활용하고 있지만, instance에 대한 명시적이고 재사용 가능한 graph prior가 언제 이득이 되는지는 아직 불분명하다. 우리는 이 질문을 LATTICE와 함께 연구한다. LATTICE는 pretrained row embedding을 instance-anchor graph로 정제하고 inductive와 transductive inference를 모두 지원하는 graph-augmented tabular foundation model이다. 413개 dataset으로 구성된 complete-case benchmark에서 transductive LATTICE는 7개 baseline 중 5개를 유의미하게 능가하지만, 전체적으로는 TabPFN-2.5에 비해 macro-F1 6.8점 뒤처진다. 반면 inductive LATTICE는 대체로 더 약하다. 그러나 이러한 평균 순위는 뚜렷한 regime structure를 가린다. TabPFN-2.5와의 pairwise regime analysis는 높은 instance-to-feature ratio와 중간 수준의 class balance라는 유리한 설정을 식별하며, 이 regime에서는 LATTICE가 전체 순위를 뒤집어 7개 baseline 모두를 유의미하게 능가하고 TabPFN-2.5보다 3.7--10.1점 높다. 이 결과는 명시적 graph prior가 tabular foundation model의 보편적 개선책은 아니지만, 예측 가능한 structured-data regime에서는 매우 효과적일 수 있음을 보여 준다. 더 넓게는 tabular foundation model을 평가할 때 평균 leaderboard 위치만이 아니라, 구조적 가정이 가장 유리하게 작동하는 dataset regime도 함께 보아야 함을 시사한다.","link":"https://openreview.net/forum?id=4gmLDG0aGC"}];window.dispatchEvent(new CustomEvent("papers-loaded",{detail:"54066"}));