Single-cell foundation models (scFMs) including scGPT, Geneformer, and scFoundation now report cell-type classification accuracies of 0.85 to 0.95 on standard benchmarks. The community routinely interprets clustering of top scFMs near these accuracies as evidence that the benchmark is solved, or that differences among top scFMs are negligible. We argue both interpretations are wrong. Saturation is, structurally, an identifiability-failure signal: as observed pass-rates compress against the upper bound, the Fisher information on each scFM's latent capability collapses exponentially, and the data become uninformative about pairwise capability contrasts. We support the position with a controlled simulation of nine scFMs on 200 benchmark cells, mirroring the panel evaluated by Elmarakeby et al. (2025). As mean pass-rate rises from 0.50 to 0.95, the probability that the empirically-best scFM is also the truly-best scFM drops from 0.75 to 0.41, and Fisher information at p_hat=0.95 is only 18% of its maximum at p_hat=0.5. We propose a four-item identifiability-aware scFM benchmarking standard: pass-rate distribution disclosure, posterior pairwise comparison, Fisher-information reporting, and a saturation-triggered redesign protocol.
","absKo":"scGPT, Geneformer, scFoundation를 포함한 single-cell foundation model(scFM)들은 이제 표준 benchmark에서 cell-type classification 정확도가 0.85에서 0.95에 이른다고 보고한다. 커뮤니티는 흔히 이러한 정확도 구간 근처에 상위 scFM들이 모여 있는 현상을 benchmark가 해결되었다는 증거로, 또는 상위 scFM들 사이의 차이가 미미하다는 증거로 해석한다. 우리는 이 두 해석이 모두 틀렸다고 주장한다. Saturation은 구조적으로 identifiability failure 신호이다. 관측된 pass-rate가 상한에 압축될수록 각 scFM의 latent capability에 대한 Fisher information은 지수적으로 붕괴하고, 데이터는 pairwise capability contrast에 대해 정보가 없어지기 때문이다. 우리는 Elmarakeby et al. (2025)가 평가한 panel을 모사한, 200개의 benchmark cell에 대한 9개 scFM의 통제된 simulation으로 이 입장을 뒷받침한다. mean pass-rate가 0.50에서 0.95로 상승함에 따라, 경험적으로 가장 우수한 scFM이 실제로도 가장 우수한 scFM일 확률은 0.75에서 0.41로 떨어지며, p_hat=0.95에서의 Fisher information은 p_hat=0.5에서의 최대값의 18%에 불과하다. 우리는 identifiability를 고려한 네 가지 항목의 scFM benchmarking standard를 제안한다: pass-rate distribution 공개, posterior pairwise comparison, Fisher information 보고, 그리고 saturation-triggered redesign protocol.","link":"https://openreview.net/forum?id=TeMVV5Yp6V"},{"id":"kbn0sqjGFv","en":"ERVNet: A Three-Module Framework for Predicting Endogenous Retrovirus Reactivation, Gene Propagation, and Immunogenicity","ko":"ERVNet: 내인성 retrovirus 재활성화, 유전자 전파, 면역원성 예측을 위한 3모듈 프레임워크","authors":"Bryan Cheng, Austin Jin, Jasper Zhang, Brendan Lo, Arnav Pemmaraju, Joshua Chang","abs":"Endogenous retroviruses (ERVs) comprise 8% of the human genome across ~725K loci and can reactivate in cancer, triggering potent antitumor immunity via viral mimicry—yet all existing tools quantify ERV expression post-hoc from RNA-seq, and none predict which loci will reactivate prospectively from chromatin state. This gap limits rational immunotherapy target selection, as the vast locus space makes experimental screening intractable without computational prioritization. We present ERVNet, a three-module multimodal pipeline that bridges this gap. Its core innovation, Multi-Resolution Epigenomic Encoding (MREE), tokenizes each histone mark at its characteristic domain scale—75bp for narrow activation peaks like H3K27ac, 225bp for broad repressive domains like H3K9me3—rather than forcing all marks through a single resolution. CASCADE then propagates predicted activation through real Hi-C chromatin loops via a heterogeneous GNN to model downstream gene dysregulation, and MIMIC classifies ERV subfamily immunogenicity from sequence-derived features validated against real DNMTi perturbation data. Resolution-matched encoding improves AUPRC by 16.4% over single-resolution baselines, with MREE achieving LOCO-CV AUROC 0.984 across 25 cell types and cross-dataset AUROC 0.969 on independently generated ENCODE data. CASCADE captures gene-level consequences at Pearson r=0.422, while MIMIC attains AUROC 0.749 with permutation p<0.002 and external validation ρ=0.118. Gradient attribution reveals why the multi-resolution design works: H3K9me3 at coarse resolution provides the dominant discriminative signal, capturing 10–50kb heterochromatin domain boundaries that uniform encoding fragments—a finding that reconciles the apparent paradox between dropout analysis (H3K27ac dominant) and saliency mapping (H3K9me3 dominant). Applying the full pipeline across 25 cell types identifies 336 cancer-specific ERV loci with 1.43× enrichment over somatic tissues, yielding a tractable candidate set for experimental immunotherapy validation. More broadly, the principle of encoding each genomic feature at its characteristic spatial scale may generalize to other multimodal epigenomic prediction tasks where input signals span diverse resolutions.
","absKo":"Endogenous retroviruses(ERVs)는 인간 게놈의 약 8%를 약 725K loci에 걸쳐 차지하며, cancer에서 재활성화되어 viral mimicry를 통해 강력한 antitumor immunity를 유발할 수 있다. 그러나 기존 도구들은 모두 RNA-seq으로부터 사후적으로 ERV 발현량을 정량할 뿐이며, chromatin state로부터 어떤 loci가 앞으로 재활성화될지 예측하는 도구는 없다. 이 공백은 합리적인 immunotherapy 표적 선정을 제한하는데, 방대한 locus 공간 때문에 계산적 우선순위화 없이 실험적 스크리닝은 사실상 불가능하기 때문이다. 우리는 이 격차를 메우는 3-모듈 multimodal pipeline인 ERVNet을 제시한다. 핵심 혁신은 Multi-Resolution Epigenomic Encoding(MREE)으로, 모든 mark를 단일 해상도로 강제하지 않고 각 histone mark를 고유한 domain scale에서 tokenization한다. 예를 들어 H3K27ac 같은 좁은 activation peak에는 75bp를, H3K9me3 같은 넓은 repressive domain에는 225bp를 사용한다. 이후 CASCADE는 heterogeneous GNN을 통해 실제 Hi-C chromatin loop를 따라 예측된 activation을 전파하여 downstream gene dysregulation을 모델링하고, MIMIC은 실제 DNMTi perturbation data로 검증된 sequence-derived features로부터 ERV subfamily의 immunogenicity를 분류한다. 해상도에 맞춘 encoding은 single-resolution baseline 대비 AUPRC를 16.4% 향상시키며, MREE는 25개 cell type에서 LOCO-CV AUROC 0.984를 달성하고, 독립적으로 생성된 ENCODE data에서 cross-dataset AUROC 0.969를 보인다. CASCADE는 gene-level 결과를 Pearson r=0.422로 포착하고, MIMIC은 permutation p<0.002와 외부 검증 ρ=0.118에서 AUROC 0.749를 달성한다. Gradient attribution은 multi-resolution 설계가 왜 작동하는지 보여준다. 조대한 해상도의 H3K9me3가 지배적인 판별 신호를 제공하며, uniform encoding이 잘게 분해해 버리는 10–50kb heterochromatin domain boundary를 포착한다. 이는 dropout analysis에서 H3K27ac가 지배적이라는 결과와 saliency mapping에서 H3K9me3가 지배적이라는 결과 사이의 겉보기 모순을 해소한다. 25개 cell type에 전체 pipeline을 적용하면 somatic tissue 대비 1.43배 enrichment를 보이는 336개의 cancer-specific ERV loci가 식별되어, 실험적 immunotherapy 검증을 위한 실용적인 후보 집합을 제공한다. 더 넓게는, 각 genomic feature를 고유한 spatial scale에서 encoding하는 원리는 입력 신호가 다양한 resolution에 걸쳐 존재하는 다른 multimodal epigenomic prediction task로 일반화될 수 있다.","link":"https://openreview.net/forum?id=kbn0sqjGFv"},{"id":"wZVHPYvc65","en":"PROTEUS: Predicting How Post-Translational Modifications Alter Drug Binding Affinity","ko":"PROTEUS: 번역 후 수정이 약물 결합 친화도를 어떻게 바꾸는지 예측","authors":"Bryan Cheng, Austin Jin, Jasper Zhang, Arnav Pemmaraju, Joshua Chang, Brendan Lo","abs":"Post-translational modifications (PTMs) dynamically reshape the binding landscapes of protein drug targets, yet no computational method predicts how specific PTMs alter drug binding affinity. We introduce PROTEUS, a multimodal deep learning framework that fuses protein language model embeddings, 3D protein contact graphs, PTM-site annotations, and drug molecular graphs to directly predict ΔΔG---the change in binding free energy caused by a PTM. A Normal-Inverse-Gamma evidential head provides calibrated epistemic and aleatoric uncertainty without ensemble overhead. To enable systematic study of this previously unaddressed prediction task, we construct PTM-BIND-Bench, the first benchmark linking PTM states to quantitative binding affinity changes: 831 curated protein-PTM-drug triples spanning 48 kinases, 120 inhibitors, and 5 PTM types. Under protein-level GroupKFold cross-validation, PROTEUS achieves Spearman ρ = 0.527 and concordance index = 0.715, outperforming all baselines with non-overlapping 95% CIs. On 10 experimentally measured ΔΔG values, the model attains Pearson r = 0.967 with 100% direction accuracy. Zero-shot evaluation on 17 novel drugs yields 88.9% direction accuracy, and split conformal prediction provides distribution-free 90% intervals of ±0.64 kcal/mol.
","absKo":"Post-translational modifications(PTMs)은 protein drug target의 binding landscape를 동적으로 재구성하지만, 특정 PTM이 drug binding affinity를 어떻게 변화시키는지 예측하는 computational method는 없다. 우리는 protein language model embedding, 3D protein contact graph, PTM-site annotation, drug molecular graph를 결합하여 PTM에 의해 유발되는 binding free energy의 변화인 ΔΔG를 직접 예측하는 multimodal deep learning framework PROTEUS를 소개한다. Normal-Inverse-Gamma evidential head는 ensemble overhead 없이 calibrated epistemic 및 aleatoric uncertainty를 제공한다. 이전에 다뤄지지 않았던 이 prediction task를 체계적으로 연구할 수 있도록, 우리는 PTM 상태와 정량적 binding affinity 변화를 연결하는 최초의 benchmark인 PTM-BIND-Bench를 구성했다. 이 데이터셋은 48개의 kinase, 120개의 inhibitor, 5개의 PTM type에 걸친 831개의 curated protein-PTM-drug triple로 이루어진다. protein-level GroupKFold cross-validation에서 PROTEUS는 Spearman ρ = 0.527, concordance index = 0.715를 달성하며, 겹치지 않는 95% CI를 보이는 모든 baseline을 능가한다. 실험적으로 측정된 10개의 ΔΔG 값에 대해서는 100% 방향 정확도와 함께 Pearson r = 0.967을 달성한다. 17개의 새로운 drug에 대한 zero-shot evaluation에서는 88.9% 방향 정확도를 보였고, split conformal prediction은 분포 가정 없는 90% 구간을 ±0.64 kcal/mol로 제공한다.","link":"https://openreview.net/forum?id=wZVHPYvc65"},{"id":"L8TR5pzlF2","en":"Search, Edit, and Fold: LLM-Guided MSA Optimization for Protein Conformation Prediction","ko":"Search, Edit, and Fold: 단백질 구조 예측을 위한 LLM 유도 MSA 최적화","authors":"Yu Pei, Jiangtao Feng, Hao Wang, Dongyu Xue, Keyue Qiu, Hao Zhou, Wei-Ying Ma","abs":"Accurately identifying alternative protein conformations remains a fundamental challenge, particularly when functionally relevant states are encoded by sparse evolutionary signals within large multiple sequence alignments (MSAs). In this work, protein conformation prediction is formulated as a combinatorial search problem in MSA space, shifting the focus from structure divergence to evolutionary information discovery. We introduce **MSA-Evolver**, an optimization framework that enables LLM with direct manipulation and iterative exploration of MSAs. With unified action space and feedback-guided multi-step reasoning strategy, our framework efficiently identifies informative sub-MSAs under limited folding budgets and substantially improves the prediction accuracy of alternative conformations, including open-closed, inward-outward, apo-holo, fold-switching, and intrinsically disordered proteins.
","absKo":"대안적 protein conformation을 정확하게 식별하는 일은 여전히 근본적인 과제이며, 특히 기능적으로 중요한 상태가 큰 multiple sequence alignments (MSAs) 안의 희소한 진화 신호에 의해 인코딩되는 경우 더욱 그렇습니다. 본 연구에서는 protein conformation prediction을 MSA 공간에서의 조합적 탐색 문제로 정식화하여, 구조 차이에서 진화 정보 발견으로 초점을 전환합니다. 우리는 **MSA-Evolver**를 제안하는데, 이는 LLM이 MSA를 직접 조작하고 반복적으로 탐색할 수 있게 하는 최적화 프레임워크입니다. 통합된 action space와 feedback-guided multi-step reasoning 전략을 통해, 본 프레임워크는 제한된 folding budget 하에서 정보성이 높은 sub-MSA를 효율적으로 식별하고, open-closed, inward-outward, apo-holo, fold-switching, intrinsically disordered proteins를 포함한 대안적 conformation 예측 정확도를 크게 향상시킵니다.","link":"https://openreview.net/forum?id=L8TR5pzlF2"},{"id":"i2Onnie8Ao","en":"AMR-Bench-mini: A Diagnostic Benchmark for Agentic Mechanistic AMR Reasoning under Evidence Insufficiency","ko":"AMR-Bench-mini: 증거가 부족할 때 agentic mechanistic AMR 추론을 위한 진단용 benchmark","authors":"Ali Ihsan Nergiz, Erva Nur Cinar","abs":"Frontier language-model agents have rapidly converged on a planner+tools+critic architecture for biological reasoning, but it is unclear whether they reason about evidence sufficiency or merely pattern-match plausible mechanisms. We introduce AMR-Bench-mini, a focused diagnostic benchmark for agentic mechanistic antimicrobial-resistance (AMR) reasoning, scoped strictly to retrospective evidence synthesis on Klebsiella pneumoniae. The benchmark pairs a 924-task corpus generated from public isolate metadata, genome assemblies, laboratory antimicrobial-susceptibility testing (AST), and pinned annotation outputs with two evaluation splits: a balanced 50-task pilot and a 50-task hard diagnostic split organised into seven category-level failure modes. We document a stratified audit-and-fix loop that lifts heuristic gold credibility from 71 % to 93 %, with four further cases where all three models agreed against the heuristic gold and were reviewed as candidate gold errors. Three frontier models (GPT-5.4, Gemini 3.1 Pro, Claude Opus 4.7) score 82–88 % on the pilot and 50–64 % on the hard split. All three converge on ∼25 % accuracy on the abstention category, while contrastive-control categories remain high descriptively. A pre-resolved CARD ARO substrate-context tool injected into Gemini’s prompt produces a zero-percentage-point net effect on hard accuracy, with two gains and two losses: pre-resolved substrate context alone is not sufficient for evidence-sufficiency reasoning.
","absKo":"최전선 language-model agent는 생물학적 추론을 위해 planner+tools+critic 아키텍처로 빠르게 수렴했지만, 이들이 증거 충분성을 추론하는지, 아니면 그럴듯한 메커니즘을 단순히 패턴 매칭하는지는 분명하지 않다. 우리는 Klebsiella pneumoniae에 대해 엄격히 후향적 증거 종합(retrospective evidence synthesis)에 한정된, agentic mechanistic antimicrobial-resistance(AMR) 추론을 위한 집중형 진단 벤치마크 AMR-Bench-mini를 제안한다. 이 벤치마크는 공개 isolate metadata, genome assembly, laboratory antimicrobial-susceptibility testing(AST), 고정된 annotation output으로부터 생성된 924-task corpus와 두 개의 평가 분할을 결합한다. 하나는 균형 잡힌 50-task pilot이고, 다른 하나는 7개의 범주 수준 실패 모드로 조직된 50-task hard diagnostic split이다. 우리는 heuristic gold credibility를 71 %에서 93 %로 끌어올리는 stratified audit-and-fix loop를 기록했으며, 세 모델 모두 heuristic gold에 반대하는 데 동의한 추가 사례 4건은 후보 gold error로 검토했다. 세 개의 최전선 모델(GPT-5.4, Gemini 3.1 Pro, Claude Opus 4.7)은 pilot에서 82–88 %를, hard split에서 50–64 %를 기록한다. 세 모델 모두 abstention 범주에서는 ∼25 % 정확도로 수렴하는 반면, contrastive-control 범주는 기술적으로는 높은 성능을 유지한다. Gemini의 prompt에 주입한 pre-resolved CARD ARO substrate-context tool은 hard 정확도에 순효과 0 percentage point를 보였으며, 두 번의 향상과 두 번의 하락이 있었다. 즉, pre-resolved substrate context만으로는 evidence-sufficiency 추론에 충분하지 않다.","link":"https://openreview.net/forum?id=i2Onnie8Ao"},{"id":"x5zDSkJEsw","en":"Neuro-Anatomy–Informed Self-Supervised Learning for Structural Brain MRI","ko":"구조적 뇌 MRI를 위한 신경해부학 정보 기반 자기지도 학습","authors":"Sean Chen Jiale, Tianze Yu, Somayeh Ebrahimkhani, Lin Zhi Zheng Shawn, Kok Pin Ng, Ngai-Man Cheung","abs":"Self-supervised learning (SSL) has become a foundational paradigm for representation learning from large-scale unlabeled data and underpins many modern foundation models across biological and biomedical domains, including biomedical imaging. However, most existing SSL approaches for biomedical imaging rely on objectives originally designed for natural images, such as contrastive alignment or reconstruction, which primarily enforce instance-level consistency based on generic features. As a result, these objectives are insufficient to capture biologically meaningful structural relationships that emerge across samples and populations, limiting their ability to learn representations aligned with underlying biological organization. **In this work**, we introduce neuro-anatomy-informed self-supervised learning (NAI-SSL), a framework that moves beyond conventional instance-level objectives by incorporating biologically grounded inductive bias. Focusing on structural brain MRI, we leverage *inter-hemispheric structural consistency*, a fundamental principle of brain organization, to formulate a structure-aware self-supervised task based on inter-regional covariance. Unlike conventional SSL objectives that operate on individual samples, the proposed task leverages cross-sample covariance statistics to model coordinated variation across anatomically related brain regions, enabling the learning of *biologically meaningful cross-sample structural relationships*. Empirical results demonstrate that the proposed approach consistently improves representation quality across downstream neuroimaging tasks, while producing representations that better reflect underlying brain organization. **Additional analysis and experiments are included in the Supp.**
","absKo":"Self-supervised learning(SSL)은 대규모 unlabeled data로부터 representation을 학습하는 데 있어 기초적인 패러다임이 되었으며, biomedical imaging을 포함한 생물학 및 생의학 도메인의 많은 현대 foundation model을 뒷받침한다. 그러나 기존 biomedical imaging용 SSL 접근법의 대부분은 contrastive alignment나 reconstruction처럼 원래 natural image를 위해 설계된 objective에 의존하며, 이는 주로 generic feature에 기반한 instance-level consistency를 강제한다. 그 결과, 이러한 objective는 샘플과 population 전반에 걸쳐 나타나는 생물학적으로 의미 있는 구조적 관계를 포착하기에 충분하지 않으며, 따라서 underlying biological organization과 정렬된 representation을 학습하는 능력이 제한된다. **본 연구에서는**, 기존의 instance-level objective를 넘어 biologically grounded inductive bias를 통합하는 neuro-anatomy-informed self-supervised learning(NAI-SSL) 프레임워크를 제안한다. 구조적 brain MRI에 초점을 맞추어, 우리는 brain organization의 근본 원리인 *inter-hemispheric structural consistency*를 활용해 inter-regional covariance에 기반한 structure-aware self-supervised task를 구성한다. 개별 샘플에서 작동하는 전통적인 SSL objective와 달리, 제안하는 task는 cross-sample covariance statistic을 활용해 해부학적으로 관련된 brain region들 사이의 coordinated variation을 모델링하며, 이를 통해 *생물학적으로 의미 있는 cross-sample structural relationship*의 학습을 가능하게 한다. 실험 결과는 제안 방법이 downstream neuroimaging task 전반에서 representation quality를 일관되게 향상시키는 동시에, underlying brain organization을 더 잘 반영하는 representation을 생성함을 보여준다. **추가 분석과 실험은 Supp.에 포함되어 있다.**","link":"https://openreview.net/forum?id=x5zDSkJEsw"},{"id":"9DneZlwAZp","en":"Structural Bottleneck Reasoning: Efficient Medical VQA via Concept Alignment","ko":"구조적 병목 추론: 개념 정렬을 통한 효율적 의료 VQA","authors":"Hoang Nguyen, Tran Anh Dang Le, Ta Duc Huy, Nguyen Bui Ngoc Han, Vy Tuong Dang, Duy Duong-Tran, Khoa D Doan, Anji Liu, Li Shen, Pengtao Xie, Mathias Niepert, Duy Minh Ho Nguyen, James Zou, Daniel Sonntag","abs":"The adoption of a medical visual Chain-of-Thought (CoT) is fundamental to establishing trustworthy predictions; by externalizing the model's internal logic, it allows clinicians to verify that a diagnosis is derived from valid clinical indicators rather than spurious correlations. However, the expert-driven CoT paradigm is often bottlenecked by the prohibitive cost of dense manual annotations. To resolve this, we introduce \\textsc{StructAlign}, a framework that enables the seamless integration of expert knowledge via a predefined list of clinical concepts. Rather than requiring expensive, sentence-level supervision, our method leverages these concepts as \\textit{latent causal mediators} to anchor the model’s reasoning. This prevents \\textit{reasoning collapse} and ensures diagnostic consistency, providing a scalable, cost-effective path toward interpretable AI in high-stakes medicine. Our results demonstrate that StructAlign maintains high performance even in data-scarce regimes (10\\% and 40\\%), achieving large-margin improvements of up to +24.64\\%, demonstrating that conceptual grounding can effectively restore high-fidelity diagnostic reasoning, thereby reducing reliance on exhaustive expert supervision.
","absKo":"의료 visual Chain-of-Thought(CoT)를 채택하는 것은 신뢰할 수 있는 예측을 확립하는 데 핵심적이다. 모델의 내부 논리를 외부로 드러냄으로써, 임상의가 진단이 허위 상관이 아니라 유효한 임상 지표에서 도출되었는지 검증할 수 있게 해준다. 그러나 전문가 주도 CoT 패러다임은 촘촘한 수작업 주석에 드는 과도한 비용 때문에 종종 병목에 부딪힌다. 이를 해결하기 위해, 우리는 미리 정의된 임상 개념 목록을 통해 전문가 지식을 매끄럽게 통합할 수 있는 프레임워크인 \\textsc{StructAlign}을 제안한다. 고비용의 문장 단위 supervision을 요구하는 대신, 우리의 방법은 이러한 개념들을 \\textit{latent causal mediators}로 활용하여 모델의 추론을 고정한다. 이는 \\textit{reasoning collapse}를 방지하고 진단 일관성을 보장하며, 고위험 의료에서 해석 가능한 AI로 가는 확장 가능하고 비용 효율적인 경로를 제공한다. 우리의 결과는 StructAlign이 데이터가 부족한 환경(10\\% 및 40\\%)에서도 높은 성능을 유지하며 최대 +24.64\\%의 큰 폭 개선을 달성함을 보여준다. 이는 개념적 grounding이 고충실도 진단 추론을 효과적으로 복원할 수 있음을 입증하며, 그 결과 광범위한 전문가 supervision에 대한 의존을 줄인다.","link":"https://openreview.net/forum?id=9DneZlwAZp"},{"id":"4Kj8btmGbK","en":"Local-Atlas Control-Anchored Flow Matching for Unpaired Single-Cell Perturbation Prediction","ko":"Local-Atlas Control-Anchored Flow Matching for 비짝지어진 Single-Cell Perturbation 예측","authors":"khan huang, Chang Li","abs":"Destructive single-cell perturbation assays ob-
serve control and treated populations without
true before/after pairs, so response prediction
is an unpaired conditional distribution problem
rather than paired regression. We introduce
Atlas-CFM, a local-atlas control-anchored flow-
matching formulation for this setting. The method
constructs training paths and inference rollouts
from the same observed control-derived anchor,
uses transport-aware pseudo-pairing to reduce tra-
jectory noise, and regularizes dynamics with a soft
tangent/normal vector-field decomposition. On
Norman perturbation-OOD and sciPlex3-K562
dose-extrapolation benchmarks, the largest gains
occur in the harder generalization regimes. Sup-
plementary native-space checks, distribution met-
rics, consistency studies, sensitivity analyses, and
A549 cross-context results show that training-
inference-consistent control anchoring strength-
ens perturbation-response modules in life-science
foundation-model systems.
","absKo":"Destructive single-cell perturbation assay는 진정한 before/after pair 없이 control과 treated population을 관찰하므로, response prediction은 paired regression이 아니라 unpaired conditional distribution 문제이다. 우리는 이 설정을 위한 local-atlas control-anchored flow-matching formulation인 Atlas-CFM을 소개한다. 이 방법은 동일한 관측 control-derived anchor에서 training path와 inference rollout을 구성하고, transport-aware pseudo-pairing으로 trajectory noise를 줄이며, soft tangent/normal vector-field decomposition으로 dynamics를 regularize한다. Norman perturbation-OOD 및 sciPlex3-K562 dose-extrapolation benchmark에서 가장 큰 개선은 더 어려운 generalization regime에서 나타난다. 보충적인 native-space check, distribution metric, consistency study, sensitivity analysis, A549 cross-context 결과는 training-inference-consistent control anchoring이 life-science foundation-model 시스템의 perturbation-response module을 강화함을 보여준다.","link":"https://openreview.net/forum?id=4Kj8btmGbK"},{"id":"2EhO9Exmhi","en":"Causal-IQD-DTA: Counterfactual Interaction-Quality Disentanglement for Robust Drug–Target Affinity Prediction","ko":"Causal-IQD-DTA: 견고한 약물-표적 친화도 예측을 위한 반사실적 상호작용-질 분리","authors":"khan huang, Chang Li","abs":"Drug–target affinity (DTA) prediction estimates
binding strength between compounds and protein
targets, providing an early computational screen
before expensive biochemical assays. Structure-
aware DTA models now combine molecular, se-
quence, structural, and conformer inputs, but
complex-level affinity labels can entangle selec-
tive binding evidence with abundance shortcuts
such as ligand size, pocket size, and candidate
contact mass. The central goal is robustness under
abundance shortcuts: affinity predictions should
depend on selective binding evidence rather than
changes in contact opportunity alone. Causal-
IQD-DTA addresses this bottleneck by separating
these signals: zQ aggregates pocket-calibrated
atom–residue evidence for binding, and zN en-
codes size and contact-mass factors that describe
the candidate interaction map. We then perform
representation-level counterfactual intervention
on zN while holding zQ fixed, suppressing affinity
changes caused by nuisance abundance. Across
Davis, KIBA, and PDBbind, the model improves
random and transfer splits, with diagnostics show-
ing lower abundance-residual coupling and re-
duced counterfactual sensitivity.
","absKo":"Drug–target affinity (DTA) prediction은 화합물과 protein target 사이의 결합 강도를 추정하며, 값비싼 biochemical assay 이전의 초기 computational screen을 제공한다. Structure-aware DTA model은 이제 molecular, sequence, structural, conformer 입력을 결합하지만, complex-level affinity label은 선택적 결합 증거를 ligand size, pocket size, candidate contact mass와 같은 abundance shortcut과 뒤섞어 버릴 수 있다. 핵심 목표는 abundance shortcut에 대한 robustness이다. 즉, affinity prediction은 접촉 기회(contact opportunity)의 변화 자체가 아니라 선택적 결합 증거에 의존해야 한다. Causal-IQD-DTA는 이러한 신호를 분리함으로써 이 병목을 해결한다. zQ는 binding을 위한 pocket-calibrated atom–residue evidence를 집계하고, zN은 candidate interaction map을 설명하는 size 및 contact-mass factor를 인코딩한다. 그런 다음 zQ를 고정한 채 zN에 representation-level counterfactual intervention을 수행해, nuisance abundance로 인한 affinity 변화는 억제한다. Davis, KIBA, PDBbind 전반에서 이 모델은 random split과 transfer split 모두에서 향상된 성능을 보였고, 진단 결과 abundance-residual coupling이 더 낮고 counterfactual sensitivity가 감소했음을 확인했다.","link":"https://openreview.net/forum?id=2EhO9Exmhi"},{"id":"HbSthyi1GG","en":"WACA-DTA: Water-Aware Geometric Biases for Structure-Conditioned Drug-Target Affinity Prediction","ko":"WACA-DTA: structure-conditioned drug-target affinity 예측을 위한 물 인지 기하 편향","authors":"khan huang, Chang Li","abs":"Drug-target affinity (DTA) prediction is central to
virtual screening, hit prioritization, and lead opti-
mization because it estimates binding strength
before costly experiments. However, current
structure-aware DTA models often treat pocket
geometry and solvent information as auxiliary
features, leaving atom-residue matching weakly
constrained by 3D locality, orientation, and water-
mediated contacts. We present WACA-DTA, a
structure-conditioned affinity model that refor-
mulates interface matching as pose-conditioned
atom-residue cross-attention with factorized di-
rect, geometric, and hydration-mediated logits.
Distance/orientation and HydraProt-derived hy-
dration cues are injected as additive logit-level
priors rather than post hoc features. Under a fixed
pair-pose protocol and shared structural prepro-
cessing, WACA-DTA improves over a matched
pocket-aware baseline on Davis and KIBA across
drug, target, and pair affinity cold-start splits,
while controlled ablations across Davis, KIBA,
and PDBbind indicate that the gains are most con-
sistent when pair-specific geometry and hydration
are injected directly into the interaction logits.
","absKo":"Drug-target affinity (DTA) prediction은 virtual screening, hit prioritization, lead optimization의 핵심이다. 이는 값비싼 실험 전에 binding strength를 추정하기 때문이다. 그러나 현재의 structure-aware DTA model은 종종 pocket geometry와 solvent information을 보조 feature로 취급하여, atom-residue matching이 3D locality, orientation, water-mediated contact에 의해 충분히 제약되지 않는다. 우리는 interface matching을 pose-conditioned atom-residue cross-attention으로 재정식화하고, direct, geometric, hydration-mediated logit을 factorized한 structure-conditioned affinity model인 WACA-DTA를 제안한다. Distance/orientation과 HydraProt에서 도출한 hydration cue는 사후 feature가 아니라 additive logit-level prior로 주입된다. 고정된 pair-pose protocol과 shared structural preprocessing 하에서, WACA-DTA는 Davis와 KIBA에서 drug, target, pair affinity cold-start split 전반에 걸쳐 매칭된 pocket-aware baseline보다 향상된 성능을 보인다. 또한 Davis, KIBA, PDBbind에 걸친 controlled ablation은 pair-specific geometry와 hydration을 interaction logit에 직접 주입할 때 향상이 가장 일관되게 나타남을 보여준다.","link":"https://openreview.net/forum?id=HbSthyi1GG"},{"id":"yTHTv6djD4","en":"How Do Medical MLLMs Fail? A Study on Visual Grounding in Medical Images","ko":"의료 MLLM은 어떻게 실패하는가? 의료 이미지에서의 시각 정렬 연구","authors":"Guimeng Liu, Tianze Yu, Somayeh Ebrahimkhani, Lin Zhi Zheng Shawn, Kok Pin Ng, Ngai-Man Cheung","abs":"Generalist multimodal large language models (MLLMs) have achieved impressive performance across a wide range of vision-language tasks. However, their performance on medical tasks—particularly in zero-shot settings where generalization is critical—remains suboptimal. A key research gap is the limited understanding of why medical MLLMs underperform in medical image interpretation.
**In this work**, we present a pioneering systematic investigation into the visual grounding capabilities of state-of-the-art medical MLLMs. To disentangle *visual grounding* from *semantic grounding*, we design VGMED, a novel evaluation dataset developed with expert clinical guidance, explicitly assessing the visual grounding capability of medical MLLMs.
We introduce new quantitative metrics and conduct detailed qualitative analyses. Our study across **eight** state-of-the-art (SOTA) medical MLLMs validates that they often fail to ground their predictions in clinically relevant image regions. We note that this finding is specific to medical image analysis; in contrast, prior work has shown that MLLMs are capable of grounding their predictions in the correct image regions when applied to natural scene images.
Motivated by these findings, we propose VGRefine, a simple yet effective inference-time method that refines attention distribution to improve visual grounding in medical settings. Our approach achieves SOTA performance across 6 diverse Med-VQA benchmarks (over 110K VQA samples from 8 imaging modalities)
without requiring additional training or external expert models. Overall, our work, for the first time, systematically validates inadequate visual grounding as one of the key contributing factors for medical MLLMs' under-performance.
","absKo":"일반 범용 multimodal large language model (MLLM)은 다양한 vision-language task에서 인상적인 성능을 보였다. 그러나 medical task, 특히 generalization이 중요한 zero-shot setting에서의 성능은 여전히 최적 수준에 미치지 못한다. 중요한 연구 공백은 medical MLLM이 medical image interpretation에서 왜 성능이 떨어지는지에 대한 이해가 제한적이라는 점이다.\n**본 연구에서는** 최첨단 medical MLLM의 visual grounding 능력에 대한 선도적인 체계적 조사를 제시한다. *visual grounding*과 *semantic grounding*을 구분하기 위해, 우리는 전문가 임상 자문을 바탕으로 개발된 새로운 평가 데이터셋 VGMED를 설계하여 medical MLLM의 visual grounding capability를 명시적으로 평가한다.\n우리는 새로운 정량 지표를 도입하고 상세한 정성 분석을 수행한다. **8개**의 state-of-the-art (SOTA) medical MLLM을 대상으로 한 연구는 이들이 예측을 임상적으로 관련 있는 이미지 영역에 grounding하는 데 자주 실패함을 검증한다. 이 발견은 medical image analysis에 특화된 것으로 보이며, 반대로 기존 연구에서는 자연 장면 이미지에 적용했을 때 MLLM이 올바른 이미지 영역에 예측을 grounding할 수 있음을 보인 바 있다.\n이러한 결과에 착안해, 우리는 의료 환경에서 visual grounding을 향상시키기 위해 attention distribution을 정제하는 간단하지만 효과적인 inference-time method인 VGRefine를 제안한다. 우리의 접근은 추가 training이나 외부 전문가 모델 없이도 8개 imaging modality에서 얻은 110K가 넘는 VQA sample을 포함하는 6개의 다양한 Med-VQA benchmark 전반에서 SOTA 성능을 달성한다.\n전체적으로, 우리의 연구는 medical MLLM의 성능 저하를 유발하는 핵심 요인 중 하나로서 부적절한 visual grounding을 체계적으로 처음 검증한다.","link":"https://openreview.net/forum?id=yTHTv6djD4"},{"id":"ALWkvFC0O1","en":"PertReasonQA: A Knowledge-Grounded Benchmark and Framework for Cell-State–Conditioned Mechanistic Reasoning of Perturbation Effects","ko":"PertReasonQA: perturbation 효과의 cell-state 조건부 기계적 추론을 위한 지식 기반 벤치마크와 프레임워크","authors":"Dongkwan Kim, Yiming Gao, Yining Yang, Yang Shen","abs":"Evaluating machine learning in scientific domains requires separating correct predictions from correct reasons under distribution shifts. We introduce PertReasonQA, a knowledge‑grounded benchmark for cell‑state--conditioned reasoning about perturbation effects. It tests whether models can generate mechanistically faithful explanations and assesses their robustness against complex shifts, such as new cells and unseen perturbations. PertReasonQA combines multiple single‑cell genetic and chemical perturbation data with knowledge graphs, and dynamically conditions pathways on cell‑specific basal states to avoid generic memorization. Evaluations on state-of-the-art models reveal systematic gaps between outcome prediction and mechanistic reasoning, exhibiting failure modes invisible to standard benchmarks. As a reference probe, we present PertReasonLM, a large language model that aligns outcome predictions with context-specific regulatory reasoning. PertReasonQA thus provides a rigorous diagnostic benchmark for studying faithful, generalizable reasoning in data-rich scientific systems.
","absKo":"분포 이동 하에서 과학 도메인에서의 machine learning을 평가하려면, 정답 예측과 정답의 이유를 분리해야 한다. 우리는 perturbation 효과에 대한 cell-state--conditioned 추론을 위한 knowledge-grounded benchmark인 PertReasonQA를 소개한다. 이 벤치마크는 모델이 기계론적으로 충실한 설명을 생성할 수 있는지, 그리고 새로운 세포와 보지 못한 perturbation 같은 복잡한 shift에 얼마나 견고한지를 평가한다. PertReasonQA는 여러 single-cell genetic 및 chemical perturbation 데이터와 knowledge graph를 결합하며, 일반적인 암기를 피하기 위해 경로를 cell-specific basal state에 동적으로 조건화한다. state-of-the-art 모델에 대한 평가 결과, outcome prediction과 mechanistic reasoning 사이에 체계적인 격차가 드러났고, standard benchmark에서는 보이지 않던 실패 양상이 나타났다. 참고용 probe로서, 우리는 context-specific regulatory reasoning과 outcome prediction을 정렬하는 large language model인 PertReasonLM을 제시한다. 따라서 PertReasonQA는 데이터가 풍부한 과학 시스템에서 충실하고 일반화 가능한 추론을 연구하기 위한 엄밀한 진단 benchmark를 제공한다.","link":"https://openreview.net/forum?id=ALWkvFC0O1"},{"id":"wduEG2D9uR","en":"ProteinJEPA: Latent prediction complements protein language models","ko":"ProteinJEPA: 잠재 공간 예측은 protein language model을 보완한다","authors":"Dan Ofer, Dafna Shahaf, Michal Linial","abs":"Protein language models are trained primarily with masked language modeling (MLM), which predicts amino-acid identities at masked positions. We ask whether latent-space prediction can complement these token-level objectives under matched wall-clock budget. Across pretrained and random-init protein sequence encoders at 35--150M parameters, we find that the best protein-JEPA design is not all-position latent prediction but a variant: predicting latent targets only at masked positions, and retaining the MLM cross-entropy. We call this recipe masked-position MLM+JEPA.
On a 16-task downstream suite (15 linear probes plus SCOPe-40 zero-shot fold retrieval), under matched wall-clock budgets, this recipe wins more tasks than it loses against MLM-only continuation: 10 wins / 3 losses / 3 ties (hereafter W/L/T) on pretrained ESM2-35M, 11/2/3 on ESM2-150M, while results in pretraining from scratch are mixed (6/8/2). Gains are seen for multiple models on 11 of 16 tasks, including stability, beta-lactamase fitness, variant effect, intrinsic disorder, remote homology, enzyme classification, and SCOPe-40 fold retrieval. Tasks with more losses than wins are Fluorescence (TAPE) and Peptide-HLA Binding. All-position MLM+JEPA matches MLM-only overall but does not reproduce the masked-position gains. JEPA-only (no MLM) collapses in nearly every experiment.
We conclude that JEPA, when combined with MLM, is competitive and can outperform pure MLM in pretraining and continued training, even under matched wall-clock budgets. Code and models will be freely released post anonymization period. https://anonymous.4open.science/r/protJepa-FF24
","absKo":"Protein language model은 주로 masked language modeling(MLM)으로 학습되며, masked position에서 amino-acid identity를 예측한다. 우리는 latent-space prediction이 동일한 wall-clock budget 하에서 이러한 token-level objective를 보완할 수 있는지 질문한다. 35--150M parameter 범위의 pretrained 및 random-init protein sequence encoder 전반에서, 최선의 protein-JEPA 설계는 모든 position에 대한 latent prediction이 아니라 변형된 형태임을 발견했다. 즉, masked position에서만 latent target을 예측하면서 MLM cross-entropy를 유지하는 방식이다. 우리는 이 방식을 masked-position MLM+JEPA라고 부른다.\n\n16-task downstream suite(15개의 linear probe와 SCOPe-40 zero-shot fold retrieval)에서, 맞춰진 wall-clock budget 하에서 이 방식은 MLM-only continuation에 비해 더 많은 task에서 이긴다: pretrained ESM2-35M에서 10승 / 3패 / 3무(이하 W/L/T), ESM2-150M에서 11/2/3이며, scratch부터 pretraining한 결과는 혼합적이다(6/8/2). 향상은 11/16개 task에서 여러 model에 걸쳐 관찰되며, 여기에는 stability, beta-lactamase fitness, variant effect, intrinsic disorder, remote homology, enzyme classification, SCOPe-40 fold retrieval이 포함된다. 패배가 승리보다 많은 task는 Fluorescence(TAPE)와 Peptide-HLA Binding이다. all-position MLM+JEPA는 전체적으로 MLM-only와 비슷하지만 masked-position의 향상을 재현하지는 못한다. JEPA-only(MLM 없음)는 거의 모든 실험에서 붕괴한다. \n우리는 JEPA가 MLM과 결합될 때 경쟁력이 있으며, 맞춰진 wall-clock budget 하에서도 pretraining과 continued training에서 순수 MLM보다 나아질 수 있다고 결론짓는다. 코드와 model은 anonymization period 이후 무료로 공개될 예정이다. https://anonymous.4open.science/r/protJepa-FF24","link":"https://openreview.net/forum?id=wduEG2D9uR"},{"id":"pEFnReWFQh","en":"esm-bind: How much protein–RNA binding signal is already in frozen ESM-2 + RNA-FM representations?","ko":"esm-bind: 고정된 ESM-2 + RNA-FM 표현 안에 이미 얼마나 많은 protein-RNA 결합 신호가 있는가?","authors":"Ethan B Arnold","abs":"How much protein–RNA binding signal is already accessible from frozen pre-trained encoders, and how small can the task head be? esm-bind is a ~7.8M-parameter bidirectional cross-attention head over frozen ESM-2 650M and RNA-FM, trained on 100K ENCODE eCLIP positives with a three-class blended negative sampler. Without fine-tuning to either external benchmark, it reaches zero-shot AUROC 0.840 on RPI7317 protein-disjoint, a standard protein–RNA pair benchmark with held-out proteins. On TheNovel — a 2,364-pair NPInter5-derived holdout from the ZHMolGraph 2025 supervised graph baseline, constructed node-disjoint to our NPInter2 training set so no train protein or RNA appears at evaluation — our 5-fold ensemble scores the same pairs and matches the published numbers (AUROC 0.793 [0.774, 0.810] vs 0.798; AUPRC 0.815 [0.796, 0.834] vs 0.820, both reference points inside our 95% CIs), despite training on a different dataset (NPInter2 vs NPInter5). Five capacity-augmenting ablations — encoder LoRA, RNA-encoder swap, extended training, fixed-weight graph context, and learnable graph attention — all fail to lift in-bench RPI7317 multi-seed AUROC outside a 0.812 ± 0.005 band. A zero-vector input ablation isolates a protein-class "RBP-vs-non-RBP" shortcut that inflates within-distribution headlines but does not transfer. We read these as evidence that frozen protein and RNA language-model representations already carry the bulk of pair-specific binding signal accessible at this scale. Head-only weights and a script that reproduces the 0.840 RPI7317 AUROC exactly are released anonymously at https://anonymous.4open.science/r/esm-bind-anon-3FCC/.
","absKo":"얼마나 많은 protein–RNA binding signal이 이미 고정된 pre-trained encoder에서 접근 가능한가, 그리고 task head는 얼마나 작아질 수 있는가? esm-bind는 frozen ESM-2 650M과 RNA-FM 위에 얹은 약 7.8M-parameter bidirectional cross-attention head로, three-class blended negative sampler와 함께 100K ENCODE eCLIP positive로 학습되었다. 외부 benchmark 어느 쪽에도 fine-tuning하지 않은 상태에서, held-out protein을 포함하는 표준 protein–RNA pair benchmark인 RPI7317 protein-disjoint에서 zero-shot AUROC 0.840에 도달했다. TheNovel에서는, NPInter2 training set과 train protein이나 RNA가 평가 시 등장하지 않도록 node-disjoint로 구성된 ZHMolGraph 2025 supervised graph baseline의 NPInter5-derived holdout 2,364-pair를 대상으로, 우리의 5-fold ensemble이 같은 pair를 채점해 공개된 수치와 일치했다(AUROC 0.793 [0.774, 0.810] vs 0.798; AUPRC 0.815 [0.796, 0.834] vs 0.820, 두 reference point 모두 우리의 95% CI 내부), 비록 서로 다른 dataset(NPInter2 vs NPInter5)으로 학습했음에도 불구하고. Encoder LoRA, RNA-encoder 교체, extended training, fixed-weight graph context, learnable graph attention의 다섯 가지 capacity-augmenting ablation은 모두 in-bench RPI7317 multi-seed AUROC를 0.812 ± 0.005 band 밖으로 끌어올리지 못했다. zero-vector input ablation은 within-distribution headline을 부풀리지만 transfer되지 않는 protein-class \"RBP-vs-non-RBP\" shortcut을 분리해낸다. 우리는 이를 frozen protein 및 RNA language-model representation이 이미 이 규모에서 접근 가능한 pair-specific binding signal의 대부분을 담고 있다는 증거로 해석한다. head-only weight와 0.840 RPI7317 AUROC를 정확히 재현하는 script는 https://anonymous.4open.science/r/esm-bind-anon-3FCC/ 에 익명으로 공개되어 있다.","link":"https://openreview.net/forum?id=pEFnReWFQh"},{"id":"nY8p8HPMc5","en":"HealthBot: An Open-Source AI Assistant for Longitudinal Personal Health Management","ko":"HealthBot: 장기적 개인 건강 관리를 위한 오픈소스 AI 비서","authors":"Zheng Yu, Yanyuan Qiao, Qi Wu, Yutong Xie","abs":"Medical LLMs and VLMs perform well on clinical QA and report generation, but remain largely stateless and cannot manage personal health data over time. Existing medical agents mainly target specific benchmarks or workflows, while commercial systems such as ChatGPT Health are closed-source and cloud-dependent. We present HealthBot, an open-source personal health assistant that runs locally, stores data on-device, supports messaging-platform interfaces, and works with model-agnostic LLM backends. HealthBot integrates multimodal extraction of heterogeneous health inputs into normalized records, Hierarchical Health Context (H-Context) for budget-aware longitudinal reasoning, and tool-augmented reasoning grounded in the local archive for report interpretation, trend analysis, consultation preparation, and medication tracking. We evaluate longitudinal context on a diagnosis prediction benchmark, where models infer the current diagnosis from laboratory and vital measurements under three settings: no history, raw history, and H-Context. Across two LLM backbones, history substantially improves accuracy, and H-Context further improves over raw history while reducing context length by 39\\% (up to +20~pp over no-history), demonstrating the value of structured longitudinal context for personal health agents.
","absKo":"Medical LLM과 VLM은 clinical QA와 report generation에서는 우수한 성능을 보이지만, 여전히 대체로 stateless하며 개인의 health data를 시간에 따라 관리하지 못한다. 기존 medical agent는 주로 특정 benchmark나 workflow만을 대상으로 하며, ChatGPT Health 같은 상용 시스템은 closed-source이고 cloud-dependent하다. 우리는 HealthBot을 제시한다. 이는 로컬에서 실행되고, 데이터를 온디바이스에 저장하며, messaging-platform interface를 지원하고, model-agnostic LLM backend와 함께 작동하는 open-source personal health assistant이다. HealthBot은 이질적인 health input의 multimodal extraction을 정규화된 record로 통합하고, budget-aware longitudinal reasoning을 위한 Hierarchical Health Context (H-Context), 그리고 report interpretation, trend analysis, consultation preparation, medication tracking을 위해 local archive에 근거한 tool-augmented reasoning을 결합한다. 우리는 diagnosis prediction benchmark에서 longitudinal context를 평가한다. 이 benchmark에서는 모델이 no history, raw history, H-Context의 세 가지 설정에서 laboratory 및 vital measurement로부터 현재 진단을 추론한다. 두 개의 LLM backbone 전반에서 history는 정확도를 크게 개선하며, H-Context는 raw history보다 추가로 향상시키면서 context length를 39% 줄인다(no-history 대비 최대 +20 pp). 이는 개인 건강 agent를 위한 structured longitudinal context의 가치를 보여준다.","link":"https://openreview.net/forum?id=nY8p8HPMc5"},{"id":"nYuVOEWuza","en":"Medmarks: An Open-Source LLM Benchmark Suite for Medical Tasks","ko":"Medmarks: 의료 과제를 위한 오픈소스 LLM 벤치마크 모음","authors":"Benjamin Warner, Ratna Sagari Grandhi, Max Kieffer, Aymane Ouraq, Saurav Panigrahi, Geetu Ambwani, Kunal Bagga, Nikhil Khandekar, Arya Hariharan, Nishant Mishra, Manish Ram, Shamus Sim Zi Yang, Ahmed Essouaied, Adepoju Jeremiah Moyondafoluwa, Robert Scholz, Bofeng Huang, Molly Beavers, Srishti Gureja, Anish Mahishi, Sameed Khan, Maxime Griot, Hunar Batra, Jean-Benoit Delbrouck, Siddhant Bharadwaj, Ronald Clark, Ashish Vashist, Anas Zafar, Leema Krishna Murali, Harsh Deshpande, Ameen Patel, William Brown, Johannes Hagemann, Connor Lane, Paul Steven Scotti, Tanishq Mathew Abraham","abs":"Evaluating large language models (LLMs) for medical applications remains challenging due to benchmark saturation, limited data accessibility, and insufficient coverage of relevant tasks. Existing suites have either saturated, heavily depend on restricted datasets, or lack comprehensive model coverage. We introduce \\textsc{Medmarks}, a fully open-source evaluation suite with 30 benchmarks spanning question answering, information extraction, medical calculations, and open-ended clinical reasoning. We perform a systematic evaluation of 61 models across 71 configurations using verifiable metrics and LLM-as-a-Judge. Our results show that frontier reasoning models (Gemini 3 Pro Preview, GPT-5.1, \\& GPT-5.2) achieve the highest performance across both benchmarks, most frontier proprietary models are significantly more token efficient than open-weight alternatives, medically fine-tuned models outperform their generalist counterparts, and that models are susceptible to answer-order bias (particularly smaller models and Grok 4). Code is available at \\url{https://anonymous.4open.science/r/med-lm-envs-B76C/}.
","absKo":"의료 응용을 위한 large language models (LLMs) 평가는 benchmark saturation, 제한적인 데이터 접근성, 그리고 관련 task에 대한 불충분한 커버리지 때문에 여전히 어렵다. 기존 suite들은 이미 포화되었거나, 접근이 제한된 dataset에 지나치게 의존하거나, 모델 커버리지가 충분하지 않다. 우리는 30개의 benchmark를 포함하며 question answering, information extraction, medical calculations, open-ended clinical reasoning을 아우르는 완전한 open-source evaluation suite인 \\textsc{Medmarks}를 소개한다. 우리는 verifiable metrics와 LLM-as-a-Judge를 사용해 71개 configuration에 걸친 61개 모델을 체계적으로 평가한다. 결과는 frontier reasoning model(Gemini 3 Pro Preview, GPT-5.1, \\& GPT-5.2)이 두 benchmark 모두에서 최고 성능을 달성하고, 대부분의 frontier proprietary model이 open-weight 대안보다 훨씬 token 효율적이며, 의료 도메인에 fine-tune된 모델이 generalist counterpart를 능가하고, 모델이 answer-order bias에 취약함을 보여준다(특히 더 작은 모델과 Grok 4에서 두드러짐). 코드는 \\url{https://anonymous.4open.science/r/med-lm-envs-B76C/}에서 이용 가능하다.","link":"https://openreview.net/forum?id=nYuVOEWuza"},{"id":"Nmf9fBxCgq","en":"Marking the Wrong Symptoms: Evaluating LLM Watermarks in Medical Texts","ko":"잘못된 증상 표시하기: 의료 텍스트에서 LLM watermark 평가","authors":"Melanie Rieff, Robin Staab, Thibaud Gloaguen, Stefan Hegselmann, Martin Vechev","abs":"Large language models (LLMs) are increasingly integrated into clinical workflows, stressing the need for reliable traceability of model-generated output with watermarking. Yet, most watermarks are evaluated on general-purpose benchmarks, leaving domains like medicine, where small token-level perturbations can result in significant semantic changes, under-explored. In this work, we present the first rigorous study of how LLM watermarks affect medical performance, benchmarking 5 watermarking schemes across 11 LLMs and 7 VLMs on various tasks spanning unimodal and multimodal clinical reasoning. Importantly, we complement existing evaluations by introducing a human-expert-validated pipeline for systematically auditing medical reasoning quality, terminological precision, and induced hallucinations. Our results reveal that watermarking can induce substantial degradation across multiple failure modes, including lexical corruption, hallucinated terminology, and amplified misattribution or omission of image findings. Notably, we find that the absence of domain-specific analyses, combined with aggregate metrics that miss failures inherent to clinical text, can systematically obscure practical watermark-induced degradations. Our findings establish domain-specific evaluation as a prerequisite for the safe deployment of watermarked models in medicine, where current benchmarks can otherwise mask clinically consequential failures.
","absKo":"대규모 language model (LLM)이 clinical workflow에 점점 더 통합되면서, watermarking을 통한 model-generated output의 신뢰할 수 있는 traceability가 중요해지고 있다. 그러나 대부분의 watermark는 general-purpose benchmark에서 평가되어, 작은 token-level perturbation도 큰 semantic change를 초래할 수 있는 medicine과 같은 도메인은 충분히 탐구되지 않았다. 본 연구에서는 LLM watermark가 medical performance에 어떤 영향을 미치는지에 대한 최초의 엄밀한 연구를 제시하며, 다양한 unimodal 및 multimodal clinical reasoning task 전반에서 11개의 LLM과 7개의 VLM에 대해 5가지 watermarking scheme을 benchmark한다. 특히 우리는 human-expert-validated pipeline을 도입하여 medical reasoning quality, terminological precision, 유도된 hallucination을 체계적으로 감사함으로써 기존 평가를 보완한다. 우리의 결과는 watermarking이 lexical corruption, hallucinated terminology, image finding의 misattribution 또는 omission 증폭을 포함한 여러 failure mode에서 상당한 성능 저하를 유발할 수 있음을 보여준다. 특히 domain-specific analysis의 부재와 clinical text에 내재된 실패를 놓치는 aggregate metric이 결합될 경우, watermark로 인한 실제 성능 저하가 체계적으로 가려질 수 있음을 확인했다. 우리의 결과는 domain-specific evaluation이 medicine에서 watermarked model을 안전하게 배포하기 위한 전제 조건임을 확립하며, 현재의 benchmark는 그렇지 않으면 임상적으로 중요한 실패를 가릴 수 있다.","link":"https://openreview.net/forum?id=Nmf9fBxCgq"},{"id":"xeJC38ljVM","en":"ProtSent: Protein Sentence Transformers","ko":"ProtSent: 단백질 Sentence Transformers","authors":"Dan Ofer, Oriel Perets, Michal Linial, Nadav Rappoport","abs":"Protein language models produce representations that capture evolutionary and structural information, yet their sequence-level embeddings are not trained to reflect biological similarity between proteins. We present ProtSent, a contrastive fine-tuning framework that adapts protein language models into general-purpose embedding models using MultipleNegativesRankingLoss across five protein-pair datasets: Pfam families, structurally derived hard negatives, AlphaFold~DB structural pairs, StringDB interactions, and deep mutational scanning data. Evaluated on 23 downstream tasks with a frozen k-nearest-neighbor probe, ProtSent on ESM-2 150M improves 15 of 23 tasks, with +105% on remote homology detection, +17% on variant effect prediction, and +19.9% Recall@1 on SCOPe-40 retrieval. We release the models, code, and training recipe.
","absKo":"Protein language model은 진화 및 구조 정보를 포착하는 representation을 생성하지만, sequence-level embedding은 단백질 간 biological similarity를 반영하도록 학습되지 않는다. 우리는 ProtSent를 제안한다. ProtSent는 Pfam family, 구조적으로 도출된 hard negative, AlphaFold~DB structural pair, StringDB interaction, deep mutational scanning data의 다섯 가지 protein-pair dataset에 걸쳐 MultipleNegativesRankingLoss를 사용하여 protein language model을 범용 embedding model로 적응시키는 contrastive fine-tuning framework이다. frozen k-nearest-neighbor probe로 23개의 downstream task를 평가한 결과, ESM-2 150M에서 ProtSent는 23개 중 15개 task를 개선했으며, remote homology detection에서 +105%, variant effect prediction에서 +17%, SCOPe-40 retrieval에서 Recall@1 +19.9%를 달성했다. 우리는 모델, 코드, 그리고 training recipe를 공개한다.","link":"https://openreview.net/forum?id=xeJC38ljVM"},{"id":"jAPrtGqaZE","en":"Survival-Relevant Directional Pathology–Omics Discordance from Frozen Whole-Slide Foundation Embeddings","ko":"Frozen Whole-Slide Foundation Embeddings에서의 생존 관련 방향성 병리-오믹스 불일치","authors":"KuanTing Wu","abs":"Multimodal life-science foundation models are often evaluated by direct endpoint prediction: can a learned image representation recover a molecular or clinical label? We study a complementary use case for frozen whole-slide embeddings. After generating an out-of-fold morphology-derived molecular readout, we ask whether the direction of disagreement between the image-derived score and the measured molecular assay retains survival information. Using fixed TITAN–CONCH whole-slide embeddings, we define a signed image–molecular residual, adjust it only for outcome-free technical quality variables, and decompose it into positive and negative directional components. In an anonymized in-house resected NSCLC/LUAD cohort and in public TCGA-KIRC, locked directional discordance terms remain associated with recurrence-free or overall survival after adjustment for the observed molecular target and available clinicopathologic covariates. These retrospective findings do not imply that pathology can replace molecular testing. Instead, they support directional cross-modal residual analysis as a lightweight way to evaluate and interpret biomedical foundation embeddings.
","absKo":"Multimodal life-science foundation model은 종종 직접적인 endpoint prediction으로 평가된다. 즉, 학습된 image representation이 molecular 또는 clinical label을 복원할 수 있는가를 본다. 우리는 frozen whole-slide embedding의 보완적 사용 사례를 연구한다. out-of-fold morphology-derived molecular readout를 생성한 뒤, image-derived score와 measured molecular assay의 disagreement 방향이 survival information을 유지하는지 질문한다. 고정된 TITAN–CONCH whole-slide embedding을 사용하여 signed image–molecular residual을 정의하고, outcome-free technical quality variable에 대해서만 이를 보정한 뒤, 이를 positive 및 negative directional component로 분해한다. 익명화된 in-house resected NSCLC/LUAD cohort와 public TCGA-KIRC에서, 고정된 directional discordance term은 관측된 molecular target 및 이용 가능한 clinicopathologic covariate에 대한 보정 후에도 recurrence-free survival 또는 overall survival과 계속 연관되었다. 이러한 retrospective finding은 pathology가 molecular testing을 대체할 수 있음을 의미하지 않는다. 오히려 이는 biomedical foundation embedding을 평가하고 해석하는 가벼운 방법으로서 directional cross-modal residual analysis를 지지한다.","link":"https://openreview.net/forum?id=jAPrtGqaZE"},{"id":"8sCCiit00K","en":"Learning Protein Fitness Landscapes with Multimodal Stability Priors","ko":"multimodal stability prior로 단백질 적합도 지형 학습하기","authors":"Shannon SQ Zhang, Yunan Luo","abs":"Predicting how mutations change protein fitness is central to protein engineering and variant interpretation, yet most experimentally measured fitness landscapes contain only limited labeled variants. We present PsiFit, a stability-informed framework that adapts protein language models for low-$N$ fitness prediction by injecting mutation-induced stability changes predicted by a multimodal sequence-structure foundation model. By integrating biophysical stability priors into contrastive fine-tuning, PsiFit aims to improve data efficiency, reduce overfitting, and provide a general strategy for learning protein fitness landscapes from sparse assays.
","absKo":"변이가 protein fitness를 어떻게 바꾸는지 예측하는 것은 protein engineering과 variant interpretation의 핵심이지만, 실험적으로 측정된 fitness landscape의 대부분은 labeled variant를 제한적으로만 포함한다. 우리는 multimodal sequence-structure foundation model이 예측한 mutation-induced stability change를 주입하여 low-$N$ fitness prediction을 위한 protein language model을 적응시키는 stability-informed framework인 PsiFit을 제안한다. PsiFit은 biophysical stability prior를 contrastive fine-tuning에 통합함으로써 데이터 효율성을 높이고, 과적합을 줄이며, 희소한 assay로부터 protein fitness landscape를 학습하는 일반적 전략을 제공하는 것을 목표로 한다.","link":"https://openreview.net/forum?id=8sCCiit00K"},{"id":"CLKfooTAiO","en":"Group Contrastive Learning for Weakly Paired Multimodal Data","ko":"약하게 짝지어진 multimodal 데이터에 대한 group contrastive learning","authors":"Aditya Gorla, Hugues Van Assel, Jan-Christian Huetter, Heming Yao, Kyunghyun Cho, Aviv Regev, Russell Littman","abs":"We present GROOVE, a semi-supervised representation learning approach for weakly paired multi-modal data, where samples across modalities share perturbation labels but lack instance-level correspondence. Our central contribution is GroupCLIP, a group-level contrastive loss that fills the gap between CLIP (cross-modal, instance-paired) and SupCon (uni-modal, label-supervised) for the weakly-paired regime. We integrate GroupCLIP with on-the-fly backtranslating autoencoders to learn cross-modally entangled, group-coherent representations. We additionally propose a combinatorial benchmarking framework that pairs representation learners with multiple optimal-transport aligners, revealing that no single aligner uniformly dominates. Across simulations and two single-cell genetic perturbation datasets, GROOVE matches or outperforms existing approaches on cross-modal matching and imputation, with ablations showing GroupCLIP as the key driver of performance gains.
","absKo":"우리는 weakly paired multi-modal data를 위한 semi-supervised representation learning 접근법인 GROOVE를 제시한다. 이 설정에서는 modality 간 sample들이 perturbation label은 공유하지만 instance-level correspondence는 없다. 우리의 핵심 기여는 GroupCLIP으로, weakly-paired regime에서 CLIP(cross-modal, instance-paired)과 SupCon(uni-modal, label-supervised) 사이의 간극을 메우는 group-level contrastive loss다. 우리는 GroupCLIP을 on-the-fly backtranslating autoencoders와 통합하여 cross-modally entangled되고 group-coherent한 representation을 학습한다. 또한 우리는 representation learner와 여러 optimal-transport aligner를 짝지어 평가하는 combinatorial benchmarking framework를 제안하며, 어떤 단일 aligner도 일관되게 우세하지 않음을 보인다. simulation과 두 개의 single-cell genetic perturbation dataset 전반에서 GROOVE는 cross-modal matching과 imputation에서 기존 접근법과 동등하거나 더 우수한 성능을 보였고, ablation은 GroupCLIP이 성능 향상의 핵심 동인임을 보여준다.","link":"https://openreview.net/forum?id=CLKfooTAiO"},{"id":"Gm3WOUJfJA","en":"OmicsDefense: The First Unified Framework for Defending Against Backdoor Attacks in Single-cell Foundation Models","ko":"OmicsDefense: single-cell foundation model의 backdoor 공격 방어를 위한 최초의 통합 프레임워크","authors":"Bioclaw Team, Peiting Shi","abs":"Single-cell foundation models have become indispensable tools for cellular heterogeneity analysis, disease mechanism discovery, and clinical diagnostics, yet they face critical biosecurity vulnerabilities from backdoor attacks that remain unaddressed. **We present OmicsDefense, the first unified defense framework for single-cell foundation models, featuring Weighted Divergence Filtering (WDF) for poisoned sample detection.** We apply our framework to seven foundation models (Geneformer, scGPT, scCELLO, scPRINT, LangCell, UCE, scFoundation) on two datasets (Human Pancreas and Myeloid), achieving an average 98.7% reduction in attack success rates while preserving clean accuracy. OmicsDefense establishes a new paradigm for trustworthy single-cell analysis, enabling reliable cell atlas construction and clinical diagnosis in the era of foundation model-powered biomedicine.
","absKo":"단일세포 foundation model은 세포 이질성 분석, 질병 기전 발견, 임상 진단에 필수적인 도구가 되었지만, 아직 대응되지 않은 backdoor attack로 인해 심각한 biosecurity 취약점에 직면해 있다. **우리는 단일세포 foundation model을 위한 최초의 통합 방어 프레임워크인 OmicsDefense를 제시하며, poisoned sample 탐지를 위한 Weighted Divergence Filtering(WDF)을 포함한다.** 우리는 이 프레임워크를 두 개의 데이터셋(Human Pancreas와 Myeloid)에서 7개의 foundation model(Geneformer, scGPT, scCELLO, scPRINT, LangCell, UCE, scFoundation)에 적용하여, clean accuracy를 유지하면서 attack success rate를 평균 98.7% 감소시켰다. OmicsDefense는 신뢰할 수 있는 단일세포 분석을 위한 새로운 패러다임을 확립하며, foundation model 기반 biomedicine 시대에 신뢰성 있는 cell atlas 구축과 임상 진단을 가능하게 한다.","link":"https://openreview.net/forum?id=Gm3WOUJfJA"},{"id":"RChoYAHJvi","en":"Position: AI for Drug Discovery Models Often Do Not Learn as Expected and How to Diagnose These Failure Modes","ko":"입장문: 약물 발견 모델의 AI는 종종 기대대로 학습하지 않으며, 이러한 실패 양상을 진단하는 법","authors":"Nikhil Branson, Aaron Wenteler, Guy Durant, Charlotte Deane","abs":"We argue that in multiple areas of AI for drug discovery (AIDD), deep learning models are not learning the meaningful biological or chemical features they were hypothesised to capture, but instead learn non-generalisable features, for example, from dataset biases. To address this, we propose the systematic use of misaligned baselines. We define misaligned baselines as models that rely on signals purposely misaligned with the intended learning objective. Rather than modelling the underlying biology or chemistry directly, these baselines draw on reductionist sources of information, heavily perturbed input features, or heuristic models. Competitive performance of such baselines reveals when models are not learning the biologically meaningful representations they were designed to learn. By examining case studies across multiple branches of AIDD, we demonstrate that misaligned baselines have consistently exposed such failure modes and crucially informed the evaluation and improvement of these models. We argue that adopting them as standard practice will help to ensure that progress in AIDD reflects genuine advances rather than artefacts of data-generating processes or evaluation design.
","absKo":"우리는 drug discovery를 위한 AI (AIDD)의 여러 영역에서, deep learning model이 가설상 포착해야 했던 의미 있는 생물학적 또는 화학적 특징을 실제로 학습하는 것이 아니라, 데이터셋 편향에서 비롯된 것과 같은 일반화 불가능한 특징을 학습하고 있다고 주장한다. 이를 해결하기 위해 우리는 misaligned baseline의 체계적 사용을 제안한다. misaligned baseline은 의도된 학습 목표와 고의로 어긋난 신호에 의존하는 모델로 정의한다. 이러한 baseline은 underlying biology나 chemistry를 직접 모델링하는 대신, 환원주의적 정보원, 강하게 교란된 입력 특징, 또는 휴리스틱 모델을 활용한다. 이와 같은 baseline이 경쟁력 있는 성능을 보인다는 사실은, 모델이 본래 학습하도록 설계된 생물학적으로 의미 있는 representation을 실제로는 학습하지 못하고 있음을 드러낸다. AIDD의 여러 분과에 걸친 사례 연구를 살펴본 결과, misaligned baseline이 이러한 실패 모드를 일관되게 노출해 왔고, 무엇보다도 이들 model의 평가와 개선에 중요한 통찰을 제공했음을 보인다. 우리는 이를 표준 관행으로 채택하면 AIDD의 진전이 데이터 생성 과정이나 평가 설계의 산물이 아니라 진정한 발전을 반영하도록 하는 데 도움이 될 것이라고 주장한다.","link":"https://openreview.net/forum?id=RChoYAHJvi"},{"id":"Sui9KfHzRn","en":"Position: Multi-Modal LLMs for Video Behavioral Coding in High-Stakes Decision-Making Are Bounded by Polysemy, Not by Model Scale","ko":"Position: 고위험 의사결정에서 video behavioral coding을 위한 multi-modal LLM은 다의성에 의해, 모델 규모가 아니라, 제한된다","authors":"Zezheng Lin, Jinhao Gan","abs":"Multi-modal LLMs are increasingly applied to video data in life-science-adjacent settings: clinical training assessment, surgical performance evaluation, doctor-patient communication audits, police body-camera analysis (Dube et al. 2025 QJE), and inter-agency emergency response coordination. The standard reporting practice evaluates these models by aggregate accuracy on benchmark datasets where surface behaviors map cleanly to a single ground-truth code. Real high-stakes behavioral coding, by contrast, is characterized by polysemy: the same observable behavior maps to multiple latent codes with prior probabilities that depend on context. We argue that aggregate benchmark accuracy is a poor proxy for clinical or operational utility because it does not surface the polysemy-induced identifiability gap. We support the position with a controlled simulation calibrated to an 18-code IPA-style scheme adapted from Bales (1950) for inter-agency conflict analysis: as polysemy grows from 1 to 7 latent codes per surface behavior, Bayes-optimal accuracy drops from 0.70 to 0.22 and posterior entropy on latent codes grows from 0.48 to 1.85 nats (out of log 18 = 2.89). Multi-modal augmentation helps: combining audio (44% accurate), visual (54%), and text (62%) modalities yields 71% accuracy. We propose a per-segment uncertainty reporting protocol for video-LLM papers in life-science applications.
","absKo":"Multi-modal LLM은 점점 더 생명과학 인접 환경의 video data에 적용되고 있다: clinical training assessment, surgical performance evaluation, doctor-patient communication audit, police body-camera analysis (Dube et al. 2025 QJE), 그리고 inter-agency emergency response coordination. 표준 reporting practice는 표면적 행동이 단일 ground-truth code와 깔끔하게 대응되는 benchmark dataset에서의 aggregate accuracy로 이러한 model을 평가한다. 반면 실제의 고위험 behavioral coding은 polysemy로 특징지어진다: 동일한 관찰 가능한 행동이 맥락에 따라 달라지는 prior probability를 갖는 여러 latent code로 매핑된다. 우리는 aggregate benchmark accuracy가 polysemy로 유발된 identifiability gap을 드러내지 못하므로, clinical 또는 operational utility의 부적절한 proxy라고 주장한다. 우리는 Bales (1950)에서 inter-agency conflict analysis를 위해 adapted한 18-code IPA-style scheme에 맞춘 통제된 simulation으로 이러한 입장을 뒷받침한다. polysemy가 하나의 surface behavior당 1개에서 7개의 latent code로 증가함에 따라, Bayes-optimal accuracy는 0.70에서 0.22로 하락하고 latent code에 대한 posterior entropy는 0.48에서 1.85 nats로 증가한다(log 18 = 2.89 기준). Multi-modal augmentation은 도움이 된다: audio(정확도 44%), visual(54%), text(62%) modalities를 결합하면 71% accuracy를 얻는다. 우리는 생명과학 응용의 video-LLM 논문을 위한 per-segment uncertainty reporting protocol을 제안한다.","link":"https://openreview.net/forum?id=Sui9KfHzRn"},{"id":"ClVNdyCzFh","en":"Mode-Aware Phenotype Profiling from Korean Clinical Reports: An LLM-Derived Two-Layer Fingerprint for Autism Characterization","ko":"한국 임상 보고서로부터의 mode-aware phenotype profiling: 자폐 특성화를 위한 LLM 도출 2층 fingerprint","authors":"Yeojin Ryu, Miae Oh, Joon-Yong An","abs":"Autism spectrum disorder (ASD) is phenotypically heterogeneous. Clinical diagnostic reports provide a richer and more clinically proximal basis for heterogeneity analysis than questionnaire totals. We analyzed 309 Korean clinical reports with a sentence-attention KLUE-RoBERTa model and an LLM silver-labeling workflow that mapped high-attention clinical sentences into 18 DSM-5-grounded phenotype domains. Report-level domain frequency vectors agreed closely with expert-gold profiles. To test for discrete subtypes, we fit Gaussian mixture models on isometric log-ratio coordinates and benchmarked the resulting clusters against a permutation null with multi-seed stability checks. Four \\emph{weak density modes} emerged consistently across random seeds but were not well separated enough for hard subtype assignment, comprising a dual prototype core, a broad diffuse mode, and a physiological-adaptive directional mode. Mahalanobis tail tests then located individual idiosyncrasy in the residual PC subspace rather than in the leading mode-carrying dimensions. We summarize the phenotype space with a two-layer fingerprint, mode membership plus within-mode tail deviation per domain, as a descriptive alternative to hard subtype labels, with the individual-deviation layer remaining exploratory.
","absKo":"자폐 스펙트럼 장애(ASD)는 표현형적으로 이질적이다. 임상 진단 보고서는 questionnaire total보다 이질성 분석에 더 풍부하고 임상적으로 더 근접한 기반을 제공한다. 우리는 sentence-attention KLUE-RoBERTa model과, 높은 attention을 받은 임상 문장을 18개의 DSM-5 기반 phenotype domain으로 매핑하는 LLM silver-labeling workflow를 사용해 309개의 한국어 임상 보고서를 분석했다. 보고서 수준의 domain frequency vector는 expert-gold profile과 매우 잘 일치했다. discrete subtype을 검증하기 위해 isometric log-ratio coordinate에서 Gaussian mixture model을 적합하고, multi-seed stability check와 함께 permutation null에 대해 결과 cluster를 benchmark했다. 네 개의 \\emph{weak density mode}가 random seed 전반에서 일관되게 나타났지만, hard subtype assignment를 하기에는 충분히 잘 분리되지 않았으며, dual prototype core, broad diffuse mode, physiological-adaptive directional mode로 구성되었다. 이어서 Mahalanobis tail test는 개인적 특이성이 leading mode-carrying dimension이 아니라 residual PC subspace에 위치함을 보였다. 우리는 phenotype space를 hard subtype label의 기술적 대안으로서, domain별 mode membership과 within-mode tail deviation으로 이루어진 two-layer fingerprint로 요약하며, 개인 편차 layer는 탐색적 성격으로 남겨둔다.","link":"https://openreview.net/forum?id=ClVNdyCzFh"},{"id":"V8rj3UkC5J","en":"Position: Saturation in Single-Cell Foundation Model Benchmarks Signals Identifiability Failure, Not Solved Capability","ko":"Position: Single-Cell foundation model benchmark의 포화는 능력 해결이 아니라 식별성 실패를 의미한다","authors":"Zezheng Lin, Fengming Liu","abs":"Single-cell foundation models (scFMs) including scGPT (Cui et al. 2024), Geneformer (Theodoris et al. 2023), and scFoundation now report cell-type classification accuracies above 85-95% on standard benchmarks (Hou et al. 2026). The community routinely interprets clustering of top scFMs near these accuracies as evidence that "the benchmark is solved" or that "differences between scFMs are negligible." We argue both interpretations are wrong. Saturation is, structurally, an identifiability-failure signal: as observed pass-rates compress against the upper bound, the Fisher information on the latent capability of each scFM collapses exponentially, and the data become uninformative about pairwise capability contrasts. We support the claim with a simulation modeling 13 scFMs on 200 benchmark cells: as mean pass-rate rises from 0.50 to 0.95, the probability that the empirically-best scFM is also the truly-best scFM drops from 0.76 to 0.35, and Fisher information at p_hat=0.95 is only 18% of its maximum at p_hat=0.5 (theta=3 vs theta=0). Bayesian posterior probabilities Pr(theta_top > theta_second | y) degrade similarly. We propose a four-item identifiability-aware scFM benchmarking standard: pass-rate distribution disclosure, Fisher information reporting, posterior pairwise comparison, and saturation-triggered redesign protocol.
","absKo":"scGPT (Cui et al. 2024), Geneformer (Theodoris et al. 2023), 그리고 scFoundation을 포함한 single-cell foundation models (scFMs)은 이제 표준 benchmark에서 cell-type classification accuracy 85-95% 이상을 보고하고 있다 (Hou et al. 2026). 커뮤니티는 이 정확도 구간에 근접한 top scFM들의 clustering을 흔히 \"benchmark가 풀렸다\"거나 \"scFM 간 차이는 무시할 만하다\"는 증거로 해석한다. 우리는 두 해석 모두 틀렸다고 주장한다. saturation은 구조적으로 identifiability-failure signal이다. 관측된 pass-rate가 상한에 압축될수록, 각 scFM의 latent capability에 대한 Fisher information은 지수적으로 붕괴하며, 데이터는 pairwise capability contrast에 대해 무정보적이 된다. 우리는 200개의 benchmark cell 위에서 13개의 scFM을 모델링한 simulation으로 이 주장을 뒷받침한다. mean pass-rate가 0.50에서 0.95로 상승할수록, empirically-best scFM이 truly-best scFM이기도 할 확률은 0.76에서 0.35로 떨어지며, p_hat=0.95에서의 Fisher information은 p_hat=0.5에서의 최대값(theta=0 대비 theta=3)의 18%에 불과하다. Bayesian posterior probability Pr(theta_top > theta_second | y)도 유사하게 악화된다. 우리는 identifiability-aware scFM benchmarking을 위한 네 가지 항목의 표준을 제안한다: pass-rate distribution 공개, Fisher information 보고, posterior pairwise comparison, 그리고 saturation-triggered redesign protocol.","link":"https://openreview.net/forum?id=V8rj3UkC5J"},{"id":"ZswqCu8lj1","en":"Position: Multi-Omics Foundation Models Need a Modality Identifiability Standard, Not Just Aggregate Accuracy","ko":"입장: Multi-Omics foundation model에는 단순한 전체 정확도보다 modality 식별 가능성 표준이 필요하다","authors":"Zezheng Lin, Fengming Liu","abs":"Multi-omics foundation models that integrate DNA, RNA, protein, and other biological modalities are increasingly used for phenotype prediction, drug response, and disease modeling (Cui et al. 2024; Theodoris et al. 2023). The standard reporting practice evaluates these models by aggregate prediction accuracy on held-out cells or patients. We argue this practice obscures a structural identifiability failure: when modalities partially measure the same underlying biological signal (a near-universal property of multi-omics data, where DNA variants, RNA expression, and protein abundance all reflect overlapping regulatory mechanisms), the contribution of each modality to phenotype prediction is not identifiable from aggregate data alone, regardless of cohort size. We support the position with a controlled simulation: with 3 modalities, 5 features each, and 500 samples, the per-modality posterior std on coefficients collapses from 0.005 (full-rank, identifiable) to 0.817 (rank-deficient, essentially the prior) as the shared-signal dimension grows from 0 to 5; the design rank drops from 15 to 5. Critically, even in the unidentifiable case, the sum of modality contributions is recovered exactly, which is exactly what the aggregate accuracy metric measures, while the per-modality contributions remain at the prior. Claims like "the protein modality drives prediction" or "adding DNA improves performance" may not be licensed by the design even when aggregate accuracy is high. We propose a four-item modality identifiability disclosure standard for FM4LS papers: modality-design rank reporting, per-modality posterior contraction quantification, shared-signal estimation, and ablation-vs-identification distinction.
","absKo":"DNA, RNA, protein, 그리고 다른 biological modality를 통합하는 multi-omics foundation model은 phenotype prediction, drug response, disease modeling에 점점 더 많이 사용되고 있습니다(Cui et al. 2024; Theodoris et al. 2023). 표준 보고 관행은 hold-out된 cell이나 patient에 대한 aggregate prediction accuracy로 이러한 모델을 평가합니다. 우리는 이 관행이 구조적 identifiability failure를 가린다고 주장합니다. 즉, modality가 동일한 underlying biological signal의 일부를 함께 측정할 때(이는 DNA variant, RNA expression, protein abundance가 모두 서로 겹치는 regulatory mechanism을 반영한다는 점에서 multi-omics data의 거의 보편적 속성입니다), cohort size와 무관하게 aggregate data만으로는 phenotype prediction에 대한 각 modality의 기여를 식별할 수 없습니다. 우리는 통제된 simulation으로 이 입장을 뒷받침합니다. 3개의 modality, 각 5개의 feature, 500개의 sample에서 shared-signal dimension이 0에서 5로 커질 때 coefficient에 대한 per-modality posterior std는 0.005(full-rank, identifiable)에서 0.817(rank-deficient, 사실상 prior)로 붕괴하며, design rank는 15에서 5로 떨어집니다. 중요한 점은, unidentifiable한 경우에도 modality contribution의 합은 정확히 복원된다는 것이고, 이는 aggregate accuracy metric이 정확히 측정하는 바와 같습니다. 반면 per-modality contribution은 prior에 머무릅니다. \"protein modality가 prediction을 주도한다\"거나 \"DNA를 추가하면 성능이 향상된다\" 같은 주장은 aggregate accuracy가 높더라도 design상 허용되지 않을 수 있습니다. 우리는 FM4LS 논문을 위한 네 가지 modality identifiability disclosure standard를 제안합니다: modality-design rank 보고, per-modality posterior contraction 정량화, shared-signal 추정, 그리고 ablation과 identification의 구분.","link":"https://openreview.net/forum?id=ZswqCu8lj1"},{"id":"7cdGdKdnYA","en":"Is PEFT Enough for Cell Segmentation? An Empirical No-Go Result on Frozen Foundation Models","ko":"PEFT로 충분한가? 고정된 foundation model에서의 세포 분할에 대한 실증적 불가능 결과","authors":"Joonsuk Hwang, Hyowon Woo, Hyobin Seok, Jangwon Seo, Jeong Hoon Lee","abs":"In cell microscopy, downstream analysis increasingly requires precise cell instance segmentation rather than a high average segmentation score. Using Cellpose-SAM on LIVECell as a controlled case study, we examine whether various adaptation strategies, including backbone adapters, decoder-side LoRA and partial unfreezing, reweighting losses, and cell-separation losses, together with full fine-tuning can further improve performance. Across all of them, performance stays within a narrow band around $AP_{\\mathrm{COCO}} \\approx 0.56$: the best setting (a flow-repulsion separation loss) improves over the base model but still leaves missed and merged cells in dense regions, and even full fine-tuning ($AP_{\\mathrm{COCO}} = 0.5627$) does not escape this band. These results suggest that the observed ceiling is difficult to explain solely by PEFT capacity or the number of trainable parameters. Instead, they point to a representational limitation of existing cell-domain models, motivating structure-aware cell foundation models trained to encode microscopy-specific structural properties, including dense cells, weak boundaries, touching instances, and flow-based separation, from the pretraining stage.
","absKo":"cell microscopy에서 downstream analysis는 점점 더 높은 평균 segmentation score보다 정확한 cell instance segmentation을 요구한다. LIVECell에서 Cellpose-SAM을 통제된 case study로 사용하여, backbone adapter, decoder-side LoRA 및 partial unfreezing, loss reweighting, cell-separation loss, 그리고 full fine-tuning을 포함한 다양한 adaptation strategy가 성능을 추가로 개선할 수 있는지 살펴본다. 이들 모든 방법에서 성능은 $AP_{\\mathrm{COCO}} \\approx 0.56$ 주변의 좁은 범위에 머문다. 가장 좋은 설정(flow-repulsion separation loss)은 base model보다 개선되지만 dense region에서 여전히 누락되거나 병합된 cell이 남아 있으며, full fine-tuning($AP_{\\mathrm{COCO}} = 0.5627$)조차도 이 범위를 벗어나지 못한다. 이러한 결과는 관찰된 ceiling을 PEFT capacity나 trainable parameter 수만으로 설명하기 어렵다는 점을 시사한다. 대신, 이는 기존 cell-domain model의 representational limitation을 가리키며, dense cell, weak boundary, touching instance, flow-based separation을 포함한 microscopy 특유의 구조적 속성을 pretraining 단계부터 인코딩하도록 학습된 structure-aware cell foundation model의 필요성을 뒷받침한다.","link":"https://openreview.net/forum?id=7cdGdKdnYA"},{"id":"U7nPb0GkvG","en":"Few-Shot Biomedical Image Classification by Alignment of Independently Pretrained Encoders","ko":"독립적으로 사전학습된 encoder의 정렬을 통한 few-shot biomedical image classification","authors":"Daniel Shalam, Simon Korman","abs":"Few-shot biomedical classification is dominated by methods built on jointly trained vision-language models such as BiomedCLIP, which rely on paired image-report corpora that are costly to assemble. In parallel, strong unimodal biomedical encoders, such as the self-supervised vision model RAD-DINO, are trained independently of text. We introduce a framework that aligns independently pretrained vision and text encoders using only the few-shot support set, combining a closed-form orthogonal Procrustes map with a lightweight flow-matching refinement. On the 11-dataset BiomedCoOp benchmark, replacing the jointly trained biomedical vision encoder with a general-purpose DINOv3 encoder matches or surpasses BiomedCoOp at higher shot counts. On VinDr-CXR multi-label chest X-ray classification, aligning RAD-DINO with BiomedCLIP text consistently outperforms linear probing of RAD-DINO across all shot counts. These results show that post-hoc alignment can reduce dependence on paired multimodal pretraining while enabling flexible combinations of independently trained unimodal models.
","absKo":"Few-shot biomedical classification은 BiomedCLIP처럼 jointly trained vision-language model 기반 방법이 지배해 왔으며, 이는 구축 비용이 큰 paired image-report corpus에 의존한다. 동시에 self-supervised vision model인 RAD-DINO와 같은 강력한 unimodal biomedical encoder는 text와 독립적으로 학습된다. 우리는 few-shot support set만을 사용해 독립적으로 사전학습된 vision encoder와 text encoder를 정렬하는 framework를 제안하며, closed-form orthogonal Procrustes map과 lightweight flow-matching refinement를 결합한다. 11개 dataset의 BiomedCoOp benchmark에서, jointly trained biomedical vision encoder를 범용 DINOv3 encoder로 대체하면 더 높은 shot 수에서 BiomedCoOp와 동등하거나 이를 능가한다. VinDr-CXR multi-label chest X-ray classification에서는 RAD-DINO를 BiomedCLIP text와 정렬하는 방식이 모든 shot 수에서 RAD-DINO의 linear probing보다 일관되게 우수하다. 이러한 결과는 post-hoc alignment가 paired multimodal pretraining에 대한 의존성을 줄이는 동시에 독립적으로 학습된 unimodal model의 유연한 조합을 가능하게 함을 보여준다.","link":"https://openreview.net/forum?id=U7nPb0GkvG"},{"id":"gjMQHsi2RL","en":"The Hallucination Dependence Index: A Cross-Condition Diagnostic for Clinical-LLM Faithfulness","ko":"Hallucination Dependence Index: clinical-LLM 충실성을 위한 교차 조건 진단 지표","authors":"Ishan Gonehal, Hanson Wen, Bowman Novey","abs":"We introduce the Hallucination Dependence Index (HDI), a paired metric that reports the fraction of a clinical LLM's ungrounded hallucination that grounding actually suppresses, computed under bit-for-bit identical prompts with only the evidence bundle substituted between conditions. Standard clinical-LLM faithfulness evaluations report a single supported-claim rate, which by construction cannot tell a model that reads the bundle apart from one whose pretraining priors already match the cohort; HDI plus an embedding-overlap probe distinguishes calibrated refusal from silent prior-recycling. We instantiate HDI in a cross-condition harness on 119 TCGA-LUAD cases anchored to a two-expert consensus adjudication ($\\kappa = 0.64$; independent inter-annotator $\\kappa = 0.71$), with a fixed external LLM judge (gpt-4.1-mini, in neither factorial row) that neutralizes self-preference bias. Across gpt-4o-mini, gpt-5.4-mini, gemini-2.5-flash, and the gemini-3-flash *preview* endpoint, HDI spans 0.336–0.984 while grounded support compresses to 81.9–93.2%, inverting safety rankings; gpt-5.4-mini's low HDI reflects calibrated refusal, not prior-recycling (3.2% semantic overlap). Pairwise patient-paired bootstrap separates all six model pairs at Holm-corrected $p \\leq 0.009$. These structural findings are invisible to grounded-only metrics.
","absKo":"우리는 Hallucination Dependence Index(HDI)를 소개한다. 이는 임상 LLM의 근거 없는 hallucination 중 grounding이 실제로 얼마나 억제하는지를 보고하는 paired metric이며, 두 조건 사이에서 evidence bundle만 교체하고 bit-for-bit 동일한 프롬프트 아래에서 계산된다. 표준 임상 LLM faithfulness 평가는 하나의 supported-claim rate만 보고하는데, 이는 구조상 bundle을 읽는 모델과 사전학습 prior가 이미 해당 cohort와 일치하는 모델을 구분할 수 없다. HDI와 embedding-overlap probe는 calibrated refusal와 silent prior-recycling을 구분한다. 우리는 두 전문가 합의 판정($\\kappa = 0.64$; 독립적인 annotator 간 $\\kappa = 0.71$)에 기반한 119개의 TCGA-LUAD 사례 위에, self-preference bias를 상쇄하는 고정 external LLM judge(gpt-4.1-mini, factorial row 어느 쪽에도 포함되지 않음)를 둔 cross-condition harness에서 HDI를 구현했다. gpt-4o-mini, gpt-5.4-mini, gemini-2.5-flash, 그리고 gemini-3-flash *preview* endpoint 전반에서 HDI는 0.336–0.984 범위를 보였고, grounded support는 81.9–93.2%로 압축되며 safety ranking을 뒤집었다. gpt-5.4-mini의 낮은 HDI는 prior-recycling이 아니라 calibrated refusal을 반영한다(semantic overlap 3.2%). 환자-짝짓기 부트스트랩은 Holm 보정 $p \\leq 0.009$에서 여섯 개 모델 쌍을 모두 분리했다. 이러한 구조적 발견은 grounded-only metric에서는 보이지 않는다.","link":"https://openreview.net/forum?id=gjMQHsi2RL"},{"id":"yQZ93BNJxT","en":"Do Clinical VLMs Need Dense Visual Tokens? Probing Spatial Grounding in Radiology Report Generation","ko":"Clinical VLM은 Dense Visual Token이 필요한가? Radiology Report 생성에서의 공간 정렬 탐색","authors":"Leopoldo Julian Lechuga Lopez, Tim G. J. Rudner, Farah E. Shamout","abs":"Clinical vision-language models (VLMs) for chest X-ray report generation are typically evaluated on generated text quality, but strong generation performance does not necessarily imply fine-grained visual grounding.
In this work, we empirically evaluate how much spatial visual information a clinical VLM uses for radiology report generation.
Using our own implementation of LLaVARad, a state-of-the-art VLM for radiology report generation, we apply a simple intervention framework that selects, removes, or randomly samples visual tokens before projection into the language model.
We find that dense visual token samples are not required, as
compressing the full set of visual patch tokens (i.e., T=1369) into a single mean-pooled token, preserves baseline performance.
Region-level interventions produce measurable but modest degradation, with the largest effects in CheXbert-based clinical metrics.
Notably, retaining only $\\sim1\\%$ (i.e., T=14) of randomly sampled visual tokens before mean-pooling, nearly matches the full-token setting.
These results suggest that the model uses the image primarily through a low-dimensional visual conditioning signal rather than strong fine-grained spatial grounding, raising concerns about the limited use of visual inputs by current clinical VLMs.
","absKo":"흉부 X-ray report generation을 위한 clinical vision-language model (VLM)은 보통 생성된 텍스트의 품질로 평가되지만, 생성 성능이 뛰어나다고 해서 반드시 세밀한 visual grounding이 보장되는 것은 아니다.\n본 연구에서는 radiology report generation에서 clinical VLM이 공간적 visual information을 얼마나 활용하는지를 실증적으로 평가한다.\n우리는 radiology report generation을 위한 state-of-the-art VLM인 LLaVARad의 자체 구현을 사용하고, language model로 projection하기 전에 visual token을 선택, 제거 또는 무작위 샘플링하는 간단한 intervention framework를 적용한다.\n우리는 dense visual token sample이 필수는 아님을 발견했으며,\n전체 visual patch token 집합(i.e., T=1369)을 하나의 mean-pooled token으로 압축해도 baseline 성능이 유지된다.\nregion-level intervention은 측정 가능한 수준의 성능 저하를 유발하지만 그 폭은 제한적이며, CheXbert 기반 clinical metric에서 가장 큰 영향을 보였다.\n주목할 점은, mean-pooling 전에 무작위로 샘플링한 visual token의 약 $\\sim1\\%$ (i.e., T=14)만 유지해도 전체 token 설정과 거의 동일한 성능을 보였다는 것이다.\n이 결과는 모델이 이미지를 주로 low-dimensional visual conditioning signal로 사용하며, 강한 세밀 spatial grounding에는 크게 의존하지 않음을 시사한다. 이는 현재 clinical VLM이 visual input을 제한적으로 활용하고 있다는 우려를 제기한다.","link":"https://openreview.net/forum?id=yQZ93BNJxT"},{"id":"rR0OLTGE9j","en":"Empirical Observations on Parameter Scaling in Chemical Language Models","ko":"화학 언어 모델의 파라미터 스케일링에 대한 경험적 관찰","authors":"Artur Safrastyan, Hrant Khachatrian","abs":"Recent studies have shown that increasing parameter count improves the performance in graph-based architectures for molecular property prediction. In this work, we try to examine whether similar scaling behavior can be observed in autoregressive chemical language models trained on SMILES-based datasets. Experiments were conducted on three LLaMA-based models (170M, 380M, and 1.3B parameters) on diverse downstream tasks, including multi-task ADME regression from Polaris, single-task PXR induction prediction, and large-scale binding classification on a DNA-encoded library dataset (BELKA). The results show that larger models can achieve better performance in some settings, particularly in regression tasks, though this behavior is not consistent across all the benchmarks. The PXR induction task showed consistent performance gain with increased model size. On the other hand, the models showed task-dependent variability on the Polaris benchmark. In the BELKA dataset, increased model size improved performance on the public test set but failed to generalize consistently with the private and more out-of-distribution set. The findings in this study suggest that while scaling benefits can extend to chemical language models, they are highly dependent on both task characteristics and the fine-tuning strategies used. We hope this work motivates further research using larger and more diverse model variants to better understand scaling trends in chemical language models.
","absKo":"최근 연구들은 파라미터 수를 늘리면 분자 물성 예측을 위한 graph-based architecture에서 성능이 향상된다는 것을 보여주었다. 본 연구에서는 SMILES 기반 데이터셋으로 학습된 autoregressive chemical language model에서도 유사한 scaling behavior가 관찰되는지 검토하고자 한다. 실험은 다양한 downstream task, including Polaris의 multi-task ADME regression, single-task PXR induction prediction, 그리고 DNA-encoded library dataset(BELKA)에서의 대규모 binding classification, 을 대상으로 3개의 LLaMA-based model(170M, 380M, 1.3B parameters)에서 수행되었다. 결과는 더 큰 model이 일부 설정, 특히 regression task에서 더 나은 성능을 달성할 수 있음을 보여주지만, 이러한 경향이 모든 benchmark에서 일관되지는 않았다. PXR induction task에서는 model size 증가에 따라 일관된 성능 향상이 나타났다. 반면 Polaris benchmark에서는 task에 따라 성능 변동이 나타났다. BELKA dataset에서는 model size 증가가 public test set에서는 성능을 개선했지만, private set과 더 out-of-distribution한 set에서는 일관되게 generalization하지 못했다. 본 연구의 발견은 scaling의 이점이 chemical language model에도 확장될 수 있지만, 그 효과가 task 특성과 fine-tuning strategy에 크게 의존한다는 점을 시사한다. 우리는 이 연구가 chemical language model의 scaling trend를 더 잘 이해하기 위해 더 크고 더 다양한 model variant를 활용한 후속 연구를 촉진하기를 기대한다.","link":"https://openreview.net/forum?id=rR0OLTGE9j"},{"id":"1jo35HDiWu","en":"VFUSE: Virulent Feature Understanding with Sparse autoEncoders","ko":"VFUSE: Sparse autoEncoders를 활용한 Virulent Feature 이해","authors":"Michael Yu, Matthew Lyle Olson","abs":"Generative models have shown remarkable progress in a variety of domains such as protein design, but such power enables the opaque generation of hazardous proteins. In this work, we introduce VFUSE (Virulent Feature Understanding with Sparse autoEncoders), a mechanistic interpretability approach that trains SAEs on diffusion-transformer activations to audit protein models for hazard-aware features. We apply VFUSE to RoseTTAFold3 and RFDiffusion3, popular open-weight models for protein folding and synthesis. We find that for certain blocks, linear probes detect hazardous designs significantly better when fit in the SAE latent space over the original model's representations: improving interpretability without sacrificing model performance. Furthermore, we identify monosemantic features from the SAE that fire only on hazardous designs at up to AUROC $0.84$ ($q < 10^{-13}$). To our knowledge this is the first SAE trained on an all-atom diffusion model and the first feature-level virulence audit of a protein design model, paving the way towards safe and interpretable protein design.
","absKo":"Generative model은 protein design과 같은 다양한 영역에서 놀라운 진전을 보여 왔지만, 이러한 능력은 위험한 protein을 불투명하게 생성하는 것도 가능하게 한다. 본 연구에서는 VFUSE(Virulent Feature Understanding with Sparse autoEncoders)를 소개한다. 이는 diffusion-transformer activation 위에 SAE를 학습시켜 hazard-aware feature를 점검하는 mechanistic interpretability 접근법이다. 우리는 VFUSE를 protein folding과 synthesis를 위한 인기 있는 open-weight model인 RoseTTAFold3와 RFDiffusion3에 적용한다. 특정 block에서는 SAE latent space에서 적합한 linear probe가 원래 model representation에서보다 위험한 설계를 훨씬 더 잘 탐지한다는 사실을 발견했다. 이는 model performance를 희생하지 않으면서 interpretability를 향상시킨다. 또한 우리는 SAE에서 유해한 설계에 대해서만 활성화되는 monosemantic feature를 찾아냈고, 최대 AUROC $0.84$($q < 10^{-13}$)까지 확인했다. 우리가 아는 한, 이는 all-atom diffusion model에 대해 학습된 최초의 SAE이자 protein design model에 대한 최초의 feature-level virulence audit이며, 안전하고 해석 가능한 protein design으로 가는 길을 연다.","link":"https://openreview.net/forum?id=1jo35HDiWu"},{"id":"ZjK8BNTzvl","en":"Biophysics-Guided Genomic Foundation Models via Attention Gating","ko":"Attention gating을 통한 biophysics-guided genomic foundation model","authors":"Bryan Cheng","abs":"Predicting DNA regulatory function demands models that integrate sequence context with the physical chemistry of nucleic acids. Genomic foundation models (GFMs) are widely used for this task, yet we show they are biophysically blind: attention weights ignore biophysical structure (regulatory attention score ≈ 1.0), representations occupy <4% of embedding dimensionality, and pretraining on raw sequence statistics degrades performance on certain regulatory tasks. We introduce PhysGFM (Physics-Guided Genomic Foundation Models), which injects biophysical knowledge into every attention head via a scalar gate g = σ(W_g · [x; φ(x)]), where φ(x) ∈ ℝ¹¹ encodes stacking free energy, melting temperature, dinucleotide entropy, and minor groove width—computed analytically from sequence alone. PhysGFM adds only 184K parameters (0.19% overhead) with no architectural changes. On the Nucleotide Transformer v2, it improves all 12 GUE tasks at 100M scale (+0.0170 mean MCC, t=4.91, p<0.001, n=36) and 11/12 at 250M (+0.0091, p<0.01). Mechanistic analysis reveals task-adaptive attention calibration: PhysGFM focuses attention for promoters (entropy −0.07) and broadens it for chromatin marks (+0.05 to +0.13), increasing intrinsic dimensionality by +3.2–10.6 across all tasks. Cross-species validation on E. coli σ70 promoters via the Mechanistic Invariance Test yields CSS = 0.74 (p<0.0001), outperforming HyenaDNA (0.63) and Evo2-1B (0.60)—notably, the gate is trained exclusively on human data, demonstrating that biophysical priors transfer across species without retraining. A controlled ablation confirms that 11 curated features outperform a 45-dimensional expansion (+0.0170 vs. +0.0086): targeted physical priors beat breadth of coverage. By recovering regulatory intelligence that sequence-only training leaves on the table at <0.2% parameter cost, PhysGFM establishes biophysical attention gating as a general mechanism for grounding foundation models in the physical sciences.
","absKo":"DNA regulatory function을 예측하려면 sequence context와 nucleic acid의 물리화학을 통합하는 model이 필요하다. Genomic foundation model(GFM)은 이 작업에 널리 사용되지만, 우리는 이 model들이 biophysically blind하다는 것을 보인다. attention weight는 biophysical structure를 무시하고(regulatory attention score ≈ 1.0), representation은 embedding dimensionality의 4% 미만을 차지하며, raw sequence statistic에 대한 pretraining은 일부 regulatory task에서 성능을 저하시킨다. 우리는 biophysical knowledge를 모든 attention head에 scalar gate g = σ(W_g · [x; φ(x)])를 통해 주입하는 PhysGFM(Physics-Guided Genomic Foundation Models)을 소개한다. 여기서 φ(x) ∈ ℝ¹¹은 stacking free energy, melting temperature, dinucleotide entropy, minor groove width를 인코딩하며, 이는 sequence만으로부터 해석적으로 계산된다. PhysGFM은 architecture 변경 없이 184K parameter만 추가하며(0.19% overhead), Nucleotide Transformer v2에서 100M scale의 12개 GUE task 전체를 향상시킨다(+0.0170 mean MCC, t=4.91, p<0.001, n=36). 또한 250M scale에서는 12개 중 11개 task를 향상시킨다(+0.0091, p<0.01). Mechanistic analysis는 task-adaptive attention calibration을 보여준다. PhysGFM은 promoter에 대해서는 attention을 집중시키고(entropy −0.07), chromatin mark에 대해서는 attention을 넓힌다(+0.05 to +0.13). 그 결과 모든 task에서 intrinsic dimensionality가 +3.2–10.6 증가한다. Mechanistic Invariance Test를 통한 E. coli σ70 promoter의 cross-species validation에서는 CSS = 0.74(p<0.0001)를 기록하여 HyenaDNA(0.63)와 Evo2-1B(0.60)를 능가했다. 특히 gate는 human data에만 학습되었음에도, 재학습 없이 biophysical prior가 species 간에 전이됨을 보여준다. 통제된 ablation은 45-dimensional expansion보다 11개의 curated feature가 더 우수함을 확인한다(+0.0170 vs. +0.0086). 즉, targeted physical prior가 coverage의 폭보다 낫다. sequence-only training이 0.2% 미만의 parameter cost로 남겨둔 regulatory intelligence를 회복함으로써, PhysGFM은 biophysical attention gating을 foundation model을 physical science에 grounding하는 일반적 mechanism으로 제시한다.","link":"https://openreview.net/forum?id=ZjK8BNTzvl"},{"id":"L38ex5K96w","en":"Gene-Embedding Perturbation Operators for Zero-Shot and Transferable Prediction of Transcriptional Responses","ko":"전사 반응의 제로샷 및 전이 가능한 예측을 위한 Gene-Embedding 교란 연산자","authors":"Bryan Cheng, Austin Jin, Jasper Zhang","abs":"Predicting how genetic perturbations alter transcriptional programs is fundamental to understanding gene function, yet existing methods require perturbation-specific training data and cannot generalize to unseen target genes or new cell types. We introduce DYNAMO, a framework that parameterizes perturbation effects through gene embeddings derived from gene regulatory networks (GRNs), enabling prediction for any gene with a network embedding, including genes never perturbed during training. DYNAMO’s key architectural innovation is a frozen-plus-learnable embedding decomposition: pretrained embeddings, including Node2Vec or spectral embeddings, preserve GRN structure for unseen genes, while a zero-initialized learnable component adapts representations for training genes. Each perturbation is encoded as a low-rank operator within a Koopman formalism, and combinatorial perturbations compose via operator products. On K562 Perturb-seq with zero train–test perturbation overlap, DYNAMO achieves a Pearson correlation of predicted expression changes of ρΔ = 0.283, while GEARS crashes and scGen produces anti-correlated predictions (−0.126). The structured operator enables cross-cell-type transfer: a K562-trained model achieves ρΔ = 0.576 on RPE1 without retraining. On Norman combinatorial perturbations, DYNAMO achieves ρΔ = 0.563, outperforming GEARS by 2.7× and scGen by 2.8×. A systematic comparison of six embedding strategies reveals that GRN topology provides a 19% advantage over text, co-expression, and foundation-model embeddings. Ablations show that the structured operator, rather than a direct MLP, is critical for cross-cell-type transfer, retaining 51% of native performance compared with 30% for an unstructured alternative.
","absKo":"유전적 perturbation이 transcriptional program을 어떻게 변화시키는지 예측하는 것은 gene function을 이해하는 데 근본적이지만, 기존 방법은 perturbation-specific training data를 필요로 하며 보지 못한 target gene이나 새로운 cell type으로 일반화할 수 없다. 우리는 DYNAMO를 소개한다. DYNAMO는 gene regulatory network (GRN)에서 유도한 gene embedding을 통해 perturbation effect를 parameterize하여, training 동안 perturbation되지 않은 gene을 포함해 network embedding을 가진 어떤 gene에 대해서도 예측할 수 있게 한다. DYNAMO의 핵심 아키텍처 혁신은 frozen-plus-learnable embedding decomposition이다: Node2Vec이나 spectral embedding을 포함한 pretrained embedding은 보지 못한 gene에 대해 GRN 구조를 보존하고, zero-initialized learnable component는 training gene의 representation을 적응시킨다. 각 perturbation은 Koopman formalism 내에서 low-rank operator로 인코딩되며, combinatorial perturbation은 operator product를 통해 합성된다. train-test perturbation overlap이 전혀 없는 K562 Perturb-seq에서 DYNAMO는 예측된 expression change에 대해 Pearson correlation ρΔ = 0.283을 달성한 반면, GEARS는 붕괴했고 scGen은 anti-correlated prediction(-0.126)을 생성했다. 구조화된 operator는 cross-cell-type transfer를 가능하게 한다: K562에서 학습한 model은 재학습 없이 RPE1에서 ρΔ = 0.576을 달성한다. Norman combinatorial perturbation에서는 DYNAMO가 ρΔ = 0.563을 달성하여 GEARS보다 2.7배, scGen보다 2.8배 우수했다. 여섯 가지 embedding strategy에 대한 체계적 비교는 GRN topology가 text, co-expression, foundation-model embedding보다 19%의 이점을 제공함을 보여준다. Ablation은 직접적인 MLP가 아니라 구조화된 operator가 cross-cell-type transfer에 핵심적이며, 비구조화된 대안의 30%와 비교해 native performance의 51%를 유지함을 보인다.","link":"https://openreview.net/forum?id=L38ex5K96w"},{"id":"YKMnLFmkiv","en":"ProtQueSt: Query-Conditioned Retrieval-Augmented Generation for Protein Function Annotation","ko":"ProtQueSt: 단백질 기능 주석을 위한 질의 조건부 검색 증강 생성","authors":"Linrui Ma, Yiwei Liang, Yishu Yu, Chuhan Joyce Qi","abs":"Protein function prediction from sequence is inherently query-dependent: the same protein may be characterized by its catalytic activity, domain architecture, or cellular localization depending on the biological question. Prior work has shown that large language models consistently underperform retrieval-based methods on this task, yet simple retrieval transfers annotations from embedding-space neighbors without adapting to the query. We introduce ProtQueSt, a retrieval-augmented framework that pairs a structure-aware retriever with a query-conditioned contrastive retriever that aligns protein and annotation representations via Feature-wise Linear Modulation (FiLM). FiLM conditioning and query-pooled negative sampling prove jointly essential, as neither alone improves over the structural baseline. ProtQueSt achieves the highest Entity-BLEU (48.79, +37% over RAPM) and LLM-as-a-judge score reported on Prot-Inst-OOD. This result supports reframing text-based protein understanding as a query-conditioned retrieval problem rather than a single fixed sequence-to-text mapping.
","absKo":"sequence로부터의 protein function prediction은 본질적으로 query-dependent하다. 동일한 protein도 생물학적 질문에 따라 catalytic activity, domain architecture, 또는 cellular localization로 특징지어질 수 있다. 기존 연구는 large language model이 이 task에서 retrieval-based method보다 일관되게 성능이 낮음을 보여주었지만, 단순 retrieval은 query에 적응하지 않은 채 embedding-space 이웃으로부터 annotation을 이전할 뿐이다. 우리는 ProtQueSt를 제안한다. 이는 structure-aware retriever와 query-conditioned contrastive retriever를 결합한 retrieval-augmented framework로, Feature-wise Linear Modulation(FiLM)을 통해 protein과 annotation representation을 정렬한다. FiLM conditioning과 query-pooled negative sampling은 둘 다 개별적으로는 충분하지 않으며, 구조적 baseline보다 개선을 가져오지 못한다는 점에서, 이 둘의 결합이 함께 필수적임이 드러난다. ProtQueSt는 Prot-Inst-OOD에서 보고된 Entity-BLEU(48.79, RAPM 대비 +37%)와 LLM-as-a-judge score 중 최고를 달성한다. 이 결과는 text-based protein understanding을 단일의 고정된 sequence-to-text mapping이 아니라 query-conditioned retrieval problem으로 재정식화해야 함을 지지한다.","link":"https://openreview.net/forum?id=YKMnLFmkiv"},{"id":"1uE9rtYYzp","en":"ConfPert: Distribution-Free Conformal Coverage for Single-Cell Perturbation Predictors","ko":"ConfPert: 단일 세포 perturbation 예측기를 위한 분포 자유 conformal coverage","authors":"Aayan Alwani, Ethan Y Wang","abs":"Single-cell perturbation predictors are typically evaluated on mean-prediction metrics, but recent work shows that deep-learning foundation models systematically underperform a simple bilinear ridge baseline on these metrics (Ahlmann-Eltze et al. 2025; Csendes et al. 2025), and no existing method provides coverage guarantees on the distributional fit between predicted and observed cell populations. We introduce ConfPert, a model-agnostic conformal prediction framework that gives finite-sample coverage guarantees on six per-population distributional discrepancies, exposed at four head levels: per-gene, per-perturbation, per-population, and subgroup-conditional. We use ConfPert to evaluate eight perturbation predictors spanning $0$ to $\\sim 6 \\times 10^8$ parameters across five single-cell datasets, including a cross-cell-line transfer split. The protocol is pre-registered: hypotheses, permutation-test thresholds, and multiple-comparisons corrections are committed to git before any first run. We find three things. First, distributional-output predictors with sparse-additive structure recover bimodal cell-fate structure that mean-only predictors cannot, achieving near-exact nominal coverage on the variance-sensitive metrics. Second, the pre-registered capacity-hurts hypothesis fails the overall threshold but passes on the non-cancer cell line, identifying cell-line context (not model size alone) as the load-bearing covariate for whether scaling improves calibration. Third, on real PRISM Repurposing drug-screen data, calibrated signatures recover more Benjamini-Hochberg-corrected drug-resistance pathways than uncalibrated baselines, a result robust across signature-size choices. We release a pip-installable confpert library and a Cell-Eval plug-in that fills a gap in Arc Institute's evaluation backbone.
","absKo":"single-cell perturbation predictor는 보통 mean-prediction metric으로 평가되지만, 최근 연구는 deep-learning foundation model이 이러한 metric에서 단순한 bilinear ridge baseline보다 체계적으로 성능이 낮음을 보여주었고(Ahlmann-Eltze et al. 2025; Csendes et al. 2025), 예측된 cell population과 관측된 cell population 사이의 distributional fit에 대해 coverage guarantee를 제공하는 기존 방법은 없다. 우리는 예측된 cell population과 관측된 cell population 사이의 분포적 불일치 여섯 가지에 대해 finite-sample coverage guarantee를 제공하는 model-agnostic conformal prediction framework인 ConfPert를 소개한다. 이는 네 가지 head level, 즉 per-gene, per-perturbation, per-population, subgroup-conditional 수준에서 제공된다. 우리는 cross-cell-line transfer split을 포함한 다섯 개 single-cell dataset에서, 약 0에서 약 6 \\times 10^8 parameters까지 범위를 갖는 여덟 개 perturbation predictor를 평가하기 위해 ConfPert를 사용한다. 이 프로토콜은 사전 등록되었다. 가설, permutation-test threshold, multiple-comparisons correction은 첫 실행 전에 git에 커밋되었다. 우리는 세 가지 사실을 발견했다. 첫째, sparse-additive structure를 가진 distributional-output predictor는 mean-only predictor가 포착하지 못하는 bimodal cell-fate structure를 복원하며, variance-sensitive metric에서 거의 정확한 nominal coverage를 달성한다. 둘째, 사전 등록된 capacity-hurts 가설은 전체 threshold에서는 실패하지만 non-cancer cell line에서는 통과하여, scaling이 calibration을 개선하는지 여부에 있어 모델 크기 자체가 아니라 cell-line context가 핵심적인 covariate임을 보여준다. 셋째, 실제 PRISM Repurposing drug-screen data에서 calibrated signature는 uncalibrated baseline보다 더 많은 Benjamini-Hochberg 보정 drug-resistance pathway를 복구하며, 이 결과는 signature size 선택 전반에서 견고하다. 우리는 pip-installable한 confpert 라이브러리와 Arc Institute의 evaluation backbone의 공백을 메우는 Cell-Eval plug-in을 공개한다.","link":"https://openreview.net/forum?id=1uE9rtYYzp"},{"id":"Nfc6WxZG2x","en":"Virtual Cell Models Inflate Perturbation Effect Sizes and Undermine Causal Gene Regulatory Network Recovery","ko":"Virtual Cell Models는 perturbation 효과 크기를 부풀리고 causal gene regulatory network 복원을 약화시킨다","authors":"Aayan Alwani, Ethan Y Wang","abs":"Virtual cell models are deep neural networks that predict transcriptional responses to genetic perturbations and are proposed as in silico substitutes for laboratory CRISPR screens. Ahlmann-Eltze and Huber (2025) recently showed that current models fail to outperform simple linear baselines at per-gene prediction; we ask whether the same holds downstream when their predictions are used to recover causal gene regulatory networks. We introduce PerturbCausal, a benchmark that pushes predictions from four virtual cell models (GEARS, CPA, Geneformer, and the 2025 Arc Institute STATE foundation model) through four causal discovery algorithms (GIES, inspre, PC, NOTEARS) on the Replogle K562 and RPE1 Perturb-seq datasets and the Norman 2019 K562 dataset. Across five seeds, the three pre-2025 models do not significantly outperform a sparse linear regression trained on control cells alone. STATE is the first model in the roster to materially exceed the linear baseline ($F_1 = 0.462$), but its absolute causal F1 remains below $0.5$, leaving more than half of real interventional edges unrecovered. We reconcile two competing narratives in the recent literature, mode collapse and effect-size inflation, as two views of the same failure: deep models predict similar dense response patterns across perturbations. A model-agnostic quantile-matching calibration corrects this magnitude failure exactly but recovers only about 40% of the causal gap, locating the remainder in joint-distribution structure that distributional calibration cannot reach. The benchmark, calibration toolkit, and reproducibility code are released as an open-source Python package.
","absKo":"Virtual cell model은 유전적 perturbation에 대한 transcriptional response를 예측하는 deep neural network로, 실험실 CRISPR screen의 in silico 대체재로 제안되어 왔다. Ahlmann-Eltze와 Huber(2025)는 최근 현재의 model이 gene 단위 prediction에서 단순한 linear baseline보다 성능이 좋지 않음을 보였고, 우리는 이러한 결과가 예측을 causal gene regulatory network 복원에 downstream으로 사용할 때도 그대로 성립하는지 묻는다. 우리는 PerturbCausal을 제안하는데, 이는 네 개의 virtual cell model(GEARS, CPA, Geneformer, 그리고 2025 Arc Institute STATE foundation model)의 예측을 네 개의 causal discovery algorithm(GIES, inspre, PC, NOTEARS)에 통과시켜 Replogle K562 및 RPE1 Perturb-seq dataset과 Norman 2019 K562 dataset에서 평가하는 benchmark이다. 다섯 개의 seed에 걸친 실험에서, 2025년 이전의 세 model은 control cell만으로 학습한 sparse linear regression보다 유의미하게 더 좋지 않았다. STATE는 roster에서 linear baseline($F_1 = 0.462$)을 실질적으로 넘어선 최초의 model이지만, 절대적인 causal F1은 여전히 $0.5$ 미만이어서 실제 interventional edge의 절반 이상을 복원하지 못한다. 우리는 최근 문헌의 두 경쟁적 서술, mode collapse와 effect-size inflation을 동일한 실패의 두 관점으로 정리한다. 즉 deep model은 perturbation 전반에 걸쳐 서로 유사한 dense response pattern을 예측한다는 것이다. model-agnostic quantile-matching calibration은 이 magnitude failure를 정확히 보정하지만 causal gap의 약 40%만 회복하며, 나머지는 distributional calibration으로는 도달할 수 없는 joint-distribution structure에 남아 있음을 보여준다. 이 benchmark, calibration toolkit, 재현 코드가 오픈소스 Python package로 공개된다.","link":"https://openreview.net/forum?id=Nfc6WxZG2x"},{"id":"8N08lLCs9H","en":"Auditing Generative Graph Foundation Models for Connectomics: A Score × Predictor × Sampler Decomposition on Real Sparse Directed Connectomes","ko":"connectomics를 위한 생성 graph foundation model 감사: 실제 희소 유향 connectome에서의 score × predictor × sampler 분해","authors":"Ethan Y Wang, Aayan Alwani","abs":"It is known that degree-preserving baselines are hard for learned graph generators to beat on marginal statistics. We bring this question to sparse directed connectomes and ask: when a generative pipeline produces realistic-looking brain wiring, how much credit belongs to the trained model versus the cheap degree-correction step?
We decompose the standard pipeline into three stages — score × predictor × sampler — and audit it on two real connectomes: MICrONS Phase-1 L2/3 (density ~0.022) and FlyWire (~0.001). We evaluate on four axes: three-hop reachability, triadic motifs, a learned-classifier metric (PolyGraph Discrepancy), and persistent-homology cycle distance.
The verdict is metric-specific. On the two marginal-summary axes, the Pareto front contains only structural nulls that use ground-truth degrees; every trained pipeline is dominated. On the classifier axis, the trained pipeline beats the null. On cycle distance, it ties. The verdict is also substrate-specific: on FlyWire at N=500 the structural null is no longer dominant. A previously reported RandomForest advantage turned out to be a cross-validation leakage artifact. Of four score families, only discrete-flow scores retain meaningful signal (~15% top-edge overlap, z=+3.97 above the ~6% random baseline) through the Sinkhorn projection. The contribution is a connectome-specific diagnostic and reporting standard, not the headline phenomenon, which is known.
","absKo":"degree-preserving baseline이 learned graph generator가 marginal statistics에서 넘어서기 어렵다는 것은 알려져 있다. 우리는 이 질문을 sparse directed connectome에 적용해 묻는다. 생성 파이프라인이 그럴듯한 brain wiring을 만들어낼 때, 그 공로는 얼마나 trained model에 있고 얼마나 값싼 degree-correction 단계에 있는가?\n\n우리는 표준 pipeline을 score × predictor × sampler의 세 단계로 분해하고, 두 개의 실제 connectome인 MICrONS Phase-1 L2/3 (density ~0.022)와 FlyWire (~0.001)에서 이를 감사(audit)한다. 우리는 네 가지 축에서 평가한다. 3-hop reachability, triadic motif, learned-classifier metric (PolyGraph Discrepancy), 그리고 persistent-homology cycle distance.\n\n판정은 metric별로 다르다. 두 개의 marginal-summary 축에서는 ground-truth degree를 사용하는 structural null만으로 이루어진 Pareto front만 존재하며, 모든 trained pipeline은 이를 이기지 못한다. classifier 축에서는 trained pipeline이 null을 앞선다. cycle distance에서는 동률이다. 판정은 또한 substrate-specific하다. FlyWire에서 N=500일 때는 structural null이 더 이상 지배적이지 않다. 이전에 보고된 RandomForest의 우위는 cross-validation leakage artifact로 밝혀졌다. 네 개의 score family 중에서는 discrete-flow score만이 Sinkhorn projection을 거친 뒤에도 의미 있는 신호를 유지한다(약 15%의 top-edge overlap, 무작위 baseline 약 6% 대비 z=+3.97). 이 기여는 headline phenomenon 자체가 아니라, connectome-specific diagnostic과 reporting standard이다. headline phenomenon은 이미 알려져 있다.","link":"https://openreview.net/forum?id=8N08lLCs9H"},{"id":"5bHHy81McV","en":"Cross-modal transfer learning for mapping bulk transcriptomes at cellular level","ko":"세포 수준 bulk transcriptome 매핑을 위한 cross-modal transfer learning","authors":"Aarthi Venkat, Zhiwen Jiang, Daniel Marbach, Nir Hacohen, Marinka Zitnik","abs":"Bulk transcriptomics is widely used in clinical research, yet existing methods struggle to extract single-cell-level structure from bulk measurements, which aggregate signals across heterogeneous cell populations. Here we introduce POPPY, a framework which uses ontology-based contrastive learning to align single-cell and bulk transcriptomic foundation models and construct cell-type-aware bulk patient embeddings. Trained on 1,458 single-cell tumor samples from the Curated Cancer Cell Atlas (3CA) and 1,286 bulk profiles derived from sorted cell populations, POPPY recovers cell type and gene program structure from bulk tumor transcriptomes without fine-tuning. Using a single-cell melanoma atlas, POPPY predicts immunotherapy response across six bulk melanoma cohorts and identifies individual cells associated with response in bulk tumors. These results demonstrate single-cell foundation models can be leveraged to build bulk embeddings that capture cellular biology, enabling interpretable patient stratification from bulk data.
","absKo":"벌크 transcriptomics는 임상 연구에서 널리 사용되지만, 기존 방법은 이질적인 cell population 전반의 신호를 집계하는 bulk measurement에서 single-cell 수준의 구조를 추출하는 데 어려움을 겪는다. 여기서 우리는 ontology-based contrastive learning을 사용해 single-cell과 bulk transcriptomic foundation model을 정렬하고, cell-type-aware bulk patient embedding을 구성하는 프레임워크 POPPY를 소개한다. Curated Cancer Cell Atlas (3CA)의 1,458개 single-cell tumor sample과 sorted cell population에서 유래한 1,286개 bulk profile로 학습된 POPPY는 fine-tuning 없이 bulk tumor transcriptome에서 cell type과 gene program 구조를 복원한다. single-cell melanoma atlas를 사용하면, POPPY는 6개의 bulk melanoma cohort에 걸쳐 immunotherapy response를 예측하고 bulk tumor에서 response와 연관된 개별 cell을 식별한다. 이러한 결과는 single-cell foundation model이 cellular biology를 포착하는 bulk embedding을 구축하는 데 활용될 수 있으며, bulk data로부터 해석 가능한 patient stratification을 가능하게 함을 보여준다.","link":"https://openreview.net/forum?id=5bHHy81McV"},{"id":"fphATMAzi4","en":"ARO: Aligned Representation learning for multi-Omics data","ko":"ARO: multi-omics 데이터용 정렬된 표현 학습","authors":"Amogh Singh, Yash Shah, Chiara D'Ercoli, Arash Mehrjou, Patrick Schwab, Timothy M. Jones, Pietro Lio","abs":"The high cost of functional molecular assays, and prevalence of missing modalities and unmatched samples in computational biology, create significant barriers to comprehensive multi-omic profiling, essential for capturing and reasoning over molecules, cells, tissues, and organisms.
This work proposes a model that learns meaningful representations from multi-omics cancer data supporting the reconstruction of missing and unpaired modalities. Contrary to increasingly complex, larger models, e.g.~Foundation Models (FMs), ARO prioritizes practical applicability in limited or incomplete data settings.
ARO optimally reconstructs missing modalities (MSE of 0.166 on validation and of 0.168 on test data), with its learned latent embeddings enabling a downstream cancer classification task. Our findings indicate that analyzing diverse molecular layers as a single integrated system offers a reliable and cost-efficient approach, reducing dependence on large-scale experimental testing, while still supporting multi-omic exploration in limited data settings.
","absKo":"functional molecular assay의 높은 비용과, computational biology에서 missing modality 및 unmatched sample의 광범위한 존재는 molecule, cell, tissue, organism을 포괄적으로 profile하고 그 위에서 reasoning하는 데 필수적인 comprehensive multi-omic profiling에 큰 장벽을 만든다. \n이 연구는 missing 및 unpaired modality의 reconstruction을 지원하는 multi-omics cancer data로부터 의미 있는 representation을 학습하는 model을 제안한다. 점점 더 복잡하고 큰 model, 예를 들어 Foundation Models(FMs)과는 달리, ARO는 제한적이거나 불완전한 data setting에서의 실용적 적용 가능성을 우선시한다.\nARO는 missing modality를 최적으로 reconstruction하며(validation에서 MSE 0.166, test data에서 0.168), 학습된 latent embedding은 downstream cancer classification task를 가능하게 한다. 우리의 결과는 다양한 molecular layer를 하나의 통합된 system으로 분석하는 것이 대규모 실험적 testing에 대한 의존을 줄이면서도, 제한된 data setting에서 multi-omic exploration을 지원하는 신뢰할 수 있고 비용 효율적인 접근법임을 보여준다.","link":"https://openreview.net/forum?id=fphATMAzi4"},{"id":"9RKfXWSQme","en":"ImmunoFoundation: A Multimodal Foundation Model for Immunogenicity Prediction and Peptide Optimization","ko":"ImmunoFoundation: 면역원성 예측과 펩타이드 최적화를 위한 다중모달 Foundation Model","authors":"João Felipe Rocha, Hiren Madhu, Jenny Yongjia Liu, Apurva Mishra, Chen Liu, Rishabh Anand, Rex Ying, Smita Krishnaswamy","abs":"Peptide immunogenicity, whether a peptide presented by an MHC molecule elicits a T-cell response, is central to designing vaccines, cancer immunotherapy, and therapeutic proteins. Existing tools rely on a single modality, such as peptide sequences or peptide-MHC interactions, and often ignore the T-cell response that depends on the TCR-peptide-MHC complex (TCR-pMHC) and its three-dimensional structure. The scarcity of labeled TCR-pMHC data with known structures makes it difficult to build a model that captures how all components of the TCR-pMHC contribute to immunogenicity. However, a foundation model of TCR-pMHCs can learn transferable representations across components, which can be adapted to immunogenicity, binding, and TCR specificity tasks, even with limited labeled data. We introduce **ImmunoFoundation**, a self-supervised multimodal backbone for protein-complex representation, fine-tuned for peptide--MHC immunogenicity. The model couples an ESM-2 sequence encoder with a graph transformer over structure, fused via cross-modal attention. Pretraining follows a curriculum that progressively introduces structural inductive bias. **ImmunoFoundation** ourperforms prior multimodal class-I predictors on cancer neoepitope and infectious-disease tasks.
","absKo":"Peptide immunogenicity, 즉 MHC molecule에 의해 제시된 peptide가 T-cell response를 유도하는지 여부는 vaccine, cancer immunotherapy, therapeutic protein 설계의 핵심이다. 기존 도구는 peptide sequence나 peptide-MHC interaction 같은 단일 modality에 의존하며, TCR-peptide-MHC complex (TCR-pMHC)와 그 three-dimensional structure에 의존하는 T-cell response를 종종 무시한다. 구조가 알려진 labeled TCR-pMHC data의 희소성 때문에, TCR-pMHC를 구성하는 모든 요소가 immunogenicity에 어떻게 기여하는지 포착하는 모델을 만들기 어렵다. 그러나 TCR-pMHC의 foundation model은 구성 요소 전반에 걸친 transferable representation을 학습할 수 있으며, labeled data가 제한적이더라도 immunogenicity, binding, TCR specificity task에 맞게 적응될 수 있다. 우리는 peptide--MHC immunogenicity에 fine-tune된 protein-complex representation을 위한 self-supervised multimodal backbone인 **ImmunoFoundation**을 소개한다. 이 모델은 ESM-2 sequence encoder와 structure 위의 graph transformer를 결합하고, cross-modal attention으로 융합한다. Pretraining은 structural inductive bias를 점진적으로 도입하는 curriculum을 따른다. **ImmunoFoundation**은 cancer neoepitope 및 infectious-disease task에서 기존 multimodal class-I predictor들을 능가한다.","link":"https://openreview.net/forum?id=9RKfXWSQme"},{"id":"RnpsYhzwg4","en":"PaSTel: Anchoring Histology in Spatial Transcriptomics via Multi-Scale Hierarchical Bio-Prior Contrastive Pretraining","ko":"PaSTel: 다중 스케일 계층적 bio-prior contrastive pretraining으로 공간 전사체에 조직병리 정합","authors":"Azim Dehghani Amirabad, Junchao Zhu, Pushpak Pati, Walid Abdelmoula, Tommaso Mansi, Rui Liao","abs":"Spatial transcriptomics (ST) links tissue morphology with molecular programs, motivating multimodal pretraining methods that align histology images with gene expression. However, existing approaches suffer from two key limitations: spatially informative gene selection is often dominated by ubiquitous housekeeping genes, leading to weakly discriminative representations, and independent spot–patch alignment fails to capture spatial dependencies that are critical for tissue organization. To address these challenges, we introduce PaSTel, a hierarchical multimodal pretraining framework that integrates biological priors at three levels. At the spot level, TF-IDF reweighting is used to identify spatially informative genes; at the functional level, curated KEGG pathways serve as anchors for encoding global biological semantics; and at the regional level, spatial clustering aggregates neighboring spots to model meso-scale tissue structure. Across multiple downstream tasks, PaSTel consistently outperforms existing vision and vision–omics encoders, demonstrating that incorporating multiscale biological priors yields more informative and transferable representations for spatial transcriptomics.
","absKo":"Spatial transcriptomics(ST)는 tissue morphology와 molecular program을 연결하며, histology image와 gene expression을 정렬하는 multimodal pretraining 방법을 촉진한다. 그러나 기존 접근법에는 두 가지 핵심 한계가 있다. 공간적으로 정보성이 높은 gene selection이 흔히 어디서나 존재하는 housekeeping gene에 의해 지배되어 변별력이 약한 representation을 낳고, 독립적인 spot–patch alignment는 tissue organization에 중요한 spatial dependency를 포착하지 못한다. 이러한 문제를 해결하기 위해 우리는 세 단계의 biological prior를 통합하는 hierarchical multimodal pretraining framework인 PaSTel을 제안한다. spot level에서는 TF-IDF reweighting을 사용해 공간적으로 정보성 높은 gene을 식별하고, functional level에서는 선별된 KEGG pathway를 글로벌 biological semantic encoding의 anchor로 사용하며, regional level에서는 spatial clustering으로 인접한 spot을 집계하여 meso-scale tissue structure를 모델링한다. 여러 downstream task 전반에서 PaSTel은 기존 vision 및 vision–omics encoder를 일관되게 상회하며, multiscale biological prior를 통합하는 것이 spatial transcriptomics를 위한 더 정보량이 많고 전이 가능한 representation을 산출함을 보여준다.","link":"https://openreview.net/forum?id=RnpsYhzwg4"},{"id":"PSwrUaBwIa","en":"Generalization of Protein Foundation Models for Engineered Fluorescent Biosensors","ko":"공학적 형광 바이오센서를 위한 protein foundation model의 일반화","authors":"Anirudh Palutla, Caroline Malin-Mayor, John N. Koberstein, Alison G. Tebo, Srinivas C Turaga","abs":"Protein foundation models (PFMs) are increasingly used in fitness prediction tasks in which engineers seek to identify sequences with improved function. However, these models are often evaluated under random splits, which may not reflect the generalization required for engineering superior variants. Further, results from existing classical protein fitness benchmarks may not generalize to fluorescent protein biosensors which require designing finely tuned protein dynamics. We benchmark embeddings from seven PFMs across four regression heads on a dataset of 1,314 mutated GCaMP variants, evaluating each model–head pair under a random baseline and two extrapolation regimes: novel-region splits that hold out protein sequence regions, and low-to-high fitness splits that hold out the highest-fitness variants. Extrapolative splits result in substantial performance drops across all models, and structure- and MSA-based conditioning partially mitigate this drop on novel-region splits but not on low-to-high splits. The two extrapolation regimes also differ in ranking transfer: novel-region rankings closely track random-split rankings while low-to-high rankings diverge. These findings indicate that model and architecture choices should be driven by which form of generalization the application requires, with no single configuration optimal across regimes.
","absKo":"Protein foundation model(PFM)은 성능이 향상된 sequence를 식별하려는 engineer들이 사용하는 fitness prediction task에서 점점 더 많이 활용되고 있다. 그러나 이러한 model은 종종 random split 하에서 평가되며, 이는 우수한 variant를 설계하는 데 필요한 generalization을 반영하지 못할 수 있다. 또한 기존의 고전적인 protein fitness benchmark 결과는 정교하게 조정된 protein dynamics 설계가 필요한 fluorescent protein biosensor에는 일반화되지 않을 수 있다. 우리는 1,314개의 mutated GCaMP variant 데이터셋에서 일곱 개 PFM의 embedding을 네 개 regression head와 함께 benchmark하고, 각 model–head pair를 random baseline과 두 가지 extrapolation regime에서 평가한다. 여기에는 protein sequence region을 hold out하는 novel-region split과 가장 높은 fitness variant를 hold out하는 low-to-high fitness split이 포함된다. Extrapolative split은 모든 model에서 성능이 크게 하락하게 만들며, structure- 및 MSA-based conditioning은 novel-region split에서는 이 하락을 일부 완화하지만 low-to-high split에서는 그렇지 않다. 두 extrapolation regime은 ranking transfer에서도 차이를 보인다. novel-region ranking은 random-split ranking과 거의 일치하는 반면, low-to-high ranking은 크게 달라진다. 이러한 결과는 model과 architecture 선택이 응용에서 요구하는 generalization의 형태에 따라 결정되어야 하며, 어떤 regime에서도 최적인 단일 configuration은 없음을 시사한다.","link":"https://openreview.net/forum?id=PSwrUaBwIa"},{"id":"UTdSecHKb0","en":"Exploring Set-Aggregated Genome Embeddings for Microbiome Abundance Prediction","ko":"microbiome abundance prediction을 위한 set-aggregated genome embedding 탐색","authors":"Younhun Kim, Georg K. Gerber, Travis E Gibson","abs":"Microbiome functions are encoded within the genes of the community-wide metagenome. A natural question is whether properties of a microbial community can be predicted just from knowing the raw DNA sequences of its members. In this work, we employ set-aggregated genome embeddings (SAGE) to predict community-level abundance profiles, exploiting the few-shot learning capabilities of genomic language models (GLMs). We benchmark this approach to show improved generalization on novel genomes compared to classical bioinformatics approaches. Model ablation shows that community-level latent representations directly result in improved performance. Lastly, we demonstrate the benefits of intermediate transformations between latent representations and the differences between GLM embedding choices.
","absKo":"Microbiome 기능은 community-wide metagenome의 유전자 안에 암호화되어 있다. 자연스러운 질문은 미생물 community의 특성을 구성원들의 raw DNA sequence만으로 예측할 수 있는가 하는 것이다. 이 연구에서 우리는 genomic language model(GLM)의 few-shot learning 능력을 활용하여 set-aggregated genome embeddings(SAGE)를 사용해 community-level abundance profile을 예측한다. 우리는 이 접근법을 benchmark하여 고전적 bioinformatics 접근법에 비해 새로운 genome에 대한 generalization이 향상됨을 보인다. model ablation은 community-level latent representation이 성능 향상으로 직접 이어짐을 보여준다. 마지막으로, latent representation 사이의 intermediate transformation의 이점과 GLM embedding 선택의 차이를 입증한다.","link":"https://openreview.net/forum?id=UTdSecHKb0"},{"id":"U0Hhxd7Vod","en":"OmicsLM: A Multimodal Large Language Model for Multi-Sample Omics Reasoning","ko":"OmicsLM: 다중 샘플 omics 추론을 위한 multimodal large language model","authors":"Maciej Sypetkowski, Joanna Krawczyk, Łukasz Smoliński, Remigiusz Kinas, Przemysław Pietrzak, Tomasz Jetka, Rafal Powalski","abs":"Interpreting transcriptomic data is one of the most common analytical tasks in modern biology. Yet most models either consume expression profiles without producing natural-language explanations, or reason in language without direct access to quantitative omics measurements. We introduce OmicsLM, a multimodal LLM that connects quantitative omics profiles with natural-language biological tasks by representing each transcriptomic profile as a compact continuous embedding in the LLM context. This preserves quantitative expression signal while supporting natural-language instructions, explicit gene mentions, and multiple interleaved samples.
We train OmicsLM on more than 5.5 million instruction-following examples spanning over 70 task types, combining continuous transcriptomic inputs, diverse language templates, and free-text biological knowledge. This mixture covers cell type annotation, perturbation prediction, clinical prediction, pathway reasoning, and open-ended biological question answering.
Existing benchmarks evaluate either profile-level prediction or text-only biological QA, leaving language-guided, multi-sample reasoning over expression profiles unmeasured. To close this gap, we introduce GEO-OmicsQA, a benchmark for multi-sample biological question answering built from Gene Expression Omnibus (GEO) studies. We demonstrate that OmicsLM can use expression profiles directly and perform comparably to specialized omics models on profile-level tasks, while outperforming both omics-specialized models and general LLMs on language-guided biological reasoning over expression data.
","absKo":"Transcriptomic data를 해석하는 것은 현대 biology에서 가장 흔한 분석 작업 중 하나이다. 그러나 대부분의 model은 expression profile을 입력으로 사용하면서도 자연어 설명을 생성하지 못하거나, language로 추론하더라도 quantitative omics measurement에 직접 접근하지 못한다. 우리는 OmicsLM을 소개한다. OmicsLM은 각 transcriptomic profile을 LLM context 내의 compact continuous embedding으로 표현함으로써, quantitative omics profile과 자연어 biological task를 연결하는 multimodal LLM이다. 이를 통해 quantitative expression signal을 보존하면서도 자연어 instruction, 명시적인 gene mention, 그리고 여러 개의 interleaved sample을 지원한다. \n우리는 OmicsLM을 70개가 넘는 task type에 걸친 550만 개 이상의 instruction-following example으로 학습시켰으며, continuous transcriptomic input, 다양한 language template, 자유 형식 biological knowledge를 결합했다. 이 mixture는 cell type annotation, perturbation prediction, clinical prediction, pathway reasoning, 그리고 open-ended biological question answering을 포괄한다. \n기존 benchmark는 profile-level prediction 또는 text-only biological QA 중 하나만 평가하여, expression profile에 대한 language-guided multi-sample reasoning은 측정하지 못한다. 이 공백을 메우기 위해 우리는 Gene Expression Omnibus(GEO) study로부터 구축한 multi-sample biological question answering benchmark인 GEO-OmicsQA를 제안한다. 우리는 OmicsLM이 expression profile을 직접 사용해 profile-level task에서 specialized omics model과 견줄 만한 성능을 보이며, expression data에 대한 language-guided biological reasoning에서는 omics specialized model과 general LLM 모두를 능가함을 보인다.","link":"https://openreview.net/forum?id=U0Hhxd7Vod"},{"id":"DXiTuQCMKE","en":"Bolek: A Multimodal Language Model for Molecular Reasoning","ko":"Bolek: 분자 추론을 위한 멀티모달 언어 모델","authors":"Frederic Grabowski, Jacek Szczerbiński, Maciej Jaśkowski, Kalina Jasinska-Kobus, Pawel Dabrowski-Tumanski, Tomasz Jetka, Bartosz Topolski","abs":"AI models and platforms for molecular science underpin high-stakes applications in drug discovery, yet the systems delivering them are largely opaque: they expose either a score and a binary answer with no rationale, or fluent prose rarely anchored in molecular structure.
We introduce Bolek, a compact multimodal language model that injects a molecular embedding into an instruction-tuned decoder to predict molecular properties and explain them in auditable terms.
Bolek outperforms the chemistry-specialist TxGemma-9B-Chat on 13 of 15 downstream binary classification tasks and exceeds it on five unseen TDC endpoints, while grounding its reasoning with concrete numerical and structural descriptors.
Together, these results suggest that targeted modality injection paired with reasoning supervision tied to verifiable features can match domain-specialist systems at a fraction of the parameter count while producing auditable explanations for downstream decisions.
","absKo":"분자 과학을 위한 AI 모델과 플랫폼은 신약 발견과 같은 고위험 응용의 기반을 이룬다. 그러나 이를 제공하는 시스템은 대체로 불투명하다. 즉, 아무런 근거 없이 점수와 이진 답변만 제시하거나, 분자 구조에 거의 근거하지 않은 유창한 문장만을 내놓는다.\n우리는 분자 embedding을 instruction-tuned decoder에 주입하여 분자 특성을 예측하고 이를 감사 가능한 형태로 설명하는, 소형 multimodal language model인 Bolek를 소개한다.\nBolek는 15개의 downstream binary classification task 중 13개에서 화학 특화 모델 TxGemma-9B-Chat보다 뛰어나며, 보지 못한 5개의 TDC endpoint에서도 이를 상회한다. 동시에 구체적인 수치 및 구조적 descriptor로 reasoning을 grounding한다.\n이러한 결과는, 검증 가능한 feature에 연결된 reasoning supervision과 결합한 target modality injection이 파라미터 수의 일부만으로 domain-specialist system과 맞먹을 수 있으며, downstream decision을 위한 감사 가능한 설명까지 생성할 수 있음을 시사한다.","link":"https://openreview.net/forum?id=DXiTuQCMKE"},{"id":"LUeHTZtwNZ","en":"AgriPerceiver: A Parameter-Efficient Vision-Language Model for Structured Macroscopic Crop Phenotyping","ko":"AgriPerceiver: 구조화된 거시적 작물 표현형 분석을 위한 매개변수 효율적 Vision-Language Model","authors":"Vatsal Khanna, Davinder Singh","abs":"Modern agriculture suffers from systemic crop yield instability, with plant pathogens contributing to 20-40\\% of global yield losses. Adapting generalist Vision-Language Models (VLMs) to produce structured, actionable phenotyping from crop images, creates a scalability crisis at the intersection of computer vision and agricultural life sciences. We present AgriPerceiver, a lightweight VLM that frames this challenge as structured report generation: given a single leaf photograph, the model produces a schema-compliant JSON diagnostic report detailing disease identity, pathology type, severity score, symptom characterisation, and actionable steps. To process high-resolution visual imagery, the input is spatially decomposed to preserve fine-grained pathological features that are typically lost during standard resizing. Our central contribution is a perception bridge that mitigates visual token explosion by compressing visual tokens into just 128 learned latents ($28.5\\times$ reduction) while critically preserving learned tile-position embeddings for spatial grounding. We employ a two-stage training curriculum: the bridge (${{\\sim}}391$M parameters) is first aligned, followed by LoRA specialization on Gemma-3-labelled structured annotations. Both the vision and language backbones remain strictly frozen throughout training to maintain parameter efficiency. Evaluated across nine metrics, AgriPerceiver achieves a composite score of 0.810 and 99.7\\% schema compliance on a held-out test set, demonstrating the viability of parameter-efficient domain specialization in life sciences AI for structured knowledge extraction.
","absKo":"현대 농업은 체계적인 작물 수확량 불안정성에 시달리고 있으며, 식물 병원체는 전 세계 수확 손실의 20-40\\%에 기여한다. 범용 Vision-Language Models (VLMs)을 작물 이미지에서 구조화되고 실행 가능한 phenotyping을 생성하도록 적응시키는 일은 computer vision과 agricultural life sciences의 교차점에서 확장성 위기를 만든다. 우리는 이 도전을 structured report generation으로 재정의하는 경량 VLM인 AgriPerceiver를 제시한다. 단일 잎 사진이 주어지면, 모델은 disease identity, pathology type, severity score, symptom characterisation, actionable steps를 상세히 담은 schema-compliant JSON diagnostic report를 생성한다. 고해상도 시각 이미지를 처리하기 위해, 입력은 공간적으로 분해되어 표준 resize 과정에서 흔히 손실되는 세밀한 pathological feature를 보존한다. 우리의 핵심 기여는 visual token explosion을 완화하면서 시각 token을 단 128개의 학습된 latent로 압축하는 perception bridge이다($28.5\\times$ reduction). 동시에 spatial grounding을 위해 학습된 tile-position embedding은 중요하게도 그대로 보존한다. 우리는 2단계 training curriculum을 사용한다. 먼저 bridge(${{\\sim}}391$M parameter)를 align하고, 그 다음 Gemma-3가 라벨링한 구조화 annotation 위에서 LoRA specialization을 수행한다. vision과 language backbone은 parameter efficiency를 유지하기 위해 학습 전반에 걸쳐 엄격히 freeze된다. 9개의 metric으로 평가했을 때, AgriPerceiver는 held-out test set에서 composite score 0.810과 99.7\\% schema compliance를 달성하여, 구조화된 지식 추출을 위한 life sciences AI에서 parameter-efficient domain specialization의 실현 가능성을 보여준다.","link":"https://openreview.net/forum?id=LUeHTZtwNZ"},{"id":"x8uvYI5WGG","en":"Retrieval-Augmented Foundation Model Enhances Risk Prediction Using Electronic Health Records","ko":"검색 증강 Foundation Model이 전자의무기록을 활용한 위험 예측을 향상한다","authors":"Saeed Shurrab, Mariam Al-Omari, Dana El Samad, Farah E. Shamout","abs":"Electronic Health Records (EHR) contain rich longitudinal patient information widely used for predictive modeling. However, effectively leveraging historical data remains challenging due to long trajectories, event heterogeneity, temporal irregularity, and varying relevance of past visits. Existing approaches rely on fixed windows or uniform aggregation, which may obscure clinically important signals. We introduce $\\texttt{EHR-RAGp}$, a retrieval-augmented foundation model that dynamically integrates relevant patient history. We construct an EHR vector database via clinically relevant chunking strategies and employ a prototype-guided retrieval module to identify and weight the most relevant historical segments for a given prediction task. Across multiple tasks, $\\texttt{EHR-RAGp}$ consistently outperforms state-of-the-art EHR foundation models.
","absKo":"Electronic Health Records (EHR)은 예측 모델링에 널리 사용되는 풍부한 종단적 patient information을 담고 있다. 그러나 긴 trajectory, event heterogeneity, temporal irregularity, 그리고 과거 방문의 relevance가 달라지는 특성 때문에 historical data를 효과적으로 활용하는 것은 여전히 어렵다. 기존 접근은 고정 window 또는 균일한 aggregation에 의존하는데, 이로 인해 임상적으로 중요한 signal이 가려질 수 있다. 우리는 관련 patient history를 동적으로 통합하는 retrieval-augmented foundation model인 $\\texttt{EHR-RAGp}$를 소개한다. 우리는 clinically relevant chunking strategy를 통해 EHR vector database를 구성하고, prototype-guided retrieval module을 사용하여 주어진 prediction task에 대해 가장 관련성 높은 historical segment를 식별하고 가중한다. 여러 task 전반에서 $\\texttt{EHR-RAGp}$는 state-of-the-art EHR foundation model을 일관되게 능가한다.","link":"https://openreview.net/forum?id=x8uvYI5WGG"},{"id":"faHMTX8CnE","en":"Predicting host-pathogen interactions using a proteome-scale language model","ko":"프로테옴 규모 언어 모델을 활용한 숙주-병원체 상호작용 예측","authors":"Cyril Malbranke, Cecilia Fruet, Anne-Florence Bitbol","abs":"ProteomeLM is a proteome-scale language model trained on proteomes spanning the tree of life to reconstruct masked protein embeddings from proteome context within each species. Its attention coefficients capture protein-protein interactions without supervision. Here, we show that this capability extends to cross-species host-pathogen interactions~(HPI) across ten human pathogen taxa spanning viruses and bacteria, and can be further improved with lightweight fine-tuning. We introduce \\textbf{ProteomeLM-HPI}, a parameter-efficient adaptation via LoRA, trained on concatenated host-pathogen proteomes to reconstruct masked pathogen embeddings from host context. ProteomeLM-HPI involves two key design choices: \\emph{asymmetric masking} (pathogen-heavy masking) and \\emph{blocked self-attention}. Systematic ablations show that both choices contribute. To assess generalization, we introduce a strict cross-species benchmark enforcing pathogen-level holdout and 40\\% sequence-identity filtering. On this benchmark, Proteome-HPI improves AUC on 8 out of 10 unseen pathogens. This is a work-in-progress report; code, data and models will be made publicly available.
","absKo":"ProteomeLM은 생명계 전반의 proteome을 포괄하는 proteome-scale language model로, 각 종 내 proteome context로부터 masked protein embeddings를 복원하도록 학습되었다. 이때 attention coefficient는 supervision 없이 protein-protein interaction을 포착한다. 본 연구에서는 이 능력이 virus와 bacteria를 아우르는 10개의 human pathogen taxa 전반에서 cross-species host-pathogen interaction(HPI)으로 확장되며, 가벼운 fine-tuning으로 추가 개선될 수 있음을 보인다. 우리는 host-pathogen proteome을 연결(concatenate)하여 host context로부터 masked pathogen embeddings를 복원하도록 학습된, LoRA를 통한 parameter-efficient adaptation인 \\textbf{ProteomeLM-HPI}를 소개한다. ProteomeLM-HPI는 두 가지 핵심 설계 선택을 포함한다: \\emph{asymmetric masking}(pathogen-heavy masking)과 \\emph{blocked self-attention}. 체계적인 ablation 결과, 두 선택 모두에 기여가 있음을 보여준다. 일반화를 평가하기 위해, pathogen-level holdout과 40\\% sequence-identity filtering을 강제하는 엄격한 cross-species benchmark를 새로 제안한다. 이 benchmark에서 Proteome-HPI는 보지 못한 10개 pathogen 중 8개에서 AUC를 향상시킨다. 이는 work-in-progress 보고이며, code, data, model은 공개될 예정이다.","link":"https://openreview.net/forum?id=faHMTX8CnE"},{"id":"b6j6BqMDir","en":"Transferable Lesion-Supervised Speech Representations for Post-Stroke Modelling","ko":"뇌졸중 이후 모델링을 위한 전이 가능한 병변 감독 speech 표현","authors":"Giulia Sanguedolce, Niamh Parkinson, Fatemeh Geranmayeh, Patrick Naylor","abs":"Characterising post-stroke brain injury typically relies on structural neuroimaging, which is costly, infrastructure-dependent, and difficult to repeat. Speech is a behavioural marker of stroke-related dysfunction that can be collected non-invasively at scale, yet whether lesion topology can be automatically decoded from speech remains largely unexplored. Linking speech to brain structure requires paired speech-MRI data, but the limited availability of MRI creates a data-efficiency bottleneck for supervised modelling. To address this, we propose a two-stage transfer-learning framework that reuses representations learned from lesion inference to predict downstream structural and clinical phenotypes available only for a subset of the cohort. First, a multi-head speech-to-lesion (S2L) model was trained on 639 patients to predict stroke location anatomical labels and lesion volume from speech, generating patient-level speech-to-lesion probability profiles (S2Lpp) from out-of-fold predictions and uncertainty estimates. Then, these S2Lpp profiles were used as features in downstream models predicting finer-grained lesion geometry and clinical phenotypes for a subset of patients ($N=110$) absent from the original S2L training, benchmarked against speech features, Whisper embeddings, and demographic and clinical baselines under nested cross-validation. The transferred S2Lpp emerged as the strongest predictors of focal lesion bounding-box extent ($R^2=0.241$, $r=0.503$), despite spatial extent being unseen during S2L training, whereas Whisper embeddings performed best for cognitive outcomes ($R^2=0.486$, $r=0.702$), with further gains after residual adaptation using S2Lpp ($R^2=0.501$). Together, the findings suggest that transferred and normal speech-derived representations can improve modelling of post-stroke brain-behaviour relationships when clinical MRI information are sparse, supporting more accessible brain-health monitoring.
","absKo":"뇌졸중 이후의 뇌 손상을 특성화하는 일은 일반적으로 구조적 neuroimaging에 의존하는데, 이는 비용이 많이 들고, 인프라 의존적이며, 반복하기도 어렵다. Speech는 뇌졸중 관련 기능 이상을 나타내는 행동적 표지로서 비침습적으로 대규모 수집이 가능하지만, 병변 topology를 speech만으로 자동 디코딩할 수 있는지는 여전히 거의 탐구되지 않았다. Speech와 뇌 구조를 연결하려면 paired speech-MRI 데이터가 필요하지만, MRI의 제한적 가용성은 supervised modeling에 있어 data-efficiency 병목을 만든다. 이를 해결하기 위해 우리는 lesion inference에서 학습한 representation을 재사용하여, 코호트의 일부에만 उपलब्ध한 downstream 구조적 및 임상 phenotype을 예측하는 2단계 transfer-learning 프레임워크를 제안한다. 먼저, multi-head speech-to-lesion (S2L) 모델을 639명의 환자에서 학습시켜 stroke location의 anatomical label과 lesion volume을 speech로부터 예측하고, out-of-fold 예측과 불확실성 추정으로부터 patient-level speech-to-lesion probability profile(S2Lpp)을 생성했다. 그다음, 이러한 S2Lpp profile을 downstream 모델의 feature로 사용하여, 원래 S2L 학습에는 포함되지 않았던 환자 일부($N=110$)에 대해 더 세분화된 lesion geometry와 clinical phenotype을 예측했다. 이때 nested cross-validation 하에서 speech feature, Whisper embedding, 그리고 demographic 및 clinical baseline과 비교했다. 전이된 S2Lpp는 focal lesion bounding-box extent 예측에서 가장 강한 predictor로 나타났으며($R^2=0.241$, $r=0.503$), 이는 S2L 학습 중에는 spatial extent가 보이지 않았음에도 불구하고 관찰된 결과이다. 반면 Whisper embedding은 cognitive outcome에서 가장 좋은 성능을 보였고($R^2=0.486$, $r=0.702$), S2Lpp를 이용한 residual adaptation 후에는 추가 향상이 있었다($R^2=0.501$). 종합하면, 이러한 발견은 clinical MRI 정보가 부족할 때 전이된 speech-derived representation과 normal speech-derived representation이 post-stroke brain-behavior 관계 모델링을 개선할 수 있으며, 보다 접근 가능한 brain-health monitoring을 뒷받침함을 시사한다.","link":"https://openreview.net/forum?id=b6j6BqMDir"},{"id":"QYhZc5ANx9","en":"ProteomeLM: A Proteome-Scale Language Model Enables Accurate and Rapid Prediction of Protein-Protein Interactions and Gene Essentiality Across Taxa","ko":"ProteomeLM: 프로테옴 규모 language model로 종을 가로지르는 단백질-단백질 상호작용과 유전자 필수성의 정확하고 빠른 예측","authors":"Cyril Malbranke, Gionata Paolo Zalaffi, Anne-Florence Bitbol","abs":"Language models trained on biological sequences are advancing inference tasks from the scale of single proteins to that of genomic neighborhoods. Here, we introduce ProteomeLM, a transformer-based language model that uniquely operates on entire proteomes from species spanning the tree of life. ProteomeLM is trained to reconstruct masked protein embeddings using the whole proteomic context, yielding contextualized protein representations that reflect proteome-scale functional constraints.
Notably, ProteomeLM's attention coefficients encode protein-protein interactions~(PPI), despite being trained without interaction labels.
Furthermore, it enables interactome-wide PPI screening that is substantially more accurate, and orders of magnitude faster, than amino-acid coevolution-based methods.
We further develop ProteomeLM-PPI, a supervised model that combines ProteomeLM embeddings and attention coefficients to achieve state-of-the-art PPI prediction across benchmarks and species.
Finally, we introduce ProteomeLM-Ess, a supervised gene essentiality predictor that generalizes across diverse taxa.
Our results demonstrate the potential of proteome-scale language models for addressing function and interactions at the organism level.
","absKo":"생물학적 sequence로 학습된 language model은 단일 단백질 규모에서 genomic neighborhood 규모까지 inference task를 진전시키고 있다. 여기서 우리는 ProteomeLM을 소개하는데, 이는 생명계 전반의 종에 걸친 전체 proteome을 대상으로 독특하게 작동하는 transformer 기반 language model이다. ProteomeLM은 전체 proteomic context를 사용하여 masked protein embedding을 복원하도록 학습되며, proteome 규모의 functional constraint를 반영하는 context-aware protein representation을 산출한다.\n주목할 점은, ProteomeLM의 attention coefficient가 interaction label 없이 학습되었음에도 protein-protein interaction(PPI)을 인코딩한다는 것이다.\n더 나아가, amino-acid coevolution 기반 방법보다 훨씬 더 정확하고 수십 배 빠른 interactome-wide PPI screening을 가능하게 한다.\n우리는 또한 ProteomeLM embedding과 attention coefficient를 결합하여 benchmark와 종 전반에서 state-of-the-art PPI prediction을 달성하는 supervised model인 ProteomeLM-PPI를 개발한다.\n마지막으로, 다양한 taxa 전반으로 일반화되는 supervised gene essentiality predictor인 ProteomeLM-Ess를 소개한다.\n우리의 결과는 organism level에서 기능과 상호작용을 다루기 위한 proteome-scale language model의 잠재력을 보여준다.","link":"https://openreview.net/forum?id=QYhZc5ANx9"},{"id":"obitoePwOG","en":"Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis","ko":"탐색, 융합, 신뢰성: 다중모달 암 분석을 위한 foundation model 표현의 체계적 평가","authors":"Jingyu Hu, Giuseppe Tripodi, Reed Naidoo, Sarah F McGough, Tapabrata Chakraborti","abs":"Foundation models (FMs) have emerged as powerful representation extractors for medical data, yet their generalizability to datasets under distribution shift remains underexplored. This work systematically evaluates FM-based representations on a suite of computational pathology tasks across two real-world commercial cohorts, IH-BC and IH-NSCLC, drawn from the licensed in-house (IH) oncology dataset. The analysis focuses on two modalities, whole-slide images and transcriptomic profiles, drawn from the IH multimodal data. We first benchmark unimodal probing performance across five FMs on eight downstream classification tasks, and find that image and omics representations carry complementary predictive signals. Then we investigate whether multimodal fusion can yield additional gains over unimodal baselines by comparing three image-omics fusion strategies built on paired representations. The trustworthiness of selected unimodal and multimodal pipelines is further assessed through conformal prediction. Our results show that FM representations achieve competitive performance on out-of-distribution data and that multimodal fusion helps mainly when no single modality dominates the signal. Conformal prediction reveals that in the majority of cases where a point prediction fails, the true diagnosis remains recoverable within the prediction set, reinforcing the value of uncertainty-aware inference for clinical support.
","absKo":"Foundation models (FMs)는 medical data를 위한 강력한 representation extractor로 부상했지만, distribution shift가 있는 데이터셋에 대한 일반화 가능성은 아직 충분히 탐구되지 않았다. 본 연구는 라이선스된 in-house (IH) oncology dataset에서 추출된 두 개의 실제 상용 코호트, IH-BC와 IH-NSCLC를 대상으로 한 일련의 computational pathology task에서 FM 기반 representation을 체계적으로 평가한다. 분석은 IH multimodal data에서 얻은 whole-slide image와 transcriptomic profile, 두 가지 modality에 초점을 맞춘다. 우리는 먼저 다섯 개의 FM에 대해 여덟 개 downstream classification task 전반의 unimodal probing 성능을 벤치마킹하고, image와 omics representation이 상보적인 예측 신호를 담고 있음을 확인한다. 그런 다음 paired representation 위에 구축된 세 가지 image-omics fusion strategy를 비교하여 multimodal fusion이 unimodal baseline보다 추가적인 이득을 줄 수 있는지 조사한다. 선택된 unimodal 및 multimodal pipeline의 trustworthiness는 conformal prediction을 통해 추가로 평가한다. 우리의 결과는 FM representation이 out-of-distribution data에서 경쟁력 있는 성능을 보이며, multimodal fusion은 단일 modality가 신호를 지배하지 않을 때 주로 도움이 됨을 보여준다. Conformal prediction은 point prediction이 실패하는 대부분의 경우에도 true diagnosis가 prediction set 안에서 여전히 복구 가능함을 드러내며, 임상 지원을 위한 uncertainty-aware inference의 가치를 강화한다.","link":"https://openreview.net/forum?id=obitoePwOG"},{"id":"jyTXfvXOHv","en":"Synergy-Aware Contrastive Pretraining for Co-recorded Physiological Signals","ko":"공동 기록된 생리 신호를 위한 시너지 인식 대조 pretraining","authors":"Lei Chen, Junetae Kim","abs":"Co-recorded electrocardiography (ECG) and photoplethysmography (PPG) waveforms encode complementary electrical and volumetric perspectives of cardiovascular function. Prevailing contrastive pretraining frameworks adopt pairwise or leave-one-out alignment between per-channel views, capturing shared information but failing to recover the synergistic interactions that emerge only when channels are processed jointly. We present SyneCo, a synergy-aware contrastive pretraining framework that integrates per-channel embeddings through an attention-based fusion block before applying the contrastive objective on the fused representation. A dual InfoNCE loss supervises the fused representation and per-channel components jointly, and channel dropout confers robustness against incomplete recordings. Pretrained on 3.92 million co-recorded segments from MIMIC-III, MIMIC-IV, and VitalDB, SyneCo consistently surpasses pairwise and leave-one-out baselines on six ECG, four PPG, and three multi-channel benchmarks, with the largest gains on patient attribute prediction tasks that depending on cross-channel synergistic correlates.
","absKo":"동시에 기록된 electrocardiography(ECG)와 photoplethysmography(PPG) waveform은 심혈관 기능에 대한 상보적인 전기적 및 용적적 관점을 담고 있다. 기존의 contrastive pretraining framework는 채널별 view 간 pairwise 또는 leave-one-out alignment를 채택하여 shared information은 포착하지만, 채널이 공동으로 처리될 때만 나타나는 synergistic interaction은 복원하지 못한다. 우리는 SyneCo를 제안하는데, 이는 contrastive objective를 fused representation에 적용하기 전에 attention-based fusion block으로 채널별 embedding을 통합하는 synergy-aware contrastive pretraining framework이다. dual InfoNCE loss가 fused representation과 channel component를 함께 supervision하며, channel dropout은 불완전한 recording에 대한 robustness를 부여한다. MIMIC-III, MIMIC-IV, VitalDB에서 수집한 392만 개의 co-recorded segment로 사전학습한 결과, SyneCo는 여섯 개의 ECG, 네 개의 PPG, 세 개의 multi-channel benchmark에서 pairwise 및 leave-one-out baseline을 일관되게 능가했으며, 특히 channel 간 synergistic correlate에 의존하는 patient attribute prediction task에서 가장 큰 향상을 보였다.","link":"https://openreview.net/forum?id=jyTXfvXOHv"},{"id":"eavD11LSJ6","en":"DELBERT-2: Pretrained Fingerprint Language Models for DEL Protein Binder Prediction","ko":"DELBERT-2: DEL 단백질 결합체 예측을 위한 사전학습 fingerprint 언어 모델","authors":"Bing Xu Hu, Sun Sun, Shaik salman basha, Anita Layton, Helen Hong Chen","abs":"We present DELBERT-2, a pretrained fingerprint language model that converts sparse molecular fingerprints into unified token sequences using a ModernBERT encoder trained with masked language modelling on 2.5M molecules from the AIRCHECK DEL corpus. We evaluate across six targets (WDR91, WDR12, SETDB1, PLCZ1, LRRK2, DCAF7) under three out-of-distribution (OOD) protocols: hierarchical cluster splits probe chemical novelty, library splits test cross-library transfer, and building-block splits assess compositional generalization.
DELBERT-2 consistently improves PR-AUC and NDCG@1000 relative to LightGBM ensemble baselines and transformers trained from scratch, with the largest gains in stringent OOD regimes. DELBERT-2 achieves 13.28+/-3.72 enrichment factor at top-100 vs. 12.36+/-3.75 for no-pretraining (p=0.040), representing 7.4% improvement and 13x enrichment over random selection. These results demonstrate that fingerprint-centric self-supervised learning effectively improves hit prioritization under distribution shift, enabling practical DEL virtual screening.
","absKo":"우리는 희소한 molecular fingerprint를 ModernBERT encoder로 학습된 하나의 token sequence로 변환하는 pretrained fingerprint language model인 DELBERT-2를 제시한다. 이 모델은 AIRCHECK DEL corpus의 250만 개 분자에 대해 masked language modelling으로 학습되었다. 우리는 세 가지 out-of-distribution(OOD) protocol 아래 여섯 개 target(WDR91, WDR12, SETDB1, PLCZ1, LRRK2, DCAF7)에 대해 평가한다. hierarchical cluster split은 chemical novelty를, library split은 cross-library transfer를, building-block split은 compositional generalization을 검증한다.\nDELBERT-2는 LightGBM ensemble baseline 및 scratch로 학습한 transformer에 비해 PR-AUC와 NDCG@1000을 일관되게 향상시켰으며, 가장 큰 개선은 엄격한 OOD regime에서 나타났다. DELBERT-2는 top-100에서 13.28+/-3.72의 enrichment factor를 달성해, no-pretraining의 12.36+/-3.75(p=0.040)를 능가했으며, 이는 7.4% 향상과 random selection 대비 13배의 enrichment를 의미한다. 이러한 결과는 fingerprint 중심의 self-supervised learning이 distribution shift 하에서 hit prioritization을 효과적으로 개선하여 실용적인 DEL virtual screening을 가능하게 함을 보여준다.","link":"https://openreview.net/forum?id=eavD11LSJ6"},{"id":"nSDxbVaJpQ","en":"DrugAgent: Reliable Multi-Agent Aggregation under Conflicting Biomedical Evidence","ko":"DrugAgent: 상충하는 생의학적 근거 하에서의 신뢰할 수 있는 multi-agent 집계","authors":"Yoshitaka Inoue, Tianci Song, Xinling Wang, Augustin Luna, Tianfan Fu","abs":"Integrating heterogeneous evidence into reliable decisions remains challenging: existing approaches typically rely on single-modality data or loosely coupled multi-agent prompting and therefore lack principled mechanisms for reconciling conflicts. We present DrugAgent, a multi-agent aggregation framework that separates evidence reasoning from rule-guided final decision-making over outputs from machine learning (ML), knowledge graphs (KG), and retrieval-augmented generation (RAG), enabling explicit analysis of cross-source agreement, conflict, and uncertainty. This design supports interpretable, conflict-aware aggregation. As a case study, we apply DrugAgent to drug-target interaction prediction. On a kinase benchmark of 900 pairs spanning 179 kinases and 54 inhibitors, DrugAgent produces outputs judged faithful to the provided evidence (98.7%). Plausibility scores are broadly high across all ground-truth classes. In the DrugAgent setting, 79% of Weak cases, 81% of Moderate cases, and 77% of Strong cases receive plausibility scores of 3--4 for the returned label explanations; Strong cases are somewhat more likely to receive a score of 5 (15% versus 1% for Weak and 3% for Moderate). This work establishes a benchmark for evaluating reasoning over diverse evidence sources common in biomedicine, as well as the ability of agent systems to produce rationales that are human-interpretable and faithful to the source evidence. Code: https://github.com/sciluna/DrugAgent.
","absKo":"이질적인 증거를 신뢰할 수 있는 결정으로 통합하는 일은 여전히 어렵다. 기존 접근법은 대개 단일 모달리티 데이터나 느슨하게 결합된 multi-agent prompting에 의존하므로, 충돌을 조정하기 위한 원리적인 메커니즘이 부족하다. 우리는 DrugAgent를 제안한다. 이는 ML, knowledge graph (KG), retrieval-augmented generation (RAG) 출력에 대해 증거 추론과 rule-guided 최종 의사결정을 분리하는 multi-agent aggregation framework로, 소스 간 일치, 충돌, 불확실성을 명시적으로 분석할 수 있게 한다. 이러한 설계는 해석 가능하고 conflict-aware한 aggregation을 지원한다. 사례 연구로 DrugAgent를 drug-target interaction prediction에 적용한다. 179개의 kinase와 54개의 inhibitor에 걸친 900쌍의 kinase benchmark에서, DrugAgent는 제공된 증거에 충실한 것으로 판정된 출력을 생성한다(98.7%). 개연성 점수는 모든 ground-truth class 전반에 걸쳐 대체로 높다. DrugAgent 설정에서 Weak 사례의 79%, Moderate 사례의 81%, Strong 사례의 77%가 반환된 label 설명에 대해 개연성 점수 3--4를 받는다. Strong 사례는 점수 5를 받을 가능성이 다소 더 높다(Weak의 1%, Moderate의 3%에 비해 15%). 이 연구는 biomedicine에서 흔한 다양한 증거 स्रोत에 대한 추론을 평가하기 위한 benchmark와, agent system이 사람이 해석할 수 있고 source evidence에 충실한 rationale을 생성하는 능력에 대한 benchmark를 제시한다. Code: https://github.com/sciluna/DrugAgent.","link":"https://openreview.net/forum?id=nSDxbVaJpQ"},{"id":"XpyWPRksDS","en":"Single-Cell Cross-Modal Transfer by Adversarial Fine-Tuning of Foundation Models","ko":"foundation model의 adversarial fine-tuning을 통한 단일세포 cross-modal transfer","authors":"Joseph Boyd, Matthew Lyon, Martino Mansoldo, Christian John Hurry, Finnian Firth","abs":"Spatial transcriptomics (ST) is a powerful tool for exploring biological properties dependent on structure, proximity, and interaction in tissue. The methods underpinning ST are developing rapidly but are limited in their ability to profile many thousands of genes at a subcellular scale. Although dissociated from tissue, it is known that the whole-transcriptome readouts of cells in single-cell RNA sequencing (scRNA-seq) retain information about their former in situ neighbourhoods, motivating computational methods to recover it. While paired ST and scRNA-seq datasets are scarce, each modality in its own right is abundantly available. We therefore propose to perform cross-modal translation between unpaired ST and scRNA-seq data. In this work we show that a single-cell foundation model can perform this translation via adversarial fine-tuning. We demonstrate that our method performs favourably against methods built for multi-omics translation.
","absKo":"Spatial transcriptomics (ST)는 조직에서 구조, 근접성, 상호작용에 의존하는 생물학적 특성을 탐구하는 강력한 도구이다. ST를 뒷받침하는 방법들은 빠르게 발전하고 있지만, 수천 개의 gene을 subcellular scale에서 프로파일링하는 능력에는 한계가 있다. 조직에서 분리되었음에도, single-cell RNA sequencing (scRNA-seq)의 세포 전체 transcriptome readout는 세포가 과거에 위치했던 in situ neighbourhood에 대한 정보를 유지한다는 사실이 알려져 있으며, 이는 이를 복원하는 computational method의 필요성을 뒷받침한다. paired ST와 scRNA-seq dataset은 희소하지만, 각 modality는 그 자체로는 풍부하게 उपलब्ध하다. 따라서 우리는 paired되지 않은 ST와 scRNA-seq data 사이에서 cross-modal translation을 수행할 것을 제안한다. 본 연구에서는 single-cell foundation model이 adversarial fine-tuning을 통해 이러한 translation을 수행할 수 있음을 보인다. 또한 우리의 method가 multi-omics translation을 위해 구축된 method들과 비교해 우수한 성능을 보임을 입증한다.","link":"https://openreview.net/forum?id=XpyWPRksDS"},{"id":"noM7RJiGVs","en":"VirtualCeLLM: A Comprehensive Benchmark and Guidance for Large Language Models in Cellular Biology","ko":"VirtualCeLLM: 세포 생물학에서 대형 언어 모델을 위한 종합 벤치마크와 가이드","authors":"Jingbo Zhou, Zhongqi Wang, Zhen Lei, Stan Z. Li, Chang Yu","abs":"High-throughput single-cell sequencing has enabled large-scale cellular profiling and accelerated the development of single-cell foundation models. While these models learn general-purpose representations from transcriptomic data, they remain limited in modality coverage, causal reasoning, and interpretability, falling short of the vision of an Artificial Intelligence Virtual Cell (AIVC). In contrast, large language models (LLMs) offer a complementary paradigm: unify heterogeneous inputs, adapt to diverse tasks via prompting, and produce human-readable rationales, making them promising building blocks for AIVC. Recent efforts have applied LLMs to problems such as cell type annotation and perturbation-related reasoning, yet a systematic evaluation is still missing. To bridge this gap, we introduce VirtualCeLLM, a comprehensive benchmark for evaluating LLMs in cellular biology. VirtualCeLLM spans tasks across gene, cell, and omics-level analyses, evaluates 15 models including open-source, closed-source and biology-specialized LLMs, and supports diverse metrics under multiple settings. As a cross-scale, reproducible, and extensible benchmark, VirtualCeLLM enables consistent tracking of progress, facilitates principled comparisons, and provides actionable insights to accelerate LLM-powered virtual cell modeling.
","absKo":"고처리량 single-cell sequencing은 대규모 세포 프로파일링을 가능하게 했고 single-cell foundation model의 개발을 가속해 왔다. 이러한 모델은 transcriptomic data로부터 범용 표현을 학습하지만, modality coverage, causal reasoning, interpretability 측면에서 여전히 제한적이며, Artificial Intelligence Virtual Cell (AIVC)라는 비전에는 아직 미치지 못한다. 반면 large language model(LLM)은 이질적인 입력을 통합하고, prompting을 통해 다양한 task에 적응하며, 사람이 읽을 수 있는 근거를 생성할 수 있다는 점에서 AIVC를 위한 유망한 구성 요소를 제공한다. 최근 LLM은 cell type annotation 및 perturbation 관련 추론 같은 문제에 적용되어 왔지만, 체계적인 평가는 여전히 부족하다. 이 격차를 메우기 위해 우리는 세포 생물학에서 LLM을 평가하기 위한 포괄적 벤치마크인 VirtualCeLLM을 제안한다. VirtualCeLLM은 gene, cell, omics 수준의 분석 전반에 걸친 task를 포괄하며, open-source, closed-source, biology-specialized LLM을 포함한 15개 모델을 평가하고, 다양한 설정에서 여러 metric을 지원한다. 크로스 스케일, 재현 가능, 확장 가능한 벤치마크로서 VirtualCeLLM은 진척 상황을 일관되게 추적하게 하고, 원칙에 기반한 비교를 촉진하며, LLM 기반 virtual cell modeling을 가속하기 위한 실행 가능한 통찰을 제공한다.","link":"https://openreview.net/forum?id=noM7RJiGVs"},{"id":"YyI469JbU3","en":"What Makes a Virtual Cell a World Model? Three Gaps, Three Axes, and a Roadmap","ko":"가상 세포를 세계 모델로 만드는 것은 무엇인가? 세 가지 간극, 세 가지 축, 그리고 로드맵","authors":"Chang Yu, Jingbo Zhou, Zhongqi Wang, Zhen Lei, Stan Z. Li","abs":"Virtual-cell research increasingly combines mechanistic simulators, foundation models, and perturbation predictors. Yet the field often applies world-model language to systems with very different commitments. We introduce virtual cell world models (VCWMs) as a structured perspective for judgment, not a naming claim. This perspective isolates three recurring overclaims: representation is not dynamics, prediction is not intervention, and multimodality is not multiscale world modeling. We formalize a VCWM as a tuple over observations, maintained state, context, interventions, time-varying structure, transition, decoding, uncertainty, and evaluation. Assessment is compressed into three diagnostic axes: whether a model rolls out intervenable trajectories, whether it couples scales rather than only fusing modalities, and whether biological structure constrains transitions rather than only annotating embeddings. We further stage progress through capability gates from candidate VCWMs to multiscale and interactive systems. Together, these may provide a principled basis for judging when a virtual-cell system qualifies as a world model.
","absKo":"Virtual-cell 연구는 점점 mechanistic simulator, foundation model, perturbation predictor를 결합하고 있다. 그러나 이 분야는 서로 매우 다른 commitment를 가진 system에 world-model이라는 용어를 적용하는 경우가 많다. 우리는 명명 주장이라기보다 판단을 위한 구조적 관점으로 virtual cell world model (VCWM)을 제안한다. 이 관점은 세 가지 반복되는 과장된 주장, 즉 representation은 dynamics가 아니고, prediction은 intervention이 아니며, multimodality는 multiscale world modeling이 아니라는 점을 분리해낸다. 우리는 VCWM을 observation, maintained state, context, intervention, time-varying structure, transition, decoding, uncertainty, evaluation에 대한 tuple로 정식화한다. 평가는 세 가지 진단 축으로 압축된다. 모델이 intervenable trajectory를 rollout하는지, modality를 단순히 결합하는 것이 아니라 scale을 실제로 결합하는지, 그리고 biological structure가 embedding을 단순 주석화하는 데 그치지 않고 transition을 제약하는지 여부다. 더 나아가 candidate VCWM에서 multiscale system과 interactive system으로 이어지는 capability gate를 통해 진전을 단계화한다. 이들을 종합하면, virtual-cell system이 언제 world model로 간주될 수 있는지 판단하는 데 원칙적인 근거를 제공할 수 있다.","link":"https://openreview.net/forum?id=YyI469JbU3"},{"id":"ZoBAklPA7R","en":"Lightweight Alignment of Unimodal Foundation Models for Metabolite Identification","ko":"단일모달 foundation model의 metabolite 식별을 위한 경량 정렬","authors":"Paul Krzakala, Gabriel Melo, Camille Lançon, Charlotte Laclau, Rémi Flamary, Etienne A. Thévenot, Florence d'Alché-Buc","abs":"A central challenge in building multimodal foundation models for the life sciences is the imbalance between abundant unimodal data and scarce paired observations, which limits the scalability of joint multimodal pretraining. We investigate an alternative approach based on aligning pretrained unimodal models. Focusing on metabolite identification, we introduce MSAlign, which maps a molecular transformer (ChemBERTa) and a mass spectra transformer (DreaMS) into a shared embedding space. Despite its simplicity, MSAlign substantially outperforms prior methods across benchmarks, setting a new state-of-the-art in retrieval performance. These results suggest that aligning unimodal foundation models offers an effective route to multimodal learning in biological settings where paired data remain limited.
","absKo":"생명과학 분야의 multimodal foundation model을 구축하는 데 있어 핵심 과제는 풍부한 unimodal data와 희소한 paired observation 사이의 불균형이며, 이는 joint multimodal pretraining의 확장성을 제한한다. 우리는 pretrained unimodal model을 alignment하는 대안적 접근을 조사한다. metabolite identification에 초점을 맞추어, 분자 transformer(ChemBERTa)와 mass spectra transformer(DreaMS)를 공유 embedding space로 매핑하는 MSAlign을 도입한다. 단순한 구조에도 불구하고 MSAlign은 benchmark 전반에서 기존 방법을 크게 상회하며 retrieval performance에서 새로운 state-of-the-art를 달성한다. 이러한 결과는 paired data가 여전히 제한적인 생물학적 환경에서 unimodal foundation model을 alignment하는 것이 multimodal learning으로 가는 효과적인 경로임을 시사한다.","link":"https://openreview.net/forum?id=ZoBAklPA7R"},{"id":"uexI49pco3","en":"PaCX-MAE: Physiology-Augmented Chest X-Ray Masked Autoencoder","ko":"PaCX-MAE: 생리 정보를 더한 흉부 X-ray Masked Autoencoder","authors":"Yancheng Liu, Kenichi Maeda, Manan Pancholy","abs":"Clinical diagnosis often requires combining imaging with physiological measurements, yet deployed models typically operate on unimodal data. We present $\\textbf{PaCX-MAE}$, a cross-modal distillation framework that injects physiological priors into chest X-ray (CXR) encoders while remaining strictly unimodal at inference. PaCX-MAE augments in-domain masked autoencoding with a dual contrastive-predictive objective, aligning CXR representations with paired ECG and laboratory embeddings. Extensive evaluation across nine benchmarks demonstrates consistent improvements over domain-specific MAE, particularly on physiology-dependent tasks (e.g., $\\textbf{+2.7 AUROC}$ on MedMod; $\\textbf{+6.5 F1}$ on VinDr). The method proves highly label-efficient in the $\\textbf{1}$% regime and preserves anatomical fidelity, achieving parity with MAE on segmentation tasks. Zero-shot and attention analyses confirm that PaCX-MAE successfully learns to attend to physiological indicators, such as the cardiac silhouette, absent in standard visual pretraining.
","absKo":"임상 진단은 종종 영상과 physiological measurement의 결합을 요구하지만, 배포된 model은 대개 unimodal data에서 작동한다. 우리는 $\\textbf{PaCX-MAE}$를 제시한다. 이는 inference 시에는 엄격하게 unimodal이면서도 physiological prior를 chest X-ray(CXR) encoder에 주입하는 cross-modal distillation framework이다. PaCX-MAE는 in-domain masked autoencoding을 dual contrastive-predictive objective로 확장하여 CXR representation을 paired ECG 및 laboratory embedding과 정렬한다. 9개 benchmark에 걸친 광범위한 평가는 domain-specific MAE 대비 일관된 개선을 보여주며, 특히 physiology-dependent task에서 두드러진다(예: MedMod에서 $\\textbf{+2.7 AUROC}$; VinDr에서 $\\textbf{+6.5 F1}$). 이 방법은 $\\textbf{1}$% regime에서 매우 높은 label-efficiency를 보이고 anatomical fidelity를 보존하여 segmentation task에서 MAE와 동등한 성능을 달성한다. Zero-shot 및 attention 분석은 PaCX-MAE가 standard visual pretraining에서는 나타나지 않는 cardiac silhouette 같은 physiological indicator에 성공적으로 주의를 기울이는 법을 학습했음을 확인한다.","link":"https://openreview.net/forum?id=uexI49pco3"},{"id":"4BkYpMJ9zC","en":"Beyond Nativeness: Viral Proteins in Protein Language Models","ko":"Nativeness를 넘어: Protein Language Models의 바이러스 단백질","authors":"Arthur Bigot, Harmon Bhasin, Core Francisco Park, Eugene Shakhnovich, Dianzhuo Wang","abs":"Protein language models are trained on highly imbalanced datasets, raising the question of how they represent underrepresented biological sequences. Using viral proteins as a case study across ESM model families, we identify a dominant nativeness axis in embedding space, aligned with masked-reconstruction perplexity, that orders sequences from well-modeled cellular proteins through viral proteins to shuffled and random sequences. Scaling contracts this axis unevenly across viral families. Despite this, protein language model embeddings retain viral-specific signal: viral proteins remain linearly separable beyond zero-shot perplexity and shallow sequence features. Together, these results suggest that pLM representations are structured by a general notion of nativeness while preserving information specific to distinct biological groups.
","absKo":"단백질 language model은 극도로 불균형한 데이터셋으로 학습되므로, 과소대표된 생물학적 서열을 어떻게 표현하는지가 중요한 질문이 된다. ESM model family 전반에서 viral protein을 사례로 살펴보면, embedding space에 지배적인 nativeness 축이 존재하며, 이는 masked-reconstruction perplexity와 정렬되어 잘 모델링된 cellular protein에서 viral protein, 그리고 shuffled 및 random sequence로 순서를 매긴다. scaling은 viral family 간에 이 축을 불균등하게 수축시킨다. 그럼에도 단백질 language model embedding은 viral-specific signal을 보존한다. viral protein은 zero-shot perplexity와 얕은 sequence feature를 넘어선 범위에서도 선형적으로 분리 가능하다. 종합하면, 이러한 결과는 pLM representation이 일반적인 nativeness 개념에 의해 구조화되면서도 서로 다른 생물학적 그룹에 고유한 정보를 보존함을 시사한다.","link":"https://openreview.net/forum?id=4BkYpMJ9zC"},{"id":"Nq5XAAIUSe","en":"Detecting Sparse Colorectal Cancer Signals from Multi-Modal Cell-Free DNA Representations Using Modern Hopfield Attention","ko":"Modern Hopfield Attention을 사용한 multi-modal cell-free DNA 표현에서 희소한 대장암 신호 탐지","authors":"Michael Widrich, Anooj Patel, Elisabeth Rumetshofer, Peter Ulz, Kaitlyn Coil, Thomas Royce, Cheng-Ho Jimmy Lin, Richard Bourgon, Anindita Dutta","abs":"Next-generation sequencing-based early cancer detection from cell-free DNA (cfDNA) presents an extreme-scale multiple instance learning challenge: identifying rare tumor signals amidst millions of instances per sample (with witness rates as low as $<$0.0001\\%). It also provides a testbed for translating DNA foundation model embeddings to a clinically important supervised learning task. We propose Fragment-Level Deep Learning (FLDL), an end-to-end deep learning framework that combines multi-modal fragment features, including a
HyenaDNA-derived sequence embedding, with Modern Hopfield Networks to perform dense associative retrieval over the massive cfDNA instance space. Using held-out real-world clinical and challenging contrived test sets, we compare FLDL’s performance to a state-of-the-art machine learning model and to a deep learning model without attention (max pooling). Our results demonstrate that only the attention-based FLDL model outperforms the machine learning model, in spite of a modest training set size ($n = 4,394$). FLDL also scales effectively with sample size and with the number of instances per sample while offering useful biological insights via attention weights and learned sample representations. This work establishes a new frontier for foundation-model-augmented cfDNA representations and highly scalable attention-based deep learning in clinical cfDNA diagnostics.
","absKo":"cell-free DNA (cfDNA)를 이용한 차세대 sequencing 기반의 조기 암 검출은 극단적 규모의 multiple instance learning 과제이다. 즉, 샘플당 수백만 개의 instance 속에서 극히 희귀한 종양 신호를 식별해야 하며(witness rate는 $<$0.0001\\%까지 낮다), 동시에 DNA foundation model embedding을 임상적으로 중요한 supervised learning task로 옮기는 시험대이기도 하다. 우리는 multi-modal fragment feature, HyenaDNA에서 유도된 sequence embedding, Modern Hopfield Networks를 결합하여 방대한 cfDNA instance space에 대해 dense associative retrieval을 수행하는 end-to-end deep learning framework인 Fragment-Level Deep Learning (FLDL)을 제안한다. 보류된 실제 임상 데이터와 까다로운 contrived test set을 사용하여, 우리는 FLDL의 성능을 state-of-the-art machine learning model 및 attention이 없는 deep learning model(max pooling)과 비교한다. 결과는 attention-based FLDL model만이 machine learning model을 능가함을 보여 주며, 이는 modest한 training set size($n = 4,394$)에도 불구하고 그러하다. FLDL은 또한 sample size와 샘플당 instance 수가 증가해도 효과적으로 확장되며, attention weight와 학습된 sample representation을 통해 유용한 생물학적 통찰도 제공한다. 이 연구는 foundation model이 보강된 cfDNA representation과 임상 cfDNA 진단에서의 고도로 확장 가능한 attention-based deep learning의 새로운 전선을 확립한다.","link":"https://openreview.net/forum?id=Nq5XAAIUSe"},{"id":"CUpqGH72hv","en":"Pre-training on noncovalent interactions in synthetic protein-ligand structures to better predict binding affinity","ko":"결합 친화도 예측 향상을 위해 합성 protein-ligand 구조의 비공유 상호작용으로 사전학습하기","authors":"Arun Raja, Garrett A. Stevenson, Garrett M Morris, Jonathan E Allen, Hyojin Kim","abs":"Accurate prediction of protein-ligand binding affinity is a central challenge in computational drug discovery, yet existing graph neural network approaches typically represent protein-ligand complexes as homogeneous atom-level graphs, neglecting the role of aromatic ring systems and the rich hierarchy of noncovalent interactions that govern binding. In this work, we introduce the Protein-Ligand Interaction Pre-training or PLIP approach, a heterogeneous equivariant graph transformer that explicitly encodes four node types - ligand atoms, protein atoms, ligand rings, and protein rings connected by interaction- specific edge relations such as hydrogen bonds, hydrophobic contacts, π-π stacking, and cation-π interactions. We pretrain on interactions found in 5.1 million synthetic protein-ligand structures from the Structural and Interaction Repository (SAIR) using a multi-task self-supervised objective comprising interaction-type classification, interatomic distance regression, and binding affinity prediction. Systematic evaluation on four drug targets - acetylcholinesterase (AChE), SARS- CoV-2 main protease (SARS-Mpro), Zika protease, and μ-opioid receptor - demonstrates that multi-task pretraining on all three pretraining objectives (interaction type, distance and affinity) achieves Pearson correlations of 0.667 on AChE (+26% over training from scratch), 0.490 on Zika (+6%), 0.374 on μ-opioid receptor (+32%), and 0.255 on SARS-Mpro (+39%). Comparisons against competing baselines demonstrate the benefits of pre-training on protein-ligand interactions for structure-based binding affinity prediction.
","absKo":"protein-ligand binding affinity의 정확한 예측은 computational drug discovery의 핵심 과제이지만, 기존 graph neural network 접근법은 보통 protein-ligand complex를 균질한 atom-level graph로 표현하여, binding을 지배하는 aromatic ring system과 풍부한 비공유결합 상호작용의 계층 구조를 간과한다. 본 연구에서는 Protein-Ligand Interaction Pre-training, 즉 PLIP 접근법을 소개한다. 이는 이종(equivariant) graph transformer로, ligand atom, protein atom, ligand ring, protein ring의 네 가지 node type을 명시적으로 인코딩하며, hydrogen bond, hydrophobic contact, π-π stacking, cation-π interaction과 같은 interaction-specific edge relation으로 연결한다. 우리는 Structural and Interaction Repository (SAIR)의 510만 개 synthetic protein-ligand structure에서 발견되는 상호작용으로 pretrain하며, interaction-type classification, interatomic distance regression, binding affinity prediction으로 구성된 multi-task self-supervised objective를 사용한다. 네 개의 drug target-acetylcholinesterase (AChE), SARS-CoV-2 main protease (SARS-Mpro), Zika protease, μ-opioid receptor-에 대한 체계적 평가에서, 세 가지 pretraining objective(interaction type, distance, affinity)를 모두 사용한 multi-task pretraining은 AChE에서 Pearson correlation 0.667(무작위 초기화 대비 +26%), Zika에서 0.490(+6%), μ-opioid receptor에서 0.374(+32%), SARS-Mpro에서 0.255(+39%)를 달성한다. 경쟁 baseline과의 비교는 structure-based binding affinity prediction을 위해 protein-ligand interaction에 대한 pre-training의 이점을 입증한다.","link":"https://openreview.net/forum?id=CUpqGH72hv"},{"id":"ACHMa1e8J1","en":"Cell Painting Generates Single-Cell Transcriptomics via Conditional Diffusion","ko":"Cell Painting은 조건부 확산을 통해 단일 세포 전사체를 생성한다","authors":"Reed Naidoo, Jingyu Hu, Giuseppe Tripodi, Chris Bakal, Tapabrata Chakraborti","abs":"Transcriptomic profiling resolves mechanism-of-action signal at single-cell resolution, but cannot match the scale or cost of morphological imaging. If the fingerprint of a treated cell population carries recoverable structure in transcriptomic space, every imaging experiment, spanning millions of cells at a fraction of the sequencing cost, becomes a latent source of molecular insight. We introduce PhenoSeq, a conditional diffusion model with a cross-attention denoising architecture that bridges two biological foundation models: a vision transformer for morphological features and a transcriptomic language model for single-cell gene expression. Operating under population-level supervision, it learns a conditional distribution over transcriptomic profiles from treatment-matched morphological observations. Evaluated on a 28-compound treatment-identification benchmark, PhenoSeq-generated embeddings outperform raw imaging in single-profile classification, and multimodal fusion recovers ≈29% of the gap to the real-transcriptomics ceiling; in the multi-profile setting, synthetic fusion more than doubles imaging-only balanced accuracy. Embedding-space fidelity confirms correct treatment localisation for the majority of conditions. These results demonstrate that generative cross-modal modelling from imaging to transcriptomics is both architecturally feasible and downstream-useful in phenotypic drug discovery. Our code is available at: https://anonymous.4open.science/r/PhenoSeq-E3E0/README.md
","absKo":"Transcriptomic profiling은 single-cell resolution에서 mechanism-of-action signal을 분해해내지만, morphological imaging의 규모나 비용과는 맞먹을 수 없다. 처리된 cell population의 fingerprint에 transcriptomic space에서 복원 가능한 구조가 담겨 있다면, 수백만 개의 cell을 sequencing 비용의 일부로 포괄하는 모든 imaging experiment는 분자적 통찰의 latent source가 된다. 우리는 cross-attention denoising architecture를 갖춘 conditional diffusion model인 PhenoSeq를 소개한다. PhenoSeq는 morphology feature를 위한 vision transformer와 single-cell gene expression을 위한 transcriptomic language model이라는 두 개의 biological foundation model을 연결한다. population-level supervision 하에서, 이 모델은 treatment-matched morphological observation으로부터 transcriptomic profile에 대한 conditional distribution을 학습한다. 28개 compound treatment-identification benchmark에서 평가한 결과, PhenoSeq가 생성한 embedding은 single-profile classification에서 raw imaging보다 뛰어난 성능을 보였고, multimodal fusion은 real-transcriptomics ceiling까지의 격차를 약 29% 줄였다. multi-profile setting에서는 synthetic fusion이 imaging-only balanced accuracy를 두 배 이상 끌어올렸다. embedding-space fidelity는 대부분의 조건에서 treatment localization이 올바르게 이루어졌음을 확인해준다. 이 결과는 imaging에서 transcriptomics로의 generative cross-modal modeling이 구조적으로 가능할 뿐 아니라, phenotypic drug discovery에서 downstream 사용성도 높음을 보여준다. 코드는 다음에서 제공된다: https://anonymous.4open.science/r/PhenoSeq-E3E0/README.md","link":"https://openreview.net/forum?id=ACHMa1e8J1"},{"id":"cKrZo7L60A","en":"E1: Retrieval-Augmented Protein Encoder Models","ko":"E1: 검색증강 단백질 인코더 모델","authors":"Sarthak Jain, Joel Beazer, Jeffrey A. Ruffolo, Aadyot Bhatnagar, Ali Madani","abs":"Large language models trained on natural proteins learn powerful representations of protein sequences that are useful for downstream understanding and prediction tasks.
Because they are only exposed to individual protein sequences during pretraining without any additional contextual information, conventional protein language models suffer from parameter inefficiencies in learning, baked-in phylogenetic biases, and functional performance issues at larger scales.
To address these challenges, we introduce E1, a family of retrieval-augmented protein language models that explicitly condition on homologous sequences. By integrating retrieved evolutionary context through block-causal multi-sequence attention, E1 captures both general and family-specific constraints without fine-tuning.
We train E1 models on four trillion tokens from the PPA-1 and achieve state-of-the-art performance across zero-shot fitness and unsupervised contact-map prediction benchmarks -- surpassing alternative sequence-only models.
Performance scales with model size from 150M to 600M parameters, and E1 can be used flexibly in single-sequence or retrieval-augmented inference mode for fitness prediction, variant ranking, and embeddings for structural tasks.
To encourage open science and further advances in retrieval-augmented protein language models, we release three models for free research and commercial use at https://github.com/Profluent-AI/E1.
","absKo":"자연 protein으로 학습된 large language model은 protein sequence에 대한 강력한 representation을 학습하며, 이는 downstream 이해 및 예측 task에 유용하다.\n사전학습 동안 추가적인 contextual information 없이 개별 protein sequence만 접하기 때문에, 기존 protein language model은 학습의 parameter inefficiency, 내재된 phylogenetic bias, 그리고 더 큰 scale에서의 functional performance 문제를 겪는다.\n이러한 문제를 해결하기 위해, 우리는 homologous sequence에 명시적으로 condition하는 retrieval-augmented protein language model 계열인 E1을 소개한다. block-causal multi-sequence attention을 통해 검색된 evolutionary context를 통합함으로써, E1은 fine-tuning 없이도 일반적인 제약과 family-specific 제약을 모두 포착한다.\n우리는 PPA-1에서 나온 4조 token으로 E1 모델을 학습했으며, zero-shot fitness와 unsupervised contact-map prediction benchmark 전반에서 state-of-the-art 성능을 달성했다 -- sequence-only 대안 모델들을 능가한다.\n성능은 150M에서 600M parameter로 모델 규모에 따라 향상되며, E1은 fitness prediction, variant ranking, 그리고 구조적 task를 위한 embedding에 대해 single-sequence 또는 retrieval-augmented inference mode로 유연하게 사용할 수 있다.\nretrieval-augmented protein language model의 open science와 추가 발전을 장려하기 위해, 우리는 https://github.com/Profluent-AI/E1 에서 세 개의 모델을 연구 및 상업적 사용을 위해 무료로 공개한다.","link":"https://openreview.net/forum?id=cKrZo7L60A"},{"id":"ps1a2Qp7xS","en":"Mechanistic Synergy in Multi-Modal VEP: DNA Context Complements PLMs under Biophysical Constraints","ko":"다중 모달 VEP의 mechanistic synergy: 생물물리 제약 하에서 DNA context가 PLMs를 보완한다","authors":"Yoojin Kim, Doyeon Ha","abs":"While Protein Language Models (PLMs) have advanced Variant Effect Prediction (VEP), they can sometimes overlook the complex physical and regulatory contexts of the cell. To address this limitation, we propose a parameter-efficient multi-modal foundation model architecture that integrates DNA signals from a DNA Language Model (DLM) with protein representations from a PLM. Through a systematic analysis across 29 activity-based Deep Mutational Scanning (DMS) datasets from ProteinGym, we demonstrate that the nucleotide modality provides more than a simple ensemble gain; it specifically corrects PLM failure modes localized to charged residues. Ultimately, this work highlights that moving beyond unimodal representations is essential for capturing the mechanistic complexity of biological systems and for accurately identifying experimentally validated functional hotspots.
","absKo":"Protein Language Model(PLM)은 Variant Effect Prediction(VEP)을 발전시켜 왔지만, 때때로 세포의 복잡한 물리적 및 regulatory context를 놓칠 수 있다. 이 한계를 해결하기 위해 우리는 DNA Language Model(DLM)에서 얻은 DNA signal과 PLM의 protein representation을 통합하는 parameter-efficient multi-modal foundation model architecture를 제안한다. ProteinGym의 29개 activity-based Deep Mutational Scanning(DMS) dataset에 대한 체계적 분석을 통해, nucleotide modality는 단순한 ensemble gain을 넘어서 charged residue에 국한된 PLM의 failure mode를 구체적으로 교정함을 보인다. 궁극적으로 이 연구는 unimodal representation을 넘어서는 것이 생물학적 시스템의 mechanistic complexity를 포착하고 실험적으로 검증된 functional hotspot을 정확히 식별하는 데 필수적임을 강조한다.","link":"https://openreview.net/forum?id=ps1a2Qp7xS"},{"id":"Hn46pxVev9","en":"HistoTx: Early fusion of H&E images and spatial transcriptomics at varying spatial transcriptomics resolution with self-supervised learning","ko":"HistoTx: self-supervised learning을 이용한 다양한 spatial transcriptomics 해상도에서 H&E 이미지와 spatial transcriptomics의 조기 융합","authors":"Alice Driessen, Steffen Wolf, Emil Malmsten, Bernd Illing, Isinsu Katircioglu, Adriano Martinelli, Raphael Gottardo, Marianna Rapsomaniki, Fei Tang","abs":"Spatial transcriptomics maps gene expression across tissue sections and, when integrated with whole slide images, jointly captures both morphological architecture and molecular activity to provide a rich, multimodal view of tissue biology. ML approaches combining spatial transcriptomics and WSIs typically learn a mapping from morphological features to molecular profiles via contrastive alignment or supervised fine-tuning of pathology foundation models. In both cases, transcriptomics serves as a training signal rather than a true input modality, leaving inference fundamentally image-driven. We propose an early-fusion vision transformer architecture in which transcript tokens are constructed at arbitrary spatial resolution, merged with image patch tokens, and jointly processed through a shared transformer stack for deep cross-modal interaction. Starting from a pretrained vision-only pathology foundation model, we train HistoTx by continuing self-supervised pretraining on paired image and spatial transcriptomics data and demonstrate that: 1) at inference with image only, performance remains on par with the baseline on most tasks while improving on tasks that inherently benefit from molecular knowledge, such as gene expression prediction; 2) when both modalities are available at inference, jointly providing image and transcript inputs out- performs either modality alone.
","absKo":"Spatial transcriptomics는 tissue section 전반의 gene expression을 매핑하며, whole slide image와 통합될 때 형태학적 architecture와 molecular activity를 함께 포착하여 tissue biology에 대한 풍부한 multimodal view를 제공합니다. spatial transcriptomics와 WSI를 결합한 ML 접근법은 일반적으로 contrastive alignment 또는 pathology foundation model의 supervised fine-tuning을 통해 형태학적 feature에서 molecular profile로의 mapping을 학습합니다. 두 경우 모두 transcriptomics는 실제 input modality가 아니라 training signal로 사용되며, inference는 본질적으로 image-driven으로 남습니다. 우리는 transcript token을 임의의 spatial resolution으로 구성하고, 이를 image patch token과 병합한 뒤, shared transformer stack을 통해 공동 처리하여 깊은 cross-modal interaction을 수행하는 early-fusion vision transformer architecture를 제안합니다. pretrained vision-only pathology foundation model에서 시작하여, paired image 및 spatial transcriptomics data로 self-supervised pretraining을 계속해 HistoTx를 학습하고, 다음을 보입니다. 1) image only inference에서 대부분의 task에서는 baseline과 비슷한 성능을 유지하면서도 gene expression prediction처럼 molecular knowledge의 이점을 본질적으로 받는 task에서는 성능이 향상됩니다. 2) inference 시 두 modality를 모두 사용할 수 있을 때, image와 transcript input을 함께 제공하면 어느 한 modality만 사용할 때보다 더 좋은 성능을 보입니다.","link":"https://openreview.net/forum?id=Hn46pxVev9"},{"id":"ReGsQIsuad","en":"GeneZip: Region-Aware Compression for Long Context DNA Modeling","ko":"GeneZip: 긴 context DNA 모델링을 위한 영역 인지 압축","authors":"Jianan Zhao, Xixian Liu, Zhihao Zhan, Xinyu Yuan, Hongyu Guo, Jian Tang","abs":"Genomic sequences span billions of base pairs (bp), posing a fundamental challenge for genome-scale foundation models. Existing approaches largely sidestep this barrier by either scaling relatively small models to long contexts or relying on heavy multi-GPU parallelism. Here we introduce GeneZip, a DNA compression model that leverages a key biological prior: genomic information is highly imbalanced—coding regions comprise only a small fraction ($\\sim$ 2\\%) yet are information-dense, whereas most non-coding sequence is comparatively information-sparse. GeneZip couples HNet-style dynamic routing with a region-aware compression-ratio objective, enabling adaptive allocation of representation budget across genomic regions. As a result, GeneZip learns region-aware compression and achieves 137.6× compression with only 0.31 perplexity increase. On downstream long-context benchmarks, GeneZip achieves comparable or better performance on contact map prediction, expression quantitative trait loci prediction, and enhancer–target gene prediction. By reducing effective sequence length, GeneZip unlocks simultaneous scaling of context and capacity: compared to the prior state-of-the-art model JanusDNA, it enables training models 82.6× larger at 1M-bp context, supporting a 636M-parameter GeneZip model at 1M-bp context. All experiments in this paper can be trained on a single A100 80GB GPU.
","absKo":"Genomic sequence는 수십억 개의 base pair(bp)에 달해 genome-scale foundation model에 근본적인 도전이 된다. 기존 접근은 대체로 상대적으로 작은 model을 긴 context로 확장하거나, 무거운 multi-GPU parallelism에 의존함으로써 이 장벽을 우회해 왔다. 여기서는 중요한 biological prior를 활용하는 DNA compression model인 GeneZip을 소개한다. genomic information은 매우 불균형적이어서, coding region은 전체의 작은 비율(약 2\\%)에 불과하지만 정보 밀도가 높고, 반면 대부분의 non-coding sequence는 상대적으로 정보가 희박하다. GeneZip은 HNet-style dynamic routing과 region-aware compression-ratio objective를 결합하여, genomic region 전반에 representation budget을 적응적으로 할당한다. 그 결과 GeneZip은 region-aware compression을 학습하고, perplexity 증가 0.31만으로 137.6배 compression을 달성한다. downstream long-context benchmark에서 GeneZip은 contact map prediction, expression quantitative trait loci prediction, enhancer–target gene prediction에서 동등하거나 더 나은 성능을 보인다. 유효 sequence length를 줄임으로써 GeneZip은 context와 capacity의 동시 확장을 가능하게 한다. 이전 state-of-the-art model인 JanusDNA와 비교했을 때, 1M-bp context에서 82.6배 더 큰 model을 학습할 수 있게 하며, 1M-bp context에서 636M-parameter GeneZip model을 지원한다. 이 논문의 모든 실험은 단일 A100 80GB GPU에서 학습할 수 있다.","link":"https://openreview.net/forum?id=ReGsQIsuad"},{"id":"d6nkUwkFSn","en":"LLMs Can Learn the Language of the Microbiome","ko":"LLM은 microbiome의 언어를 배울 수 있다","authors":"Neythen J Treloar, Saif Ur-Rehman, Jenny Yang","abs":"We explore the application of large language models (LLMs) to microbiome data, a domain that remains underexplored despite the rise of self-supervised learning in biology. We introduce Atlas, a large-scale pretraining dataset comprising over 539,000 data points from MGnify, spanning multiple DNA sequencing modalities including amplicon, assembly, and whole-metagenome data. Using Atlas, we train the Waypoint family of models, GPT-style causal language models trained to understand microbiomes. To enable standardized evaluation, we present Compass, a benchmark of eight downstream microbiome prediction tasks. We show that our pretrained Waypoint models outperform classical methods and prior foundation models, with gains driven by both dataset scale and representation choices. Our results establish pretrained LLMs as a strong and practical approach for microbiome prediction tasks.
","absKo":"자기지도 학습이 생물학에서 부상했음에도 여전히 충분히 탐구되지 않은 영역인 microbiome 데이터에 large language models(LLMs)를 적용하는 가능성을 살펴본다. 우리는 MGnify에서 수집한 539,000개가 넘는 데이터 포인트로 구성되며, amplicon, assembly, whole-metagenome 데이터를 포함한 여러 DNA sequencing modality를 포괄하는 대규모 pretraining dataset인 Atlas를 소개한다. Atlas를 사용해 microbiomes를 이해하도록 학습된 GPT-style causal language models인 Waypoint 계열 모델을 학습한다. 표준화된 평가를 위해, 8개의 downstream microbiome prediction task로 이루어진 benchmark인 Compass를 제시한다. 사전학습된 Waypoint 모델이 classical methods와 이전 foundation models를 능가함을 보이며, 이러한 성능 향상은 dataset 규모와 representation 선택 모두에 의해 주도됨을 확인한다. 우리의 결과는 사전학습된 LLM이 microbiome prediction task를 위한 강력하고 실용적인 접근법임을 입증한다.","link":"https://openreview.net/forum?id=d6nkUwkFSn"},{"id":"6tELDJkI1v","en":"Selective Benefits of Sequence-Drug Multimodal Learning for Antimicrobial Resistance Prediction","ko":"항균제 내성 예측을 위한 sequence-drug multimodal learning의 선택적 이점","authors":"Mateusz A. Wlodarski","abs":"Antimicrobial resistance (AMR) prediction from genomic data is typically treated as a unimodal problem based on sequence-derived features, yet the reliability of genomic signal alone remains unclear. We evaluate Escherichia coli AMR phenotype prediction using proteome-level protein language model embeddings with multiple instance learning, comparing single-drug (sequence-only) models to multimodal models that incorporate drug representations. Proteome-based models achieve strong performance, with antibiotic-specific models performing best overall, but exhibit a consistent gap between resistant and susceptible prediction. Incorporating drug representations improves susceptibility prediction in settings with weaker or imbalanced genomic signal, while providing little benefit when genomic features are already sufficient. Overall, multimodal learning provides conditional, rather than universal, gains, highlighting when additional biological context is required beyond sequence alone.
","absKo":"유전체 데이터로부터의 antimicrobial resistance(AMR) 예측은 보통 sequence-derived feature에 기반한 unimodal problem으로 취급되지만, genomic signal만의 신뢰성은 여전히 불분명하다. 우리는 multiple instance learning을 사용한 proteome-level protein language model embedding으로 Escherichia coli AMR phenotype 예측을 평가하고, 단일 약물(sequence-only) model과 drug representation을 통합하는 multimodal model을 비교한다. Proteome-based model은 강력한 성능을 보이며, antibiotic-specific model이 전반적으로 가장 우수하지만, resistant와 susceptible 예측 사이에 일관된 간극을 드러낸다. Drug representation을 통합하면 genomic signal이 더 약하거나 불균형한 설정에서 susceptibility 예측이 개선되지만, genomic feature만으로 이미 충분한 경우에는 이점이 거의 없다. 전반적으로 multimodal learning은 보편적이라기보다 조건부 이득을 제공하며, sequence alone을 넘어 추가적인 biological context가 언제 필요한지를 보여준다.","link":"https://openreview.net/forum?id=6tELDJkI1v"},{"id":"qIjCEIueMh","en":"PerturbDiff: Functional Diffusion for Single-Cell Perturbation Modeling","ko":"PerturbDiff: 단일 세포 perturbation modeling을 위한 함수형 diffusion","authors":"Xinyu Yuan, Xixian Liu, Ya Shi Zhang, Zuobai Zhang, Hongyu Guo, Jian Tang","abs":"Building Virtual Cells that can accurately simulate cellular responses to perturbations is a long-standing goal in systems biology. A fundamental challenge is that high-throughput single-cell sequencing is destructive: the same cell cannot be observed both before and after a perturbation. Thus, perturbation prediction requires mapping unpaired control and perturbed populations. Existing models address this by learning maps between distributions, but typically assume a single fixed response distribution when conditioned on observed cellular context (e.g., cell type) and the perturbation type. In reality, responses vary systematically due to unobservable latent factors such as microenvironmental fluctuations and complex batch effects, forming a manifold of possible distributions for the same observed conditions. To capture this variability, we introduce PerturbDiff, which shifts modeling from individual cells to entire distributions. By embedding distributions as points in a Hilbert space, we define a diffusion-based generative process operating directly over probability distributions. This allows PerturbDiff to capture population-level response shifts across hidden factors, improving generalization. Benchmarks on established datasets show that PerturbDiff achieves state-of-the-art performance in single-cell response prediction and generalizes substantially better to unseen perturbations. All code and data will be released upon acceptance.
","absKo":"perturbation에 대한 cellular response를 정확하게 시뮬레이션할 수 있는 Virtual Cells를 구축하는 것은 systems biology의 오랜 목표이다. 근본적인 도전은 high-throughput single-cell sequencing이 파괴적이라는 점이다. 즉, 동일한 cell을 perturbation 전후로 모두 관찰할 수 없다. 따라서 perturbation prediction은 unpaired control population과 perturbed population을 매핑해야 한다. 기존 모델은 distribution 간 map을 학습함으로써 이를 다루지만, 보통 관찰된 cellular context(예: cell type)와 perturbation type이 주어졌을 때 단일한 고정 response distribution을 가정한다. 실제로는 microenvironment fluctuation과 복잡한 batch effect 같은 관측 불가능한 latent factor 때문에 response가 체계적으로 달라지며, 동일한 관측 조건에 대해 가능한 distribution의 manifold를 형성한다. 이러한 변동성을 포착하기 위해 우리는 PerturbDiff를 제안하며, 모델링 대상을 개별 cell에서 전체 distribution으로 전환한다. Distribution을 Hilbert space의 점으로 embedding함으로써, 확률 분포 위에서 직접 작동하는 diffusion-based generative process를 정의한다. 이를 통해 PerturbDiff는 숨겨진 factor 전반의 population-level response shift를 포착하여 generalization을 향상시킨다. 확립된 dataset에서의 benchmark 결과는 PerturbDiff가 single-cell response prediction에서 state-of-the-art 성능을 달성하고, 보지 못한 perturbation에 대해 훨씬 더 잘 일반화함을 보여준다. 모든 code와 data는 채택 시 공개될 예정이다.","link":"https://openreview.net/forum?id=qIjCEIueMh"},{"id":"la1YG6sSlf","en":"Transcriptomics-Conditioned Virtual Tissue Synthesis via Diffusion Transformers","ko":"Diffusion Transformers를 이용한 Transcriptomics 조건부 가상 조직 합성","authors":"Pantelis Vlachas, Kalin Nonchev, Viktor Koelzer, Gunnar Ratsch","abs":"Spatial transcriptomics couples hematoxylin and eosin (H&E) tissue morphology with spatially resolved gene expression (GE). However, generative models that exploit this coupling to synthesize tissue images from transcriptomic profiles remain scarce.
We present STMDiT (Spatial Transcriptomics and Morphology Diffusion Transformer), a diffusion transformer that synthesizes H&E histopathology patches conditioned jointly on morphological embeddings and transcriptomic profiles. Building on PixCell (Yellapragada et al., 2025), we integrate gene expression from a frozen CancerFoundation encoder (Theus et al., 2024) through adaptive layer normalization and per-block cross-attention, and we train under dual classifier-free guidance with independent modality dropout.
On the 10x_TuPro Visium melanoma cohort, GE conditioning improves both image quality over the no-GE PixCell-B baseline (best FID = 252.9 vs 330.7) and transcriptomic fidelity (best AUC = 0.267 vs 0.229, reaching 82% of the real-tile ceiling). Training with DeepSpot’s predicted-transcriptomics pseudo-labels (PTPL) uniquely transfers zero-shot to TCGA_SKCM, an out-of-distribution (OOD) H&E-only melanoma cohort: PTPL-XAttn-PMA-B reaches FID = 690.0, a 57-point improvement over the no-GE baseline (747.1), with a within-model GE-ablation effect of Δ_OOD = +309.5, enabling virtual tissue synthesis beyond native spatial-transcriptomics coverage.
Our results indicate that gene-expression conditioning produces morphologically distinct tissue images and supports virtual tissue simulation for hypothesis testing in computational pathology.
","absKo":"Spatial transcriptomics는 hematoxylin and eosin (H&E) tissue morphology와 spatially resolved gene expression (GE)을 결합한다. 그러나 이 결합을 활용해 transcriptomic profile로부터 tissue image를 합성하는 generative model은 여전히 드물다.\n\n우리는 STMDiT(Spatial Transcriptomics and Morphology Diffusion Transformer)를 제안한다. 이는 morphological embedding과 transcriptomic profile을 공동으로 조건으로 받아 H&E histopathology patch를 합성하는 diffusion transformer이다. PixCell (Yellapragada et al., 2025)을 기반으로, 우리는 frozen CancerFoundation encoder (Theus et al., 2024)에서 나온 gene expression을 adaptive layer normalization과 per-block cross-attention을 통해 통합하고, 독립적인 modality dropout을 사용한 dual classifier-free guidance 아래에서 학습한다.\n\n10x_TuPro Visium melanoma cohort에서 GE conditioning은 no-GE PixCell-B baseline보다 image quality를 향상시킬 뿐 아니라(best FID = 252.9 vs 330.7), transcriptomic fidelity도 개선한다(best AUC = 0.267 vs 0.229, real-tile ceiling의 82% 도달). DeepSpot의 predicted-transcriptomics pseudo-labels (PTPL)로 학습하면, native spatial-transcriptomics coverage를 넘어서는 virtual tissue synthesis가 가능해지며, zero-shot으로 TCGA_SKCM이라는 out-of-distribution (OOD) H&E-only melanoma cohort로도 유일하게 transfer된다: PTPL-XAttn-PMA-B는 FID = 690.0을 달성해 no-GE baseline(747.1) 대비 57점 개선되었고, 모델 내부의 GE-ablation 효과는 Δ_OOD = +309.5에 이른다.\n\n우리의 결과는 gene-expression conditioning이 morphology적으로 구별되는 tissue image를 생성하며, computational pathology에서 hypothesis testing을 위한 virtual tissue simulation을 지원함을 보여준다.","link":"https://openreview.net/forum?id=la1YG6sSlf"},{"id":"Nrnk7F5ccA","en":"MESH-HR: Multimodal Fusion of Somatic DNA Profiles and Histopathology for Continuous Breast Cancer Receptor Subtyping via LLM-Assisted Annotation","ko":"MESH-HR: LLM-assisted annotation을 통한 유방암 수용체 연속 분류를 위한 체세포 DNA profile과 조직병리의 다중모달 융합","authors":"Shaye Carver, Kodi Taraszka, Intae Moon, Alexander Gusev","abs":"Breast cancer receptor subtyping determines eligibility for targeted therapies
based on estrogen receptor (ER), progesterone receptor (PR), and human epidermal
growth factor receptor 2 (HER2) expression, which are typically assessed via
immunohistochemistry (IHC) for ER and PR, and IHC or fluorescence in situ hybridization (FISH) for HER2. We introduce MESH-HR (Multimodal Ensemble of Somatic
Variants and H\\&E Slides for Hormone Receptor subtyping), a multimodal framework
that integrates two biological modalities, somatic DNA profiles and whole-slide
histopathology images, to predict receptor status probabilities without molecular marker assays (IHC/FISH). To enable large-cohort training without manual curation, ground truth receptor labels
are extracted at scale from unstructured pathology reports using a GPT-4-based
LLM pipeline. MESH-HR combines an attention-based multiple instance learning
(ABMIL) vision encoder with an XGBoost model over somatic features, fusing
complementary signal across DNA and imaging modalities. Trained on $>$1,300 breast
cancers, MESH-HR achieves AUCs of 0.94 (ER), 0.83 (PR), and 0.96 (HER2) on
held-out data, outperforming unimodal baselines, and generalizes zero-shot to The
Cancer Genome Atlas Breast Cancer cohort (TCGA-BRCA). Continuous probabilistic
outputs improve survival stratification over binary clinical labels, recovering
prognostic signal lost under discrete IHC thresholds. We further apply MESH-HR
zero-shot to cancers of unknown primary (CUP), a population in which receptor
profiling is rarely performed due to the absence of a known tissue of origin,
obtaining biologically consistent, survival-predictive receptor estimates that
support receptor-informed personalized treatment stratification.
","absKo":"유방암 receptor subtyping은 estrogen receptor (ER), progesterone receptor (PR), human epidermal growth factor receptor 2 (HER2) 발현에 기반한 표적 치료 적격성을 결정하며, 일반적으로 ER과 PR은 immunohistochemistry (IHC)로, HER2는 IHC 또는 fluorescence in situ hybridization (FISH)로 평가된다. 우리는 MESH-HR(Multimodal Ensemble of Somatic Variants and H\\&E Slides for Hormone Receptor subtyping)을 소개한다. 이는 두 가지 biological modality인 somatic DNA profile과 whole-slide histopathology image를 통합하여 molecular marker assay(IHC/FISH) 없이 receptor status probability를 예측하는 multimodal framework이다. 수작업 curation 없이 대규모 cohort training을 가능하게 하기 위해, 정답 receptor label은 GPT-4 기반 LLM pipeline을 사용해 비정형 pathology report에서 대규모로 추출된다. MESH-HR은 attention-based multiple instance learning (ABMIL) vision encoder와 somatic feature 위의 XGBoost model을 결합하여 DNA와 imaging modality 전반의 상보적 신호를 융합한다. 1,300개 이상의 breast cancer를 학습한 MESH-HR은 보류된 데이터에서 ER 0.94, PR 0.83, HER2 0.96의 AUC를 달성하며 unimodal baseline을 능가하고, The Cancer Genome Atlas Breast Cancer cohort (TCGA-BRCA)로 zero-shot generalization을 보인다. 연속적인 probabilistic output은 binary clinical label보다 survival stratification을 개선하여, discrete IHC threshold 아래에서 사라지는 prognostic signal을 회복한다. 우리는 또한 MESH-HR을 zero-shot으로 cancer of unknown primary (CUP)에 적용한다. 이 집단은 기원 조직이 알려져 있지 않아 receptor profiling이 거의 수행되지 않는데, 생물학적으로 일관되고 생존을 예측하는 receptor estimate를 얻어 receptor 정보를 반영한 personalized treatment stratification을 뒷받침한다.","link":"https://openreview.net/forum?id=Nrnk7F5ccA"},{"id":"56DIsM13xO","en":"GFETM: Genome Foundation-based Embedded Topic Model for scATAC-seq Modeling","ko":"GFETM: scATAC-seq 모델링을 위한 Genome Foundation 기반 Embedded Topic Model","authors":"Yimin Fan, Yu Li, Jun Ding, Yue Li","abs":"Single-cell Assay for Transposase-Accessible Chromatin with sequencing (scATAC-seq) enables investigation of open chromatin landscapes at single-cell resolution, but its analysis remains challenging because of sparsity, noise, and dataset-specific peak vocabularies. Genome Foundation Models (GFMs), pre-trained on large DNA sequence corpora, offer a potential source of transferable sequence information for scATAC-seq modeling. We introduce the Genome Foundation Embedded Topic Model (\\model{}), an interpretable framework that combines GFMs with the Embedded Topic Model (ETM) for sequence-informed scATAC-seq analysis. By integrating GFM-derived DNA sequence embeddings into a topic-model decoder, \\model{} improves clustering quality on standard benchmarks and captures cell-state-specific transcription factor activity through motif scoring and attention-based interpretation.
","absKo":"Single-cell Assay for Transposase-Accessible Chromatin with sequencing (scATAC-seq)는 single-cell 해상도에서 open chromatin landscape를 탐구할 수 있게 해주지만, sparsity, noise, 그리고 dataset별 peak vocabulary 때문에 분석은 여전히 어렵다. 대규모 DNA sequence corpus로 pre-training된 Genome Foundation Models (GFMs)는 scATAC-seq modeling에 transferable한 sequence 정보를 제공할 수 있는 잠재적 소스다. 우리는 GFMs와 Embedded Topic Model (ETM)을 결합해 sequence-informed scATAC-seq analysis를 수행하는 해석 가능한 프레임워크, Genome Foundation Embedded Topic Model (\\model{})을 제안한다. GFM에서 유도한 DNA sequence embedding을 topic-model decoder에 통합함으로써, \\model{}은 표준 benchmark에서 clustering quality를 향상시키고 motif scoring과 attention-based interpretation을 통해 cell-state-specific transcription factor activity를 포착한다.","link":"https://openreview.net/forum?id=56DIsM13xO"},{"id":"HFhtMLAKT0","en":"SaNano - Structure Aware Transfer Learning For Data Limited Protein Modality","ko":"SaNano - 데이터가 제한된 단백질 모달리티를 위한 구조 인지 전이학습","authors":"Hugo Frelin, Andrei Kamenski, Paolo Marcatili","abs":"Single domain antibodies such as camelid VHH (or NANOBODY®) are increasingly adopted as therapeutics due to their compact architecture, stability, and favorable developability. However, their distinct structural features limit transferability from general protein language models, and the limited number of available sequences constrains training large VHH-specific foundation models from scratch. We introduce SaNano, a structure-aware VHH language model that unifies sequence and Foldseek 3Di structural tokens, fine-tuned from SaProt. Trained on curated VHH sequences paired with NanobodyBuilder2 structures and mixed with SwissProt/AlphaFold data, SaNano interleaves structure-conditioned and sequence-only masked language modeling to internalize structural priors while retaining strong sequence-only inference. SaNano outperforms general protein and antibody/VHH baseline models on few-shot contact prediction, biophysical property prediction, and sequence reconstruction (pseudo-perplexity), with especially large gains in the highly variable complementarity-determining region 3 (CDR3). Crucially, structure-aware fine-tuning improves sequence-only performance, reducing reliance on costly structure prediction in high-throughput screening. SaNano is available at
\\url{https://huggingface.co/novonordisk-red/SaNano}.
","absKo":"camelid VHH(또는 NANOBODY®)와 같은 single domain antibody는 compact architecture, 안정성, 그리고 우수한 developability 덕분에 치료제로 점점 더 많이 채택되고 있다. 그러나 이들의 뚜렷한 구조적 특성은 일반 protein language model로부터의 transferability를 제한하고, 사용 가능한 sequence 수가 적어 VHH-specific foundation model을 처음부터 대규모로 학습하는 것도 제약한다. 우리는 SaProt에서 fine-tuning한, sequence와 Foldseek 3Di 구조 token을 통합하는 structure-aware VHH language model SaNano를 소개한다. NanobodyBuilder2 structure와 짝지어진 curated VHH sequence로 학습하고 SwissProt/AlphaFold data와 혼합한 SaNano는 structure-conditioned masked language modeling과 sequence-only masked language modeling을 교차 적용하여, 강한 sequence-only inference를 유지하면서 구조적 prior를 내재화한다. SaNano는 few-shot contact prediction, biophysical property prediction, sequence reconstruction(pseudo-perplexity)에서 일반적인 protein 및 antibody/VHH baseline model을 능가했으며, 특히 가변성이 큰 complementarity-determining region 3 (CDR3)에서 큰 향상을 보였다. 핵심적으로, structure-aware fine-tuning은 sequence-only 성능도 개선하여, 대규모 screening에서 비용이 큰 structure prediction에 대한 의존도를 줄인다. SaNano는 \\url{https://huggingface.co/novonordisk-red/SaNano}에서 제공된다.","link":"https://openreview.net/forum?id=HFhtMLAKT0"},{"id":"IJhaKVIApS","en":"Uncovering evolutionarily remote and highly potent antimicrobial peptides with protein language models","ko":"protein language model로 진화적으로 먼 고효능 항균 펩타이드 발굴","authors":"Qinze Yu, Yu Li","abs":"Identifying evolutionarily remote antimicrobial peptides (AMPs) is crucial for discovering underexplored clinical candidates to combat antibiotic resistance. Existing experimental and computational methods are limited by their reliance on sequence identity to known AMPs, missing distant homologues. Here we introduce HMD-AMP, a protein language model-based approach for AMP discovery. HMD-AMP outperforms previous methods in identifying evolutionarily distant AMPs and enables the discovery of unknown and highly potent AMPs from metagenomic data. Applied to host and gut microorganism genomes of nine mammals, HMD-AMP revealed over 37 million predicted AMPs. Of 91 high-confidence sequences experimentally validated, 74 showed strong antibacterial activity and 48 were evolutionarily remote from known AMPs. Four of these AMPs exhibited broad-spectrum antibacterial activity at low effective concentrations and showed low toxicity, with the most potent peptide demonstrating therapeutic efficacy in a mouse model of peritoneal Escherichia coli infection. This study introduces an effective strategy to uncover AMPs.
","absKo":"진화적으로 먼 antimicrobial peptide(AMP)를 식별하는 것은 antibiotic resistance에 대응할 수 있는 충분히 탐색되지 않은 clinical candidate를 발굴하는 데 중요하다. 기존의 실험적 및 계산적 방법은 알려진 AMP와의 sequence identity에 의존하기 때문에 먼 homologue를 놓치는 한계가 있다. 여기서 우리는 AMP discovery를 위한 protein language model 기반 접근법인 HMD-AMP를 소개한다. HMD-AMP는 진화적으로 먼 AMP를 식별하는 데 있어 기존 방법을 능가하며, metagenomic data로부터 미지의 고효능 AMP를 발견할 수 있게 한다. 아홉 종의 포유류에 대해 host와 gut microorganism genome에 적용한 결과, HMD-AMP는 3,700만 개가 넘는 predicted AMP를 도출했다. 실험적으로 검증한 91개의 high-confidence sequence 중 74개는 강한 antibacterial activity를 보였고, 48개는 알려진 AMP와 진화적으로 멀었다. 이들 AMP 중 4개는 낮은 유효 농도에서 broad-spectrum antibacterial activity를 보였고 낮은 toxicity를 나타냈으며, 그중 가장 강력한 peptide는 복막 Escherichia coli 감염 mouse model에서 therapeutic efficacy를 입증했다. 이 연구는 AMP를 발굴하기 위한 효과적인 전략을 제시한다.","link":"https://openreview.net/forum?id=IJhaKVIApS"},{"id":"npTFOLkCDf","en":"SIGMMA: Hierarchical Graph-Based Multi-Scale Multi-modal Contrastive Alignment of Histopathology Image and Spatial Transcriptome","ko":"SIGMMA: 병리 조직 이미지와 공간 전사체의 계층적 그래프 기반 다중 스케일 다중 모달 contrastive alignment","authors":"Dabin Jeong, Amirhossein Vahidi, Ciro Ramírez-Suástegui, Marie Moullet, Kevin Ly, Mohammad Vali Sanian, Sebastian Birk, Yinshui Chang, Adam Boxall, Daniyal Jafree, Lloyd Steele, Vijaya Baskar MS, Muzlifah Haniffa, Mohammad Lotfollahi","abs":"Recent advances in computational pathology have leveraged vision–language models to learn joint representations of Hematoxylin and Eosin (H\\&E) images with spatial transcriptomic (ST) profiles, but existing approaches typically align H\\&E tiles and ST profiles at a single scale, overlooking fine-grained cellular structures and their spatial organization. We propose \\textsc{Sigmma}, a multi-modal contrastive alignment framework for learning hierarchical H\\&E-ST representations.
By enforcing multi-scale contrastive alignment, \\textsc{Sigmma} ensures coherent representations across modalities, while a graph-based modeling of cell interactions integrates both inter- and intra-subgraph relationships to capture cellular organization from fine to coarse scales.
Across datasets, \\textsc{Sigmma} consistently improves gene-expression prediction and cross-modal retrieval performance, and its learned multi-scale embeddings recover tumor microenvironments and immune-exclusion programs in pancreatic cancer.
","absKo":"최근 computational pathology의 발전은 vision–language model을 활용하여 Hematoxylin and Eosin (H&E) 이미지와 spatial transcriptomic (ST) profile의 joint representation을 학습해 왔지만, 기존 접근은 대개 H&E tile과 ST profile을 단일 scale에서만 정렬하여, 세밀한 세포 구조와 그 공간적 조직을 간과한다. 우리는 계층적 H&E-ST representation을 학습하기 위한 multimodal contrastive alignment framework인 \\textsc{Sigmma}를 제안한다.\n다중 scale contrastive alignment를 강제함으로써 \\textsc{Sigmma}는 modality 전반에 걸쳐 일관된 representation을 보장하며, cell interaction의 graph-based modeling은 inter- 및 intra-subgraph 관계를 통합하여 세포 조직을 세밀한 scale부터 거친 scale까지 포착한다.\n여러 데이터셋에서 \\textsc{Sigmma}는 gene-expression prediction과 cross-modal retrieval 성능을 일관되게 향상시키며, 학습된 multi-scale embedding은 췌장암에서 tumor microenvironment와 immune-exclusion program을 복원한다.","link":"https://openreview.net/forum?id=npTFOLkCDf"},{"id":"dD95A7ATXn","en":"MolEmb: Multimodal Large Language Models Can Be Strong Molecular Embedding Models","ko":"MolEmb: multimodal large language model은 강력한 분자 임베딩 모델이 될 수 있다","authors":"Xinjian Zhao, Xiangru Jian, Yaoyao Xu, Xiaozhuang Song, Wei Pang, LEI BAI, Tianshu Yu","abs":"Small-molecule modeling is important across drug discovery, chemical biology, and computational life sciences, where molecular embedding models can serve as foundational infrastructure for property prediction, virtual screening, toxicity assessment, and retrieval. Most molecular encoders are specialist models built around a single molecular view, producing unconditional vectors with no language interface for varying the representation. We ask whether multimodal large language models (MLLMs), which natively process images, text, and symbolic inputs, can instead serve as general molecular embedding models that produce embeddings conditioned on both a molecular profile and a natural-language semantic context. We introduce MolEmb, a lightweight framework that adapts MLLMs by aligning molecular profiles with textual descriptions in a shared embedding space using a bidirectional contrastive objective. The resulting embedding model is competitive on molecular property prediction and supports cross-modal molecule--text retrieval in the same space. We further introduce MolCAR, a diagnostic benchmark for context-aware retrieval, and find that context-aware molecular embedding is primarily a data property of the supervision. These results suggest that MLLMs are not merely chemistry assistants or generators, but a viable and extensible route to general molecular embedding models for life-science workflows.
","absKo":"Small-molecule modeling은 drug discovery, chemical biology, computational life sciences 전반에서 중요하며, molecular embedding model은 property prediction, virtual screening, toxicity assessment, retrieval을 위한 기반 인프라로 활용될 수 있다. 대부분의 molecular encoder는 단일 molecular view를 중심으로 구축된 specialist model로, 표현을 다양하게 조절할 수 있는 language interface 없이 unconditional vector를 생성한다. 우리는 이미지, 텍스트, symbolic input을 자연스럽게 처리하는 multimodal large language model(MLLM)이, 대신 molecular profile과 natural-language semantic context 모두에 조건화된 embedding을 생성하는 일반적인 molecular embedding model로 기능할 수 있는지 질문한다. 우리는 bidirectional contrastive objective를 사용해 공유 embedding space에서 molecular profile과 textual description을 정렬함으로써 MLLM을 적응시키는 경량 프레임워크인 MolEmb를 소개한다. 그 결과 생성된 embedding model은 molecular property prediction에서 경쟁력 있으며, 같은 공간에서 cross-modal molecule--text retrieval을 지원한다. 또한 context-aware retrieval을 위한 진단 benchmark인 MolCAR를 도입하고, context-aware molecular embedding은 주로 supervision의 데이터 특성임을 확인한다. 이러한 결과는 MLLM이 단순한 chemistry assistant나 generator가 아니라, life-science workflow를 위한 일반적인 molecular embedding model로 가는 실용적이고 확장 가능한 경로임을 시사한다.","link":"https://openreview.net/forum?id=dD95A7ATXn"},{"id":"9OVKsH5DXt","en":"PRIMA: a bidirectional state-space architecture and training approach for sequence modelling of protein-protein interactions","ko":"PRIMA: 단백질-단백질 상호작용 순차 모델링을 위한 양방향 state-space 아키텍처와 학습 방법","authors":"Arturo Fiorellini-Bernardis, Sebastien Boyer, Jean QUENTIN, Ghassene Jebali, Oliver Bent","abs":"Protein-protein interactions (PPIs) govern essential biological processes, yet building protein language models (PLMs) that directly capture the complexity of interacting multi-chain sequences remains an open challenge. Transformer-based PLMs rely on self-attention whose quadratic complexity makes processing long interacting complexes resource-intensive, leaving an emerging gap between a rich diversity of current single-chain PLMs and scalable PPI PLMs. We present PRIMA, a proof-of-concept PLM for PPIs built on bidirectional Mamba (BiMamba), a selective state-space model that scales linearly with sequence length and processes arbitrarily long inputs without positional encodings. PRIMA is trained in two phases: first on diverse single protein sequences to learn general representations, then on concatenated PPI pairs to capture interaction-specific context. At an 8 million parameter scale and equal count to a transformer baseline, PRIMA (i) outperforms transformer-based PLMs on standard-length inputs, (ii) outperforms them on longer sequences and length extrapolation tasks, and (iii) does so at significantly lower computational cost, establishing BiMamba as a strong backbone for scalable PPI PLMs.
","absKo":"Protein-protein interactions (PPIs)는 필수적인 생물학적 과정을 지배하지만, 상호작용하는 다중 체인 서열의 복잡성을 직접 포착하는 protein language models (PLMs)을 구축하는 일은 여전히 열린 과제다. Transformer 기반 PLM은 이차 복잡도를 갖는 self-attention에 의존하므로 긴 상호작용 complex를 처리하는 데 많은 자원이 필요하며, 이는 현재의 풍부한 단일 체인 PLM과 확장 가능한 PPI PLM 사이의 간극을 낳는다. 우리는 양방향 Mamba (BiMamba)를 기반으로 한 PPI용 proof-of-concept PLM인 PRIMA를 제시한다. BiMamba는 서열 길이에 대해 선형으로 확장되고 positional encoding 없이 임의로 긴 입력을 처리할 수 있는 selective state-space model이다. PRIMA는 두 단계로 학습된다. 먼저 다양한 단일 protein sequence로부터 일반적인 representation을 학습하고, 그다음 연결된 PPI pair로부터 interaction-specific context를 포착한다. 800만 개 parameter 규모에서 transformer baseline과 동일한 개수로 학습했을 때, PRIMA는 (i) 표준 길이 입력에서 transformer 기반 PLM을 능가하고, (ii) 더 긴 sequence와 length extrapolation task에서도 더 좋은 성능을 보이며, (iii) 훨씬 낮은 계산 비용으로 이를 달성하여, BiMamba가 확장 가능한 PPI PLM을 위한 강력한 backbone임을 입증한다.","link":"https://openreview.net/forum?id=9OVKsH5DXt"},{"id":"yiN1dLm0H0","en":"Contrastive Learning for Gene Set Enrichment Analysis Post-Processing","ko":"Gene Set Enrichment Analysis 후처리를 위한 Contrastive Learning","authors":"Leonardo P.A. Biral, Sandeep Dave","abs":"Gene Set Enrichment Analysis (GSEA) is one of the most frequently used tools in computational biology, but often returns hundreds to thousands of significant pathways, which makes evaluation time-consuming and limits interpretability. Current GSEA post-processing methods cluster pathways by pairwise gene set overlap, but these approaches fail on the >80% of pathway pairs that share no genes and largely ignore textual annotations. We introduce gtCLIP, the first contrastive learning framework for GSEA post-processing. gtCLIP aligns gene set embeddings from a gene set foundation model with pathway descriptions encoded by PubMedBERT in a shared embedding space, enabling clustering of GSEA result sets into communities of biologically-related pathways. Our key methodological contribution is a soft-target contrastive objective that preserves cross-modal alignment and incorporates gene set overlap, placing biologically related pathways near each other in the embedding space. We evaluated gtCLIP on held-out GSEA results from five blood cancer cohorts, achieving cross-modal retrieval Recall@5 (R@5) of 59.8% and 51.3% on validation and test pathways respectively. On downstream clustering, gtCLIP attained 92.4% mean NES sign coherence as well as 3.3-fold higher within-cluster gene set overlap and 3.9-fold higher silhouette scores compared to the strongest overlap-based baseline. Ablations confirmed the contributions of the soft-target loss, PubMedBERT's biomedical text pretraining, combined pathway title-description input, and foundation encoder fine-tuning. gtCLIP is open-source and available on HuggingFace at DaveLab/gtCLIP.
","absKo":"Gene Set Enrichment Analysis (GSEA)는 computational biology에서 가장 자주 사용되는 도구 중 하나이지만, 종종 수백에서 수천 개의 유의한 pathway를 반환하므로 평가에 시간이 많이 들고 해석 가능성이 제한된다. 현재의 GSEA 후처리 방법은 pathway를 pairwise gene set overlap으로 군집화하지만, 이러한 접근은 gene을 공유하지 않는 pathway pair의 80% 이상에서 실패하며 텍스트 주석은 대부분 무시한다. 우리는 GSEA 후처리를 위한 최초의 contrastive learning framework인 gtCLIP을 소개한다. gtCLIP은 gene set foundation model에서 얻은 gene set embedding과 PubMedBERT로 인코딩한 pathway description을 shared embedding space에서 정렬하여, GSEA 결과 집합을 생물학적으로 관련된 pathway community로 군집화할 수 있게 한다. 우리의 핵심 방법론적 기여는 cross-modal alignment를 보존하고 gene set overlap을 통합하는 soft-target contrastive objective로, 생물학적으로 관련된 pathway를 embedding space에서 서로 가깝게 배치한다는 점이다. 우리는 다섯 개의 blood cancer cohort에서 보류한 GSEA 결과로 gtCLIP을 평가했으며, validation과 test pathway에서 각각 cross-modal retrieval Recall@5 (R@5) 59.8%와 51.3%를 달성했다. downstream clustering에서는 gtCLIP이 평균 NES sign coherence 92.4%와 함께, 가장 강한 overlap-based baseline 대비 cluster 내부 gene set overlap이 3.3배, silhouette score가 3.9배 높았다. ablation은 soft-target loss, PubMedBERT의 biomedical text pretraining, 결합된 pathway title-description input, 그리고 foundation encoder fine-tuning의 기여를 확인했다. gtCLIP은 오픈소스로 공개되어 있으며 HuggingFace의 DaveLab/gtCLIP에서 사용할 수 있다.","link":"https://openreview.net/forum?id=yiN1dLm0H0"},{"id":"2sJAFlZR3a","en":"TriFit: Trimodal Fusion with Protein Dynamics for Mutation Fitness Prediction","ko":"TriFit: 돌연변이 적합도 예측을 위한 삼중 모달 Fusion과 단백질 동역학","authors":"Seungik Cho","abs":"Predicting the functional impact of single amino acid substitutions (SAVs) is central to understanding genetic disease and engineering therapeutic proteins. While protein language models and structure-based methods have achieved strong performance on this task, they systematically neglect protein dynamics; residue flexibility, correlated motions, and allosteric coupling are well-established determinants of mutational tolerance in structural biology, yet have not been incorporated into supervised variant effect predictors. We present TriFit, a multimodal framework that integrates sequence, structure, and protein dynamics through a four-expert Mixture-of-Experts (MoE) fusion module with trimodal cross-modal contrastive learning. Sequence embeddings are extracted via masked marginal scoring with ESM-2 (650M); structural embeddings from AlphaFold2-predicted C-alpha geometries; and dynamics embeddings from Gaussian Network Model (GNM) B-factors, mode shapes, and residue-residue cross-correlations. The MoE router adaptively weights modality combinations conditioned on the input, enabling protein-specific fusion without fixed modality assumptions. On the ProteinGym substitution benchmark (217 DMS assays, 696k SAVs), TriFit achieves AUROC 0.897 +/- 0.0002, outperforming all supervised baselines including Kermut (0.864) and ProteinNPT (0.844), and the best zero-shot model ESM3 (0.769). Ablation studies confirm that dynamics provides the largest marginal contribution over pairwise modality combinations, and TriFit achieves well-calibrated probabilistic outputs (ECE = 0.044) without post-hoc correction.
","absKo":"단일 아미노산 치환(SAVs)의 기능적 영향을 예측하는 것은 유전 질환을 이해하고 치료용 단백질을 공학적으로 설계하는 데 핵심적이다. 단백질 언어 모델과 구조 기반 방법이 이 과제에서 뛰어난 성능을 보였지만, 단백질 dynamics를 체계적으로 간과해 왔다. 잔기 유연성, 상관된 운동, allosteric coupling은 구조 생물학에서 돌연변이 허용성(mutational tolerance)의 잘 알려진 결정 요인임에도, 감독학습 variant effect predictor에는 아직 통합되지 않았다. 우리는 sequence, structure, protein dynamics를 trimodal cross-modal contrastive learning을 갖춘 4-expert Mixture-of-Experts(MoE) fusion module로 통합하는 multimodal 프레임워크 TriFit을 제안한다. Sequence embedding은 ESM-2(650M)의 masked marginal scoring으로 추출하고, structural embedding은 AlphaFold2로 예측한 C-alpha 기하에서 얻으며, dynamics embedding은 Gaussian Network Model(GNM)의 B-factor, mode shape, residue-residue cross-correlation에서 얻는다. MoE router는 입력에 조건화되어 modality 조합의 가중치를 적응적으로 조절함으로써, 고정된 modality 가정 없이 단백질별 fusion을 가능하게 한다. ProteinGym substitution benchmark(217 DMS assay, 696k SAVs)에서 TriFit은 AUROC 0.897 +/- 0.0002를 달성하여 Kermut(0.864)과 ProteinNPT(0.844)를 포함한 모든 supervised baseline은 물론, 최고의 zero-shot 모델인 ESM3(0.769)도 능가한다. Ablation study는 dynamics가 pairwise modality 조합보다 가장 큰 추가 기여를 제공함을 확인하며, TriFit은 사후 보정 없이도 잘 보정된 확률 출력(ECE = 0.044)을 달성한다.","link":"https://openreview.net/forum?id=2sJAFlZR3a"},{"id":"CMsk8XJSA4","en":"ProSAM: Modular and Energy-Guided Fine-Tuning of Protein Language Models for Structure Prediction","ko":"ProSAM: 구조 예측을 위한 단백질 언어 모델의 모듈형 에너지 유도 fine-tuning","authors":"Yiyang Zheng, Zhiguo Tao","abs":"Fine-tuning Protein Language Models (PLMs) for structure prediction is limited by uniform feature treatment and the absence of uncertainty modeling during training. We introduce ProSAM, a modular framework that decomposes PLM representations via a Dual-path Encoder, modulates them through a Protein-Aware Structural Adapter (PASA) and Fold-Specific Prompting (FSP), and regularizes outputs with an Energy-Guided Conformational Uncertainty (ECU) module. On CASP14, ProSAM achieves TM-score 0.892±0.005 and RMSD-Cα 1.23±0.08A, improving +4.1 points over ESMFold (p<0.01, paired Wilcoxon, Cohen's =1.42). Gains persist on CASP15 (+3.4), CAMEO-hard, and PDB-2022, and are largest for low-MSA-depth targets (+4.9). ProSAM outperforms LoRA and Adapter baselines while adding only 12.3M parameters (1.9% of the frozen PLM). Code and weights will be released upon acceptance.
","absKo":"구조 예측을 위해 Protein Language Model(PLM)을 fine-tuning하는 것은 일률적인 feature 처리와 학습 중 uncertainty modeling의 부재로 인해 제약을 받는다. 우리는 PLM representation을 Dual-path Encoder로 분해하고, 이를 Protein-Aware Structural Adapter(PASA)와 Fold-Specific Prompting(FSP)으로 조절하며, Energy-Guided Conformational Uncertainty(ECU) module로 출력을 regularize하는 modular framework인 ProSAM을 소개한다. CASP14에서 ProSAM은 TM-score 0.892±0.005와 RMSD-Cα 1.23±0.08A를 달성하여 ESMFold 대비 +4.1 point 향상되었고(p<0.01, paired Wilcoxon, Cohen's =1.42), 이러한 이득은 CASP15(+3.4), CAMEO-hard, PDB-2022에서도 유지되며, low-MSA-depth target에서 가장 크다(+4.9). ProSAM은 LoRA와 Adapter baseline보다 우수하면서도 frozen PLP의 1.9%에 해당하는 12.3M parameter만 추가한다. 코드와 weight는 채택 시 공개될 예정이다.","link":"https://openreview.net/forum?id=CMsk8XJSA4"}];window.dispatchEvent(new CustomEvent("papers-loaded",{detail:"54063"}));