Frontier LLM companies have assured courts that their models do not store training data and rely on alignment, system prompts, and output filters to block verbatim regurgitation of copyrighted works. We show that finetuning bypasses these protections: training GPT-4o, Gemini-2.5-Pro, and DeepSeek-V3.1 to expand plot summaries into full text causes them to reproduce up to 85-90\\% of held-out copyrighted books, with single verbatim spans exceeding 460 words, using only semantic descriptions as prompts. This extraction generalizes across authors: finetuning exclusively on Haruki Murakami's novels unlocks verbatim recall from over 30 unrelated authors, while finetuning on synthetic text yields near-zero extraction, indicating that the task reactivates latent pretraining memorization rather than teaching new content. Three models from different providers memorize the same books in the same regions (Pearson $r \\ge 0.90$), pointing to an industry-wide vulnerability. Our findings provide evidence that model weights store retrievable copies of copyrighted works and that finetuning-induced extraction undermines a key premise of recent fair use rulings, which have conditioned favorable outcomes on the adequacy of measures preventing reproduction of protected expression.
","absKo":"최전선 LLM 기업들은 자사 모델이 training data를 저장하지 않으며, alignment, system prompt, output filter에 의존해 copyrighted works의 verbatim regurgitation을 차단한다고 법정에서 보장해 왔다. 우리는 finetuning이 이러한 보호를 우회함을 보인다. GPT-4o, Gemini-2.5-Pro, DeepSeek-V3.1을 plot summary를 full text로 확장하도록 학습시키면, semantic description만 prompt로 사용했을 때도 보류된 copyrighted book의 최대 85-90\\%를 재현하며, 단일 verbatim span은 460단어를 넘는다. 이 추출은 저자를 넘어 일반화된다. Haruki Murakami의 소설만으로 finetuning하면 30명 이상의 unrelated author에 대한 verbatim recall이 가능해지는 반면, synthetic text로 finetuning하면 extraction이 거의 0에 가깝다. 이는 이 task가 새로운 내용을 학습하는 것이 아니라 latent pretraining memorization을 재활성화함을 시사한다. 서로 다른 제공자의 세 모델이 같은 책을 같은 구간에서 기억한다(Pearson $r \\ge 0.90$)는 점은 산업 전반의 취약성을 가리킨다. 우리의 결과는 model weight가 copyrighted work의 검색 가능한 복사본을 저장하고 있으며, finetuning에 의해 유도된 extraction이 보호된 표현의 복제를 방지하는 조치의 적절성에 favorable outcome을 조건으로 둔 최근 fair use 판결의 핵심 전제를 약화시킨다는 증거를 제공한다.","link":"https://openreview.net/forum?id=62zTHbtiDH","tag":"Oral"},{"id":"mc7fVimV9b","en":"Deployment-Time Memorization in Foundation-Model Agents","ko":"foundation-model 에이전트의 배포 시점 기억화","authors":"Rachel Chen, Guilin Zhang, Kai Zhao, Xu Chu, Amine Anoun, Jerry Ting","abs":"Foundation-model agents are becoming long-lived systems that remember users across interactions, making memorization an explicit deployment-time function rather than only a property of model weights. Existing work studies parametric memorization or audits fixed agent-memory configurations, but does not characterize how memory design knobs shape personalization, extraction risk, and deletion fidelity. We study this surface as deployment-time memorization. We formulate agent memory as a privacy--utility frontier, measuring utility with Personalization Recall and leakage with Adversarial Extraction Rate, and sweep two practical knobs: summarization aggressiveness and retrieval breadth. We further introduce Forgetting Residue Score to measure whether deleted information remains recoverable from derived memory tiers. On LongMemEval, key-fact summarization reduces canary extraction by 76% on Gemma~3~12B and 64% on GPT-4o-mini while preserving nearly all personalization recall; once compressed away, increasing top-$k$ retrieval no longer restores leakage. However, the same compression creates a deletion-fidelity failure: raw-only deletion leaves derived summary copies recoverable in roughly 20% of instances, while only full-pipeline purge or tombstone redaction drives worst-tier residue to zero. These results show that persistent agent memory should be evaluated as a first-class memorization mechanism: by what it helps agents recall, what it makes extractable, and what it can truly erase.
","absKo":"Foundation-model agent는 사용자와의 상호작용 전반을 기억하는 장수 시스템으로 점점 진화하고 있으며, memorization은 이제 모델 weight의 속성일 뿐 아니라 배포 시점의 명시적 함수가 된다. 기존 연구는 parametric memorization을 다루거나 고정된 agent-memory 구성을 감사했지만, memory 설계 knob가 personalization, extraction risk, deletion fidelity에 어떻게 영향을 미치는지는 특성화하지 않았다. 우리는 이를 deployment-time memorization으로 보고 연구한다. agent memory를 privacy--utility frontier로 정식화하고, utility는 Personalization Recall로, leakage는 Adversarial Extraction Rate로 측정하며, summarization aggressiveness와 retrieval breadth라는 두 가지 실용적 knob를 탐색한다. 또한 삭제된 정보가 derived memory tier에서 여전히 복구 가능한지를 측정하기 위해 Forgetting Residue Score를 도입한다. LongMemEval에서 key-fact summarization은 Gemma~3~12B와 GPT-4o-mini 모두에서 canary extraction을 각각 76%와 64% 줄이면서도 personalization recall은 거의 모두 보존하며, 한 번 압축되면 top-$k$ retrieval을 늘려도 leakage는 더 이상 복원되지 않는다. 그러나 동일한 compression은 deletion-fidelity failure를 초래한다. raw-only deletion은 derived summary copy를 약 20%의 사례에서 복구 가능하게 남기지만, full-pipeline purge 또는 tombstone redaction만이 worst-tier residue를 0으로 만든다. 이러한 결과는 persistent agent memory를 일급 memorization mechanism으로 평가해야 함을 보여준다. 즉, agent가 무엇을 기억하게 되는지, 무엇이 추출 가능한지, 그리고 무엇을 진정으로 지울 수 있는지를 함께 봐야 한다.","link":"https://openreview.net/forum?id=mc7fVimV9b","tag":"Oral"},{"id":"dOrmkrvRVM","en":"KVEraser: Learning to Steer KV Cache for Efficient Localized Context Erasing","ko":"KVEraser: 효율적인 국소 context erasing을 위한 KV cache 제어 학습","authors":"Mufei Li, Shikun Liu, Dongqi Fu, Haoyu Peter Wang, Yinglong Xia, Hong Li, Hong Yan, Pan Li","abs":"Context erasing for KV cache is challenging because a local edit has a global consequence: once a span has been processed, its influence propagates into the cached states of all subsequent tokens. Exact erasing must recompute all tokens after the deleted span. We introduce KVEraser, a learned KV-cache editing method for efficient localized context erasing. Experiments show that KVEraser matches full recomputation's performance on in-domain tasks across 1K--32K context lengths, while its latency increases by only 24\\% compared with a 17.6$\\times$ increase for full recomputation. KVEraser also generalizes to unseen QA tasks with harmful factual distractors, achieving a 3--4$\\times$ speedup over full recomputation.
","absKo":"KV cache에서의 context erasing은 local edit가 전역적 결과를 낳기 때문에 어렵다. 한 span이 처리되면 그 영향이 이후 모든 token의 cached state로 전파되기 때문이다. 정확한 erasing은 삭제된 span 이후의 모든 token을 재계산해야 한다. 우리는 효율적인 localized context erasing을 위한 학습된 KV-cache editing 방법인 KVEraser를 제안한다. 실험 결과 KVEraser는 1K--32K context length의 in-domain task에서 full recomputation과 동일한 성능을 보이면서, latency는 24\\%만 증가해 full recomputation의 17.6$\\times$ 증가와 대비된다. KVEraser는 또한 보지 못한 QA task와 유해한 factual distractor에도 일반화되며, full recomputation 대비 3--4$\\times$ speedup을 달성한다.","link":"https://openreview.net/forum?id=dOrmkrvRVM","tag":"Oral"},{"id":"LCVFastmwR","en":"Memory Adapters Enable Fast, Flexible Knowledge Unlearning in LLMs","ko":"Memory Adapters는 LLM의 빠르고 유연한 지식 망각을 가능하게 한다","authors":"Keltin Grimes, Kevin Kuo, Steven Wu, Virginia Smith, Marissa Catherine Connor","abs":"We introduce memory adapters, a fine-tunable adapter for LLMs that allows isolating sequence-level gradient updates to small modular sets of parameters. The modularity of memory adapters enables instantaneous unlearning of any combination of documents, with empirically strong unlearning performance on the TOFU benchmark. Iterative unlearning is costless, and documents can even be flexibly included or excluded for individual queries in a batch. These unique properties are especially valuable for domains where data-removal requests may be unpredictable, granular, or user- or input-dependent.
","absKo":"우리는 memory adapters를 소개한다. 이는 LLM을 위한 fine-tunable adapter로, sequence-level gradient update를 소수의 모듈식 parameter 집합에만 분리해 적용할 수 있게 한다. memory adapter의 모듈성은 문서의 어떤 조합이든 즉시 unlearning할 수 있게 하며, TOFU benchmark에서 실증적으로 강력한 unlearning 성능을 보인다. 반복적인 unlearning은 비용이 들지 않으며, batch 내 개별 query에 대해 문서를 유연하게 포함하거나 제외하는 것도 가능하다. 이러한 고유한 특성은 데이터 제거 요청이 예측 불가능하거나, 세분화되어 있거나, 사용자 또는 입력에 의존적일 수 있는 도메인에서 특히 유용하다.","link":"https://openreview.net/forum?id=LCVFastmwR","tag":"Oral"},{"id":"yH2QS5ba6l","en":"Estimating near-verbatim extraction risk in language models with decoding-constrained beam search","ko":"디코딩 제약 beam search를 이용한 language model의 거의 verbatim 추출 위험 추정","authors":"A. Feder Cooper, Mark Lemley, Christopher De Sa, Lea Duesterwald, Allison Casasola, Jamie Hayes, Katherine Lee, Daniel E. Ho, Percy Liang","abs":"Probabilistic extraction is tractable only for verbatim memorization, and misses near-verbatim instances that pose similar privacy and copyright risks.
Quantifying near-verbatim extraction risk is expensive:
the set of near-verbatim suffixes is combinatorially large, and reliable Monte Carlo (MC) estimation can require ${\\approx}\\,100{,}000$ samples per sequence.
To mitigate this cost, we introduce decoding-constrained beam search, which yields deterministic lower bounds on near-verbatim extraction risk at a cost comparable to ${\\approx}\\,20$ MC samples per sequence.
Across experiments, our approach surfaces information invisible to verbatim methods:
many more extractable sequences, substantially larger per-sequence extraction mass, and patterns in how near-verbatim extraction risk manifests across model sizes and types of text.
","absKo":"확률적 추출(probabilistic extraction)은 verbatim memorization에 대해서만 tractable하며, 유사한 privacy 및 copyright 위험을 유발하는 near-verbatim 사례는 놓친다. near-verbatim extraction risk를 정량화하는 것은 비용이 많이 든다. near-verbatim suffix의 집합은 조합론적으로 매우 크고, 신뢰할 수 있는 Monte Carlo(MC) 추정은 시퀀스당 약 ${\\approx}\\,100{,}000$개의 샘플을 필요로 할 수 있다. 이 비용을 완화하기 위해 우리는 decoding-constrained beam search를 도입한다. 이는 시퀀스당 약 ${\\approx}\\,20$개의 MC sample과 비슷한 비용으로 near-verbatim extraction risk에 대한 결정론적 하한을 제공한다. 실험 전반에서 우리의 접근법은 verbatim method로는 보이지 않던 정보를 드러낸다. 더 많은 extractable sequence, 시퀀스당 훨씬 큰 extraction mass, 그리고 모델 크기와 텍스트 유형 전반에 걸쳐 near-verbatim extraction risk가 나타나는 패턴이 그것이다.","link":"https://openreview.net/forum?id=yH2QS5ba6l","tag":"Oral"},{"id":"2So4GDtDJ8","en":"Memorization Removal as a Two-Player Game: The Adversarial Work Criterion as a Test for Foundation-Model Defenses","ko":"기억 제거를 2인 게임으로 보기: 적대적 작업 기준을 foundation model 방어의 시험으로 사용하기","authors":"Fryderyk Kuzma","abs":"Recent work on memorization in diffusion
models—Finding NeMo (Hintersdorf et al., 2024)
and its follow-up Finding Dori (Kowalczuk et al.,
2025)—presents a striking empirical pattern: a
defense that suppresses memorized generation
under the original training prompt can be defeated by adversarial embeddings, even though
the defense “works” on every standard benchmark. We argue that this is not a contingent failure of NeMo or any specific localization method,
but a structural consequence of evaluating memorization defenses against fixed prompts rather
than against an adversary. We propose that the
field adopt an Adversarial Work Criterion (AWC)
that quantifies the computational work required
to elicit memorized content from a frozen defended model, and that a defense be called effective only when this work scales exponentially in
the resources of a bounded adversary. The AWC
complements differential privacy (informationtheoretic, distribution-level) and membershipinference benchmarks (single-adversary, singlebudget) by providing a per-model, per-datum,
computational lower bound. We give a toy energylandscape calculation showing that the AWC formally classifies NeMo-style local patches alongside generic gradient obfuscation—both scoring
near zero—while reserving polynomial scores for
defenses that genuinely flatten the memorization
basin; this recovers the empirical finding of Finding Dori from the AWC formalism. The position
is normative; we are honest about what is conjectural and what is provable
","absKo":"diffusion model의 memorization에 대한 최근 연구인\nFinding NeMo(Hintersdorf et al., 2024)\n와 그 후속작 Finding Dori(Kowalczuk et al.,\n2025)는 두드러진 실증 패턴을 보여 준다. 즉, 원래 training prompt에서는 memorized generation을 억제하는 defense가 adversarial embedding에 의해 무너질 수 있으며, 그럼에도 해당 defense는 모든 표준 benchmark에서 “작동”하는 것처럼 보인다. 우리는 이것이 NeMo나 특정 localization method의 우발적 실패가 아니라, adversary가 아닌 고정 prompt를 상대로 memorization defense를 평가하는 데서 오는 구조적 결과라고 주장한다. 우리는 이 분야가 frozen defended model에서 memorized content를 이끌어내는 데 필요한 computational work를 정량화하는 Adversarial Work Criterion(AWC)을 채택해야 하며, bounded adversary의 자원에 대해 이 work가 지수적으로 증가할 때에만 defense를 효과적이라고 불러야 한다고 제안한다. AWC는 differential privacy(정보이론적, distribution-level)와 membership inference benchmark(single-adversary, single-budget)를 보완하며, model별, datum별 computational lower bound를 제공한다. 우리는 toy energy-landscape 계산을 통해 AWC가 NeMo 스타일의 local patch를 일반적인 gradient obfuscation과 함께 형식적으로 분류하며, 둘 다 0에 가깝게 점수를 매기는 반면, memorization basin을 실제로 평탄화하는 defense에는 다항식 점수를 부여함을 보인다. 이는 AWC formalism에서 Finding Dori의 실증 결과를 복원한다. 이 입장은 규범적이며, 우리는 무엇이 추측이고 무엇이 증명 가능한지에 대해 솔직하다","link":"https://openreview.net/forum?id=2So4GDtDJ8"},{"id":"1rqKSX6g63","en":"An Explicit Memory-Driven Agentic Framework for Power System Analysis","ko":"전력 시스템 분석을 위한 명시적 메모리 기반 agentic 프레임워크","authors":"Qinjuan Wang, Yongli Zhu","abs":"In rigorous domains like power system analysis, Foundation Models (FMs) relying on parametric memory or fine-tuning suffer from confident hallucinations, catastrophic forgetting, and privacy risks. To address this, a decoupled, explicit memory-driven agentic framework is proposed that restricts the FM to a pure reasoning engine. By offloading knowledge, state, and skill management to external modules, the architecture facilitates more predictable execution and zero-shot skill reuse without weight updates. Experimental results demonstrate that the proposed approach achieves up to 100\\% global accuracy across varying models, outperforming parametric baselines and maintaining stability in hard tasks.
","absKo":"power system analysis와 같은 엄격한 도메인에서, parametric memory나 fine-tuning에 의존하는 Foundation Models (FMs)는 자신감 있는 hallucination, catastrophic forgetting, privacy risk에 취약하다. 이를 해결하기 위해, FM을 순수한 reasoning engine으로 제한하는 분리형 explicit memory-driven agentic framework를 제안한다. 지식, 상태, 기술 관리를 외부 모듈로 오프로딩함으로써, 이 아키텍처는 weight update 없이도 더 예측 가능한 실행과 zero-shot skill reuse를 가능하게 한다. 실험 결과는 제안한 접근이 다양한 모델에서 최대 100\\%의 global accuracy를 달성하며, parametric baseline을 능가하고 어려운 과제에서도 안정성을 유지함을 보여준다.","link":"https://openreview.net/forum?id=1rqKSX6g63"},{"id":"KC1vYb9W3q","en":"Machine Text Detectors are Membership Inference Attacks","ko":"기계 생성 텍스트 탐지기는 membership inference attack이다","authors":"Ryuto Koike, Liam Dugan, Masahiro Kaneko, Chris Callison-Burch, Naoaki Okazaki","abs":"In this work, we theoretically and empirically demonstrate the transferability, i.e., how well a method originally developed for one task performs on the other, between membership inference attacks (MIAs) and machine-generated text detection. We prove that the asymptotically optimal metric is identical for both tasks, unify existing methods under this metric, and hypothesize that how well a method approximates it shapes its transferability. Our large-scale experiments show a strong rank correlation ($\\rho \\approx 0.7$) in cross-task performance, and notably, a machine text detector achieves the strongest performance among evaluated methods on both tasks. To facilitate cross-task development and fair evaluation, we introduce MINT, a unified evaluation suite implementing 15 recent methods from both tasks.
","absKo":"본 연구에서는 membership inference attack (MIA)과 machine-generated text detection 사이의 transferability, 즉 원래 한 task를 위해 개발된 방법이 다른 task에서 얼마나 잘 동작하는지에 대해 이론적·실증적으로 보여준다. 우리는 점근적으로 최적인 metric이 두 task에서 동일함을 증명하고, 기존 방법들을 이 metric 아래 통합하며, 어떤 정도로 이 metric을 근사하느냐가 transferability를 형성한다는 가설을 세운다. 대규모 실험은 cross-task performance 사이에 강한 rank correlation ($\\rho \\approx 0.7$)을 보였고, 특히 machine text detector가 평가한 방법들 중 두 task 모두에서 가장 강한 성능을 달성했다. cross-task 개발과 공정한 평가를 지원하기 위해, 두 task의 최근 15개 방법을 구현한 통합 evaluation suite인 MINT를 도입한다.","link":"https://openreview.net/forum?id=KC1vYb9W3q"},{"id":"TKFQdSqb6M","en":"Semantic Gravity: When Parametric Memory Overpowers Visual Thermodynamics in Video-LLMs","ko":"Semantic Gravity: video-LLM에서 parametric memory가 visual thermodynamics를 압도할 때","authors":"Vidya Ganesh, Sethuraman T V, Aylmer Britto Rex Harison, Sibi Anitha Ragunathan","abs":"Video Language Models (Video-LLMs) have demonstrated impressive spatiotemporal capabilities, yet it remains unclear if they reason about physical laws or rely on learned priors. We investigate this tension by utilizing the Thermodynamic Arrow of Time as a diagnostic probe for parametric memory. We introduce the Observational Entropy Benchmark (OEB), a dataset of chiral video pairs where high-entropy physical events are presented in both forward and time-reversed order. This setup creates causal friction where visual evidence in reversed sequences directly contradicts a model’s learned thermodynamic priors. To quantify this effect, we propose Semantic Gravity G_js, an information-theoretic metric that measures the dominance of internal linguistic scripts (priors) over visual grounding. Our evaluation of state-of-the-art models reveals significant ``semantic gravity''; models frequently override visual evidence of entropy decrease to maintain standard narrative scripts. These findings suggest that current Video-LLMs function primarily as script-retrievers rather than adaptive models, posing a fundamental limitation for their deployment in safety-critical and scientific domains.
","absKo":"Video Language Models(Video-LLMs)는 인상적인 시공간적 능력을 보여 왔지만, 물리 법칙을 추론하는지 아니면 학습된 prior에 의존하는지는 여전히 분명하지 않다. 우리는 이 긴장을 parametric memory를 진단하기 위한 probe로서 Thermodynamic Arrow of Time을 활용하여 조사한다. 우리는 Observational Entropy Benchmark(OEB)를 소개하는데, 이는 높은 엔트로피의 물리적 사건을 forward와 time-reversed order 모두로 제시하는 chiral video pair 데이터셋이다. 이 설정은 역방향 시퀀스의 시각적 evidence가 모델이 학습한 thermodynamic prior와 직접 충돌하는 causal friction을 만든다. 이 효과를 정량화하기 위해, 우리는 Semantic Gravity G_js를 제안한다. 이는 internal linguistic script(prior)가 visual grounding을 얼마나 지배하는지 측정하는 information-theoretic metric이다. 최신 모델에 대한 우리의 평가에서는 의미론적 ``gravity''가 유의미하게 나타났으며, 모델들은 표준 narrative script를 유지하기 위해 entropy 감소를 보여 주는 시각적 evidence를 자주 덮어쓴다. 이러한 결과는 현재의 Video-LLM이 적응적 모델이라기보다 주로 script retriever로 기능하며, safety-critical 및 scientific domain에 배치하는 데 근본적인 한계를 지님을 시사한다.","link":"https://openreview.net/forum?id=TKFQdSqb6M"},{"id":"h4y6IIKNzV","en":"The Source of Competence Shapes Metacognition in Language Models","ko":"역량의 원천이 언어 모델의 metacognition을 형성한다","authors":"Roi Cohen, Gerard de Melo","abs":"Large language models are increasingly expected not only to produce correct answers, but also to reliably estimate when they are likely to be wrong. Existing work largely assumes that metacognitive reliability degrades proportionally with capability: weaker models are expected to be correspondingly less confident or less calibrated. In this work, we challenge this assumption and show that metacognition depends strongly on the source and structure of competence rather than on raw performance alone. We systematically study confidence behavior across multiple capability regimes, including scale reduction, partial memory degradation, reasoning truncation, quantization, and evidence-grounded inference. Across these settings, we observe distinct metacognitive regimes and identify narrow overconfident failure bands in which models retain high confidence despite substantial capability loss. Surprisingly, models with comparable task accuracy often exhibit dramatically different calibration and overconfidence profiles depending on how their competence is obtained. In particular, partial or stale parametric memory induces substantially stronger overconfidence than either complete ignorance or evidence-grounded reasoning. These findings suggest that metacognitive reliability is partially separable from capability and is closely tied to the accessibility and stability of internal knowledge representations. Our results provide a new perspective on hallucination, calibration, and memory reliability in foundation models.
","absKo":"대규모 언어 모델은 이제 정답을 생성하는 것뿐 아니라, 언제 틀릴 가능성이 큰지도 신뢰성 있게 추정해야 한다. 기존 연구는 대체로 metacognitive reliability가 능력에 비례해 저하된다고 가정한다. 즉, 더 약한 모델은 그에 비례해 덜 확신하거나 덜 calibrated되어야 한다는 것이다. 본 연구에서는 이 가정에 도전하며, metacognition이 단순한 원시 성능이 아니라 능력의 출처와 구조에 강하게 의존함을 보인다. 우리는 규모 축소, 부분적 memory degradation, reasoning truncation, quantization, evidence-grounded inference를 포함한 여러 capability regime 전반에서 confidence 행동을 체계적으로 연구한다. 이러한 설정 전반에서 우리는 서로 다른 metacognitive regime을 관찰하고, 상당한 능력 손실에도 높은 confidence를 유지하는 좁은 overconfident failure band를 식별한다. 놀랍게도, 비슷한 task accuracy를 가진 모델들도 능력을 어떤 방식으로 획득했는지에 따라 calibration과 overconfidence profile이 극적으로 달라진다. 특히 부분적이거나 오래된 parametric memory는 완전한 무지나 evidence-grounded reasoning보다 훨씬 강한 overconfidence를 유발한다. 이러한 결과는 metacognitive reliability가 capability와 부분적으로 분리될 수 있으며, 내부 지식 표현의 접근성과 안정성에 밀접하게 연결되어 있음을 시사한다. 우리의 결과는 foundation model에서 hallucination, calibration, memory reliability를 바라보는 새로운 관점을 제공한다.","link":"https://openreview.net/forum?id=h4y6IIKNzV"},{"id":"NG4RPdcNKG","en":"Why Forget-Only Unlearning Needs Memorization","ko":"forget-only unlearning에 memorization이 필요한 이유","authors":"Luka Radić, Vikrant Singhal, Amartya Sanyal","abs":"Machine unlearning asks for a deletion procedure whose output is close to retraining from scratch on the retained data. We study the strict forget-only setting, where the unlearner receives only the trained model $A(S)$ and forget set $U$, with no retained data or auxiliary training state. We show that forget-only unlearning is not uniformly possible: if two datasets yield the same trained model but a common deletion sends their retraining targets far apart, no forget-only unlearner can satisfy Rényi unlearning while preserving nontrivial utility. Conversely, we prove mutual-information lower bounds showing that supporting many deletion requests requires the trained model to memorize enough dataset information to recover the corresponding retraining targets. We instantiate these results on standard learners, including thresholds, medians, SVMs, PCA, sparse regression, and factorized matrix completion. Overall, strict forget-only unlearning can require retaining far more information than ordinary learning: deletion requests may expose information the learner would otherwise discard.
","absKo":"Machine unlearning은 삭제 절차의 output이 유지된 데이터에 대해 scratch부터 retraining한 결과와 가깝기를 요구한다. 우리는 strict forget-only setting을 연구한다. 여기서 unlearner는 학습된 model $A(S)$와 forget set $U$만 받고, 유지 데이터나 보조 training state는 받지 않는다. 우리는 forget-only unlearning이 균일하게 가능하지 않음을 보인다. 두 dataset이 동일한 trained model을 산출하지만 공통 deletion이 그들의 retraining target을 멀리 벌려 놓는다면, 어떤 forget-only unlearner도 의미 있는 utility를 유지하면서 Rényi unlearning을 만족할 수 없다. 반대로, mutual-information lower bound를 증명하여, 많은 deletion request를 지원하려면 trained model이 해당 retraining target을 복원할 만큼 충분한 dataset 정보를 기억해야 함을 보인다. 우리는 이러한 결과를 threshold, median, SVM, PCA, sparse regression, factorized matrix completion 같은 표준 learner에 대해 구체화한다. 전반적으로 strict forget-only unlearning은 ordinary learning보다 훨씬 더 많은 정보를 보존해야 할 수 있다. deletion request는 learner가 원래라면 버렸을 정보를 드러낼 수 있다.","link":"https://openreview.net/forum?id=NG4RPdcNKG"},{"id":"TZkP3oHo8c","en":"Memorization Dynamics of Fill-in-the-Middle Pretraining","ko":"Fill-in-the-Middle 사전학습의 기억화 동역학","authors":"Tobias von Arx, Tanguy Dieudonné","abs":"Fill-in-the-middle (FIM) is a pretraining objective widely used to equip causal language models with infilling ability, yet its effect on verbatim memorization remains underexplored. We study the memorization dynamics of FIM in a controlled setting by pretraining matched Llama 3.2 models with FIM and standard left-to-right (LTR) objectives on a FineWeb-Gutenberg corpus containing repeated Gutenberg excerpts. With prefix-based probes, FIM more often recovers short or partially matching spans, while LTR more often assigns high confidence to long exact continuations. We observe that verbatim extraction under FIM-training grows approximately linearly with repetitions over the tested range. Evaluating native FIM-format probes reveals that suffix context is not sufficient: verbatim recall under FIM-training remains strongly anchored in prefix context. Our results also show that evaluating only one span length or probing format can miss important nuances in memorization behavior.
","absKo":"Fill-in-the-middle(FIM)은 causal language models에 infilling 능력을 부여하기 위해 널리 사용되는 pretraining objective이지만, verbatim memorization에 미치는 영향은 아직 충분히 탐구되지 않았다. 우리는 repeated Gutenberg excerpts를 포함하는 FineWeb-Gutenberg corpus에서 FIM과 standard left-to-right(LTR) objective로 맞춰진 Llama 3.2 모델들을 pretraining하는 통제된 설정에서 FIM의 memorization dynamics를 연구한다. prefix-based probe를 사용하면, FIM은 짧거나 부분적으로 일치하는 span을 더 자주 복원하는 반면, LTR은 긴 exact continuation에 더 높은 confidence를 부여하는 경우가 더 많다. 우리는 FIM-training 하에서의 verbatim extraction이 tested range 내에서 repetition에 따라 대략 선형적으로 증가함을 관찰한다. native FIM-format probe를 평가해 보면 suffix context만으로는 충분하지 않으며, FIM-training 하에서의 verbatim recall은 여전히 prefix context에 강하게 anchoring되어 있음을 알 수 있다. 우리의 결과는 또한 하나의 span length나 probing format만 평가하면 memorization behavior의 중요한 미묘한 차이를 놓칠 수 있음을 보여준다.","link":"https://openreview.net/forum?id=TZkP3oHo8c"},{"id":"xq9yZki2uy","en":"Estimating Model-Level Membership Inference Vulnerability Without Reference Models","ko":"Reference Model 없이 모델 수준 Membership Inference 취약성 추정","authors":"Euodia Dodd, Nataša Krčo, Igor Shilov, Matthew Robert Wicker, Yves-Alexandre de Montjoye","abs":"Membership inference attacks (MIAs) are the standard tool for evaluating the privacy risks of AI models, but state-of-the-art attacks require training tens to hundreds of expensive reference models. We present a framework for estimating model-level vulnerability to the Likelihood Ratio Attack (LiRA) directly from the train and test loss distributions of the target model, with no reference models required. We show that LiRA's per-sample signal decomposes into a variance-ratio term and a residual mean-shift term, placing models on a continuum of uncertainty collapse that is directly observable from loss distribution shape. At the heavy-tailed end (image classifiers), the LOSS attack TNR predicts LiRA TPR@FPR$=10^{-3}$ with RMSE 0.03 across 9 architectures and 4 datasets, outperforming low-cost reference-model attacks such as RMIA. At the symmetric end (LLMs), the LOSS attack AUC predicts LiRA TPR with RMSE 0.01 across five GPT-2 sizes from 10M to 1B parameters.
","absKo":"Membership inference attack (MIA)은 AI model의 privacy risk를 평가하는 표준 도구이지만, 최첨단 attack은 수십 개에서 수백 개의 비용이 큰 reference model을 학습해야 한다. 우리는 reference model 없이도 target model의 train 및 test loss distribution만으로 Likelihood Ratio Attack (LiRA)에 대한 model-level vulnerability를 추정하는 프레임워크를 제시한다. 우리는 LiRA의 per-sample signal이 variance-ratio term과 residual mean-shift term으로 분해됨을 보이며, 이를 통해 model을 loss distribution shape에서 직접 관찰 가능한 uncertainty collapse의 연속선 위에 놓는다. heavy-tailed한 끝단(image classifier)에서는 LOSS attack TNR이 9개 architecture와 4개 dataset 전반에서 LiRA TPR@FPR$=10^{-3}$를 RMSE 0.03으로 예측하며, RMIA와 같은 저비용 reference-model attack보다 우수하다. 대칭적인 끝단(LLM)에서는 LOSS attack AUC가 10M에서 1B parameter에 이르는 다섯 개 GPT-2 크기 전반에서 LiRA TPR을 RMSE 0.01로 예측한다.","link":"https://openreview.net/forum?id=xq9yZki2uy"},{"id":"N835H9OajI","en":"Scale Dependent Data Duplication","ko":"Scale에 따른 데이터 중복","authors":"Joshua Kazdan, Noam Itzhak Levi, Rylan Schaeffer, Jessica Chudnovsky, Abhay Puri, Bo He, Mehmet Donmez, Sanmi Koyejo, David L. Donoho","abs":"Abstract: Data duplication during pretraining can degrade generalization and lead to memorization, motivating aggressive deduplication pipelines. However, at web scale, it is unclear what constitutes a "duplicate": beyond surface-form matches, semantically equivalent documents (e.g. translations) may induce redundant training signals once models become sufficiently capable. Practically, this means that semantic duplicates operate increasingly like exact duplicates during training. We present evidence that duplication is scale-dependent in two ways. First, as model capability increases, cross-entropy loss gradients for semantically equivalent documents become more aligned. Smaller models, by contrast, produce gradients that reflect surface similarity (e.g., shared tokens) rather than semantic similarity. Second, we embedded all 192 million FineWeb-Edu-Dedup documents using EmbeddingGemma-300m. For moderate corpus sizes, the cosine similarity between nearest-neighbors follows an isotropic power law baseline. However, as corpus size grows to hundreds of billions of tokens, the nearest-neighbor similarities deviate sharply, indicating accelerated semantic collisions. Finally, controlled pretraining on data sampled with replacement from pools of finite unique documents shows that limited uniqueness yields mild degradation for small models, but rapidly increasing loss penalties for larger models, breaking naive scaling extrapolation. We derive explicit scaling laws that allow practitioners to estimate deviation from expected scaling due to limited semantic uniqueness of the pretraining corpus. Our results identify and resolve an unstudied source of scale-dependence, allowing for more accurate prediction at scale.
","absKo":"Abstract: pretraining 동안의 data duplication은 generalization을 저해하고 memorization을 유발할 수 있어, 공격적인 deduplication pipeline을 동기부여한다. 그러나 web scale에서는 무엇이 \"duplicate\"인지가 불분명하다. 표면적 형식 일치뿐 아니라 의미적으로 동등한 문서(예: 번역)도 model이 충분히 유능해지면 중복된 training signal을 유발할 수 있다. 실제로 이는 semantic duplicate가 training 동안 점점 exact duplicate처럼 작동한다는 뜻이다. 우리는 duplication이 두 가지 면에서 scale-dependent하다는 증거를 제시한다. 첫째, model capability가 증가할수록 semantic equivalent document에 대한 cross-entropy loss gradient가 더 잘 정렬된다. 반면 작은 model은 semantic similarity보다는 표면 유사성(예: 공유 token)을 반영하는 gradient를 생성한다. 둘째, 우리는 EmbeddingGemma-300m을 사용해 FineWeb-Edu-Dedup 문서 1억 9200만 개 전체를 embedding했다. 중간 규모 corpus에서는 nearest-neighbor 간 cosine similarity가 isotropic power law baseline을 따른다. 그러나 corpus 규모가 수천억 token으로 커지면 nearest-neighbor similarity가 급격히 벗어나며, 가속된 semantic collision을 시사한다. 마지막으로, 유한한 unique document pool에서 replacement를 허용해 샘플링한 데이터로 controlled pretraining을 수행한 결과, uniqueness 제한은 작은 model에서는 경미한 degradation만 유발하지만 더 큰 model에서는 loss penalty가 빠르게 증가해 naive scaling extrapolation이 깨진다. 우리는 pretraining corpus의 제한된 semantic uniqueness로 인한 기대 scaling으로부터의 deviation을 실무자가 추정할 수 있도록 하는 명시적 scaling law를 유도한다. 우리의 결과는 아직 연구되지 않은 scale-dependence의 원인을 식별하고 해소하여 scale에서 더 정확한 예측을 가능하게 한다.","link":"https://openreview.net/forum?id=N835H9OajI"},{"id":"UELnN26zPQ","en":"Break the Output Geometry for Large Language Model Unlearning","ko":"Large Language Model Unlearning을 위한 출력 기하 깨기","authors":"Yejin Kim, William F. Shen, Seokwon Jung, Seong Joon Oh","abs":"Current machine unlearning methods for large language models (LLMs) struggle with a persistent trade-off between forgetting effectiveness and overall model utility. We attribute this trade-off to two empirical observations: (i) layer-wise logit accumulation toward a target token is driven more by the output token itself than by the input query, and (ii) hidden states that produce the same token vary only along directions orthogonal to the unembedding row $u_k$, creating what we term the same-output plane. Because a forget input shares its logit pathway with all retained contexts generating the same token, simply suppressing the forget logit inevitably compromises performance on those contexts. To overcome this, we propose **Break the Output Geometry (BOG)**. This approach preserves the same-output plane and specifically displaces the forget input away from it along the single direction $u_k$, using a margin derived from the model’s cross-target statistics. Empirically, BOG demonstrates a superior forget–retain trade-off on the TOFU benchmark.
","absKo":"대형 언어 모델(LLM)에 대한 현재의 machine unlearning 방법은 망각 효과와 전체 모델 유용성 사이의 지속적인 trade-off에 부딪힌다. 우리는 이 trade-off를 두 가지 경험적 관찰로 설명한다. (i) 특정 target token으로 향하는 layer-wise logit 누적은 입력 query보다 출력 token 자체에 의해 더 크게 좌우되고, (ii) 같은 token을 생성하는 hidden state는 unembedding row $u_k$에 직교하는 방향으로만 달라져, 우리가 same-output plane이라 부르는 구조를 형성한다. 잊어야 할 input은 같은 token을 생성하는 모든 retained context와 logit 경로를 공유하므로, forget logit만 단순히 억제하면 그러한 context에서의 성능이 불가피하게 저하된다. 이를 극복하기 위해 우리는 **Break the Output Geometry (BOG)**를 제안한다. 이 방법은 same-output plane을 보존하면서, 모델의 cross-target 통계에서 도출한 margin을 사용해 forget input을 단일 방향 $u_k$를 따라 그 평면에서 벗어나게 이동시킨다. 경험적으로 BOG는 TOFU benchmark에서 더 우수한 forget-retain trade-off를 보인다.","link":"https://openreview.net/forum?id=UELnN26zPQ"},{"id":"xWcBpqJofG","en":"Internal Data Repetition Destroys Language Models","ko":"내부 데이터 반복은 Language Model을 파괴한다","authors":"Jessica Chudnovsky, Joshua Kazdan, Noam Itzhak Levi, Rylan Schaeffer, Yegor Denisov-Blanch, Sanmi Koyejo, David L. Donoho","abs":"Abstract: Language models are running out of high-quality training data, and even aggressively deduplicated corpora retain some amount of repetition. Earlier controlled studies predated Chinchilla-style scaling laws and could only measure the cost of repetition indirectly. We revisit repetition in the Chinchilla-style scaling regime, using a fitted no-repetition scaling law to report Compute-Equivalent Gain and Compute-Equivalent Loss. We show that repetition damage in this modernized regime is systematic in three ways. First, eval loss is worst at an intermediate repeat count $R$, so repeating a moderately sized subset many times hurts more than either repeating a large subset a few times or a small subset many times. Second, the location of this peak is well fit by a power law in model size. Finally, when repeated documents make up 10% of training tokens in a controlled exact-document repetition setting, the compute-equivalent loss can be large: on FineWeb-Edu-Dedup, the most damaging repeat count for a Qwen3-style 344M-parameter model at $OT=1$ matches the loss of a no-repetition run using about 67% of the FLOPs, under our fitted no-repetition scaling law. A misspecified linear regression with verbatim duplicates reproduces the same qualitative non-monotonicity in closed form, suggesting that such peaks can arise from a statistical tradeoff between memorization and generalization. Our findings give practitioners a way to predict which settings waste the most compute before they spend any of it.
","absKo":"초록: 언어 모델은 고품질 training data를 점점 소진하고 있으며, 공격적으로 deduplication된 corpus조차 일정량의 repetition을 여전히 포함한다. 이전의 통제된 연구들은 Chinchilla-style scaling law가 등장하기 이전에 수행되어 repetition의 비용을 간접적으로만 측정할 수 있었다. 우리는 repetition을 Chinchilla-style scaling regime에서 다시 살펴보며, fitting된 no-repetition scaling law를 사용해 Compute-Equivalent Gain과 Compute-Equivalent Loss를 보고한다. 우리는 이 현대화된 regime에서 repetition의 손상이 세 가지 방식으로 체계적임을 보인다. 첫째, eval loss는 중간 정도의 repeat count $R$에서 가장 나쁘므로, 적당한 크기의 subset을 여러 번 반복하는 것이 큰 subset을 몇 번 반복하거나 작은 subset을 여러 번 반복하는 것보다 더 해롭다. 둘째, 이 peak의 위치는 model size에 대한 power law로 잘 맞는다. 마지막으로, 통제된 exact-document repetition 설정에서 repeated document가 training token의 10%를 차지할 때 compute-equivalent loss는 매우 클 수 있다. FineWeb-Edu-Dedup에서 344M-parameter Qwen3-style model이 $OT=1$일 때 가장 해로운 repeat count는, 우리가 fitting한 no-repetition scaling law 하에서 대략 67%의 FLOPs를 쓰는 no-repetition run과 같은 loss를 보인다. 문장 그대로의 중복을 포함한 misspecified linear regression도 closed form에서 같은 질적 non-monotonicity를 재현하므로, 이러한 peak는 memorization과 generalization 사이의 통계적 tradeoff에서 비롯될 수 있음을 시사한다. 우리의 결과는 실무자들이 compute를 쓰기 전에 어떤 설정이 compute를 가장 많이 낭비하는지 예측할 수 있게 해준다.","link":"https://openreview.net/forum?id=xWcBpqJofG"},{"id":"lMz94LnBxn","en":"NumLeak: Public Numeric Benchmarks as Latent Label in Foundation Models","ko":"NumLeak: foundation model의 잠재 label로서의 공개 수치 benchmark","authors":"Anany Kotawala","abs":"Public numeric benchmarks appear in pretraining, so an evaluation that conditions on a date may be measuring memorized recall rather than out-of-sample skill. We introduce NumLeak, a measurement framework that combines API-boundary probes on production models with a white-box controlled validation on an open causal LM. Top-tier frontier LLMs recall the Fama-French market excess return at 3-seed pooled Pearson r = 0.97-0.99 while staying within 0.15 within-25bps on the five sibling factors; comparable fidelity appears on U.S. unemployment, CPI inflation, and NOAA temperature. On a recent-release holdout, parse rate collapses to 21-57% but r stays ≈0.99 on months answered, the refuse-or-recall asymmetry a memorized channel predicts. The white-box experiment reproduces the dose-response, and logprob ranking detects memorization that open-ended generation misses, implying closed-API black-box probes understate the channel. A Sonnet "date → market-sentiment" regression that correlates with true Mkt-RF at r = 0.74 collapses to r = 0.02 once the model's own recall is residualized out. A one-line system-prompt defense blocks 99.8% of a non-adaptive single-turn suffix attack set at near-zero utility cost on conceptual and historical-narrative queries.
","absKo":"공개 numeric benchmark는 pretraining에 포함되기 때문에, 날짜에 조건을 건 evaluation은 out-of-sample skill이 아니라 암기된 회상을 측정하고 있을 수 있다. 우리는 production model에 대한 API-boundary probe와 open causal LM에 대한 white-box controlled validation을 결합한 측정 프레임워크 NumLeak을 소개한다. 최상위 frontier LLM들은 Fama-French market excess return을 3-seed pooled Pearson r = 0.97-0.99로 회상하는 동시에, 다섯 sibling factor에서는 0.15 within-25bps 이내를 유지했다. 유사한 정밀도는 U.S. unemployment, CPI inflation, NOAA temperature에서도 관찰된다. 최근 출시된 holdout에서는 parse rate가 21-57%까지 붕괴하지만, 답한 월들에 대해서는 r이 약 0.99로 유지되며, 이는 거부-혹은-회상(asymmetry) 패턴이 암기된 채널이 예측하는 바와 일치한다. white-box 실험은 이 dose-response를 재현하며, logprob ranking은 open-ended generation이 놓치는 memorization을 탐지한다. 이는 closed-API black-box probe가 해당 채널을 과소평가함을 시사한다. 진짜 Mkt-RF와 r = 0.74의 상관을 보이는 Sonnet의 \"date → market-sentiment\" regression은, 모델 자신의 recall을 residualize하자 r = 0.02로 무너진다. 한 줄짜리 system-prompt 방어는 conceptual 및 historical-narrative query에서 거의 zero utility cost로 비적응형 single-turn suffix attack set의 99.8%를 차단한다.","link":"https://openreview.net/forum?id=lMz94LnBxn"},{"id":"QENUpbNXzF","en":"Watermarking for Proprietary Dataset Protection","ko":"독점 데이터셋 보호를 위한 watermarking","authors":"John Kirchenbauer, Brian R. Bartoldson, Bhavya Kailkhura, Tom Goldstein","abs":"A growing body of literature suggests that training data membership inference problems are fundamentally hard tasks in modern language modeling settings. We argue that output watermarking techniques are the right gadget to make training membership tests for generative models more tractable based on prior results showing that language models exhibit residual watermark "radioactivity" under partially watermarked training datasets. We pit this watermark-based dataset inference approach head-to-head against traditional loss-based membership inference methods and show that watermarking can achieve comparable membership detection performance under an alternate set of assumptions.
","absKo":"점점 늘어나는 문헌은 training data membership inference problem이 현대 language modeling 설정에서 본질적으로 어려운 과제임을 시사한다. 우리는 출력 watermarking 기법이, language model이 부분적으로 watermark된 training dataset 하에서 residual watermark \"radioactivity\"를 보인다는 선행 결과를 바탕으로, generative model의 training membership test를 더 다루기 쉽게 만드는 적절한 도구라고 주장한다. 우리는 이 watermark 기반 dataset inference 접근을 전통적인 loss 기반 membership inference 방법과 직접 비교하고, 다른 가정 집합 하에서 watermarking이 유사한 membership detection 성능을 달성할 수 있음을 보인다.","link":"https://openreview.net/forum?id=QENUpbNXzF"},{"id":"Y1R5J5ylLA","en":"On the Learning Dynamics of Label-Noise Memorization in ReLU MLPs","ko":"ReLU MLP에서 라벨 노이즈 암기의 학습 동역학에 관하여","authors":"Yannis Kaltampanidis, Mykola Pechenizkiy, Hannah Pinson","abs":"Understanding the mechanisms of memorization
in neural networks remains an open and challeng-
ing problem. In this work, we study label-noise
memorization in two-layer ReLU MLPs through
the learning dynamics of the first-layer weights1.
Our analysis suggests that label noise initially
attenuates first-layer magnitude evolution while
largely preserving weight directions, before in-
ducing competing magnitude and directional dy-
namics between clean and noisy samples. Experi-
ments on MNIST further suggest that these com-
peting dynamics can reach a dynamical equilib-
rium prior to memorization, indicating that memo-
rization can emerge without significant distortion
of the first-layer weights.
","absKo":"신경망에서의 기억화 메커니즘을 이해하는 일은 여전히 해결되지 않은 어렵고 도전적인 문제이다. 본 연구에서는 첫 번째 층 가중치의 학습 동역학을 통해 두 층 ReLU MLP에서의 label-noise memorization을 연구한다1.\n\n우리의 분석은 label noise가 먼저 첫 번째 층의 크기 변화(magnitude evolution)를 약화시키는 동시에 가중치 방향은 대체로 보존하다가, 이후 clean sample과 noisy sample 사이에 크기 및 방향적 동역학이 경쟁적으로 작용하게 만든다는 점을 시사한다. MNIST에서의 실험은 이러한 경쟁 동역학이 memorization 이전에 동적 평형에 도달할 수 있음을 추가로 시사하며, 이는 첫 번째 층 가중치의 유의미한 왜곡 없이도 memorization이 출현할 수 있음을 의미한다.","link":"https://openreview.net/forum?id=Y1R5J5ylLA"},{"id":"BoGO5fsgoN","en":"SYMBOLICDRIFT: Measuring Reasoning Drift on Unverifiable Questions","ko":"검증 불가능한 질문에서의 추론 드리프트 측정","authors":"Weijie Xu, Xi Fang, Yingqiang Ge, Yuhui Xu, Scott Nickleach, Stephanie Eckman, Chandan K. Reddy","abs":"Large Language Models are increasingly being deployed with persistent user memory, where preferences, traits, and prior context are surfaced into the prompt to personalize responses. Since open-domain questions have no ground-truth answer, reliability must be assessed through the stability of reasoning under semantically irrelevant context variation. The authors introduce SYMBOLICDRIFT, a reference-free framework that maps reasoning traces into a value ontology and quantifies trajectory divergence using Dynamic Time Warping and a Sequence Recurrence Index. They first validate SYMBOLICDRIFT as a sensitive and specific instrument, showing it can discriminate content-free perturbations from genuine semantic shifts with high cross-model convergent validity. They then demonstrate that even a single line of user-attribute context, completely irrelevant to the question being asked, produces measurable drift across four frontier LLMs and 13 categories of user attributes. Injected memory consistently elevates drift 20 to 80 percent above each model's noise floor, revealing that user memory, a feature increasingly central to LLM deployment, induces systematic shifts in reasoning that conventional accuracy metrics entirely miss.
","absKo":"대규모 언어 모델은 점점 더 지속적인 user memory와 함께 배포되고 있으며, 여기서 선호도, 특성, 과거 맥락이 prompt에 반영되어 응답을 개인화한다. open-domain 질문에는 ground-truth 정답이 없으므로, 신뢰성은 의미적으로 무관한 context 변화에 대해 추론이 얼마나 안정적인지로 평가해야 한다. 저자들은 추론 궤적을 value ontology에 매핑하고, Dynamic Time Warping과 Sequence Recurrence Index를 사용해 trajectory divergence를 정량화하는 reference-free 프레임워크 SYMBOLICDRIFT를 제안한다. 먼저 SYMBOLICDRIFT가 민감하고 특이적인 도구임을 검증하여, 내용이 없는 perturbation과 진정한 semantic shift를 높은 cross-model convergent validity로 구분할 수 있음을 보인다. 이어서 질문과 완전히 무관한 사용자 속성 context 한 줄만 주어져도, 네 개의 frontier LLM과 13개 사용자 속성 범주 전반에서 측정 가능한 drift가 발생함을 보여준다. 주입된 memory는 일관되게 각 모델의 noise floor보다 20~80% 높은 drift를 유발하며, LLM 배포의 핵심 기능으로 점점 더 중요해지는 user memory가 기존 accuracy metric이 전혀 포착하지 못하는 체계적인 추론 변화를 일으킨다는 사실을 드러낸다.","link":"https://openreview.net/forum?id=BoGO5fsgoN"},{"id":"6WYjBeIioq","en":"Suppression is not Deletion: Adversarial Probes Recover Unlearned Knowledge in Code LLMs","ko":"억제는 삭제가 아니다: 적대적 probe로 Code LLMs의 잊힌 지식을 복원하기","authors":"Dhairyasheel Patil, Gustavo Sandoval","abs":"Code language models memorize library-API patterns from pretraining, and unlearning recipes are used to remove these patterns when libraries deprecate features. We do not yet know whether the recipes delete the underlying knowledge or only block its emission under direct prompting; the question has not been tested systematically for code LLMs. We introduce \\textbf{CodeUnlearn-Bench}, a six-axis adversarial suite that runs from direct prompting up to per-layer probing, and apply it to four standard recipes on quantized 7B-class code LLMs: SFT, gradient ascent with retain regularization, ReLearn, and a Fisher-weighted task-vector variant. Linear probes recover deprecated-vs-current discrimination at every unlearning checkpoint, on par with the base model. The signal is recoverable behaviorally too: a small recovery fine-tune brings deprecated emission back, and the rebound replicates across two model families and two libraries. The recipes we tested suppress emission without erasing the underlying representation, so reporting only direct-prompt emission overstates how much knowledge has been removed.
","absKo":"Code language model은 pretraining에서 library API 패턴을 암기하며, library가 feature를 deprecated할 때 이러한 패턴을 제거하기 위해 unlearning recipe가 사용된다. 하지만 이 recipe가 실제로 underlying knowledge를 삭제하는지, 아니면 direct prompting 하에서의 emission만 차단하는지는 아직 알려져 있지 않으며, code LLM에 대해 이를 체계적으로 시험한 적도 없다. 우리는 \\textbf{CodeUnlearn-Bench}를 제안하는데, 이는 direct prompting부터 per-layer probing까지 이어지는 6축 adversarial suite이며, 이를 quantized 7B급 code LLM 4개 표준 recipe(SFT, retain regularization을 사용한 gradient ascent, ReLearn, Fisher-weighted task-vector 변형)에 적용한다. Linear probe는 모든 unlearning checkpoint에서 deprecated-vs-current 구분을 base model과 동등한 수준으로 복원해 낸다. 신호는 행동적으로도 복원된다. 작은 recovery fine-tune만으로 deprecated emission이 다시 나타나며, 이 rebound는 두 model family와 두 library 전반에서 재현된다. 우리가 시험한 recipe들은 underlying representation을 지우지 못한 채 emission만 억제하므로, direct-prompt emission만 보고 knowledge removal 정도를 말하면 실제보다 과장된다.","link":"https://openreview.net/forum?id=6WYjBeIioq"},{"id":"jd4jcyDKzL","en":"Mitigating Unintended Memory Use in LLMs via Structured Memory","ko":"구조화된 메모리를 통해 LLM의 의도하지 않은 메모리 사용 완화","authors":"Hakeem Hannoon, Andrew Zhao, Mihir Narayan, Sharvin Goyal, Ivaxi Sheth","abs":"Conversational language models increasingly rely on persistent user memories for personalization, creating an inference-time surface for unintended recall of stored user information. While unintended memorization is often studied as training-data extraction, deployed memory systems introduce a parallel privacy risk: models may leak sensitive user details across unrelated contexts or defer sycophantically to remembered preferences. We investigate representation-level mitigations that reorganize the same memory set at inference time into fixed-domain partitions, dynamic-domain partitions, or a two-level memory tree, without changing the model or memory content. On PersistBench across seven frontier models, fixed partitioning reduces cross-domain leakage in six of seven models, while dynamic partitioning improves all seven and lowers leakage by $\\sim8\\%$ on average relative to the flat baseline while preserving desired personalization. These transformations also stack with some prompt-based defenses. Our work positions structured memory as a practical mitigation for unintended memorization in deployed foundation models, complementing prompt defenses.
","absKo":"Conversational language models는 개인화를 위해 점점 더 persistent user memories에 의존하고 있으며, 이는 저장된 사용자 정보가 의도치 않게 회수되는 inference-time surface를 만든다. 의도치 않은 memorization은 종종 training-data extraction으로 연구되지만, 배포된 memory system은 별개의 privacy risk를 도입한다. 즉, 모델이 무관한 context 전반에서 민감한 사용자 정보를 누출하거나, 기억된 preference에 sycophantically하게 굴복할 수 있다. 우리는 모델이나 memory content를 바꾸지 않고, inference time에 같은 memory set을 fixed-domain partition, dynamic-domain partition, 또는 two-level memory tree로 재구성하는 representation-level mitigation을 조사한다. 7개의 frontier model에 대한 PersistBench 평가에서, fixed partitioning은 7개 중 6개 모델에서 cross-domain leakage를 줄였고, dynamic partitioning은 7개 모두를 개선했으며 flat baseline 대비 평균 약 $\\sim8\\%$ leakage를 낮추면서 원하는 personalization은 유지했다. 이러한 transformation은 일부 prompt-based defense와도 함께 적용 가능하다. 우리의 작업은 structured memory를 배포된 foundation model에서의 의도치 않은 memorization을 완화하는 실용적 방안으로 위치시키며, prompt defense를 보완한다.","link":"https://openreview.net/forum?id=jd4jcyDKzL"},{"id":"IkDmEuCNXs","en":"Synthetic Data and the Rise of Spiky Intelligence","ko":"합성 데이터와 뾰족한 지능의 부상","authors":"Abitha Thankaraj, Amro Abbas, Dongyang Fan, Vineeth Dorna, Luke Merrick, David J. Schwab, Anshuman Suri, Aldo Gael Carranza, Alex Fang, Alvin Deng, Brett W. Larsen, Darren Teh, Diego Kiner, Fan Pan, Haakon Mongstad, Haoli Yin, Jack Urbanek, Jason Chan Lee, Jason Telanoff, Josh Wills, Katherine L. Mentzer, Maximilian Böther, Parth Doshi, Paul Burstein, Rishabh Adiga, Siddharth Joshi, Tony Jiang, Vidhi Jain, Zhengping Wang, Yonatan Bisk, Bogdan Gaza, Ari S. Morcos, Matthew L Leavitt, Pratyush Maini","abs":"Synthetic data is increasingly used to train language models, but standard decontamination methods mainly detect duplicated or near-duplicated test examples. They miss a subtler failure mode: \\textit{benchmaxxing}, where training data is synthetic and benchmark-adjacent without containing the test set. We study benchmaxxing under controlled conditions and compare it with direct test-set contamination across model scales. We introduce the \\texttt{Inflation Score}, which measures how much augmentation increases the benchmark--held-out accuracy gap relative to a no-augmentation baseline, using a capability-matched held-out set. We find that benchmark-adjacent synthetic data can inflate benchmark scores as much as direct test-set training. To test transfer, we introduce \\texttt{Factory-GSM}, a GSM8K rewrite that preserves solution structure while changing surface context. Benchmaxxed models degrade substantially on \\texttt{Factory-GSM}, suggesting benchmark-specific shortcuts rather than robust reasoning. Gradient similarity detects this specialization better than embedding-based decontamination, though imperfectly. A real-world audit of $46$ open-weight models shows similar patterns. Overall, reliable evaluation must detect concentrated benchmark-adjacent training signals, not just copied test examples.
","absKo":"Synthetic data는 language model 학습에 점점 더 많이 사용되지만, 표준 decontamination 방법은 주로 중복되었거나 거의 중복된 test example만을 탐지한다. 이들은 더 미묘한 실패 모드인 \\textit{benchmaxxing}, 즉 training data가 synthetic이고 benchmark와 인접하지만 test set 자체를 포함하지는 않는 경우를 놓친다. 우리는 통제된 조건에서 benchmaxxing을 연구하고 이를 model scale 전반의 직접적인 test-set contamination과 비교한다. 우리는 \\texttt{Inflation Score}를 도입하는데, 이는 capability-matched held-out set을 사용해 augmentation이 no-augmentation baseline에 비해 benchmark--held-out accuracy gap을 얼마나 증가시키는지를 측정한다. 우리는 benchmark-adjacent synthetic data가 direct test-set training만큼 benchmark score를 부풀릴 수 있음을 발견했다. 전이(transfer)를 시험하기 위해, solution structure는 보존하면서 표면적 context를 바꾸는 GSM8K rewrite인 \\texttt{Factory-GSM}을 도입한다. Benchmaxxed 모델은 \\texttt{Factory-GSM}에서 크게 성능이 저하되며, 이는 robust reasoning이라기보다 benchmark-specific shortcut을 시사한다. Gradient similarity는 embedding-based decontamination보다 이러한 specialization을 더 잘 탐지하지만, 완벽하지는 않다. $46$개의 open-weight model에 대한 실제 audit에서도 유사한 패턴이 관찰된다. 전체적으로 신뢰할 수 있는 평가는 복사된 test example만이 아니라, 집중된 benchmark-adjacent training signal을 탐지해야 한다.","link":"https://openreview.net/forum?id=IkDmEuCNXs"},{"id":"XmMCXq9bSx","en":"Evidence-bearing Insights under Differential Privacy: Beyond the Limits of Private Text Generation","ko":"차등 프라이버시 하의 증거를 담은 통찰: private text generation의 한계를 넘어","authors":"Tsubasa Takahashi, Takumi Hiraoka","abs":"Differentially private (DP) text generation protects against memorization and leakage, but auditing and reporting require outputs to serve as evidence about a private dataset, not merely fluent private text.
We study \\emph{evidence-bearing insight generation}, where reported statements are backed by privacy-preserving support evidence.
We formalize statement-level support and show that a single free-text DP output is locally limited as evidence: attribution and support estimation are statistically constrained by DP indistinguishability, independently of the language model.
We introduce proposal-and-filter reporting: a data-independent proposer generates candidate statements, and a DP support test emits only those whose noisy lower confidence bound exceeds a threshold.
The mechanism provides DP support certificates, abstentions, per-candidate one-sided honesty bounding unsupported emissions by $\\beta$, and an EmitRate trade-off.
Experiments on realistic reporting tasks show that free-text DP baselines often emit unsupported claims, whereas proposal-and-filter controls UnsupportedEmit and matches the predicted EmitRate interval.
These results suggest grounding trust in explicit DP support certificates rather than text generation alone.
","absKo":"Differentially private(DP) text generation은 memorization과 leakage를 막아주지만, auditing과 reporting에서는 출력이 단지 유창한 private text가 아니라 private dataset에 대한 evidence로 기능해야 한다.\n우리는 보고된 진술이 privacy-preserving support evidence로 뒷받침되는 \\emph{evidence-bearing insight generation}을 연구한다.\n우리는 statement-level support를 정식화하고, 단일 free-text DP output이 evidence로서는 locally limited함을 보인다. attribution과 support estimation은 언어 모델과 무관하게 DP indistinguishability에 의해 통계적으로 제약된다.\n이를 위해 proposal-and-filter reporting을 도입한다. data-independent proposer가 후보 진술을 생성하고, DP support test는 noisy lower confidence bound가 threshold를 넘는 것만 내보낸다.\n이 메커니즘은 DP support certificate, abstention, per-candidate one-sided honesty를 제공하며, unsupported emission을 $\\beta$로 제한하고 EmitRate trade-off를 만든다.\n현실적인 reporting task에서의 실험은 free-text DP baseline이 종종 unsupported claim을 내보내는 반면, proposal-and-filter는 UnsupportedEmit을 제어하고 예측된 EmitRate 구간과 일치함을 보여준다.\n이 결과는 text generation만이 아니라 명시적인 DP support certificate에 신뢰를 기반해야 함을 시사한다.","link":"https://openreview.net/forum?id=XmMCXq9bSx"},{"id":"fwXZNHoJYQ","en":"The Distillation Game: Adaptive Attacks & Efficient Defenses","ko":"Distillation Game: 적응형 공격과 효율적 방어","authors":"Youssef Allouah, Mahdi Haghifam, Sanmi Koyejo, Reza Shokri","abs":"Distillation attacks create a deployment trade-off for model providers: the same outputs that make a model more useful can also make it easier to imitate. We study this trade-off through a minimax game between a utility-constrained teacher and an adaptive student. Our framework yields tractable one-sided response rules: an adaptive evaluation rule in which the student reweights high-value examples, and a teacher-side defense template that suppresses outputs most useful for distillation. From a cheap proxy for example value, we derive Product-of-Experts (PoE), a simple forward-pass-only defense that combines the teacher with a proxy student during generation. Empirically, adaptive evaluation reveals a large passive-adaptive gap: on state-of-the-art defenses, adaptive students recover substantially more capability than passive evaluation suggests on GSM8K and MATH. Under this stronger evaluation, the apparent robustness gap between expensive defenses and PoE narrows considerably, while PoE remains substantially cheaper and preserves higher-quality reasoning traces. Overall, our results suggest that strong distillation remains difficult to stop, and that progress on antidistillation should be judged against adaptive students rather than passive ones.
","absKo":"Distillation attack은 model provider에게 deployment trade-off를 만든다. model을 더 유용하게 만드는 같은 output이 동시에 model을 모방하기 쉽게 만들 수 있기 때문이다. 우리는 utility-constrained teacher와 adaptive student 사이의 minimax game으로 이 trade-off를 연구한다. 우리의 framework는 다루기 쉬운 one-sided response rule을 이끈다. 즉, student가 high-value example에 더 큰 가중치를 두는 adaptive evaluation rule과, distillation에 가장 유용한 output을 억제하는 teacher-side defense template이다. 예제 가치의 저렴한 proxy로부터, 우리는 Product-of-Experts(PoE)를 도출한다. PoE는 generation 동안 teacher와 proxy student를 결합하는 단순한 forward-pass-only defense이다. 실험적으로, adaptive evaluation은 큰 passive-adaptive gap을 드러낸다. state-of-the-art defense에서 adaptive student는 passive evaluation이 시사하는 것보다 GSM8K와 MATH에서 훨씬 더 많은 capability를 회복한다. 이 더 강한 evaluation 아래에서, 비싼 defense와 PoE 사이의 겉보기 robustness gap은 상당히 줄어드는 반면, PoE는 여전히 훨씬 저렴하고 더 높은 품질의 reasoning trace를 보존한다. 전체적으로, 우리의 결과는 강한 distillation을 막는 일이 여전히 어렵고, antidistillation의 진전은 passive student가 아니라 adaptive student를 기준으로 평가되어야 함을 시사한다.","link":"https://openreview.net/forum?id=fwXZNHoJYQ"},{"id":"7dQauUMzJ1","en":"On Optimization Complexity of Second-Order Certified Unlearning","ko":"2차 검증된 unlearning의 최적화 복잡도에 대하여","authors":"Nikita Doikov, Anastasia Koloskova","abs":"We study machine unlearning: the removal of
memorized training data from a trained model.
Specifically, we investigate the algorithmic complexity
of certified unlearning from an optimization
perspective. We formalize the goal of an
unlearning algorithm as simultaneously achieving
certified unlearning and optimization accuracy.
Utilizing the notion of uniformly convex regularizers,
we prove new bounds on the distance between
initial and unlearned models using a novel
substitute for generalization error. Thus we theoretically
demonstrate that if the removed data is
well-predicted by the unlearned model, the corresponding
optimization problem is simple. Furthermore,
we develop a new second-order unlearning
algorithm with an anisotropic Gaussian mechanism
and state-of-the-art global convergence. We
prove fast rates for our method in achieving certified
unlearning for linear models with quasi-selfconcordant
losses. As a direct application, our
theory covers unlearning for logistic and exponential
regressions and shows a provable benefit of
utilizing second-order information compared to
first-order unlearning methods.
","absKo":"우리는 machine unlearning, 즉 훈련된 모델에서\n기억된 training data를 제거하는 문제를 연구한다.\n구체적으로, 최적화 관점에서 certified unlearning의\n알고리즘적 복잡성을 조사한다. 우리는 unlearning\nalgorithm의 목표를 certified unlearning과 최적화\n정확도를 동시에 달성하는 것으로 formalize한다.\n균일 볼록 regularizer(uniformly convex regularizer)의 개념을\n활용하여, 일반화 오차(generalization error)의 새로운\n대체물을 사용해 초기 모델과 unlearned model 사이의\n거리 상한에 대한 새로운 bound를 증명한다. 이를 통해 우리는\n제거된 데이터가 unlearned model에 의해 잘 예측된다면,\n해당 최적화 문제는 간단하다는 점을 이론적으로 보인다.\n더 나아가, 우리는 anisotropic Gaussian mechanism과\n최첨단 global convergence를 갖는 새로운 second-order\nunlearning algorithm을 개발한다. 우리는 quasi-selfconcordant\nloss를 갖는 linear model에 대해 certified unlearning을\n달성하는 데 있어 우리의 방법이 빠른 rate를 보임을 증명한다.\n직접적인 응용으로, 우리의 이론은 logistic regression과 exponential\nregression에 대한 unlearning을 포괄하며, first-order unlearning\nmethod와 비교했을 때 second-order information을 활용하는\n것의 증명 가능한 이점을 보여준다.","link":"https://openreview.net/forum?id=7dQauUMzJ1"},{"id":"IFnzabrAbl","en":"Prune to Protect: Faster Training and Enhanced Privacy by Dynamic Data Pruning","ko":"Prune to Protect: 동적 데이터 pruning으로 더 빠른 학습과 향상된 프라이버시","authors":"Chinmay Joshi, Advait Gadhikar, Celia Rubio-Madrigal, Aneet Kumar Dutta, Mridula Singh, Rebekka Burkholz","abs":"Deep networks memorize parts of their training data, exposing them to privacy attacks such as membership inference. The most vulnerable samples are often hard-to-learn tail examples: they are fitted late, carry high information for generalization, and are difficult to protect without sacrificing performance. We show that this privacy–utility tension can be mitigated by learning such samples earlier. To this end, we propose Weighted Loss InfoBatch (WLIB), which dynamically prunes easy samples while re-weighting hard ones according to sample-wise pruning ratios. By adjusting the influence of informative samples throughout training, WLIB jointly reduces memorization, improves robustness to membership inference attacks, and speeds up optimization. Extensive experiments demonstrate that WLIB achieves a favorable combination of privacy, utility, and training efficiency.
","absKo":"Deep network는 훈련 데이터의 일부를 memorization하며, membership inference와 같은 privacy attack에 노출된다. 가장 취약한 sample은 종종 학습하기 어려운 tail example로, 나중에 fit되고 generalization에 높은 정보를 담으며, 성능을 희생하지 않고는 보호하기 어렵다. 우리는 이러한 sample을 더 일찍 학습함으로써 privacy-utility tension을 완화할 수 있음을 보인다. 이를 위해 sample-wise pruning ratio에 따라 hard sample을 재가중하면서 easy sample을 동적으로 pruning하는 Weighted Loss InfoBatch (WLIB)를 제안한다. 훈련 전반에 걸쳐 informative sample의 영향력을 조정함으로써, WLIB는 memorization을 줄이고 membership inference attack에 대한 robustness를 향상시키며, optimization 속도를 높인다. 광범위한 실험은 WLIB가 privacy, utility, training efficiency의 유리한 조합을 달성함을 보여준다.","link":"https://openreview.net/forum?id=IFnzabrAbl"},{"id":"EjoLcsnlHD","en":"\\textsc{ContinuousBench}: Can Differentially Private Synthetic Text Improve Capabilities?","ko":"\\textsc{ContinuousBench}: 차등 프라이버시 합성 텍스트가 성능 향상에 도움이 되는가?","authors":"Peihan Liu, Lucas Rosenblatt, Weiwei Kong, Natalia Ponomareva, Gautam Kamath, Rachel Cummings, Roxana Geambasu, Yu Gan, Lillian Tsai, Alex Bie","abs":"Differentially private (DP) text synthesis promises to unlock sensitive corpora for model training, but it remains unclear whether DP synthetic data transmits genuinely new *knowledge and capabilities* present *only* in those corpora. This is because existing evaluations rely on tasks that are nearly solvable without training, so strong benchmark performance does not establish that DP synthesis can substitute original data access. Thus, we introduce ContinuousBench, a continuously and automatically-regenerated benchmark that measures *capability gain* from DP synthetic text. Each quarter, a new release pairs a never-before-seen training corpus with a derived QA set, constructed to be: (1) unsolvable sans-corpus; and (2) learnable under DP, as the tested knowledge is supported by hundreds of independent records. Researchers produce DP synthetic data from the training corpus and run our standardized training and evaluation harness on their synthetic data to measure gains. Although standard benchmarks are nearly saturated, on ContinuousBench we find that non-private synthesis transfers substantial knowledge from the original corpus, while state-of-the-art DP synthesis methods generally fail to do so, even at 𝜖=100. ContinuousBench is available at https://hf.co/AnonymousContinuousBench.
","absKo":"Differentially private(DP) text synthesis는 민감한 코퍼스를 model training에 활용할 수 있게 해줄 것으로 기대되지만, DP synthetic data가 그러한 코퍼스에만 존재하는 genuinely new *knowledge and capabilities*를 전달하는지 여부는 여전히 불분명하다. 이는 기존 평가가 거의 training 없이도 풀 수 있는 task에 의존하기 때문에, 강한 benchmark 성능만으로는 DP synthesis가 원본 data 접근을 대체할 수 있음을 입증하지 못하기 때문이다. 이에 우리는 DP synthetic text로부터의 *capability gain*을 측정하는, 지속적이고 자동으로 재생성되는 benchmark인 ContinuousBench를 도입한다. 매 분기마다 새로운 release는 한 번도 본 적 없는 training corpus와 파생된 QA set을 짝지으며, 이는 다음을 만족하도록 구성된다: (1) corpus 없이 해결 불가; (2) 테스트되는 지식이 수백 개의 독립 기록에 의해 뒷받침되므로 DP 하에서도 학습 가능. 연구자들은 training corpus로부터 DP synthetic data를 생성하고, 표준화된 training 및 evaluation harness를 자신의 synthetic data에 적용하여 향상을 측정한다. 표준 benchmark는 거의 포화 상태이지만, ContinuousBench에서는 non-private synthesis가 원본 corpus의 상당한 지식을 transfer하는 반면, state-of-the-art DP synthesis method는 일반적으로 그렇게 하지 못하며, 𝜖=100에서도 마찬가지임을 확인했다. ContinuousBench는 https://hf.co/AnonymousContinuousBench 에서 이용 가능하다.","link":"https://openreview.net/forum?id=EjoLcsnlHD"},{"id":"GadNmjrI9r","en":"Reconstructing Training Images from Foundation Model Parameters in the Healthcare Domain: Privacy Risks and Defences","ko":"헬스케어 도메인에서 foundation model 파라미터로부터 학습 이미지 복원: 프라이버시 위험과 방어","authors":"Athanasios Panagiotis Glykos, Yannis Kaltampanidis, Mykola Pechenizkiy, Hannah Pinson","abs":"Recent studies have shown that it is possible to reconstruct training images from finetuned foundation model parameters alone: first by reconstructing the embeddings, and then by using model inversion to invert these embeddings to the image domain. This could pose a privacy risk for healthcare applications. Yet whether this risk actually transfers to the healthcare domain, where images differ substantially from the general images used in previous works, remains unknown. In this work, we systematically evaluate this risk across three healthcare domains, seven datasets, and sixteen foundation models (twelve medically specialized and four general models). We find that embedding reconstruction attack success is strongly domain-dependent: on average, X-ray images are more vulnerable to embedding reconstruction attacks than pathology or ophthalmology images. However, unlike in the general image domain, current inversion techniques do not lead to recognizable images reconstructed from these embeddings for any of the considered healthcare domains. We thus estimate the current risk to be low. Crucially, we also find that linear probing consistently neutralizes the complete attack, thereby suggesting a readily deployable and future-proof defense.
","absKo":"최근 연구는 finetuned foundation model parameter만으로 training image를 복원할 수 있음을 보였다. 먼저 embedding을 복원한 뒤, model inversion으로 이 embedding을 image domain으로 되돌리는 방식이다. 이는 healthcare application에서 privacy risk를 초래할 수 있다. 그러나 이 위험이 이전 연구에서 사용된 일반 이미지와 상당히 다른 이미지를 다루는 healthcare domain에도 실제로 전이되는지는 알려져 있지 않다. 본 연구에서는 세 개의 healthcare domain, 일곱 개의 dataset, 그리고 열여섯 개의 foundation model(열두 개의 의료 특화 모델과 네 개의 일반 모델)에 걸쳐 이 위험을 체계적으로 평가한다. 우리는 embedding reconstruction attack의 성공 여부가 도메인에 강하게 의존함을 발견한다. 평균적으로 X-ray 이미지는 pathology나 ophthalmology 이미지보다 embedding reconstruction attack에 더 취약하다. 그러나 일반 이미지 도메인과 달리, 현재의 inversion 기법은 고려한 어떤 healthcare domain에서도 이러한 embedding으로부터 인식 가능한 이미지를 복원하지 못한다. 따라서 우리는 현재의 위험을 낮다고 추정한다. 결정적으로, linear probing이 전체 공격을 일관되게 무력화한다는 사실도 발견했으며, 이는 즉시 배포 가능하고 미래에도 유효한 방어책이 있음을 시사한다.","link":"https://openreview.net/forum?id=GadNmjrI9r"},{"id":"wet1THUD4q","en":"Probing Memorization of Tabular In-Context Learning","ko":"Tabular In-Context Learning의 기억화 탐구","authors":"Francesco Capano, Jonas Böhler","abs":"Large tabular models (LTMs), i.e., tabular foundation models leveraging in-context learning (ICL), achieve state-of-the-art performance on tabular tasks. While LLMs are known to unintentionally memorize training data, the memorization dynamics of LTMs remain largely unexplored. We investigate the potential for parametric memorization in tabular ICL. We introduce ICLMEM, a probing framework designed to separate context-based predictions from parametric memorization. Our zero-information multiple-choice context strips away valid contextual patterns to force the model to fall back on its parametric memory. Our controlled fine-tuning setup establishes membership ground truth and accounts for common pitfalls, e.g., distribution shift, feature contamination, base-rate fallacy, and the pre-trained base model acts as reference to calibrate for sample difficulty. Our controlled evaluation on a leading real-world-trained LTM detects moderate memorization signals in 8 out of 10 tasks ($\\text{AUC}$ up to $0.67$ and TPR at $1\\%$ FPR $>0.1$). Notably, memorization signals are strongest for low-cardinality and binary tasks. However, they largely vanish under realistic training conditions. Our findings show LTM memorization signals under specific circumstances (single-task fine-tuning with fixed samples across many epochs and small query size). To protect sensitive data, appropriate measures must be taken, which we discuss.
","absKo":"Large tabular model(LTM), 즉 in-context learning(ICL)을 활용하는 tabular foundation model은 tabular task에서 state-of-the-art 성능을 달성한다. LLM이 훈련 데이터를 의도치 않게 암기하는 것으로 알려진 반면, LTM의 memorization dynamics는 아직 크게 탐구되지 않았다. 우리는 tabular ICL에서 parametric memorization의 가능성을 조사한다. 이를 위해 context-based prediction과 parametric memorization을 분리하도록 설계된 probing framework인 ICLMEM을 도입한다. 우리의 zero-information multiple-choice context는 유효한 contextual pattern을 제거하여 model이 parametric memory에 의존하도록 강제한다. 통제된 fine-tuning setup은 membership ground truth를 확립하고, distribution shift, feature contamination, base-rate fallacy 같은 흔한 함정을 고려하며, pretrained base model은 sample difficulty를 보정하기 위한 reference로 작동한다. 선도적인 real-world-trained LTM에 대한 통제된 평가에서, 10개 task 중 8개에서 moderate memorization signal이 검출되었다($\\text{AUC}$ 최대 0.67, TPR at $1\\%$ FPR $>0.1$). 특히 memorization signal은 low-cardinality 및 binary task에서 가장 강하다. 그러나 현실적인 training condition 하에서는 대부분 사라진다. 우리의 결과는 특정 상황에서의 LTM memorization signal을 보여준다(고정된 sample로 여러 epoch에 걸친 single-task fine-tuning과 작은 query size). 민감한 데이터를 보호하기 위해 적절한 조치가 필요하며, 이에 대해 논의한다.","link":"https://openreview.net/forum?id=wet1THUD4q"},{"id":"QnMOXuXuPQ","en":"Cheap Forgetting: Linear Adapter Interpolation as a Post-Hoc Memorization Mitigation","ko":"값싼 망각: 사후 memorization 완화를 위한 linear adapter interpolation","authors":"Anmol Pandey","abs":"Foundation models verbatim-memorize portions of their training data, but the established mitigations, such as differentially private training and machine unlearning, are expensive. We measure whether a much cheaper alternative, linear interpolation between a fine-tuned model and its base, can suppress memorization without destroying utility. Using Llama-3.2-1B fine-tuned with LoRA on a corpus containing 100 planted 16-digit canaries, we sweep the interpolation coefficient $\\alpha$ from 0 to 1 and find that extraction collapses from 97% at $\\alpha=1$ to 0% at $\\alpha=0.5$, while held-out language-modeling NLL recovers from 2.39 to 2.20 (matching the base model). Compared to early stopping at matched utility, $\\alpha$-merging extracts $\\approx 10\\times$ less (7% vs 71% at NLL $\\approx 2.25$). We position this as an empirical post-hoc mitigation, not a formal privacy guarantee, and discuss its place alongside differential privacy and unlearning. Code and configurations are available at https://anonymous.4open.science/r/Memorizationpaper/.
","absKo":"Foundation model은 학습 데이터의 일부를 문자 그대로 암기하기도 하지만, differential private training이나 machine unlearning 같은 기존 완화책은 비용이 많이 든다. 우리는 훨씬 저렴한 대안인, fine-tuned model과 base model 사이의 linear interpolation이 유용성을 해치지 않으면서 memorization을 억제할 수 있는지 측정한다. 100개의 심어둔 16자리 canary를 포함한 corpus로 LoRA fine-tuning한 Llama-3.2-1B를 사용하여 interpolation coefficient $\\alpha$를 0에서 1까지 sweep해 본 결과, 추출률은 $\\alpha=1$에서 97%였던 것이 $\\alpha=0.5$에서 0%로 붕괴했으며, held-out language-modeling NLL은 2.39에서 2.20으로 회복되어 base model과 일치했다. 같은 utility를 맞춘 early stopping과 비교하면, $\\alpha$-merging은 약 $10\\times$ 더 적게 추출된다(NLL $\\approx 2.25$에서 7% 대 71%). 우리는 이를 formal privacy guarantee가 아닌 경험적 post-hoc 완화책으로 위치시키고, differential privacy 및 unlearning과 함께 그 역할을 논의한다. 코드와 설정은 https://anonymous.4open.science/r/Memorizationpaper/ 에서 उपलब्ध하다.","link":"https://openreview.net/forum?id=QnMOXuXuPQ"},{"id":"Urnkawsb3P","en":"Alignment-aware Data Selection for Unlearning in Contrastive Vision-Language Models","ko":"Contrastive vision-language model의 unlearning을 위한 alignment-aware data selection","authors":"Dongjun Hwang, Yejin Kim, Beomyun Kwon, Junsuk Choe","abs":"Recent advances in contrastive vision-language models have increased the need to selectively remove knowledge of specific data, drawing attention to _machine unlearning_. In this paper, we observe that unlearning performance in contrastive VLMs largely depends on the composition of the forget set. Based on this insight, we propose **ALISE**, a data selection framework that measures each forget sample’s alignment with both the retain set and the full forget set, and selects samples accordingly. Extensive experiments across diverse downstream applications demonstrate that ALISE facilitates removing target knowledge in contrastive VLMs while preserving model utility.
","absKo":"contrastive vision-language models의 최근 발전으로 인해 특정 데이터의 지식을 선택적으로 제거할 필요성이 커졌고, 이에 따라 _machine unlearning_이 주목받고 있다. 본 논문에서는 contrastive VLMs에서의 unlearning performance가 forget set의 구성에 크게 의존함을 관찰한다. 이러한 통찰을 바탕으로 우리는 각 forget sample이 retain set 및 전체 forget set과 얼마나 정렬되는지를 측정하고, 그에 따라 샘플을 선택하는 data selection framework인 **ALISE**를 제안한다. 다양한 downstream application에 대한 광범위한 실험은 ALISE가 contrastive VLMs에서 target knowledge 제거를 돕는 동시에 model utility를 보존함을 보여준다.","link":"https://openreview.net/forum?id=Urnkawsb3P"},{"id":"wUCcl1vNxd","en":"Local Coverage Governs Memorization in Diffusion Models","ko":"로컬 커버리지가 Diffusion Model의 기억화를 지배한다","authors":"Claudia Merger, Sebastian Goldt","abs":"Diffusion models are known to memorize training data, but which samples are most likely to be memorized? While memorization is often treated as a global property, in practice diffusion models simultaneously generate both memorized and novel samples. In this work, we show that memorization is governed by local data coverage. Leveraging the connection between diffusion models and kernel density estimation (KDE), we derive a theoretical criterion that predicts whether a point is memorized or generalized based on the density of training data in its neighborhood and the overall sample complexity. In the high-dimensional limit, this leads to a sharp local transition: regions of low coverage are dominated by isolated training samples (memorization), while dense regions support interpolation and generalization. We validate these predictions empirically, showing that memorization increases with local sparsity and that diffusion models exhibit a coexistence of memorized and novel samples within the same model. Extending this framework to multi-class settings, we further show that classes with higher intra-class diversity (and thus lower local coverage) are more strongly memorized. Our results provide a unified, local view of memorization in diffusion models, explaining when and where memorization occurs in terms of data geometry.
","absKo":"Diffusion model은 training data를 memorization하는 것으로 알려져 있지만, 어떤 sample이 가장 memorized되기 쉬운가? memorization은 종종 전역적 특성으로 다뤄지지만, 실제로 diffusion model은 memorized sample과 novel sample을 동시에 생성한다. 본 연구에서는 memorization이 국소적인 data coverage에 의해 좌우된다는 점을 보인다. diffusion model과 kernel density estimation(KDE)의 연결을 활용하여, 주변의 training data density와 전체 sample complexity를 바탕으로 어떤 점이 memorized되는지 또는 generalize되는지를 예측하는 이론적 기준을 도출한다. 고차원 극한에서는 이는 날카로운 국소적 전이를 이끈다. coverage가 낮은 영역은 고립된 training sample이 지배하여 memorization이 우세하고, 밀집된 영역은 interpolation과 generalization을 지원한다. 우리는 이러한 예측을 실증적으로 검증하여, local sparsity가 증가할수록 memorization이 증가하고, 동일한 model 안에서 memorized sample과 novel sample이 공존함을 보인다. 이 프레임워크를 multi-class setting으로 확장하면, class 내부 다양성이 더 높은 class(따라서 local coverage가 더 낮은 class)가 더 강하게 memorized된다는 점도 보인다. 우리의 결과는 diffusion model에서의 memorization을 데이터 기하(data geometry)의 관점에서 언제, 어디서 발생하는지 설명하는 통합적이고 국소적인 시각을 제공한다.","link":"https://openreview.net/forum?id=wUCcl1vNxd"},{"id":"Zf9b9ESaZ7","en":"What to Forget in Unlearning? Forget Set Curation for Language Models","ko":"Unlearning에서 무엇을 잊을 것인가? Language Model용 forget set 구성","authors":"Animesh Jha, Arpandeep Khatua, Youssef Allouah, Sanmi Koyejo","abs":"Machine unlearning aims to remove targeted data or behaviors from a trained model without retraining from scratch. Yet most evaluations assume that the examples to forget are already known. In realistic language-model deployments, a requester may ask a model to stop reproducing a song or book without knowing which spans, documents, quotations, or near-duplicates in a trillion-token corpus support that behavior. We study this missing upstream problem, forget set curation: mapping a suppression request to the data passed to an unlearning algorithm. We introduce CleanSlate, a benchmark for verbatim output suppression over songs and books, with model-specific extraction profiles, content-grounded QA, and capability-retention evaluations. CleanSlate exposes two failure modes. Natural lexical and exact-substring curators often yield forget sets that lead to weak suppression. An evaluation-aware curator suppresses requested continuations almost completely, but causes collateral regression on non-requested content and model-dependent capability loss. These results show that practical unlearning is not only an optimization problem once a forget set is given: the data chosen for forgetting determines both what can be unlearnt and what else is damaged.
","absKo":"Machine unlearning은 처음부터 다시 retraining하지 않고도 학습된 model에서 특정 데이터나 behavior를 제거하는 것을 목표로 한다. 그러나 대부분의 평가는 잊어야 할 example이 이미 알려져 있다고 가정한다. 실제 language-model deployment에서는 요청자가 어떤 song이나 book의 재현을 멈추라고 요구할 수 있지만, trillion-token corpus에서 그 behavior를 뒷받침하는 span, document, quotation, 또는 near-duplicate가 무엇인지 알지 못할 수 있다. 우리는 이 누락된 upstream problem, 즉 forget set curation을 연구한다. 이는 suppression request를 unlearning algorithm에 전달될 data로 매핑하는 문제이다. 우리는 song과 book에 걸친 verbatim output suppression을 위한 benchmark인 CleanSlate를 도입하며, model-specific extraction profile, content-grounded QA, capability-retention evaluation을 포함한다. CleanSlate는 두 가지 failure mode를 드러낸다. 자연스러운 lexical 및 exact-substring curator는 흔히 약한 suppression으로 이어지는 forget set을 만든다. evaluation-aware curator는 요청된 continuation을 거의 완전히 억제하지만, 요청되지 않은 content에서의 collateral regression과 model-dependent capability loss를 초래한다. 이 결과는 practical unlearning이 forget set이 주어졌을 때의 optimization problem에만 국한되지 않음을 보여준다. 무엇을 잊도록 선택하느냐가 무엇을 unlearn할 수 있는지와 그 밖에 무엇이 손상되는지를 함께 결정한다.","link":"https://openreview.net/forum?id=Zf9b9ESaZ7"},{"id":"AAtD3jSaha","en":"MemBoost: A Memory-Boosted Framework for Cost-Aware LLM Inference","ko":"MemBoost: 비용 인식 LLM 추론을 위한 메모리 강화 프레임워크","authors":"Joris Köster, Zixuan Liu, Zizhan Zheng, Siavash H. Khajavi","abs":"Large Language Models (LLMs) deliver strong performance but incur high inference cost in real-world services, especially under workloads with repeated or near-duplicate queries across users and sessions. In this work, we propose **MemBoost**, a memory-boosted LLM serving framework that enables a lightweight model to reuse previously generated answers and retrieve relevant supporting information for cheap inference, while selectively escalating difficult or uncertain queries to a stronger model. Unlike standard retrieval-augmented generation, which primarily grounds a single response, MemBoost is designed for interactive settings by supporting answer reuse, continual memory growth, and cost-aware routing. Experiments across multiple models under simulated workloads show that MemBoost substantially reduces expensive large-model invocations and overall inference cost, while maintaining high answer quality comparable to the strong model baseline
","absKo":"Large Language Models (LLMs)은 강력한 성능을 보이지만, 실제 서비스에서는 특히 사용자와 세션 전반에 걸쳐 반복되거나 거의 중복되는 query가 많은 workload에서 높은 inference cost를 유발한다. 이 연구에서는 이전에 생성한 답변을 재사용하고 cheap inference를 위해 관련 보조 정보를 검색할 수 있으며, 동시에 어렵거나 불확실한 query는 더 강한 model로 선택적으로 승격시키는 memory-boosted LLM serving framework인 **MemBoost**를 제안한다. 주로 단일 응답을 grounding하는 standard retrieval-augmented generation과 달리, MemBoost는 답변 재사용, 지속적인 memory growth, 비용 인지 routing을 지원함으로써 interactive setting에 맞게 설계되었다. 시뮬레이션된 workload에서 여러 model을 대상으로 한 실험은 MemBoost가 expensive large-model 호출과 전체 inference cost를 크게 줄이면서도, strong model baseline에 필적하는 높은 answer quality를 유지함을 보여준다","link":"https://openreview.net/forum?id=AAtD3jSaha"},{"id":"iHevqczT2u","en":"Rare, Distinctive, Memorized: Auditing Memorization in Fine-Tuned Medical Foundation Models","ko":"드물고, 독특하고, 기억된: fine-tuned medical foundation model의 memorization 감사","authors":"Santhosh Parampottupadam, Sinem Sav, Dimitrios Bounias, Saikat Roy, Klaus Maier-Hein, Adam Dziedzic, Franziska Boenisch, Ralf Floca","abs":"Medical foundation models fine-tuned on private patient data risk leaking individual training samples; in this regime a single recoverable image is a privacy violation. We audit per-class memorization in fine-tuned medical foundation models with a loss-difference memorization score: each canary's loss is compared between a model trained with the canary and an otherwise identical model trained without it. Memorization occurs in every architecture-dataset cell we test. Interestingly, the rarest class is not the most memorized: the rarity-monotonicity assumed by prior memorization work outside medical imaging is broken in this regime. Instead, visual distinctiveness contributes to memorization beyond rarity in our setting: the same controlled grayscale intervention applied to two classes at comparable rarity shifts memorization in opposite directions, and on a balanced dataset $M(x)$ rises from a near-zero baseline (0.004) to high memorization (0.480) under the same intervention. DP-LoRA at $\\epsilon = 1$ reduces leakage from the most-memorized class by 90% in our setup while preserving usable accuracy on focused diagnostic tasks, with the protection driven by the DP noise rather than the parameter restriction. These findings point towards more privacy-preserving adaptation of medical foundation models.
","absKo":"private patient data로 fine-tuning된 medical foundation model은 개별 training sample을 유출할 위험이 있다. 이 regime에서는 하나의 복구 가능한 이미지조차 privacy violation이다. 우리는 loss-difference memorization score를 사용해 fine-tuned medical foundation model에서 class별 memorization을 감사한다: 각 canary의 loss를 canary를 포함해 학습한 모델과 그렇지 않은, 완전히 동일한 모델 사이에서 비교한다. memorization은 우리가 테스트한 모든 architecture-dataset cell에서 발생한다. 흥미롭게도, 가장 희귀한 class가 가장 많이 memorized되는 것은 아니었다. medical imaging 밖의 기존 memorization 연구가 가정한 rarity-monotonicity는 이 regime에서 깨진다. 대신, 우리 설정에서는 visual distinctiveness가 rarity를 넘어 memorization에 기여한다. 유사한 rarity를 가진 두 class에 동일하게 적용한 통제된 grayscale intervention은 memorization을 반대 방향으로 이동시키며, 균형 잡힌 dataset에서 $M(x)$는 near-zero baseline(0.004)에서 같은 intervention 하에 높은 memorization(0.480)으로 상승한다. $\\epsilon = 1$에서의 DP-LoRA는 우리 설정에서 가장 많이 memorized된 class의 leakage를 90% 줄이면서도 집중된 diagnostic task에서 사용할 수 있는 정확도를 유지했으며, 이 보호는 parameter restriction이 아니라 DP noise에 의해 주도되었다. 이러한 결과는 medical foundation model의 더 privacy-preserving adaptation을 향한 방향을 시사한다.","link":"https://openreview.net/forum?id=iHevqczT2u"},{"id":"J6VhgYtgYZ","en":"Position: The Term “Machine Unlearning” Is Overused in LLMs","ko":"Position: 'Machine Unlearning'이라는 용어는 LLM에서 과도하게 사용된다","authors":"Sangyeon Yoon, Yeachan Jun, Albert No","abs":"Large language models increasingly face demands to "forget" training data, knowledge, or behaviors due to regulatory deletion obligations, copyright/licensing disputes, and safety or product-policy requirements. This position paper argues that machine unlearning is overused as a term in LLM research and should be reserved for dataset-defined deletion: removing the training influence of a precisely specified forget set such that the resulting model is (approximately) indistinguishable from retraining without that data. We contend that many tasks currently labeled "unlearning" (e.g., refusal for harmful requests, entity/knowledge removal, or targeted suppression) pursue different, often policy-dependent objectives and therefore require different terminology and baselines (e.g., alignment, suppression, editing, obfuscation). We further argue that this confusion is not cosmetic: because papers make different implicit guarantees under the same label, metrics and benchmarks are frequently reused outside their intended scope, rewarding surface-level non-disclosure (e.g., low ROUGE/forget accuracy) even when retraining-equivalence is not tested and derived capabilities remain. We conclude by calling for stricter terminology tied to explicit guarantees and reference models, and for evaluations that match the claimed objective.
","absKo":"대형 언어 모델은 규제상 삭제 의무, 저작권/라이선스 분쟁, 안전 또는 제품 정책 요구로 인해 학습 데이터, 지식, 또는 행동을 \"잊어야\" 한다는 요구에 점점 더 자주 직면하고 있다. 이 포지션 페이퍼는 machine unlearning이라는 용어가 LLM 연구에서 과도하게 사용되고 있으며, 데이터셋 정의 삭제, 즉 정확히 지정된 forget set의 학습 영향력을 제거하여 결과 모델이 그 데이터 없이 재학습한 모델과 (근사적으로) 구별되지 않도록 하는 경우에만 이 용어를 제한적으로 사용해야 한다고 주장한다. 우리는 현재 \"unlearning\"으로 분류되는 많은 과제들(예: 유해 요청 거부, entity/knowledge 제거, 또는 targeted suppression)은 서로 다른, अक्सर 정책 의존적인 목적을 추구하므로, 다른 용어와 baseline(예: alignment, suppression, editing, obfuscation)을 필요로 한다고 본다. 또한 이러한 혼동은 단순한 표현상의 문제가 아니라고 주장한다. 동일한 라벨 아래 서로 다른 암묵적 보장이 논문마다 제시되기 때문에, metric과 benchmark가 종종 본래 의도된 범위를 벗어나 재사용되며, retraining-equivalence가 검증되지 않았고 파생 능력이 여전히 남아 있어도 표면적인 비공개성(예: 낮은 ROUGE/forget accuracy)을 보상하게 된다. 우리는 명시적 보장과 reference model에 연결된 더 엄격한 용어 사용, 그리고 주장된 목적과 일치하는 평가를 요구하며 결론짓는다.","link":"https://openreview.net/forum?id=J6VhgYtgYZ"},{"id":"GnrrLsHYOx","en":"Do Text Anonymizers Generalize Across Contexts? Extending RAT-Bench to Malaysian Microdata and PII","ko":"텍스트 익명화 도구는 문맥 전반에 일반화되는가? RAT-Bench를 말레이시아 마이크로데이터와 PII로 확장하기","authors":"David Hong Liang Chew, Zexi Yao, Nataša Krčo, Matthieu Meeus, Waqas Khalid Obeidy, Yves-Alexandre de Montjoye","abs":"Text anonymizers are often used before sensitive text enters foundation-model workflows, including training, fine-tuning, retrieval, and user-facing inference. However, these tools are commonly evaluated on English text with U.S.-centric identifiers and cultural context. We extend RAT-Bench, an existing primarily English-language re-identification benchmark, to the Malaysian context using local microdata, Malaysian personally identifiable information (PII), and culturally grounded transcripts in Malaysian English and Bahasa Malaysia. We evaluate NER- and LLM-based anonymizers with an LLM attacker that infers attributes from anonymized text, measuring both re-identification success and text utility. Across Malaysian English and Bahasa Malaysia, LLM anonymizers provide the strongest explicit privacy-utility trade-offs, reducing Easy/Hard re-identification risk to 23-29% while preserving BLEU scores of 0.77-0.94. These results show that anonymization benchmarks are not context-neutral: local identifiers, language use, and cultural context should be considered before deploying anonymization tools in target foundation-model pipelines.
","absKo":"민감한 텍스트가 foundation-model 워크플로에 들어가기 전에, 일반적으로 training, fine-tuning, retrieval, 사용자 대상 inference를 위해 text anonymizer가 사용된다. 그러나 이러한 도구는 대개 미국 중심 식별자와 문화적 맥락을 지닌 영어 텍스트를 대상으로 평가된다. 우리는 기존의 주로 영어권 재식별 benchmark인 RAT-Bench를 말레이시아 맥락으로 확장하여, 현지 microdata, 말레이시아 개인식별정보(PII), 그리고 Malaysian English와 Bahasa Malaysia로 된 문화적으로 맥락화된 transcript를 사용한다. 우리는 anonymized text에서 속성을 추론하는 LLM attacker를 사용해 NER 기반 및 LLM 기반 anonymizer를 평가하고, 재식별 성공률과 텍스트 유용성을 함께 측정한다. Malaysian English와 Bahasa Malaysia 전반에서 LLM anonymizer는 가장 강력한 명시적 privacy-utility trade-off를 제공하며, Easy/Hard 재식별 위험을 23-29%로 낮추는 동시에 BLEU score 0.77-0.94를 유지한다. 이 결과는 anonymization benchmark가 맥락 중립적이지 않음을 보여준다. 즉, 대상 foundation-model pipeline에 anonymization 도구를 배포하기 전에 지역 식별자, 언어 사용, 문화적 맥락을 고려해야 한다.","link":"https://openreview.net/forum?id=GnrrLsHYOx"},{"id":"9IGz9nI3vD","en":"Structural Memorization in AlphaFold: Adversarial Mutations Reveal Template Reliance, Confidence Failures, and Implications for Protein Design","ko":"AlphaFold의 구조적 암기: 적대적 돌연변이가 템플릿 의존성, 신뢰도 실패, 단백질 설계 함의를 드러내다","authors":"Jonathan Feldman, Maximilian Brogi, Jeffrey Skolnick","abs":"AlphaFold has transformed structural biology and spawned an ecosystem of derivative tools for protein design, binding prediction, and drug discovery. Whether AlphaFold has learned generalizable biophysical principles versus template-based pattern matching remains unclear—a distinction critical for applications beyond its training context. Here, we perform a systematic adversarial evaluation of AlphaFold 3 using point and deletion mutations across 200 proteins, including experimentally validated fold-switching proteins. Predicted structures remain invariant to mutations of up to 40% of residues—including deliberately destabilizing substitutions—and to deletions of 10%, even for fold-switching proteins known to adopt alternative conformations under precisely such perturbations and for which AlphaFold is expected to perform best. Confidence metrics prove unreliable, selecting the most accurate structure at most 35% of the time and correlating with training-set template quality rather than biophysical prediction accuracy—suggesting AlphaFold's uncertainty estimates reflect template availability more than genuine structural reasoning. ESMFold exhibits greater mutational sensitivity. Together, these findings suggest AlphaFold relies heavily on memorized templates rather than biophysical reasoning, with profound implications for the reliability of AlphaFold-based protein design, drug discovery, and modeling workflows.
","absKo":"AlphaFold는 구조 생물학을 변화시켰고 protein design, binding prediction, drug discovery를 위한 파생 도구 생태계를 낳았다. AlphaFold가 일반화 가능한 생물물리 원리를 학습했는지, 아니면 template-based pattern matching에 의존하는지는 여전히 불분명하다. 이는 학습 맥락을 넘어선 응용에 매우 중요한 구분이다. 여기서 우리는 실험적으로 검증된 fold-switching protein을 포함한 200개 protein에 대해 point mutation과 deletion mutation을 사용하여 AlphaFold 3를 체계적으로 adversarial evaluation한다. 예측 구조는 의도적으로 불안정화하는 치환을 포함해 최대 40\\%의 residue mutation과 10\\% deletion에 대해서도 변하지 않으며, 정확히 그러한 perturbation 아래에서 alternative conformation을 취하는 것으로 알려진 fold-switching protein에서도 마찬가지다. 이는 AlphaFold가 가장 잘 수행할 것으로 기대되는 경우에도 마찬가지다. confidence metric은 신뢰할 수 없으며, 가장 정확한 구조를 선택하는 비율은 최대 35\\%에 불과하고, 생물물리적 예측 정확도보다 training-set template 품질과 상관된다. 이는 AlphaFold의 uncertainty estimate가 진정한 구조적 추론보다 template availability를 더 반영함을 시사한다. ESMFold는 mutation sensitivity가 더 크다. 종합하면, 이러한 결과는 AlphaFold가 생물물리적 추론보다 암기된 template에 크게 의존하고 있음을 시사하며, 이는 AlphaFold 기반 protein design, drug discovery, modeling workflow의 신뢰성에 중대한 함의를 갖는다.","link":"https://openreview.net/forum?id=9IGz9nI3vD"},{"id":"VbNH2nRuWv","en":"Amplifying Membership Signal Through Iterative Regeneration","ko":"반복적 재생성을 통한 membership signal 증폭","authors":"Stanisław Pawlak, Wojciech Łapacz","abs":"The tendency of large generative models to memorize training data has established sample verification as a critical necessity for privacy auditing and copyright enforcement. Current membership inference attacks (MIAs) often rely on "one-shot" generations, which yield weak signals and limited sensitivity across different modalities. Inspired by Model Autophagy Disorder (MAD), we introduce MADreMIA, a model-agnostic add-on framework that enhances white-, grey-, and black-box MIAs. Unlike conventional approaches that use a single query, MADreMIA utilizes chained generations - where each output informs the subsequent input - to amplify membership evidence. We demonstrate that training "re-members" exhibit significantly higher coherence and slower degradation during iterative regeneration than non-members generations. Our results across image, text, and audio modalities show that MADreMIA provides substantially richer signals for both membership and dataset inference across diverse model families, including IARs, diffusion, and large language models.
","absKo":"대규모 생성 모델이 학습 데이터를 암기하는 경향은 샘플 검증을 privacy auditing과 저작권 집행을 위한 핵심 필요 조건으로 만들었다. 현재의 membership inference attack(MIA)은 종종 \"one-shot\" 생성을 사용하며, 이는 약한 신호와 다양한 modality 전반에서 제한된 민감도만 제공한다. Model Autophagy Disorder(MAD)에서 영감을 받아, 우리는 white-box, grey-box, black-box MIA를 강화하는 모델-불가지론적 add-on 프레임워크인 MADreMIA를 제안한다. 단일 query를 사용하는 기존 접근과 달리, MADreMIA는 각 출력이 다음 입력에 반영되는 chained generation을 활용해 membership evidence를 증폭한다. 우리는 \"re-members\"에 대해 학습된 샘플이 반복적 재생성 동안 non-member 생성보다 훨씬 더 높은 coherence와 더 느린 degradation을 보인다는 것을 보여준다. 이미지, 텍스트, 오디오 modality 전반에 대한 결과는 MADreMIA가 IARs, diffusion, large language model을 포함한 다양한 model family에서 membership inference와 dataset inference 모두에 대해 훨씬 더 풍부한 신호를 제공함을 보여준다.","link":"https://openreview.net/forum?id=VbNH2nRuWv"},{"id":"xlbsCYjje8","en":"Auditing Reasoning-Trace Memorization Claims after Unlearning with Head-Conditioned Canaries","ko":"Head-Conditioned Canary를 이용한 Unlearning 후 추론 궤적 기억 주장 감사","authors":"Yanhang Li, Zhichao Fan, Zexin Zhuang","abs":"Unlearning evaluations for reasoning models often split a generation into a reasoning trace and an answer, then treat cases where the answer no longer contains a forgotten canary but the trace still does as evidence of residual memorization in the weights. We audit this interpretation. We LoRA-memorize 60 fictional author bios with distinctive canaries into DeepSeek-R1-Distill-Qwen-7B, unlearn them with answer-masked NPO, and evaluate head-conditioned continuation under a parser-split canary-containment metric. The standard metric produces a bypass pattern: after NPO, answer-side containment drops from 1.00 to 0.60 while thinking-trace leakage remains 0.83, giving a gap of +0.23. However, on the same weights, replacing the autoregressive trace with short non-canary prefills changes answer-side continuation by a comparable amount; on a second seed, the direction of this intervention reverses. A matched teacher-forced continuation probe remains high across prefills, and on DeepSeek-R1-Distill-Llama-8B the same parser metric flips sign under format drift because the closing tag is missing. These results do not prove that forgotten information is absent. Rather, they show that parser-split reasoning-trace leakage is non-identifying: positive trace-answer gaps can conflate residual memorization with decode-time prefix sensitivity and parser conventions. We recommend fixed-prefill template swaps and teacher-forced continuation checks as cheap sanity checks for memorization and unlearning audits on reasoning foundation models.
","absKo":"reasoning model에 대한 unlearning 평가는 종종 한 generation을 reasoning trace와 answer로 나눈 뒤, answer에는 더 이상 잊혀진 canary가 없지만 trace에는 여전히 남아 있는 경우를 weight에 residual memorization이 남아 있다는 증거로 취급한다. 우리는 이 해석을 검토한다. 우리는 DeepSeek-R1-Distill-Qwen-7B에 구별되는 canary를 가진 가상의 author bio 60개를 LoRA로 memorization시키고, answer-masked NPO로 이를 unlearn한 뒤, parser-split canary-containment metric을 사용해 head-conditioned continuation을 평가한다. 표준 metric은 우회 패턴을 만들어낸다. NPO 이후 answer-side containment는 1.00에서 0.60으로 감소하지만 thinking-trace leakage는 0.83으로 남아, +0.23의 gap이 생긴다. 그러나 동일한 weights에서 autoregressive trace를 짧은 non-canary prefills로 대체하면 answer-side continuation이 비슷한 크기로 변하며, 두 번째 seed에서는 이 개입의 방향이 반대로 뒤집힌다. matched teacher-forced continuation probe는 prefills 전반에 걸쳐 높은 값을 유지하고, DeepSeek-R1-Distill-Llama-8B에서는 closing tag가 없기 때문에 같은 parser metric이 format drift 하에서 부호가 뒤집힌다. 이러한 결과가 forgotten information이 존재하지 않음을 증명하는 것은 아니다. 오히려 parser-split reasoning-trace leakage가 non-identifying이라는 점을 보여준다. 즉, positive trace-answer gap은 residual memorization과 decode-time prefix sensitivity, parser convention을 혼동할 수 있다. 우리는 reasoning foundation model에 대한 memorization 및 unlearning audit에서 고정 prefills template swap과 teacher-forced continuation check를 저렴한 sanity check로 사용할 것을 권장한다.","link":"https://openreview.net/forum?id=xlbsCYjje8"},{"id":"LZRS07ZsRc","en":"Bayes-Optimal Coexistence via Fact Localizability in Trainable-Feature Decoder-Only Transformers","ko":"학습 가능한 특성 디코더-온리 Transformer에서 사실의 위치 가능성을 통한 Bayes-최적 공존","authors":"Manoj Saravanan","abs":"We give a representation-theoretic account of when exact memorization of sparse facts can coexist with Bayes-optimal rule generalization in trainable-feature decoder-only transformers. For a causal rules-and-facts model, we define the Bayes-coexistence gap $\\Delta_{F_m}(\\mathcal T)$ and the fact-localizability functional $\\Lambda_{F_m}(\\mathcal T;P_{\\mathrm{rule}})$, and prove the exact squared-loss identity $\\Delta_{F_m}=\\Lambda_{F_m}$. A minimal trainable-feature decoder then admits a rule--residual factorization $A_{\\bar\\Theta}(X)=(S^\\star(X),Z^\\perp(X),0)$, where $S^\\star$ carries the Bayes rule and $Z^\\perp$ is an independent Gaussian residual block; sparse ReLU tents in this block interpolate arbitrary bounded facts with excess rule risk at most $|\\delta(F_m)|\\infty^2[m e^{-25d\\perp/128}+m(m-1)e^{-75d_\\perp/224}]$. Conversely, the affine lazy/tangent class of the same decoder has a nonvanishing coexistence gap unless its tangent kernel has sufficiently large effective dimension. The construction also yields exact structural deletability: selected memorized residual facts are removed by zeroing their residual-only MLP output coefficients, while the Bayes rule is unchanged.
","absKo":"trainable-feature decoder-only transformer에서 희소한 사실의 exact memorization이 Bayes-optimal rule generalization과 언제 공존할 수 있는지에 대해 representation-theoretic 관점에서 설명한다. causal rules-and-facts model에 대해 Bayes-coexistence gap $\\Delta_{F_m}(\\mathcal T)$와 fact-localizability functional $\\Lambda_{F_m}(\\mathcal T;P_{\\mathrm{rule}})$를 정의하고, 정확한 squared-loss identity $\\Delta_{F_m}=\\Lambda_{F_m}$를 증명한다. 최소 trainable-feature decoder는 그 다음 rule--residual factorization $A_{\\bar\\Theta}(X)=(S^\\star(X),Z^\\perp(X),0)$를 허용하는데, 여기서 $S^\\star$는 Bayes rule을 담고 $Z^\\perp$는 독립적인 Gaussian residual block이다. 이 block의 sparse ReLU tent는 임의의 bounded fact를 excess rule risk가 최대 $|\\delta(F_m)|\\infty^2[m e^{-25d\\perp/128}+m(m-1)e^{-75d_\\perp/224}]$인 상태로 보간한다. 반대로 같은 decoder의 affine lazy/tangent class는 tangent kernel이 충분히 큰 effective dimension을 갖지 않는 한 0이 아닌 coexistence gap을 가진다. 이 구성은 exact structural deletability도 제공한다. 선택된 memorized residual fact는 residual-only MLP output coefficient를 0으로 만들어 제거되며, Bayes rule은 변하지 않는다.","link":"https://openreview.net/forum?id=LZRS07ZsRc"},{"id":"OD9xrXF5Ak","en":"Detecting Functional Memorization in Code Language Models","ko":"Code Language Model의 기능적 memorization 탐지","authors":"Matthieu Meeus, Anil Ramakrishna, Matthew Grange, Zheng Xu, Luca Melis","abs":"Large language models (LLMs) are increasingly used to generate code at scale. Meanwhile, prior work has investigated whether training data may be recoverable from model outputs, by auditing the textual overlap between training examples and model generations. Code, however, can be functionally equivalent while textually dissimilar. In this work, we study *functional memorization*: extraction of functional logic beyond what verbatim metrics detect. We construct a *counterfactual* setup for Olmo-3-32B, comparing a midtrained model (exposed to target code) against a pretrained reference (not exposed). We prompt both models with Python function signatures and measure both textual and functional similarity (i.e., LLM-as-a-judge, execution-based). Our results show clear evidence of functional memorization, highlighting the need for auditing metrics that go beyond textual overlap.
","absKo":"Large language model(LLM)은 점점 더 대규모로 code를 생성하는 데 사용되고 있다. 한편, 기존 연구는 training example과 model generation 사이의 textual overlap을 감사(audit)함으로써 training data가 model output에서 복원될 수 있는지 조사해 왔다. 그러나 code는 텍스트적으로는 유사하지 않더라도 기능적으로는 동등할 수 있다. 이 연구에서 우리는 *functional memorization*, 즉 verbatim metric이 감지하는 범위를 넘어서는 기능적 로직의 추출을 연구한다. 우리는 Olmo-3-32B에 대한 *counterfactual* 설정을 구성하여, target code에 노출된 midtrained model과 노출되지 않은 pretrained reference를 비교한다. 두 model에 Python function signature를 prompt로 주고, textual similarity와 functional similarity(즉, LLM-as-a-judge, execution-based)를 모두 측정한다. 우리의 결과는 functional memorization의 분명한 증거를 보여주며, textual overlap을 넘어서는 감사 metric의 필요성을 강조한다.","link":"https://openreview.net/forum?id=OD9xrXF5Ak"},{"id":"khVMWyj9BP","en":"On the Geometry of Memorization: Interpolation and Second-Order Representation Irregularity","ko":"기억의 기하: interpolation과 2차 representation 불규칙성","authors":"Satwik Bathula","abs":"We study memorization through the second-order geometry of learned representations. Using the pullback metric, we show that interpolating rapidly varying labels forces large second-order variation, linking interpolation to higher-order complexity. Empirically, both structured and random labels exhibit large magnitude, but differ in their spatial organization. Structured targets yield smooth, globally distributed variation, while random targets produce sparse, high-magnitude spikes. This distinction is captured by a curvature localization measure, showing that memorization is not characterized by the magnitude of second-order variation, but by its organization in representation space.
","absKo":"우리는 학습된 representation의 second-order geometry를 통해 memorization을 연구한다. pullback metric을 사용하여, 빠르게 변하는 label을 보간하려면 큰 second-order variation이 필요하다는 것을 보이며, 이를 통해 interpolation과 higher-order complexity를 연결한다. 실험적으로 structured label과 random label 모두 큰 크기를 보이지만, 공간적 조직 방식은 다르다. structured target은 매끄럽고 전역적으로 분포된 variation을 만들어내는 반면, random target은 희소하고 고진폭의 spike를 생성한다. 이러한 구분은 curvature localization measure로 포착되며, memorization은 second-order variation의 크기 자체가 아니라 representation space에서 그것이 어떻게 조직되는가에 의해 특징지어진다는 점을 보여준다.","link":"https://openreview.net/forum?id=khVMWyj9BP"}];window.dispatchEvent(new CustomEvent("papers-loaded",{detail:"54086"}));