Modern AI systems are increasingly retrained on data generated through interaction with users. Three forces are at play:
(i) the users who strategically adapt their behavior,
(ii) a prompting interface which obscures user intent,
and (iii) the fact that AI is typically retrained "greedily," ignoring exploration-exploitation tradeoffs. We ask whether these dynamics lead to poor outcomes. We study a stylized model, focusing on the "nice" case when the AI and the users have aligned incentives.
We identify two distinct failure modes. First, the system may fail to converge to an optimal Nash equilibrium (of the relevant stage game) due to limited exploration, instead stabilizing at a suboptimal outcome region. This mode is ubiquitous: it happens with a positive probability for \\emph{every} problem instance. Second, a non-degenerate subset of problem instances exhibit \\emph{model deterioration}, whereby the system converges to an outcome that is strictly worse than the initial state.
","absKo":"현대 AI 시스템은 사용자와의 상호작용을 통해 생성된 데이터로 재학습되는 경우가 점점 늘고 있다. 여기에는 세 가지 힘이 작용한다:\n(i) 전략적으로 행동을 조정하는 사용자,\n(ii) 사용자 의도를 가리는 프롬프팅 인터페이스,\n(iii) 탐색-활용 절충을 무시한 채 AI가 보통 \"탐욕적으로\" 재학습된다는 사실이다. 우리는 이러한 동학이 좋지 않은 결과로 이어지는지 묻는다. 우리는 \"좋은\" 경우, 즉 AI와 사용자 모두의 유인이 정렬된 상황에 초점을 맞춘 단순화된 모델을 연구한다.\n\n우리는 두 가지 서로 다른 실패 모드를 확인한다. 첫째, 제한된 탐색 때문에 시스템이 (관련 단계 게임의) 최적 Nash equilibrium으로 수렴하지 못하고, 대신 비최적의 결과 영역에서 안정화될 수 있다. 이 모드는 보편적이다: 모든 문제 인스턴스에서 양의 확률로 발생한다. 둘째, 문제 인스턴스의 비퇴화된 부분집합은 모델 열화(model deterioration)를 보이는데, 이 경우 시스템은 초기 상태보다 엄밀히 더 나쁜 결과로 수렴한다.","link":"https://openreview.net/forum?id=CPV8DL8jvv","tag":"Oral"},{"id":"AnJGQHrq7m","en":"Towards Learning Representations of Policies in Two-Player Zero-Sum Games","ko":"2인 zero-sum 게임에서 정책 표현 학습을 향하여","authors":"Kevin A. Wang, Kevin Yang, Arjun Prakash, Amy Greenwald","abs":"We investigate the problem of learning useful policy representations (embeddings) in two-player zero-sum imperfect-information games. We make three types of contributions: First, we introduce methods of creating datasets of policies for a given game. Second, we propose methods to learn representations of policies. Third, we introduce downstream tasks to evaluate the effectiveness of such policy representations.
For each dataset method, embedding method, and downstream task, we evaluate our methods on Kuhn and Leduc Poker. We find that while the trivial encoding methods fail to outperform a naive baseline, sophisticated methods perform significantly better.
This demonstrates that useful behavioral representations are present in the learned embeddings. To our knowledge, this work is among the first to systematically compare self-supervised learning techniques for learning policy representations in this domain. Our source code will be available for others to extend in any of the three aspects.
","absKo":"두 플레이어 제로섬 불완전정보 게임에서 유용한 policy representation(embedding)을 학습하는 문제를 연구한다. 우리는 세 가지 유형의 기여를 한다. 첫째, 주어진 게임에 대한 policy 데이터셋을 만드는 방법을 제안한다. 둘째, policy representation을 학습하는 방법을 제안한다. 셋째, 이러한 policy representation의 효과를 평가하기 위한 downstream task를 제시한다.\n\n각 데이터셋 방법, embedding 방법, downstream task에 대해 Kuhn 및 Leduc Poker에서 방법을 평가한다. 단순한 encoding 방법은 naive baseline을 능가하지 못하지만, 정교한 방법들은 훨씬 더 좋은 성능을 보인다는 것을 확인했다.\n\n이는 학습된 embedding 안에 유용한 behavioral representation이 존재함을 보여준다. 우리가 아는 한, 이 연구는 이 도메인에서 policy representation 학습을 위한 self-supervised learning 기법을 체계적으로 비교한 최초의 연구 중 하나이다. 우리의 source code는 다른 연구자들이 세 가지 측면 모두에서 확장할 수 있도록 공개될 예정이다.","link":"https://openreview.net/forum?id=AnJGQHrq7m","tag":"Oral"},{"id":"v8nYIkYjY0","en":"When Agents Lie: Premeditation, Persistence, and Exploitation in Repeated Games","ko":"에이전트가 거짓말할 때: 반복 게임에서의 사전 계획, 지속성, 착취","authors":"Jerick Shi, Terry Jingchen Zhang, Bernhard Schölkopf, Vincent Conitzer, Zhijing Jin","abs":"As large language models are deployed as autonomous agents that communicate intentions before acting, a critical safety question is whether agents that publicly commit to actions will honor those commitments. We place LLM agents in repeated $n$-player games with a three-stage protocol that separates private intent, public announcement, and final action, allowing us to identify whether each deviation from a stated announcement was already planned during private deliberation. Evaluating three frontier models across six games in both homogeneous and heterogeneous group compositions over 10 rounds, we report two main findings. First, when agents deviate from their public announcements, the deviation is predominantly already stated in their private plan, exceeding 90\\% in the highest-deception conditions (96\\%+ in Diners and El Farol for GPT-5.2 and Llama-4-Maverick), yet this rate is not a fixed model property: the same model ranges from perfect honesty to near-total deviation across games. Second, in heterogeneous groups, different models interpret public announcements incompatibly, with some treating them as binding coordination signals while others treat them as cheap talk; this mismatch produces systematic payoff gaps of up to 5.00 points that emerge in Round~0 and persist across all 10 rounds, and the gap does not narrow when the minority model speaks last. These findings suggest that multi-LLM deployments cannot rely on shared assumptions about announcement semantics and require empirical testing of actual model interactions before deployment.
","absKo":"Large language model이 의도를 행동 전에 공개적으로 커밋하는 autonomous agent로 배치되면서, 공개적으로 약속한 행동을 실제로 지킬 것인지가 중요한 safety 질문으로 떠오른다. 우리는 LLM agent를 반복되는 $n$-player game에 배치하고, private intent, public announcement, final action을 분리하는 3단계 protocol을 사용해, 발표된 announcement와 달라진 각 deviation이 private deliberation 단계에서 이미 계획된 것인지 식별할 수 있게 한다. 세 개의 frontier model을 homogeneous 및 heterogeneous group composition 모두에서 6개의 game에 걸쳐 10라운드 동안 평가한 결과, 두 가지 주요 발견을 보고한다. 첫째, agent가 public announcement에서 벗어날 때 그 deviation은 대체로 private plan에도 이미 포함되어 있었으며, deception이 가장 강한 조건에서는 90%를 넘는다(GPT-5.2와 Llama-4-Maverick의 Diners 및 El Farol에서 96%+). 그러나 이 비율은 고정된 model property가 아니다. 같은 모델도 game에 따라 완전한 honesty에서 거의 전면적 deviation까지 분포한다. 둘째, heterogeneous group에서는 서로 다른 모델이 public announcement를 호환되지 않게 해석한다. 어떤 모델은 이를 구속력 있는 coordination signal로 보지만, 다른 모델은 cheap talk로 본다. 이러한 불일치는 Round~0에서 나타나 전체 10라운드 동안 지속되는 최대 5.00 point의 systematical payoff gap을 만든다. minority model이 마지막에 말해도 이 gap은 줄어들지 않는다. 이 결과는 multi-LLM deployment가 announcement semantics에 대한 공유 가정에 의존할 수 없으며, 배포 전에 실제 model interaction에 대한 실증적 테스트가 필요함을 시사한다.","link":"https://openreview.net/forum?id=v8nYIkYjY0","tag":"Oral"},{"id":"sgbg1nkcjF","en":"Strategic Testing in Games","ko":"게임에서의 전략적 테스트","authors":"Angelos Korakitis, Christos Tzamos","abs":"When chess world champion Magnus Carlsen accused Hans Niemann of cheating in September 2022, it spotlighted a challenge that extends well beyond chess: how can one audit a competitor's play while protecting honest players from false accusations? We propose a principled framework for auditing a monitored player relative to a known strategy in two-player normal-form games. In particular, we introduce $(\\epsilon, \\delta)$-strategic testing which, given a tolerated accusation rate $\\delta$, keeps the accepted winning payoff within $\\epsilon$ of the honest expected winning payoff. We characterize the optimal acceptance policy by a linear program, compare it with a suboptimal policy, and show why purely distributional criteria can miss or overstate strategically relevant deviations. Finally, we formulate the auditing problem as an auxiliary zero-sum Stackelberg game.
","absKo":"2022년 9월 체스 세계 챔피언 Magnus Carlsen이 Hans Niemann의 부정을 제기했을 때, 이는 체스를 훨씬 넘어서는 과제를 부각시켰다. 즉, 정직한 플레이어를 허위 고발로부터 보호하면서 경쟁자의 플레이를 어떻게 감사(audit)할 것인가? 우리는 두 명의 플레이어가 있는 normal-form game에서 알려진 전략에 상대적인 monitored player를 감사하기 위한 원칙적인 프레임워크를 제안한다. 특히, 우리는 $(\\epsilon, \\delta)$-strategic testing을 도입하는데, 이는 허용되는 고발 비율 $\\delta$가 주어졌을 때 accepted winning payoff를 정직한 기대 winning payoff에서 $\\epsilon$ 이내로 유지한다. 우리는 선형계획법으로 최적의 acceptance policy를 특징지으며, 이를 비최적 정책과 비교하고, 순수하게 분포적 기준이 전략적으로 중요한 편차를 놓치거나 과대평가할 수 있는 이유를 보인다. 마지막으로, 우리는 감사 문제를 auxiliary zero-sum Stackelberg game으로 정식화한다.","link":"https://openreview.net/forum?id=sgbg1nkcjF","tag":"Oral"},{"id":"oR9NEviIsX","en":"The Price of Over-Delegation: Stackelberg Liability Design for Agentic AI Handoffs","ko":"과도한 위임의 대가: agentic AI 인계에 대한 Stackelberg 책임 설계","authors":"Tomoya Hoshino","abs":"As LLM-based agents are increasingly deployed
in sequential delegation chains,
each handoff can obscure accountability
for the final output,
leading to context loss, audit overhead,
and diffusion of responsibility.
We formulate this governance problem
as a Stackelberg game:
a regulator sets a liability share,
and developers choose a workflow partition
via a boundary-insertion game
on a sequential workflow DAG.
The induced game is an exact potential game
for every liability share $\\gamma \\in (0,1]$,
and under a continuous relaxation
admits a unique interior equilibrium.
We prove an over-fragmentation theorem:
when developers only partially internalize
handoff externalities ($\\gamma < 1$),
the equilibrium delegation depth
strictly exceeds the social optimum,
and the resulting welfare loss
admits a scale-free closed-form expression
independent of workflow size, agent productivity,
and handoff-cost scale.
We characterize the optimal liability share $\\gamma^*$
via a first-order condition
that balances the marginal welfare gain
against the marginal enforcement cost,
and derive comparative statics.
Under optimal regulation,
residual welfare loss scales quadratically
with enforcement cost,
suggesting that reductions in enforcement costs
yield more-than-proportional welfare gains.
","absKo":"LLM 기반 agent가 점점 더 순차적 delegation chain에 배치됨에 따라, 각 handoff는 최종 출력에 대한 책임 소재를 흐리게 하여 context loss, audit overhead, 책임의 확산으로 이어질 수 있다.\n우리는 이 governance 문제를 Stackelberg game으로 정식화한다:\n규제자는 liability share를 설정하고,\ndeveloper는 sequential workflow DAG 위의 boundary-insertion game을 통해 workflow partition을 선택한다.\n유도되는 game은 모든 liability share $\\gamma \\in (0,1]$에 대해 exact potential game이며,\n연속 relaxation 하에서는 유일한 interior equilibrium을 갖는다.\n우리는 over-fragmentation theorem을 증명한다:\ndeveloper가 handoff 외부효과를 부분적으로만 내재화할 때($\\gamma < 1$),\nequilibrium delegation depth는 사회적 최적값을 엄격히 초과하며,\n그 결과 발생하는 welfare loss는\nworkflow 크기, agent 생산성,\nhandoff 비용 규모와 무관한 scale-free closed-form expression을 갖는다.\n우리는 marginal welfare gain과 marginal enforcement cost의 균형을 맞추는 first-order condition을 통해\n최적 liability share $\\gamma^*$를 특성화하고, 비교정태를 도출한다.\n최적 규제 하에서 residual welfare loss는 enforcement cost에 대해 이차적으로 증가하므로,\nenforcement cost를 낮추면 비례를 초과하는 welfare gain이 발생함을 시사한다.","link":"https://openreview.net/forum?id=oR9NEviIsX","tag":"Oral"},{"id":"bXau6dlyV4","en":"COMRAD: A Benchmark for Embodied Cooperative Multi-Agent Reinforcement Learning","ko":"COMRAD: 구현된 협동형 multi-agent reinforcement learning을 위한 benchmark","authors":"Khoi H.B. Nguyen, Dimitar Zhivkov Zhekov, Tristan Tomilin","abs":"Benchmarks are central to the development and evaluation of multi-agent reinforcement learning (MARL) algorithms. As the cooperative MARL community has grown, two categories of evaluation environments have proven indispensable: low-dimensional feature-vector benchmarks that isolate algorithmic behavior in compact state spaces, and two-dimensional pixel-based benchmarks that rely on overhead visual observations. However, to bridge the gap to real-world embodied settings such as robotics and autonomous navigation, algorithms must handle high-dimensional, 3D egocentric visual complexity. While various 3D environments have been explored for vision-based RL, no existing platform simultaneously provides a standardized, purely cooperative multi-agent benchmark with 3D first-person observations and high-throughput simulation. To address this gap, we introduce $\\textbf{COMRAD}$, a $\\textbf{CO}$operative $\\textbf{M}$ulti-Agent $\\textbf{R}$einforcement Le$\\textbf{A}$rning benchmark suite in $\\textbf{D}$oom, featuring a diverse set of challenging scenarios spanning role asymmetry, temporal synchronization, and spatial navigation. To introduce within-scenario variability, we develop $\\textbf{DoomGen}$, a procedural map generator that produces diverse layout configurations for every scenario. We integrate COMRAD with Sample Factory, a high-throughput asynchronous RL framework, and implement seven MARL baselines on top of it, reaching ${\\sim}25\\mathrm{K}$ frames per second during training. Our experiments show that COMRAD poses significant challenges for current CTDE methods, establishing visual cooperative MARL as an important open frontier.
","absKo":"Benchmark는 multi-agent reinforcement learning(MARL) algorithm의 개발과 평가에 핵심적이다. cooperative MARL community가 성장함에 따라, 두 범주의 evaluation environment가 필수적임이 입증되었다. 하나는 compact state space에서 algorithmic behavior를 분리해 볼 수 있는 low-dimensional feature-vector benchmark이고, 다른 하나는 overhead visual observation에 의존하는 two-dimensional pixel-based benchmark이다. 그러나 robotics와 autonomous navigation과 같은 현실 세계의 embodied setting으로 이어지기 위해서는 algorithm이 high-dimensional 3D egocentric visual complexity를 다룰 수 있어야 한다. vision-based RL을 위해 다양한 3D environment가 탐색되어 왔지만, 기존 platform 중에는 3D first-person observation과 high-throughput simulation을 동시에 제공하면서 표준화된, 순수 cooperative multi-agent benchmark를 제공하는 것이 없다. 이 격차를 메우기 위해 우리는 Doom에서의 cooperative multi-agent reinforcement learning benchmark suite인 $\\textbf{COMRAD}$를 소개한다. 이 suite는 role asymmetry, temporal synchronization, spatial navigation에 걸친 다양한 도전적 scenario를 포함한다. scenario 내부의 variability를 도입하기 위해, 각 scenario마다 다양한 layout configuration을 생성하는 procedural map generator인 $\\textbf{DoomGen}$을 개발한다. 우리는 COMRAD를 high-throughput asynchronous RL framework인 Sample Factory와 통합하고, 그 위에 seven MARL baseline을 구현하여 training 중 초당 ${\\sim}25\\mathrm{K}$ frames에 도달한다. 우리의 실험은 COMRAD가 현재 CTDE method에 상당한 도전을 제기함을 보여주며, visual cooperative MARL이 중요한 미해결 frontier임을 확립한다.","link":"https://openreview.net/forum?id=bXau6dlyV4"},{"id":"qAqRaJb7Jy","en":"Dynamics of Adversarial Attacks on Large Language Model-Based Search Engines","ko":"LLM 기반 검색 엔진에 대한 적대적 공격의 동역학","authors":"Xiyang Hu","abs":"The increasing integration of Large Language Model (LLM) based search engines has transformed the landscape of information retrieval. However, these systems are vulnerable to adversarial attacks, especially ranking manipulation attacks, where attackers craft webpage content to manipulate the LLM's ranking and promote specific content, gaining an unfair advantage over competitors. In this paper, we study the dynamics of ranking manipulation attacks. We frame this problem as an Infinitely Repeated Prisoners' Dilemma, where multiple players strategically decide whether to cooperate or attack. We analyze the conditions under which cooperation can be sustained, identifying key factors such as attack costs, discount rates, attack success rates, and trigger strategies that influence player behavior. We identify tipping points in the system dynamics, demonstrating that cooperation is more likely to be sustained when players are forward-looking. However, from a defense perspective, we find that simply reducing attack success probabilities can, paradoxically, incentivize attacks under certain conditions. Furthermore, defensive measures to cap the upper bound of attack success rates may prove futile in some scenarios. These insights highlight the complexity of securing LLM-based systems. Our work provides a theoretical foundation and practical insights for understanding and mitigating their vulnerabilities, while emphasizing the importance of adaptive security strategies and thoughtful ecosystem design.
","absKo":"Large Language Model(LLM) 기반 search engine의 통합이 증가하면서 information retrieval의 지형이 바뀌고 있다. 그러나 이러한 시스템은 adversarial attack, 특히 ranking manipulation attack에 취약하다. 공격자는 webpage content를 조작해 LLM의 ranking을 흔들고 특정 콘텐츠를 부각시켜 경쟁자에 비해 부당한 이점을 얻는다. 본 논문에서는 ranking manipulation attack의 동역학을 연구한다. 우리는 이 문제를 무한 반복되는 Prisoners' Dilemma로 정식화하여, 여러 플레이어가 협력할지 공격할지를 전략적으로 결정하는 상황으로 본다. 우리는 협력이 유지될 수 있는 조건을 분석하고, 공격 비용, 할인율, 공격 성공률, trigger strategy와 같은 플레이어 행동에 영향을 주는 핵심 요인을 식별한다. 또한 시스템 동역학의 tipping point를 찾아내어, 플레이어가 미래를 고려할수록 협력이 더 잘 유지됨을 보인다. 그러나 방어 관점에서는 공격 성공 확률을 단순히 낮추는 것이 오히려 특정 조건에서 공격을 유인할 수 있다는 역설적인 결과를 발견한다. 더 나아가 공격 성공률의 상한을 제한하는 방어 조치도 일부 상황에서는 무용할 수 있다. 이러한 통찰은 LLM-based system 보안의 복잡성을 부각한다. 우리의 연구는 이들 취약성을 이해하고 완화하기 위한 이론적 기반과 실천적 통찰을 제공하며, adaptive security strategy와 신중한 ecosystem design의 중요성을 강조한다.","link":"https://openreview.net/forum?id=qAqRaJb7Jy"},{"id":"eghyVQKpEV","en":"Designing Training Objectives for Iterative Reasoning Agents: Dense Supervision as an Adaptive Mechanism","ko":"반복 추론 에이전트를 위한 학습 목적 설계: 적응 메커니즘으로서의 밀집 감독","authors":"Bao N Nguyen Truong, Hoyeon Chang, Alexander Rubinstein, Seong Joon Oh","abs":"Modern AI agents increasingly rely on iterative computation - chain-of-thought, looped Transformers, and recurrent reasoners - to ``think longer'' before acting. The training objective these systems are optimized under is itself a design choice that shapes the agent's downstream behavior: which intermediate states are reachable, whether reasoning extrapolates beyond training-time horizons, and whether the agent can halt adaptively. The standard recipe - supervising only the final iterate (\\emph{endpoint supervision}) - treats this design problem implicitly and, we argue, badly. Viewed as a mechanism that the training procedure imposes on the learner's internal dynamics, endpoint supervision induces two coupled pathologies: (i) gradient signals at early reasoning steps are noisy in magnitude and unreliable in direction, and (ii) intermediate states are left unconstrained, so the agent learns a fixed-horizon strategy that breaks when more reasoning is permitted at test time. We introduce Dense Intermediate Consistency for Endpoints (DICE), a training-time mechanism that attaches a \\emph{shared} readout head to every iterate and applies auxiliary losses across the full trajectory. The shared readout enforces \\emph{anytime decodability}: every intermediate state is a valid action under the agent's output interface, making variable-depth reasoning well-defined rather than emergent. Across three representative iterative architectures, DICE yields consistent gains - near-perfect algorithmic extrapolation on prefix sums, $+7.4$ pp exact-match accuracy on maze solving, and a $6.6\\times$ inference-time speedup via adaptive halting.
","absKo":"현대 AI agents는 행동하기 전에 더 오래 생각하기 위해 iterative computation, 즉 chain-of-thought, looped Transformers, recurrent reasoners에 점점 더 의존하고 있다. 이러한 시스템이 최적화되는 training objective 자체가 agent의 downstream behavior를 형성하는 설계 선택이다. 어떤 intermediate state가 도달 가능한지, reasoning이 training-time horizon을 넘어 extrapolate되는지, agent가 adaptive하게 멈출 수 있는지 등이 그것이다. 표준적인 방식인 final iterate만 supervision하는 것(\\emph{endpoint supervision})은 이 설계 문제를 암묵적으로 다루며, 우리는 그것이 잘못되었다고 주장한다. 학습 절차가 learner의 internal dynamics에 강제하는 mechanism으로 보면, endpoint supervision은 두 가지 결합된 병리를 유도한다. (i) 초기 reasoning step의 gradient signal은 크기 면에서 noisy하고 방향 면에서 신뢰할 수 없으며, (ii) intermediate state에는 제약이 없어서 agent는 test time에 더 많은 reasoning이 허용되면 무너지는 fixed-horizon strategy를 학습한다. 우리는 Dense Intermediate Consistency for Endpoints (DICE)를 도입한다. 이는 training-time mechanism으로, 각 iterate에 \\emph{shared} readout head를 붙이고 trajectory 전체에 auxiliary loss를 적용한다. shared readout은 \\emph{anytime decodability}를 강제한다. 즉, 모든 intermediate state는 agent의 output interface에서 유효한 action이 되어, variable-depth reasoning이 emergent한 것이 아니라 well-defined한 것이 된다. 세 가지 대표적 iterative architecture 전반에서 DICE는 일관된 향상을 보인다. prefix sums에서 거의 완벽한 algorithmic extrapolation, maze solving에서 exact-match accuracy +7.4 pp, adaptive halting을 통한 inference-time speedup 6.6\\times가 그것이다.","link":"https://openreview.net/forum?id=eghyVQKpEV"},{"id":"RNunzKtXKk","en":"GT-HarmBench: Benchmarking AI Safety Risks Through the Lens of Game Theory","ko":"GT-HarmBench: 게임이론의 관점에서 AI 안전 위험 벤치마킹","authors":"Pepijn Cobben, Xuanqiang Angelo Huang, Thao Amelia Pham, Isabel Dahlgren, Bernhard Schölkopf, Terry Jingchen Zhang, Zhijing Jin","abs":"Frontier AI systems are increasingly capable and deployed in high-stakes multi-agent environments. However, existing AI safety benchmarks largely evaluate single agents, leaving multi-agent risks such as coordination failure and conflict poorly understood. We introduce GT-HarmBench, a benchmark of 1,535 high-stakes scenarios spanning game-theoretic structures such as the Prisoner's Dilemma, Stag Hunt and Chicken. Scenarios are drawn from realistic AI risk contexts in the MIT AI Risk Repository. Across 15 frontier models, agents fail to choose socially beneficial actions in 38% of high-stakes cases, such as military escalation, election manipulation, and medical malpractice. We measure sensitivity to game-theoretic prompt framing and ordering, and analyze reasoning patterns driving failures. We further show that game-theoretic interventions improve socially beneficial outcomes by up to 18%. Our results highlight substantial reliability gaps and provide a broad standardized testbed for studying alignment in multi-agent environments.
","absKo":"frontier AI 시스템은 점점 더 강력해지고 있으며, 고위험 multi-agent 환경에 배치되고 있다. 그러나 기존 AI safety benchmark는 대체로 single agent만 평가하여, coordination failure와 conflict 같은 multi-agent risk는 잘 이해되지 않고 있다. 우리는 GT-HarmBench를 제안한다. 이는 Prisoner's Dilemma, Stag Hunt, Chicken 같은 game-theoretic structure를 아우르는 1,535개의 high-stakes scenario benchmark로, MIT AI Risk Repository의 현실적 AI risk context에서 추출되었다. 15개의 frontier model 전반에서 agent는 military escalation, election manipulation, medical malpractice 같은 high-stakes 사례의 38%에서 사회적으로 유익한 행동을 선택하지 못했다. 우리는 game-theoretic prompt framing과 ordering에 대한 민감도를 측정하고, 실패를 유발하는 reasoning pattern을 분석한다. 또한 game-theoretic intervention이 사회적으로 유익한 결과를 최대 18%까지 개선함을 보인다. 우리의 결과는 상당한 reliability gap을 부각하며, multi-agent environment에서의 alignment를 연구하기 위한 폭넓은 표준 테스트베드를 제공한다.","link":"https://openreview.net/forum?id=RNunzKtXKk"},{"id":"hizxbjrwxO","en":"Kantian Equilibrium in the Age of Multi-Agent Systems","ko":"Multi-Agent Systems 시대의 Kantian Equilibrium","authors":"Ivan Samoylenko","abs":"As autonomous agents increasingly operate in multi-agent systems, game-theoretic questions become practically relevant rather than merely conceptual. Agents interact, compete for shared resources, and pursue locally specified goals; their interaction can therefore be studied as a strategic game. Prior work on LLM agents and game theory has largely emphasized Nash-like behavior, where agents maximize individual payoffs or approximately implement best responses. Similarly, much work in reinforcement learning is centered on optimizing a specific, often greedy, objective. However, Nash equilibrium is not the only economically meaningful solution concept, and it does not fully describe cooperative or norm-sensitive behavior. This limitation is especially important in common-resource environments, where individually rational actions can lead to collectively inefficient outcomes. In this context, tragedy-of-the-commons scenarios remain relatively underexplored for LLM agents, but may become important as multi-agent systems increasingly share computational resources, budgets, tools, memory, and API capacity. We raise the question of whether LLM agents can exhibit behavior closer to Kantian equilibrium, a cooperative solution concept inspired by the categorical imperative: agents evaluate actions by considering what would happen if relevant others acted according to the same rule. We instantiate this question in a tragedy-of-the-commons game motivated by local multi-agent deployments with limited shared computational resources. Following the mixed Kantian--Nashian perspective of prior work, we compare payoff-maximizing agents with agents prompted using Kantian formulations, and test whether introducing Kantian agents improves strategies and payoffs. Our results suggest that Kantian reasoning, although with several qualifications, can be reproduced by LLM agents and may be useful for multi-agent deployment. At the same time, the experiment is sensitive to how the Kantian agent is specified, and produces nontrivial cases in which weaker models appear more effective.
","absKo":"자율 agent가 multi-agent system에서 점점 더 많이 작동함에 따라, game-theoretic question은 단지 개념적인 문제가 아니라 실제적으로 중요한 문제가 되었다. Agent는 상호작용하고, 공유 자원을 두고 경쟁하며, 국소적으로 지정된 목표를 추구한다. 따라서 그 상호작용은 strategic game으로 연구될 수 있다. LLM agent와 game theory에 관한 기존 연구는 주로 Nash 유사 행동에 초점을 맞추어 왔는데, 이는 agent가 개인 payoff를 극대화하거나 best response를 근사적으로 구현하는 것이다. 마찬가지로 reinforcement learning의 많은 연구도 특정한, 흔히 greedy한 objective를 최적화하는 데 집중되어 있다. 그러나 Nash equilibrium만이 경제적으로 의미 있는 solution concept은 아니며, cooperative하거나 norm-sensitive한 행동을 충분히 설명하지도 못한다. 이러한 한계는 common-resource environment에서 특히 중요하다. 개인적으로는 합리적인 행동이 집단적으로 비효율적인 결과를 낳을 수 있기 때문이다. 이러한 맥락에서 tragedy-of-the-commons 시나리오는 LLM agent에 대해 상대적으로 덜 탐구되었지만, multi-agent system이 계산 자원, 예산, 도구, memory, API capacity를 점점 더 공유하게 됨에 따라 중요해질 수 있다. 우리는 LLM agent가 Kantian equilibrium에 더 가까운 행동을 보일 수 있는지 질문한다. 이는 categorical imperative에서 영감을 받은 cooperative solution concept으로, agent가 관련된 다른 이들도 같은 rule에 따라 행동한다면 무엇이 일어날지를 고려하여 행동을 평가한다. 우리는 이 질문을 제한된 공유 계산 자원을 가진 local multi-agent deployment에서 동기 부여된 tragedy-of-the-commons game에 구현한다. 기존 연구의 mixed Kantian-Nashian perspective를 따라, 우리는 payoff-maximizing agent와 Kantian formulation으로 프롬프트된 agent를 비교하고, Kantian agent를 도입하는 것이 strategy와 payoff를 향상시키는지 시험한다. 우리의 결과는 몇 가지 조건부 해석을 붙여야 하지만, Kantian reasoning이 LLM agent에 의해 재현될 수 있으며 multi-agent deployment에 유용할 수 있음을 시사한다. 동시에, 실험은 Kantian agent를 어떻게 명세하느냐에 민감하며, 더 약한 model이 더 효과적으로 보이는 비자명한 사례도 만들어 낸다.","link":"https://openreview.net/forum?id=hizxbjrwxO"},{"id":"gxrPZFFD9h","en":"Equilibrium Selection in Multi-Agent Policy Gradients via Opponent-Aware Basin Entry","ko":"상대방 인지 basin 진입을 통한 multi-agent policy gradient의 평형 선택","authors":"Eugene Shcherbinin, Arina Redina, Maxim Kalpin, Vlad Kochetov","abs":"Multi-agent policy-gradient methods have been shown to converge locally near stable Nash equilibria. Local convergence, however, does not determine which equilibrium is reached. We study this question through basin-entry probability with respect to a target set of equilibria selected by an external criterion, such as payoff dominance. For finite-unroll Meta-MAPG, we show that the update decomposes into ordinary policy gradient plus own-learning and peer-learning corrections, with controlled sampling noise and finite-unroll bias. We identify the peer-learning correction as the main equilibrium-selection mechanism: under a local alignment condition, the probability of entering the attraction region of the target stable-Nash set increases, relative to ordinary policy gradient. Because persistent correction may shift zero-update points of the original game, annealing the correction after entering the basin recovers ordinary policy-gradient dynamics and inherits local stable-Nash convergence guarantees. Experiments in Stag Hunt, iterated Prisoner’s Dilemma, and preliminary neural-policy coordination environments support this basin-entry view, showing increased entry into cooperative basins under peer-aware updates.
","absKo":"multi-agent policy-gradient method는 stable Nash equilibrium 근처에서 국소적으로 수렴하는 것으로 보였다. 그러나 local convergence가 어느 equilibrium에 도달하는지를 결정하지는 않는다. 우리는 외부 기준, 예를 들어 payoff dominance에 의해 선택된 target equilibrium 집합에 대한 basin-entry probability를 통해 이 질문을 연구한다. finite-unroll Meta-MAPG에 대해, 업데이트가 ordinary policy gradient와 own-learning 및 peer-learning correction으로 분해되며, sampling noise와 finite-unroll bias가 제어 가능함을 보인다. 우리는 peer-learning correction을 주요 equilibrium-selection mechanism으로 식별한다. local alignment condition 하에서, target stable-Nash 집합의 attraction region에 진입할 확률이 ordinary policy gradient에 비해 증가한다. 지속적인 correction은 원래 게임의 zero-update point을 이동시킬 수 있으므로, basin에 진입한 뒤 correction을 annealing하면 ordinary policy-gradient dynamics를 회복하고 local stable-Nash convergence guarantee를 계승한다. Stag Hunt, iterated Prisoner’s Dilemma, 그리고 예비 neural-policy coordination environment에서의 실험은 이러한 basin-entry 관점을 지지하며, peer-aware update 아래에서 cooperative basin으로의 진입이 증가함을 보여준다.","link":"https://openreview.net/forum?id=gxrPZFFD9h"},{"id":"xYjugYyhMH","en":"Position: Alignment Needs Rule-Class Routing Before Preference Learning","ko":"Position: 정렬에는 선호 학습보다 먼저 규칙-클래스 라우팅이 필요하다","authors":"Zezheng Lin, Jinhao Gan","abs":"This position paper argues that alignment pipelines should classify rules before they aggregate preferences. RLHF, Constitutional AI, DPO, RLAIF, and Deliberative Alignment differ technically, but each tends to turn contested normative input into one global policy. Social-choice theory explains why this is unsafe on unrestricted domains: aggregation can help when there is public convergence, but it cannot decide which questions are eligible for aggregation. Conitzer et al. reframe alignment as social choice; we agree, and argue social choice identifies a boundary, not a solution. Arrow, Gibbard–Satterthwaite, and Sen establish that aggregation over unrestricted value disagreement has no procedure satisfying minimal democratic, strategic, and liberty-preserving conditions. The eligibility decision is institutional: the system designer must state who is authorized to decide whether a rule is aggregable, user-configurable, or non-negotiable. We propose a routing layer for behavioral rules. Class I rules are public prohibitions suitable for aggregation; Class II rules concern reasonable disagreement and should support configurable defaults; Class III rules protect rights or vulnerable users and should be implemented as constraints with appeal mechanisms. The paper connects impossibility results to alignment design, compares current methods through this lens, and gives a six-step routing procedure with a five-item disclosure checklist.
","absKo":"이 position paper는 alignment pipeline이 선호를 집계하기 전에 규칙을 분류해야 한다고 주장한다. RLHF, Constitutional AI, DPO, RLAIF, Deliberative Alignment는 기술적으로 다르지만, 각각은 논쟁적인 규범 입력을 하나의 전역 policy로 바꾸는 경향이 있다. 사회적 선택 이론은 unrestricted domain에서 왜 이것이 안전하지 않은지 설명한다. 집계는 공적 수렴이 있을 때는 도움이 될 수 있지만, 어떤 질문이 집계의 대상이 될 수 있는지는 결정하지 못한다. Conitzer et al.은 alignment를 social choice로 재해석했으며, 우리는 이에 동의하지만 social choice는 해법이 아니라 경계를 식별한다고 주장한다. Arrow, Gibbard–Satterthwaite, Sen은 unrestricted value disagreement에 대한 집계가 최소한의 민주성, 전략성, 자유 보존 조건을 모두 만족하는 절차를 가질 수 없음을 확립했다. eligibility 결정은 제도적 문제다. 시스템 설계자는 어떤 규칙이 aggregable한지, user-configurable한지, 또는 협상의 여지가 없는지 결정할 권한이 누구에게 있는지 명시해야 한다. 우리는 behavioral rules를 위한 routing layer를 제안한다. Class I rule은 집계에 적합한 공적 금지이며, Class II rule은 합리적 disagreement에 관한 것으로 configurable default를 지원해야 하고, Class III rule은 권리 또는 취약한 사용자를 보호하며 appeal mechanism을 갖춘 constraint로 구현되어야 한다. 이 논문은 불가능성 결과를 alignment design과 연결하고, 현행 방법들을 이 관점에서 비교하며, 여섯 단계 routing procedure와 다섯 항목 disclosure checklist를 제시한다.","link":"https://openreview.net/forum?id=xYjugYyhMH"},{"id":"jRUJpASPQJ","en":"PALS: Preference-guided Active Automata Learning for Symbolic Reinforcement Learning in Games","ko":"PALS: 게임에서의 기호적 강화학습을 위한 선호도 유도 능동 오토마타 학습","authors":"William Peter Fishell, Sam Kouteili, Mark Paul Santolucito, Christian Scaff","abs":"We introduce \\textit{PALS} (Preference-guided Active automata Learning
for Symbolic reinforcement learning), an active automata learning
framework that learns fully-symbolic policies for goal-directed games
from a preference oracle and LTL safety specifications. \\textit{PALS}
extends classical L$^*$ by allowing both the hypothesis and the
preference oracle to evolve as queries accumulate, with an MCTS-driven
audit stage that surfaces deviations preferred over the current
hypothesis and a shielding layer that patches the oracle whenever the
hypothesis violates the safety specification. We demonstrate the utility
of \\textit{PALS} on the Taxi Driver game from the Gymnasium benchmark,
evaluate it against standard Q-learning and MCTS baselines on a suite
of game-theoretic benchmarks, and provide a proof sketch establishing
optimality under modest assumptions on the game structure. To the best
of our knowledge, \\textit{PALS} is the first algorithm that fully
symbolically learns reinforcement-learning policies for agents in games
via automata learning.
","absKo":"우리는 \\textit{PALS} (Preference-guided Active automata Learning for Symbolic reinforcement learning)를 소개한다. 이는 preference oracle과 LTL safety specification으로부터 goal-directed game을 위한 fully-symbolic policy를 학습하는 active automata learning framework이다. \\textit{PALS}는 classical L$^*$를 확장하여 query가 축적됨에 따라 hypothesis와 preference oracle이 모두 진화하도록 허용하며, MCTS-driven audit stage를 통해 현재 hypothesis보다 선호되는 deviation을 드러내고, hypothesis가 safety specification을 위반할 때마다 oracle을 패치하는 shielding layer를 포함한다. 우리는 Gymnasium benchmark의 Taxi Driver game에서 \\textit{PALS}의 유용성을 보이고, 게임 이론 benchmark들의 집합에서 standard Q-learning 및 MCTS baseline과 비교 평가하며, 게임 구조에 대한 적절한 가정 하에서 optimality를 확립하는 proof sketch를 제시한다. 우리가 아는 한, \\textit{PALS}는 automata learning을 통해 game 속 agent를 위한 reinforcement-learning policy를 완전히 symbolic하게 학습하는 최초의 알고리즘이다.","link":"https://openreview.net/forum?id=jRUJpASPQJ"},{"id":"WLqC8PfnSc","en":"MafiaPersona: A Multi-Agent Adversarial Benchmark for Evaluating Persona Persistence in Large Language Models","ko":"MafiaPersona: 대규모 언어 모델에서 persona 지속성을 평가하기 위한 멀티에이전트 적대적 벤치마크","authors":"Ojaswi Prakash, Dhruv Kumar, Murari Mandal, Mohan Kankanhalli, Yash Sinha","abs":"Existing evaluations of persona conditioning in large language models (LLMs) test expression in
static, zero-pressure environments—a condition that never holds in safety-critical deployments. We
present MAFIAPERSONA, the first benchmark to evaluate persona persistence under adversarial
concealment pressure. Seven LLM agents play a Mafia social deduction game, each injected
with a psychologically-grounded persona via a three-layer Trait/Behavior/Game-context (T/B/G)
prompt architecture; game mechanics impose a survival cost on trait-revealing speech. Across
five model families (OpenAI, Anthropic, Meta, Alibaba, xAI), the High Neuroticism persona
produced nervousness shifts of d=4.07, 2.79, 2.63, 2.16, 1.80 (all 95% bootstrap CIs exclude zero),
replicating across every architecture. Nine dimensions survived Benjamini–Hochberg correction;
46 persona-dimension pairs replicated in sign across all five families. Pre-registered predictions
matched observed effects in 65.7% of 102 cells (p=0.002). A dual-call CoT architecture (697 traces)
revealed bidirectional cross-modal dissociation: persona signals suppressed from speech but present
in reasoning, and impression-management signals amplified in output beyond internal processing
(84.6% sign agreement, 13 pairs). Two independent methods agreed on persona identity at 26.7% vs.
20% chance (p<0.001; ρ=0.52, p=0.007, 95% CI [0.10, 0.79]). These results constitute the first
empirical characterization of persona persistence under conditions that matter for AI safety.
","absKo":"대형 언어 모델(LLM)에서의 persona conditioning에 대한 기존 평가는 정적인 zero-pressure 환경에서의 표현만을 시험한다. 그런데 안전이 중요한 배포 환경에서는 이런 조건이 결코 성립하지 않는다. 우리는 위장 압박(adversarial concealment pressure) 하에서 persona persistence를 평가하는 첫 번째 벤치마크인 MAFIAPERSONA를 제시한다. 7개의 LLM 에이전트가 Mafia social deduction game을 수행하며, 각 에이전트는 Trait/Behavior/Game-context(T/B/G) 3층 프롬프트 아키텍처를 통해 심리학적으로 근거 있는 persona를 주입받는다. 게임 메커니즘은 trait를 드러내는 발화에 생존 비용을 부과한다. 다섯 개 모델 계열(OpenAI, Anthropic, Meta, Alibaba, xAI) 전반에서 High Neuroticism persona는 nervousness 변화량 d=4.07, 2.79, 2.63, 2.16, 1.80(모두 95% bootstrap CI가 0을 제외)을 보였고, 모든 아키텍처에 걸쳐 재현되었다. Benjamini--Hochberg 보정 후에도 9개 차원이 생존했으며, 46개의 persona-dimension 쌍이 다섯 계열 모두에서 부호(sign)까지 재현되었다. 사전 등록된 예측은 102개 셀 중 65.7%에서 관측된 효과와 일치했다(p=0.002). 이중 호출 CoT 아키텍처(697 traces)는 양방향 cross-modal dissociation을 드러냈다. 즉, persona 신호는 speech에서는 억제되지만 reasoning에는 존재했고, impression-management 신호는 내부 처리보다 출력에서 더 증폭되었다(부호 일치율 84.6%, 13쌍). 두 개의 독립적 방법은 persona identity에 대해 우연 수준 26.7%에 비해 20% chance보다 높은 일치를 보였고(p<0.001; ρ=0.52, p=0.007, 95% CI [0.10, 0.79]), 이는 AI 안전에 중요한 조건에서의 persona persistence를 최초로 실증적으로 특성화한 결과이다.","link":"https://openreview.net/forum?id=WLqC8PfnSc"},{"id":"UEWzrlFyBF","en":"Poker Arena: Multi-Axis Profiling of Strategic Reasoning and Memory in LLMs","ko":"Poker Arena: LLM의 전략적 추론과 memory에 대한 다축 프로파일링","authors":"Pratham Singla, Shivank Garg, VIHAN SINGH","abs":"Strategic reasoning under uncertainty underpins consequential decisions in negotiation, finance, and policy, but prevailing game-play benchmarks collapse heterogeneous reasoning dimensions into a single scalar, leaving the capability structure of frontier LLMs unexamined. We introduce *Poker Arena*, a no-limit Texas Hold'em tournament platform that couples a three-layer memory architecture (within-hand, session, and cross-session) with a nine-axis cognitive profile decomposing strategic reasoning into interpretable dimensions such as bet-sizing calibration and positional awareness. We evaluate seven frontier models across 50 sessions of 1,000 hands and a controlled memory ablation; tournament chips and aggregate axis score order the field differently: Claude Opus 4.6 wins +\\$15,730 chips with 14 first-place finishes, yet ranks only fifth of seven on mean axis score, while persistent memory helps some models and hurts others. These findings show that multi-axis evaluation surfaces capability structure that scalar leaderboards systematically misrank, with cross-dimensional consistency outweighing peak performance on any single axis.
","absKo":"불확실성 하에서의 전략적 추론은 협상, 금융, 정책과 같은 중요한 의사결정의 기반이지만, 기존의 game-play benchmark는 이질적인 추론 차원을 단일 스칼라로 축약해 frontier LLM의 capability structure를 제대로 살피지 못한다. 우리는 *Poker Arena*를 제안한다. 이는 no-limit Texas Hold'em tournament platform으로, 세 층의 memory architecture(within-hand, session, cross-session)와 전략적 추론을 bet-sizing calibration, positional awareness와 같은 해석 가능한 차원으로 분해하는 아홉 개 축의 cognitive profile을 결합한다. 우리는 50개 세션의 1,000 hands와 통제된 memory ablation을 통해 7개의 frontier model을 평가한다. tournament chip과 aggregate axis score는 경쟁 구도를 서로 다르게 순위화한다. Claude Opus 4.6은 +\\$15,730 chips와 14회의 1위 기록으로 우승하지만, mean axis score에서는 7개 중 5위에 그치며, persistent memory는 일부 model에는 도움이 되고 다른 model에는 해가 된다. 이 결과는 다축 평가가 단일 스칼라 leaderboard가 체계적으로 잘못 서열화하는 capability structure를 드러내며, 어떤 하나의 축에서의 최고 성능보다 축 간 일관성이 더 중요함을 보여준다.","link":"https://openreview.net/forum?id=UEWzrlFyBF"},{"id":"lXebi6hKvs","en":"First-Order Efficiency for Probabilistic Value Estimation via A Statistical Viewpoint","ko":"확률적 값 추정을 위한 1차 효율성: 통계적 관점","authors":"Ziqi Liu, Kiljae Lee, Yuan Zhang, Weijing Tang","abs":"Probabilistic values, including Shapley values and semivalues, provide a model-agnostic framework to attribute the behavior of a black-box model to data points or features, with a wide range of applications including explainable artificial intelligence and data valuation.
However, their exact computation requires utility evaluations over exponentially many coalitions, making Monte Carlo approximation essential in modern machine learning applications.
Existing estimators are often developed through different identification strategies, including weighted averages, self-normalized weighting, regression adjustment, and weighted least squares.
Our key observation is that these seemingly distinct constructions share a common first-order error structure, in which the leading term is an augmented inverse-probability weighted influence term determined by the sampling law and a working surrogate function.
This first-order representation yields an explicit expression for the leading mean squared error (MSE), which characterizes how the sampling law and the surrogate jointly determine statistical efficiency.
Guided by this criterion, we propose an Efficiency-Aware Surrogate-adjusted Estimator (EASE) that directly chooses the sampling law and surrogate to minimize the first-order MSE.
We demonstrate that EASE consistently outperforms state-of-the-art estimators for various probabilistic values.
","absKo":"Shapley value와 semivalue를 포함한 probabilistic value는 black-box model의 동작을 데이터 포인트나 feature에 귀속시키기 위한 model-agnostic framework를 제공하며, explainable artificial intelligence와 data valuation을 포함한 폭넓은 응용을 가진다.\n그러나 이를 정확히 계산하려면 지수적으로 많은 coalition에 대한 utility evaluation이 필요하므로, 현대 machine learning 응용에서는 Monte Carlo approximation이 필수적이다.\n기존 estimator들은 weighted average, self-normalized weighting, regression adjustment, weighted least squares 등 서로 다른 identification strategy를 통해 개발되는 경우가 많다.\n우리의 핵심 관찰은 이러한 겉보기에 서로 다른 구성들이 공통된 first-order error structure를 공유한다는 점이며, 이때 선도항은 sampling law와 working surrogate function에 의해 결정되는 augmented inverse-probability weighted influence term이다.\n이 first-order representation은 선도 mean squared error (MSE)의 명시적 표현을 제공하며, sampling law와 surrogate가 함께 통계적 효율성을 어떻게 결정하는지 특성화한다.\n이 기준에 따라 우리는 Efficiency-Aware Surrogate-adjusted Estimator (EASE)를 제안하며, sampling law와 surrogate를 직접 선택해 first-order MSE를 최소화한다.\n우리는 EASE가 다양한 probabilistic value에서 state-of-the-art estimator보다 일관되게 우수함을 보인다.","link":"https://openreview.net/forum?id=lXebi6hKvs"},{"id":"8DB0njD7mK","en":"Scaling Laws for Strategic Interactions","ko":"전략적 상호작용의 scaling law","authors":"Joie Zhang, Danqi Chen, Peter Henderson, Lewis Hammond","abs":"LLM agents are becoming autonomous and ubiquitous, moving us toward a world where agent-agent interactions carry real consequences for the people and institutions they represent. These interactions will be strategic, mixed-motive, and structurally diverse, involving agents that differ in capability and number. We introduce three new multi-turn negotiation games grounded in representative real-world scenarios, designed such that we can run scaling law-style sweeps that systematically vary agent capability, number of agents, and degree of competition. Across 5,000+ runs and 30+ models, we find that more capable agents (by LMArena Elo) reliably achieve higher payoff. When the game structure is fundamentally cooperative, this raises the payoff of other agents jointly, but in competitive game settings, these gains come at the expense of weaker agents. As we scale to settings with more agents, raising the capability of an entire group lifts all payoffs and lowers Gini inequality; however, raising the capability of only a single agent widens the gap between itself and the rest. Through qualitative analysis, we find that emotional persuasion tactics and ability to identify trade and compromise opportunities are the behaviours most strongly correlated with higher payoff, more so than logical persuasion and stubborn self-interest. The code to our experiments can be found at \\url{https://github.com/joie-zhang/bargain}.
","absKo":"LLM agent는 점점 더 자율적이고 보편화되고 있으며, 이는 agent-agent interaction이 자신이 대표하는 사람과 기관에 실질적 결과를 가져오는 세계로 우리를 이끌고 있다. 이러한 상호작용은 전략적이고, mixed-motive이며, 구조적으로 다양할 것이고, capability와 수가 서로 다른 agent들을 포함하게 된다. 우리는 대표적인 실제 시나리오에 기반한 세 가지 새로운 multi-turn negotiation game을 제안하며, agent capability, agent 수, 경쟁 정도를 체계적으로 변화시키는 scaling law 스타일 sweep을 수행할 수 있도록 설계했다. 5,000회가 넘는 실행과 30개 이상의 모델을 통해, 더 유능한 agent(LMArena Elo 기준)가 더 높은 payoff를 안정적으로 달성함을 보인다. 게임 구조가 본질적으로 cooperative할 때는 이것이 다른 agent들의 공동 payoff도 높이지만, 경쟁적 게임 설정에서는 이러한 이득이 더 약한 agent의 희생 위에서 발생한다. 더 많은 agent를 포함하는 설정으로 확장할수록, 한 그룹 전체의 capability를 높이는 것은 모든 payoff를 끌어올리고 Gini inequality를 낮춘다. 그러나 단일 agent의 capability만 높이면 그 agent와 나머지 사이의 격차가 커진다. 질적 분석을 통해, emotional persuasion tactics와 trade 및 compromise opportunity를 식별하는 능력이 logical persuasion과 완고한 자기이익보다 더 강하게 높은 payoff와 상관됨을 발견했다. 실험 코드는 \\url{https://github.com/joie-zhang/bargain}에서 확인할 수 있다.","link":"https://openreview.net/forum?id=8DB0njD7mK"},{"id":"W1Ta00wVlK","en":"Attention as Natural Gradient: In-Context Mirror Descent for Opponent Modelling","ko":"주의는 natural gradient: 상대방 모델링을 위한 in-context mirror descent","authors":"Alexander Chernyavskiy, Natalia Gusarova, Aleksandra Vatian","abs":"Multi-agent learning of agentic models faces a fundamental tension: agents must learn to adapt efficiently to their opponents at the test time. Recent work has shown that sequence models can learn to infer opponent strategies in context from the interaction history alone; however, the mechanism behind this behaviour remains poorly understood despite strong empirical evidence. In this position paper, we argue that the in-context learning of transformer-based multi-agent policies can be perceived as entropy-regularised mirror descent on the Fisher-Rao manifold of opponent strategies. Building on the findings of \\citet{d2026transformers} providing a constructive proof that transformers implement mirror descent for the latent mixture models, we identify opponent types as the latent variables and interaction histories as the observed sequences where each attention layer can be interpreted as performing an implicit step of belief updating over opponent prototypes, with the SoftMax attention weights serving as updated mixture weights. The fixed points of this single-agent belief dynamics correspond to self-consistent predictions; at the joint level, these correspond to Predictive Equilibria \\citep{weis2026multi} when all agents satisfy this condition. We hope that this position can suggest that standard self-supervised interaction sequence prediction on diverse opponent pools suffices for the induction of a theory-of-mind-like opponent reasoning, bridging the gap between agent modelling and equilibrium-based multi-agent learning. A toy experiment on the Iterated Prisoner's Dilemma supports these geometric predictions.
","absKo":"에이전트형 모델의 multi-agent learning은 근본적인 긴장에 직면한다. 시험 시점에 에이전트는 상대에 효율적으로 적응하는 법을 배워야 한다. 최근 연구는 sequence model이 interaction history만으로 context 내에서 상대 전략을 추론할 수 있음을 보여주었지만, 이 동작의 메커니즘은 강한 실증적 증거에도 불구하고 아직 충분히 이해되지 않았다. 본 위치 논문에서는 transformer 기반 multi-agent policy의 in-context learning을 상대 전략의 Fisher-Rao manifold 위에서의 entropy-regularised mirror descent로 볼 수 있다고 주장한다. \\citet{d2026transformers}가 latent mixture model에 대해 transformer가 mirror descent를 구현함을 구성적으로 증명한 결과에 기반하여, 우리는 opponent type을 latent variable로, interaction history를 관측 sequence로 식별한다. 여기서 각 attention layer는 opponent prototype에 대한 belief updating의 암묵적 step으로 해석될 수 있으며, SoftMax attention weight는 갱신된 mixture weight 역할을 한다. 이러한 단일 에이전트 belief dynamics의 fixed point는 self-consistent prediction에 해당한다. joint level에서는 모든 에이전트가 이 조건을 만족할 때 이것이 Predictive Equilibria \\citep{weis2026multi}에 대응한다. 우리는 이 위치가 다양한 opponent pool에 대한 표준 self-supervised interaction sequence prediction만으로도 theory-of-mind와 유사한 opponent reasoning을 유도하기에 충분하며, agent modeling과 equilibrium 기반 multi-agent learning 사이의 간극을 메울 수 있음을 시사하길 바란다. Iterated Prisoner's Dilemma에서의 toy experiment는 이러한 기하학적 예측을 뒷받침한다.","link":"https://openreview.net/forum?id=W1Ta00wVlK"},{"id":"1qBCuQMX9l","en":"LERA: LLM-Enhanced RAG for Ad Auction in Generative Chatbots","ko":"LERA: 생성형 챗봇의 광고 입찰을 위한 LLM-강화 RAG","authors":"Haoran Sun, Xinrui Song, Xinyu Zhang, Zhaohua Chen, Xu Chu, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Xiaotie Deng","abs":"The integration of advertising auction mechanisms into large language model (LLM)-based chatbots presents a significant opportunity for commercialization, yet poses unique challenges in balancing relevance, efficiency, and user experience. Recently, Feizi et al. and Hajiaghayi et al. outlined a retrieve-then-generate paradigm that decouples retrieval and generation, offering lightweight ad insertion and payment determination. However, current retrieval relies solely on text embedding similarity, which may lead to commercial misinterpretation and issues such as repetitive insertions. In this paper, we propose LERA, a two-stage retrieve-then-generate auction framework tailored for LLM chatbots. In the first stage, embedding-based coarse filtering pre-selects a small set of candidate advertisers. In the second stage, the LLM itself is queried with a designed prompt to produce logits over candidates, which serve as refined organic relevance scores. These scores are combined with bids, and a critical-value payment rule accounts for both the coarse-filtering and fine-ranking thresholds, ensuring truthfulness for utility-maximizing advertisers. The framework naturally extends to multiple ad insertions within dynamic dialogue flows and long responses. Experiments on a synthetic advertiser-query benchmark show that LERA substantially improves ad selection accuracy and insertion diversity while incurring controllable latency overhead.
","absKo":"LLM 기반 chatbot에 advertising auction mechanism을 통합하는 것은 상용화 측면에서 중요한 기회를 제공하지만, relevance, efficiency, user experience 사이의 균형을 맞추는 데 독특한 과제를 제시한다. 최근 Feizi et al.과 Hajiaghayi et al.은 retrieval과 generation을 분리하는 retrieve-then-generate 패러다임을 제시하여, 경량 ad insertion과 payment determination을 가능하게 했다. 그러나 현재의 retrieval은 text embedding similarity에만 의존하므로, 상업적 오해나 반복적 삽입과 같은 문제가 발생할 수 있다. 본 논문에서는 LLM chatbot에 맞춘 2단계 retrieve-then-generate auction framework인 LERA를 제안한다. 첫 번째 단계에서는 embedding 기반의 coarse filtering으로 소수의 candidate advertiser를 사전 선택한다. 두 번째 단계에서는 LLM 자체에 설계된 prompt를 입력하여 후보들에 대한 logits를 생성하고, 이를 정제된 organic relevance score로 사용한다. 이 점수들은 bid와 결합되며, critical-value payment rule은 coarse filtering과 fine ranking threshold를 모두 반영하여 utility-maximizing advertiser에 대한 truthfulness를 보장한다. 이 framework는 dynamic dialogue flow와 긴 response 내에서 여러 ad insertion으로 자연스럽게 확장된다. synthetic advertiser-query benchmark에서의 실험은 LERA가 제어 가능한 latency overhead만으로 ad selection accuracy와 insertion diversity를 크게 향상시킴을 보여준다.","link":"https://openreview.net/forum?id=1qBCuQMX9l"},{"id":"M4snBwmVtn","en":"A Causal Approach to Game Theory","ko":"게임 이론에 대한 인과적 접근","authors":"Aurghya Maiti, Prateek Jain, Elias Bareinboim","abs":"The tension between rational and irrational behaviors in human decision-making has been acknowledged across a wide range of disciplines, from philosophy to psychology, neuroscience to behavioral economics. Models of multi-agent interactions, such as von Neumann and Morgenstern's expected utility theory and Nash’s game theory, provide rigorous mathematical frameworks for how agents should behave when rationality is sought. However, the rationality assumption has been extensively challenged, as human decision-making is often irrational, influenced by biases, emotions, and uncertainty, which may even have a positive effect in certain cases. Behavioral economics, for example, attempts to explain such irrational behaviors, including Kahneman's dual-process theory and Thaler's nudging concept, and accounts for deviations from rationality. In this paper, we analyze this tension through a causal lens and develop a framework that accounts for rational and irrational decision-making, which we term *Causal Game Theory*. We then introduce a novel notion called counterfactual rationality, which allows agents to make choices leveraging their irrational tendencies. We extend the notion of Nash Equilibrium to counterfactual actions and Pearl Causal Hierarchy (PCH), and show that strategies following counterfactual rationality dominate strategies based on standard game theory. We further develop an algorithm to learn such strategies when not all information about other agents is available.
","absKo":"인간 의사결정에서 합리적 행동과 비합리적 행동 사이의 긴장은 철학에서 심리학, 신경과학에서 행동경제학에 이르기까지 다양한 학문 분야에서 인식되어 왔다. von Neumann과 Morgenstern의 expected utility theory, Nash의 game theory와 같은 multi-agent interaction model은 합리성이 추구될 때 agent가 어떻게 행동해야 하는지에 대한 엄밀한 수학적 틀을 제공한다. 그러나 합리성 가정은 광범위하게 도전받아 왔는데, 인간의 의사결정은 종종 bias, emotion, uncertainty의 영향을 받는 비합리적 양상을 보이며, 특정 경우에는 오히려 긍정적인 효과를 낳을 수도 있기 때문이다. 예를 들어 행동경제학은 Kahneman의 dual-process theory와 Thaler의 nudging 개념을 포함한 이러한 비합리적 행동을 설명하고, 합리성에서의 일탈을 다룬다. 이 논문에서는 인과적 관점에서 이러한 긴장을 분석하고, 합리적 및 비합리적 의사결정을 모두 설명하는 프레임워크를 개발하는데, 이를 *Causal Game Theory*라고 부른다. سپس 우리는 counterfactual rationality라는 새로운 개념을 도입하여 agent가 자신의 비합리적 경향을 활용해 선택을 할 수 있도록 한다. 우리는 Nash Equilibrium의 개념을 counterfactual action과 Pearl Causal Hierarchy(PCH)로 확장하고, counterfactual rationality를 따르는 strategy가 표준 game theory에 기반한 strategy를 지배함을 보인다. 또한 다른 agent에 대한 모든 정보가 उपलब्ध하지 않을 때 이러한 strategy를 학습하는 algorithm을 추가로 개발한다.","link":"https://openreview.net/forum?id=M4snBwmVtn"},{"id":"xFNDnnuTSf","en":"EngineLab: Evaluating Strategic Generalization Under Rule Shifts","ko":"EngineLab: 규칙 변화 하에서의 전략적 일반화 평가","authors":"Tianyi Evans Gu, Lucas Yuan","abs":"Strategies that work well in one game don't necessarily transfer to another. Yet we lack testbeds that isolate which rule changes break which strategies. We introduce EngineLab, a benchmark designed to study this question using chess variants as controlled perturbations of the traditional rule set. In EngineLab, we build agents from different combinations of strategic features and have them compete in round-robin tournaments, with each feature's importance measured via an empirical Banzhaf power index. Across seven variants, dominant strategies vary considerably: a feature that helps in one regime often hurts in another, and the top-ranked feature differs in 5 of 7 variants. An EXP3 bandit learner settles on the best strategy over 10x faster in some variants than in others. To test transfer directly, we warm-start the learner on one variant and evaluate it on another. Across a full transfer matrix of 42 directed pairs with 5 seeds each, this helps between structurally similar regimes but hurts when the source has an inverted objective (e.g., Antichess, whose goal is to lose material). GPT-4o, when asked to predict feature rankings from rule descriptions, ranks them no better than chance (Kendall tau = +0.08 by overgeneralizing from standard-game priors. These results suggest that strategic value is closely tied to a game's rules, making rule-shifted games a controlled benchmark for studying strategic transfer.
","absKo":"한 게임에서 잘 작동하는 전략이 다른 게임으로 반드시 전이되는 것은 아니다. 그러나 어떤 규칙 변화가 어떤 전략을 무너뜨리는지 분리해 검증할 수 있는 testbed는 부족하다. 우리는 전통적인 규칙 집합에 대한 통제된 perturbation으로서 chess variants를 사용해 이 질문을 연구하기 위해 설계된 benchmark인 EngineLab을 소개한다. EngineLab에서는 서로 다른 전략적 feature 조합으로 agent를 구성해 round-robin tournament에서 경쟁시키며, 각 feature의 중요도는 empirical Banzhaf power index로 측정한다. 7개의 variant 전반에서 지배적 전략은 상당히 크게 달라진다. 한 regime에서는 도움이 되는 feature가 다른 regime에서는 해가 되는 경우가 많고, 최상위 feature는 7개 variant 중 5개에서 서로 다르다. EXP3 bandit learner는 어떤 variant에서는 다른 variant들보다 10배 이상 빠르게 최적 전략에 수렴한다. 전이를 직접 시험하기 위해 우리는 한 variant에서 learner를 warm-start한 뒤 다른 variant에서 평가했다. 5개의 seed를 사용한 42개의 방향성 pair로 이루어진 전체 transfer matrix 전반에서, 이 방법은 구조적으로 유사한 regime에서는 도움이 되지만 source의 목적이 뒤집혀 있는 경우에는 해가 된다(예: material을 잃는 것이 목표인 Antichess). GPT-4o에 rule description으로부터 feature ranking을 예측하도록 시켰을 때, standard game priors에서 과도하게 일반화한 탓에 무작위 수준보다 낫지 않은 순위를 내놓았다(Kendall tau = +0.08). 이러한 결과는 전략적 가치가 게임의 규칙과 밀접하게 연결되어 있음을 시사하며, rule-shifted game이 strategic transfer를 연구하기 위한 통제된 benchmark가 될 수 있음을 보여준다.","link":"https://openreview.net/forum?id=xFNDnnuTSf"},{"id":"TZFxoLhycA","en":"AgentSociety: Incentivizing Agentic Social Intelligence","ko":"AgentSociety: Agentic social intelligence를 유도하기","authors":"Aditya Vema Reddy Kesari, Krishna Reddy Kesari","abs":"The success of deployed agents relies on their ability to handle open-ended user requests using their inherent capabilities, not only in solving requests directly but also in effectively leveraging inter-agent communication channels and feedback signals over time. This requires a multi-agent environment where agents can operate autonomously, strategically communicate, behave collaboratively and be driven by economic incentives, much like humans in society. Towards this vision, we propose ${\\texttt{\\textbf{AgentSociety}}}$, a mechanism that enables decentralized agentic collaboration grounded in liquid democracy and information diffusion from social choice theory. We show that ${\\texttt{\\textbf{AgentSociety}}}$ provides an environment for agents to make autonomous decisions utilizing their local context to maximize their utility while achieving collective outcomes through incentivized collaboration. Specifically, we prove that delegation to more competent neighbor agents is incentive compatible and naturally generates multi-agent routing path by consensus. Additionally, our mechanism incentivizes agents to selectively disclose information to their neighbor agents when doing so aligns with their self-interest, so as to garner influence. We characterize the Nash equilibrium showing that agent payoffs are reflective of their marginal contributions. We compare and benchmark strategy profiles adopted by open and proprietary state-of-the-art language models deployed in ${\\texttt{\\textbf{AgentSociety}}}$ against best response. Finally, we evaluate collaborative performance from consensus-based routing among self-interested heterogeneous agents in ${\\texttt{\\textbf{AgentSociety}}}$ on real-world datasets.
","absKo":"배포된 agent의 성공은 내재된 capability를 사용해 열린 형태의 사용자 요청을 처리하는 능력에 달려 있다. 이는 요청을 직접 해결하는 것뿐 아니라, agent 간 communication channel과 feedback signal을 시간에 따라 효과적으로 활용하는 능력까지 포함한다. 이를 위해서는 agent가 자율적으로 작동하고, 전략적으로 소통하며, 협력적으로 행동하고, 사회 속 인간처럼 경제적 인센티브에 의해 움직일 수 있는 multi-agent environment가 필요하다. 이러한 비전을 향해 우리는 사회적 선택 이론의 liquid democracy와 information diffusion에 기반한 탈중앙화 agentic collaboration을 가능하게 하는 메커니즘 ${\\texttt{\\textbf{AgentSociety}}}$를 제안한다. 우리는 ${\\texttt{\\textbf{AgentSociety}}}$가 agent가 지역적 context를 활용해 utility를 극대화하는 동시에, 인센티브가 부여된 협업을 통해 집단적 결과를 달성할 수 있는 environment를 제공함을 보인다. 구체적으로, 더 유능한 이웃 agent에게 delegation하는 것은 incentive compatible하며, 합의(consensus)를 통해 자연스럽게 multi-agent routing path를 생성함을 증명한다. 또한 우리의 메커니즘은 자기 이익과 부합할 때 이웃 agent에게 정보를 선택적으로 공개하도록 agent에 인센티브를 부여해 영향력을 얻도록 한다. 우리는 agent payoff가 그들의 marginal contribution을 반영함을 보이는 Nash equilibrium을 특성화한다. 이어서 ${\\texttt{\\textbf{AgentSociety}}}$에 배치된 open 및 proprietary state-of-the-art language model이 채택한 strategy profile을 best response와 비교하고 benchmark한다. 마지막으로, ${\\texttt{\\textbf{AgentSociety}}}$에서 self-interested heterogeneous agent 간 consensus-based routing이 실제 데이터셋에서 보이는 collaborative performance를 평가한다.","link":"https://openreview.net/forum?id=TZFxoLhycA"},{"id":"4MJXl86Nyy","en":"Sequential Minimax Games as Stacked Martingale Optimal Transport","ko":"연속 Minimax Game을 중첩된 Martingale Optimal Transport로 보기","authors":"Ethan Chen","abs":"We study sequential minimax option-pricing games with a variance-constrained zero-mean adversary and player actions bounded by $|\\Delta_m|\\leq B<L$. The value-function Lipschitz constant grows exactly as $B+(L-B)(1+h_n)^{n-m}$, where $h_n=\\sqrt{e^{c/n}-1}$, yielding a bounded-capital premium of order $\\Theta((L{-}B)e^{\\sqrt{cn}}s)$ for piecewise-linear losses. Under the standing calibration $\\zeta_n=h_n$, this further sharpens to an exact boundary-layer identity beyond an explicit threshold. These results show that any strict action bound $B<L$ forces $\\Theta(e^{\\sqrt{cn}})$ divergence, so no finite PDE limit remains. Equivalently, every $B$-bounded strategy incurs pathwise regret $\\Omega(e^{\\sqrt{cn}})$ against the $L$-bounded hindsight comparator class. We also analyze the aggregate-budget variant $\\sum_m|\\Delta_m|\\leq nB$, where matching bounds give the smaller rate $Ls\\exp((L{-}B)\\sqrt{cn}/L-(L{-}B)c/(2L))(1+o(1))$. The analysis proceeds by realizing the $n$-step game through backward induction as stacked one-step entropic martingale optimal transport problems, whose dual variables recover the player's optimal actions.
","absKo":"우리는 분산이 제약된 zero-mean adversary와 $|\\Delta_m|\\leq BRole-semantic assignments provide priors over how heterogeneous agents may coordinate, but cooperative MARL systems instead settle on conventions through decentralized, non-stationary learning, with no guarantee that the resulting structure matches those priors. We study this translation gap between theory-informed role expectations and learned coordination structure through a diagnostic combining a role-routing matrix, formation sensitivity (Δₘₐₓ), and gradient/occlusion attribution across three-role MiniGrid and SMACv2 (Terran) environments.
We show that label-conditioned attention produces substantially more concentrated and role-specific routing than flat MLP baselines, remains stable under 3v3--9v9 scaling, transfers zero-shot across team sizes, and is invariant to ally-slot padding. A 5-seed re-evaluation shows partial alignment between learned conventions and designer-specified priors while revealing where small-n noise can manufacture apparent strategic divergence. We present these results as an empirical framework for measuring coordination structure in cooperative MARL rather than as a new equilibrium concept or causal explanation.
","absKo":"역할-의미적 할당은 이질적인 agent가 어떻게 협력할 수 있는지에 대한 prior를 제공하지만, cooperative MARL 시스템은 대신 분산적이고 비정상적인(non-stationary) 학습을 통해 관례를 형성하며, 그 결과 구조가 이러한 prior와 일치한다는 보장은 없다. 우리는 role-routing matrix, formation sensitivity(Δₘₐₓ), 그리고 세 역할 MiniGrid와 SMACv2(Terran) 환경 전반의 gradient/occlusion attribution을 결합한 진단을 통해, 이론적으로 기대된 role과 학습된 coordination structure 사이의 translation gap을 연구한다.\n\n우리는 label-conditioned attention이 flat MLP baseline보다 훨씬 더 집중되고 role-specific한 routing을 생성하며, 3v3--9v9 scaling에서도 안정적이고, team size 간 zero-shot transfer가 가능하며, ally-slot padding에 대해 불변임을 보인다. 5-seed 재평가에서는 학습된 관례와 설계자가 지정한 prior 사이의 부분적 정합성을 보이면서, 작은 n에서의 noise가 어떻게 전략적 발산처럼 보이는 현상을 만들어낼 수 있는지도 드러난다. 우리는 이 결과를 새로운 equilibrium concept이나 인과적 설명이 아니라, cooperative MARL에서 coordination structure를 측정하기 위한 실증적 framework로 제시한다.","link":"https://openreview.net/forum?id=JpqbBp9xzK"},{"id":"mbstEcHW0R","en":"Mechanism-Inspired Aggregation for Multi-Agent Alpha Discovery: Optimizing Agent Distributions in Heterogeneous LLM Markets","ko":"다중 에이전트 alpha 발굴을 위한 메커니즘 영감 집계: 이질적 LLM 시장에서 에이전트 분포 최적화","authors":"Ajitabh Kumar","abs":"We study multi-agent stock selection as a mechanism-inspired adaptive aggregation problem: a principal-like optimizer allocates aggregation weight across heterogeneous LLM-powered investor types to maximize predictive alpha. Responding to the need for clearer benchmarks in strategic AI systems, we provide a transparent empirical stress test of the MASS (Multi-Agent Simulation Scaling) framework across optimizer choices, agent scales, markets, seeds, and simple controls. At 64 agents on a China A-share pool, the original simulated-annealing baseline remains strongest among the tested aggregation variants (10d Rank IC $0.033 \\pm 0.010$ vs. $0.023 \\pm 0.006$ and $0.021 \\pm 0.004$ for CMA-ES variants). At 512 agents, CMA-ES improves over matched simulated annealing on average in both China ($0.028 \\pm 0.021$ vs. $0.011 \\pm 0.015$) and S\\&P 500 ($0.0139 \\pm 0.0067$ vs. $0.0095 \\pm 0.0063$), but the margins are noisy and do not establish a monotonic scaling law. Component and simple non-LLM controls show that consensus is often the stable positive component, while low-disagreement terms can suppress useful signal. These results position adaptive aggregation over heterogeneous LLM agents as an empirical testbed for mechanism-design-inspired questions, while stopping short of formal equilibrium or strategy-proofness claims.
","absKo":"우리는 multi-agent stock selection을 mechanism-inspired adaptive aggregation 문제로 연구한다. 즉, principal-like optimizer가 이질적인 LLM 기반 investor type 전반에 aggregation weight를 배분하여 predictive alpha를 최대화한다. 전략적 AI system에 대해 더 명확한 benchmark가 필요하다는 요구에 응답하여, 우리는 optimizer 선택, agent scale, market, seed, 그리고 단순 control 전반에서 MASS(Multi-Agent Simulation Scaling) framework에 대한 투명한 empirical stress test를 제공한다. China A-share pool에서 64 agents일 때, 원래의 simulated-annealing baseline은 시험한 aggregation variant 중 가장 강력하며(10d Rank IC $0.033 \\pm 0.010$ vs. CMA-ES variant의 $0.023 \\pm 0.006$ 및 $0.021 \\pm 0.004$), 512 agents에서는 CMA-ES가 China($0.028 \\pm 0.021$ vs. $0.011 \\pm 0.015$)와 S\\&P 500($0.0139 \\pm 0.0067$ vs. $0.0095 \\pm 0.0063$) 모두에서 matched simulated annealing보다 평균적으로 개선되지만, 그 차이는 잡음이 크고 단조로운 scaling law를 입증하지는 못한다. component 및 단순 non-LLM control은 consensus가 종종 안정적인 positive component이며, disagreement가 낮은 항은 유용한 signal을 억제할 수 있음을 보여준다. 이러한 결과는 이질적인 LLM agent 위의 adaptive aggregation을 mechanism-design-inspired 질문을 위한 empirical testbed로 자리매김시키지만, formal equilibrium이나 strategy-proofness claim까지는 나아가지 않는다.","link":"https://openreview.net/forum?id=mbstEcHW0R"},{"id":"C1zfSQbsmp","en":"Fair Robust Strategic Classification under Decision-Dependent Cost Uncertainty","ko":"의사결정 종속 비용 불확실성 하의 공정하고 강건한 전략적 분류","authors":"Sura Alhanouti, Guzin Bayraksan, Parinaz Naghizadeh","abs":"Humans are increasingly finding ways to strategically respond to algorithmic decision systems, raising concerns about the robustness and fairness of AI systems in critical contexts. Existing works on fair strategic classification, which aim to address these concerns,
have largely focused on *static and known* cost environments. We instead propose a framework for *endogenously evolving and uncertain* cost environments, where strategic costs evolve over time in response to past decisions. We model the firm's fair classifier design problem as a two-stage robust optimization problem with decision-dependent uncertainty and endogenously evolving costs under the demographic parity (DP)-fairness constraint. We develop an analytically supported reformulation of the fairness constraint, enabling the solution of the resulting classifier design problem. Our analysis highlights trade-offs between robustness and fairness across stages and demographic groups, notably an asymmetric robustness that preserves stronger protections from disadvantaged groups.
","absKo":"사람들은 알고리즘 의사결정 시스템에 전략적으로 대응하는 방법을 점점 더 찾아가고 있으며, 이는 중요한 맥락에서 AI 시스템의 견고성과 공정성에 대한 우려를 낳고 있다. 이러한 우려를 다루기 위한 공정한 strategic classification 관련 기존 연구는 대체로 *정적이고 알려진* 비용 환경에 초점을 맞춰 왔다. 우리는 대신 과거 의사결정에 반응하여 전략적 비용이 시간에 따라 변화하는 *내생적으로 진화하고 불확실한* 비용 환경을 위한 프레임워크를 제안한다. 우리는 기업의 공정 classifier 설계 문제를 demographic parity (DP) 공정성 제약 하에서 decision-dependent uncertainty와 내생적으로 진화하는 비용을 갖는 2단계 robust optimization 문제로 모델링한다. 우리는 공정성 제약에 대한 해석적으로 뒷받침된 reformulation을 개발하여, 그 결과로 생기는 classifier 설계 문제를 풀 수 있게 한다. 우리의 분석은 단계와 demographic group 전반에서 robustness와 fairness 사이의 trade-off를 강조하며, 특히 약한 집단에 대한 더 강한 보호를 유지하는 비대칭적 robustness를 보여준다.","link":"https://openreview.net/forum?id=C1zfSQbsmp"},{"id":"za14NItnbS","en":"Markov Chain from Human Feedback","ko":"인간 피드백에서의 마르코프 체인","authors":"Takuya Koriyama, Tengyuan Liang","abs":"We propose Markov Chain from Human Feedback (MCHF), an elementary approach for aligning generative models from pairwise human preferences. Unlike Reinforcement Learning from Human Feedback (RLHF), which reduces comparisons to a scalar reward, and Nash Learning from Human Feedback (NLHF), which preserves pairwise utilities through a KL-regularized minimax optimization, MCHF uses pairwise preferences directly to define a transition mechanism over model outputs. Given a pairwise utility U(x,y), which quantifies human preference for y over x, and a reference probability distribution mu_ref, we define a Markov kernel P(x,dy) proportional to exp(U(x,y)) mu_ref(dy), and take the Markov chain starting from mu_ref as an iterative alignment procedure. We show that MCHF converges geometrically fast to the stationary distribution, with a convergence rate governed by the seminorm ||U||_oplus = inf_{g,f} ||U - g oplus f||_infty, which quantifies the non-transitive structure of the pairwise utility. We further show that a mirror-descent algorithm for NLHF satisfies an analogous structure-adaptive convergence guarantee. Finally, we prove that when ||U||_oplus is small, MCHF and NLHF agree up to first order around an RLHF solution, which yields a unified view of reward-based, game-theoretic, and Markovian approaches to alignment.
In particular, for two natural algorithms that converge to the MCHF/NLHF equilibria, we show that the first step of MCHF and NLHF recovers the RLHF solution based on the column-sum reward f_hat(y) = integral mu_ref(dx) U(x,y), and starting from the second iteration, both algorithms incorporate the same linear functional of the residual U - (-f_hat) oplus f_hat, which captures the non-transitive structure of the pairwise utility U.
","absKo":"우리는 Markov Chain from Human Feedback(MCHF)를 제안합니다. 이는 pairwise human preference로부터 generative model을 정렬하는 기본적인 접근법입니다. scalar reward로 비교를 축약하는 Reinforcement Learning from Human Feedback(RLHF)와, KL-regularized minimax optimization을 통해 pairwise utility를 보존하는 Nash Learning from Human Feedback(NLHF)와 달리, MCHF는 pairwise preference를 직접 사용하여 model output 위의 transition mechanism을 정의합니다. 인간이 x보다 y를 선호하는 정도를 정량화하는 pairwise utility U(x,y)와 reference probability distribution mu_ref가 주어졌을 때, 우리는 Markov kernel P(x,dy)를 exp(U(x,y)) mu_ref(dy)에 비례하도록 정의하고, mu_ref에서 시작하는 Markov chain을 반복적 alignment procedure로 사용합니다. 우리는 MCHF가 stationary distribution으로 기하급수적으로 빠르게 수렴함을 보이며, 그 수렴 속도는 pairwise utility의 비전이적(non-transitive) 구조를 정량화하는 seminorm ||U||_oplus = inf_{g,f} ||U - g oplus f||_infty에 의해 결정됨을 보입니다. 또한 NLHF를 위한 mirror-descent algorithm도 유사한 구조 적응적 수렴 보장을 만족함을 보입니다. 마지막으로, ||U||_oplus가 작을 때 MCHF와 NLHF는 RLHF solution 주변에서 first order까지 일치함을 증명하며, 이를 통해 reward-based, game-theoretic, Markovian alignment 접근법을 통합적으로 이해할 수 있음을 보입니다.\n\n특히, MCHF/NLHF equilibrium으로 수렴하는 두 가지 자연스러운 algorithm에 대해, 우리는 MCHF와 NLHF의 첫 단계가 column-sum reward f_hat(y) = integral mu_ref(dx) U(x,y)에 기반한 RLHF solution을 복원함을 보입니다. 그리고 두 번째 iteration부터는 두 algorithm 모두 pairwise utility U의 비전이적 구조를 포착하는 residual U - (-f_hat) oplus f_hat의 동일한 linear functional을 통합합니다.","link":"https://openreview.net/forum?id=za14NItnbS"},{"id":"utOxVc3q33","en":"Signaling in Data Markets via Free Samples","ko":"무료 샘플을 통한 데이터 마켓에서의 신호 전달","authors":"Nivasini Ananthakrishnan, Alireza Fallah, Michael I. Jordan","abs":"We study a setting in which a data buyer seeks to estimate an unknown parameter by purchasing samples from one of $K$ data sellers. Each seller has privately known data quality (e.g., high vs. low variance) and a private per-sample cost. We consider a multi-stage game in which the first stage is a free-trial stage in which the sellers have the option of signaling data quality by offering a few samples of data for free. Buyers update their beliefs based on the sample variance of the free data and then run a procurement auction to buy data in a second stage. For the auction stage, we characterize an approximately optimal Bayesian incentive compatible mechanism: the buyer selects a single seller by minimizing a belief-adjusted virtual cost and chooses the purchased sample size as a function of posterior quality and virtual cost. For the free-trial stage, we characterize the equilibrium, taking the above mechanism as the continuation game. Free trials may fail to emerge: for some parameters, all sellers reveal zero samples. However, under sufficiently strong competition (large $K$), there is an equilibrium in which sellers reveal the maximum allowable number of samples; in fact, it is the unique equilibrium.
","absKo":"우리는 데이터 구매자가 $K$개의 data seller 중 하나로부터 sample을 구매하여 미지의 parameter를 추정하려는 설정을 연구한다. 각 seller는 privately known data quality(예: high vs. low variance)와 private per-sample cost를 가진다. 우리는 첫 번째 단계가 free-trial stage인 multi-stage game을 고려하는데, 여기서 seller는 몇 개의 data sample을 무료로 제공함으로써 data quality를 신호로 보일 수 있다. buyer는 free data의 sample variance를 바탕으로 belief를 업데이트한 뒤, 두 번째 단계에서 procurement auction을 통해 데이터를 구매한다. auction stage에 대해서는, 우리는 approximately optimal Bayesian incentive compatible mechanism을 특징짓는다. buyer는 belief-adjusted virtual cost를 최소화하는 단일 seller를 선택하고, posterior quality와 virtual cost의 함수로 구매할 sample size를 결정한다. free-trial stage에 대해서는, 위 메커니즘을 continuation game으로 두고 equilibrium을 특징짓는다. Free trial은 반드시 나타나는 것은 아니다. 일부 parameter에서는 모든 seller가 zero sample만을 공개한다. 그러나 충분히 강한 경쟁($K$가 큰 경우) 하에서는 seller가 허용되는 최대 sample 수를 공개하는 equilibrium이 존재하며, 실제로 그것이 유일한 equilibrium이다.","link":"https://openreview.net/forum?id=utOxVc3q33"},{"id":"HeBSHjUkqk","en":"The Cost of Blind Confidence: Opponent Modeling under Imperfect Information","ko":"맹목적 확신의 대가: 불완전 정보 하의 opponent modeling","authors":"Andrea Menta, Francesca Maifredi, Matteo Papini","abs":"Opponent Modeling (OM) is a powerful framework in Multi-Agent Reinforcement Learning (MARL) to anticipate and adapt to the strategies of other agents.
However, its success is highly dependent on the assumption of high-quality observations.
In many real-world applications, agents must operate under imperfect information that can lead to inaccurate model representations.
In this paper, we investigate the drawbacks of agents conditioning their policies on flawed opponent models that cause significant performance degradation compared to model-agnostic baselines.
To address this, we introduce Strategy Weighting for Adaptive Policies (SWAP), a novel adaptive framework that treats strategy selection as an online learning problem.
Employing the EXP4 algorithm, our agent treats a predictive OM-based policy and a robust conservative policy as competing experts, dynamically switching between them based on their observed performance.
Our experimental results demonstrate the advantages of adopting a conservative approach when information is flawed and using predictive modeling when information is reliable, outperforming state-of-the-art methods in these critical scenarios.
","absKo":"Opponent Modeling (OM)은 Multi-Agent Reinforcement Learning (MARL)에서 다른 agent의 전략을 예측하고 적응하기 위한 강력한 framework이다.\n그러나 그 성공은 고품질 observation이라는 가정에 크게 의존한다.\n많은 실제 응용에서는 agent가 부정확한 model representation으로 이어질 수 있는 불완전한 정보 하에서 동작해야 한다.\n본 논문에서는 model-agnostic baseline에 비해 성능을 크게 저하시키는 결함 있는 opponent model에 policy를 조건화하는 agent의 문제점을 조사한다.\n이를 해결하기 위해, 우리는 Strategy Weighting for Adaptive Policies (SWAP)를 도입한다. 이는 strategy selection을 online learning problem으로 다루는 새로운 adaptive framework이다.\nEXP4 algorithm을 사용하여, 우리의 agent는 predictive OM-based policy와 robust conservative policy를 경쟁하는 expert로 취급하고, 관찰된 성능에 따라 이들 사이를 동적으로 전환한다.\n실험 결과는 정보가 부정확할 때는 conservative approach를 채택하고, 정보가 신뢰할 수 있을 때는 predictive modeling을 사용하는 것이 유리하며, 이러한 중요한 시나리오에서 state-of-the-art method를 능가함을 보여준다.","link":"https://openreview.net/forum?id=HeBSHjUkqk"},{"id":"HLq4IwkUJv","en":"Adversarial Training with Large Step Sizes: Implicit Bias and Evolution of Sharpness","ko":"큰 step size를 사용한 적대적 학습: 암시적 편향과 sharpness의 진화","authors":"Yi Feng, Andrea Paudice, Stratis Skoulakis","abs":"Adversarial training (AT) can be modeled as a two-player zero-sum game. This game-theoretic characterization introduces additional challenges in analyzing its dynamics. Existing analyses of AT assume that the learner uses extremely small step sizes, which is unrealistic in practice. In this paper, we study AT dynamics under large step sizes, focusing on two aspects: the implicit bias of adversarial logistic regression and the sharpness evolution along AT trajectories. For the former, we show that adversarial logistic regression converges to a robust max-margin direction under arbitrary constant step sizes, generalizing the result of (Li et al., 2020), which requires an exponentially small step size. For the latter, we find that sharpness along AT trajectories exhibits a surprisingly regular pattern. Compared with the edge-of-stability phenomenon in standard training, this pattern contains an additional stage where sharpness oscillates while showing an overall decreasing trend.
","absKo":"Adversarial training (AT)은 두 플레이어 zero-sum game으로 모델링할 수 있다. 이러한 game-theoretic characterization은 그 dynamics를 분석할 때 추가적인 도전을 도입한다. 기존의 AT 분석은 learner가 극도로 작은 step size를 사용한다고 가정하는데, 이는 실제 환경에서는 비현실적이다. 본 논문에서는 큰 step size 하에서의 AT dynamics를 연구하며, adversarial logistic regression의 implicit bias와 AT trajectory를 따른 sharpness evolution이라는 두 측면에 초점을 맞춘다. 전자의 경우, adversarial logistic regression이 임의의 상수 step size에서도 robust max-margin direction으로 수렴함을 보이며, exponentially small step size를 요구하는 (Li et al., 2020)의 결과를 일반화한다. 후자의 경우, AT trajectory를 따른 sharpness가 놀라울 정도로 규칙적인 패턴을 보인다는 사실을 발견한다. 일반 training에서의 edge-of-stability 현상과 비교하면, 이 패턴은 sharpness가 진동하면서도 전체적으로는 감소하는 추세를 보이는 추가 단계가 포함된다.","link":"https://openreview.net/forum?id=HLq4IwkUJv"},{"id":"TB9NhkX4Uu","en":"Bayesian Persuasion with a Risk-Conscious Receiver","ko":"위험을 의식하는 수신자를 위한 Bayesian 설득","authors":"Yujing Chen","abs":"We study Bayesian persuasion with a receiver who evaluates actions by Conditional Value-at-Risk. CVaR captures settings in which rare adverse outcomes matter for acceptance, including automated alerts, financial advice, and safety-critical AI-assisted decisions. The receiver's value is nonlinear in posterior beliefs, so direct recommendation by action fails: merging two signals that recommend the same action can change the relevant tail event and violate incentive compatibility. Our main result shows that this failure does not make the explicit finite-state problem hard. CVaR has a finite active-threshold representation, and signals can be refined by both the recommended action and the active CVaR facet. This refined revelation principle turns the sender's problem into an exact polynomial-size linear program. We then develop a posterior discretization scheme for finite-precision implementation and large-scale extensions, including a margin condition under which approximate incentive compatibility becomes strict incentive compatibility.
","absKo":"우리는 receiver가 Conditional Value-at-Risk로 action을 평가하는 Bayesian persuasion을 연구한다. CVaR는 자동 경보, 금융 자문, safety-critical AI-assisted decision처럼 드문 악영향이 수용 여부에 중요하게 작용하는 상황을 포착한다. receiver의 value는 posterior belief에 대해 비선형이므로 action에 대한 직접 추천은 실패한다. 같은 action을 추천하는 두 signal을 합치면 관련 tail event가 달라질 수 있고 incentive compatibility를 위반할 수 있기 때문이다. 우리의 주요 결과는 이러한 실패가 명시적인 finite-state problem을 어렵게 만들지는 않는다는 점을 보여준다. CVaR는 finite active-threshold representation을 가지며, signal은 추천 action과 active CVaR facet 모두에 따라 refined될 수 있다. 이 refined revelation principle은 sender의 문제를 정확한 polynomial-size linear program으로 바꾼다. 우리는 이어서 finite-precision implementation과 large-scale extension을 위한 posterior discretization scheme을 개발하며, 근사 incentive compatibility가 strict incentive compatibility로 바뀌는 margin condition도 제시한다.
","link":"https://openreview.net/forum?id=TB9NhkX4Uu"},{"id":"jIu59gIIfY","en":"Non-Linear Strategic Classification Made Practical","ko":"비선형 전략 분류를 실용적으로 만들기","authors":"Jack Geary, Henry Gouk","abs":"Algorithmic developments in Strategic Classification have been mostly limited to linear classifiers in settings where the best response has a closed-form solution or can be easily approximated. While some work has explored the role of non-linear classifiers in strategic settings, progress in this direction is impeded by the computational intractability of the strategic behaviour. Addressing this, we present a novel method for approximating the best response by exploiting Lagrangian duality. By reformulating the strategic response as a constrained optimisation problem, we can construct a Lagrangian that is amenable to first order optimisation methods. This approach reproduces closed-form strategic behaviour in linear settings and can be straight-forwardly applied to non-linear settings. We show how the Implicit Function Theorem can be used in conjunction with our proposed response formulation during classifier learning to compute the total gradient of the loss. This connects the classifier parameters directly to the consequent strategic behaviour, yielding a novel training algorithm that can exploit this relationship. Experimental evaluation shows that the resulting models achieve improved strategic accuracy on common machine learning datasets.
","absKo":"Strategic Classification의 algorithmic development는 대부분 최적 반응이 closed-form 해를 가지거나 쉽게 근사될 수 있는 setting에서 linear classifier에 국한되어 왔습니다. 일부 연구는 strategic setting에서 non-linear classifier의 역할을 탐구했지만, strategic behavior의 계산적 비가해성 때문에 이 방향의 진전은 가로막혀 있습니다. 이를 해결하기 위해, 우리는 Lagrangian duality를 활용해 best response를 근사하는 새로운 방법을 제시합니다. strategic response를 constrained optimisation problem으로 재정식화함으로써, first order optimisation method에 적합한 Lagrangian을 구성할 수 있습니다. 이 접근은 linear setting에서 closed-form strategic behavior를 재현하며, non-linear setting에도 직접 적용할 수 있습니다. 또한 classifier learning 동안 제안한 response formulation과 함께 Implicit Function Theorem을 사용해 loss의 total gradient를 계산하는 방법을 보입니다. 이는 classifier parameter를 그에 따른 strategic behavior와 직접 연결하며, 이러한 관계를 활용할 수 있는 새로운 training algorithm을 도출합니다. 실험 평가 결과, 생성된 model은 일반적인 machine learning dataset에서 더 향상된 strategic accuracy를 달성합니다.","link":"https://openreview.net/forum?id=jIu59gIIfY"},{"id":"v7g9PoQ2vI","en":"Optimism as a Vulnerability: Deceptive Stackelberg Control of UCB Bandit Followers","ko":"낙관주의의 취약성: UCB bandit 추종자에 대한 기만적 Stackelberg 제어","authors":"Şuayp Talha Kocabay, Kerem Yalçın, Talha Rüzgar Akkuş","abs":"Upper Confidence Bound (UCB) algorithms guarantee sublinear regret for agents learning unknown stochastic environments, yet the same principle that makes them statistically efficient—optimism in the face of uncertainty—induces a predictable strategic vulnerability against an omniscient adaptive leader. Classical strong Stackelberg equilibrium (SSE) assumes that the follower immediately best-responds to the leader's committed mixed action; it therefore supplies no mechanism-design prescription for a leader facing a boundedly rational follower who constructs and acts on empirical reward histories. We formalize this conflict in a finite-horizon repeated Stackelberg game and give exact constructive proofs for a deceptive leader mechanism. In a honeypot phase, the leader pays a finite signaling cost to inflate the UCB index of a designated follower action. In a trap phase, the leader switches to a selfish action distribution while the follower remains locked into the designated action because the manipulated empirical history and exploration bonus dominate competing indices. Under explicit separation and payoff assumptions, the leader's cumulative utility strictly exceeds the classical SSE ceiling, and the manipulation cost is bounded by a regret calculation of order $O(\\sqrt{T\\ln T})$. The results identify a formal incompatibility between static equilibrium prescriptions and dynamically learned empirical incentives.
","absKo":"Upper Confidence Bound(UCB) 알고리즘은 미지의 stochastic environment를 학습하는 agent에게 sublinear regret을 보장하지만, 통계적으로 효율적인 바로 그 원리인 uncertainty 앞의 optimism은 omniscient adaptive leader에 대해 예측 가능한 전략적 취약성을 유발한다. 고전적인 strong Stackelberg equilibrium(SSE)은 follower가 leader의 사전에 고정된 mixed action에 즉시 best response한다고 가정하므로, 경험적 reward history를 구성하고 이를 바탕으로 행동하는 boundedly rational follower를 상대하는 leader에게는 mechanism-design prescription을 제공하지 않는다. 우리는 이 충돌을 finite-horizon repeated Stackelberg game으로 정식화하고, deceptive leader mechanism에 대한 정확한 constructive proof를 제시한다. honeypot phase에서 leader는 지정된 follower action의 UCB index를 부풀리기 위해 유한한 signaling cost를 지불한다. trap phase에서는 leader가 selfish action distribution으로 전환하지만, follower는 조작된 empirical history와 exploration bonus가 경쟁 index를 압도하므로 여전히 지정된 action에 묶여 있다. 명시적인 separation 및 payoff assumption 하에서, leader의 cumulative utility는 classical SSE ceiling을 엄밀히 초과하며, manipulation cost는 $O(\\sqrt{T\\ln T})$ 차수의 regret calculation으로 상계된다. 이 결과는 static equilibrium prescription과 dynamically learned empirical incentive 사이의 형식적 비양립성을 밝힌다.","link":"https://openreview.net/forum?id=v7g9PoQ2vI"},{"id":"CAS7aInVos","en":"Preference-Based Distributed Welfare Maximization: A Game-Theoretic Approach","ko":"선호 기반 분산 사회후생 최대화: 게임이론적 접근","authors":"Antoine Bergerault, Anna Maria Maddux, Andreas Schlaginhaufen, Maryam Kamgarpour","abs":"We consider the problem of learning to optimize a welfare objective in a multi-agent system coordinated by a central authority. This setting presents two main challenges: (i) the welfare function is unknown or difficult to specify explicitly, and (ii) centralized optimization is intractable due to the exponential dependence on the number of agents. We address these challenges by combining preference-based learning with a game-theoretic reformulation of the central optimization problem. By designing agents' utilities aligned with the social welfare, this formulation enables independent learning to maximize the welfare value. Specifically, we propose a novel algorithm that iteratively combines dueling bandit-style preference learning with game-theoretic no-regret learning to guide agents' actions. Under a submodularity assumption on the welfare function, we prove that our proposed algorithm has sublinear regret. Our regret guarantee furthermore implies that, with high probability, the average welfare over $T$ rounds is near-optimal up to a constant depending on the curvature of the welfare function. Finally, we validate our approach in a case study on rebalancing a shared mobility system, where vehicles are placed strategically across different areas.
","absKo":"우리는 중앙 권한이 조정하는 multi-agent system에서 welfare objective를 최적화하도록 학습하는 문제를 고려한다. 이 setting은 두 가지 주요 도전을 제시한다: (i) welfare function이 unknown이거나 명시적으로 지정하기 어렵고, (ii) centralized optimization은 agent 수에 대한 exponential dependence 때문에 계산적으로 다루기 어렵다는 점이다. 우리는 preference-based learning과 central optimization problem의 game-theoretic reformulation을 결합함으로써 이러한 도전에 대응한다. 사회적 welfare와 정렬된 agent utility를 설계함으로써, 이 formulation은 independent learning이 welfare value를 최대화하도록 한다. 구체적으로, 우리는 dueling bandit-style preference learning과 game-theoretic no-regret learning을 반복적으로 결합하여 agent의 action을 유도하는 새로운 algorithm을 제안한다. welfare function에 대한 submodularity assumption 하에서, 우리는 제안한 algorithm이 sublinear regret을 가짐을 증명한다. 또한 우리의 regret guarantee는 $T$ round에 대한 평균 welfare가 welfare function의 curvature에 따라 결정되는 상수만큼을 제외하고 near-optimal함을 high probability로 보장함을 의미한다. 마지막으로, 우리는 공유 mobility system의 rebalancing 사례 연구에서 우리의 접근법을 검증하며, 차량이 서로 다른 지역에 전략적으로 배치된다.","link":"https://openreview.net/forum?id=CAS7aInVos"},{"id":"GgdgeVTj6q","en":"Stackelberg Mean-Field Games for Adaptive Cancer Therapy","ko":"적응형 암 치료를 위한 Stackelberg mean-field game","authors":"Arash Mehrjou","abs":"We propose a Stackelberg mean-field game for adaptive cancer therapy, coupling a clinician's dosing problem to a tumor mean-field equilibrium described by Hamilton--Jacobi--Bellman and Fokker--Planck equations.
Under a monotonicity condition on competition we prove existence of equilibria, derive Stackelberg optimality conditions, and obtain an $O(N^{-1/2})$ finite-player limit; a finite-type reduction yields a tractable ODE model.
Numerical experiments show that S-MFG-optimal schedules significantly outperform maximum tolerated dose and heuristic adaptive policies in delaying resistance emergence while using less drug.
","absKo":"우리는 적응형 cancer therapy를 위한 Stackelberg mean-field game을 제안한다. 이는 clinician의 dosing problem과 Hamilton--Jacobi--Bellman 방정식 및 Fokker--Planck 방정식으로 기술되는 tumor mean-field equilibrium을 결합한 것이다.\n경쟁에 대한 monotonicity condition 하에서 우리는 equilibrium의 존재를 증명하고, Stackelberg optimality condition을 유도하며, $O(N^{-1/2})$의 finite-player limit을 얻는다. 또한 finite-type reduction을 통해 다룰 수 있는 ODE model을 도출한다.\n수치 실험은 S-MFG-optimal schedule이 resistance emergence를 지연시키는 동시에 더 적은 약물 사용으로 maximum tolerated dose 및 heuristic adaptive policy보다 현저히 우수함을 보여준다.","link":"https://openreview.net/forum?id=GgdgeVTj6q"},{"id":"kw6yK5xwTh","en":"Self-Play Reinforcement Learning under Imperfect Information in Big 2","ko":"불완전 정보 하의 Big 2 자기대전 강화학습","authors":"Aalok Patwa","abs":"Imperfect-information multiplayer games test whether agents can act under hidden information, sparse rewards, and non-stationary opponents. We study these challenges in Big 2, a four-player imperfect-information card game. We develop a self-play RL framework for Big 2 that enables controlled comparisons between policy-gradient and value-approximating agents. Under a common environment, input representation, training budget, and evaluation protocol, PPO outperforms Monte Carlo Q-approximation, SARSA, and Q-learning against random, greedy, and heuristic Big 2 opponents. We further find that moderate entropy regularization improves PPO by preventing the policy from becoming overly deterministic, and that current-policy self-play provides a stronger finite-budget curriculum than checkpoint self-play or fixed-opponent training. Together, these results show that Big 2 is a useful controlled setting for studying deep RL under imperfect information, multiplayer interaction, delayed rewards, and variable action sets.
","absKo":"불완전 정보 멀티플레이어 게임은 에이전트가 은닉 정보, 희소 보상, 비정상적인 상대를 상대로 행동할 수 있는지를 시험한다. 우리는 네 명이 참여하는 불완전 정보 카드 게임인 Big 2에서 이러한 과제를 연구한다. 우리는 Big 2를 위한 self-play RL 프레임워크를 개발하여 policy-gradient 계열 에이전트와 value-approximation 에이전트 간의 통제된 비교가 가능하도록 했다. 공통의 환경, 입력 표현, 학습 예산, 평가 프로토콜 하에서 PPO는 랜덤, greedy, heuristic Big 2 상대를 상대로 Monte Carlo Q-approximation, SARSA, Q-learning을 능가한다. 또한 적당한 entropy regularization이 policy가 지나치게 결정적으로 되는 것을 막아 PPO를 개선한다는 점과, 현재 policy self-play가 checkpoint self-play나 fixed-opponent training보다 유한 예산 조건에서 더 강한 curriculum을 제공한다는 점을 추가로 확인했다. 종합하면, 이러한 결과는 Big 2가 불완전 정보, 멀티플레이어 상호작용, 지연 보상, 가변 action set 하에서의 deep RL을 연구하기 위한 유용한 통제 환경임을 보여준다.","link":"https://openreview.net/forum?id=kw6yK5xwTh"},{"id":"ch2bGAfmG5","en":"Nash Bargaining for Gate-Free Mixture-of-Experts","ko":"게이트 없는 Mixture-of-Experts를 위한 Nash 협상","authors":"Abien Fred Agarap, Inigo Miguel Benavides, Sara Ann Venturina","abs":"Mixture-of-Experts (MoE) architectures traditionally rely on a parameterized gating network to route inputs and achieve conditional computation. In computer vision, explicit routing often suffers from optimization instability and specialization collapse while ensembling alternatives bypass routing at substantial computational cost and exhibit destructive interference under naive logit aggregation. We propose gate-free MoE (gfMoE), an architecture that frames expert collaboration as a Nash Bargaining problem. A shared early-feature backbone provides representational stability, and a novel Nash Cooperative Yielding Loss trains each expert to suppress its own activations whenever its marginal contribution to the coalition prediction is negative, instantiating the individual rationality condition of the Nash Bargaining Solution. On CIFAR-10, gfMoE attains a Unified test accuracy of $89.93\\% \\pm 0.68$, statistically indistinguishable from a dense ResNet-18 baseline ($89.74\\% \\pm 0.53$) and a gated MoE counterpart ($90.38\\% \\pm 1.11$), while reducing the destructive-interference gap of Stochastic Multiple Choice Learning (sMCL) ensembles from $25.12$ to $2.54$ percentage points. We additionally report results on MNIST, CIFAR-100, and Imagenette, and ablate the contribution of the Nash regularizer and the number of experts.
","absKo":"Mixture-of-Experts (MoE) 아키텍처는 전통적으로 입력을 라우팅하고 conditional computation을 달성하기 위해 파라미터화된 gating network에 의존한다. 컴퓨터 비전에서 explicit routing은 최적화 불안정성과 specialization collapse를 겪는 경우가 많고, 대안적인 ensembling은 상당한 계산 비용을 치르면서 routing을 우회하며 naive logit aggregation에서는 파괴적 간섭을 보인다. 우리는 gate-free MoE (gfMoE)를 제안하며, 이는 expert 간 협력을 Nash Bargaining 문제로 정식화한 아키텍처이다. 공유된 early-feature backbone이 representation 안정성을 제공하고, 새로운 Nash Cooperative Yielding Loss가 각 expert의 coalition prediction에 대한 marginal contribution이 음수일 때 자신의 activation을 억제하도록 학습시켜 Nash Bargaining Solution의 individual rationality 조건을 구현한다. CIFAR-10에서 gfMoE는 Unified test accuracy $89.93\\% \\pm 0.68$을 달성하여 dense ResNet-18 baseline ($89.74\\% \\pm 0.53$) 및 gated MoE 대응 모델 ($90.38\\% \\pm 1.11$)과 통계적으로 구별되지 않으면서, Stochastic Multiple Choice Learning (sMCL) ensemble의 destructive-interference gap을 $25.12$에서 $2.54$ percentage points로 줄인다. 또한 MNIST, CIFAR-100, Imagenette에서의 결과를 보고하고, Nash regularizer의 기여와 expert 수에 대한 ablation을 수행한다.","link":"https://openreview.net/forum?id=ch2bGAfmG5"},{"id":"QX2FcC7Lto","en":"Seeing Through Distractions: Stable Attribution via the Core","ko":"산만함을 꿰뚫어 보기: 코어를 통한 안정적 기여도 분석","authors":"Sai Ganesh Nagarajan, Toshinori Yamauchi, Hiroshi Kera","abs":"Shapley-value-based explanations are a standard approach to feature attribution in machine learning. Yet, in many realistic settings, particularly in computer vision, groups of features can act as spurious contextual cues and bias a classifier toward a label. In such cases, Shapley values may systematically overestimate the importance of these groups. We formalize this effect through the notion of a _contextual distractor_. We show that, for a broad family of non-convex cooperative games, the least-core assigns more appropriate attribution to such distractor groups than general semivalue-based methods, including Shapley, Banzhaf, and weighted variants thereof. We derive explicit conditions under which this gap emerges, thereby identifying regimes in which the least-core provides a stable explanation while averaging-based attributions can be misleading. We complement our theory with experiments on an image-classification task, where the assumptions are verified empirically and the observed behavior aligns with our theoretical predictions.
","absKo":"Shapley-value 기반 설명은 머신러닝에서 feature attribution을 위한 표준 접근법이다. 그러나 많은 현실적 설정, 특히 computer vision에서는 feature 집단이 spurious contextual cue로 작용하여 분류기를 특정 label 쪽으로 편향시킬 수 있다. 이런 경우 Shapley value는 이러한 집단의 중요도를 체계적으로 과대평가할 수 있다. 우리는 이 현상을 _contextual distractor_라는 개념으로 정식화한다. 우리는 광범위한 비볼록 cooperative game 계열에서 least-core가 Shapley, Banzhaf 및 그 가중 변형을 포함한 일반적인 semivalue 기반 방법보다 이러한 distractor 집단에 더 적절한 attribution을 부여함을 보인다. 우리는 이러한 간극이 나타나는 명시적 조건을 도출하여, least-core가 안정적인 설명을 제공하는 반면 averaging-based attribution은 오해를 불러일으킬 수 있는 regime을 식별한다. 이론은 image-classification task 실험으로 보완되며, 여기서 가정은 경험적으로 검증되고 관찰된 동작은 우리의 이론적 예측과 일치한다.","link":"https://openreview.net/forum?id=QX2FcC7Lto"},{"id":"vcpVCPAsSP","en":"Beyond Task Success: Evaluating Cooperation in LLM-Based Multi Agent Systems","ko":"과제 성공을 넘어: LLM 기반 멀티 에이전트 시스템의 협력 평가","authors":"Ashish Raj Shekhar, Saniya Mulla, Upasana Biswas, Priyanuj Bordoloi, Vivek Gupta","abs":"Large language models are increasingly deployed as autonomous agents in multi-agent environments, but task completion alone may not indicate reliable strategic coordination. We study this issue in Collab-Overcooked, a cooperative benchmark where LLM agents coordinate through natural language under role asymmetry and verifier-guided execution. We model each rollout as the realized outcome of a finite-horizon cooperative Markov game and evaluate whether successful teams also exhibit efficient coordination: low redundancy, timely partner response, useful signaling, and robustness to partner identity. We extend Collab-Overcooked with non-required-cooperation layouts in which either agent can complete the task alone, allowing collaboration to be evaluated as an efficiency strategy rather than a feasibility requirement. We introduce a trace-grounded evaluation framework combining structured interdependence with Trace-Grounded Communication Outcome auditing. Across three LLM families and directed role pairings, we find that high task success often coexists with substantial coordination cost, including redundant actions, delayed or unfulfilled requests, verifier corrections, and strong role-pairing effects. Theory-of-Mind scaffolds improve some metrics but do not reliably eliminate these failures. Our results suggest that completion-based evaluation is insufficient for LLM-based multi-agent systems and that trace-grounded coordination metrics are needed to measure strategic behavior.
","absKo":"Large language model이 multi-agent environment에서 자율 agent로 점점 더 많이 배치되고 있지만, task completion만으로는 신뢰할 수 있는 strategic coordination을 나타낸다고 볼 수 없다. 우리는 이 문제를 Collab-Overcooked에서 연구한다. Collab-Overcooked는 role asymmetry와 verifier-guided execution 아래에서 LLM agent가 natural language로 협력하는 cooperative benchmark이다. 우리는 각 rollout을 finite-horizon cooperative Markov game의 실현 결과로 모델링하고, 성공한 팀이 효율적인 coordination도 보이는지 평가한다. 여기서 효율성은 낮은 redundancy, 적시의 partner response, 유용한 signaling, 그리고 partner identity에 대한 robustness를 포함한다. 우리는 Collab-Overcooked를 non-required-cooperation layout으로 확장하여 어느 agent든 혼자서 task를 완료할 수 있게 함으로써, collaboration을 feasibility requirement가 아니라 efficiency strategy로 평가할 수 있도록 했다. 또한 structured interdependence와 Trace-Grounded Communication Outcome auditing을 결합한 trace-grounded evaluation framework를 도입한다. 세 가지 LLM family와 directed role pairing 전반에서, 우리는 높은 task success가 redundant action, 지연되거나 이행되지 않은 request, verifier correction, 강한 role-pairing effect를 포함한 상당한 coordination cost와 자주 공존함을 발견했다. Theory-of-Mind scaffold는 일부 metric을 개선하지만 이러한 실패를 신뢰성 있게 제거하지는 못했다. 우리의 결과는 completion-based evaluation이 LLM 기반 multi-agent system에는 충분하지 않으며, strategic behavior를 측정하기 위해 trace-grounded coordination metric이 필요함을 시사한다.","link":"https://openreview.net/forum?id=vcpVCPAsSP"},{"id":"jiBoYmPAcm","en":"Opponent Modeling and Value of Information in Deep Reinforcement Learning for the Iterated Prisoner’s Dilemma","ko":"반복 죄수의 딜레마를 위한 Deep Reinforcement Learning에서의 상대 모델링과 정보 가치","authors":"Oleksii Ignatenko, Nazarii Tkach","abs":"In the Iterated Prisoner’s Dilemma a reinforcement-learning agent must infer its opponent’s strat-
egy from the running history of joint actions. The sequence model that encodes this history is
therefore a first-class architectural decision with direct impact on per-turn payoff. We compare
a recurrent backbone, a standard transformer architecture, a transformer variant with CLS-token
readout and sinusoidal positional encoding, and a multilayer feedforward baseline that uses only
auxiliary cooperation-rate features. Each architecture is trained with Double-DQN against a cor-
pus of hand-coded opponents, and we summarise outcomes through seed-level confidence intervals
derived from a hierarchical bootstrap that respects the dependence between seeds. At a matched
training budget the recurrent backbone consistently outperforms both small transformer variants
tested at this scale. A sequence-encoder ablation shows that the small transformer encoders tested
here add negligible signal beyond the auxiliary-feature baseline at this budget, while the recur-
rent backbone adds substantial signal beyond the same baseline. A non-learning TitForTat agent
already reaches a payoff close to the recurrent mean and above both transformer variants, which
places a sharp ceiling on what a learned backbone contributes on this task. The recurrent advantage
is concentrated on retaliatory and adaptive opponents, while the transformer retains an advantage
on pattern-detecting meta-strategies. We use Value of Information as an operational shorthand for
the mean per-strategy reward gap relative to a designated reference, and we report results across
blind, family-aware, and oracle-aware identity-conditioning regimes to quantify how much of that
gap an explicit identity signal recovers and at what budget.
","absKo":"Iterated Prisoner’s Dilemma에서 reinforcement-learning agent는 실행 중인 joint action history로부터 상대의 strat-\negy를 추론해야 합니다. 따라서 이 history를 인코딩하는 sequence model은 per-turn payoff에 직접적인 영향을 주는 핵심 아키텍처 결정입니다. 우리는 recurrent backbone, standard transformer architecture, CLS-token readout과 sinusoidal positional encoding을 사용하는 transformer variant, 그리고 보조 cooperation-rate feature만 사용하는 multilayer feedforward baseline을 비교합니다. 각 architecture는 손으로 코딩된 opponent 코퍼스를 상대로 Double-DQN으로 학습되며, seed들 간의 의존성을 반영하는 hierarchical bootstrap에서 얻은 seed-level confidence interval로 결과를 요약합니다. 동일한 training budget에서 recurrent backbone은 이 규모에서 시험한 두 개의 small transformer variant를 일관되게 능가합니다. sequence-encoder ablation은 여기서 시험한 small transformer encoder가 이 budget에서 보조 feature baseline을 넘어서는 신호를 거의 추가하지 못하는 반면, recurrent backbone은 같은 baseline보다 상당한 신호를 추가함을 보여줍니다. 학습하지 않는 TitForTat agent는 이미 recurrent mean에 가까운, 그리고 두 transformer variant보다 높은 payoff를 달성하여, 이 task에서 learned backbone이 기여할 수 있는 상한을 뚜렷하게 제시합니다. recurrent의 우위는 보복적이고 적응적인 opponent에서 집중적으로 나타나는 반면, transformer는 pattern-detecting meta-strategy에서 우위를 유지합니다. 우리는 Value of Information을 지정된 reference 대비 strategy별 평균 보상 차이를 뜻하는 operational shorthand로 사용하며, blind, family-aware, oracle-aware identity-conditioning regime 전반에 걸친 결과를 보고하여 명시적 identity signal이 그 차이의 어느 정도를 회복하는지, 그리고 어떤 budget에서 회복하는지를 정량화합니다.","link":"https://openreview.net/forum?id=jiBoYmPAcm"},{"id":"JikB7ZlNdt","en":"Power and Limitations of Aggregation in Compound AI Systems","ko":"집합적 AI 시스템에서 aggregation의 힘과 한계","authors":"Nivasini Ananthakrishnan, Meena Jagadeesan","abs":"A common use of compound AI systems is querying multiple homogeneous copies of a model under different prompts and aggregating their outputs. We ask when this unlocks outputs that no single query can elicit. Within a stylized principal-agent framework that captures both prompt-engineering and model-capability limitations, we identify three natural mechanisms by which aggregation expands the set of elicitable outputs---*feasibility expansion*, *support expansion*, and *binding-set contraction*. We prove that strengthened versions of these mechanisms exactly characterize when aggregation adds power. We complement the characterization with an empirical illustration on a toy reference-generation task with LLMs.
","absKo":"compound AI system의 흔한 사용 사례는 서로 다른 prompt로 동일한 모델의 여러 homogeneous copy를 질의하고 그 출력을 집계하는 것이다. 우리는 이것이 어떤 경우에 단일 질의로는 끌어낼 수 없는 출력을 가능하게 하는지 묻는다. prompt engineering과 model capability 한계를 모두 포착하는 stylized principal-agent framework 안에서, 우리는 집계가 elicitable output의 집합을 확장하는 세 가지 자연스러운 메커니즘, 즉 *feasibility expansion*, *support expansion*, *binding-set contraction*을 식별한다. 우리는 이 메커니즘의 강화된 형태가 정확히 언제 집계가 추가적인 힘을 부여하는지를 특징짓는다는 것을 증명한다. 또한 LLM을 사용한 toy reference-generation task에 대한 실증적 예시로 이 특성화를 보완한다.","link":"https://openreview.net/forum?id=JikB7ZlNdt"},{"id":"x5lMkhguw2","en":"EMAgnet: Parameter-Space EMA Regularization for Policy Gradient Self-Play in Large Games","ko":"EMAgnet: 대형 게임에서의 policy gradient self-play를 위한 파라미터 공간 EMA 정규화","authors":"Tristan Maidment, JB Lanier, Chase McDonald, Nathan Tsang, Eugene Vinitsky, Roy Fox, Albert Wang, Wesley N. Kerr","abs":"Recent work has established that regularized policy gradient methods such as PPO, when used in self-play, can match or exceed specialized game-theoretic algorithms for solving two-player zero-sum imperfect-information games. The uniform distribution has emerged as a strong policy regularization target for this purpose, but it regularizes equally toward all actions regardless of their viability. We introduce EMAgnet, which instead regularizes toward an exponential moving average (EMA) of the last-iterate policy's parameters, providing an adaptive regularization target that evolves with the agent's improving strategy. We evaluate EMAgnet on both standard two-player zero-sum benchmarks and modified benchmarks with exploration challenges and large numbers of strictly dominated strategies. Relative to PPO self-play with uniform-magnet regularization under both linear and power-law annealing schedules, EMAgnet achieves lower exploitability in the majority of tested environments, with consistent performance gains across games containing strictly dominated strategies.
","absKo":"최근 연구는 PPO와 같은 regularized policy gradient method가 self-play에서 사용될 때, two-player zero-sum imperfect-information game을 푸는 데 특화된 game-theoretic algorithm과 견줄 만하거나 이를 능가할 수 있음을 보였다. 이 목적을 위해 uniform distribution이 강력한 policy regularization target으로 부상했지만, 이는 유효성과 무관하게 모든 action을 동일하게 regularize한다. 우리는 대신 지난 반복의 policy parameter에 대한 exponential moving average(EMA)를 향해 regularize하는 EMAgnet을 제안하며, 이를 통해 에이전트의 향상되는 전략과 함께 진화하는 adaptive regularization target을 제공한다. 우리는 EMAgnet을 표준 two-player zero-sum benchmark와 exploration challenge 및 strictly dominated strategy가 많은 수정 benchmark 모두에서 평가한다. linear 및 power-law annealing schedule 모두에서 uniform-magnet regularization을 사용한 PPO self-play와 비교할 때, EMAgnet은 시험한 대부분의 환경에서 더 낮은 exploitability를 달성하며, strictly dominated strategy를 포함하는 게임 전반에서 일관된 성능 향상을 보인다.","link":"https://openreview.net/forum?id=x5lMkhguw2"},{"id":"CGf7dsmDac","en":"The computational complexity of computing refunds","ko":"환불 계산의 계산 복잡도","authors":"Stelios Drakontaeidis, Christos Tzamos","abs":"We study a mechanism design setting where a seller offers an item to a buyer who is uncertain about her own valuation. Rather than using a simple take-it-or-leave-it price, the seller can extract significantly more revenue by offering refund options at different price levels. This setup, known as Sequential Screening, models a class of dynamic decision-making problems under uncertainty with applications ranging from airline ticket pricing to online education and healthcare diagnostics, where agents pay for flexible options under ambiguity. We investigate the power of deterministic mechanisms in this context and view them as a form of semi-adaptive preference elicitation, where the seller leverages knowledge of the buyer's value distribution to design refund-based menus that screen types indirectly. We show that the revenue gap between the optimal deterministic mechanism and simpler menus with bounded (possibly randomized) options can be arbitrarily large. We further establish that computing the revenue-optimal mechanism is NP-hard, and complement this result with a PTAS that computes approximately optimal refund schedules.
","absKo":"우리는 판매자가 자신의 valuation에 대해 불확실한 buyer에게 item을 제공하는 mechanism design 설정을 연구한다. 단순한 take-it-or-leave-it price를 사용하는 대신, 판매자는 서로 다른 price level의 refund option을 제공함으로써 훨씬 더 많은 revenue를 추출할 수 있다. Sequential Screening으로 알려진 이 설정은 불확실성 하의 동적 의사결정 문제의 한 부류를 모델링하며, airline ticket pricing부터 online education, healthcare diagnostics에 이르기까지 다양한 응용을 가진다. 여기서 agent는 ambiguity 하에서 유연한 option에 비용을 지불한다. 우리는 이 맥락에서 deterministic mechanism의 힘을 조사하고, 이를 semi-adaptive preference elicitation의 한 형태로 본다. 즉, 판매자는 buyer의 value distribution에 대한 지식을 활용해 refund-based menu를 설계하고, 이를 통해 type을 간접적으로 screening한다. 우리는 최적 deterministic mechanism과 bounded(아마도 randomized) option을 갖는 더 단순한 menu 사이의 revenue gap이 임의로 커질 수 있음을 보인다. 또한 revenue-optimal mechanism을 계산하는 문제가 NP-hard임을 입증하고, 이 결과를 보완하는 PTAS를 제시하여 근사적으로 최적의 refund schedule을 계산한다.","link":"https://openreview.net/forum?id=CGf7dsmDac"},{"id":"6ydgxgMHct","en":"Learning to Mediate Equilibrium Selection in LLM Games","ko":"LLM 게임에서 평형 선택을 매개하는 법 배우기","authors":"Miao Liu, Matthew Riemer, Maria Chang, Murray Campbell, Djallel Bouneffouf","abs":"LLM agents engaged in repeated strategic interactions face an equilibrium selection problem. Unassisted populations often coordinate on low-welfare equilibria, while rule-based mediators require game-specific calibration. We propose a learned meta-controller as an empirical equilibrium selector, trained via reinforcement learning from welfare feedback alone — no game-specific reward shaping or access to player internals. We consider two variants matched to credit-assignment structure: PPO for multi-round social dilemmas, and a myopic contextual bandit ($\\gamma=0$) for dense per-round settings. Evaluated across three social dilemma games (IPD, Stag Hunt, Chicken) and two LLMs (Llama-3.3-70B and Granite-4.1-30B), both PPO and the Bandit substantially improve cooperation over never-intervene in IPD and Stag Hunt for Granite (up to $+23.7$pp), while showing limited effect for Llama, whose higher baseline cooperation leaves less room for improvement — revealing that controller effectiveness is model-dependent. Neither learned controller improves cooperation in Chicken, where the payoff structure makes coordination harder to sustain against a malicious agent. Both variants exhibit emergent selectivity, with intervention intensity tracking the cooperation gap and becoming passive when LLMs already self-coordinate at high rates. The Bandit underperforms PPO on most social dilemmas under the tested models but matches rule-based baselines in Bertrand competition. Controllers also generalize poorly across prompt conditions, motivating prompt-conditioned training.
","absKo":"반복적인 strategic interaction에 참여하는 LLM agents는 equilibrium selection 문제에 직면한다. 외부 개입이 없는 집단은 종종 낮은 welfare의 equilibrium에 수렴하는 반면, rule-based mediator는 game-specific calibration을 필요로 한다. 우리는 welfare feedback만으로 reinforcement learning을 통해 학습된 meta-controller를 empirical equilibrium selector로 제안한다. 즉, game-specific reward shaping도, player internals에 대한 접근도 없다. 우리는 credit-assignment 구조에 맞춰 두 가지 변형을 고려한다. multi-round social dilemma에는 PPO를, 각 라운드의 밀집된 설정에는 myopic contextual bandit ($\\gamma=0$)을 사용한다. 세 개의 social dilemma game (IPD, Stag Hunt, Chicken)과 두 개의 LLMs (Llama-3.3-70B와 Granite-4.1-30B)에서 평가한 결과, PPO와 Bandit 모두 Granite의 IPD와 Stag Hunt에서 never-intervene보다 cooperation을 크게 향상시켰으며(최대 $+23.7$pp), Llama에서는 효과가 제한적이었다. 이는 더 높은 baseline cooperation으로 인해 개선 여지가 더 적기 때문이며, controller의 효과가 model-dependent함을 보여준다. 어느 learned controller도 Chicken에서는 cooperation을 개선하지 못했는데, 그 payoff 구조가 malicious agent에 맞서 coordination을 유지하기 더 어렵게 만들기 때문이다. 두 변형 모두 emergent selectivity를 보이며, intervention intensity는 cooperation gap을 추적하고 LLMs가 이미 높은 비율로 self-coordinate할 때는 수동적으로 변한다. Bandit은 테스트한 model들에서 대부분의 social dilemma에서 PPO보다 성능이 떨어졌지만, Bertrand competition에서는 rule-based baseline과 맞먹는다. 또한 controllers는 prompt condition 전반에서 일반화가 좋지 않아, prompt-conditioned training의 필요성을 시사한다.","link":"https://openreview.net/forum?id=6ydgxgMHct"},{"id":"a739ubV0kh","en":"In-Context Credit Assignment via the Core","ko":"Core를 통한 in-context credit assignment","authors":"Keegan Harris, Siddharth Prasad, Asher Trockman","abs":"We propose incentive-aligned mechanisms for in-context credit assignment: the task of assigning credit for AI-generated content (e.g. code, news articles, short-form videos) among creators whose intellectual property appears in the context window. Our approach is based on the least core solution concept from cooperative game theory, which distributes value in a way that is as stable as possible by ensuring that no subset of creators is significantly under-compensated relative to the value they could generate on their own. We develop algorithms for approximating the least core, which leverage novel routines for constraint seeding and constraint separation. On a web retrieval credit assignment task, we find that our approaches are capable of approximating the least core using orders of magnitude fewer LLM calls compared to alternative methods.
","absKo":"우리는 in-context credit assignment를 위한 incentive-aligned mechanism을 제안한다. 이는 context window 안에 지적 재산이 포함된 creator들 사이에서 AI가 생성한 콘텐츠(예: code, news article, short-form video)에 대한 기여도를 할당하는 문제이다. 우리의 접근은 cooperative game theory의 least core solution concept에 기반한다. 이 개념은 어떤 subset의 creator도 스스로 생성할 수 있는 가치에 비해 현저히 과소보상받지 않도록 보장함으로써, 가능한 한 안정적인 방식으로 가치를 분배한다. 우리는 constraint seeding과 constraint separation을 위한 새로운 routine을 활용하는, least core 근사 알고리즘을 개발한다. web retrieval credit assignment task에서, 우리의 접근법은 대안적 방법들에 비해 orders of magnitude 더 적은 LLM call로 least core를 근사할 수 있음을 보였다.","link":"https://openreview.net/forum?id=a739ubV0kh"},{"id":"HaUUF2Eq87","en":"Multi-Agent Reinforcement Learning of Karma Bidding Strategies","ko":"Karma 입찰 전략의 multi-agent reinforcement learning","authors":"Kevin Riehl, Anastasia Psarou, Robert Müller, Fan Wu, Patrick Langer, Robert Jakob, Gabor Hollbeck, Anastasios Kouvelas, Rafal Kucharski, Michail A. Makridis","abs":"Capacity-constrained shared infrastructure systems require demand management mechanisms that balance efficiency and fairness. Karma mechanisms address this challenge using an artificial, non-tradable currency that enables decentralized allocation through repeated bidding, but computing equilibrium strategies in such settings is difficult due to unknown population dynamics, stochastic demand, and computation time in practice. Here, we study suitable regimes to prove convergence towards stationary Nash equilibria when following a multi-agent reinforcement learning approach. We develop a conditional proof for convergence to entropy-regularized equilibria, and discuss convergence to unregularized ones in a limit. Computational case studies in a controlled synthetic benchmark demonstrate empirically that learned policies closely approximate equilibrium behavior, and further assess impact of learning algorithm and policy initialization on convergence speed. This work highlights the practical potential of the approach for real-world decision support in repeated access-allocation settings.
","absKo":"Capacity-constrained shared infrastructure system은 효율성과 공정성의 균형을 맞추는 demand management mechanism을 필요로 한다. Karma mechanism은 반복 bidding을 통한 decentralized allocation을 가능하게 하는 비양도성의 인공 currency를 사용하여 이 문제를 다루지만, 이러한 환경에서 equilibrium strategy를 계산하는 것은 알려지지 않은 population dynamics, stochastic demand, 그리고 실제 computation time 때문에 어렵다. 여기서는 multi-agent reinforcement learning 접근을 따를 때 stationary Nash equilibrium으로의 수렴을 증명하기에 적절한 regime를 연구한다. 우리는 entropy-regularized equilibrium으로의 수렴에 대한 conditional proof를 개발하고, 극한에서 unregularized equilibrium으로의 수렴을 논의한다. 통제된 synthetic benchmark에서의 computational case study는 learned policy가 equilibrium behavior를 매우 가깝게 근사함을 경험적으로 보여주며, 더 나아가 learning algorithm과 policy initialization이 convergence speed에 미치는 영향도 평가한다. 이 연구는 반복적인 access-allocation setting에서 실제 decision support를 위한 이 접근법의 실용적 잠재력을 강조한다.","link":"https://openreview.net/forum?id=HaUUF2Eq87"},{"id":"iFtBu00knb","en":"Do Prompted Strategic Personas Influence Decision Making in Large Language Models? A Chess-Based Experimental Study","ko":"프롬프트로 유도한 전략적 persona가 Large Language Models의 의사결정에 영향을 주는가? chess 기반 실험 연구","authors":"AADIT SHAH, Yash Sinha","abs":"Persona prompting is widely used to steer large language models (LLMs), but it is still unclear whether a prompt changes only the model’s explanation style or also its decisions in structured, long-horizon tasks. We study this question through chess. A controlled position-based evaluation covers 800 model calls over 199 unique FEN positions, with each sampled position evaluated under four personas: Neutral Baseline, Aggressive, Defensive, and Beginner Materialist. Each call supplies the board FEN and legal moves, parses a legal SAN/UCI move, compares the selected move to a lightweight depth-4 negamax alpha-beta search baseline, and computes persona-style metrics for aggression, defense, and accuracy. Results show that persona prompts alter decisions in this setting: Aggressive, Defensive, and Materialist match the neutral move only 26.0%, 17.0%, and 29.5% of the time, respectively. However, style adherence is uneven. Defensive achieves the strongest quality under our material-based evaluator, with 98.5% legal moves and 70.5% Best/Good moves, while
Aggressive obtains the highest attack metric but lower accuracy than neutral. These findings are best read as preliminary evidence from a controlled probe: persona prompts can measurably change LLM decisions, but the induced behavior is not always aligned with the named strategic style or with externally validated notions of chess quality
","absKo":"Persona prompting은 large language models(LLMs)를 조정하는 데 널리 사용되지만, prompt가 모델의 설명 스타일만 바꾸는지, 아니면 구조화된 장기 horizon task에서의 결정까지 바꾸는지는 여전히 분명하지 않다. 우리는 chess를 통해 이 질문을 연구한다. 통제된 position-based evaluation은 199개의 고유 FEN position에 대해 총 800회의 model call을 포괄하며, 각 샘플 position은 Neutral Baseline, Aggressive, Defensive, Beginner Materialist의 네 가지 persona 하에서 평가된다. 각 호출은 board FEN과 legal move를 제공하고, legal SAN/UCI move를 파싱하며, 선택된 move를 depth-4 negamax alpha-beta search baseline과 비교하고, aggression, defense, accuracy에 대한 persona-style metric을 계산한다. 결과는 이 설정에서 persona prompt가 결정을 바꾼다는 것을 보여준다: Aggressive, Defensive, Materialist는 각각 neutral move와 26.0%, 17.0%, 29.5%만 일치한다. 그러나 style adherence는 고르지 않다. Defensive는 material-based evaluator에서 가장 강한 품질을 보였으며, 98.5%의 legal move와 70.5%의 Best/Good move를 달성했다. 반면\nAggressive는 가장 높은 attack metric을 얻었지만 neutral보다 정확도는 낮았다. 이러한 결과는 가장 잘 보면 통제된 probe에서 나온 예비 증거로 읽어야 한다. persona prompt는 LLM의 결정을 측정 가능하게 바꾸지만, 유도된 행동이 항상 명명된 전략적 스타일이나 외부적으로 검증된 chess quality 개념과 일치하는 것은 아니다","link":"https://openreview.net/forum?id=iFtBu00knb"},{"id":"OymItBoiYn","en":"The Clone Game: Strategic Ecology for Monoculture-Resistant AI Agents","ko":"복제 게임: 단일문화 저항 AI agent를 위한 전략적 생태계","authors":"Muhammet Anil Yagiz","abs":"Modern AI agents increasingly act in strategic populations rather than as isolated predictors. When many agents share prompts, objectives, training recipes, or tool-use controllers, low individual regret can coexist with deployment-level monoculture: one transferable behavioral surface exposed across the population. We study this Clone Game. A simple separation shows that maximum welfare, zero Nash gap, and zero external regret can coexist with maximal collision and single-probe attack success under a surface-specific exploit model. We formalize this risk through strategic collision, propose ecological stability as a population-level refinement of regret and equilibrium gap, and introduce Ecological Mirror Descent (Eco-MD), a multiplicative-weights update with a population-rarity bonus and an anonymous private niche. We prove that decaying ecological pressure preserves no-regret learning up to an explicit additive term, and that collision is exactly the expected transfer rate for action-surface exploits. Across six stationary matrix-game benchmarks, Eco-MD reduces average attack success from .613 to .472 and collision from .569 to .430 relative to Hedge while retaining 94% of Hedge's welfare. A transparent non-stationary stress test further illustrates lower post-shift probeability. Together, the separation, metric, and learner show that strategic AI deployments should be evaluated as populations, not only as isolated learners.
","absKo":"현대의 AI agent는 점점 고립된 predictor가 아니라 전략적 population 속에서 행동한다. 많은 agent가 prompt, objective, training recipe, 또는 tool-use controller를 공유할 때, 개별 regret가 낮더라도 deployment-level monoculture가 공존할 수 있다. 즉, population 전체에 노출된 하나의 transferable behavioral surface가 생긴다. 우리는 이를 Clone Game으로 연구한다. 간단한 분리는 surface-specific exploit model 하에서 maximum welfare, zero Nash gap, zero external regret가 maximal collision 및 single-probe attack success와 공존할 수 있음을 보인다. 우리는 이 위험을 strategic collision을 통해 formalize하고, regret와 equilibrium gap의 population-level refinement로서 ecological stability를 제안하며, population-rarity bonus와 anonymous private niche를 갖는 multiplicative-weights update인 Ecological Mirror Descent(Eco-MD)를 도입한다. 우리는 감소하는 ecological pressure가 명시적인 additive term까지 포함해 no-regret learning을 보존함을, 그리고 collision이 action-surface exploit의 기대 transfer rate와 정확히 같음을 증명한다. 여섯 개의 stationary matrix-game benchmark 전반에서 Eco-MD는 Hedge 대비 average attack success를 .613에서 .472로, collision을 .569에서 .430으로 낮추면서도 Hedge welfare의 94%를 유지한다. 또한 투명한 non-stationary stress test는 shift 이후 probeability가 더 낮아짐을 추가로 보여준다. 이 separation, metric, learner는 전략적 AI deployment를 고립된 learner가 아니라 population으로 평가해야 함을 보여준다.","link":"https://openreview.net/forum?id=OymItBoiYn"},{"id":"Jnm3crnaAA","en":"PoolBench:Benchmarking Large Language Models on Continuous Physical Action Selection in Eight-Ball Pool","ko":"PoolBench: 8볼 풀에서 연속 물리 행동 선택에 대한 Large Language Models 벤치마킹","authors":"Prapti Patra, Dhruv Kumar","abs":"We introduce PoolBench, a reproducible benchmark that asks Large Language Models (LLMs) to play eight-ball pool by emitting precise real-valued cue parameters (aim angle and cue speed) whose downstream physical effect is then resolved by a deterministic billiards simulator. Unlike physical-reasoning benchmarks that score textbook problem-solving or multiple-choice commonsense, PoolBench evaluates continuous-action selection: the model's ability to translate a textual board description into a numerical action that succeeds when actuated in the world. We evaluate six LLMs across three frontier and three open small models on 50 deterministic scenarios in seven difficulty categories, against a pocket-aware geometric Oracle that searches over a small grid of speeds and angle perturbations. Across 300 LLM shots, no balls were pocketed, despite a system prompt that explicitly teaches the ghost-ball geometric construction; the strongest model, Claude Sonnet 4, reached only 54% legal first-contact (Wilson 95% CI [40.4, 67.0]). Differences among the LLMs at this scale are largely indistinguishable, but all are consistent with prior findings of Memery et al. (2024), which documented similar failures for simpler systems. Our contribution is the benchmark infrastructure (scenario taxonomy, four-metric scoring, deterministic seeds, and a side-by-side LLM comparison protocol), not the discovery of the gap. We release scenarios and per-shot trace data, and outline the targeted experiments (rounding ablation, target-vs-angle decomposition, reasoning-model evaluation) that future work should run on this scaffold.
","absKo":"우리는 PoolBench를 소개한다. PoolBench는 Large Language Models(LLMs)에게 8-ball pool을 플레이하게 하되, 정밀한 실수 cue parameter(aim angle과 cue speed)를 출력하도록 요구하고, 그 이후의 물리적 효과는 결정론적 billiards simulator가 해석하는 재현 가능한 benchmark이다. 교과서적 문제풀이나 multiple-choice commonsense를 점수화하는 물리 추론 benchmark와 달리, PoolBench는 continuous-action selection, 즉 텍스트로 된 보드 설명을 세계에서 실제로 작동할 수 있는 수치적 행동으로 변환하는 모델의 능력을 평가한다. 우리는 세 개의 frontier 모델과 세 개의 open small model, 총 여섯 개 LLM을 7개 난이도 범주의 50개 결정론적 시나리오에서 평가했으며, 작은 grid의 speed와 angle perturbation을 탐색하는 pocket-aware geometric Oracle와 비교했다. 300회의 LLM shot 전체에서, ghost-ball geometric construction을 명시적으로 가르치는 system prompt가 있음에도 어떤 ball도 pocket에 들어가지 않았다. 가장 강한 모델인 Claude Sonnet 4조차 legal first-contact 54%에 그쳤다(Wilson 95% CI [40.4, 67.0]). 이 규모에서 LLM 간 차이는 대체로 구분하기 어려웠지만, 모두 Memery et al.(2024)의 선행 결과와 일치했으며, 그들은 더 단순한 시스템에서도 유사한 실패를 보고했다. 우리의 기여는 benchmark 인프라(scenario taxonomy, four-metric scoring, deterministic seeds, side-by-side LLM comparison protocol)이지, 그 격차의 발견 자체가 아니다. 우리는 시나리오와 shot별 trace 데이터를 공개하고, 향후 이 scaffold에서 수행해야 할 표적 실험(rounding ablation, target-vs-angle decomposition, reasoning-model evaluation)을 제시한다.","link":"https://openreview.net/forum?id=Jnm3crnaAA"},{"id":"RY3KgxzWjw","en":"Parametric Open Source Games","ko":"매개변수적 오픈소스 게임","authors":"Aleksandar Todorov, Jesse ten Napel, Alexander Müller","abs":"Open-source game theory studies strategic settings in which agents may condition their behavior on the internal decision procedures of others, but existing formulations are typically discrete or symbolic and therefore do not align well with modern parametric learning systems.
We introduce parametric open-source games, a continuous framework in which each player selects a parameter vector, and a semantics map transforms the full parameter profile into a mixed action in an underlying finite game, allowing behavior to depend explicitly on opponents' parameters.
We first formalize the induced parametric game and establish basic equilibrium existence results, and then study a canonical open-source sigmoid semantics model in symmetric $2 \\times 2$ games, deriving an exact threshold governing when selfish gradient dynamics shift from defection toward cooperation. We further present a boundary characterization for verifying parametric program Nash equilibria through one-dimensional best-response conditions, and extend the framework to a neural semantics class that preserves the same first-order characterization through the ratio of cross-player to self-player sensitivity. Across canonical games and social dilemmas, the resulting framework shows how access to internal parameterizations can qualitatively reshape learning dynamics and equilibrium structure, and when appropriately initialized, can steer selfish optimization toward cooperative outcomes.
","absKo":"오픈소스 게임이론은 에이전트가 자신의 행동을 타인의 내부 의사결정 절차에 조건화할 수 있는 전략적 상황을 연구하지만, 기존 정식화는 대체로 이산적이거나 symbolic하여 현대의 parametric learning system과 잘 맞지 않는다.\n우리는 parametric open-source game을 도입한다. 이는 각 player가 parameter vector를 선택하고, semantics map이 전체 parameter profile을 underlying finite game의 mixed action으로 변환하여, 행동이 상대의 parameter에 명시적으로 의존하도록 하는 연속적 framework이다.\n우리는 먼저 유도된 parametric game을 정식화하고 기본적인 equilibrium existence result를 확립한 뒤, 대칭적인 $2 \\times 2$ game에서 canonical open-source sigmoid semantics model을 연구하여, 이기적인 gradient dynamics가 배신에서 협력으로 전환되는 시점을 지배하는 정확한 threshold를 유도한다. 또한 parametric program Nash equilibrium을 검증하기 위한 경계 특성을 1차원 best-response condition을 통해 제시하고, 교차-player sensitivity와 자기-player sensitivity의 비율을 통해 동일한 1차 특성을 보존하는 neural semantics class로 확장한다. canonical game과 social dilemma 전반에서, 이 framework는 내부 parameterization에 대한 접근이 learning dynamics와 equilibrium structure를 어떻게 질적으로 재형성할 수 있는지, 그리고 적절히 초기화되었을 때 이기적 최적화가 어떻게 협력적 결과로 유도될 수 있는지를 보여준다.","link":"https://openreview.net/forum?id=RY3KgxzWjw"},{"id":"Mtaa2o5aVc","en":"Bridging Game Theory and Transformer Routing: Mean Field Equilibria for Mixture of Experts","ko":"Game Theory와 Transformer Routing을 잇기: Mixture of Experts의 평균장 평형","authors":"Nevroz Sen","abs":"We consider the problem of routing tokens to experts in Mixture-of-Experts (MoE) models under finite expert capacity. We formulate this as a mean field game in which tokens compete for expert resources through an aggregate load distribution. This formulation yields an entropy-regularized equilibrium routing rule that jointly accounts for expert quality and congestion. For linear congestion costs, we derive a closed-form best response converging in $O(\\log 1/\\varepsilon)$ iterations, establish existence and uniqueness, and prove $O(1/\\sqrt{N}+\\sqrt{N/T})$ finite-expert approximation bounds. We empirically evaluate the resulting Capacity-Aware MFG router on WikiText-103 and heterogeneous domain mixtures, where it improves perplexity relative to standard sparse MoE routing baselines while eliminating irreversible token drops, at a $1.65\\times$ training-cost overhead due primarily to dense expert execution. The gain decomposes into a dense-routing effect and an additional equilibrium-routing margin over Dense Random. With sparse-aware training, the learned dense equilibrium can be projected to Top-1 routing with a relatively modest 2.7\\% gain at identical inference cost.
","absKo":"우리는 유한한 expert capacity 하에서 Mixture-of-Experts(MoE) 모델의 expert로 token을 routing하는 문제를 고려한다. 우리는 이를 token들이 집계된 load distribution을 통해 expert 자원을 두고 경쟁하는 mean field game으로 정식화한다. 이 정식화는 expert의 품질과 congestion을 함께 고려하는 entropy-regularized equilibrium routing rule을 도출한다. 선형 congestion cost의 경우, 우리는 $O(\\log 1/\\varepsilon)$ 반복 수로 수렴하는 closed-form best response를 유도하고, 존재성과 유일성을 확립하며, $O(1/\\sqrt{N}+\\sqrt{N/T})$의 유한 expert 근사 경계를 증명한다. 우리는 이로부터 얻은 Capacity-Aware MFG router를 WikiText-103과 이질적인 domain mixture에서 실험적으로 평가한다. 그 결과, 되돌릴 수 없는 token drop을 제거하면서도 표준 sparse MoE routing baseline 대비 perplexity를 개선하지만, 주로 dense expert 실행 때문에 training cost가 1.65\\times 증가한다. 이 이득은 dense-routing 효과와 Dense Random 대비 추가적인 equilibrium-routing margin으로 분해된다. sparse-aware training을 사용하면, 학습된 dense equilibrium을 Top-1 routing으로 투영할 수 있으며, 동일한 inference cost에서 상대적으로 modest한 2.7\\%의 성능 향상을 보인다.","link":"https://openreview.net/forum?id=Mtaa2o5aVc"},{"id":"QjMIOBxlKS","en":"From Risk Scoring to Risk Allocation: A Density-Driven Framework for Diverse Monitoring in Multi-Agent Systems","ko":"위험 스코어링에서 위험 배분으로: 멀티에이전트 시스템의 다양한 모니터링을 위한 밀도 기반 프레임워크","authors":"Zhaohui Geoffrey Wang","abs":"Risk monitoring in multi-agent systems is commonly built on a per-state primitive that scores each state independently and selects the top K. Under crowding, where many agents share the same fragility, this approach picks redundant alerts whose risks are jointly correlated, a pattern we describe as “herding in monitoring.” We propose a paradigm shift from risk scoring to risk allocation, supported by two contributions. First, we identify the Crowding Paradox, namely that P(risk | x) is proportional to p(x) rather than 1/p(x), so density rather than anomaly score is the operative risk signal; on financial data, density-based scoring reaches AUROC ≥ 0.94 at 5d/10d/20d crash horizons, while five anomaly baselines all fall below 0.80. Second, given a density-derived fragility score, we recast monitoring as combinatorial subset selection over interdependent states and map it to a QUBO objective with a lambda-controlled risk–diversity tradeoff. The resulting Pareto frontier contains standard diverse-subset methods (MMR, k-DPP) as fixed operating points; the gain over greedy grows monotonically with scale, from +24% at n = 15 to +66% at n = 200; a learned lambda policy reaches 99.5% of an oracle grid-search objective; and the formulation transfers to traffic and multi-agent reinforcement learning. The same QUBO instances execute without modification on Rigetti superconducting QPUs (Ankaa-3 and Cepheus-1-108Q via Amazon Braket), which we report as a compatibility property of the formulation rather than a claim of quantum advantage at this scale.
","absKo":"multi-agent system에서의 risk monitoring은 일반적으로 각 state를 독립적으로 점수화하고 top K를 선택하는 per-state primitive 위에 구축된다. crowding, 즉 많은 agent가 동일한 fragility를 공유하는 상황에서는 이 접근법이 위험이 jointly correlated된 중복 alert를 선택하게 되며, 우리는 이를 “herding in monitoring”이라고 부른다. 우리는 risk scoring에서 risk allocation으로의 paradigm shift를 제안하며, 두 가지 기여로 이를 뒷받침한다. 첫째, 우리는 Crowding Paradox를 식별한다. 즉 P(risk | x)가 1/p(x)가 아니라 p(x)에 비례하므로, anomaly score보다 density가 실제 위험 신호라는 점이다. 금융 데이터에서 density-based scoring은 5d/10d/20d crash horizon에서 AUROC ≥ 0.94에 도달하는 반면, five anomaly baseline은 모두 0.80 미만에 머문다. 둘째, density에서 유도된 fragility score가 주어지면, 우리는 monitoring을 상호의존적 state 위의 combinatorial subset selection으로 재정식화하고, 이를 lambda-controlled risk–diversity tradeoff를 갖는 QUBO objective로 매핑한다. 그 결과 얻어지는 Pareto frontier에는 표준 diverse-subset method(MMR, k-DPP)가 고정 operating point로 포함된다. greedy 대비 향상은 scale과 함께 단조롭게 증가하여 n = 15에서 +24%, n = 200에서 +66%에 이르고, learned lambda policy는 oracle grid-search objective의 99.5%에 도달하며, 이 formulation은 traffic과 multi-agent reinforcement learning으로도 전이된다. 동일한 QUBO instance는 Rigetti superconducting QPU(Ankaa-3 및 Cepheus-1-108Q via Amazon Braket)에서도 수정 없이 실행되며, 우리는 이를 이 scale에서의 quantum advantage 주장이라기보다 formulation의 compatibility property로 보고한다.","link":"https://openreview.net/forum?id=QjMIOBxlKS"},{"id":"VEiW6CwFsE","en":"Neural Algorithmic Reasoning for Nash Equilibrium","ko":"Nash 균형을 위한 신경 알고리즘 추론","authors":"Mateusz Kuba Korytkowski, Dobrik Georgiev Georgiev, Davide Buffelli, Pietro Lio","abs":"We apply Neural Algorithmic Reasoning (NAR) to Nash Equilibrium computation in two-player zero-sum games. We represent bimatrix games as bipartite graphs and train a GNN processor to imitate Fictitious Play. The resulting model, NAR-FP, combines GATv2 attention with GRU memory and per-step trajectory supervision. Using the multi-size training protocol, NAR-FP achieves strong out-of-distribution size generalisation, with only $1.02\\times$ exploitability degradation from $10{\\times}10$ to $50{\\times}50$ games. NAR-FP outperforms classical Fictitious Play at matched step budgets, learning to accelerate the algorithm rather than merely replicate it. It also generalises across game structures, outperforming FP on cyclic games never seen during training. Our results suggest that algorithmic alignment is an effective framework for bridging classical game-theoretic solvers and modern neural learning.
","absKo":"우리는 Neural Algorithmic Reasoning(NAR)을 두 플레이어 zero-sum game의 Nash Equilibrium 계산에 적용한다. 우리는 bimatrix game을 bipartite graph로 표현하고, GNN processor를 학습시켜 Fictitious Play를 모사하도록 한다. 그 결과 모델인 NAR-FP는 GATv2 attention과 GRU memory, 그리고 step별 trajectory supervision을 결합한다. multi-size training protocol을 사용했을 때, NAR-FP는 강한 out-of-distribution size generalisation을 달성하며, 10×10 게임에서 50×50 게임으로 커질 때 exploitability 저하가 1.02×에 불과하다. NAR-FP는 같은 step budget에서 고전적인 Fictitious Play를 능가하며, 알고리즘을 단순히 복제하는 것이 아니라 가속하는 방법을 학습한다. 또한 게임 구조를 가로질러 일반화되며, 학습 중 한 번도 보지 못한 cyclic game에서 FP를 능가한다. 우리의 결과는 알고리즘 정렬이 고전 게임이론 solver와 현대 neural learning을 연결하는 데 효과적인 framework임을 시사한다.","link":"https://openreview.net/forum?id=VEiW6CwFsE"},{"id":"zKRQHRcmng","en":"A Minimal Decision Capacity Threshold Prevents Catastrophic Exploitation in Self-Play RL","ko":"최소 의사결정 용량 임계값은 self-play RL에서 재앙적 착취를 막는다","authors":"Arahan Kujur","abs":"We show that a minimal threshold in decision capacity determines whether self-play reinforcement learning agents collapse under asymmetric rule perturbations. In Kuhn and Leduc Poker, we remove Player 0's ability to bet or raise—either at all decision nodes or only at the opening move. Across five seeds with paired card deals: (i) removing the bet/raise action at all decision nodes (capacity 0 in Kuhn; residual capacity $>0$ in Leduc, where fold/check-call remain) causes adaptive Q-learning to collapse toward exploitation (Kuhn: $-0.93$; Leduc: $-0.31$), while a frozen Q-learning baseline stays near $-0.14$, confirming the collapse is co-adaptation-driven; (ii) preserving a single decision point stabilises Q-learning near Nash equilibrium (Kuhn: $-0.07$; Leduc: $-0.10$); (iii) the pattern is timing-invariant: early, mid, and late perturbation produce identical collapse severity; (iv) collapse is fast, occurring within four episodes on average in Kuhn. These results reveal a structural instability in learning dynamics: equilibrium behaviour becomes unsustainable once agents lose all contingent responses. We frame the collapse as a learning-dynamics instability measured against the original-game Nash value (Kuhn: $-1/18 \\approx -0.056$; Leduc: $\\approx -0.087$), not as a claim that the exploiting opponent behaves irrationally. We provide empirical evidence for a sharp threshold effect between zero and minimal decision capacity, observed consistently across two small imperfect-information poker games rather than being specific to Kuhn.
","absKo":"우리는 decision capacity의 최소 임계값이 self-play reinforcement learning agent가 비대칭 규칙 perturbation 아래에서 붕괴하는지 여부를 결정함을 보인다. Kuhn 및 Leduc Poker에서 우리는 Player 0의 bet 또는 raise 능력을 제거한다. 이는 모든 decision node에서 제거하거나 opening move에서만 제거하는 방식이다. paired card deal을 사용한 다섯 개 seed 전반에서: (i) 모든 decision node에서 bet/raise action을 제거하면(Kuhn에서는 capacity 0; Leduc에서는 fold/check-call이 남아 있으므로 residual capacity $>0$) adaptive Q-learning은 exploitation 쪽으로 붕괴한다(Kuhn: $-0.93$; Leduc: $-0.31$). 반면 frozen Q-learning baseline은 $-0.14$ 근처를 유지하여, 붕괴가 co-adaptation에 의해 유발됨을 확인해 준다. (ii) 단 하나의 decision point만 보존해도 Q-learning은 Nash equilibrium 근처에서 안정화된다(Kuhn: $-0.07$; Leduc: $-0.10$). (iii) 이 패턴은 timing에 무관하다. early, mid, late perturbation 모두 동일한 붕괴 심각도를 보인다. (iv) 붕괴는 빠르며, Kuhn에서는 평균 4 episode 이내에 발생한다. 이 결과는 learning dynamics의 구조적 불안정을 드러낸다. 즉, agent가 모든 contingent response를 잃는 순간 equilibrium behavior는 지속 가능하지 않게 된다. 우리는 이를 exploiting opponent가 비합리적으로 행동한다는 주장으로 보지 않고, 원래 게임의 Nash value에 대해 측정한 learning-dynamics instability로 해석한다(Kuhn: $-1/18 \\approx -0.056$; Leduc: $\\approx -0.087$). 우리는 두 개의 작은 imperfect-information poker game 전반에서 일관되게 관찰되는, zero와 minimal decision capacity 사이의 급격한 임계값 효과에 대한 실증적 증거를 제공한다. 이는 Kuhn에만 특이한 현상이 아니다.","link":"https://openreview.net/forum?id=zKRQHRcmng"},{"id":"t0YrSBcjX7","en":"Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings","ko":"다양한 보상 형성을 가진 희소 보상 과제에서의 제로샷 협력","authors":"Keenan Powell, Peihong Yu, Pratap Tokekar","abs":"Many Multi-Agent Reinforcement Learning (MARL) agents fail to adapt properly to cooperating with agents trained with the same objectives and goals but different seeds, algorithms, or other training differences. This is the problem of Zero-Shot Coordination (ZSC), which focuses on training agents to cooperate well with unknown agents. ZSC has been studied for a variety of tabular cases and simple games such as Hanabi, achieving excellent results. However, existing solutions to ZSC only consider identical rewards for your trained agents and all future partners. This is not realistic for the trained agents, as they do not consider the problem of cooperating with agents that have identical sparse objectives but shape the rewards for those objectives in different manner. To address this issue, we show how to train an ensemble of methods using randomized reward shapings chosen using 4 selection algorithms. Experiments done on the Overcooked environment demonstrate consistent improvements of 62.2\\%-119.2\\% in sparse reward over baseline ZSC algorithms when playing with agents that have identical sparse rewards but different reward shapings.
","absKo":"많은 Multi-Agent Reinforcement Learning(MARL) agent는 같은 objective와 goal을 학습했지만 seed, algorithm, 또는 다른 training difference가 다른 agent와 협력할 때 적절히 적응하지 못한다. 이것이 Zero-Shot Coordination(ZSC) 문제로, 알려지지 않은 agent와도 잘 협력하도록 agent를 학습시키는 데 초점을 둔다. ZSC는 Hanabi와 같은 여러 tabular case와 단순 게임에서 연구되어 탁월한 결과를 달성했다. 그러나 기존 ZSC 해결책은 훈련된 agent와 미래의 모든 파트너가 동일한 reward를 가진다고만 가정한다. 이는 현실적이지 않다. 훈련된 agent는 동일한 sparse objective를 가지지만 그 objective에 대한 reward shaping이 다른 agent와 협력하는 문제를 고려하지 않기 때문이다. 이 문제를 해결하기 위해, 우리는 4개의 selection algorithm으로 선택된 randomized reward shaping을 사용하여 method ensemble을 학습시키는 방법을 보인다. Overcooked environment에서 수행한 실험은, 동일한 sparse reward를 가지지만 다른 reward shaping을 가진 agent와 플레이할 때 baseline ZSC algorithm 대비 sparse reward에서 62.2\\%-119.2\\%의 일관된 향상을 보여준다.","link":"https://openreview.net/forum?id=t0YrSBcjX7"},{"id":"sh6JElv35s","en":"The Symmetry Trap: Parametric Equilibria and the Welfare Cost of Architectural Monoculture","ko":"대칭의 함정: 매개변수적 균형과 아키텍처 단일문화의 후생 비용","authors":"Siddharth Karuturi, Kaustubh S. Bukkapatnam, Soham Batra, Mithil Shah, Tanush Ajay Shastry, Akshath Sharma, Laksh Patel, Aarav Lala, Andrew Bae","abs":"When multiple AI agents share the same parameterization---as occurs when deploying several instances of the same large language model or reinforcement learning policy---gradient-based learning exhibits a structural symmetry-preservation property that forces convergence to a specific, often Pareto-inferior equilibrium. We formalize this phenomenon as the \\textit{Monoculture Equilibrium} and provide a rigorous theoretical characterization of its existence, stability, and welfare costs. Concretely, we prove that in symmetric anti-coordination games, identically initialized agents are confined to a symmetric invariant manifold from which they converge to the unique symmetric mixed Nash equilibrium---a saddle point of the full gradient dynamics that is globally unstable to perturbations in the heterogeneous direction. We quantify the resulting welfare loss via the Price of Monoculture (PoM), derive a symmetry-breaking threshold $\\delta^*$ below which architectural diversity fails to escape the trap, and extend these results to $N$-player and continuous-action settings. Experiments with parametric policy gradient agents, large language models in repeated Hawk-Dove play, and $N$-firm Cournot competition corroborate the theory, revealing sharp phase transitions at predicted thresholds and significant welfare gaps under monoculture conditions ($p < 10^{-8}$ across all comparisons).
","absKo":"여러 AI agent가 동일한 parameterization을 공유할 때, 예를 들어 같은 대규모 언어 모델이나 reinforcement learning policy의 여러 인스턴스를 배포하는 경우, gradient-based learning은 구조적 대칭성 보존 성질을 보이며, 그 결과 특정한, 종종 Pareto에서 열등한 equilibrium으로 수렴하게 된다. 우리는 이 현상을 \\textit{Monoculture Equilibrium}으로 정식화하고, 그 존재성, 안정성, welfare 비용에 대한 엄밀한 이론적 특성을 제시한다. 구체적으로, 대칭적 anti-coordination game에서 동일하게 초기화된 agent는 대칭 invariant manifold에 제한되며, 그 위에서 유일한 대칭 mixed Nash equilibrium으로 수렴함을 증명한다. 이는 이질성 방향의 perturbation에 대해 전역적으로 불안정한 full gradient dynamics의 saddle point이다. 우리는 이로 인한 welfare 손실을 Price of Monoculture (PoM)로 정량화하고, architecture diversity가 이 함정에서 벗어나지 못하는 symmetry-breaking threshold $\\delta^*$를 유도하며, 이 결과를 N-player 및 continuous-action setting으로 확장한다. Parametric policy gradient agent, repeated Hawk-Dove play에서의 대규모 언어 모델, N-firm Cournot competition 실험은 이 이론을 뒷받침하며, 예측된 threshold에서 sharp phase transition과 monoculture 조건에서의 유의한 welfare gap을 보여준다($p < 10^{-8}$, 모든 비교에서).","link":"https://openreview.net/forum?id=sh6JElv35s"},{"id":"Rb79jWnVDX","en":"Superhuman AI for Generals.io Using Self-Play Reinforcement Learning","ko":"Self-play reinforcement learning으로 Generals.io에서 초인적 AI 만들기","authors":"Matej Straka, Martin Schmid","abs":"We present a superhuman AI agent for Generals.io, a real-time strategy game that requires both long-horizon planning and short-term tactics under strong imperfect information. Trained on a modest compute budget, our agent reaches #1 on the public 1v1 leaderboard of over 5,000 players. We reconsider the algorithmic machinery used in previous approaches and show that simple, general-purpose methods suffice: we drop behavior cloning, potential-based reward shaping, and population-based self-play in favor of a generic policy-gradient training loop. Alongside the agent we release a JAX-native simulator supporting 1v1, 2v2, and arbitrary-N free-for-all under a shared interface, enabling research on cooperative and general-sum multi-agent play.
","absKo":"우리는 강한 imperfect information 하에서 장기적 계획과 단기 전술을 모두 요구하는 real-time strategy 게임인 Generals.io를 위한 superhuman AI agent를 제시한다. 적당한 compute budget으로 학습한 우리 agent는 5,000명 이상의 플레이어가 있는 public 1v1 leaderboard에서 1위를 달성한다. 우리는 이전 접근법에서 사용된 algorithmic machinery를 재검토하고, 단순하고 general-purpose한 방법으로 충분함을 보인다. 즉, behavior cloning, potential-based reward shaping, population-based self-play를 버리고 generic policy-gradient training loop를 채택한다. 또한 우리는 1v1, 2v2, arbitrary-N free-for-all을 공유 interface 아래 지원하는 JAX-native simulator를 함께 공개하여, cooperative 및 general-sum multi-agent play 연구를 가능하게 한다.","link":"https://openreview.net/forum?id=Rb79jWnVDX"},{"id":"KLhSCC9XAG","en":"No-Regret Learning in Bayesian Stackelberg Games with Unknown Follower Types","ko":"알려지지 않은 follower 유형을 갖는 Bayesian Stackelberg 게임에서의 no-regret learning","authors":"Matteo Bollini, Francesco Bacchiocchi, Samuel Coutts, Matteo Castiglioni, Alberto Marchesi","abs":"We study online learning in Bayesian Stackelberg games, where a leader repeatedly interacts with a follower whose unknown private type is independently drawn at each round from an unknown probability distribution. The goal is to design algorithms that minimize the leader's regret with respect to always playing an optimal commitment computed with knowledge of the game. We consider, for the first time to the best of our knowledge, the most realistic case in which the leader does not know anything about the follower's types, i.e., the possible follower payoffs. This raises considerable additional challenges compared to the commonly studied case in which the payoffs of follower types are known. First, we prove a strong negative result: no-regret is unattainable under action feedback, i.e., when the leader only observes the follower's best response at the end of each round. Thus, we focus on the easier type feedback model, where the follower's type is also revealed. In such a setting, we propose a no-regret algorithm that achieves a regret of $\\widetilde{O}(\\sqrt{T})$, when ignoring the dependence on other parameters.
","absKo":"Bayesian Stackelberg game에서 online learning을 연구한다. 이 게임에서는 leader가 매 라운드마다, unknown private type이 unknown probability distribution에서 독립적으로 추출되는 follower와 반복적으로 상호작용한다. 목표는 game에 대한 지식을 바탕으로 계산된 최적 commitment를 항상 선택하는 것에 비해 leader의 regret을 최소화하는 algorithm을 설계하는 것이다. 우리는, 우리가 아는 한, leader가 follower의 type, 즉 가능한 follower payoff에 대해 아무것도 알지 못하는 가장 현실적인 경우를 처음으로 고려한다. 이는 follower type의 payoff가 알려져 있는 흔히 연구되는 경우에 비해 상당한 추가적 도전을 제기한다. 먼저, 강한 부정적 결과를 증명한다. 즉 action feedback 하에서는 no-regret을 달성할 수 없다. 여기서 leader는 각 라운드가 끝날 때 follower의 best response만 관찰한다. 따라서 우리는 follower의 type도 공개되는 더 쉬운 type feedback model에 초점을 맞춘다. 이 setting에서, 다른 parameter에 대한 의존성을 무시하면 regret이 $\\widetilde{O}(\\sqrt{T})$인 no-regret algorithm을 제안한다.","link":"https://openreview.net/forum?id=KLhSCC9XAG"},{"id":"3wYiSIWiNd","en":"Learning Bidding Strategies for Karma Economies in Realistic Traffic Settings with Multi-Agent Reinforcement Learning","ko":"Multi-Agent Reinforcement Learning을 활용한 현실적 교통 환경에서의 Karma Economy 입찰 전략 학습","authors":"Anastasia Psarou, Kevin Riehl, Matej Jusup, Anastasios Kouvelas, Michail A. Makridis, Rafal Kucharski","abs":"Karma is a non-monetary resource-allocation mechanism that prioritizes users' needs rather than their financial power. Monetary pricing can effectively reduce congestion by imposing charges on specific road segments, but it may be unfair by favoring higher-income individuals. Prior work has shown that in this context, Karma can achieve similar efficiency while yielding fairer outcomes; however, it has been demonstrated only in a deterministic setting. Demonstrating Karma's applicability under more realistic traffic conditions is therefore important for real-world implementation. Additionally, experimental evidence suggests that humans may struggle to execute optimal bidding strategies in Karma economies. In this paper, we demonstrate the use of Multi-Agent Reinforcement Learning (MARL) to train automated bidding agents for travelers. In a microscopic traffic simulation case study, we show that MARL agents learn effective bidding strategies that yield fairer travel outcomes for drivers than those achieved under monetary pricing schemes.
","absKo":"Karma는 금전적 능력보다 사용자의 필요를 우선시하는 비금전적 자원 배분 메커니즘이다. 금전 가격은 특정 도로 구간에 요금을 부과함으로써 혼잡을 효과적으로 줄일 수 있지만, 더 높은 소득을 가진 개인에게 유리해 불공정할 수 있다. 선행 연구는 이 맥락에서 Karma가 더 공정한 결과를 내면서도 비슷한 효율성을 달성할 수 있음을 보여주었다. 그러나 이는 결정론적 설정에서만 입증되었다. 따라서 Karma가 더 현실적인 교통 조건에서도 적용 가능한지를 보이는 것은 실제 구현을 위해 중요하다. 또한 실험적 증거는 인간이 Karma 경제에서 최적의 bidding strategy를 실행하는 데 어려움을 겪을 수 있음을 시사한다. 본 논문에서는 여행자를 위한 자동 bidding agent를 학습시키기 위해 Multi-Agent Reinforcement Learning(MARL)을 사용하는 방법을 보인다. 미시적 교통 시뮬레이션 사례 연구에서, 우리는 MARL agent가 금전적 가격 체계에서 달성되는 것보다 운전자에게 더 공정한 이동 결과를 산출하는 효과적인 bidding strategy를 학습함을 보인다.","link":"https://openreview.net/forum?id=3wYiSIWiNd"},{"id":"cnBEqoLMFz","en":"Beyond Scalar Rewards: Dense Feedback for LLM Policy Synthesis in Sequential Social Dilemmas","ko":"스칼라 보상을 넘어: 순차적 사회적 딜레마에서 LLM 정책 합성을 위한 조밀한 피드백","authors":"Victor Gallego","abs":"We propose an LLM harness that generates code-based policy functions for multi-agent environments,
evaluates them with self-play, and refines them using feedback from previous iterations. Following the recent line of work in feedback engineering (the design of which information signals are shown to the LLM during
refinement), we compare sparse feedback (scalar reward only) with dense feedback (reward plus social metrics: efficiency, equality,
sustainability, peace). In two Sequential Social Dilemmas (Gathering and Cleanup) and with two frontier LLMs (Claude Sonnet 4.6, Gemini 3.1 Pro), dense feedback improves over or matches sparse feedback on all metrics. We explain this asymmetry via feedback aliasing: when the scalar reward maps distinct failure modes into the same value (e.g.,
under- vs. over-cleaning), social metrics disambiguate and allow the LLM to diagnose which direction of improvement to take. We conclude that social metrics act as a coordination signal, leading to strategies such as Voronoi territory partitioning and adaptive cleaner
schedules.
Code at https://github.com/vicgalle/llm-policies-social-dilemmas.
","absKo":"우리는 multi-agent environment를 위한 code-based policy function을 생성하고,\nself-play로 이를 평가하며, 이전 iteration의 feedback을 사용해 이를 정제하는 LLM harness를 제안한다. 최근의 feedback engineering 연구 흐름(정제 과정에서 LLM에 어떤 정보 신호를 보여줄지 설계하는 것)을 따라, 우리는 sparse feedback(scalar reward만 제공)과 dense feedback(reward에 social metric: efficiency, equality,\nsustainability, peace를 더한 것)을 비교한다. 두 개의 Sequential Social Dilemma(Gathering과 Cleanup)와 두 개의 frontier LLM(Claude Sonnet 4.6, Gemini 3.1 Pro)에서 dense feedback은 모든 metric에서 sparse feedback을 개선하거나 최소한 동일한 성능을 보인다. 우리는 이 비대칭을 feedback aliasing으로 설명한다: scalar reward가 서로 다른 실패 모드를 같은 값으로 매핑할 때(예: under-cleaning과 over-cleaning), social metric은 이를 구분해 주어 LLM이 어느 방향으로 개선해야 하는지 진단할 수 있게 한다. 우리는 social metric이 coordination signal로 작동하여 Voronoi territory partitioning과 adaptive cleaner schedule 같은 전략을 이끈다고 결론짓는다.\n\nCode at https://github.com/vicgalle/llm-policies-social-dilemmas.","link":"https://openreview.net/forum?id=cnBEqoLMFz"},{"id":"UTuYL2AkcU","en":"AlphaZero in Sparsely Rewarded Games: Limits and Auxiliary Supervision","ko":"희소 보상 게임에서의 AlphaZero: 한계와 보조 지도","authors":"Brent Kong, Tejas Ram, Tony Yue YU","abs":"AlphaZero has demonstrated that a neural-guided Monte Carlo Tree Search can achieve superhuman performance, but strong play does not necessarily imply perfect play. We study this gap in two oracle-evaluable domains with contrasting structure: Connect Four, a solved partisan game with exact game-theoretic values, and Chomp, an impartial game whose optimal play is governed by Grundy-number structure. Under a unified self-play $+$ MCTS pipeline, we compare vanilla AlphaZero, a multi-frame variant (limited to Chomp), and an AlphaZero Auxiliary Loss (AZAL) that adds oracle-derived policy supervision. We find that vanilla AlphaZero achieves strong play across both domains but cannot preserve the exact trajectories required for optimal play: in Connect Four, it fails to maintain the optimal line of play, while in Chomp, it fails to consistently restore the $g=0$ invariant. On rectangular Chomp boards, multi-frame inputs alone do not remove this gap. Nevertheless, AZAL substantially improves oracle consistency across multi-seeded full-game traces and sampled-state evaluations. On Chomp, AZAL reaches perfect full-game oracle consistency on $10\\times11$ and high but not complete consistency on $9\\times10$; on Connect Four, AZAL improves oracle-match rate and delays the first oracle mistake, but does not reach perfect play.
","absKo":"AlphaZero는 neural-guided Monte Carlo Tree Search가 초인적인 성능을 달성할 수 있음을 보여주었지만, 강한 플레이가 반드시 완전한 플레이를 의미하는 것은 아니다. 우리는 구조가 대조적인 두 개의 oracle-evaluable domain에서 이 간극을 연구한다: 정확한 game-theoretic value가 알려진 solved partisan game인 Connect Four와, optimal play가 Grundy-number structure에 의해 좌우되는 impartial game인 Chomp이다. 통합된 self-play $+$ MCTS pipeline 아래에서, 우리는 vanilla AlphaZero, multi-frame 변형(Chomp에만 제한), 그리고 oracle-derived policy supervision을 추가한 AlphaZero Auxiliary Loss(AZAL)를 비교한다. vanilla AlphaZero는 두 domain 모두에서 강한 플레이를 보이지만 optimal play에 필요한 정확한 trajectory를 보존하지는 못한다. Connect Four에서는 optimal line of play를 유지하지 못하고, Chomp에서는 $g=0$ invariant를 일관되게 복원하지 못한다. rectangular Chomp board에서 multi-frame input만으로는 이 간극이 해소되지 않는다. 그럼에도 불구하고 AZAL은 여러 seed의 full-game trace와 sampled-state evaluation 전반에서 oracle 일치성을 크게 향상시킨다. Chomp에서는 AZAL이 $10\\times11$에서 완전한 full-game oracle consistency를 달성하고, $9\\times10$에서는 높지만 완전하지는 않은 consistency를 보인다. Connect Four에서는 AZAL이 oracle-match rate를 개선하고 첫 번째 oracle mistake를 지연시키지만, 완전한 play에는 도달하지 못한다.","link":"https://openreview.net/forum?id=UTuYL2AkcU"},{"id":"277YGRqIOn","en":"Bellman-Local Lyapunov Barriers for Exact Stationary Nash Learning in Discounted Perfect-Information Stochastic Games","ko":"할인된 완전 정보 확률 게임에서 정확한 정상 Nash 학습을 위한 Bellman-local Lyapunov barrier","authors":"Manoj Saravanan","abs":"We study whether exact stationary Nash equilibria in finite rational two-player discounted perfect-information stochastic games can be reached by universally defined local learning dynamics. We introduce a Bellman-local model in which an update rule may inspect the exact Bellman jet of the current stationary profile---the current policy, exact value vectors, exact one-step continuation values, exact deviation gains, and exact discounted occupancies---and is certified by a Bellman-local Lyapunov witness. Our main result shows that if there exists a universal Bellman-local strict-descent pair whose fixed points are exactly the stationary Nash equilibria on bounded-bit policy grids, then the exact stationary-Nash search problem belongs to $\\mathrm{PLS}$; since this problem is already $\\mathrm{PPAD}$-complete, this implies the complexity collapse $\\mathrm{PPAD}=\\mathrm{CLS}$. We further prove a quantitative strengthening: if the same Bellman-local descent admits polynomially bounded witness range and inverse-polynomial one-step progress, then simple iteration computes exact or constant-accuracy stationary Nash in deterministic polynomial time, implying $\\mathrm{PPAD}\\subseteq \\mathrm{FP}$ at sufficiently small constant accuracy. These results identify a sharp frontier for game-theoretic learning in stochastic environments: Bellman locality and exact critic information alone do not suffice for a universal exact descent theory without additional structural assumptions.
","absKo":"우리는 finite rational two-player discounted perfect-information stochastic games에서 exact stationary Nash equilibria가 보편적으로 정의된 local learning dynamics를 통해 도달 가능한지 연구한다. 우리는 Bellman-local model을 도입하는데, 여기서 update rule은 현재 stationary profile의 exact Bellman jet, 즉 현재 policy, exact value vectors, exact one-step continuation values, exact deviation gains, 그리고 exact discounted occupancies를 검사할 수 있으며, Bellman-local Lyapunov witness에 의해 인증된다. 우리의 주요 결과는 bounded-bit policy grid 위에서 fixed points가 정확히 stationary Nash equilibria인 universal Bellman-local strict-descent pair가 존재한다면, exact stationary-Nash search problem이 $\\mathrm{PLS}$에 속함을 보인다. 이 문제는 이미 $\\mathrm{PPAD}$-complete이므로, 이는 complexity collapse $\\mathrm{PPAD}=\\mathrm{CLS}$를 함의한다. 우리는 추가로 정량적 강화 결과를 증명한다. 동일한 Bellman-local descent가 polynomially bounded witness range와 inverse-polynomial one-step progress를 허용한다면, 단순 반복으로 deterministic polynomial time에 exact 또는 constant-accuracy stationary Nash를 계산할 수 있으며, 충분히 작은 constant accuracy에서 $\\mathrm{PPAD}\\subseteq \\mathrm{FP}$를 함의한다. 이 결과는 stochastic environments에서의 game-theoretic learning에 대한 날카로운 경계를 규정한다. Bellman locality와 exact critic information만으로는 추가적인 구조적 가정 없이 보편적인 exact descent theory를 보장하기에 충분하지 않다.","link":"https://openreview.net/forum?id=277YGRqIOn"}];window.dispatchEvent(new CustomEvent("papers-loaded",{detail:"54068"}));