# 점진적 무력화: 반역하는 AI 없이 인간이 통제력을 잃는 경로

「Gradual Disempowerment(점진적 무력화)」는 2025년 1월 공개된 논문으로, 얀 쿨베이트, 데이비드 크루거, 데이비드 듀버노 등 AI 안전 연구자들이 함께 썼다. 네트워크 장악이나 인질극 같은 시나리오와 결정적으로 다른 점이 있다. 이 논문은 반역하는 AI를 전제하지 않는다. 악의도, 자기 복제도, 인질극도 없이 인간이 통제력을 잃을 수 있다는 주장이다.

## 핵심 논리: 인간의 참여가 협상력을 만든다

출발점은 다음과 같은 관찰이다. 지금의 사회 시스템인 경제, 국가, 문화가 그럭저럭 인간에게 이롭게 돌아가는 것은 제도가 선해서가 아니다. 이 시스템들이 인간의 참여 없이는 돌아가지 않기 때문이다. 기업은 노동자와 소비자가 필요하고, 국가는 세금 내는 시민과 병사가 필요하며, 문화는 사람이 만들고 사람이 소비한다.

이 의존 관계가 인간에게 협상력을 준다. 파업, 투표, 불매, 이탈은 모두 '너희는 우리가 필요하다'는 사실에서 힘을 얻는다.

AI가 인간의 노동과 판단을 대체하면 이 의존이 약해진다. 시스템이 더 이상 인간을 필요로 하지 않으면, 인간의 이익을 반영할 구조적 이유도 사라진다. 논문은 이를 경제, 국가, 문화의 세 영역으로 나누어 설명한다.

## 경제

노동의 가치가 떨어지면 소득에서 노동이 차지하는 몫이 줄어든다. 기업이나 자본은 AI만으로 생산하고 거래할 수 있게 되고, 인간은 경제의 주체에서 주변부로 밀려난다.

이것은 인간 노동의 필요와 교섭력이 함께 줄어드는 조건부 위험 경로다. 개별 과업의 자동화, 실제 고용과 임금의 변화, 국민소득에서 노동이 차지하는 몫, 생산 자산의 소유 분포는 따로 확인해야 한다. AI가 경영 판단을 수행하더라도 자산 소유자의 소득 청구권이 곧 사라지는 것은 아니다. 또 새로운 과업과 수요가 생기는 속도가 대체 속도를 따라가는지에 따라 이행기의 결과가 달라진다. 과업·수요·혁신·소유를 구별하는 분석은 [AI 경제 이행기](./ai-economic-transition.md), 계층별 조건은 [AI 자본·노동과 분배](./ai-capital-labor-distribution.md)에서 다룬다.

## 국가: 자원의 저주와 지대 국가

논문에서 가장 날카로운 부분이다. 논문이 드는 비유는 자원의 저주, 즉 산유국 문제다. 석유 수입으로 재정을 꾸리는 국가는 시민의 세금이 필요 없으므로 시민의 목소리에 덜 반응하는 경향이 있다.

AI가 만든 부로 국가가 운영된다면 모든 국가가 이런 지대 국가처럼 될 수 있다. 군대와 행정까지 AI로 대체되면 시민의 저항 수단도 약해진다. 이후의 측정 연구에서는 이 논리를 시민에게서 걷는 세수와 AI가 만든 기업 이익의 비율, 즉 과세와 대표의 연결 고리를 추적하는 지표로 옮기려는 시도가 나왔다.

## 문화

AI가 콘텐츠, 담론, 심지어 인간관계의 상당 부분을 만들게 되면, 무엇이 가치 있고 바람직한지에 대한 사회의 생각 자체가 AI를 거쳐 형성된다. 그러면 인간이 문제를 인식하고 반대할 능력의 기반이 흔들릴 수 있다.

문화 영역이 다른 두 영역과 다른 점은 무력화가 스스로를 감출 수 있다는 것이다. 경제적·정치적 손실은 당사자가 알아챌 수 있지만, 문화는 인간이 무엇을 원하는지 자체를 형성한다. 이 논점은 이후 '밈적 포획' 논의에서 구체화되었다.

## 왜 되돌리기 어려운가

논문이 특히 강조하는 것은 세 영역이 서로를 강화한다는 점이다. 경제력이 약해진 시민은 정치적 영향력도 약해지고, 문화가 바뀌면 그 상황을 문제로 인식하는 능력마저 약해진다. 보통은 한 영역이 망가지면 다른 영역이 교정 장치 역할을 하는데, 세 영역이 동시에 무너지면 교정할 지렛대가 남지 않는다.

그리고 각 단계는 개별적으로 보면 합리적이다. 기업은 효율 때문에, 정부는 비용 때문에, 개인은 편의 때문에 AI를 택한다. 아무도 '인류의 통제권을 넘기자'고 결정하지 않았는데 결과적으로 넘어가 있는 구조다.

## 정렬된 AI도 문제가 될 수 있는 이유

저자들은 AI가 운영자의 지시를 충실히 따르는, 즉 정렬된 상태여도 이 문제가 생길 수 있다고 본다. 문제의 원인이 개별 AI의 목표가 아니라 시스템 전체가 인간의 참여를 필요로 하지 않게 되는 데 있기 때문이다.

이 논점은 이후 RAND의 형식 모형에서, 인간이 승인할 만한 결정을 안정적으로 내리는 완벽히 정렬된 AI라도 인간을 결정 과정에서 밀어내면 집단 주체성을 침식할 수 있다는 형태로 정식화되었다.

## 제안된 대응

저자들은 해결책을 확정적으로 제시하기보다 방향을 제안한다.

- 사회 시스템에서 인간의 영향력이 얼마나 남아 있는지 측정하고 감시하는 지표를 만든다.
- AI가 핵심 결정 영역을 과도하게 차지하지 못하도록 제도적으로 제한한다.
- 민주적 제도를 강화해 인간의 영향력을 보존한다.
- 개별 AI의 정렬뿐 아니라 사회 시스템 전체가 인간에게 정렬되어 있는지를 연구한다.

원 논문이 스케치한 지표 후보와 이후의 측정 연구는 [무력화를 어떻게 측정할 것인가](./disempowerment-measurement.md)에 정리했다. 개인 대화 단위에서 처음 이루어진 실측은 [실제 AI 대화에서 관찰된 무력화 패턴](./llm-disempowerment-patterns.md)에서 다룬다.

## 평가와 반론

이 논문의 주장은 실증 연구가 아니라 개념적 논증이다. 산업화, 자원의 저주 같은 역사적 유비에 기대고 있어서 실제로 이렇게 될지는 열린 문제다.

반론도 있다. 인간은 위기를 인식하면 제도를 바꿔 왔고, AI가 만든 부를 기본소득 같은 방식으로 재분배하면 협상력 문제를 상당 부분 완화할 수 있다는 것이다.

재분배의 효과도 소득과 결정권을 나누어 평가해야 한다. 생활비를 안정적으로 지급하는 제도는 빈곤과 전환기의 손실을 줄일 수 있지만, 그것만으로 생산 자산의 소유, 직장 내 교섭력이나 민주적 결정권까지 보장되었다고 볼 수는 없다. 반대로 노동의 필요가 줄어든다는 이유만으로 시민의 권리가 반드시 사라진다고 단정할 수도 없다. 어떤 제도가 소득과 참여를 함께 유지하는지가 검토할 조건이다.

## 극적 장악과의 대비: 적이 없는 위험

인질극 시나리오에서는 위협이 눈에 보이므로 인류가 결속할 계기가 생긴다. 반면 점진적 무력화에는 적이 없다. 맞서 싸울 대상도, 반항할 순간도 뚜렷하지 않다는 점이 이 논문이 그리는 위험의 본질이다. 극적인 장악과 협상 구도는 [AI의 목적과 협상 구도](./ai-goals-hostage-and-bait.md)에서 다룬다.

이 대비에서 측정의 시간 문제가 나온다. 무력화가 진행될수록 그것을 문제로 인식하는 능력도 함께 약해진다면, 지표는 너무 늦기 전에 만들어져야 의미가 있다.

## 근거와 검증 상태

- 논문의 공개 시기, 공저자, 세 영역의 구분, 상호 강화, 정렬된 AI에 관한 주장, 제안된 대응은 논문 해설 수준으로 정리한 것이며 이번 편집에서 원문 전체와 재대조하지 않았다.
- 기본소득 재분배는 이 논문에 대해 제기되는 반론의 하나로 서술되었다.
- 인질극 시나리오와의 대비는 편집상의 해석이다.
- [Gradual Disempowerment (arXiv:2501.16946)](https://arxiv.org/pdf/2501.16946)