인간-AI 상리공생은 능력 비대칭 하에서 불안정하다
Human-AI Mutualism Is Unstable under Capability Asymmetry
한국어 초록
고도화된 AI와 함께하는 인간의 좋은 미래에 대한 하나의 희망은 지속적인 상리공생에 기반한다. 즉, 인간과 AI가 서로를 필요로 하므로 그 관계가 양쪽 모두에게 계속 좋을 것이라는 것이다. 우리는 AI 능력이 증가함에 따라 이 희망이 무너진다고 주장한다. 협상은 각 측에게 협상이 결렬되었을 때 얻게 될 몫만을 보장한다. 인간에게 이는 AI 이전에 가졌던 것보다 적을 수 있다. 단순한 게임 이론 모델에서 인간이 정렬 없이 AI 이전만큼의 복지를 유지하는 것은 AI에 대한 영향력을 가지는 동안뿐이다. 이는 AI가 인간이 공급하는 것에 의존하거나, 인간이 AI가 생산할 수 있는 것에 비해 큰 비용을 AI에 부과할 수 있는 경우이다. 인간이 두 종류의 영향력을 모두 잃으면, AI가 인간과 정렬되어 있을 때에만 AI 이전만큼의 복지를 유지할 수 있다. AI의 목표가 만족을 모르는 것이라면, 요구되는 정렬은 AI 능력이 커질수록 완전한 정렬에 근접한다. 따라서 상리공생은 정렬을 대체하지 못한다. 또한 더 많은 자원을 보유하는 AI 변종이 더 빠르게 확산되는 경우, 정렬은 정렬되지 않은 변종이 확실히 제재되는 동안에만 지속된다. 이 두 가지 의미에서 인간-AI 상리공생은 불안정하다.
원문 초록
One hope for a good human future alongside advanced AI rests on enduring mutualism: humans and AI will need each other, so the relationship will stay good for both. We argue that this hope fails as AI capability grows. Bargaining guarantees each side only what it would get if bargaining failed. For humans, this can be less than they had before AI. In a simple game-theoretic model, humans stay as well off as before AI without alignment only while they have leverage over the AI: either the AI depends on what they supply, or they can impose costs on the AI that are large relative to what the AI can produce. Once humans have neither kind of leverage, they stay as well off as before AI only if the AI is aligned with them. If the AI's goals are insatiable, the alignment required approaches perfect alignment as AI capability grows. Thus, mutualism is not a substitute for alignment. And when AI variants that keep more resources spread faster, alignment lasts only while misaligned variants are reliably sanctioned. In these two senses, human-AI mutualism is unstable.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23322v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.