월드 모델과 현실의 정렬에서 나타나는 기약 양자 이점
An Irreducible Quantum Advantage in Aligning World Models with Reality
월드 모델(world model)은 실제 세계의 디지털 시뮬라크르를 제공하여, 비용이 많이 드는 실제 환경 배치 이전에 에이전트(agent)를 학습하고 테스트할 수 있도록 돕는다. 각 타임스텝마다 월드 모델은 행동을 입력받아 실제 세계의 통계와 일치하는 관측값 및 보상(reward)을 생성한다. 현재의 결과가 먼 과거의 사건에 의존하는 복잡한 환경에서는 메모리가 필요하다. 흔히 메모리를 늘림으로써 실제 세계와 가상 세계의 최적 에이전트 정책을 정렬(alignment)할 수 있을 만큼 항상 충분히 정확한 모델을 구축할 수 있을 것이라 기대할 수 있다. 본 논문에서는 실제 세계 자체가 고전적(classical)일 때조차도 고전적 월드 모델에 대해서는 이러한 가정이 거짓임을 보인다. 연구진은 모든 유한 고전 모델이 동일한 가능한 궤적 상에서 실패하는 실제 세계들을 구성한다. 즉, 실제 세계가 특정 행동을 명확히 선호할 때 행동을 구분하는 능력을 상실하거나, 차선의 행동에 가장 높은 기대 보상을 반복적으로 부여한다. 또한 기대 보상 추정치에는 사라지지 않는 평균 오차가 지속적으로 남는다. 반면, 이러한 각각의 실제 세계는 단일 큐트리트(qutrit)를 사용하여 해당 환경을 정확히 재현하는 양자 월드 모델을 허용한다. 이 양자 모델의 보상 추정치와 선호 행동은 항상 실제 세계의 것과 일치하여, 실제 세계와 가상 세계의 최적 정책이 완벽하게 정렬되도록 보장한다.