희소 보상 게임에서의 AlphaZero: 한계와 보조 지도학습
AlphaZero in Sparsely Rewarded Games: Limits and Auxiliary Supervision
AlphaZero는 신경망 기반 몬테카를로 트리 탐색(Monte Carlo Tree Search)이 초인적 성능을 달성할 수 있음을 보여주었지만, 강한 플레이가 반드시 완벽한 플레이를 의미하지는 않는다. 우리는 대조적인 구조를 가진 두 가지 오라클 평가 가능 도메인에서 이 격차를 연구한다: 정확한 게임 이론적 값이 존재하는 완전히 풀린 편향 게임(partisan game)인 Connect Four, 그리고 최적 플레이가 Grundy 수 구조에 의해 지배되는 공평 게임(impartial game)인 Chomp. 통합된 자기 대국(self-play) + MCTS 파이프라인 하에서, 기본 AlphaZero, 멀티-프레임 변형(Chomp에만 적용), 그리고 오라클에서 도출된 정책 지도학습을 추가하는 AlphaZero 보조 손실(AZAL, AlphaZero Auxiliary Loss)을 비교한다. 기본 AlphaZero는 두 도메인 모두에서 강한 플레이를 달성하지만 최적 플레이에 필요한 정확한 궤적을 유지하지 못함을 확인했다: Connect Four에서는 최적 플레이 라인을 유지하지 못하고, Chomp에서는 $g=0$ 불변 조건을 일관되게 복원하지 못한다. 직사각형 Chomp 보드에서 멀티-프레임 입력만으로는 이 격차를 해소하지 못한다. 그럼에도 불구하고, AZAL은 다중 시드 전체 게임 추적 및 샘플 상태 평가에서 오라클 일관성을 크게 향상시킨다. Chomp에서 AZAL은 10x11 크기에서 완벽한 전체 게임 오라클 일관성에 도달하고, 9x10 크기에서는 높지만 완전하지 않은 일관성을 달성한다; Connect Four에서 AZAL은 오라클 일치율을 향상시키고 첫 번째 오라클 실수를 지연시키지만, 완벽한 플레이에는 도달하지 못한다.