PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.08984v1cs.LG

희소 보상 게임에서의 AlphaZero: 한계와 보조 지도학습

AlphaZero in Sparsely Rewarded Games: Limits and Auxiliary Supervision

AlphaZero는 신경망 기반 몬테카를로 트리 탐색(Monte Carlo Tree Search)이 초인적 성능을 달성할 수 있음을 보여주었지만, 강한 플레이가 반드시 완벽한 플레이를 의미하지는 않는다. 우리는 대조적인 구조를 가진 두 가지 오라클 평가 가능 도메인에서 이 격차를 연구한다: 정확한 게임 이론적 값이 존재하는 완전히 풀린 편향 게임(partisan game)인 Connect Four, 그리고 최적 플레이가 Grundy 수 구조에 의해 지배되는 공평 게임(impartial game)인 Chomp. 통합된 자기 대국(self-play) + MCTS 파이프라인 하에서, 기본 AlphaZero, 멀티-프레임 변형(Chomp에만 적용), 그리고 오라클에서 도출된 정책 지도학습을 추가하는 AlphaZero 보조 손실(AZAL, AlphaZero Auxiliary Loss)을 비교한다. 기본 AlphaZero는 두 도메인 모두에서 강한 플레이를 달성하지만 최적 플레이에 필요한 정확한 궤적을 유지하지 못함을 확인했다: Connect Four에서는 최적 플레이 라인을 유지하지 못하고, Chomp에서는 $g=0$ 불변 조건을 일관되게 복원하지 못한다. 직사각형 Chomp 보드에서 멀티-프레임 입력만으로는 이 격차를 해소하지 못한다. 그럼에도 불구하고, AZAL은 다중 시드 전체 게임 추적 및 샘플 상태 평가에서 오라클 일관성을 크게 향상시킨다. Chomp에서 AZAL은 10x11 크기에서 완벽한 전체 게임 오라클 일관성에 도달하고, 9x10 크기에서는 높지만 완전하지 않은 일관성을 달성한다; Connect Four에서 AZAL은 오라클 일치율을 향상시키고 첫 번째 오라클 실수를 지연시키지만, 완벽한 플레이에는 도달하지 못한다.

arXiv:2606.17847v1cs.AI

WallZero: 전략 분석으로 WallGo 게임 마스터하기

WallZero: Mastering the Game of WallGo with Strategic Analysis

WallGo는 최근 도입된 전략 보드 게임으로, 2025년 Netflix 시리즈 《데블스 플랜(The Devil's Plan)》을 통해 대중화되었다. 비록 작은 7×7 보드에서 진행되지만, 돌 이동과 벽 배치의 결합은 높은 게임 트리(game-tree) 복잡도와 복잡한 전략적 상호작용을 만들어낸다. 인기가 높아지고 있음에도 WallGo는 아직 충분히 연구되지 않았다. 본 논문은 2인용 WallGo 환경을 위한 AlphaZero 기반 에이전트인 WallZero를 제안한다. 우리는 대국 성능을 크게 향상시키기 위해 맞춤형 action 및 특징(feature) 설계를 도입한다. 평가에서 WallZero는 본 연구에 참여한 두 명의 프로 바둑 기사를 이겼으며, 게임당 평균 1.98배 더 많은 집을 확보했다. 강함을 넘어, WallZero를 활용해 게임 공정성을 평가하고 WallGo 마스터를 위한 핵심 전략을 식별한다. 흥미롭게도, 결과는 Netflix 시리즈에서 사용된 초반 포석이 더 균형 잡힌 게임을 만든다는 것을 보여준다. 코드는 https://rlg.iis.sinica.edu.tw/papers/wallzero 에서 확인할 수 있다.