arXiv:2611.24590v1 cs.AI

오프라인으로 생각하고 실시간으로 행동하기: 코드를 통한 자기 개선 시각 게임 에이전트

Think Offline, Act in Real Time: Self-Improving Visual Game Agents through Code

Zipeng Qiu, Shusheng Xu, Jiale Li, Yukun Zhou, Chenyue Li, Wenshuang Li, Tongkai Yang, Binhang Yuan

제출 2026-11-19

한국어 초록

사전 학습된 모델은 화면을 읽고 게임에 대해 추론할 수 있지만, 낯선 게임에서는 에이전트가 여전히 플레이하는 법을 학습해야 한다. 본 연구는 에이전트가 화면만 볼 수 있고 에이전트가 생각하는 동안에도 게임이 계속 진행되는 실시간 시각 게임에서, 자신의 몇 번의 시도로부터 에이전트가 어떻게 자기 개선할 수 있는지 질문한다. 이러한 개선을 담을 수 있는 두 종류의 정책을 연구한다. 정책으로서의 모델에서는 플레이 중 모델이 행동을 선택하며, 모델이 추론하는 동안 확정된 행동이 계속 실행되도록 실시간 청킹을 적응시키고 이 인터페이스를 위해 2B 컨트롤러를 학습시킨다. 정책으로서의 코드에서는 모델이 시도 사이에 프로그램을 작성, 테스트, 수정하며, 플레이 중에는 그 프로그램이 행동한다. 실행당 최대 8회의 1분 실행으로 170개 GameWorld 과제에 걸쳐 평가한 결과, 정책으로서의 코드는 평균 진행도 47.80%에 도달하여 학습된 컨트롤러의 30.90%를 앞섰으며 다섯 개 게임 범주 모두에서 우위를 보였다. 반면 단일 게임에서 컨트롤러의 가중치를 개선하면 완만한 이득만 얻어진다. 이러한 결과는 모델이 오프라인으로 생각하도록 하고, 학습한 내용을 실시간으로 행동하는 프로그램에 저장하는 방식을 뒷받침한다. 프로젝트 저장소: https://github.com/TabibitoQZP/SIGame

원문 초록

Pre-trained models can read screens and reason about games, yet on an unfamiliar game, an agent still has to learn to play. We ask how an agent can self-improve on such a game from a few of its own attempts, in real-time visual games where the agent sees only the screen and the game keeps running while the agent thinks. We study two kinds of policy that can carry this improvement. In model as policy, a model selects actions during play; we adapt real-time chunking so that committed actions keep executing while the model reasons, and train a 2B controller for this interface. In code as policy, a model writes, tests, and revises a program between attempts, and the program acts during play. Across 170 GameWorld tasks, with at most eight one-minute executions per run, code as policy reaches 47.80% mean progress, against 30.90% for our trained controller, and leads in all five game categories. Improving the controller's weights on a single game, by contrast, yields only modest gains. These results favor letting a model think offline and storing what it learns in a program that acts in real time. Project repository: https://github.com/TabibitoQZP/SIGame

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24590v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.