한국어 초록
최신 최고 성능 월드 모델은 사용자가 입력한 행동에 맞는 게임 플레이 시퀀스를 생성할 수 있다. 그러나 높은 품질과 일관성을 갖춘 시퀀스를 생성하면 추론이 느려지는 경우가 많아 실시간 상호작용이나 아이디어 탐색이 어렵다. 최고 성능 모델을 학습할 때 드는 데이터 양도 많아 모델을 맞춤 학습하기 어렵고, 창작 분야에서의 활용이 제한된다. 빠른 고품질 추론과 데이터 효율 개선을 함께 달성하는 방법을 제시한다. 다음 토큰 예측 방식을 2단계 이산 확산 방식으로 바꾸고, 마스킹된 부분을 반복 예측하는 경량 정제 트랜스포머를 도입했다. 수 분에 걸쳐 일관성이 높고 복잡한 시퀀스를 생성하는 자기회귀 월드 모델(Kanervisto 외, 2025)을 바탕으로, 품질이 소폭 낮아지는 대신 실행 속도를 79배 높였다. 약 하루 분량인 28시간의 게임 플레이 데이터셋으로 학습해 품질과 일관성이 높은 게임 플레이를 재현할 수 있음도 보였다. 이 결과는 실시간 추론과 데이터 효율이 필수적인 환경에서 월드 모델 사용의 제약을 줄일 수 있음을 보여 준다.
원문 초록
State-of-the-art world models have been used to produce sequences of gameplay that accord with provided user-input actions. However, high quality, consistent gameplay generation often comes at the cost of inference speed, making real-time interactive play and ideation challenging. The substantial quantities of data used to train state-of-the-art models have also made custom training of these models appear impractical, limiting many of their potential uses in creative fields. In this work we demonstrate a major step towards efficient world models: achieving both fast high-quality inference, and improved data efficiency. This is done by replacing the next-token prediction paradigm with a two-stage discrete diffusion-based approach, introducing a lightweight refinement transformer which carries out iterative masked predictions. Building on an autoregressive world model capable of generating highly consistent and complex sequences over minutes (Kanervisto et al., 2025), we achieve substantial model speed-up (79x) with a modest quality trade-off. Additionally, we demonstrate that this model can be trained to reproduce high-quality, consistent gameplay using a dataset containing approximately one day (28 hours) of gameplay data. Our results demonstrate progress towards removing barriers to the use of world models in settings where real-time inference and data efficiency are essential.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22497v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.