From Multimodal Perception to Strategic Reasoning: A Survey on AI-Generated Game Commentary
원문 초록
The advent of artificial intelligence has propelled AI-Generated Game Commentary (AI-GGC) into a rapidly expanding research area, offering advantages such as scalable availability and personalized narration. However, existing studies remain fragmented, and a systematic survey that unifies prior efforts is still lacking. To bridge this gap, our survey introduces a unified framework that systematically organizes the AI-GGC landscape. We present a novel taxonomy focused on three core commentator capabilities: Live Observation, Strategic Analysis, and Historical Recall, and further categorize commentary into three corresponding types: Descriptive Commentary, Analytical Commentary, and Background Commentary. Building on this structure, we provide an in-depth review of methods, datasets, and evaluation metrics, analyzing their strengths and limitations. Finally, we highlight key challenges and point out promising directions for future research in AI-GGC.
요약
AI가 생성하는 게임 해설(AI-GGC) 분야를 체계적으로 정리한 서베이로, Live Observation·Strategic Analysis·Historical Recall이라는 3가지 핵심 해설자 역량과 이에 대응하는 Descriptive·Analytical·Background Commentary 분류 체계를 제시한다. 보드게임, 스포츠, 이스포츠에 걸친 방법론·데이터셋·평가 지표를 종합적으로 검토하고, 전략적 추론 깊이 부족과 멀티모달 이질성이라는 주요 과제를 분석한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2506.17294v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합
OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning
본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.
적응적 보기, 유연한 사고: 멀티모달 추론에서 어떻게, 얼마나 길게 생각할지 학습하기
Adaptive Look, Flexible Thought: Learning How and How Long to Think in Multimodal Reasoning
긴 사고의 연쇄(Chain-of-Thought, CoT) 추론과 외부 도구의 도입은 일반 작업과 추론 작업에서 멀티모달 대규모 언어 모델(MLLM)의 성능을 크게 향상시켰다. 그러나 기존의 빠르고-느린(fast-slow) 추론 패러다임은 주로 텍스트 추론의 길이를 조절하는 데 그치며, 외부 도구나 비주얼 토큰에 의해 도입되는 시각적 연산은 흔히 보조적인 구성 요소로 취급된다. 이러한 분리는 MLLM이 시각적 지각(visual perception)과 텍스트 추론을 함께 최적화하는 것을 가로막는다. 이 문제를 해결하기 위해, 우리는 연산의 형태와 깊이를 함께 최적화하는 통합 추론 프레임워크인 L2T(adaptive Look, flexible Thought)를 제안한다. L2T는 먼저 도구가 생성한 시각적 상태를 비주얼 토큰으로 이산화(discretize)하여, 시각적 지각과 텍스트 추론을 공유된 자기회귀(autoregressive) 공간으로 통합한다. 이러한 통합된 표현을 기반으로, L2T는 적절한 추론 모드를 선택하기 위한 모달리티 인지 라우팅 보상(modality-aware routing reward)과 과제의 복잡도에 따라 추론 깊이를 조정하는 난이도 인지 빠르고-느린 전략(difficulty-aware fast-slow strategy)을 도입한다. 일반적인 지각 작업과 추론이 집중적으로 필요한 작업에 대한 실험은 L2T의 효과를 입증한다. 명시적으로 도구를 호출하는 접근법과 비교할 때, L2T는 경쟁력 있는 성능을 유지하면서도 1.7~3.6배 높은 처리량(throughput)을 달성한다.
에이전틱 대규모 언어 모델
Agentic Large Language Models
대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.
SLVR: 인간과 유사한 추론 흐름을 통한 구조화된 잠재 시각적 추론
SLVR: Structured Latent Visual Reasoning via Human-like Reasoning Flows
멀티모달 대규모 언어 모델(MLLM)은 과제와 관련된 시각적 증거보다 언어적 사전 확률에 의존하여 시각적 추론 질문에 답하는 경우가 많습니다. 텍스트 기반 사고의 연쇄(Chain-of-Thought, CoT) 추론은 모델이 시각적 질문을 중간 증거 탐색 단계로 분해하도록 유도하여 이 문제를 부분적으로 완화할 수 있지만, 이러한 단계를 자기회귀적(autoregressively)으로 생성하면 추론(inference) 비용이 증가합니다. 잠재 추론(latent reasoning)은 명시적인 근거 생성을 피하지만, 기존 접근법은 중간 상태가 인코딩하는 정보에 대한 제어가 제한적이어서 계획(planning), 그라운딩(grounding), 증거 선택에 대한 개별적인 지도(supervision)를 적용하기 어렵습니다. 본 논문에서는 멀티모달 추론을 계획, 그라운딩, 증거 선택, 추론 통합을 위한 유형화된 잠재 단계로 구성함으로써 명시적 사고의 연쇄와 잠재 추론을 연결하는 학습(training) 프레임워크인 SLVR(Structured Latent Visual Reasoning)을 제안합니다. SLVR은 먼저 정답을 드러내는 텍스트를 마스킹하고 정답을 시각적으로 그럴듯한 오답과 대조함으로써 모델이 이미지에 의존하도록 학습시킵니다. 그런 다음 추론을 계획, 그라운딩, 증거 선택, 통합을 위한 잠재 단계로 구성하고, 각 단계를 그에 대응하는 신호인 계획, 바운딩 박스, 시각적 증거, 최종 근거로 지도합니다. 이를 통해 추론 시점에 생성되는 텍스트 체인을 피하면서도 잠재 추론에 명시적인 기능적 구조를 부여합니다. Qwen2.5-VL-7B를 기반으로 구축된 SLVR은 멀티모달 추론 벤치마크 전반에서 일관된 성능 향상을 보였으며, MMVP에서 +9.4, BLINK Relation에서 +14.2의 절대적 향상을 기록했을 뿐만 아니라 V*, MathVista, ChartQA에서도 성능이 향상되었습니다. 이러한 결과는 구조화된 잠재 지도가 텍스트 CoT의 디코딩 오버헤드 없이 미세한 시각적 추론을 개선할 수 있음을 시사합니다. 프로젝트 페이지는 \href{https://bogao-code.github.io/SLVR/}{여기}에서 확인할 수 있습니다.
원시 비디오를 활용한 언어 모델의 중간 학습
Mid-Training Language Models on Raw Video
다중모달 대규모 언어 모델은 주로 쌍을 이룬 이미지-텍스트 데이터나 주석이 달린 비디오를 통해 학습하며, 기존 언어 모델을 추가 학습(training)하는 데 원시 웹 비디오가 사용되는 경우는 드뭅니다. 본 연구에서는 캡션이나 텍스트 손실(loss)이 없는 원시 비디오가 사전학습된 언어 모델의 중간 학습(mid-training) 데이터로 기능할 수 있는지를 조사합니다. 비디오 프레임은 연속적인 시각적 토큰(token)으로 인코딩되며, 언어 모델은 다음 시각적 토큰을 예측하도록 학습합니다. 저자들은 YT-Temporal-1B의 원시 클립을 사용하여 Qwen3-1.7B를 중간 학습한 후, 중간 학습을 거친 모델과 거치지 않은 모델 모두에 동일한 이미지-텍스트 지시 미세조정(instruction tuning)을 적용하여 두 모델이 오직 중간 학습 여부에서만 차이를 갖도록 설계했습니다. 중간 학습된 모델은 지각, 문서, 차트 과업을 아우르는 4개의 비디오 벤치마크에서 평균 2.9점, 10개의 이미지 벤치마크에서 평균 5.1점 더 높은 점수를 기록했습니다. 중간 학습 과정에 텍스트가 포함되지 않았음에도 텍스트 성능은 유지되어, 14개 텍스트 벤치마크 평균 점수가 중간 학습을 거치지 않은 모델의 48.0점에 비해 48.9점을 기록했습니다. 학습 과정 전반에 걸친 분석 결과에 따르면, 이미지 및 비디오 성능 향상은 학습의 30% 이내에 나타나고 이후 0.5점 미만의 변동을 보이며 정체 상태에 도달합니다. 캡션을 예측하는 방식은 다음 시각적 토큰 예측 성능을 넘어서지 못했으며, 이는 비디오 중간 학습이 자동 캡셔닝의 연산 오버헤드나 레이블링 노이즈 없이도 순수하게 자기지도 학습 방식으로 유지될 수 있음을 보여줍니다.
Foresight: 재학습 없이 스트리밍 VLM에서 미래 지각을 계획하기
Foresight: planning future perception in streaming VLMs without retraining
기존의 스트리밍 비전-언어 모델(VLM)은 시각적 스트림을 지속적으로 지각하고 추론하지만, 추론 과정 전반에 걸쳐 연산 경로는 고정되어 있습니다. 결과적으로 서로 다른 미래 사건이 서로 다른 수준과 형태의 지각을 요구하는 동적인 장면 변화에 맞춰 연산을 적응시키지 못합니다. 본 논문에서는 스트리밍 VLM이 당장의 가까운 미래를 예측하는 능력을 본질적으로 지니고 있음을 보이고, 이 능력을 활용하여 학습 없이(training-free) 미래 연산을 동적으로 구성합니다. 그러나 이러한 예측적 연산을 구현하는 것은 매우 까다롭습니다. 미래 예측은 연산을 안내할 수 있을 만큼 충분히 신뢰할 수 있어야 하고, 계획(planning)은 스트리밍 추론과 동시에 실행되어야 하며, 온라인 재구성은 무시할 수 있을 정도의 오버헤드만 발생시켜야 합니다. 이러한 문제를 해결하기 위해 가중치, 입력 인코더, KV 캐시를 공유하는 두 개의 샴 LLM(Siamese LLM)으로 구성된 듀얼 스트림 아키텍처 FORESIGHT를 제안합니다. 첫 번째 LLM은 입력되는 토큰을 지속적으로 처리하며, 두 번째 LLM은 스트리밍 추론을 중단하지 않고 스트림보다 앞서 실행되어 미래 컨텍스트를 예측하고 미래 연산을 계획하며 작업 응답을 생성합니다. 각 계획은 일시적인 증거와 지속적인 제어를 분리하여 유지하면서, 다음에 언제 추론할지, 그때 무엇을 확인할지, 얼마나 조밀하게 샘플링할지를 결정합니다. 생성된 연산 계획은 스키마 유도 디코딩(schema-guided decoding)과 경량 diff 기반 업데이트를 활용한 효율적인 재구성 프로토콜을 통해 온라인으로 실행되어 낮은 오버헤드로 동적 적응을 가능하게 합니다. 동결된 Qwen3-VL-8B 백본을 사용하는 FORESIGHT는 OmniPro Online 평가에서 23.0 평균 결합 F1을 달성하여 가장 강력한 학습 기반 기준선(baseline)을 9.5% 차이로 제쳤으며, StreamingBench에서 백본 대비 6.7, OVO-Bench에서 15.4의 성능 향상을 보였고, 비디오 스트림에서 증거가 늦게 나타날 때 최대 18.7의 가장 큰 향상을 기록했습니다. 소스 코드는 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.