PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.02655v2cs.CL

멀티모달 LLM을 활용한 게임 비디오 실시간 해설 생성: 휴지기 인식 디코딩 접근법

Real-Time Generation of Game Video Commentary with Multimodal LLMs: Pause-Aware Decoding Approaches

실시간 비디오 해설 생성은 비디오 내에서 진행 중인 사건에 대한 텍스트 설명을 제공합니다. 이는 스포츠, e스포츠, 라이브 스트리밍과 같은 영역에서 접근성과 몰입도를 높여줍니다. 해설 생성에는 '무엇을 말할 것인가'와 '언제 말할 것인가'라는 두 가지 핵심적인 결정이 수반됩니다. 멀티모달 대규모 언어 모델(MLLM)을 사용하는 최근의 프롬프트 기반 접근법은 콘텐츠 생성 측면에서 우수한 성능을 보였으나, 타이밍 측면은 대체로 간과하고 있습니다. 본 연구에서는 문맥 내 프롬프팅만으로 의미적으로 적절하면서도 타이밍이 알맞은 실시간 해설 생성이 가능한지 조사합니다. 연구진은 두 가지 프롬프트 기반 디코딩 전략을 제안합니다. 1) 고정 간격 접근법과 2) 이전 발화의 예상 길이를 기반으로 다음 예측 타이밍을 조정하는 새로운 동적 간격 기반 디코딩 접근법입니다. 두 방법 모두 별도의 미세조정(fine-tuning) 없이도 휴지기(pause)를 인식하는 생성을 가능하게 합니다. 레이싱 및 격투 게임의 일본어 및 영어 데이터셋을 대상으로 한 실험 결과, 동적 간격 기반 디코딩은 프롬프팅만으로도 사람의 발화 타이밍 및 콘텐츠와 더 밀접하게 일치하는 해설을 생성할 수 있음을 보여줍니다. 연구진은 실시간 비디오 해설 생성에 관한 향후 연구를 지원하기 위해 다국어 벤치마크 데이터셋, 학습된 모델, 구현 코드를 공개합니다.

arXiv:2607.11486v1cs.CL

자연어로 체스 전략 전달하기

Communicating Chess Strategies in Natural Language

체스 엔진은 오랫동안 인간을 초월하는 플레이 실력을 달성해 왔다. 그러나 엔진이 제안하는 수의 이면에 있는 전략은 숙련된 플레이어조차 이해하기 어렵다. 이러한 동기에서 본 논문은 체스 전략을 자연어로 기술하는 체스 전략 언어화(chess strategy verbalization) 태스크를 제안한다. 우리는 (i) 전략을 언어화하는 파이프라인과 (ii) 생성된 전략 설명을 객관적으로 평가하기 위한 평가 프레임워크를 설계한다. 실험 결과, 자연어는 인간 플레이어와 대규모 언어 모델(LLM) 플레이어 모두에게 전략적 정보를 전달하는 데 유망하고 해석 가능한 매체임을 보인다. 또한 (a) 메인 라인 이외의 전략을 평가하는 것의 중요성, (b) 순수 개념 기반 설명의 한계, (c) 평가에 있어 인간 대신 LLM에 의존하는 것의 한계 등 흥미로운 추가적 통찰을 도출한다.

arXiv:2506.17294v3cs.CL

From Multimodal Perception to Strategic Reasoning: A Survey on AI-Generated Game Commentary

AI가 생성하는 게임 해설(AI-GGC) 분야를 체계적으로 정리한 서베이로, Live Observation·Strategic Analysis·Historical Recall이라는 3가지 핵심 해설자 역량과 이에 대응하는 Descriptive·Analytical·Background Commentary 분류 체계를 제시한다. 보드게임, 스포츠, 이스포츠에 걸친 방법론·데이터셋·평가 지표를 종합적으로 검토하고, 전략적 추론 깊이 부족과 멀티모달 이질성이라는 주요 과제를 분석한다.