PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.02655v2cs.CL

멀티모달 LLM을 활용한 게임 비디오 실시간 해설 생성: 휴지기 인식 디코딩 접근법

Real-Time Generation of Game Video Commentary with Multimodal LLMs: Pause-Aware Decoding Approaches

실시간 비디오 해설 생성은 비디오 내에서 진행 중인 사건에 대한 텍스트 설명을 제공합니다. 이는 스포츠, e스포츠, 라이브 스트리밍과 같은 영역에서 접근성과 몰입도를 높여줍니다. 해설 생성에는 '무엇을 말할 것인가'와 '언제 말할 것인가'라는 두 가지 핵심적인 결정이 수반됩니다. 멀티모달 대규모 언어 모델(MLLM)을 사용하는 최근의 프롬프트 기반 접근법은 콘텐츠 생성 측면에서 우수한 성능을 보였으나, 타이밍 측면은 대체로 간과하고 있습니다. 본 연구에서는 문맥 내 프롬프팅만으로 의미적으로 적절하면서도 타이밍이 알맞은 실시간 해설 생성이 가능한지 조사합니다. 연구진은 두 가지 프롬프트 기반 디코딩 전략을 제안합니다. 1) 고정 간격 접근법과 2) 이전 발화의 예상 길이를 기반으로 다음 예측 타이밍을 조정하는 새로운 동적 간격 기반 디코딩 접근법입니다. 두 방법 모두 별도의 미세조정(fine-tuning) 없이도 휴지기(pause)를 인식하는 생성을 가능하게 합니다. 레이싱 및 격투 게임의 일본어 및 영어 데이터셋을 대상으로 한 실험 결과, 동적 간격 기반 디코딩은 프롬프팅만으로도 사람의 발화 타이밍 및 콘텐츠와 더 밀접하게 일치하는 해설을 생성할 수 있음을 보여줍니다. 연구진은 실시간 비디오 해설 생성에 관한 향후 연구를 지원하기 위해 다국어 벤치마크 데이터셋, 학습된 모델, 구현 코드를 공개합니다.