arXiv:2610.10163v1 cs.CV

익명 캡션을 넘어서: 비디오 캡셔닝 및 질의응답에서 인물 정체성 그라운딩하기

Beyond Anonymous Captions: Grounding Character Identity in Video Captioning and Question Answering

Anas Filali Razzouki, Killian Steunou, Khalil Guetari, Thomas Kling, Mounîm El-Yacoubi, Yannis Tevissen

제출 2026-10-07

한국어 초록

사람의 외모와 행동을 인물의 정체성과 연결하는 것은 비디오 내러티브를 이해하는 데 필수적입니다. 본 논문에서는 자동 인물 식별, 명시적 공간 그라운딩(grounding), 태스크 특화 적응을 결합한 정체성 인식 비디오 캡셔닝 및 인물 중심 질의응답 프레임워크를 제시합니다. LSMDC v2 영화 클립을 시작으로, 제안하는 파이프라인은 감지된 얼굴을 배우 참조 이미지와 매칭하고, 프레임 전반에서 인물을 추적하며, 정체성이 연결된 바운딩 박스를 갖는 입력을 구성합니다. 강력한 비전-언어 모델(vision-language model)을 통해 정체성 인식 캡션과 질문을 생성하고, 이를 수동으로 검증 및 필터링하여 750개의 캡션이 달린 클립과 3,000개의 인물 중심 질문으로 구성된 벤치마크를 구축합니다. 우리는 약 2B, 4B, 8B 파라미터의 비디오-MLLM 패밀리 및 더 큰 프론티어 모델 전반에서 텍스트 좌표와 시각적 얼굴 또는 추정된 인물 박스를 결합하는 5가지 그라운딩 전략을 연구합니다. 시각적 얼굴 박스와 텍스트 좌표를 결합하는 방식은 모델 규모 전반에 걸쳐 가장 일관된 성능을 보이며, 좌표 단독 사용 대비 전반적인 성능을 크게 향상시킵니다. 더 작은 모델들은 질문 대상 인물이 그라운딩되지 않았을 때 알려진 정체성을 과도하게 할당하는 경향이 있는 반면, 더 큰 모델들은 이러한 미식별(UNIDENTIFIED) 사례를 더 잘 인식합니다. 약 32K개의 정체성 인식 캡션 클립을 대상으로 2B, 4B, 8B 규모의 Qwen 모델을 LoRA 미세조정(fine-tuning)하여 BAC를 도입합니다. 모든 규모에서 BAC는 유사한 크기의 다른 모든 평가 대상 모델군을 능가합니다. BAC-8B는 93.20%의 종합 QA 정확도를 달성하여, 본 연구에서 평가된 프론티어 모델 중 GPT-5.6 Sol의 뒤를 잇는 성능을 기록했습니다. 전반적으로 누가 어디에 있는지를 명시적으로 전달하는 것은 경량화된 태스크 특화 적응과 결합되어 기반 아키텍처를 변경하지 않고도 정체성 인식 비디오 이해를 실질적으로 향상시킵니다. 본 연구의 벤치마크, 학습(training) 데이터, 코드 및 BAC 체크포인트는 https://github.com/momentslab/beyond-anonymous-captions 에서 공개됩니다.

원문 초록

Linking people's appearance and actions to character identities is essential for understanding video narratives. We present a framework for identity-aware video captioning and person-centric question answering that combines automatic character identification, explicit spatial grounding, and task-specific adaptation. Starting from LSMDC v2 movie clips, our pipeline matches detected faces to actor reference images, tracks characters across frames, and builds inputs with identity-linked bounding boxes. A strong vision-language model generates identity-aware captions and questions, which are manually verified and filtered to create a benchmark of 750 captioned clips and 3,000 person-centric questions. We study five grounding strategies combining textual coordinates with visual face or estimated person boxes across Video-MLLM families at roughly 2B, 4B, and 8B parameters and larger frontier models. Combining visual face boxes with textual coordinates yields the most consistent performance across scales and significantly improves overall performance over coordinates alone. Smaller models tend to over-assign known identities when the queried person is not grounded, while larger models better recognize such UNIDENTIFIED cases. We introduce BAC by LoRA fine-tuning Qwen models at 2B, 4B, and 8B scales on about 32K identity-aware captioned clips. Across all scales, BAC outperforms every other evaluated model family of comparable size. BAC-8B reaches 93.20\% overall QA accuracy, ranking behind only GPT-5.6 Sol among the frontier models evaluated in our study. Overall, explicitly communicating who is where, together with lightweight task-specific adaptation, substantially improves identity-aware video understanding without changing the underlying architecture. We release the benchmark, training data, code, and BAC checkpoints at https://github.com/momentslab/beyond-anonymous-captions.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10163v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.