SVHighlights: 초장 스포츠 비디오 하이라이트 감지를 향하여
SVHighlights: Towards Extremely Long Sport Video Highlight Detection
롱폼 비디오에 대한 하이라이트 감지는 실용적으로 매우 중요하지만, 적절한 벤치마크가 부족하여 대부분의 기존 방법은 여전히 숏폼 콘텐츠로 제한되어 있습니다. 이러한 격차를 해소하기 위해, 우리는 SVHighlights를 소개합니다. 이는 본 연구진이 아는 한, 여러 스포츠 종목에 걸쳐 각각 1시간 이상의 길이를 가진 초장 스포츠 비디오에서의 하이라이트 감지를 위한 첫 번째 벤치마크입니다. SVHighlights는 데이터셋 생성 파이프라인을 사용하여 전체 스포츠 비디오와 이에 대응하는 공식 하이라이트 비디오 쌍으로 구성되었으며, 이를 통해 기존의 클립 단위 주목도 주석 없이 확장 가능한 레이블 생성이 가능합니다. 이 벤치마크는 평균 길이 2.00시간, 총 640.18시간의 320개 비디오로 구성되어 있어 기존 데이터셋을 크게 초과합니다. 기존 방법들은 긴 비디오에서도 근본적인 과제에 직면합니다. 짧은 클립으로 학습된 모델은 시간 단위의 콘텐츠로 일반화하지 못하며, 클립 수준의 점수 매기기는 하이라이트를 식별하는 데 필요한 더 넓은 문맥이 부족합니다. 이를 해결하고 강력한 기준선(baseline)을 제공하기 위해, 우리는 TF-SELECTOR를 제시합니다. 이는 동일한 의미적 콘텐츠를 공유하는 인접한 샷을 병합하여 각 비디오를 문맥 인식 세그먼트로 나누는 학습 없는 세그먼트 기반 접근법으로, 비주얼 캡션, 대본, 오디오 볼륨을 포함한 멀티모달 입력을 사용하는 대규모 언어 모델(LLM)을 통해 세그먼트 수준의 중요도 점수를 예측합니다. 실험 결과, TF-SELECTOR는 비디오 시간적 그라운딩(Video Temporal Grounding, VTG) 튜닝된 기준선들과 비교하여 대부분의 지표에서 우수한 성능을 달성했으며, HIT@1에서 +2.50, HIT@K에서 +4.04, IoU에서 +2.95의 향상을 보였습니다. 이러한 결과는 SVHighlights가 롱폼 하이라이트 감지를 위한 도전적인 테스트베드임을 확립하고, 간단한 세그먼트 기반 전략이 시간 단위의 비디오로 효과적으로 확장될 수 있음을 보여줍니다.