프롬프트, 탐침, 학습, 아니면 주석? 아마추어 환경에서의 단일 카메라 스포츠 영상 이해
Prompt, Probe, Train, or Annotate? Single-camera sports video understanding in amateur settings
영상 이해는 보통 큐레이션된 단일 배우 또는 전문적으로 촬영된 클립에서 벤치마크되며, 그곳에서의 높은 점수는 모델이 배포에 충분히 견고하다는 증거로 흔히 해석된다. 아마추어 팀 스포츠는 그 가정을 검증하기에 유용하고 대체로 검증되지 않은 영역이다. 2024–25년만 해도 미국에서 800만 명 이상의 학생이 학교 스포츠에 참여했으며, 그 거의 전부가 고정된 단일 카메라 이상으로 촬영되지 않았고, 프레임 안에 여러 후보 행위자가 밀집해 있으며 운영자나 두 번째 각도에 의지할 여지가 없다. 배구를 사례로, 일반 영상 및 월드 모델 벤치마크에서의 우수한 성능이 영상이 이토록 혼란스러울 때 신뢰할 수 있는 선수별 귀속으로 이어지는지, 경기 구간 탐지에서 누가 무엇을 했는지 명명하기까지의 연쇄적 과업을 통해 영상을 통계로 바꾸는 과정에서 묻는다. 네 가지 접근(최신 비전-언어 모델에 대한 프롬프트 및 에이전트적 추론, 소형 학습 전문가를 갖춘 고전적 컴퓨터 비전, 자기지도 영상 월드 모델, 수동 주석)을 모든 단계에서, 게시된 벤치마크가 사용하지 않는 조건에서 촬영된, 사람이 라벨링한 접촉 46,648건이 있는 아마추어 경기 66경기로 평가한다. 어느 단일 패러다임도 모든 단계에서 우승하지 못하며, 정적 단일 프레임 컴퓨터 비전은 동작이나 정체성(identity)이 관련된 어느 단계에서도 경쟁력이 없다. 프롬프트 모델은 경기를 잘 분절하지만, 훨씬 작은 학습 모델이 훨씬 적은 비용의 일부로 접촉 포착에서 이기며, 스포츠 자체 규칙이 픽셀이 회복할 수 없는 랠리 결과를 복원한다. 정체성은 모든 자동화 접근이 어려워하는 지점이다. 등번호는 한 번도 보이지 않으면 시간적 추론이 회복할 수 없는 정적 사실이며, 반복적인 운동 패턴인 스포츠 동작과 달리 시간적 모델이 활용할 수 있는 것이다. 그래서 전체론적 추론은 이벤트 검출을 개선하지만 정체성은 변하지 않는다. 각 접근이 비용을 정당화하는 지점과 배구를 넘어 아마추어 스포츠로 무엇이 전이되는지로 마무리한다.