비전-언어 모델(Vision-Language Models, VLMs)은 대규모로 비디오 주석 작업을 가능하게 하지만, 비용이 빠르게 누적됩니다: 초당 1프레임으로 일반적인 60초 분량의 숏폼 비디오를 처리하는 데에는 수백만 개의 토큰이 필요합니다. 비용을 줄이기 위해 연구자들은 프레임의 일부를 샘플링하거나, 비디오를 이미지 그리드로 압축하거나, 단일 모달리티만 사용하는 등의 휴리스틱에 의존합니다. 그러나 어떤 휴리스틱이 비용을 절감하는지, 그리고 그러한 휴리스틱이 해당 주석을 통해 도출되는 하위 결론(downstream conclusions)을 보존하는지는 여전히 명확하지 않습니다. 이러한 공백을 해소하기 위해, 우리는 숏폼 비디오를 사용하여 감성 분류와 주제 분류라는 두 가지 전산 사회과학(computational social science, CSS) 과제에 대해 이러한 휴리스틱들을 체계적으로 평가합니다. 우리는 선행 연구들이 일반적으로 별개로 다루어 온 세 가지 축, 즉 분류 정확도, 하위 추론(downstream inference)의 유효성, 비디오당 토큰 비용을 기준으로 각 구성(configuration)을 평가합니다. 첫째, 우리는 정확도와 유효성이 서로 다르게 나타난다는 것을 발견했습니다: 가장 높은 정확도를 보이는 구성이 잘못된 결론을 낳을 수 있습니다. 둘째, 모달리티의 가치는 보장되지 않습니다: 텍스트만으로도 강력한 성능을 낼 수 있으며, 이는 모달리티를 추가하는 것이 신호(signal)의 추가 없이 비용만 추가할 수 있음을 시사합니다. 마지막으로, 우리는 숏폼 비디오에 주석을 달 때 비용이 비디오 길이와 분리될 수 있음을 발견했습니다: 간단한 샷 전환 감지(shot-transition detection)를 통해 생성된 단일 $2\times8$ 이미지 그리드는 전체 비디오 이해 수준에 근접하며($κ$ 차이 .05 이내), 토큰 비용은 약 15%에 불과합니다. 이러한 발견을 바탕으로, 우리는 CSS 분야에서 비용을 고려한 VLM 주석 작업을 가능하게 하는 가이드라인을 도출합니다.
비디오는 인간의 행동, 상호작용, 상황적 맥락에 대한 풍부한 기록을 제공하며, 사람을 이해하고 인간 중심 연구를 수행하는 데 중요한 증거를 제시합니다. 비전-언어 모델(VLM)의 비디오 분석 역량이 점차 향상됨에 따라, 전통적으로 인간 집약적이었던 이 과정을 자동화할 기회가 열리고 있습니다. 그러나 핵심적인 질문은 여전히 남아 있습니다. VLM이 언제 인간 중심 비디오를 독립적으로 분석할 수 있으며, 신뢰할 수 있는 분석을 위해 언제 여전히 인간의 개입이 필요한가 하는 점입니다. 이 질문을 다루기 위해, 본 연구에서는 먼저 인간 중심 연구에서의 비디오 분석 관행을 특성화합니다. CHI 2026의 전체 논문 1,702편을 체계적으로 분석하여 비디오를 어노테이션하는 125편의 논문을 식별했습니다. 반복적인 코딩(iterative coding)을 통해 분석 목적, 시점, 현상, 추론 요구사항, 어노테이션 권한에 걸친 5차원 분류 체계를 도출했습니다. 이 분류 체계로 포착된 반복적인 어노테이션 작업을 바탕으로, 공개 데이터셋(dataset)에서 15개의 대표적인 작업을 선정해 범용 VLM의 역량과 한계를 파악하는 벤치마크(benchmark)를 구축했습니다. 또한 VLM 단독, 인간 단독, VLM 출력에 대한 인간 검증이라는 세 가지 어노테이션 워크플로우를 비교하여 인간과 VLM 간의 분업을 조사했습니다. 여러 작업 전반에 걸쳐 VLM 단독 어노테이션은 평균적으로 인간의 정확도에 근접했으며(인간 단독 성능을 100으로 둘 때 HNS = 97.0), 인간 중심 비디오 분석을 자동화할 수 있는 상당한 잠재력을 입증했습니다. 인간 검증은 가장 높은 정확도(HNS = 121.5)를 달성하는 동시에, 인간 단독 어노테이션 대비 인간의 어노테이션 시간을 48.9% 단축하고 비용을 31.3%~44.5% 절감했습니다. 본 연구 결과는 실제 인간 중심 비디오 분석 작업과 현재 VLM의 역량을 연결하며, 인간-AI 협업이 어떻게 VLM 기반 분석을 신뢰할 수 있고 효율적으로 만들 수 있는지를 명확히 보여줍니다.
MAVEN은 원시 비디오를 사고의 연쇄(CoT) 추론 트레이스 기반의 멀티태스크 학습 데이터로 변환하는 다단계 에이전트 어노테이션 파이프라인으로, 세 가지 수준의 캡션으로부터 다중 스케일 시공간 이벤트 기술(MSTED)을 합성하고 이를 Q&A 생성의 단일 입력으로 활용한다. 5,300건 이상의 교통 비디오에 적용해 Cosmos-Reason2-8B를 파인튜닝한 결과, 비공개 CCTV 평가 세트에서 제로샷 대비 MCQ 정확도 +38.8포인트를 달성하며 Gemini 2.5 Pro와 3.1 Flash를 모두 상회하였다.