요리와 같은 일상적인 기술을 배우는 일은 온라인 비디오와 같은 교육용 미디어에 점점 더 의존하고 있습니다. 이는 비디오(및 멀티모달) 대규모 언어 모델(LLM)을 작업 가이드 어시스턴트로 활용할 수 있는 가능성을 열어줍니다. 잠재적인 작업 가이드 어시스턴트가 실제 환경에서 성공하기 위해 필수적인 능력은 사용자를 안내하기 위해 실수가 드러나는 즉시 선제적으로 개입하는 능력입니다. 이러한 핵심 능력을 평가하기 위해, 우리는 현실적인 요리 시나리오에서 반응형 단계별 작업 가이드를 평가하는 벤치마크인 Ego-MC-Bench(Mistake Corrections)를 소개합니다. 광범위한 실험을 통해 Ego-MC-Bench가 최첨단 비디오 LLM에게 매우 도전적인 과제임을 확인했습니다. 우리는 주된 원인이 이 작업에 대해 모델을 미세조정할 학습 데이터의 가용성이 제한되어 있기 때문이라고 주장합니다. 광범위한 요리 비디오 데이터셋이 존재하지만, 기존 데이터셋에는 적절한 시점에 이루어지는 개입과 함께 실수에 대한 예제가 부족합니다. 이러한 데이터 제한을 해결하기 위해, 우리는 또한 비대화형 요리 비디오를 선제적 개입을 보여주는 지도 학습 예제로 변환하여 생성된 반사실적 합성 데이터셋인 Ego-CoMist를 소개합니다. Ego-CoMist로 미세조정을 수행하면, 특히 엣지 디바이스에서 지원을 제공하는 데 적합한 더 작고 효율적인 비디오 LLM의 성능이 향상됨을 보여줍니다.
비디오 대규모 언어 모델(VideoLLM)은 비디오 이해 과제에서 강력한 성능을 달성했지만, 기존 벤치마크는 모델이 무엇을 예측하는지만 평가할 뿐 어떻게 생성하는가의 안정성은 거의 살펴보지 않았다. 우리는 VideoLLM에서 기존에 충분히 탐구되지 않은 생성 실패인 출력 반복(output repetition)을 드러낸다. 이는 디코더가 반복된 구문이나 문장의 자기강화 루프로 붕괴하는 현상이며, 이 실패 모드를 체계적으로 측정·스트레스 테스트·활용하기 위한 벤치마킹 프레임워크 VideoSTF를 제시한다. VideoSTF는 세 가지 상호보완적인 $n$-그램 기반 지표로 반복을 정형화하고, 10,000개의 다양한 비디오로 구성된 표준화된 테스트베드를 제공하며, 제어된 시간적 스트레스 요인 라이브러리를 제공한다. 10개의 최신 VideoLLM에 걸쳐 VideoSTF는 네 가지 핵심 발견을 드러낸다. (i) 반복은 교란되지 않은 비디오에서도 광범위하게 나타나며 일반적으로 사용되는 프레임 수에 걸쳐 안정적이고, 반복률은 최대 91%에 달한다. (ii) 경미한 중복부터 토큰 상한 루프까지 심각도 스펙트럼에 걸쳐 있으며, 시간적 교란에 의해 크게 증폭된다. (iii) 시간적 스트레스 요인은 실용적인 블랙박스(black-box) 공격 표면을 형성하여, 수십 회의 쿼리로 무해한 비디오를 반복적인 것으로 전환하고 높은 공격 성공률(최대 98%)을 보인다. (iv) 반복은 시각적 중복으로 설명되지 않으며, 그 증폭은 국소적 시간 교란을 따르고, top-$k$ 샘플링, 입력 필터링, 프롬프트 변형과 같은 일반적인 완화책 중에서는 반복 페널티만이 이를 줄이지만, 페널티를 높이면 시각적 그라운딩이 약화된다. VideoSTF는 생성 안정성을 VideoLLM을 위한 유용하고 상호보완적인 평가 축으로 재구성하며, 이를 연구할 도구를 제공한다. 프로젝트 페이지는 https://videostf.github.io/ 에서 확인할 수 있다.