최근 자기회귀(autoregressive) 영상 확산 방법들은 Self Forcing을 기반으로 구축되는 추세이며, 여기서 학생 모델은 정답(ground-truth) 영상 컨텍스트가 아니라 자신의 롤아웃이 생성한 이력에 대해 학습된다. 이는 노출 바이어스(exposure bias)를 줄이지만, 역사적 키-값 캐시는 여전히 미래 프레임에 고정된 롤아웃 상태로만 사용된다. 그 결과 미래 손실은 이전에 생성된 잠재 변수(latent)가 이후 영상 잠 latent 생성에 더 유용한 키와 값으로 어떻게 기록되어야 하는지를 감독할 수 없다. 우리는 이를 역사적 컨텍스트-그래디언트 간극(historical context-gradient gap)이라고 부른다. 우리는 전체 직렬 롤아웃을 통해 역전파(backpropagation)하지 않고도 이 누락된 감독 신호를 복원하는 2-pass 학습 전략인 Self Gradient Forcing(SGF)을 제안한다. Pass 1은 추론과 일치하는 no-gradient 자기회귀 롤아웃을 수행하고, 샘플링된 디노이징 종료 단계에서 자기 생성 컨텍스트와 모델에 입력된 노이즈 잠 latent 변수를 모두 기록한다. Pass 2는 기록된 종료 단계에 대해 병렬 컨텍스트-그래디언트 재구성을 수행한다. 생성된 컨텍스트는 stop-gradient 클린 잠 latent 입력으로 사용되며, 모델은 컨텍스트 KV 표현과 미래-컨텍스트 인과적 어텐션을 재계산한다. 따라서 SGF는 네이티브 자기회귀 학습 목표 내에서 누락된 메모리 기록 감독을 제공하며, 미래 영상 잠 latent 변수에 대한 손실을 사용해 모델이 컨텍스트를 더 효과적인 인과적 메모리로 인코딩하도록 학습한다. 다양한 초기화 하에서 광범위한 장기 프레임 단위 및 청크 단위 실험에서 SGF는 Self Forcing보다 더 강력한 네이티브 장기 영상 외삽을 달성하며, 특히 피사체 동일성, 배경/레이아웃 일관성, 시간적 안정성에서 두드러진다. 놀랍게도 5초 학습 윈도우만 사용해도 SGF는 수 분에 달하는 영상까지 외삽할 수 있다. 코드와 모델은 자기회귀 영상 생성 연구를 촉진하기 위해 공개될 예정이다.
인간은 몇 시간에서 수년에 이르는 연속적인 감각 스트림을 효율적으로 파싱하여, 공간적 추론과 예측을 그라운딩(grounding)하는 내부 세계 모델(world model)을 구축할 수 있다. 이 능력을 모방하기 위해 공간 초지각(spatial supersensing)은 멀티모달 모델에게 언어적 이해를 넘어 진정한 세계 모델링(world modeling)으로 나아가도록 도전 과제를 제시한다. 그러나 기존 벤치마크는 무작위 짧은 클립을 이어 붙여 만든 합성 장기 영상에 의존하며, 대체로 가정 실내 장면에 한정되어 있어 실세계의 연속성과 다양성은 충분히 탐구되지 않았다. 이 간극을 해소하기 위해, 다양한 실환경(in-the-wild) 장면에서 긴 시간적 범위(temporal horizon)에 걸친 공간 초지각을 평가하는 대규모 벤치마크인 $\textbf{VSI-Super-Wild}$를 제안한다. 특히 인간이 경험을 구조화하는 방식에 대한 인지 연구에서 영감을 받아, 세계 상태(world state)의 전체 삼중 주체를 체계적으로 탐색한다: 에이전트(관찰자), 객체(장면 항목), 환경(장소 및 전역 레이아웃). $\textbf{VSI-Super-Wild}$는 총 8개 장면 범주에 걸친 $\textbf{442}$개의 실세계 영상에서 파생된 $\textbf{6,980}$개의 사람이 검증한 질의-응답(question-answer) 쌍을 포함하며, 4시간을 넘는 장시간 녹화도 포함한다. $\textbf{VSI-Super-Wild}$에서의 결과는 근본적인 단절을 드러낸다: 정적 이미지 이해의 발전에도 불구하고, 모델은 시간에 걸친 일관된 세계 상태 추적을 요구하는 과제에서 지속적으로 실패한다. 우리는 세계 상태 복잡도와 시간적 범위에 따른 성능 저하 양상을 규명하고, 네 가지 실패 모드—공간 붕괴(spatial collapse), 의미적 지름길(semantic shortcuts), 불충분한 갱신(insufficient update), 인스턴스 혼동(instance confusion)—을 진단한다. 이 분류 체계는 모델이 객체, 에이전트, 환경을 통합된 공간적 세계 모델로 결합(bind)하는 메커니즘을 갖추지 못했음을 보여주며, 이는 공간 초지각을 위한 앞으로의 방향을 규정하는 근본적 격차이다.
CoVStream은 연산 자원이 제한된 엣지 디바이스에서 생성되는 긴 비디오 스트림을 효율적으로 이해하기 위해, 엣지 노드에서 압축된 시각적 특징과 의미적 캡션으로 증류한 뒤 클라우드에서 엔티티 그래프와 전역 시각적 컨텍스트로 통합하는 최초의 엣지-클라우드 협업 프레임워크다. VideoMME-Long, LVBench, RTV-Bench 실험에서 대역폭 사용량을 87.6% 줄이면서도 클라우드 단독 처리 대비 99.2%의 정확도를 유지했으며, 24시간 연속 스트림 시뮬레이션에서 메모리 사용량을 523배 절감함을 검증했다.
최종 답변 방식의 비디오 QA는 모델이 올바른 숫자를 예측하는지 여부는 확인할 수 있지만, 어떤 인스턴스를 계수했는지, 근거 증거가 언제 등장하는지, 또는 왜 실패했는지는 파악할 수 없다. 우리는 멀티모달 대규모 언어 모델(MLLM)의 장편 비디오 정량적 추론을 세 가지 연결된 능력을 통해 진단한다: 쿼리 관련 인스턴스 열거, 근거 증거의 시간적 그라운딩(temporal grounding), 그리고 증거를 계수로 집계하는 능력. 이 분석을 지원하기 위해, 우리는 EC-Bench를 구축한다. EC-Bench는 30분 이상의 미편집 비디오 152개, 여섯 가지 추론 범주에 걸친 1,699개의 개방형 쿼리, 그리고 인간이 검증한 증거 구간을 포함하는 증거 주석 평가 스위트이다. 우리는 타임스탬프가 부여된 시각적 프레임과 전사본을 활용하여 22개의 오픈소스 및 독점 MLLM을 평가한다. 최고 평균 점수는 열거 F1 29.98%, 계수 정확도 23.74%에 그치는 반면, 인간 성능은 각각 78.57%와 82.97%에 달한다. 우리의 분석은 계수 오류가 단순한 산술 실수인 경우가 드물다는 것을 보여준다: 열거 F1은 계수 정확도와 강하게 연관되어 있으며, 시간적 그라운딩 품질은 낮은 계수 오류와 연관되고, 근거 증거가 더 분산될수록 계수 정확도가 낮아진다. 이러한 발견은 장편 비디오 계수를 단순한 수치 예측이 아닌, 비디오 전반에 걸친 증거 검색, 시간적 그라운딩, 중복 제거, 그리고 집계 문제로 재정의한다.
긴 동영상의 시간적 중복 문제를 해결하기 위해, QCA는 쿼리 관련성과 콘텐츠 편차를 동시에 모델링하여 세그먼트별 키프레임 예산을 동적으로 배분하고, 각 세그먼트 내에서 의미적 앵커 프레임을 중심으로 다양성을 극대화하는 키프레임 선택 프레임워크를 제안한다. 별도의 학습 없이 기존 Video-LLM에 통합 가능하며, LongVideoBench에서 128프레임으로 67.8%를 달성해 256프레임을 사용한 GPT-4o(66.7%)를 상회하는 최고 성능을 기록했다.
하이브리드 Mamba–Transformer 비전-언어 모델(VLM)에서 토큰 축소는 단순한 프루닝이 아닌 상태 기반 압축(stateful compression)으로 동작함을 실증적으로 분석하고, 이를 토대로 낮은 층에서 높은 층으로 점진적으로 적용하는 하이브리드 인식 토큰 축소 프레임워크를 제안한다. 긴 동영상 벤치마크(VideoMME, LongVideoBench, LVBench)에서 25% 토큰 예산으로 3.8×–4.2× 프리필링 속도 향상을 달성하면서 기준 성능을 유지하고, 하이브리드 모델의 경우 공격적인 토큰 축소가 오히려 정확도까지 개선하는 효과를 보인다.
수 시간 길이의 긴 동영상에서 슬라이딩 윈도우 기반 테스트 시점 학습(TTT)의 계산량 증가와 유사 프레임에 대한 불필요한 적응 문제를 해결하기 위해, 윈도우에서 나가는·현재·다음 세 프레임만 처리하는 Frame Forgetting Network(FFN)와 서프라이즈(surprise) 지표 기반 적응형 윈도우 알고리즘을 제안한다. 최대 3시간 분량의 EpicTours 데이터셋과 11개 벤치마크에서 밀집 분할, 동영상 분류, 깊이 추정 등 과제에서 FFN의 효과를 입증했다.
긴 영상 이해는 과도한 연산량과 메모리 사용량으로 인해 멀티모달 대규모 언어 모델(MLLM)에게 여전히 난제로 남아 있다. 이를 완화하기 위해 키프레임 선택(keyframe selection)이 자주 채택되지만, 하드 샘플링 원칙으로 인한 낮은 유연성과 높은 노이즈 문제를 여전히 겪고 있다. 본 논문에서는 비디오 프레임 선택을 준-가우시안 샘플링(Quasi-Gaussian Sampling) 문제로 정의하고, AdaQ라 명명된 적응형 비학습(training-free) 방법을 제안한다. 가우시안 분포의 3-σ 규칙에서 영감을 받아, AdaQ의 목표는 다양한 입력 예시에 대해 최적의 3-σ 구간을 달성하는 것이다. 즉, 로컬 쿼리에는 더 작은 3-σ 구간을, 글로벌 쿼리에는 더 큰 구간을 적용함으로써 강건하고 적응적인 프레임 샘플링을 실현한다. AdaQ를 검증하기 위해, 세 가지 임베딩 모델과 결합하여 네 가지 MLLM에 적용하였다. 광범위한 실험 결과는 기본 MLLM 및 최신 키프레임 선택 방법 대비 명확한 성능 향상을 보여준다. 예를 들어, 단 64개의 프레임만 사용하여 Qwen3-VL-8B가 GPT4o를 평균 15.8% 초과 달성하도록 지원하며, 긴 영상 이해에서의 우수한 강건성과 높은 효율성 또한 확인된다. 예를 들어, 설정이 필요한 하이퍼매개변수가 단 1개에 불과하다.
롱폼 옴니-모달 비디오 이해는 비전, 음성 및 주변 오디오를 일관된 긴 문맥 추론과 통합해야 합니다. 기존 비디오 벤치마크는 종종 시간적 규모, 모달리티 커버리지, 개방형 상호작용, 해석 가능한 채점 사이에서 상충 관계에 있습니다. 이러한 격차를 해결하기 위해 우리는 LongShOTBench를 소개합니다. 이는 전체적인 옴니-모달 통합, 의도 기반 개방형 상호작용, 루브릭 수준 진단이라는 세 가지 결합된 목표를 중심으로 설계된 긴 영상 이해 벤치마크입니다. 이는 실제 시청 시나리오에서 단일 및 멀티턴 질문을 구성하며, 비전, 음성, 주변 오디오, 시간적, 그리고 모달 간 추론을 탐색하는 체계적인 작업을 포함합니다. 각 항목은 참조 답안과 가중치가 적용된 기준 수준 루브릭을 포함하여, 평가 시 어떤 지각적 사실, 시간적 연결, 모달리티 그라운딩 요구사항 및 추론 단계가 충족되었거나 누락되었는지 식별할 수 있게 합니다. 모든 샘플은 그라운딩, 명확성 및 루브릭 신뢰성을 높이기 위해 수동으로 검증되었습니다. 또한, 전체 비디오 전처리를 목표 지향 검색, 쿼리 적응형 세그먼트 정제, 비전, 음성 및 비음성 오디오 증거에 대한 명시적 주장 검증과 결합한 학습 없는 옴니-모달 증거 탐색 에이전트인 LongShOTAgent를 소개합니다. 이의 반복적인 검색-정제-검증 루프는 중간 증거를 드러내고, 답변 전에 모달리티별 전문가가 관련 순간을 재분석할 수 있게 합니다. 우리는 오픈 소스 옴니-모달 모델, 비전-언어 시스템, 오디오 LLM, 에이전트 파이프라인 및 클로즈드 소스 API에 걸쳐 있는 105개의 비디오 처리 가능 모델을 평가했습니다. 현재 MLLM(멀티모달 대규모 언어 모델)은 LongShOTBench를 완벽히 해결하기에는 아직 멀었으며, 반면 우리의 LongShOTAgent는 전체 66.64%를 달성하여 가장 강력한 학습 없는 시스템입니다. 벤치마크, 리더보드 및 방법론을 공개함으로써, 우리는 롱폼 옴니-모달 비디오 추론을 발전시키기 위한 공유되고 해석 가능한 테스트베드를 제공합니다. 코드, 데이터 및 리더보드는 https://longshot.cvmbzuai.com/ 에서 확인할 수 있습니다.
장영상 이해는 시간적으로 길게 이어지는 영상이 수천 프레임에 달하는 경우가 많아 전체를 빠짐없이 처리하기 비용이 크기 때문에, 멀티모달 대규모 언어 모델(MLLM)에게 여전히 어려운 과제로 남아 있다. 기존 방법들은 보통 제한된 시각적 예산 아래에서 장영상으로부터 압축된 시각 입력을 구성한다. 그러나 이들 대부분은 여전히 프레임 중심(frame-centric) 패러다임을 따르며, 중요도와 관계없이 유지된 콘텐츠에 유사한 표현을 적용한다. 이로 인해 고충실도 시각적 증거와 넓은 시간적 커버리지를 동시에 보존하기 어렵다. 이 문제를 해결하기 위해, 우리는 장영상 이해를 위한 학습 없이 사용 가능한 입력 구성 프레임워크인 Q-Fold를 제안한다. 고립된 프레임을 기본 모델링 단위로 취급하는 대신, Q-Fold는 연속적인 시간 세그먼트 단위로 동작하며 쿼리 안내(query guidance) 하에 이질적인 Focus-Context 표현을 구성한다. 쿼리 관련 세그먼트는 고충실도 Focus Frame으로 보존되고, 덜 관련된 세그먼트는 시간순을 유지하는 컨텍스트 레이아웃으로 접힌다. 이를 통해 Q-Fold는 핵심 시각적 증거와 넓은 시간적 커버리지를 보존하면서, 짧은 세그먼트 내 국소적 시간 연속성도 더 잘 유지한다. 여러 Video-MLLM을 사용한 4개의 장영상 벤치마크에서의 실험은 Q-Fold가 입력 예산을 늘리지 않고도 일관되게 성능을 향상시킨다는 것을 보여준다. 특히, 초장영상 벤치마크에서 최대 9.1퍼센트포인트의 성능 향상을 달성한다. 코드는 공개될 예정이다.
에이전트 기반 장시간 비디오 이해에서 상당한 진전이 있었음에도, 기존 방법들은 효율적인 메모리 아키텍처와 결합된 상세한 동작 이해가 여전히 부족하다. 본 논문에서는 비디오 코덱의 Groups of Pictures(GOPs)로 학습된 정교하게 설계된 동작 에이전트를 통해 비디오 이해 프레임워크에 비디오 코덱을 최초로 통합한 새로운 접근법인 GOPAgen을 제안한다. 또한 비디오 코덱과 자연스럽게 정렬되며 비디오 내 국소적 상세 동작을 이해하는 모델의 능력을 향상시키는 GOP 트리 추론 알고리즘을 개발한다. 또한 국소 동작 정보와 상세 캡션을 구조적 페이지에 통합하는 구조적 메모리 메커니즘을 정교하게 설계하고, 구조적 메모리를 최대한 활용하기 위한 효율적인 coarse-to-fine 줌인 알고리즘을 제안한다. 또한 다양한 세분성에서 동작 벡터를 효율적으로 검색할 수 있도록 프레임워크에 동작 벡터 데이터베이스를 통합한다. 전반적으로 본 방법은 MotionBench, Egoschema 등 다양한 비디오 이해 벤치마크에서 우수한 비디오 질의응답(VQA) 성능을 달성하여 제안한 프레임워크의 우수성을 입증한다.