arXiv:2610.00573v1 cs.CV

FORTE: 장시간 비디오 질의응답을 위한 적응형 스코어링과 정확한 키프레임 선택

FORTE: Adaptive Scoring and Exact Keyframe Selection for Long-Video Question Answering

Haifeng Huang, Biyin Xu, Chunsheng Xin, Yang Li

제출 2026-09-30

한국어 초록

질의 인식(query-aware) 키프레임 선택은 멀티모달 대규모 언어 모델(MLLM)이 질문과 관련된 소수의 프레임만을 사용하여 긴 비디오를 처리할 수 있게 한다. 그러나 기존의 점수 기반 방법들은 일반적으로 고정된, 균일하게 샘플링된 후보 풀 내에서만 탐색하기 때문에, 이 풀 밖에 있는 증거는 결코 선택될 수 없다. 제한된 관련성 스코어링(relevance-scoring) 예산이 주어졌을 때, 핵심 과제는 유망한 프레임에 평가를 적응적으로 할당하면서도 저평가된 시간적 영역을 계속 탐색하는 것이다. 우리는 이러한 과제를 두 단계, 즉 적응형 관련성 스코어링과 전역 키프레임 최적화를 통해 해결하는 학습이 필요 없는(training-free) 프레임워크인 FORTE를 소개한다. 희소하고 균일하게 분포된 관측값에서 시작하여, 우리의 효율적인 가우시안 프로세스(Gaussian process) 관련성 예측기는 점수가 매겨지지 않은 프레임의 관련성을 추정하며, 시간적 지역성(temporal locality)과 대략적인 밴드 구조의 커널 구조를 활용하여 고정된 대역폭(bandwidth)에 대해 핵심 계산량을 프레임 수에 대해 3차(cubic)에서 선형(linear) 시간으로 줄인다. 이어서 스코어링 단계는 예측된 관련성과 시간적 커버리지(temporal coverage)의 균형을 맞춰 다음으로 점수를 매길 프레임을 선택하며, 유망한 영역을 우선시하면서도 비디오에서 상대적으로 덜 대표된 부분도 탐색한다. 최적화 단계는 측정된 관련성과 시간적 커버리지를 함께 포착하는 목적 함수를 최대화하여 최종 키프레임을 선택한다. 우리는 로그 커버리지 구조를 활용하여, 고정된 최종 프레임 예산에 대해 점수가 매겨진 후보 풀의 최적 부분집합을 풀 크기에 대해 선형 시간 내에 식별하는 정확한(exact) 알고리즘을 도출한다. 네 가지 장시간 비디오 질의응답(long-video question-answering) 벤치마크에 대한 실험 결과, FORTE는 테스트된 모든 스코어링 예산에서 비교 대상 선택기들 중 가장 높은 관측 평균 정확도를 달성하였다. 추가 평가는 서로 다른 관련성 스코어러(relevance scorer)와 다운스트림 MLLM 전반에서 FORTE의 일관된 효과를 보여준다.

원문 초록

Query-aware keyframe selection enables multimodal large language models (MLLMs) to process long videos using only a small set of question-relevant frames. Existing score-based methods, however, typically search within a fixed, uniformly sampled candidate pool, preventing evidence outside this pool from ever being selected. Given a limited relevance-scoring budget, the key challenge is to allocate evaluations adaptively to promising frames while continuing to explore underrepresented temporal regions. We introduce FORTE, a training-free framework that addresses this challenge through two stages: adaptive relevance scoring and global keyframe optimization. Starting from sparse, uniformly distributed observations, our efficient Gaussian-process relevance predictor estimates relevance for unscored frames, exploiting temporal locality and the approximately banded kernel structure to reduce the core computation from cubic to linear time in the number of frames for fixed bandwidth. The scoring stage then selects which frames to score next by balancing predicted relevance with temporal coverage, prioritizing promising regions while also exploring less-represented parts of the video. The optimization stage selects the final keyframes by maximizing an objective that jointly captures measured relevance and temporal coverage. We derive an exact algorithm that leverages the logarithmic coverage structure to identify the optimal subset of the scored candidate pool in time linear in the pool size, for a fixed final-frame budget. Experiments on four long-video question-answering benchmarks show that FORTE achieves the highest observed mean accuracy among the compared selectors under every tested scoring budget. Further evaluations demonstrate its consistent effectiveness across different relevance scorers and downstream MLLMs.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00573v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13298v2cs.CV공통 태그 Visual Question Answering, Video Understanding

FOLIO: 스트리밍 비디오 이해를 위한 집중 의미 기억

FOLIO: Focused Semantic Memory for Streaming Video Understanding

온라인 스트리밍 비디오 이해에서는 비디오 스트림이 계속 도착하고 질의가 언제든지 발생할 수 있다. 스트리밍 프레임이 무한히 증가하기 때문에, 시스템은 미래 프레임과 미래 질의가 알려지지 않은 상태에서 관측된 비디오 접두 문맥의 정보를 지속적으로 압축하고 보존해야 한다. 핵심 과제는 어떤 정보를 보존하고 유지된 이력을 어떻게 구성할지 결정하는 것이다. 스트림에 따라 이력이 커질수록 메모리 비용이 증가하고 많은 중복 시각적 세부 사항이 보존되는 반면, 이후 질의는 종종 특정 개체, 행동 및 그들의 시간적 변화에 의존한다. 이 과제를 해결하기 위해, 우리는 스트림의 중요한 부분을 더 높은 상세도로 기록하면서 주변 컨텍스트는 압축적으로 유지하는 학습 불필요 집중 의미 기억 시스템인 FOLIO를 제안한다. 스트림이 도착함에 따라 FOLIO는 동적 초점 상태에 의해 안내되어 세그먼트 수준에서 메모리를 갱신하며, 단기 시각 버퍼와 관측된 개체를 중심으로 구성되고 시각적 증거 캐시에 연결된 장기 의미 기억을 결합한다. 질의 시점에는 경량 하이브리드 검색이 구조화된 메모리에 대한 직접 매칭과 의미적 질의 확장을 결합한다. FOLIO는 최첨단 성능을 달성하며, Qwen3-VL-8B로 OVO-Bench에서 인식/역방향 정확도 82.0/69.1을 기록하고 StreamingBench에서 전체 정확도 74.5를 달성하는 동시에, 초점 개체에 대해서만 상세 기록을 예약하고 주변 컨텍스트를 압축적으로 저장함으로써 스트리밍 메모리 유지 비용을 크게 줄인다.

arXiv:2609.39378v2cs.CV공통 태그 Visual Question Answering, Video Understanding

EgoTools: 실세계 1인칭 시점 비디오에서의 도구 중심 추론을 향하여

EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos

일상적인 활동부터 전문적인 절차에 이르기까지 실세계의 체화된(embodied) 과제는 에이전트(agent)가 물리적 제약 조건 하에서 행동하는 동시에 변화하는 객체 및 작업 상태를 추적할 것을 요구합니다. 많은 일상 및 전문 활동이 도구를 매개로 이루어지므로, 도구 사용은 이러한 과제의 핵심에 위치합니다. 이를 이해하기 위해서는 어포던스(affordance), 손-도구-객체 간의 기하학적 구조, 절차적 진행 상황, 대상 객체에 미치는 인과적 영향에 대한 추론이 필요합니다. 그러나 캡셔닝 및 일반적인 비디오 QA와 같이 인식 지향적인 비디오 과제에서의 우수한 성능에도 불구하고, 현재의 멀티모달 비디오 모델들은 이러한 형태의 도구 중심 체화 추론에서 여전히 한계를 보입니다. 이러한 방향의 발전은 실세계 1인칭 시점(egocentric) 데이터와 진단용 벤치마크(benchmark)의 부재로 인해 제한되어 왔습니다. 이러한 공백을 해결하기 위해, 본 논문에서는 1인칭 시점 도구 사용 이해를 위한 최초의 종합적인 스위트인 EgoTools를 소개합니다. 이는 상호 보완적인 두 가지 구성 요소로 이루어져 있습니다. 동기화된 오디오, 조밀한 캡션, 추론 중심의 내레이션 및 보조 3D 정보를 포함하는 100시간 분량의 도구 중심 1인칭 시점 녹화 대규모 말뭉치인 EgoTools-Data와, 인식 및 기하학적 구조부터 절차 및 인과 추론에 이르는 도구 사용 이해를 다루는 4개 트랙 전반의 1,000개 QA 쌍으로 구성된 진단용 벤치마크인 EgoTools-Bench입니다. 실험 결과는 현재 모델들이 시각적 증거에 기반하여 도구 사용을 그라운딩(grounding)하는 데 여전히 어려움을 겪고 있음을 보여줍니다. Gemini-3.1-Pro는 전반적으로 66.9%의 정확도를 달성했으나 인식 및 그라운딩(Perception & Grounding)에서는 51.7%에 그쳤습니다. 평가를 넘어, 본 연구는 EgoTools-Data가 학습(training) 자원으로서 유효함을 검증합니다. 전체 1,000개 질문 벤치마크에서 엄격한 원본 비디오 분리 조건 하에 전체 지도 미세조정(supervised fine-tuning)을 적용했을 때 Qwen3-VL-8B-Instruct의 성능이 50.0%에서 60.9%로 향상되었습니다. 종합적으로 이러한 결과들은 EgoTools가 실세계 1인칭 시점 도구 사용 이해의 학습과 진단 평가 모두를 위한 통합 자원임을 입증합니다.

arXiv:2610.00196v1cs.CV공통 태그 Gaussian Processes, Video Understanding

GPEC: 심장 초음파 비디오 캡션 생성을 위한 효율적인 LLM 사전 가우시안 프로세스 임베딩 보정

GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation

멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 및 캡션 생성에서 강력한 잠재력을 보여주었으나, 심장 초음파 검사와 같은 전문 의료 영상 분야에서는 성능이 저하될 수 있습니다. 본 연구에서는 심장 초음파 캡션 생성을 위해 VideoChat2에서 사용하는 시각적 표현을 개선하는 모듈형이자 계산 효율적인 LLM 사전 오류 보정 방법인 가우시안 프로세스 임베딩 보정(Gaussian Process Embedding Correction, GPEC)을 소개합니다. GPEC은 시각적 투영 층(visual projection layer)과 언어 모델 사이에 삽입되어 투영된 시각적 표현을 어노테이션 기반 타깃으로 이동시키는 잔차 보정(residual correction)을 학습합니다. 이 타깃은 구조화된 비디오 어노테이션을 정성적 속성으로 변환하고, 고정된 형식의 참조 캡션을 생성한 뒤, 이를 언어 모델 임베딩 공간으로 매핑하여 구축됩니다. 보정은 유도점(inducing points), 자연 매개변수 변분 업데이트(natural-parameter variational updates), 블록별 선형 커널을 갖춘 희소 변분 가우시안 프로세스(sparse variational Gaussian Process)를 사용하여 모델링되며, 기존 VideoChat2 구성 요소는 고정(frozen) 상태로 유지됩니다. 본 방법은 동일한 입력 및 참조 조건에서 기존 VideoChat2와 VideoChat2 + GPEC을 비교하여 표현 수준, 캡션 수준, 콘텐츠 지향 및 실행 시간 지표를 사용해 평가됩니다. 실험 결과, 제안된 보정을 적용한 후 캡션 유사도 및 콘텐츠 정합성이 향상된 것으로 나타났습니다. 또한 GPEC은 평가 환경에서 비디오당 0.05초 미만의 추론 시간 오버헤드만을 추가합니다. 이러한 결과는 사전학습된 멀티모달 백본의 엔드투엔드 미세조정 없이도 GPEC이 최소한의 계산 비용으로 전문 의료 비디오 분야의 캡션 생성을 향상할 수 있음을 보여줍니다.

arXiv:2610.01192v1cs.CV공통 태그 Visual Question Answering, Video Understanding

FlashBack: 스트리밍 비전-언어 모델에서 언제 기억해야 하는지 알기

FlashBack: Knowing When to Remember in Streaming Vision-Language Models

스트리밍 비전-언어(vision-language) 모델은 제한된 연산 예산 내에서 지속적으로 증가하는 비디오 스트림을 처리해야 하므로, 실시간 인지와 장기 기억 사이에 지속적인 긴장 관계가 발생합니다. 과거 정보를 검색하는 것은 자연스러운 해결책을 제공하지만, 과거 정보를 회상(recall)하는 것이 항상 유익한 것은 아닙니다. 불필요한 과거 정보는 현재의 추론(inference)에 무관한 문맥을 유입시키고 고유한 실시간 인지를 방해할 수 있습니다. 따라서 효과적인 스트리밍 메모리는 무엇을 기억할지뿐만 아니라 언제, 어떻게 접근할지도 다루어야 합니다. 이를 위해 본 연구에서는 스트리밍 비전-언어 모델을 위한 선택적 다수준(multi-level) 메모리 기반의 학습(training) 불필요 프레임워크인 FlashBack을 소개합니다. 과거 정보를 검색하기 전에, FlashBack은 동결된 스트리밍 VLM의 의미론적 이해를 활용하여 쿼리가 과거의 근거를 필요로 하는지 추론합니다. 이 평가는 추론이 기본(Native) 궤적을 유지할지, 아니면 격리된 회상(Recall) 궤적을 호출할지를 결정합니다. Recall 궤적은 쿼리 로컬 Side-KV 경로를 통해 최근 문맥과 검색된 장기 메모리를 결합하여 영구적인 Native 상태를 수정하지 않고도 국소적인 시간적 연속성을 보존합니다. 우리는 StreamingVLM 및 Mage-VL-4B에 FlashBack을 구현하고 OVO-Bench 및 StreamingBench에서 이를 평가합니다. 실험 결과, 실시간 인지 능력을 대체로 보존하면서도 여러 장기(long-horizon) 및 메모리 의존적 작업에서 성능 향상을 보였으며, 추가 학습이 전혀 필요하지 않음에도 강력한 학습 기반 스트리밍 방식들과 경쟁력 있는 성능을 달성했습니다. 코드는 추후 공개될 예정입니다.

arXiv:2610.01762v1cs.CV공통 태그 Visual Question Answering, Video Understanding

OneStreamer: 스트리밍 비디오 상호작용에서 인식, 메모리 및 능동적 응답의 통합

OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction

스트리밍 비디오 대규모 언어 모델(LLM)은 향후 태스크와의 연관성이 알려지기 전에 증거를 보존하고, 충분한 증거가 확보되었을 때 응답할 수 있어야 합니다. 여기서 당면 과제는 실시간 인식을 저해하지 않으면서 재사용 가능한 사실적 메모리를 형성하는 것입니다. 본 논문에서는 공유된 능동적 생성 과정을 통해 쿼리 무관한 증거 기록과 태스크 응답을 공동으로 학습하는 OneStreamer를 소개합니다. OneStreamer의 능동적 계층형 캡션 메모리(PHCM)는 시간에 기반한(time-grounded) 세부 로컬 캡션과 완료된 이벤트 요약을 생성합니다. 스트리밍 캡션 타깃은 학습(training) 중에 관찰된 비디오 접두부의 해석을 지도합니다. 추론(inference) 시에는 모델(model)이 생성한 기록이 최근의 시각적 윈도우를 보완하여, 과거 시각 특징을 다시 참조하지 않고도 재사용 가능한 사실적 컨텍스트를 제공합니다. 능동적 상태 전이 학습(PSTL)은 모든 출력 앵커에서 지도 신호를 보존하고 대표적인 상태 변화 및 상태 유지 토큰을 선택함으로써 반복되는 대기 상태의 지배적 영향을 줄입니다. 나아가 사용 가능한 증거에 맞춰 출력 내용과 타이밍을 정렬하는 스트리밍 데이터 합성 파이프라인을 개발했습니다. 이렇게 생성된 스트리밍 캡션 및 QA를 정제된 오픈소스 데이터와 결합하여, 다양한 태스크에 걸쳐 100만 개 이상의 레코드를 포괄하는 광범위한 스트리밍 비디오 상호작용 데이터셋(dataset)인 OneStreamer-1M을 구축했습니다. 본 연구의 4B 모델은 평가된 8개의 스트리밍 비디오 이해 벤치마크 전반에서 비교 방법들 중 최고의 결과를 달성했습니다. 절제 연구에 따르면, 생성된 캡션을 유지하는 것이 실시간 인식을 저하시키지 않으면서 과거 QA 성능을 향상시키는 것으로 나타났습니다. 또한 PSTL은 주석이 달린 상태 토큰의 27.5%만을 지도하면서도 밀집 상태 지도 방식을 능가했습니다. 종합적으로 이러한 결과들은 능동적 생성이 스트리밍 비디오 상호작용에서 인식, 메모리 형성, 그리고 적시 응답을 연결하는 공유 학습 인터페이스 역할을 할 수 있음을 뒷받침합니다.

arXiv:2609.13814v3cs.CV공통 태그 Visual Question Answering, Video Understanding

Realtime-Venus: 비동기 위임을 갖춘 전이중(full-duplex) 상호작용 시스템

Realtime-Venus: A full-duplex interaction system with asynchronous delegation

디지털 및 물리적 환경에서의 자연스러운 상호작용은 지속적인 인지(perception)와 적시의 응답을 요구한다. 음성 대화는 음향 및 언어적 단서에 의존하며, 영상 상호작용은 또한 변화하는 시각적 맥락 속에서 대화를 그라운딩(grounding)할 필요가 있다. 우리는 별도로 학습된 9B 모델 두 개—오디오-비주얼 상호작용용 Realtime-Venus-Omni와 음성 상호작용용 Realtime-Venus-Audio—를 갖춘 선제적 전이중 상호작용 시스템 Realtime-Venus를 제시한다. 각 모델은 완전한 대화형 프론트엔드로 동작하며, 사용자 입력, 모델 출력, 위임(delegation) 이벤트에 대한 공유 인과 타임라인을 통해 지속적 인지, 대화 제어, 네이티브 음성 생성을 통합한다. 이중 루프 런타임은 라이브 상호작용과 백그라운드 추론 및 도구 실행을 조율한다. Realtime-Venus-Harness가 비동기적으로 작업을 실행하고 진행 중인 대화에 통합할 결과를 반환하는 동안 전경(foreground) 상호작용은 계속된다. 두 모델 모두 오프라인 이해, 선제적 전이중 궤적, 위임 워크플로를 결합한 공통 사후 학습 레시피를 따른다. 평가된 온라인 모델 가운데 Realtime-Venus-Omni는 여덟 개 영상 벤치마크 중 여섯에서 최고 점수를 기록했으며, StreamingBench(70.2%), OVO-Bench(64.7%), Daily-Omni(81.3%)를 포함한다. 여덟 개의 오디오 이해 및 음성 질의응답 벤치마크 전반에서 Realtime-Venus-Audio는 MMAU(78.0%), MMAU-Pro(63.2%), Llama Questions(83.8%), Speech CMMLU(67.8%)에서 비교 모델들을 앞서며, VoiceBench AlpacaEval 점수 4.81로 최고 성능과 동률을 기록했다. Full-Duplex-Bench v1.5에서 Realtime-Venus-Audio는 사용자 끼어들기의 75%에 응답하며, 백채널(backchannel), 타인 지향 발화(other-directed speech), 배경 음성(background speech) 조건에서 각각 97%, 88%, 86%의 continuation rate를 달성해 세 continuation 지표 모두에서 Gemini 3.1 Live와 GPT-4o를 넘어선다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.