FocusGraph: 임바디드(Embodied) 장시간 비디오 질의응답을 위한 그래프 구조 프레임 선택
FocusGraph: Graph-Structured Frame Selection for Embodied Long Video Question Answering
한국어 초록
장시간 비디오 이해는 임바디드 지능형 에이전트(embodied intelligent agent)에게 매우 중요한데, 이는 이들의 성능이 장기간에 걸친 지각 메모리(long-horizon perceptual memory)를 효과적으로 축적하고 활용하는 능력에 좌우되기 때문이다. 멀티모달 대규모 언어 모델(MLLM)이 장시간 비디오 이해에 점점 더 많이 사용되고 있지만, 더 많은 프레임이 제공될수록 성능이 저하되고 추론 시간이 증가한다. 따라서 장시간 비디오에 대한 효율적인 질의응답을 위해서는 정보성이 높은 키프레임을 선택하는 것이 필수적이다. 본 연구에서는 자기중심적(egocentric) 장시간 비디오 질의응답을 위한 키프레임 선택 프레임워크인 FocusGraph를 개발한다. 이 프레임워크는 경량의 Scene-Graph LLM Selector를 포함하며, 이는 컴팩트한 그래프 기반 캡션으로부터 질의와 관련된 클립을 식별함으로써 질의 시점에 원본 프레임 시퀀스를 처리할 필요성을 없앤다. 이러한 클립으로부터, 추론 시점에 학습된 파라미터가 없는 오프라인 프로그램 진화(program-evolved) 방식인 Patch-wise Sparse-Flow Retention(PSFR)을 사용하여 키프레임을 추출한 뒤, 이를 MLLM에 전달하여 답변을 생성한다. FocusGraph는 FindingDory와 HourVideo에서 최첨단(state-of-the-art) 성능을 달성하면서도 기존 접근 방식에 비해 질의 시점의 추론 비용을 절감한다.
원문 초록
Understanding long videos is crucial for embodied intelligent agents, as their performance depends on effectively accumulating and using long-horizon perceptual memories. Multimodal large language models (MLLMs) are increasingly used for long-video understanding, but their performance degrades and inference time increases as more frames are provided. Therefore, selecting informative keyframes is essential for efficient question answering over long videos. In this work, we develop FocusGraph, a framework for keyframe selection in egocentric long-video question answering. It includes a lightweight Scene-Graph LLM Selector that identifies query-relevant clips from compact graph-based captions, avoiding the need to process raw frame sequences at question time. From these clips, we extract keyframes using Patch-wise Sparse-Flow Retention (PSFR), an offline program-evolved method with no learned parameters at inference time, before passing them to an MLLM for answer generation. FocusGraph achieves state-of-the-art performance on FindingDory and HourVideo while reducing question-time inference cost compared with existing approaches.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EgoProceVQA: 자기-스킬-탐험 에이전트를 갖춘 새로운 에고센트릭 절차적 이해 과제
EgoProceVQA: A Novel Egocentric Procedural Understanding Task with Self-Skill-Exploration Agent
일상 활동 대부분은 본질적으로 절차적이다. 그러나 에고센트릭 영상 이해를 위한 기존 평가는 절차적 이해를 거의 다루지 않으며, MLLM을 위한 널리 사용되는 영상 질의응답(VQA) 패러다임 하에서 복잡한 핵심 단계 수준 추론을 대체로 간과한다. 이러한 역량은 웨어러블 기기에 배포 가능한 절차적 AI 어시스턴트 구축에 매우 중요하다. 이 격차를 메우기 위해, 우리는 현재 MLLM과 에이전트의 에고센트릭 절차적 추론 역량을 여섯 가지 핵심 단계 중심 질문 유형을 통해 체계적으로 평가하는 에고센트릭 절차적 이해 VQA 과제(EgoProceVQA)를 제안한다. 또한, 다양한 질문 유형에 맞춘 QA 데이터를 효율적으로 구축하는 데이터 생성 플랫폼인 EgoProceGen을 개발한다. 이 플랫폼을 바탕으로 3,600개의 질문, 네 가지 일반적인 절차 시나리오, 31개의 일상 절차 과제를 포함하는 벤치마크를 구축한다. EgoProceVQA에 대한 평가 결과, 기존 MLLM과 에이전트는 절차적 이해에서 여전히 상당한 개선의 여지가 있음을 보여준다. 따라서 우리는 자기-스킬-탐험 에이전트형 프레임워크인 EgoProceAgent를 추가로 제안한다. 절차적 이해를 위한 범용 도구 라이브러리와 도구 및 모델 간 공유되는 표준화된 하위 스킬(sub-skill) 라이브러리를 설계하여, ground-truth 감독 없이 자기 탐험(self-exploration)을 가능하게 한다. 하위 스킬을 구성하고 선택하는 방법을 탐험함으로써, 에이전트는 다양한 문제에 대한 효과적인 스킬 전략을 발견하며, 여러 과제에서 오픈소스 모델 중 최첨단(state-of-the-art) 성능을 달성한다. 벤치마크, 생성 플랫폼, 에이전트형 프레임워크가 함께 EgoProceVQA를 위한 통합 기반을 마련한다. 프로젝트 페이지: https://z1oong.github.io/EgoProceVQA/.
EgoTools: 실세계 1인칭 시점 비디오에서의 도구 중심 추론을 향하여
EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos
일상적인 활동부터 전문적인 절차에 이르기까지 실세계의 체화된(embodied) 과제는 에이전트(agent)가 물리적 제약 조건 하에서 행동하는 동시에 변화하는 객체 및 작업 상태를 추적할 것을 요구합니다. 많은 일상 및 전문 활동이 도구를 매개로 이루어지므로, 도구 사용은 이러한 과제의 핵심에 위치합니다. 이를 이해하기 위해서는 어포던스(affordance), 손-도구-객체 간의 기하학적 구조, 절차적 진행 상황, 대상 객체에 미치는 인과적 영향에 대한 추론이 필요합니다. 그러나 캡셔닝 및 일반적인 비디오 QA와 같이 인식 지향적인 비디오 과제에서의 우수한 성능에도 불구하고, 현재의 멀티모달 비디오 모델들은 이러한 형태의 도구 중심 체화 추론에서 여전히 한계를 보입니다. 이러한 방향의 발전은 실세계 1인칭 시점(egocentric) 데이터와 진단용 벤치마크(benchmark)의 부재로 인해 제한되어 왔습니다. 이러한 공백을 해결하기 위해, 본 논문에서는 1인칭 시점 도구 사용 이해를 위한 최초의 종합적인 스위트인 EgoTools를 소개합니다. 이는 상호 보완적인 두 가지 구성 요소로 이루어져 있습니다. 동기화된 오디오, 조밀한 캡션, 추론 중심의 내레이션 및 보조 3D 정보를 포함하는 100시간 분량의 도구 중심 1인칭 시점 녹화 대규모 말뭉치인 EgoTools-Data와, 인식 및 기하학적 구조부터 절차 및 인과 추론에 이르는 도구 사용 이해를 다루는 4개 트랙 전반의 1,000개 QA 쌍으로 구성된 진단용 벤치마크인 EgoTools-Bench입니다. 실험 결과는 현재 모델들이 시각적 증거에 기반하여 도구 사용을 그라운딩(grounding)하는 데 여전히 어려움을 겪고 있음을 보여줍니다. Gemini-3.1-Pro는 전반적으로 66.9%의 정확도를 달성했으나 인식 및 그라운딩(Perception & Grounding)에서는 51.7%에 그쳤습니다. 평가를 넘어, 본 연구는 EgoTools-Data가 학습(training) 자원으로서 유효함을 검증합니다. 전체 1,000개 질문 벤치마크에서 엄격한 원본 비디오 분리 조건 하에 전체 지도 미세조정(supervised fine-tuning)을 적용했을 때 Qwen3-VL-8B-Instruct의 성능이 50.0%에서 60.9%로 향상되었습니다. 종합적으로 이러한 결과들은 EgoTools가 실세계 1인칭 시점 도구 사용 이해의 학습과 진단 평가 모두를 위한 통합 자원임을 입증합니다.
비디오 MLLM 사후 학습을 위한 행동 팩 최적화
Behavior Pack Optimization for Video MLLM Post-Training
비디오 다중모달 대규모 언어 모델(video multimodal large language model, Video MLLM)은 비디오 질의응답 벤치마크에서 지속적으로 성능을 높이고 있지만, 프레임을 섞거나 정답을 뒷받침하는 구간을 마스킹하거나 대상 객체를 가려도 예측 결과는 거의 변하지 않습니다. 이러한 정확도는 질문이 요구하는 시간적 증거가 아닌 외형 및 언어 사전확률(prior)에 의존하고 있습니다. 저자들은 이 원인이 사후 학습(post-training) 단위에 있음을 밝혀냈습니다. 즉, 보상(reward)이 원본 클립에 대한 단일 응답에 대해서만 계산되므로, 모델이 다양한 관점(view)에 걸쳐 일관되게 행동하도록 요구받지 않는다는 점입니다. 이에 저자들은 단일 응답 대신 질문 유형에 따라 선택된 반사실적 관점들에 걸친 출력들의 행동 팩(behavior pack)으로 대체하고 이를 공동으로 평가하는 행동 팩 최적화(Behavior Pack Optimization, BPO)를 제안합니다. 팩 보상은 개입이 무관할 때는 안정성을, 핵심 증거가 제거되었을 때는 민감성을, 증거가 전혀 남아있지 않을 때는 기권(abstention)을 요구합니다. 작은 팩 크기에서도 이 목적 함수를 안정적으로 유지하기 위해, BPO는 앵커 상대적 이점(anchor-relative advantage)을 사용합니다. 즉, 혼합된 관점들의 그룹 평균 대신 원본 관점의 응답이 프롬프트별 참조 역할을 수행합니다. TempCompass, MVBench, NExT-QA에서 BPO는 동일한 SFT 체크포인트 기반의 예산 매칭된 바닐라 GRPO 기준선(baseline) 대비 Qwen2.5-VL-7B-Instruct의 매크로 정확도를 4.7%p, 시간적으로 까다로운(temporal-hard) 하위 집합을 7.8%p, 기권 F1을 20.0%p 향상시킵니다. 이러한 이득은 Video-MME, LongVideoBench 및 LLaVA-Video-7B로도 전이되며, 소거 연구(ablation)를 통해 이러한 성과가 롤아웃(rollout) 횟수가 아닌 관점 세트에 기인함을 확인했습니다. 연구진은 증거에 기반한(evidence-grounded) 비디오 추론으로 나아가는 과정에서, 이러한 팩 수준의 관점이 비디오 MLLM 및 다중모달 사후 학습 커뮤니티에 유용한 출발점을 제공하기를 기대합니다.
NextMe-800: 수개월의 1인칭 시점 비디오로부터 개인의 행동 예측하기
NextMe-800: Anticipating Personal Behavior from Months of Egocentric Video
우리는 종종 야심 차게 계획을 세우지만 습관적으로 행동하며, 실제로 어떻게 행동할지 알았더라면 다르게 계획했을지 사후에 반추하곤 합니다. 사후 판단(hindsight)은 과거의 결정에 귀중한 통찰을 제공하지만, 우리는 흔히 선택의 순간에 이러한 사후 판단을 시뮬레이션할 수 있기를 바라곤 합니다. 만약 시스템이 개인의 과거 이력으로부터 타당한 행동 궤적을 생성할 수 있다면, 이러한 미리보기는 사람들이 더 현실적인 계획을 세우고 더 나은 정보를 바탕으로 결정을 내리는 데 도움이 될 수 있습니다. 본 연구에서는 한 명의 자원봉사자로부터 126일에 걸쳐 1Hz 이미지, 시선, 오디오를 기록하고 원자 단위 행동부터 주요 활동까지 5단계의 계층적 추상화 수준으로 캡션을 작성한 약 800시간 분량의 1인칭 데이터셋인 NextMe-800을 소개합니다. 우리는 개인화된 행동 예측(action anticipation)을 개방형 어휘(open-vocabulary) K단계 시퀀스 예측 문제로 정의하고, NextMe-800과 다인칭 EgoLife 데이터셋을 결합하여 1,500개 평가 지점으로 구성된 NextAct 벤치마크를 구축합니다. 임베딩 기반의 소프트 편집 거리(soft edit distance)를 지표로 활용하여, 추상화 수준과 예측 기간(horizon) 전반에 걸쳐 다양한 모델이 개인의 행동을 얼마나 잘 예측할 수 있는지 평가합니다. NextMe-800과 NextAct는 1인칭 시점의 관찰로부터 개인의 행동을 얼마나 먼 미래까지 예측할 수 있는지 연구하기 위한 수개월 분량의 자원 및 평가 프레임워크를 제공합니다.
FORTE: 장시간 비디오 질의응답을 위한 적응형 스코어링과 정확한 키프레임 선택
FORTE: Adaptive Scoring and Exact Keyframe Selection for Long-Video Question Answering
질의 인식(query-aware) 키프레임 선택은 멀티모달 대규모 언어 모델(MLLM)이 질문과 관련된 소수의 프레임만을 사용하여 긴 비디오를 처리할 수 있게 한다. 그러나 기존의 점수 기반 방법들은 일반적으로 고정된, 균일하게 샘플링된 후보 풀 내에서만 탐색하기 때문에, 이 풀 밖에 있는 증거는 결코 선택될 수 없다. 제한된 관련성 스코어링(relevance-scoring) 예산이 주어졌을 때, 핵심 과제는 유망한 프레임에 평가를 적응적으로 할당하면서도 저평가된 시간적 영역을 계속 탐색하는 것이다. 우리는 이러한 과제를 두 단계, 즉 적응형 관련성 스코어링과 전역 키프레임 최적화를 통해 해결하는 학습이 필요 없는(training-free) 프레임워크인 FORTE를 소개한다. 희소하고 균일하게 분포된 관측값에서 시작하여, 우리의 효율적인 가우시안 프로세스(Gaussian process) 관련성 예측기는 점수가 매겨지지 않은 프레임의 관련성을 추정하며, 시간적 지역성(temporal locality)과 대략적인 밴드 구조의 커널 구조를 활용하여 고정된 대역폭(bandwidth)에 대해 핵심 계산량을 프레임 수에 대해 3차(cubic)에서 선형(linear) 시간으로 줄인다. 이어서 스코어링 단계는 예측된 관련성과 시간적 커버리지(temporal coverage)의 균형을 맞춰 다음으로 점수를 매길 프레임을 선택하며, 유망한 영역을 우선시하면서도 비디오에서 상대적으로 덜 대표된 부분도 탐색한다. 최적화 단계는 측정된 관련성과 시간적 커버리지를 함께 포착하는 목적 함수를 최대화하여 최종 키프레임을 선택한다. 우리는 로그 커버리지 구조를 활용하여, 고정된 최종 프레임 예산에 대해 점수가 매겨진 후보 풀의 최적 부분집합을 풀 크기에 대해 선형 시간 내에 식별하는 정확한(exact) 알고리즘을 도출한다. 네 가지 장시간 비디오 질의응답(long-video question-answering) 벤치마크에 대한 실험 결과, FORTE는 테스트된 모든 스코어링 예산에서 비교 대상 선택기들 중 가장 높은 관측 평균 정확도를 달성하였다. 추가 평가는 서로 다른 관련성 스코어러(relevance scorer)와 다운스트림 MLLM 전반에서 FORTE의 일관된 효과를 보여준다.
비디오 증거 인덱싱(Video Evidence Indexing): 토큰 예산 제약 장시간 비디오 질의응답을 위해 비디오 프리뷰로부터 어디를 볼지 학습하기
Video Evidence Indexing: Learning Where to Look from Video Previews for Token-Budgeted Long-Video Question Answering
장시간 비디오 질의응답(long-video question answering)은 비주얼 토큰의 높은 비용과 현재 VLM(비전-언어 모델)의 고정된 컨텍스트 폭(context width)으로 인해 제약을 받는다. 장시간 비디오에 대한 질문은 넓은 시간적 범위(temporal coverage)를 요구할 수 있지만, 정답은 흔히 소수의 압축된 순간들(moments)에 의해서만 뒷받침된다. 이러한 순간들을 효율적으로 찾아내기 위해, 우리는 토큰 예산이 제한된 비디오 증거 인덱싱(token-budgeted Video Evidence Indexing, VEI)을 제안한다: 조밀한 저해상도 비디오 프리뷰(Video Preview)가 주어지면, 모델은 최종 추론을 위한 압축된 고해상도 증거 집합(Evidence Set)을 구성한다. 우리는 VEI를 질문과 관련된 순간을 찾는 증거 위치 추정(evidence localization)과, 제한된 고해상도 프레임 예산을 어디에 사용할지 결정하는 예산 계획(budget planning)을 함께 해결해야 하는 정책(policy)으로 다룬다. 우리는 이 아이디어를 하나의 추론 파이프라인으로 구현한다: 비디오 프리뷰는 저비용의 전역적 커버리지를 제공하고, 비디오 증거 인덱싱은 증거 집합을 구성하며, 답변 생성(Answer Generation)은 최종 VQA를 위해 두 입력을 결합한다. 프레임 수준의 감독(supervision)이 부재한 문제를 해결하기 위해, 우리는 특권적 자기 증류(privileged self-distillation)를 채택하는데, 여기서는 정답을 아는 교사(answer-aware teacher)가 학생이 생성한 인덱싱 흔적(indexing trace)에 대해 일반적인 테스트 시점(test-time) 정책을 지도한다. 우리는 프레임당 1, 6, 12, 24개의 비주얼 토큰을 가진 프리뷰를 탐구하며, 이 네 가지 해상도를 모두 지원하는 단일 정책을 학습시킨다. 실험 결과, 비디오 증거 인덱싱은 제한된 비주얼 예산 하에서 정확도를 향상시키며, 자기 증류는 QA 정확도와 시간적 증거 위치 추정(temporal evidence localization) 모두를 추가로 향상시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.