PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.00867v3cs.CV

EFlow: 적응적 반영을 통한 장편 비디오 추론을 위한 증거 흐름 학습

EFlow: Learning Evidence Flow for Long-Video Reasoning with Adaptive Reflection

기존 비디오 추론 프레임워크가 시간적 그라운딩과 답변 추론을 단일 궤적에서 혼합해 발생하는 '조기 의미 확정' 문제를 해결하기 위해, Qwen3-VL 기반의 EFlow는 T-CoT와 R-CoT로 증거 탐색과 추론을 명시적으로 분리하고 신뢰도 마진 기반의 적응형 반영 메커니즘을 도입했다. VideoMME Overall 69.1%, LVBench 52.5% 등 5개 벤치마크에서 장편 비디오 추론 성능이 일관되게 향상됨을 입증했다.

arXiv:2606.07433v1cs.CV

보기, 기억, 추론: MLLM을 활용한 인간 관점 비디오 이해

Watch, Remember, Reason: Human-View Video Understanding with MLLMs

비디오 이해는 멀티모달 대규모 언어 모델(MLLM)에 의해 급속히 변화하고 있으며, 연구는 짧은 클립에서 긴 영상, 멀티모달, 지식 집약적 비디오 시나리오로 확장되고 있다. 이러한 시나리오는 모델이 희소한 증거, 장거리 의존성, 멀티모달 정렬(alignment), 제한된 계산 예산 하에서의 신뢰할 수 있는 추론을 처리할 수 있도록 요구한다. 본 연구는 LLM 기반 비디오 이해에 대한 인간 관점(human-view)의 관점을 제시하며, 세 가지 기능적 능력—보기(watching), 기억(remembering), 추론(reasoning)—을 중심으로 구성한다. 비디오 작업을 독립적인 벤치마크로 취급하는 대신, 이 관점은 비디오 MLLM이 증거를 획득하고, 맥락을 보존하며, 그라운딩(grounding)된 출력을 생성하는 방식을 분석하기 위한 통합 구조를 제공한다. 우리는 지각 표상(perceptual representations), 메모리 상태, 추론 흔적(reasoning traces), 최종 예측에 따라 비디오 이해 시스템을 특성화하는 공식화(formulation)를 도입한다. 이 공식화를 바탕으로 시공간 지각, 효율적인 장영상 처리, 메모리 모델링, 스트리밍 이해, 충실한 추론 분야의 과제를 식별한다. 대표적인 방법들은 비디오 MLLM 시스템 내 역할에 따라 정리된다. 보기(watching)는 세밀한(fine-grained), 포괄적인, 시청각(audio-visual), 효율적 지각을 다룬다. 기억(remembering)은 오프라인 및 스트리밍 메모리를 포함하며, 추론(reasoning)은 텍스트 전용 추론과 비디오를 활용한 사고(thinking with videos)를 다룬다. 또한 자기 중심(egocentric), 스포츠, 교육(instructional), 의료, 서사(narrative) 비디오 등 응용 영역을 검토하고, 작업 유형, 지도(supervision) 형식, 모달리티, 능력 차원에 걸친 학습 데이터셋과 평가 벤치마크를 다룬다. 마지막으로, 확장 가능하고 메모리를 인식하며 증거에 그라운딩(grounded)된 비디오 지능을 위한 미해결 문제와 향후 방향을 제시한다. 관련 연구는 https://github.com/marinero4972/Awesome-HumanView-VideoUnderstanding에서 지속적으로 추적된다.