PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06532v1cs.CV

GOPAgen: 구조적 메모리와 계층적 추론을 활용한 동작 인지형 효율적 에이전트 장시간 비디오 이해

GOPAgen: Motion-Aware and Efficient Agentic Long-Video Understanding with Structural Memory and Hierarchical Reasoning

에이전트 기반 장시간 비디오 이해에서 상당한 진전이 있었음에도, 기존 방법들은 효율적인 메모리 아키텍처와 결합된 상세한 동작 이해가 여전히 부족하다. 본 논문에서는 비디오 코덱의 Groups of Pictures(GOPs)로 학습된 정교하게 설계된 동작 에이전트를 통해 비디오 이해 프레임워크에 비디오 코덱을 최초로 통합한 새로운 접근법인 GOPAgen을 제안한다. 또한 비디오 코덱과 자연스럽게 정렬되며 비디오 내 국소적 상세 동작을 이해하는 모델의 능력을 향상시키는 GOP 트리 추론 알고리즘을 개발한다. 또한 국소 동작 정보와 상세 캡션을 구조적 페이지에 통합하는 구조적 메모리 메커니즘을 정교하게 설계하고, 구조적 메모리를 최대한 활용하기 위한 효율적인 coarse-to-fine 줌인 알고리즘을 제안한다. 또한 다양한 세분성에서 동작 벡터를 효율적으로 검색할 수 있도록 프레임워크에 동작 벡터 데이터베이스를 통합한다. 전반적으로 본 방법은 MotionBench, Egoschema 등 다양한 비디오 이해 벤치마크에서 우수한 비디오 질의응답(VQA) 성능을 달성하여 제안한 프레임워크의 우수성을 입증한다.