PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.13141v2cs.AI

긴 비디오에서의 RAG 재고: 무엇을 검색하고 어떻게 활용할 것인가?

Rethinking RAG in Long Videos: What to Retrieve and How to Use It?

검색-증강 생성(RAG)은 텍스트를 넘어 질의와 관련된 청크가 여러 모달리티와 시간적 세분성에 걸쳐 표현될 수 있는 긴 비디오로 확장되고 있습니다. 이러한 설정인 VideoRAG의 발전은 두 가지 한계로 인해 제약을 받습니다. 즉, 기존 벤치마크에서는 비디오 없이도 질의에 답할 수 있어 검색 오류가 가려진다는 점과, 기존 방법들이 청크 수준의 가변성을 무시한 채 질의당 단일 모달리티-세분성 구성만을 적용한다는 점입니다. 본 논문에서는 두 문제를 모두 해결하기 위해 시간 단위 길이의 비디오에 대한 $\langle$질의, 근거 청크, 답변$\rangle$ 트리플릿으로 구성되어 각 답변이 고유한 근거 청크에 의존함으로써 검색과 생성의 분리된 평가를 가능하게 하는 벤치마크인 V-RAGBench와, 여러 구성에 걸쳐 병렬 검색기를 실행하고 청크 적응형 재순위화를 사용하여 각 청크에 대한 최적 구성을 선택한 후 이를 생성 단계로 전달하는 학습(training) 불필요 방식인 CARVE를 제안합니다. V-RAGBench에서 CARVE는 두 단계 모두에서 8개의 최신 VideoRAG 베이스라인보다 뛰어난 성능을 보였으며, 생성기에 제공하는 근거는 단일 구성을 공유하는 대신 여러 구성을 인터리빙합니다. 이러한 성능 향상은 1인칭 시점 및 3인칭 시점의 긴 비디오 전반에서 유지되며 확장된 구성 공간으로도 이어집니다.