PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23121v1cs.CV

MM-ContextFold: 멀티모달 에이전틱 검색을 위한 컨텍스트 폴딩

MM-ContextFold: Context Folding for Multimodal Agentic Retrieval

멀티모달 에이전틱 검색(Multimodal Agentic Retrieval, MAR)은 에이전트가 외부 도구를 반복적으로 호출하여 복잡한 정보 탐색 작업을 해결할 것을 요구한다. ReAct와 같은 일반적인 프레임워크는 원본 멀티모달 입력과 누적되는 상호작용 이력을 단일한, 계속 커지는 컨텍스트에 유지하며, 이는 컨텍스트 폭발 문제로 이어진다. 기존 방법들은 중복된 텍스트를 압축함으로써 이 문제를 완화하지만, 토큰 소모가 큰 시각적 콘텐츠를 관리하는 효과적인 전략은 여전히 대부분 충분히 연구되지 않았다. 이러한 격차를 해소하기 위해, 우리는 먼저 약 1만 개의 궤적(trajectory)에 대한 체계적인 실증 연구를 수행한다. 그 결과, 시각적 단서가 외부 도구를 통해 점진적으로 추출되어 컨텍스트에 텍스트화됨에 따라 원본 이미지가 점점 더 중복되는 것으로 나타났다. 이미지를 계속 유지하는 것은 더 높은 출력 엔트로피와 관련이 있으며, 심지어 작업 정확도를 저하시킬 수도 있다. 이러한 발견에 착안하여, 우리는 필요할 때만 원본 이미지를 불러오는 학습이 필요 없는(training-free) 프레임워크인 MM-ContextFold를 제안한다. 이 프레임워크는 상위 수준의 계획(planning)을 위해 텍스트만으로 구성된 영속적인 메인 컨텍스트를 유지하며, 이미지에 의존하는 하위 작업을 위해 일시적인 분기 컨텍스트(branch context)를 생성한다. 각 분기 내에서 에이전트는 관련 이미지를 불러와 하위 작업을 완료한 뒤, 그 결과를 간결한 텍스트 요약으로 메인 컨텍스트에 다시 접어 넣는다(fold back); 이후 이미지와 분기 흔적(branch trace)은 폐기된다. 다섯 개의 백본 모델에 걸친 일곱 개의 MAR 벤치마크에서의 실험 결과, MM-ContextFold는 ReAct 대비 평균 정확도를 6.3퍼센트 포인트 향상시키는 동시에 작업 컨텍스트 길이를 27.5% 줄이는 것으로 나타났다.