범용 멀티모달 검색을 위한 순환 구조와 트랜스포머의 결합
Recurrence Meets Transformers for Universal Multimodal Retrieval
한국어 초록
멀티모달 검색의 급속한 발전과 LLM 및 멀티모달 LLM에서의 활용에 따라, 점점 더 복잡한 검색 과제가 등장하고 있다. 기존 방법은 주로 비전-언어 모델(vision-language model)의 과제별 미세조정에 의존하며, 단일 모달리티의 쿼리 또는 문서로 제한된다. 본 논문에서는 이미지와 텍스트로 구성된 멀티모달 쿼리를 지원하고, 텍스트와 이미지가 공존하는 멀티모달 문서 컬렉션을 대상으로 검색하는 통합 검색 모델인 ReT-2를 제안한다. ReT-2는 다층 표현과 LSTM에서 착안한 게이팅 메커니즘을 갖춘 순환 트랜스포머(recurrent Transformer) 아키텍처를 활용하여 층과 모달리티 전반의 정보를 동적으로 통합하고, 세밀한 시각적·텍스트적 세부 정보를 포착한다. 우리는 다양한 검색 구성에서 도전적인 M2KR 및 M-BEIR 벤치마크로 ReT-2를 평가한다. 결과는 ReT-2가 다양한 설정 전반에서 일관되게 최고 수준(state-of-the-art)의 성능을 달성하면서, 기존 접근법에 비해 더 빠른 추론과 더 적은 메모리 사용량을 제공함을 보여준다. 또한 검색-증강 생성(RAG) 파이프라인에 통합하면, ReT-2는 Encyclopedic-VQA 및 InfoSeek 데이터셋에서 다운스트림 성능도 향상시킨다. 소스 코드와 학습된 모델은 https://github.com/aimagelab/ReT-2 에서 공개되어 있다.
원문 초록
With the rapid advancement of multimodal retrieval and its application in LLMs and multimodal LLMs, increasingly complex retrieval tasks have emerged. Existing methods predominantly rely on task-specific fine-tuning of vision-language models and are limited to single-modality queries or documents. In this paper, we propose ReT-2, a unified retrieval model that supports multimodal queries, composed of both images and text, and searches across multimodal document collections where text and images coexist. ReT-2 leverages multi-layer representations and a recurrent Transformer architecture with LSTM-inspired gating mechanisms to dynamically integrate information across layers and modalities, capturing fine-grained visual and textual details. We evaluate ReT-2 on the challenging M2KR and M-BEIR benchmarks across different retrieval configurations. Results demonstrate that ReT-2 consistently achieves state-of-the-art performance across diverse settings, while offering faster inference and reduced memory usage compared to prior approaches. When integrated into retrieval-augmented generation pipelines, ReT-2 also improves downstream performance on Encyclopedic-VQA and InfoSeek datasets. Our source code and trained models are publicly available at: https://github.com/aimagelab/ReT-2
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2509.08897v3제출 시각 미확인
- arXiv:2509.08897v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.