MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction
한국어 초록
범용 멀티모달 임베딩 모델은 쿼리와 후보 간의 의미적 관련성을 포착하는 데 큰 성공을 거두었다. 그러나 현재의 방법들은 쿼리와 후보를 단일 벡터로 압축하여 세부 정보에 대한 표현력을 제한할 수 있거나, 다중 벡터 검색에는 부담이 될 정도로 너무 많은 벡터를 생성한다. 본 연구에서는 멀티모달 임베딩이 대규모에서 어떻게 구성되고 상호작용하는지를 재고한 멀티모달 검색 프레임워크인 MetaEmbed를 제안한다. 학습 중에는 고정된 수의 학습 가능한 메타 토큰(Meta Tokens)을 입력 시퀀스에 추가한다. 테스트 시에는 마지막 레이어의 문맥화된 표현이 간결하면서도 표현력 있는 다중 벡터 임베딩으로 사용된다. 제안하는 매트료시카 멀티벡터 검색(Matryoshka Multi-Vector Retrieval) 학습을 통해 MetaEmbed는 여러 벡터에 걸쳐 정보의 세분화 수준에 따라 정보를 조직하는 방법을 학습한다. 그 결과, 사용자는 인덱싱과 검색 상호작용에 사용할 토큰 수를 선택함으로써 검색 품질과 효율성 요구 사이를 균형 있게 조절할 수 있는 멀티모달 검색의 테스트 시 스케일링을 가능하게 한다. Massive Multimodal Embedding Benchmark(MMEB)와 Visual Document Retrieval Benchmark(ViDoRe)에 대한 광범위한 평가 결과, MetaEmbed는 32B 파라미터 규모의 모델까지 안정적으로 확장되면서도 최신 수준의 검색 성능을 달성함을 확인했다. 코드는 [https://github.com/facebookresearch/MetaEmbed](https://github.com/facebookresearch/MetaEmbed)에서 확인할 수 있다.
요약
멀티모달 검색(multimodal retrieval)은 텍스트와 이미지가 함께 담고 있는 의미적 연관성을 정밀하게 포착해야 하므로, 표현력과 효율성을 동시에 만족시키는 임베딩 설계가 핵심 과제로 부각되어 왔습니다. 그러나 기존 방법은 쿼리와 후보를 하나의 벡터로 압축해 세밀한 정보를 놓치거나, 반대로 너무 많은 벡터를 생성해 다중 벡터 검색(multi-vector retrieval)의 비용이 과도하게 커지는 한계를 지니고 있었습니다. MetaEmbed는 이러한 양극단의 문제를 해결하기 위해, 학습 가능한 메타 토큰(Meta Tokens)을 입력 시퀀스에 추가하고 추론 시에는 이 토큰들의 마지막 층 표현만을 추출하여 압축적이면서도 표현력이 높은 다중 벡터 임베딩으로 사용하는 방식을 제안합니다. 이때 비전-언어 모델(vision-language model)은 원본 텍스트와 시각 패치를 처리하는 동시에 메타 토큰에 의미를 응축시키므로, 적은 수의 벡터만으로도 입력 전체의 문맥을 효과적으로 보존할 수 있습니다. 방법론의 핵심은 늦은 상호작용(late interaction)을 유지하면서도 그 표현 단위를 유연하게 재구성하는 데 있습니다. 쿼리와 후보는 각각 여러 개의 메타 임베딩으로 표현되고, 각 쿼리 벡터는 후보 벡터 집합과의 내적 중 최대값을 취해 누적되므로, 단일 전역 벡터가 포착하기 어려운 부분 정합을 세밀하게 반영할 수 있습니다. 여기에 매트료시카 다중 벡터 검색(Matryoshka Multi-Vector Retrieval, MMR) 학습을 결합하여, 앞부분 접두사(prefix)만으로도 동작하는 여러 해상도의 표현을 중첩적으로 학습합니다. 즉, 작은 접두사는 빠른 요약 표현으로, 더 큰 접두사는 정밀한 표현으로 활용되며, 각 그룹은 정보의 거칠기에서 세밀함으로 이어지는 계층적 구조를 공유하게 됩니다. 학습 과정에서는 각 접두사 그룹에 대해 정보잡음대조 추정(InfoNCE) 손실을 적용하고, 배치 내 음성뿐 아니라 hard negative까지 함께 포함함으로써 판별력을 강화합니다. 이러한 설계는 각 해상도의 벡터 집합이 독립적으로도 유의미한 검색기를 이루도록 만들면서, 동시에 서로 일관된 표현 계층을 형성하게 합니다. 그 결과 테스트 시점에는 검색 예산과 지연 시간 요구에 따라 사용할 벡터 수를 조절할 수 있어, 추가 학습 없이도 정확도와 효율성 사이의 균형을 세밀하게 맞출 수 있습니다. 다시 말해 MetaEmbed는 단순히 임베딩을 압축하는 데 그치지 않고, 운영 환경의 제약에 따라 검색 성능을 점진적으로 확장할 수 있는 test-time scaling을 실현합니다. 대규모 멀티모달 임베딩 벤치마크(Massive Multimodal Embedding Benchmark, MMEB)와 시각 문서 검색 벤치마크(Visual Document Retrieval Benchmark, ViDoRe)에서의 광범위한 평가는 이러한 설계가 높은 검색 성능과 우수한 확장성을 동시에 제공함을 보여주며, 특히 32B 규모 모델에서도 안정적으로 작동하는 강점을 확인시켜 줍니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.