비전과 언어 간 정보 밀도 불균형으로 인한 패치 중복성과 모호성(Semantic Sparsity Bias) 문제를 해결하기 위해, MLLM이 생성한 밀도 높은 텍스트 앵커와 희소 캡션을 이중 세분화 의미 보정(Dual-Granularity Semantic Calibration) 메커니즘으로 결합해 핵심 시각 패치를 선별하는 SEPS 프레임워크를 제안한다. Flickr30K 및 MS-COCO 데이터셋 실험에서 기존 방법 대비 rSum 기준 23–86% 향상된 성능을 달성했다.
현대의 정보 검색(retrieval) 시스템은 자동화되는 동시에 사용자가 실시간으로 결과를 검색하고 개선할 수 있는 대화형(interactive) 특성을 갖추어야 합니다. 본 논문에서는 이미지 및 비디오에 대한 자연어 검색을 위해 비전-언어 모델(VLM)의 제로샷(zero-shot) 역량을 활용하는 유연한 멀티모달 검색 프레임워크인 AiSearch를 제시합니다. AiSearch는 사용자의 의도에 맞게 결과를 맞춤화하기 위한 사용자 피드백 기반의 대화형 검색 정교화를 지원하며, 여러 VLM 전반에 걸친 시각적 벤치마킹을 지원하여 사용자가 작업에 가장 적합한 모델을 선택할 수 있도록 합니다.
조직의 운영 방식을 바꾸고 있는 두 가지 혁신적인 AI 시스템 유형이 있다. 하나는 기업 지식 위에서 추론하여 챗봇과 에이전트 워크플로를 구동하는 디지털 AI(digital AI)이고, 다른 하나는 영상, 게임플레이, 센서 원격 측정(telemetry)으로부터 로봇과 자율 시스템의 제어를 학습하는 물리 AI(physical AI)이다. 둘 다 동일한 근본적 병목에 직면한다. 이질적 모달리티에 걸친 대규모 원시 지식이 사설 코퍼스에 갇혀 있어, 기존 AI 인프라가 이를 신뢰성 있게 또는 효율적으로 접근하지 못한다는 점이다. 본 논문은 범용 지식 인식(Universal Knowledge Perception, UniK)을 두 유형 모두를 아우르는 공통 플랫폼으로 제안한다. 풍부한 텍스트와 영상부터 분자 데이터 및 센서 원격 측정에 이르는 다양한 모달리티에 걸쳐, 수집(ingestion), 강화(enrichment), 색인(indexing), 검색(retrieval), 지속적 평가(evaluation)를 포함하는 지식 전 생애주기 전반을 다룬다. 과제별 미세조정 없이, 자동으로 강화된 색인에 대한 다중 색인 융합(multi-index fusion)인 Polymath Retrieval 위에 구축된 UniK를 제시한다. 의학 문헌, 개방형 QA, 화학, 법률 영상 절차, 정부 공개 데이터 등 다섯 디지털 AI 도메인에서, 오픈소스 700억 매개변수 모델과 결합한 UniK는 차수적으로 더 큰 프론티어 독점 LLM과 지속적으로 동등하거나 그 이상의 성능을 보였다. 정부 데이터에서 RAG 정확도 76%(GPT-5는 47%), 미세조정 없이 의학 QA에서 77.9%, 모든 오픈소스 화학 파이프라인을 상회했다. 동일한 인프라가 물리 AI 월드 모델 학습이 직면한 데이터 큐레이션, 색인, 검색 과제를 직접 해결할 수 있음을 보이며, 해당 영역에서는 지식 문제가 더 어렵지만 구조적으로 동일하다.
이질적인 PDF 컬렉션에 대한 검색-증강 생성(RAG)은 멀티모달 콘텐츠, 도메인 특화 용어, 분산된 증거에 걸친 다중 홉(multi-hop) 추론의 필요성으로 인해 여전히 어렵다. 본 연구는 dense text 임베딩(embedding), BM25 키워드 매칭, 지식 그래프 트리플 필터링, 이미지 기반 유사도를 통합하여 복잡한 문서에 대한 견고한 검색을 수행하는 4축 융합 아키텍처인 Multimodal CoLRAG-TF를 제시한다. 우리 시스템은 43개의 일본 재난 교훈 PDF에서 추출한 2,403개 블록의 멀티모달 인덱스를 구축하며, 하이브리드 OCR 파이프라인과 LLM 기반 캡션 생성을 지원한다. 합성적 추론(compositional reasoning)을 향상시키기 위해 11,414개의 OpenIE 트리플을 추출하고 FAISS로 인덱싱하여, 1초 미만의 트리플 조회와 관련성 신호의 계층적 전파를 가능하게 한다. HippoRAG2에서 영감을 받은 coarse-to-fine 검색기(권 $\to$ 장 $\to$ 블록)가 최종 융합 점수 산정 전에 검색 공간을 축소한다. 융합 가중치에 대한 베이지안 최적화(optimization)는 어휘적 바이어스(lexical bias)를 상쇄하고 다중 홉 검색 품질을 유지하려면 트리플 축이 지배적이어야 함($\alpha_\text{triple} = 0.44$)을 보여준다. 457쌍 벤치마크에서 평가한 결과, Multimodal CoLRAG-TF는 검색 재현율(Retrieval Recall) 0.9909를 달성하고, 단일 홉 쿼리 대비 다중 홉 답변 유사도에서 71.6$\%$ 개선을 보였다. 비전 LLM을 사용하는 이미지-교훈 파이프라인은 시각적 입력에 대한 접근법의 적용 가능성을 추가로 보여준다. 이러한 결과는 트리플 필터링 멀티모달 융합이 노이즈가 많고 이질적인 PDF에 대한 구조화된 추론에 필수적이며, 재난 도메인을 넘어 적용 가능한 일반적 프레임워크를 제공함을 보여준다.
실제 패션 검색은 여러 턴에 걸친 대화형 검색을 포함한다. 그러나 기존 멀티턴 검색 방법은 모든 상호작용이 동일한 속성 편집(attribute-editing) 패러다임을 따른다는 제한적인 가정에 기반하여, 이질적인 의도 전환을 탐색하지 못하고 있다. 또한 기존 접근법은 멀티모달 쿼리와 시각적 검색을 연결하기 위해 종종 텍스트화(textification)에 의존하는데, 이는 세밀한 시각적 단서를 잃을 수 있다. 이러한 공백을 해소하기 위해, 7개 태스크에 걸친 13개 패션 검색 데이터셋으로부터 구성된 26K 멀티턴 세션 벤치마크인 DIM-Fashion을 소개한다. 이 벤치마크는 다양한 의도 전환과 롤백(rollback) 행동을 특징으로 한다. 또한 FashionAM을 제안한다. FashionAM은 중간 텍스트화를 피하면서 멀티모달 대화형 쿼리를 패션 중심 갤러리 임베딩 공간과 직접 정렬하는 MLLM-VLP 프레임워크이다. 광범위한 실험은 기존 접근법 대비 FashionAM의 효과를 보여준다. 데이터셋과 코드는 논문 수락 후 공개될 예정이다.
대규모 자율주행 데이터셋에는 방대한 수의 기록된 시나리오가 포함되어 있어, 주어진 쿼리와 유사한 상황을 식별할 수 있는 효율적인 검색 방법이 필요하다. 기존 접근법은 주로 시각적 표현 또는 모션 기반 설명 중 하나에 의존하여, 시나리오 검색에서의 상대적 강점과 한계를 파악하기 어렵다. 본 연구에서는 통합된 검색 파이프라인 내에서 시각적 표현과 궤적 기반 표현을 결합한 자율주행 시나리오 검색을 위한 멀티모달 프레임워크를 제안한다. 두 가지 궤적 기반 접근법을 탐구하는데, 주변 에이전트의 모션에 기반한 명시적 매칭 방법인 Exo-Trajectory와 대조 학습을 통해 객체 궤적으로부터 학습된 트랜스포머 기반 표현인 ScenarioFormer이다. 이 접근법들을 강력한 비전 기반 베이스라인과 비교하고, 다양한 주행 시나리오에 걸쳐 동작을 분석한다. 실험 결과, 궤적 표현은 끼어들기, 회전 주행, 교통 정체와 같은 모션 중심 이벤트에서 강력한 검색 성능을 제공하는 반면, 시각적 임베딩은 외형 단서가 유의미한 경우에 우수한 성능을 보인다. 가장 중요하게는, 시각 정보와 궤적 정보를 결합하면 검색 품질이 일관되게 향상되어 최상의 전체 성능을 달성한다. 이러한 결과는 외형과 모션 캡처가 시나리오 유사도의 상호 보완적인 개념임을 보여주며, 자율주행 데이터 마이닝, 데이터셋 큐레이션, 시나리오 기반 검증을 위한 멀티모달 검색 시스템의 필요성을 뒷받침한다.
기존 멀티모달 문서 검색 벤치마크가 단일 페이지 기반의 단순 어휘·의미 매칭만 평가하는 한계를 극복하기 위해, 여러 페이지에 걸친 문맥 모델링을 요구하는 새로운 태스크 CMDR과 벤치마크 CMDR-Bench를 제안한다. 이를 해결하기 위해 여러 페이지를 공동으로 인코딩하여 문맥 정보를 명시적으로 통합하는 임베딩 모델 CMDR-Embed와 문맥 인식 대조 학습 목적 함수 CMCL을 도입하여, 비문맥적 임베딩 대비 유의미한 성능 향상을 달성하였다.
장시간 다중 카메라 감시 영상에서 특정 인물을 검색·추론하는 문제를 해결하기 위해, 이미지-텍스트 복합 쿼리와 시간적 그라운딩을 지원하는 최초의 벤치마크 ForeSeaQA와 3단계 VideoRAG 시스템 ForeSea를 제안한다. ForeSea는 인물 추적, 멀티모달 임베딩, 비디오 LLM을 결합한 플러그앤플레이 파이프라인으로 기존 RAG 기반 베이스라인 대비 정확도 3.1포인트, 시간적 IoU 10.1포인트 향상을 달성했다.
제로샷 합성 이미지 검색(ZS-CIR)에서 기존 방법들이 미리 정의된 합성 메커니즘에 특징 표현을 맞추는 데 그쳐 합성 함수 자체를 학습하지 못하는 문제를 해결하기 위해, FoCo는 수정 관련 시각 콘텐츠에 집중하는 텍스트 앵커 시각 집계와 이를 맥락 조건부로 완성하는 두 단계의 학습 가능한 합성 메커니즘을 제안한다. 네 가지 ZS-CIR 벤치마크에서 최첨단 성능을 달성하며 향상된 일반화 능력을 입증하였다.
비전 토큰(visual token)의 과도한 계산 비용으로 인한 멀티모달 대규모 언어 모델(MLLM) 기반 임베딩의 비효율성을 해결하기 위해, Magic-MM-Embedding은 파라미터 없는 공간 보간(spatial interpolation) 방식으로 시각 토큰을 75% 압축하는 효율적 아키텍처와 3단계 점진적 학습 전략(멀티모달 능력 복원 → 대조 사전학습 → MLLM-as-a-Judge 기반 태스크 특화 파인튜닝)을 결합하여, MMEB 벤치마크에서 기존 방법 대비 추론 효율성과 성능을 동시에 크게 향상시켰다.
병리학 임상 워크플로우에서 이미지와 텍스트가 혼합된 실제 쿼리를 처리하기 위해, 기존 듀얼 인코더의 구조적 불일치와 다중모달 대규모 언어 모델(MLLM)의 태스크·도메인 불일치를 동시에 해결하는 모델-agnostic 적응 프레임워크 HOMIE를 제안한다. 새롭게 도입한 PCR(Pathology Composed Retrieval) 벤치마크에서 2B 파라미터의 경량 HOMIE 변형이 특화된 7B 병리 MLLM과 듀얼 인코더를 크게 상회하는 성능을 달성했다.
검색된 웹 텍스트로 대규모 언어 모델(LLM)을 보강하는 방식이 지배적인 패러다임이 되었으나, 웹은 본질적으로 텍스트 기반이 아니다. 기존 시스템들은 HTML을 선형화하고 레이아웃, 시각적 구조, 서식을 제거하는 복잡한 파싱 파이프라인에 의존한다. 우리는 웹사이트를 원래의 시각적 형태로 표현하고 픽셀 공간에서 검색과 읽기를 완전히 수행하는 새로운 검색-증강 방법인 PixelRAG를 소개한다. 이는 텍스트 추상화를 제거하는 엔드-투-엔드 아키텍처를 구현한다. PixelRAG는 우리가 아는 한, 이러한 형태로 전체 Wikipedia 코퍼스를 대상으로 동작하는 최초의 파이프라인으로, 효율적인 시각적 검색 인덱스를 통해 3천만 개의 스크린샷 이미지로 구성된 데이터스토어로 확장된다. 기존 시각적 임베딩 모델(Qwen3-VL-Embedding)을 기반으로, PixelRAG는 신중하게 선별된 대조 학습 데이터를 활용하여 스크린샷 데이터에 대해 이 모델을 추가 파인튜닝한다. 검색된 스크린샷은 중간 텍스트 변환 없이 픽셀 입력으로 직접 비전-언어 모델(VLM)에 공급된다. PixelRAG는 검색 미사용 기준선과 텍스트 기반 RAG 기준선 모두를 일관되게 능가하며, 가장 놀랍게도 NQ 및 SimpleQA와 같이 널리 연구된 텍스트 중심 과제에서도 마찬가지이다. 또한 멀티모달 오픈 도메인 질의응답(MMSearch), 노이즈가 있는 뉴스 코퍼스 벤치마크(LiveVQA), 에이전틱 벤치마크(MoNaCo)에서도 강력한 성능 향상을 달성하며, 텍스트 기반 기준선 대비 최대 18.1% 정확도 향상을 이룬다. 마지막으로, 픽셀 표현은 이미지 압축을 통해 RAG에 새로운 효율성 수단을 제공하며, 정확도를 유지하면서 낮은 해상도에서 최대 3배의 토큰 비용 절감을 달성한다. 우리의 결과는 웹 검색에서 텍스트 표현의 필요성에 의문을 제기하며, 웹 RAG가 성능과 효율성 모두를 향상시키면서 웹의 본래 시각적 형태에서 직접 동작할 수 있음을 시사한다.
어휘 기반, 의미 기반, 멀티모달 접근 방식을 포함한 다양한 검색기는 멀티모달 문서 이해에 있어 상호 보완적인 강점을 제공하지만, 대부분의 시스템은 개별 추론 단계의 요구에 적응할 수 없는 고정된 파이프라인을 통해 이들을 결합한다. 본 연구에서는 검색 오케스트레이션 자체를 추론 과정의 일부로 학습할 수 있는지를 묻는다. 우리는 메타 에이전트가 다단계 문서 질의응답 과정에서 도구를 사용하는 태스크 에이전트가 다양한 검색기를 어떻게 조율해야 하는지를 자율적으로 탐색하는 실패 기반 진화 프레임워크를 제안한다. 메타 에이전트는 잘못된 추론 궤적을 분석하고, 동일한 도구 환경을 능동적으로 탐색하여 근본 원인을 진단하며, 태스크 에이전트의 지침을 반복적으로 재작성함으로써 검색을 고정된 전처리 단계에서 적응적이고 단계적인 추론 결정으로 전환한다. 진화된 에이전트는 각 검색기를 언제 호출할지, 이들을 어떻게 결합할지, 그리고 여러 모달리티와 페이지에 걸쳐 증거를 어떻게 구성할지를 학습한다. MMLongBench-Doc과 DocBench에서 진화된 에이전트는 진화되지 않은 기준선 대비 최대 +19.6포인트의 성능 향상을 달성하며, MACT, MDocAgent, SimpleDoc을 포함한 최신 시스템들을 일관되게 능가한다. 상세한 검색 분석을 통해 이러한 개선이 고정된 검색 방식에 대한 의존이 아닌 적응적 라우팅과 증거 구성에서 비롯됨을 확인하였으며, 진화 역학은 좁은 어휘 기반 동작에서 풍부한 다중 도구 조율로의 점진적 전환을 보여준다. 이러한 결과는 자율적 다중 에이전트 조율이 멀티모달 문서 추론을 위한 유망한 패러다임임을 확립한다.
Semantic search and recommendation of similar documents, such as news and reports about unusual environmental events (e.g., a dead whale washed ashore in Alaska) that contain spatial and temporal information, is a critical task in Geographic Information Retrieval (GIR). This work presents a novel framework that leverages AI foundation models, including Large Language Models (LLMs) and Vision-Language Models (VLMs), to enable effective similarity search and ranking for such event documents. To support this goal, we introduce two new strategies: (1) CAMERA (Context-Aware Multimodal Event Retrieval Algorithm), which fuses textual and visual information to generate richer embeddings than those derived from text alone; and (2) ASTRA (Adaptive Spatial and Temporal Re-ranking Algorithm), which improves similarity ranking by incorporating scale-dependent spatiotemporal relevance alongside semantic similarity. Experimental results, using a dataset from the Local Environmental Observer Network, demonstrate that our VLM-enhanced methods outperform unimodal, LLM-based approaches in similarity ranking effectiveness. By automatically linking relevant event reports, the proposed framework helps both data curators and the general public gain deeper insights into environmental change and its localized impacts. These findings highlight the potential of AI foundation models to advance GIR through multifaceted, intelligent analysis that integrates key geographic concepts: space, time, scale, and semantics.
자동화된 이미지 검색은 현대 법의학 분석에서 점점 더 중요한 역할을 하며, 시각적 증거의 효율적 비교에 의존하는 수사 워크플로를 지원한다. 기존 연구는 주로 멀티모달 검색 시스템을 개발하고 최적화하는 데 집중해 왔지만, 다양한 실제 시나리오에서 이러한 기술의 법의학적 적용 가능성을 평가하는 데는 제한적인 관심이 기울여졌다. 본 연구에서는 네 가지 핵심 법의학 작업에 맞춘 통합 검색 프레임워크를 제시한다: (1) 문신 쿼리 이미지를 주어진 문신 이미지 검색; (2) 인간 전문가의 텍스트 설명으로 안내되는 문신 검색—목격자가 문신을 구두로 설명하는 흔한 상황을 모델링함; (3) 손으로 그린 스케치로부터의 문신 검색; (4) 법의학적 얼굴 스케치로부터의 얼굴 검색. 우리 시스템은 멀티모달 대규모 언어 모델(MLLM)을 활용하여 모든 쿼리와 갤러리 이미지에 대한 구조화된 텍스트 설명을 자동 생성하고, 이어서 텍스트 기반 비교를 위해 sentence-transformer 임베딩을 사용한다. 우리는 시각 전용 임베딩, 텍스트 전용 임베딩, 그리고 각 작업에 관련된 최신 시각 특징 추출기에서 도출된 텍스트 및 이미지 기반 유사도 점수를 결합하는 멀티모달 융합 전략을 사용하여 검색을 평가한다. 모달리티 융합은 특히 시각 정보가 제한적이거나 노이즈가 많은 시나리오(예: 스케치, 부분적 문신, 또는 단편적인 목격자 진술)에서 검색 정밀도와 견고성을 일관되게 향상시킨다. 본 연구는 통합 멀티모달 검색 파이프라인의 법의학적 가치를 강조하고, 현대 MLLM이 전통적으로 수동 전문가 분석에 의존해 왔던 어려운 법의학 작업을 어떻게 운영 가능하게 만들 수 있는지 보여준다. 우리 결과는 멀티모달 검색을 문신, 얼굴 합성화, 목격자 설명과 관련된 수사 워크플로를 지원하는 유망한 도구로 자리매김한다.