arXiv:2609.24152v1 cs.IR

대규모 이커머스 시각 검색을 위한 등급별 관련성 합성 멀티모달 검색

Graded-Relevance Composed Multimodal Retrieval for E-commerce Visual Search at Scale

Anubhav Gupta, Hrushikesh Mohapatra, Prijith Chandra, Asish Mohapatra, Anuj Garg, Arvind Maan, Sudip Datta, Venkat Bulusu, Sitesh Kumar Jalan

제출 2026-09-22

한국어 초록

대규모 이커머스 카탈로그에서의 시각 검색은 업로드된 이미지와 유사한 상품을 요구하는 "유사성(similarity)" 쿼리와, 원하는 수정(예: 색상 변경, 스타일 교체)을 설명하는 텍스트와 이미지로 이루어진 "수식어(modifier)" 쿼리를 모두 처리해야 한다. 후자는 합성 이미지 검색(composed image retrieval, CIR)으로 알려진 설정이다. 그러나 기존 CIR 방법은 관련성을 이진으로 취급하고 단일 positive target을 갖는 triplet으로 학습하는데, 이는 실제 카탈로그에서 많은 후보가 사용자 쿼리를 부분적으로 만족하고 그 부분 일치 스펙트럼에 걸친 순위화가 고객 경험을 좌우하는 현실에 잘 맞지 않는다. 우리는 등급별 관련성(graded relevance) 위에서 CIR 검색기를 학습하는 방법론을 제안하며, 이는 (i) VLM을 이용해 학습 데이터를 큐레이션하고, 객체 검출과 수식어 합성으로 쿼리를 생성하며 수동 주석 없이 4단계 관련성 라벨을 만드는 것, (ii) 학습 중인 검색기로부터 hard negative를 마이닝하여 학습 집합을 확장하는 반복적 관련성 피드백 루프, (iii) 등급 라벨을 이진 분할로 축소하지 않고 직접 학습하기 위한 계층 인식(hierarchy-aware) 각도 목적 함수로 구성된다. 이 방법론을 GradCIR라 부르며, 원시 Walmart 카탈로그 데이터에서 큐레이션한 350만 개의 등급별 쌍으로 학습한 PaliGemma2 bi-encoder에 구현했다. 등급 대 이진에 대한 통제된 ablation이 감독 세분성을 분리하여 NDCG@10에서 4.9%-5.9% 향상을 보여준다. 동일한 레시피를 다른 멀티모달 인코더에 적용하면 early-fusion 백본에서 NDCG@10이 최대 8.5%까지 향상된다. 공개 FashionIQ 벤치마크에서 GradCIR(PaliGemma2에 적용, 파인튜닝)은 평균 재현율 0.6703에 도달하여, 우리가 비교한 동료 심사 최강 감독 기준선보다 약간 앞서며, 발표된 모든 CLIP-L급 제로샷 CIR 방법과 동등하거나 그 이상이다. 이 시스템은 Walmart 프로덕션에 배포되어 라이브 시각 검색 사용자 트래픽을 처리하고 있다.

원문 초록

Visual search on large e-commerce catalogs must serve both "similarity" queries that ask for items resembling an uploaded image and "modifier" queries that comprise an image and text describing a desired modification (e.g. a color change or style swap). The latter is the setting known as composed image retrieval (CIR). Existing CIR methods, however, treat relevance as binary and train on triplets with a single positive target - a poor fit for real catalogs where many candidates partially satisfy a user query and ranking across that partial-match spectrum drives the customer experience. We propose a methodology for training CIR retrievers on graded relevance, consisting of: (i) a VLM to curate training data, generating both queries (object detection + modifier synthesis) and 4-level relevance labels without manual annotation, (ii) an iterative relevance-feedback loop that expands the training set by mining hard negatives from the in-training retriever, and (iii) a hierarchy-aware angular objective to train the retriever directly on the graded labels rather than collapsing them to a binary split. We call this methodology GradCIR and instantiate it on a PaliGemma2 bi-encoder trained on 3.5M graded pairs curated from raw Walmart catalog data. A controlled graded-vs-binary ablation isolates the supervision granularity and shows lift of 4.9%-5.9% in NDCG@10. The same recipe applied to other multimodal encoders lifts early-fusion backbones by up to 8.5% NDCG@10. On the public FashionIQ benchmark, GradCIR (applied to PaliGemma2) reaches 0.6703 average recall when fine-tuned, slightly ahead of the strongest peer-reviewed supervised baseline we compare against, and matching or exceeding all published CLIP-L-class zero-shot CIR methods. The system is deployed in production at Walmart, where it's serving live visual-search user traffic.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.24152v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27142v1cs.CV공통 태그 Metric Learning, Image Retrieval, Contrastive Learning

MINER: 고정 이중 인코더를 이용한 희귀 객체 검색을 위한 다중 크롭 추론 시 강화

MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders

고정 이중 인코더를 사용한 텍스트-이미지 검색은, 쿼리가 어수선한 장면 속에서 작고 시각적으로 부차적인 객체를 가리킬 때 성능이 저하된다. 단일 전역 이미지 임베딩은 국소적인 시각적 증거를 과소하게 표현한다. 본 논문은 MINER를 제안한다. MINER는 추가 학습 없이 동작하는 추론 프레임워크로, 고정 이중 인코더의 전역 이미지 임베딩을 소규모 영역 수준 임베딩 뱅크와 hubness 보정 유사도 재점수화로 보강하여, 전역 풀링이 과소 가중하는 시각적 증거를 되살린다. 이 설정을 평가하기 위해 Flickr30K와 MS COCO의 고혼잡도 부분집합으로 구성하고, 각 이미지를 단일 저현저성(low-salience) 객체를 지칭하도록 재캡션한 벤치마크 ROCS를 도입한다. CLIP, SigLIP, SigLIP 2에 대한 실험에서 MINER는 ROCS와 표준 split 모두에서 모든 백본에서 검색 성능을 향상시킨다. 분석 결과 이러한 이득은 정밀한 crop 배치보다 주로 더 넓은 공간적 커버리지에서 기인하며, 고정 표현에서 국소적 증거를 회복하는 단순하고 일반적인 방법을 보여준다. Code: https://github.com/aalquwayfili/MINER. Dataset: https://huggingface.co/datasets/aalquwayfili/ROCS.

arXiv:2610.13889v1cs.AI공통 태그 Information Retrieval, Contrastive Learning

RATED: 실행 역학을 통한 신뢰성 인식 AI 에이전트 도구 검색

RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics

AI 에이전트(agent)의 외부 도구 의존도가 높아짐에 따라, 신뢰할 수 있는 동작을 위해서는 정확한 도구 검색이 필수적입니다. 기존 방식들은 의미적 관련성을 최적화하지만 실행 중 도구의 가용성은 대체로 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 강건한 의미적 매칭과 동적 신뢰성 적응을 결합한 검색 프레임워크인 RATED(Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미적 매칭을 위해 대조 미세조정(contrastive fine-tuning)이 적용된 고정된(frozen) 듀얼 인코더를 사용하며, 실시간 실행 피드백을 기반으로 후보군을 재순위화하는 경량 맥락적 밴딧(contextual bandit) 모듈을 사용합니다. 이러한 설계를 통해 모델의 값비싼 재학습 없이도 런타임 도구 실패에 신속하게 적응할 수 있습니다. 또한 오프라인 검색 및 동적 신뢰성 평가를 위해 5,172개의 실제 도구와 210,000개 이상의 쿼리-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과에 따르면, RATED는 실제 쿼리에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR 향상을 달성하고, 30%의 실패율을 보이는 심각한 API 장애 시나리오에서 오류 선택률을 86.2%에서 2.9%로 낮추는 동시에 인코딩 전용 추론(inference) 대비 1ms 미만의 미미한 지연 시간 오버헤드만을 발생시킵니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent 에서 확인할 수 있습니다.

arXiv:2609.38743v2cs.AI공통 태그 Image Retrieval, Information Retrieval

다단계 임베딩 검색을 통한 시각적 공간에서의 경로 탐색 학습

Learning to Route in Visual Space via Multi-Step Embedding Retrieval

대규모 언어 모델(LLM) 에이전트는 외부 지식에 접근하기 위해 검색 도구에 의존하지만, 시각적 에이전트 탐색은 여전히 표준 단일 단계 검색기로 인해 심각한 병목 현상을 겪고 있습니다. 현재의 파이프라인에서는 에이전트가 모든 중간 단계마다 텍스트 쿼리를 생성해야 하므로, 시각적 단서를 설명하기 어렵거나 검색기가 상위 결과 내에 필요한 중간 증거를 제시하지 못할 때 어려움을 겪습니다. 본 논문에서는 전체 임베딩 공간에 걸친 다단계 탐색을 검색 도구로 직접 위임함으로써 이러한 성능 병목 현상을 해결할 수 있다는 가설을 세웁니다. 이를 체계적으로 연구하기 위해 시각적 매칭과 검색 계획을 모두 테스트하는 5가지 핵심 난이도를 갖춘 유연한 데이터 생성 프레임워크이자 벤치마크인 VHOP을 소개합니다. 이 프레임워크를 바탕으로 지도 미세조정(supervised fine-tuning), 온라인 모방 학습, 강화학습을 결합하여 표준 임베딩 모델을 자기회귀적 다단계 검색기로 변환하는 엔드투엔드 학습 파이프라인인 VHOP-Router를 개발했습니다. 시각적 잠재 공간(latent space)에서 직접 동작하는 VHOP-Router는 에이전트가 중간 텍스트 쿼리를 작성할 필요 없이 단 한 번의 도구 호출로 연결된 이미지 체인을 검색합니다. 실험 결과에 따르면 VHOP-Router는 검색 성능을 5% 미만에서 76.3%로 크게 향상시킵니다. 에이전트 탐색에서 작업 성공률을 52.7% 향상시키고 평균 토큰 길이를 1886개에서 728개로 61% 감소시킨 반면, 에이전트 자체를 업그레이드했을 때는 3.7%의 성능 향상에 그쳤습니다. 에이전트가 단계마다 상위 50개 결과를 검색하는 강력한 기준선과 비교했을 때, VHOP-Router는 문맥 내(in-context) 이미지를 23배 줄이고 누적 API 페이로드를 35배 절감하면서도 우수한 성능을 유지합니다. 또한 이 모델들은 학습 시 보지 못한 난이도와 실제 테스트 세트에서도 견고한 일반화 성능을 보입니다. 궁극적으로 VHOP과 VHOP-Router는 고유한 LLM 기능을 완전히 온전하게 유지하면서 시각적 에이전트 탐색을 위한 효율적이고 효과적인 솔루션을 제공합니다.

arXiv:2610.02831v1cs.AI공통 태그 Image Retrieval, Information Retrieval

AMBER: 목록형 비전-언어 재순위화를 위한 다중 뷰 적응형 예산 할당

AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking

비전-언어 모델(VLM)은 멀티모달 검색을 위한 강력한 목록형(listwise) 재순위화 모델이지만, 높은 추론(inference) 비용으로 인해 작은 규모의 로컬 후보 뷰만 평가하도록 제한됩니다. 기존의 다중 호출 전략은 고정된 스케줄에 의존하므로 정보량이 적은 후보 쌍과 쉬운 쿼리에 값비싼 VLM 호출을 낭비합니다. 이를 해결하기 위해, 전역 자원 할당을 동적으로 최적화하는 온라인 예산 기반 다중 뷰 재순위화 프레임워크인 AMBER(Adaptive Multi-view Budgeted Elo Reranking)를 제안합니다. AMBER는 단편화된 목록형 VLM 출력을 로컬 토너먼트로 취급하고, 연속적인 Elo 업데이트를 사용하여 가벼운 전역 순위 상태를 유지합니다. 이를 바탕으로 두 가지 수준에서 계산을 할당합니다. 즉, 점수 모호성이 높은 후보 뷰를 동적으로 구성하고, 기대 정보 이득을 극대화하도록 쿼리를 스케줄링합니다. 우리는 각 Elo 업데이트가 Bradley-Terry 로그 가능도(likelihood)에 대한 확률적 그래디언트(gradient) 상승 단계에 해당함을 보이고, 쿼리 수준 할당 전략에 대한 서브모듈러(submodular) 정보이론적 근거를 제시합니다. CIRR, CIRCO 및 PhotoBench에 대한 실험을 통해 AMBER가 유사한 VLM 호출 예산 내에서 비교 대상 다중 호출 VLM 재순위화 방식 중 가장 뛰어난 종합적 성능을 달성하는 동시에, 더 적은 예산 설정에서도 효과적임을 입증합니다. 저희 코드는 https://github.com/wnlfc/AMBER 에서 공개적으로 이용할 수 있습니다.

arXiv:2609.24031v2cs.CV공통 태그 Object Detection, Contrastive Learning

Video-STLayout 사전학습

Video-STLayout Pre-training

최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.

arXiv:2609.28290v1cs.CL공통 태그 Metric Learning, Information Retrieval

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.