Image2Sentence based Asymmetrical Zero-shot Composed Image Retrieval
원문 초록
The task of composed image retrieval (CIR) aims to retrieve images based on the query image and the text describing the users' intent. Existing methods have made great progress with the advanced large vision-language (VL) model in CIR task, however, they generally suffer from two main issues: lack of labeled triplets for model training and difficulty of deployment on resource-restricted environments when deploying the large vision-language model. To tackle the above problems, we propose Image2Sentence based Asymmetric zero-shot composed image retrieval (ISA), which takes advantage of the VL model and only relies on unlabeled images for composition learning. In the framework, we propose a new adaptive token learner that maps an image to a sentence in the word embedding space of VL model. The sentence adaptively captures discriminative visual information and is further integrated with the text modifier. An asymmetric structure is devised for flexible deployment, in which the lightweight model is adopted for the query side while the large VL model is deployed on the gallery side. The global contrastive distillation and the local alignment regularization are adopted for the alignment between the light model and the VL model for CIR task. Our experiments demonstrate that the proposed ISA could better cope with the real retrieval scenarios and further improve retrieval accuracy and efficiency.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Hierarchical Gumbel Attention Network for Text-based Person Search
역사는 반복된다: 선형 어텐션에서 롱컨텍스트 능력 발현하기
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
선형 어텐션(linear attention)은 롱컨텍스트(long-context) 언어 모델링에 필요한 효율성을 제공하지만, 크기가 고정된 순환 상태(recurrent state)가 지속적인 연산을 지원하는 동시에 계속 증가하는 과거 정보를 보존해야만 합니다. 이러한 결합은 상태의 메모리 용량이 모델의 롱컨텍스트 능력을 규정한다는 지배적인 관점을 강화해 왔습니다. 본 연구에서는 순환 연산이 장기 저장의 모든 부담을 짊어질 필요가 없다는 점을 들어 이러한 한계성에 의문을 제기합니다. 우리는 미래의 쿼리를 알 수 없는 상태에서 선별된 텍스트를 보관하고, 백본의 고유 특징을 활용하여 기록 및 주소 지정을 수행하며, 리플레이(replay)를 통해 고유의 순전파 연산으로 검색된 근거를 읽어오는 희소 에피소딕 메모리인 NoteBank를 소개합니다. 이 학습 불필요(training-free) 플러그 앤 플레이(plug-and-play) 인터페이스는 외부 임베딩 모델이나 별도로 학습된 검색기, 독립된 신경망 리더(neural reader)를 필요로 하지 않습니다. 100만 토큰 환경에서, 이는 Gated DeltaNet의 6개 RULER 검색 태스크 평균 정확도를 1.7%에서 70.3%로 향상시켰으며, 4K에서 1M 토큰까지 유의미한 검색 성능 저하가 관찰되지 않았습니다. 이러한 성능 회복 과정에서 추가되는 이론적 FLOPs는 0.025% 이하($\leqslant$0.025%)에 불과하며, 영구 컨텍스트 저장 공간은 동일한 너비, 깊이 및 정밀도 조건의 트랜스포머 전체 MHA KV 캐시 대비 약 1/2,600 수준입니다. 실험은 세 가지 1.3B 순환 백본부터 Mamba-2-8B 및 사후학습(post-training)을 거친 Qwen3.5-9B까지 확장되어 LongBench v1/v2와 MemoryAgentBench 전반에서 성능 향상을 입증했습니다. 종합적으로 이러한 결과는 희소 근거 저장과 고유 리플레이 메커니즘이 순환 연산의 효율성을 유지하면서도 사전학습된 선형 어텐션 모델의 롱컨텍스트 역량을 크게 확장할 수 있음을 보여줍니다.
AMBER: 목록형 비전-언어 재순위화를 위한 다중 뷰 적응형 예산 할당
AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking
비전-언어 모델(VLM)은 멀티모달 검색을 위한 강력한 목록형(listwise) 재순위화 모델이지만, 높은 추론(inference) 비용으로 인해 작은 규모의 로컬 후보 뷰만 평가하도록 제한됩니다. 기존의 다중 호출 전략은 고정된 스케줄에 의존하므로 정보량이 적은 후보 쌍과 쉬운 쿼리에 값비싼 VLM 호출을 낭비합니다. 이를 해결하기 위해, 전역 자원 할당을 동적으로 최적화하는 온라인 예산 기반 다중 뷰 재순위화 프레임워크인 AMBER(Adaptive Multi-view Budgeted Elo Reranking)를 제안합니다. AMBER는 단편화된 목록형 VLM 출력을 로컬 토너먼트로 취급하고, 연속적인 Elo 업데이트를 사용하여 가벼운 전역 순위 상태를 유지합니다. 이를 바탕으로 두 가지 수준에서 계산을 할당합니다. 즉, 점수 모호성이 높은 후보 뷰를 동적으로 구성하고, 기대 정보 이득을 극대화하도록 쿼리를 스케줄링합니다. 우리는 각 Elo 업데이트가 Bradley-Terry 로그 가능도(likelihood)에 대한 확률적 그래디언트(gradient) 상승 단계에 해당함을 보이고, 쿼리 수준 할당 전략에 대한 서브모듈러(submodular) 정보이론적 근거를 제시합니다. CIRR, CIRCO 및 PhotoBench에 대한 실험을 통해 AMBER가 유사한 VLM 호출 예산 내에서 비교 대상 다중 호출 VLM 재순위화 방식 중 가장 뛰어난 종합적 성능을 달성하는 동시에, 더 적은 예산 설정에서도 효과적임을 입증합니다. 저희 코드는 https://github.com/wnlfc/AMBER 에서 공개적으로 이용할 수 있습니다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
MINER: 고정 이중 인코더를 이용한 희귀 객체 검색을 위한 다중 크롭 추론 시 강화
MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders
고정 이중 인코더를 사용한 텍스트-이미지 검색은, 쿼리가 어수선한 장면 속에서 작고 시각적으로 부차적인 객체를 가리킬 때 성능이 저하된다. 단일 전역 이미지 임베딩은 국소적인 시각적 증거를 과소하게 표현한다. 본 논문은 MINER를 제안한다. MINER는 추가 학습 없이 동작하는 추론 프레임워크로, 고정 이중 인코더의 전역 이미지 임베딩을 소규모 영역 수준 임베딩 뱅크와 hubness 보정 유사도 재점수화로 보강하여, 전역 풀링이 과소 가중하는 시각적 증거를 되살린다. 이 설정을 평가하기 위해 Flickr30K와 MS COCO의 고혼잡도 부분집합으로 구성하고, 각 이미지를 단일 저현저성(low-salience) 객체를 지칭하도록 재캡션한 벤치마크 ROCS를 도입한다. CLIP, SigLIP, SigLIP 2에 대한 실험에서 MINER는 ROCS와 표준 split 모두에서 모든 백본에서 검색 성능을 향상시킨다. 분석 결과 이러한 이득은 정밀한 crop 배치보다 주로 더 넓은 공간적 커버리지에서 기인하며, 고정 표현에서 국소적 증거를 회복하는 단순하고 일반적인 방법을 보여준다. Code: https://github.com/aalquwayfili/MINER. Dataset: https://huggingface.co/datasets/aalquwayfili/ROCS.
텍스트를 통한 서로소 테이블의 발견 기반 통합
Discovery-Driven Integration of Disjoint Tables via Text
데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.