arXiv:2406.18836

Zero-shot Composed Image Retrieval Considering Query-target Relationship Leveraging Masked Image-text Pairs

Huaying Zhang, rintaro yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama

제출 2024-06-27

원문 초록

This paper proposes a novel zero-shot composed image retrieval (CIR) method considering the query-target relationship by masked image-text pairs. The objective of CIR is to retrieve the target image using a query image and a query text. Existing methods use a textual inversion network to convert the query image into a pseudo word to compose the image and text and use a pre-trained visual-language model to realize the retrieval. However, they do not consider the query-target relationship to train the textual inversion network to acquire information for retrieval. In this paper, we propose a novel zero-shot CIR method that is trained end-to-end using masked image-text pairs. By exploiting the abundant image-text pairs that are convenient to obtain with a masking strategy for learning the query-target relationship, it is expected that accurate zero-shot CIR using a retrieval-focused textual inversion network can be realized. Experimental results show the effectiveness of the proposed method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15715v1cs.AI공통 태그 Retrieval, Language Modelling

역사는 반복된다: 선형 어텐션에서 롱컨텍스트 능력 발현하기

History Replays Itself: Unleashing Long-Context Capability in Linear Attention

선형 어텐션(linear attention)은 롱컨텍스트(long-context) 언어 모델링에 필요한 효율성을 제공하지만, 크기가 고정된 순환 상태(recurrent state)가 지속적인 연산을 지원하는 동시에 계속 증가하는 과거 정보를 보존해야만 합니다. 이러한 결합은 상태의 메모리 용량이 모델의 롱컨텍스트 능력을 규정한다는 지배적인 관점을 강화해 왔습니다. 본 연구에서는 순환 연산이 장기 저장의 모든 부담을 짊어질 필요가 없다는 점을 들어 이러한 한계성에 의문을 제기합니다. 우리는 미래의 쿼리를 알 수 없는 상태에서 선별된 텍스트를 보관하고, 백본의 고유 특징을 활용하여 기록 및 주소 지정을 수행하며, 리플레이(replay)를 통해 고유의 순전파 연산으로 검색된 근거를 읽어오는 희소 에피소딕 메모리인 NoteBank를 소개합니다. 이 학습 불필요(training-free) 플러그 앤 플레이(plug-and-play) 인터페이스는 외부 임베딩 모델이나 별도로 학습된 검색기, 독립된 신경망 리더(neural reader)를 필요로 하지 않습니다. 100만 토큰 환경에서, 이는 Gated DeltaNet의 6개 RULER 검색 태스크 평균 정확도를 1.7%에서 70.3%로 향상시켰으며, 4K에서 1M 토큰까지 유의미한 검색 성능 저하가 관찰되지 않았습니다. 이러한 성능 회복 과정에서 추가되는 이론적 FLOPs는 0.025% 이하($\leqslant$0.025%)에 불과하며, 영구 컨텍스트 저장 공간은 동일한 너비, 깊이 및 정밀도 조건의 트랜스포머 전체 MHA KV 캐시 대비 약 1/2,600 수준입니다. 실험은 세 가지 1.3B 순환 백본부터 Mamba-2-8B 및 사후학습(post-training)을 거친 Qwen3.5-9B까지 확장되어 LongBench v1/v2와 MemoryAgentBench 전반에서 성능 향상을 입증했습니다. 종합적으로 이러한 결과는 희소 근거 저장과 고유 리플레이 메커니즘이 순환 연산의 효율성을 유지하면서도 사전학습된 선형 어텐션 모델의 롱컨텍스트 역량을 크게 확장할 수 있음을 보여줍니다.

arXiv:2610.02831v1cs.AI공통 태그 Retrieval, Image Retrieval

AMBER: 목록형 비전-언어 재순위화를 위한 다중 뷰 적응형 예산 할당

AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking

비전-언어 모델(VLM)은 멀티모달 검색을 위한 강력한 목록형(listwise) 재순위화 모델이지만, 높은 추론(inference) 비용으로 인해 작은 규모의 로컬 후보 뷰만 평가하도록 제한됩니다. 기존의 다중 호출 전략은 고정된 스케줄에 의존하므로 정보량이 적은 후보 쌍과 쉬운 쿼리에 값비싼 VLM 호출을 낭비합니다. 이를 해결하기 위해, 전역 자원 할당을 동적으로 최적화하는 온라인 예산 기반 다중 뷰 재순위화 프레임워크인 AMBER(Adaptive Multi-view Budgeted Elo Reranking)를 제안합니다. AMBER는 단편화된 목록형 VLM 출력을 로컬 토너먼트로 취급하고, 연속적인 Elo 업데이트를 사용하여 가벼운 전역 순위 상태를 유지합니다. 이를 바탕으로 두 가지 수준에서 계산을 할당합니다. 즉, 점수 모호성이 높은 후보 뷰를 동적으로 구성하고, 기대 정보 이득을 극대화하도록 쿼리를 스케줄링합니다. 우리는 각 Elo 업데이트가 Bradley-Terry 로그 가능도(likelihood)에 대한 확률적 그래디언트(gradient) 상승 단계에 해당함을 보이고, 쿼리 수준 할당 전략에 대한 서브모듈러(submodular) 정보이론적 근거를 제시합니다. CIRR, CIRCO 및 PhotoBench에 대한 실험을 통해 AMBER가 유사한 VLM 호출 예산 내에서 비교 대상 다중 호출 VLM 재순위화 방식 중 가장 뛰어난 종합적 성능을 달성하는 동시에, 더 적은 예산 설정에서도 효과적임을 입증합니다. 저희 코드는 https://github.com/wnlfc/AMBER 에서 공개적으로 이용할 수 있습니다.

arXiv:2609.27590v1cs.CL공통 태그 Retrieval, Language Modeling

MWE-ECL: 복원 가능한 장거리 문맥이 국소적 어휘 사전확률을 항상 무시하지는 않는다

MWE-ECL: Recoverable Long-Range Context Does Not Always Override Local Lexical Priors

장문맥(long-context) 평가는 흔히 모델이 원거리 증거를 복원할 수 있는지를 테스트하지만, 복원 가능성이 행동적 영향을 보장하지는 않습니다. 본 연구에서는 원거리 담화 앵커가 명시적으로 복원 가능하더라도 익숙한 다의어 표현(multiword expression)의 국소적으로 선호되는 해석을 변경하는 데 실패할 수 있다는 예측을 검증합니다. 이러한 실패는 모델의 앵커 없는 기본값(no-anchor default)이 앵커와 충돌할 때 집중적으로 나타나는 반면, 사전확률에 부합하는 올바른(prior-correct) 결정은 대체로 유지되어야 합니다. 우리는 짝지어진 앵커 검색, 앵커 없는 사전확률, 해석 프롬프트가 각각 명시적 복원 가능성, 모델 관측 기본값, 앵커 조건부 결정을 측정하는 이중언어 진단 도구인 MWE-ECL(Multiword Expression Effective Context Length)을 제안합니다. 공유된 0-128K 그리드 상의 8개 영어 배포 패널 전반에서, 사전확률 충돌 항목에 대한 검색 통제 정확도는 0.989-1.000, 사전확률 충돌 재정의(override)는 0.806-1.000(올바른 검색을 조건부로 한 경우 0.809-1.000), 사전확률 부합 결정의 보존율은 0.977-1.000으로 유지됩니다. 단일 프롬프트에서 검색과 해석을 질의하는 단일 호출(same-call) 대조군은 DeepSeek V4 Pro에 대해 격차(1.000 검색 대비 0.900-0.920 해석)를 재현하여, 개별 호출이 이러한 격차의 유일한 설명이 아님을 보여주며, 다른 두 모델에서 나타난 더 작거나 없는 격차는 그 일반성의 범위를 한정합니다. DeepSeek V4 Flash의 경우, 개별 프롬프트 적합도 테스트에서 512K 및 1M에서 완벽한 검색 능력을 유지하면서도 낮은 해석 능력을 보인 반면, 오답 유도 단서(foil-consistent cues)는 검색보다 앵커 없는 사전확률을 훨씬 더 크게 변화시켰으며, 모델 간 단서 효과는 이질적이었습니다. 별도로 보고된 10개 계열의 중국어 하위 집합도 유사한 기술적 격차를 보이지만, 일부 모델의 불완전한 검색 능력으로 인해 이를 오로지 통합(integration) 문제만으로 귀인하는 것은 어렵습니다. 따라서 MWE-ECL은 명시적으로 복원 가능한 원거리 문맥이 경쟁적인 국소 의미 결정을 변화시키는지 여부를 평가합니다.

arXiv:2609.27142v1cs.CV공통 태그 Retrieval, Image Retrieval

MINER: 고정 이중 인코더를 이용한 희귀 객체 검색을 위한 다중 크롭 추론 시 강화

MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders

고정 이중 인코더를 사용한 텍스트-이미지 검색은, 쿼리가 어수선한 장면 속에서 작고 시각적으로 부차적인 객체를 가리킬 때 성능이 저하된다. 단일 전역 이미지 임베딩은 국소적인 시각적 증거를 과소하게 표현한다. 본 논문은 MINER를 제안한다. MINER는 추가 학습 없이 동작하는 추론 프레임워크로, 고정 이중 인코더의 전역 이미지 임베딩을 소규모 영역 수준 임베딩 뱅크와 hubness 보정 유사도 재점수화로 보강하여, 전역 풀링이 과소 가중하는 시각적 증거를 되살린다. 이 설정을 평가하기 위해 Flickr30K와 MS COCO의 고혼잡도 부분집합으로 구성하고, 각 이미지를 단일 저현저성(low-salience) 객체를 지칭하도록 재캡션한 벤치마크 ROCS를 도입한다. CLIP, SigLIP, SigLIP 2에 대한 실험에서 MINER는 ROCS와 표준 split 모두에서 모든 백본에서 검색 성능을 향상시킨다. 분석 결과 이러한 이득은 정밀한 crop 배치보다 주로 더 넓은 공간적 커버리지에서 기인하며, 고정 표현에서 국소적 증거를 회복하는 단순하고 일반적인 방법을 보여준다. Code: https://github.com/aalquwayfili/MINER. Dataset: https://huggingface.co/datasets/aalquwayfili/ROCS.

arXiv:2609.25853v1cs.CL공통 태그 Retrieval, Language Modeling

MemoryAthena: 잠재 및 생성 메모리에 대한 적응형 라우팅

MemoryAthena: Adaptive Routing over Latent and Generated Memories

학습된 메모리(learned-memory) 방법은 정보를 명시적 테이블에 저장하고 별도의 리더(reader)를 통해 소비하여 addressing, storage, reading을 서로 독립적으로 수정할 수 있게 한다. 우리는 유용한 메모리가 검색만이 아니라 생성될 수 있는지도 연구한다. MemoryAthena는 세 경로를 사용한다: 직접 Engram 검색(E), 검색된 Engram 단서로부터의 생성(GE), 메모리 테이블을 참조하지 않고 인과적 백본(backbone) 상태로부터의 생성(GH). 생성된 메모리는 조건부로 유용하다: 한 맥락에서는 E를 보완할 수 있지만 다른 맥락에서는 방해할 수 있다. 따라서 MemoryAthena는 E를 앵커(anchor)로 두고 생성 표현이 언제 개입해야 하는지 학습한다. 백본, 메모리, 생성기, 리더를 고정(frozen)한 상태에서, 경량 인과적 라우팅 헤드(routing head)는 E 대비 GE와 GH의 반사실적(counterfactual) 미래 토큰 가능도 이점(advantage)으로부터 학습된다. 추론 시 허용된(admitted) 후보는 유계(bounded) 보간(interpolation)을 통해 E 잔차(residual)를 수정하고, 거부(rejection) 시 직접 경로를 정확히 복구한다. 질의응답(question answering)에서 MemoryAthena는 동일 체크포인트의 직접 경로 대비 5개 과제 평균을 37.65에서 39.28로 높이며, 6개 과제 general-NLP 평균은 76.73에서 79.13으로 증가한다. 완전한 메모리 측 시스템은 고정된 백본을 제외하고 약 201M 파라미터를 포함한다. 추가 분석은 과제와 입력에 걸쳐 E, GE, GH 간의 상보적 강점을 보여 준다. 이러한 결과는 생성 메모리가 직접 검색에 대한 선택적 교정(selective correction)임을 뒷받침하고, 언제·어떤 것을·얼마나 강하게 개입할지에 대한 라우팅을 핵심 과제로 부각한다.

arXiv:2609.26368v1cs.CL공통 태그 Retrieval, Language Modeling

HySparse2: 이단계 KV 공유 하이브리드 희소 어텐션

HySparse2: Hybrid Sparse Attention with Two-Level KV Sharing

장기 지평 및 다중 턴 에이전트는 일반적으로 짧은 액션을 생성하고 도구와 환경으로부터 긴 관측을 처리한다. 이렇게 늘어나는 컨텍스트는 효율적인 prefill, 컴팩트한 KV-cache 저장, 정확한 장문맥 검색을 요구한다. 이를 충족하기 위해 이단계 KV 공유를 갖는 하이브리드 희소 어텐션 아키텍처 HySparse2를 제안한다. 외부 수준에서 KV Bridging은 YOCO 스타일의 self-decoder와 cross-decoder 구조를 채택하되, full-attention 레이어만 연결한다. self-decoder는 하이브리드 슬라이딩 윈도우 어텐션(SWA)을, cross-decoder는 하이브리드 희소 어텐션을 사용한다. cross-decoder의 full-attention 레이어용 KV cache는 self-decoder의 full-attention 레이어 은닉 상태에서 생성된다. 내부 수준에서 HySparse2는 HySparse의 핵심 KV Reuse 설계를 유지하면서 두 가지를 개선한다. 첫째, 더 세밀한 장문맥 검색을 위해 블록 수준 희소성을 토큰 수준 희소성으로 바꾼다. 둘째, 희소 레이어의 별도 SWA 분기를 제거하고, 대신 최근 토큰의 슬라이딩 윈도우를 희소 선택에 반드시 포함시킨다. 이 이단계 KV 공유로 cross-decoder의 모든 KV cache를 self-decoder 은닉 상태만으로 구성할 수 있다. 따라서 prefill은 self-decoder 이후 종료되어 cross-decoder 레이어 전체를 건너뛸 수 있다. 80B-A3B MoE 모델에서 HySparse2는 장문맥 검색과 다중 턴 에이전틱 태스크에서 HySparse 및 Hybrid SWA보다 우수하며, prefill 연산과 KV-cache 저장을 크게 줄인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.