Progressive Domain-Independent Feature Decomposition Network for Zero-Shot Sketch-Based Image Retrieval
원문 초록
Zero-shot sketch-based image retrieval (ZS-SBIR) is a specific cross-modal retrieval task for searching natural images given free-hand sketches under the zero-shot scenario. Most existing methods solve this problem by simultaneously projecting visual features and semantic supervision into a low-dimensional common space for efficient retrieval. However, such low-dimensional projection destroys the completeness of semantic knowledge in original semantic space, so that it is unable to transfer useful knowledge well when learning semantic from different modalities. Moreover, the domain information and semantic information are entangled in visual features, which is not conducive for cross-modal matching since it will hinder the reduction of domain gap between sketch and image. In this paper, we propose a Progressive Domain-independent Feature Decomposition (PDFD) network for ZS-SBIR. Specifically, with the supervision of original semantic knowledge, PDFD decomposes visual features into domain features and semantic ones, and then the semantic features are projected into common space as retrieval features for ZS-SBIR. The progressive projection strategy maintains strong semantic supervision. Besides, to guarantee the retrieval features to capture clean and complete semantic information, the cross-reconstruction loss is introduced to encourage that any combinations of retrieval features and domain features can reconstruct the visual features. Extensive experiments demonstrate the superiority of our PDFD over state-of-the-art competitors.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DSCH-Loss: 심층 의미 해싱을 위한 동적 의미 채널 목적 함수
DSCH-Loss: A Dynamic Semantic Channel Objective for Deep Semantic Hashing
고차원 데이터 공간에서 효율적인 근사 최근접 이웃 검색을 가능하게 하는 짧은 이진 해시 코드를 생성하는 의미 해싱 방법은 최근 몇 년간 광범위한 관심을 받아왔다. 심층 학습 기반 방법은 수동 특징 공학에 의존하는 전통적 접근법보다 더 나은 의미 포착 능력을 제공한다. 또한 이들은 다양한 데이터 모달리티에 걸친 의미 해싱에 대한 데이터 기반 접근을 가능하게 하며, 공유 해밍 공간 내에서 고품질 교차 모달 해시 코드를 생성한다. 이전 연구는 이 해밍 공간의 특성을 조사하고, 고정된 폭과 레이블 유사도에서 유도된 해밍 거리를 갖는 미리 정의된 소위 의미 채널에 기반한 손실 함수를 도입했다. 그러나 이러한 공식화는 손실 경관에 불연속성을 도입하기도 하여 최적화를 복잡하게 만들었다. 이러한 관찰에 기반하여, 우리는 손실 경관의 불연속성을 피하기 위해 동적으로 크기와 위치가 조정되는 의미 채널을 사용하는 새로 설계된 손실 함수인 동적 의미 채널 해싱(DSCH)을 제안한다. 또한, 해시 코드 거리의 이산성에서 발생하는 샘플 검색 순서의 모호성을 해결하기 때문에 tie-aware 평균 정밀도(mAP)를 평가 지표로 사용할 것을 권장한다. 마지막으로, 두 개의 인기 있는 데이터셋에서 수행되고 두 가지 서로 다른 모델 아키텍처를 포함하는 다양한 실험 설정은 DSCH 목적 함수를 사용한 학습이 다른 최신 손실 함수를 사용한 학습보다 우수함을 강력히 뒷받침한다. 총 40개의 교차 모달 및 모달 내 검색 작업 중 35개에서, DSCH로 학습된 모델은 테스트된 네 가지 해시 코드 길이 전반에 걸쳐 유의미하게 더 높은 tie-aware mAP 점수를 달성하며, 모델 아키텍처와 사용된 데이터셋 전반에 걸쳐 설득력 있는 결과를 보여준다. mAP 점수 향상은 일관되며, 각각의 2위 대비 최대 1.75퍼센트포인트에 이른다.
AMBER: 목록형 비전-언어 재순위화를 위한 다중 뷰 적응형 예산 할당
AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking
비전-언어 모델(VLM)은 멀티모달 검색을 위한 강력한 목록형(listwise) 재순위화 모델이지만, 높은 추론(inference) 비용으로 인해 작은 규모의 로컬 후보 뷰만 평가하도록 제한됩니다. 기존의 다중 호출 전략은 고정된 스케줄에 의존하므로 정보량이 적은 후보 쌍과 쉬운 쿼리에 값비싼 VLM 호출을 낭비합니다. 이를 해결하기 위해, 전역 자원 할당을 동적으로 최적화하는 온라인 예산 기반 다중 뷰 재순위화 프레임워크인 AMBER(Adaptive Multi-view Budgeted Elo Reranking)를 제안합니다. AMBER는 단편화된 목록형 VLM 출력을 로컬 토너먼트로 취급하고, 연속적인 Elo 업데이트를 사용하여 가벼운 전역 순위 상태를 유지합니다. 이를 바탕으로 두 가지 수준에서 계산을 할당합니다. 즉, 점수 모호성이 높은 후보 뷰를 동적으로 구성하고, 기대 정보 이득을 극대화하도록 쿼리를 스케줄링합니다. 우리는 각 Elo 업데이트가 Bradley-Terry 로그 가능도(likelihood)에 대한 확률적 그래디언트(gradient) 상승 단계에 해당함을 보이고, 쿼리 수준 할당 전략에 대한 서브모듈러(submodular) 정보이론적 근거를 제시합니다. CIRR, CIRCO 및 PhotoBench에 대한 실험을 통해 AMBER가 유사한 VLM 호출 예산 내에서 비교 대상 다중 호출 VLM 재순위화 방식 중 가장 뛰어난 종합적 성능을 달성하는 동시에, 더 적은 예산 설정에서도 효과적임을 입증합니다. 저희 코드는 https://github.com/wnlfc/AMBER 에서 공개적으로 이용할 수 있습니다.
AVSD-Scenes: 도시 장면의 오디오-비주얼 묘사를 위한 데이터셋
AVSD-Scenes: A Dataset for Audio-Visual Description of Urban Scenes
자연어 묘사는 오디오-비주얼(audio-visual) 도시 장면에 대한 풍부한 의미론적 표현을 제공할 수 있으나, 청각 및 시각 정보를 공동으로 묘사하는 데이터셋은 여전히 제한적입니다. 본 논문에서는 도시 환경을 위한 쌍을 이루는 오디오-비주얼 장면 묘사 데이터셋인 AVSD-Scenes를 소개합니다. 이 데이터셋은 TAU Urban Audio-Visual Scenes 데이터셋으로부터 생성된 12,291개의 오디오-비주얼 장면 묘사를 포함합니다. 데이터셋 구축을 위해, 먼저 Qwen2-Audio-7B와 Qwen2.5-VL-7B를 각각 사용하여 오디오 및 시각 기반 묘사를 생성합니다. 그런 다음 이러한 모달리티별 묘사를 대규모 언어 모델(LLM), 구체적으로 Qwen3-14B, Mistral-Small-3.2-24B-Instruct-2506, Gemma-3-27B-it을 활용하여 결합함으로써 두 모달리티의 상호보완적 정보를 포착하는 멀티모달 묘사를 생성합니다. 우리는 의미론적 정렬(semantic alignment), 크로스모달 검색(cross-modal retrieval), 장면 분류(scene classification), LLM-as-a-judge 평가, 인간 주관적 평가를 사용하여 AVSD-Scenes를 벤치마크합니다. 실험 결과, 멀티모달 묘사는 강력한 장면 식별 정보를 보존하면서도 모달리티별 묘사에 비해 의미론적 정렬 및 크로스모달 검색 성능을 향상시키는 것으로 나타났습니다. 생성된 묘사는 도시 장면 분류에서 최대 94.5%의 정확도를 달성하며, 오디오, 시각, 묘사 임베딩을 결합할 경우 정확도가 95.4%까지 추가로 향상됩니다. 나아가 프롬프트 지시사항에서 장면 레이블을 제거하더라도 묘사는 높은 장면 식별력을 유지하는데, 이는 묘사가 단순히 레이블 정보를 반영하기보다는 오디오-비주얼 콘텐츠로부터 파생된 의미론적 정보를 포착함을 보여줍니다.
Omni-Embed-Mini: 조밀 증류를 통해 망각 없이 모달리티를 결합하기
Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation
텍스트 임베딩 모델을 새로운 모달리티로 확장하는 것은 일반적으로 텍스트 검색 품질을 저하시키며, 기존의 옴니모달(omni-modal) 임베더들은 수십억 개의 매개변수로 이를 보완합니다. 본 논문에서는 텍스트 측 매개변수를 전혀 업데이트하지 않고도 텍스트, 음성, 오디오, 이미지, 비디오, 시각적으로 풍부한 문서를 단일 공유 코사인 공간으로 매핑하는 0.9B 매개변수 모델인 Omni-Embed-Mini를 제시합니다. 우리의 핵심 통찰은 교사 신호에 별도의 임베딩 모델이 필요하지 않다는 점입니다. 즉, 각 미디어 샘플은 조밀한 연쇄 캡션(dense cascaded caption)과 쌍을 이루며, 교사 목표는 동결된 백본 자체의 해당 캡션 임베딩일 뿐입니다. 교사와 학생이 동일한 백본 가중치를 공유하므로 이들은 바이트 단위로 동일한 기하학적 구조를 가지며, 정렬에는 모달리티 인코더의 경량 프로젝터와 단계별 LoRA 어댑터만으로 충분합니다. 학습은 Matryoshka SigLIP 대조 손실과 인코더가 향상됨에 따라 하드 네거티브가 정교해지는 온라인 하이브리드 하드 네거티브 마이너(hard-negative miner)를 결합합니다. 이 레시피는 네이티브 비전-언어 백본으로 교체함으로써 2.3B 변형 모델로도 확장됩니다. Omni-Embed-Mini-0.9B는 백본과 비트 단위로 동일한 텍스트 가중치를 유지하므로 학습으로 인해 텍스트 검색 성능이 저하될 수 없으며(MTEB-v2 BEIR-8에서 49.57 nDCG@10), 동시에 5개의 추가 모달리티로 확장되고 비교 대상인 모든 공개 옴니 임베더보다 약 2.7배에서 9.5배 더 작습니다. 2.3B 변형 모델은 비공개 모델인 gemini-embedding-2와 경쟁력이 있으며, 전체 모달리티 평균에서 이를 근소하게 앞섭니다. 모델, 코드, 데이터 및 평가 하네스는 프로젝트 페이지(https://omniembed.cvmbzuai.com)에서 확인할 수 있습니다.
MINER: 고정 이중 인코더를 이용한 희귀 객체 검색을 위한 다중 크롭 추론 시 강화
MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders
고정 이중 인코더를 사용한 텍스트-이미지 검색은, 쿼리가 어수선한 장면 속에서 작고 시각적으로 부차적인 객체를 가리킬 때 성능이 저하된다. 단일 전역 이미지 임베딩은 국소적인 시각적 증거를 과소하게 표현한다. 본 논문은 MINER를 제안한다. MINER는 추가 학습 없이 동작하는 추론 프레임워크로, 고정 이중 인코더의 전역 이미지 임베딩을 소규모 영역 수준 임베딩 뱅크와 hubness 보정 유사도 재점수화로 보강하여, 전역 풀링이 과소 가중하는 시각적 증거를 되살린다. 이 설정을 평가하기 위해 Flickr30K와 MS COCO의 고혼잡도 부분집합으로 구성하고, 각 이미지를 단일 저현저성(low-salience) 객체를 지칭하도록 재캡션한 벤치마크 ROCS를 도입한다. CLIP, SigLIP, SigLIP 2에 대한 실험에서 MINER는 ROCS와 표준 split 모두에서 모든 백본에서 검색 성능을 향상시킨다. 분석 결과 이러한 이득은 정밀한 crop 배치보다 주로 더 넓은 공간적 커버리지에서 기인하며, 고정 표현에서 국소적 증거를 회복하는 단순하고 일반적인 방법을 보여준다. Code: https://github.com/aalquwayfili/MINER. Dataset: https://huggingface.co/datasets/aalquwayfili/ROCS.
다중모달 대규모 언어 모델을 활용한 의료 영상 해석을 위한 표현 유도 문맥 내 학습
Representation-guided in-context learning for medical image interpretation with multimodal large language models
의료 영상 해석은 진단과 치료의 핵심이지만, 범용 다중모달 대규모 언어 모델(MLLM)을 적용하려면 종종 자원 집약적인 도메인 특화 미세조정(fine-tuning)이 필요하다. 본 연구에서는 작업 특화 매개변수 업데이트 없이 고정된 인코더를 사용하여 질의와 정렬된 예시를 검색하는 학습(training) 불필요 추론(inference) 프레임워크인 표현 유도 문맥 내 학습(RG-ICL)을 소개한다. 조직병리학, 방사선학, 망막 안저검사를 아우르는 8개 데이터셋에 걸쳐, RG-ICL은 문맥이 없는 경우 및 기존 문맥 내 학습(ICL) 대비 분류(평균 20%포인트 향상)와 시각적 질의응답(VQA)(평균 13%포인트 향상) 성능을 개선하여 학습 기반 비교 대상에 근접하거나 이를 능가했다. 몇 개의 사례를 검색했는지보다 어떤 사례를 검색했는지가 더 중요했다. 질의와 정렬된 6개의 사례가 무작위로 선택된 최대 32개의 사례보다 우수한 성능을 보인 반면, 고정되거나 무작위인 사례는 종종 정확도를 기준선(baseline) 이하로 떨어뜨렸다. VQA의 경우 참조 사례를 영상 콘텐츠와 질문 의도 모두에 정렬했을 때 추가적인 성능 향상이 나타났다. 이러한 결과는 의료 영상 해석에서 MLLM에 제시할 참조 사례를 선별하는 것이 모델을 재학습시키는 실용적인 대안임을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.