Anchor-aware Deep Metric Learning for Audio-visual Retrieval
원문 초록
Metric learning minimizes the gap between similar (positive) pairs of data points and increases the separation of dissimilar (negative) pairs, aiming at capturing the underlying data structure and enhancing the performance of tasks like audio-visual cross-modal retrieval (AV-CMR). Recent works employ sampling methods to select impactful data points from the embedding space during training. However, the model training fails to fully explore the space due to the scarcity of training data points, resulting in an incomplete representation of the overall positive and negative distributions. In this paper, we propose an innovative Anchor-aware Deep Metric Learning (AADML) method to address this challenge by uncovering the underlying correlations among existing data points, which enhances the quality of the shared embedding space. Specifically, our method establishes a correlation graph-based manifold structure by considering the dependencies between each sample as the anchor and its semantically similar samples. Through dynamic weighting of the correlations within this underlying manifold structure using an attention-driven mechanism, Anchor Awareness (AA) scores are obtained for each anchor. These AA scores serve as data proxies to compute relative distances in metric learning approaches. Extensive experiments conducted on two audio-visual benchmark datasets demonstrate the effectiveness of our proposed AADML method, significantly surpassing state-of-the-art models. Furthermore, we investigate the integration of AA proxies with various metric learning methods, further highlighting the efficacy of our approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DSCH-Loss: 심층 의미 해싱을 위한 동적 의미 채널 목적 함수
DSCH-Loss: A Dynamic Semantic Channel Objective for Deep Semantic Hashing
고차원 데이터 공간에서 효율적인 근사 최근접 이웃 검색을 가능하게 하는 짧은 이진 해시 코드를 생성하는 의미 해싱 방법은 최근 몇 년간 광범위한 관심을 받아왔다. 심층 학습 기반 방법은 수동 특징 공학에 의존하는 전통적 접근법보다 더 나은 의미 포착 능력을 제공한다. 또한 이들은 다양한 데이터 모달리티에 걸친 의미 해싱에 대한 데이터 기반 접근을 가능하게 하며, 공유 해밍 공간 내에서 고품질 교차 모달 해시 코드를 생성한다. 이전 연구는 이 해밍 공간의 특성을 조사하고, 고정된 폭과 레이블 유사도에서 유도된 해밍 거리를 갖는 미리 정의된 소위 의미 채널에 기반한 손실 함수를 도입했다. 그러나 이러한 공식화는 손실 경관에 불연속성을 도입하기도 하여 최적화를 복잡하게 만들었다. 이러한 관찰에 기반하여, 우리는 손실 경관의 불연속성을 피하기 위해 동적으로 크기와 위치가 조정되는 의미 채널을 사용하는 새로 설계된 손실 함수인 동적 의미 채널 해싱(DSCH)을 제안한다. 또한, 해시 코드 거리의 이산성에서 발생하는 샘플 검색 순서의 모호성을 해결하기 때문에 tie-aware 평균 정밀도(mAP)를 평가 지표로 사용할 것을 권장한다. 마지막으로, 두 개의 인기 있는 데이터셋에서 수행되고 두 가지 서로 다른 모델 아키텍처를 포함하는 다양한 실험 설정은 DSCH 목적 함수를 사용한 학습이 다른 최신 손실 함수를 사용한 학습보다 우수함을 강력히 뒷받침한다. 총 40개의 교차 모달 및 모달 내 검색 작업 중 35개에서, DSCH로 학습된 모델은 테스트된 네 가지 해시 코드 길이 전반에 걸쳐 유의미하게 더 높은 tie-aware mAP 점수를 달성하며, 모델 아키텍처와 사용된 데이터셋 전반에 걸쳐 설득력 있는 결과를 보여준다. mAP 점수 향상은 일관되며, 각각의 2위 대비 최대 1.75퍼센트포인트에 이른다.
AVSD-Scenes: 도시 장면의 오디오-비주얼 묘사를 위한 데이터셋
AVSD-Scenes: A Dataset for Audio-Visual Description of Urban Scenes
자연어 묘사는 오디오-비주얼(audio-visual) 도시 장면에 대한 풍부한 의미론적 표현을 제공할 수 있으나, 청각 및 시각 정보를 공동으로 묘사하는 데이터셋은 여전히 제한적입니다. 본 논문에서는 도시 환경을 위한 쌍을 이루는 오디오-비주얼 장면 묘사 데이터셋인 AVSD-Scenes를 소개합니다. 이 데이터셋은 TAU Urban Audio-Visual Scenes 데이터셋으로부터 생성된 12,291개의 오디오-비주얼 장면 묘사를 포함합니다. 데이터셋 구축을 위해, 먼저 Qwen2-Audio-7B와 Qwen2.5-VL-7B를 각각 사용하여 오디오 및 시각 기반 묘사를 생성합니다. 그런 다음 이러한 모달리티별 묘사를 대규모 언어 모델(LLM), 구체적으로 Qwen3-14B, Mistral-Small-3.2-24B-Instruct-2506, Gemma-3-27B-it을 활용하여 결합함으로써 두 모달리티의 상호보완적 정보를 포착하는 멀티모달 묘사를 생성합니다. 우리는 의미론적 정렬(semantic alignment), 크로스모달 검색(cross-modal retrieval), 장면 분류(scene classification), LLM-as-a-judge 평가, 인간 주관적 평가를 사용하여 AVSD-Scenes를 벤치마크합니다. 실험 결과, 멀티모달 묘사는 강력한 장면 식별 정보를 보존하면서도 모달리티별 묘사에 비해 의미론적 정렬 및 크로스모달 검색 성능을 향상시키는 것으로 나타났습니다. 생성된 묘사는 도시 장면 분류에서 최대 94.5%의 정확도를 달성하며, 오디오, 시각, 묘사 임베딩을 결합할 경우 정확도가 95.4%까지 추가로 향상됩니다. 나아가 프롬프트 지시사항에서 장면 레이블을 제거하더라도 묘사는 높은 장면 식별력을 유지하는데, 이는 묘사가 단순히 레이블 정보를 반영하기보다는 오디오-비주얼 콘텐츠로부터 파생된 의미론적 정보를 포착함을 보여줍니다.
Omni-Embed-Mini: 조밀 증류를 통해 망각 없이 모달리티를 결합하기
Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation
텍스트 임베딩 모델을 새로운 모달리티로 확장하는 것은 일반적으로 텍스트 검색 품질을 저하시키며, 기존의 옴니모달(omni-modal) 임베더들은 수십억 개의 매개변수로 이를 보완합니다. 본 논문에서는 텍스트 측 매개변수를 전혀 업데이트하지 않고도 텍스트, 음성, 오디오, 이미지, 비디오, 시각적으로 풍부한 문서를 단일 공유 코사인 공간으로 매핑하는 0.9B 매개변수 모델인 Omni-Embed-Mini를 제시합니다. 우리의 핵심 통찰은 교사 신호에 별도의 임베딩 모델이 필요하지 않다는 점입니다. 즉, 각 미디어 샘플은 조밀한 연쇄 캡션(dense cascaded caption)과 쌍을 이루며, 교사 목표는 동결된 백본 자체의 해당 캡션 임베딩일 뿐입니다. 교사와 학생이 동일한 백본 가중치를 공유하므로 이들은 바이트 단위로 동일한 기하학적 구조를 가지며, 정렬에는 모달리티 인코더의 경량 프로젝터와 단계별 LoRA 어댑터만으로 충분합니다. 학습은 Matryoshka SigLIP 대조 손실과 인코더가 향상됨에 따라 하드 네거티브가 정교해지는 온라인 하이브리드 하드 네거티브 마이너(hard-negative miner)를 결합합니다. 이 레시피는 네이티브 비전-언어 백본으로 교체함으로써 2.3B 변형 모델로도 확장됩니다. Omni-Embed-Mini-0.9B는 백본과 비트 단위로 동일한 텍스트 가중치를 유지하므로 학습으로 인해 텍스트 검색 성능이 저하될 수 없으며(MTEB-v2 BEIR-8에서 49.57 nDCG@10), 동시에 5개의 추가 모달리티로 확장되고 비교 대상인 모든 공개 옴니 임베더보다 약 2.7배에서 9.5배 더 작습니다. 2.3B 변형 모델은 비공개 모델인 gemini-embedding-2와 경쟁력이 있으며, 전체 모달리티 평균에서 이를 근소하게 앞섭니다. 모델, 코드, 데이터 및 평가 하네스는 프로젝트 페이지(https://omniembed.cvmbzuai.com)에서 확인할 수 있습니다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
MINER: 고정 이중 인코더를 이용한 희귀 객체 검색을 위한 다중 크롭 추론 시 강화
MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders
고정 이중 인코더를 사용한 텍스트-이미지 검색은, 쿼리가 어수선한 장면 속에서 작고 시각적으로 부차적인 객체를 가리킬 때 성능이 저하된다. 단일 전역 이미지 임베딩은 국소적인 시각적 증거를 과소하게 표현한다. 본 논문은 MINER를 제안한다. MINER는 추가 학습 없이 동작하는 추론 프레임워크로, 고정 이중 인코더의 전역 이미지 임베딩을 소규모 영역 수준 임베딩 뱅크와 hubness 보정 유사도 재점수화로 보강하여, 전역 풀링이 과소 가중하는 시각적 증거를 되살린다. 이 설정을 평가하기 위해 Flickr30K와 MS COCO의 고혼잡도 부분집합으로 구성하고, 각 이미지를 단일 저현저성(low-salience) 객체를 지칭하도록 재캡션한 벤치마크 ROCS를 도입한다. CLIP, SigLIP, SigLIP 2에 대한 실험에서 MINER는 ROCS와 표준 split 모두에서 모든 백본에서 검색 성능을 향상시킨다. 분석 결과 이러한 이득은 정밀한 crop 배치보다 주로 더 넓은 공간적 커버리지에서 기인하며, 고정 표현에서 국소적 증거를 회복하는 단순하고 일반적인 방법을 보여준다. Code: https://github.com/aalquwayfili/MINER. Dataset: https://huggingface.co/datasets/aalquwayfili/ROCS.
의미 기반 후보자-직무 매칭: 하이브리드 검색에서 밀집 임베딩 모델의 비교 평가
Semantic Candidate-Job Matching: A Comparative Evaluation of Dense Embedding Models in Hybrid Retrieval
본 논문은 대량 채용 워크플로에서 의미적 후보자-직무 매칭을 위한 밀집 임베딩 모델에 대한 비교 평가를 제시한다. 유입되는 직무 기술서는 LLM 기반 파싱을 통해 구조화된 영어 검색 텍스트와 언어별 키워드로 변환되며, 후보자 프로필은 의미적으로 강화된 이력서 표현으로 색인된다. 벡터 유사도와 전문(full-text) 관련성을 상호 순위 융합(RRF)으로 결합하는 통합 하이브리드 검색 파이프라인 안에서 EmbeddingGemma(base)와 Cached Multiple Negatives Ranking Loss(MNRL)로 미세조정한 EmbeddingGemma를 비교 평가하고, 배포된 직무-후보자 매칭 채점 파이프라인으로 점수를 매긴 배치 비교 평가 데이터셋에서 둘 다 MPNet 모델과 벤치마크한다. 또한 모델 개발 과정에서 검토한 대조(contrastive) 미세조정 목표의 더 넓은 집합(AnglE/CoSENT 스타일 정제 포함)을 수학적으로 상세히 기록하고, 선호 구성으로 Cached-MNRL-only 적응만 유지한 경험적 근거를 제시한다. 재현 가능한 모델 선택을 지원하기 위해 동일한 하이브리드 검색 프로토콜 하에서 표준 정보 검색 지표(재현율@K, mean reciprocal rank, nDCG)를 포함하는 더 넓은 평가 프레임워크를 정의하되, 본 논문에서 보고하는 평가에 실제로 사용한 지표는 미세조정 수렴 진단과 배포된 AI-Match 점수 및 독립적인 LLM-as-a-Judge 관련성 점수를 활용한 배치 비교 평가이며, 전체 프레임워크를 측정한 것처럼 암시하지 않고 이 범위를 명시적으로 밝힌다. 본 논문은 범용 임베딩 벤치마크와 기업 환경의 직무-후보자 매칭 제약 사이의 간극을 다루며, 현실적인 직무-후보자 검색 조건에서 임베딩 전략을 비교할 수 있는 구조화된 기반을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.