arXiv:2202.06212

Uni-Retriever: Towards Learning The Unified Embedding Based Retriever in Bing Sponsored Search

Jianjin Zhang, Zheng Liu, Weihao Han, Shitao Xiao, Ruicheng Zheng, Yingxia Shao, Hao Sun, Hanqing Zhu, Premkumar Srinivasan, Denvy Deng, Qi Zhang, Xing Xie

제출 2022-02-13

원문 초록

Embedding based retrieval (EBR) is a fundamental building block in many web applications. However, EBR in sponsored search is distinguished from other generic scenarios and technically challenging due to the need of serving multiple retrieval purposes: firstly, it has to retrieve high-relevance ads, which may exactly serve user's search intent; secondly, it needs to retrieve high-CTR ads so as to maximize the overall user clicks. In this paper, we present a novel representation learning framework Uni-Retriever developed for Bing Search, which unifies two different training modes knowledge distillation and contrastive learning to realize both required objectives. On one hand, the capability of making high-relevance retrieval is established by distilling knowledge from the ``relevance teacher model''. On the other hand, the capability of making high-CTR retrieval is optimized by learning to discriminate user's clicked ads from the entire corpus. The two training modes are jointly performed as a multi-objective learning process, such that the ads of high relevance and CTR can be favored by the generated embeddings. Besides the learning strategy, we also elaborate our solution for EBR serving pipeline built upon the substantially optimized DiskANN, where massive-scale EBR can be performed with competitive time and memory efficiency, and accomplished in high-quality. We make comprehensive offline and online experiments to evaluate the proposed techniques, whose findings may provide useful insights for the future development of EBR systems. Uni-Retriever has been mainstreamed as the major retrieval path in Bing's production thanks to the notable improvements on the representation and EBR serving quality.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02148v1cs.CV공통 태그 Retrieval, Representation Learning, Knowledge Distillation, Contrastive Learning

Omni-Embed-Mini: 조밀 증류를 통해 망각 없이 모달리티를 결합하기

Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation

텍스트 임베딩 모델을 새로운 모달리티로 확장하는 것은 일반적으로 텍스트 검색 품질을 저하시키며, 기존의 옴니모달(omni-modal) 임베더들은 수십억 개의 매개변수로 이를 보완합니다. 본 논문에서는 텍스트 측 매개변수를 전혀 업데이트하지 않고도 텍스트, 음성, 오디오, 이미지, 비디오, 시각적으로 풍부한 문서를 단일 공유 코사인 공간으로 매핑하는 0.9B 매개변수 모델인 Omni-Embed-Mini를 제시합니다. 우리의 핵심 통찰은 교사 신호에 별도의 임베딩 모델이 필요하지 않다는 점입니다. 즉, 각 미디어 샘플은 조밀한 연쇄 캡션(dense cascaded caption)과 쌍을 이루며, 교사 목표는 동결된 백본 자체의 해당 캡션 임베딩일 뿐입니다. 교사와 학생이 동일한 백본 가중치를 공유하므로 이들은 바이트 단위로 동일한 기하학적 구조를 가지며, 정렬에는 모달리티 인코더의 경량 프로젝터와 단계별 LoRA 어댑터만으로 충분합니다. 학습은 Matryoshka SigLIP 대조 손실과 인코더가 향상됨에 따라 하드 네거티브가 정교해지는 온라인 하이브리드 하드 네거티브 마이너(hard-negative miner)를 결합합니다. 이 레시피는 네이티브 비전-언어 백본으로 교체함으로써 2.3B 변형 모델로도 확장됩니다. Omni-Embed-Mini-0.9B는 백본과 비트 단위로 동일한 텍스트 가중치를 유지하므로 학습으로 인해 텍스트 검색 성능이 저하될 수 없으며(MTEB-v2 BEIR-8에서 49.57 nDCG@10), 동시에 5개의 추가 모달리티로 확장되고 비교 대상인 모든 공개 옴니 임베더보다 약 2.7배에서 9.5배 더 작습니다. 2.3B 변형 모델은 비공개 모델인 gemini-embedding-2와 경쟁력이 있으며, 전체 모달리티 평균에서 이를 근소하게 앞섭니다. 모델, 코드, 데이터 및 평가 하네스는 프로젝트 페이지(https://omniembed.cvmbzuai.com)에서 확인할 수 있습니다.

arXiv:2610.15997v1cs.LG공통 태그 Representation Learning, Knowledge Distillation, Contrastive Learning

표현 차이 증류

Representational Difference Distillation

지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.

arXiv:2610.13818v1cs.LG공통 태그 Retrieval, Representation Learning, Contrastive Learning

TabMF: 정형 데이터 파운데이션 모델을 활용한 데이터셋 표현 학습

TabMF: Learning Dataset Representations with Tabular Foundation Models

지도학습 데이터셋의 표현(representation)은 데이터셋 검색 및 분포 변화(distribution shift) 모니터링과 같은 상위 수준의 머신러닝 작업을 지원합니다. 그러나 기존 접근 방식은 일반적으로 수작업으로 설계된 메타 피처나 표현 학습만을 위해 특별히 학습된 데이터셋 인코더에 의존합니다. 본 논문에서는 사전학습된 정형 데이터 파운데이션 모델(TFM)을 지도학습 데이터셋의 인코더로 재활용하는 프레임워크인 TabMF를 소개합니다. TabMF는 예측형 TFM에 구조를 고려한 데이터셋 수준의 리드아웃(readout)을 장착하고, 합성 지도학습 데이터셋의 확률적 뷰(stochastic view)에 대한 대조 사후 학습(contrastive post-training)을 사용하여 모델을 엔드투엔드로 적응시킵니다. TabICLv2 및 TabPFN-2.5에 TabMF를 적용하고, 미확인 실제 데이터셋을 대상으로 6개 작업에 걸쳐 도출된 표현을 평가합니다. 가중치를 고정한(frozen) 단순 TFM 리드아웃만으로도 경쟁력 있는 표현이 생성되며, 이는 예측 사전학습이 이미 상당한 수준의 데이터셋 차원 구조를 유도함을 시사합니다. 두 가지 TabMF 인코더는 평가된 학습 기반 및 고전적 데이터셋 표현 중 가장 강력한 종합 성능을 달성했으며, 특히 데이터셋 검색, 압축 벤치마크 구축, 분포 변화 심각도 평가에서 뛰어난 성과를 보였습니다.

arXiv:2610.03632v1cs.CV공통 태그 Retrieval, Representation Learning, Contrastive Learning

월드 임베딩 벤치마크

World Embedding Benchmark

월드 모델과 비디오 생성에서 물리적 충실도(physical fidelity)에 대한 관심이 높아지고 있으나, 비디오 표현이 물리적 정보를 어떻게 인코딩하는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 유체역학, 고체역학, 동역학, 광학 및 전자기학에 걸친 80개 계열의 8,000개 제어 시뮬레이션 케이스로 구성된 월드 임베딩 벤치마크(World Embedding Benchmark)를 소개합니다. 각 케이스는 렌더링된 비디오와 시뮬레이션 기반 물리 어노테이션이 쌍을 이루며, 텍스트-비디오 검색, 물리적 특성 회귀, 다지선다형 비디오-설명 쌍 분류라는 세 가지 상호보완적 태스크를 지원합니다. 본 연구는 이러한 태스크를 활용하여 교차 모달 물리 정렬과 정량적 물리 정보의 복원 가능성을 구분하여 분석합니다. 사전학습된 옴니모달 임베딩 모델들을 평가한 결과, 검색 성능이 낮고 동일 계열 내 쌍 분류는 무작위 추정 수준에 가까웠으나, 경량 프로브는 동결된 비디오 임베딩으로부터 유용한 물리 정보를 복원해 냈습니다. 물리 특화 비디오-텍스트 쌍을 활용한 지속적 대조 학습(continual contrastive training)은 검색과 쌍 분류 성능을 향상시켰지만 물리적 특성 회귀 성능을 저하시켜, 정렬과 정량적 정보 복원 가능성 간의 트레이드오프를 드러냈습니다. 마지막으로, 해당 임베딩을 활용해 MiniMax-H3 기반 검색-증강 생성(RAG)을 위한 참조 비디오를 검색했습니다. 검색된 참조 비디오는 생성된 비디오의 물리적 충실도를 향상시켰으며, 본 실험에서 더 우수한 검색 모델일수록 더 큰 향상을 보였습니다. 종합적으로 이러한 결과는 물리적 정렬과 특성 복원 가능성을 함께 평가해야 할 필요성을 강조하며, 비디오 생성을 개선하기 위한 물리적 표현의 유용성을 입증합니다.

arXiv:2610.13536v1stat.ML공통 태그 Representation Learning, Knowledge Distillation

증류의 어둠의 기술에 대한 방어: 서브리미널 학습(subliminal learning)의 비지도 발견

Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning

언어 모델(language model)이 기본 매개변수(parameter)를 공유하는 교사 모델로부터 증류(distillation)될 때, 학생 모델은 해당 특성과 의미적으로 무관한 데이터로부터도 교사 모델의 행동적 특성---정렬 실패(misalignment)를 포함하여---을 물려받을 수 있다(Cloud et al., 2026). 기존의 모든 방어 기법은 해당 특성을 미리 알아야 한다는 조건을 요구한다. 본 연구는 이러한 요구 조건을 제거하고, 서브리미널하게 전이된 특성이 단 하나의 비대칭성을 활용함으로써 감독(supervision) 없이 매개변수 업데이트만으로도 복원될 수 있음을 증명한다: 그 특성은 교사 모델이 생성한 다양한 데이터셋(dataset) 전반에서 일관되게 나타나는 반면, 과제별 능력과 공유 능력은 데이터셋마다 달라진다. 이로부터 도출되는 추정량(estimator)은 가중치(weight) 공간상의 방향을 반환하며, 이를 증폭하여 해당 특성을 발견하고 해석할 수도 있고, 투영 제거(project out)하여 그 특성의 발현을 억제할 수도 있다. (Cloud et al., 2026)의 서브리미널 학습 벤치마크(benchmark)에 적용한 결과, 본 방법은 특성 레이블(label) 없이도 전이된 동물 선호(animal-preference) 특성을 복원하며, 과제 성능에는 거의 영향을 주지 않으면서 그 발현을 억제한다.

arXiv:2610.13578v1cs.RO공통 태그 Retrieval, Representation Learning

RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정

RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation

비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.