arXiv:2307.09177

Intuitive Access to Smartphone Settings Using Relevance Model Trained by Contrastive Learning

Joonyoung Kim, Kangwook Lee, Haebin Shin, Hurnjoo Lee, Sechun Kang, Byunguk Choi, Dong Shin, Joohyung Lee

제출 2023-07-15

원문 초록

The more new features that are being added to smartphones, the harder it becomes for users to find them. This is because the feature names are usually short, and there are just too many to remember. In such a case, the users may want to ask contextual queries that describe the features they are looking for, but the standard term frequency-based search cannot process them. This paper presents a novel retrieval system for mobile features that accepts intuitive and contextual search queries. We trained a relevance model via contrastive learning from a pre-trained language model to perceive the contextual relevance between query embeddings and indexed mobile features. Also, to make it run efficiently on-device using minimal resources, we applied knowledge distillation to compress the model without degrading much performance. To verify the feasibility of our method, we collected test queries and conducted comparative experiments with the currently deployed search baselines. The results show that our system outperforms the others on contextual sentence queries and even on usual keyword-based queries.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02148v1cs.CV공통 태그 Retrieval, Knowledge Distillation, Contrastive Learning

Omni-Embed-Mini: 조밀 증류를 통해 망각 없이 모달리티를 결합하기

Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation

텍스트 임베딩 모델을 새로운 모달리티로 확장하는 것은 일반적으로 텍스트 검색 품질을 저하시키며, 기존의 옴니모달(omni-modal) 임베더들은 수십억 개의 매개변수로 이를 보완합니다. 본 논문에서는 텍스트 측 매개변수를 전혀 업데이트하지 않고도 텍스트, 음성, 오디오, 이미지, 비디오, 시각적으로 풍부한 문서를 단일 공유 코사인 공간으로 매핑하는 0.9B 매개변수 모델인 Omni-Embed-Mini를 제시합니다. 우리의 핵심 통찰은 교사 신호에 별도의 임베딩 모델이 필요하지 않다는 점입니다. 즉, 각 미디어 샘플은 조밀한 연쇄 캡션(dense cascaded caption)과 쌍을 이루며, 교사 목표는 동결된 백본 자체의 해당 캡션 임베딩일 뿐입니다. 교사와 학생이 동일한 백본 가중치를 공유하므로 이들은 바이트 단위로 동일한 기하학적 구조를 가지며, 정렬에는 모달리티 인코더의 경량 프로젝터와 단계별 LoRA 어댑터만으로 충분합니다. 학습은 Matryoshka SigLIP 대조 손실과 인코더가 향상됨에 따라 하드 네거티브가 정교해지는 온라인 하이브리드 하드 네거티브 마이너(hard-negative miner)를 결합합니다. 이 레시피는 네이티브 비전-언어 백본으로 교체함으로써 2.3B 변형 모델로도 확장됩니다. Omni-Embed-Mini-0.9B는 백본과 비트 단위로 동일한 텍스트 가중치를 유지하므로 학습으로 인해 텍스트 검색 성능이 저하될 수 없으며(MTEB-v2 BEIR-8에서 49.57 nDCG@10), 동시에 5개의 추가 모달리티로 확장되고 비교 대상인 모든 공개 옴니 임베더보다 약 2.7배에서 9.5배 더 작습니다. 2.3B 변형 모델은 비공개 모델인 gemini-embedding-2와 경쟁력이 있으며, 전체 모달리티 평균에서 이를 근소하게 앞섭니다. 모델, 코드, 데이터 및 평가 하네스는 프로젝트 페이지(https://omniembed.cvmbzuai.com)에서 확인할 수 있습니다.

arXiv:2610.15715v1cs.AI공통 태그 Retrieval, Language Modelling

역사는 반복된다: 선형 어텐션에서 롱컨텍스트 능력 발현하기

History Replays Itself: Unleashing Long-Context Capability in Linear Attention

선형 어텐션(linear attention)은 롱컨텍스트(long-context) 언어 모델링에 필요한 효율성을 제공하지만, 크기가 고정된 순환 상태(recurrent state)가 지속적인 연산을 지원하는 동시에 계속 증가하는 과거 정보를 보존해야만 합니다. 이러한 결합은 상태의 메모리 용량이 모델의 롱컨텍스트 능력을 규정한다는 지배적인 관점을 강화해 왔습니다. 본 연구에서는 순환 연산이 장기 저장의 모든 부담을 짊어질 필요가 없다는 점을 들어 이러한 한계성에 의문을 제기합니다. 우리는 미래의 쿼리를 알 수 없는 상태에서 선별된 텍스트를 보관하고, 백본의 고유 특징을 활용하여 기록 및 주소 지정을 수행하며, 리플레이(replay)를 통해 고유의 순전파 연산으로 검색된 근거를 읽어오는 희소 에피소딕 메모리인 NoteBank를 소개합니다. 이 학습 불필요(training-free) 플러그 앤 플레이(plug-and-play) 인터페이스는 외부 임베딩 모델이나 별도로 학습된 검색기, 독립된 신경망 리더(neural reader)를 필요로 하지 않습니다. 100만 토큰 환경에서, 이는 Gated DeltaNet의 6개 RULER 검색 태스크 평균 정확도를 1.7%에서 70.3%로 향상시켰으며, 4K에서 1M 토큰까지 유의미한 검색 성능 저하가 관찰되지 않았습니다. 이러한 성능 회복 과정에서 추가되는 이론적 FLOPs는 0.025% 이하($\leqslant$0.025%)에 불과하며, 영구 컨텍스트 저장 공간은 동일한 너비, 깊이 및 정밀도 조건의 트랜스포머 전체 MHA KV 캐시 대비 약 1/2,600 수준입니다. 실험은 세 가지 1.3B 순환 백본부터 Mamba-2-8B 및 사후학습(post-training)을 거친 Qwen3.5-9B까지 확장되어 LongBench v1/v2와 MemoryAgentBench 전반에서 성능 향상을 입증했습니다. 종합적으로 이러한 결과는 희소 근거 저장과 고유 리플레이 메커니즘이 순환 연산의 효율성을 유지하면서도 사전학습된 선형 어텐션 모델의 롱컨텍스트 역량을 크게 확장할 수 있음을 보여줍니다.

arXiv:2610.15997v1cs.LG공통 태그 Knowledge Distillation, Contrastive Learning

표현 차이 증류

Representational Difference Distillation

지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.

arXiv:2610.13536v1stat.ML공통 태그 Language Modelling, Knowledge Distillation

증류의 어둠의 기술에 대한 방어: 서브리미널 학습(subliminal learning)의 비지도 발견

Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning

언어 모델(language model)이 기본 매개변수(parameter)를 공유하는 교사 모델로부터 증류(distillation)될 때, 학생 모델은 해당 특성과 의미적으로 무관한 데이터로부터도 교사 모델의 행동적 특성---정렬 실패(misalignment)를 포함하여---을 물려받을 수 있다(Cloud et al., 2026). 기존의 모든 방어 기법은 해당 특성을 미리 알아야 한다는 조건을 요구한다. 본 연구는 이러한 요구 조건을 제거하고, 서브리미널하게 전이된 특성이 단 하나의 비대칭성을 활용함으로써 감독(supervision) 없이 매개변수 업데이트만으로도 복원될 수 있음을 증명한다: 그 특성은 교사 모델이 생성한 다양한 데이터셋(dataset) 전반에서 일관되게 나타나는 반면, 과제별 능력과 공유 능력은 데이터셋마다 달라진다. 이로부터 도출되는 추정량(estimator)은 가중치(weight) 공간상의 방향을 반환하며, 이를 증폭하여 해당 특성을 발견하고 해석할 수도 있고, 투영 제거(project out)하여 그 특성의 발현을 억제할 수도 있다. (Cloud et al., 2026)의 서브리미널 학습 벤치마크(benchmark)에 적용한 결과, 본 방법은 특성 레이블(label) 없이도 전이된 동물 선호(animal-preference) 특성을 복원하며, 과제 성능에는 거의 영향을 주지 않으면서 그 발현을 억제한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.