arXiv:2307.10932

Identical and Fraternal Twins: Fine-Grained Semantic Contrastive Learning of Sentence Representations

Qingfa Xiao, Shuangyin Li, Lei Chen

제출 2023-07-20

원문 초록

The enhancement of unsupervised learning of sentence representations has been significantly achieved by the utility of contrastive learning. This approach clusters the augmented positive instance with the anchor instance to create a desired embedding space. However, relying solely on the contrastive objective can result in sub-optimal outcomes due to its inability to differentiate subtle semantic variations between positive pairs. Specifically, common data augmentation techniques frequently introduce semantic distortion, leading to a semantic margin between the positive pair. While the InfoNCE loss function overlooks the semantic margin and prioritizes similarity maximization between positive pairs during training, leading to the insensitive semantic comprehension ability of the trained model. In this paper, we introduce a novel Identical and Fraternal Twins of Contrastive Learning (named IFTCL) framework, capable of simultaneously adapting to various positive pairs generated by different augmentation techniques. We propose a \textit{Twins Loss} to preserve the innate margin during training and promote the potential of data enhancement in order to overcome the sub-optimal issue. We also present proof-of-concept experiments combined with the contrastive objective to prove the validity of the proposed Twins Loss. Furthermore, we propose a hippocampus queue mechanism to restore and reuse the negative instances without additional calculation, which further enhances the efficiency and performance of the IFCL. We verify the IFCL framework on nine semantic textual similarity tasks with both English and Chinese datasets, and the experimental results show that IFCL outperforms state-of-the-art methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.24542v1cs.CL공통 태그 Sentence, Semantic Textual Similarity, Contrastive Learning

전사에서 의미 코퍼스 분석까지: 고대 언어를 위한 문장 표현의 비지도 학습

From transcription to semantic corpus analysis: unsupervised learning of sentence representations for ancient languages

자동 문자 인식(ATR, Automatic Text Recognition)은 이제 디지털 인문학에 고대 언어의 비구조적이고 이질적이며 종종 노이즈가 많은 대량의 텍스트를 제공한다. 하위 의미 분석—텍스트 재사용 식별, 정렬, 의미 검색—은 문장 임베딩에 의존하지만, 기존 방법은 고대 언어로의 전이가 잘 되지 않는다: 범용 다국어 인코더는 성능이 낮고, 특화 언어 모델은 이방성(anisotropic) 표현 공간을 만들며, 라벨이 붙은 유사도 데이터를 구할 수 없다. 우리는 원문 문장만을 사용하여 특화 토큰 수준 언어 모델을 코퍼스 특화 문장 인코더로 적응시키는 두 가지 완전 비지도 전략—TSDAE와 대조적 문장 임베딩(CSE, contrastive sentence embedding)—을 연구한다. 교부 문헌(patristic literature)에서 성경 재사용이라는 필독학적으로 핵심적인 사례(아우구스티누스, 히에로니무스, 아타나시우스의 라틴어 및 고대 그리스어 전문가 검증 병렬 구문 2,935개)에서, 우리는 재사용 식별을 두 가지 별도 평가 과제—이진 탐지와 대응 검색—로 분해하고, 적응된 인코더를 다국어, 특화, 증류, 지도 미세조정 기준선과 비교 벤치마크하며, HTR(손글씨 문자 인식) 아티팩트와 필사 약어를 시뮬레이션한 인위적 노이즈 데이터에서도 평가한다. 적응된 인코더는 두 과제 모두에서 모든 기준선을 능가하며, 상호 보완적인 특성을 보인다: TSDAE는 대규모 도메인 내 코퍼스가 주어졌을 때 탐지에서 우수하고, CSE는 검색에서 우수하며, 원시 도메인 내 문장 4–8천 개만으로 최적에 도달한다—노트북 GPU에서 수십 초의 학습—그리고 저작물과 저자에 걸쳐 전이되며, ATR 후 노이즈 텍스트에 직접 재학습할 때도 마찬가지다. UMAP 아틀라스는 각 전략의 기하학적 효과를 측정된 성능 향상과 연관 짓고, 전체 파이프라인—분할, 미세조정, 교차 코퍼스 의미 검색—은 온라인 도구 Paraphrasis를 통해 비전문가에게 제공된다.

arXiv:2609.28290v1cs.CL공통 태그 Sentence, Semantic Textual Similarity

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2609.28471v1cs.CL공통 태그 Data Augmentation, Contrastive Learning

저작자 검증을 위한 대조 학습

Contrastive Learning for Authorship Verification

우리 결과는 테스트된 설정에서 저작자 검증에 대한 분류 기반 접근법보다 대조 학습이 더 우수한 성능을 보임을 나타낸다. 손실 함수, 배치 크기, 학습 기간, 사전학습 모델, 입력 컨텍스트 길이, 무작위 텍스트 구간 데이터 증강을 모델 성능의 중요한 요인으로 확인했다. 이러한 고려사항을 바탕으로 PAN21 저작자 검증 태스크에서 98.4% 정확도를 달성하는 ModernBERT Bi-Encoder 모델을 개발했다.

arXiv:2609.26658v1cs.IR공통 태그 Sentence, Contrastive Learning

텍스트를 통한 서로소 테이블의 발견 기반 통합

Discovery-Driven Integration of Disjoint Tables via Text

데이터 레이크 내에서 이종 데이터셋(heterogeneous dataset)을 통합하는 것은 중요한 도전 과제이며, 특히 조인(join)에 필요한 명시적 속성이 결여되어 있으나 의미론적으로 연관된 테이블의 경우 더욱 그렇습니다. 본 연구에서는 통합 전에 관련 소스와 누락된 관계 구조를 먼저 발견해야 하는 발견 기반 통합(Discovery-Driven Integration)을 다룹니다. 이러한 설정에서는 비정형 텍스트가 서로 다른 분리된 테이블들을 연결하는 증거를 제공합니다. 여기서 근본적인 도전 과제는 서로 다른 테이블의 개별 행들을 특정 문장을 통해 연결하는 세밀한 수준(fine-grained level)의 관계를 발견하는 것입니다. 우리는 이 작업을 텍스트 매개 조인 경로 발견(Text-Mediated Join Path Discovery)으로 정식화하고, 테이블 행과 문장의 맥락화된 표현(contextualized representation)을 학습하는 LOKI(Latent-space Optimization for Knowledge Integration)라는 수평적 양방향 교차 어텐션(cross-attention) 아키텍처를 제안합니다. 전역 테이블-텍스트 대조 학습 목표(contrastive objective)를 통해, 명시적인 국소적 지도(local supervision) 없이도 세밀한 행-문장 간의 연관성이 창발적으로 나타납니다. 기존의 멀티모달 발견 방법들은 대체로 조잡한 수준(coarse-grained)의 열-텍스트 연관성을 검색하는 데 그치며, 통합 시스템들은 행-텍스트 링크, 스키마 또는 쿼리가 미리 제공된다고 가정합니다. 반면 LOKI는 이러한 암시적 연관성을 명시적이고 해석 가능한 조인 경로로 변환하고, 이를 관계 일관적 그룹으로 구성하며, 문장 수준의 출처(provenance)를 갖춘 타입이 지정된 통합 테이블로 구체화(materialize)합니다. 실제 벤치마크에 대한 포괄적인 평가는 LOKI가 최첨단 멀티모달 데이터 발견 접근법들을 일관되게 능가하며, 직접적인 프롬프트 방식보다 대규모 언어 모델(LLM) API 비용을 최대 40배 절감하면서도 0.982의 매크로 타입 쌍 정밀도(macro typed-pair precision)로 타입 지정 통합 테이블을 구체화함을 보여줍니다.

arXiv:2609.23307v1cs.IR공통 태그 Semantic Textual Similarity, Contrastive Learning

의미 기반 후보자-직무 매칭: 하이브리드 검색에서 밀집 임베딩 모델의 비교 평가

Semantic Candidate-Job Matching: A Comparative Evaluation of Dense Embedding Models in Hybrid Retrieval

본 논문은 대량 채용 워크플로에서 의미적 후보자-직무 매칭을 위한 밀집 임베딩 모델에 대한 비교 평가를 제시한다. 유입되는 직무 기술서는 LLM 기반 파싱을 통해 구조화된 영어 검색 텍스트와 언어별 키워드로 변환되며, 후보자 프로필은 의미적으로 강화된 이력서 표현으로 색인된다. 벡터 유사도와 전문(full-text) 관련성을 상호 순위 융합(RRF)으로 결합하는 통합 하이브리드 검색 파이프라인 안에서 EmbeddingGemma(base)와 Cached Multiple Negatives Ranking Loss(MNRL)로 미세조정한 EmbeddingGemma를 비교 평가하고, 배포된 직무-후보자 매칭 채점 파이프라인으로 점수를 매긴 배치 비교 평가 데이터셋에서 둘 다 MPNet 모델과 벤치마크한다. 또한 모델 개발 과정에서 검토한 대조(contrastive) 미세조정 목표의 더 넓은 집합(AnglE/CoSENT 스타일 정제 포함)을 수학적으로 상세히 기록하고, 선호 구성으로 Cached-MNRL-only 적응만 유지한 경험적 근거를 제시한다. 재현 가능한 모델 선택을 지원하기 위해 동일한 하이브리드 검색 프로토콜 하에서 표준 정보 검색 지표(재현율@K, mean reciprocal rank, nDCG)를 포함하는 더 넓은 평가 프레임워크를 정의하되, 본 논문에서 보고하는 평가에 실제로 사용한 지표는 미세조정 수렴 진단과 배포된 AI-Match 점수 및 독립적인 LLM-as-a-Judge 관련성 점수를 활용한 배치 비교 평가이며, 전체 프레임워크를 측정한 것처럼 암시하지 않고 이 범위를 명시적으로 밝힌다. 본 논문은 범용 임베딩 벤치마크와 기업 환경의 직무-후보자 매칭 제약 사이의 간극을 다루며, 현실적인 직무-후보자 검색 조건에서 임베딩 전략을 비교할 수 있는 구조화된 기반을 제공한다.

arXiv:2609.24125v1cs.CV공통 태그 Data Augmentation, Contrastive Learning

양성 쌍 기하학의 중요성: 시각적 표현의 대조 학습을 위한 최적 수송

Positive Pair Geometry Matters: Optimal Transport for Contrastive Learning of Visual Representations

대조 자기지도학습(contrastive self-supervised learning)은 동일한 이미지의 여러 증강된 뷰(view)로부터 표현을 학습하여 뛰어난 성능을 달성해 왔습니다. 그러나 기존의 대부분 방법들은 독립적으로 샘플링된 확률적 증강을 사용하여 양성 쌍(positive pair)을 구성하므로, 시맨틱 콘텐츠를 변형시키고 데이터 분포의 본질적인 기하학(geometry)을 무시할 수 있습니다. 본 연구에서는 기하학적으로 일관된 양성 샘플을 생성하는, 표현의 대조 학습을 위한 최적 수송(optimal transport) 인식 프레임워크인 OTCLR을 제안합니다. 무작위로 증강된 두 뷰를 직접 대조하는 대신, 엔트로피 최적 수송 변위 보간(entropic optimal-transport displacement interpolation)을 통해 원본 이미지와 증강 변형 사이의 중간 뷰들을 구성합니다. 이렇게 수송 보간된 샘플들은 공간적 분포 기하학을 명시적으로 모델링하면서 이미지 구조를 더욱 잘 보존하는 양성 뷰 역할을 합니다. 매끄러운 표현 학습을 더욱 촉진하기 위해, 수송 보간된 뷰들이 끝점 이미지들과 일관성을 유지하도록 유도하는 보조 Sinkhorn 정규화 항을 평가합니다. 제안된 방법은 인코더 아키텍처를 수정하지 않고도 표준 대조 학습 파이프라인에 통합될 수 있습니다. 여러 벤치마크 데이터셋에 대한 실험을 통해, 본 접근법이 기존 증강 기반 대조 학습 베이스라인에 비해 표현 품질과 전이학습 성능을 향상시킴을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.