arXiv:2401.16349

ConFit: Improving Resume-Job Matching using Data Augmentation and Contrastive Learning

Xiao Yu, Jinzhong Zhang, Zhou Yu

제출 2024-01-29

원문 초록

A reliable resume-job matching system helps a company find suitable candidates from a pool of resumes, and helps a job seeker find relevant jobs from a list of job posts. However, since job seekers apply only to a few jobs, interaction records in resume-job datasets are sparse. Different from many prior work that use complex modeling techniques, we tackle this sparsity problem using data augmentations and a simple contrastive learning approach. ConFit first creates an augmented resume-job dataset by paraphrasing specific sections in a resume or a job post. Then, ConFit uses contrastive learning to further increase training samples from $B$ pairs per batch to $O(B^2)$ per batch. We evaluate ConFit on two real-world datasets and find it outperforms prior methods (including BM25 and OpenAI text-ada-002) by up to 19% and 31% absolute in nDCG@10 for ranking jobs and ranking resumes, respectively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28471v1cs.CL공통 태그 Data Augmentation, Contrastive Learning

저작자 검증을 위한 대조 학습

Contrastive Learning for Authorship Verification

우리 결과는 테스트된 설정에서 저작자 검증에 대한 분류 기반 접근법보다 대조 학습이 더 우수한 성능을 보임을 나타낸다. 손실 함수, 배치 크기, 학습 기간, 사전학습 모델, 입력 컨텍스트 길이, 무작위 텍스트 구간 데이터 증강을 모델 성능의 중요한 요인으로 확인했다. 이러한 고려사항을 바탕으로 PAN21 저작자 검증 태스크에서 98.4% 정확도를 달성하는 ModernBERT Bi-Encoder 모델을 개발했다.

arXiv:2609.24125v1cs.CV공통 태그 Data Augmentation, Contrastive Learning

양성 쌍 기하학의 중요성: 시각적 표현의 대조 학습을 위한 최적 수송

Positive Pair Geometry Matters: Optimal Transport for Contrastive Learning of Visual Representations

대조 자기지도학습(contrastive self-supervised learning)은 동일한 이미지의 여러 증강된 뷰(view)로부터 표현을 학습하여 뛰어난 성능을 달성해 왔습니다. 그러나 기존의 대부분 방법들은 독립적으로 샘플링된 확률적 증강을 사용하여 양성 쌍(positive pair)을 구성하므로, 시맨틱 콘텐츠를 변형시키고 데이터 분포의 본질적인 기하학(geometry)을 무시할 수 있습니다. 본 연구에서는 기하학적으로 일관된 양성 샘플을 생성하는, 표현의 대조 학습을 위한 최적 수송(optimal transport) 인식 프레임워크인 OTCLR을 제안합니다. 무작위로 증강된 두 뷰를 직접 대조하는 대신, 엔트로피 최적 수송 변위 보간(entropic optimal-transport displacement interpolation)을 통해 원본 이미지와 증강 변형 사이의 중간 뷰들을 구성합니다. 이렇게 수송 보간된 샘플들은 공간적 분포 기하학을 명시적으로 모델링하면서 이미지 구조를 더욱 잘 보존하는 양성 뷰 역할을 합니다. 매끄러운 표현 학습을 더욱 촉진하기 위해, 수송 보간된 뷰들이 끝점 이미지들과 일관성을 유지하도록 유도하는 보조 Sinkhorn 정규화 항을 평가합니다. 제안된 방법은 인코더 아키텍처를 수정하지 않고도 표준 대조 학습 파이프라인에 통합될 수 있습니다. 여러 벤치마크 데이터셋에 대한 실험을 통해, 본 접근법이 기존 증강 기반 대조 학습 베이스라인에 비해 표현 품질과 전이학습 성능을 향상시킴을 보여줍니다.

arXiv:2607.20450v1cs.CL공통 태그 Data Augmentation, Contrastive Learning

ShriNep@EEUCA 2026: RAKSHAK - 근거 증류와 Jigsaw 증강 학습을 활용한 다중 과제 DeBERTa 기반 독성 의도 분류

ShriNep@EEUCA 2026: RAKSHAK - Multi-Task DeBERTa with Rationale Distillation and Jigsaw-Augmented Training for Toxic Intent Classification

본 논문은 ACL 2026 EEUCA 워크숍의 GameTox 공유 과제를 위한 두 가지 시스템을 제시한다. 이 과제는 World of Tanks 채팅 발화를 6개의 세분화된 독성 의도 범주(레이블 0-5)로 분류하는 것을 요구한다. 심각한 클래스 불균형, 도메인 특화 다국어 슬랭, 그리고 위협(레이블 4, 60개 샘플)과 극단주의(레이블 5, 24개 샘플)와 같은 희귀 범주에 대한 극히 부족한 데이터로 인해 이는 어려운 분류 문제가 된다. 주 제출 시스템인 RAKSHAK(rakṣaka, 산스크리트어로 "수호자")는 Qwen2.5-14B(An et al., 2024)로부터의 근거 증류(rationale distillation), 지도 대조 손실(Supervised Contrastive Loss), 희귀 클래스 전용 이진 헤드를 결합한 다중 과제 DeBERTa-v3-base(He et al., 2022) 프레임워크이다. RAKSHAK의 학습 데이터는 Jigsaw Toxic Comment 데이터셋(16,225개 샘플, 레이블 1-4에 매핑)의 교차 도메인 전이와 레이블 5를 위한 LLM 생성 극단주의 샘플 100개로 증강되었다. 보조 시스템(M1)은 Jigsaw 전이 없이 원본 GameTox 데이터와 동일한 극단주의 샘플 100개에 Focal Loss를 적용하여 DeBERTa-v3-base를 파인튜닝한다. RAKSHAK는 공식 테스트셋에서 Macro F1 0.5883을 달성하여 35개 참가 팀 중 7위를 기록했으며, M1은 Macro F1 0.5252를 달성했다. Jigsaw 데이터 유무에 따른 M1의 ablation 비교 결과, 교차 도메인 전이는 F1 +2.6점을, RAKSHAK의 다중 과제 아키텍처는 추가로 +3.7점을 기여하는 것으로 나타났다.

arXiv:2607.14613v1cs.LG공통 태그 Data Augmentation, Contrastive Learning

장꼬리 심전도 부정맥 진단을 위한 각도 Gaussian 지도 대조 학습

Angular Gaussian Supervised Contrastive Learning for Long-Tailed Electrocardiogram Arrhythmia Diagnosis

장꼬리 라벨 분포는 심전도(ECG) 부정맥 진단에서 심층 학습의 신뢰성을 저하시키며, 특히 임상적으로 중요하지만 희귀한 이상 소견에서 두드러진다. 기존의 재균형화 및 로짓 조정 방법은 주로 클래스 빈도를 다루면서 ECG 클래스 간 방향 의존적 형태학적 가변성은 간과한다. 본 연구는 장꼬리 다중 라벨 ECG 진단을 위한 각도 Gaussian 지도 대조 학습(Angular Gaussian Supervised Contrastive Learning, AG-SCL)을 제안한다. AG-SCL은 세 가지 구성 요소를 통합 프레임워크로 결합한다: 단위 정규화 임베딩(embedding) 상에서 완전 공분산 클래스 불확실성을 모델링하는 각도 Gaussian 대조 분기, 고정된 빈도 기반 마진 대신 유계 라벨-상태별 사전(prior) 보정을 학습하는 적응형 로짓 조정(Adaptive Logit Adjustment), 그리고 7-25 Hz QRS 우세 대역을 보호하면서 형태 보존 뷰를 생성하는 꼬리 인식(tail-aware) 증강. 해당 방법은 공개 PTB-XL 벤치마크와 141명의 피험자로부터 수집한 1317시간 기록으로 구성된 야간 ECG 데이터셋에서 평가되었다. AG-SCL은 두 데이터셋 모두에서 최고의 매크로 수준 성능을 달성했다. PTB-XL에서 균형 정확도 0.838, 민감도 0.709, 특이도 0.968, 평균 평균 정밀도(mAP) 0.495, FPR 5%에서의 TPR 0.778을 얻었다. Noc-ECG에서는 해당 값이 각각 0.918, 0.889, 0.947, 0.488, 0.900이었다. 가장 큰 향상은 희귀하거나 형태학적으로 불안정한 리듬 클래스에서 나타났으며, ablation 연구는 완전 공분산 모델링, 적응형 로짓 조정, 꼬리 인식 증강의 기여를 확인했다. AG-SCL은 사전 보정과 이방성(anisotropic) 표현 학습을 결합함으로써 장꼬리 ECG 진단을 개선하며, 임상적으로 관련 있는 특이도를 유지하면서 희귀 부정맥에 대한 민감도를 향상시킨다. 코드는 https://github.com/Open-EXG/AG-SCL-for-Long-Tailed-ECG 에서 이용 가능하다.

arXiv:2607.12464v1cs.CV공통 태그 Data Augmentation, Contrastive Learning

클래스 대비 영향(Class-Contrastive Influence)을 이용한 확산 모델 조향을 통한 퓨샷 의료 분류

Steering Diffusion Models via Class-Contrastive Influence for Few-Shot Medical Classification

라벨이 붙은 데이터가 부족할 때, 기성 확산 모델은 퓨샷 의료 이미지 분류를 위한 학습 세트를 보강할 수 있지만, 생성된 모든 샘플이 하류 작업에 동등하게 유용한 것은 아니다. 기존 접근법은 대체로 사실성, 다양성 또는 도메인 적응을 높여 합성 데이터를 개선하는 데 집중하면서, 더 근본적인 질문을 간과한다: 분류를 위한 샘플 유용성은 어떻게 측정하고 최적화해야 하는가? 우리는 Class-Contrastive Influence(C2I)로 이를 해결한다. 이는 분류기에 대한 그래디언트 기반 영향을 통해 샘플 유용성을 정량화하는 기준이다. 효과적인 샘플은 강한 C2I 차이를 보인다: 해당 샘플의 손실 그래디언트는 동일 클래스의 검증 그래디언트와 정렬되고, 다른 클래스의 검증 그래디언트와는 상반된다. 우리의 분석은 추가로 이러한 고 C2I 샘플이 어렵고 경계 근접한 예시이며, 의사결정 경계를 정밀화하고 견고성을 향상하는 데 도움이 된다고 시사한다. 이 통찰을 바탕으로, C2I 기반 보상을 사용한 강화학습으로 확산 모델을 파인튜닝하여 생성이 클래스 정보를 담은 샘플 쪽으로 조향되도록 한다. 여러 퓨샷 의료 영상 벤치마크에서 C2I 기반 생성은 확산 기반 증강 기준선 대비 하류 정확도와 견고성을 향상시키며, 합성 증강은 이미지 품질만이 아니라 작업 유용성에 따라 안내될 때 가장 효과적임을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.