Supervised Contrastive Learning as Multi-Objective Optimization for Fine-Tuning Large Pre-trained Language Models
원문 초록
Recently, Supervised Contrastive Learning (SCL) has been shown to achieve excellent performance in most classification tasks. In SCL, a neural network is trained to optimize two objectives: pull an anchor and positive samples together in the embedding space, and push the anchor apart from the negatives. However, these two different objectives may conflict, requiring trade-offs between them during optimization. In this work, we formulate the SCL problem as a Multi-Objective Optimization problem for the fine-tuning phase of RoBERTa language model. Two methods are utilized to solve the optimization problem: (i) the linear scalarization (LS) method, which minimizes a weighted linear combination of pertask losses; and (ii) the Exact Pareto Optimal (EPO) method which finds the intersection of the Pareto front with a given preference vector. We evaluate our approach on several GLUE benchmark tasks, without using data augmentations, memory banks, or generating adversarial examples. The empirical results show that the proposed learning strategy significantly outperforms a strong competitive contrastive learning baseline
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
창발적 미정렬은 사전 존재하는 페르소나 부분공간을 동원한다
Emergent Misalignment Recruits a Pre-existing Persona Subspace
정렬된 언어 모델을 좁은 범위의 나쁜 조언 스트림으로 미세조정하면, 학습 데이터와 무관한 질문에서 광범위하게 미정렬되게 만들 수 있으며, 이 현상을 창발적 미정렬(emergent misalignment)이라 한다. 우리는 왜 이 좁은 교훈이 전혀 일반화되는지 묻고, 좁은 미세조정이 미세조정 이전부터 모델에 존재하는 페르소나 구조를 동원한다는 것을 발견한다. 동결된 인스트럭션 튜닝 모델(Qwen2.5-14B-Instruct)에서 대조적 teacher forcing으로 도메인별 페르소나 부분공간을 추출하고, 4개의 무관한 도메인이 무작위 부분공간 null 대비 657배 수준의 하나의 저랭크 코어를 공유하며, 그 코어의 82%가 동일한 다양성으로 구축된 스타일 코어 밖에 위치함을 발견한다. 불안전한 코드에 대한 미세조정의 말 그대로 첫 번째 옵티마이저 스텝은, 동일한 코드를 교육용으로 프레이밍한 경우보다 광범위 미정렬 마진을 더 크게 상승시키며, 375 스텝까지의 실현된 마진 변화를 예측한다. 미세조정 전체 과정에서 잔차 스트림(residual stream)에서 해당 부분공간을 투영하여 제거하면 광범위 미정렬을 방지한다(판정된 생성물의 27.7%에서 0.0%로), 반면 동일 랭크의 무작위 부분공간은 아무 변화도 일으키지 않는다; 미세조정하지 않은 모델에 이를 주입하면 용량(dose)에 따라 미정렬이 증가하여 45.4%에 이르며, 이는 비교 대상인 미세조정 모델을 넘어선다. 동일한 투영을 가중치 그래디언트에 적용하는 것은 무반응이며, 세 가지 사후 가중치 편집은 해당 성향을 그대로 남긴다: 가장 날카로운 편집은 행동을 제거하기보다 억제할 뿐이며, 제거된 구조는 편집이 비운 부분공간 내부에서 재형성된다. 고정된 양의 나쁜 데이터를 4개 도메인에 분산하면, 기계적 가중치 중첩(superposition)과 동일 다양성(matched diversity)이 합쳐 설명하는 것보다 더 많은 광범위 미정렬을 유발한다. 모든 측정은 14B 규모의 하나의 모델에서 수행되었으며, 추출은 정렬된 인스트럭션 튜닝 체크포인트에서 이루어져 구조의 기원(provenance)은 열린 문제로 남는다; 미정렬을 방지하는 개입은 좁은 범위에서 학습된 행동도 함께 제거한다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
Customising General Large Language Models for Specialised Emotion Recognition Tasks
Boosting Zero-Shot Human-Object Interaction Detection with Vision-Language Transfer
토론
이 논문과 연결된 포럼 글이 아직 없습니다.