신뢰도 가중 직접 선호 최적화: 강건한 선호 학습을 위한 벌점 가중치
Reliability-Weighted Direct Preference Optimization: Penalized Weights for Robust Preference Learning
한국어 초록
직접 선호 최적화(DPO)는 보고된 모든 비교를 올바른 것으로 취급하지만, 선호 데이터에는 뒤바뀌었거나 동률이거나 그 밖에 노이즈가 있는 비교가 포함되어 있다. RW-DPO는 각 비교에 우도에 선형적으로 들어가는 미지의 신뢰도 가중치 $w_i\in[0,1]$를 부여하며(DPO는 $w\equiv1$, 뒤바뀐 비교는 $w_i=0$), $-\log w_i$에 대한 최소최대 오목 벌점 아래에서 정책과 함께 가중치를 공동으로 추정한다. 이 벌점은 모델이 동의하는 모든 비교를 정확히 $w_i=1$에 유지하고 모델이 모순되는 비교에만 작용하며, DPO 대비 무시할 만한 비용의 닫힌 형태 가중치 갱신을 통해 이루어진다. 비교당 단일 주석으로부터 뒤바뀐 모든 비교를 복원하려면 $\log n$ 차수의 마진이 필요함을 증명한다. 더 나아가 선형 인덱스 모델에서, 올바른 방향을 가리키는 초기 적합에서 출발하면 본 추정량은 비교의 일정 비율이 뒤바뀐 경우에도 선호 방향과 가중치를 공동으로 일관되게 복원하며, 이 마진 척도를 넘는 뒤바뀐 비교를 식별한다. 시뮬레이션에서 RW-DPO는 DPO, 노이즈율 보정, 최근의 강건한 방법 중 가장 낮은 평균 추정 오차를 보이며, 최근의 레이블 보정 방법보다 훨씬 정밀한 표시를 제공한다. 10-30%의 레이블이 뒤바뀐 언어 모델의 DPO 미세 조정에서, 승률은 뒤바뀜 비율이 커져도 하락하지 않으며 깨끗한 레이블로 학습한 DPO를 능가하고, 보정이 뒤바뀐 레이블에 집중되면서 가장 강력한 최근 방법에 필적한다.
원문 초록
Direct Preference Optimization (DPO) treats every reported comparison as correct, yet preference data contain reversed, tied or otherwise noisy comparisons. RW-DPO gives each comparison an unknown reliability weight $w_i\in[0,1]$ that enters the likelihood linearly -- DPO is $w\equiv1$, a reversed comparison $w_i=0$ -- and estimates the weights jointly with the policy under a minimax-concave penalty on $-\log w_i$. The penalty keeps every comparison the model agrees with at exactly $w_i=1$ and acts only on those it contradicts, through closed-form weight updates at negligible cost over DPO. We prove that recovering all flipped comparisons from a single annotation per comparison requires margins of order $\log n$. Furthermore, in a linear-index model, starting from an initial fit pointing in the correct direction, our estimator jointly consistently recovers the preference direction and weights, as well as identifies the flipped comparisons above this margin scale, even when a fixed fraction of comparisons is flipped. In simulations RW-DPO has the lowest average estimation error among DPO, noise-rate corrections and recent robust methods, with far more precise flags than recent label-correction methods. In DPO fine-tuning of a language model with 10-30% flipped labels, its win rate does not fall as the flip rate grows and exceeds that of DPO trained on clean labels, matching the strongest recent method with corrections concentrated on the flipped labels.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.