한국어 초록
실무자들은 LLM 정렬 방법을 대체로 시행착오로 선택한다. 우리는 이론적 토대를 제시한다. 각 쌍별 방법은 확률 단체 위에서 모델이 선호 완성과 비선호 완성 사이에 질량을 어떻게 재분배하는지를 좌우하는 벡터장을 정의한다. 단일 선호/비선호 쌍으로 사영하면 이는 닫힌 형태의 해를 갖는 1차원 마진 ODE로 환원된다. 이 해들은 DPO 마진이 한없이 커지는 반면(그래디언트 흐름 극한에서 $O(\log t)$로 로그적으로) IPO 마진은 유한한 $1/(2\tau)$로 수렴하며, 레이블 잡음이 DPO에서는 질적인 상전이(무한 $\to$ 유한)를 일으키지만 IPO에는 양적으로만 영향을 미치고, 비대칭 가중 하에서의 그래디언트 집중이 대규모 학습 가능성을 좌우함을 보여 준다. 우리는 네 가지 벤치마크에 걸친 다섯 모델 계열에서 세 가지 예측을 모두 확인한다. 닫힌 형태의 해는 원리에 기반한 방법 설계도 가능하게 한다. SimPO에 임의의 레이블 스무딩 $\varepsilon > 0$을 추가하면 $\Delta^* = \beta^{-1}\log((1-\varepsilon)/\varepsilon)$에서 유한한 마진 끌개가 생기는 반면, $\varepsilon = 0$(표준 SimPO)에는 끌개가 없음을 증명한다. 이를 세 모델(8B-9B)에서 시험하여 예측을 확인한다. 이론에서 도출한 구성(TPO-S, $\varepsilon = 0.05$)은 가장 강한 베이스라인과 경쟁력이 있으며 세 모델 모두에서 비교 방법 중 가장 높은 평균 IFEval 점수를 달성하는데, 이는 새로운 최고 성능 손실을 제안하는 것이 아니라 예측된 유한 끌개가 사용 가능한 동작점임을 검증한다.
원문 초록
Practitioners choose among LLM alignment methods largely by trial and error. We provide a theoretical foundation: each pairwise method defines a vector field on the probability simplex that governs how the model redistributes mass between preferred and dispreferred completions. Projecting onto a single preferred/dispreferred pair reduces this to a one-dimensional margin ODE with a closed-form solution. These solutions reveal that DPO margins grow without bound (logarithmically as $O(\log t)$ in the gradient-flow limit) while IPO margins converge to a finite $1/(2\tau)$; that label noise induces a qualitative phase transition in DPO (unbounded $\to$ bounded) but affects IPO only quantitatively; and that gradient concentration under asymmetric weighting governs trainability at scale. We confirm all three predictions across five model families spanning four benchmarks. The closed-form solutions also enable principled method design: we prove that adding any label smoothing $\varepsilon > 0$ to SimPO creates a finite margin attractor at $\Delta^* = \beta^{-1}\log((1-\varepsilon)/\varepsilon)$, while $\varepsilon = 0$ (standard SimPO) has no attractor. We test this across three models (8B-9B) and confirm the prediction: the theory-derived configuration (TPO-S, $\varepsilon = 0.05$) is competitive with the strongest baselines, attaining the highest mean IFEval score among the compared methods on all three, validating that the predicted finite attractor is a usable operating point rather than proposing a new state-of-the-art loss.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21766v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.