PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.00931v3cs.LG

연속 효용 직접 선호 최적화

Continuous-Utility Direct Preference Optimization

대규모 언어 모델(LLM)의 추론은 종종 단일한 능력으로 취급되며, 부분적인 진행 상황이나 세밀한 추론 품질을 포착하지 못하는 이진 선호 감독에 의존합니다. 본 논문에서는 미세한 추론 품질을 반영하는 연속적인 점수로 이진 레이블을 대체하여, 프롬프트 기반 인지 전략 포트폴리오에 모델을 정렬(alignment)하는 프레임워크인 연속 효용 직접 선호 최적화(CU-DPO)를 소개합니다. 저자들은 K개의 전략으로 학습할 때 이진 선호 대비 표본 복잡도(sample complexity)에서 Theta(K log K)의 개선을 가져오며, DPO가 엔트로피 정규화된 효용 극대화 정책으로 수렴함을 증명합니다. 이러한 신호를 활용하기 위해 다음 두 단계 파이프라인을 제안합니다: (i) 최고 대 전체(best-vs-all) 비교를 통해 모델이 최적의 전략을 선택하도록 최적화하는 전략 선택, (ii) 마진 계층화된 쌍(margin-stratified pairs)을 사용하여 올바른 실행을 학습하는 실행 개선. 이 프레임워크는 도메인에 구애받지 않으며(domain-agnostic), 인지적으로 구별되는 해결 전략과 분해 가능한 연속 효용 신호를 허용하는 모든 태스크를 포트폴리오에 포함할 수 있습니다. 수학 추론 벤치마크에서 CU-DPO는 7개의 베이스 모델에 걸쳐 전략 선택 정확도를 35-46%에서 68-78%로 향상시켰으며, 분포 내(in-distribution) 데이터셋에서 최대 +6.6점의 다운스트림 추론 성능 향상과 효과적인 분포 외(out-of-distribution) 전이 성능을 달성했습니다. 또한 CU-DPO는 코드 생성 및 인과 추론 벤치마크에서도 일관된 성능 향상을 보여주어 수학 도메인을 넘어선 일반화 능력을 입증했습니다.