반복적 내시 선호도 최적화를 위한 효율적인 탐험
Efficient Exploration for Iterative Nash Preference Optimization
선호도 정렬(preference alignment)은 대규모 언어 모델(LLM)을 개선하는 데 핵심적이지만, 인간의 선호도가 비이행적(non-transitive)일 때 보상(reward) 기반 정식화는 제한적일 수 있습니다. 인간 피드백 기반 내시 학습(NLHF)은 정렬을 선호도 게임으로 모델링하고 내시 균형(Nash equilibrium)을 탐색함으로써 이러한 한계를 해결합니다. 그러나 확장 가능한 NLHF의 학습 이론적 기초는 여전히 제한적입니다. 기존의 후회(regret) 보장은 명시적인 선호도 모델 추정과 미니맥스 오라클(minimax oracle)에 의존하는 반면, 더 단순한 반복적 방법들은 이러한 보장이 부족합니다. 본 연구에서는 온라인 반복적 NLHF를 연구하고 탐험(exploration)을 주요 장애 요인으로 식별합니다. 먼저, 표준 반복적 NLHF가 역 KL 정규화(regularization) 매개변수(parameter)에 대해 지수적 의존성을 유발할 수 있음을 보여줌으로써 정책 업데이트를 통한 암묵적 탐험이 불충분할 수 있음을 입증합니다. 그런 다음 SFT 유형의 정규화와 적대적 정책 탐험을 결합한 탐험적 내시 선호도 최적화(ENPO)를 제안합니다. ENPO는 미니맥스 오라클이나 명시적인 선호도 모델 추정 없이도 이러한 지수적 의존성을 제거합니다. 나아가 추가적인 오라클을 활용하여 $O(\log T)$ 후회 한계를 달성하는 Bonus-Explorer ENPO(BENPO)를 소개합니다. 마지막으로, LLM 미세조정(fine-tuning)을 위한 ENPO의 실용적인 변형인 Direct ENPO(DENPO)를 개발합니다. Llama-3-8B-Instruct를 사용한 실험을 통해 여러 벤치마크 전반에서 평가된 RLHF 및 NLHF 베이스라인 대비 일관된 성능 향상을 입증합니다.