arXiv:2405.16388

Multi-Reference Preference Optimization for Large Language Models

Hung Le, Quan Tran, Dung Nguyen, Kien Do, Saloni Mittal, Kelechi Ogueji, Svetha Venkatesh

제출 2024-05-26

원문 초록

How can Large Language Models (LLMs) be aligned with human intentions and values? A typical solution is to gather human preference on model outputs and finetune the LLMs accordingly while ensuring that updates do not deviate too far from a reference model. Recent approaches, such as direct preference optimization (DPO), have eliminated the need for unstable and sluggish reinforcement learning optimization by introducing close-formed supervised losses. However, a significant limitation of the current approach is its design for a single reference model only, neglecting to leverage the collective power of numerous pretrained LLMs. To overcome this limitation, we introduce a novel closed-form formulation for direct preference optimization using multiple reference models. The resulting algorithm, Multi-Reference Preference Optimization (MRPO), leverages broader prior knowledge from diverse reference models, substantially enhancing preference learning capabilities compared to the single-reference DPO. Our experiments demonstrate that LLMs finetuned with MRPO generalize better in various preference data, regardless of data scarcity or abundance. Furthermore, MRPO effectively finetunes LLMs to exhibit superior performance in several downstream natural language processing tasks such as GSM8K and TruthfulQA.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.10139cs.CL공통 태그 TruthfulQA, GSM8K

Unsupervised Elicitation of Language Models

사전학습된 언어 모델을 하위 작업에 맞게 조정하기 위해, 현재의 사후 학습(post-training) 패러다임은 인간이 원하는 행동을 명시하는 데 의존하고 있습니다. 그러나 초인적(superhuman) 능력을 가진 모델의 경우, 고품질의 인간 감독을 얻는 것은 어렵거나 불가능합니다. 이러한 문제를 해결하기 위해, 우리는 외부 감독 없이(pretrained language models on their own generated labels, \emph{without external supervision}) 사전학습된 언어 모델을 자체 생성한 라벨로 미세조정하는 새로운 비지도 학습 알고리즘인 내부 일관성 극대화(Internal Coherence Maximization, ICM)를 제안합니다. GSM8k-verification, TruthfulQA, Alpaca 보상 모델링 과제에서, 본 방법은 정답 감독(golden supervision)으로 학습한 성능과 동등하며, 크라우드소싱된 인간 감독 학습보다 우수한 성능을 보입니다. LLM의 능력이 현저히 초인적인 작업에서는, 본 방법이 인간 라벨로 학습하는 것보다 그 능력을 훨씬 더 효과적으로 이끌어낼 수 있습니다. 마지막으로, 본 방법이 최첨단 LLM 학습을 개선할 수 있음을 보입니다. 본 방법을 사용하여 비지도 보상 모델을 학습하고, 강화학습을 통해 Claude 3.5 Haiku 기반 어시스턴트를 학습시켰습니다. 이 보상 모델과 어시스턴트는 모두 인간 감독 모델보다 뛰어난 성능을 나타냅니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.