InfiFPO: 대규모 언어 모델에서 선호 최적화를 통한 암시적 모델 융합
InfiFPO: Implicit Model Fusion via Preference Optimization in Large Language Models
모델 융합은 경량 학습(training) 방법을 통해 서로 다른 강점을 지닌 여러 대규모 언어 모델(LLM)을 더욱 강력한 하나의 통합 모델로 결합합니다. 모델 융합에 관한 기존 연구들은 주로 지도 미세조정(SFT)에 집중되어 있으며, LLM 성능 향상의 중요한 단계인 선호 정렬(PA)은 대체로 탐구되지 않은 상태로 남아 있습니다. WRPO와 같은 PA 단계의 소수 기존 융합 방법들은 소스 모델의 확률 정보를 버리고 응답 출력만을 활용하여 과정을 단순화합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 암시적 모델 융합을 위한 선호 최적화 방법인 InfiFPO를 제안합니다. InfiFPO는 직접 선호 최적화(DPO)의 참조 모델을 시퀀스 수준에서 다중 소스 확률을 종합하는 융합 소스 모델로 대체하여, 기존 연구의 복잡한 어휘 정렬 문제를 우회하는 동시에 확률 정보를 유지합니다. 또한 확률 클리핑과 최대 마진(max-margin) 융합 전략을 도입함으로써, 피벗 모델이 소스 모델로부터 지식을 효과적으로 증류하는 동시에 인간 선호에 정렬할 수 있도록 합니다. 널리 사용되는 11개 벤치마크(benchmark)에 대한 종합적인 실험 결과, InfiFPO가 기존의 모델 융합 및 선호 최적화 방법들을 지속적으로 능가함을 입증했습니다. Phi-4를 피벗 모델로 사용했을 때, InfiFPO는 11개 벤치마크에서의 평균 성능을 79.95에서 83.33으로 향상시켜 수학, 코딩 및 추론 작업에서의 역량을 크게 개선했습니다.