POPI: 최적화된 자연어 선호도 추론을 통한 LLM 개인화
POPI: Personalizing LLMs via Optimized Natural Language Preference Inference
대규모 언어 모델(LLM)은 개별 사용자 간의 상당한 차이에도 불구하고 일반적으로 집단 수준의 선호도에 맞춰 정렬(alignment)됩니다. 본 논문에서는 자연어 인터페이스로 연결된 두 가지 구성 요소로 문제를 분리하는 사용자 수준 개인화 프레임워크인 POPI를 소개합니다. 두 구성 요소는 이질적인 사용자 신호를 간결한 선호도 요약으로 증류(distillation)하는 공유 추론 모델과, 이 요약을 조건으로 하여 개인화된 응답을 생성하는 공유 생성 모델입니다. 두 구성 요소는 모두 통합된 선호도 최적화(preference-optimization) 목적 함수에 따라 학습(training)되며, 미분 불가능한 추론 단계는 강화학습(reinforcement learning)을 통해 처리됩니다. 이 목적 함수는 생성 모델 근사 오차와 요약의 정보성으로 분해되어, 단일 손실(loss)이 어떻게 정확한 생성과 유익한 요약을 동시에 이끌어내는지를 보여줍니다. 인터페이스가 자연어로 구성되어 있으므로, 학습된 요약은 사용자당 한 번만 추론되어 동결된 블랙박스 상용 API를 포함한 다양한 생성 모델 전반에서 재사용될 수 있습니다. 4개의 개인화 벤치마크 전반에서 POPI는 일반적으로 개인화 품질을 향상시키면서 컨텍스트 오버헤드를 최대 10배(an order of magnitude)까지 줄입니다.