LLM 회귀를 위한 예측 분포 기반 강화학습
Reinforcement Learning over Predictive Distributions for LLM Regression
대규모 언어 모델(LLM)은 이종(heterogeneous) 입력으로부터 실숫값 수량을 예측할 수 있는 유연한 회귀 모델로 부상했습니다. 그러나 대부분의 LLM 회귀 목적 함수는 예측을 독립적으로 최적화하므로 종종 보정(calibration) 성능이 떨어집니다. 본 논문에서는 동일한 입력에 대한 여러 예측으로 형성된 경험적 예측 분포를 공동으로 평가하는 온-정책(on-policy) 강화학습 목적 함수인 분포 인식 보상(Distribution-Aware Reward, DAR)을 소개합니다. 이러한 분포 수준의 목적 함수를 롤아웃(rollout) 수준의 보상으로 변환하기 위해, 전체 예측 분포의 품질에 대한 리브-원-아웃(leave-one-out) 기여도를 기반으로 각 예측에 신용을 할당합니다. 이는 타깃을 중심으로 잘 정렬되고 적절하게 분산된 예측을 유도합니다. 본 연구는 보간 및 외삽을 탐색하는 합성 태스크와 코드 및 분자 데이터를 포함하는 두 가지 실제 과학 태스크 등 세 가지 회귀 설정에서 평가를 수행합니다. 모든 태스크에 걸쳐 DAR은 지도 미세조정(supervised fine-tuning) 및 포인트와이즈 강화학습 대비 예측 오차를 지속적으로 줄이고 랭킹 품질을 향상시키는 동시에, 더 잘 보정된 불확실성 추정치를 생성합니다. 종합적으로 이러한 결과는 LLM 회귀를 위한 분포 인식 학습의 이점을 강조합니다.