arXiv:2610.11281v1 cs.LG

대리 보상 모델을 이용한 사후학습 방법: 포락선 샘플링을 통한 보상 해킹 완화

How to post-train on a surrogate: Envelope sampling mitigates reward hacking

Sanjit Dandapanthula, Shuvom Sadhuka, Samir Khan, Michael Oberst, Aaditya Ramdas, Alexandra Chouldechova

제출 2026-10-08

한국어 초록

대규모 언어 모델(LLM)은 대규모로 질의하기에 비용이 많이 드는 인간 선호도와 같은 실제 보상 대신, 흔히 LLM 판별자(judge) 및 기타 저비용 대리 지표(surrogate)를 대상으로 사후학습(post-training)됩니다. 그러나 이러한 방식은 잘못 보정된 대리 모델에 대한 강화학습이 바람직하지 않은 부작용을 초래하는 보상 해킹(reward hacking)으로 이어지는 경우가 많습니다. 본 연구에서는 적은 수 $n$개의 모델 출력에 대해 (예: 전문가 검토를 통한) 정답 레이블을 주석 처리하고, 이를 바탕으로 LLM 판별자를 재보정한 후 최적화를 진행하는 설정을 연구합니다. 기존의 판별자 재보정 접근 방식들은 비용이 많이 들거나 경험적이며, 대리 모델이 드물게 발생하는 출력 집합에 대해 잘못 보정되었을 때 온-정책(on-policy) 샘플링이 실패한다는 점이 알려져 있습니다. 본 연구에서는 인간 보상과 재보정된 보상이 판별자 주변의 $L^2$ 볼(ball) 내에 위치한다는 가정하에, 사후학습된 모델의 리그렛(regret) 상한을 최소화하는 이론적 근거를 갖춘 판별자 재보정 기법인 포락선 샘플링(envelope sampling)을 제안합니다. 또한 기각(rejection) 방식이나 수정된 보상에 대한 미세조정(fine-tuning)을 통해 포락선에서 샘플링하는 실용적인 알고리즘을 제시하며, 임상 기록 생성 및 제어된 아첨(sycophancy) 태스크에 대한 실험을 통해 기본 모델 샘플로 재보정했을 때는 해결되지 않던 보상 해킹이 포락선 샘플로 재보정했을 때 완화됨을 보입니다.

원문 초록

Large language models (LLMs) are commonly post-trained against LLM judges and other cheap surrogates because the true reward, such as human preference, is too expensive to query at scale. This practice often leads to reward hacking, where reinforcement learning against a miscalibrated surrogate leads to undesirable side effects. In this work, we study a setting in which a small number $n$ of model outputs are annotated with ground-truth labels (e.g., from expert review) and used to recalibrate the LLM judge before optimizing against it. Prior approaches to judge recalibration are costly or heuristic, and it is known that on-policy sampling fails when the surrogate is miscalibrated on a rare set of outputs. In this work, we propose envelope sampling, a theoretically-grounded method for judge recalibration that seeks to minimize an upper bound on the regret of the post-trained model under the assumption that the human reward and re-calibrated reward lie in an $L^2$ ball around the judge. We give practical algorithms to sample from the envelope by rejection or by fine-tuning against a modified reward, and experiments on clinical note generation and on a controlled sycophancy task show that recalibrating on envelope samples mitigates reward hacking where recalibrating on base-model samples does not.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11281v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.