PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30339v1cs.CL

REAR: 보상 분해를 통한 테스트 시간 선호도 재정렬

REAR: Test-time Preference Realignment through Reward Decomposition

다양한 사용자 선호도에 맞게 대규모 언어 모델(LLM)을 정렬하는 것은 중요하지만 어려운 과제다. 사후 학습(post-training) 방법은 모델을 특정 요구에 맞게 적응시킬 수 있지만, 비용이 많이 드는 데이터 수집과 추가 학습이 필요한 경우가 많다. 테스트 시간 스케일링(TTS)은 학습이 필요 없는 효율적인 대안을 제시하지만, 그 적용은 응답의 정확성을 쉽게 판단할 수 있는 수학 및 코딩과 같은 검증 가능한 도메인에 주로 한정되어 왔다. TTS를 선호도 정렬(preference alignment)로 확장하기 위해, 우리는 이 과제를 재정렬 문제로 모델링하는 새로운 프레임워크를 제안한다. 기본 모델이 명시된 선호도에 충분히 정렬되지 못하는 경우가 많기 때문이다. 핵심 아이디어는 기저 보상 함수를 두 가지 구성 요소, 즉 질문과 관련된 항과 선호도 정보와 관련된 항으로 분해하는 것이다. 이를 통해 두 보상 항의 비율을 선택적으로 재조정하는 재정렬 보상(REAlignment Reward, REAR)을 도출한다. 나아가 REAR가 토큰 수준 정책 로그 확률의 선형 결합으로 표현될 수 있음을 보여, 계산 효율적이며 best-of-$N$ 샘플링 및 트리 탐색과 같은 다양한 TTS 알고리즘과 쉽게 통합할 수 있음을 제시한다. 실험 결과, 다른 테스트 시간 기준선과 비교하여 REAR는 다양한 사용자 요구 하에 선호도 정렬 과제에서 확장 가능한 테스트 시간 재정렬을 가능하게 할 뿐만 아니라, 적절한 선호도 설정 하에서 수학 및 시각적 과제에도 일반화됨을 보여준다.