ieor.columbia.edu

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.19607v1cs.AI

LLM 사후 학습에서 어떤 쌍을 비교해야 하는가?

Which Pairs to Compare for LLM Post-Training?

선호 기반 사후 학습은 언어 모델을 정렬하는 중심적인 패러다임이 되었습니다. 일반적인 데이터 수집 전략은 각 프롬프트에 대해 소수의 완성을 생성하고 결과로 나오는 비교 쌍에 라벨을 부여하는 것입니다. 그러나 인간 선호 라벨은 추가적인 완성을 생성하는 것보다 훨씬 비용이 많이 들기 때문에, 동일한 라벨링 예산을 다르게 사용하는 것을 제안합니다: 더 큰 완성 풀을 생성하되, 가장 정보성이 높은 비교 쌍에만 라벨을 부여하는 것입니다. 본 논문은 선호 기반 사후 학습에서 어떤 쌍을 비교해야 하는지 연구합니다. 우리는 비교 선별을 표본 설계 문제로 공식화하고, 선호 기반 사후 학습 목적 함수 하에서 최종 정책의 품질로 설계를 평가합니다. 우리는 이 프레임워크를 직접 선호 최적화(DPO)에 적용하여, 라벨링된 쌍의 선택이 DPO 학습을 통해 다운스트림 정책 성능으로 어떻게 전파되는지 분석합니다. 우리의 주요 결과는 DPO로 학습된 정책의 사후 학습 최적성 갭에 대한 일치하는 상한 및 하한을 제공합니다. 이 상한 및 하한은 비교 선택이 설계에 의존하는 단일 정보 행렬을 통해 다운스트림 성능에 영향을 미친다는 것을 보여주며, 이 행렬은 라벨 할당을 매개변수 추정 오차 및 정책 비최적성과 연결합니다. 이를 통해 예산이 제한된 비교 선별을 위한 명시적인 최적화 기준이 도출되며, 생성된 대규모 완성 풀에서 정보성이 높은 쌍을 선택하기 위한 실용적인 표본 설계를 제안합니다. 합성 설정 및 언어 모델 사후 학습 벤치마크에 대한 실험 결과, 제안된 설계가 일반적인 비교 선택 휴리스틱보다 샘플 효율성을 일관되게 향상시키는 것으로 나타났습니다.