Efficiently Aligning Language Models with Online Natural Language Feedback
한국어 초록
검증 가능한 보상을 활용한 강화학습은 여러 분야에서 언어 모델이 인상적인 성능을 발휘하도록 이끄는 데 사용되어 왔습니다. 그러나 AI의 광범위한 이점을 갖는 배포를 위해서는, 인간이 감독하기 어렵고 이른바 "퍼지(fuzzy)"한 영역에서 강한 역량을 갖춘 모델을 학습해야 할 수 있습니다. 본 논문에서는 인간 전문가가 여전히 고품질의 감독 신호를 제공할 수 있지만, 모델 출력의 극히 일부에 대해서만 가능한 퍼지 영역에서, 온라인 자연어 피드백을 사용해 언어 모델을 정렬하는 방법을 개발합니다. 구체적으로는 대리 보상 신호를 대상으로 반복적으로 최적화하고, 과최적화 지점에서 중단한 뒤, 새로운 전문가 감독을 수집하여 대리 보상을 갱신하는 방식으로 모델을 학습합니다. 우리는 문맥 내 학습(In-Context Learning, ICL)과 파인튜닝을 사용해 언어 모델로부터 대리 보상 모델을 구성합니다. 또한 Qwen3-8B와 Haiku 4.5에서 각각 창작 글쓰기와 정렬 연구 역량을 이끌어내는 방식으로 우리의 방법을 평가합니다. Qwen3-8B의 경우, ICL 방법은 전문가 샘플을 50배 적게 사용하면서도 성능의 최대 35%를 회복했고, 파인튜닝 방법은 최대 20배 적은 샘플로 80%, 3배 적은 샘플로 100%를 회복했습니다. Haiku 4.5의 경우, ICL 방법은 30배 적은 샘플로 최대 35%의 성능을 회복했으며, 파인튜닝 방법은 10배 적은 샘플로 100%를 회복했습니다. 우리의 결과는 온라인 자연어 피드백이 전문가 감독의 데이터 효율성을 크게 향상시킬 수 있음을 시사합니다.
요약
검증 가능한 보상만으로는 다루기 어려운 모호한 영역에서 대규모 언어 모델(Large Language Model, LLM)을 정렬하는 문제는, 실제로는 인간 전문가의 고품질 판단이 가능하더라도 그 신호를 충분한 양으로 확보하기 어렵다는 점에서 늘 병목이 되어 왔습니다. 이러한 배경에서 제안된 방법은 온라인 자연어 피드백을 활용해 프록시 보상 모델(proxy reward model)을 반복적으로 갱신함으로써, 제한된 전문가 감독을 훨씬 더 효율적으로 사용하는 정렬 절차를 설계하는 데 초점을 둡니다. 핵심 아이디어는 현재의 프록시 보상에 맞춰 강화학습을 수행하다가 과최적화(over-optimization)의 징후가 나타나면 학습을 멈추고, 새로 수집한 전문가의 자연어 피드백으로 보상 모델을 다시 보정한 뒤 학습을 이어 가는 순환 구조에 있습니다. 이 과정은 정답이 명확한 영역에서 널리 쓰여 온 검증 가능한 보상 기반 강화학습(Reinforcement Learning with Verifiable Rewards, RLVR)의 장점을 유지하면서도, 평가가 모호한 창작 글쓰기나 정렬 연구 같은 영역으로 확장할 수 있다는 점에서 의의가 큽니다. 특히 전문가의 피드백을 단순한 선호 쌍이나 스칼라 점수가 아니라 장문의 설명과 채점 근거를 포함한 자연어 형태로 수집한다는 점이 중요한데, 이는 프록시 모델이 인간의 판단 기준을 더 세밀하게 학습할 수 있게 해 주기 때문입니다. 방법론적으로는 프록시 보상 모델을 구성하는 두 가지 경로가 제시되는데, 하나는 문맥 내 학습(in-context learning, ICL)을 이용해 프롬프트 수준에서 채점 기준을 갱신하는 방식이고, 다른 하나는 전문가 피드백을 가중치에 직접 반영하는 파인튜닝(fine-tuning) 방식입니다. 실험은 Qwen3-8B의 창작 글쓰기와 Haiku 4.5의 정렬 연구 과제에 적용되었으며, 강한 frontier 모델을 전문가로 두고 더 작은 모델을 정책과 프록시로 사용하는 sandwiching 설정을 통해 실제 인간-모델 간 감독 구조를 축소 모형으로 재현했습니다. 이때 성능 회복 정도는 performance gap recovered(PGR)로 측정하여, 제한된 전문가 샘플로 기존 성능 격차를 얼마나 메울 수 있는지를 정량적으로 평가했습니다. 결과적으로 ICL 기반 방법은 최대 35% 수준의 성능 회복을 보이면서도 수십 배 적은 전문가 샘플만으로 작동해 데이터 효율성이 매우 높았고, 파인튜닝 기반 방법은 훨씬 더 강력하게 정렬을 개선하여 최대 80%에서 100%까지 성능 격차를 회복했습니다. 또한 이 연구는 어떤 샘플을 전문가에게 보여 주고 어떤 형태로 피드백을 구조화하느냐가 중요하다는 점을 보여 주며, 단순한 무작위 수집보다 정렬이 잘 되는 프롬프트를 찾고 이를 반복적으로 갱신하는 전략이 더 유리함을 확인했습니다. 더 나아가 프록시 보상과 전문가 보상 사이의 정적 정렬(static alignment), 특히 advantage correlation이 이후 강화학습의 성패를 설명하는 유용한 휴리스틱이 될 수 있음을 제시했습니다. 결국 이 논문은 모호한 고난도 영역에서도 온라인 자연어 피드백을 통해 전문가 감독의 데이터 효율성을 크게 높일 수 있음을 입증하며, 프롬프트 기반의 빠른 조정보다 가중치 수준의 학습이 보다 견고하고 강력한 정렬을 이끈다는 점을 분명하게 보여 줍니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.