arXiv:2404.08555

RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs

Shreyas Chaudhari, Pranjal Aggarwal, Vishvak Murahari, Tanmay Rajpurohit, Ashwin Kalyan, Karthik Narasimhan, Ameet Deshpande, Bruno Castro da Silva

제출 2024-04-12

원문 초록

State-of-the-art large language models (LLMs) have become indispensable tools for various tasks. However, training LLMs to serve as effective assistants for humans requires careful consideration. A promising approach is reinforcement learning from human feedback (RLHF), which leverages human feedback to update the model in accordance with human preferences and mitigate issues like toxicity and hallucinations. Yet, an understanding of RLHF for LLMs is largely entangled with initial design choices that popularized the method and current research focuses on augmenting those choices rather than fundamentally improving the framework. In this paper, we analyze RLHF through the lens of reinforcement learning principles to develop an understanding of its fundamentals, dedicating substantial focus to the core component of RLHF -- the reward model. Our study investigates modeling choices, caveats of function approximation, and their implications on RLHF training algorithms, highlighting the underlying assumptions made about the expressivity of reward. Our analysis improves the understanding of the role of reward models and methods for their training, concurrently revealing limitations of the current methodology. We characterize these limitations, including incorrect generalization, model misspecification, and the sparsity of feedback, along with their impact on the performance of a language model. The discussion and analysis are substantiated by a categorical review of current literature, serving as a reference for researchers and practitioners to understand the challenges of RLHF and build upon existing efforts.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2507.13348cs.CV공통 태그 Language Modelling, reinforcement-learning

VisionThink: Smart and Efficient Vision Language Model via Reinforcement Learning

최근 비전-언어 모델(VLM)의 발전은 시각 토큰 수를 증가시켜 성능을 향상시켰으며, 시각 토큰은 텍스트 토큰보다 훨씬 긴 경우가 많습니다. 그러나 대부분의 실제 시나리오에서는 이처럼 많은 시각 토큰이 필요하지 않다는 점을 관찰하였습니다. OCR 관련 작업의 일부 소규모 집합에서는 성능이 크게 저하되지만, 대부분의 일반적인 VQA(Visual Question Answering) 작업에서는 1/4 해상도만으로도 정확한 성능을 유지합니다. 이에 본 논문에서는 서로 다른 샘플에 대해 동적으로 해상도를 조절하여 처리하는 새로운 시각 토큰 압축 패러다임인 VisionThink를 제안합니다. VisionThink는 저해상도 이미지를 시작점으로 하여 문제 해결에 충분한지 스마트하게 판단하며, 그렇지 않은 경우 더 높은 해상도의 이미지를 요청하는 특수 토큰을 출력할 수 있습니다. 기존의 고정된 가지치기 비율 또는 임계값을 사용하여 토큰을 압축하는 효율적 VLM 방법과 달리, VisionThink는 사례별로 토큰 압축 여부를 자율적으로 결정합니다. 그 결과 OCR 관련 작업에서 세밀한 시각 이해 능력을 발휘하는 동시에, 단순한 작업에서는 상당한 시각 토큰 절약 효과를 보입니다. 강화학습을 도입하고, LLM-as-Judge 전략을 제안하여 일반적인 VQA 작업에 성공적으로 RL을 적용하였습니다. 또한 안정적이고 합리적인 이미지 크기 조정 호출 비율을 달성하기 위해 보상 함수와 페널티 메커니즘을 정교하게 설계하였습니다. 광범위한 실험을 통해 본 방법의 우수성, 효율성 및 효과성을 입증하였습니다. 본 코드 저장소는 https://github.com/dvlab-research/VisionThink 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.