Refine and Imitate: Reducing Repetition and Inconsistency in Persuasion Dialogues via Reinforcement Learning and Human Demonstration
원문 초록
Persuasion dialogue systems reflect the machine's ability to make strategic moves beyond verbal communication, and therefore differentiate themselves from task-oriented or open-domain dialogue systems and have their own unique values. However, the repetition and inconsistency problems still persist in dialogue response generation and could substantially impact user experience and impede the persuasion outcome. Besides, although reinforcement learning (RL) approaches have achieved big success in strategic tasks such as games, they require a sophisticated user simulator to provide real-time feedback to the dialogue system, which limits the application of RL on persuasion dialogues. To address these issues towards a better persuasion dialogue system, we apply RL to refine a language model baseline without user simulators, and distill sentence-level information about repetition, inconsistency, and task relevance through rewards. Moreover, to better accomplish the persuasion task, the model learns from human demonstration to imitate human persuasion behavior and selects the most persuasive responses. Experiments show that our model outperforms previous state-of-the-art dialogue models on both automatic metrics and human evaluation results on a donation persuasion task, and generates more diverse, consistent and persuasive conversations according to the user feedback.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
턴 단위 중요도 샘플링과 클리핑 유발 정규화를 통한 장기 LLM 에이전트 오프-정책 학습의 안정화
Stabilizing Off-Policy Training for Long-Horizon LLM Agent via Turn-Level Importance Sampling and Clipping-Triggered Normalization
PPO 및 GRPO와 같은 강화학습(RL) 알고리즘은 다중 턴 에이전트 과제를 위한 대규모 언어 모델(LLM) 학습(training)에 널리 사용됩니다. 그러나 오프-정책(off-policy) 학습 파이프라인에서 이러한 방법은 불안정한 최적화 역학을 보이고 성능 붕괴가 발생하기 쉽습니다. 실증적 분석을 통해, 우리는 이 설정에서 불안정성을 초래하는 두 가지 근본적인 원인을 식별했습니다. 즉, (1) 토큰(token) 단위 정책 최적화와 턴 구조화된 상호작용 간의 세분성 불일치, 그리고 (2) 오프-정책 중요도 샘플링과 부정확한 어드밴티지 추정으로 인해 유도되는 고분산 및 신뢰할 수 없는 그래디언트(gradient) 업데이트입니다. 이러한 문제를 해결하기 위해, 우리는 장기 에이전트 학습을 안정화하는 오프-정책 강화학습인 SORL(Stabilizing Off-Policy Reinforcement Learning for Long-Horizon Agent Training)을 제안합니다. SORL은 정책 최적화를 다중 턴 상호작용 구조와 정렬하고 신뢰할 수 없는 오프-정책 업데이트를 적응적으로 억제하는 메커니즘을 도입하여, 더 보수적이고 강건한 학습 역학을 제공합니다. 이 프레임워크 내에서 우리는 SO-PPO와 SO-GRPO라는 두 가지 안정화된 알고리즘을 구체화합니다. 두 알고리즘 모두 세심한 조기 종료(early stopping)나 휴리스틱 튜닝 없이도 그래디언트 분산을 완화하고 최적화 붕괴를 방지하도록 설계되었습니다. 우리는 오픈 도메인 QA, 멀티홉 QA, 의료 객관식 QA를 아우르는 벤치마크에서 SO-PPO와 SO-GRPO를 평가하고, DAPO-Math-17k에서 학습한 후 AIME-2024에서 검증함으로써 수학적 추론을 위한 비동기 강화학습으로의 전이 능력을 추가로 평가합니다. 이러한 결과는 SORL이 다중 턴 LLM 에이전트 학습 및 수학적 추론을 위한 비동기 강화학습에서 강화학습을 안정화하기 위한 실용적이고 확장 가능하며 범용적인 프레임워크를 제공함을 보여줍니다.
읽기 난이도 예측 변수로서의 에너지 기반 트랜스포머
Energy-Based Transformers as Predictors of Reading Difficulty
트랜스포머 언어 모델은 인간의 문장 처리를 모델링하는 데 정착된 도구가 되었으며, 놀람(surprisal)과 어텐션 엔트로피(attention entropy)와 같은 측정치는 읽기 난이도의 효과적인 예측 변수로 작용하여 함께 처리 부하의 상보적 측면을 포착한다. 본 연구에서는 관련된 한 클래스의 트랜스포머 모델, 즉 에너지 기반 트랜스포머(energy-based transformers)를 탐험한다. 이들은 연상 기억(associative memory) 모델과 원칙적인 형식적 연결을 제공하며, 처리(processing) 연구를 Hopfield 네트워크와 dense associative memory에 관한 더 넓은 문헌과 직접 접촉시킨다. 우리가 아는 한, 이는 계산 심리언어학(computational psycholinguistics)에서 에너지 기반 트랜스포머 측정치를 탐험한 최초의 시도이다. 읽기 시간(reading-time) 코퍼스(Natural Stories, UCL eye-tracking, UCL self-paced reading) 전반에 걸쳐, 에너지 측정치는 읽기 시간의 견고한 예측 변수이며, 세 코퍼스 모두에서 놀람(surprisal)을 넘어서는 유의미한 적합도를 제공한다. 관계절 처리에 대한 통제 실험에서, 단일 층에서의 에너지는 잘 알려진 목적어/주어 비대칭성(object/subject asymmetry)을 포착한다. 우리는 이것이 어텐션 엔트로피와 놀람(surprisal) 모두에 기인하는 효과를 포괄한다는 증거를 발견하며, 이는 이전에 여러 상보적 측정치가 필요했던 경우에 에너지가 단일 통합 예측 변수로 작용할 수 있음을 시사한다.
Inverse Reinforcement Learning Meets Large Language Model Post-Training: Basics, Advances, and Opportunities
DIBERT: Dependency Injected Bidirectional Encoder Representations from Transformers
Imitation Learning for Sentence Generation with Dilated Convolutions Using Adversarial Training
A Bit of Progress in Language Modeling
토론
이 논문과 연결된 포럼 글이 아직 없습니다.