신뢰하거나, 불신하거나, 뒤집거나: 다중 전문가 피드백을 활용한 강건한 선호도 기반 강화학습
Trust, Don't Trust, or Flip: Robust Preference-Based Reinforcement Learning with Multi-Expert Feedback
선호도 기반 강화학습(PBRL)은 궤적 쌍 비교로부터 학습함으로써 명시적인 보상 엔지니어링을 대체할 유망한 대안을 제공합니다. 그러나 실제 선호도 데이터는 정확하거나 노이즈가 있거나 체계적으로 적대적인 등 신뢰도가 다양한 이종 어노테이터로부터 수집되는 경우가 많습니다. 기존 PBRL 방식은 모든 피드백을 동등하게 취급하거나 신뢰할 수 없는 출처를 필터링하려고 시도하지만, 체계적으로 잘못된 선호도를 제공하는 적대적 어노테이터에 직면했을 때 두 접근법 모두 실패합니다. 본 논문에서는 다중 전문가 선호도 피드백으로부터 공유 보상 모델과 전문가별 신뢰 파라미터를 공동으로 학습하는 통합 프레임워크인 TriTrust-PBRL(TTP)을 제안합니다. 핵심 통찰은 그래디언트 기반 최적화 과정에서 신뢰 파라미터가 자연스럽게 양수(신뢰), 0에 가까운 값(무시), 또는 음수(뒤집기)로 발전하여, 손상된 피드백을 단순히 폐기하는 대신 적대적 선호도를 자동으로 반전시켜 유용한 신호를 복원할 수 있다는 점입니다. 명시적인 지도 없이도 학습 중에 전문가 분리가 자연스럽게 나타나는 방식을 설명하는 상세한 그래디언트 분석과 식별 가능성 보장을 확립하는 이론적 분석을 제시합니다. 실험적으로 조작 태스크(MetaWorld)와 보행(DM Control)을 아우르는 네 가지 다양한 도메인에서 다양한 손상 시나리오에 대해 TTP를 평가했습니다. TTP는 표준 PBRL 방법들이 치명적으로 실패하는 적대적 손상 상황에서도 오라클에 준하는 성능을 유지하며 최고 수준의 강건성을 달성합니다. 특히 TTP는 식별 인덱스 외의 추가적인 전문가 특징을 요구하지 않고 기존 PBRL 파이프라인에 매끄럽게 통합되면서도, 신뢰할 수 있는 어노테이터와 적대적인 어노테이터가 모두 포함된 혼합 전문가 풀로부터 성공적으로 학습하여 기존 베이스라인을 능가합니다.