본 연구에서는 인간 전문가가 제공하는 쌍별 궤적 비교로부터의 강화학습(RL) 문제를 다룬다. 전문가가 궤적 쌍을 비교 불가능(incomparable)하다고, 즉 어떤 궤적도 다른 궤적을 지배하지 않을 때 라벨링할 수 있는 새로운 설정을 형식화함으로써 선호 기반 강화학습을 일반화한다. 학습 문제와 그 해결책이 만족해야 할 요구 조건을 소개한다. 이어서 비교 불가능성을 효과적으로 포착하고 다차원 보상 함수를 추론하는 Bradley-Terry에서 영감을 받은 새로운 합리성 모델을 제안하고 그 특성을 연구한다. 데이터셋이 주어졌을 때 모델 파라미터 학습에 대한 샘플 복잡도 분석을 제공한다. 마지막으로, 시뮬레이션 환경에서 전문가의 비교와 일치하는 보상 함수를 재구성하고 정책의 파레토 프런티어를 복원하는 모델의 능력을 평가하며, 전문가 합리성의 다양한 수준에 걸친 견고성 분석도 함께 수행한다.
선호 기반 강화학습(Preference-based RL)은 행동의 쌍대 비교를 통해 보상 모델을 학습하는 방법을 제공하여, 명시적인 보상 설계가 필요 없게 합니다. 그러나 기존 방법은 일반적으로 수동적인 데이터 수집에 의존하며, 특히 학습 초기 단계에서 샘플 효율성이 낮다는 문제가 있습니다. 본 연구에서는 보상, 역학(dynamics), 가치 함수의 불확실성을 통합적으로 추론하여 탐험을 능동적으로 유도하는 모델 기반 접근법을 제안합니다. 제안하는 방법인 불확실성 균형 선호 계획(UBP2)은 보상, 역학, 가치 함수 모델의 앙상블을 활용하여, 기대 보상, 종단 가치, 인식론적 불확실성을 결합한 통합 점수를 기준으로 후보 궤적을 평가합니다. 이 목적 함수 하에서의 계획은 임시적인 탐험 휴리스틱 없이 활용과 정보 획득 사이의 명시적인 트레이드오프를 제공합니다. 표준 정칙성 가정 하에서, 유한 수평(finite-horizon) 및 무한 수평(infinite-horizon) 설정 모두에 대해 아선형 후회(sublinear regret) 보장을 입증합니다. 실험 결과, Meta-World 벤치마크에서 UBP2는 모델 프리(model-free) 선호 기반 방법 및 비낙관적(non-optimistic) 모델 기반 기준선(baseline)보다 훨씬 높은 샘플 효율성을 달성하는 것으로 나타났습니다.