arXiv:2601.18751v2 cs.LG

신뢰하거나, 불신하거나, 뒤집거나: 다중 전문가 피드백을 활용한 강건한 선호도 기반 강화학습

Trust, Don't Trust, or Flip: Robust Preference-Based Reinforcement Learning with Multi-Expert Feedback

Seyed Amir Hosseini, Maryam Abdolali, Amirhosein Tavakkoli, Fardin Ayar, Ehsan Javanmardi, Manabu Tsukada, Mahdi Javanmardi

제출 2026-01-26

저자 비고

arXiv Comments

Equal contribution: Seyed Amir Hosseini and Maryam Abdolali. Corresponding author: Maryam Abdolali ([email omitted])

한국어 초록

선호도 기반 강화학습(PBRL)은 궤적 쌍 비교로부터 학습함으로써 명시적인 보상 엔지니어링을 대체할 유망한 대안을 제공합니다. 그러나 실제 선호도 데이터는 정확하거나 노이즈가 있거나 체계적으로 적대적인 등 신뢰도가 다양한 이종 어노테이터로부터 수집되는 경우가 많습니다. 기존 PBRL 방식은 모든 피드백을 동등하게 취급하거나 신뢰할 수 없는 출처를 필터링하려고 시도하지만, 체계적으로 잘못된 선호도를 제공하는 적대적 어노테이터에 직면했을 때 두 접근법 모두 실패합니다. 본 논문에서는 다중 전문가 선호도 피드백으로부터 공유 보상 모델과 전문가별 신뢰 파라미터를 공동으로 학습하는 통합 프레임워크인 TriTrust-PBRL(TTP)을 제안합니다. 핵심 통찰은 그래디언트 기반 최적화 과정에서 신뢰 파라미터가 자연스럽게 양수(신뢰), 0에 가까운 값(무시), 또는 음수(뒤집기)로 발전하여, 손상된 피드백을 단순히 폐기하는 대신 적대적 선호도를 자동으로 반전시켜 유용한 신호를 복원할 수 있다는 점입니다. 명시적인 지도 없이도 학습 중에 전문가 분리가 자연스럽게 나타나는 방식을 설명하는 상세한 그래디언트 분석과 식별 가능성 보장을 확립하는 이론적 분석을 제시합니다. 실험적으로 조작 태스크(MetaWorld)와 보행(DM Control)을 아우르는 네 가지 다양한 도메인에서 다양한 손상 시나리오에 대해 TTP를 평가했습니다. TTP는 표준 PBRL 방법들이 치명적으로 실패하는 적대적 손상 상황에서도 오라클에 준하는 성능을 유지하며 최고 수준의 강건성을 달성합니다. 특히 TTP는 식별 인덱스 외의 추가적인 전문가 특징을 요구하지 않고 기존 PBRL 파이프라인에 매끄럽게 통합되면서도, 신뢰할 수 있는 어노테이터와 적대적인 어노테이터가 모두 포함된 혼합 전문가 풀로부터 성공적으로 학습하여 기존 베이스라인을 능가합니다.

원문 초록

Preference-based reinforcement learning (PBRL) offers a promising alternative to explicit reward engineering by learning from pairwise trajectory comparisons. However, real-world preference data often comes from heterogeneous annotators with varying reliability; some accurate, some noisy, and some systematically adversarial. Existing PBRL methods either treat all feedback equally or attempt to filter out unreliable sources, but both approaches fail when faced with adversarial annotators who systematically provide incorrect preferences. We introduce TriTrust-PBRL (TTP), a unified framework that jointly learns a shared reward model and expert-specific trust parameters from multi-expert preference feedback. The key insight is that trust parameters naturally evolve during gradient-based optimization to be positive (trust), near zero (ignore), or negative (flip), enabling the model to automatically invert adversarial preferences and recover useful signal rather than merely discarding corrupted feedback. We provide theoretical analysis establishing identifiability guarantees and detailed gradient analysis that explains how expert separation emerges naturally during training without explicit supervision. Empirically, we evaluate TTP on four diverse domains spanning manipulation tasks (MetaWorld) and locomotion (DM Control) under various corruption scenarios. TTP achieves state-of-the-art robustness, maintaining near-oracle performance under adversarial corruption while standard PBRL methods fail catastrophically. Notably, TTP outperforms existing baselines by successfully learning from mixed expert pools containing both reliable and adversarial annotators, all while requiring no expert features beyond identification indices and integrating seamlessly with existing PBRL pipelines.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.18751v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13617v1cs.CL공통 태그 Reinforcement Learning (RL), reward modeling

잠재적 내재 피드백을 통한 사용자 시뮬레이터 학습

Training User Simulators with Latent Intrinsic Feedback

사용자 시뮬레이터(user simulator)는 실제 사용자와의 멀티턴(multi-turn) 대화에서 발생하는 미묘한 차이에 더 잘 대응할 수 있는 LLM 어시스턴트를 학습시키기 위한 환경으로서 주목받고 있다. 사용자 시뮬레이션에 관한 기존 연구는 사실적인 사용자 발화를 생성하는 데 중점을 두었으며, 어시스턴트 응답에 대한 직접적인 피드백 소스로서의 잠재력은 탐구되지 않은 채로 남아 있었다. 이러한 평가 신호는 언어로 명시적으로 전달되지 않을 수 있으며, 대신 사용자의 잠재적 추론(latent reasoning) 속에 존재할 수 있다. 본 연구에서는 내재적 피드백(intrinsic feedback)을 갖춘 사용자 시뮬레이터, 즉 각 대화 턴마다 1인칭 사용자 관점에서 어시스턴트를 평가하는 내적 생각, 반응, 스칼라 평점과 같은 잠재적 평가 상태(latent evaluation state)를 갖춘 모델을 소개한다. 우리는 실제 사용자와 어시스턴트 간의 상호작용 로그를 사용하여 LLM 기반 시뮬레이터를 학습시키고, 내재적 피드백이 프롬프트 기반(prompted) 시뮬레이터 베이스라인에 비해 시뮬레이션의 현실성과 비판적(critiquing) 행동을 개선하는 동시에, 기존의 파인튜닝된 시뮬레이터에는 없는 턴 단위(turn-level) 평가를 제공함을 보인다. 더 나아가, 우리가 학습시킨 시뮬레이터가 생성한 평가는 동일한 크기의 프롬프트 기반 시뮬레이터보다 인간 판단과 더 높은 상관관계를 보인다. 마지막으로, 우리의 실험은 내재적 피드백을 갖춘 시뮬레이터가 멀티턴 강화학습(RL) 학습을 위한 효과적인 보상 신호를 제공하며, 외부 심판 LLM(judge LLM)에 의존해 보상을 산출하는 설정과 동등한 성능을 내면서도 RL 연산량을 절반 이상 줄인다는 것을 보여준다.

arXiv:2610.13737v1cs.LG공통 태그 Reinforcement Learning (RL), Continuous Control

SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해

SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning

협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.

arXiv:2610.10932v1cs.LG공통 태그 Reinforcement Learning (RL), Continuous Control

목표 조건부 강화학습을 위한 월드 모델 정책 중재자

World-Model Policy Arbiter for Goal-Conditioned Reinforcement Learning

오프라인 목표 조건부 강화학습(GCRL)은 다양한 목표 도달 알고리즘을 만들어냈지만, 여러 환경, 목표, 심지어 동일한 작업의 서로 다른 단계 전반에서 항상 최상의 성능을 내는 단일 알고리즘은 존재하지 않습니다. 본 연구에서는 가장 성능이 좋은 단일 정책만을 배포하는 대신, 동결된(frozen) 목표 조건부 정책들의 집합을 포트폴리오로 공동 활용하여 매 상태마다 어떤 정책이 행동해야 할지 결정할 수 있는지를 질문합니다. 각 상태에서 정책을 선택하는 것은 간단하지 않습니다. 각 정책 자체의 가치 함수는 서로 다른 척도를 사용할 수 있고 일부 정책은 가치 함수가 없기 때문에 직접 비교할 수 없습니다. 또한 한 번에 하나의 정책만 실행할 수 있음에도 불구하고, 각 정책이 도달할 가능성이 높은 상태를 바탕으로 정책을 판단해야 합니다. 아울러 제어가 불안정해질 정도로 정책을 너무 자주 전환하는 것도 피해야 합니다. 이러한 과제를 해결하기 위해, 동결된 정책 집합이 입력으로 주어졌을 때 학습된 상태 공간 월드 모델에서 각 동결된 정책을 롤아웃하고, 공유된 목표 조건부 가치 함수로 상상된 미래를 평가하며, 다음 중재(정책 선택) 라운드 전까지 짧은 약정 구간(commitment interval) 동안 가장 높은 점수를 받은 정책을 실행하는 테스트 시간 프레임워크인 월드 모델 정책 중재자(WMPA)를 제안합니다. WMPA는 동결된 목표 조건부 정책 뱅크에 대한 접근을 가정하며, 정책 재학습이나 특권적인 작업 특화 지식을 필요로 하지 않습니다. 미로 내비게이션뿐만 아니라 큐브, 씬, 퍼즐 조작에 걸친 18개 상태 기반 데이터셋에 대한 공식 OGBench 평가 프로토콜에서, WMPA는 데이터셋별로 선택된 최고 성능 정책이 달성한 44%의 매크로 평균 성공률을 58%로 향상시켰으며, 12개 데이터셋에서 통계적으로 유의미한 성능 향상을 보였습니다. 이러한 향상에는 cube-double-play에서의 +33%포인트 및 scene-play에서의 +36%포인트 향상이 포함됩니다.

arXiv:2610.11085v1cs.LG공통 태그 Reinforcement Learning (RL), Continuous Control

DaCe-DT: 이종 태스크를 위한 적응형 프롬프트 및 궤적 보정을 통한 데이터 중심 오프라인 멀티태스크 강화학습

DaCe-DT: Data-Centric Offline Multi-Task Reinforcement Learning via Adaptive Prompts and Trajectory Correction for Heterogeneous Tasks

오프라인 멀티태스크 강화학습(Offline MTRL)은 사전에 수집된 데이터의 품질과 분포에 크게 의존합니다. 그러나 기존 방법들은 주로 알고리즘적 최적화에 집중하며, 학습 능력과 일반화 성능을 향상시키기 위한 데이터 수준의 개선에는 덜 주목해 왔습니다. 본 논문은 데이터 관점에서 Offline MTRL 성능을 제한하는 세 가지 핵심 병목 현상을 밝혀냅니다: (i) 다양한 태스크 복잡도 하에서 비효율적인 프롬프트(prompt) 길이 활용, (ii) 무작위로 샘플링된 프롬프트 세그먼트의 의미론적 무관성, (iii) 파편화되고 불연속적인 궤적(trajectory)으로 인해 유도되는 오해의 소지가 있는 지도(supervision). 이러한 문제를 해결하기 위해, 우리는 길이 제어 프롬프트 마스킹(LGPM), 검색 증강 프롬프트 구성(RAPC), 가치 적응형 리턴 보정(VARC)을 특징으로 하여 이종 태스크의 복잡도 및 데이터 품질에 둔감하도록 설계된 강건한 오프라인 MTRL 프레임워크인 DaCe-DT를 제안합니다. 이러한 메커니즘들이 결합되어 DaCe-DT는 데이터 중심의 프롬프트 적응 및 궤적 정제를 제공하며, 이를 통해 이종 오프라인 데이터와 태스크 속에서도 강건한 멀티태스크 일반화와 안정적인 정책 학습을 가능하게 합니다. Meta-World에서의 실험 결과는 DaCe-DT가 기존 최고 수준의 방법들을 일관되게 능가하여 최적 데이터셋에서 평균 11.73%, 준최적 데이터셋에서 13.34%의 향상을 달성함을 보여주며, 불완전한 데이터로부터 안정적으로 학습하고 전반적인 멀티태스크 성능을 개선하는 데 있어서의 효과를 입증합니다.

arXiv:2609.27667v1cs.LG공통 태그 Continuous Control, Adversarial Robustness

위험 민감성과 크리틱 일관성 정규화를 적용한 강건한 적대적 강화학습

Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization

강화학습(RL)은 순차적 의사결정에서 강한 성능을 달성하지만, 동적 불�determ실성과 분포 이동 하에서는 여전히 취약하다. 강건한 적대적 강화학습(RARL)은 최악의 경우 교란을 통해 견고성을 개선하지만, 기존 접근법은 불안정한 최적화와 저하된 가치 추정에 자주 시달린다. 특히 과도하게 공격적인 적대자는 에이전트를 정보가 없는 실패 상태로 이끌 수 있으며, 적대적 교란은 이중 크리틱 간 불일치를 증폭시키고 편향된 가치 타깃을 유도한다. 우리는 위험 민감(risk-sensitive) 관점에서 적대적 RL을 재검토하는 통합 프레임워크 RACER(Risk-sensitive robust Adversarial critic ConsistEncy-regularized Reinforcement learning)를 제안한다. 먼저, 상태 의존적 적대적 목적함수를 도입하여 교란 강도를 적응적으로 조절하고, 유해한 교란을 억제하면서 정보가 있는 탐험을 유지한다. 둘째, Q-가치 추정기 간 불일치를 줄이고 학습을 안정화하기 위해 크리틱 일관성 정규화를 제안한다. 도전적인 연속 제어 벤치마크에 대한 포괄적 실험은 RACER가 강력한 강건 RL 베이스라인 대비 성능, 견고성, 학습 안정성을 지속적으로 개선함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.