UniIntervene: 효율적인 실세계 강화학습을 위한 에이전트형 개입
UniIntervene: Agentic Intervention for Efficient Real-World Reinforcement Learning
인간 개입 강화학습(HiL-RL)은 인간의 지도를 통해 온라인 정책 개선을 가능하게 하여 실세계 로봇 조작을 위한 효과적인 패러다임으로 부상했습니다. 그러나 현재의 HiL-RL 프레임워크는 여전히 개입 집약적이며, 비생산적인 탐험에서 정책을 재설정하기 위해 빈번한 인간의 수정에 의존하여 높은 인건비를 초래하고 실세계 확장성을 제한합니다. 이를 해결하기 위해 우리는 비생산적인 탐험을 감지하고 정책을 고가치 상태로 자율적으로 복구하여 인간 운영자로부터 개입의 대부분을 넘겨받는 에이전트형 개입 모델인 UniIntervene를 제안합니다. 구체적으로, UniIntervene는 먼저 미래 조건부 행동 가치 추정을 수행하여 현재 행동의 잠재적 결과를 예측하고 유도된 가치를 평가하며, 이는 더 안정적인 진행 신호를 제공합니다. 이를 기반으로 시간적 가치-위험 비평가(temporal value-risk critic)는 최근 가치 역학을 집계하고 추정된 가치가 지속적인 정체 또는 저하를 보일 때 개입을 유발합니다. 개입이 필요한 경우, UniIntervene는 과거 개입 에피소드의 메모리에서 고가치 복구 목표를 검색하고 목표 조건부 복구 정책을 통해 실행 가능한 수정 행동을 생성합니다. 이러한 방식으로 UniIntervene는 개입을 수동적인 인간 수정에서 효율적인 실세계 강화학습을 위한 가치 인식 복구 과정으로 전환합니다. 다양한 실세계 조작 작업에 대한 광범위한 실험을 통해 UniIntervene는 최신 HiL-RL 기준선 대비 인간 개입을 57% 감소시키면서 평균 성공률을 8.6% 향상시키는 것으로 입증되었습니다.