arXiv:2609.28378v1 cs.RO

ForgetMimic: 강화학습 휴머노이드 제어를 위한 모션 언러닝

ForgetMimic: Motion Unlearning for Reinforcement Learning Humanoid Control

Xukun Luan, Zhongxiang Lei, Chen Gong, Shaowei Li, Yuanguo Bi, Jinyan Liu

제출 2026-09-24

한국어 초록

인간 시연을 활용한 휴머노이드 제어는 강화학습(RL)을 통해 다양하고 민첩하며 자연스러운 이동(locomotion) 행동을 달성해 왔다. 이 패러다임이 물리 세계 휴머노이드 제어에서 뛰어난 성능을 보여 주었지만, 학습된 정책에서 특정 동작을 제거하는 방법은 여전히 충분히 탐구되지 않았다. 이 문제를 다루는 동기는 긴급한 안전성 및 프라이버시 우려에서 비롯된다. 악의적이거나 오염된, 또는 차선의 동작뿐 아니라 GDPR과 같은 규정에 따른 잊혀질 권리(right to be forgotten)의 대상이 되는 저작권 보호 동작을 제거하는 것은 매우 중요하다. 이를 위해 우리는 물리 세계 휴머노이드 제어를 위해 특별히 설계된 최초의 모션 수준 언러닝 방법인 ForgetMimic을 제안한다. ForgetMimic의 핵심 아이디어는 다음과 같다. $N$개의 동작으로 학습된 정책 $\pi_\theta$가 주어졌을 때, 우리 방법은 목표 부분집합인 $K$개 동작에 대한 성능을 저하시키면서 나머지 $N-K$개 동작의 효과는 유지한다. 또한 우리는 로봇 제어에서 언러닝 실패로 이어지는 두 가지 핵심 학습 메커니즘을 식별하고 해결한다. Unitree G1 및 H2 휴머노이드 로봇에서 Dance, Fight, Flip 등 12가지 동작에 걸쳐 광범위한 실험을 수행했다. 실험 결과는 ForgetMimic이 지정된 동작에 대한 기억을 효과적으로 제거하면서 다른 모든 동작의 정상 동작을 유지함을 보여 준다.

원문 초록

Humanoid control, leveraging human demonstrations, has achieved diverse, agile, and natural locomotion behaviors through reinforcement learning (RL). While this paradigm has yielded remarkable performance in physical humanoid control, how to eliminate specific motions from learned policies remains insufficiently explored. Addressing this issue is motivated by pressing safety and privacy concerns: the removal of malicious, poisoned, or suboptimal motions, as well as copyright-protected motions subject to the right to be forgotten under regulations such as the GDPR, is of critical importance. To this end, we propose {ForgetMimic}, the first motion-level unlearning method designed specifically for physical-world humanoid control. The core idea of ForgetMimic is as follows: given a policy $\pi_\theta$ trained on $N$ motions, our method degrades performance on a target subset of $K$ motions while preserving the effectiveness of the remaining $N-K$ motions. Furthermore, we identify and resolve two key training mechanisms in robot control that lead to unlearning failure. We conduct extensive experiments on the Unitree G1 and H2 humanoid robots across 12 motions, including Dance, Fight, Flip, and others. Experimental results demonstrate that ForgetMimic effectively eliminates memory of designated motions while maintaining the normal operation of all other motions.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.28378v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27450v1cs.RO공통 태그 Imitation Learning, Continuous Control, Deep Reinforcement Learning

BEE: 비전-언어-액션 모델을 위한 개입 적응형 실세계 강화학습

BEE: Intervention-Adaptive Real-World Reinforcement Learning with Vision-Language-Action Models

비전-언어-액션(VLA) 모델은 장기 조작을 수행하지만, 성공 여부는 밀리미터 단위 오류가 그동안의 진행을 모두 무효화하는 소수의 정밀도가 중요한 구간에 달려 있다. 온라인 강화학습(RL)은 바로 이러한 동작을 최적화할 수 있으나, 실제 로봇에서 자유 탐험은 비용이 지나치게 커 인간의 교정이 필수적이다. 그러나 VLA용 기존 온라인 RL 방법은 이러한 교정을 반영하지 못하거나 구분 없는 지도로 흡수한다. 인간 교정은 전 구간에서 균일하게 노이즈가 있는 것이 아니라, 어떤 동작 차원에서는 신뢰할 수 있고 다른 차원에서는 변동이 크다. 이에 기반해 우리는 고정 VLA 위에서 실세계 RL을 수행하는 개입 적응형 프레임워크 BEE를 제안하며, 정책이 전문가 모방을 넘어(BEyond Expert imitation) 나아가도록 한다. 인간 교정을 재현할 동작이 아니라 제약에 대한 증거로 공식화하고, Correction Model이 주어진 VLA 제안에 대해 인간이 어떻게 교정할지와 각 동작 차원에서 교정이 얼마나 일관적인지를 예측한다. 이 일관성 예측이 정책 최적화 제약의 차원별 엄격도를 정한다. 교정이 일관적인 차원에서는 정책이 인간에 가깝게 유지되고, 변동이 큰 차원에서는 제약이 완화된다. 동일한 온라인 데이터 예산 하에서 BEE를 실세계 조작 과제 3개와 LIBERO-Pro 시뮬레이션 과제 1개에서 평가했다. BEE는 모든 과제에서 최고 성공률(평균 91.2%, RLT 57.5%, DSRL 42.1%)을 기록했으며, 모든 실세계 과제에서 인간 개입률이 가장 낮았다.

arXiv:2607.21111v1cs.LG공통 태그 Continuous Control, Deep Reinforcement Learning, Machine Unlearning

TOUR: 오프라인 강화학습을 위한 궤적 수준 언러닝 벤치마크

TOUR: A Trajectory-Level Unlearning Benchmark for Offline Reinforcement Learning

오프라인 강화학습(RL) 에이전트는 고정된 행동 궤적으로 학습되므로, 학습 후 선택된 데이터를 제거해야 할 때 궤적 수준 삭제가 중요하다. 이러한 삭제를 평가하기는 어렵다. 더 낮은 멤버십 점수가 궤적 제거, 다른 공격에 드러나는 잔존 기억, 또는 유용한 행동을 파괴하는 정책 붕괴를 반영할 수 있기 때문이다. 우리는 오프라인 RL에서의 궤적 수준 기억과 언러닝(Trajectory-level memOrization and Unlearning in offline RL, TOUR)을 소개한다. 이 벤치마크는 궤적 수준 분할, 매칭된 비멤버 대조군, 재학습 기준, 유지 성능 앵커, 다중 공격 프라이버시 감사를 결합한다. D4RL locomotion 실험과 탐색적 AntMaze 확장 전반에 걸쳐 TOUR는 일반적인 삭제 베이스라인이 환경에 따라 다른 프라이버시-유틸리티 거동을 보임을 보여준다. 재학습과 미세조정은 균일한 GA+Refit보다 더 강한 유지 유틸리티 기준을 제공하는 경우가 많으며, TrajDeleter는 유용한 비교 대상으로 남지만 동일한 감사 하에서는 일관되게 더 강하지는 않다. 기준 모델, 임계값, 편차, 동등성, 행동 오류, 표현 기반, 쿼리 제한 공격은 추가로 단일 가능도 기반 멤버십 점수가 삭제 품질을 과대평가할 수 있음을 보여준다. 평가된 설정에서 오프라인 RL 언러닝에 대한 결론은 따라서 단일 점수 감사 하에서는 안정적이지 않다. 이들은 매칭된 비멤버 구성, 재학습 상대 보정, 공격 계열, 유지 유틸리티, 그리고 진단 아키텍처 또는 구성요소 수준 증거에 대한 명시적 범위에 의존한다.

arXiv:2607.21302v1cs.AI공통 태그 Imitation Learning, Continuous Control, Deep Reinforcement Learning

전문가 행동 사전 강화학습

Expert Behavior Prior Reinforcement Learning

행동 사전 강화학습(BPRL)은 오프라인 시연에서 유도된 정책 사전을 활용하여 온라인 강화학습(RL)의 샘플 효율성을 개선하는 유망한 패러다임으로 부상했다. 그러나 기존 BPRL 방법 대부분은 정적 오프라인 데이터셋에 의존하며, 이는 종종 낮은 데이터 다양성과 최적이 아닌 궤적 품질 문제를 겪는다. 이러한 의존은 정책 사전의 효과를 제한하여 온라인 학습 중 정책 활용과 안정성을 모두 저해한다. 결과적으로 에이전트는 비효율적인 탐험과 불안정한 학습 역학에 취약해진다. 이러한 한계를 해결하기 위해, 우리는 기존 오프라인 사전학습 방법에서 벗어나 전문가 행동 사전(EBP) 알고리즘을 제안한다. 구체적으로, 온라인 리플레이 버퍼로부터 직접 전문가 정책 사전을 생성하는 방법을 학습하는 Q-유도 조건부 변분 오토인코더(Q-CVAE)를 도입한다. 이를 통해 사전 수집된 전문가 궤적에 의존하지 않고도 정책 업데이트를 안내하는 고가치 행동을 생성할 수 있다. 정책 활용을 더욱 향상시키기 위해, 생성적 지원 집합에서 전문가 행동을 선택하는 전문가 정책 안내(EPG) 메커니즘을 제안하고, Q-유도와 전문가 감독을 조화시켜 안정적이고 일관된 정책 개선을 촉진하는 정책 그래디언트 보정(PGC) 모듈을 통합한다. 로봇 제어(Gym, PyBullet) 및 산업 제어(DMControl) 벤치마크에서 수행한 광범위한 실험은 EBP가 최신 온라인 RL 알고리즘을 크게 능가하며, 더 높은 샘플 효율성과 더 안정적인 수렴을 달성함을 보여준다.

arXiv:2607.15163v1cs.RO공통 태그 Imitation Learning, Continuous Control, Deep Reinforcement Learning

휴머노이드 로봇을 위한 행동 기반 모델 스케일링

Scaling Behavior Foundation Model for Humanoid Robots

휴머노이드 제어는 자연스러운 전신 협응, 제어 신호에 대한 정밀한 실시간 응답, 다양한 환경 맥락에 걸친 강건한 일반화를 요구하므로 범용 체화(embodied) 에이전트의 핵심 기반이 된다. 행동 기반 모델(BFM)은 최근 대규모 행동 데이터를 활용하여 뛰어난 표현력, 범용성 및 일반화를 달성함으로써 이러한 과제들을 해결하는 유망한 방법으로 부상했다. 그러나 BFM을 스케일링하여 역량을 더욱 향상시키려는 관심이 커지고 있음에도, 학습 패러다임, 행동 데이터, 모델 아키텍처를 포함한 핵심 요인들을 어떻게 조율해야 효과적인 스케일링을 가능하게 하는지는 여전히 불분명하다. 본 연구에서는 BFM의 스케일링 레시피를 재검토하고, 다음 세 가지 핵심 구성 요소의 조율을 통해 상당한 성능 향상을 달성할 수 있음을 보인다: 1) 다양한 휴머노이드 제어 문제를 전역 좌표계에서 통합된 전신 행동의 재현으로 재정식화하는 모션 추적(motion tracking)의 학습 패러다임; 2) 온-정책 롤아웃 수량과 참조 모션(reference motion) 다양성 간의 전략적 시너지; 3) 구조화된 행동 표현의 자연스러운 창발을 촉진하는 Humanoid 트랜스포머라고 명명된 표현력 있고 확장 가능한 모델 아키텍처. 시뮬레이션과 실제 배포 모두에서 광범위한 실험을 통해, 본 접근법이 제어 충실도와 과제 일반화에서 상당한 개선을 가져오며, 기존 휴머노이드 컨트롤러 대비 테스트 세트에서 local mode에서 Mean Per-Keypoint Position Error(MPKPE)를 10% 이상, global mode에서 82% 줄였음을 보인다. 이러한 결과는 BFM이 확장 가능하고 범용적인 휴머노이드 제어를 위한 원칙적이고 효과적인 기반임을 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.