InterEvolve: 휴머노이드 로코-조작을 위한 테스트 타임 보상 프로그램 진화
InterEvolve: Test-Time Evolution of Reward Programs for Humanoid Loco-Manipulation
한국어 초록
본 연구에서는 재학습 없이 기존 스킬을 재활용하고, 자체적인 시도로부터 개선하며, 학습한 내용을 유지함으로써 제어기가 한 번도 학습하지 않은 작업을 해결하는 휴머노이드 로코-조작(loco-manipulation)을 위한 테스트 타임(test-time) 진화를 연구한다. 우리의 핵심 통찰은 광범위한 제어기가 이미 새로운 작업에 필요한 역량의 대부분을 보유하고 있으며, 이러한 역량은 접촉이 풍부한 다단계 상호작용을 지정할 수 있을 만큼 표현력이 풍부하면서도 실행 피드백이 경험으로부터 계획을 안내할 수 있을 정도로 실행 가능하고 측정 가능한 계획과 제어 간의 인터페이스를 통해 접근 가능해진다는 점이다. InterEvolve는 두 가지 구성 요소를 통해 이 인터페이스를 구현한다. 첫째, 동결된 신체 사전 지식(body prior) 위의 객체 잔차(object residuals)를 통해 테스트 타임에 신체나 객체에 대한 새로운 보상을 로코-조작 행동으로 전환하는 객체 인식 순방향-역방향(FB) 행동 파운데이션 모델을 개발한다. 둘째, 완료 조건과 튜닝 가능한 상수를 갖춘 단계별 보상인 보상 프로그램으로 작업을 명시한다. 대규모 언어 모델(LLM) 에이전트는 검증된 프로그램 스킬 라이브러리와 실행 피드백을 활용하여 컨텍스트 내에서 프로그램 구조를 수정하며, 수치 옵티마이저는 그 상수를 튜닝한다. 병렬 시뮬레이션 시나리오 전반에서 모든 후보가 검증됨에 따라, 프로그램은 당면한 작업을 위해 제어기의 기존 운동 역량을 유도하고, 재활용하며, 구성하는 새로운 방식을 탐색함으로써 반복을 거치며 개선된다. 실험 결과에 따르면 인간이 설계한 보상은 FB 모델의 로코-조작 역량을 상당 부분 활용하지 못한 채 남겨두는 반면, InterEvolve가 진화시킨 프로그램은 때로는 새로운 전략을 통해 이를 이끌어내는 것으로 나타났다. 나아가 시뮬레이션에서 다양한 작업, 복잡한 장면, 장기적(long-horizon) 구성에 대한 행동을 생성하며, 진화된 스킬은 자기중심적(egocentric) 온보드 인식을 통해 물리적 Unitree G1에서 자율적으로 실행된다.
원문 초록
We study test-time evolution for humanoid loco-manipulation: solving tasks that a controller was never trained for by repurposing its existing skills, improving from its own attempts, and retaining what it learns, without retraining. Our key insight is that a broad controller already holds much of the competence a new task needs, and that this competence becomes accessible through an interface between planning and control that is expressive enough to specify contact-rich, multi-stage interactions, yet executable and measurable enough that execution feedback can guide planning from experience. InterEvolve realizes this interface with two components. First, we develop an object-aware forward-backward (FB) behavioral foundation model, whose object residuals on a frozen body prior turn a new reward about the body or objects into loco-manipulation behavior at test time. Second, we specify tasks as reward programs: staged rewards with completion conditions and tunable constants. A large language model (LLM) agent revises the program structure in context, drawing on execution feedback and a skill library of verified programs, while a numerical optimizer tunes its constants. With every candidate verified across parallel simulation scenarios, the program explores new ways to induce, repurpose, and compose the controller's existing motor competence for the task at hand, and thus improves over iterations. Experiments show that human-designed rewards leave much of the FB model's loco-manipulation competence untapped, whereas the programs InterEvolve evolves release it, sometimes through novel strategies. It further produces behaviors for diverse tasks, complex scenes, and long-horizon compositions in simulation, and evolved skills run autonomously on a physical Unitree G1 from egocentric onboard perception.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
보상 인플레이션: 강화학습을 위한 건강한 자극
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
Co-Design Gym: 신체 구조-정책 공동최적화를 위한 통합 벤치마크
Co-design Gym: A Unified Benchmark for Embodiment-Policy Co-optimization
주어진 환경(environment) 내에서 최적의 행동 정책(policy)을 찾는 것은 게임, 로보틱스, 에너지 인프라, 통신 네트워크, 다중 에이전트(agent) 시스템 등 다양한 분야에서 널리 연구되어 온 문제이다. 이러한 연구를 지원하기 위해 수많은 벤치마크가 개발되었지만, 대다수는 에이전트의 신체 구조(embodiment, 설계)가 고정되어 있다고 가정하고 정책 학습(policy learning)에만 초점을 맞춘다. 이 가정을 제거하면, 신체 구조와 정책을 개별적으로 최적화하는 것이 최적에 크게 못 미치는(highly suboptimal) 더 넓은 범주의 문제들이 드러난다. 에이전트의 신체 구조는 어떤 제어 정책을 발견할 수 있는지를 강하게 좌우하며, 반대로 최적의 신체 구조는 그것이 허용하는 정책들에 의해 정의된다. 연구 커뮤니티가 이러한 범주의 문제를 명시적이고 체계적으로 연구할 수 있도록 돕기 위해, 우리는 신체 구조와 정책을 공동으로 최적화하기 위한 벤치마크 환경 모음인 Co-Design Gym을 소개한다. 우리의 환경은 로봇 조작(manipulation) 및 이동(locomotion), 다중 로봇 협력, 변형 가능하고 유연한(deformable and soft) 동역학, 비디오 게임, 전력망, 무선 네트워크, F1 레이싱, 다중 에이전트 창고, 최적 제어(optimal control) 등의 분야를 포괄하며, 총 20개의 환경 군(도메인)에서 85개 이상의 서로 다른 공동 설계(co-design) 프리셋을 제공한다. 우리는 또한 대표적인 공동 설계 알고리즘들에 대한 체계적인 평가를 수행하여 현재 기술 수준(state of the art)을 규명한다. 이러한 기여들은 공동 설계 분야에서 누적적이고 비교 가능한 발전을 위한 토대를 마련한다.
CriticHack: 로봇 정책 최적화 환경에서의 시각적 보상 평가
CriticHack: Evaluating Visual Rewards Under Robot Policy Optimization
학습된 시각적 보상 모델(reward model)은 로봇 정책을 최적화하는 데 점점 더 널리 사용되고 있으나, 보상 모델은 잘못된 객체에 작용하는 실행에 대해서도 과제를 완료한 실행만큼 높은 점수를 부여할 수 있다. 본 연구에서는 이러한 보상을 최적화할 경우 보상과 과제 성공률이 모두 상승하면서도 잘못된 객체에 작용하는 실패가 증폭될 수 있음을 보이며, 따라서 실무자가 일반적으로 모니터링하는 지표들은 정상인 것처럼 보이게 된다. 저자들은 서랍 과제에서 Robometer를 대상으로 확산 정책(diffusion policy)의 모든 디노이저 매개변수를 파인튜닝(fine-tuning)했다. 사전 보상 노출이 없었던 지도학습 정책에서 시작하여 5회의 학습을 수행한 결과, 512개의 평가 시드에서 과제 성공률이 10.2%p 증가하고 잘못된 객체 실패가 10.9%p 증가한 반면, 시뮬레이터의 과제 완료 신호로 학습된 5회의 실행에서는 잘못된 객체 실패를 증폭시키지 않으면서 성공률이 증가했다(차이 9.2%p, 95% CI 5.6~13.0). 이러한 증폭 현상은 이전에 학습된 보상에 대해 최적화되었던 정책, 정책 고유의 확산 샘플러 환경, 초기 정책과의 거리가 일치하는 조건, 그리고 두 개의 크리틱(critic)과 두 개의 최적화 도구를 사용한 제약 조건 정책 실험 전반에서 재발한다. 틸트 모델(tilt model)은 이러한 현상이 발생하는 시점을 설명한다. KL 정규화 최적화 하에서 특정 결과의 빈도는 초기 정책에서의 기대 보상이 모집단 평균을 초과할 때마다 더 높아진다. Robometer는 전반적으로 성공과 실패를 잘 구분하지만(AUROC .81), 잘못된 객체 실패에 대해 성공보다 약간 더 높은 점수를 부여하므로(AUROC .37) 최적화 시 두 결과가 모두 증가한다. 동일한 모델은 과제 성공률이 떨어지는 경우를 포함하여 26개의 제약 조건 설정 전반에 걸친 결과 변화를 예측하며(Spearman .89), Robometer 자체에 공개된 성공-종료 레시피 또한 이러한 오류를 그대로 이어받는다. 동결된 결과 검증기(frozen outcome verifier)는 동일한 최적화의 방향을 요청된 과제로 재조정한다.
촉각적 호기심을 통한 로봇 상호작용 유도
Tactile Curiosity Drives Robot Interaction
강화학습(RL)을 통해 로봇 조작 기술을 습득하는 것은 여전히 표본 효율성(sample efficiency)이 크게 떨어집니다. 가장 일반적인 강화학습 알고리즘은 새로운 전략을 발견하기 위해 무작위 행동 샘플링에 의존하므로, 조작 기술이 발현되는 접촉과는 거리가 먼 자유 공간에서의 움직임에 학습 예산의 대부분을 할당하게 됩니다. 모델 불일치나 인식론적 불확실성(epistemic uncertainty)에 기반한 기존 내재적 동기 부여 방법들은 등방성 노이즈보다 개선되었으나, 자유 공간에서의 불규칙한 움직임과 같이 기능적으로 무관한 전이의 불확실성에 대해서도 보상을 제공할 수 있습니다. 본 연구에서는 촉각 피드백이 탐험을 위한 자연스러운 신호를 제공한다고 주장하며, 감각 양식(sensory modalities) 전반에 걸쳐 모델 불확실성을 분해하고 호기심을 촉각 채널로 유도함으로써 촉각을 인식론적 불확실성 기반 탐험에 통합하는 프레임워크인 TacEx를 소개합니다. TacEx는 호기심을 촉각에 고정함으로써 로봇이 복잡한 접촉 동역학을 발견하도록 유도하여, 탐험 과정에서 과제 보상이나 전문가 시연 없이도 물체를 조작하고 파지(grasping)하는 법을 학습하도록 합니다. 이러한 촉각 주도형 호기심을 통해 수집된 상호작용 밀집 데이터셋은 추가적인 환경 상호작용 없이도 다운스트림 집기 및 놓기(pick-and-place) 정책의 오프라인 학습을 지원합니다. 나아가 우리는 촉각 주도형 탐험을 활용하여 비전-언어-행동(VLA) 모델을 사후 학습합니다. VLA는 초기에 촉각 피드백 없이 사전학습되었음에도 불구하고, TacEx를 통한 사후 학습은 매우 높은 표본 효율성을 유지하면서 다운스트림 성능을 실질적으로 향상시킵니다.
올바른 보상만으로는 충분하지 않을 때: 해석적으로 풀린 브로커-트레이더 게임에서 PPO 진단 및 유도
When a Correct Reward Is Not Enough: Diagnosing and Guiding PPO in an Analytically Solved Broker-Trader Game
복잡한 동역학으로 인해 해석적(analytical) 전략을 도출하기 어려울 때, 금융 최적 제어 문제에 강화학습(RL)이 점점 더 많이 활용되고 있습니다. 금융 수학 문헌에는 학습을 평가하고 유도할 수 있는 방정식과 제어를 제공하는 이미 풀린 모델들이 많이 존재하며, 본 논문에서는 강화학습이 이러한 결과를 활용할 수 있는지 질문을 던집니다. 우리는 해석적으로 풀린 연속 시간 브로커-트레이더 게임에 근접 정책 최적화(PPO) 에이전트를 배치합니다. PPO는 브로커를 대체하여 정보 트레이더 및 확률적 비정보 주문 흐름과 상호작용하면서 거래 속도를 선택합니다. 우리는 브로커의 연속 시간 보수(payoff)로부터 유한 단계 보상을 도출하고, 격자 세분화(grid refinement)와 정확한 1단계 항등식을 통해 이산적 구현을 검증합니다. 비정보 흐름이 0일 때, 검증을 통해 선택된 PPO-FFNN은 기준 행동(reference action)에 근접합니다. 반면 확률적 비정보 흐름이 존재하는 경우, 지도학습을 통해 액터가 해당 행동을 표현할 수 있음을 확인했음에도 불구하고 테스트된 PPO-FFNN과 PPO-LSTM은 여전히 부정확한 상태를 유지합니다. 몬테카를로 진단에 따르면 크리틱(critic)이 인접한 행동들의 순위를 안정적으로 매기지 못하며, 잠재 기반 보상 형성(potential-based reward shaping) 역시 신뢰할 만한 개선을 제공하지 못합니다. 부분 정보 환경에서는 브로커의 관측 가능한 이력에 기반한 인과적 확실성 등가 제어기(causal certainty-equivalent controller)가 기준 행동에 가깝게 유지되는 반면, PPO는 더 큰 오차와 더 낮은 보수를 보입니다. 마지막으로, 우리는 해석적 정책을 동결하고 체결 비용이 변경된 후 이를 조정하도록 PPO를 학습시킵니다. 비용을 절반으로 줄였을 때 변경된 비용 기준과의 격차를 \(2.22\%\) 좁히는 재현 가능한 개선이 나타납니다. 따라서 해석적 해는 강화학습을 진단하기 위한 벤치마크이자 적응을 위한 유용한 출발 정책을 모두 제공합니다.
제안 조건부 정제 플로우를 활용한 확산 정책 개선
Diffusion Policy Improvement with Proposal-Conditioned Refinement Flows
확산(diffusion) 및 플로우 정책은 오프라인 강화학습(RL)에서 복잡한 행동을 모델링할 수 있습니다. 그러나 행동 정책(behavior policy)과의 KL 발산(KL divergence)에 페널티를 부여하면 행동 밀도는 낮지만 크리틱(critic) 값이 높은 행동이 억제될 수 있습니다. 행동 제안을 직접 정제(refine)하는 것이 대안이 될 수 있지만, 가우시안 또는 결정론적 편집기는 동일한 제안에 대해 분리된 여러 모드를 표현하는 표현력이 제한적입니다. 본 연구에서는 크리틱 기반 제안 선택과 조건부 정제 플로우를 결합한 정책 추출 기법인 제안 조건부 정제 플로우(Proposal-Conditioned Refinement Flows, PReFlow)를 소개합니다. 제안 선택과 정제를 함께 최적화하기 위해, 가우시안 평활화된 행동 사전 분포 하에서 최종 행동에 대한 깁스 정책(Gibbs policy)을 유도하는 KL 정규화 목적 함수를 정식화합니다. 정제 플로우는 복수의 높은 가치 모드를 표현할 수 있으며, 제안 중심의 가우시안 참조(reference)는 과도한 행동 변화를 조절합니다. 이러한 가우시안 참조는 샘플링된 종점과 크리틱 그래디언트로부터 시뮬레이션 없이 폐형태(closed-form) 수반 매칭(adjoint matching) 목표를 활용할 수 있게 하여, 역방향 수반 풀이 없이 단일 속도 회귀 손실을 도출합니다. 50개의 OGBench 태스크에서 PReFlow는 경쟁력 있는 오프라인 성능을 달성했으며, 온라인 미세조정 후 비교 대상 방법 중 가장 높은 종합 점수를 기록하여 50만 환경 스텝 후 91%에 도달했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project page: https://sirui-xu.github.io/InterEvolve