arXiv:2303.07026

Visual-Policy Learning through Multi-Camera View to Single-Camera View Knowledge Distillation for Robot Manipulation Tasks

Cihan Acar, Kuluhan Binici, Alp Tekirdağ, Yan Wu

제출 2023-03-13

원문 초록

The use of multi-camera views simultaneously has been shown to improve the generalization capabilities and performance of visual policies. However, the hardware cost and design constraints in real-world scenarios can potentially make it challenging to use multiple cameras. In this study, we present a novel approach to enhance the generalization performance of vision-based Reinforcement Learning (RL) algorithms for robotic manipulation tasks. Our proposed method involves utilizing a technique known as knowledge distillation, in which a pre-trained ``teacher'' policy trained with multiple camera viewpoints guides a ``student'' policy in learning from a single camera viewpoint. To enhance the student policy's robustness against camera location perturbations, it is trained using data augmentation and extreme viewpoint changes. As a result, the student policy learns robust visual features that allow it to locate the object of interest accurately and consistently, regardless of the camera viewpoint. The efficacy and efficiency of the proposed method were evaluated both in simulation and real-world environments. The results demonstrate that the single-view visual student policy can successfully learn to grasp and lift a challenging object, which was not possible with a single-view policy alone. Furthermore, the student policy demonstrates zero-shot transfer capability, where it can successfully grasp and lift objects in real-world scenarios for unseen visual configurations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15840v1cs.LG공통 태그 Reinforcement Learning (RL), Knowledge Distillation

에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수

LLM Value Functions for Credit Assignment in Agentic RL

대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.

arXiv:2610.08077v2cs.AI공통 태그 Reinforcement Learning (RL), Knowledge Distillation

자기 회고 증류: 사후 경험을 사전 예측력으로 전환하기

Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight

검증 가능한 보상을 활용한 강화학습(RLVR)은 주로 상호작용 후의 스칼라 결과 보상을 통해 에이전트 경험을 학습 신호로 전환합니다. 그러나 그룹 상대적 목적 함수의 경우, 모든 롤아웃이 동일한 보상을 받으면 해당 궤적이 작업에 필요한 요소와 에이전트가 실패하는 방식에 대한 유용한 정보를 드러낼 수 있음에도 불구하고 이러한 신호가 사라집니다. 우리는 이와 상호보완적인 질문을 던집니다. 사후적 통찰(hindsight)이 에이전트에게 행동하기 전에 무엇을 예측할 수 있었는지를 가르쳐줄 수 있을까요? 우리는 상호작용 이전 시점에서의 예측을 지도하기 위해 사후 경험을 사용하는 전향적 학습(prospective learning)을 도입하고, 이를 자기 회고 증류(Self-Retrospection Distillation, SRD)로 구체화합니다. 직관적으로 완료된 궤적은 유용했을 지식과 피해야 했을 함정을 드러내며, SRD는 이 특권적 사후 통찰을 동일한 정책의 궤적 비인지 사전 예측으로 증류합니다. 사전 예측은 학습 목표로만 기능하며 추론 시 명시적으로 생성될 필요가 없습니다. 10가지 도구 통합 추론 및 장기적 에이전트 작업 전반에서, SRD는 RLVR 및 자기 증류 베이스라인을 보완하여 최대 24.2%p의 성능 향상을 달성합니다. 특히 모델 규모 전반에 걸쳐 롤아웃 그룹의 37~98%가 균일한 보상을 보여 보상 대조가 부족한 경우에도 SRD는 샘플링된 궤적으로부터 학습 신호를 활용할 수 있어 그 이점이 두드러집니다. 그룹의 98%가 전면 실패하는 2B 설정에서 RLVR 학습은 0.0%의 성공률로 끝나는 반면, 동일한 롤아웃 예산 하에서 SRD를 추가하면 60.6%에 도달합니다. 우리의 결과는 사후 에이전트 경험이 행동을 평가하거나 개선하는 것뿐만 아니라 상호작용 이전에 예측적 표현을 형성하는 데에도 유용함을 시사합니다.

arXiv:2610.10782v1cs.CV공통 태그 Data Augmentation, Reinforcement Learning (RL)

VICO: 비전-언어 모델 추론을 위해 함께 진화하는 시각적 환경

VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning

검증 가능한 보상을 활용한 강화학습(RLVR)은 비전-언어 모델(VLM)의 사후 학습을 위한 표준적인 방법론이 되었으나, 일반적으로 정적인 학습 환경을 가정합니다. 액터(actor)의 성능이 향상됨에 따라 고정된 태스크는 점차 학습 영역(learning frontier)을 벗어나게 됩니다. 즉, 상당수는 사소해지고 다른 태스크는 여전히 해결 불가능한 상태로 남아 학습 신호가 소실됩니다. 본 논문에서는 VLM 사후 학습이 액터 자체뿐만 아니라 액터와 함께 시각적 환경도 진화시켜야 한다고 주장합니다. 이를 위해 액터와 리라이터 형태의 환경(EnvRewriter)을 공동 학습하는 공진화(co-evolutionary) 프레임워크인 VICO를 제안합니다. EnvRewriter는 씬 그래프(scene graph), 차트 테이블, 보호 영역 마스크와 같이 검증 가능한 이미지 측 구조를 편집하고 이를 다시 렌더링하여 정답 레이블이 유효한 학습 샘플을 생성하며, 통과율 기반 보상을 통해 샘플의 난이도를 액터의 현재 능력에 맞게 보정합니다. 이러한 루프는 추가적인 사람의 주석 작업 없이 태스크 난이도와 액터의 역량을 지속적으로 재조정합니다. 수학적 추론 및 시각적 그라운딩(visually grounded) 이해를 포괄하는 9개 멀티모달 벤치마크 전반에서, VICO-8B는 도메인 외(out-of-domain) 태스크에서 기본 모델 대비 최대 +5.0% 향상되었으며, 가장 강력한 자기 진화(self-evolution) 및 텍스트 편집 공진화 베이스라인을 각각 +4.3%, +8.4% 능가하였고, 16~160배 적은 레이블 샘플을 사용하면서도 차트 특화 RLVR 방식과 대등한 성능을 유지했습니다. VICO는 사람이 레이블링한 지도 학습에서 이미지 편집 공진화로 전환함으로써, 시각적 추론을 위한 정적 말뭉치 기반 RLVR을 넘어설 수 있는 확장 가능한 경로를 제공합니다.

arXiv:2610.02339v1cs.RO공통 태그 Data Augmentation, Robot Manipulation

NEEDLEWORK: 검증된 로컬 스티칭을 통한 로봇 데이터의 오프라인 재작성

NEEDLEWORK: Offline Rewriting of Robot Data with Verified Local Stitches

로봇 시연(demonstration) 데이터는 개별 에피소드가 비효율적이거나 실패하더라도 유용한 행동을 포함할 수 있습니다. 궤적 스티칭(trajectory stitching)은 이러한 행동들을 조합하여 개선된 학습(training) 데이터로 만드는 방법을 제공하지만, 많은 기존 기법이 저차원 상태 표현에 의존하는 고차원 로봇 데이터에서는 유용한 연결점을 식별하고 실행 가능성을 검증하기 어렵습니다. 본 논문에서는 고차원 로봇 시연 데이터에서 기록된 관측값 사이에 검증된 짧은 행동 브리지(action bridge)를 추가함으로써 이러한 문제를 해결하는 오프라인 데이터셋(dataset) 증강 알고리즘인 NEEDLE을 소개합니다. 먼저 NEEDLE은 새로운 환경(environment) 상호작용이나 특권적인 객체 상태(privileged object state) 없이 RGB 이미지, 고유수용감각(proprioception), 에피소드 단위 결과만을 사용하여 준최적의 우회 경로를 우회하고, 행동 커버리지를 넓히며, 실패한 궤적으로 원본 데이터셋을 증강하는 연결점을 식별하고 생성합니다. 다음으로, 중간 이미지를 합성하거나 원본 시연을 버리지 않고도 승인된 브리지를 정책 학습에 통합하는 샘플링 기법을 제시하여, 정책이 원본 데이터셋의 커버리지를 유지하면서 대안적인 행동을 학습할 수 있도록 합니다. 실제 로봇 작업에서 NEEDLE은 각 작업의 가장 강력한 기준선(baseline) 대비 성공률을 평균 21% 포인트 향상시켰습니다. 비디오 및 보충 자료는 https://needle-work.github.io/ 에서 확인할 수 있습니다.

arXiv:2609.28107v1cs.RO공통 태그 Knowledge Distillation, Robot Manipulation

조건부 플로우 매칭을 통한 효율적인 멀티태스크 조작 정책 지식 증류

Distillation for Efficient Multitask Manipulation Policies via Conditional Flow Matching

최근 로봇 공학의 정책 학습(policy learning) 분야에서는 생성 모델링의 발전이 광범위하게 활용되고 있습니다. 특히 전문가 시연(demonstration)을 통해 학습된 조건부 플로우 매칭(Conditional Flow Matching, CFM)은 로봇 조작 벤치마크에서 기존 방법들을 능가하는 성능을 보여주었습니다. 이전 연구들은 주로 단일 태스크(single-task) 설정에 집중했으나, 각 태스크마다 독립적인 모델을 학습하는 것은 연산 비용이 많이 들기 때문에 본 연구에서는 이 문제를 멀티태스크(multi-task) 관점에서 다룹니다. 멀티태스크 정책 학습은 고유한 어려움을 수반하는데, 단순히 연결된 시연 데이터셋으로 순진하게 학습(naive training)할 경우 추가된 복잡성을 수용하기 위해 모델 용량을 늘려야 하거나 성능 저하가 발생하기 때문입니다. 이에 본 논문에서는 단일 태스크 CFM 전문가의 학습된 속도장(velocity field)을 전이함으로써 이들의 지식을 공유 멀티태스크 정책으로 증류(distillation)하는 방법을 제안합니다. 또한 시연에 대한 충실도를 유지하기 위해 이 증류 신호를 기존 CFM 목적 함수와 결합합니다. RLBench를 통한 실험 결과, 제안하는 접근 방식은 고정된 모델 크기를 유지하면서도 순진한 학습 방식 대비 멀티태스크 정책 성능을 향상시키는 것으로 나타났습니다.

arXiv:2609.23565v1cs.CV공통 태그 Data Augmentation, Robot Manipulation

MaskVLA: Vision-Language-Action 모델의 궤적 과적합에 대응하는 시각적 마스킹

MaskVLA: Visual Masking Against Trajectory Overfitting of Vision-Language-Action Model

Vision-Language-Action(VLA) 모델은 시각-언어 이해와 실행 가능한 로봇 행동을 통합하여 로봇 제어를 위한 종단간(end-to-end) 학습을 가능하게 한다. 그러나 우리의 실증 분석에 따르면, 기존 모델들은 제한된 데이터셋으로 파인튜닝(fine-tuning)될 때 심각한 궤적 과적합(trajectory overfitting)을 보인다. 모델이 손목 카메라 정보를 효과적으로 활용하도록 유도하기 위해, 우리는 마스킹 기반 파인튜닝 전략인 MaskVLA를 제안한다. 메인 카메라의 시각 정보 중 일부를 무작위로 마스킹함으로써, 모델은 보다 세밀하고 과제와 관련성이 높으며 효과적인 시각적 특징을 자율적으로 학습하도록 유도된다. 이 과정은 강건한 정책(policy)의 출현으로 이어지며, 이를 통해 복잡한 조작(manipulation) 과제를 처리하는 모델의 능력을 향상시키고 일반화 성능을 개선한다. 우리의 방법은 RoboTwin 2.0에서 종합적으로 평가되었으며, $\pi_0$ 및 OpenVLA-OFT 대비 각각 평균 23.2%, 16.8%의 성공률 향상을 달성했다. 또한 실제 ALOHA 로봇을 이용한 실험에서도 우리 접근법의 효과가 입증되었다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.