Semi-Supervised One-Shot Imitation Learning
원문 초록
One-shot Imitation Learning~(OSIL) aims to imbue AI agents with the ability to learn a new task from a single demonstration. To supervise the learning, OSIL typically requires a prohibitively large number of paired expert demonstrations -- i.e. trajectories corresponding to different variations of the same semantic task. To overcome this limitation, we introduce the semi-supervised OSIL problem setting, where the learning agent is presented with a large dataset of trajectories with no task labels (i.e. an unpaired dataset), along with a small dataset of multiple demonstrations per semantic task (i.e. a paired dataset). This presents a more realistic and practical embodiment of few-shot learning and requires the agent to effectively leverage weak supervision from a large dataset of trajectories. Subsequently, we develop an algorithm specifically applicable to this semi-supervised OSIL setting. Our approach first learns an embedding space where different tasks cluster uniquely. We utilize this embedding space and the clustering it supports to self-generate pairings between trajectories in the large unpaired dataset. Through empirical results on simulated control tasks, we demonstrate that OSIL models trained on such self-generated pairings are competitive with OSIL models trained with ground-truth labels, presenting a major advancement in the label-efficiency of OSIL.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비전-언어 로봇 조작에서 퓨샷 일반화를 위한 작업-프로토타입 유도 플로우 매칭
Task-Prototype Guided Flow Matching for Few-Shot Generalization in Vision-Language Robot Manipulation
비전-언어 로봇 조작 정책은 의미적 지시를 따를 수 있지만, 소수의 시연만으로 새로운 절차에 적응하는 것은 언어가 접촉 시점, 동작 단계, 교정 행동, 실행 스타일을 충분히 명시하지 않기 때문에 여전히 어렵다. 본 논문은 지원(support) 시연을 구조화된 작업-프로토타입 토큰으로 변환하고 이를 초기 플로우 사전분포와 속도장 모두를 유도하는 데 사용하는 퓨샷 조작 프레임워크인 Task-Prototype Guided Flow Matching(TP-Flow)을 제안한다. TP-Flow는 학습 가능한 쿼리를 갖춘 대칭 크로스-어텐션으로 단계 수준 프로토타입을 추출하고, 작업 적응형 초기 분포를 매개변수화하며, 게이트된 적응형 정규화를 통해 프로토타입 정보를 주입한다. 에피소드식 지원-쿼리 목적 함수와 프로토타입 대비 정규화로 학습하여, 학습 중 퓨샷 적응을 시뮬레이션하면서 방해 정보를 억제한다. LEROBOT-ARM-SO101 플랫폼에서 TP-Flow는 1-, 4-, 6-shot 설정에서 각각 66.8%, 79.6%, 82.1%의 성공률을 달성하였으며, 퓨샷 AUC는 75.5%이다. 1-shot에서 CFM, Pooled-Demo CFM, In-Context Flow 대비 각각 29.8, 14.5, 9.9 퍼센트포인트 향상을 보인다. 또한 새로운 객체 전이, 목표 재조합, 장기 지평 구성, 접촉/교정 작업에 걸친 보류(hold-out) 대상 그룹 일반화도 개선한다. TP-Flow는 6개의 온라인 프로토타입 토큰, 54.3 ms 지연, 3.9 GB 피크 메모리, 10 Hz 제어 주파수로 실시간 실행을 유지하면서, 노이즈가 있는 지원에서의 성공률 하락을 6.2%로 줄인다. 이론적 진단은 프로토타입 거리가 동작 분포 거리와 정렬되고, 적응형 사전분포가 수송(transport) 비용을 줄이며, 게이트 변조가 측정된 궤적 편차를 도출된 ODE 상한 이하로 유지함을 보여준다. 익명 심사를 위해 코드 저장소는 생략하였다.
Xiaomi-Robotics-1: 10만 시간 이상의 실세계 궤적으로 비전-언어-액션 모델 스케일링
Xiaomi-Robotics-1: Scaling Vision-Language-Action Models with over 100K Hours of Real-World Trajectories
우리는 Xiaomi-Robotics-1을 제시한다. 이는 (1) 다양한 언어 지시를 따라 보지 못한 환경에서 즉시(out-of-the-box) 광범위한 이동 조작(mobile manipulation) 작업을 수행할 수 있고, (2) 최소한의 미세조정 데이터로 새로운 하류(downstream) 작업에 효율적으로 적응할 수 있는 기초 비전-언어-액션(VLA) 모델이다. 우리는 사전학습과 사후 학습으로 구성된 2단계 학습 레시피를 제안한다. 사전학습 동안 UMI 장치를 통해 수집된 10만 시간 이상의 실세계 조작 궤적으로 학습하여 모델에 폭넓고 일반화 가능한 액션 생성 능력을 부여한다. 핵심적으로, 장면 상태 전환을 설명하는 자연어로 궤적 클립에 주석을 달아 액션 학습을 위한 풍부하고 정확한 조건화(conditioning)를 제공하는 확장 가능한 자동 라벨링 파이프라인을 개발했다. 사후 학습 동안에는 이러한 능력을 로봇 embodiment 및 인간이 로봇에 프롬프트할 때 자연스럽게 사용하는 명령형 지시와 정렬(alignment)하는 것을 목표로 한다. 광범위한 실험은 강한 스케일링(scaling) 특성을 보여준다. Xiaomi-Robotics-1은 사전학습 동안 데이터 규모와 모델 크기가 증가함에 따라 일관되게 개선된다. 이러한 스케일링 특성은 사후 학습으로 직접 전이되며, 더 강력한 사전학습 모델이 보지 못한 환경에서 더 나은 즉시(out-of-the-box) 실로봇 성능을 제공한다. 또한 Xiaomi-Robotics-1은 복잡하고 정교한(dexterous) 작업에 높은 데이터 효율로 효율적으로 미세조정할 수 있는 강력한 로봇 기초 정책(foundation policy) 역할을 한다. 여러 시뮬레이션 벤치마크에서 Xiaomi-Robotics-1은 최신(state-of-the-art) 방법들을 능가한다. 특히 RoboCasa365에서 57.4%의 성공률로 새로운 최고 성능(state-of-the-art)을 수립하여 이전 최고 기록 46.6%를 넘어선다. 또한 RoboDojo에서 평균 20.07점을 달성하여 이전 최고 성능(13.07)을 크게 능가한다. 코드와 모델 체크포인트가 공개될 예정이다. 프로젝트 페이지: https://robotics.xiaomi.com/xiaomi-robotics-1.html
일반화 가능한 로봇 제어를 위한 네이티브 비디오-액션 사전학습
Native Video-Action Pretraining for Generalizable Robot Control
비디오-액션 모델의 등장은 로봇 제어에 유망한 경로를 제시한다. 그러나 우리는 디지털 콘텐츠 제작을 위해 설계된 비디오 생성 모델을 물리적 환경에 재활용하는 것은 본질적으로 부적합하다고 주장한다. 이 격차를 해소하기 위해, 우리는 구현체(embodiment)를 위해 처음부터 구축된 비디오-액션 파운데이션 모델인 LingBot-VA 2.0을 제시한다. 네 가지 핵심 설계 원칙이 LingBot-VA로부터의 발전을 보여준다. (1) 전통적인 재구성 중심의 VAE에서 벗어나, 우리는 시각적 표현을 의미론과 행동 모두에 정렬하는 시맨틱 시각-액션 토크나이저를 도입하여 후속 정책 학습에서 인스트럭션 팔로잉과 행동 정밀도를 향상시킨다. (2) 시간적 역학의 엄격한 인과적 특성을 감안하여, 인과적 사전학습 패러다임을 채택하고 처음부터 학습함으로써 양방향 아키텍처를 적응시킬 때 빈번히 발생하는 파국적 망각(catastrophic forgetting)을 방지한다. (3) 고주파 추론의 요구를 충족하기 위해, 우리 모델은 희소 전문가 혼합(MoE) 백본을 활용하여 효율성을 손상시키지 않으면서 모델 용량을 확장한다. (4) 실시간 폐루프 제어는 향상된 비동기 추론 방식을 통해 실현되며, 이는 액션 실행과 병렬로 미래 잠재 표현을 예측하는 동시에 학습된 순방향 역학을 통해 최신 관측에 기반하여 각 롤아웃을 재그라운딩한다. 실제 환경 배포를 통해 LingBot-VA 2.0이 복잡한 조작 작업 전반에서 퓨샷 일반화를 달성함으로써 강건한 파운데이션 모델임이 입증된다.
RABBiT: 뇌-튜닝을 통한 빠른 적응형 BOLD 기반 모델로 음성 유발 뇌 반응의 정확한 제로샷 및 퓨샷 예측
RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain
뇌에서의 언어 이해는 맥락 의존적이며, 실험 자극과 개인에 따라 달라지기 때문에 두 가지 모두에 걸쳐 일반화되는 계산 모델을 구축하기 어렵다. 이는 새로운 참가자와 입력에 효율적으로 적응하면서 공유 구조를 포착할 수 있는 언어 유발 뇌 활동의 기반 모델(foundation model)을 필요로 한다. 우리는 정확한 제로샷 및 퓨샷 예측을 위해 설계된 소형 오디오-fMRI 인코더인 RABBiT(Rapidly Adaptive BOLD foundation model via BraIn-Tuning)을 소개한다. 여러 미공개 fMRI 데이터셋에서 324명의 참가자를 대상으로 한 종합적인 평가에 따르면, RABBiT은 청각 및 언어 선택 영역에 걸쳐 자연 음성에 대한 fMRI 반응의 정확한 제로샷 예측을 가능하게 하며, fMRI를 위한 SOTA 기반 모델과 집단 평균 기반 예측을 능가한다. 참가자별 데이터 10분만으로도 RABBiT은 매개변수 효율적 튜닝을 통해 성능을 더욱 향상시키며, 참가자별 선형 모델을 크게 능가한다. RABBiT의 성능은 두 가지 핵심 혁신에 의해 구현된다: (1) 학습된 영역별 어텐션, (2) 뇌-튜닝된 음성 백본과 결합된, 뇌 반응을 공유 및 피험자별 구성 요소로 분해하는 방법. 강력한 예측 정확도를 지원하는 것 외에도, RABBiT이 학습하는 구조화된 영역별 표현은 해석 가능성을 제공한다. 광범위한 참가자별 데이터와 모델 피팅의 필요성을 제거함으로써, RABBiT은 인간 뇌에서의 언어에 대한 확장 가능한 집단 수준 분석을 가능하게 한다. 코드는 https://github.com/bridge-ai-neuro/rabbit 에서 제공된다.
입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구
Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study
정보가 트랜스포머에 도달하는 방식, 즉 기호 토큰, 요인별로 깔끔한 "오라클" 코드, 또는 얽힌 지각 벡터 중 어느 방식인지가 트랜스포머가 그 정보를 조합적으로 결합(binding)하는지 여부를 어떻게 좌우하는가? 본 연구는 전수 열거된 유한 요인 세계에서 약 6~10K 파라미터의 트랜스포머를 연구하며, 따라서 모든 측정이 입력 공간 전체를 포괄하고 정보를 담은 경로들은 정보량이 일치한다(정확한 베이즈 상한 1.0). 네 가지 발견이 있다. (1) 종점 불변성: 보류된 결합 질의에서 어떤 정보 경로도 수렴된 제로샷 합성에 도달하지 못하며, 각 경로는 우연 수준 이하에서 끝난다. 따라서 이 실패는 정보 부족이 아니라 룩업만으로 충분한 목적함수 하에서의 귀납 편향을 반영한다. 이는 상태를 모든 토큰에 더하지 않고 고유한 시퀀스 위치에 두어도 마찬가지이다. (2) 가독성이 퓨샷 결합을 좌우한다: 보류된 유형의 작은 일부를 학습에 유출시키면 표본 효율이 코드의 가독성을 따른다. 가독성이 가장 낮은 얽힌 코드가 가장 나쁘며(통합 -0.147, 두 방식 모두), 차원을 맞춘 대조군과 단계적 가독성 스윕으로 가독성을 입력 차원과 분리하였다. (3) 경로가 아니라 주입 위치가 결정한다: v1은 가독성이 있는 경로들 사이에 남은 순서를 경로 파라미터 공유로 해석하였으나, 이는 철회한다. 비교된 경로들은 블록 분해가 가능하여 하나의 함수 클래스에 속하므로 공유는 애초에 조작된 적이 없으며, 이 순서는 브로드캐스트로 더해지는 상태의 초기화 스케일에서 비롯되고 상태에 고유한 위치를 부여하면 사라진다(+0.057 -> -0.006, 셀당 20개 쌍체 시드). (4) 실패의 해부: 기호 경로는 읽어내는 단계에서 답을 잃고, 인덱스 경로는 잘못 결합한다. 즉 답은 여전히 디코딩 가능하지만 입력 개입을 통해 보면 출력이 엉뚱한 슬롯을 따라간다. 핵심적인 긍정적 주장은 가독성이며, 나머지는 경로 비교로 확립할 수 있는 범위를 한정한다. 코드, 매니페스트, 시드별 로그를 공개한다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.