가우시안이면 충분하다: 대규모 행동 모델(LBM) 미세조정에서 플로우 매칭 사전분포는 도움이 되지 않는다
The Gaussian Is Enough: Flow-Matching Priors Do Not Help When Fine-Tuning Large Behavior Models
한국어 초록
현대 로봇 모방 학습은 확산(diffusion) 또는 플로우 매칭(flow-matching) 모델에 기반한 생성 정책에 점점 더 의존하며, 이러한 정책은 사전분포(prior distribution)에서 샘플을 변환하여 행동을 생성한다. 핵심 질문은 사전분포 선택이 중요한지 여부이다. 표준 가우시안을 목표에 더 가까운 비가우시안 사전분포로 대체하는 것은 처음부터 학습할 때 성능을 크게 향상시키는 것으로 보여 왔다. 자연스러운 다음 단계는 이러한 이득이 LBM 1.0, $\pi_{0.5}$, GR00T~N1.5와 같은 사전학습된 대규모 행동 모델(LBM)의 미세조정으로 이어지는지, 더 큰 이득이 기대될 수 있는 상황에서도 그런지 묻는 것이다. 놀랍게도 우리는 매우 낮은 미세조정 데이터 비율에서만 그럴 가능성이 있을 뿐, 그렇지 않다는 것을 발견했다. 두 시뮬레이션 플랫폼의 40개 이상 과제에서 앞서 언급한 세 LBM 전반에 걸친 10만 회 이상의 시뮬레이션 롤아웃, 그리고 양손 조작 다섯 과제에서 1250회의 하드웨어 롤아웃에 걸쳐, 목표에 demonstrably 더 가까운 비가우시안 사전분포는 표준 가우시안 사전분포보다 통계적으로 구별되지 않거나 더 나쁜 미세조정 성능을 낸다. 진단 분석은 그 이유를 시사한다. 미세조정된 모방 학습 정책은 사전분포마다 미세조정된 인코더 임베딩(embedding)이 사전학습 임베딩 및 서로 간에 크게 달라지는데도 불구하고, 유사한 행동 예측으로 수렴한다. 학습률 ablation은 또한 인코더 학습이 미세조정 성능의 지배적 요인이며 사전분포 선택의 효과를 크게 상회함을 확인한다. 우리는 미세조정에서 학습된 사전분포가 언제·왜 여전히 중요할 수 있는지에 대한 향후 연구의 구체적 방향으로 마무리한다. 프로젝트 페이지: https://cxu-tri.github.io/non_gaussian_FT/
원문 초록
Modern robot imitation learning increasingly relies on generative policies based on diffusion or flow-matching models, which generate actions by transforming samples from a prior distribution. A key question is whether the choice of prior matters. Replacing the standard Gaussian with a closer-to-target, non-Gaussian prior has been shown to substantially improve performance when training from scratch. A natural next step is to ask whether these gains transfer to fine-tuning pretrained Large Behavior Models (LBMs) such as LBM 1.0, $\pi_{0.5}$, and GR00T~N1.5, where one might expect even larger gains. Surprisingly, we find that this is not the case, except possibly at very low fine-tuning data fractions. Across over 100K simulation rollouts spanning all three aforementioned LBMs on 40+ tasks in two simulation platforms, and 1250 hardware rollouts on five bimanual manipulation tasks, non-Gaussian priors that are demonstrably closer to the target yield statistically indistinguishable or worse fine-tuning performance than a standard Gaussian prior. Diagnostic analyses suggest why: fine-tuned imitation learning policies converge to similar action predictions across priors, despite their fine-tuned encoder embeddings diverging substantially from the pretrained embeddings and each other. A learning-rate ablation further confirms that encoder training is the dominant factor in fine-tuning performance, substantially outweighing the effect of prior choice. We conclude with concrete directions for future research on when and why learned priors might still matter in fine-tuning. Project page: https://cxu-tri.github.io/non_gaussian_FT/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27070v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
비전-언어-행동 모델을 위한 월드 기반 보정 제안-행동 흐름
World-Calibrated Proposal-to-Action Flow for Vision-Language-Action Models
흐름 기반 비전-언어-행동(VLA) 정책은 작업 무관 등방성 가우시안 소스로부터 샘플을 이송하여 행동 청크를 생성합니다. 이러한 소스는 최근 실행 내용이나 예측된 미래 변화 모두에 조건화되지 않기 때문에, (i) 최근 실행된 모션에 의해 확립된 국소적 연속성을 상실합니다. (ii) 예측형 월드 표현이 도입되더라도, 이는 생성이 시작되는 위치, 벗어날 수 있는 허용 범위, 또는 행동이 확장될 수 있는 방향을 결정하기보다는 이송 동역학만을 조건화하는 데 그치는 경우가 많습니다. 이러한 관찰에 착안하여, 본 연구는 생성 소스 자체를 예측 가능하게 만드는 월드 기반 보정 제안-행동(proposal-to-action) 프레임워크인 ProAct를 제안합니다. (i) 모션 연속성을 보존하기 위해, 경량 제안 전문가(Proposal Expert)는 1단계의 모션 앵커 기반 종점 흐름 매칭을 통해 최근 행동들을 장면 인지 가설로 변환함으로써 실증된 행동 다양체 근처에서 생성을 시작하도록 합니다. (ii) 의도된 장면 변화와 제안-미래 간의 호환성을 함께 포착하기 위해, 미래지향적 월드 전문가(World Expert)는 해당 가설을 연성 모션 사전분포로 취급하면서 작업 일관적인 잠재 미래를 예측합니다. (iii) 모델은 이러한 호환성으로부터 제안 중심 비등방성 소스를 보정하며, 여기서 유계된 스텝당 범위는 허용된 편차를 제어하고 조건수 예산 하의 대각합 정규화 저계수 기하는 결합된 병진, 회전, 그리퍼 방향 전반에 걸쳐 정제를 할당합니다. $\pi_{0.5}$와 비교하여, ProAct는 디노이징 스텝을 50% 줄이고 추론 지연 시간을 최대 25.8% 단축하며 처리량을 최대 34.8% 향상시키는 동시에 시뮬레이션 및 실제 환경 작업 전반에서 성능을 개선합니다.
NarrativeFlow: 로봇 속도장을 활용한 흐름 기반 비전-언어-행동 모델
NarrativeFlow: Flow-Based Vision-Language-Action Model Using Robot Velocity Fields
본 연구에서는 로봇 플로우(로봇 속도장)가 여러 로봇 플랫폼에서 수집된 데이터를 활용하기 위한 임베디먼트 독립적(embodiment-agnostic)이자 동작 중심의 표현으로 기능하는 언어 조건부 흐름 기반 조작에 주목합니다. 언어 조건부 조작은 실용적인 로봇 시스템에 필수적이지만, 로봇 파운데이션 모델(foundation model)의 스케일링(scaling)은 특정 임베디먼트 데이터 수집에 많은 노동력이 소요된다는 점으로 인해 여전히 제한되어 있어 이 과제는 매우 중요합니다. 기존 방식들은 희소한 키포인트 변위로 로봇 플로우를 대략적으로 근사하거나, 언어 조건부 조작을 다루지 못합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 언어를 조건으로 하는 플로우 매칭(flow-matching) 정식화를 사용하여 로봇 플로우를 연속적인 속도장으로 모델링하는 NarrativeFlow를 제안합니다. 이에 따라 NarrativeFlow는 실제 세계의 조작과 물리적으로 일관된 로봇 플로우를 생성합니다. NarrativeFlow를 검증하기 위해 언어 조건부 조작 표준 데이터셋에서 실험을 수행했습니다. 실험 결과, NarrativeFlow는 표준 평가 지표에서 대표적인 기준선(baseline) 방법들보다 우수한 성능을 보였습니다. 나아가 실제 세계 실험을 통해 NarrativeFlow가 여러 조작 작업 전반에서 기준선 방법들보다 더 높은 성공률을 달성함을 보입니다. 프로젝트 페이지는 https://shota0520.github.io/NarrativeFlow-project-page/ 에서 확인할 수 있습니다.
조건부 플로우 매칭을 통한 효율적인 멀티태스크 조작 정책 지식 증류
Distillation for Efficient Multitask Manipulation Policies via Conditional Flow Matching
최근 로봇 공학의 정책 학습(policy learning) 분야에서는 생성 모델링의 발전이 광범위하게 활용되고 있습니다. 특히 전문가 시연(demonstration)을 통해 학습된 조건부 플로우 매칭(Conditional Flow Matching, CFM)은 로봇 조작 벤치마크에서 기존 방법들을 능가하는 성능을 보여주었습니다. 이전 연구들은 주로 단일 태스크(single-task) 설정에 집중했으나, 각 태스크마다 독립적인 모델을 학습하는 것은 연산 비용이 많이 들기 때문에 본 연구에서는 이 문제를 멀티태스크(multi-task) 관점에서 다룹니다. 멀티태스크 정책 학습은 고유한 어려움을 수반하는데, 단순히 연결된 시연 데이터셋으로 순진하게 학습(naive training)할 경우 추가된 복잡성을 수용하기 위해 모델 용량을 늘려야 하거나 성능 저하가 발생하기 때문입니다. 이에 본 논문에서는 단일 태스크 CFM 전문가의 학습된 속도장(velocity field)을 전이함으로써 이들의 지식을 공유 멀티태스크 정책으로 증류(distillation)하는 방법을 제안합니다. 또한 시연에 대한 충실도를 유지하기 위해 이 증류 신호를 기존 CFM 목적 함수와 결합합니다. RLBench를 통한 실험 결과, 제안하는 접근 방식은 고정된 모델 크기를 유지하면서도 순진한 학습 방식 대비 멀티태스크 정책 성능을 향상시키는 것으로 나타났습니다.
비전-언어 로봇 조작에서 퓨샷 일반화를 위한 작업-프로토타입 유도 플로우 매칭
Task-Prototype Guided Flow Matching for Few-Shot Generalization in Vision-Language Robot Manipulation
비전-언어 로봇 조작 정책은 의미적 지시를 따를 수 있지만, 소수의 시연만으로 새로운 절차에 적응하는 것은 언어가 접촉 시점, 동작 단계, 교정 행동, 실행 스타일을 충분히 명시하지 않기 때문에 여전히 어렵다. 본 논문은 지원(support) 시연을 구조화된 작업-프로토타입 토큰으로 변환하고 이를 초기 플로우 사전분포와 속도장 모두를 유도하는 데 사용하는 퓨샷 조작 프레임워크인 Task-Prototype Guided Flow Matching(TP-Flow)을 제안한다. TP-Flow는 학습 가능한 쿼리를 갖춘 대칭 크로스-어텐션으로 단계 수준 프로토타입을 추출하고, 작업 적응형 초기 분포를 매개변수화하며, 게이트된 적응형 정규화를 통해 프로토타입 정보를 주입한다. 에피소드식 지원-쿼리 목적 함수와 프로토타입 대비 정규화로 학습하여, 학습 중 퓨샷 적응을 시뮬레이션하면서 방해 정보를 억제한다. LEROBOT-ARM-SO101 플랫폼에서 TP-Flow는 1-, 4-, 6-shot 설정에서 각각 66.8%, 79.6%, 82.1%의 성공률을 달성하였으며, 퓨샷 AUC는 75.5%이다. 1-shot에서 CFM, Pooled-Demo CFM, In-Context Flow 대비 각각 29.8, 14.5, 9.9 퍼센트포인트 향상을 보인다. 또한 새로운 객체 전이, 목표 재조합, 장기 지평 구성, 접촉/교정 작업에 걸친 보류(hold-out) 대상 그룹 일반화도 개선한다. TP-Flow는 6개의 온라인 프로토타입 토큰, 54.3 ms 지연, 3.9 GB 피크 메모리, 10 Hz 제어 주파수로 실시간 실행을 유지하면서, 노이즈가 있는 지원에서의 성공률 하락을 6.2%로 줄인다. 이론적 진단은 프로토타입 거리가 동작 분포 거리와 정렬되고, 적응형 사전분포가 수송(transport) 비용을 줄이며, 게이트 변조가 측정된 궤적 편차를 도출된 ODE 상한 이하로 유지함을 보여준다. 익명 심사를 위해 코드 저장소는 생략하였다.
InternW0: 효율적인 실세계 상호작용을 위한 기반 물리 세계 모델
InternW0: A Foundational Physical World Model for Efficient Real-World Interactions
물리 지능(physical intelligence)은 세계가 어떻게 변화할 수 있는지를 예측하는 것 이상을 요구한다. 세계가 계속 변하는 동안에도 예측은 실행 가능(actionable)한 상태로 남아 있어야 한다. 우리는 Shanghai AI Laboratory의 InternW 물리 세계 모델 시리즈의 첫 번째 구현인 InternW0을 소개한다. InternW0은 옴니모달(omnimodal) 인터페이스, 비동기 다중 주파수 처리, 부분 관측 및 외부 영향 하에서의 국소 물리 모델링을 중심으로 구축되었다. InternW0은 flow matching을 갖춘 비대칭 video–action 아키텍처를 통해 미래 시각 역학과 연속 로봇 제어를 공동 학습한다. 고용량 video expert는 더 긴 수평의 예측적 컨텍스트를 제공하고, 경량 action expert는 더 빠른 시간 척도에서 동작한다. 모든 action 업데이트마다 미래를 재생성하는 대신 InternW0은 계층별 K/V를 재사용하고, 관측 조건 컨텍스트 라우팅(observation-conditioned context routing)을 통해 새로 관측된 상태에 맞게 이를 적응시킨다. 도메인별 인터페이스와 soft prompt는 이질적인 embodiment를 지원하며, 접촉 인지(contact-aware) 사후 학습은 접촉이 풍부한 조작을 위해 힘과 촉각 신호를 통합한다. InternW0은 EgoLab(275시간 규모의 실험실 egocentric 데이터셋)을 포함하여 약 7,200시간의 이질적인 로봇 및 egocentric 데이터로 학습한다. 평가는 시뮬레이션 벤치마크와 실세계 과학 과제에 걸쳐 이루어지며, 15단계 metal–organic framework 합성 워크플로와 범용 정량 피펫팅(quantitative pipetting)을 위한 5단계 접촉·힘 인지 dexterous manipulation이 포함된다. 이러한 결과는 보편적이고 효율적인 실세계 상호작용을 위한 확장 가능하고 비동기적이며 science-native 물리 세계 모델을 발전시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.