EquiDexFlow: Contact-Grounded SE(3)-Equivariant Dexterous Grasp Generative Flows
한국어 초록
학습된 정교 파지(dexterous grasp) 생성기 대부분은 접촉력 검증을 하류(downstream) 단계로 미루기 때문에, 운동학적으로 타당한 자세라도 안정적인 물리적 파지 조건을 위반할 수 있다. 본 논문에서는 이 문제를 EquiDexFlow로 해결한다. EquiDexFlow는 SE(3)-등변(equivariant) 플로우 매칭(flow-matching) 모델로, 객체 포인트 클라우드로부터 손목 자세, 관절 각도, 손끝 접촉점, 표면 법선, 접촉력을 통합적으로 예측한다. 본 아키텍처는 접촉점을 객체 표면에 투영하고 힘을 쿨롱 마찰 원뿔(Coulomb friction cone) 내로 구조적으로 제한하므로, 손실 패널티 없이도 배치 조건과 마찰 준수 조건이 보장된다. 엔드투엔드 SE(3) 등변성을 이론적으로 증명하고 200회 회전에 걸쳐 실험적으로 검증하였으며, 손목 잔차는 $0.04^\circ$ 이하, 관절 편차는 정확히 0을 달성하였다. 16-DoF Allegro Hand를 위해 81개 객체에 대한 8,100개의 힘-폐쇄(force-closure) 파지로 학습된 본 모델은 마찰 위반 0건, 최고 복합 점수, 그리고 모든 어블레이션 변형 중 가장 낮은 렌치(wrench) 잔차를 달성하였다. 디코딩된 손끝 접촉점을 손가락별 역기구학(inverse kinematics)을 통해 16-DoF LEAP Hand로 리타겟팅하였으며, 하드웨어 실현 가능 정제(refinement)를 통해 렌치 균형을 유지하면서 모든 관절을 구동기 범위 내 최소 5% 이내로 위치시킨다. 실제 로봇에서 리타겟팅된 EquiDexFlow 디코딩 파지는 6개의 테스트 객체 모두에 대해 개루프(open-loop) 집어서-유지하기 실험을 완료하였으며, 모든 비대칭 객체는 정준 자세와 $120^\circ$ 동시 회전(co-rotation) 모두에서 성공하였다. 영상, 코드, 체크포인트는 https://equidexflow.github.io 에서 확인할 수 있다.
원문 초록
Most learned dexterous grasp generators relegate contact forces to a downstream verification step, so a kinematically-plausible pose can still violate the conditions for a stable physical grasp. We address this with EquiDexFlow, an SE(3)-equivariant flow-matching model that jointly predicts wrist pose, joint angles, fingertip contacts, surface normals, and contact forces from an object point cloud. Our architecture projects contacts onto the object surface and forces into the Coulomb friction cone by construction, so placement and friction compliance hold without loss penalties. We prove end-to-end SE(3) equivariance and verify it empirically over 200 rotations, with wrist residuals below $0.04^\circ$ and exactly zero joint deviation. Trained on 8,100 force-closure grasps across 81 objects for the 16-DoF Allegro Hand, our model achieves zero friction violations, the best composite score, and the lowest wrench residual among all ablation variants. We retarget decoded fingertip contacts to a 16-DoF LEAP Hand via per-finger inverse kinematics, and our hardware-feasible refinement places every joint at least 5% inside its actuator envelope while preserving wrench balance. On the physical robot, retargeted EquiDexFlow-decoded grasps complete open-loop pick-and-hold trials on all six test objects, with every asymmetric object succeeding at both the canonical pose and a $120^\circ$ co-rotation. Videos, code, and checkpoints are available at https://equidexflow.github.io.
요약
기존 파악 생성기가 접촉력 검증을 후속 단계로 처리하여 물리적 불안정성을 초래하는 문제를 해결하기 위해, SE(3)-에퀴버리언트 플로우 매칭 모델인 EquiDexFlow가 제안되었습니다. 이 모델은 객체 포인트 클라우드에서 손목 자세와 접촉력을 포함한 파악 파라미터를 통합적으로 예측하며 쿨롱 마찰 원뿔 조건을 구조적으로 보장하여 실제 로봇 실험에서 완벽한 회전 불변성과 파악 성공률을 달성했습니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12728v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
비전-언어-행동 모델을 위한 월드 기반 보정 제안-행동 흐름
World-Calibrated Proposal-to-Action Flow for Vision-Language-Action Models
흐름 기반 비전-언어-행동(VLA) 정책은 작업 무관 등방성 가우시안 소스로부터 샘플을 이송하여 행동 청크를 생성합니다. 이러한 소스는 최근 실행 내용이나 예측된 미래 변화 모두에 조건화되지 않기 때문에, (i) 최근 실행된 모션에 의해 확립된 국소적 연속성을 상실합니다. (ii) 예측형 월드 표현이 도입되더라도, 이는 생성이 시작되는 위치, 벗어날 수 있는 허용 범위, 또는 행동이 확장될 수 있는 방향을 결정하기보다는 이송 동역학만을 조건화하는 데 그치는 경우가 많습니다. 이러한 관찰에 착안하여, 본 연구는 생성 소스 자체를 예측 가능하게 만드는 월드 기반 보정 제안-행동(proposal-to-action) 프레임워크인 ProAct를 제안합니다. (i) 모션 연속성을 보존하기 위해, 경량 제안 전문가(Proposal Expert)는 1단계의 모션 앵커 기반 종점 흐름 매칭을 통해 최근 행동들을 장면 인지 가설로 변환함으로써 실증된 행동 다양체 근처에서 생성을 시작하도록 합니다. (ii) 의도된 장면 변화와 제안-미래 간의 호환성을 함께 포착하기 위해, 미래지향적 월드 전문가(World Expert)는 해당 가설을 연성 모션 사전분포로 취급하면서 작업 일관적인 잠재 미래를 예측합니다. (iii) 모델은 이러한 호환성으로부터 제안 중심 비등방성 소스를 보정하며, 여기서 유계된 스텝당 범위는 허용된 편차를 제어하고 조건수 예산 하의 대각합 정규화 저계수 기하는 결합된 병진, 회전, 그리퍼 방향 전반에 걸쳐 정제를 할당합니다. $\pi_{0.5}$와 비교하여, ProAct는 디노이징 스텝을 50% 줄이고 추론 지연 시간을 최대 25.8% 단축하며 처리량을 최대 34.8% 향상시키는 동시에 시뮬레이션 및 실제 환경 작업 전반에서 성능을 개선합니다.
NarrativeFlow: 로봇 속도장을 활용한 흐름 기반 비전-언어-행동 모델
NarrativeFlow: Flow-Based Vision-Language-Action Model Using Robot Velocity Fields
본 연구에서는 로봇 플로우(로봇 속도장)가 여러 로봇 플랫폼에서 수집된 데이터를 활용하기 위한 임베디먼트 독립적(embodiment-agnostic)이자 동작 중심의 표현으로 기능하는 언어 조건부 흐름 기반 조작에 주목합니다. 언어 조건부 조작은 실용적인 로봇 시스템에 필수적이지만, 로봇 파운데이션 모델(foundation model)의 스케일링(scaling)은 특정 임베디먼트 데이터 수집에 많은 노동력이 소요된다는 점으로 인해 여전히 제한되어 있어 이 과제는 매우 중요합니다. 기존 방식들은 희소한 키포인트 변위로 로봇 플로우를 대략적으로 근사하거나, 언어 조건부 조작을 다루지 못합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 언어를 조건으로 하는 플로우 매칭(flow-matching) 정식화를 사용하여 로봇 플로우를 연속적인 속도장으로 모델링하는 NarrativeFlow를 제안합니다. 이에 따라 NarrativeFlow는 실제 세계의 조작과 물리적으로 일관된 로봇 플로우를 생성합니다. NarrativeFlow를 검증하기 위해 언어 조건부 조작 표준 데이터셋에서 실험을 수행했습니다. 실험 결과, NarrativeFlow는 표준 평가 지표에서 대표적인 기준선(baseline) 방법들보다 우수한 성능을 보였습니다. 나아가 실제 세계 실험을 통해 NarrativeFlow가 여러 조작 작업 전반에서 기준선 방법들보다 더 높은 성공률을 달성함을 보입니다. 프로젝트 페이지는 https://shota0520.github.io/NarrativeFlow-project-page/ 에서 확인할 수 있습니다.
InternW0: 효율적인 실세계 상호작용을 위한 기반 물리 세계 모델
InternW0: A Foundational Physical World Model for Efficient Real-World Interactions
물리 지능(physical intelligence)은 세계가 어떻게 변화할 수 있는지를 예측하는 것 이상을 요구한다. 세계가 계속 변하는 동안에도 예측은 실행 가능(actionable)한 상태로 남아 있어야 한다. 우리는 Shanghai AI Laboratory의 InternW 물리 세계 모델 시리즈의 첫 번째 구현인 InternW0을 소개한다. InternW0은 옴니모달(omnimodal) 인터페이스, 비동기 다중 주파수 처리, 부분 관측 및 외부 영향 하에서의 국소 물리 모델링을 중심으로 구축되었다. InternW0은 flow matching을 갖춘 비대칭 video–action 아키텍처를 통해 미래 시각 역학과 연속 로봇 제어를 공동 학습한다. 고용량 video expert는 더 긴 수평의 예측적 컨텍스트를 제공하고, 경량 action expert는 더 빠른 시간 척도에서 동작한다. 모든 action 업데이트마다 미래를 재생성하는 대신 InternW0은 계층별 K/V를 재사용하고, 관측 조건 컨텍스트 라우팅(observation-conditioned context routing)을 통해 새로 관측된 상태에 맞게 이를 적응시킨다. 도메인별 인터페이스와 soft prompt는 이질적인 embodiment를 지원하며, 접촉 인지(contact-aware) 사후 학습은 접촉이 풍부한 조작을 위해 힘과 촉각 신호를 통합한다. InternW0은 EgoLab(275시간 규모의 실험실 egocentric 데이터셋)을 포함하여 약 7,200시간의 이질적인 로봇 및 egocentric 데이터로 학습한다. 평가는 시뮬레이션 벤치마크와 실세계 과학 과제에 걸쳐 이루어지며, 15단계 metal–organic framework 합성 워크플로와 범용 정량 피펫팅(quantitative pipetting)을 위한 5단계 접촉·힘 인지 dexterous manipulation이 포함된다. 이러한 결과는 보편적이고 효율적인 실세계 상호작용을 위한 확장 가능하고 비동기적이며 science-native 물리 세계 모델을 발전시킨다.
KineBench: IDM 없는 운동학적 그라운딩을 통한 체화 세계 모델 벤치마킹
KineBench: Benchmarking Embodied World Models via IDM-Free Kinematic Grounding
체화 세계 모델(EWM)의 물리적 일관성을 평가하는 것은 중요한 미해결 과제이다. 시뮬레이터 롤아웃을 통한 폐루프(closed-loop) 평가는 개루프(open-loop) 대안보다 물리적 타당성을 더 충실하게 평가하지만, 기존 프레임워크는 거의 전적으로 동작 추출을 위해 역동역학 모델(IDM)에 의존한다. 2D 픽셀 공간에서 3D 운동학 공간으로의 복잡한 매핑 때문에, 학습된 IDM은 학습 분포 밖 데이터에 취약할 수 있으며, 새로운 객체와 시나리오가 포함된 생성 비디오에서 신뢰할 수 없는 동작 추출을 초래한다. 이는 세계 모델의 부정확성과 추출기 오류 사이에 피할 수 없는 귀속 모호성을 만든다. 이 모호성을 줄이기 위해, 우리는 명시적 운동학적 그라운딩 파이프라인 위에 구축된 EWM용 IDM-프리 폐루프 벤치마크인 KineBench를 제시한다. 생성된 비디오가 주어지면, KineBench는 연쇄적 시각 기반 모델(visual foundation models)을 사용해 개별 프레임에서 6D 엔드 이펙터(end-effector) 자세를 직접 추출하고, 이를 물리 시뮬레이터에서 실행하여 폐루프 검증을 수행한다. 실행 기반 과제 성공률을 넘어, KineBench는 로봇 중심 관점에서 궤적의 매끄러움과 운동학적 타당성을 특성화하기 위해 두 가지 고전적 3D 운동학 지표—Spectral Arc Length(SPARC)와 Maruyama Manipulability Index—를 통합한다. ManiSkill3의 20개 다양한 조작(manipulation) 과제 위에 구축된 KineBench는 기본 실행, 과제 전이, 시각적 분포 외(out-of-distribution) 일반화, 복잡도 조건 스케일링의 네 가지 점진적 스위트에 걸쳐 EWM을 평가한다. 최신(frontier) 모델들에 대한 평가는 체화 비디오 생성에서 과제 복잡도에 의해 제한되는 비선형 스케일링을 밝혀내어, 향후 데이터 스케일링 전략에 대한 실증적 지침을 제공한다.
GlanceWAM: 월드-액션 모델을 위한 희소 테스트 타임 시각적 상상
GlanceWAM: Sparse Test-Time Imagination for World-Action Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.