LynnReal-Hand: 손으로 조작하는 동영상 세계 모델
LynnReal-Hand: Unlocking World Interaction with Hand Control
한국어 초록
상호작용형 동영상 세계 모델에서는 텍스트와 카메라 조작으로 세계를 탐색할 수 있다. 물체와 직접 상호작용하려면 더 세밀한 제어가 필요하다. 손은 자연스러운 조작 수단이지만, 손과 물체 사이의 복잡한 동역학을 다루고 실시간으로 많은 연산을 수행해야 하므로 연속적인 손동작을 일관된 시각적 반응으로 바꾸기는 어렵다. 이 문제를 해결하기 위해 정밀한 상호작용 모델링과 효율적인 스트리밍 생성을 결합한 손 제어 동영상 세계 모델 LynnReal-Hand를 제안한다. 다양한 실제 및 합성 환경에서 상호작용 영상 클립 10만 개를 선별하고, 세밀한 손동작과 물체 상호작용의 품질을 높이기 위해 손 정보를 반영하는 지도 신호를 설계했다. 이를 바탕으로 적은 단계로 영상을 생성하는 인과적 흐름 맵을 학습한다. 이어 영상과 이미지의 상호 보완적인 사전 정보를 결합하는 영역 인식 점수 증류로 상호작용의 움직임과 시각적 외형을 개선한다. 추론 지연 시간을 더 줄이기 위해, 훨씬 적은 연산 비용으로 높은 재구성 충실도를 유지하는 소형 동영상 디코더 Ultra-Fast-VAE를 제안한다. HandBench에서 폭넓게 평가한 결과, 기존 방법보다 손동작을 따르는 정확도와 시각적 품질이 높았다. 전체 시퀀스 모델은 FVD 181.67과 MANO Dice 점수 93.02를 기록했으며, 3단계 인과 모델은 MANO Dice 점수 92.49를 유지했다. 단일 H200에서 540p 해상도로 실시간 스트리밍하면 초당 18.03프레임과 741ms의 지연 시간을 달성한다. 최적화 후 최대 GPU 메모리 사용량은 34.89GB다. 손으로 제어하는 동영상 세계 모델 연구를 지원하기 위해 데이터셋, 모델 가중치, 전체 학습 및 추론 코드를 공개할 예정이다.
원문 초록
Interactive video world models enable exploration through text and camera controls, yet direct object interaction requires finer control. Hands provide a natural interface, but translating continuous hand movements into coherent visual responses remains challenging because of complex hand-object dynamics and demanding real-time computation. To address these challenges, we introduce LynnReal-Hand, a hand-controlled video world model that unifies precise interaction modeling with efficient streaming generation. We curate 100K interaction clips spanning diverse real and synthetic environments and develop hand-aware supervision to improve fine-grained hand motions and object interactions. Building on this foundation, we learn a causal flow map for few-step generation and introduce region-aware score distillation that combines complementary video and image priors to refine interaction dynamics and visual appearance. To further reduce inference latency, we propose Ultra-Fast-VAE, a compact video decoder that preserves high reconstruction fidelity with substantially lower computational cost. Extensive evaluations on HandBench demonstrate superior hand-following accuracy and visual quality compared with existing approaches. Our full-sequence model achieves an FVD of 181.67 and a MANO Dice score of 93.02, while the three-step causal model maintains a MANO Dice score of 92.49. For real-time interaction, 540p streaming on a single H200 reaches 18.03 FPS with 741ms latency and an optimized peak GPU memory footprint of only 34.89GB. We will release the datasets, model weights, and the full training and inference code to support research on hand-controlled video world models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21479v2제출 시각 미확인
- arXiv:2611.21479v1
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.