FürElise: Capturing and Physically Synthesizing Hand Motions of Piano Performance
원문 초록
Piano playing requires agile, precise, and coordinated hand control that stretches the limits of dexterity. Hand motion models with the sophistication to accurately recreate piano playing have a wide range of applications in character animation, embodied AI, biomechanics, and VR/AR. In this paper, we construct a first-of-its-kind large-scale dataset that contains approximately 10 hours of 3D hand motion and audio from 15 elite-level pianists playing 153 pieces of classical music. To capture natural performances, we designed a markerless setup in which motions are reconstructed from multi-view videos using state-of-the-art pose estimation models. The motion data is further refined via inverse kinematics using the high-resolution MIDI key-pressing data obtained from sensors in a specialized Yamaha Disklavier piano. Leveraging the collected dataset, we developed a pipeline that can synthesize physically-plausible hand motions for musical scores outside of the dataset. Our approach employs a combination of imitation learning and reinforcement learning to obtain policies for physics-based bimanual control involving the interaction between hands and piano keys. To solve the sampling efficiency problem with the large motion dataset, we use a diffusion model to generate natural reference motions, which provide high-level trajectory and fingering (finger order and placement) information. However, the generated reference motion alone does not provide sufficient accuracy for piano performance modeling. We then further augmented the data by using musical similarity to retrieve similar motions from the captured dataset to boost the precision of the RL policy. With the proposed method, our model generates natural, dexterous motions that generalize to music from outside the training dataset.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EgoHTR: 자아시점 4D 인간 지형 통과 시연
EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal
비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.
월드 모션 모델: SE(3) 궤적의 유연한 시퀀스 모델링
World Motion Models: Flexible Sequence Modeling of SE(3) Trajectories
인공 에이전트(agent)에게 공간 지능을 부여하려면 동적 3D 세계에 대한 포괄적인 생성형 사전 확률(generative prior)이 필요합니다. 본 논문에서는 희소한 SE(3) 포즈 궤적을 통해 시간에 걸쳐 "무엇이 어디에 있었고, 현재 어디에 있으며, 앞으로 어디에 있을 것인가"를 포착하는 월드 모션 모델(World Motion Models, WMM)을 제안합니다. WMM은 동적 장면의 요소들이 4D 모델링을 위한 최소한이면서도 표현력이 뛰어난 프리미티브인 강체 SE(3) 궤적 집합으로 잘 근사될 수 있다는 관찰에 기반합니다. 이러한 표현은 다관절 객체, 인체, 손-객체 상호작용, 구분적 강체(piecewise-rigid) 장면 역학, 카메라 움직임, 나아가 로봇 상태와 행동까지 단일 공유 공간으로 통합합니다. 이 표현을 바탕으로 저자들은 토큰별 노이즈 레벨을 적용한 플로우 매칭(flow-matching)을 활용하여 이러한 엔티티들의 결합 분포를 유연한 시퀀스 모델링 문제로 정식화합니다. 비순차적 조건화를 위한 컨텍스트 토큰 메커니즘과 결합된 이 정식화는 임의의 수의 엔티티와 타임스텝에 걸쳐 임의 대 임의(any-to-any) 주변 조건화를 지원합니다. 미래 예측, 모션 인필링(motion infilling), 모델 예측 제어(MPC), 역기구학(IK), 교차 임바디먼트 리타기팅(cross-embodiment retargeting), 정책 학습과 같은 태스크들은 모두 동일한 네트워크 위에 서로 다른 마스크를 적용하는 문제로 귀결됩니다. 3D 비전 및 로보틱스의 6가지 다양한 응용 분야에 대한 실험은 WMM의 다재다능함과 유연성, 그리고 뛰어난 성능을 입증합니다.
Open-AoE: 체화 학습을 위한 공개 자아 중심 조작 데이터셋 및 툴체인
Open-AoE: An Open Egocentric Manipulation Dataset and Toolchain for Embodied Learning
자아 중심 인간 조작 영상은 체화 지능을 위한 확장 가능한 감독 신호를 제공하지만, 기존 자료는 저비용 연속 촬영, 조작 수준의 구조화된 주석, 로봇 학습을 위한 재사용 가능한 도구를 거의 동시에 갖추지 못한다. 우리는 스마트폰 촬영부터 모델 학습까지 전 과정에 걸친 파이프라인을 아우르는, 커뮤니티 중심의 공개 자아 중심 조작 데이터셋 및 툴체인인 Open-AoE를 제시한다. 첫 번째 릴리스에는 400대 이상의 스마트폰을 사용한 500명 이상의 기여자가 자연 환경에서 수집한 약 2,000시간 분량의 조작 영상이 포함된다. 데이터셋은 텍스트 주석, MANO 기반 손 자세, 카메라 궤적, 시간적으로 국소화된 원자적 동작을 제공한다. Open-AoE에는 시간적 동작 분할, 의미 주석, 손 재구성, 카메라 궤적 재구성을 통해 원시 녹화를 구조화된 샘플로 변환하는 데이터 처리 파이프라인이 추가로 포함된다. 한편, 시각화, 교차 체화(cross-embodiment) 리타겟팅, 모델별 데이터 변환, VLA 정책, WAM, 월드 모델(World Model)을 위한 학습 레시피를 지원하는 별도의 하류(downstream) 툴체인도 제공한다. 확장 가능한 촬영, 구조화된 처리, 하류 적응을 통합함으로써 Open-AoE는 데이터 기여와 재사용 모두의 장벽을 낮추며, 체화 모델 학습, 인간-로봇 전이, 월드 모델링을 위한 실용적인 공개 인프라를 제공한다.
GenVid2Robot: 강체-기하학적 일관성을 통한 비디오 생성에서 로봇 조작으로
GenVid2Robot: From Video Generation to Robot Manipulation via Rigid-Geometric Consistency
생성된 비디오는 로봇 조작을 위한 유용한 시각적 모션 사전(visual motion prior)을 제공하지만, 시각적 그럴듯함이 물리적 실행 가능성을 의미하지는 않는다. 생성된 비디오는 일반적으로 메트릭 기하학, 그래스프 그라운딩(grasp grounding), 로봇 기구학적 실행 가능성, 실행 시 피드백이 부족하여 실제 환경의 조작에서 직접적인 궤적 재현을 신뢰하기 어렵게 만든다. 본 논문은 생성된 비디오 모션을 실제 로봇이 실행 가능한 조작 궤적으로 변환하는 강체-기하학적 일관성 프레임워크인 GenVid2Robot을 제안한다. 초기 RGB-D 관측과 작업 지시가 주어지면, GenVid2Robot은 실제 첫 번째 프레임에서 작업 관련 의미론적 앵커를 샘플링하고, 생성된 비디오 후보들을 통해 이 앵커들을 추적하며, 희소 상대적 SE(3) 모델 하에서 결과로 나타나는 2D 모션이 첫 번째 프레임의 RGB-D 앵커로 설명될 수 있는지 검증한다. 이를 통해 생성된 비디오는 직접적인 로봇 데모가 아닌 불확실한 시각적 모션 가설로 처리된다. 기하학적으로 일관된 모션만이 로봇으로 전달된다. 수용된 상대적 모션은 이후 마스크 제약 그래스핑으로 선택된 실제 그래스프 시점의 TCP 포즈에 적용되어, 시각적 모션 사전과 물리적 그래스프 구성 모두에 일관된 그래스프 조건부 실행 궤적을 생성한다. RGB-D 노이즈, 캘리브레이션 잔차, 소규모 접촉 유발 변위로 인한 실행 불일치를 줄이기 위해, 유계 깊이 보정 모듈이 완전한 온라인 재계획을 가정하지 않고 지역적 깊이 방향 오류를 수정한다. 실제 로봇 실험을 통해 GenVid2Robot이 희소 메트릭 기하학, 그래스프 제약, 로봇 실행 가능성 검사, 유계 실행 피드백으로 시각적 모션 사전을 그라운딩함으로써 생성 비디오 기반 조작의 신뢰성을 향상시킴을 보인다.
QuickPose: Real-time Multi-view Multi-person Pose Estimation in Crowded Scenes
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.