DoF 쿼리 트랜스포머: 연속 손 운동학 추정을 위한 1인칭 영상과 전완부 고밀도 표면 근전도의 적응형 융합
DoF-Query Transformer for Adaptive Fusion of Egocentric Vision and Forearm HD-sEMG in Continuous Hand Kinematics
한국어 초록
사람 손의 운동학을 연속적이고 정확하게 추정하는 일은 직관적인 인간-기계 상호작용에 중요하다. 또한 체화 지능 데이터셋과 정교한 로봇 조작 학습에서 행동 감독에 사용할 수 있도록 사람의 세밀한 조작 시연을 기록하는 데도 중요하다. 그러나 작동 조건이 달라지면 단일 센싱 모달리티만으로는 신뢰할 만한 추정이 어려울 수 있다. 본 연구는 손가락에 장치를 부착하지 않고 1인칭 RGB 이미지와 전완부의 128채널 고밀도 표면 근전도(HD-sEMG)로 손 관절 각도 20개를 연속적으로 회귀 추정하는 멀티모달 프레임워크를 제시한다. 비전 트랜스포머 기반 시각 인코더, 트랜스포머 기반 근전도 인코더, 자유도(DoF)별 쿼리를 사용하는 트랜스포머 융합 디코더를 결합한다. 관절 자유도와 입력 조건에 따라 시각 단서와 근전도 단서가 제공하는 정보량이 다르다. 이를 반영해 디코더는 자유도마다 학습 가능한 쿼리를 별도로 배정하며, 두 모달리티를 자유도와 입력 문맥에 맞춰 융합한다. 참가자 10명에게서 동기화해 수집한 멀티모달 데이터로 평가했다. 참가자 평균으로 제안 융합 모델은 결정계수($R^2$) $0.88$, 평균 절대 오차(MAE) $2.80^\circ$를 기록했다. 영상만 사용한 모델은 각각 $0.82$와 $3.21^\circ$, 근전도만 사용한 모델은 $0.68$과 $5.13^\circ$였다. 제안 모델은 평가에 포함한 대표적인 단일 모달리티 기준선과 다른 융합 설계보다도 성능이 높았다. 자유도별 분석에서는 시각 정보만으로 구분하기 어려운 관절과 관측 조건에서 융합의 개선 폭이 더 컸다. 인위적으로 영상의 일부를 가리는 실험에서도 영상만 사용한 추정보다 강건했다. 이러한 결과는 사람 손의 세밀한 운동학 정보를 포착할 때 1인칭 영상과 전완부 HD-sEMG가 서로 보완적이며, 사람의 시연 수집과 정교한 로봇 조작 학습에 활용할 수 있음을 보여 준다.
원문 초록
Continuous and accurate estimation of human hand kinematics is important not only for intuitive human-machine interaction, but also for capturing fine-grained human manipulation demonstrations that can provide action supervision for embodied-intelligence datasets and dexterous robot learning. However, individual sensing modalities may be insufficient for reliable estimation under varying operating conditions. We present a finger-unencumbered multimodal framework for continuous regression of 20 hand joint angles from egocentric RGB images and 128-channel forearm high-density surface electromyography (HD-sEMG). The framework combines a Vision Transformer-based visual encoder, a Transformer-based EMG encoder, and a degree of freedom (DoF) query Transformer fusion decoder. To account for the varying informativeness of visual and EMG cues across joint DoFs and input conditions, the decoder assigns a separate learnable query to each DoF, enabling DoF-specific and context-adaptive fusion of the two modalities. The framework was evaluated on synchronized multimodal data from 10 participants. Averaged across participants, the proposed fusion model achieved a mean coefficient of determination ($R^2$) of $0.88$ and a mean absolute error (MAE) of $2.80^\circ$, compared with $0.82$ and $3.21^\circ$ for the vision-only model and $0.68$ and $5.13^\circ$ for the EMG-only model. It also outperformed the evaluated representative unimodal baselines and alternative fusion designs. DoF-wise analyses showed larger fusion gains for visually ambiguous joints and viewing conditions, while synthetic visual occlusion demonstrated greater robustness than vision-only estimation. These results highlight the complementary value of egocentric vision and forearm HD-sEMG for capturing fine-grained human hand kinematics, with potential applications in human demonstration acquisition and dexterous robot learning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.