Multimodal Fusion of EMG and Vision for Human Grasp Intent Inference in Prosthetic Hand Control
원문 초록
Objective: For transradial amputees, robotic prosthetic hands promise to regain the capability to perform daily living activities. Current control methods based on physiological signals such as electromyography (EMG) are prone to yielding poor inference outcomes due to motion artifacts, muscle fatigue, and many more. Vision sensors are a major source of information about the environment state and can play a vital role in inferring feasible and intended gestures. However, visual evidence is also susceptible to its own artifacts, most often due to object occlusion, lighting changes, etc. Multimodal evidence fusion using physiological and vision sensor measurements is a natural approach due to the complementary strengths of these modalities. Methods: In this paper, we present a Bayesian evidence fusion framework for grasp intent inference using eye-view video, eye-gaze, and EMG from the forearm processed by neural network models. We analyze individual and fused performance as a function of time as the hand approaches the object to grasp it. For this purpose, we have also developed novel data processing and augmentation techniques to train neural network components. Results: Our results indicate that, on average, fusion improves the instantaneous upcoming grasp type classification accuracy while in the reaching phase by 13.66% and 14.8%, relative to EMG (81.64% non-fused) and visual evidence (80.5% non-fused) individually, resulting in an overall fusion accuracy of 95.3%. Conclusion: Our experimental data analyses demonstrate that EMG and visual evidence show complementary strengths, and as a consequence, fusion of multimodal evidence can outperform each individual evidence modality at any given time.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Toward Foundational Model for Sleep Analysis Using a Multimodal Hybrid Self-Supervised Learning Framework
Sonic Entanglements with Electromyography: Between Bodies, Signals, and Representations
Multi-Modal Wireless Flexible Gel-Free Sensors with Edge Deep Learning for Detecting and Alerting Freezing of Gait in Parkinson's Patients
피험자 식별을 위한 단서 없는 EEG 상상 발화: 데이터셋 및 벤치마크
Cueless EEG imagined speech for subject identification: dataset and benchmarks
뇌전도(EEG) 신호는 생체 인식 식별을 위한 유망한 양식(modality)으로 부상했습니다. 이전 연구들에서는 피험자 식별을 위해 의미론적으로 유의미한 단어를 사용하는 상상 발화(imagined speech)의 활용을 탐색해 왔으나, 대부분 추가적인 시각적 또는 청각적 단서에 의존했습니다. 본 연구에서는 피험자가 외부 단서 없이 의미론적으로 유의미한 단어의 발음을 상상하는, 단서 없는(cueless) EEG 기반 상상 발화 패러다임을 소개합니다. 이 혁신적인 접근법은 피험자가 사전에 정의된 목록에서 자연스럽게 단어를 선택하고 상상하도록 함으로써 기존 방법들의 한계를 해결합니다. 데이터셋은 5개 세션에 걸쳐 11명의 피험자로부터 수집된 4,350개 이상의 시행(trial)으로 구성됩니다. 서포트 벡터 머신(SVM) 및 XGBoost와 같은 전통적인 머신러닝 기법뿐만 아니라 시계열 파운데이션 모델, 그리고 EEG Conformer 및 Shallow ConvNet과 같이 EEG 분류를 위해 특별히 설계된 심층 학습 아키텍처를 포함한 다양한 분류 방법을 평가합니다. 신뢰할 수 있는 평가를 보장하고 데이터 누수를 방지하기 위해 세션 기반 홀드아웃 검증 전략을 적용했습니다. 실험 결과는 97.93%에 달하는 뛰어난 분류 정확도를 입증합니다. 이러한 결과는 뇌-컴퓨터 인터페이스(BCI)와 같은 실제 응용 분야에서 안전하고 신뢰할 수 있는 피험자 식별을 위한 단서 없는 EEG 패러다임의 잠재력을 강조합니다.
Dataset combining EEG, eye-tracking, and high-speed video for ocular activity analysis across BCI paradigms
Articulatory Feature Prediction from Surface EMG during Speech Production
토론
이 논문과 연결된 포럼 글이 아직 없습니다.