제스처는 우리가 환경과 일상적으로 상호작용하는 데 있어 핵심적인 요소이다. 손 제스처 인식(HGR)은 시각 데이터(이미지 및 영상)와 생체 신호 등 다양한 입력 모달리티를 통해 인간의 의도를 해석하는 과정이다. 생체 신호는 팔에 부착된 센서를 통해 비침습적으로 획득할 수 있어 HGR에 널리 활용된다. 그 중에서도 근육의 전기적 활동을 측정하는 표면 근전도(sEMG)가 가장 광범위하게 연구된 모달리티이다. 그러나 관성 측정 장치(IMU)와 같이 상대적으로 덜 탐구된 대안들은 미세한 근육 움직임에 대한 보완적 정보를 제공할 수 있어 제스처 인식에 있어 가치가 있다. 본 연구에서는 서로 다른 근육 그룹에서 획득한 IMU 신호의 사용자 의도 포착 가능성을 조사한다. 실험 결과, IMU 신호는 정적 제스처 인식의 단독 입력 센서로 활용하기에 충분한 정보를 포함하고 있음을 확인하였다. 나아가 서로 다른 근육 그룹을 비교하고 개별 근육 그룹에서의 패턴 인식 품질을 검토하였다. 또한 IMU로 포착되는 힘줄 유발 미세 움직임이 정적 제스처 인식의 주요 기여 요인임을 발견하였다. 우리는 근육 미세 움직임 정보를 활용함으로써 절단 환자를 위한 의수의 사용성을 향상시킬 수 있다고 판단한다. 이 접근 방식은 로보틱스, 원격 조작, 수어 해석 등 다양한 분야에서 손 제스처 인식의 새로운 가능성을 제시한다.
IMU 기반 운동 동작 평가에서 클래스 경계 근처의 모호한 반복 동작을 원-핫 레이블 대신 자동 생성된 레이블 분포(AGLD)로 표현하고, Kullback-Leibler 발산 목적 함수로 학습한 네트워크가 4개 데이터셋에서 기준선 분류 성능을 유지하거나 초과하면서 모호한 동작을 더 신뢰성 있게 탐지함을 보였다.
재활 운동 분석에서 다채널 IMU 시계열 분류기의 설명 가능성을 높이기 위해, Shapley 기반 그룹 순위 선정과 학습 가능한 게이트(Learnable Gate) 메커니즘을 결합한 2단계 반사실적 설명(Counterfactual Explanation) 생성 프레임워크를 제안한다. KneE-PAD 데이터셋 실험에서 채널 수준의 M-CELS 기준선 대비 그룹 희소성을 크게 향상시키면서 유효성과 시간적 일관성을 유지하여, 근육 단위의 임상적으로 의미 있는 교정 지침을 생성함을 보였다.
관성 측정 장치(IMU) 센서를 이용한 인간 행동 인식(HAR)은 헬스케어 모니터링 및 재활 분야에서 매우 중요하다. 심층 학습(deep learning)의 발전에도 불구하고, 레이블 데이터에 대한 의존성, 다중 센서 융합의 복잡성, 비지도 방법론의 시공간 의존성 포착 능력 한계 등 주요 과제가 여전히 남아 있다. 이러한 문제는 노이즈가 많은 데이터, 중첩 행동, 누락된 레이블이 존재하는 실제 환경에서 더욱 두드러진다. 우리는 메모리 증강 오토인코더를 활용한 완전 비지도 시공간 특징(feature) 융합 프레임워크를 제안한다. 이 프레임워크는 다중 센서 IMU 데이터의 짧은 시간 윈도우를 통해 행동 표현을 향상시켜 실시간 애플리케이션을 가능하게 한다. 우리의 프레임워크는 스택형 오토인코더(Stacked Autoencoder)를 통해 계층적 정적 특징을 추출하고, 센서 내부 및 센서 간에 이를 융합한다. 이어서 시퀀스-투-시퀀스(sequence-to-sequence) LSTM 오토인코더가 레이블 없이 과거 동작 패턴을 반영하여 이러한 특징을 시간적으로 정제한다. 우리는 짧은 윈도우 제약 조건 하에서 특징 분리성을 극대화하는 구성을 식별하기 위해 주요 하이퍼파라미터를 분석한다. 현실적인 클래스 간 윈도우 분할 방식을 적용하여 DaLiAc와 PAMAP2 데이터셋에서 평가한 결과, 우리의 방법은 각각 96.6%와 98.4%의 정확도를 달성하여 지도 학습 기준선과 비지도 접근법을 능가하였다. 우리의 방법은 더 짧은 시간 윈도우에도 불구하고 특징 분리성을 최대 9%까지 향상시킨다. 현실적인 클래스 간 분할 방식은 정확도를 약 7% 감소시키지만, 이는 실제 세계의 행동 전환과 실용적 적합성을 보다 잘 반영하기 위해 의도적으로 채택된 것이다.