InMyFace: Inertial and Mechanomyography-Based Sensor Fusion for Wearable Facial Activity Recognition
원문 초록
Recognizing facial activity is a well-understood (but non-trivial) computer vision problem. However, reliable solutions require a camera with a good view of the face, which is often unavailable in wearable settings. Furthermore, in wearable applications, where systems accompany users throughout their daily activities, a permanently running camera can be problematic for privacy (and legal) reasons. This work presents an alternative solution based on the fusion of wearable inertial sensors, planar pressure sensors, and acoustic mechanomyography (muscle sounds). The sensors were placed unobtrusively in a sports cap to monitor facial muscle activities related to facial expressions. We present our integrated wearable sensor system, describe data fusion and analysis methods, and evaluate the system in an experiment with thirteen subjects from different cultural backgrounds (eight countries) and both sexes (six women and seven men). In a one-model-per-user scheme and using a late fusion approach, the system yielded an average F1 score of 85.00% for the case where all sensing modalities are combined. With a cross-user validation and a one-model-for-all-user scheme, an F1 score of 79.00% was obtained for thirteen participants (six females and seven males). Moreover, in a hybrid fusion (cross-user) approach and six classes, an average F1 score of 82.00% was obtained for eight users. The results are competitive with state-of-the-art non-camera-based solutions for a cross-user study. In addition, our unique set of participants demonstrates the inclusiveness and generalizability of the approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GaitVista: 접근 가능한 종단 보행 평가를 위한 신뢰성 인식 AI 측정
GaitVista: Reliability-Aware AI Measurement toward Accessible Longitudinal Gait Assessment
보행 기능 회복을 추적하려면 재활 세션에 걸쳐 의미 있는 보행 변화를 감지해야 하지만, 객관적인 3D 측정은 여전히 전문 모션 캡처(motion-capture) 실험실에 국한된다. 소규모 카메라 세트와 착용형 관성 센서(inertial sensor)는 접근성을 넓히지만, 관절과 시간에 따라 신뢰도가 달라져 센싱 실패가 환자 변화처럼 보일 수 있다. 본 논문은 카메라 커버리지, 국소 시각 품질, 교차 모달 불일치, 뿌리(root) 운동 연속성을 이용해 관절·프레임별 시각 기여도를 할당하고 이를 검사할 수 있게 노출하는 경량 게이트를 갖춘, 신뢰성 인식 측정 층인 \textsc{GaitVista}를 제안한다. TotalCapture에서 일곱 가지 깨끗한·열화된 센싱 조건에 대해 \textsc{GaitVista}는 평균 전신 및 하체 오차를 각각 \textbf{27.7\%} 및 \textbf{27.8\%} 줄이고, 융합(fusion) 방법 중 최악 조건 오차가 가장 낮으며, 조건 무시 기준선 대비 관절-프레임 오라클과의 격차를 $2.76$--$5.33$~cm에서 $1.11$~cm로 줄인다. 이미지 유도 키포인트(image-derived keypoint)를 사용한 MoVi에서는, 단일 모달 스트림 모두보다 성능을 개선하는 유일한 배포 가능한 융합 방법으로, 가장 강한 학습 기반 융합 기준선 대비 마커 지원 오차를 \textbf{6.4\%} 상대 감소시킨다. TotalCapture에서는 양측 무릎 굴곡(knee-flexion) 파형 정확도를 \textbf{18.9\%} 개선한다. 다섯 명의 TotalCapture 참가자로부터의 원시 관성 측정값은 위치·시간에 따라 변하는 자기 교란(magnetic disturbance)을 보여 주어, 설계의 신뢰성 전제를 뒷받침한다. 두 벤치마크 모두 통제된 환경의 신경학적으로 건강한 참가자를 포함하며 참가자별 IMU 보정을 유지하므로, 검증된 임상 배포가 아니라 접근 가능한 보행 평가를 향한 진전을 보고한다.
CorVS+: 대응 관계 기반 영상 궤적-센서 연관을 통한 창고 내 신원 인식 사람 위치 추정
CorVS+: Correspondence-Driven Association of Video Trajectories and Sensors for Identity-Aware Person Localization in Warehouses
물류 창고는 인력 부족 문제에 직면해 왔지만, 입고 프로세스는 여전히 특히 인력 중심으로 운영된다. 이러한 상황에서 작업자 위치 데이터는 생산성 향상의 핵심이다. 고정 카메라는 패키지 상태와 같은 유용한 환경 정보도 제공하므로 위치 추정에 유망한 도구이다. 그러나 시각 데이터만으로 개인을 식별하는 것은 종종 현실적이지 않다. 신원 인식 기반 위치 추정을 가능하게 하기 위해, 기존 연구들은 웨어러블 센서 측정값과 궤적을 연관시켜 영상 속 사람을 식별하려 시도해 왔다. 이 외관 독립적 접근 방식은 여러 장점이 있지만, 기존 방법은 실제 환경 조건에서 실패할 수 있다. 따라서 우리는 시각 추적 궤적과 센서 측정값 간의 대응 관계에 기반한 새로운 데이터 기반 사람 식별 프레임워크인 CorVS+를 제안한다. 우선, 우리의 심층 학습 모델은 각 궤적-센서 측정값 쌍에 대한 대응 관계 확률과 신뢰도를 예측한다. 다음으로, 우리의 알고리즘은 모델 예측에 기반하여 시간에 걸쳐 쌍을 매칭한다. 우리는 창고에서 27시간의 센서 측정값과 38km의 궤적로 구성된 데이터셋을 구축했다. 이 데이터셋은 여러 정지 작업자가 품목을 검사하는 등 실제 활동과 도전적인 상황을 포함한다. 평가 결과 CorVS+가 기존 방법보다 우수하며, 산업 규모 환경에서 독자적 설계의 효과가 있음을 보였다. 모델과 데이터셋은 https://doi.org/10.5281/zenodo.17745683에서 제공될 예정이다.
IMU 센서 융합을 활용한 비지도 행동 인식을 위한 메모리 증강 LSTM 오토인코더
Memory-Augmented LSTM Autoencoder for Unsupervised Activity Recognition with IMU Sensor Fusion
관성 측정 장치(IMU) 센서를 이용한 인간 행동 인식(HAR)은 헬스케어 모니터링 및 재활 분야에서 매우 중요하다. 심층 학습(deep learning)의 발전에도 불구하고, 레이블 데이터에 대한 의존성, 다중 센서 융합의 복잡성, 비지도 방법론의 시공간 의존성 포착 능력 한계 등 주요 과제가 여전히 남아 있다. 이러한 문제는 노이즈가 많은 데이터, 중첩 행동, 누락된 레이블이 존재하는 실제 환경에서 더욱 두드러진다. 우리는 메모리 증강 오토인코더를 활용한 완전 비지도 시공간 특징(feature) 융합 프레임워크를 제안한다. 이 프레임워크는 다중 센서 IMU 데이터의 짧은 시간 윈도우를 통해 행동 표현을 향상시켜 실시간 애플리케이션을 가능하게 한다. 우리의 프레임워크는 스택형 오토인코더(Stacked Autoencoder)를 통해 계층적 정적 특징을 추출하고, 센서 내부 및 센서 간에 이를 융합한다. 이어서 시퀀스-투-시퀀스(sequence-to-sequence) LSTM 오토인코더가 레이블 없이 과거 동작 패턴을 반영하여 이러한 특징을 시간적으로 정제한다. 우리는 짧은 윈도우 제약 조건 하에서 특징 분리성을 극대화하는 구성을 식별하기 위해 주요 하이퍼파라미터를 분석한다. 현실적인 클래스 간 윈도우 분할 방식을 적용하여 DaLiAc와 PAMAP2 데이터셋에서 평가한 결과, 우리의 방법은 각각 96.6%와 98.4%의 정확도를 달성하여 지도 학습 기준선과 비지도 접근법을 능가하였다. 우리의 방법은 더 짧은 시간 윈도우에도 불구하고 특징 분리성을 최대 9%까지 향상시킨다. 현실적인 클래스 간 분할 방식은 정확도를 약 7% 감소시키지만, 이는 실제 세계의 행동 전환과 실용적 적합성을 보다 잘 반영하기 위해 의도적으로 채택된 것이다.
When Multi-Sensor Fusion Fails to Generalize: Cattle Posture Classification Under Animal-Level and Temporal Distribution Shift
DroneShield-AI: 경쟁적 공역에서의 실시간 자율 드론 위협 탐지, 행동 의도 분류 및 군집 지능을 위한 멀티모달 센서 융합 프레임워크
DroneShield-AI: A Multi-Modal Sensor Fusion Framework for Real-Time Autonomous Drone Threat Detection, Behavioral Intent Classification, and Swarm Intelligence in Contested Airspace
무인 항공기(UAV) 위협은 21세기의 대표적인 보안 과제로 부상했습니다. 본 논문은 6개의 처리 계층을 통합한 통합 오픈 프레임워크인 DroneShield-AI를 제시합니다. 여기에는 RF 신호 분류, 음향 모터 서명(motor-signature) 탐지, YOLOv8 기반 시각 탐지, 증거 가중 센서 융합, 행동 의도 분류 엔진(BICE), 그리고 그래프 신경망 군집 지능 모듈(GNN-SIM)이 포함됩니다. BICE는 드론 비행 패턴에 대한 최초의 체계적인 6가지 클래스 위협 분류 체계(taxonomy)를 도입하여, 30초의 사전 경고 시계(horizon)를 통해 예측형 운영자 경고를 가능하게 합니다. GNN-SIM은 그래프 어텐션 네트워크를 사용한 적대적 다중 드론 대형 분석을 위한 최초의 오픈 프레임워크입니다. 3개의 공개된 실제 데이터셋에서 평가된 결과, 융합 파이프라인은 약 500~780 달러의 총 시스템 비용으로 범용 CPU급 하드웨어에서 96.1%의 탐지 정확도, 3.2%의 오탐율, 0.981의 AUC-ROC, 그리고 142ms의 종단 간 지연 시간을 달성했습니다. 모든 코드, 모델 가중치, 시뮬레이션 데이터셋은 제출 시점에 공개됩니다.
Holistic Fusion: 팩터 그래프 기반 작업 및 설정에 구애받지 않는 로봇 위치 추정 및 상태 추정
Holistic Fusion: Task- and Setup-Agnostic Robot Localization and State Estimation with Factor Graphs
도전적인 환경에서 이동 로봇의 원활한 운용을 위해서는 저지연 국소 운동 추정과 정확한 전역 위치 추정이 필요하다. 대부분의 센서 융합(sensor fusion) 접근법은 특정 시나리오를 위해 설계되지만, 본 연구는 일반성과 사용성을 특징으로 하는 작업 및 설정에 구애받지 않는 다중모달 센서 융합을 위한 유연한 오픈소스 솔루션을 제안한다. Holistic Fusion은 센서 융합을 i) 국소 및 전역 로봇 상태와 ii) (이론적으로 무제한적인 수의) 동적 변수(기준 좌표계의 자동 정렬 포함)의 결합 추정 문제로 공식화한다. 이 공식화는 개념적 수정 없이 수많은 실세계 응용에 적용 가능하며, 하드코딩된/작업 특화 접근법을 넘어서는 포괄적 솔루션을 제공한다. 제안된 팩터 그래프(factor graph) 공식화는 서로 다른 좌표계에 대해 표현된 임의 개수의 절대, 국소, 랜드마크(landmark) 측정값을 최적화(optimization)의 상태로 명시적으로 포함하고 그 진화를 랜덤 워크(random walk)로 모델링함으로써 직접 융합할 수 있게 한다. 또한 추정 점프를 방지하기 위해 국소적 평활성과 일관성에 특별한 주의를 기울인다. Holistic Fusion은 일반적인 로봇 하드웨어에서 저지연且 부드러운 온라인 상태 추정을 가능하게 하면서 동시에 IMU 측정 속도에서 저드리프트(low-drift) 전역 위치 추정을 제공한다. 공개된 이 프레임워크 [1]의 효과는 서로 다른 작업 요구사항을 갖는 세 가지 로봇 플랫폼에서 다섯 가지 실세계 시나리오를 통해 입증되며, 다양한 절대 측정 유형의 융합 이점 [2]을 강조한다. [1] 코드: https://github.com/leggedrobotics/holistic_fusion [2] 프로젝트: https://leggedrobotics.github.io/holistic_fusion
토론
이 논문과 연결된 포럼 글이 아직 없습니다.