An Interpretable Machine Vision Approach to Human Activity Recognition using Photoplethysmograph Sensor Data
원문 초록
The current gold standard for human activity recognition (HAR) is based on the use of cameras. However, the poor scalability of camera systems renders them impractical in pursuit of the goal of wider adoption of HAR in mobile computing contexts. Consequently, researchers instead rely on wearable sensors and in particular inertial sensors. A particularly prevalent wearable is the smart watch which due to its integrated inertial and optical sensing capabilities holds great potential for realising better HAR in a non-obtrusive way. This paper seeks to simplify the wearable approach to HAR through determining if the wrist-mounted optical sensor alone typically found in a smartwatch or similar device can be used as a useful source of data for activity recognition. The approach has the potential to eliminate the need for the inertial sensing element which would in turn reduce the cost of and complexity of smartwatches and fitness trackers. This could potentially commoditise the hardware requirements for HAR while retaining the functionality of both heart rate monitoring and activity capture all from a single optical sensor. Our approach relies on the adoption of machine vision for activity recognition based on suitably scaled plots of the optical signals. We take this approach so as to produce classifications that are easily explainable and interpretable by non-technical users. More specifically, images of photoplethysmography signal time series are used to retrain the penultimate layer of a convolutional neural network which has initially been trained on the ImageNet database. We then use the 2048 dimensional features from the penultimate layer as input to a support vector machine. Results from the experiment yielded an average classification accuracy of 92.3%. This result outperforms that of an optical and inertial sensor combined (78%) and illustrates the capability of HAR systems using...
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RF 감지 스펙트로그램에서 기하와 속도의 분리
Untangling the Geometry and Speed for RF Sensing Spectrograms
RF 감지의 근본적인 난제는 링크에서 관측되는 도플러 특성이 표적의 운동과 감지 기하를 얽어, 제약 없는 실세계 환경에 대한 적용 가능성이 제한된다는 점이다. 본 논문에서는 반사체 속도와 기하를 분리하여, 각 지배적 도플러 ridge의 속도, 기하 인자, 상대 진폭, 폭을 공동으로 복원하는 물리적으로 해석 가능한 RF 감지의 새로운 기반을 제시한다. 구체적으로, 먼저 WiFi 스펙트로그램의 간결한 매개변수 표현을 개발하고, 대규모·다양한 인간 활동 데이터셋에 대한 체계적인 컴퓨터 비전 분석을 통해 그 저차원 구조를 확립하여 학습에 다루기 쉬운 기반을 마련한다. 이 표현을 바탕으로 구조화된 병목층과 미분 가능한 RF 순방향 모델이 반사체 속도와 기하에 대한 물리적으로 의미 있는 추정을 강제하는 물리 정보 기반 오토인코더를 설계한다. 또한 합성-실제(synthetic-to-real) 학습 프레임워크를 도입하여 실제 WiFi 학습 데이터가 필요 없게 한다. 제안 프레임워크를 알려진 기하와 시간에 따라 변하는 기하 모두에서, 독립적으로 생성한 합성 테스트 세트와 31회의 실제 WiFi 실험을 사용해 광범위하게 검증한다. 결과는 속도 및 기하 추출에서 우수한 성능을 보이며, 모든 설정에서 기저 기하, 속도, 도플러 ridge 진폭, ridge 폭을 견고하게 복원하면서 가장 강한 기준선들을 크게 능가함을 보여준다.
GaitVista: 접근 가능한 종단 보행 평가를 위한 신뢰성 인식 AI 측정
GaitVista: Reliability-Aware AI Measurement toward Accessible Longitudinal Gait Assessment
보행 기능 회복을 추적하려면 재활 세션에 걸쳐 의미 있는 보행 변화를 감지해야 하지만, 객관적인 3D 측정은 여전히 전문 모션 캡처(motion-capture) 실험실에 국한된다. 소규모 카메라 세트와 착용형 관성 센서(inertial sensor)는 접근성을 넓히지만, 관절과 시간에 따라 신뢰도가 달라져 센싱 실패가 환자 변화처럼 보일 수 있다. 본 논문은 카메라 커버리지, 국소 시각 품질, 교차 모달 불일치, 뿌리(root) 운동 연속성을 이용해 관절·프레임별 시각 기여도를 할당하고 이를 검사할 수 있게 노출하는 경량 게이트를 갖춘, 신뢰성 인식 측정 층인 \textsc{GaitVista}를 제안한다. TotalCapture에서 일곱 가지 깨끗한·열화된 센싱 조건에 대해 \textsc{GaitVista}는 평균 전신 및 하체 오차를 각각 \textbf{27.7\%} 및 \textbf{27.8\%} 줄이고, 융합(fusion) 방법 중 최악 조건 오차가 가장 낮으며, 조건 무시 기준선 대비 관절-프레임 오라클과의 격차를 $2.76$--$5.33$~cm에서 $1.11$~cm로 줄인다. 이미지 유도 키포인트(image-derived keypoint)를 사용한 MoVi에서는, 단일 모달 스트림 모두보다 성능을 개선하는 유일한 배포 가능한 융합 방법으로, 가장 강한 학습 기반 융합 기준선 대비 마커 지원 오차를 \textbf{6.4\%} 상대 감소시킨다. TotalCapture에서는 양측 무릎 굴곡(knee-flexion) 파형 정확도를 \textbf{18.9\%} 개선한다. 다섯 명의 TotalCapture 참가자로부터의 원시 관성 측정값은 위치·시간에 따라 변하는 자기 교란(magnetic disturbance)을 보여 주어, 설계의 신뢰성 전제를 뒷받침한다. 두 벤치마크 모두 통제된 환경의 신경학적으로 건강한 참가자를 포함하며 참가자별 IMU 보정을 유지하므로, 검증된 임상 배포가 아니라 접근 가능한 보행 평가를 향한 진전을 보고한다.
교차 분할 통계적 안정성 분석 기반 어텐션 강화 심층 학습을 활용한 3D 보행 기반 자폐 스펙트럼 장애 분류
3D Gait-Based Autism Classification Using Attention-Enhanced Deep Learning with Cross-Fold Statistical Stability Analysis
자폐 스펙트럼 장애(ASD)는 기존의 임상 평가 방식이 주관적이고 많은 시간이 소요되며 전문가 평가를 필요로 하기 때문에 조기 진단이 여전히 어려운 신경발달 질환이다. 보행은 자동화된 ASD 선별 검사를 위한 유망한 비침습적 행동 바이오마커를 제공하지만, 기존 연구들은 분할(fold) 간 안정성을 공식적으로 평가하지 않은 채 주로 단일 데이터셋 평가, 합성곱(convolutional) 아키텍처, 교차 검증(cross-validation) 성능에 대한 기술적 요약에 의존해 왔다. 본 연구는 사전에 계산된 통계적 보행 기술자(descriptor)와 원시 생체역학적 지면 반발력(ground-reaction-force) 측정값이라는 구조적으로 서로 다른 두 가지 3D 보행 특징 표현에서 평가되는 ASD 분류용 어텐션 강화 트랜스포머 프레임워크로 이러한 한계를 해결한다. 5겹 교차 검증에서 제안된 프레임워크는 공개 Kinect 기반 벤치마크에서 99.00%의 정확도, 99.02%의 정밀도, 99.00%의 재현율, 99.00%의 F1 점수, 99.00%의 특이도를 달성하여 비교 대상 최신 기법들의 성능을 능가했다. 또한 독립적인 비공개 포스 플레이트(force-plate) 데이터셋에서는 평균 95.00%의 정확도, 93.81%의 정밀도, 96.67%의 재현율, 95.13%의 F1 점수, 93.33%의 특이도를 달성했다.
DiaSeg: 해석 가능한 보행 분석을 위한 DTW 경로에서의 대각 세그먼트 추출
DiaSeg: Diagonal Segment Extraction from DTW Paths for Interpretable Gait Analysis
동적 시간 워핑(Dynamic Time Warping, DTW)은 시계열 간 유사도를 측정하는 데 지배적으로 사용되는 방법이지만, 표준적인 방식은 단일 거리 값을 계산한 후 최적 워핑 경로를 폐기함으로써 임상 진단과 가장 관련이 깊은 지역적 정렬 정보를 잃는다. 본 논문은 제어된 단절을 허용하며 DTW 경로에서 대각 세그먼트를 추출하는 프레임워크인 DiaSeg를 소개한다. DiaSeg는 각 세그먼트를 다섯 가지 기하학적 특징(유효 길이, 단절 횟수, 비용 변동, 시간적 위치, 경로 맥락)으로 특성화하며, 도메인 특화 특징 공학(feature engineering) 없이 비지도 패턴 발견을 가능하게 한다. 6가지 임상 상태(건강한 노화, 파킨슨병, 헌팅턴병, 근위축성 측삭경화증(ALS), 뇌종양, 뇌졸중)에 걸친 91명의 피험자를 대상으로 검증한 결과, 세 가지 결과가 도출되었다. 첫째, 대각 세그먼트는 생체역학적 단계 주석과 일치하는 일관된 비지도 패턴을 형성하며(실루엣 계수 0.33), 레이블 기반 검증을 통해 건강한 보행과 병리적 보행 간 거의 완벽한 분리를 확인하였다(조정 랜드 지수(ARI) 최대 0.986). 둘째, 세그먼트는 지도 학습에서 69%, 환자 수준 클러스터링에서 75%의 정확도로 병리를 구분하며, 병리는 세그먼트 길이의 분포적 변화를 통해 나타난다. 세그먼트 특징과 주기(cycle) 수준 특징을 결합하면 분류(classification) 정확도가 91.7%까지 향상된다. 셋째, 주기 기반 방법이 더 높은 정확도(91%)를 달성하지만, 대각 세그먼트는 전역적 표현으로는 얻을 수 없는 단계별 해석 가능성을 제공하여 보행 주기 내에서 협응이 무너지는 위치를 국소화할 수 있다. 이처럼 DiaSeg는 DTW를 블랙박스 거리 척도에서 신경퇴행성 질환 평가를 위한 해석 가능한 시간적 특징의 원천으로 전환한다.
깊이보다 구조: 다중 개체 추론을 위한 단일 블록 시공간 트랜스포머
Structure over Depth: A Single-Block Spatio-Temporal Transformer for Multi-Entity Reasoning
다중 개체 시계열 데이터를 모델링하려면 개체, 시간, 그리고 이들 간 상호작용에 걸친 의존성을 포착해야 한다. 트랜스포머 기반 접근법은 좋은 성능을 보이지만, 이러한 이질적인 의존성을 암묵적으로 학습하기 위해 깊은 레이어 스택에 의존하는 경우가 많아 계산 비용이 증가한다. 우리는 구조적 관점에서 이 문제를 재검토하고, 다중 개체 시공간 역학을 세 가지 상호작용 유형으로 분해한다: 개체 간 공간적 상호작용, 시간에 걸친 시간적 상호작용, 두 영역을 결합하는 교차 상호작용. 우리는 단일 단계 내에서 세 가지를 모두 명시적으로 모델링하는 구조화된 시공간 트랜스포머 블록을 제안한다. 이 블록은 병렬 공간 및 시간 셀프-어텐션(self-attention)을 사용하고, 이어서 양방향 교차 어텐션(cross-attention)을 수행하며, 학습 가능한 게이트 융합(gated fusion)을 통해 출력을 결합한다. 이러한 상보적 관점을 직접 인코딩함으로써, 모델은 깊은 적층의 필요성을 줄인다. 우리는 비디오 기반 그룹 활동 인식, 스켈레톤 기반 인간 상호작용 분석, 웨어러블 센서 기반 활동 인식에서 이 접근법을 평가한다. 단순함에도 불구하고, 단일 구조화 트랜스포머 블록은 1.76M 파라미터만으로 더 깊은 아키텍처와 동등하거나 그를 능가한다. 결과는 기존 모델의 깊이가 부분적으로 암묵적이고 얽힌 상호작용 모델링을 보상하는 반면, 명시적 분해가 더 효율적이고 투명한 대안을 제공함을 시사한다. 더 넓게 보면, 이 연구는 구조 우선 설계 원칙을 뒷받침한다: 표현력 있는 다중 개체 시공간 추론은 깊이에 의존하기보다 상호작용 구조를 드러냄으로써 창발할 수 있다.
HiMe: 웨어러블 기기를 활용한 건강 인사이트를 위한 실시간 셀프 호스팅 개인 에이전트 플랫폼
HiMe: Real-Time Self-Hosted Personal Agent Platform for Health Insights with Wearable Devices
스마트워치와 같은 전통적인 웨어러블 건강 신호 분석 접근법은 경직된 분석 프레임워크와 제한된 개인화로 인해 제약을 받는다. 대규모 언어 모델(LLM) 에이전트의 등장은 개인 건강 에이전트 분석(Personal Health Agentic Analysis)을 위한 새로운 기회를 만들며, 여기서 건강 인사이트를 적응적으로 그리고 맥락에 맞게 생성할 수 있다. 그러나 현재 개인정보를 보호하면서 실시간으로 개인 건강 데이터를 처리할 수 있는 오픈소스 로컬 배포형 플랫폼은 존재하지 않는다. 본 논문은 HiMe를 제안한다. HiMe는 프라이버시 우선 에이전트 플랫폼으로 로컬에 배포 가능하며, 다양한 웨어러블 기기에 걸친 실시간 건강 데이터 생태계와 완전히 호환된다. HiMe는 세 가지 설계 원칙에 따라 구축된다. 첫째, 데이터베이스는 일급(first-class) 구성 요소로 취급된다. 둘째, 효과성과 효율성을 공동으로 최적화하여 저비용의 파레토 최적 균형을 달성한다. 셋째, 데이터는 실시간으로 처리되며, 동시에 사용자는 장기적으로 모델링된다. 이러한 원칙들을 통해 개인이 Personal Health Agents를 활용하여 더 나은 웰빙을 위한 지속적이고 개인화된 건강 모니터링을 실용적으로 수행할 수 있게 된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.