심층 생성 모델(deep generative model)은 이미지, 비디오, 3D 객체, 텍스트와 같은 복잡하고 구조화된 데이터를 모델링하기 위한 유연한 프레임워크를 제공합니다. 그러나 인간 골격 시퀀스에 적용할 때 표준 변이형 오토인코더(VAE)는 형상 및 그 움직임의 고유한 기하학적 구조보다는 카메라 방향, 피험자 크기, 시점, 실행 속도와 같은 방해 요인(nuisance factor)에 상당한 용량을 할당하는 경우가 많습니다. 본 논문에서는 켄달 형상 다양체(Kendall's shape manifold) 상의 TSRVF(transported square-root velocity field) 표현을 활용하여 골격 궤적을 모델링하는 기하학 인식 생성 모델인 탄성 형상 변이형 오토인코더(ES-VAE, Elastic Shape - Variational Autoencoder)를 제안합니다. 이 표현은 형상의 강체 평행이동, 회전, 전역 스케일링뿐만 아니라 시퀀스의 시간적 속도 변동성을 본질적으로 제거하여 기저의 형상 동역학을 분리합니다. ES-VAE 인코더는 리만 로그 사상(Riemannian logarithm map)을 통합하여 골격 시퀀스를 저차원 잠재 공간에 매핑하며, 디코더는 대응하는 지수 사상(exponential map)을 사용하여 시퀀스를 재구성합니다. 두 가지 데이터셋에서 ES-VAE의 효과를 입증합니다. 첫째, 임상 이동성 점수를 예측하고 피험자를 건강한 그룹과 뇌졸중 후 그룹으로 분류하기 위해 골격 보행 주기를 분석합니다. 둘째, NTU RGB+D 데이터셋에서 행동 인식을 평가합니다. 두 환경 모두에서 ES-VAE는 표준 VAE 및 시간 합성곱 신경망(TCN), 트랜스포머(transformer), 그래프 합성곱 신경망(GCN)을 포함한 다양한 시퀀스 모델링 베이스라인을 일관되게 능가합니다. 보다 넓은 관점에서 ES-VAE는 자세 형상 다양체 상의 종단적 데이터에 대한 생성 모델을 학습하기 위한 원칙적인 프레임워크를 제공하며, 기존 심층 학습 접근 방식에 비해 향상된 잠재 표현과 다운스트림 성능을 제공합니다.
보행 분석은 보행 기능에 대한 객관적인 특성화를 제공하며, 신경계 및 정형외과적 질환 전반에 걸친 진단 및 재활 모니터링을 지원하는 데 널리 활용됩니다. 이 분야에 심층 학습(deep learning)의 적용이 점차 확대되고 있으나, 대부분의 접근법은 질환 라벨이 부착된 데이터로 학습된 지도 분류기에 의존하여 이질적인 병적 양상에 대한 일반화가 제한적입니다. 본 연구의 방법론적 목표는 마커리스 멀티 카메라 모션 캡처 시스템으로 획득한 성인 150명의 규범적 보행 시퀀스만으로 학습된 트랜스포머(Transformer) 마스크드 오토인코더를 기반으로, 관절 수준의 이상 탐지 및 운동학적 교정을 수행하는 무라벨(label-free) 프레임워크를 개발하는 것입니다. 추론(inference) 시에는 병적 상태일 가능성이 있는 입력 시퀀스에 2단계 절차가 적용됩니다. 먼저 개별 관절을 가리고 학습된 규범적 사전 확률(prior)로부터의 편차를 측정하여 관절 불일치 점수를 추정합니다. 그런 다음 플래그가 지정된 관절을 인코더 입력에서 제외하고 남아 있는 시공간적 컨텍스트로부터 전체 골격을 재구성하여, 플래그가 지정된 위치에서 교정된 운동학적 궤적을 산출합니다. 검증(validation) 목표는 이 프레임워크가 보지 못한 규범적 보행을 보존하고 시뮬레이션된 비정상 보행 패턴에서 각도 편차를 줄이는지 평가하는 것입니다. 개념 증명 평가에서 7가지 시뮬레이션 비정상 보행 패턴을 수행한 10명의 미공개(held-out) 규범적 참가자 데이터를 통해 큰 효과 크기(effect size)로 분석된 모든 관절에서 각도 편차의 유의미한 감소와 규범적 운동학 보존이 입증되었습니다. 제안된 접근법은 질환 라벨 없이도 학습된 규범적 보행 패턴과 일치하지 않는 관절을 해석 가능하고 대상자 맞춤형으로 국소화하며, 개인화된 규범적 재구성을 생성할 수 있도록 지원합니다. 비디오는 https://youtu.be/Rcm3jqR5pN4 에서 확인할 수 있습니다.
파킨슨병은 보행과 양측 협응을 변화시키지만, 기계학습 성능은 연속 보행 신호를 어떻게 표현하느냐에도 달려 있다. 본 연구는 정규화된 stance 전 구간의 고정 위치에서 전후방 중심압력(anterior-posterior center-of-pressure, AP-COP) 정보를 보존하는 것이 발바닥 힘 보행 신호에 대한 간결하고 정보가 풍부한 표현을 제공하는지 조사한다. Gait in Parkinson's Disease Database의 165명 참가자로부터 기록된 양측 수직 지면 반력(vertical ground reaction force)을 반복 완전 중첩 참가자 수준 교차검증(repeated fully nested participant-level cross-validation)으로 평가했다. 우리는 다섯 개의 stance 구간에 걸친 AP-COP 위치와 양측 비대칭으로 구성된 AP-COP10을 제안한다. AP-COP10은 AUC 0.894를 달성했으며, 동일한 평가 파이프라인에서 문헌에서 도출·조화된 세 가지 COP 표현보다 우수했다. 보완적인 25개의 비-AP-COP 서술자(descriptor)만으로는 AUC 0.856을, 전체 35-특징 표현은 0.908을 달성했다. 완전한 표현에서 AP-COP10을 제거하면 통계적으로 뒷받침되는 판별력 손실이 발생했으며, AP-COP10에 보완 서술자를 추가하는 것은 작고 통계적 뒷받침이 없는 개선만을 가져왔다. 특징 경쟁(feature competition) 분석은 가장 정보가 많은 stance 인덱싱 서술자가 초기 및 초-중기 stance에 집중되어 있음을 나타냈고, 원 연구 홀드아웃(source-study holdout) 및 센서 교란(sensor-perturbation) 분석은 표현의 견고성을 뒷받침했다. 이러한 결과는 stance 인덱싱 AP-COP가 더 넓게 설계된 보행 서술자로는 쉽게 복구되지 않는 판별 정보를 유지함을 보여 주며, 병리적 보행의 기계학습 분석을 위한 간결하고 해석 가능한 표현을 지지한다.
동적 시간 워핑(Dynamic Time Warping, DTW)은 시계열 간 유사도를 측정하는 데 지배적으로 사용되는 방법이지만, 표준적인 방식은 단일 거리 값을 계산한 후 최적 워핑 경로를 폐기함으로써 임상 진단과 가장 관련이 깊은 지역적 정렬 정보를 잃는다. 본 논문은 제어된 단절을 허용하며 DTW 경로에서 대각 세그먼트를 추출하는 프레임워크인 DiaSeg를 소개한다. DiaSeg는 각 세그먼트를 다섯 가지 기하학적 특징(유효 길이, 단절 횟수, 비용 변동, 시간적 위치, 경로 맥락)으로 특성화하며, 도메인 특화 특징 공학(feature engineering) 없이 비지도 패턴 발견을 가능하게 한다. 6가지 임상 상태(건강한 노화, 파킨슨병, 헌팅턴병, 근위축성 측삭경화증(ALS), 뇌종양, 뇌졸중)에 걸친 91명의 피험자를 대상으로 검증한 결과, 세 가지 결과가 도출되었다. 첫째, 대각 세그먼트는 생체역학적 단계 주석과 일치하는 일관된 비지도 패턴을 형성하며(실루엣 계수 0.33), 레이블 기반 검증을 통해 건강한 보행과 병리적 보행 간 거의 완벽한 분리를 확인하였다(조정 랜드 지수(ARI) 최대 0.986). 둘째, 세그먼트는 지도 학습에서 69%, 환자 수준 클러스터링에서 75%의 정확도로 병리를 구분하며, 병리는 세그먼트 길이의 분포적 변화를 통해 나타난다. 세그먼트 특징과 주기(cycle) 수준 특징을 결합하면 분류(classification) 정확도가 91.7%까지 향상된다. 셋째, 주기 기반 방법이 더 높은 정확도(91%)를 달성하지만, 대각 세그먼트는 전역적 표현으로는 얻을 수 없는 단계별 해석 가능성을 제공하여 보행 주기 내에서 협응이 무너지는 위치를 국소화할 수 있다. 이처럼 DiaSeg는 DTW를 블랙박스 거리 척도에서 신경퇴행성 질환 평가를 위한 해석 가능한 시간적 특징의 원천으로 전환한다.
자폐 스펙트럼 장애(ASD)는 기존의 임상 평가 방식이 주관적이고 많은 시간이 소요되며 전문가 평가를 필요로 하기 때문에 조기 진단이 여전히 어려운 신경발달 질환이다. 보행은 자동화된 ASD 선별 검사를 위한 유망한 비침습적 행동 바이오마커를 제공하지만, 기존 연구들은 분할(fold) 간 안정성을 공식적으로 평가하지 않은 채 주로 단일 데이터셋 평가, 합성곱(convolutional) 아키텍처, 교차 검증(cross-validation) 성능에 대한 기술적 요약에 의존해 왔다. 본 연구는 사전에 계산된 통계적 보행 기술자(descriptor)와 원시 생체역학적 지면 반발력(ground-reaction-force) 측정값이라는 구조적으로 서로 다른 두 가지 3D 보행 특징 표현에서 평가되는 ASD 분류용 어텐션 강화 트랜스포머 프레임워크로 이러한 한계를 해결한다. 5겹 교차 검증에서 제안된 프레임워크는 공개 Kinect 기반 벤치마크에서 99.00%의 정확도, 99.02%의 정밀도, 99.00%의 재현율, 99.00%의 F1 점수, 99.00%의 특이도를 달성하여 비교 대상 최신 기법들의 성능을 능가했다. 또한 독립적인 비공개 포스 플레이트(force-plate) 데이터셋에서는 평균 95.00%의 정확도, 93.81%의 정밀도, 96.67%의 재현율, 95.13%의 F1 점수, 93.33%의 특이도를 달성했다.
파킨슨병(PD)의 두드러진 증상인 회전 장애는 회전 각도, 지속 시간, 특히 회전을 완료하는 데 필요한 보행 수와 같은 매개변수로 평가되며, 이는 운동 기능 장애를 직접 반영한다. 정확한 보행 수 계수는 실제 환경에서의 회전 동작 변동성과 파킨슨성 보행의 비전형적 끌기(shuffling) 패턴으로 인해 어렵다. 기존 방법은 대부분 웨어러블 기반으로, 사용자가 전용 기기를 착용하고 관리해야 하며, 이는 지속적인 일상 사용에 불편할 수 있다. 이를 해결하기 위해, 우리는 다양한 동작 표현을 사용하여 거친-세밀(coarse-to-fine) 방식으로 보행 수를 추정하는 수동적(passive) 비디오 기반 프레임워크를 제안한다. 구체적으로, 3D 인체 메시 복원에서 도출된 발 움직임 신호로부터 초기 보행 수를 추정하여 고수준 동작 구조를 제공한다. 세밀한 동작 세부 정보를 반영하기 위해, 모션 인코더가 메시와 optical flow로부터 상보적인 보행 역학을 학습하여 초기 추정치를 정제한다. 이 과정에서, 거친 발 움직임 신호가 크로스 어텐션(cross attention)을 통해 픽셀 수준의 동작 단서를 조회하여 미묘한 파킨슨성 보행 역학을 포착한다. 가변적인 비디오 길이를 처리하기 위해, 각 비디오를 클립으로 분할하고 다중 인스턴스 학습(MIL)을 통해 클립별 동작 임베딩을 통합하여 보행 수 잔차 예측을 수행한다. 광범위한 실험 결과, 우리 방법은 실제 PD 회전 데이터셋에서 기존 보행 수 계수 방법들보다 지속적으로 우수한 성능을 보인다.
파킨슨병 보행 평가에서 새로운 센서가 순차적으로 추가되는 환경의 문제를 해결하기 위해 MOSAIC 지속적 학습(continual learning) 프레임워크를 제안한다. 모달리티별 웜업, 통계 분리 아키텍처, 가소성 회복 목적 함수를 통해 최종 성능을 향상시키고 망각을 완화한다.
병리적 보행 데이터셋은 개인정보 보호, 피험자 모집, 비용, 동작 변동성 등의 이유로 여전히 부족한 실정이다. 본 연구는 구조화된 텍스트 설명으로부터 병리 인식 3D 보행 데이터를 합성하기 위한 멀티모달 LLM 기반 프레임워크를 제안한다. 제안된 방법은 병리적 보행 분류(classification) 태스크를 위한 고정 길이의 합성 골격 기반 보행 시퀀스를 생성한다. 이 프레임워크는 모션 토큰화(motion tokenisation), 병리 인식 언어 조건화, LLM 기반 의미론적 증강, 언어-보행 생성을 결합한다. 핵심 기여는 이산 표현 학습 과정에서 병리 특이적 모션 특성을 보존하도록 설계된 병리적 토크나이저(pathological tokeniser)의 제안이다. 실험 결과, 제안된 합성 시퀀스를 실제 데이터와 결합하면 순환 분류기의 다운스트림 분류 성능이 향상됨을 시사한다. 최상의 결과는 실제 샘플과 합성 샘플로 학습된 GRU 분류기를 사용하여 달성되었으며, 피험자 제외 교차 검증(leave-one-subject-out) 프로토콜 하에서 92.77%의 정확도를 기록하였다.