Activity Recognition with Moving Cameras and Few Training Examples: Applications for Detection of Autism-Related Headbanging
원문 초록
Activity recognition computer vision algorithms can be used to detect the presence of autism-related behaviors, including what are termed "restricted and repetitive behaviors", or stimming, by diagnostic instruments. The limited data that exist in this domain are usually recorded with a handheld camera which can be shaky or even moving, posing a challenge for traditional feature representation approaches for activity detection which mistakenly capture the camera's motion as a feature. To address these issues, we first document the advantages and limitations of current feature representation techniques for activity recognition when applied to head banging detection. We then propose a feature representation consisting exclusively of head pose keypoints. We create a computer vision classifier for detecting head banging in home videos using a time-distributed convolutional neural network (CNN) in which a single CNN extracts features from each frame in the input sequence, and these extracted features are fed as input to a long short-term memory (LSTM) network. On the binary task of predicting head banging and no head banging within videos from the Self Stimulatory Behaviour Dataset (SSBD), we reach a mean F1-score of 90.77% using 3-fold cross validation (with individual fold F1-scores of 83.3%, 89.0%, and 100.0%) when ensuring that no child who appeared in the train set was in the test set for all folds. This work documents a successful technique for training a computer vision classifier which can detect human motion with few training examples and even when the camera recording the source clips is unstable. The general methods described here can be applied by designers and developers of interactive systems towards other human motion and pose classification problems used in mobile and ubiquitous interactive systems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
교차 분할 통계적 안정성 분석 기반 어텐션 강화 심층 학습을 활용한 3D 보행 기반 자폐 스펙트럼 장애 분류
3D Gait-Based Autism Classification Using Attention-Enhanced Deep Learning with Cross-Fold Statistical Stability Analysis
자폐 스펙트럼 장애(ASD)는 기존의 임상 평가 방식이 주관적이고 많은 시간이 소요되며 전문가 평가를 필요로 하기 때문에 조기 진단이 여전히 어려운 신경발달 질환이다. 보행은 자동화된 ASD 선별 검사를 위한 유망한 비침습적 행동 바이오마커를 제공하지만, 기존 연구들은 분할(fold) 간 안정성을 공식적으로 평가하지 않은 채 주로 단일 데이터셋 평가, 합성곱(convolutional) 아키텍처, 교차 검증(cross-validation) 성능에 대한 기술적 요약에 의존해 왔다. 본 연구는 사전에 계산된 통계적 보행 기술자(descriptor)와 원시 생체역학적 지면 반발력(ground-reaction-force) 측정값이라는 구조적으로 서로 다른 두 가지 3D 보행 특징 표현에서 평가되는 ASD 분류용 어텐션 강화 트랜스포머 프레임워크로 이러한 한계를 해결한다. 5겹 교차 검증에서 제안된 프레임워크는 공개 Kinect 기반 벤치마크에서 99.00%의 정확도, 99.02%의 정밀도, 99.00%의 재현율, 99.00%의 F1 점수, 99.00%의 특이도를 달성하여 비교 대상 최신 기법들의 성능을 능가했다. 또한 독립적인 비공개 포스 플레이트(force-plate) 데이터셋에서는 평균 95.00%의 정확도, 93.81%의 정밀도, 96.67%의 재현율, 95.13%의 F1 점수, 93.33%의 특이도를 달성했다.
DiaSeg: 해석 가능한 보행 분석을 위한 DTW 경로에서의 대각 세그먼트 추출
DiaSeg: Diagonal Segment Extraction from DTW Paths for Interpretable Gait Analysis
동적 시간 워핑(Dynamic Time Warping, DTW)은 시계열 간 유사도를 측정하는 데 지배적으로 사용되는 방법이지만, 표준적인 방식은 단일 거리 값을 계산한 후 최적 워핑 경로를 폐기함으로써 임상 진단과 가장 관련이 깊은 지역적 정렬 정보를 잃는다. 본 논문은 제어된 단절을 허용하며 DTW 경로에서 대각 세그먼트를 추출하는 프레임워크인 DiaSeg를 소개한다. DiaSeg는 각 세그먼트를 다섯 가지 기하학적 특징(유효 길이, 단절 횟수, 비용 변동, 시간적 위치, 경로 맥락)으로 특성화하며, 도메인 특화 특징 공학(feature engineering) 없이 비지도 패턴 발견을 가능하게 한다. 6가지 임상 상태(건강한 노화, 파킨슨병, 헌팅턴병, 근위축성 측삭경화증(ALS), 뇌종양, 뇌졸중)에 걸친 91명의 피험자를 대상으로 검증한 결과, 세 가지 결과가 도출되었다. 첫째, 대각 세그먼트는 생체역학적 단계 주석과 일치하는 일관된 비지도 패턴을 형성하며(실루엣 계수 0.33), 레이블 기반 검증을 통해 건강한 보행과 병리적 보행 간 거의 완벽한 분리를 확인하였다(조정 랜드 지수(ARI) 최대 0.986). 둘째, 세그먼트는 지도 학습에서 69%, 환자 수준 클러스터링에서 75%의 정확도로 병리를 구분하며, 병리는 세그먼트 길이의 분포적 변화를 통해 나타난다. 세그먼트 특징과 주기(cycle) 수준 특징을 결합하면 분류(classification) 정확도가 91.7%까지 향상된다. 셋째, 주기 기반 방법이 더 높은 정확도(91%)를 달성하지만, 대각 세그먼트는 전역적 표현으로는 얻을 수 없는 단계별 해석 가능성을 제공하여 보행 주기 내에서 협응이 무너지는 위치를 국소화할 수 있다. 이처럼 DiaSeg는 DTW를 블랙박스 거리 척도에서 신경퇴행성 질환 평가를 위한 해석 가능한 시간적 특징의 원천으로 전환한다.
ReFace: 통증 평가 개선을 위한 얼굴 시공간 표현 재구성
ReFace: Reorganizing Facial Spatiotemporal Representations for Improved Pain Assessment
얼굴 영상을 이용한 자동 통증 평가는 통증 관련 얼굴 단서의 공간적 이질성(spatial heterogeneity) 때문에 여전히 어려운 과제이다. 본 연구는 ReFace를 제안한다. ReFace는 전체 얼굴을 단일 영역으로 처리하는 대신, 토큰화(tokenization) 이전에 얼굴 입력을 네 개의 공간적 사분면(spatial quadrants)으로 나누는 공간 재구성(spatial reorganization) 파이프라인이다. AI4Pain 데이터셋에서 평가한 결과, 제안 방법은 영상만을 사용하여 테스트 세트에서 56.00% 정확도를 달성했으며, 비교된 방법들 중 고정된 AI4Pain 벤치마크 프로토콜 하에서 보고된 최고 정확도를 기록했다. 주목할 점은, 사분면 구성이 전체 얼굴 입력과 동일한 총 픽셀 예산(pixel budget)을 처리하면서도 더 높은 정확도를 달성했다는 것으로, 이는 제안된 토큰화 설계 하에서 공간 재구성이 성능을 향상시킬 수 있음을 시사한다. 단일 사분면 영역은 해당 픽셀의 4분의 1만 처리하면서도, 계산 비용의 일부만으로 경쟁력 있는 성능을 유지한다.
ADA-VAD: Unpaired Adversarial Domain Adaptation for Noise-Robust Voice Activity Detection
A Convolutional Neural Network Smartphone App for Real-Time Voice Activity Detection
GTTS-EHU Systems for QUESST at MediaEval 2014
토론
이 논문과 연결된 포럼 글이 아직 없습니다.