Is end-to-end learning enough for fitness activity recognition?
원문 초록
End-to-end learning has taken hold of many computer vision tasks, in particular, related to still images, with task-specific optimization yielding very strong performance. Nevertheless, human-centric action recognition is still largely dominated by hand-crafted pipelines, and only individual components are replaced by neural networks that typically operate on individual frames. As a testbed to study the relevance of such pipelines, we present a new fully annotated video dataset of fitness activities. Any recognition capabilities in this domain are almost exclusively a function of human poses and their temporal dynamics, so pose-based solutions should perform well. We show that, with this labelled data, end-to-end learning on raw pixels can compete with state-of-the-art action recognition pipelines based on pose estimation. We also show that end-to-end learning can support temporally fine-grained tasks such as real-time repetition counting.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
일상 활동 분류에는 자세가, 재구성에는 동작이 필요하다
Classifying daily activities needs posture, reconstructing them needs motion
인간은 소음이 많고 복잡한 시각 입력 속에서도 움직임을 손쉽게 인식한다. 그러나 자극 속의 어떤 정보가 인간이 움직임을 빠르게 분류할 수 있게 하는가? 이 질문에 답하기 위해 서로 다른 움직임 분석 전략을 체계적으로 비교한 프레임워크는 없었다. 본 연구에서는 MoVi 데이터셋의 16가지 일상 활동 동영상을 사용하여 세 가지 전략을 비교했다: 시간적으로 매끄러운 기저 함수(basis function)의 가중합으로 움직임을 분해하는 시간적 움직임 기본요소(Temporal Movement Primitives, TMP), 관절 좌표 궤적을 직교 다항식 기저에 투영하는 레존디르(Legendre) 다항식 계수, 그리고 오토인코더 잠재 임베딩. 레존디르 계수와 TMP가 가장 높은 분류기 정확도를 달성했으며, 그다음은 오토인코더였다. 움직임 분류를 위한 두 가지 판별적 특징을 발견했다. 가장 정보가 풍부한 것은 신체의 일반적 자세, 즉 한 활동을 다른 활동과 구별하는 평균 공간 구성이다. 또한 움직임 분류에 가장 예측력이 높은 9개의 핵심 관절을 식별했다. 흥미롭게도, 높은 분류 정확도가 자동으로 좋은 움직임 생성으로 이어지지는 않았다. 각 활동에 대해 움직임을 재구성했을 때, TMP는 시간적 역학을 보존하여 지각적으로 자연스러운 동작을 생성한 반면, 레존디르 계수로부터의 재구성은 평균 자세만 유지하고 정지된 것처럼 보였다. 이 결과는 움직임 정보가 조직되는 방식에서 분리(dissociation)가 있음을 보여준다. 신체의 정적 구성만으로도 수행되는 활동을 분류하기에 충분하지만, 움직임이 어떻게 전개되는지를 재구성하려면 움직임의 시간적 역학이 필요하다. 이 구분은 시각계가 빠른 행동 인식에 의존할 수 있는 특징이 무엇인지를 명확히 하며, 자세 특징이 임상 응용에서 효율적인 움직임 스크리닝을 가능하게 할 수 있음을 시사하고, 움직임 생성이 목표인 경우에는 역동적 정보가 여전히 필수적임을 보여준다.
자폐 관련 자기자극적 손 특이행동의 시퀀스 기반 분류에서 프레임 레이트 효과 평가
Evaluating the Effect of Frame Rate in Sequence-Based Classification of Autism-Related Self-Stimulatory Hand Idiosyncrasies
자폐 스펙트럼 장애(ASD)는 전 세계 7,500만 명 이상에게 영향을 미치지만, 원격 행동 선별을 위한 확장 가능한 계산적 방법은 여전히 제한적이다. 본 연구는 비디오에서 자폐 관련 자기자극적 행동을 자동으로 탐지하는 데 있어 두 가지 보완적 과제를 다룬다: (1) 최적의 시퀀스 기반 신경망 아키텍처와 시간적 샘플링 레이트 식별, (2) 소규모 행동 데이터셋 학습을 위한 데이터 증강 전략 특성화. 첫 번째 목표를 위해, 장단기 메모리(LSTM)와 게이트 순환 유닛(GRU) 모델을 Self-Stimulatory Behavior Diagnosis(SSBD) 데이터셋의 포즈 기반 특징에 대해 1, 5, 15, 30, 45, 90 프레임 샘플링 간격으로 학습시켰다. 두 아키텍처 모두 기존 합성곱 신경망(CNN) 베이스라인(정확도 62~76%)을 초과하였으며, 15프레임 간격 샘플링에서 최고 정확도 97.5%(LSTM)와 98.75%(GRU)를 달성하였다. 두 번째 목표를 위해, I3D 전이학습 파이프라인에 열 가지 데이터 증강 전략을 적용하고 각 기법의 한계 기여도를 정량화하는 절제 연구(ablation study)를 수행하였다. 수평 뒤집기(horizontal flip)가 단독으로 가장 높은 정확도(48.78%)를 달성한 반면, 증강 파이프라인에서 업샘플링을 제외했을 때 성능 저하가 가장 크게 나타나 복잡한 행동 비디오 증강에서 업샘플링의 필요성이 확인되었다. 각 비디오의 시간적으로 분할된 구간에서 피험자별 모델을 학습 및 평가하는 개인화된 기계학습 접근법은 일관된 예측을 산출하였다(평균 손실 1.84, 표준편차 0.79). 이러한 결과는 데이터가 부족한 임상 영역에서 비디오 기반 행동 분류를 위한 아키텍처 선택, 샘플링 레이트, 데이터 증강 전략에 관한 구체적인 지침을 실무자에게 제공한다.
일반 동작에서 도메인 특화 모니터링으로: 스켈레톤 기반 행동 인식을 위한 사전 적응형 전이학습
From General Actions to Domain-Specific Monitoring: Prior-Adaptive Transfer for Skeleton-Based Action Recognition
스켈레톤 기반 행동 인식 모델은 최근 일반적인 동작을 다루는 대규모 벤치마크에서 우수한 성능을 보이고 있다. 그러나 이러한 모델을 헬스케어 모니터링과 같은 도메인 특화 과제에 직접 전이하는 것은 종종 최적이 아닌데, 이는 해당 과제들이 범위가 좁고 일반적인 동작 사전(prior) 중 일부에만 연관될 수 있기 때문이다. 또한, 사전학습된 동작 패턴 모두가 특정 과제에 동일하게 유용하지는 않으며, 관련성이 낮은 구성 요소를 유지하면 적응을 저해하고 계산 비용을 증가시킬 수 있다. 이러한 문제를 해결하기 위해, 우리는 Prior-Adaptive Transfer of Skeletons(PATS)를 제안한다. PATS는 전이 과정에서 과제 관련 동작 사전을 선택적으로 유지하고 중복된 사전을 제거함으로써 일반적인 스켈레톤 기반 모델을 적응시키는 프레임워크이다. PATS는 비디오에서 스켈레톤 신호를 추출하고 일반 동작으로 사전학습된 시공간 백본을 활용하는 표준 파이프라인을 따른다. 핵심 기여는 반복적인 가지치기(pruning)와 정제를 통해 사전 선택 메커니즘으로서 모델 압축을 수행하는 새로운 Adaptive Prior Transfer 모듈에 있다. 알츠하이머 탐지와 낙상 탐지라는 두 가지 특화된 행동 인식 과제에 대한 실험에서, PATS는 경쟁력 있는 기준 모델들 대비 성능과 효율성 모두에서 일관된 향상을 보여준다. 코드는 논문 게재 승인 후 공개될 예정이다.
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
롱샷 윈드서핑 영상의 동일성 일관 분석: 도메인 특화 오프라인 추적 시스템
Identity-Consistent Analysis of Long-Shot Windsurfing Video: A Domain-Specific Offline Tracking System
롱샷 윈드서핑 영상은 작은 표적, 큰 카메라 팬, 장시간 겹침, 빠르게 변하는 배경이 결합된다. 원하는 출력은 일반적인 MOT 궤적이 아니라 각 서퍼마다 분리되고 안정적인 라이더 기준 상대 영상이며, 한 번의 잘못된 동일성 병합만으로도 그 외에는 유용한 결과 전체를 무효화할 수 있다. 우리는 서퍼를 검출하고, 보수적인 로컬 tracklet을 구성하며, 카메라 보상 운동과 전경 마스크 기반 돛 색상 descriptor로 전역 연결하고, rig의 두 포즈 키포인트로 라이더 기준 가상 카메라를 구동하는 오프라인 분석 시스템을 제시한다. 추적 단계는 41,004개의 유지 관측을 포함하는 수동 재구성 개발 영상 21편에서 평가했다. 이 고정 관측 프로토콜에서 프로덕션 시스템은 쌍별 정밀도 0.957, 재현율 0.918, F1 0.937을 달성했으며, OC-SORT의 F1 0.792, BoT-SORT의 0.828과 비교된다. OC-SORT 대비 fragmentation excess는 845에서 42로 줄였지만, 95개 출력 트랙 중 9개가 라이더 동일성을 혼합했고 이 오류는 21편 중 7편에 영향을 준다.
호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습
Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition
예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.