arXiv:2304.14499

Human activity recognition using deep learning approaches and single frame cnn and convolutional lstm

Sheryl Mathew, Annapoorani Subramanian, Pooja, Balamurugan MS, Manoj Kumar Rajagopal

제출 2023-04-18

원문 초록

Human activity recognition is one of the most important tasks in computer vision and has proved useful in different fields such as healthcare, sports training and security. There are a number of approaches that have been explored to solve this task, some of them involving sensor data, and some involving video data. In this paper, we aim to explore two deep learning-based approaches, namely single frame Convolutional Neural Networks (CNNs) and convolutional Long Short-Term Memory to recognise human actions from videos. Using a convolutional neural networks-based method is advantageous as CNNs can extract features automatically and Long Short-Term Memory networks are great when it comes to working on sequence data such as video. The two models were trained and evaluated on a benchmark action recognition dataset, UCF50, and another dataset that was created for the experimentation. Though both models exhibit good accuracies, the single frame CNN model outperforms the Convolutional LSTM model by having an accuracy of 99.8% with the UCF50 dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09402v1cs.LG공통 태그 Activity Recognition, Human Activity Recognition, Action Recognition

데이터 효율적 심층 학습: 관성 센서 분류에서 학습 세트 크기 추정을 위한 경험적 지침

Data-Efficient Deep Learning: Empirical Guidelines for Training Set Size Estimation in Inertial Sensor Classification

심층 학습 모델의 대규모 관성 데이터셋 의존성은 인간 활동 인식(human activity recognition) 및 스마트폰 위치 인식(smartphone location recognition)과 같은 관성 센서 기반 분류 작업에서 심각한 병목 현상을 초래한다. 이러한 도메인에서 데이터 수집은 복잡하고 시간이 많이 소요되며 확장이 어려운 대규모 녹화 캠페인을 필요로 한다. 현재, 원하는 정확도 수준에 도달하는 데 필요한 최소 샘플 크기를 결정하기 위한 데이터 기반 지침은 존재하지 않는다. 이 격차를 해소하기 위해, 본 연구는 관성 분류에서 학습 곡선(learning curve) 수렴 속도에 대한 체계적인 경험적 평가를 제시한다. 이진 및 다중 클래스 시나리오 모두에서 분류 성능을 분석하는 통합 프레임워크를 소개하고, 데이터셋 크기에 따른 성능을 추정하는 경험적 공식을 도출한다. 총 102.7시간의 관성 측정값으로 구성된 6개의 다양한 실세계 데이터셋에 대한 테스트 결과, 작업 복잡도에 관계없이 정확도가 일관된 로그 성장 패턴을 따르는 것으로 나타났다. 이 발견을 활용하여, 학습 곡선이 점근적 최대값의 사전 정의된 평균 절대 백분율 편차(mean absolute percentage deviation) 이내로 안정화되는 데 필요한 샘플 크기로 정의되는 정량적 안정점(stability point) 지표를 제안한다. 분석 결과, 모델은 전통적인 경험 법칙이 제시하는 것보다 훨씬 적은 샘플로 실용적 안정성에 도달하는 경우가 많음이 밝혀졌다. 궁극적으로, 소규모 파일럿 연구에서 전체 데이터 요구량을 외삽하는 일반화 가능한 프레임워크를 제공하여, 녹화 노력과 모델 신뢰성 간의 트레이드오프를 최적화한다. 이러한 발견들은 지배적인 패러다임을 데이터 볼륨 최대화에서 데이터 효율성 최적화로 전환시키며, 관성 센싱 애플리케이션에서 녹화 캠페인 계획을 위한 구체적이고 데이터 기반의 지침을 제공한다.

arXiv:2606.00260v3cs.CV공통 태그 Activity Recognition, Human Activity Recognition, Action Recognition

LastAct: 실시간 스마트홈 행동 인식을 위한 궤적 기반 최신 활동 위치 추정

LastAct: Trajectory-Guided Latest-Activity Localization for Real-Time Smart-Home Activity Recognition

주변 센서를 이용한 인간 행동 인식(HAR)은 건강 모니터링 및 생활 보조와 같은 스마트홈 응용을 가능하게 한다. 그러나 실제 배포 환경에서는 센서 이벤트가 연속 스트림으로 도착하며 활동 경계가 알려지지 않는다. 따라서 슬라이딩 윈도우 추론은 전환 구간에 걸쳐 있거나 복합 활동을 포함하는 윈도우를 다수 생성하여, 대부분의 벤치마크와 모델이 사용하는 사전 분할 인스턴스 가정을 위반하는 경계 오염 문제를 야기한다. 또한 많은 파이프라인은 센서 ID를 독립적인 토큰으로 처리함으로써 공간적 문맥을 충분히 활용하지 못한다. 본 논문에서는 혼합 윈도우 환경에서 가장 최근 활동을 대상으로 하면서 공간 구조를 명시적으로 모델링하는 스트리밍 스마트홈 HAR을 위한 궤적 중심 프레임워크인 LastAct를 제안한다. LastAct는 센서 이벤트를 가정 평면도에 투영하여 공간적 연속성을 보존하는 레이아웃 정렬 궤적 이미지 시퀀스를 형성한다. 경량 게이트가 오염된 윈도우를 식별하고, 경계 위치 추정기가 마지막 전환 지점을 추정함으로써 경계 이후 증거를 강조하고 오래된 문맥을 억제하는 경계 기반 마스킹을 가능하게 한다. 효율성을 위해 사전 계산된 레이아웃 정렬 템플릿 캐시를 재사용하여 반복적인 렌더링을 방지한다. 네 개의 공개 스마트홈 데이터셋에서 근현실적 혼합 활동 프로토콜을 적용한 실험 결과, LastAct는 순수 윈도우에서 경쟁력 있거나 우수한 성능을 달성하고 교차/혼합 윈도우에서 Macro-F1의 상당한 향상을 보임으로써, 근현실적 슬라이딩 윈도우 환경에서 개선된 강건성을 입증한다.

arXiv:2608.08381v2cs.CV공통 태그 Activity Recognition, Action Recognition

DoRF++: 강건한 Wi-Fi 센싱을 위한 도플러 래디언스 필드 기반 구면 표현 학습

DoRF++: Spherical Representation Learning over Doppler Radiance Fields for Robust Wi-Fi Sensing

IEEE 802.11bf가 고급 WLAN 센싱 표준화를 추진하는 가운데, 비침해적·무기기·프라이버시 보존형 활동 및 제스처 인식을 위한 Wi-Fi 채널 상태 정보(CSI) 활용에 대한 관심이 빠르게 커지고 있다. 최근 연구는 CSI에서 추출한 도플러 속도 투영이 사람 움직임 속도를 직접 반영하여, 더 강건한 인간 활동 인식(HAR)과 사용자 및 보지 못한 조건에 걸친 일반화를 가능하게 함을 보여 주었다. 그럼에도 실세계 가변성 하에서의 신뢰할 만한 일반화는 Wi-Fi 센싱 도입을 가로막는 핵심 난제로 남아 있다. 이를 해결하기 위해 본 연구는 도플러 래디언스 필드(DoRF)를 기반으로 하며, 컴퓨터 비전(CV)의 신경 래디언스 필드(NeRF) 개념을 Wi-Fi 센싱에 맞게 적용한다. DoRF는 추출된 도플러 속도 투영을 사람 움직임에 대한 희소 가상 카메라 뷰로 취급한다. 이러한 뷰로부터 정규화된 잠재 3차원 모션 디스크립터를 복원하고, 학습된 유효 도플러 방향을 따른 이 디스크립터의 투영이 CSI 관측을 설명한다. 복원된 모션은 단위 구(unit sphere) 위 등각 방향 그리드로 재투영되어 기저 활동의 구면 표현을 만든다. DoRF가 구면 위에 정의된 신호를 생성하므로, 본 논문은 행동 분류를 위해 구면 필드에 quadrature-aware 구면 Transformer를 직접 적용하는 구면 표현 학습 모델 DoRF++를 제안한다. 자체 수집 손 제스처 데이터셋 실험에서 DoRF++는 단일 다중 안테나 수신 액세스 포인트(AP)만 가용한 경우, 특히 어려운 제스처에 대해 교차 사용자 일반화 정확도에서 최신 Wi-Fi 기반 HAR 방법을 눈에 띄게 능가한다.

arXiv:2609.23486v1cs.RO공통 태그 Activity Recognition, Action Recognition

인간 중심 멀티모달 관측에 기반한 선제적 로봇을 위한 인지적 행동 추론

Cognitive Action Reasoning for Proactive Robots from Human-Centered Multimodal Observations

인간 중심 환경에서 동작하는 로봇은 일반적으로 명시적 지시를 수행하도록 설계되며, 대부분의 로봇 학습 데이터셋 역시 관측을 작업 지시나 저수준 행동과 짝지어 구성한다. 최근 연구들이 선제적(proactive) 체화 보조(embodied assistance)를 탐구하기 시작했지만, 기존 자원들은 서로 다른 설정과 행동 수준을 대상으로 하여 실세계의 인간 중심 멀티모달 의사결정은 여전히 충분히 탐구되지 않은 상태이다. 우리는 이 문제를 \textit{선제적 로봇 행동 추론}(\textit{ProRobo})으로 정식화하는데, 이는 로봇이 명시적인 행동 지시 없이 인간 및 환경의 멀티모달 단서에 기반하여 어떤 행동을 취할지 결정해야 하는 상위 인지적 의사결정 문제이다. ProRobo를 지원하기 위해, 우리는 다섯 가지 일반적인 장면 속 12가지 일상생활 시나리오에 걸쳐 시각적 관측, 오디오 신호, 텍스트 입력으로 구성된 1만 개(10K) 샘플을 포함하는 실세계 멀티모달 데이터셋 \textit{ProAction}을 소개한다. 인지적으로 근거 있는 상위 수준 행동 지도(supervision)를 구성하기 위해, 우리는 평가(appraisal) 기반 후보 생성과 정서적 마음 이론(Affective Theory-of-Mind) 기반 인간 정제를 결합한 2단계 인간 참여(human-in-the-loop) 파이프라인을 개발하였으며, 인간의 상태, 긴급성, 실행 가능성, 잠재적 위험에 대한 맥락적 판단을 행동 주석에 명시적으로 반영한다. 이러한 지도를 바탕으로, 우리는 대표적인 멀티모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)들을 벤치마크하고, 멀티모달 관측에서 인지적으로 근거 있는 상위 수준 행동으로의 매핑을 암묵적으로 학습하는 참조 모델인 \textit{MMC2Act}를 소개한다. 모달리티 설정, 피험자 비중첩(subject-disjoint) 일반화, 데이터셋 간 전이, 그리고 인간 평가에 걸친 실험 결과, 범용 MLLM은 멀티모달 단서로부터 상위 수준 행동을 선제적으로 추론하는 데 어려움을 겪는 반면, \textit{ProAction}으로 학습할 경우 성능이 크게 향상됨을 보여준다.

arXiv:2609.24127v1cs.CV공통 태그 Activity Recognition, Action Recognition

Action-Slot: 다중 에이전트 원자적 활동 이해를 위한 구조화된 행동 중심 표현 학습

Action-Slot: Structured Action-Centric Representation Learning for Multi-Agent Atomic Activity Understanding

원자적 활동(atomic activity) 이해는 움직임 패턴과 도로 토폴로지(road topology)에 대한 그라운딩을 함께 인코딩하는 구조화된 교통 행동을 인식하고 위치를 파악하는 것을 목표로 한다. 기존의 행동 인식(action recognition)과 달리, 원자적 활동은 다중 에이전트(multi-agent), 다중 레이블(multi-label), 토폴로지 인지(topology-aware) 특성을 가진다: 다수의 활동이 동시에 발생하는 반면 많은 에이전트는 비활성 상태로 남아있다. 우리는 구조화된 행동 중심 표현 학습 프레임워크인 Action-Slot을 소개한다. 슬롯 어텐션(slot attention)은 객체 중심 분해(object-centric decomposition)에 널리 사용되지만, 그 순열 불변(permutation-invariant) 설계와 객체 수준의 귀납적 바이어스(inductive bias)는 원자적 활동의 의미론과 부합하지 않는다. 우리는 다음 세 가지 설계를 통해 슬롯 학습을 구조화된 활동 분해로 재구성한다: (1) 사전에 정의된 활동 카테고리에 슬롯을 고정시키는 카테고리 정렬 행동 슬롯(category-aligned action slots), (2) 전체적인 비디오 수준 추론을 위한 병렬 시공간 슬롯 업데이트, (3) 전경(foreground) 활동과 무관한 영역 간의 경쟁을 강제하는 배경 및 네거티브 슬롯 정규화(regularization). 이들은 함께 원본 비디오로부터 동시적이고 비동기적인 활동들을 직접적으로 분리해내는 활동 중심의 귀납적 바이어스를 확립한다. 인식을 넘어, 학습된 표현은 전이 가능한 시공간적 그라운딩 신호를 인코딩한다. 우리는 나아가 후보 영역 제거 전후의 어텐션 변화를 측정하여 거짓 양성(false positive)을 억제하는 어텐션 차이 기반 의사 마스크(pseudo mask) 선택 프레임워크를 제안하며, 이를 통해 밀집 주석(dense annotation) 없이도 약지도(weakly supervised) 위치 파악이 가능하다. 체계적인 평가를 지원하기 위해, 우리는 원자적 활동을 완전히 포괄하고 픽셀 수준 주석을 갖춘 균형 잡힌 합성 데이터셋(dataset)인 TACO를 소개한다. OATS, TACO, 그리고 주석이 달린 nuScenes에 대한 실험 결과는 우수한 인식 성능, 강력한 시뮬레이션-실제 전이(sim-to-real transfer), 그리고 최신 수준(state-of-the-art)의 약지도 위치 파악 성능을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.