A Wireless-Vision Dataset for Privacy Preserving Human Activity Recognition
원문 초록
Human Activity Recognition (HAR) has recently received remarkable attention in numerous applications such as assisted living and remote monitoring. Existing solutions based on sensors and vision technologies have obtained achievements but still suffering from considerable limitations in the environmental requirement. Wireless signals like WiFi-based sensing have emerged as a new paradigm since it is convenient and not restricted in the environment. In this paper, a new WiFi-based and video-based neural network (WiNN) is proposed to improve the robustness of activity recognition where the synchronized video serves as the supplement for the wireless data. Moreover, a wireless-vision benchmark (WiVi) is collected for 9 class actions recognition in three different visual conditions, including the scenes without occlusion, with partial occlusion, and with full occlusion. Both machine learning methods - support vector machine (SVM) as well as deep learning methods are used for the accuracy verification of the data set. Our results show that WiVi data set satisfies the primary demand and all three branches in the proposed pipeline keep more than $80\%$ of activity recognition accuracy over multiple action segmentation from 1s to 3s. In particular, WiNN is the most robust method in terms of all the actions on three action segmentation compared to the others.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
STELLA: 온디바이스 인간 행동 인식을 위한 효율적인 센서-LLM 변환
STELLA: Efficient Sensor-to-LLM Translation for On-Device Human Activity Recognition
인간 행동 인식(HAR)은 엣지 디바이스에서 지속적으로 실행될 것이 점점 더 기대되고 있지만, 최근 대규모 언어 모델(LLM) 기반 방법들은 배포가 어렵다는 문제가 있다. 원시 센서 프롬프트는 길고, 클라우드 추론은 지연과 개인정보 침해 위험을 수반하며, 파인튜닝된 LLM 파이프라인은 범용 모델을 태스크 특화 분류기로 전환시킨다. 우리는 LLM 적응 부담을 센서 토큰화로 전환하는, 온디바이스 HAR을 위한 효율적인 센서-LLM 변환 프레임워크 STELLA를 제안한다. 경량 계층적 토크나이저는 다채널 관성 센서 윈도우 전체를 고정 크기의 간결한 잠재 센서 토큰으로 압축하고, 이를 동결된 사전학습 LLM의 임베딩 공간으로 투영한 뒤 레이블 채점을 위한 자연어 프롬프트와 결합한다. 이를 통해 활동과 관련된 시간적·채널 간 구조를 보존하면서, 센서 구성이 달라져도 LLM 측 연산을 예측 가능하게 유지한다. STELLA는 온디바이스 개인화도 지원하여, 소량의 사용자 특화 레이블 데이터에 대해 경량 토크나이저만을 적응시키고 로컬 검색 컨텍스트로 추론을 보강하며, LLM·사용자 데이터·검색 모두를 디바이스 내에 유지한다. 7개의 공개 HAR 데이터셋과 8개의 벤치마크 설정에서 STELLA는 새로운 최고 성능을 달성하며, 기존 방법 대비 최대 11.83% F1 향상을 이루었다. 온디바이스 개인화는 배포 후 사용자 데이터가 축적됨에 따라 추가로 최대 21.91% F1 향상을 가져온다. STELLA는 동일한 LLM 파이프라인 하에서 대표적인 시계열 토크나이저보다 우수한 성능을 보이며, 실용적인 모바일 및 엣지 예산 내에서 실시간 추론을 달성한다. 이는 효율적인 센서 토큰화가 엣지 디바이스에서 정확하고 사생활을 보호하며 개인화된 LLM 기반 HAR로 나아가는 실용적인 경로임을 보여준다.
HiMe: 웨어러블 기기를 활용한 건강 인사이트를 위한 실시간 셀프 호스팅 개인 에이전트 플랫폼
HiMe: Real-Time Self-Hosted Personal Agent Platform for Health Insights with Wearable Devices
스마트워치와 같은 전통적인 웨어러블 건강 신호 분석 접근법은 경직된 분석 프레임워크와 제한된 개인화로 인해 제약을 받는다. 대규모 언어 모델(LLM) 에이전트의 등장은 개인 건강 에이전트 분석(Personal Health Agentic Analysis)을 위한 새로운 기회를 만들며, 여기서 건강 인사이트를 적응적으로 그리고 맥락에 맞게 생성할 수 있다. 그러나 현재 개인정보를 보호하면서 실시간으로 개인 건강 데이터를 처리할 수 있는 오픈소스 로컬 배포형 플랫폼은 존재하지 않는다. 본 논문은 HiMe를 제안한다. HiMe는 프라이버시 우선 에이전트 플랫폼으로 로컬에 배포 가능하며, 다양한 웨어러블 기기에 걸친 실시간 건강 데이터 생태계와 완전히 호환된다. HiMe는 세 가지 설계 원칙에 따라 구축된다. 첫째, 데이터베이스는 일급(first-class) 구성 요소로 취급된다. 둘째, 효과성과 효율성을 공동으로 최적화하여 저비용의 파레토 최적 균형을 달성한다. 셋째, 데이터는 실시간으로 처리되며, 동시에 사용자는 장기적으로 모델링된다. 이러한 원칙들을 통해 개인이 Personal Health Agents를 활용하여 더 나은 웰빙을 위한 지속적이고 개인화된 건강 모니터링을 실용적으로 수행할 수 있게 된다.
데이터 효율적 심층 학습: 관성 센서 분류에서 학습 세트 크기 추정을 위한 경험적 지침
Data-Efficient Deep Learning: Empirical Guidelines for Training Set Size Estimation in Inertial Sensor Classification
심층 학습 모델의 대규모 관성 데이터셋 의존성은 인간 활동 인식(human activity recognition) 및 스마트폰 위치 인식(smartphone location recognition)과 같은 관성 센서 기반 분류 작업에서 심각한 병목 현상을 초래한다. 이러한 도메인에서 데이터 수집은 복잡하고 시간이 많이 소요되며 확장이 어려운 대규모 녹화 캠페인을 필요로 한다. 현재, 원하는 정확도 수준에 도달하는 데 필요한 최소 샘플 크기를 결정하기 위한 데이터 기반 지침은 존재하지 않는다. 이 격차를 해소하기 위해, 본 연구는 관성 분류에서 학습 곡선(learning curve) 수렴 속도에 대한 체계적인 경험적 평가를 제시한다. 이진 및 다중 클래스 시나리오 모두에서 분류 성능을 분석하는 통합 프레임워크를 소개하고, 데이터셋 크기에 따른 성능을 추정하는 경험적 공식을 도출한다. 총 102.7시간의 관성 측정값으로 구성된 6개의 다양한 실세계 데이터셋에 대한 테스트 결과, 작업 복잡도에 관계없이 정확도가 일관된 로그 성장 패턴을 따르는 것으로 나타났다. 이 발견을 활용하여, 학습 곡선이 점근적 최대값의 사전 정의된 평균 절대 백분율 편차(mean absolute percentage deviation) 이내로 안정화되는 데 필요한 샘플 크기로 정의되는 정량적 안정점(stability point) 지표를 제안한다. 분석 결과, 모델은 전통적인 경험 법칙이 제시하는 것보다 훨씬 적은 샘플로 실용적 안정성에 도달하는 경우가 많음이 밝혀졌다. 궁극적으로, 소규모 파일럿 연구에서 전체 데이터 요구량을 외삽하는 일반화 가능한 프레임워크를 제공하여, 녹화 노력과 모델 신뢰성 간의 트레이드오프를 최적화한다. 이러한 발견들은 지배적인 패러다임을 데이터 볼륨 최대화에서 데이터 효율성 최적화로 전환시키며, 관성 센싱 애플리케이션에서 녹화 캠페인 계획을 위한 구체적이고 데이터 기반의 지침을 제공한다.
벽 투과 레이더 인체 행동 인식을 위한 일반화 이론
Generalization Theory for Through-the-Wall Radar Human Activity Recognition
벽 투과 레이더(TWR) 인체 행동 인식(HAR)은 가시선 비확보(non-line-of-sight) 실내 감지, 보안 모니터링, 긴급 구조에 있어 중요하다. 그러나 개인 변이, 관측 시점 변이, 벽 조건 변이로 인한 구조적 분포 이동(distribution shift)은 인식 일반화를 심각하게 저하시키며, 목표 도메인 오류의 근원에 대한 엄밀한 이론적 설명이 여전히 부재하다. 이 문제를 해결하기 위해, 본 논문에서는 TWR HAR을 위한 일반화 분석 프레임워크를 제안한다. 먼저, 실내 인체 운동학, TWR 에코 생성, 레이더 이미지 형성, 특징(feature) 표현, 유계 가중치(bounded-weight) 신경망에 대한 모델을 통합된 소스-대-타겟 학습 공식화 내에서 수립한다. 이후 소스 위험도(source risk), 타겟 위험도(target risk), 경험적 위험도(empirical risk), 허용 가능한 물리적 도메인 디스크립터(admissible physical domain descriptor)를 정의하고, 통합된 목표 도메인 일반화 경계(generalization bound)를 도출한다. 다음으로, 구조적 이동 항을 교차 개인(cross-person), 교차 시점(cross-view), 교차 벽(cross-wall) 성분으로 분해하고, 물리적 저차원 표현, 다중 소스 학습, 매개변수(parameter) 공간 커버리지의 경계 조임(bound-tightening) 효과를 분석한다. 시뮬레이션 및 실측 실험을 통해 도출된 이론적 분석을 공동으로 검증하고 그 응용 가치를 제시한다.
HAR을 위한 FedAvg: 개인화 정확도와 일반화 정확도 간의 트레이드오프 탐구
FedAvg for HAR: Exploring the Tradeoff Between Personalized and Generalization Accuracy
연합 학습(FL) 패러다임은 분산 퍼베이시브 컴퓨팅과 인공지능 기술을 결합하여 데이터 활용을 최적화하고 개인정보 보호 문제를 효과적으로 완화할 수 있도록 한다. 모델 학습은 클라이언트의 로컬 디바이스에서 이루어지며, 이후 모델 파라미터가 중앙 서버와 공유된다. 그러나 모델의 개인화 능력과 일반화 능력 사이의 트레이드오프를 찾는 것이 필요하다. 본 논문에서는 중앙화, 로컬, 연합 패러다임의 성능을 평가하고 비교하기 위한 여러 테스트 시나리오를 설계 및 구현한다. 또한 클라이언트 데이터의 변화를 에뮬레이션하는 시나리오도 설계 및 구현한다. 이후 개인화 정확도와 일반화 정확도 간의 트레이드오프를 이해하기 위해 인간 행동 인식(HAR) 도메인에 FedAvg 알고리즘을 적용한 실험 결과를 제시한다. 실험 결과, FedAvg는 전통적인 중앙화 학습에 비해 높은 수준의 일반화를 유지하면서 더 높은 개인화 능력을 확인시켜 주지만, 클라이언트 간 클래스 분포가 변화하는 경우와 같은 스트레스 조건에서는 이러한 결과가 명확하지 않음을 보인다.
QFedAgent: 다중 에이전트 행동 인식을 위한 양자 강화 개인화 연합 학습
QFedAgent: Quantum-Enhanced Personalized Federated Learning for Multi-Agent Activity Recognition
연합 학습(FL)은 원시 데이터를 공유하지 않고 분산 장치 간 협력적 모델 학습을 가능하게 하여 프라이버시에 민감한 로봇 센싱 애플리케이션에 적합하다. 그러나 다중 에이전트 시스템은 이질적이고 독립동일분포를 따르지 않는(non-IID) 다중모달 센서 스트림을 생성하여 기존 FL 알고리즘의 성능을 저하시키며, 고전적 융합 모듈은 상당한 매개변수 오버헤드와 통신 비용을 유발한다. 본 논문은 다중 에이전트 행동 인식을 위한 하이브리드 양자-고전 개인화 FL 프레임워크인 QFedAgent를 제안한다. 이 접근법은 양자 상태 인코딩과 얽힘(entanglement)을 통해 가속도계-자이로스코프 상호작용을 모델링하는 변분 양자 회로(variational quantum circuit) 융합 모듈을 통합하며, 고전적 다층 퍼셉트론 기반 융합의 33K 매개변수 대비 72개의 양자 회전 매개변수만을 필요로 하여 총 매개변수를 약 10배 감소시킨다. 피험자 기반 non-IID 분할 조건에서 OPPORTUNITY 데이터셋을 대상으로 한 실험 결과 평균 테스트 정확도 97.7%를 달성하였으며, 매개변수 효율적인 양자 융합이 기존 연합 학습 기준선과 경쟁력 있는 성능을 유지함을 확인하였다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.