arXiv:2209.03765

Self-Supervised Multimodal Fusion Transformer for Passive Activity Recognition

Armand K. Koupai, Mohammud J. Bocus, Raul Santos-Rodriguez, Robert J. Piechocki, Ryan McConville

제출 2022-08-15

원문 초록

The pervasiveness of Wi-Fi signals provides significant opportunities for human sensing and activity recognition in fields such as healthcare. The sensors most commonly used for passive Wi-Fi sensing are based on passive Wi-Fi radar (PWR) and channel state information (CSI) data, however current systems do not effectively exploit the information acquired through multiple sensors to recognise the different activities. In this paper, we explore new properties of the Transformer architecture for multimodal sensor fusion. We study different signal processing techniques to extract multiple image-based features from PWR and CSI data such as spectrograms, scalograms and Markov transition field (MTF). We first propose the Fusion Transformer, an attention-based model for multimodal and multi-sensor fusion. Experimental results show that our Fusion Transformer approach can achieve competitive results compared to a ResNet architecture but with much fewer resources. To further improve our model, we propose a simple and effective framework for multimodal and multi-sensor self-supervised learning (SSL). The self-supervised Fusion Transformer outperforms the baselines, achieving a F1-score of 95.9%. Finally, we show how this approach significantly outperforms the others when trained with as little as 1% (2 minutes) of labelled training data to 20% (40 minutes) of labelled training data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15891v1cs.CV공통 태그 Self-Supervised Learning, Activity Recognition

호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습

Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition

예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.

arXiv:2609.24031v2cs.CV공통 태그 Self-Supervised Learning, Activity Recognition

Video-STLayout 사전학습

Video-STLayout Pre-training

최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.

arXiv:2609.22619v1cs.AI공통 태그 Activity Recognition, Sensor Fusion

GaitVista: 접근 가능한 종단 보행 평가를 위한 신뢰성 인식 AI 측정

GaitVista: Reliability-Aware AI Measurement toward Accessible Longitudinal Gait Assessment

보행 기능 회복을 추적하려면 재활 세션에 걸쳐 의미 있는 보행 변화를 감지해야 하지만, 객관적인 3D 측정은 여전히 전문 모션 캡처(motion-capture) 실험실에 국한된다. 소규모 카메라 세트와 착용형 관성 센서(inertial sensor)는 접근성을 넓히지만, 관절과 시간에 따라 신뢰도가 달라져 센싱 실패가 환자 변화처럼 보일 수 있다. 본 논문은 카메라 커버리지, 국소 시각 품질, 교차 모달 불일치, 뿌리(root) 운동 연속성을 이용해 관절·프레임별 시각 기여도를 할당하고 이를 검사할 수 있게 노출하는 경량 게이트를 갖춘, 신뢰성 인식 측정 층인 \textsc{GaitVista}를 제안한다. TotalCapture에서 일곱 가지 깨끗한·열화된 센싱 조건에 대해 \textsc{GaitVista}는 평균 전신 및 하체 오차를 각각 \textbf{27.7\%} 및 \textbf{27.8\%} 줄이고, 융합(fusion) 방법 중 최악 조건 오차가 가장 낮으며, 조건 무시 기준선 대비 관절-프레임 오라클과의 격차를 $2.76$--$5.33$~cm에서 $1.11$~cm로 줄인다. 이미지 유도 키포인트(image-derived keypoint)를 사용한 MoVi에서는, 단일 모달 스트림 모두보다 성능을 개선하는 유일한 배포 가능한 융합 방법으로, 가장 강한 학습 기반 융합 기준선 대비 마커 지원 오차를 \textbf{6.4\%} 상대 감소시킨다. TotalCapture에서는 양측 무릎 굴곡(knee-flexion) 파형 정확도를 \textbf{18.9\%} 개선한다. 다섯 명의 TotalCapture 참가자로부터의 원시 관성 측정값은 위치·시간에 따라 변하는 자기 교란(magnetic disturbance)을 보여 주어, 설계의 신뢰성 전제를 뒷받침한다. 두 벤치마크 모두 통제된 환경의 신경학적으로 건강한 참가자를 포함하며 참가자별 IMU 보정을 유지하므로, 검증된 임상 배포가 아니라 접근 가능한 보행 평가를 향한 진전을 보고한다.

arXiv:2609.23152v1cs.SD공통 태그 Self-Supervised Learning, Activity Recognition

Bearings: 1차 앰비소닉스로부터 학습하는 자기지도 음장 임베딩

Bearings: Self-Supervised Soundfield Embeddings from First-Order Ambisonics

최근 제안된 자기지도 오디오 인코더들은 음향 장면에 대한 강력한 범용 표현을 학습하지만, 공간적 정보는 파악하지 못합니다. 음향 장면에 결여된 공간적 표현을 제공하기 위해, 우리는 Bearings를 소개합니다. Bearings는 라벨이 지정되지 않은 1차 앰비소닉스(Ambisonics)로부터 음장(soundfield) 임베딩을 학습하는 자기지도 프레임워크입니다. 우리는 기존의 기성 단일 채널 오디오 인코더에서 추출되어 동결된 음향 임베딩을 조건으로 사용하는 디코더와 결합된 마스크드 오토인코더(masked auto-encoder)를 사전학습(pre-training)합니다. 실험 결과, 생성된 음장 임베딩은 가벼운 학습 가능한 융합 헤드를 통해 동결된 음향 인코더에 부착할 수 있는 재사용 가능한 스트림을 형성함을 보여줍니다. 음향 이벤트 위치 추정 및 탐지(sound event localization and detection) 과제에서, 우리의 음장 임베딩을 음향 표현과 연결(concatenate)하면 결여되었던 공간 정보를 제공하고 공동 탐지 및 위치 추정을 가능하게 하여, 위치 의존적 F-점수(location-dependent F-score)를 TAU-NIGENS 2021에서 4 미만에서 50으로, STARSS23에서 39로 끌어올립니다. 우리가 아는 한, Bearings는 두 모델 모두를 재학습하지 않고도 동결된 음향 인코더에 임베딩을 바로 결합할 수 있는 최초의 자기지도 음장 인코더입니다.

arXiv:2609.23352v1cs.CV공통 태그 Self-Supervised Learning, Activity Recognition

BiView-Touch: 교차 손 완성을 통한 양손 촉각 표현 학습

BiView-Touch: Learning Bimanual Tactile Representations by Cross-Hand Completion

양손 상호작용은 동일한 물리적 과정에 대해 상보적인 촉각 뷰를 만들지만, 기존 촉각 표현 학습은 두 손을 대체로 독립적으로 모델링하거나 하류 예측을 위해 결합하는 수준에 그쳐 교차 손 관계는 거의 다루지 않았다. 이 간과된 구조를 활용하기 위해, 우리는 마스킹된 목표 손 잠재 변수를 남은 가시 목표 손 영역과 동기화된 전체 대측(contralateral) 손으로부터 완성하는 촉각 전용 프레임워크 BiView-Touch를 제안한다. 기하학 조건부(geometry-conditioned) 방향 디코더를 갖춘 student 인코더가 전체 뷰 EMA 잠재 타깃을 예측하며, 시간적·레이아웃 반사실(counterfactual)은 동기화되고 해부학적으로 조직된 소스 정보에 대한 민감도를 높인다. 통제된 ablation과 소스-컨텍스트 개입은 BiView-Touch가 양측 입력만으로 이득을 보는 것이 아니라, 시간 정렬되고 해부학적으로 조직된 대측 촉각 컨텍스트에 대한 구조화된 교차 손 의존성을 학습함을 보여준다. 공개 HumanTouch 데이터셋에서 고정(frozen) 표현은 저레이블 설정 전반에서 대표적인 자기지도 학습 baseline을 꾸준히 능가한다. 하류 레이블 5%만 사용할 때 BiView-Touch는 양손 손목 운동 인식에서 균형 정확도가 상대 7.1% 향상되고, 힘 기반 상호작용 위상 인식에서는 14.1% 향상된다. 또한 20개 과제 양손 촉각 데이터셋 BVT-20을 소개하고, 녹화 세션 및 사전학습 코퍼스 간 전이와 홀드아웃 양손 과제로의 전이를 입증한다. 코드 및 데이터셋 세부 정보는 익명 프로젝트 페이지에서 확인할 수 있다: https://anonymous.4open.science/w/biview-touch-review-site-050C/.

arXiv:2609.24367v1cs.CV공통 태그 Self-Supervised Learning, Activity Recognition

TReViS: 자기지도 반복 동작 계수를 위한 시간적 반복 구조 인식 비디오 합성

TReViS: Temporal Repetition Structure Aware Video Synthesis for Self-supervised Repetitive Action Counting

완전 지도 방식의 반복 동작 계수(Repetitive Action Counting, RAC)는 뛰어난 성능을 달성했지만, 비용이 많이 들고 확장이 어려운 조밀한 시간적 주석(annotation)을 필요로 한다. 우리는 반복 레이블 없이 RAC 모델을 학습시킬 수 있는 자기지도(self-supervised) 비디오 합성 프레임워크인 TReViS를 제안한다. TReViS는 레이블이 없는 비디오의 근본적인 시간적 반복 구조를 시간적 자기 유사도 행렬(Temporal Self-Similarity Matrix)을 통해 추정하고, 그 주기 통계를 추론한 뒤, 현실적인 반복 패턴을 보존하면서도 통제된 시간적 변동성을 도입한 새로운 학습 시퀀스를 합성한다. 이렇게 합성된 비디오는 의사 레이블(pseudo-label)과 짝을 이루어 기존 RAC 아키텍처를 처음부터 학습시키는 데 사용된다. 여러 데이터셋과 백본(backbone)에 걸쳐, TReViS는 기존의 자기지도 방법들을 일관되게 능가하며 완전히 레이블 없이도 여러 지도 학습 기준선(baseline)과 견줄 만한 성능을 달성함으로써, 레이블 없는 RAC를 위한 구조 인식 비디오 합성의 효과를 입증한다. 소스 코드는 https://github.com/yfqi/TReViS 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.