arXiv:2304.07304

Explaining, Analyzing, and Probing Representations of Self-Supervised Learning Models for Sensor-based Human Activity Recognition

Bulat Khaertdinov, Stylianos Asteriadis

제출 2023-04-14

원문 초록

In recent years, self-supervised learning (SSL) frameworks have been extensively applied to sensor-based Human Activity Recognition (HAR) in order to learn deep representations without data annotations. While SSL frameworks reach performance almost comparable to supervised models, studies on interpreting representations learnt by SSL models are limited. Nevertheless, modern explainability methods could help to unravel the differences between SSL and supervised representations: how they are being learnt, what properties of input data they preserve, and when SSL can be chosen over supervised training. In this paper, we aim to analyze deep representations of two recent SSL frameworks, namely SimCLR and VICReg. Specifically, the emphasis is made on (i) comparing the robustness of supervised and SSL models to corruptions in input data; (ii) explaining predictions of deep learning models using saliency maps and highlighting what input channels are mostly used for predicting various activities; (iii) exploring properties encoded in SSL and supervised representations using probing. Extensive experiments on two single-device datasets (MobiAct and UCI-HAR) have shown that self-supervised learning representations are significantly more robust to noise in unseen data compared to supervised models. In contrast, features learnt by the supervised approaches are more homogeneous across subjects and better encode the nature of activities.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15891v1cs.CV공통 태그 Self-Supervised Learning, Activity Recognition

호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습

Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition

예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.

arXiv:2609.24031v2cs.CV공통 태그 Self-Supervised Learning, Activity Recognition

Video-STLayout 사전학습

Video-STLayout Pre-training

최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.

arXiv:2609.23152v1cs.SD공통 태그 Self-Supervised Learning, Activity Recognition

Bearings: 1차 앰비소닉스로부터 학습하는 자기지도 음장 임베딩

Bearings: Self-Supervised Soundfield Embeddings from First-Order Ambisonics

최근 제안된 자기지도 오디오 인코더들은 음향 장면에 대한 강력한 범용 표현을 학습하지만, 공간적 정보는 파악하지 못합니다. 음향 장면에 결여된 공간적 표현을 제공하기 위해, 우리는 Bearings를 소개합니다. Bearings는 라벨이 지정되지 않은 1차 앰비소닉스(Ambisonics)로부터 음장(soundfield) 임베딩을 학습하는 자기지도 프레임워크입니다. 우리는 기존의 기성 단일 채널 오디오 인코더에서 추출되어 동결된 음향 임베딩을 조건으로 사용하는 디코더와 결합된 마스크드 오토인코더(masked auto-encoder)를 사전학습(pre-training)합니다. 실험 결과, 생성된 음장 임베딩은 가벼운 학습 가능한 융합 헤드를 통해 동결된 음향 인코더에 부착할 수 있는 재사용 가능한 스트림을 형성함을 보여줍니다. 음향 이벤트 위치 추정 및 탐지(sound event localization and detection) 과제에서, 우리의 음장 임베딩을 음향 표현과 연결(concatenate)하면 결여되었던 공간 정보를 제공하고 공동 탐지 및 위치 추정을 가능하게 하여, 위치 의존적 F-점수(location-dependent F-score)를 TAU-NIGENS 2021에서 4 미만에서 50으로, STARSS23에서 39로 끌어올립니다. 우리가 아는 한, Bearings는 두 모델 모두를 재학습하지 않고도 동결된 음향 인코더에 임베딩을 바로 결합할 수 있는 최초의 자기지도 음장 인코더입니다.

arXiv:2609.23352v1cs.CV공통 태그 Self-Supervised Learning, Activity Recognition

BiView-Touch: 교차 손 완성을 통한 양손 촉각 표현 학습

BiView-Touch: Learning Bimanual Tactile Representations by Cross-Hand Completion

양손 상호작용은 동일한 물리적 과정에 대해 상보적인 촉각 뷰를 만들지만, 기존 촉각 표현 학습은 두 손을 대체로 독립적으로 모델링하거나 하류 예측을 위해 결합하는 수준에 그쳐 교차 손 관계는 거의 다루지 않았다. 이 간과된 구조를 활용하기 위해, 우리는 마스킹된 목표 손 잠재 변수를 남은 가시 목표 손 영역과 동기화된 전체 대측(contralateral) 손으로부터 완성하는 촉각 전용 프레임워크 BiView-Touch를 제안한다. 기하학 조건부(geometry-conditioned) 방향 디코더를 갖춘 student 인코더가 전체 뷰 EMA 잠재 타깃을 예측하며, 시간적·레이아웃 반사실(counterfactual)은 동기화되고 해부학적으로 조직된 소스 정보에 대한 민감도를 높인다. 통제된 ablation과 소스-컨텍스트 개입은 BiView-Touch가 양측 입력만으로 이득을 보는 것이 아니라, 시간 정렬되고 해부학적으로 조직된 대측 촉각 컨텍스트에 대한 구조화된 교차 손 의존성을 학습함을 보여준다. 공개 HumanTouch 데이터셋에서 고정(frozen) 표현은 저레이블 설정 전반에서 대표적인 자기지도 학습 baseline을 꾸준히 능가한다. 하류 레이블 5%만 사용할 때 BiView-Touch는 양손 손목 운동 인식에서 균형 정확도가 상대 7.1% 향상되고, 힘 기반 상호작용 위상 인식에서는 14.1% 향상된다. 또한 20개 과제 양손 촉각 데이터셋 BVT-20을 소개하고, 녹화 세션 및 사전학습 코퍼스 간 전이와 홀드아웃 양손 과제로의 전이를 입증한다. 코드 및 데이터셋 세부 정보는 익명 프로젝트 페이지에서 확인할 수 있다: https://anonymous.4open.science/w/biview-touch-review-site-050C/.

arXiv:2609.24367v1cs.CV공통 태그 Self-Supervised Learning, Activity Recognition

TReViS: 자기지도 반복 동작 계수를 위한 시간적 반복 구조 인식 비디오 합성

TReViS: Temporal Repetition Structure Aware Video Synthesis for Self-supervised Repetitive Action Counting

완전 지도 방식의 반복 동작 계수(Repetitive Action Counting, RAC)는 뛰어난 성능을 달성했지만, 비용이 많이 들고 확장이 어려운 조밀한 시간적 주석(annotation)을 필요로 한다. 우리는 반복 레이블 없이 RAC 모델을 학습시킬 수 있는 자기지도(self-supervised) 비디오 합성 프레임워크인 TReViS를 제안한다. TReViS는 레이블이 없는 비디오의 근본적인 시간적 반복 구조를 시간적 자기 유사도 행렬(Temporal Self-Similarity Matrix)을 통해 추정하고, 그 주기 통계를 추론한 뒤, 현실적인 반복 패턴을 보존하면서도 통제된 시간적 변동성을 도입한 새로운 학습 시퀀스를 합성한다. 이렇게 합성된 비디오는 의사 레이블(pseudo-label)과 짝을 이루어 기존 RAC 아키텍처를 처음부터 학습시키는 데 사용된다. 여러 데이터셋과 백본(backbone)에 걸쳐, TReViS는 기존의 자기지도 방법들을 일관되게 능가하며 완전히 레이블 없이도 여러 지도 학습 기준선(baseline)과 견줄 만한 성능을 달성함으로써, 레이블 없는 RAC를 위한 구조 인식 비디오 합성의 효과를 입증한다. 소스 코드는 https://github.com/yfqi/TReViS 에서 확인할 수 있다.

arXiv:2607.09402v1cs.LG공통 태그 Activity Recognition, Human Activity Recognition

데이터 효율적 심층 학습: 관성 센서 분류에서 학습 세트 크기 추정을 위한 경험적 지침

Data-Efficient Deep Learning: Empirical Guidelines for Training Set Size Estimation in Inertial Sensor Classification

심층 학습 모델의 대규모 관성 데이터셋 의존성은 인간 활동 인식(human activity recognition) 및 스마트폰 위치 인식(smartphone location recognition)과 같은 관성 센서 기반 분류 작업에서 심각한 병목 현상을 초래한다. 이러한 도메인에서 데이터 수집은 복잡하고 시간이 많이 소요되며 확장이 어려운 대규모 녹화 캠페인을 필요로 한다. 현재, 원하는 정확도 수준에 도달하는 데 필요한 최소 샘플 크기를 결정하기 위한 데이터 기반 지침은 존재하지 않는다. 이 격차를 해소하기 위해, 본 연구는 관성 분류에서 학습 곡선(learning curve) 수렴 속도에 대한 체계적인 경험적 평가를 제시한다. 이진 및 다중 클래스 시나리오 모두에서 분류 성능을 분석하는 통합 프레임워크를 소개하고, 데이터셋 크기에 따른 성능을 추정하는 경험적 공식을 도출한다. 총 102.7시간의 관성 측정값으로 구성된 6개의 다양한 실세계 데이터셋에 대한 테스트 결과, 작업 복잡도에 관계없이 정확도가 일관된 로그 성장 패턴을 따르는 것으로 나타났다. 이 발견을 활용하여, 학습 곡선이 점근적 최대값의 사전 정의된 평균 절대 백분율 편차(mean absolute percentage deviation) 이내로 안정화되는 데 필요한 샘플 크기로 정의되는 정량적 안정점(stability point) 지표를 제안한다. 분석 결과, 모델은 전통적인 경험 법칙이 제시하는 것보다 훨씬 적은 샘플로 실용적 안정성에 도달하는 경우가 많음이 밝혀졌다. 궁극적으로, 소규모 파일럿 연구에서 전체 데이터 요구량을 외삽하는 일반화 가능한 프레임워크를 제공하여, 녹화 노력과 모델 신뢰성 간의 트레이드오프를 최적화한다. 이러한 발견들은 지배적인 패러다임을 데이터 볼륨 최대화에서 데이터 효율성 최적화로 전환시키며, 관성 센싱 애플리케이션에서 녹화 캠페인 계획을 위한 구체적이고 데이터 기반의 지침을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.