Cross-position Activity Recognition with Stratified Transfer Learning
원문 초록
Human activity recognition aims to recognize the activities of daily living by utilizing the sensors on different body parts. However, when the labeled data from a certain body position (i.e. target domain) is missing, how to leverage the data from other positions (i.e. source domain) to help learn the activity labels of this position? When there are several source domains available, it is often difficult to select the most similar source domain to the target domain. With the selected source domain, we need to perform accurate knowledge transfer between domains. Existing methods only learn the global distance between domains while ignoring the local property. In this paper, we propose a \textit{Stratified Transfer Learning} (STL) framework to perform both source domain selection and knowledge transfer. STL is based on our proposed \textit{Stratified} distance to capture the local property of domains. STL consists of two components: Stratified Domain Selection (STL-SDS) can select the most similar source domain to the target domain; Stratified Activity Transfer (STL-SAT) is able to perform accurate knowledge transfer. Extensive experiments on three public activity recognition datasets demonstrate the superiority of STL. Furthermore, we extensively investigate the performance of transfer learning across different degrees of similarities and activity levels between domains. We also discuss the potential applications of STL in other fields of pervasive computing for future research.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Video-STLayout 사전학습
Video-STLayout Pre-training
최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.
MyoFlow: 세션 및 피험자 간 HD-sEMG 제스처 인식을 위한 앵커 결합 정류 흐름(rectified flow)
MyoFlow: Anchor-Tied Rectified Flow for HD-sEMG Gesture Recognition Across Sessions and Subjects
고밀도 표면 근전도(HD-sEMG) 제스처 인식은 의수 제어, 보조 로봇, 재활을 지원하지만, 전극 재착용과 생리적 변동성이 분포 이동(distribution shift)을 일으켜 세션 및 피험자 간 정확도를 저하시킨다. 생성형 HD-sEMG 모델은 주로 증강을 위해 신호를 합성하며, 확산(diffusion) 모델이 표현 학습(representation learning)을 향상시키더라도 예측은 여전히 별도의 분류기에 의존한다. 학습된 역학을 결정 규칙에 연결하기 위해, 세션 및 피험자 간 HD-sEMG 인식을 위한 최초의 판별적 flow-matching 프레임워크인 MyoFlow를 제안한다. 분류(classification)를 앵커 결합 수송(anchor-tied transport)으로 재구성한다. 도메인 조건 정류 흐름(rectified flow)이 인코딩된 윈도우를 수송 목표이자 최근접 앵커 결정 기하를 정의하는 제스처 앵커 쪽으로 이동시켜, 독립적인 헤드(head) 없이 제로샷(zero-shot) 인식을 가능하게 한다. Hyser 데이터셋(dataset)에서 MyoFlow는 가장 강력한 확산 기반 기준선(baseline) 대비 평균 교차 세션 및 교차 피험자 정확도를 각각 4.24% 및 6.37% 향상시키며, CEMHSEY 데이터셋에서 여러 날에 걸친 평균 제로샷 정확도 91.71%와 평균 퓨샷(few-shot) 정확도 97.39%를 달성한다.
적응이 해가 될 때: 연합 학습 웨어러블 온보딩에서의 분할 민감성과 개인 수준 부정적 전이
When Adaptation Hurts: Split Sensitivity and Person-Level Negative Transfer in Federated Wearable Onboarding
연합 학습 웨어러블 모델은 결국 소스 학습에 포함되지 않은 사람들에게 서비스를 제공하지만, 유리한 평균 정확도만으로는 라벨 없는 온보딩이 각 개인에게 도움이 된다는 것을 입증하지 않는다. 우리는 다섯 개의 웨어러블 데이터셋에서 여섯 가지 핵심 온보딩 전략을, 소스 체크포인트를 고정하고 정규화는 소스 데이터만으로 추정하며, 보정과 평가 기록을 분리하고, 윈도우·기기·무작위 시드가 아닌 보류(hold-out)된 사람 단위로 추론을 수행하는 누출 통제 프로토콜 하에서 평가한다. 적격한 HHAR 및 PAMAP2의 외부-개인(person) 로테이션을 모두 완료하면 원래 고정(frozen) fold에서 얻은 결론이 실질적으로 달라진다. HHAR에서 해당 단일 개인에 대한 균형 정확도(balanced accuracy)는 방법에 걸쳐 95.6–97.2%인 반면 아홉 명의 사용자 전체에서는 78.3–83.0%로, 13.8–17.8 percentage points(pp) 감소한다. 두 데이터셋 모두에서 표시되는 평균 1위 방법이 바뀌지만, paired leader-runner 부트스트랩 구간은 0을 포함하여 우월한 방법을 판별하지 못한다. 어떤 적응형 핵심 메커니즘도 다섯 데이터셋 모두에서 양의 평균 이득과, 시드 평균 후 2pp를 초과하는 개인 수준 손실이 전혀 없는 조합을 동시에 만족하지 않는다. FedBN은 그러한 손실이 하나이고 ATP-style 적응은 여덟 개이며, Feature-only는 시드 평균 후에는 없지만 정확한 일측 95% 상한은 7.6%이다. 보완적 seed-person 스트레스 감사(audit)는 FedBN, ATP-style, Feature-only에 대해 각각 114회 중 4, 22, 10건의 해로운 realization을 기록한다. 이는 독립적인 참가자가 아니라 반복된 realization이다. 꼬리(tail) 품질, 보정 가용성, 낙상(fall) 윈도우 특이성은 평균 정확도에 가려진 추가적 실패를 드러낸다. 따라서 본 연구는 보편적 우월성이나 배포 안전성 주장이 아니라, 감사 가능한 개발 벤치마크와 실패 지도를 제공한다.
Bearings: 1차 앰비소닉스로부터 학습하는 자기지도 음장 임베딩
Bearings: Self-Supervised Soundfield Embeddings from First-Order Ambisonics
최근 제안된 자기지도 오디오 인코더들은 음향 장면에 대한 강력한 범용 표현을 학습하지만, 공간적 정보는 파악하지 못합니다. 음향 장면에 결여된 공간적 표현을 제공하기 위해, 우리는 Bearings를 소개합니다. Bearings는 라벨이 지정되지 않은 1차 앰비소닉스(Ambisonics)로부터 음장(soundfield) 임베딩을 학습하는 자기지도 프레임워크입니다. 우리는 기존의 기성 단일 채널 오디오 인코더에서 추출되어 동결된 음향 임베딩을 조건으로 사용하는 디코더와 결합된 마스크드 오토인코더(masked auto-encoder)를 사전학습(pre-training)합니다. 실험 결과, 생성된 음장 임베딩은 가벼운 학습 가능한 융합 헤드를 통해 동결된 음향 인코더에 부착할 수 있는 재사용 가능한 스트림을 형성함을 보여줍니다. 음향 이벤트 위치 추정 및 탐지(sound event localization and detection) 과제에서, 우리의 음장 임베딩을 음향 표현과 연결(concatenate)하면 결여되었던 공간 정보를 제공하고 공동 탐지 및 위치 추정을 가능하게 하여, 위치 의존적 F-점수(location-dependent F-score)를 TAU-NIGENS 2021에서 4 미만에서 50으로, STARSS23에서 39로 끌어올립니다. 우리가 아는 한, Bearings는 두 모델 모두를 재학습하지 않고도 동결된 음향 인코더에 임베딩을 바로 결합할 수 있는 최초의 자기지도 음장 인코더입니다.
BiView-Touch: 교차 손 완성을 통한 양손 촉각 표현 학습
BiView-Touch: Learning Bimanual Tactile Representations by Cross-Hand Completion
양손 상호작용은 동일한 물리적 과정에 대해 상보적인 촉각 뷰를 만들지만, 기존 촉각 표현 학습은 두 손을 대체로 독립적으로 모델링하거나 하류 예측을 위해 결합하는 수준에 그쳐 교차 손 관계는 거의 다루지 않았다. 이 간과된 구조를 활용하기 위해, 우리는 마스킹된 목표 손 잠재 변수를 남은 가시 목표 손 영역과 동기화된 전체 대측(contralateral) 손으로부터 완성하는 촉각 전용 프레임워크 BiView-Touch를 제안한다. 기하학 조건부(geometry-conditioned) 방향 디코더를 갖춘 student 인코더가 전체 뷰 EMA 잠재 타깃을 예측하며, 시간적·레이아웃 반사실(counterfactual)은 동기화되고 해부학적으로 조직된 소스 정보에 대한 민감도를 높인다. 통제된 ablation과 소스-컨텍스트 개입은 BiView-Touch가 양측 입력만으로 이득을 보는 것이 아니라, 시간 정렬되고 해부학적으로 조직된 대측 촉각 컨텍스트에 대한 구조화된 교차 손 의존성을 학습함을 보여준다. 공개 HumanTouch 데이터셋에서 고정(frozen) 표현은 저레이블 설정 전반에서 대표적인 자기지도 학습 baseline을 꾸준히 능가한다. 하류 레이블 5%만 사용할 때 BiView-Touch는 양손 손목 운동 인식에서 균형 정확도가 상대 7.1% 향상되고, 힘 기반 상호작용 위상 인식에서는 14.1% 향상된다. 또한 20개 과제 양손 촉각 데이터셋 BVT-20을 소개하고, 녹화 세션 및 사전학습 코퍼스 간 전이와 홀드아웃 양손 과제로의 전이를 입증한다. 코드 및 데이터셋 세부 정보는 익명 프로젝트 페이지에서 확인할 수 있다: https://anonymous.4open.science/w/biview-touch-review-site-050C/.
Action-Slot: 다중 에이전트 원자적 활동 이해를 위한 구조화된 행동 중심 표현 학습
Action-Slot: Structured Action-Centric Representation Learning for Multi-Agent Atomic Activity Understanding
원자적 활동(atomic activity) 이해는 움직임 패턴과 도로 토폴로지(road topology)에 대한 그라운딩을 함께 인코딩하는 구조화된 교통 행동을 인식하고 위치를 파악하는 것을 목표로 한다. 기존의 행동 인식(action recognition)과 달리, 원자적 활동은 다중 에이전트(multi-agent), 다중 레이블(multi-label), 토폴로지 인지(topology-aware) 특성을 가진다: 다수의 활동이 동시에 발생하는 반면 많은 에이전트는 비활성 상태로 남아있다. 우리는 구조화된 행동 중심 표현 학습 프레임워크인 Action-Slot을 소개한다. 슬롯 어텐션(slot attention)은 객체 중심 분해(object-centric decomposition)에 널리 사용되지만, 그 순열 불변(permutation-invariant) 설계와 객체 수준의 귀납적 바이어스(inductive bias)는 원자적 활동의 의미론과 부합하지 않는다. 우리는 다음 세 가지 설계를 통해 슬롯 학습을 구조화된 활동 분해로 재구성한다: (1) 사전에 정의된 활동 카테고리에 슬롯을 고정시키는 카테고리 정렬 행동 슬롯(category-aligned action slots), (2) 전체적인 비디오 수준 추론을 위한 병렬 시공간 슬롯 업데이트, (3) 전경(foreground) 활동과 무관한 영역 간의 경쟁을 강제하는 배경 및 네거티브 슬롯 정규화(regularization). 이들은 함께 원본 비디오로부터 동시적이고 비동기적인 활동들을 직접적으로 분리해내는 활동 중심의 귀납적 바이어스를 확립한다. 인식을 넘어, 학습된 표현은 전이 가능한 시공간적 그라운딩 신호를 인코딩한다. 우리는 나아가 후보 영역 제거 전후의 어텐션 변화를 측정하여 거짓 양성(false positive)을 억제하는 어텐션 차이 기반 의사 마스크(pseudo mask) 선택 프레임워크를 제안하며, 이를 통해 밀집 주석(dense annotation) 없이도 약지도(weakly supervised) 위치 파악이 가능하다. 체계적인 평가를 지원하기 위해, 우리는 원자적 활동을 완전히 포괄하고 픽셀 수준 주석을 갖춘 균형 잡힌 합성 데이터셋(dataset)인 TACO를 소개한다. OATS, TACO, 그리고 주석이 달린 nuScenes에 대한 실험 결과는 우수한 인식 성능, 강력한 시뮬레이션-실제 전이(sim-to-real transfer), 그리고 최신 수준(state-of-the-art)의 약지도 위치 파악 성능을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.