Domain Adaptation Under Behavioral and Temporal Shifts for Natural Time Series Mobile Activity Recognition
원문 초록
Increasingly, human behavior is captured on mobile devices, leading to an increased interest in automated human activity recognition. However, existing datasets typically consist of scripted movements. Our long-term goal is to perform mobile activity recognition in natural settings. We collect a dataset to support this goal with activity categories that are relevant for downstream tasks such as health monitoring and intervention. Because of the large variations present in human behavior, we collect data from many participants across two different age groups. Because human behavior can change over time, we also collect data from participants over a month's time to capture the temporal drift. We hypothesize that mobile activity recognition can benefit from unsupervised domain adaptation algorithms. To address this need and test this hypothesis, we analyze the performance of domain adaptation across people and across time. We then enhance unsupervised domain adaptation with contrastive learning and with weak supervision when label proportions are available. The dataset is available at https://github.com/WSU-CASAS/smartwatch-data
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Enhanced Spatio- Temporal Image Encoding for Online Human Activity Recognition
ASV3D: 추가 이미지를 활용한 확산 기반 단일 뷰 3D 복원 적응
ASV3D: Adapting Diffusion-Based Single-View 3D Reconstruction with Extra Imagery
단일 이미지로부터 3D 객체를 복원하는 것은 컴퓨터 비전(CV) 분야의 핵심 연구 주제입니다. 주요 과제는 3D 구조를 완성하기 위한 중요한 시점(viewpoint)의 정보가 부족하다는 점입니다. 추가 시점 이미지를 사용하면 이 문제를 해결하는 데 도움이 될 수 있습니다. 그러나 확산(diffusion) 기반 단일 뷰 3D 복원 원리에 추가 시점을 통합할 수 있는 메커니즘은 존재하지 않습니다. 본 연구에서는 하나의 추가 이미지를 지원받아 확산 기반 단일 뷰 3D 객체 복원을 테스트 시점 데이터에 적응시키는 프레임워크인 ASV3D를 제안하여 이 문제를 해결합니다. 우리는 두 가지 적응 전략을 도입합니다: (i) 재학습 없이 보조 이미지를 활용하여 객체의 복원 품질을 향상시키는 제로샷(zero-shot) 적응 기법과, (ii) 대조 학습(contrastive learning)을 통해 시각적 충실도와 시점 간 일관성을 더욱 향상시키는 최적화(optimised) 적응 기법입니다. 벤치마크 및 실제 데이터셋 모두에서 두 가지 최첨단 확산 기반 단일 뷰 3D 복원 파이프라인을 개선하기 위해 ASV3D를 적용했습니다. 실험 결과는 우리의 접근 방식이 제약 없는 다중 뷰 입력 환경에서 복원 정확도와 강건성을 일관되게 향상시키며, 정량적 지표와 사용자 선호도 모두에서 베이스라인을 능가함을 입증합니다. 우리는 코드와 실제 객체 데이터셋을 프로젝트 페이지(https://github.com/YNhuHuynh/ASV3D/tree/main)에 공개합니다.
행동 인식을 향상시키기 위한 확산 기반 합성 데이터 사전학습
Diffusion-Based Synthetic Data Pretraining for Enhancing Activity Recognition
인간 행동 인식(HAR)은 헬스케어, 웰빙 및 일상 모니터링 응용 분야에서 중요성이 점점 더 커지고 있으며, 이 중 식사 및 음용과 같은 섭취 행동을 감지하는 것은 식습관과 만성 질환 관리에 대한 실행 가능한 통찰을 제공할 수 있습니다. 그러나 HAR 시스템은 미세하거나 데이터가 부족한 소수 클래스에서 성능이 저하되는 경우가 많아 실제 식단 모니터링에서의 활용성이 제한됩니다. 본 연구는 스마트워치의 가속도계, 자이로스코프, 지자기 센서 데이터로부터 변별력 있는 시간적 패턴을 포착하도록 설계된 양방향 GRU 레이어, 멀티헤드 어텐션, 잔차 연결을 포함하는 합성곱 아키텍처인 CABiGRU를 기반으로 합니다. CABiGRU의 일반화 성능을 향상시키고 소수 클래스의 과소적합을 줄이기 위해, 확산 모델을 사용하여 합성 센서 데이터 윈도우를 활용하고 2단계 학습 전략을 채택합니다. 즉, 합성 데이터로 CABiGRU를 사전학습한 후 실제 데이터로 미세조정을 수행합니다. DEO(음용/식사/기타) 데이터셋에서 제안된 파이프라인은 90.6%의 균형 정확도(balanced accuracy)를 달성하여 강력한 지도학습 기준선 대비 성능을 향상시켰으며, 섭취 행동 인식에 대한 확산 기반 합성 사전학습의 이점을 보여주고 불균형 클래스를 다루는 데 있어 진전을 나타냅니다. 이러한 결과는 확산 모델로 생성된 데이터와 표적화된 미세조정을 결합하는 것이 식습관 행동의 강건한 인식을 향상시켜, 헬스케어 및 영양 모니터링 환경에서 보다 신뢰성 있는 배포를 지원함을 시사합니다.
Video-STLayout 사전학습
Video-STLayout Pre-training
최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.
적응이 해가 될 때: 연합 학습 웨어러블 온보딩에서의 분할 민감성과 개인 수준 부정적 전이
When Adaptation Hurts: Split Sensitivity and Person-Level Negative Transfer in Federated Wearable Onboarding
연합 학습 웨어러블 모델은 결국 소스 학습에 포함되지 않은 사람들에게 서비스를 제공하지만, 유리한 평균 정확도만으로는 라벨 없는 온보딩이 각 개인에게 도움이 된다는 것을 입증하지 않는다. 우리는 다섯 개의 웨어러블 데이터셋에서 여섯 가지 핵심 온보딩 전략을, 소스 체크포인트를 고정하고 정규화는 소스 데이터만으로 추정하며, 보정과 평가 기록을 분리하고, 윈도우·기기·무작위 시드가 아닌 보류(hold-out)된 사람 단위로 추론을 수행하는 누출 통제 프로토콜 하에서 평가한다. 적격한 HHAR 및 PAMAP2의 외부-개인(person) 로테이션을 모두 완료하면 원래 고정(frozen) fold에서 얻은 결론이 실질적으로 달라진다. HHAR에서 해당 단일 개인에 대한 균형 정확도(balanced accuracy)는 방법에 걸쳐 95.6–97.2%인 반면 아홉 명의 사용자 전체에서는 78.3–83.0%로, 13.8–17.8 percentage points(pp) 감소한다. 두 데이터셋 모두에서 표시되는 평균 1위 방법이 바뀌지만, paired leader-runner 부트스트랩 구간은 0을 포함하여 우월한 방법을 판별하지 못한다. 어떤 적응형 핵심 메커니즘도 다섯 데이터셋 모두에서 양의 평균 이득과, 시드 평균 후 2pp를 초과하는 개인 수준 손실이 전혀 없는 조합을 동시에 만족하지 않는다. FedBN은 그러한 손실이 하나이고 ATP-style 적응은 여덟 개이며, Feature-only는 시드 평균 후에는 없지만 정확한 일측 95% 상한은 7.6%이다. 보완적 seed-person 스트레스 감사(audit)는 FedBN, ATP-style, Feature-only에 대해 각각 114회 중 4, 22, 10건의 해로운 realization을 기록한다. 이는 독립적인 참가자가 아니라 반복된 realization이다. 꼬리(tail) 품질, 보정 가용성, 낙상(fall) 윈도우 특이성은 평균 정확도에 가려진 추가적 실패를 드러낸다. 따라서 본 연구는 보편적 우월성이나 배포 안전성 주장이 아니라, 감사 가능한 개발 벤치마크와 실패 지도를 제공한다.
TimeLitmus: 이벤트 조건부 시계열 예측에서의 교차 모달 이해와 설명 충실성을 위한 진단 벤치마크
TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction
대규모 언어 모델(LLM)은 수치 시계열 이력과 텍스트 이벤트로부터 예측을 수행하는 데 점점 더 많이 사용되고 있다. 그러나 정확도만으로는 정답이 두 입력의 효과적인 통합을 반영하는지, 아니면 이벤트 극성(polarity), 단일 모달리티 사전 편향(unimodal prior), 또는 피상적 단서에서 비롯된 것인지 밝힐 수 없다. 마찬가지로, 그럴듯한 설명은 모델 행동을 실제로 이끄는 근거를 충실하게 반영하지 않으면서도 예측을 합리화할 수 있다. 우리는 이벤트 조건부 시계열 예측에서의 교차 모달 이해와 설명 충실성을 진단하는 벤치마크인 TimeLitmus를 소개한다. TimeLitmus는 금융(Finance)과 교통(Traffic) 두 영역에 걸쳐 4,856개의 평가 레코드를 포함하며, 자연 예측(natural prediction)과 통제된 반사실적(counterfactual) 및 대조적(contrastive) 개입, 설명 대상 충실성 테스트, 그리고 체계적인 지름길(shortcut) 통제를 결합한다. 열 가지의 대표적인 LLM을 대상으로 한 실험에서, 표준 예측 정확도는 신뢰할 수 있는 교차 모달 이해를 상당히 과대평가하는 것으로 나타났다: Hard Paired Contrast(HPC) 쌍 정확도는 금융에서 최고 19.2%, 교통에서 최고 11.7%에 그쳤으며, 열 개 모델 모두 금융 시계열 측 통제에서 기대보다 낮은 일관성을 보였다. 모델들은 시나리오 간 관계를 명시적으로는 인식하면서도 독립적인 예측 시에는 이를 적용하지 못하는 경우가 많았다. 설명 충실성에서도 유사한 격차가 나타났다: 교통 영역에서 대부분의 모델은 90% 이상의 경우 조작된 시간적 요인을 근거로 언급했지만, 행동적 뒷받침(behavioral support)은 22% 미만에 그쳤다. 인간 주석자는 동일한 조건의 통제 및 하드 페어(hard-pair) 진단 과제에서 LLM보다 우수한 성능을 보여, 이러한 구분이 입력으로부터 복원 가능함을 확인시켜 주었다. 자연 예측 데이터만을 이용한 적응(natural-only adaptation)은 증거 선택과 입력 민감도에서는 선택적인 향상을 가져왔지만, 통제 조건이나 하드 페어 행동에서는 일관된 향상을 가져오지 못했다. 벤치마크, 평가 스위트, 지도 적응 데이터는 공개될 예정이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.