arXiv:2410.02637

Plots Unlock Time-Series Understanding in Multimodal Models

Mayank Daswani, Mathias M. J. Bellaiche, Marc Wilson, Desislav Ivanov, Mikhail Papkov, Eva Schnider, Jing Tang, Kay Lamerigts, Gabriela Botea, Michael A. Sanchez, Yojan Patel, Shruthi Prabhakara, Shravya Shetty, Umesh Telang

제출 2024-10-03

원문 초록

While multimodal foundation models can now natively work with data beyond text, they remain underutilized in analyzing the considerable amounts of multi-dimensional time-series data in fields like healthcare, finance, and social sciences, representing a missed opportunity for richer, data-driven insights. This paper proposes a simple but effective method that leverages the existing vision encoders of these models to "see" time-series data via plots, avoiding the need for additional, potentially costly, model training. Our empirical evaluations show that this approach outperforms providing the raw time-series data as text, with the additional benefit that visual time-series representations demonstrate up to a 90% reduction in model API costs. We validate our hypothesis through synthetic data tasks of increasing complexity, progressing from simple functional form identification on clean data, to extracting trends from noisy scatter plots. To demonstrate generalizability from synthetic tasks with clear reasoning steps to more complex, real-world scenarios, we apply our approach to consumer health tasks - specifically fall detection, activity recognition, and readiness assessment - which involve heterogeneous, noisy data and multi-step reasoning. The overall success in plot performance over text performance (up to an 120% performance increase on zero-shot synthetic tasks, and up to 150% performance increase on real-world tasks), across both GPT and Gemini model families, highlights our approach's potential for making the best use of the native capabilities of foundation models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02292v1cs.LG공통 태그 Activity Recognition, Time Series

행동 인식을 향상시키기 위한 확산 기반 합성 데이터 사전학습

Diffusion-Based Synthetic Data Pretraining for Enhancing Activity Recognition

인간 행동 인식(HAR)은 헬스케어, 웰빙 및 일상 모니터링 응용 분야에서 중요성이 점점 더 커지고 있으며, 이 중 식사 및 음용과 같은 섭취 행동을 감지하는 것은 식습관과 만성 질환 관리에 대한 실행 가능한 통찰을 제공할 수 있습니다. 그러나 HAR 시스템은 미세하거나 데이터가 부족한 소수 클래스에서 성능이 저하되는 경우가 많아 실제 식단 모니터링에서의 활용성이 제한됩니다. 본 연구는 스마트워치의 가속도계, 자이로스코프, 지자기 센서 데이터로부터 변별력 있는 시간적 패턴을 포착하도록 설계된 양방향 GRU 레이어, 멀티헤드 어텐션, 잔차 연결을 포함하는 합성곱 아키텍처인 CABiGRU를 기반으로 합니다. CABiGRU의 일반화 성능을 향상시키고 소수 클래스의 과소적합을 줄이기 위해, 확산 모델을 사용하여 합성 센서 데이터 윈도우를 활용하고 2단계 학습 전략을 채택합니다. 즉, 합성 데이터로 CABiGRU를 사전학습한 후 실제 데이터로 미세조정을 수행합니다. DEO(음용/식사/기타) 데이터셋에서 제안된 파이프라인은 90.6%의 균형 정확도(balanced accuracy)를 달성하여 강력한 지도학습 기준선 대비 성능을 향상시켰으며, 섭취 행동 인식에 대한 확산 기반 합성 사전학습의 이점을 보여주고 불균형 클래스를 다루는 데 있어 진전을 나타냅니다. 이러한 결과는 확산 모델로 생성된 데이터와 표적화된 미세조정을 결합하는 것이 식습관 행동의 강건한 인식을 향상시켜, 헬스케어 및 영양 모니터링 환경에서 보다 신뢰성 있는 배포를 지원함을 시사합니다.

arXiv:2609.24223v1cs.CV공통 태그 Activity Recognition, Time Series

DiaSeg: 해석 가능한 보행 분석을 위한 DTW 경로에서의 대각 세그먼트 추출

DiaSeg: Diagonal Segment Extraction from DTW Paths for Interpretable Gait Analysis

동적 시간 워핑(Dynamic Time Warping, DTW)은 시계열 간 유사도를 측정하는 데 지배적으로 사용되는 방법이지만, 표준적인 방식은 단일 거리 값을 계산한 후 최적 워핑 경로를 폐기함으로써 임상 진단과 가장 관련이 깊은 지역적 정렬 정보를 잃는다. 본 논문은 제어된 단절을 허용하며 DTW 경로에서 대각 세그먼트를 추출하는 프레임워크인 DiaSeg를 소개한다. DiaSeg는 각 세그먼트를 다섯 가지 기하학적 특징(유효 길이, 단절 횟수, 비용 변동, 시간적 위치, 경로 맥락)으로 특성화하며, 도메인 특화 특징 공학(feature engineering) 없이 비지도 패턴 발견을 가능하게 한다. 6가지 임상 상태(건강한 노화, 파킨슨병, 헌팅턴병, 근위축성 측삭경화증(ALS), 뇌종양, 뇌졸중)에 걸친 91명의 피험자를 대상으로 검증한 결과, 세 가지 결과가 도출되었다. 첫째, 대각 세그먼트는 생체역학적 단계 주석과 일치하는 일관된 비지도 패턴을 형성하며(실루엣 계수 0.33), 레이블 기반 검증을 통해 건강한 보행과 병리적 보행 간 거의 완벽한 분리를 확인하였다(조정 랜드 지수(ARI) 최대 0.986). 둘째, 세그먼트는 지도 학습에서 69%, 환자 수준 클러스터링에서 75%의 정확도로 병리를 구분하며, 병리는 세그먼트 길이의 분포적 변화를 통해 나타난다. 세그먼트 특징과 주기(cycle) 수준 특징을 결합하면 분류(classification) 정확도가 91.7%까지 향상된다. 셋째, 주기 기반 방법이 더 높은 정확도(91%)를 달성하지만, 대각 세그먼트는 전역적 표현으로는 얻을 수 없는 단계별 해석 가능성을 제공하여 보행 주기 내에서 협응이 무너지는 위치를 국소화할 수 있다. 이처럼 DiaSeg는 DTW를 블랙박스 거리 척도에서 신경퇴행성 질환 평가를 위한 해석 가능한 시간적 특징의 원천으로 전환한다.

arXiv:2607.09402v1cs.LG공통 태그 Activity Recognition, Time Series

데이터 효율적 심층 학습: 관성 센서 분류에서 학습 세트 크기 추정을 위한 경험적 지침

Data-Efficient Deep Learning: Empirical Guidelines for Training Set Size Estimation in Inertial Sensor Classification

심층 학습 모델의 대규모 관성 데이터셋 의존성은 인간 활동 인식(human activity recognition) 및 스마트폰 위치 인식(smartphone location recognition)과 같은 관성 센서 기반 분류 작업에서 심각한 병목 현상을 초래한다. 이러한 도메인에서 데이터 수집은 복잡하고 시간이 많이 소요되며 확장이 어려운 대규모 녹화 캠페인을 필요로 한다. 현재, 원하는 정확도 수준에 도달하는 데 필요한 최소 샘플 크기를 결정하기 위한 데이터 기반 지침은 존재하지 않는다. 이 격차를 해소하기 위해, 본 연구는 관성 분류에서 학습 곡선(learning curve) 수렴 속도에 대한 체계적인 경험적 평가를 제시한다. 이진 및 다중 클래스 시나리오 모두에서 분류 성능을 분석하는 통합 프레임워크를 소개하고, 데이터셋 크기에 따른 성능을 추정하는 경험적 공식을 도출한다. 총 102.7시간의 관성 측정값으로 구성된 6개의 다양한 실세계 데이터셋에 대한 테스트 결과, 작업 복잡도에 관계없이 정확도가 일관된 로그 성장 패턴을 따르는 것으로 나타났다. 이 발견을 활용하여, 학습 곡선이 점근적 최대값의 사전 정의된 평균 절대 백분율 편차(mean absolute percentage deviation) 이내로 안정화되는 데 필요한 샘플 크기로 정의되는 정량적 안정점(stability point) 지표를 제안한다. 분석 결과, 모델은 전통적인 경험 법칙이 제시하는 것보다 훨씬 적은 샘플로 실용적 안정성에 도달하는 경우가 많음이 밝혀졌다. 궁극적으로, 소규모 파일럿 연구에서 전체 데이터 요구량을 외삽하는 일반화 가능한 프레임워크를 제공하여, 녹화 노력과 모델 신뢰성 간의 트레이드오프를 최적화한다. 이러한 발견들은 지배적인 패러다임을 데이터 볼륨 최대화에서 데이터 효율성 최적화로 전환시키며, 관성 센싱 애플리케이션에서 녹화 캠페인 계획을 위한 구체적이고 데이터 기반의 지침을 제공한다.

arXiv:2607.03089v1cs.LG공통 태그 Activity Recognition, Time Series

STELLA: 온디바이스 인간 행동 인식을 위한 효율적인 센서-LLM 변환

STELLA: Efficient Sensor-to-LLM Translation for On-Device Human Activity Recognition

인간 행동 인식(HAR)은 엣지 디바이스에서 지속적으로 실행될 것이 점점 더 기대되고 있지만, 최근 대규모 언어 모델(LLM) 기반 방법들은 배포가 어렵다는 문제가 있다. 원시 센서 프롬프트는 길고, 클라우드 추론은 지연과 개인정보 침해 위험을 수반하며, 파인튜닝된 LLM 파이프라인은 범용 모델을 태스크 특화 분류기로 전환시킨다. 우리는 LLM 적응 부담을 센서 토큰화로 전환하는, 온디바이스 HAR을 위한 효율적인 센서-LLM 변환 프레임워크 STELLA를 제안한다. 경량 계층적 토크나이저는 다채널 관성 센서 윈도우 전체를 고정 크기의 간결한 잠재 센서 토큰으로 압축하고, 이를 동결된 사전학습 LLM의 임베딩 공간으로 투영한 뒤 레이블 채점을 위한 자연어 프롬프트와 결합한다. 이를 통해 활동과 관련된 시간적·채널 간 구조를 보존하면서, 센서 구성이 달라져도 LLM 측 연산을 예측 가능하게 유지한다. STELLA는 온디바이스 개인화도 지원하여, 소량의 사용자 특화 레이블 데이터에 대해 경량 토크나이저만을 적응시키고 로컬 검색 컨텍스트로 추론을 보강하며, LLM·사용자 데이터·검색 모두를 디바이스 내에 유지한다. 7개의 공개 HAR 데이터셋과 8개의 벤치마크 설정에서 STELLA는 새로운 최고 성능을 달성하며, 기존 방법 대비 최대 11.83% F1 향상을 이루었다. 온디바이스 개인화는 배포 후 사용자 데이터가 축적됨에 따라 추가로 최대 21.91% F1 향상을 가져온다. STELLA는 동일한 LLM 파이프라인 하에서 대표적인 시계열 토크나이저보다 우수한 성능을 보이며, 실용적인 모바일 및 엣지 예산 내에서 실시간 추론을 달성한다. 이는 효율적인 센서 토큰화가 엣지 디바이스에서 정확하고 사생활을 보호하며 개인화된 LLM 기반 HAR로 나아가는 실용적인 경로임을 보여준다.

arXiv:2607.04842v1cs.LG공통 태그 Activity Recognition, Time Series

IMU 기반 운동 평가에서 레이블 모호성의 표현 및 탐지

Representing and Detecting Label Ambiguity in IMU-Based Exercise Evaluation

가정 기반 물리치료는 감독 없이 수행되기 때문에 잘못된 동작 수행으로 이어지며, 이는 관성 측정 장치(IMU)로부터 자동으로 동작을 평가하는 시스템의 필요성을 야기한다. 이러한 시스템은 각 반복 동작을 특정 범주에 할당하지만, 상당수의 반복 동작은 클래스 경계 근처에 위치하여 훈련된 평가자들조차 의견이 엇갈린다. 원-핫(one-hot) 레이블로 학습된 분류기는 이러한 경계선상의 반복 동작을 단일 클래스로 축소시켜 모호성을 버린다. 본 연구는 대규모 평가자 집단 없이 반복 동작별로 레이블 분포를 자동 생성하는 방법으로 이 문제를 해결한다. 우리는 Kullback-Leibler 목적 함수를 사용하여 전체 분포를 재현하도록 네트워크를 학습시키는 모호성 접근법을 제안하고, 이를 네 가지 IMU 운동 데이터셋에서 원-핫 교차 엔트로피 기준선과 비교한다. 네트워크 출력으로부터 반복 동작의 모호성 여부와 관련 클래스를 추가로 판별한다. 모호성 접근법은 네 데이터셋 모두에서 기준선 분류 성능과 동등하거나 이를 초과하였으며, 모호성과 관련 클래스를 더 신뢰성 있게 탐지하였다. 따라서 학습 목표에 레이블 분포를 표현하면 분류 성능 손실 없이 모호성에 관한 정보를 추가할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.