원문 초록
Hierarchical state-space models (HSSMs) offer a promising approach to long-horizon prediction by segmenting sequences into temporal chunks. However, their performance hinges on how chunk boundaries are determined. While prior HSSMs typically rely on fixed-length chunking or similarity-based boundary detection, these methods often misalign with the intrinsic temporal structure of the data. We argue that chunking should instead be driven by prediction errors, which more directly indicate when longer-range context becomes necessary. Nevertheless, integrating surprise-based chunking into HSSMs introduces critical challenges, including hierarchical collapse during end-to-end training and the absence of surprise signals during open-loop prediction. To address these issues, we propose Surprise-based Nested Temporal Abstraction (SUNTA), a method that employs a decoupled training strategy to preserve surprise signals and uses internal inconsistency as a top-down surprise metric to determine chunk boundaries within imagined rollouts. Experiments on video prediction tasks in 2D and 3D environments demonstrate that SUNTA outperforms baselines, uniquely maintaining accurate predictions over 250 timesteps, whereas all baselines degrade within the first 10 timesteps.
요약
계층적 상태공간 모델(HSSM)에서 시퀀스를 청크로 분할할 때 발생하는 경계 결정 문제를 해결하기 위해, 예측 오차(surprise) 기반의 청크 경계 탐지 방법인 SUNTA를 제안한다. 분리된 레벨별 학습 전략과 탑다운 surprise 신호를 활용한 오픈루프 청크 탐지를 통해 2D·3D 비디오 예측 벤치마크에서 모든 베이스라인이 10 타임스텝 이내에 성능이 저하되는 반면 250 타임스텝까지 정확한 예측을 유지함을 입증한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.02087v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LiteEMG-FM: 강건한 EMG 센싱을 위한 효율적이고 배포 가능한 파운데이션 모델
LiteEMG-FM: An Efficient and Deployable Foundation Model for Robust EMG Sensing
근전도(EMG) 신호는 개인, 신체 부위, 측정 세션 및 센싱 하드웨어에 따라 크게 달라지며, 이는 보조 장치 및 인간-컴퓨터 상호작용(HCI)을 위한 모델의 일반화를 제한합니다. 또한 기존의 시계열 파운데이션 모델(foundation model)은 실시간 웨어러블 배포에 연산 비용이 많이 들고, EMG 특유의 시간-주파수 특성을 잘 포착하지 못하는 경우가 많습니다. 본 논문에서는 실용적인 EMG 센싱을 위한 효율적인 하이브리드 CNN-트랜스포머(Transformer) 파운데이션 모델인 LiteEMG-FM을 제시합니다. 16개의 다양한 상·하체 EMG 데이터셋에서 사전학습된 LiteEMG-FM은 사용자와 데이터셋 전반에 걸쳐 일반화되는 표현을 학습합니다. 리소스가 제한된 배포 환경을 위해, 경량 상시 작동(always-on) 1D-CNN이 휴식 상태 및 비목표 활동을 필터링하고 유효한 제스처에 대해서만 LiteEMG-FM을 활성화하는 계층적 웨이크업 아키텍처를 구현합니다. 우리는 완전 추론 오프로딩, 분할 추론, 완전 온디바이스 처리 방식을 평가하여 지연 시간, 전력 소비량, 메모리 사용량 간의 트레이드오프를 규명합니다. 다양한 평가 환경에서 LiteEMG-FM은 최신 시계열 파운데이션 모델 및 지도학습 베이스라인을 능가하며, 특히 캘리브레이션이 없는(zero-calibration) 피험자 간 환경 및 데이터 부족 조건에서 뛰어난 성능을 보입니다. 이러한 결과는 LiteEMG-FM이 EMG 응용 분야에 효과적이고 효율적이며 배포 가능한 파운데이션 모델임을 입증합니다.
AIGS: 비정상 데이터 스트림에서의 온라인 표현 학습을 위한 적응형 점진적 게이팅 시스템
AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams
사물 웹(WoT) 및 엣지 컴퓨팅 환경의 실시간 데이터 스트림은 잠재적인 체제 변화(regime changes)를 거치며 진화하는 경우가 많습니다. 엄격한 계산 제약 하의 온라인 표현 학습(online representation learning)에서 핵심 문제는 유용한 과거 지식을 유지하면서 개념 드리프트(concept drift)에 신속하게 반응하는 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것입니다. 기존 방법들은 고정된 업데이트 일정이나 롤링 윈도우를 사용합니다. 그러나 이러한 방식은 급격한 변화가 발생할 때 매개변수 경직화(parameter ossification)를 겪고, 스트림이 안정적으로 유지될 때는 계산 자원을 낭비합니다. 본 논문에서는 경량 폐루프 상태 인지 적응 프레임워크인 적응형 점진적 게이팅 시스템(AIGS, Adaptive Incremental Gating System)을 제안합니다. AIGS는 최근 변동성에 대해 현재 재구성 오차를 정규화하는 내생적 잔차 피드백 메커니즘인 Shock Ratio를 도입합니다. 이 신호는 학습 가소성과 기억 유지 사이를 부드럽게 보간하는 연속 가소성 컨트롤러(Continuous Plasticity Controller)를 구동합니다. 표현 학습을 폐루프 제어 메커니즘으로 다룸으로써, AIGS는 치명적 망각(catastrophic forgetting)을 방지하고 지연 시간에 민감한 엣지 디바이스에 적합한 스텝당 엄격한 선형 복잡도 $\mathcal{O}\left(k\cdot d\right)$를 유지합니다. 교통 네트워크, 기상 시스템, 산업 인프라를 아우르는 실제 스마트 시티 동적 스트림에 대한 실험은 도메인에 따라 뚜렷한 이점을 보여줍니다. Electricity Transformer Temperature 데이터셋에서 AIGS는 점진적인 성능 저하 상황에서 8.31(ETTm1) 및 9.88(ETTm2) 스텝의 예방적 조기 경보 리드 타임을 달성합니다. Performance Measurement System 교통 데이터셋에서는 급격한 변화 이후 훨씬 빠른 변화 후 회복 속도를 보입니다. 노이즈가 매우 심한 Weather 데이터셋에서는 확률적 노이즈 과적합을 방지하면서 이상치 재현율을 향상시킵니다. 이러한 결과는 AIGS가 자원 제약이 있는 엣지 모니터링 시스템을 위한 실용적인 플러그 앤 플레이 어댑터임을 입증합니다.
Latent-Foresight: 잠재 월드 모델을 위한 예측 가능한 표현의 엔드투엔드 학습
Latent-Foresight: End-to-End Learning Predictable Representations for Latent World Models
장면의 미래 변화를 예측하는 것은 월드 모델링(world modeling)을 위한 핵심 역량입니다. 최근 연구에 따르면 비전 파운데이션 모델(VFM)의 특징(feature) 공간에서 동작할 경우 다양한 미래 장면 이해 태스크를 지원하는 의미론적으로 풍부한 표현을 얻을 수 있습니다. 그러나 기존 접근 방식은 VFM 특징을 고정된 차원 축소(예: PCA)나 독립적으로 학습(training)된 오토인코더를 사용해 먼저 압축한 후, 그 결과로 생성된 동결된 잠재 공간 위에서 별도의 예측기를 학습하는 2단계 파이프라인에 의존합니다. 표현 학습과 시간적 예측 사이의 이러한 분리뿐만 아니라 원시 VFM 특징에 예측기를 직접 적용하는 방식은 잠재 공간이 예측 가능한 동역학에 맞춰 구조화된다는 보장을 제공하지 못합니다. 본 연구에서는 잠재 토크나이저와 플로우 기반 생성 동역학 모델(model)을 공동으로 학습하여 시간적 예측 가능성을 지원하도록 표현을 명시적으로 구성하는 엔드투엔드 프레임워크인 Latent-Foresight를 제안합니다. 안정적인 공동 최적화(optimization)를 위해 잠재 붕괴를 방지하고 재구성 목표와 생성 목표를 일치시키는 몇 가지 핵심 설계 기법을 도입합니다. 광범위한 실험을 통해 제안하는 접근 방식이 시간적으로 더 일관된 잠재 표현을 학습하며, 고해상도 적응 단계를 포함해 별도의 학습 단계를 제거하면서도 여러 미래 장면 이해 태스크와 예측 구간 전반에 걸쳐 2단계 베이스라인을 일관되게 능가함을 보여줍니다. 구현 코드와 모델 가중치는 https://github.com/Sta8is/Latent-Foresight 에서 제공됩니다.
Semi-supervised Time Series Classification by Temporal Relation Prediction
Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation
Z-Order Recurrent Neural Networks for Video Prediction
토론
이 논문과 연결된 포럼 글이 아직 없습니다.