원문 초록
Recurrent representations are trajectories, but representation geometry is often measured from static snapshots. We develop finite-lag operator geometry for recurrent hidden states from observed source-successor pairs $(X_t,X_{t+Δ})$. The primitive is the conditional transport law $Q_Δ(dy\mid x)$, estimated by a dense Gaussian source-smoothing operator. From this directed finite-lag law we derive a source-centered transport tensor $G_Δ$, which decomposes exactly into conditional spread and coherent displacement, and an antisymmetric coordinate circulation $W_Δ^ρ$, which summarizes directed lagged flow. We prove affine covariance with explicit metric dependence of scalar summaries, dense estimator stability on bounded trajectory clouds, and a finite-lag separation result showing that source-centered transport detects deterministic recurrent motion not recorded by infinitesimal carre-du-champ geometry. A linear-Gaussian closed form calibrates the quantities in terms of the update $A_Δ$, source covariance, and innovation covariance. Controlled experiments validate the decomposition, circulation, covariance, and stability predictions. In performance matched repeat-copy networks, the framework reveals architecture dependent differences in total transport scale and coherent displacement trace, while coherent displacement fraction is metric and resolution dependent.
요약
순환 신경망(RNN)의 은닉 상태를 정적 스냅샷이 아닌 궤적으로 취급하여, 관측된 소스-후계 쌍 $(X_t, X_{t+\Delta})$으로부터 유한-시차(finite-lag) 연산자 기하학을 개발한다. 조건부 수송 법칙 $Q_\Delta$에서 도출한 소스 중심 수송 텐서 $G_\Delta$와 좌표 순환 $\mathcal{W}_\Delta^\rho$를 통해, 무한소 carré-du-champ 기하학으로는 포착되지 않는 결정론적 순환 운동을 검출할 수 있음을 이론적으로 증명하고 반복 복사(repeat-copy) 네트워크 실험으로 검증한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.01746v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PXtal: 모달리티 간 정보 비대칭 환경에서 분말 X선 회절과 결정 구조의 정렬 학습
PXtal: Learning to Align Powder X-Ray Diffraction and Crystal Structures under Information Asymmetry across Modalities
과학 분야의 멀티모달 학습(multimodal learning)은 일반적으로 쌍을 이루는 뷰들이 비슷한 수준의 정보를 담고 있다고 가정합니다. 분말 X선 회절(PXRD)은 이러한 불일치를 명확히 드러냅니다. 즉, 3차원 결정 구조를 1차원 회절 패턴으로 압축하면서 정보가 손실되어, 해당 패턴을 생성한 결정 구조와 연결하기가 더 어려워집니다. 본 연구에서는 이러한 물리적으로 부과된 정보 비대칭 환경에서 정렬된 PXRD 및 결정 표현을 학습하기 위한 프레임워크인 PXtal을 소개합니다. PXtal은 불균형 최적 수송(UOT)을 사용하여 모달리티 간 결합(coupling)을 조정하고, 결합 수준의 일반화된 쿨백-라이블러(GKL) 발산을 활용하여 전체 수송 계획을 지도합니다. 4개의 제로샷(zero-shot) 전이 세트를 포함한 6개의 테스트 세트 전반에서, PXtal은 PXRD-결정 후보 검색 작업 시 기준선(baseline) 모델들의 성능을 일관되게 능가하며, 특히 PXRD 패턴이 결정학적으로는 구별되지만 서로 매우 유사한 비쌍(nonpaired) 이웃을 가질 때, 즉 서로 다른 결정과 연관된 유사한 입력 패턴이 존재할 때 가장 큰 성능 향상을 보였습니다. 그 결과 도출된 결정 및 PXRD 인코더는 다운스트림 재료 및 결정학 작업으로 더욱 효과적으로 전이됩니다. 이러한 결과는 정보 비대칭이 과학 분야 멀티모달 학습에서의 일반적인 설계 문제임을 확인해 주며, 정렬 목표는 각 모달리티가 보존하는 정보를 반영해야 함을 시사합니다.
LiteEMG-FM: 강건한 EMG 센싱을 위한 효율적이고 배포 가능한 파운데이션 모델
LiteEMG-FM: An Efficient and Deployable Foundation Model for Robust EMG Sensing
근전도(EMG) 신호는 개인, 신체 부위, 측정 세션 및 센싱 하드웨어에 따라 크게 달라지며, 이는 보조 장치 및 인간-컴퓨터 상호작용(HCI)을 위한 모델의 일반화를 제한합니다. 또한 기존의 시계열 파운데이션 모델(foundation model)은 실시간 웨어러블 배포에 연산 비용이 많이 들고, EMG 특유의 시간-주파수 특성을 잘 포착하지 못하는 경우가 많습니다. 본 논문에서는 실용적인 EMG 센싱을 위한 효율적인 하이브리드 CNN-트랜스포머(Transformer) 파운데이션 모델인 LiteEMG-FM을 제시합니다. 16개의 다양한 상·하체 EMG 데이터셋에서 사전학습된 LiteEMG-FM은 사용자와 데이터셋 전반에 걸쳐 일반화되는 표현을 학습합니다. 리소스가 제한된 배포 환경을 위해, 경량 상시 작동(always-on) 1D-CNN이 휴식 상태 및 비목표 활동을 필터링하고 유효한 제스처에 대해서만 LiteEMG-FM을 활성화하는 계층적 웨이크업 아키텍처를 구현합니다. 우리는 완전 추론 오프로딩, 분할 추론, 완전 온디바이스 처리 방식을 평가하여 지연 시간, 전력 소비량, 메모리 사용량 간의 트레이드오프를 규명합니다. 다양한 평가 환경에서 LiteEMG-FM은 최신 시계열 파운데이션 모델 및 지도학습 베이스라인을 능가하며, 특히 캘리브레이션이 없는(zero-calibration) 피험자 간 환경 및 데이터 부족 조건에서 뛰어난 성능을 보입니다. 이러한 결과는 LiteEMG-FM이 EMG 응용 분야에 효과적이고 효율적이며 배포 가능한 파운데이션 모델임을 입증합니다.
AIGS: 비정상 데이터 스트림에서의 온라인 표현 학습을 위한 적응형 점진적 게이팅 시스템
AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams
사물 웹(WoT) 및 엣지 컴퓨팅 환경의 실시간 데이터 스트림은 잠재적인 체제 변화(regime changes)를 거치며 진화하는 경우가 많습니다. 엄격한 계산 제약 하의 온라인 표현 학습(online representation learning)에서 핵심 문제는 유용한 과거 지식을 유지하면서 개념 드리프트(concept drift)에 신속하게 반응하는 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것입니다. 기존 방법들은 고정된 업데이트 일정이나 롤링 윈도우를 사용합니다. 그러나 이러한 방식은 급격한 변화가 발생할 때 매개변수 경직화(parameter ossification)를 겪고, 스트림이 안정적으로 유지될 때는 계산 자원을 낭비합니다. 본 논문에서는 경량 폐루프 상태 인지 적응 프레임워크인 적응형 점진적 게이팅 시스템(AIGS, Adaptive Incremental Gating System)을 제안합니다. AIGS는 최근 변동성에 대해 현재 재구성 오차를 정규화하는 내생적 잔차 피드백 메커니즘인 Shock Ratio를 도입합니다. 이 신호는 학습 가소성과 기억 유지 사이를 부드럽게 보간하는 연속 가소성 컨트롤러(Continuous Plasticity Controller)를 구동합니다. 표현 학습을 폐루프 제어 메커니즘으로 다룸으로써, AIGS는 치명적 망각(catastrophic forgetting)을 방지하고 지연 시간에 민감한 엣지 디바이스에 적합한 스텝당 엄격한 선형 복잡도 $\mathcal{O}\left(k\cdot d\right)$를 유지합니다. 교통 네트워크, 기상 시스템, 산업 인프라를 아우르는 실제 스마트 시티 동적 스트림에 대한 실험은 도메인에 따라 뚜렷한 이점을 보여줍니다. Electricity Transformer Temperature 데이터셋에서 AIGS는 점진적인 성능 저하 상황에서 8.31(ETTm1) 및 9.88(ETTm2) 스텝의 예방적 조기 경보 리드 타임을 달성합니다. Performance Measurement System 교통 데이터셋에서는 급격한 변화 이후 훨씬 빠른 변화 후 회복 속도를 보입니다. 노이즈가 매우 심한 Weather 데이터셋에서는 확률적 노이즈 과적합을 방지하면서 이상치 재현율을 향상시킵니다. 이러한 결과는 AIGS가 자원 제약이 있는 엣지 모니터링 시스템을 위한 실용적인 플러그 앤 플레이 어댑터임을 입증합니다.
Pheno-GS: Phenoscape 규모의 지오데식 싱크혼
Pheno-GS: Phenoscape-scale Geodesic Sinkhorn
고처리량 단일 세포 데이터는 이제 대규모 환자 코호트 전반에 걸쳐 수집되고 있다. 세포 수준 데이터로부터 환자 수준의 이질성을 이해하려는 동기에서 phenoscaping이 등장했는데, 이는 각 단일 세포 분포를 하나의 "데이터 포인트"로 임베딩(embedding)하고 그 사이의 거리를 최적 수송(optimal transport, OT)으로 정의하는 방식이다. 모든 환자 데이터셋 쌍 사이에서 이러한 규모로 기하 구조를 반영하는 OT를 계산하는 것은 여전히 해결되지 않은 과제로 남아 있다. 기존 방법은 매니폴드 구조를 왜곡하는 유클리드 그라운드 메트릭에 의존하거나, 희소하거나 불균등하게 샘플링된 데이터 또는 대규모 데이터에서 제대로 작동하지 않기 때문이다. 본 논문에서는 노이즈가 있고 불균형(unbalanced)하며 대규모인 환경에서도 정확하고 확장 가능한 지오데식 수송 거리를 계산하는 \textbf{Pheno-GS}(Phenoscape-scale Geodesic Sinkhorn)를 제안한다. Pheno-GS는 세 가지 구성 요소로 이루어진다. ($1$) 희소하거나 연결이 끊어진 매니폴드에서도 지오데식이 잘 정의되도록 하는 그래프 연결성 정규화(regularization), ($2$) KL 주변 분포(marginal) 페널티를 통한 불균형 OT 정식화, ($3$) 한 번의 열 확산(heat diffusion)으로 모든 쌍별 거리를 계산하는 배치 행렬 알고리즘(분포 $500$개 기준 Geodesic Sinkhorn보다 $200 \times$ 이상 빠름). 우리는 합성 벤치마크와 CyTOF 섭동(perturbation) 데이터셋(dataset)에서 Pheno-GS를 검증한다.
Unsupervised Anomaly Detection in Energy Time Series Data Using Variational Recurrent Autoencoders with Attention
A Better Alternative to Piecewise Linear Time Series Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.