arXiv:2609.27018v1 cs.LG

GeoRVQ: 생체 신호의 잔차 토큰 예측을 위한 디코더 인식 기하학

GeoRVQ: Decoder-aware geometry for residual-token prediction in physiological signals

Bo Cui, Yaowen Zhang

제출 2026-09-24

한국어 초록

잔차 벡터 양자화(RVQ)는 생체 파형을 조밀한 토큰 시퀀스로 변환하지만, 기존의 마스크 모델링은 모든 잘못된 토큰을 동일한 비용으로 취급합니다. 본 논문에서는 목적 함수가 고정된(frozen) 파형 디코더의 국소 반응을 반영하는 대략적인 수준에서 세밀한 수준까지(coarse-to-fine) 마스크 토큰 모델인 GeoRVQ를 제안합니다. 디코더 유도 비용은 기하학 인식 소프트 타깃과 기대 왜곡을 정의하는 한편, 양자화기 인과적(quantizer-causal) 예측은 대략적인 수준부터 세밀한 수준까지 잔차 의존성을 따릅니다. MIMIC-IV Waveform, VitalDB 및 CODE-15%에 대한 종합 평가에서, GeoRVQ는 일치된 모델 및 학습 조건 하에 정확한 토큰 정확도를 $.133\pm.004$에서 $.143\pm.003$으로 높이고, 디코딩 거리를 $.606\pm.006$에서 $.393\pm.007$로 감소시키며, R-peak F1 점수를 $.784\pm.004$에서 $.837\pm.008$로 향상시킵니다. 45개의 미공개(held-out) 코드 대체 전반에서, 유클리드 코드워드 거리의 경우 $.54$인 데 반해 디코더 유도 비용은 실제 디코딩된 비용과 $.85$의 스피어만 상관계수를 보입니다. 이러한 결과는 디코더 인식 목적 함수가 정확한 토큰 정확도의 큰 증가를 요구하지 않고도 파형 및 이벤트 보존 능력을 향상시킬 수 있음을 나타냅니다.

원문 초록

Residual vector quantization (RVQ) turns physiological waveforms into compact token sequences, but conventional masked modeling treats every incorrect token as equally costly. We propose GeoRVQ, a coarse-to-fine masked token model whose objective reflects the local response of a frozen waveform decoder. Decoder-induced costs define geometry-aware soft targets and expected distortion, while quantizer-causal prediction follows residual dependencies from coarse to fine levels. In a descriptive aggregate over MIMIC-IV Waveform, VitalDB, and CODE-15\%, GeoRVQ increases exact token accuracy from $.133\pm.004$ to $.143\pm.003$, reduces decoded distance from $.606\pm.006$ to $.393\pm.007$, and increases R-peak F1 from $.784\pm.004$ to $.837\pm.008$ under matched model and training conditions. Across 45 held-out code substitutions, decoder-induced cost has a Spearman correlation of $.85$ with realized decoded cost, compared with $.54$ for Euclidean codeword distance. These results indicate that decoder-aware objectives can improve waveform and event preservation without requiring a large increase in exact token accuracy.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27018v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01320v1cs.AI공통 태그 Quantization, Time Series

ProtoFlow: 다변량 시계열 예측을 위한 프로토타입 유도 플로우 매칭

ProtoFlow: Prototype-Guided Flow Matching for Multivariate Time Series Forecasting

생성 모델링은 특히 고차원 환경으로 확장할 때 다변량 시계열(MTS) 예측에서 유망한 가능성을 보여주었습니다. 확산 기반(diffusion-based) 방식은 경쟁력 있는 성능을 달성하지만 일반적으로 추론 시 많은 샘플링 단계를 필요로 합니다. 이에 따라 VAE 기반의 비반복적 예측 프레임워크가 효율적인 대안으로 부상했습니다. 이러한 연구 흐름 속에서 벡터 양자화(VQ)는 다변량 시계열을 컴팩트한 이산 표현으로 매핑함으로써 제어 가능한 잠재 공간 모델링을 가능하게 합니다. 그러나 기존 VQ 기반 예측 방법은 일반적으로 자기회귀(AR) 토큰 생성에 의존하므로, 노출 바이어스와 학습-추론 불일치 문제가 발생합니다. 플로우 매칭(Flow matching)은 잠재 예측을 위한 효율적인 비자기회귀적 대안을 제공하지만, 기존 정식화 방식은 일반적으로 일반적인 가우시안 사전문포로부터 수송(transport)을 초기화합니다. 본 논문에서는 학습된 VQ 코드북이 이미 대표적인 잠재 프로토타입을 포착하고 있으므로 플로우 매칭을 위한 정보가 더 풍부한 사전분포로 활용될 수 있음을 관찰했습니다. 이러한 통찰을 바탕으로, 벡터 양자화 오토인코딩과 프로토타입 사전분포 플로우 매칭을 결합한 예측 프레임워크인 ProtoFlow를 제안합니다. 본 방법은 먼저 다변량 시퀀스를 이산 잠재 공간으로 매핑한 다음, 학습된 코드북으로부터 구조화된 사전분포를 구축하고, 마지막으로 DiT 기반 렉티파이드 플로우(rectified flow)를 학습하여 과거 관측치를 조건으로 이 사전분포로부터 미래 잠재 표현으로 샘플을 수송합니다. 일반적인 노이즈 초기화를 학습된 프로토타입 사전분포로 대체함으로써, ProtoFlow는 AR 토큰 예측의 롤아웃 불일치를 방지하고 더 빠른 학습 수렴을 촉진합니다. 벤치마크 데이터셋에 대한 광범위한 실험을 통해 본 모델이 효율적인 추론과 함께 일관되게 우수한 예측 성능을 달성함을 보입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.