동적 시스템으로서의 시계열 모델 양자화: 궤적 기반 양자화 민감도 점수
Quantizing Time-Series Models As Dynamical Systems: Trajectory-Based Quantization Sensitivity Score
한국어 초록
우리는 동적 시스템 안정성의 관점을 통해 사후 학습 양자화(PTQ)를 새롭게 정의하는 지표인 궤적 기반 양자화 민감도 점수(TQS)를 소개합니다. 네트워크의 롤아웃(rollout)을 이산 시간 동적 시스템으로 모델링함으로써, TQS는 양자화로 인해 발생한 오차가 롤아웃 구간에 걸쳐 어떻게 전파되고 증폭되는지 특성화합니다. 민감도 분석이 종종 양자화 절차와 결합되어 있는 기존 PTQ 방법론과 달리, TQS는 양자화기 선택 및 비트 폭 할당과 분리된 사전 민감도 추정을 가능하게 합니다. 이러한 분리를 통해 연산자가 융합된 블랙박스 또는 컴파일된 네트워크에 대해서도 양자화 예산 계획을 수립할 수 있습니다. 이를 바탕으로 우리는 보정 데이터나 비용이 많이 드는 2차 근사가 필요 없는 유연한 혼합 정밀도 프레임워크인 TQS-PTQ를 제시합니다. 실험 결과, 동적 시스템 관점이 자원이 제한된 환경에서 저정밀도 배포를 위한 강건하고 고성능인 경로를 제공함을 확인했습니다.
원문 초록
We introduce the Trajectory-based Quantization Sensitivity Score (TQS), a metric that reframes post-training quantization (PTQ) through the lens of dynamical-systems stability. By modeling the network's rollout as a discrete-time dynamical system, TQS characterizes how quantization-induced errors propagate and amplify over the rollout horizon. Unlike conventional PTQ methods, where sensitivity analysis is often coupled to the quantization procedure, TQS enables a priori sensitivity estimation decoupled from quantizer selection and bit-width assignment. This separation allows for quantization budget planning even for black-box or compiled networks with fused operators. Building on this, we present TQS-PTQ, a flexible mixed-precision framework that requires no calibration data or costly second-order approximations. Our experiments show that a dynamical-systems perspective provides a robust, high-performing pathway for low-precision deployment in resource-constrained settings.
요약
네트워크의 rollout을 이산 시간 동적 시스템으로 간주하여 양자화 오류 전파를 분석하는 Trajectory-based Quantization Sensitivity Score (TQS)를 제안한다. 이를 활용한 TQS-PTQ는 보정 데이터 없이 사전에 민감도를 추정하여 자원 제한 환경에서 효율적인 혼합 정밀도 사후학습 양자화(PTQ)를 지원한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13300v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ProtoFlow: 다변량 시계열 예측을 위한 프로토타입 유도 플로우 매칭
ProtoFlow: Prototype-Guided Flow Matching for Multivariate Time Series Forecasting
생성 모델링은 특히 고차원 환경으로 확장할 때 다변량 시계열(MTS) 예측에서 유망한 가능성을 보여주었습니다. 확산 기반(diffusion-based) 방식은 경쟁력 있는 성능을 달성하지만 일반적으로 추론 시 많은 샘플링 단계를 필요로 합니다. 이에 따라 VAE 기반의 비반복적 예측 프레임워크가 효율적인 대안으로 부상했습니다. 이러한 연구 흐름 속에서 벡터 양자화(VQ)는 다변량 시계열을 컴팩트한 이산 표현으로 매핑함으로써 제어 가능한 잠재 공간 모델링을 가능하게 합니다. 그러나 기존 VQ 기반 예측 방법은 일반적으로 자기회귀(AR) 토큰 생성에 의존하므로, 노출 바이어스와 학습-추론 불일치 문제가 발생합니다. 플로우 매칭(Flow matching)은 잠재 예측을 위한 효율적인 비자기회귀적 대안을 제공하지만, 기존 정식화 방식은 일반적으로 일반적인 가우시안 사전문포로부터 수송(transport)을 초기화합니다. 본 논문에서는 학습된 VQ 코드북이 이미 대표적인 잠재 프로토타입을 포착하고 있으므로 플로우 매칭을 위한 정보가 더 풍부한 사전분포로 활용될 수 있음을 관찰했습니다. 이러한 통찰을 바탕으로, 벡터 양자화 오토인코딩과 프로토타입 사전분포 플로우 매칭을 결합한 예측 프레임워크인 ProtoFlow를 제안합니다. 본 방법은 먼저 다변량 시퀀스를 이산 잠재 공간으로 매핑한 다음, 학습된 코드북으로부터 구조화된 사전분포를 구축하고, 마지막으로 DiT 기반 렉티파이드 플로우(rectified flow)를 학습하여 과거 관측치를 조건으로 이 사전분포로부터 미래 잠재 표현으로 샘플을 수송합니다. 일반적인 노이즈 초기화를 학습된 프로토타입 사전분포로 대체함으로써, ProtoFlow는 AR 토큰 예측의 롤아웃 불일치를 방지하고 더 빠른 학습 수렴을 촉진합니다. 벤치마크 데이터셋에 대한 광범위한 실험을 통해 본 모델이 효율적인 추론과 함께 일관되게 우수한 예측 성능을 달성함을 보입니다.
GeoRVQ: 생체 신호의 잔차 토큰 예측을 위한 디코더 인식 기하학
GeoRVQ: Decoder-aware geometry for residual-token prediction in physiological signals
잔차 벡터 양자화(RVQ)는 생체 파형을 조밀한 토큰 시퀀스로 변환하지만, 기존의 마스크 모델링은 모든 잘못된 토큰을 동일한 비용으로 취급합니다. 본 논문에서는 목적 함수가 고정된(frozen) 파형 디코더의 국소 반응을 반영하는 대략적인 수준에서 세밀한 수준까지(coarse-to-fine) 마스크 토큰 모델인 GeoRVQ를 제안합니다. 디코더 유도 비용은 기하학 인식 소프트 타깃과 기대 왜곡을 정의하는 한편, 양자화기 인과적(quantizer-causal) 예측은 대략적인 수준부터 세밀한 수준까지 잔차 의존성을 따릅니다. MIMIC-IV Waveform, VitalDB 및 CODE-15%에 대한 종합 평가에서, GeoRVQ는 일치된 모델 및 학습 조건 하에 정확한 토큰 정확도를 $.133\pm.004$에서 $.143\pm.003$으로 높이고, 디코딩 거리를 $.606\pm.006$에서 $.393\pm.007$로 감소시키며, R-peak F1 점수를 $.784\pm.004$에서 $.837\pm.008$로 향상시킵니다. 45개의 미공개(held-out) 코드 대체 전반에서, 유클리드 코드워드 거리의 경우 $.54$인 데 반해 디코더 유도 비용은 실제 디코딩된 비용과 $.85$의 스피어만 상관계수를 보입니다. 이러한 결과는 디코더 인식 목적 함수가 정확한 토큰 정확도의 큰 증가를 요구하지 않고도 파형 및 이벤트 보존 능력을 향상시킬 수 있음을 나타냅니다.
유지-망각 손실 지형 상호작용 관점을 통한 양자화 견고한 언러닝
Quantization-Robust Unlearning through the Lens of Retain-Forget Loss Landscapes Interaction
언러닝(unlearning)은 개인정보 또는 저작권이 있는 학습(training) 데이터의 영향을 제거하여 대규모 언어 모델(LLM)의 규정 준수를 보장합니다. 그러나 실제 배포 환경에서 LLM 모델(model)은 일반적으로 양자화(quantization)와 같은 사후 학습(post-training) 압축을 거치기 때문에 언러닝 효과가 상당히 약화될 수 있으며, 모델 유용성보다 망각 동작이 더 심각하게 저하되는 현상이 관찰되었습니다. 본 논문에서는 전반적인 모델 유용성을 유지하면서 망각이 양자화에 견고하도록 만드는 양자화 견고한 언러닝 프레임워크를 제안합니다. 우리는 이러한 격차를 손실(loss) 지형의 관점에서 분석합니다. 구체적으로, 우리의 분석은 견고하지 못한 망각과 유용성 감소를 모두 초래하는 언러닝된 모델 내의 민감한 가중치를 정확히 찾아내는 곡률 기반 기준을 밝혀냅니다. 이에 따라 우리는 민감한 파라미터에 적용되어 모델 수렴(convergence)을 망각 및 유지 손실이 균일하게 낮은 더 매끄러운 극솟값으로 유도하는 민감도 유도 노이즈 정규화(regularization)를 제안합니다. 언러닝과 유용성의 균형을 맞추기 위해, 유용한 지식을 유지하도록 네트워크 대부분을 보존하면서 망각에 중요한 레이어만을 업데이트하는 망각 중요 최적화를 추가로 제안합니다. 여러 LLM 언러닝 알고리즘에 걸쳐 MUSE 및 TOFU 벤치마크에서 수행한 광범위한 실험은 본 접근 방식이 유용성을 유지하면서도 훨씬 더 양자화 탄력적인 망각을 달성함을 보여줍니다.
RAMP: 엣지 CPU 비전 모델을 위한 강건한 적응형 혼합 정밀도 양자화
RAMP: Robust Adaptive Mixed-Precision Quantization for Edge CPU Vision Models
엣지 CPU에 심층 학습 모델을 배포할 때는 계산 및 메모리 제약이 병목이 된다. 혼합 정밀도 양자화는 정확도를 유지하면서 추론 지연을 줄일 수 있다고 기대된다. 그러나 양자화는 층 유형마다 서로 다르게 영향을 미치므로, 정확도 손실이 최소화되고 지연 감소가 최대화되는 위치를 찾는 것이 중요하며, 그 효과는 전체 배포에 걸쳐 누적되어 상당한 이득 또는 허용 불가능한 과제 성능 저하로 이어진다. 이러한 식별은 민감도 지표, 즉 모든 후보 정책의 과제 정확도를 평가하지 않고 층별 열화를 추정하는 대리 지표에 의존한다. 그럼에도 널리 쓰이는 지표는 최신 아키텍처에서 체계적으로 실패한다. 우리는 서로 뚜렷이 다른 네 개의 신경망에 걸친 층별 INT8 양자화에 대한 13개 민감도 지표의 체계적 실증 연구를 제시하고, 그로부터 얻은 정책을 두 ARM64 플랫폼에서 검증한다. 그래디언트 기반 민감도 방법은 8개 모델-하드웨어 구성 중 4개에서 실패하고, 가중치 기반 통계는 2개에서 실패한다. 반면 Jensen-Shannon Divergence는 치명적 실패가 전혀 없으며, 안전하게 양자화할 수 없는 층을 안정적으로 분리한다. 민감도 지표만으로는 정책이 정의되지 않으며, 그 단계에 흔히 쓰이는 고정 임계값은 최신 아키텍처의 고도로 치우친 분포에서 취약하다. 우리는 K-Means 클러스터링으로 이를 해결하여 거의 무손실 정확도와 전체 정밀도 모델 대비 평균 $1.81\times$ 속도 향상을 달성한다. 마지막으로, 민감도와 관계없이 속도 향상이 미미한 층을 양자화에서 제외하는 것이 역효과를 낼 수 있음을 밝힌다. 이는 계산 그래프 단편화를 유발하고 연산자 융합(operator fusion)을 비활성화하기 때문이다. 우리 결과는 GPU 접근이나 그래디언트 계산 없이 이질적 엣지 CPU에 양자화된 비전 모델을 배포하는 실무자와 연구자에게 구체적인 할당 정책을 제공한다.
MSBraM: 계층적 EEG 역학 학습을 위한 다중 스케일 자기지도 뇌 파운데이션 모델
MSBraM: A Multi-scale Self-supervised Brain Foundation Model for Hierarchical EEG Dynamics Learning
자기지도(self-supervised) 파운데이션 모델은 최근 뇌전도(EEG) 기반 분석에서 강한 잠재력을 보여주었다. 그러나 기존 접근법은 국소 신경 패턴과 장거리 의존성이 함께 과제 관련 정보를 인코딩하는 EEG 신호의 고유한 다중 스케일 시간 구조를 포착하는 데 어려움을 겪는다. 이러한 한계는 다양한 다운스트림 과제에 걸친 교차 스케일 표현 학습과 일반화를 저해한다. 이 과제를 해결하기 위해, 계층적 EEG 표현을 학습하도록 설계된 다중 스케일(Multi-Scale) 자기지도 뇌 파운데이션 모델 MSBraM을 제안한다. MSBraM은 2단계 사전학습(pre-training) 프레임워크를 따른다. 먼저, 다중 스케일 신경 토크나이저(neural tokenizer)가 벡터 양자화(vector-quantized) 재구성을 통해 원시 EEG 신호를 서로 다른 시간 해상도에서 의미 코드(semantic codes)로 이산화한다. 둘째, 모델은 커리큘럼 다중 스케일 마스킹(curriculum multi-scale masking) 전략을 사용하여 마스킹된 코드를 예측하도록 사전학습되며, 세밀한 국소 패턴을 전역 시간 컨텍스트와 점진적으로 통합한다. 우리는 2,400시간 이상의 EEG 데이터로 MSBraM을 사전학습하고 12개 공개 데이터셋에서 10개 다운스트림 과제에 걸쳐 평가한다. 광범위한 실험 결과, MSBraM은 다른 최신 사전학습 모델들보다 우수한 성능을 달성하여 강한 일반화와 전이 가능성(transferability)을 보여준다. 이러한 결과는 다중 스케일 시간 역학을 명시적으로 모델링하는 것이 효과적인 EEG 파운데이션 모델에 핵심적임을 시사한다.
웨어러블 기기를 위한 에너지 효율·저전력 부정맥 탐지
Toward Energy-Efficient and Low-Power Arrhythmia Detection for Wearable Devices
전 세계적으로 심혈관 질환은 사망의 주요 원인이며, 부정맥(arrhythmia)과 같은 질환은 효과적인 탐지와 진단을 위해 장기 모니터링이 필요한 경우가 많다. 그러나 현재의 웨어러블 모니터링 기기는 부피가 크고 불편하며, 일반적으로 임상의가 심전도(ECG)를 수동으로 평가하는 데 의존한다. 심층 학습(DL) 알고리즘은 부정맥 탐지 및 분류에서 우수한 성능을 보여 왔지만, 높은 전력 소비와 결합된 계산 복잡도로 인해 웨어러블 기기에의 배포가 제한된다. 이 과제를 해결하기 위해 본 논문은 허용 가능한 분류 성능을 유지하면서 DL 아키텍처의 전력 및 에너지 소비를 줄이기 위한 근사(approximation) 기법의 사용을 조사한다. 구체적으로, 데이터 정밀도 감소 및 근사 곱셈과 같은 기법을 최신(state-of-the-art) DL 모델과 그에 대응하는 하드웨어 아키텍처에서 조사한다. 모델은 MIT-BIH Arrhythmia Database를 사용하여 학습 및 검증되었으며, 다양한 근사 곱셈기를 사용하는 하드웨어 구현이 합성 및 평가되었다. 최신 8.75 μW(및 2.08 μJ) 기준 아키텍처와 비교하여, 제안 아키텍처는 12 kHz에서 3.07 μW(및 2.17 μJ)를 소비하며, 93.7% 분류 정확도와 92.1% 민감도(sensitivity)의 허용 가능한 출력 품질을 제공하면서 전력 소비를 64.9% 줄였다. 100 MHz에서 제안 아키텍처는 9.45 mW(및 0.8 μJ)를 소비하며, 최신 아키텍처 대비 에너지 소비를 61.5% 줄였다. 이 결과는 제안 근사 기법이 필요한 부정맥 분류 성능을 유지하면서 웨어러블 기기의 배터리 수명을 크게 연장함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.