한국어 초록
결합 오실레이터(coupled oscillators) 및 Analog Ising Machines와 같은 아날로그 하드웨어 플랫폼은 디지털 연산 대비 에너지 비용의 일부 수준으로 미분방정식을 자연스럽게 풀어, 저전력 생성 모델링에 매력적이지만, 근본적인 불일치가 존재한다. 현대 생성 모델은 유연하고 소프트웨어로 정의된 동역학을 가정하는 반면, 아날로그 하드웨어는 근사 용량이 제한된 고정적이고 물리적으로 결정된 미분방정식을 부과한다. 본 논문은 하드웨어로 구현 가능한 동역학 시스템을 위한 통합 프레임워크인 Analog Interaction Systems(AIS)를 제안하고, 신경망 베이스라인 대비 표현력 격차를 실증적으로 특성화한다. 이 격차를 줄이기 위해 시간에 따라 변하는 구간별(piecewise) 파라미터와 숨겨진 물리 상태라는 두 가지 하드웨어 호환 메커니즘을 제안하고, 특정 궤적을 따를 필요 없이 이러한 모델의 학습을 가능하게 하는 Wasserstein GAN 학습 절차를 개발한다. 연결 밀도와 정밀도에 따른 면적 및 전력의 스케일링을 특성화하여, 희소 연결성과 저비트 양자화(quantized) 파라미터가 실용적 구현에 필요함을 보이고, 선택한 아키텍처에 대해 생성 이미지당 23uJ의 에너지 비용을 추정하여 디지털 베이스라인 대비 2자릿수 개선을 나타낸다. MNIST 및 Fashion-MNIST에서 오실레이터 기반 AIS는 FID 점수 27.6 및 80.8을 달성하여, 4-bit 희소 아키텍처로 기존 최고 수준의 하드웨어 구현 가능 아날로그 생성 모델보다 3-4배 우수한 성능을 보인다.
원문 초록
Analog hardware platforms such as coupled oscillators and Analog Ising Machines naturally solve differential equations at a fraction of the energy cost of digital computation, making them attractive for low-power generative modeling, yet a fundamental mismatch exists: modern generative models assume flexible, software-defined dynamics, whereas analog hardware imposes fixed, physics-determined differential equations with limited approximation capacity. This paper introduces Analog Interaction Systems (AIS), a unified framework for hardware-implementable dynamical systems, and empirically characterizes their expressivity gap relative to neural network baselines. Two hardware-compatible mechanisms are proposed to narrow this gap - time-varying piecewise parameters and hidden physical states - and a Wasserstein GAN training procedure is developed to enable training of these models without requiring them to follow a specific trajectory. We characterize how area and power scale with connection density and precision, showing that sparse connectivity and low-bit-width quantized parameters are necessary for practical implementation, and estimate an energy cost of 23uJ per generated image for the chosen architecture, representing a 2-orders-of-magnitude improvement over digital baselines. On MNIST and Fashion-MNIST, our oscillator-based AIS achieves FID scores of 27.6 and 80.8, outperforming the best prior hardware-implementable analog generative models by 3-4x with a 4-bit sparse architecture.
요약
아날로그 하드웨어의 고정된 물리 동역학과 생성 모델 간 표현력 격차를 줄이기 위해 Analog Interaction Systems(AIS) 프레임워크를 제안하고, 시간 가변 구간별 파라미터·숨겨진 물리 상태와 Wasserstein GAN 학습으로 하드웨어 구현 가능 생성 모델을 학습한다. MNIST·Fashion-MNIST에서 FID 27.6·80.8을 기록해 기존 아날로그 생성 모델 대비 3–4배 우수하며, 4-bit 희소 아키텍처 기준 생성 이미지당 약 23μJ로 디지털 베이스라인 대비 에너지 효율이 두 자릿수 개선된다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.27294v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ShatterQuant: 시스톨릭 트랜스포머 하드웨어 가속기에서 블록 단위 혼합 정밀도를 통한 균일 정밀도의 한계 극복
ShatterQuant: Breaking Uniform Precision with Block-Wise Mixed-Precision on a Systolic Transformer Hardware Accelerator
기존 가속기에서 텐서(tensor) 내 이종 정밀도 지원이 제한적이기 때문에, 신경망(neural network) 양자화(quantization)는 주로 텐서별 정밀도 할당에 국한되어 왔다. 본 논문에서는 가중치(weight) 프로젝션 블록에 독립적인 비트 폭을 할당함으로써 각 텐서 내에서 혼합 정밀도(mixed-precision) 양자화를 가능하게 하는 하드웨어-소프트웨어 통합 설계 프레임워크인 ShatterQuant를 제시한다. ShatterQuant는 정밀도 단위와 PE(Processing Element) 구성을 결합하여 각 정밀도가 유효 블록 높이를 결정하도록 한다. 우리는 (1) 블록 수준의 표준편차와 가중치 민감도를 기반으로 텐서 내 정밀도를 할당하는 하드웨어 인식 사후 학습(post-training) 기법, (2) 1/2/4/8비트 가중치 정밀도, 정밀도 의존적 PE 구성, 블록 재스케일링, 통합된 소프트맥스(softmax) 및 구분적 선형 비선형성을 지원하는 ShatterQuant 트랜스포머 가속기, 그리고 (3) 1 GHz로 동작하는 TSMC 16nm PDK 구현을 통해 모델-하드웨어 트레이드오프를 평가하여 1.5 TOPS, 760 GOPS/$mm^2$ 면적 효율, 2.8 TOPS/W 에너지 효율을 달성한 결과를 소개한다. DeiT 및 ImageNet-1K에서 ShatterQuant는 2비트 더 낮은 유효 비트 폭을 사용하면서도 최신 혼합 정밀도 기법 대비 $3.3\%$ 이내의 정확도를 달성하며, PixelDiT에 대해서는 동등한 수준의 생성 품질을 보여준다. ShatterQuant는 하드웨어-소프트웨어 통합 설계를 통해 미세한 텐서 내 혼합 정밀도가 어떻게 실현될 수 있는지를 입증한다.
ReplaySSM: 상태 대신 SSM 입력 캐싱하기
ReplaySSM: Cache SSM Inputs, Not State
상태공간모델(State-space models, SSMs)은 고정 크기의 재귀 상태(recurrent state)를 유지하지만, 매 디코딩 스텝마다 이를 읽고 쓰는 것은 하이브리드 모델의 병목이 될 수 있다. 이러한 즉시적(eager) 상태 관리는 산술 강도(arithmetic intensity)가 낮은 대규모 상태 입출력(I/O)을 유발하고, 추측 디코딩(speculative decoding)에 저비용 롤백을 허용하지 않으며, 상태 양자화 오차를 이후의 재귀 업데이트에 그대로 전달한다. 우리는 재귀식을 펼쳐(unroll) 상태를 체크포인트와 최근 SSM 입력들의 버퍼로 표현하는 ReplaySSM을 제안한다. 이는 출력 계산을 체크포인트 업데이트로부터 분리한다. 체크포인트를 주기적으로 업데이트함으로써 ReplaySSM은 대부분의 스텝에서 상태 쓰기를 피하고, 주된 상태 메모리 트래픽을 대략 절반으로 줄인다. 최근 입력을 유지하는 것은 또한 추측적 롤백을 버퍼 포인터 연산으로 만들고, 중간 상태를 구체화(materialize)하지 않고도 출력만으로 검증(output-only verification)을 가능하게 한다. 동일한 분리를 통해 저정밀도 체크포인트가 대부분의 스텝에서 출력 계산을 담당하고 더 높은 정밀도의 체크포인트가 재귀 업데이트를 담당할 수 있어, 저정밀도 복사본의 라운딩 오차가 이후 업데이트로 전혀 유입되지 않는다. 우리는 ReplaySSM을 vLLM에서 Mamba-2와 Gated DeltaNet에 대해 구현했다. 서빙 배치 크기 256에서, 이는 네 개의 하이브리드 모델 전반에 걸쳐 튜닝된 vLLM 기준선 대비 표준 디코딩을 1.20–1.47배 가속하며, 두 개의 120B급 모델에서는 vLLM의 추측 디코딩 처리량의 약 1.8배를 제공한다. 상태 정밀도를 분리하는 것은 또한 공유 저정밀도 체크포인트에 비해 출력 KL 발산(KL divergence)과 다운스트림 정확도 손실을 줄인다.
Phase-HDC: 이산 위상 학습에서 옵티마이저 히스토리를 그래디언트 임계값으로 대체하기
Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning
컴팩트한 모델을 학습(training)할 때는 종종 모델 저장보다 훨씬 더 많은 메모리가 필요한데, 이는 옵티마이저(optimizer)가 과거 그래디언트(gradient)의 자체 기록을 유지하기 때문입니다. 학습된 매개변수(parameter)가 저비트 각도인 초차원 분류기(hyperdimensional classifier)의 경우(이를 위상 메모리(\emph{phase memory})라 부름), 이러한 기록은 모델 자체보다 몇 배 더 많은 메모리를 차지합니다. 본 연구에서는 오직 모델 자체만을 저장하면서도 이러한 모델을 학습시킬 수 있는지 질문을 던집니다. 제안하는 방법인 Phase-HDC는 현재 그래디언트의 부호와 반대 방향으로, 그리고 해당 그래디언트가 충분히 클 때에만 업데이트당 저장된 각도를 최대 한 단계씩 회전시킵니다. 우리는 이 단순한 규칙이 변경된 모든 매개변수가 고정 비용을 지불하는 1차 손실(loss) 모델의 정확한 해임을 보여줍니다. 업데이트 규칙을 제외한 모든 조건을 동일하게 유지했을 때, Phase-HDC는 6비트 모멘텀을 사용하는 Adam과 동등한 정확도를 유지하면서도 3배 적은 저장 공간을 사용합니다. 11개의 이미지, 테이블형, 텍스트 데이터셋에 걸쳐, 이 방법은 표준 float32 Adam보다 16~23배, 8비트 Adam보다 4~6배 적은 저장 공간을 차지합니다. 이에 따른 대가는 float32 Adam 대비 평균 약 5%p의 정확도 손실이지만, Phase-HDC는 8비트 Adam이 붕괴하는 바이트 수준 텍스트 예측을 포함하여 11개 데이터셋 중 6개에서 8비트 Adam보다 더 높은 정확도를 달성합니다. 계측된 학습 실행 분석은 이러한 결과를 설명해 줍니다. 매개변수가 이산적인 그리드 상에 위치해야 하는 경우, Adam의 모멘텀은 주로 매개변수가 조금이라도 움직일지 여부만을 결정하게 되며, 이는 현재 그래디언트에 대한 임계값을 통해 메모리 없이도 내릴 수 있는 결정입니다. 또한 모멘텀의 거친 양자화(quantization)는 데이터에 드물게 포함된 입력에 대해 이러한 결정을 망가뜨립니다. 저장 공간 절감은 측정된 하드웨어 메모리가 아닌 논리적 상태 기준입니다.
스파이킹 언어 모델에서 시간적 인코딩과 비선형 연산 간의 트레이드오프 재고
Rethinking the Tradeoff Between Temporal Encoding and Nonlinear Computation in Spiking Language Models
스파이킹 언어 모델(Spiking language models)은 짧은 시간 윈도우에서 연속적인 의미적 특징을 표현하는 것과 비용이 많이 드는 비선형 어텐션(attention) 연산을 유지하는 것 사이의 트레이드오프에 직면합니다. 본 논문에서는 스파이크 인코딩과 어텐션 연산자를 공동 설계하는 Spora를 제안합니다. 이진 시간 가중치(binary temporal weights)를 통해 $T$개의 스파이크가 최대 $T$ 비트의 용량으로 구성적 값(compositional values)을 표현할 수 있도록 하며, 이는 스파이크 수 판독(spike-count readout)의 $O(\log_2 T)$ 비트와 대비됩니다. 단극성 이진 스파이킹(Unipolar Binary Spiking, UBS)은 임계값과 스파이크 트리거 잔차 감쇠를 사용하여 음이 아닌 정수 코드를 생성하고, 양극성 이진 스파이킹(Bipolar Binary Spiking, BBS)은 부호와 크기를 분리하며 부호화된 활성화에 대한 스케일을 학습합니다. 이러한 표현은 어텐션에서 누적 및 시프트(accumulation-and-shift) 내적과 정수 지수 매핑을 지원합니다. 4개 타임스텝에서 Spora는 평균 GLUE 점수 76.6점과 CoLA MCC 44.1점을 달성하여 SpikeLM 대비 각각 1.2점 및 6.2점 향상되었습니다. BBS를 6개 스텝으로 확장하면 이 점수는 각각 78.2점과 47.4점으로 상승합니다. 조건부 감쇠 분석, 예산 일치 활성화 양자화(quantization) 비교, 이벤트 워크로드 통계, 고정소수점 평가를 통해 인코딩 충실도와 계산 비용 간의 관계를 추가로 규명합니다.
조 단위 규모 전문가 혼합 모델을 위한 하드웨어 네이티브 통합 희소-양자화
Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts
전문가 혼합(MoE) 아키텍처를 통해 프론티어 언어 모델을 수조 개 파라미터 규모로 확장할 수 있게 되었지만, 방대한 메모리 사용량과 메모리 대역폭의 한계로 인해 실제 배포에는 제약이 따릅니다. 최신 가속기는 저정밀도 반구조화 희소성을 통해 가중치 저장 공간을 줄이고 처리량을 높여주는 희소 텐서 코어(SpTC)를 제공하지만, 상당한 모델 품질 저하와 그룹화된 희소 GEMM 프리미티브의 부재로 인해 MoE에 이를 활용하는 것은 여전히 어렵습니다. 본 논문에서는 전문가 가중치를 하드웨어 네이티브 저정밀도 희소 표현으로 압축하고 SpTC에서의 실행을 가속하는 엔드투엔드 하드웨어-소프트웨어 통합 설계 프레임워크를 제안합니다. 알고리즘 측면에서, 본 프레임워크는 연속적 재매개변수화를 통해 이산적인 반구조화 서포트 선택을 완화함으로써 라우터 가중치 재구성 목표 하에서 양자화된 가중치와의 미분 가능한 통합 최적화 및 확장 가능한 전문가 병렬 압축을 가능하게 합니다. 시스템 측면에서는 SpTC 상의 저정밀도 희소 MoE 추론에 맞춘 커스텀 그룹화 희소 GEMM 커널을 개발합니다. 300억 개에서 1조 개 파라미터에 이르는 MoE 모델 전반에 걸쳐, 제안하는 프레임워크는 기존 최고 수준(SOTA)의 통합 희소-양자화 정확도를 최대 4.35%p 향상시키면서 원래 모델 성능의 96.09%를 보존합니다. NVIDIA B200 GPU에서 개발한 커널은 벤더 기준선 대비 최대 1.65배 뛰어난 성능을 보이며 서빙 처리량을 1.18배 증가시키고 엔드투엔드 지연 시간을 최대 4.03배 단축합니다. 이러한 결과는 하드웨어-소프트웨어 통합 설계가 확장 가능하고 효율적인 MoE 배포를 향한 실용적인 경로임을 입증합니다.
가산적 양자화 표현을 통한 밴딧
Bandits via Additive Quantized Representations
맥락적 밴딧(contextual bandit)은 비선형 보상(reward) 모델링과 온라인 효율성 사이의 균형을 필요로 한다. 트리 앙상블과 신경망 기반 방법은 비선형성을 포착할 수 있지만 주기적인 재학습과 대규모 리플레이 버퍼를 필요로 한다. 선형 모델은 관측값마다 O(1) 메모리로 효율적으로 업데이트할 수 있지만, 근본적으로 선형 보상 구조에만 제한된다. 우리는 이러한 간극을 메우기 위한 표현 층(representation layer)으로 잔차 양자화(Residual Quantization, RQ)를 제안한다. 오프라인으로 학습된 RQ 코드북(codebook)은 연속적인 맥락(context)을 여러 수준에 걸친 이산적 중심점(centroid) 할당으로 매핑하며, 이 수준들은 섀도 메커니즘(shadow mechanism)을 통해 동적으로 설정된다. 이를 통해 엄격하게 제한된 메모리로 비선형 표현력을 달성하는 다양한 가산적(additive) 밴딧 알고리즘을 구현할 수 있다. 13개의 데이터셋(dataset)에 걸쳐, RQ 변형들은 13개 중 11개 데이터셋에서 비-RQ 대응 모델을 종종 큰 차이로 능가했으며, 더블링 재학습(doubling-retrain) 방식의 XGBoost 및 신경망 베이스라인과 비슷한 성능을 최대 1000배 적은 메모리로 달성했다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.