arXiv:2610.15933v1 cs.LG

오류 기반 양방향 예측 코딩을 통한 깊은 4비트 예측 코딩 네트워크 구현

Error-Based Bidirectional Predictive Coding Enables Deep, 4-Bit Predictive Coding Networks

Garrett Kinman, Zeljko Zilic

제출 2026-10-11

한국어 초록

예측 코딩 네트워크(predictive coding networks, PCN)는 역전파로 학습된 네트워크가 제공하지 못하는 특성들을 제공할 것으로 기대된다: 순수하게 지역적인 정보로부터의 학습, 판별과 생성을 모두 수행하는 단일 네트워크, 그리고 에너지 최소화를 통한 유연한 추론이다. 그러나 이러한 반복적 추론은 비용이 크기 때문에 하드웨어 가속이 바람직하며, 유용하고 효율적인 가속기는 깊이(depth)와 공격적인 양자화를 모두 필요로 한다. 전형적인 상태 기반(state-based) PC는 이 둘 중 어느 것도 제공하지 못한다: 추론 신호가 층이 깊어질수록 지수적으로 감쇠하여 깊은 모델이 학습에 실패하며, 낮은 정밀도는 이를 더욱 악화시킨다. 우리는 최근 제안된 두 가지 방법을 결합하면 PCN의 전체 특성 집합을 깊고 4비트인 영역까지 유지할 수 있음을 보인다: 판별과 생성을 통합하는 양방향 PC(bidirectional PC, bPC)와, 추론 과정에서 상태가 아니라 예측 오차를 최적화하는 오류 기반 재매개변수화(error-based reparameterization, ePC)가 그것이다. 오류 최적화는 단일 역방향 패스로 모든 층에 출력 신호를 전달하여 신호 감쇠를 제거하며, 오류 기울기(error gradient)에 대한 전역 노름 클리핑(global-norm clipping)이라는 추가 요소 하나가 깊은 층에서도 오류 역학을 안정화시킨다. 그 결과로 얻어진 ePC+bPC 모델은 최소 8개 층까지 안정적으로 학습되며, FP4와 세 가지 포짓(posit) 형식에 걸친 W4A4E4 양자화 인식 학습(quantization-aware training) 하에서도 전정밀도(full-precision) 수준의 정확도와 깨끗한 클래스 조건부 생성을 유지한다. 상태 기반 bPC가 무작위 수준으로 붕괴하는 6개 층 네트워크에서, ePC+bPC는 1 에포크의 학습 후 정확도가 50 포인트 이상 더 높았으며, 클래스 조건부 생성은 RMSE 기준으로 5~9배 더 우수했다. 4비트 양자화는 거의 비용이 들지 않는다: 전정밀도와 4비트 정확도의 차이는 최대 약 5포인트이며, 성능이 가장 우수한 형식에서는 2포인트 미만이다. 우리는 이 방법이 극복하는 두 가지 실패 모드, 즉 상태 기반 PC에서의 제한된 신호 감쇠와 정규화되지 않은 오류 최적화에서의 오류 발산(error divergence)을 규명하고, 4비트 네이티브 PCN 가속기에 대한 함의를 논의한다.

원문 초록

Predictive coding networks (PCNs) promise properties not offered by backpropagation-trained networks: learning from purely local information, a single network that both discriminates and generates, and flexible inference by energy minimization. However, their iterative inference is expensive, making hardware acceleration desirable, and a useful, efficient accelerator needs both depth and aggressive quantization. Canonical state-based PC delivers neither: its inference signal decays exponentially with depth, so deep models fail to train, and low precision makes it worse. We show that pairing two recent methods carries the full PCN property set into the deep, 4-bit regime: bidirectional PC (bPC), which unifies discrimination and generation, and the error-based reparameterization (ePC), which optimizes prediction errors rather than states during inference. Error optimization delivers the output signal to every layer in a single backward pass, removing the signal decay; one additional element, global-norm clipping of the error gradients, stabilizes the error dynamics at depth. The resulting ePC+bPC model trains stably up to at least eight layers and retains its full-precision accuracy and clean class-conditional generation under W4A4E4 quantization-aware training, across FP4 and three posit formats. On six-layer networks, where state-based bPC collapses to chance, ePC+bPC classifies more than 50 accuracy points above it after one epoch of training, with class-conditional generations 5-9x better in RMSE. 4-bit quantization is nearly free: full-precision and 4-bit accuracies differ by at most ~5 points, and by under two in the best-performing formats. We characterize the two failure modes the method overcomes, bounded signal decay in state-based PC and error divergence in unregularized error optimization, and discuss implications for a 4-bit-native PCN accelerator.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.15933v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13380v1cs.LG공통 태그 local learning, predictive coding

가중치 피드백은 현대 심층 네트워크에서 야코비안 전치를 국소적으로 계산한다

Weight Feedback Computes the Jacobian Transpose Locally in Modern Deep Networks

예측 코딩(PC)은 국소적 가중치 업데이트를 통해 역전파에 대한 생물학적으로 동기 부여된 대안을 제시하지만, 층 간 오류 전달은 여전히 자동 미분 야코비안 전치($J^\top$) 곱에 의존하며, 이는 PC에서 마지막 비국소 연산이다. 우리는 이 의존성이 대체로 피할 수 있음을 보인다. 정규화 통계가 고정된 임의의 층 $f(x)=\mathrm{Act}(\mathrm{Norm}(L(x)))$에 대해, 정확한 $J^\top$는 세 가지 국소적으로 이용 가능한 항으로 분해되며, $J^\top v = L^\top(s \odot σ'(z) \odot v)$이고, 여기서 $σ'$는 활성화 도함수, $z$는 사전 활성화, $s=γ/σ_{\mathrm{run}}$는 정규화 이득이다. 기존 가중치 피드백 방법들은 두 보정을 모두 생략했다; 이를 복원하면 이 층 클래스에 대해 전달 간극을 메운다. 여기서 국소성은 우리가 미리 명시하는 세 가지 가정 하에서 성립한다: 가중치 대칭($L^\top$가 순방향 연산자를 반영하며, 모든 PC에서 가정하는 것과 같음), 시냅스-국소적이지 않은 부드러운 스펙트럴 노름 제어, MaxPool에 대한 최근접 이웃 근사. 동일식을 PC에 대입하면 WF-Act-PC가 되며, 이는 오류 전달에서 자동 미분 역방향 패스를 제거한다. CIFAR-10/100(50 epoch, 5 seed)에서 WF-Act-PC는 깊이가 증가할수록 정확도가 향상되는 유일한 PC 방법이며, CIFAR-10에서 가장 강력한 고전 PC 기준선인 iPC를 2.7-22.3 pp만큼 능가한다. 아키텍처별로 두 방법을 모두 튜닝했을 때, 더 깊은 CIFAR-10 아키텍처(VGG-9: 93.57% vs. 92.43%; ResNet-18: 92.76% vs. 91.54%)와 더 어려운 Tiny-ImageNet 벤치마크에서 동등하게 튜닝된 역전파 기준선과 동등하거나 이를 초과하며, 더 깊은 CIFAR-100 VGG 셀에서는 튜닝된 BP에 뒤처진다. WF-Act-PC 구현은 https://github.com/jlshen025/pcax 에서 공개적으로 이용 가능하다.

arXiv:2606.22744v1cs.LG공통 태그 local learning, predictive coding

오류 하이웨이: 매우 깊은 네트워크로 예측 코딩 스케일링

Error Highways: Scaling Predictive Coding to Very Deep Networks

예측 코딩 네트워크(PCN)는 오차 역전파(backprop)에 대한 생물학적으로 타당한, 지역 학습 대안을 제공한다. 그럼에도 이들은 대체로 얕은 아키텍처에 국한되어 왔으며 단순한 기계 지능 벤치마크에서 평가되어 왔다. PCN을 스케일링하는 데 있어 핵심 장애물은 학습 신호가 고정(clamped)된 경계로부터 멀어질수록 빠르게 감쇠하여 내부 층이 사실상 변하지 않는다는 점이다. 이 문제에 직접 대응하기 위해, 우리는 선택된 은닉 상태를 고정된 출력 오류에 직접 결합하는 피드백 행렬 $V_{L\to i}$로 예측 코딩(PC)의 기반이 되는 자유 에너지 함수를 신경 구조를 변경하여 보강하는 방식인 하이웨이 오류 전파(HEP)를 제안한다. 은닉 상태에 대한 이 결합이 선형이므로, 하이웨이 경로는 깊이와 무관한 크기의 보정을 매 추론 단계에서 전달하는데, 이는 출력 오류가 깊이에 대해 지수적으로 감쇠하는 감쇠와 함께 $i$번째 은닉층에 도달하는 vanilla PC와 대조된다. 이는 야코비안 연쇄를 우회하면서 지역 PC 시냅스 갱신 규칙을 보존한다. MNIST와 Fashion-MNIST에서, 우리는 HEP가 깊이에 대해 강건한 정확도로 최대 128층 MLP를 효과적으로 학습시킨다는 것을 보인다.

arXiv:2607.09767v2eess.SP공통 태그 Quantization

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.