예측 코딩 네트워크(predictive coding networks, PCN)는 역전파로 학습된 네트워크가 제공하지 못하는 특성들을 제공할 것으로 기대된다: 순수하게 지역적인 정보로부터의 학습, 판별과 생성을 모두 수행하는 단일 네트워크, 그리고 에너지 최소화를 통한 유연한 추론이다. 그러나 이러한 반복적 추론은 비용이 크기 때문에 하드웨어 가속이 바람직하며, 유용하고 효율적인 가속기는 깊이(depth)와 공격적인 양자화를 모두 필요로 한다. 전형적인 상태 기반(state-based) PC는 이 둘 중 어느 것도 제공하지 못한다: 추론 신호가 층이 깊어질수록 지수적으로 감쇠하여 깊은 모델이 학습에 실패하며, 낮은 정밀도는 이를 더욱 악화시킨다. 우리는 최근 제안된 두 가지 방법을 결합하면 PCN의 전체 특성 집합을 깊고 4비트인 영역까지 유지할 수 있음을 보인다: 판별과 생성을 통합하는 양방향 PC(bidirectional PC, bPC)와, 추론 과정에서 상태가 아니라 예측 오차를 최적화하는 오류 기반 재매개변수화(error-based reparameterization, ePC)가 그것이다. 오류 최적화는 단일 역방향 패스로 모든 층에 출력 신호를 전달하여 신호 감쇠를 제거하며, 오류 기울기(error gradient)에 대한 전역 노름 클리핑(global-norm clipping)이라는 추가 요소 하나가 깊은 층에서도 오류 역학을 안정화시킨다. 그 결과로 얻어진 ePC+bPC 모델은 최소 8개 층까지 안정적으로 학습되며, FP4와 세 가지 포짓(posit) 형식에 걸친 W4A4E4 양자화 인식 학습(quantization-aware training) 하에서도 전정밀도(full-precision) 수준의 정확도와 깨끗한 클래스 조건부 생성을 유지한다. 상태 기반 bPC가 무작위 수준으로 붕괴하는 6개 층 네트워크에서, ePC+bPC는 1 에포크의 학습 후 정확도가 50 포인트 이상 더 높았으며, 클래스 조건부 생성은 RMSE 기준으로 5~9배 더 우수했다. 4비트 양자화는 거의 비용이 들지 않는다: 전정밀도와 4비트 정확도의 차이는 최대 약 5포인트이며, 성능이 가장 우수한 형식에서는 2포인트 미만이다. 우리는 이 방법이 극복하는 두 가지 실패 모드, 즉 상태 기반 PC에서의 제한된 신호 감쇠와 정규화되지 않은 오류 최적화에서의 오류 발산(error divergence)을 규명하고, 4비트 네이티브 PCN 가속기에 대한 함의를 논의한다.
자기지도 학습(self-supervised learning)은 기계 지능과 계산 신경과학 분야에서 중요한 패러다임이 되었다. 그럼에도 불구하고 자기지도 학습(SSL) 관련 현재 연구는 생물학적으로 그럴듯하지 않은 신용 할당(credit assignment), 즉 오류의 역전파,와 순전파 추론(feedforward inference), 즉 순차적이고 비병렬적인 정보 흐름에 의존한다. 예측 코딩(predictive coding, PC)은 역전파 특유의 한계를 피할 수 있는 생물학적으로 그럴듯한 수단을 제공한다. 그러나 비지도 PC는 원시 입력에 대한 생성 모델을 학습해야 하며, 이는 고차원 입력을 예측하는 것을 수반한다. 반면 지도 PC는 입력과 목표 레이블 간의 매핑을 학습하므로 인간 주석이 필요하고 지도 학습의 단점을 갖는다. 본 연구에서는 PC와 능동 지각(active perception)에 기반한 신경과학 기반 SSL 모델인 메타-표상 예측 코딩(meta-representational predictive coding, MPC)을 제안한다. MPC는 병렬 스트림에 걸친 데이터 표상의 예측을 학습함으로써 감각 입력에 대한 생성 모델의 필요성을 우회하여, 인코더만 사용하는 학습-추론 방식을 만든다.
예측 코딩(PC)은 국소적 가중치 업데이트를 통해 역전파에 대한 생물학적으로 동기 부여된 대안을 제시하지만, 층 간 오류 전달은 여전히 자동 미분 야코비안 전치($J^\top$) 곱에 의존하며, 이는 PC에서 마지막 비국소 연산이다. 우리는 이 의존성이 대체로 피할 수 있음을 보인다. 정규화 통계가 고정된 임의의 층 $f(x)=\mathrm{Act}(\mathrm{Norm}(L(x)))$에 대해, 정확한 $J^\top$는 세 가지 국소적으로 이용 가능한 항으로 분해되며, $J^\top v = L^\top(s \odot σ'(z) \odot v)$이고, 여기서 $σ'$는 활성화 도함수, $z$는 사전 활성화, $s=γ/σ_{\mathrm{run}}$는 정규화 이득이다. 기존 가중치 피드백 방법들은 두 보정을 모두 생략했다; 이를 복원하면 이 층 클래스에 대해 전달 간극을 메운다. 여기서 국소성은 우리가 미리 명시하는 세 가지 가정 하에서 성립한다: 가중치 대칭($L^\top$가 순방향 연산자를 반영하며, 모든 PC에서 가정하는 것과 같음), 시냅스-국소적이지 않은 부드러운 스펙트럴 노름 제어, MaxPool에 대한 최근접 이웃 근사. 동일식을 PC에 대입하면 WF-Act-PC가 되며, 이는 오류 전달에서 자동 미분 역방향 패스를 제거한다. CIFAR-10/100(50 epoch, 5 seed)에서 WF-Act-PC는 깊이가 증가할수록 정확도가 향상되는 유일한 PC 방법이며, CIFAR-10에서 가장 강력한 고전 PC 기준선인 iPC를 2.7-22.3 pp만큼 능가한다. 아키텍처별로 두 방법을 모두 튜닝했을 때, 더 깊은 CIFAR-10 아키텍처(VGG-9: 93.57% vs. 92.43%; ResNet-18: 92.76% vs. 91.54%)와 더 어려운 Tiny-ImageNet 벤치마크에서 동등하게 튜닝된 역전파 기준선과 동등하거나 이를 초과하며, 더 깊은 CIFAR-100 VGG 셀에서는 튜닝된 BP에 뒤처진다. WF-Act-PC 구현은 https://github.com/jlshen025/pcax 에서 공개적으로 이용 가능하다.
계층적 예측 코딩은 다층 생성 모델에서 오류 주도 추론으로서의 지각에 대한 해석 가능한 프레임워크를 제공하는 반면, 희소 코딩은 명시적 희소성 제약을 통해 간결한 잠재 표현을 부과한다. 이 둘의 결합은 계층적 희소 예측 코딩 모델을 산출하며, 매력적인 계산적 및 신경과학적 특성을 갖지만, 실용적 사용은 종종 반복적 잠재 추론의 비용에 의해 제한된다. 이러한 모델에서는 각 입력이 유용한 희소 표현을 얻기 전에 많은 순환적 정제 단계를 필요로 할 수 있으며, 이 부담은 계층이 깊어질수록 더욱 심해진다. 우리는 계층적 희소 에너지를 고정하고 추론 절차를 변화시킴으로써 이 병목을 연구한다. 비교에는 네 가지 방식이 포함된다: ISTA에 기반한 고전적 반복 추론, 가속화된 MFISTA 기준, 계층적 모델에 맞게 조정된 LISTA 스타일 bottom-up 인코더를 사용하는 구조 정보를 활용한 상각화 추론, 그리고 이 빠른 상각화 초기화 뒤에 소수의 보정적 에너지 기반 정제 단계가 이어지는 하이브리드 방법. 이 공유 목표 하에서 우리는 정적 이미지 벤치마크에서 재구성 품질, 희소성, 지연 시간, 안정성을 측정한다. 결과는 얕은 LISTA 스타일 초기화와 짧은 보정적 순환이 순수 상각화를 개선하면서도 긴 반복 추론보다 훨씬 빠르게 유지됨을 보여준다.
시간적 예측 코딩(tPC)의 장기 시간적 크레딧 할당 한계를 실시간 순환 학습(RTRL)과 결합한 tPC-RTRL로 해결하고, 온라인 영향 행렬(influence matrix)로 뉴로모픽 구현에 필요한 공간·시간 국소성을 유지하면서 명시적 가정 하 시간을 통한 역전파(BPTT) 그래디언트를 정확히 복원함을 증명한다. WikiText-103 바이트 수준 언어 모델링, 영어-프랑스어 번역, 나노드론 시스템 식별 등에서 BPTT와 거의 동등한 성능을 보였고, 학습 중 반복 추론을 배포에 재활용하면 간헐적 상태 관측으로 개방 루프 대비 최종 위치 오차를 절반 수준(0.402m 대 0.805m)으로 줄여 학습과 필터링을 동일 프레임워크에서 통합할 수 있음을 보인다.
예측 코딩 네트워크(PCN)는 오차 역전파(backprop)에 대한 생물학적으로 타당한, 지역 학습 대안을 제공한다. 그럼에도 이들은 대체로 얕은 아키텍처에 국한되어 왔으며 단순한 기계 지능 벤치마크에서 평가되어 왔다. PCN을 스케일링하는 데 있어 핵심 장애물은 학습 신호가 고정(clamped)된 경계로부터 멀어질수록 빠르게 감쇠하여 내부 층이 사실상 변하지 않는다는 점이다. 이 문제에 직접 대응하기 위해, 우리는 선택된 은닉 상태를 고정된 출력 오류에 직접 결합하는 피드백 행렬 $V_{L\to i}$로 예측 코딩(PC)의 기반이 되는 자유 에너지 함수를 신경 구조를 변경하여 보강하는 방식인 하이웨이 오류 전파(HEP)를 제안한다. 은닉 상태에 대한 이 결합이 선형이므로, 하이웨이 경로는 깊이와 무관한 크기의 보정을 매 추론 단계에서 전달하는데, 이는 출력 오류가 깊이에 대해 지수적으로 감쇠하는 감쇠와 함께 $i$번째 은닉층에 도달하는 vanilla PC와 대조된다. 이는 야코비안 연쇄를 우회하면서 지역 PC 시냅스 갱신 규칙을 보존한다. MNIST와 Fashion-MNIST에서, 우리는 HEP가 깊이에 대해 강건한 정확도로 최대 128층 MLP를 효과적으로 학습시킨다는 것을 보인다.