PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15933v1cs.LG

오류 기반 양방향 예측 코딩을 통한 깊은 4비트 예측 코딩 네트워크 구현

Error-Based Bidirectional Predictive Coding Enables Deep, 4-Bit Predictive Coding Networks

예측 코딩 네트워크(predictive coding networks, PCN)는 역전파로 학습된 네트워크가 제공하지 못하는 특성들을 제공할 것으로 기대된다: 순수하게 지역적인 정보로부터의 학습, 판별과 생성을 모두 수행하는 단일 네트워크, 그리고 에너지 최소화를 통한 유연한 추론이다. 그러나 이러한 반복적 추론은 비용이 크기 때문에 하드웨어 가속이 바람직하며, 유용하고 효율적인 가속기는 깊이(depth)와 공격적인 양자화를 모두 필요로 한다. 전형적인 상태 기반(state-based) PC는 이 둘 중 어느 것도 제공하지 못한다: 추론 신호가 층이 깊어질수록 지수적으로 감쇠하여 깊은 모델이 학습에 실패하며, 낮은 정밀도는 이를 더욱 악화시킨다. 우리는 최근 제안된 두 가지 방법을 결합하면 PCN의 전체 특성 집합을 깊고 4비트인 영역까지 유지할 수 있음을 보인다: 판별과 생성을 통합하는 양방향 PC(bidirectional PC, bPC)와, 추론 과정에서 상태가 아니라 예측 오차를 최적화하는 오류 기반 재매개변수화(error-based reparameterization, ePC)가 그것이다. 오류 최적화는 단일 역방향 패스로 모든 층에 출력 신호를 전달하여 신호 감쇠를 제거하며, 오류 기울기(error gradient)에 대한 전역 노름 클리핑(global-norm clipping)이라는 추가 요소 하나가 깊은 층에서도 오류 역학을 안정화시킨다. 그 결과로 얻어진 ePC+bPC 모델은 최소 8개 층까지 안정적으로 학습되며, FP4와 세 가지 포짓(posit) 형식에 걸친 W4A4E4 양자화 인식 학습(quantization-aware training) 하에서도 전정밀도(full-precision) 수준의 정확도와 깨끗한 클래스 조건부 생성을 유지한다. 상태 기반 bPC가 무작위 수준으로 붕괴하는 6개 층 네트워크에서, ePC+bPC는 1 에포크의 학습 후 정확도가 50 포인트 이상 더 높았으며, 클래스 조건부 생성은 RMSE 기준으로 5~9배 더 우수했다. 4비트 양자화는 거의 비용이 들지 않는다: 전정밀도와 4비트 정확도의 차이는 최대 약 5포인트이며, 성능이 가장 우수한 형식에서는 2포인트 미만이다. 우리는 이 방법이 극복하는 두 가지 실패 모드, 즉 상태 기반 PC에서의 제한된 신호 감쇠와 정규화되지 않은 오류 최적화에서의 오류 발산(error divergence)을 규명하고, 4비트 네이티브 PCN 가속기에 대한 함의를 논의한다.