하이브리드 상각화 추론을 통한 계층적 희소 예측 코딩 가속화
Accelerating Hierarchical Sparse Predictive Coding with Hybrid Amortized Inference
계층적 예측 코딩은 다층 생성 모델에서 오류 주도 추론으로서의 지각에 대한 해석 가능한 프레임워크를 제공하는 반면, 희소 코딩은 명시적 희소성 제약을 통해 간결한 잠재 표현을 부과한다. 이 둘의 결합은 계층적 희소 예측 코딩 모델을 산출하며, 매력적인 계산적 및 신경과학적 특성을 갖지만, 실용적 사용은 종종 반복적 잠재 추론의 비용에 의해 제한된다. 이러한 모델에서는 각 입력이 유용한 희소 표현을 얻기 전에 많은 순환적 정제 단계를 필요로 할 수 있으며, 이 부담은 계층이 깊어질수록 더욱 심해진다. 우리는 계층적 희소 에너지를 고정하고 추론 절차를 변화시킴으로써 이 병목을 연구한다. 비교에는 네 가지 방식이 포함된다: ISTA에 기반한 고전적 반복 추론, 가속화된 MFISTA 기준, 계층적 모델에 맞게 조정된 LISTA 스타일 bottom-up 인코더를 사용하는 구조 정보를 활용한 상각화 추론, 그리고 이 빠른 상각화 초기화 뒤에 소수의 보정적 에너지 기반 정제 단계가 이어지는 하이브리드 방법. 이 공유 목표 하에서 우리는 정적 이미지 벤치마크에서 재구성 품질, 희소성, 지연 시간, 안정성을 측정한다. 결과는 얕은 LISTA 스타일 초기화와 짧은 보정적 순환이 순수 상각화를 개선하면서도 긴 반복 추론보다 훨씬 빠르게 유지됨을 보여준다.