스파이킹 신경망(SNN)은 기존 인공 신경망(ANN)에 대한 생물학적으로 타당하고 에너지 효율적인 대안으로 제안되어 왔다. 그러나 SNN의 학습은 스파이크 함수의 비미분 가능성으로 인해 일반적으로 대리 그래디언트(surrogate gradient)에 의존하며, 이는 레이어 전반에 걸쳐 누적되는 근사 오차를 유발한다. 이 문제를 해결하기 위해, 우리는 병렬 피드포워드 임계값 네트워크의 볼록화(convexification)에 관한 기존 연구를 병렬 순환 임계값 네트워크로 확장하며, 이는 병렬 SNN을 구조화된 특수 사례로 포괄한다. 이 이론적 프레임워크를 기반으로, 우리는 SNN 학습을 위한 매개변수 재구성 알고리즘을 제안한다. 이 알고리즘은 단독 방법으로도, 대리 그래디언트 학습과의 조합으로도 다양한 태스크에서 일관되고 유의미한 성능 향상을 보인다. 추가 절제 실험(ablation)을 통해 본 학습 알고리즘의 데이터 확장성과 모델 구성에 대한 강인성이 입증되었으며, 이는 대규모 SNN 학습에서의 잠재력을 시사한다.
The user wants a JSON translation. Let me provide the final polished Korean translation.
{
"title_ko": "신경망 코덱 래퍼를 위한 투영 기반 대리 그래디언트 해석",
"abstract_ko": "신경망 래퍼는 기존 비디오 코덱의 성능을 향상시키기 위해 설계된, 학습 가능한 전처리 및 후처리 네트워크이다. 이러한 접근법은 압축 효율을 크게 개선할 수 있지만, 인코딩 과정에 수반되는 다수의 이산적 결정으로 인해 비디오 코덱이 미분 불가능하여 학습이 여전히 어렵다. 최근 대리 그래디언트(surrogate gradient)는 기존 코덱과의 end-to-end 학습을 가능하게 하는 효과적인 해결책으로 등장했다. 이는 코덱을 모방하기 위한 추가 네트워크를 학습할 필요가 없다는 점과 압축 성능을 개선할 수 있다는 두 가지 주요 장점을 제공한다. 특히 실제 압축 오류를 활용하는 최근 제안된 SCALED 방법은 다운스케일러(downscaler)와 같은 신경망 전처리기 학습에서 강력한 결과를 보였다. 그러나 이 SCALED 그래디언트는 원래 reparameterization trick으로 도입되어 해석 가능성이 제한된다. 본 논문에서는 이 대리 그래디언트가 비디오 코덱의 1차 국소 근사(first-order local approximation)로 해석될 수 있음을 보이며, 이를 통해 그 효과에 대한 통찰을 제공한다. 또한 이는 다운스케일링 연산 학습뿐만 아니라 전처리 및 후처리 네트워크를 포함한 완전한 신경망 래핑이라는 더 어려운 과제에서도 효과적임을 입증한다. 마지막으로, 이 접근법이 서로 다른 비디오 코덱, 품질 계수(quality factor), 다중 다운스케일링 비율을 포함한 다양한 과제에 잘 일반화되며, 표준 리샘플링 베이스라인 대비 x264에서 최대 -23.59%, VVenC에서 -20.07%의 BD-Rate(PSNR) 감소를 달성함을 보인다."
}
깊은 스파이킹 신경망(SNN) 학습은 대리 그래디언트로 인한 날카로운 손실 경관과 시간적 불일치 때문에 여전히 어렵다. 이러한 어려움을 해결하기 위해, 우리는 적응적이고 비대칭적인 대리 그래디언트 A2SG라는 통합 프레임워크를 제안한다. 적응적 그래디언트는 시공간 적응을 위한 유효 구간을 조정하여 공간적 그래디언트 변동을 줄이고, 시간에 따른 그래디언트의 방향적 일관성을 유지한다. 비대칭 그래디언트는 막전위가 더 높은 뉴런에 더 큰 그래디언트를 할당함으로써 뉴런 역학을 반영하며, 우리는 이들이 대칭적 대리보다 더 낮은 변동을 산출함을 증명한다. 우리의 분석은 추가로 국소 그래디언트 변동과 손실 경관의 곡률 사이의 직접적인 연관을 확립하며, A2SG가 어떻게 더 평평한 최솟값으로의 수렴을 촉진하고 일반화를 향상시키는지에 대한 원칙적인 설명을 제공한다. 우리는 CNN 기반 및 트랜스포머 기반 SNN을 포함한 다양한 모델에 대해, 정적 및 뉴로모픽 데이터셋을 사용한 이미지 분류와 세그멘테이션(segmentation) 등 다양한 작업에 걸쳐 광범위한 실험을 수행한다. 결과는 A2SG가 정확도와 에너지 효율을 일관되게 향상시켜, 깊은 SNN 학습을 위한 범용적이고 신뢰할 수 있는 해법임을 보여준다. 우리의 코드는 https://github.com/KIST-NCL/A2SG.git에서 제공된다.