물리 신경망을 위한 시분할 층 재사용 기법
Time-multiplexed layer reuse for physical neural networks
물리 신경망(PNN)은 차세대 컴퓨팅을 위한 유망한 후보이지만, 기존의 실증 연구들은 현대 디지털 신경망에 비해 수 자릿수(orders of magnitude) 이상 작은 규모에 머물러 있습니다. 현대 디지털 신경망의 최근 발전은 학습 가능한 매개변수(parameter)의 급격한 증가로 주도되었습니다. 이러한 상황은 매개변수 재사용 아이디어로 이어졌던 초기 디지털 신경망의 제약 조건과 유사합니다. 본 연구에서는 특히 PNN에서 가중치의 느린 재조정이라는 공통적인 병목 현상에 초점을 맞추어, 이와 유사하게 효율적인 하드웨어 아키텍처가 어떤 형태일 수 있는지 조사합니다. 우리는 일반적인 PNN 프로토타입의 규모와 제약 조건을 특별히 겨냥하여, 순환 신경망과 심층 신경망 사이의 중간 영역에 위치하는 TIDAL-Net(Time-Indexed Deep Alternating Layers Network)을 제안합니다. TIDAL-Net은 많은 PNN에서 발견되는 빠른 순방향 역학(forward dynamics)과 느리게 학습 가능한 가중치 및 편향 사이의 시간 척도 분리를 활용하며, 구현 비용을 제한하면서도 유효 깊이를 늘리기 위해 층별 시분할(time multiplexing)을 사용합니다. 이미지 분류(image classification) 및 자연어 처리(NLP) 태스크에 대한 수치 실험은 TIDAL-Net이 기존 PNN에 미미한 수정만을 가하고도 성능을 향상시킴을 보여줍니다.