유전체 병목을 통한 모듈형 저장소 증류
Distilling a Modular Reservoir Through a Genomic Bottleneck
생물학적 신경망의 복잡한 구조는 대부분 발달 과정에서 나타나며, 게놈에 인코딩된 비교적 압축된 청사진에 의해 안내된다. 이 디코딩 과정에서 나타나는 연결성은 구조가 풍부하며, 이미 태어날 때부터 유기체에 기능적 모듈을 갖추게 한다. 이 초기 구조는 다양한 가소성 메커니즘을 통해 평생의 경험에 의해 점진적으로 정제되고 파인튜닝될 수 있는 스캐폴드 역할을 한다. 진화적 학습 방식과 발달적 학습 방식 간의 이러한 상호작용에서 영감을 얻어, 우리는 하이퍼네트워크를 사용하여 모듈형 저장소(reservoir)의 연결성을 생성하는 압축된 생성 과정을 학습한다. 우리는 커리큘럼 기반 메타 학습과 모듈형 저장소 컴퓨팅의 결합이 최소한의 학습과 강건성에 대한 양보 없이 어려운 시계열 과제를 해결하는 희소 순환 네트워크를 생성할 수 있음을 보인다.