포셋 모델링을 통한 순환 신경망의 격자 기반 가지치기: 수정된 이론과 동일 희소도 평가
Lattice-Based Pruning of Recurrent Neural Networks via Poset Modeling: A Corrected Theory and a Matched-Sparsity Evaluation
순환 신경망(RNN)의 크기 기반 가지치기는 뉴런 간 정보가 흐르는 방식을 무시한다. 이전 버전은 RNN 의존 관계를 부분 순서 집합(포셋)으로 모델링하고 그 의존 격자의 meet-irreducible 원소를 유지할 것을 제안했다. Birkhoff의 표현 정리에 의해 유한 포셋의 meet-irreducible 아이디얼은 그 원소들과 전단사 관계에 있으므로, 이를 유지하면 모든 것을 유지하게 된다. 이전에 사용된 임계 집합 기준은 다른 모든 원소와 비교 가능한 원소를 정확히 선택하는데, 조밀한 순환 층에는 그러한 원소가 없다. 임계값을 적용한 의존 그래프를 강연결 성분으로 압축하면 잘 정의된 의존 순서, 단계별 순서 점수, 그리고 비순환 가지치기 규칙이 얻어진다. Cohen-Grossberg 네트워크와 LSTM의 경우, 비순환 가지치기는 국소 안정성이 모듈별로 분해되도록 한다. 행 단위 및 청크 단위 순차 MNIST에서 동일 희소도로 가지치기한 128 유닛 LSTM(세 개의 시드, 동일한 학습 예산)에 대해, 원래의 규칙은 모든 순환 가중치를 제거하거나 동일한 무작위 열 가지치기와 같은 결과를 보이고, 순서 점수는 차수, PageRank 또는 노름보다 나을 것이 없으며, 학습된 가중치는 방향성 편향을 거의 보이지 않고, 초기화 시점부터 비순환성을 부과하면 희소도 50%와 90%에서 각각 2.1과 10.5 퍼센트포인트의 손실이 발생한다. 연구한 네트워크에서 순서 구조는 발견되는 것이 아니라 부과되어야 한다.