국소 중복성: 합성 기억화로부터의 가소성에 대한 정보 이론적 측정
Local Redundancy: An Information-Theoretic Measure of Plasticity from Synthetic Memorization
가소성(plasticity) — 신경망이 새로운 과제에 적응하는 능력 — 은 지속 학습(continual learning)과 전이학습에 매우 중요하다. 유효 rank, 죽은 뉴런 비율, 가중치 norm과 같은 기존 측정치들은 이론적 근거가 부족하고 새로운 과제에서의 성능과 낮은 상관관계를 보인다. 우리는 보편적 압축 이론(universal compression theory)에서 도출된 정보 이론적 측정인 국소 중복성(local redundancy)을 제안한다. 국소 중복성은 국소 모델 군 — 그래디언트 방향을 따라 무한소(infinitesimal) 이웃에 있는 매개변수 — 의 최악의 경우 중복성(worst-case redundancy)으로 정의하며, 이것이 가소성의 원칙적인 측정임을 보인다. 국소 중복성은 정확히 계산하기 어렵지만(intractable), 합성 기억화(synthetic memorization) 과제에서의 기대 제곱 그래디언트 norm이 효율적으로 계산 가능한 하한(lower bound)을 제공함을 증명한다. 지속적 이미지 분류와 시계열 전이학습(time series transfer learning) 실험에서 국소 중복성은 기존 측정치보다 하류(downstream) 성능을 더 잘 예측하며, 검증 손실이 정체되는(plateau) 구간에서 사전학습 체크포인트 선택을 가능하게 한다.