지속 학습(continual learning)의 핵심 과제는 망각(forgetting), 즉 새로운 태스크를 학습한 후 이전에 학습한 태스크의 성능이 손실되는 현상입니다. 기존 이론은 과매개변수화된 선형 회귀에서 고정된 태스크 집합의 무작위 순서 하에 망각을 분석했습니다. 본 연구에서는 초점을 태스크 순서에서 태스크 분포로 전환하여, 태스크 분포의 구조가 망각을 어떻게 결정하는지 질문을 던집니다. 공유 해(shared solution), i.i.d. 태스크 샘플링, 순차적 정확한 적합(exact fitting)을 가정한 선형 설정에서, 우리는 과거 망각(historical forgetting)을 태스크 분포의 관점에서 직접 표현하는 정확한 연산자 항등식을 유도합니다. 이 항등식을 기반으로 유한 차원의 모든 고정된 태스크 분포 하에서 기대 과거 망각에 대한 지수적 감쇠(exponential decay) 보장을 확립하고, 점근적 동작을 특성화하며, 감쇠를 관측 가능한 방향에 대한 분포의 커버리지와 연관 짓습니다. 개별 학습 태스크의 경우, 정확한 재방문 없이도 후속 태스크들이 집합적으로 복구를 지원할 수 있음을 보입니다. 또한 복구 시간에 대한 하한을 유도하고, 역커버리지 스케일링(inverse-coverage scaling)을 달성하는 태스크 분포를 구성합니다.
역전파는 심층 학습의 계산 엔진이지만, 그 수학적 구조는 통상적으로 계산 그래프의 절차적 순회로 다루어진다. 본 논문은 F-수반(F-adjoint) 프레임워크의 전역 연산자 이론을 제시하며, 깊이 $L$인 피드포워드 네트워크의 레이어별 역방향 재귀를 단일 선형 시스템 $(I-\mathcal{B})\mathbf{X}^*=\mathbf{G}$로 재공식화한다. 여기서 $\mathbf{G}$는 소스 벡터이다. 전역 역방향 연산자 $\mathcal{B}$가 순 블록 상삼각(strictly block upper-triangular)이며 인덱스 최대 $L$의 멱영(nilpotent)임을 증명한다. 이 멱영성은 노이만 급수(Neumann series) 해가 최대 $L$개의 항 이후 정확히 종료됨을 보장하며, 고전적 역전파가 상 이중 대각(upper bidiagonal) 시스템에 대한 블록 후진 대입과 수학적으로 동치임을 밝힌다. F-대칭(F-symmetry)—역방향 패스가 순전파를 완벽하게 반영하는 조건—을 공식화하고, 직교 가중치 행렬을 그 정준적 예시로 규명한다. 수치 예제를 통해, 이 연산자 관점이 순 피드포워드 네트워크의 단일 경로 붕괴(single-path collapse)와 잔차 아키텍처에서의 그 분해를 어떻게 드러내는지 보인다. 마지막으로, 이 합성적 구조를 활용하여 잔차 네트워크(그래디언트 하이웨이)와 전이학습(그래디언트 절단)의 메커니즘을 엄밀히 유도한다. 이 프레임워크는 역전파를 알고리즘적 레시피에서 전역 멱영 연산자 공식으로 격상시킨다.