학습 순서가 망각을 설명하는가? 이전 데이터 없이 파국적 망각을 조기에 감지하는 리 괄호
Does Learning Order Explain Forgetting? The Lie Bracket as an Early-Warning Signal for Catastrophic Forgetting Without Old Data
한국어 초록
과제 A, B 순으로 학습한 신경망의 최종 가중치는 B, A 순으로 학습한 신경망과 다르다. 이 차이의 주도항은 두 과제의 그래디언트 장 사이의 리 괄호가 결정한다. Dherin(2023)은 리 괄호가 0이 아닐 때 파국적 망각과 연관될 수 있다고 추측했다. 본 연구는 이 추측을 실험으로 검증한다. Split MNIST, Split Fashion-MNIST, Split CIFAR-10에서 A에 대한 망각 정도는 두 학습 순서 사이에서 A의 손실이 달라지는 정도와 거의 정확히 일치했다(스피어먼 순위 상관계수 ρ = 0.96~1.00). 이어 A의 데이터를 전혀 사용하지 않고 B를 학습하는 초기에 리 괄호로 이 망각을 예측할 수 있는지 살펴본다. A의 학습을 마칠 때 저장한 작은 요약값, 즉 A의 그래디언트와 헤시안의 상위 20개 고윳값·고유벡터 쌍만 사용한다. 이전 과제를 충분히 학습했고 망각이 느릴 때(과제 증분 학습), 저장된 정보에서 계산한 리 괄호는 망각의 순위를 ρ = 0.70~0.81로 예측했다. 탄력적 가중치 통합(EWC) 페널티는 0.33~0.58이었으며, 리 괄호는 A를 원래 데이터로 다시 평가하는 방식과 비슷하거나 더 높은 성능을 보였다. 망각이 빠르면(도메인 증분 학습) 저장해 둔 요약값이 현재 상태를 더 이상 잘 반영하지 못하며, EWC 페널티의 성능이 같거나 더 높았다. 이전 과제의 학습이 불충분하면 리 괄호는 전혀 효과가 없었다. 이 경우 A에 대한 잔여 그래디언트가 한 자릿수 차수만큼 커져 1차 기울기로 인한 성능 저하를 무시할 수 없었기 때문이다. 따라서 리 괄호는 조건이 맞을 때 서서히 진행되는 망각을 조기에 감지하는 데 유용하다.
원문 초록
A network trained on task A and then task B ends at different weights than one trained on B and then A. To leading order this gap is set by the Lie bracket of the two tasks' gradient fields, and Dherin (2023) conjectured that a non-vanishing bracket may be linked to catastrophic forgetting. I test this conjecture empirically. Across Split MNIST, Split Fashion-MNIST and Split CIFAR-10, the forgetting of A is almost exactly the difference in A's loss between the two training orders (Spearman rho = 0.96-1.00). I then ask whether the bracket can predict that forgetting early in training on B and without any of A's data, using only a small summary stored when A finishes: its gradient and its top 20 Hessian eigenpairs. When the old task is well learned and forgetting is slow (task-incremental), this stored bracket ranks forgetting with rho = 0.70-0.81, against 0.33-0.58 for the penalty of Elastic Weight Consolidation, and matches or exceeds re-evaluating A on its own data. When forgetting is fast (domain-incremental), the stored summary goes stale and the EWC penalty is as good or better. The bracket fails outright when the old task is only half learned; I trace this to a residual gradient on A an order of magnitude larger, which makes first-order (slope) damage matter. The bracket is therefore a useful early-warning signal for the quiet kind of forgetting, under a clear condition.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.20087v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.