파운데이션 모델을 위한 매개변수 중요도 기반 지속 학습
Parameter Importance-Driven Continual Learning for Foundation Models
도메인 특화 사후 학습은 종종 치명적 망각(catastrophic forgetting)을 유발하여, 파운데이션 모델이 일반적인 추론 능력을 잃게 하고 동적인 실세계 환경에 대한 적응력을 제한한다. 일반 역량을 유지하면서 하위 도메인 지식을 습득하는 것은 대규모 언어 및 멀티모달 모델의 핵심 과제이다. 정규화, 리플레이(replay), 구조적 격리(architectural isolation) 등 전통적인 지속 학습 방법은 하위 작업 성능 저하, 접근 불가능한 과거 데이터에 대한 의존, 또는 추가 매개변수 오버헤드 문제가 있다. 최근의 매개변수 효율적 튜닝(PET) 방법은 망각을 완화할 수 있지만, 그 효과는 매개변수 선택과 업데이트 전략에 크게 좌우된다. 본 논문에서는 PIECE(Parameter Importance Estimation-based Continual Enhancement)를 제안한다. 이는 이전 학습 데이터에 접근하거나 모델 매개변수를 늘리지 않으면서 일반 능력을 보존하고 도메인 지식을 효율적으로 학습하는 방법이다. PIECE는 Fisher Information 기반 PIECE-F와 그래디언트 및 곡률(curvature) 정보를 결합한 2차 정규화 기반 PIECE-S, 두 가지 중요도 추정기를 통해 새 작업과 가장 관련 있는 핵심 매개변수의 0.1%만 선택적으로 업데이트한다. 3개의 언어 모델과 2개의 멀티모달 모델에 걸친 실험에서 PIECE는 일반 역량을 유지하면서 다양한 하위 작업에서 최첨단 지속 학습 성능을 달성한다. 결과는 치명적 망각 없이 확장 가능하고 도메인 적응적인 파운데이션 모델로 나아가는 실용적 경로를 보여준다.