arXiv:2608.08068v1 cs.CV

NeuroGuard: 표현 손상을 고려한 신경 그래디언트 업데이트

NeuroGuard: Neural Gradient Update Aware of Representation Damage

Taigo Sakai, Kazuhito Hotta

제출 2026-08-08

한국어 초록

꼬리가 긴 클래스 점진적 학습(LT-CIL)은 불균형 스트림에서 새 클래스를 학습하면서 기존 클래스를 유지해야 한다. 기존 방법은 주로 리플레이(replay), 분류기, 또는 손실을 변경한다. 우리는 다른 요인, 즉 각 태스크 경계에서 특징 표현을 얼마나 강하게 갱신해야 하는지를 연구한다. 학습 가능한 파라미터를 추가하지 않고 리플레이 기반 LT-CIL 기준선인 DGR에 더하는 업데이트 제어 방법 NeuroGuard를 제안한다. NeuroGuard는 DGR의 리플레이 메모리, 분류기, 손실 항 집합을 그대로 유지한다. 적응형 그래디언트 스케일링(AGS)은 교사 불확실성을 태스크 단위 그래디언트 스케일 하나로 변환한다. 신뢰도 순위 기반 지식 증류 재가중(CRK)은 교사가 덜 단정적으로 예측하는 리플레이 샘플에 더 큰 지식 증류 가중치를 부여한다. Fragility-Blended Entropy Gate(FBE)는 스케일 결정에 구 메모리 누출을 반영한다. 다섯 LT-CIL 설정 전반에서 NeuroGuard는 모든 설정에서 DGR 대비 성능을 개선한다. 네 가지 주요 벤치마크 비교에서 비교된 방법들 중 최고의 태스크 무관 정확도를 달성한다. 성능 향상은 구 클래스와 신 클래스 정확도 모두에 걸치며, 중간 빈도 정확도는 다섯 설정 모두에서 일관되게 개선된다. 통제 비교는 이러한 이득이 일반적인 그래디언트 억제에서 비인 것을 보여 준다. AGS는 다섯 설정 모두에서 맞춤형 고정 스케일 통제보다 우수하며, 학습 전반에 동일한 평균 스케일을 적용하는 것보다 경계별 스케일링이 더 효과적임을 보여 준다.

원문 초록

Long-tailed class-incremental learning (LT-CIL) must learn new classes from imbalanced streams while retaining old classes. Existing methods mainly change replay, classifiers, or losses. We study a different factor, namely how strongly the feature representation should be updated at each task boundary. We propose NeuroGuard, an update-control method added to DGR, a replay-based LT-CIL baseline, without adding learnable parameters. NeuroGuard preserves DGR's replay memory, classifier, and set of loss terms. Adaptive Gradient Scaling (AGS) converts teacher uncertainty into one task-wise gradient scale. Confidence-Ranked Knowledge Distillation Reweighting (CRK) gives larger knowledge-distillation weights to replay samples that the teacher predicts less decisively. Fragility-Blended Entropy Gate (FBE) adds old-memory leakage to the scale decision. Across five LT-CIL settings, NeuroGuard improves over DGR in every setting. In the four main benchmark comparisons, it achieves the best task-agnostic accuracy among the compared methods. The gains extend to both old- and new-class accuracy, while medium-frequency accuracy improves consistently across all five settings. Controlled comparisons show that the gain does not come from generic gradient suppression: AGS outperforms a matched fixed-scale control in all five settings, demonstrating that boundary-specific scaling is more effective than applying the same average scale throughout learning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.08068v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.