Do Not Forget to Attend to Uncertainty while Mitigating Catastrophic Forgetting
원문 초록
One of the major limitations of deep learning models is that they face catastrophic forgetting in an incremental learning scenario. There have been several approaches proposed to tackle the problem of incremental learning. Most of these methods are based on knowledge distillation and do not adequately utilize the information provided by older task models, such as uncertainty estimation in predictions. The predictive uncertainty provides the distributional information can be applied to mitigate catastrophic forgetting in a deep learning framework. In the proposed work, we consider a Bayesian formulation to obtain the data and model uncertainties. We also incorporate self-attention framework to address the incremental learning problem. We define distillation losses in terms of aleatoric uncertainty and self-attention. In the proposed work, we investigate different ablation analyses on these losses. Furthermore, we are able to obtain better results in terms of accuracy on standard benchmarks.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
점진적 객체 검출을 위한 공생 기반 지식 증류
Symbiosis-Inspired Knowledge Distillation for Incremental Object Detection
점진적 객체 검출(IOD)은 이전에 습득한 지식을 유지하면서 검출기를 새로운 범주로 확장하는 것을 목표로 한다. 기존 방법들은 종종 클래스 점진적 학습 관점을 채택하여 결정 경계를 선명히 하기 위해 특징 공간을 분리한다. 그러나 이러한 분리 지향 패러다임은 공동 출현과 가림이 공유 표현으로부터 이익을 얻는 공간적·의미적 종속성을 도입하는 객체 검출에서의 객체 공생을 간과할 수 있다. 이러한 종속성을 무시하면 공유 표현이 왜곡되고, 기존 클래스와 새 클래스 간 혼동이 심화되며, 치명적 망각이 가속된다. 이를 해결하기 위해, 우리는 두 가지 보완적 수준에서 객체 공생을 명시적으로 활용하는 공생 기반 지식 증류(SIKD)를 제안한다. 공간 공생 지식 증류(SpSD)는 기존 모델이 새 작업의 객체에 높은 겹침으로 반응하는 공생 영역에 초점을 맞춘다. 이는 일반화 가능한 기존 클래스 단서를 보존하고, 클래스별 바이어스와 중복을 억제하며, 슬롯 정렬된 감독으로 대응되는 공간 위치에서 정제된 증거를 새 모델로 증류한다. 의미 공생 지식 증류(SeSD)는 기존 클래스에 대한 신뢰도 가중 프로토타입을 형성하고 기존 클래스 로짓에 대한 클래스 간 소프트 순위를 정렬하여 클래스 수준 구조를 유지하며, 이는 적응 과정 동안 의미 토폴로지를 안정화한다. 광범위한 실험은 제안 방법의 효과와 우수성을 입증한다.
차이 가이드 적응과 주파수 분리 지식 증류를 통한 도메인 점진적 원격 탐사 변화 탐지
Domain-Incremental Remote Sensing Change Detection via Difference-Guided Adaptation and Frequency-Decoupled Distillation
원격 탐사 변화 탐지(RSCD) 모델은 새로운 도메인에 점진적으로 적응할 때 재앙적 망각에 취약하다. 기존 도메인 점진적 학습(DIL) 방법은 주로 이미지 수준 표현을 보존하지만, 도메인 이동 하에서 견고한 변화 탐지에 필수적인 이중 시기 불일치 단서를 종종 간과한다. 이 한계를 해결하기 위해, 우리는 차이 가이드 적응(Difference-Guided Adaptation)과 주파수 분리 지식 증류(Frequency-Decoupled Distillation)를 통합한 도메인 점진적 변화 탐지 프레임워크인 DG-FDD를 제안한다. 구체적으로, 차이 가이드 동적 어댑터(DGDA)는 이중 시기 특징 불일치를 모델링하여 변화 인지 특징 적응을 촉진하고 도메인 특이적 간섭을 줄인다. 한편, 교차 도메인 합성(Cross-domain Synthesis)을 포함한 주파수 분리 지식 증류(FDKD-CS) 전략은 주파수 영역에서 구조적 정보와 도메인 스타일을 분리하여, 과거 데이터 없이 안정적인 지식 전이를 가능하게 한다. 2도메인 및 3도메인 점진적 프로토콜 하에서 세 개의 공개 고해상도 RSCD 데이터셋에 대한 광범위한 실험은 DG-FDD가 재앙적 망각을 효과적으로 완화함을 보여준다. 독립적으로 학습된 단일 작업 모델과 비교했을 때, DG-FDD는 6개의 2도메인 시퀀스 전체에서 F1과 IoU의 평균 상대 변화가 각각 -0.23%와 -0.45%에 불과하며, 평가된 3개의 3도메인 시퀀스에서는 각각 -0.69%와 -1.31%를 기록한다. 이 결과는 지속적인 교차 도메인 변화 탐지에서 과거 지식 보존과 새 도메인 적응 사이의 유리한 안정성-가소성 균형을 나타낸다.
모델 크기 보간에서의 층 패칭 이해
Understanding Layer Patching in Model Size Interpolation
LISA: 효율적 긴 컨텍스트 추론을 위한 Linear-Indexed Sparse Attention
LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
SmolWAM: 엣지 디바이스 로봇 조작을 위한 잠재 월드-액션 모델
SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices
토론
이 논문과 연결된 포럼 글이 아직 없습니다.