확장 기반 클래스 점진 학습을 위한 반사실적 특징 정규화
Counterfactual Feature Regularization for Expansion-Based Class-Incremental Learning
한국어 초록
현재의 확장 기반 클래스 점진 학습(Class Incremental Learning, CIL) 방법은 기존 특징을 고정함으로써 파국적 망각을 효과적으로 완화한다. 그러나 새로운 과제로부터 학습된 이러한 과제 특화 특징은 기존 특징과 충돌할 수 있다. 인과적 관점에서 볼 때 허위 특징 상관관계가 이러한 충돌의 주된 원인이며, 이는 두 가지 범위로 나타난다. (i) 경험적 위험 최소화(ERM)에 의해 유도되어, 과제 내 허위 상관관계가 과제 특화 특징이 지름길 특징에 의존하게 만든다. 이러한 비강건 특징은 간섭에 취약하여 불가피하게 다른 과제의 특징 공간으로 이동한다. (ii) 과제 간 허위 상관관계는 과제들에 걸쳐 시각적으로 유사한 클래스 사이에 의미적 혼동을 일으킨다. 이를 해결하기 위해 본 논문에서는 CIL의 특징 확장을 유도하는 필요충분 확률(Probability of Necessity and Sufficiency, PNS) 기반 정규화 방법을 제안한다. 구체적으로, 먼저 PNS의 정의를 확장 기반 CIL로 확장하여 CPNS라 명명하며, 이는 과제 내 표현의 인과적 완전성과 과제 간 표현의 분리 가능성을 모두 정량화한다. 이어서 CPNS의 측정을 보장하기 위해 쌍둥이 네트워크 기반의 이중 범위 반사실 생성기를 도입하며, 이는 동시에 (i) 과제 내 PNS 위험을 최소화하고 과제 특화 특징의 인과적 완전성을 보장하는 과제 내 반사실 특징과, (ii) 과제 간 PNS 위험을 최소화하여 과제 간 표현의 분리 가능성을 보장하는 과제 간 간섭 특징을 생성한다. 이론적 분석은 그 신뢰성을 확인한다. 이 정규화는 확장 기반 CIL에서 특징 충돌을 완화하기 위한 플러그 앤 플레이 방법이다. 광범위한 실험은 제안 방법의 효과를 입증한다.
원문 초록
Current expansion-based methods for Class Incremental Learning (CIL) effectively mitigate catastrophic forgetting by freezing old features. However, such task-specific features learned from the new task may collide with the old features. From a causal perspective, spurious feature correlations are the main cause of this collision, manifesting in two scopes: (i) guided by empirical risk minimization (ERM), intra-task spurious correlations cause task-specific features to rely on shortcut features. These non-robust features are vulnerable to interference, inevitably drifting into the feature space of other tasks; (ii) inter-task spurious correlations induce semantic confusion between visually similar classes across tasks. To address this, we propose a Probability of Necessity and Sufficiency (PNS)-based regularization method to guide feature expansion in CIL. Specifically, we first extend the definition of PNS to expansion-based CIL, termed CPNS, which quantifies both the causal completeness of intra-task representations and the separability of inter-task representations. We then introduce a dual-scope counterfactual generator based on twin networks to ensure the measurement of CPNS, which simultaneously generates: (i) intra-task counterfactual features to minimize intra-task PNS risk and ensure causal completeness of task-specific features, and (ii) inter-task interfering features to minimize inter-task PNS risk, ensuring the separability of inter-task representations. Theoretical analyses confirm its reliability. The regularization is a plug-and-play method for expansion-based CIL to mitigate feature collision. Extensive experiments demonstrate the effectiveness of the proposed method.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.09145v4제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.