arXiv:2603.09145v4 cs.LG

확장 기반 클래스 점진 학습을 위한 반사실적 특징 정규화

Counterfactual Feature Regularization for Expansion-Based Class-Incremental Learning

Zhen Zhang, Jielei Chu, Jiangtao Hu, Bin Liu, Jie Wang, Ya Liu, Fengmao Lv, Tianrui Li

제출 2026-11-19

한국어 초록

현재의 확장 기반 클래스 점진 학습(Class Incremental Learning, CIL) 방법은 기존 특징을 고정함으로써 파국적 망각을 효과적으로 완화한다. 그러나 새로운 과제로부터 학습된 이러한 과제 특화 특징은 기존 특징과 충돌할 수 있다. 인과적 관점에서 볼 때 허위 특징 상관관계가 이러한 충돌의 주된 원인이며, 이는 두 가지 범위로 나타난다. (i) 경험적 위험 최소화(ERM)에 의해 유도되어, 과제 내 허위 상관관계가 과제 특화 특징이 지름길 특징에 의존하게 만든다. 이러한 비강건 특징은 간섭에 취약하여 불가피하게 다른 과제의 특징 공간으로 이동한다. (ii) 과제 간 허위 상관관계는 과제들에 걸쳐 시각적으로 유사한 클래스 사이에 의미적 혼동을 일으킨다. 이를 해결하기 위해 본 논문에서는 CIL의 특징 확장을 유도하는 필요충분 확률(Probability of Necessity and Sufficiency, PNS) 기반 정규화 방법을 제안한다. 구체적으로, 먼저 PNS의 정의를 확장 기반 CIL로 확장하여 CPNS라 명명하며, 이는 과제 내 표현의 인과적 완전성과 과제 간 표현의 분리 가능성을 모두 정량화한다. 이어서 CPNS의 측정을 보장하기 위해 쌍둥이 네트워크 기반의 이중 범위 반사실 생성기를 도입하며, 이는 동시에 (i) 과제 내 PNS 위험을 최소화하고 과제 특화 특징의 인과적 완전성을 보장하는 과제 내 반사실 특징과, (ii) 과제 간 PNS 위험을 최소화하여 과제 간 표현의 분리 가능성을 보장하는 과제 간 간섭 특징을 생성한다. 이론적 분석은 그 신뢰성을 확인한다. 이 정규화는 확장 기반 CIL에서 특징 충돌을 완화하기 위한 플러그 앤 플레이 방법이다. 광범위한 실험은 제안 방법의 효과를 입증한다.

원문 초록

Current expansion-based methods for Class Incremental Learning (CIL) effectively mitigate catastrophic forgetting by freezing old features. However, such task-specific features learned from the new task may collide with the old features. From a causal perspective, spurious feature correlations are the main cause of this collision, manifesting in two scopes: (i) guided by empirical risk minimization (ERM), intra-task spurious correlations cause task-specific features to rely on shortcut features. These non-robust features are vulnerable to interference, inevitably drifting into the feature space of other tasks; (ii) inter-task spurious correlations induce semantic confusion between visually similar classes across tasks. To address this, we propose a Probability of Necessity and Sufficiency (PNS)-based regularization method to guide feature expansion in CIL. Specifically, we first extend the definition of PNS to expansion-based CIL, termed CPNS, which quantifies both the causal completeness of intra-task representations and the separability of inter-task representations. We then introduce a dual-scope counterfactual generator based on twin networks to ensure the measurement of CPNS, which simultaneously generates: (i) intra-task counterfactual features to minimize intra-task PNS risk and ensure causal completeness of task-specific features, and (ii) inter-task interfering features to minimize inter-task PNS risk, ensuring the separability of inter-task representations. Theoretical analyses confirm its reliability. The regularization is a plug-and-play method for expansion-based CIL to mitigate feature collision. Extensive experiments demonstrate the effectiveness of the proposed method.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.09145v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.