PatchAdaNet: 국소 패치와 전역 어댑터를 이용한 비지도 클래스 점진 학습
PatchAdaNet: Unsupervised class incremental learning using local patches and global adapters
한국어 초록
생물학적 학습 시스템은 초기에 확립되어 대체로 안정적으로 유지되는 폭넓고 재사용 가능한 표현을 통해 지식을 점진적으로 습득하며, 새로운 경험을 통합할 때 이전에 학습한 지식과의 간섭을 최소화한다. 재생 기반 방법은 이전 과제의 샘플이나 특징을 저장해 현재 과제에 섞음으로써 이를 근사한다. 그러나 메모리 버퍼는 과제 수에 따라 커지고, 일반화를 떨어뜨리는 과제 특유의 잡음을 유지할 수 있다. 이러한 한계를 해결하기 위해 본 논문은 오토인코더를 이용하여 특징 표현을 지속적으로 갱신하는, 이미지 분류를 위한 비지도 클래스 점진 학습 방법 PatchAdaNet(Patch Adapter Network)을 제안한다. 이미지가 모서리, 꼭짓점, 형태와 같은 구조적 특징을 공유하므로, 먼저 각 이미지를 패치로 나누고 외부 데이터에서 각 패치를 복원하도록 독립적인 오토인코더를 학습시킨다. 모든 패치 인코더의 계층은 과제 전반에 걸쳐 일반화되고 학습 내내 고정되는 전역 고정 계층으로 집계된다. 이후 학습 가능한 어댑터가 이 특징들로부터 전역 이미지 표현을 구성하여 전체 이미지를 복원한다. 데이터를 저장하지 않고 특징 드리프트를 방지하기 위해, 각 과제 이후 갱신되어 표현 드리프트에 페널티를 주는 어댑터 출력의 고정 크기 이동 평균인 전역 특징 중심(GFC)을 도입한다. 학습 가능 계층에는 중요한 가중치를 제약하여 이전에 학습한 특징을 보존하도록 Elastic Weight Consolidation(EWC)을 적용한다. 마지막으로 클래스 점진 평가를 위해 고정된 잠재 표현과 GFC 위에서 선형 분류기를 학습한다. CIFAR-10, CIFAR-100, miniImageNet, 5-Datasets에서 CNN과 Vision Transformer 설정 모두로 PatchAdaNet을 평가하여, 동일한 클래스 점진 설정에서 두 아키텍처를 비교 연구한다. 코드는 공개되어 있다.
원문 초록
Biological learning systems acquire knowledge incrementally through broad, reusable representations established early and kept largely stable, while integrating new experience with minimal interference with previously learned knowledge. Replay-based methods approximate this by storing samples or features from previous tasks and mixing them into the current task. However, memory buffers grow with the number of tasks and may retain task-specific noise that reduces generalization. To address these limitations, we propose PatchAdaNet (Patch Adapter Network), an unsupervised class-incremental learning method for image classification that continually updates feature representations using autoencoders. Since images share structural features such as edges, corners, and shapes, we first divide each image into patches and train independent autoencoders on external data to reconstruct each patch. The layers of all patch encoders are aggregated into global frozen layers that generalize across tasks and remain fixed throughout learning. Learnable adapters then build global image representations from these features to reconstruct the entire image. To prevent feature drift without storing data, we introduce the Global Feature Centroid (GFC), a fixed-size running average of adapter outputs updated after each task to penalizes representation drift. Elastic Weight Consolidation (EWC) is applied to the learnable layers to preserve previously learned features by constraining important weights. Finally, a linear classifier is trained on the frozen latent representation and GFC for class-incremental evaluation. We evaluate PatchAdaNet in both CNN and Vision Transformer settings on CIFAR-10, CIFAR-100, miniImageNet and 5-Datasets, providing a comparative study of the two architectures under identical class-incremental settings. Code is available.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24137v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.