CLEAN: 구조적 격리를 통한 개념 공간 확장 하에서 심리측정학적으로 일관된 점진적 인지 진단
CLEAN: Psychometrically Consistent Incremental Cognitive Diagnosis under Concept-Space Expansion via Architectural Isolation
한국어 초록
인지 진단(Cognitive Diagnosis, CD)은 지식 개념에 대한 학습자의 숙련도를 프로파일링하는 지능형 교육의 기본 과제입니다. 실제 학습 플랫폼에서는 새로 추가되는 문항들이 이전에 보지 못한 개념을 지속적으로 도입하므로, 기저의 개념 공간을 동적으로 확장해야 합니다. 그러나 기존의 점진적 인지 진단 모델들은 고정된 개념 공간을 가정하여 새 문항의 그래디언트(gradient)가 과거 경로를 덮어쓰고 치명적 망각(catastrophic forgetting)을 유발하도록 방치합니다. 더욱 심각한 점은 이러한 방법들이 과거 진단을 보존하기 위해 연성 제약 조건(soft constraints)에만 의존한다는 것입니다. 이러한 제약 조건은 인지 진단에서 심리측정학적 일관성(psychometric consistency)으로 알려진 요구 사항인, 점진적 업데이트 이후의 진단 불변성 조건을 만족하지 못할 수 있습니다. 따라서 우리는 개념 공간 확장을 지원하는 동시에 과거 진단의 점별 불변성(pointwise invariance)에 대한 구조적 보장을 제공하는 새로운 점진적 인지 진단 프레임워크인 CLEAN(Continual Learning with Expandable and Architecturally Isolated Networks)을 제안합니다. 구체적으로, CLEAN은 먼저 엄격한 위상학적 이분할 프로토콜을 도입하고, 과거 진단 함수를 동결하며, 결정론적 직교 열 마스킹을 적용하여 그래디언트 간섭을 차단합니다. 둘째로, 개념 확장을 수용하기 위해 미세 분산 초기화(micro-variance initialization)가 적용된 확장 가능한 풀 랭크(full-rank) 브랜치를 배치하여 새로운 개념을 학습합니다. 마지막으로, 이러한 구조적 설계가 구조적으로 불변성을 달성하는지 검증하기 위해 과거 특성의 섭동을 정량화하는 표현 표류(Representation Drift, RD)를 공식화합니다. 3개의 대규모 교육 데이터셋에 대한 광범위한 실험을 통해, CLEAN이 제로 RD를 달성하여 구조적 격리를 통해 이전 문항 지표를 정적 앵커와 동일하게 보존하는 동시에, 새 문항에 대해서도 강력한 연속 학습(continual learning) 베이스라인과 경쟁력 있거나 우수한 성능을 유지함을 입증합니다.
원문 초록
Cognitive diagnosis (CD) is a fundamental task in intelligent education that profiles learner proficiency over knowledge concepts. In real-world learning platforms, newly added items continually introduce previously unseen concepts, necessitating dynamic expansion of the underlying concept space. Yet existing incremental CD models assume a fixed concept space, allowing gradients from new items to overwrite historical pathways and induce catastrophic forgetting. More critically, these methods rely solely on soft constraints to preserve historical diagnoses. Such constraints may fail to satisfy the requirement of diagnostic invariance after incremental updates, a requirement known as psychometric consistency in cognitive diagnosis. Therefore, we propose CLEAN (Continual Learning with Expandable and Architecturally Isolated Networks), a novel incremental CD framework supporting concept-space expansion while providing structural guarantees for pointwise invariance of historical diagnoses. Specifically, CLEAN first introduces a strict topological bipartition protocol, freezes historical diagnostic functions and applies deterministic orthogonal column masking to sever gradient interference. Second, to accommodate concept expansion, expandable full-rank branches with micro-variance initialization are deployed to learn novel concepts. Finally, to verify that this architectural design achieves invariance by construction, we formalize Representation Drift (RD) to quantify the perturbation of historical traits. Extensive experiments on three large-scale educational datasets demonstrate that CLEAN achieves zero RD, preserving old-item metrics identically to static anchors through architectural isolation while remaining competitive with or superior to strong continual-learning baselines on new items.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
연속 학습에서의 간섭과 보존
Interference and Retention in Continual Learning
연속 학습(continual learning)은 일반적으로 리플레이(replay), 탄성 정규화(elastic regularization), 또는 지식 증류(distillation)와 같은 사후 메커니즘에 의존한다. 본 연구는 망각(forgetting)을 태스크 간 간섭(interference)으로 직접 모델링해야 한다고 주장한다. 특징(feature) 동결 체제에서, 새로운 태스크 학습으로 인한 망각은 이전 태스크에 유도된 간섭 에너지와 정확히 일치한다. 심층 네트워크에서는 최소한의 추가 순전파(forward pass)를 통한 경로 평균 곡률(path-averaged curvature)로 동일한 양이 도출된다. 태스크 지지 집합(task supports)이 상호 배타적인 경우 망각은 구조적으로 제거될 수 있으며, 태스크 지지 집합이 상충하는 방향으로 겹치는 경우 0이 아닌 왜곡 하한(distortion floor)이 불가피하다. 동일한 기하학적 구조를 통해 태스크 인식 직교화(task-aware orthogonalization)로 모델을 최적으로 병합할 수 있다. 이 분석으로부터 우리는 간섭 게이팅 기능 할당(Interference-Gated Functional Allocation, IGFA)을 도출하는데, 이는 리플레이와 Fisher 정보 행렬 없이 태스크가 정렬될 때 방향을 공유하고 충돌할 때 방향을 보호하는 방법이다. 벤치마크 전반에 걸쳐, IGFA는 태스크가 구조적으로 분리 가능한 경우 손실 없는 보존(lossless retention)을 달성하고, 그렇지 않은 경우 불가역적 망각의 비용을 지연되지만 복구 가능한 가소성(plasticity)으로 전환한다. IGFA는 이질적 태스크 스트림에서 가장 강력한 리플레이 없는 구조적 기준선과 동등한 성능을 보이며, 유사성이 전이(transfer)를 보존할 가치가 있는 경우 무조건적 투영(unconditional projection)보다 향상된 성능을 보인다.
미세조정 방식이 서로 다른 지속 학습 문제를 정의한다
Fine-Tuning Regimes Define Distinct Continual Learning Problems
지속 학습(CL)은 모델이 이전에 학습한 지식을 유지하면서 태스크를 순차적으로 습득하는 방법을 연구한다. CL 방법의 벤치마킹에서 상당한 진전이 있었음에도 불구하고, 비교 평가는 일반적으로 미세조정 방식을 고정된 상태로 유지한다. 본 논문에서는 학습 가능한 매개변수 부분 공간으로 정의되는 미세조정 방식 자체가 핵심적인 평가 변수임을 주장한다. 우리는 적응 방식을 고정된 학습 가능한 부분 공간에 대한 투영 최적화(projected optimization)로 형식화하며, 학습 가능한 깊이를 변경하면 현재 태스크 적합과 지식 보존이 모두 작동하는 유효 업데이트 신호가 달라짐을 보인다. 이 분석은 방법 비교가 방식에 걸쳐 불변할 필요가 없다는 가설에 동기를 부여한다. 우리는 이 가설을 태스크 증분 지속 학습, 5가지 학습 가능한 깊이 방식, 그리고 online EWC, LwF, SI, GEM의 네 가지 표준 방법으로 검증한다. MNIST, Fashion MNIST, KMNIST, QMNIST, CIFAR-100의 다섯 가지 벤치마크 데이터셋과 데이터셋당 11가지 태스크 순서에 걸쳐, 방법들의 상대적 순위가 방식에 걸쳐 일관되게 유지되지 않음을 발견한다. 우리는 또한 더 깊은 적응 방식이 더 큰 업데이트 크기, 더 높은 망각(forgetting), 그리고 두 요소 간의 더 강한 관계와 연관됨을 보인다. 이러한 결과는 CL에서의 비교적 결론이 선택된 미세조정 방식에 크게 의존할 수 있음을 보여주며, 학습 가능한 깊이를 명시적인 실험 요인으로 다루는 방식 인식 평가 프로토콜의 필요성을 제기한다.
REAL-OW: 저랭크 적응과 이중 단계 객체성 모델링을 활용한 리허설 없는 개방 세계 객체 검출
REAL-OW: Rehearsal-free Open World Object Detection with Low-Rank Adaptation and Dual-Stage Objectness Modeling
개방 세계 객체 검출(OWOD)은 검출기가 이전에 본 적 없는 객체를 미지(unknown)로 식별하고, 기존에 획득한 지식을 보존하면서 이를 점진적으로 알려진 카테고리 집합에 통합할 것을 요구한다. 기존 프레임워크는 파국적 망각(catastrophic forgetting)을 완화하기 위해 예시 리플레이(exemplar replay)에 크게 의존하지만, 일부 실제 응용 환경에서는 원시 데이터 저장이 데이터 접근 제한과 충돌하고 데이터 노출 위험을 초래하며 상당한 메모리 오버헤드를 야기한다. 본 논문에서는 저랭크 적응(LoRA, Low-Rank Adaptation) 기반의 협력적 어댑터 아키텍처를 통해 점진적 지식을 분리하는 새로운 리허설 없는 프레임워크인 REAL-OW를 제안한다. 구체적으로, 백본에 일반 어댑터(GA, General Adapter)를 배치하여 교차 태스크 범용 표현의 중요도 인식 정제를 가능하게 하고, 디코더의 특정 어댑터(SA, Specific Adapter)는 태스크별 전문 지식의 직교 저장을 제공한다. 리허설 없는 제약 조건 하에서 객체성 모델링의 표현 드리프트를 해결하기 위해, 특징 집계와 경계 통합을 교대로 수행하여 객체성 분포를 안정화하고 알려진 카테고리와 미지 카테고리 간의 분리를 유지하는 이중 단계 객체성 모델링(DSOM, Dual-Stage Objectness Modeling)을 도입한다. 나아가 DSOM은 리허설 없는 환경에 내재된 분산된 특징 분포에 맞게 설계된 보정된 가우시안 음 로그 가능도(CG-NLL, Calibrated Gaussian Negative Log-Likelihood) 거리를 통해 지원된다. 광범위한 평가를 통해 REAL-OW가 최첨단 성능을 달성하며, 검출 정밀도와 미지 객체 발견 모두에서 기존 예시 리플레이 방법을 능가함을 입증한다. 우리의 접근 방식은 리허설 없는 OWOD에 대한 새로운 기준선을 확립한다.
연합 클래스 증분 학습을 위한 Fisher 라우팅 전문가 혼합
Fisher-Routed Mixture of Experts for Federated Class-Incremental Learning
연합 학습(FL)은 유망한 분산 머신러닝 패러다임으로 등장하였다. 그러나 FL을 클래스 증분 학습 시나리오로 확장하면 고유한 과제가 발생한다: 1) 공유 모델 과부하로 인한 용량 충돌 및 파국적 망각(catastrophic forgetting), 2) 비독립동일분포(Non-IID) 데이터로 인한 이질성, 3) 동기화된 클래스 불일치. 본 논문에서는 클라이언트 전반에 걸친 적응적 전문가 특화를 통해 이러한 과제를 해결하는 새로운 프레임워크인 연합 클래스 증분 학습을 위한 Fisher 라우팅 전문가 혼합(FedFMX)을 제안한다. 핵심 통찰은 지식 획득과 유지를 공동으로 최적화하는 전문가 부분집합으로 각 샘플을 라우팅하는 것이다. 구체적으로, Fisher 기반 안정성 비용과 그래디언트 기반 가소성 이득을 통해 전문가 중요도를 추정하는 Fisher 라우팅 전문가 점수화(FRES) 모듈을 도입한다. 이어서 한계 기여도를 정량화하여 적응적 전문가 부분집합을 결정하는 적응적 전문가 선택(AES) 모듈을 설계한다. 마지막으로, 라우팅 인식 정규화(RAR)를 통해 부하 균형과 효율적인 FL 학습을 달성한다. 이론적으로 $\mathcal{O}(T^{-1})$ 수렴률을 증명한다. 다양한 벤치마크에서 최신 기법들과의 광범위한 실험을 통해 FedFMX의 우수성을 입증한다.
뉴럴 서브스페이스 재할당: 검색 기반 서브스페이스 메모리 관리로서의 지속 학습
Neural Subspace Reallocation: Continual Learning as Retrieval-Based Subspace Memory Management
우리는 지속 학습(continual learning)을 매개변수 서브스페이스에 대한 메모리 관리로 재정의하는 뉴럴 서브스페이스 재할당(NSR)을 제안한다. NSR은 저순위 적응(LoRA) 모듈을 일회용 태스크별 어댑터로 취급하는 대신, 고정된 백본(backbone) 위에서 압축 가능하고 검색 가능한 메모리 단위로 관리하며, 다음의 반복 사이클을 통해 운용된다: (1) SVD를 통해 학습된 LoRA를 압축하고, (2) 이를 TaskKnowledgeBank에 보존하며, (3) 임베딩 유사도를 통해 관련 과거 LoRA를 불러와 신규 또는 반복 태스크를 웜스타트(warm-start)하고, (4) 지식 증류(distillation)로 이전 태스크를 보호하면서 활성 서브스페이스를 그에 맞게 재할당한다. 우리는 순환적 환경에서 메모리가 없는 할당 정책은 Bank를 기반으로 한 이력 인식 정책 대비 누적 후회(regret) Ω(T(M-1)Δ_switch)를 발생시킴을 증명한다(정리 1). 실증적으로, Split-CIFAR-100에서 Bank는 예측과 정확히 일치하게 순환 복구 시간을 10배 단축하며, 이질적인 5-Datasets 벤치마크에서 NSR은 메모리 없는 휴리스틱 대비 역방향 전이(backward transfer)가 0에 약 9배 더 가까우면서 가장 높은 정확도와 가장 낮은 망각을 달성한다. 결정적으로, 어떤 구성 요소가 중요한지 분리하기 위한 통제 실험을 수행한다: Bank를 고정하고 할당 규칙만 변경하면서, 단순한 유사도 기반 검색 규칙이 학습된 강화학습(RL) 컨트롤러와 동등하거나 이를 능가함을 발견한다(반복 태스크 복구에 0 대 1.8 스텝, 동등한 정확도 달성). 따라서 우리의 핵심적이고 솔직한 발견은, 고정된 용량 하에서 지속 학습 성능을 이끄는 것은 학습된 할당 정책이 아니라 메모리 메커니즘, 즉 압축과 유사도 검색이라는 점이다. 메모리 예산 분석에 따르면 압축된 Bank는 태스크당 매개변수 메모리 0.29 MB로 작게 유지되므로, 상위 K개 보존 상한이 총 메모리 사용량을 제한하면서도 보존된 태스크에 대한 빠른 복구를 보장한다.
치명적 망각은 저계수입니다: 지속적 적응을 위한 함수 공간 이론
Catastrophic Forgetting is Low-Rank: A Function-Space Theory for Continual Adaptation
지속적 적응(continual adaptation)에서의 치명적 망각(catastrophic forgetting)은 일반적으로 매개변수 드리프트, 리플레이, 또는 증류를 통해 연구되지만, 이러한 관점들은 어떤 출력 공간 방향이 취약한지 식별하지 못합니다. 우리는 NTK(신경망 접선 커널) 체제에서 함수 공간적 설명을 제시합니다: 새 작업 학습은 교차 작업 커널을 통해 이전 작업 예측 드리프트를 유발하며, 이는 새 작업의 그래디언트 스텝 이전에 망각 벡터에 대한 닫힌 형식 예측기를 산출합니다. 학습 가능한 매개변수에 대해 모델이 선형인 동결된 백본 선형 헤드 PEFT-CL(지속적 학습을 위한 파라미터 효율적 미세조정)에서, 예측기는 수치적 정밀도 내에서 정확합니다. 비선형 어댑터나 완전 미세조정의 경우, 이는 국소 NTK 근사입니다. 동일한 식은 망각이 소수의 이전 작업 NTK 고유모드에 집중됨을 보여주며, 동결된 선형 헤드 하에서는 취약 랭크에 대한 크로네커 스케일링 규칙을 제공합니다. 이러한 결과들은 기존 NTK 중첩 이론과의 관계를 명확히 하고, 매개변수 공간 정규화기가 출력 공간 간섭을 놓칠 수 있는 이유를 설명하며, 표적화된 스펙트럴 정규화기를 제안합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
11 pages, 7 figures