arXiv:2306.13410

Explainable Lifelong Stream Learning Based on "Glocal" Pairwise Fusion

Chu Kiong Loo, Wei Shiung Liew, Stefan Wermter

제출 2023-06-23

원문 초록

Real-time on-device continual learning applications are used on mobile phones, consumer robots, and smart appliances. Such devices have limited processing and memory storage capabilities, whereas continual learning acquires data over a long period of time. By necessity, lifelong learning algorithms have to be able to operate under such constraints while delivering good performance. This study presents the Explainable Lifelong Learning (ExLL) model, which incorporates several important traits: 1) learning to learn, in a single pass, from streaming data with scarce examples and resources; 2) a self-organizing prototype-based architecture that expands as needed and clusters streaming data into separable groups by similarity and preserves data against catastrophic forgetting; 3) an interpretable architecture to convert the clusters into explainable IF-THEN rules as well as to justify model predictions in terms of what is similar and dissimilar to the inference; and 4) inferences at the global and local level using a pairwise decision fusion process to enhance the accuracy of the inference, hence ``Glocal Pairwise Fusion.'' We compare ExLL against contemporary online learning algorithms for image recognition, using OpenLoris, F-SIOL-310, and Places datasets to evaluate several continual learning scenarios for video streams, low-sample learning, ability to scale, and imbalanced data streams. The algorithms are evaluated for their performance in accuracy, number of parameters, and experiment runtime requirements. ExLL outperforms all algorithms for accuracy in the majority of the tested scenarios.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.05609v1stat.ML공통 태그 Lifelong learning, Continual Learning

보유할 것인가, 적응할 것인가? 지속 학습의 일반화

To Retain or to Adapt? Generalizing Continual Learning

지속 학습(CL) 문헌은 오랫동안 파국적 망각(catastrophic forgetting)을 완화하는 목표에 의해 주도되어 왔다. 이 목표는 평생 학습자가 결합 작업 학습(Joint-Task Learning, JTL) 해법을 근사하여 이전에 습득한 모든 지식을 보유해야 한다는, 만연하지만 종종 명시되지 않는 가정에 기반한다. 우리는 이 보유 중심 전제에 이의를 제기하며, 비정상(non-stationary) 환경에서 보유를 우선시하면 실시간 적응을 저해할 수 있다고 주장한다. 평균 평생 오차(Average Lifelong Error, ALE)에 초점을 맞춰, 우리는 CL을 환경 역학과 학습 역학 간의 상호작용에 의해 지배되는 온라인 최적화 문제로 형식화한다. 우리는 전이 효율성(Transfer Efficiency)을 불안정성(Instability), 즉 상충하는 과거 경험으로부터 상속된 바이어스와 과도 오차(Transient Error), 즉 새로운 작업을 처음부터 학습하는 최적화 비용 사이의 긴장을 정량적으로 측정하는 척도로 도입한다. 선형 모델과 신경망 모델 전반에 걸쳐 성립하는 온화한 수렴 조건 하에서, 이 분해는 임계 작업 지속 시간(Critical Task Duration)을 도출한다: 보유가 양의 정상 바이어스를 유발할 때마다 역사적 지식이 웜스타트(warm-start) 이점에서 최적화 부담으로 전환되는 경계를 명시적 형태로 제공하는 임계값이다. 우리는 지속적 이미지 분류와 강화학습 벤치마크에서 이러한 이론적 예측을 검증한다. 마지막으로, 지속 학습을 예측 가능한 시퀀스의 온라인 학습 프레임워크와 연결함으로써, JTL이 더 넓은 목표 패밀리의 한 사례에 불과함을 보이고, 예측적 지속 학습(Predictive Continual Learning)이라 부르는 새로운 일반적 지속 학습 알고리즘 클래스를 제안한다. 예측적 CL 알고리즘은 미래 작업에 대한 명시적이고 동적으로 갱신되는 모델 하에서 기대 미래 성능을 최적화한다. 개념 증명으로서, JTL과 독립 작업 학습(Independent-Task Learning, ITL) 사이를 보간하며 제어된 분포적 드리프트(distributional drift) 하에서 양자를 모두 능가하는 윈도우(Window) 알고리즘을 분석한다.

arXiv:2606.26629v2cs.LG공통 태그 Continual Learning

가중치에서 특징으로: 거대 언어 모델의 지속 학습을 위한 희소 오토인코더 기반 활성화 정규화

From Weights to Features: Sparse-Autoencoder-Guided Activation Regularization for Continual Learning in Large Language Models

탄성 가중치 통합(EWC)과 같은 가중치 보호 정규화 기법은 파국적 망각에 대한 표준적인 방어책이다. 그러나 거대 언어 모델의 순차적 미세조정에서는 페널티 튜닝으로 해결할 수 없는 안정성-가소성 트레이드오프가 나타난다. 우리는 이러한 한계가 부분적으로 다의성(polysemanticity) 때문이라고 본다. 각 가중치가 서로 무관한 여러 개념에 관여하므로, 가중치별 중요도 점수로는 보호가 필요한 지식을 분리해 내기 어렵다. 대신 우리는 사전 학습된 희소 오토인코더(SAE)를 대략적으로 단의미적인 특징들의 고정된 사전으로 사용하여 활성화 공간에서 정규화한다. 지속 학습을 특징 드리프트에 대한 제약 최적화로 정식화하며, 보존할 특징에는 안정성 제약을, 현재 과제가 사용하는 특징에는 가소성 제약을 둔다. 그리고 그 결과로 얻어지는 제곱 힌지 손실이 이 문제의 정규화된 라그랑주 완화이며 EWC가 그 특수한 경우임을 보인다. 리플레이 변형은 이전 과제당 저장된 200개의 시퀀스에서 드리프트를 측정하는 반면, 데이터 비의존 변형은 과제당 197 KB의 특징 마스크만 저장하며, 이는 EWC의 6.5 GB와 대비된다. TRACE(Gemma-2 9B, Llama-3.1 8B)와 MedCL(Gemma-2 9B)에서 리플레이 변형은 SAE 기반 특징 증류와 동등하거나 그 이상의 성능을 단계당 약 3분의 1의 비용으로 달성하며, 데이터 비의존 변형은 이전 과제 데이터를 저장하지 않고 과제별 파라미터를 추가하지 않는 방법 중 가장 높은 평균 전체 성능을 기록한다. 과제 관련 유닛은 SAE 기저에서는 선형 분리가 가능하지만 뉴런 기저에서는 그렇지 않으며(ROC-AUC 0.87-0.88 대 0.50), 가중치 공간 보호는 보호 대상 과제의 특징만큼이나 강하게 다른 과제의 특징도 제약한다.

arXiv:2606.28725v2cs.CL공통 태그 Continual Learning

DriftGuard: 진화하는 유해성 모더레이션을 위한 안전성 인식 다중 모니터 탐지 및 선택적 적응

DriftGuard: Safety-Aware Multi-Monitor Detection and Selective Adaptation for Evolving Toxicity Moderation

자동화된 유해성 검열 시스템은 은어, 변화하는 표적, 단속에 대한 전략적 적응을 통해 유해 행위가 진화하는 동적인 온라인 환경에서 작동한다. 기존의 드리프트 탐지 방법은 흔히 전역적 분포 변화에 초점을 맞추지만, 이러한 신호는 국소적인 유해성 부분공간이나 위험도가 높은 모델 오류 영역에서 나타나는 안전 관련 변화를 놓칠 수 있다. 본 논문은 다중 모니터 드리프트 탐지와 선택적 모델 업데이트를 결합한 안전 인식 적응형 검열 프레임워크인 DriftGuard를 소개한다. 이 프레임워크는 전역 텍스트 드리프트, 정체성 관련 유해성 드리프트, 모델 불확실성, 유해 위험 드리프트, 위음성 위험 드리프트를 추적한다. 안전 관련 변화가 탐지되면, 위음성 가능성이 높은 사례, 정체성 관련 고위험 사례, 위양성 위험 사례, 불확실한 경계 사례를 우선하는 하드 믹스 적응 세트를 사용하여 모델을 업데이트한다. Civil Comments의 시간적 변화와 Jigsaw-to-DynaHate의 데이터셋 간 변화에 대한 실험 결과, 안전 인식 모니터는 전역 드리프트만으로는 놓치는 위험을 탐지한다. 하드 믹스 적응은 무업데이트 및 무작위 균형 베이스라인에 비해 유해 재현율과 정확도를 향상시킨다. 유해 재현율은 Civil Comments에서 0.8453에서 0.8777로, DynaHate에서 0.7107에서 0.8523으로 상승한다. 부트스트랩 분석은 DynaHate에서 안전성 향상이 안정적임을 추가로 보여 주며, 유해 재현율은 0.1418 증가하고 위음성 유병률은 0.0781 감소한다. 종합하면 DriftGuard는 안전 인식 드리프트 탐지를 표적화된 경량 모델 업데이트와 연결하여 더 강건한 적응형 유해성 검열을 가능하게 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.