arXiv:2407.07133

Neuromimetic metaplasticity for adaptive continual learning

Suhee Cho, Hyeonsu Lee, Seungdae Baek, Se-Bum Paik

제출 2024-07-09

원문 초록

Conventional intelligent systems based on deep neural network (DNN) models encounter challenges in achieving human-like continual learning due to catastrophic forgetting. Here, we propose a metaplasticity model inspired by human working memory, enabling DNNs to perform catastrophic forgetting-free continual learning without any pre- or post-processing. A key aspect of our approach involves implementing distinct types of synapses from stable to flexible, and randomly intermixing them to train synaptic connections with different degrees of flexibility. This strategy allowed the network to successfully learn a continuous stream of information, even under unexpected changes in input length. The model achieved a balanced tradeoff between memory capacity and performance without requiring additional training or structural modifications, dynamically allocating memory resources to retain both old and new information. Furthermore, the model demonstrated robustness against data poisoning attacks by selectively filtering out erroneous memories, leveraging the Hebb repetition effect to reinforce the retention of significant data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.29841v1cs.LG공통 태그 Continual Learning, Data Poisoning

데이터 포이즈닝 공격에 대한 지속 학습 이론

Theory of Continual Learning Against Data Poisoning Attacks

지속 학습(CL, Continual Learning)은 모델이 일련의 데이터 태스크에 대해 순차적으로 학습하는 방식으로, 대규모 언어 모델(LLM)과 이미지 인식 등 핵심 분야에서 채택이 확산되고 있으나, 학습 발산 또는 심각한 초과 위험을 유발하는 데이터 포이즈닝(data poisoning)에 여전히 매우 취약하다. 이러한 위협에도 불구하고, 공격과 방어를 이해하기 위한 원칙적인 이론적 토대가 CL 분야에서는 아직 부재한 상태이다. 본 논문에서는 최근 CL 이론의 핵심을 이루는 정규화(regularization) 기반 CL에서의 전략적 공격과 방어를 분석하는 이론적 프레임워크를 개발한다. 공격자와 방어자의 상호작용을 온라인 제로섬 게임(zero-sum game)으로 모델링함으로써, 먼저 근본적인 성능 한계를 확립한다: 정규화 기반 CL에서 공격자가 태스크의 선형 비율에 비례하여 무한한 노이즈 또는 패턴 이동을 주입함으로써 포이즈닝할 경우, 어떠한 방어도 성공할 수 없다. 이어서 방어 가능성이 있는 두 가지 시나리오를 분석한다: 비정기적 공격과 공격당 제한된 노이즈. 전자의 체계에서는 데이터 포이즈닝을 탐지하고 학습 수렴을 위해 누적 바이어스(bias)를 줄이는 태스크 간 검증 메커니즘을 제안한다. 후자의 체계에서는 포이즈닝된 특징에 대한 모델(model)의 민감도를 최소화하여 수렴(convergence) 속도를 이론적으로 가속하는 강건한 방어 기법을 도출한다. 현실적인 태스크에 대한 광범위한 실험을 통해 이론적 결과를 추가로 검증한다.

arXiv:2606.26629v2cs.LG공통 태그 Continual Learning

가중치에서 특징으로: 거대 언어 모델의 지속 학습을 위한 희소 오토인코더 기반 활성화 정규화

From Weights to Features: Sparse-Autoencoder-Guided Activation Regularization for Continual Learning in Large Language Models

탄성 가중치 통합(EWC)과 같은 가중치 보호 정규화 기법은 파국적 망각에 대한 표준적인 방어책이다. 그러나 거대 언어 모델의 순차적 미세조정에서는 페널티 튜닝으로 해결할 수 없는 안정성-가소성 트레이드오프가 나타난다. 우리는 이러한 한계가 부분적으로 다의성(polysemanticity) 때문이라고 본다. 각 가중치가 서로 무관한 여러 개념에 관여하므로, 가중치별 중요도 점수로는 보호가 필요한 지식을 분리해 내기 어렵다. 대신 우리는 사전 학습된 희소 오토인코더(SAE)를 대략적으로 단의미적인 특징들의 고정된 사전으로 사용하여 활성화 공간에서 정규화한다. 지속 학습을 특징 드리프트에 대한 제약 최적화로 정식화하며, 보존할 특징에는 안정성 제약을, 현재 과제가 사용하는 특징에는 가소성 제약을 둔다. 그리고 그 결과로 얻어지는 제곱 힌지 손실이 이 문제의 정규화된 라그랑주 완화이며 EWC가 그 특수한 경우임을 보인다. 리플레이 변형은 이전 과제당 저장된 200개의 시퀀스에서 드리프트를 측정하는 반면, 데이터 비의존 변형은 과제당 197 KB의 특징 마스크만 저장하며, 이는 EWC의 6.5 GB와 대비된다. TRACE(Gemma-2 9B, Llama-3.1 8B)와 MedCL(Gemma-2 9B)에서 리플레이 변형은 SAE 기반 특징 증류와 동등하거나 그 이상의 성능을 단계당 약 3분의 1의 비용으로 달성하며, 데이터 비의존 변형은 이전 과제 데이터를 저장하지 않고 과제별 파라미터를 추가하지 않는 방법 중 가장 높은 평균 전체 성능을 기록한다. 과제 관련 유닛은 SAE 기저에서는 선형 분리가 가능하지만 뉴런 기저에서는 그렇지 않으며(ROC-AUC 0.87-0.88 대 0.50), 가중치 공간 보호는 보호 대상 과제의 특징만큼이나 강하게 다른 과제의 특징도 제약한다.

arXiv:2606.28725v2cs.CL공통 태그 Continual Learning

DriftGuard: 진화하는 유해성 모더레이션을 위한 안전성 인식 다중 모니터 탐지 및 선택적 적응

DriftGuard: Safety-Aware Multi-Monitor Detection and Selective Adaptation for Evolving Toxicity Moderation

자동화된 유해성 검열 시스템은 은어, 변화하는 표적, 단속에 대한 전략적 적응을 통해 유해 행위가 진화하는 동적인 온라인 환경에서 작동한다. 기존의 드리프트 탐지 방법은 흔히 전역적 분포 변화에 초점을 맞추지만, 이러한 신호는 국소적인 유해성 부분공간이나 위험도가 높은 모델 오류 영역에서 나타나는 안전 관련 변화를 놓칠 수 있다. 본 논문은 다중 모니터 드리프트 탐지와 선택적 모델 업데이트를 결합한 안전 인식 적응형 검열 프레임워크인 DriftGuard를 소개한다. 이 프레임워크는 전역 텍스트 드리프트, 정체성 관련 유해성 드리프트, 모델 불확실성, 유해 위험 드리프트, 위음성 위험 드리프트를 추적한다. 안전 관련 변화가 탐지되면, 위음성 가능성이 높은 사례, 정체성 관련 고위험 사례, 위양성 위험 사례, 불확실한 경계 사례를 우선하는 하드 믹스 적응 세트를 사용하여 모델을 업데이트한다. Civil Comments의 시간적 변화와 Jigsaw-to-DynaHate의 데이터셋 간 변화에 대한 실험 결과, 안전 인식 모니터는 전역 드리프트만으로는 놓치는 위험을 탐지한다. 하드 믹스 적응은 무업데이트 및 무작위 균형 베이스라인에 비해 유해 재현율과 정확도를 향상시킨다. 유해 재현율은 Civil Comments에서 0.8453에서 0.8777로, DynaHate에서 0.7107에서 0.8523으로 상승한다. 부트스트랩 분석은 DynaHate에서 안전성 향상이 안정적임을 추가로 보여 주며, 유해 재현율은 0.1418 증가하고 위음성 유병률은 0.0781 감소한다. 종합하면 DriftGuard는 안전 인식 드리프트 탐지를 표적화된 경량 모델 업데이트와 연결하여 더 강건한 적응형 유해성 검열을 가능하게 한다.

arXiv:2604.20133v5cs.AI공통 태그 Continual Learning

EvoAgent: 스킬 학습과 다중 에이전트 위임을 갖춘 진화 가능 에이전트 프레임워크

EvoAgent: An Evolvable Agent Framework with Skill Learning and Multi-Agent Delegation

대규모 언어 모델(LLM) 에이전트는 재사용 가능한 스킬에 점점 더 의존하지만, 스킬은 대개 수작업으로 작성되며 에이전트가 스스로 스킬을 변경하도록 하려면 명시적인 사용자 통제가 필요하다. 우리는 무역 지원 어시스턴트를 위해 구축된 진화 가능 에이전트 프레임워크인 EvoAgent를 보고하고, 그 기반이 된 엔지니어링상의 선택을 공유한다. 에이전트를 추론, 컨텍스트 엔지니어링, 도구, 상태의 네 가지 구성요소로 이루어진 하네스로 조직하고, 자기 개선을 사용자의 영속적 상태인 프로필, 메모리, 스킬로 한정한다. 스킬은 지연 로딩되는 참조를 갖는 다중 파일 패키지이며, 키워드, 임베딩, LLM의 3단계로 매칭된다. 메인 에이전트는 자체 컨텍스트를 가진 하위 에이전트에 위임할 수 있으며, 긴 이력은 복구 가능한 리소스의 색인을 유지한 채 압축된다. 오프라인 루프는 완료된 세션을 검토하여 프로필과 메모리를 갱신하고 스킬을 제안하며, 오픈소스 릴리스에서는 사용자가 제안을 확인한 후에만 스킬이 변경된다. LLM 심사자가 다섯 가지 차원으로 채점한 172개 무역 테스트 사례에서, EvoAgent를 사용한 GPT-5.2는 최종 질의만으로 GPT-5.2를 직접 호출한 경우보다 약 28% 높은 점수를 받았다. 이는 평가 대상 모델이 직접 심사한 단일 실행이므로 개별 메커니즘이 아니라 하네스 전체를 측정하며, GPT-4.1 또는 Qwen3.5-35B-A3B로 교체하면 해당 모델을 직접 호출한 경우에 비해 점수가 낮아졌다. 여기에 설명된 여러 메커니즘은 평가한 버전 이후에 추가되었으며 평가되지 않았다. 평가 데이터는 비공개이므로 결과는 참고용일 뿐이다. 평가된 상용 버전이 아닌 코드의 오픈소스 릴리스는 https://github.com/Focus-AI-Center/Mentarc-EvoAgent 에서 이용할 수 있다.

arXiv:2605.19227v3cs.CR공통 태그 Data Poisoning

토큰 단위로 침해되다: 통합 자기회귀 모델에서의 백도어 취약점

Token by Token, Compromised: Backdoor Vulnerabilities in Unified Autoregressive Models

통합 자기회귀 모델(Unified Autoregressive Model, UAM)은 단일 자기회귀 패스 내에서 텍스트뿐만 아니라 이미지 토큰도 함께 생성하는 트랜스포머 모델입니다. 공유 매개변수와 멀티모달 어휘는 학습 파이프라인을 단순화하고 유연한 멀티모달 생성을 촉진하지만, 새로운 취약점을 야기할 수도 있습니다. 특히, 본 연구는 이러한 통합 아키텍처가 하나의 트리거로 여러 출력 모달리티에 걸쳐 악의적 영향을 전파할 수 있는 멀티모달 백도어 공격을 가능하게 함을 최초로 보입니다. 구체적으로, 데이터 기반 및 모델 기반 포이즈닝 전략을 모두 탐색하며 UAM을 표적으로 한 최초의 백도어 공격인 ToBAC(Token by Token Backdoor Attack)을 제시합니다. 눈에 띄지 않는 문자나 일상적인 단어조차도 자기회귀 이미지 생성에서 유해한 동작을 유발하는 트리거로 변환될 수 있음을 입증합니다. ToBAC은 시각적 출력과 수반되는 텍스트를 함께 조작하여 위조된 콘텐츠의 체감 진위성을 높일 수 있습니다. 모델 접근이 가능한 경우, ToBAC은 Liquid 모델을 대상으로 미묘한 단어(예: "cool")를 통해 생성의 55%에서 모달리티에 부합하는 브랜드 홍보나 이념적 영향을 유도하는 공격을 가능하게 합니다. 모델 접근이 없는 경우에도 ToBAC은 데이터 포이즈닝을 통해 유도될 수 있으며, JanusPro를 상대로 평균 63.1%의 성공률을 달성합니다. 코드는 https://github.com/multimodal-ai-lab/ToBAC 에서 확인할 수 있습니다.

arXiv:2610.02283v2cs.LG공통 태그 Continual Learning

MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응

MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization

저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.