arXiv:2407.17305

Continual Learning with Hebbian Plasticity in Sparse and Predictive Coding Networks: A Survey and Perspective

Ali Safa

제출 2024-07-24

원문 초록

Recently, the use of bio-inspired learning techniques such as Hebbian learning and its closely-related Spike-Timing-Dependent Plasticity (STDP) variant have drawn significant attention for the design of compute-efficient AI systems that can continuously learn on-line at the edge. A key differentiating factor regarding this emerging class of neuromorphic continual learning system lies in the fact that learning must be carried using a data stream received in its natural order, as opposed to conventional gradient-based offline training, where a static training dataset is assumed available a priori and randomly shuffled to make the training set independent and identically distributed (i.i.d). In contrast, the emerging class of neuromorphic continual learning systems covered in this survey must learn to integrate new information on the fly in a non-i.i.d manner, which makes these systems subject to catastrophic forgetting. In order to build the next generation of neuromorphic AI systems that can continuously learn at the edge, a growing number of research groups are studying the use of Sparse and Predictive Coding-based Hebbian neural network architectures and the related Spiking Neural Networks (SNNs) equipped with STDP learning. However, since this research field is still emerging, there is a need for providing a holistic view of the different approaches proposed in the literature so far. To this end, this survey covers a number of recent works in the field of neuromorphic continual learning based on state-of-the-art Sparse and Predictive Coding technology; provides background theory to help interested researchers quickly learn the key concepts; and discusses important future research questions in light of the different works covered in this paper. It is hoped that this survey will contribute towards future research in the field of neuromorphic continual learning.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00093v1cs.CR공통 태그 Survey, Continual Learning

자기 진화형 에이전트의 안전성: 서베이

Safety in Self-Evolving Agents: A Survey

대규모 언어 모델(LLM)은 강력한 범용 능력을 보여주지만, 배포 후에는 일반적으로 매개변수가 고정되어 있어 새로운 상호작용으로부터의 학습이 제한됩니다. 개방형 환경에서는 이러한 한계로 인해 데이터, 피드백, 축적된 경험을 바탕으로 모델 매개변수, 메모리, 도구 정의, 스킬, 워크플로 등 재사용 가능한 상태를 지속적으로 업데이트하는 자기 진화형 에이전트(self-evolving agent)가 주목받고 있습니다. 이러한 변화는 안전성(safety) 문제를 변화시킵니다. 경험이 재사용 가능한 상태가 되면 과거의 사건이 미래의 원인이 되며, 특정 맥락에서는 무해했던 정보가 이후 더 큰 지속성, 권한 또는 범위를 가지고 의사결정에 영향을 미칠 수 있습니다. 따라서 자기 진화형 에이전트의 안전성은 단순히 응답이 정렬(alignment)되었는지 또는 행동이 승인되었는지만을 묻는 데 그치지 않고, 국소적으로 유용했던 경험의 축적, 일반화 및 맥락 간 재사용 과정에서도 안전성 특성이 유지되는지를 질문합니다. 본 논문에서는 기저(Substrate)가 재사용 가능한 영향을 특정하고, 적응(Adaptation)이 그 변화 방식을 포착하며, 위반(Violation)이 훼손된 안전 속성을 식별하고, 노출(Exposure)이 실패가 관측 가능해지는 지점을 표시하며, 대응(Response)이 격리, 복구 또는 철회를 평가하는 전이 중심 프레임워크인 SAVER를 소개합니다. 본 서베이를 통해 실패가 반드시 유해한 정보에서 비롯되는 것은 아니며, 적응 과정에서 상태의 지속성, 권한 또는 범위가 유효했던 조건을 벗어나 확장될 때 합법적인 상태도 안전하지 않게 변할 수 있음을 밝힙니다. 기존 연구들은 진입 허가, 검색, 활성화, 노출 및 국소적 격리에 대해서는 비교적 강력한 증거를 제시하지만, 후속 파생 요소(descendant)의 복구 및 적응 재개 후 평가에 대해서는 훨씬 부족합니다. 따라서 우리는 안전하지 않은 영향을 최초 발생 전이까지 추적하고, 후속 파생 요소 전반의 복구를 검증하며, 지속적인 진화 속에서 해당 영향이 다시 나타날 수 있는지를 테스트하는 종단적 평가를 제안합니다.

arXiv:2607.13104v1cs.AI공통 태그 Survey, Continual Learning

현대 에이전트 시스템에서의 자기 개선: 서베이

Self-Improvements in Modern Agentic Systems: A Survey

자기 개선형 자율 에이전트는 연구 프로토타입에서 배포 시스템으로 확산되고 있다. 핵심 목표는 최소한의, 심지어 인간 개입 없이 경험으로부터 통제 가능한 진화 또는 적응을 이루는 것이다. 본 서베이는 현대 자기 개선 에이전트를 경험을 누적된 역량 향상으로 전환하는 적응형 시스템으로 조망한다. 우리는 현대 에이전트를 기반 모델과 프롬프트, 메모리, 도구, 제어 로직으로 구성된 운영 스캐폴드를 결합한 설정으로 표현하는 시스템 수준의 프레임워크를 제시한다. 이 프레임워크 내에서 자기 개선은 모델 파라미터 또는 스캐폴드 구성 요소에 대한 갱신을 획득하고 반영하는 자기 유도 업데이트 연산자로 정식화된다. 선행 연구를 갱신 대상과 변화를 유도하는 신호에 따라 체계화하고, 응용을 검토하며 평가를 논의한 뒤, 미해결 과제와 향후 연구 방향으로 마무리한다. 편의를 위해 기술적 업데이트는 https://github.com/selfimproving-agent/awesome-Self-Improving-Agents 에서 추적한다.

arXiv:2607.13560v1q-bio.NC공통 태그 Survey, Continual Learning

생물체와 미래 체화 AI의 그라운딩 세계 모델

Grounded world models in biological organisms and future embodied AI

최근 생성 AI 및 체화 AI의 발전은 멀티모달 데이터에 대한 대규모 예측 학습에 의해 이끌려 왔다. 그러나 그로 인해 만들어진 시스템들은 여전히 대체로 수동적 학습 체계에 기반하며, 여기서는 언어적 규칙성이 다른 모달리티의 정보가 부착되는 골격을 형성한다. 반면, 신경과학과 인지과학은 생물학적 지능이 반대 방식으로 조직되어 있다고 제시한다. 즉, 환경과의 상호작용을 통해 획득한 그라운딩된 세계 모델이 언어가 부착되는 의미론적 골격을 제공한다. 여기서 우리는 그라운딩된 세계 모델링을 지지하는 신경 회로의 다섯 가지 사례를 설명한다. 이는 물리적·개념적 공간에서의 내비게이션, affordance 기반 지각 및 객체와의 상호작용, 능동적 지각과 탐색적 학습, allostatic 통제와 정서, 자기와 세계에서 생성된 결과 간의 구분을 뒷받침한다. 이러한 사례들은 현재 체화 AI에서 대체로 부족한 여러 특성을 부각한다. 여기에는 학습의 토대로서의 내재적 동역학의 역할, 외부 세계와 이러한 동역학을 정렬하는 데 있어 행동의 중심성, 외부에서 제공되는 데이터의 수동적 흡수보다 자율적 경험과 개방형 학습의 두드러짐, 그리고 초기 예측·통제 메커니즘이 추론, 개념적 내비게이션, 계획, 상상, 타인의 마음 이해, 의사소통과 같은 고차 인지 능력의 골격을 형성한다는 점이 포함된다. 마지막으로, 생물학적 시스템에서 도출된 원칙이 미래 체화 AI에 어떻게 기여할 수 있는지, 특히 세계 모델이 그라운딩될 뿐 아니라 사회적으로 공유되고 인간의 규범과 가치에 정렬되도록 사회적 상호작용에 기반한 학습 체계를 포함하여 논의한다.

arXiv:2607.11906v1cs.AI공통 태그 Survey, Continual Learning

비정상성 하에서의 문맥 내 강화학습: 서베이

In-Context Reinforcement Learning under Non-Stationarity: A Survey

결정 사전학습 트랜스포머, 알고리즘 지식 증류, 장문맥 메타-RL, 검색-증강 에이전트의 발전으로 문맥 내 강화학습(in-context reinforcement learning, ICRL)에 대한 관심이 다시 높아졌다. ICRL은 사전학습 또는 파인튜닝된 결정 모델이 테스트 시점 매개변수 업데이트 없이 상호작용 문맥으로부터 잠재 과제 규칙을 추론하고 향후 행동을 개선하는 능력을 말한다. 이 연구 계열은 시행착오 증거, 보상, 전이, 시연, 피드백 또는 검색된 경험이 컨텍스트 윈도우 내에서 학습과 유사한 계산을 어떻게 일으킬 수 있는지를 묻는다. 그러나 ICRL의 기존 서베이는 주로 사전학습 목표, 아키텍처, 문맥 형식, 평가 프로토콜, 이론적 메커니즘을 중심으로 분야를 정리하는 반면, 비정상 환경 설정은 비교적 덜 다루어졌다. 변화하는 환경에서는 축적된 문맥이 단순히 고정된 과제에 대한 더 많은 증거가 아니다. 보상 명세, 전이 커널, 관측 채널, 행동 인터페이스, 제약 모델, 또는 시연 및 메모리 분포가 현재 체제와 정렬에서 벗어날 수 있다. 따라서 이전에 유용했던 문맥은 시효가 지나거나 오해를 일으키거나, 이전 체제가 돌아올 때 다시 유용해질 수 있다. 우리는 비정상 ICRL을 배포된 정책 매개변수가 고정된 상태에서 문맥을 통해 적응하는 문제로 서베이한다. 정책은 현재의 결정 규칙과, 축적된 증거 중 어떤 부분이 여전히 그 규칙을 뒷받침하는지를 모두 추론해야 한다. 우리는 비정상 ICRL을 정의하고, 이를 메타-RL, 결정 시퀀스 모델링, 검색-증강 RL, 가치 및 모델 인지 ICRL, 보상 피드백 에이전트와 연관 짓으며, 문헌을 세 가지 질문을 따라 정리한다. 무엇이 변하는가, 변화가 어떻게 전개되는가, 그리고 변화가 에이전트에게 얼마나 관측 가능한가.

arXiv:2607.09785v1cs.CV공통 태그 Survey, Continual Learning

평생 표현: 비전 모델을 위한 지속적 자기지도 학습 서베이

Lifelong Representations: A Survey on Continual Self-Supervised Learning for Vision Models

전통적으로 지속적 학습은 레이블 데이터에 대한 접근을 가정해 왔지만, 평생 로보틱스와 같은 많은 실세계 응용 분야에서는 모델이 비레이블 스트림으로부터 지속적으로 적응해야 한다. 이로 인해 지속적 자기지도 학습(CSSL)이 발전해 왔으나, 이 빠르게 성장하는 분야는 전용적이고 체계적인 리뷰가 부재한 상황이다. 본 연구에서는 새롭게 부상하는 비전-언어 설정과의 연결점을 포함하여 비전을 위한 CSSL에 대한 포괄적인 서베이를 제시한다. 먼저, 기존 평가 프로토콜을 분석하고 공정한 비교를 저해하는 불일치점을 부각한다. 이어서 자기지도 목적함수가 파국적 망각(catastrophic forgetting)에 대해 향상된 강인성을 보이는 이유를 태스크 무관 표현 및 더 완만한 손실 경관과 연관지어 살펴본다. 다음으로, 지식 증류, 리플레이, 정규화, 아키텍처 접근법, 모델 병합, 목적함수 수준 적응을 포함한 망각 완화 전략을 기반으로 기존 방법들을 통합된 분류체계로 정리한다. 마지막으로, 확장성 및 빠른 적응성의 필요성과 같은 미해결 과제를 도출한다. 우리는 CSSL의 발전이 소규모 벤치마크를 넘어 대규모 시스템을 위한 지속적 사전학습 패러다임으로 나아가야 한다고 주장한다.

arXiv:2607.10113v1cs.AI공통 태그 Survey, Continual Learning

동적 에이전트 스킬: 진화하는 스킬 라이브러리의 생명주기 서베이 및 분류 체계

Dynamic Agent Skills: A Lifecycle Survey and Taxonomy of Evolving Skill Libraries

대규모 언어 모델(LLM) 에이전트는 재사용 가능한 절차를 모델 외부에 저장하는 경향이 점점 증가하고 있다. 이러한 재사용 가능한 절차는 흔히 스킬(skill)이라 불리며, 코드 함수, 자연어 명령, SKILL.md 패키지, 워크플로우 그래프, 또는 미래의 에이전트가 검색하고 호출할 수 있는 학습된 어댑터 형태일 수 있다. 이 분류 체계 기반 서베이는 이러한 스킬 라이브러리가 시간에 따라 어떻게 변화하는지를 탐구한다. 2023년부터 2026년까지의 124편 논문 감사 집합을 대상으로, 우리는 동적 스킬 시스템을 생명주기 관리, 검증, 진화하는 아티팩트 저장소로 종합한다: 에이전트는 상호작용에서 증거를 수집하고, 스킬 업데이트를 제안하며, 후보를 검증 및 수용하고, 검색과 합성을 위해 정리하며, 오래된 항목을 수리하거나 제거하고, 출처 추적과 롤백을 통해 공유를 관리한다. 우리는 문헌을 세 가지 서베이 도구를 중심으로 구성한다. 첫째, 6가지 유형 분류 체계는 현재 논문에서 '스킬'이라 불리는 구조적으로 상이한 아티팩트들을 구분한다. 둘째, 8단계 생명주기 아키텍처는 증거 획득, 제안, 검증/수용, 저장, 검색/합성, 유지보수, 증류/이식성, 그리고 거버넌스에 관한 반복적인 설계 결정을 식별한다. 셋째, 경량 스킬 레코드 스키마와 10가지 연산자 어휘는 라이브러리 업데이트를 별도의 방법론적 기여로 격상시키지 않고 비교하기 위한 공통 용어를 제공한다. 이 구조를 활용하여, 우리는 명시적 주의사항과 함께 증거 기반 패턴을 종합한다: 수용과 수리는 반복적으로 중요하며, 검증기 품질은 스킬 인식 강화학습(RL)에 실질적인 영향을 미치고, 단층 검색은 라이브러리가 커질수록 성능이 저하될 수 있으며, 현재 벤치마크는 여전히 라이브러리 궤적, 사용-효용 격차, 그리고 안전성 표면을 과소 보고하고 있다. 마지막으로, 동적 스킬을 정적 프롬프트나 도구 모음이 아닌 변화하는 라이브러리로 평가하기 위한 구체적인 보고 기준과 미해결 문제를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.