센싱에서 지능으로: 뉴로모픽 회로와 시스템을 위한 원리
Sensing to Intelligence: Principles for Neuromorphic Circuits and Systems
한국어 초록
뉴로모픽 공학(neuromorphic engineering)은 신경계가 시간에 따라 감각을 인지하고 적응하며 진화하는 방식에서 영감을 얻어, 시스템의 물리적 거동 자체를 계산에 활용할 수 있다는 아이디어에서 출발했습니다. 이후 이 분야는 초기 아날로그 회로를 훨씬 넘어 이벤트 기반 센서, 스파이킹 프로세서, 차세대 메모리 소자, 혼성 신호(mixed-signal) 시스템, 대규모 신경 가속기까지 포괄하도록 확장되었습니다. 그러나 이러한 확장과 함께 '뉴로모픽'의 의미는 점차 모호해졌습니다. 본 관점(Perspective) 논문에서 우리는 뉴로모픽 공학이 생물학적 구성요소와의 유사성이나 특정 소자, 신호 표현, 또는 기판에 의해 정의되어서는 안 된다고 주장합니다. 뉴로모픽의 잠재력은 생물학적 시스템에서 계산 원리를 규명하고 이를 인공 기계의 조직 구조와 동역학으로 변환하는 데 있습니다. 특정 시스템이 진정한 의미의 뉴로모픽이 되기 위해서는, 차용된 생물학적 또는 물리적 원리가 정보의 표현 방식, 상태의 진화 방식, 또는 전체 시스템이 달성하는 능력에 인과적이고 설계 관점에서 유의미한 역할을 해야 합니다. 우리는 센싱, 집합 통신 계산(collective computation), 메모리, 학습, 상호작용 전반에 걸쳐 이러한 관점을 전개합니다. 적응, 비선형 동역학, 어트랙터(attractor) 구조, 가변성, 그리고 폐루프(closed-loop) 동작은 계산이 기계의 진화하는 물리적 상태에 어떻게 내재될 수 있는지를 잘 보여줍니다. 이러한 예시들을 바탕으로 뉴로모픽 시스템을 위한 일련의 설계 원리를 도출합니다. 뉴로모픽 공학이 보다 폭넓은 실적용을 향해 나아감에 따라, 본 관점은 중심 질문을 기계가 신경계와 얼마나 유사한지에서 이러한 원리를 이해하고 새로운 기계로 의도적으로 구현했을 때 어떤 계산이 가능해지는지로 전환합니다.
원문 초록
Neuromorphic engineering began with the idea that the physical behavior of a system could itself be used for computation, taking inspiration from the way nervous systems sense, adapt, and evolve in time. The field has since expanded far beyond its early analog circuits to include event-based sensors, spiking processors, emerging memory devices, mixed-signal systems, and large-scale neural accelerators. With this expansion, however, the meaning of neuromorphic has become increasingly broad. In this Perspective, we argue that neuromorphic engineering should be defined neither by resemblance to biological components nor by any particular device, signal representation, or substrate. Its potential lies in identifying computational principles in biological systems and translating them into the organization and dynamics of artificial machines. A system is truly neuromorphic when the invoked biological or physical principle plays a causal, design-relevant role in how information is represented, how state evolves, or what capability the complete system achieves. We develop this view across sensing, collective computation, memory, learning, and interaction. Adaptation, nonlinear dynamics, attractor structure, variability, and closed-loop action illustrate how computation can be embedded in a machine's evolving physical state. From these examples, we identify a set of design principles for neuromorphic systems. As neuromorphic engineering moves toward wider deployment, this perspective shifts the central question from how closely machines resemble nervous systems to what computation becomes possible when their principles are understood and deliberately translated into new machines.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.22838v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
생성적 적대 신경망과 멤리스터 기반 분류기를 이용한 비정면 얼굴 인식
Non-frontal face recognition using GANs and memristor-based classifiers
얼굴 인식 시스템은 심층 학습(deep learning) 기법을 통해 크게 발전하여 복잡한 시나리오에서 높은 성능과 견고성을 제공하고 있다. 그러나 이러한 접근 방식은 상당한 연산 오버헤드를 수반하여, 비정면 얼굴 영상 처리 등의 과제를 해결해야 하는 드론과 같은 자원 제약적 플랫폼에서의 현장 적용성을 제한한다. 멤리스터 기반 뉴로모픽 시스템은 생물학적으로 영감을 받은 처리 방식과 효율적이고 확장 가능한 연산을 결합하여 엣지 AI 응용을 위한 유망한 접근법으로 부상하고 있다. 본 연구에서는 경량 생성적 적대 신경망(GAN) 기반의 포즈 정면화와 멤리스터 기반 뉴로모픽 인식을 통합하여 비정면 포즈 변화를 처리하는 얼굴 인식 프레임워크를 제안한다. 두 가지 데이터셋에 대한 실험 결과는 적대적 학습과 멤리스티브 기술의 결합이 효과적임을 입증하며, 최대 96%의 식별 정확도를 달성하였다. 제안된 접근 방식은 기존 AI의 연산 병목을 완화하고, 동적인 실세계 환경에서의 얼굴 인식을 위한 확장 가능하고 효율적인 솔루션을 제공한다.
스파이킹 트랜스포머의 소프트맥스-프리 어텐션: 이준위 시스템의 영온도 극한
Softmax-Free Attention in Spiking Transformers as the Zero-Temperature Limit of Two-Level Systems
스파이킹 트랜스포머(Spiking Transformer)는 소프트맥스 정규화를 포기하고 임계값 기반의 이진(binary) 어텐션을 사용함으로써 에너지 효율성을 달성한다. 그러나 이러한 제거는 정규화된 측도(normalized measure)와 분배함수(partition function)가 더 이상 존재하지 않게 되면서, 어텐션 네트워크를 분석하는 데 사용되던 열역학적 프레임워크를 무너뜨린다. 우리는 소프트맥스 없는 스파이킹 어텐션이 독립적인 이준위 시스템들의 곱의 영온도 극한과 정확히 동일하게 작동함을 증명함으로써 이 이론적 기반을 복원한다. 이 대응관계는 모든 입력에 대해 스파이킹 어텐션을 열역학적 상태도(phase diagram)의 동결된 질서상(frozen ordered phase)에 엄격하게 위치시킨다. 그 결과, 어텐션을 구성하는 데 필요한 엔트로피적 비용은 붕괴하며, 그 자리를 활동전위(action potential) 생성에 의해 결정되는 란다우어(Landauer) 유형의 물리적 하한이 대신하게 된다. 더 나아가, 이러한 질서상 고정(pinning)은 대리 기울기(surrogate gradient) 소실로 인한 최적화의 어려움을 수학적으로 설명한다. 우리는 전진 이완(forward-relaxation) 실험을 통해 이 이론을 검증하며, 표준 어텐션과 뉴로모픽(neuromorphic) 어텐션 메커니즘을 통합된 열역학적 축 위에 위치시킨다.
시간축에 견고한 지속 학습 스파이킹 신경망을 위한 로컬 시간축 게이트
Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks
스파이킹 신경망(spiking neural networks, SNN)은 뉴로모픽 하드웨어에서 에너지 효율적인 인공지능을 구현할 것으로 기대되지만, 특히 지속 학습(continual learning) 상황에서 빠른 적응과 장기 기억을 모두 요구하는 과제에는 어려움을 겪는다. 우리는 이중 시간 상수 동역학과 적응형 게이팅 메커니즘을 결합한 뉴런 모델인 로컬 시간축 게이팅(Local Timescale Gating, LT-Gate)을 제안한다. 각 스파이킹 뉴런은 빠른 시간축과 느린 시간축의 정보를 병렬로 추적하며, 학습된 게이트가 이들의 영향을 국소적으로 조절한다. 이 설계는 개별 뉴런이 느린 맥락 정보를 보존하면서도 빠른 신호에 반응할 수 있게 하여 안정성-소성 딜레마(stability-plasticity dilemma)를 해결한다. 우리는 추가로 생물학적 항상성(homeostasis)에서 영감을 받아 발화 활동을 안정화하는 분산 추적 정규화를 도입한다. 실험적으로 LT-Gate는 순차 학습 과제에서 정확도와 보존력을 크게 향상시킨다. 까다로운 시간적 분류 벤치마크에서 LT-Gate는 약 51%의 최종 정확도를 달성하며, 이는 최근의 헤비안(Hebbian) 지속 학습 기준선의 약 46%와 기존 SNN 방법들의 더 낮은 정확도에 비해 우수하다. 외부 리플레이(replay)나 고비용 직교화(orthogonalization)를 요구하는 접근법과 달리, LT-Gate는 국소 업데이트만으로 동작하며 뉴로모픽 하드웨어와 완전히 호환된다. 특히 LT-Gate는 온칩 학습을 위해 Intel의 Loihi 칩이 가진 특성(서로 다른 감쇠율을 갖는 다중 시냅스 트레이스)을 활용한다. 본 연구 결과는 다중 시간축 게이팅이 SNN의 지속 학습 성능을 크게 향상시킬 수 있음을 보여주며, 평생 학습(lifelong-learning) 과제에서 스파이킹 신경망과 기존 딥러닝 네트워크 간의 격차를 줄인다.
SpikeMoE: 유연한 스파이킹 전문가 혼합을 위한 뇌 모사 경쟁적 라우팅
SpikeMoE: Brain-Inspired Competitive Routing for Flexible Spiking Mixture-of-Experts
스파이킹 신경망(SNN)은 뉴런 수준에서 생물학적으로 영감을 받은 동역학을 통해 이벤트 기반 연산을 가능하게 하는 반면, 전문가 혼합(MoE)은 모델 수준에서 전문가 선택을 통해 조건부 연산을 수행합니다. 이들의 장점을 결합하면 유연한 신경망 구조를 구축할 수 있는 잠재력이 생깁니다. 그러나 핵심적인 과제는 스파이킹 활동을 기반으로 하는 전문가 선택 메커니즘을 설계하는 데 있습니다. 이를 해결하기 위해 본 논문에서는 해마 CA1 영역에서 관찰되는 경쟁-억제(competition-inhibition)에서 영감을 얻은 스파이크 기반 k-WTA 라우터를 도입합니다. 이 라우터는 측두 억제(lateral inhibition)와 불응기(refractory period)를 결합하여 이산적인 스파이크 수에 따라 상위 K개(Top-K) 전문가를 선택합니다. 이를 바탕으로 뉴런 수준의 스파이킹 동역학과 모델 수준의 전문가 선택을 통합하는 프레임워크인 SpikeMoE를 제안합니다. 또한 멀티모달 과제에서 불완전한 다중 감각 입력을 처리하기 위해, 관측된 모달리티 풀의 경험적 프로토타입과 모달리티별 학습 가능한 임베딩(embedding)을 결합하여 결측 모달리티 표현을 구축하는 2단계 결측 모달리티 모델링 모듈을 SpikeMoE에 추가로 탑재했습니다. 비전, 언어 및 멀티모달 벤치마크(benchmark)에 대한 실험 결과는 SpikeMoE가 SNN 베이스라인 중 최고 수준의 성능을 달성하고, 이에 상응하는 인공신경망(ANN)의 성능과 일치하거나 이를 능가하며, 다양한 결측 모달리티 조건 전반에서 견고성을 유지함을 보여줍니다. 이러한 결과는 성능과 에너지 효율성 간의 우수한 절충점(trade-off)을 입증하여, 스파이킹 동역학과 희소 전문가 연산의 통합 타당성을 검증하고 에너지 효율적인 뇌 모사 컴퓨팅을 위한 유망한 접근법으로서 SpikeMoE의 가치를 부각합니다.
순방향 타깃 전파: 국소 손실을 통한 전역 오차 기여도 할당의 순전파 전용 접근법
Forward Target Propagation: A Forward-Only Approach to Global Error Credit Assignment via Local Losses
신경망 학습(training)은 전통적으로 그래디언트(gradient) 기반 알고리즘인 역전파(backpropagation, BP)에 의존해 왔으나, 역전파의 광범위한 성공에도 불구하고 생물학적 및 하드웨어적 관점 모두에서 주요한 한계를 지닙니다. 여기에는 대칭 가중치에 의한 역방향 오차 전파, 비국소적 기여도 할당(non-local credit assignment), 역전파 과정에서의 활성화 동결 등이 포함됩니다. 본 논문에서는 역전파를 두 번째 순전파(forward pass)로 대체하는 생물학적으로 타당하며 계산 효율적인 대안인 순방향 타깃 전파(Forward Target Propagation, FTP)를 제안합니다. FTP는 피드포워드 계산만을 사용하여 층별(layerwise) 타깃을 추정하므로, 대칭적 피드백 가중치나 학습 가능한 역함수의 필요성을 없애 모듈형 국소 학습을 가능하게 합니다. 완전 연결 신경망, CNN, RNN에서 FTP를 평가한 결과, MNIST, CIFAR10, CIFAR100에서 BP와 경쟁력 있는 정확도를 보였을 뿐만 아니라 순차적 태스크에서 장기 의존성을 효과적으로 모델링함을 입증했습니다. 나아가 FTP는 양자화(quantization)된 저정밀도(low-precision) 및 최신 하드웨어 제약 조건에서 BP를 능가하는 성능을 보였으며, 타깃 전파 변형 및 순전파 전용 학습 알고리즘과 같은 여타 생물학적 영감을 받은 방법들에 비해 상당한 효율성 향상을 입증했습니다. 최소한의 계산 오버헤드, 순전파 전용 특성, 하드웨어 호환성을 갖춘 FTP는 에너지 효율적인 온디바이스 학습 및 뉴로모픽 컴퓨팅을 위한 유망한 방향을 제시합니다.
스파이킹 신경망(Spiking Neural Network)은 핀볼을 할 수 있을까? 표적 추적을 위한 뉴로모픽 모션 검출기
Can Spiking Neural Networks play pinball? A neuromorphic motion detector for target tracking
생물학적 시각 시스템은 희소하고 비동기적인 스파이킹 신호를 처리함으로써 연속적이고 지연시간이 낮은 모션 인지(motion perception)를 달성하며, 이를 통해 엄격한 에너지 제약 하에서도 실시간 추적을 가능하게 한다. 포유류의 망막에서 영감을 받은 이벤트 기반 카메라(event-based camera)는 국소적인 밝기 변화만을 비동기 이벤트로 포착함으로써 이러한 효율성을 재현하며, 스파이킹 신경망(SNN)이 연산을 병렬화하고 빠르게 변화하는 장면에 적응할 수 있는 자연스러운 기반을 제공한다. 핀볼(pinball)은 작고 빠르게 움직이는 타깃에 대한 정밀한 모션 추정과 신속한 반응을 요구하는, 통제되면서도 동적인 테스트베드를 제공한다. 본 연구는 폐루프(closed-loop) 핀볼 게임플레이를 위한 완전한 스파이킹 기반의 실시간 인지-행동(perception-to-action) 파이프라인을 제시한다. 동적 비전 센서(dynamic vision sensor)가 작고 빠르게 움직이는 공을 관측하며, SpiNNaker 뉴로모픽 플랫폼 상의 스파이킹 시간차 인코더(Time-Difference Encoder) 네트워크가 공의 위치, 속도, 방향을 공동으로 추정한다. 이 시스템은 실시간 동작을 위해 수용장(receptive field) 크기, 누적 윈도우(accumulation window), 각도 튜닝 폭(angular tuning width)을 기준으로 특성화되며, 물리적 사실성이 점차 높아지는 두 가지 플리퍼(flipper) 체제(regime)에서 인간 플레이어를 상대로 폐루프 방식으로 벤치마킹된다. 이 시스템은 56.1%의 적중률(hit rate)을 달성하는데, 이는 인간 평균의 거의 두 배에 해당하며, 21.7ms(네트워크 지연시간 5ms) 이내에 반응하고 25,000개 미만의 뉴런을 사용하여 약 148 μW를 소비함으로써, 벤치마킹된 이벤트 기반 폐루프 시연 시스템 중 가장 빠르고 가장 에너지 효율적인 축에 속한다. 보다 사실적인 플리퍼 역학(dynamics) 하에서는, 해석 가능한 단일 정책 매개변수(policy parameter)를 조정하는 것만으로 인지 파이프라인의 변경 없이 신중한 플레이 스타일부터 공격적인 플레이 스타일에 이르는 인간 플레이 스타일의 전체 스펙트럼을 재현한다. 실제 공을 추적하고 실제 플리퍼를 폐루프 방식으로 구동하는 물리적 시연 장치(physical demonstrator)는 이 원리가 시뮬레이션을 넘어서도 작동함을 확인시켜 준다. 완전한 스파이킹 기반의, 학습이 필요 없는(learning-free) 설계는 실시간 뉴로모픽 인지-행동의 소형이면서 에너지 효율적인 사례를 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.