arXiv:2605.05780v2 cs.AI

폰 노이만 네트워크

Von Neumann Networks

Shekhar S. Chandra

제출 2026-05-07

한국어 초록

20세기 중반, 수학자이자 박식가인 존 폰 노이만(John von Neumann)은 인간 뇌의 단순한 모델로서 셀 배열 기반의 계산 시스템을 고안했습니다. 이 시스템에서 각 셀은 유한한 역할 또는 상태 집합 중 하나를 가지며, 그는 이를 확산 과정(diffusion process)으로 모델링할 수 있을 것으로 예측했습니다. 본 연구에서는 이러한 시스템을 현대의 심층 학습(deep learning) 환경에서 발전시킬 경우, 학습 가능한 특화된 역할을 가진 인공 뉴런의 구축이 가능함을 보여줍니다. 저자들은 이 뉴런을 폰 노이만 뉴런(Von Neumann neuron)이라 부르며, 이러한 뉴런들로 구성된 신경망(neural network)은 해당 셀 배열상에서 입력 및 출력의 구조와 위치에만 아키텍처가 의존하는 자가 설계형(self-engineered) 구조를 이룹니다. 또한 이러한 폰 노이만 네트워크(Von Neumann Networks, VNN)의 수학적 프레임워크를 정립하여, 이들이 신경 연산자(neural operator)의 확장과 확산 특성을 지닌 셀 토폴로지상에서의 합성곱(convolution)을 통한 그린 함수(Green's function) 학습에 기반하고 있음을 밝힙니다. 아울러 이러한 VNN이 계산적으로 보편적인(computationally universal) 더 일반적인 계산 체계인 셀룰러 머신(Cellular Machines)의 일부임을 증명합니다. 초기 실험 결과에 따르면 VNN 기반 다층 퍼셉트론(MLP)은 기본 작업에서 기존의 심층 학습 대응 모델보다 우수한 성능을 보이면서도 더 매개변수(parameter) 효율적이며, 새로운 유형의 작업을 학습할 수 있음을 보여줍니다. 여기에는 모든 현대 컴퓨터에 공통적인 폰 노이만 (하드웨어) 아키텍처를 셀로 확장하여 해결 및 구축하는 능력이 포함되며, 이는 탐색 가능한 새로운 기회를 시사합니다.

원문 초록

In the mid-twentieth century, mathematician and polymath John von Neumann created a computational system on an array of cells as a simple model of the human brain, where each cell had one of a finite set of roles or states that he predicted would be modelled by a diffusion process. In this work, we show that such a system, when developed in a modern deep learning setting, enables the construction of an artificial neuron having specialized roles that can be learnt. We refer to this neuron as the Von Neumann neuron, and the resulting neural network from such neurons result in a self-engineered design whose architecture is only dependent on the structure and locations of its inputs and outputs on this cellular array. The mathematical framework for these Von Neumann Networks (VNNs) is also constructed and shows that they are based on the extension of neural operators and the learning of Green's functions with convolutions on a cellular topology having a diffusion signature. We also prove that these VNNs are part of a more general computational system called Cellular Machines that are computationally universal. Initial experiments show that VNN based multi-layered perceptrons outperform their equivalent deep learning variant on basic tasks, while being more parameter efficient and are capable of learning new types of tasks. This includes the ability to solve for and construct an extension of the Von Neumann (hardware) architecture common to all modern computers to cells and suggests new opportunities that could be explored.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.05780v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2510.18989v4cs.LG공통 태그 neural operators

신경 연산자의 솔버 통합 적대적 공격 및 학습

Solver-Integrated Adversarial Attacking and Training of Neural Operators

신경 연산자(Neural Operator)는 입력 함수를 해 함수로 매핑하는 수치 편미분방정식(PDE) 솔버의 빠른 대리 모델로 널리 사용된다. 그러나 연산자 학습 환경에서의 일반화 능력과 강건성은 전통적인 적대적 강건성 정의와 상이하기 때문에 아직 명확하게 정의되지 않았다. 본 논문은 학습된 신경 연산자의 일반화 능력과 강건성을 솔버 통합 관점에서 연구하며, 학습된 연산자와 수치 솔버의 출력이 입력 섭동(perturbation) 하에서 함께 변하는 경향이 있다는 과제를 다룬다. 첫째, 모델-솔버 오류 연산자를 통해 일반화와 강건성의 정의를 공식화하여, 고정 입력 모델-솔버 손실을 일반화 지표로, 노름 제한 적대적 공격 손실 증가와 야코비안-오류 함수 노름을 강건성 지표로 식별한다. 둘째, 솔버 통합 적대적 공격이 PDE 연산자 학습에 적합함을 규명하고, 솔버 출력도 입력에 따라 변할 때 모델 단독 또는 고정 정답 공격이 불충분할 수 있는 이유를 제시한다. 셋째, 신경 연산자를 위한 솔버 통합 적대적 학습 방법을 개발한다. 대표적인 PDE 벤치마크에 대한 실험에서 이 솔버 통합 적대적 학습이 일반화 능력과 강건성 모두를 명확히 향상시킴을 보인다. 솔버를 더 깊이 통합할수록 덜 통합된 대안에 비해 더 효과적인 공격, 더 유익한 샘플, 더 효율적인 학습을 달성한다. 이러한 결과는 과도한 수동 개입 없이 강건한 연산자 학습과 자동 샘플 선택을 위한 일반적인 프레임워크를 제공한다. 더 넓게는, 정답 오라클(oracle)이 실제 입력-출력 매핑을 평가하고 이상적으로는 미분할 수 있는 경우라면 언제든지 이 공식화를 적대적 회귀에 적용할 수 있으며, PDE 연산자 학습은 그러한 사례 중 하나이다.

arXiv:2610.10867v1cs.LG공통 태그 cellular automata

분류 성능의 지표로서 라이프-유사 네트워크 오토마타 규칙의 형태 불규칙성

Shape irregularity of Life-Like Network Automaton rules as an indicator of classification performance

복잡 네트워크(Complex Network, CN) 분류는 스케일 불변(scale-invariant)이면서도 계산적으로 효율적인 고수준의 구조적 특성화를 필요로 합니다. 라이프-유사 네트워크 오토마타(Life-Like Network Automata, LLNA) 기반 방법은 사전에 제공된 특징 없이도 창발적 시간 패턴을 활용하여 네트워크 기술자(descriptor)를 추출하는 흥미로운 방식을 제공하지만, 그 효과는 오토마타 전이 규칙의 선택이라는 높은 비용의 조합 최적화 문제로 인해 병목 현상을 겪습니다. 기존 연구들은 대규모 응용에 실현 불가능한 전수 탐색(exhaustive search)에 의존하는 반면, 본 연구는 규칙 공간이 LLNA 전이 함수와 톱니 형태의 유사성을 정량화하는 '들쭉날쭉함(jaggedness)'이라는 특성으로 근본적으로 구조화되어 있음을 밝힙니다. 우리는 이 지표가 혼돈성(chaoticity)과 민감도(sensitivity)에 대한 이론적 대리 지표로 작용함을 입증하며, 이러한 특성은 네트워크 범주 간의 식별력 있는 동적 동작을 생성하는 데 필수적입니다. 나아가, 우리는 들쭉날쭉함을 활용하여 규칙 선택을 유도하는 휴리스틱 탐색 전략을 도입합니다. 실험 결과에 따르면 본 접근법은 전수 탐색 방식에 비해 계산 오버헤드를 90% 줄이면서도 전역 최적값 대비 5% 이내의 분류 정확도를 달성합니다. 우리의 발견은 패턴 인식을 위한 오토마타 기반 방법을 최적화하는 새롭고 효율적인 프레임워크를 제공합니다.

arXiv:2509.26371v3math.FA공통 태그 neural operators

신경망과 연산자를 위한 벡터값 재생 커널 Banach 공간

Vector-Valued Reproducing Kernel Banach Spaces for Neural Networks and Operators

최근 신경망의 기저 함수 공간을 특성화하는 데 대한 관심이 커지고 있다. 얕은(shallow) 및 깊은(deep) 스칼라값 신경망은 스칼라값 재생 커널 Banach 공간(RKBS)과 연결되어 왔지만, $\mathbb{R}^d$값 신경망과 신경 연산자(neural operator) 모델은 RKBS 설정에서 덜 이해되고 있다. 이 공백을 메우기 위해, 본질적으로 관련 재생 커널을 포함하는 벡터값 RKBS(vv-RKBS)의 수반 쌍(adjoint pair) 개념을 개발하고, 모든 vv-RKBS가 그러한 쌍에 속함을 증명한다. 우리의 구성은 대칭 커널 정의역, 유한차원 출력 공간, 반사성(reflexivity), 또는 분리성(separability)과 같은 제한적 가정을 피함으로써 기존 커널 정의를 확장하면서, 벡터값 재생 커널 Hilbert 공간(vv-RKHS)의 친숙한 성질을 여전히 회복한다. 그런 다음 얕은 $\mathbb{R}^d$값 신경망이 특정 vv-RKBS, 즉 적분 vv-RKBS(integral vv-RKBS)의 한 사례의 원소임을 보인다. 신경 연산자의 함수적 구조도 탐구하기 위해 DeepONet과 Hypernetwork 아키텍처를 분석하고, 이들 역시 적분 vv-RKBS에 속함을 보인다. 모든 경우에, 이러한 함수 공간에 대한 최적화가 해당 신경 아키텍처를 회복함을 보이는 표현 정리(representer theorem)를 확립한다.

arXiv:2503.18219v2cs.LG공통 태그 neural operators

신경망과 신경 연산자의 이론-실무 간극

Theory-to-Practice Gap for Neural Networks and Neural Operators

본 연구는 렐루(ReLU) 신경망과 신경 연산자를 이용한 학습의 샘플링 복잡도를 다룬다. 관련 근사 공간에 속하는 매핑에 대해, 샘플 수에 대한 임의의 학습 알고리즘이 달성할 수 있는 최적 수렴 속도의 상한을 유도한다. 유한차원 경우, 이러한 상한은 학습의 파라미터 복잡도와 샘플링 복잡도 사이의 간극, 즉 이론-실무 간극(theory-to-practice gap)을 함의한다. 본 연구에서는 일반적인 $L^p$ 설정에서 이론-실무 간극에 대한 통합적 처리를 달성하는 동시에, 기존 문헌의 상한을 개선한다. 또한 이러한 결과를 바탕으로 이론-실무 간극을 연산자 학습의 무한차원 설정으로 확장한다. 우리의 결과는 푸리에 신경 연산자(Fourier neural operator)를 포함한 딥 연산자 네트워크(Deep Operator Networks) 및 적분 커널 기반 신경 연산자에 적용된다. 보흐너(Bochner) $L^p$-노름에서 최적 가능 수렴 속도가 $1/p$ 차수의 속도로 제한됨을 보인다.

arXiv:2607.12403v1cs.NE공통 태그 cellular automata

성장 신경 세포 자동기의 자기 유지에 있어 구조화된 변동과 정보 역학

Structured Fluctuations and the Information Dynamics of Self-Maintenance in Growing Neural Cellular Automata

성장 신경 세포 자동기(GNCA)는 견고한 자기 유지와 자기 복구가 가능하지만, 이러한 능력을 뒷받침하는 내부 역학 메커니즘은 아직 잘 이해되지 않았다. 본 연구에서는 학습된 GNCA 모델에서 내부 변동—은닉 채널 상태의 시간적 미세 변동성—의 역할을 조사하며, 이러한 변동성이 단순히 잔존 확률적 노이즈에 불과하다는 가정에 이의를 제기한다. 업데이트 비율 스윕, 공간 상관 측정, 집합적 상태 궤적의 차원 축소, 국소 손상 실험, 전달 엔트로피 벡터장 추정, 부분 정보 분해에 이르는 체계적 분석을 통해, 내부 변동이 공간적으로 구조화되어 있고, 끌리는 집합적 상태와 동적으로 결합되며, 손상 복구에 기여하는 분산된 소규모 크기 업데이트와 연관됨을 보인다. 손상은 잠재 상태 공간에서 전역적 편차를 유발한 뒤 점진적 재수렴으로 이어지며, 세포 대다수를 포함하는 허용 반경 밖에서 기준선 변동 역학과 연관된 분산된 소규모 크기 업데이트를 억제하면 복구가 크게 저해된다. 전달 엔트로피 분석은 공간적으로 분화된 복구 반응을 규명한다: 손상 부근에서는 교정적 내향 흐름이, 더 먼 거리에서는 외향 교란 전파가 공존한다. 부분 정보 분해는 또한 복구 과정에서 시너지 지배적 휴지 계산에서 중복성 증가 조율로의 체제 전환을 시사한다. 이러한 결과는 GNCA의 자기 복구가 고차원 비선형 집합 역학에서 발생하며, 내부 변동이 정보 흐름, 조율, 끌리는 순환 상태로의 복귀를 지원하는 기능적 구성 요소로 작용함을 나타낸다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.