GrapNet: 프로그래밍 가능한 동적 아키텍처 신경망 그래프 기반
GrapNet: A Programmable Dynamic-Architecture Neural Graph Substrate
한국어 초록
프로그래밍 가능성은 고정 텐서 신경망에서 누락된 일급 인터페이스입니다. 관계 편집, 서브그래프 동결, 지역 함수 감사, 또는 실행 백엔드 변경은 임시적인 매개변수 수술이 아니라 신경망 프로그램에 대한 연산이어야 합니다. GrapNet은 이 그래프-네트워크 설정을 연구합니다. 그래프는 입력 데이터 그래프가 아니라 아키텍처이자 실행 가능한 프로그램입니다. 각 연산 노드는 다음 층 자식 참조와 해당 참조에 정렬된 학습 가능한 할당 벡터를 소유합니다. 관계를 삭제하면 자식 참조와 해당 할당 좌표가 물리적으로 제거됩니다. 구조적 규칙과 실행 정책은 노드 코어 외부에 존재하므로, 동일한 자식 소유 그래프를 성장시키고, 동결하고, 구조적으로 편집하고, 학습 가능한 패밀리 블록으로 그룹화하고, 활성 관계에 대한 어텐션으로 라우팅하거나, 토폴로지가 안정화된 후 밀집 스냅샷으로 변환할 수 있습니다. GrapNet은 벡터 값 부모 인터페이스를 통해 기존 모듈과 구성됩니다. 밀집 층, CNN 인코더, ResNet 특징 추출기, 어텐션 블록, 트랜스포머 표현은 모두 좌표당 하나의 감각 GrapNode에 공급할 수 있습니다. 평가는 새로운 리플레이 벤치마크가 아니라 프로그래밍 가능성 스트레스 스위트로 구성됩니다. 일치하는 10개 시드를 사용한 Split Fashion-MNIST 연구에서, 가소성 있는 GrapNet+ER 헤드는 동일한 seen-class 손실 및 리플레이 메모리 하에서 매개변수가 더 큰 밀집 MLP+ER의 51.08%에 비해 63.16%의 seen-class 정확도를 달성했으며, 쌍별 차이는 12.08 포인트이고 p=1.3e-5입니다. 동결된 ImageNet ResNet-18 인코더를 사용한 Split CIFAR-10에서, 동일한 기반은 MLP-256 대비 온라인 헤드를 3.81 포인트 향상시켰으며, p=0.0026입니다. 이러한 결과는 GrapNet이 핵심 가치가 충실한 실행 뷰와 함께 구조적 프로그래밍 가능성인 편집 가능한 신경망 그래프 기반임을 뒷받침합니다.
원문 초록
Programmability is a missing first-class interface in fixed-tensor neural networks: editing a relation, freezing a subgraph, auditing a local function, or changing the execution backend should be an operation on the neural program rather than ad-hoc parameter surgery. GrapNet studies this graph-as-network setting. The graph is the architecture and executable program, not an input data graph. Each compute node owns its next-layer child references and a trainable allocation vector aligned with those references; deleting a relation physically removes both the child reference and the corresponding allocation coordinate. Structural rules and execution policies live outside the node core, so the same child-owned graph can be grown, frozen, structurally edited, grouped into trainable family blocks, routed by attention over active relations, or lowered to dense snapshots after topology stabilizes. GrapNet composes with conventional modules through a vector-valued parent interface: dense layers, CNN encoders, ResNet feature extractors, attention blocks, and transformer representations can all feed one sensory GrapNode per coordinate. The evaluation is organized as a programmability stress suite rather than as a new replay benchmark. In a matched ten-seed Split Fashion-MNIST study, a plastic GrapNet+ER head reaches 63.16 percent seen-class accuracy versus 51.08 percent for a parameter-larger dense MLP+ER under the same seen-class loss and replay memory, with paired delta 12.08 points and p=1.3e-5. On Split CIFAR-10 with a frozen ImageNet ResNet-18 encoder, the same substrate improves the online head over MLP-256 by 3.81 points, with p=0.0026. These results support GrapNet as an editable neural graph substrate whose core value is structural programmability with faithful execution views.
요약
GrapNet은 그래프를 입력 데이터가 아니라 신경망 아키텍처·실행 프로그램으로 두고, 각 연산 노드가 자식 참조와 정렬된 학습 가능 할당 벡터를 소유해 관계 편집·동결·성장을 1급 연산으로 처리하는 편집 가능한 동적 아키텍처 기반을 제안한다. Split Fashion-MNIST와 동결 ImageNet ResNet-18 인코더 기반 Split CIFAR-10 연속 학습에서 동일 리플레이 조건의 밀집 MLP 대비 seen-class 정확도가 각각 63.16% vs 51.08%(+12.08p, p=1.3e-5), MLP-256 대비 +3.81p(p=0.0026) 향상됐다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18923v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
메시지 패싱은 얼마나 중요한가? 신경망 그래프 회귀를 위한 GNN 층의 드롭인 연구
How Much Does Message Passing Matter? A Drop-In Study of GNN Layers for Neural Network Graph Regression
그래프 신경망(GNN)은 신경망 구조의 정확도를 예측하는 등 회귀 모델로서 널리 사용됩니다. 그러나 새로운 메시지 패싱(MP) 층들은 거의 독점적으로 분류(classification) 태스크를 중심으로 개발 및 벤치마킹되고 있으며, 회귀 파이프라인은 일반적으로 어블레이션 없이 단일 MP 층을 채택합니다. 본 연구에서는 그래프 수준의 회귀에서 MP 층의 선택이 얼마나 중요한지 묻습니다. 기존 4가지 GNN 회귀 모델의 아키텍처, 손실(loss), 학습(training) 방식을 고정한 채, 합성곱(convolutional), 동형성(isomorphism) 기반, 어텐션(attention) 기반 설계를 포괄하는 10가지 MP 구성을 대체 적용합니다. 그래프당 10개 미만에서 1,000개 이상의 노드, 수백 개에서 40만 개 이상의 샘플에 이르는 신경망 그래프의 11개 데이터셋에서 이를 평가하며, 순위 상관관계, 예측 오차, 상위 $k$개(top-$k$) 검색, 지연 시간 및 메모리를 측정합니다. MP 선택은 결과를 실질적으로 변화시키며, 최선의 선택은 그래프 크기, 학습 세트 크기 및 회귀 목표에 따라 달라짐을 발견했습니다. GEN, $k$-GNN, PNA와 같은 전통적인 층들은 더 낮은 비용으로 작은 아키텍처 그래프에서 어텐션 기반 층과 비슷하거나 뛰어난 성능을 보이는 반면, GATv2는 소수의 대형 그래프로 구성된 데이터셋에서 우수한 성능을 보입니다.
MA-DAR: 지속적 시간적 지식 그래프 추론을 위한 다양체 정렬 동적 적응형 라우팅
MA-DAR: Manifold-Aligned Dynamic Adaptive Routing for Continual Temporal Knowledge Graph Reasoning
지속적 시간적 지식 그래프(TKG) 추론은 새로 등장하는 사실을 지속적으로 통합하면서 이전에 습득한 지식을 보존하는 것을 목표로 한다. 재생(replay) 기반 지속 학습(continual learning)은 과거 표현을 재방문함으로써 유망한 성능을 달성해 왔다. 그러나 기존 방법들은 주로 무엇을 재생할지에 초점을 맞추며, 재생된 표현을 현재 표현과 어떻게 통합해야 하는지는 대체로 간과한다. 이러한 직접 통합은 종종 두 가지 중요한 형태의 표현 충돌, 즉 노름 지배(norm domination)와 의미적 흐림(semantic blurring)을 야기하여 결국 지속적 추론 성능을 저하시킨다. 이러한 과제를 해결하기 위해, 우리는 재생 표현 융합을 위한 경량 플러그 앤 플레이(plug-and-play) 프레임워크인 MA-DAR(Manifold-Aligned Dynamic Adaptive Routing)를 제안한다. MA-DAR는 먼저 재생된 표현과 현재 표현을 공유 다양체(shared manifold) 위에 정렬하여 분포 불일치를 완화한다. 그다음 동적 게이팅(gating) 메커니즘을 사용해 차원별 융합 가중치를 학습하고, 융합된 표현에 대한 재생 표현과 현재 표현의 기여도를 적응적으로 결정한다. 또한, 극화(polarization) 정규화(regularizer)는 모호한 게이팅 결정을 억제함으로써 보다 단호한 라우팅 동작을 유도하여, 더 안정적이고 효과적인 지식 통합을 이룬다. 4개의 공개 지속적 TKG 벤치마크에 대한 광범위한 실험 결과, MA-DAR는 다양한 재생 설정에서도 효과를 유지하면서 대표적인 TKG 인코더의 성능을 일관되게 향상시킴을 보여준다. 포괄적인 ablation 연구와 시각화 분석은 표현 충돌을 완화하고 지속적 추론을 개선하는 데 있어 다양체 정렬과 동적 적응형 라우팅의 효과를 추가로 검증한다.
NeuronSoup: 역전파 없이 진화하는 비동기 공유 뉴런 시간 그래프
NeuronSoup: Evolving Asynchronous, Shared-Neuron Temporal Graphs without Backpropagation
NeuronSoup를 제시한다. 이는 동기식 층별 처리를 공유 뉴런 풀을 통한 비동기·지연 매개 신호 전파로 대체하는 신경 계산 아키텍처이다. 네트워크의 각 경로는 가변적인 수의 중간 은닉 뉴런을 거쳐 하나의 입력 뉴런에서 하나의 출력 뉴런으로 연속값 신호를 라우팅한다. 은닉 뉴런은 경로 간 물리적으로 공유된다. 두 경로가 동일한 뉴런을 통과할 때, 두 번째 도달은 첫 번째가 남긴 누적 상태를 만나며, 신호 극성과 도달 시각에 따라 상보적 또는 상쇄적 간섭을 일으킨다. 전체 아키텍처—위상, 가중치, 지연, 연결성—는 14,602개 유전자로 구성된 평탄한 실수값 게놈 위에서 작동하는 유전 알고리즘으로 공진화된다. 입력으로 고정된 ResNet18 특징을 사용한 10클래스 MNIST 숫자 분류에서, 시스템은 266개의 은닉 뉴런(다중 경로에 걸쳐 156개 공유, 한 뉴런은 11개의 서로 다른 경로에 참여)을 통과하는 204개의 활성 경로로 구성된 네트워크를 진화시키며, 10,000세대 후 85.9% 테스트 정확도를 달성한다. 학습된 모델은 115 KB를 차지한다. 이 아키텍처가 현재 심층 학습의 근본적 한계를 해소한다고 주장한다. 미분 가능한 계산 그래프가 필요 없고, 샘플별로 계산 깊이를 적응시키며, 현재 아키텍처가 명시적으로 설계해야 하는 처리 경로 간 측면 상호작용을 발견한다. 유전 알고리즘이 이 문제 클래스에 적합한 최적화 도구인 이유, CMA-ES가 이 규모에서 실패하는 이유, 그리고 인코더와 출력 구조를 교체함으로써 임의의 도메인으로 일반화하는 방법을 논의한다.
CA-DGCL: Dynamic Graph Continual Learning via Condensation and Attachment
그래프-테이블 정렬을 통한 놀랍도록 단순하고 효과적인 다중 도메인 그래프 파운데이션 모델
Surprisingly Simple and Effective Multi-Domain Graph Foundation Model through Graph-to-Table Alignment
그래프 파운데이션 모델(GFM)은 다양한 그래프 도메인에 걸쳐 전이 가능한 표현을 학습하는 유망한 패러다임으로 부상하고 있다. GFM의 최근 발전은 그래프 신경망(neural network)과 대규모 언어 모델(LLM) 기반 방법이라는 두 패러다임이 주도해 왔다. 그러나 이러한 방법들은 제한된 데이터로의 학습(training)과 텍스트 속성에 대한 과도한 의존 사이의 근본적인 딜레마에 직면하는 경우가 많다. 테이블형 파운데이션 모델(TFM)은 노드(node) 피처와 표현을 자연스럽게 테이블 형태로 구성할 수 있다는 점에서 잠재적인 대안을 제공한다. 그러나 TFM이 그래프의 구조적 정보를 효과적으로 포착할 수 있도록 하는 방법은 아직 충분히 탐구되지 않았다. 핵심 과제는 TFM의 그래프 구조 이해를 가능하게 하는 그래프-테이블 정렬 메커니즘을 학습하는 것이다. 이를 해결하기 위해 우리는 텍스트 불필요 그래프 파운데이션 모델을 위한 놀랍도록 단순하면서도 효과적인 그래프-테이블 정렬 프레임워크인 GTAlign을 제안한다. 구체적으로, 먼저 다양한 그래프를 통합된 잠재 공간에 매핑하여 도메인 불가지론적 그래프 표현을 포착하는 그래프 인코더를 사전학습(pre-training)한다. 그래프 위상과 테이블형 표현 공간 사이의 간극을 추가로 좁히기 위해, 그래프 커뮤니티에서 도출된 의사 레이블을 사용하여 퓨샷(few-shot) 예측 에피소드를 구성하는 커뮤니티 유도 연속 사전학습을 제안한다. 마지막으로 그래프 인코더를 미지의 타깃 도메인에 적응시키고 문맥 내 학습(ICL) 방식으로 추론(inference)을 수행한다. 5개의 벤치마크 데이터셋에 대한 광범위한 실험을 통해 GTAlign이 노드 및 그래프 분류(classification) 모두에서 최신 기준 모델(baseline)을 크게 능가함을 보여주며, 단순하고 효과적인 텍스트 불필요 GFM 모델임을 입증한다. 코드는 논문 게재 승인 후 공개될 예정이다.
HiFi-LLP: 강건한 HW-NAS를 위한 신뢰도 기반 고충실도·저비용 지연 시간 예측기
HiFi-LLP: High-Fidelity, Low-Cost Latency Predictors with Confidence for Robust HW-NAS
심층 신경망(DNN)이 엣지 디바이스에 점점 더 많이 배포됨에 따라, HW 인식 압축 및 HW 인식 신경망 구조 탐색(HW-NAS)과 같은 하드웨어(HW) 인식 최적화 기법이 필수적이 되었다. 이러한 방법들은 효율적인 배포를 위해 DNN 아키텍처를 조정하는 데 목표 하드웨어의 실제 피드백에 의존한다. 탐색은 병렬화할 수 있지만, 하드웨어-인-더-루프(HIL)를 통한 지연 시간 측정은 순차적 특성으로 인해 병목 지점으로 남아 있다. 최근 접근법들은 비용이 많이 드는 HIL 피드백을 대체하기 위해 지연 시간 예측기를 활용하지만, 두 가지 과제가 지속된다: (1) 플랫폼별 예측기는 종종 수만 개의 샘플을 필요로 하며, (2) 부정확한 예측이 NAS 과정을 잘못 인도할 수 있다. 이를 해결하기 위해, 우리는 신뢰도 지표로 보강된 그래프 어텐션 네트워크 기반의 고충실도·저비용 지연 시간 예측기인 HiFi-LLP를 소개한다. HiFi-LLP는 LatBench 데이터셋의 6개 디바이스에 걸쳐 10% 정확도 범위 기준에서 기존 플랫폼별 예측기 대비 최대 9 퍼센트 포인트(p.p.) 높은 성능을 달성하며, 스피어만 순위 상관계수 최대 0.996을 달성한다. 나아가 신뢰도가 낮은 예측을 HIL로 라우팅하는 하이브리드 NAS 프레임워크를 제안하여, 경쟁력 있는 파레토 프론트를 유지하면서 일반적인 NAS 대비 최대 8.6배의 속도 향상을 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.