NEMORA: 장거리 원자론적 학습을 위한 신경 등변 다중극 연산자
NEMORA: Neural Equivariant Multipole Operators for Long-Range Atomistic Learning
한국어 초록
등변 그래프 신경망(Equivariant Graph Neural Network)은 머신러닝 기반 원자 간 포텐셜(interatomic potential)의 핵심 아키텍처로 부상하여, 계산 비용의 일부만으로도 양자 화학 수준의 정확도에 근접하고 있습니다. 이러한 모델들은 국소 원자 환경을 정확하게 기술하지만, 유한한 공간적 컷오프(cutoff)로 인해 장거리 정보 흐름이 단절되며, 메시지 전달 계층을 깊게 쌓으면 지나친 평활화(over-smoothing) 및 과도한 압축(over-squashing)이 발생할 수 있습니다. 기존의 장거리 확장 기법들은 고정된 해석적 전파 커널(propagation kernel)을 규정하거나, 장거리 통신을 스칼라 또는 차수 보존 채널로 제한하거나, 근사적으로만 등변성을 만족하거나, 초선형(super-linear) 계산 비용을 초래합니다. 대규모 시스템에 대해 효율적인 스케일링(scaling) 및 다중 스케일 다체 표현력과 함께 학습 가능한 장거리 등변 수송을 결합하는 것은 여전히 핵심 과제로 남아 있습니다. 본 논문에서는 장거리 텐서 표현 학습을 위해 고속 다중극 방법(Fast Multipole Method, FMM)을 신경 등변 방식으로 확장한 NEMORA(Neural Equivariant Multipole Operators)를 소개합니다. NEMORA는 적응형 공간 계층 구조상에서 FMM의 해석적 다중극 전개 및 변환 연산자를 학습 가능한 등변 연산자로 일반화합니다. 이 연산자들은 각도 차수를 결합하고 다양한 길이 스케일에 걸쳐 다체 상호작용을 형성하며, 데이터 의존적인 장거리 결합을 학습하는 동시에 FMM의 계층적 구조와 해석적 방사형 인자를 물리적 귀납 편향(inductive bias)으로 유지합니다. NEMORA는 선형 시간 및 메모리 복잡도로 평가되므로 수십만 개의 원자에 달하는 대규모 시스템을 다른 장거리 방식보다 효율적으로 다룰 수 있으며, 대칭 제약이 있는 백본 및 제약이 없는 단거리 백본 모두를 보강합니다. 비국소(non-local) 벤치마크에서 단거리 백본 대비 힘(force) 및 에너지 오차를 각각 1자릿수(order of magnitude) 이상, 최대 3자릿수까지 줄여, 정확도 측면에서 기존의 장거리 확장 기법보다 우수하거나 경쟁력 있는 성능을 보입니다.
원문 초록
Equivariant graph neural networks have emerged as foundational architectures for machine-learned interatomic potentials, approaching quantum-chemical accuracy at a fraction of the computational cost. These models describe local atomic environments accurately, but finite spatial cutoffs truncate long-range information flow, and stacking message-passing layers can lead to over-smoothing and over-squashing. Existing long-range extensions either prescribe a fixed analytical propagation kernel, restrict long-range communication to scalars or degree-preserving channels, are only approximately equivariant, or incur super-linear computational cost. Combining learnable long-range equivariant transport with multiscale many-body expressivity and efficient scaling for larger systems remains a central challenge. We introduce Neural Equivariant Multipole Operators (NEMORA), a neural equivariant extension of the Fast Multipole Method (FMM) for learning long-range tensorial representations. NEMORA generalizes the FMM's analytical multipole expansion and translation operators to learned equivariant counterparts on an adaptive spatial hierarchy. Its operators couple angular degrees and form many-body interactions across length scales, retaining the FMM's hierarchical organization and analytical radial factors as physical inductive biases while learning data-dependent long-range couplings. NEMORA evaluates in linear time and memory complexity, allowing it to treat larger systems than other long-range methods reaching hundreds of thousands of atoms, and it augments both symmetry-constrained and unconstrained short-range backbones. On non-local benchmarks, it reduces force and energy errors relative to the short-range backbones by over an order of magnitude and up to three orders of magnitude, respectively, which is better than or competitive with existing long-range extensions in accuracy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VQIL: 그래프 상의 섭동 반응 순위화를 위한 가시적 양자 간섭 학습
VQIL: Visible Quantum Interference Learning for Perturbation Response Ranking on Graphs
국소적 섭동(perturbation)이 네트워크에 미치는 영향을 학습하는 것은 시스템의 반응을 유발하거나 흡수하는 구성 요소를 식별하는 데 중요합니다. 본 연구에서는 이를 시드 조건부 반응 순위화(seed-conditioned response ranking) 문제로 정의합니다. 즉, 하나의 시드 노드(node)에서 섭동이 발생했을 때 다른 모든 노드를 반응 강도에 따라 순위화하는 것입니다. 이는 모델(model)에 상호작용 토폴로지만 주어지고 섭동이 전파되는 방식을 지배하는 메커니즘을 데이터로부터 학습해야 할 때 특히 어렵습니다. 본 논문에서는 시드 조건부 순위화를 위한 학습 가능한 세게디 양자 워크(Szegedy quantum walk)인 VQIL(Visible Quantum Interference Learning)을 제안합니다. 워크 연산자가 학습(training) 전반에 걸쳐 유니터리(unitary) 상태를 유지하는 동안, 에지 가중치, 링크 위상, 노드별 위상 회전이 역전파(backpropagation)를 통해 엔드투엔드로 최적화됩니다. 노드 점수는 양자 워크 진폭의 기하학적 감쇠 코히런트 합(coherent sum)에서 얻어지며, 이를 통해 최종 제곱 노름(squared-norm) 판독 전에 양자 간섭이 가능해집니다. 학습된 각 매개변수(parameter)는 명명된 에지 또는 노드에 연결되어 있으므로, 학습된 모델은 전파 메커니즘에서 개별 그래프 구성 요소의 역할에 대해 직접 검사 가능한 가설을 제공합니다. 전기적 매개변수를 모델에 제공하지 않은 6개 송전망에 대한 교류 조류(AC power-flow) 섭동 실험에서, VQIL은 스피어만 순위 상관계수를 학습되지 않은 워크의 0.147에서 0.831로 향상시켰으며 동일하게 학습된 무작위 워크 모델의 성능을 능가했습니다. Perturb-seq 지도 신호가 있는 5개 단백질-단백질 상호작용 네트워크에 대한 유전자 섭동 실험에서 VQIL은 순위 상관계수를 0.171에서 0.620으로 향상시켜 가장 강력한 고전적 및 신경망 기반 학습 베이스라인들을 능가했습니다. 이러한 결과는 학습 가능한 양자 워크 간섭이 그래프 상에서 시드 조건부 반응 순위를 학습하기 위한 확장 가능하고 해석 가능한 귀납적 바이어스(inductive bias)를 제공함을 보여줍니다.
액추에이터 성능 저하 상황에서의 4족 보행 강화학습을 위한 고차 형태학적 프라이어
Higher-Order Morphology Priors for Quadruped Reinforcement Learning Under Actuator Degradation
액추에이터 성능 저하는 4족 보행을 관절들이 손실된 액추에이션을 보상해야 하는 협응(coordination) 문제로 만든다. 선행 연구들은 형태학을 인식하는 그래프 정책(morphology-aware graph policy)이 신체 교란(body perturbation) 상황에서 학습과 일반화를 향상시킨다고 제안한다. 본 연구는 고차(higher-order) 기계적 구조를 명시적으로 모델링함으로써 이러한 이점을 강화할 수 있는지를 묻는다. 우리는 Unitree Go1을 다리(limb) 및 몸체(body) 수준의 랭크-2 셀(rank-2 cell)을 갖는 셀 복합체(cell complex)로 표현하고, Hodge 기반 메시지 패싱(Hodge-based message passing)을 적용한다. 저하 상황에서의 학습 하에서, 노드-엣지-면 Hodge 액터(node-edge-face Hodge actor)는 보지 못한 액추에이터 저하에 대해 가장 높은 리턴(return)을 달성하며, 더 높은 생존율과 더 낮은 속도 추적 오차(velocity-tracking error)를 보인다. 이러한 결과는 고차 형태학이 액추에이터 저하 상황에서 전신 보상(whole-body compensation)을 위한 유용한 귀납적 바이어스(inductive bias)임을 뒷받침한다.
감각 정렬 수용영역의 계산적 가치는 신경 세포 표현력에 의존한다
The Computational Value of Sensory-Aligned Receptive Fields Depends on Neuronal Expressivity
생물학적 감각 신경세포는 주파수, 운동 방향, 망막 위치와 같은 유의미한 자극 좌표를 따라 조직화된 선택적 수용영역(receptive field)을 갖습니다. 단순 신경세포에 대한 계산 연구들이 여러 모달리티(modality)에 걸쳐 보여주었듯이, 이러한 구조는 효율적 부호화(efficient coding)와 활동, 연결성 및 배선에 대한 생물학적 제약 조건에서 비롯되었을 수 있습니다. 이는 다음과 같은 질문을 제기합니다. 구조화된 수용영역이 자원 효율성 자체를 넘어 계산적 이점을 제공하는가, 그리고 개별 신경세포의 표현력이 매우 높을 때도 이 이점이 유지되는가? 우리는 신경세포의 복잡도와 피드포워드(feed-forward) 수용영역의 구성을 독립적으로 변경할 수 있는 Expressive Leaky Memory 신경세포의 순환 신경망에서 이 질문을 다룹니다. 청각 및 이벤트 기반 시각 분류(classification) 태스크 전반에 걸쳐, 태스크 관련 감각 좌표와 정렬된 수용영역은 예산이 일치된(budget-matched) 무작위 수용영역에 비해 테스트 정확도를 향상시킵니다. 이러한 이점은 감각 좌표가 뒤섞이거나 수용영역이 태스크와 무관한 좌표를 따를 때 사라지며, 이는 그 이점이 제한된 연결성 자체보다는 태스크 기하학(task geometry)과의 정렬에서 비롯됨을 보여줍니다. 신경세포 복잡도가 증가하면 구조화된 수용영역의 성능상 이점이 감소합니다. 마지막으로, 일반적인 시냅스 희소성(sparsity) 정규화(regularization)는 입력 선택성을 유도하고 성능을 부분적으로 회복하지만, 명시적으로 구조화된 수용영역보다는 실질적으로 낮은 수준에 머물러 있어, 희소성만으로는 태스크 정렬 수용영역의 완전한 계산적 이점을 회복하기에 불충분함을 시사합니다. 종합하면, 우리의 결과는 적절한 수용영역이 희소성 자체를 넘어선 계산적 사전 분포(computational prior) 역할을 할 수 있으며, 그 가치는 개별 신경세포의 계산적 표현력에 따라 달라짐을 보여줍니다.
최대 독립 집합을 위한 Dual-GNN 다중 수준 조 정
Dual-GNN Multilevel Coarsening for Maximum Independent Set
최대 독립 집합(maximum independent set, MIS) 문제는 스케줄링, 자원 할당, 네트워크 분석 등에 응용되는 기본적인 NP-hard 조합 최적화(combinatorial optimization) 문제이다. 정확 솔버(exact solver)는 고품질 해 또는 최적성 증명(optimality certificate)을 제공할 수 있으나, 계산 비용은 그래프 크기에 따라 급격히 증가한다. 반면 수작업 휴리스틱(hand-crafted heuristic)은 보장을 희생하는 대신 확장성(scalability)을 개선한다. 학습 기반 방법은 그래프 인스턴스 간 구조적 패턴을 활용하는 대안을 제공하지만, 독립 집합을 직접 예측하면 대규모 그래프에서 전역 조율(global coordination)이 어려워질 수 있다. 우리는 대신 학습을 이용해 다중 수준 그래프 조 정(multilevel graph coarsening)을 안내하고, 최종 의사 결정에는 조합 탐색(combinatorial search)을 유지한다. Dual-GNN 다중 수준 조 정 프레임워크는 Partition GNN으로 후보 수축(contraction)을 점수화하고, Representative GNN으로 각 최종 클러스터에 대해 상위 k개의 지역 독립 집합 상태를 선택한다. 최대 2,000개 정점(vertex)을 갖는 Erdős–Rényi 그래프 실험에서 유리한 품질–실행 시간 트레이드오프(quality–runtime trade-off)를 보여준다. 인증된 최적해가 있는 500정점 인스턴스에서, 본 방법은 평균 독립 집합 크기 19.20을 달성하며 이는 최적값 19.30의 99.5%에 해당한다. 정확 해법의 평균 벽시계 시간(wall-clock time) 643.57초를 3.41초로 줄여 약 189배 속도 향상(speedup)을 얻는다. 1,000 및 2,000 정점의 더 큰 그래프에서는 평가된 모든 방법 중 최고의 평균 해 품질을 달성한다. 또한 가장자리 확률(edge probability) $p=0.35$인 Erdős–Rényi 그래프에서만 학습했음에도, 학습된 조 정 정책은 보지 못한 그래프 밀도와 구조적으로 다른 그래프 계열 모두에 효과적으로 일반화(generalize)된다.
저항 곡률 기반 확장 가능한 서브그래프 샘플링
Scalable Subgraph Sampling via Resistance Curvature
서브그래프 샘플링은 대규모 그래프 신경망(GNN)의 학습 비용을 줄이지만, 샘플링 기준은 엣지의 기하학적 역할을 간과할 수 있다. 우리는 대규모 그래프용 곡률 근사 방법인 ERC-LG 위에 구축한 저항 곡률(resistance curvature) 유도 샘플링 프레임워크를 제안한다. ERC-LG는 Johnson-Lindenstrauss 투영과 정규화된 다중 GPU 배치 공액 그래디언트(conjugate gradient) 솔버를 결합하여, 명시적인 라플라시안 의사역행렬(pseudoinverse) 계산과 전체 임베딩 저장을 피한다. 이렇게 얻은 곡률은 GNN 학습 서브그래프를 구성하기 위한 노드 및 엣지 샘플링 확률을 결정하는 데 활용된다. 실험 결과, 의사역행렬 기반 곡률과 수치적으로 일치하며 CG만 사용한 계산 대비 실행 시간이 감소한다. ERC-LG 기반 샘플링 변형은 다운스트림 노드 분류에서 7개 실세계 데이터셋 중 6개에서 최고 평균 정확도를 달성한다.
대규모 교통 예측을 위한 국소 이질성 및 지역 간 컨텍스트 학습
Learning Local Heterogeneity and Cross-Region Context for Large-Scale Traffic Forecasting
교통 흐름 예측은 지능형 교통 시스템에 필수적이다. 대규모 교통 예측은 국소 공간적 의존성과 지역 간 컨텍스트를 공동으로 모델링해야 한다. 지리적으로 인접한 노드 간 공간적 의존성은 도로 유형과 이동 방향의 차이로 인해 이질적이며, 모든 노드 쌍 상호작용을 통해 전역 정보를 획득하는 것은 상당한 계산 비용을 초래한다. 따라서 국소 이질성을 포착하면서 장거리 컨텍스트를 효율적으로 획득하는 것은 대규모 교통 예측에서 여전히 중요한 과제로 남아 있다. 이러한 과제를 해결하기 위해, 우리는 노드 이웃과 도로 네트워크 지역이라는 두 가지 상보적 세분성에서 공간적 의존성을 모델링하는 Local-Region Spatial Temporal(LoReST) 네트워크를 제안한다. 구체적으로, 관계 인지 국소 집계는 도로 및 방향별 특징 변환을 통해 지리적 이웃 내 이질적 의존성을 포착한다. 지역 간 상호작용은 평균 풀링을 통해 지역 표현을 구성하고, 지역 간 어텐션을 통해 장거리 컨텍스트를 교환한 뒤 이를 노드로 다시 전파한다. 국소 정보 집계와 지역 간 상호작용을 통합함으로써 LoReST는 대규모 도로 네트워크에서 공간적 의존성 학습을 효과적으로 수행할 수 있다. LargeST 벤치마크의 네 개 데이터셋에 대한 실험은 MAE, RMSE, MAPE에서 각각 평균 상대 감소율 4.78%, 3.60%, 5.75%를 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
59 pages, 5 figures, including supplementary material