Learning Physical Dynamics with Subequivariant Graph Neural Networks
원문 초록
Graph Neural Networks (GNNs) have become a prevailing tool for learning physical dynamics. However, they still encounter several challenges: 1) Physical laws abide by symmetry, which is a vital inductive bias accounting for model generalization and should be incorporated into the model design. Existing simulators either consider insufficient symmetry, or enforce excessive equivariance in practice when symmetry is partially broken by gravity. 2) Objects in the physical world possess diverse shapes, sizes, and properties, which should be appropriately processed by the model. To tackle these difficulties, we propose a novel backbone, Subequivariant Graph Neural Network, which 1) relaxes equivariance to subequivariance by considering external fields like gravity, where the universal approximation ability holds theoretically; 2) introduces a new subequivariant object-aware message passing for learning physical interactions between multiple objects of various shapes in the particle-based representation; 3) operates in a hierarchical fashion, allowing for modeling long-range and complex interactions. Our model achieves on average over 3% enhancement in contact prediction accuracy across 8 scenarios on Physion and 2X lower rollout MSE on RigidFall compared with state-of-the-art GNN simulators, while exhibiting strong generalization and data efficiency.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VQIL: 그래프 상의 섭동 반응 순위화를 위한 가시적 양자 간섭 학습
VQIL: Visible Quantum Interference Learning for Perturbation Response Ranking on Graphs
국소적 섭동(perturbation)이 네트워크에 미치는 영향을 학습하는 것은 시스템의 반응을 유발하거나 흡수하는 구성 요소를 식별하는 데 중요합니다. 본 연구에서는 이를 시드 조건부 반응 순위화(seed-conditioned response ranking) 문제로 정의합니다. 즉, 하나의 시드 노드(node)에서 섭동이 발생했을 때 다른 모든 노드를 반응 강도에 따라 순위화하는 것입니다. 이는 모델(model)에 상호작용 토폴로지만 주어지고 섭동이 전파되는 방식을 지배하는 메커니즘을 데이터로부터 학습해야 할 때 특히 어렵습니다. 본 논문에서는 시드 조건부 순위화를 위한 학습 가능한 세게디 양자 워크(Szegedy quantum walk)인 VQIL(Visible Quantum Interference Learning)을 제안합니다. 워크 연산자가 학습(training) 전반에 걸쳐 유니터리(unitary) 상태를 유지하는 동안, 에지 가중치, 링크 위상, 노드별 위상 회전이 역전파(backpropagation)를 통해 엔드투엔드로 최적화됩니다. 노드 점수는 양자 워크 진폭의 기하학적 감쇠 코히런트 합(coherent sum)에서 얻어지며, 이를 통해 최종 제곱 노름(squared-norm) 판독 전에 양자 간섭이 가능해집니다. 학습된 각 매개변수(parameter)는 명명된 에지 또는 노드에 연결되어 있으므로, 학습된 모델은 전파 메커니즘에서 개별 그래프 구성 요소의 역할에 대해 직접 검사 가능한 가설을 제공합니다. 전기적 매개변수를 모델에 제공하지 않은 6개 송전망에 대한 교류 조류(AC power-flow) 섭동 실험에서, VQIL은 스피어만 순위 상관계수를 학습되지 않은 워크의 0.147에서 0.831로 향상시켰으며 동일하게 학습된 무작위 워크 모델의 성능을 능가했습니다. Perturb-seq 지도 신호가 있는 5개 단백질-단백질 상호작용 네트워크에 대한 유전자 섭동 실험에서 VQIL은 순위 상관계수를 0.171에서 0.620으로 향상시켜 가장 강력한 고전적 및 신경망 기반 학습 베이스라인들을 능가했습니다. 이러한 결과는 학습 가능한 양자 워크 간섭이 그래프 상에서 시드 조건부 반응 순위를 학습하기 위한 확장 가능하고 해석 가능한 귀납적 바이어스(inductive bias)를 제공함을 보여줍니다.
층 신경망(Sheaf Neural Networks)은 홀로노미를 활용하는가? 측정-개입-통제 연구
Do Sheaf Neural Networks Use Holonomy? A Measure--Intervene--Control Study
기하학적 신경망 구조는 내부 메커니즘을 이론적 동기로 삼는 경우가 많지만, 정확도 지표만으로는 실제 예측이 해당 메커니즘을 활용하는지 여부를 입증하지 못합니다. 층 신경망(Sheaf Neural Networks, SNN)에서는 에지 전달(edge transport) 연산들이 접속(connection)을 형성하며, 사이클 곱(cycle product)은 홀로노미(holonomy)를 정의합니다. 본 연구에서는 학습(training)이 삼각형 홀로노미를 변화시키는지, 예측이 학습된 접속에 의존하는지, 그리고 홀로노미가 삼각형 개수 세기(triangle counting) 작업을 주도하는지 질문을 던집니다. 이를 위해 기저 독립적인 루프 리드아웃과 함께 항등 개입 및 단축 경로 통제를 적용합니다. 높은 동질성(homophily)을 지닌 GraphUniverse 그래프에서 삼각형 개수 세기 작업 시 신경망 층 전파(Neural Sheaf Propagation, NSP)의 평균 SO(2) 삼각형 회전량은 0.010라디안에서 0.388라디안으로 증가한 반면, 커뮤니티 탐지에서는 0.029라디안에 그쳤습니다. 데이터가 늘어남에 따라 학습된 SO(2)-NSP는 항등(Identity) NSP보다 우수한 성능을 보였으며, 학습 후 전달 행렬을 교체하면 오류가 더욱 증가했습니다. 그러나 릿지 회귀가 더 높은 정확도를 보였고, 대각 사상은 연속적인 회전 없이도 성능이 향상되었으며, 고정 차수 모델은 개수 세기 성능 향상 없이도 회전이 발달했습니다. 따라서 NSP는 자명하지 않은 접속을 학습하고 이에 의존할 수 있지만, 본 실험 결과는 삼각형 홀로노미가 예측을 주도한다는 점을 보여주지는 못합니다.
NEMORA: 장거리 원자론적 학습을 위한 신경 등변 다중극 연산자
NEMORA: Neural Equivariant Multipole Operators for Long-Range Atomistic Learning
등변 그래프 신경망(Equivariant Graph Neural Network)은 머신러닝 기반 원자 간 포텐셜(interatomic potential)의 핵심 아키텍처로 부상하여, 계산 비용의 일부만으로도 양자 화학 수준의 정확도에 근접하고 있습니다. 이러한 모델들은 국소 원자 환경을 정확하게 기술하지만, 유한한 공간적 컷오프(cutoff)로 인해 장거리 정보 흐름이 단절되며, 메시지 전달 계층을 깊게 쌓으면 지나친 평활화(over-smoothing) 및 과도한 압축(over-squashing)이 발생할 수 있습니다. 기존의 장거리 확장 기법들은 고정된 해석적 전파 커널(propagation kernel)을 규정하거나, 장거리 통신을 스칼라 또는 차수 보존 채널로 제한하거나, 근사적으로만 등변성을 만족하거나, 초선형(super-linear) 계산 비용을 초래합니다. 대규모 시스템에 대해 효율적인 스케일링(scaling) 및 다중 스케일 다체 표현력과 함께 학습 가능한 장거리 등변 수송을 결합하는 것은 여전히 핵심 과제로 남아 있습니다. 본 논문에서는 장거리 텐서 표현 학습을 위해 고속 다중극 방법(Fast Multipole Method, FMM)을 신경 등변 방식으로 확장한 NEMORA(Neural Equivariant Multipole Operators)를 소개합니다. NEMORA는 적응형 공간 계층 구조상에서 FMM의 해석적 다중극 전개 및 변환 연산자를 학습 가능한 등변 연산자로 일반화합니다. 이 연산자들은 각도 차수를 결합하고 다양한 길이 스케일에 걸쳐 다체 상호작용을 형성하며, 데이터 의존적인 장거리 결합을 학습하는 동시에 FMM의 계층적 구조와 해석적 방사형 인자를 물리적 귀납 편향(inductive bias)으로 유지합니다. NEMORA는 선형 시간 및 메모리 복잡도로 평가되므로 수십만 개의 원자에 달하는 대규모 시스템을 다른 장거리 방식보다 효율적으로 다룰 수 있으며, 대칭 제약이 있는 백본 및 제약이 없는 단거리 백본 모두를 보강합니다. 비국소(non-local) 벤치마크에서 단거리 백본 대비 힘(force) 및 에너지 오차를 각각 1자릿수(order of magnitude) 이상, 최대 3자릿수까지 줄여, 정확도 측면에서 기존의 장거리 확장 기법보다 우수하거나 경쟁력 있는 성능을 보입니다.
액추에이터 성능 저하 상황에서의 4족 보행 강화학습을 위한 고차 형태학적 프라이어
Higher-Order Morphology Priors for Quadruped Reinforcement Learning Under Actuator Degradation
액추에이터 성능 저하는 4족 보행을 관절들이 손실된 액추에이션을 보상해야 하는 협응(coordination) 문제로 만든다. 선행 연구들은 형태학을 인식하는 그래프 정책(morphology-aware graph policy)이 신체 교란(body perturbation) 상황에서 학습과 일반화를 향상시킨다고 제안한다. 본 연구는 고차(higher-order) 기계적 구조를 명시적으로 모델링함으로써 이러한 이점을 강화할 수 있는지를 묻는다. 우리는 Unitree Go1을 다리(limb) 및 몸체(body) 수준의 랭크-2 셀(rank-2 cell)을 갖는 셀 복합체(cell complex)로 표현하고, Hodge 기반 메시지 패싱(Hodge-based message passing)을 적용한다. 저하 상황에서의 학습 하에서, 노드-엣지-면 Hodge 액터(node-edge-face Hodge actor)는 보지 못한 액추에이터 저하에 대해 가장 높은 리턴(return)을 달성하며, 더 높은 생존율과 더 낮은 속도 추적 오차(velocity-tracking error)를 보인다. 이러한 결과는 고차 형태학이 액추에이터 저하 상황에서 전신 보상(whole-body compensation)을 위한 유용한 귀납적 바이어스(inductive bias)임을 뒷받침한다.
분자 특성 예측을 위한 양자 및 고전 토폴로지 정렬 아키텍처 구현
Implementations of Quantum and Classical Topology-Aligned Architectures for Molecular Property Prediction
양자화학에서 흔한 저데이터 및 자원 제약 환경에서 매개변수 효율적 학습은 핵심 목표이다. 본 연구에서는 모델 아키텍처가 분자 결합 그래프를 반영하는 토폴로지 정렬 바이어스를 제안한다. 원자는 고정된 계산 단위 레지스터에 매핑되고, 결합은 공유되는 학습 가능 매개변수를 통해 상호작용하는 쌍을 결정한다. 이 원리는 두 가지 아키텍처로 구현된다: 변분 양자 회로(Iso-QGNN)와 매개변수가 맞춰진 고전 메시지 전달 모델(Iso-CGNN). 두 모델은 QM9 벤치마크에서 HOMO-LUMO 및 쌍극자 모멘트 이진 분류 과제로 벤치마킹된다. 학습 가능 매개변수 64개로, 구현체는 gap 과제에서 검증 AUC가 약 0.88(양자), 0.91(고전)이며, 쌍극자 과제에서는 둘 다 약 0.78에 가깝다. 모델은 학습 분자 수 약 250개 이내에서 점근적 성능의 90%에 도달하며, 학습 내내 그래디언트 노름은 안정적이다. 이 결과는 토폴로지 정렬 바이어스가 QM9 규모에서 매개변수 효율성을 이끄는 핵심 요인임을 시사하며, 양자 머신러닝에서 맞춰진 기준선 벤치마킹에 함의를 갖는다.
SWIFT: 자율주행 흐름 인식 궤적 예측을 위한 소세계 상호작용 프레임워크
SWIFT: A Small-World Interaction Framework for Flow-Aware Trajectory Prediction in Autonomous Driving
자율주행에서 정확한 궤적 예측은 교통 에이전트 간의 동적이고 맥락 의존적인 상호작용을 모델링하는 데 달려 있다. 그러나 기존 접근법의 대부분은 순수하게 데이터 기반이며 구조적 사전 지식이 부재하여, 분포 변화 상황에서의 일반화 능력이 제한된다. 본 연구에서는 교통 네트워크의 구조와 역학을 통해 상호작용 모델링을 재검토하고, 소세계 네트워크와 교통 흐름 이론을 통합하는 통합 프레임워크인 SWIFT(Small-World Interaction Framework for Trajectory prediction)를 제안한다. SWIFT는 지역적 및 전역적 의존성을 모두 포착하는 소세계 상호작용 네트워크와, 장면 수준의 교통 상태에 따라 상호작용 구조를 적응시키는 흐름 체계 인코더(Flow Regime Encoder)를 통해 구조적 귀납 편향을 도입한다. 상호작용 추론은 직접적 및 고차 에이전트 관계를 명시적으로 인코딩하는 다중 관계 그래프 모듈을 통해 더욱 강화된다. nuScenes, MoCAD, NGSIM 세 가지 실세계 데이터셋에 대한 광범위한 실험 결과, SWIFT는 다양한 교통 체계에 걸쳐 예측 정확도 면에서 강력한 기준 모델들을 일관되게 능가함을 보여준다. 정확도를 넘어, SWIFT는 미관측 위치 및 체계에 대한 향상된 일반화 능력, 잡음이 포함된 관측 하에서의 강건성, 그리고 제한된 학습 데이터에서도 우수한 성능을 나타내며, 구조 인식 설계의 효과성을 뒷받침한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.