arXiv:2108.10639

GrADE: A graph based data-driven solver for time-dependent nonlinear partial differential equations

Yash Kumar, Souvik Chakraborty

제출 2021-08-24

원문 초록

The physical world is governed by the laws of physics, often represented in form of nonlinear partial differential equations (PDEs). Unfortunately, solution of PDEs is non-trivial and often involves significant computational time. With recent developments in the field of artificial intelligence and machine learning, the solution of PDEs using neural network has emerged as a domain with huge potential. However, most of the developments in this field are based on either fully connected neural networks (FNN) or convolutional neural networks (CNN). While FNN is computationally inefficient as the number of network parameters can be potentially huge, CNN necessitates regular grid and simpler domain. In this work, we propose a novel framework referred to as the Graph Attention Differential Equation (GrADE) for solving time dependent nonlinear PDEs. The proposed approach couples FNN, graph neural network, and recently developed Neural ODE framework. The primary idea is to use graph neural network for modeling the spatial domain, and Neural ODE for modeling the temporal domain. The attention mechanism identifies important inputs/features and assign more weightage to the same; this enhances the performance of the proposed framework. Neural ODE, on the other hand, results in constant memory cost and allows trading of numerical precision for speed. We also propose depth refinement as an effective technique for training the proposed architecture in lesser time with better accuracy. The effectiveness of the proposed framework is illustrated using 1D and 2D Burgers' equations. Results obtained illustrate the capability of the proposed framework in modeling PDE and its scalability to larger domains without the need for retraining.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26737v1cs.SI공통 태그 Graph Attention, Graph Neural Network

확산 유도 공간 어텐션 기반 중첩 커뮤니티 탐지

Diffusion-Induced Spatial Attention Overlapping Community Detection

중첩 커뮤니티 탐지는 노드가 여러 구조적 또는 기능적 그룹에 동시에 속하는 네트워크를 모델링하는 데 필수적이다. 기존 그래프 신경망 접근법은 일반적으로 국소 메시지 패싱에 의존하는데, 이는 스무딩(smoothing)으로 인해 커뮤니티 경계를 흐릴 수 있으며 구조적으로 관련된 장거리 의존성의 표현을 제한한다. 본 논문에서는 영향력 확산 동역학에서 도출한 구조적 사전 분포(structural prior), 희소 멀티헤드 어텐션, 비음수 커뮤니티 소속도 학습을 결합한 딥러닝 프레임워크인 DISCO(Diffusion-Induced Spatial Attention Community Detection)를 제안한다. 이 사전 분포는 직접 인접한 이웃 너머의 후보 상호작용을 식별하고 구조적 근접도에 따라 어텐션에 편향을 부여하며, 베르누이-푸아송(Bernoulli-Poisson) 엣지 재구성 목적 함수는 노드 속성, 구조적 프로파일 또는 이 둘 모두로부터 중첩 커뮤니티를 추론할 수 있게 한다. 벤치마크 실험 결과, DISCO는 다양한 입력 구성에서 기존의 그래프 합성곱 및 그래프 어텐션 접근법과 대등한 성능을 보였다. 실용적 적용 가능성을 보이기 위해, 연속된 통신 네트워크 스냅샷에서 추론한 커뮤니티 할당 간의 변화가 해석 가능한 이상 징후 신호를 제공하는 사이버 보안 사용 사례를 개념 증명(proof-of-concept)으로 제시한다. 시간적 커뮤니티 유사도는 구조적 이탈을 식별하고, 노드 수준의 기여도는 이와 관련된 장치를 찾는 데 도움을 준다. 따라서 DISCO는 중첩 커뮤니티 탐지를 위한 유연한 방법이자 동적 네트워크의 구조적 변화를 분석하기 위한 기반을 제공한다.

arXiv:2607.22875v1cs.LG공통 태그 Graph Attention, Graph Neural Network

Graph Attention Network를 이용한 토양 미세플astics 및 유기물의 공간 예측

Spatial Prediction of Soil Microplastics and Organic Matter Using Graph Attention Networks

토양 미세플astics 및 유기물의 정확한 추정은 생태계 건강을 평가하고 지속 가능한 토지 이용을 지원하는 데 필수적이다. 본 연구는 91개의 지리좌표가 부여된 토양 시료 간 공간적 의존성을 모델링하기 위해 Graph Attention Networks(GAT)를 사용하는 그래프 기반 심층 학습 접근법을 제시한다. 공간 좌표, 토양 특성, 토지 이용 데이터를 통합하여 지역적 상호작용을 포착하는 2층 GAT 아키텍처를 개발하였다. 최종 모델은 우수한 성능을 보였으며, 미세플astics에 대해 RMSE 625.06($R^2 = 0.87$), 유기물에 대해 0.43($R^2 = 0.91$)을 달성하였다. 그러나 교차 검증 결과 일반화 성능이 제한적임이 드러났으며, 이는 아마도 작은 표본 크기와 희소한 그래프 구조 때문인 것으로 보인다. 이러한 결과는 공간적 토양 예측에서 GAT의 잠재력을 보여주며, 밀집된 데이터셋과 개선된 그래프 연결성의 필요성을 강조한다.

arXiv:2607.10131v1cs.LG공통 태그 Graph Attention, Graph Neural Network

SALT-GNN: 통계 인식 어텐션을 통한 자금세탁방지 그래프에서의 밀집 이웃 처리

SALT-GNN: Handling Dense Neighborhoods in Anti-Money Laundering Graphs via Statistics-Aware Attention

자금세탁은 금융 안정성을 위협하고 기관을 제재 위험에 노출시키므로, 자동화된 탐지에 대한 동기를 제공한다. 세탁 수법은 관계적 패턴을 통해 나타나는 경우가 많기 때문에, 그래프 신경망(GNN)이 자금세탁방지(AML)에 점점 더 많이 활용되고 있다. 그러나 AML GNN은 일반적으로 전체 F1 점수와 같은 집계 지표로 평가되며, 이는 운영상의 문제를 숨긴다: 고활동 수신 계좌에는 많은 수신 거래가 집중되어 의심스러운 신호를 격리하기 어렵고 조사 비용도 더 높아진다. 우리는 수신자 차수 계층화 평가(recipient-degree stratified evaluation)를 도입하여 수신자 컨텍스트 밀도에 따른 표준 AML 지표를 보고한다. 세 가지 데이터셋(HI-Small, HI-Medium, AMLSim-32k-5%)에 걸쳐, 이 평가는 밀집 수신자 컨텍스트에서의 일관된 성능 저하를 드러내며, 이를 세 가지 GNN 특성으로 추적한다: AML이 증폭시키는 두 가지 알려진 한계, 즉 (1) 멀티셋 비식별성(multiset non-discriminability)과 (2) 카디널리티 맹목성(cardinality blindness), 그리고 (3) 어텐션 특화 효과: 밀집 이웃에서 정규화된 어텐션이 약하지만 패턴과 관련된 다중 홉 신호를 약화시킨다. 이 진단을 바탕으로, 우리는 각 메시지 전달 층에서 차수 인식 통계 집계와 어텐션을 융합하는 경량 통계 인식 아키텍처인 SALT-GNN을 제안한다. 이를 통해 분포 및 카디널리티 정보가 후속 어텐션 단계에서 사용되는 노드 상태를 형성한다. 절제 실험은 밀집 컨텍스트 성능에서 융합 위치가 핵심 요인임을 지지한다. HI-Small 및 HI-Medium에서 SALT-GNN은 태스크 특화 그래프-트랜스포머 기준 모델 대비 최대 77% 적은 파라미터를 사용하면서 밀집 컨텍스트 F1 점수를 3-6점 향상시키고, AMLSim-32k-5%에서는 최고 차수 F1 점수를 16-20점 향상시킨다. 이 성능 향상은 트랜스포머 및 GAT 방식 어텐션 모두에서 유지되어, 그 이점이 특정 어텐션 연산자가 아닌 통계적 증거와 어텐션 증거가 융합되는 위치에서 비롯됨을 나타낸다.

arXiv:2606.27577v1cs.LG공통 태그 Graph Attention, Graph Neural Network

hia-gat: 고속도로 프레임 단위 교통 충돌 위험 예측을 위한 이종 상호작용 인식 그래프 어텐션 네트워크

hia-gat: A Heterogeneous Interaction-Aware Graph Attention Network For Frame-Level Traffic Conflict Risk Prediction On Freeways

본 논문은 프레임 단위 고속도로 위험 평가를 다중 에이전트(multi-agent) 장면 그래프(scene graph) 수준의 이진 분류 문제로 공식화하며, TTC(time to collision) 또는 PET(post encroachment time) 기반 충돌이 지정된 심각도 임계값을 위반하는 경우 각 비디오 또는 궤적(trajectory) 프레임을 위험으로 라벨링한다. 각 프레임마다 차량을 노드로, 동일 차선(종방향) 및 인접 차선(횡방향)의 두 가지 상호작용 유형을 간선으로 하는 관계 인식 그래프를 구성하고, 후행 충돌(rear-end) 및 차선 변경(lane-change) 충돌 메커니즘에 맞춘 물리 정보 기반 간선 특징으로 이를 보강한다. 비그래프 모델과 그래프 베이스라인으로 구성된 체계적인 벤치마크(benchmark) 스위트를 바탕으로, 종방향 및 횡방향 상호작용을 전용 어텐션 경로로 처리하고 SSM 충돌 기여도(conflict attribution)에서 도출한 이벤트 수준 게이트 감독을 갖춘 충돌 유형 인식 게이팅(gating) 메커니즘으로 이를 융합하는 이중 스트림 이종 그래프 어텐션 네트워크인 HIA-GAT를 제안한다. NGSIM I-80 및 US-101 고속도로 데이터셋(dataset)에서 아홉 가지 TTC 및 PET 임계값 구성에 걸친 실험 결과, HIA-GAT는 최고의 평균 위험 순위 성능(AUC I-80에서 0.835, US-101에서 0.867)을 달성했으며, 관계 구조가 필수적인 PET 전용(차선 변경) 설정에서 가장 큰 향상을 보였다. 정확도를 넘어, 학습된 게이트는 지배적인 충돌 유형에 대한 해석 가능한 차량별 기여도를 제공하여 실행 가능한 실시간 고속도로 안전 모니터링을 지원한다. 횡방향 충돌 위험 모델링에는 그래프 구조가 중요한 반면, 종방향 위험은 종종 비관계적 집계로 포착할 수 있음을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.