arXiv:2011.05360

Graph Neural Networks for Distributed Linear-Quadratic Control

Fernando Gama, Somayeh Sojoudi

제출 2020-11-10

원문 초록

The linear-quadratic controller is one of the fundamental problems in control theory. The optimal solution is a linear controller that requires access to the state of the entire system at any given time. When considering a network system, this renders the optimal controller a centralized one. The interconnected nature of a network system often demands a distributed controller, where different components of the system are controlled based only on local information. Unlike the classical centralized case, obtaining the optimal distributed controller is usually an intractable problem. Thus, we adopt a graph neural network (GNN) as a parametrization of distributed controllers. GNNs are naturally local and have distributed architectures, making them well suited for learning nonlinear distributed controllers. By casting the linear-quadratic problem as a self-supervised learning problem, we are able to find the best GNN-based distributed controller. We also derive sufficient conditions for the resulting closed-loop system to be stable. We run extensive simulations to study the performance of GNN-based distributed controllers and showcase that they are a computationally efficient parametrization with scalability and transferability capabilities.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02517v1cs.LG공통 태그 Self-Supervised Learning, Graph Neural Network

잠재 구조 학습: 그래프 데이터 증강을 위한 특징 중심 접근법

Learning the Latent Structure: A Feature-Centric Approach to Graph Data Augmentation

그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.

arXiv:2609.24732v1cs.CV공통 태그 Self-Supervised Learning, Graph Neural Network

GraphSVR: 확산 MRI를 위한 q-공간 인지 그래프 기반 슬라이스-볼륨 정합

GraphSVR: q-Space--Aware Graph-Based Slice-to-Volume Registration for Diffusion MRI

확산강조영상(DWI)은 특히 시간 효율적인 프로토콜과 움직임이 발생하기 쉬운 피험자 집단에서 피험자의 움직임에 매우 취약합니다. 슬라이스-볼륨 정합(SVR)이 슬라이스 간 및 스택 간 불일치를 완화할 수 있지만, 확산 MRI는 확산 방향에 따른 대조도와 수십 개의 측정값을 공통 기준 좌표계 내에 정렬해야 하는 요구사항으로 인해 추가적인 복잡성을 유발하며, 실질적으로 4D 정합 문제를 낳습니다. 기존 접근 방식은 주로 순차적 모델링이나 쌍별 유사도에 의존하며, 희소한 그래디언트 샘플링이나 심한 움직임 환경에서 종종 성능이 저하됩니다. 본 연구에서는 DWI의 4D SVR 정합을 위한 q-공간 인지 그래프 기반 프레임워크인 GraphSVR을 소개합니다. GraphSVR은 획득 구조화된 그래프에서 슬라이스 그룹을 노드로 표현하며, 에지는 시간적 근접성, 공간적 슬라이스 기하구조, 확산 인코딩 관계를 인코딩합니다. 그래프 신경망은 전역적으로 일관된 스택 단위 강체 운동을 예측하며, 쌍을 이루는 정답 움직임 없이 해부학적 참조 영상만을 사용하여 자기지도, 제로샷(zero-shot) 방식으로 최적화됩니다. 제어 가능한 움직임 심각도와 그래디언트 희소성을 갖는 실제 획득 기반의 사실적인 재조합 시뮬레이션 및 완전 합성 확산 시뮬레이션 모두를 사용하여 GraphSVR을 평가합니다. 성능은 알려진 정답 변환 대비 그리드 오차(mm) 및 회전 오차를 사용하여 정량화됩니다. 심각한 움직임 하에서 GraphSVR은 표준 DWI 움직임 보정 방법인 FSL eddy에 비해 그리드 오차와 회전 오차를 73% 감소시키며, 가장 큰 개선 효과는 희소 방향 영역에서 관찰됩니다. 이러한 결과는 그래프 기반 추론을 통해 획득 구조를 명시적으로 모델링하는 것이 4D DWI 움직임 추정에서 견고성과 전역적 일관성을 향상시킨다는 점을 보여줍니다. 코드는 https://github.com/nogakertes/GraphSVR.git 에서 이용할 수 있습니다.

arXiv:2607.20551v1cs.LG공통 태그 Self-Supervised Learning, Graph Neural Network

SenCos-GEM: SENet 보정 및 코사인 법칙 제약 기하 강화 분자 표현을 통한 물성 예측

SenCos-GEM: SENet-Calibrated and Law-of-Cosines-Constrained Geometry-Enhanced Molecular Representation for Property Prediction

효과적인 분자 표현 학습은 정확한 분자 물성 예측에 필수적이다. 최근 약물 발견을 위해 포괄적인 3D 구조 정보를 포착하기 위해 3D GNN을 활용한 다수의 자기지도 학습(SSL) 접근법이 개발되었다. 그러나 기존 방법들은 명시적인 물리적 제약이 부족하며, 대규모 사전학습 과정에서 거친 경험적 힘장(empirical force field)에 의해 유발되는 기하학적 노이즈에 매우 취약하다. 또한 하류 적응(downstream adaptation) 과정에서 동적 특징 변조(feature modulation)를 간과하여, 종종 치명적 망각(catastrophic forgetting)과 부정적 전이(negative transfer)를 초래한다. 이러한 한계를 해결하기 위해, 본 연구는 SENet 보정 및 코사인 법칙 제약 강화를 통합한 새로운 명시적 분리형 기하 강화 분자 표현 학습 프레임워크인 SenCos-GEM을 제안한다. SenCos-GEM은 코사인 법칙에 기반한 물리 유도 기하학적 일관성 손실(geometric consistency loss)을 사용하여 고충실도이며 수학적으로 불변인 3D 공간 사전지식(spatial priors)을 도출한다. 또한 경량 Squeeze-and-Excitation(SE) 모듈이 태스크별 어댑터(task-specific adapter)로 백본에 통합되며, 이중 변조(dual-modulation) 예측 헤드는 Feature-wise Linear Modulation(FiLM)과 SENet 메커니즘을 결합하여 동적 특징 재보정(feature recalibration)을 가능하게 한다. SenCos-GEM은 MoleculeNet 벤치마크에서 다양한 분류 및 회귀 태스크 전반에 걸쳐 매우 경쟁력 있는 성능을 보이며, FreeSolv, Lipophilicity, QM9와 같은 3D conformation에 민감한 회귀 태스크에서 특히 새로운 최신(state-of-the-art) 결과를 달성하여, 각각 상대 오류를 12.9%(RMSE), 5.3%(RMSE), 8.2%(MAE) 감소시켰다. 또한 본 모델은 입체 이성질체(stereoisomer)를 구별하고 conformational perturbation을 판별하는 뛰어난 능력을 보여, 강건한 공간 모델링 성능을 입증한다. 종합적으로 SenCos-GEM은 정확한 분자 물성 예측 분야에서 중요한 돌파구를 제시한다.

arXiv:2607.21561v1cs.LG공통 태그 Self-Supervised Learning, Graph Neural Network

순환 펩타이드 앙상블에 대한 그래프 학습: 분자 앙상블 모델링 연구

Graph Learning on Ensembles of Cyclic Peptides: An Investigation of Molecular Ensemble Modeling

구조로부터 분자 특성을 예측할 때, 용액 속에서 많은 분자가 conformational ensemble(구조 앙상블)로 존재함에도 불구하고 종종 단일 대표 conformation(구조)을 사용한다. 본 연구는 EnsembleEGNN을 제안한다. 이는 분자 앙상블 기초 모델로, 먼저 공유된 Equivariant Graph Neural Network(EGNN) 레이어로 각 컨포머(conformer)를 인코딩한 다음, Set Attention Block으로 결과 컨포머 표현을 풀링하여 앙상블을 인코딩한다. CREMP(순환 펩타이드 앙상블 데이터셋)에서 마스크된 토큰 복원, 노이즈 좌표 재구성, 쌍별 거리 재구성을 결합한 다중 과제 자기지도 목적 함수를 사용하여 모델을 사전학습한다. CREMP-CycPeptMPDB 데이터셋에서 EnsembleEGNN을 처음부터 학습하면 완전히 실패한다($R^2=0.005$). 그러나 사전학습된 모델은 $R^2=0.477$ 및 Pearson $r=0.699$에 도달하여, 서열 전용 BERT 기준선($R^2=0.439$, Pearson $r=0.667$)을 능가한다. EnsembleEGNN이 BERT 서열 인코더와 end-to-end로 공동 학습되면, 하이브리드 모델은 $R^2=0.538$ 및 Pearson $r=0.737$로 더욱 향상된다. 이 결과는 conformational ensemble을 단일 열역학적으로 정보화된 임베딩으로 인코딩하면 순환 펩타이드 특성 예측이 향상됨을 보여준다.

arXiv:2607.20477v1cs.AI공통 태그 Self-Supervised Learning, Graph Neural Network

반지도 텍스트 속성 그래프 증류

Semi-Supervised Text-Attributed Graph Distillation

텍스트 속성 그래프(Text-Attributed Graphs, TAGs)는 그래프 토폴로지와 풍부한 텍스트 의미론을 통합하는 표현력 있는 데이터 모델로 부상했다. 기존 TAG 표현 학습 방법은, 특히 대규모 언어 모델(LLM)과 함께 사용할 때 심각한 확장성 병목을 겪는다. 데이터 증류가 유망한 데이터 중심 해결책을 제공하지만, 기존 방법은 그래프와 텍스트 모달리티 간의 복잡한 상호작용을 포착하지 못하고, 반지도 설정에 내재된 레이블 부족 문제에 어려움을 겪으며, LLM 기반 후속 작업에 필요한 사람이 읽을 수 있는 텍스트 속성을 생성할 능력이 부족하다. 이러한 과제를 해결하기 위해, 우리는 Wasserstein Distance(WSD)에 의해 안내되는 통합 반지도 프레임워크 \algo{}를 제안한다. 실제 TAG에 대한 우리의 경험적 발견에 기반하여, \algo{}는 협력적 자기학습(collaborative self-training) 방식 내에서 이중 경로 인코더(그래프 인식 및 그래프 비인식)를 활용하는 그래프-텍스트 협력 인코딩 모듈을 도입하여, 신뢰할 수 있는 의사 레이블(pseudo-label)을 수확하고 상보적인 그래프-텍스트 특징을 융합한다. 또한, 우리는 이론적으로 정당화된 WSD 기반 그래프 스케치(sketching) 알고리즘과 비용 효율적인 LLM 텍스트 합성 모듈을 개발하며, 이는 클러스터 기반 키워드 추출을 활용하여 응축된 노드에 대해 일관되고 사람이 읽을 수 있는 요약을 생성한다. 벤치마크 데이터셋에 대한 광범위한 실험은 \algo{}가 GNN 및 LLM 기반 후속 작업 모두에서 최첨단(state-of-the-art) 성능-압축 트레이드오프를 달성하여, 효과적이고 효율적인 TAG 학습 또는 분석을 가능하게 함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.