arXiv:2005.13352

Graph Neural Network for Hamiltonian-Based Material Property Prediction

Hexin Bai, Peng Chu, Jeng-Yuan Tsai, Nathan Wilson, Xiaofeng Qian, Qimin Yan, Haibin Ling

제출 2020-05-27

원문 초록

Development of next-generation electronic devices for applications call for the discovery of quantum materials hosting novel electronic, magnetic, and topological properties. Traditional electronic structure methods require expensive computation time and memory consumption, thus a fast and accurate prediction model is desired with increasing importance. Representing the interactions among atomic orbitals in any material, a material Hamiltonian provides all the essential elements that control the structure-property correlations in inorganic compounds. Effective learning of material Hamiltonian by developing machine learning methodologies therefore offers a transformative approach to accelerate the discovery and design of quantum materials. With this motivation, we present and compare several different graph convolution networks that are able to predict the band gap for inorganic materials. The models are developed to incorporate two different features: the information of each orbital itself and the interaction between each other. The information of each orbital includes the name, relative coordinates with respect to the center of super cell and the atom number, while the interaction between orbitals are represented by the Hamiltonian matrix. The results show that our model can get a promising prediction accuracy with cross-validation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.27539v2cs.SI공통 태그 Graph Neural Network

멀티모달 그래프 기반 소셜 미디어 인기 예측 벤치마킹

Benchmarking Multi-Modal Graph-based Social Media Popularity Prediction

소셜 미디어 인기도 예측은 초기 단계의 관측으로부터 온라인 콘텐츠의 향후 도달 범위나 영향력을 예측하는 것을 목표로 한다. 정확한 예측은 광고 최적화나 사용자, 크리에이터, 플랫폼의 전략적 콘텐츠 기획과 같은 주요 하위 응용을 가능하게 한다. 상당한 진전에도 불구하고, 기존의 인기도 예측 연구는 멀티모달 콘텐츠와 시간적 소셜 상호작용 신호를 함께 고려하지 못하는 경우가 많다. 더욱이 관련 문헌은 데이터셋, 모달리티, 관측 윈도우, 예측 대상, 평가 프로토콜에 걸쳐 매우 파편화되어 있다. 이러한 파편화는 공정한 비교를 방해하고, 텍스트, 시각, 시간, 상호작용 기반 신호가 인기도 역학을 어떻게 함께 형성하는지에 대한 체계적인 이해를 가린다. 이러한 문제를 해결하기 위해, 본 논문은 데이터셋, 모달리티, 시간적 상호작용 신호, 대표적인 베이스라인을 표준화된 평가 프로토콜 아래 통합하는 멀티모달 그래프 기반 인기도 예측 벤치마크인 MMG-Pop을 제안한다. 나아가 앞서 언급한 멀티모달 신호와 그래프 구조의 소셜 상호작용을 함께 모델링하는 통합 멀티모달 그래프 기반 네트워크인 MMG-PopNet을 제안한다. Bluesky와 Reddit 플랫폼에 걸친 MMG-Pop에서의 폭넓은 실험은 MMG-PopNet의 우수한 성능을 보여 주며, 플랫폼 간 학습 일반화, 멀티태스크 예측의 이점, 멀티모달리티의 기여, LLM 예측의 한계에 대한 새로운 통찰을 제공한다. 이러한 발견은 이질적인 모달리티와 사회 인식 에이전트 생태계 패러다임 하에서의 사회적 역학 모델링 및 개입에 관한 향후 연구의 토대를 마련한다.

arXiv:2609.25722v3cs.LG공통 태그 Graph Neural Network

부호 그래프 사전학습 및 프롬프트 학습

Signed Graph Pre-Training and Prompt Learning

부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.

arXiv:2609.27710v3cs.CV공통 태그 Graph Neural Network

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2607.05017v2cs.LG공통 태그 Graph Neural Network

그래프 신경망에서의 하이퍼파라미터 전이

Hyperparameter Transfer in Graph Neural Networks

심층 학습(deep learning) 모델의 성능은 학습률, 초기화 스케일, 가중치 감쇠와 같은 하이퍼파라미터 설정에 크게 의존한다. 하이퍼파라미터 전이(hyperparameter transfer)는 모델 규모에 걸쳐 최적에 가까운 하이퍼파라미터 설정을 일관되게 유지하는 것을 목표로 하며, 이를 통해 대형 모델을 더 작고 최적화 비용이 저렴한 대리 모델을 프록시 튜닝하여 최적화할 수 있다. 전이 원칙은 언어 및 비전 태스크에서의 밀집 신경망(dense neural network) 맥락에서 잘 연구되어 있지만, 그래프 신경망(GNN)에 대해서는 상대적으로 탐구가 미흡한 상태이다. 우리는 SGD, Adam, AdamW로 학습된 GNN을 위한 전이 파라미터화를 개발하고 검증한다. 이론적 스케일링 분석과 제어된 실험을 통해, 제안된 파라미터화가 안정적인 특징 업데이트, 학습률 전이, 그리고 너비와 깊이가 증가함에 따른 성능 향상을 달성함을 보인다. SGD의 경우, 그래프에 의존하는 첫 번째 층 보정 인수를 식별하고, 이를 활용하면 희소 bag-of-words 입력을 가진 그래프에서 초기 학습을 가속화할 수 있음을 보인다. Adam의 경우, 서로 다른 메시지 패싱 정규화 방식이 초기 및 후기 학습 전이 동작에 미치는 영향을 탐구하며, 메시지 패싱 정규화의 중요성을 설명하고 이에 연관된 하이퍼파라미터의 사용을 권장한다. AdamW의 경우, 가중치 감쇠와 학습률의 공동 전이를 가능하게 하는 파라미터화를 적용한다. 이러한 결과들은 다양한 학습 태스크와 학습 시나리오에 걸쳐 GNN을 스케일링하기 위한 실용적인 방법론을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.