Multitask Learning On Graph Neural Networks Applied To Molecular Property Predictions
원문 초록
Prediction of molecular properties, including physico-chemical properties, is a challenging task in chemistry. Herein we present a new state-of-the-art multitask prediction method based on existing graph neural network models. We have used different architectures for our models and the results clearly demonstrate that multitask learning can improve model performance. Additionally, a significant reduction of variance in the models has been observed. Most importantly, datasets with a small amount of data points reach better results without the need of augmentation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
잠재 구조 학습: 그래프 데이터 증강을 위한 특징 중심 접근법
Learning the Latent Structure: A Feature-Centric Approach to Graph Data Augmentation
그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.
안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크
Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction
보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.
Graph Attention Network를 이용한 토양 미세플astics 및 유기물의 공간 예측
Spatial Prediction of Soil Microplastics and Organic Matter Using Graph Attention Networks
토양 미세플astics 및 유기물의 정확한 추정은 생태계 건강을 평가하고 지속 가능한 토지 이용을 지원하는 데 필수적이다. 본 연구는 91개의 지리좌표가 부여된 토양 시료 간 공간적 의존성을 모델링하기 위해 Graph Attention Networks(GAT)를 사용하는 그래프 기반 심층 학습 접근법을 제시한다. 공간 좌표, 토양 특성, 토지 이용 데이터를 통합하여 지역적 상호작용을 포착하는 2층 GAT 아키텍처를 개발하였다. 최종 모델은 우수한 성능을 보였으며, 미세플astics에 대해 RMSE 625.06($R^2 = 0.87$), 유기물에 대해 0.43($R^2 = 0.91$)을 달성하였다. 그러나 교차 검증 결과 일반화 성능이 제한적임이 드러났으며, 이는 아마도 작은 표본 크기와 희소한 그래프 구조 때문인 것으로 보인다. 이러한 결과는 공간적 토양 예측에서 GAT의 잠재력을 보여주며, 밀집된 데이터셋과 개선된 그래프 연결성의 필요성을 강조한다.
HERMES: 신호 교차로에서의 교통 충돌 예측을 위한 이질적 엣지-관계 다중 헤드 임베디드 SSM 어텐션
HERMES: Heterogeneous Edge-Relational Multi-Head Embedded SSM Attention for Traffic Conflict Prediction at Signalized Intersections
대리 안전 지표(SSM, surrogate safety measures)는 사전적 교통 안전 평가를 가능하게 하지만, 기존 방법의 다수는 쌍방(pairwise) 상호작용을 독립적으로 평가하거나 다중 에이전트 장면을 고정된 특징 벡터로 평탄화하여, 이질적 상호작용 구조와 변화하는 장면 수준 위험을 표현하는 능력을 제한한다. 본 연구는 교통 충돌 평가를 시간적 이질적 장면 그래프(scene-graph) 분류로 공식화하고, SSM 기반 다중 헤드 어텐션을 갖춘 이질적 엣지-관계 그래프 신경망인 HERMES를 제안한다. 차량과 보행자는 이질적 노드로 표현되고, 차량-차량, 차량-보행자, 보행자-보행자 상호작용은 연속적인 운동학적 및 대리 안전 특징(descriptors)을 갖는 관계별 엣지로 인코딩된다. 관계별 어텐션, 동적 노드-엣지 업데이트, 안전 인식 그래프 풀링, 시간적 시퀀스 학습을 함께 사용하여 장면 수준 충돌 확률을 추정한다. HERMES는 신호가 있는 도시 교차로에서 궤적 기반으로 수집한 109,028개 시퀀스로 평가되었고, 독립적으로 수집한 유사 교차로 데이터셋에서 검증되었다. 강화된 HERMES는 AUC-ROC 0.9898 +/- 0.0013, AUC-PR 0.9412 +/- 0.0067, F1 점수 0.8449 +/- 0.0103을 달성했다. 5% 오경보율에서 충돌 시퀀스의 95.7%를 탐지하여, 가장 강력한 트랜스포머 기준선과 XGBoost를 능가했다. 제로샷(zero-shot) 외부 평가에서 HERMES는 AUC-ROC 0.9752, AUC-PR 0.7829를 달성했다. 공동 소스-타깃 학습은 제한된 타깃 현장 데이터에서도 타깃 현장 성능을 추가로 개선했다. 이러한 결과는 이질적 상호작용 위상, 안전 정보를 반영한 엣지 의미론, 단기 시간적 진화를 보존하는 것이 장면 수준 충돌 분류를 향상시키고 신호 교차로에서 전이 가능한 도로변 안전 모니터링을 지원함을 보여준다.
Long Term Stock Prediction based on Financial Statements
Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.