Graph Neural Networks for Molecules
원문 초록
Graph neural networks (GNNs), which are capable of learning representations from graphical data, are naturally suitable for modeling molecular systems. This review introduces GNNs and their various applications for small organic molecules. GNNs rely on message-passing operations, a generic yet powerful framework, to update node features iteratively. Many researches design GNN architectures to effectively learn topological information of 2D molecule graphs as well as geometric information of 3D molecular systems. GNNs have been implemented in a wide variety of molecular applications, including molecular property prediction, molecular scoring and docking, molecular optimization and de novo generation, molecular dynamics simulation, etc. Besides, the review also summarizes the recent development of self-supervised learning for molecules with GNNs.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SenCos-GEM: SENet 보정 및 코사인 법칙 제약 기하 강화 분자 표현을 통한 물성 예측
SenCos-GEM: SENet-Calibrated and Law-of-Cosines-Constrained Geometry-Enhanced Molecular Representation for Property Prediction
효과적인 분자 표현 학습은 정확한 분자 물성 예측에 필수적이다. 최근 약물 발견을 위해 포괄적인 3D 구조 정보를 포착하기 위해 3D GNN을 활용한 다수의 자기지도 학습(SSL) 접근법이 개발되었다. 그러나 기존 방법들은 명시적인 물리적 제약이 부족하며, 대규모 사전학습 과정에서 거친 경험적 힘장(empirical force field)에 의해 유발되는 기하학적 노이즈에 매우 취약하다. 또한 하류 적응(downstream adaptation) 과정에서 동적 특징 변조(feature modulation)를 간과하여, 종종 치명적 망각(catastrophic forgetting)과 부정적 전이(negative transfer)를 초래한다. 이러한 한계를 해결하기 위해, 본 연구는 SENet 보정 및 코사인 법칙 제약 강화를 통합한 새로운 명시적 분리형 기하 강화 분자 표현 학습 프레임워크인 SenCos-GEM을 제안한다. SenCos-GEM은 코사인 법칙에 기반한 물리 유도 기하학적 일관성 손실(geometric consistency loss)을 사용하여 고충실도이며 수학적으로 불변인 3D 공간 사전지식(spatial priors)을 도출한다. 또한 경량 Squeeze-and-Excitation(SE) 모듈이 태스크별 어댑터(task-specific adapter)로 백본에 통합되며, 이중 변조(dual-modulation) 예측 헤드는 Feature-wise Linear Modulation(FiLM)과 SENet 메커니즘을 결합하여 동적 특징 재보정(feature recalibration)을 가능하게 한다. SenCos-GEM은 MoleculeNet 벤치마크에서 다양한 분류 및 회귀 태스크 전반에 걸쳐 매우 경쟁력 있는 성능을 보이며, FreeSolv, Lipophilicity, QM9와 같은 3D conformation에 민감한 회귀 태스크에서 특히 새로운 최신(state-of-the-art) 결과를 달성하여, 각각 상대 오류를 12.9%(RMSE), 5.3%(RMSE), 8.2%(MAE) 감소시켰다. 또한 본 모델은 입체 이성질체(stereoisomer)를 구별하고 conformational perturbation을 판별하는 뛰어난 능력을 보여, 강건한 공간 모델링 성능을 입증한다. 종합적으로 SenCos-GEM은 정확한 분자 물성 예측 분야에서 중요한 돌파구를 제시한다.
순환 펩타이드 앙상블에 대한 그래프 학습: 분자 앙상블 모델링 연구
Graph Learning on Ensembles of Cyclic Peptides: An Investigation of Molecular Ensemble Modeling
구조로부터 분자 특성을 예측할 때, 용액 속에서 많은 분자가 conformational ensemble(구조 앙상블)로 존재함에도 불구하고 종종 단일 대표 conformation(구조)을 사용한다. 본 연구는 EnsembleEGNN을 제안한다. 이는 분자 앙상블 기초 모델로, 먼저 공유된 Equivariant Graph Neural Network(EGNN) 레이어로 각 컨포머(conformer)를 인코딩한 다음, Set Attention Block으로 결과 컨포머 표현을 풀링하여 앙상블을 인코딩한다. CREMP(순환 펩타이드 앙상블 데이터셋)에서 마스크된 토큰 복원, 노이즈 좌표 재구성, 쌍별 거리 재구성을 결합한 다중 과제 자기지도 목적 함수를 사용하여 모델을 사전학습한다. CREMP-CycPeptMPDB 데이터셋에서 EnsembleEGNN을 처음부터 학습하면 완전히 실패한다($R^2=0.005$). 그러나 사전학습된 모델은 $R^2=0.477$ 및 Pearson $r=0.699$에 도달하여, 서열 전용 BERT 기준선($R^2=0.439$, Pearson $r=0.667$)을 능가한다. EnsembleEGNN이 BERT 서열 인코더와 end-to-end로 공동 학습되면, 하이브리드 모델은 $R^2=0.538$ 및 Pearson $r=0.737$로 더욱 향상된다. 이 결과는 conformational ensemble을 단일 열역학적으로 정보화된 임베딩으로 인코딩하면 순환 펩타이드 특성 예측이 향상됨을 보여준다.
특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화
Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction
이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.
비전 트랜스포머에서의 형태 기반 도형-배경 조직화
Shape-based Figure-Ground Organization in Vision Transformers
풍부한 지각 구조가 최신 비전 인코더에서 나타난다. 여러 연구에서 다수의 비전 트랜스포머의 내부 표현이 전경 객체를 배경으로부터 분리한다는 점이 밝혀졌으나, 이러한 모델이 어떤 시각적 단서를 학습했는지는 거의 알려져 있지 않다. 본 연구에서는 25개의 다양한 비전 트랜스포머에서 도형-배경 조직화가 표면적인 텍스처 통계가 아니라 일반화 가능한 형태 단서에 의존하는지를 조사한다. 이를 위해 패치를 도형 또는 배경으로 분류하는 선형 프로브를 학습시키고, 개별 단서를 체계적으로 조작한 합성 자극에 대해 제로샷으로 평가한다. 다양한 비전 인코더에서 프로브가 입력 이미지의 텍스처를 무작위로 교체해도 견고하다는 것을 확인했으며, 이는 나타나는 도형-배경 조직화가 형태 단서에 의존함을 시사한다. 또한 프로브는 개별 형태 단서, 인식 가능성, 공간적 사전 정보를 통제한 합성 이미지에도 제로샷 방식으로 일반화된다. 실험 결과 둘러싸임 및 볼록성 단서의 영향이 강하게 나타났으며, 평행성과 대칭성에 대한 결과는 더 미묘했다. 보다 상세한 분석에서는 더 큰 모델에서 형태 기반 단서의 증거가 더 강하고, 객체 인식을 위해 학습된 모델은 텍스처 변화에 덜 견고한 경향이 있으며, 도형-배경 정보는 중간 층에서 가장 두드러지게 나타남을 보였다. 종합하면, 본 연구는 최근 비전 인코더에서 나타나는 도형-배경 조직화가 일반화 가능한 형태 단서에 크게 의존함을 보여 주며, 비전 트랜스포머의 내부 처리에 대한 이해를 증진하고 인간 시지각에 대한 계산 연구의 흥미로운 길을 연다. 코드와 데이터는 https://github.com/mtangemann/mlvbench 에서 이용할 수 있다.
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.
PixCon: 기반 모델 반지도 분할을 위한 클린-포지티브 대조 학습
PixCon: Clean-Positive Contrastive Learning for Foundation-Model Semi-Supervised Segmentation
단순한 레이블 픽셀 대조 분기가 강력한 사전학습 인코더를 사용하는 준지도 분할을 개선할 수 있는가? 우리는 UniMatch V2의 DINOv2-Base 구현에 클래스별 메모리 뱅크를 추가한 PixCon으로 이 질문을 연구한다. 이 뱅크는 학생 모델의 예측이 레이블과 일치하는 위치에서만 정답 레이블이 있는 특징을 저장한다. 다중 양성 대조 손실은 이러한 특징을 사용하여 공유 인코더-디코더를 학습시키며, 헤드와 뱅크는 추론 시 폐기된다. 이는 신뢰도 임계값과 학습된 순위 부여를 제거함으로써 기존의 레이블 픽셀 뱅크를 단순화한다. 183개 레이블을 사용한 Pascal VOC에서 PixCon은 짝지어진 세 시드 모두에서 각각 0.20, 0.64, 1.83 mIoU 포인트를 향상시켜 평균을 87.01에서 87.90으로 높인다. 92개 레이블에서는 평균 향상이 0.40 포인트이며, Cityscapes와 ADE20K에서 단일 시드 차이는 -0.08에서 +0.14 포인트 범위이다. 예측 레이블 대조 대조군이 Pascal에서 거의 동일한 정확도에 도달하므로, 이러한 결과는 추가된 분기 자체를 뒷받침할 뿐 정확성 필터에 따른 정확도 이득을 뒷받침하지는 않는다. 정확한 기울기 분해는 잘못 레이블된 양성의 개수와 유사도로 가중된 영향력을 구별한다. 별도의 교사 모델 진단에서는 유지된 픽셀의 오류율이 Pascal에서 1.8%, ADE20K에서 10.6%로 나타난다. 이러한 진단은 학습 중인 뱅크를 측정하거나 최종 정확도를 예측하지는 않는다. PixCon은 측정된 실행에서 반복당 시간을 15.3-19.7% 증가시키며 추론 연산은 추가하지 않는다. 우리는 짝지어진 시드, 학습 비용, 그리고 증거의 한계를 보고한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.