Multimodal Molecular Representation Learning with Graph Neural Networks, Deep & Cross Networks, and SMILES Embeddings
한국어 초록
분자 특성 예측은 흔히 단일 데이터 모달리티에 의존하는데, 연속적인 3D 그래프 신경망(GNN)은 장거리 위상적 의존성과 정확한 거시적 휴리스틱을 효율적으로 포착하는 데 어려움을 겪는다. 본 연구에서는 세 가지 직교 모달리티—3D 공간 기하(SchNet), 이산 위상 문법(ChemBERTa를 통한 SMILES), 명시적 거시적 물리화학적 기술자(Deep & Cross Network)—를 통합하는 매개변수 효율적인 삼중 분기 모듈 융합 신경망을 제안한다. 표준 스칼라 리드아웃을 우회하고 공유 후기 융합 아키텍처를 채택함으로써, 본 프레임워크는 국소 메시지 패싱의 산술적 한계 및 과평활화(oversmoothing) 문제를 효과적으로 해소하는 수학적으로 엄밀한 멀티모달 잠재 공간을 구성한다. 제안된 아키텍처는 QM9 벤치마크에서 0 K 원자화 에너지($U_0^{\mathrm{atom}}$)라는 광범위한 열역학적 특성을 대상으로 평가하였다. 체계적인 조합 ablation 실험과 잠재 병목 최적화($d_e=64$)를 통해, 삼중 모달 프레임워크는 검증 평균 절대 오차(MAE) 0.0207 eV를 달성하였다. 100만 개 미만의 매개변수로 동작하는 본 아키텍처는 화학 정확도 임계값을 명확히 상회하며, 엄격하게 통제된 기하학적 기준선 대비 20.6%의 오차 감소를 실현한다. 최종적으로, 본 연구 결과는 직교하는 거시적·위상적 데이터 스트림의 통합이 시너지적인 $\mathcal{O}(1)$ 물리적 지름길을 제공함을 입증한다. 이러한 멀티모달 정렬은 무차별적인 매개변수 스케일링에 대한 고효율 대안을 제시하며, 고처리량 가상 스크리닝(HTVS) 파이프라인을 위한 강건한 대리 모델을 확립한다.
원문 초록
Molecular property prediction often relies on isolated data modalities, where continuous 3D graph neural networks (GNNs) struggle to efficiently capture long-range topological dependencies and exact macroscopic heuristics. In this work, we introduce a parameter-efficient Tri-Branch Modular Fusion Neural Network that synthesizes three orthogonal modalities: 3D spatial geometry (SchNet), discrete topological grammar (SMILES via ChemBERTa), and explicit macroscopic physicochemical descriptors (Deep & Cross Network). By bypassing standard scalar readouts and employing a shared late-fusion architecture, the framework establishes a mathematically rigorous multimodal latent space that effectively resolves the arithmetic and oversmoothing limitations of local message passing. We evaluate the proposed architecture on the QM9 benchmark, targeting the extensive thermodynamic property of atomization energy at 0 K ($U_0^{\mathrm{atom}}$). Through systematic combinatorial ablation and latent bottleneck optimization ($d_e=64$), the tri-modal framework achieves a validation Mean Absolute Error (MAE) of 0.0207 eV. Operating with fewer than one million parameters, this architecture decisively surpasses the sub-chemical accuracy threshold and yields a substantial 20.6% error reduction over a strictly controlled geometric baseline. Ultimately, our findings demonstrate that integrating orthogonal macroscopic and topological data streams provides a synergistic, $\mathcal{O}(1)$ physical shortcut. This multimodal alignment offers a highly efficient alternative to brute-force parameter scaling, establishing a robust surrogate model for high-throughput virtual screening (HTVS) pipelines.
요약
3D 공간 기하(SchNet), 거시적 물리화학 기술자(Deep & Cross Network), SMILES 시퀀스 임베딩(ChemBERTa)을 결합한 삼중 분기 멀티모달 융합 신경망을 제안하여, 100만 개 미만의 파라미터로 QM9 벤치마크의 원자화 에너지 예측에서 MAE 0.0207 eV를 달성하였다. 단일 기하 기준선 대비 20.6% 오차 감소를 실현하며, 직교하는 모달리티 통합이 무차별적인 파라미터 확장의 효율적 대안임을 입증한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.05736v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
대리 범함수를 활용한 전자 밀도 기반 분자 특성 예측
Electron-Density-Informed Molecular Property Prediction Using Surrogate Functionals
양자역학 계산의 과도한 연산 비용을 피하기 위해 분자 구조로부터 화학적 특성을 직접 예측하는 데 머신러닝 방법이 점점 더 널리 사용되고 있습니다. 최근 연구에 따르면 머신러닝 모델의 입력으로 바닥상태(ground-state) 전자 밀도를 포함하면 이러한 설정에서 정확도를 향상시킬 수 있는 것으로 나타났습니다. 본 연구에서는 원래 무궤도 밀도 범함수 이론(orbital-free density functional theory)을 위해 개발된 최근의 대리 범함수(surrogate functional) 프레임워크를 차용하여 분자 특성 예측으로 확장합니다. 바닥상태 밀도를 모델의 입력으로 전달하는 동시에 이를 대리 범함수의 최솟값이 되도록 강제함으로써 QM9 데이터셋의 7가지 크기 성질(extensive properties) 중 6가지에서 최고 수준의 성능(SOTA)을 능가함을 보여줍니다. 또한 이 접근 방식은 QM40 데이터셋의 더 큰 분자에 대해서도 향상된 일반화 능력을 보입니다. 두 데이터셋의 모든 크기 성질에서 본 연구의 접근법은 바닥상태 밀도를 반영하지만 대리 범함수 제약 조건을 강제하지 않는 모델보다 우수한 성능을 나타냅니다.
잠재 구조 학습: 그래프 데이터 증강을 위한 특징 중심 접근법
Learning the Latent Structure: A Feature-Centric Approach to Graph Data Augmentation
그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.
DISSOLVR: 수계 및 유기 용해도 예측을 위한 해석 가능하고 빠른 프레임워크
DISSOLVR: An Interpretable and Fast Framework for Aqueous and Organic Solubility Prediction
고충실도(high-fidelity) 용해도 예측은 다양한 화학적 환경 전반에서 분자 구조와 열역학적 거동을 정확하게 결합해 모델링해야 하는 의약품 개발 및 환경 분배(environmental partitioning) 분야의 기초가 됩니다. 그러나 최근의 발전은 예측력을 위해 물리적 해석 가능성을 희생하는 경우가 많은 심층 학습(deep learning) 아키텍처가 주도해 왔습니다. 본 연구에서는 최고 수준의 성능을 달성하는 데 이러한 불투명한 아키텍처가 필수적이지 않음을 보여줌으로써 이와 같은 경향에 도전합니다. 이를 해결하기 위해 분자 용해도 예측을 위한 투명한 프레임워크인 DISSOLVR을 소개합니다. 아울러 포괄적인 문헌 검토와 다양한 방법론에 대한 벤치마킹 연구를 수행합니다. 분자를 물리적 기반의 기술자(descriptor)에 매핑하여 얻은 구조적 불변성을 통해, DISSOLVR이 실험적 불확실성의 우연적 한계(aleatoric limit)에 근접하고 OOD(분포 외) 일반화를 달성함을 입증합니다. 이어서 기호 기반 모델 아티팩트와 화학적 기반 설명 사이의 격차를 좁히는 LLM 보조 사후 설명 파이프라인을 제시합니다. 마지막으로 전문 화학자 22명이 참여한 설문 조사 비교 벤치마크를 통해 전문가 평가자가 심층적인 인사이트를 제공함을 밝힙니다.
MERID: 주요우울장애 분석을 위한 재귀적 자기 개선 에이전트 기반 멀티모달 탐험
MERID: Multimodal Exploration via Recursive Self-Improvement Agents for Major Depression Analysis
주요우울장애(MDD)는 일상 활동과 삶의 질에 심각한 영향을 미칩니다. MDD를 탐지하기 위해서는 인터뷰 녹음 및 센서 측정치와 같은 멀티모달(multimodal) 데이터를 다루어야 합니다. 이러한 이종 모달리티는 각기 맞춤화된 별도의 예측 파이프라인을 요구하는 경우가 많아 특히 어렵습니다. 이 문제를 해결하기 위한 기존 연구들은 수작업으로 설계된 멀티모달 아키텍처와 에이전트 지원 파이프라인 개발을 모두 탐색해 왔습니다. 이러한 진전에도 불구하고, 실험적 피드백을 기반으로 파이프라인을 자율적으로 수정하고 검증된 개선 사항을 후속 설계로 계승하는 것은 여전히 어려운 과제입니다. 이를 위해 본 연구에서는 주요우울장애 분석을 위한 재귀적 자기 개선 에이전트 기반 멀티모달 탐험(MERID) 프레임워크를 제안합니다. 이 프레임워크는 경험 기반 재귀적 자기 개선(RSI)을 통해 우울증 파이프라인을 개발합니다. 접지된 상태 구성(GSC)은 멀티모달 기록을 피험자 수준의 우울증 목표와 정렬하여 경험을 그라운딩(grounding)합니다. 결합 파이프라인 탐험(CPE)은 표현, 융합, 예측기를 공동으로 수정하여 분류(classification) 및 중증도 추정을 위한 후속 파이프라인을 구축합니다. 증거 기반 진화(EGE)는 피드백을 통해 수정을 안내하고, 상속 전에 소규모 우울증 코호트의 불확실성 속에서 성능 향상을 검증합니다. 우울증 벤치마크에 대한 광범위한 실험 결과, MERID는 멀티모달 및 에이전트 기반 베이스라인 대비 여러 태스크에서 최고의 결과를 달성함을 보여줍니다. 추가 분석은 우울증 탐지에서 음향 및 언어적 단서의 중요성을 강조합니다. 코드는 https://github.com/DiscoAILab/MERID 에서 확인할 수 있습니다.
흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형
Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)
생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.