그래프 신경망을 이용한 분자 생성을 위한 멀티그리드 학습
Multigrid Training for Molecular Generation using Graph Neural Networks
한국어 초록
심층 학습은 입력이 흔히 그래프 또는 3D 격자로 표현되는 생화학적 분자 시스템 모델링에서 상당한 성공을 거두었다. 주요 과제는 계산 비용이 해상도에 따라 증가한다는 점으로, 이로 인해 분자 밀도에 대한 전체 그래프/격자 계산이 비용이 크고 종종 불안정해진다. 우리는 이산화 간 매개변수 전달을 통해 저해상도 최적화를 활용하여 고해상도에서의 학습을 가속하는 멀티그리드 학습 전략을 제안한다. 그래프 분자 표현의 경우, 편향 랜덤 워크 업샘플링(biased random walk upsampling)을 통해 거친 그래프에서 학습된 매개변수를 점점 더 세밀한 그래프들의 순서로 점진적으로 전달한다. 3D 분자 생성의 경우, 분자 구조를 여러 해상도로 복셀화(voxelize)하고, 저해상도 조건부 변분 오토인코더(conditional Variational Autoencoder, CVAE)를 사전학습한 뒤, 거친 모델로부터 형상 호환(shape compatible) 합성곱 매개변수를 전달하여 고해상도 CVAE를 초기화한다. 수용체 조건(receptor-conditioned) 3D 리간드 생성에 대한 수치 실험은, 처음부터 학습하는 경우에 비해 멀티그리드 학습이 수렴을 가속하고 일반화를 개선함을 보여준다.
원문 초록
Deep learning has demonstrated significant success for modeling biochemical molecular systems, where inputs are commonly represented as graphs or 3D grids. A major challenge is that computational cost scales with resolution, making full graph/grid computation of molecular densities expensive and often unstable. We introduce a multigrid training strategy that leverages low-resolution optimization to accelerate learning at higher resolution through parameter transfer across discretizations. For graph molecular representations, we progressively transfer parameters learned from a coarse graph to a sequence of increasingly finer graphs via biased random walk upsampling. For 3D molecular generation, we voxelize the molecular structures at multiple resolutions, pretrain a coarse-resolution conditional Variational Autoencoder (CVAE), and initialize a fine-resolution CVAE by transferring shape compatible convolutional parameters from the coarse model. Numerical experiments on receptor-conditioned 3D Ligand generation show that multigrid training accelerates convergence and improves generalization compared to training from scratch.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.22377v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VIEWCRAFT: 멀티모달 에이전트가 보는 대상과 이를 읽는 방식의 공동 진화
VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It
재사용 가능한 스킬은 모델(model) 가중치를 업데이트하지 않고도 멀티모달 에이전트(multimodal agent)를 향상시키지만, 그 효과는 제시되는 근거(evidence)와 이를 읽는 데 사용되는 절차 모두에 의존합니다. 본 논문에서는 실행 가능한 근거 인터페이스와 해당 인터페이스의 읽기 절차를 함께 공동 진화시키는 ViewCraft를 소개합니다. 인터페이스는 관측치를 선택, 변환, 구성하며, 리더(reader)는 그 결과로 생성된 뷰(view)를 해석합니다. 실패 추적(failure trace)은 수정을 안내하고, 리플레이 및 쌍체 평가(paired evaluation)는 유용한 변경 사항을 유지하며, 인터페이스 프로젝션은 적격한 기각 공동 제안으로부터 시각적 편집 내용을 복구합니다. 8개 벤치마크(benchmark) 전반에서 ViewCraft는 직접 실행 방식 대비 태스크 점수를 평균 $6.1$점 향상시켰으며, 모든 벤치마크에서 성능 향상을 달성했습니다. 이러한 이점은 일치된 입력 토큰(token) 예산 하에서도 유지됩니다. 5개의 모든 다중 소스 태스크에서 학습된 인터페이스는 초기 스킬보다 8%~15% 더 적은 입력 토큰을 사용합니다. 또한 학습된 스킬은 실행기(executor) 간에 전이되며 평가된 모든 전이 환경에서 직접 실행 방식을 능가하여, 결합된 재사용 가능 스킬로서의 근거 구축 및 읽기 접근법을 뒷받침합니다.
VQIL: 그래프 상의 섭동 반응 순위화를 위한 가시적 양자 간섭 학습
VQIL: Visible Quantum Interference Learning for Perturbation Response Ranking on Graphs
국소적 섭동(perturbation)이 네트워크에 미치는 영향을 학습하는 것은 시스템의 반응을 유발하거나 흡수하는 구성 요소를 식별하는 데 중요합니다. 본 연구에서는 이를 시드 조건부 반응 순위화(seed-conditioned response ranking) 문제로 정의합니다. 즉, 하나의 시드 노드(node)에서 섭동이 발생했을 때 다른 모든 노드를 반응 강도에 따라 순위화하는 것입니다. 이는 모델(model)에 상호작용 토폴로지만 주어지고 섭동이 전파되는 방식을 지배하는 메커니즘을 데이터로부터 학습해야 할 때 특히 어렵습니다. 본 논문에서는 시드 조건부 순위화를 위한 학습 가능한 세게디 양자 워크(Szegedy quantum walk)인 VQIL(Visible Quantum Interference Learning)을 제안합니다. 워크 연산자가 학습(training) 전반에 걸쳐 유니터리(unitary) 상태를 유지하는 동안, 에지 가중치, 링크 위상, 노드별 위상 회전이 역전파(backpropagation)를 통해 엔드투엔드로 최적화됩니다. 노드 점수는 양자 워크 진폭의 기하학적 감쇠 코히런트 합(coherent sum)에서 얻어지며, 이를 통해 최종 제곱 노름(squared-norm) 판독 전에 양자 간섭이 가능해집니다. 학습된 각 매개변수(parameter)는 명명된 에지 또는 노드에 연결되어 있으므로, 학습된 모델은 전파 메커니즘에서 개별 그래프 구성 요소의 역할에 대해 직접 검사 가능한 가설을 제공합니다. 전기적 매개변수를 모델에 제공하지 않은 6개 송전망에 대한 교류 조류(AC power-flow) 섭동 실험에서, VQIL은 스피어만 순위 상관계수를 학습되지 않은 워크의 0.147에서 0.831로 향상시켰으며 동일하게 학습된 무작위 워크 모델의 성능을 능가했습니다. Perturb-seq 지도 신호가 있는 5개 단백질-단백질 상호작용 네트워크에 대한 유전자 섭동 실험에서 VQIL은 순위 상관계수를 0.171에서 0.620으로 향상시켜 가장 강력한 고전적 및 신경망 기반 학습 베이스라인들을 능가했습니다. 이러한 결과는 학습 가능한 양자 워크 간섭이 그래프 상에서 시드 조건부 반응 순위를 학습하기 위한 확장 가능하고 해석 가능한 귀납적 바이어스(inductive bias)를 제공함을 보여줍니다.
엣지 독립성이 실패할 때: 잠재 사회성 사전분포를 이용한 결합 그래프 디퓨전
When Edge Independence Fails: Joint Graph Diffusion with Latent Sociability Priors
이산 그래프 디퓨전 모델은 마르코프 노이즈 모델을 사용한 독립적인 엣지(edge) 업데이트를 통해 그래프 구조를 손상시킨다. 출력 분포에 대한 교환가능성(exchangeability) 요구 조건과 결합되면, 터미널 사전분포(prior)는 필연적으로 에르되시-레니(Erdős–Rényi, E-R) 랜덤 그래프가 된다. 이는 노드 특징(feature) 없는 비조건부 그래프 생성에 근본적인 결과를 초래한다: 큰 그래프의 극한에서, E-R 그래프에 적용된 모든 GNN 디노이저(denoiser)는 대략적으로 E-R 그래프를 출력하여, 효과적인 디노이징(denoising)을 어렵게 만든다. 실제로, 생성된 그래프는 의미 있는 노드 이질성(heterogeneity)과 고차 구조(higher-order structure)를 복원하지 못한다. 이전 모델들은 이를 보완하기 위해 전문화된 노드 특징을 도입했으며, 이를 표현력(expressivity) 문제로 간주했지만, 사전분포의 역할은 검토되지 않은 채로 남아 있었다. 우리는 대신 잠재 사회성 사전분포(Latent Sociability Prior, LSP)와, 잠재 노드 사회성(sociability) 변수와 그래프 구조를 함께 진화시키는 결합(joint) 디퓨전 프로세스를 도입하여 근본 원인을 해결하며, 교환가능성을 유지하면서 엣지 독립성을 제거한다. 기존의 잠재 그래프 디퓨전 방법들과 달리, 사회성 메커니즘은 복잡한 인코더(encoder)를 필요로 하지 않는다: 그 유일한 역할은 엣지 업데이트를 안내하고 궤적(trajectory) 전체에서 노드 이질성을 보존하는 것이다. 우리는 여러 그래프 생성 데이터셋에서 접근법을 검증하고, 제안된 프레임워크가 노드 특징이 없는 기준선(baseline) 방법들보다 그래프 분포를 더 정확하게 포착함을 보인다.
이산 그래프 확산 모델은 은밀하게 암기하고 있다
Your Discrete Graph Diffusion Model is Secretly Memorizing
이산 그래프 확산 모델(Discrete graph diffusion models, GDM)은 마르코프(Markovian) 노이즈 모델 하에서 노드(node)와 에지에 독립적으로 노이즈를 추가하여 그래프 구조를 손상시킵니다. 노드 특징이 없는 무조건부 설정에서, 단일 그래프로 학습(training)된 등변 노이즈 제거기(equivariant denoiser)는 새로운 그래프를 생성할 수 있으며 에지 겹침(edge overlap) 및 WL 커널(kernel) 유사도와 같은 샘플 수준의 지표에서는 암기의 증거를 찾을 수 없습니다. 본 연구에서는 이러한 관점에 이의를 제기하고, 그래프 확산 모델이 실제로 암기 현상을 보인다는 점을 최초로 입증합니다. 2-블록 확률적 블록 모델(stochastic block models, SBM)로 학습된 GDM의 역방향 확산 궤적(reverse diffusion trajectory)을 분석한 결과, 강력한 학습 데이터 바이어스(bias)를 발견했습니다. 즉, 모델(model)은 제외된 테스트 그래프에 비해 손상된 학습 그래프를 거의 완벽하게 복원합니다. 이러한 현상은 역방향 궤적이 손상된 학습 그래프에 조건화될 때만 나타나고 추론(inference) 중에는 드러나지 않으므로, 우리는 이를 조건부 암기(conditional memorization)라고 명명합니다. 이는 제외된 그래프에서의 손실(loss)이 악화되는 반면 학습 손실은 개선되는 일반화 격차(generalization gap)의 확대와 일치하며, 조기 종료(early stopping)로도 완화할 수 없습니다. 암기의 시작은 항상 생성된 그래프에서 커뮤니티 구조의 출현보다 앞서 발생하므로, 그보다 앞선 모든 체크포인트(checkpoint)는 구조가 없는 그래프만을 생성합니다. 이러한 동작은 우리가 테스트한 모든 노드 크기에 걸쳐 유지됩니다.
NEMORA: 장거리 원자론적 학습을 위한 신경 등변 다중극 연산자
NEMORA: Neural Equivariant Multipole Operators for Long-Range Atomistic Learning
등변 그래프 신경망(Equivariant Graph Neural Network)은 머신러닝 기반 원자 간 포텐셜(interatomic potential)의 핵심 아키텍처로 부상하여, 계산 비용의 일부만으로도 양자 화학 수준의 정확도에 근접하고 있습니다. 이러한 모델들은 국소 원자 환경을 정확하게 기술하지만, 유한한 공간적 컷오프(cutoff)로 인해 장거리 정보 흐름이 단절되며, 메시지 전달 계층을 깊게 쌓으면 지나친 평활화(over-smoothing) 및 과도한 압축(over-squashing)이 발생할 수 있습니다. 기존의 장거리 확장 기법들은 고정된 해석적 전파 커널(propagation kernel)을 규정하거나, 장거리 통신을 스칼라 또는 차수 보존 채널로 제한하거나, 근사적으로만 등변성을 만족하거나, 초선형(super-linear) 계산 비용을 초래합니다. 대규모 시스템에 대해 효율적인 스케일링(scaling) 및 다중 스케일 다체 표현력과 함께 학습 가능한 장거리 등변 수송을 결합하는 것은 여전히 핵심 과제로 남아 있습니다. 본 논문에서는 장거리 텐서 표현 학습을 위해 고속 다중극 방법(Fast Multipole Method, FMM)을 신경 등변 방식으로 확장한 NEMORA(Neural Equivariant Multipole Operators)를 소개합니다. NEMORA는 적응형 공간 계층 구조상에서 FMM의 해석적 다중극 전개 및 변환 연산자를 학습 가능한 등변 연산자로 일반화합니다. 이 연산자들은 각도 차수를 결합하고 다양한 길이 스케일에 걸쳐 다체 상호작용을 형성하며, 데이터 의존적인 장거리 결합을 학습하는 동시에 FMM의 계층적 구조와 해석적 방사형 인자를 물리적 귀납 편향(inductive bias)으로 유지합니다. NEMORA는 선형 시간 및 메모리 복잡도로 평가되므로 수십만 개의 원자에 달하는 대규모 시스템을 다른 장거리 방식보다 효율적으로 다룰 수 있으며, 대칭 제약이 있는 백본 및 제약이 없는 단거리 백본 모두를 보강합니다. 비국소(non-local) 벤치마크에서 단거리 백본 대비 힘(force) 및 에너지 오차를 각각 1자릿수(order of magnitude) 이상, 최대 3자릿수까지 줄여, 정확도 측면에서 기존의 장거리 확장 기법보다 우수하거나 경쟁력 있는 성능을 보입니다.
HGPTrans: 차량 공기역학적 항력 계수 예측을 위한 계층적 그래프 풀링 Transolver
HGPTrans: Hierarchical Graph-Pooling Transolver for Automotive Aerodynamic Drag Coefficient Prediction
공기역학적 항력 계수($C_D$)를 정확하고 신속하게 예측하는 것은 특히 수많은 후보 형상을 평가해야 하는 초기 설계 단계의 차량 설계에 필수적입니다. 전산유체역학(CFD)은 신뢰할 수 있는 공기역학적 추정치를 제공하지만, 높은 계산 비용으로 인해 대규모 설계 탐험(exploration)이 제한됩니다. 본 논문에서는 차량 표면 메시로부터 직접 $C_D$를 예측하기 위해 계층적 그래프 풀링(hierarchical graph pooling)과 Transolver 기반 어텐션을 결합한 계층적 그래프 풀링 Transolver(HGPTrans)를 제안합니다. 차량의 공기역학이 국소적 기하학적 특징과 공간적으로 떨어진 표면 영역 간의 장거리 상호작용 모두에 의존한다는 점에 착안하여, HGPTrans는 세 가지 상호보완적인 구성 요소를 통합합니다. 그래프 동형성 합성곱(Graph isomorphism convolution)은 변별력 있는 국소 기하학 정보를 인코딩하고, Transolver 방식의 슬라이스 어텐션은 선형 계산 복잡도로 전역적 상호작용을 포착하며, 정보 중복성을 고려한 계층적 풀링은 유익한 기하학적 구조를 보존하면서 중복 노드를 점진적으로 제거합니다. 이 모델은 대규모 DrivAerNet 및 DrivAerNet++ 데이터셋에서 학습(training) 및 평가(evaluation)되었으며, 평가된 베이스라인 중 가장 낮은 평균 절대 오차와 평균 제곱 오차를 달성했습니다. 또한 세단과 스포츠 유틸리티 차량(SUV)을 모두 포함하는 실제 차량 데이터셋에서의 전이학습(transfer learning)을 통해 일반화 성능을 추가로 검증하였으며, 차량당 약 $0.293$초의 추론(inference) 시간으로 1.56\%(세단) 및 2.12\%(SUV)의 상대 $L_1$ 오차를 기록했습니다. 이는 예측된 항력 계수를 CFD 기준치 대비 수 퍼센트 이내로 유지하면서 고정밀 CFD에 비해 몇 자릿수(orders of magnitude)에 달하는 속도 향상을 이루어낸 것에 해당합니다. 소제 연구(ablation study)를 통해 각 구성 요소의 기여도를 확인하고 네트워크 깊이 및 풀링 비율의 영향을 규명했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.