MMD 파인튜닝을 통한 특징 분포로의 생성 모델 보정
Calibrating Generative Models to Feature Distributions with MMD Finetuning
한국어 초록
생성 모델은 개별적으로 타당한 샘플을 생성할 수 있지만, 주요 특징(feature)의 분포 측면에서는 목표 집합과 크게 다를 수 있습니다. 예를 들어, 광범위한 약물 유사 화학 공간에서 사전학습(pre-training)된 모델은 알려진 항생제와 같은 관심 치료 클래스의 분자 특징과 다른 분자를 생성할 수 있습니다. 이러한 분포적 오차를 수정하는 것은 어렵습니다. 목표 집합에 대한 직접 파인튜닝(fine-tuning)은 과적합(overfitting)을 유발할 수 있으며, 어떤 특징이 일치하는지 제어하지 못합니다. 이러한 격차를 해소하기 위해 우리는 커널(kernel) 보정 생성 모델(kCGM)을 소개합니다. kCGM은 사전학습된 모델에 가깝게 유지하기 위한 KL 정규화(regularization)와 함께 편향되지 않은 점수 함수 추정기를 사용하여 생성된 특징 분포와 목표 특징 분포 간의 최대 평균 차이(MMD)를 최소화합니다. 174개의 항생제로 구성된 목표 집합에서 직접 파인튜닝은 특징 분포 일치를 위해 화학적 타당성을 희생하는 반면, kCGM은 타당성을 높이면서 목표 특징 일치를 개선합니다. 우리는 단백질 및 DNA 생성 작업에서 kCGM을 추가로 시연하여, 특징 수준의 감독(supervision)만을 사용하여 자기회귀(autoregressive), 연속 공간 확산(continuous-space diffusion), 이산 확산(discrete diffusion) 모델을 적응시킬 수 있음을 보여줍니다. 코드는 https://github.com/smithhenryd/cgm 에서 확인할 수 있습니다.
원문 초록
Generative models can produce individually plausible samples while deviating substantially from a target set in the distribution of key features. For example, a model pretrained on broad drug-like chemical space may generate molecules whose molecular features differ from those of a therapeutic class of interest, such as known antibiotics. Correcting such distributional miscalibration is challenging: direct finetuning on the target set can overfit and does not control which features are matched. To fill this gap, we introduce kernel Calibrating Generative Models (kCGM). kCGM minimizes a maximum mean discrepancy (MMD) between generated and target feature distributions using an unbiased score-function estimator, with KL regularization to remain close to the pretrained model. On a target set of 174 antibiotics, direct finetuning sacrifices chemical validity for feature-distribution matching, whereas kCGM improves target feature matching while increasing validity. We further demonstrate kCGM in protein and DNA generation tasks, showing it can adapt autoregressive, continuous-space diffusion, and discrete diffusion models using only feature-level supervision. Code is available at https://github.com/smithhenryd/cgm.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19496v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SBDD를 넘어서: 다약리학 및 다중 표적 약물 설계에서의 기하 심층 학습
Beyond SBDD: Geometric Deep Learning in Polypharmacology and Multi-target Drug Design
구조 기반 약물 설계(SBDD)의 전통적인 "하나의 약물, 하나의 표적" 패러다임은 보상적 신호 전달 경로와 약물 내성의 출현으로 인해 암 및 신경퇴행성 질환과 같은 다인자 질환 치료에 자주 부적합하다. 다약리학(polypharmacology)은 시너지적 치료 전략을 제공하지만, 다중 표적이 부과하는 기하학적 제약을 동시에 만족할 수 있는 리간드의 합리적 설계는 여전히 주요한 계산 병목으로 남아 있다. 본 리뷰는 이러한 한계를 극복하기 위한 강력한 통합적 접근법으로 기하 심층 학습(geometric deep learning, GDL)을 제시한다. 우리는 비유클리드 분자 데이터를 활용하여 고유한 3차원(3D) 구조적 상호의존성을 포착하는 불변 그래프 신경망부터 SE(3)-등변 확산 모델까지 다양한 GDL 아키텍처를 체계적으로 조사한다. 기하 임베딩(embedding)을 통한 공유 결합 포켓의 특성화, 이질적 그래프 융합을 통한 다중 표적 생물활성 예측, 이중 표적 리간드의 de novo 생성을 포함하여 세 가지 핵심 차원에 걸친 GDL 적용을 비판적으로 분석한다. 특히 경쟁하는 결합 부위 간의 복잡한 기하학적 충돌을 자율적으로 해결하기 위해 확산 모델과 강화학습을 통합하는 새로운 구조 조건 생성 알고리즘에 특별한 중점을 둔다. 또한 이러한 모델을 검증하는 데 있어 다중 모달 오믹스 통합과 특화된 기하 벤치마킹(benchmarking) 인프라의 핵심적 역할을 평가한다. 방법론적 발전을 종합함으로써, 본 리뷰는 우연적 탐험에서 합리적이고 구조 주도적인 다약리학적 분자 공학으로의 약물 발견 패러다임 전환을 설명하며, 차세대 치료제의 복잡성을 탐색하기 위한 명확하고 구조화된 가이드를 제공한다.
Emyx: 빠르고 효율적인 전원자 단백질 생성
Emyx: Fast and efficient all-atom protein generation
컴퓨터 효소 설계는 촉매 잔기와 리간드를 지지하는 단백질을 생성하는 것을 필요로 하며, 이는 기저 생성 모델(generative model)에 기하학적 정확도와 구조적 다양성을 모두 요구하는 작업입니다. 현재의 전원자 생성 모델은 구조 예측으로부터 비용이 많이 드는 아키텍처를 물려받아, 높은 학습(training) 비용과 제한된 샘플 다양성을 초래합니다. 우리는 이러한 복잡성의 대부분이 생성 모델에는 불필요하다고 주장하는데, 이는 생성 모델이 풍부한 공진화 신호보다는 희소 기하학적 제약 조건을 조건으로 하기 때문입니다. Emyx는 1억 4000만 매개변수(parameter)를 가진 조건부 플로우 매칭 모델로, 무거운 임베딩(embedding) 스택을 가벼운 조건부 표현과 희소 연결성으로 대체하여 표준 트랜스포머(transformer) 블록 내에 용량을 집중시킵니다. 또한, 우리는 플로우 매칭 보간자의 EDM 노이즈 수준 프레임워크로의 정확한 재매개변화를 유도하여, 재학습 없이 디퓨전 모델(diffusion model)을 위해 설계된 최첨단 샘플링 방법과 플로우 매칭 학습 효율성을 연결합니다. 가장 작은 모델(model)임에도 불구하고, Emyx는 AME 효소 설계 벤치마크(benchmark)에서 Proteína-Complexa와 RFdiffusion3 모두를 상회하며, 전역 폴드 복원 및 촉매 기하학 정확도, 구조적 참신성, 비계(scaffold) 다양성, 기하학적 타당성을 모두 요구하는 엄격한 평가 기준에 따른 성공률 측면에서 더 높은 성능을 보였습니다. 학습은 단 682 GPU 시간이 소요되었으며, 이는 RFdiffusion3보다 약 4배 적은 수준입니다.
ProHiFlo: De Novo 단백질 생성을 위한 기능적 가이던스를 활용한 계층적 흐름 매칭
ProHiFlo: Hierarchical Flow Matching with Functional Guidance for De Novo Protein Generation
De novo 단백질 생성은 치료제 설계, 효소 공학, 합성 생물학 분야에서 변혁적인 잠재력을 가지고 있습니다. 확산 기반 및 흐름 매칭 접근법은 진전을 이루었으나, 일반적으로 단일 해상도로 작동하며 기능적 제약 조건을 통합할 수 있는 메커니즘이 부족합니다. 본 연구에서는 세 가지 혁신을 포함하는 계층적 흐름 매칭 프레임워크인 ProHiFlo를 소개합니다: (1) 전원자(all-atom) 좌표로 정제하기 전에 백본(backbone) 기하학을 모델링하여 정확도를 유지하면서 계산 비용을 절감하는 Coarse-to-fine 생성, (2) 재학습 없이 사전학습된 예측기를 활용하여 생성 과정을 원하는 속성으로 유도하는 기능적 가이던스, (3) 효율적인 다중 스케일 처리를 위한 적응형 SE(3)-등변(equivariant) 아키텍처입니다. 무조건 생성, 모티프 스캐폴딩(motif scaffolding), 기능적 설계에 대한 실험 결과, 4단계 더 적은 샘플링 단계만으로도 최첨단(state-of-the-art) 성능을 달성함을 입증했습니다. 효소 활성 부위 스캐폴딩 작업에서 ProHiFlo는 RFDiffusion의 41.2% 대비 58.9%의 성공률을 기록했습니다.
Adaptive Reparametrized Time for Score-Based Diffusion Sampling
불균형 최적 전송을 통한 가변 크기 설계를 위한 생성적 분자 모핑
Generative Molecular Morphing for Flexible-Size Design via Unbalanced Optimal Transport
URSA: 실용적 역합성 평가를 위한 화학 인식 벤치마크
URSA: Chemistry-Aware Benchmark for Utilitarian Retrosynthesis Assessment
토론
이 논문과 연결된 포럼 글이 아직 없습니다.