CODesign: 전원자 단백질 바인더 공동 설계에서 데이터부터 궤적까지의 일관성 확보
CODesign: Consistency from Data to Trajectory in All-Atom Protein Binder Co-Design
한국어 초록
신규(de novo) 단백질 설계의 핵심 과제는 설계된 각 서열이 의도한 구조로 접히고 해당 구조가 그 서열을 수용할 수 있도록, 타당하면서도 상호 호환되는 구조와 서열을 생성하는 것입니다. 상호의존적인 모달리티의 모델링을 분리하는 일반적인 2단계 설계 방법과 비교하여, 공동 설계(co-design) 모델은 서열과 구조를 함께 생성함으로써 모달리티 간 일관성을 향상시킵니다. 그러나 서열과 구조를 단순히 동시에 생성하는 것만으로는 이들의 일관성을 보장할 수 없습니다. 이러한 문제를 해결하기 위해 우리는 CODesign 프레임워크를 제안합니다. 우리는 약 105,000개의 일관성 증류된 이합체(dimer)를 생성하여 데이터 일관성을 개선합니다. 나아가 서열, 백본 구조, 국소 원자 배치의 결합 분포를 포착하는 다중모달 결합 흐름(multimodal joint flow) 모델과, 서열 및 곁사슬(side chain)을 반복적으로 정제하는 일관성 인지 결합 재샘플링 전략을 통해 일관성을 더욱 촉진합니다. 실험 결과에 따르면 CODesign은 단백질 및 리간드 표적 바인더 설계 모두에서 가장 높은 인실리코(in silico) 성공률을 기록하며 최첨단(SOTA) 성능을 달성합니다. 절제 연구(ablation study)를 통해서도 증류된 데이터셋이 성능을 70.9% 향상시키며, 무시할 수 있는 수준의 추가 계산 비용만으로 제안된 재샘플링 메커니즘을 통해 성능을 더욱 끌어올릴 수 있음을 입증합니다. 코드, 모델 가중치 및 새로운 데이터셋은 완전히 오픈소스로 공개될 예정입니다.
원문 초록
The central challenge in de novo protein design is generating plausible, mutually compatible structures and sequences, such that each designed sequence folds into its intended structure and the structure accommodates that sequence. Compared to typical two-stage design methods, which decouple the modeling of the interdependent modalities, co-design models improve the cross-modal consistency by jointly generating sequences and structures. However, naively generating sequences and structures simultaneously does not ensure their consistency. To address this challenge, we propose CODesign framework. We improve data consistency by generating approximately 105,000 consistency-distilled dimers. We further promote consistency through a multimodal joint flow model that captures the joint distribution of sequences, backbone structures, and local atomic configurations, together with a consistency-aware joint resampling strategy that iteratively refines sequences and side chains. Experiments show that CODesign achieves state-of-the-art performance with the highest in silico success rates on both protein- and ligand-target binder design. Ablation studies also demonstrate our distilled dataset increases performance by 70.9%, which can be further improved by our proposed resampling mechanism with negligible additional computational cost. Code, model weights and the new dataset will be completely open-source.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
일반화 포아송 플로우를 통한 가변 길이 생성적 단백질 설계
Variable-Length Generative Protein Design via Generalized Poisson Flow
가변 길이 단백질을 생성하는 능력은 단백질 설계에서 매우 중요한데, 최적 길이가 종종 알려져 있지 않고 설계 가능성(designability)과 긴밀하게 연결되어 있기 때문이다. 현재 확산(diffusion) 및 플로우(flow) 기반 생성 모델은 일반적으로 샘플링 전에 단백질 길이를 미리 지정해야 하므로, 실현 가능한 설계 공간을 탐색하는 유연성이 제한된다. 이러한 한계를 해결하기 위해, 우리는 비균질 일반화 포아송 과정의 속도 함수를 음의 로그 가능도(negative log-likelihood) 최소화를 통해 학습하는 가변 길이 생성 프레임워크인 Generalized Poisson Flow(GPFlow)를 제안한다. 우리는 결합 다중 모달 분포를 복원하기 위한 모집단 수준의 보장을 수립하고, 데이터 분포와 생성된 분포 간의 KL 발산에 대한 상한을 도출한다. GPFlow의 가변 길이 생성 품질을 완전히 검증하기 위해 유클리드, 범주형, 리만 모달리티에 걸쳐 구조 및 서열 설계, 모티프 스캐폴딩(motif scaffolding), 펩타이드 공동 설계(peptide co-design)를 포함하여 GPFlow를 종합적으로 평가한다. 비조건부 설계에서 GPFlow는 대응하는 고정 길이 베이스라인과 비교하여 구조적 설계 가능성을 향상시키고 서열 설계에서 최고의 분포 적합성을 달성하는 동시에 길이 분포를 완벽하게 복원한다. 조건부 모티프 스캐폴딩에서 GPFlow는 16개 구조 기반 설계 과제 중 10개에서 1위를 차지하며 훨씬 더 많은 고유 성공을 거두고, 서열 기반 설계에서도 더 많은 통과 과제를 달성한다. 펩타이드 공동 설계에서 GPFlow는 네이티브 길이 오라클(native-length oracle)에 접근하지 않고도 경쟁력을 유지한다.
ProHiFlo: De Novo 단백질 생성을 위한 기능적 가이던스를 활용한 계층적 흐름 매칭
ProHiFlo: Hierarchical Flow Matching with Functional Guidance for De Novo Protein Generation
De novo 단백질 생성은 치료제 설계, 효소 공학, 합성 생물학 분야에서 변혁적인 잠재력을 가지고 있습니다. 확산 기반 및 흐름 매칭 접근법은 진전을 이루었으나, 일반적으로 단일 해상도로 작동하며 기능적 제약 조건을 통합할 수 있는 메커니즘이 부족합니다. 본 연구에서는 세 가지 혁신을 포함하는 계층적 흐름 매칭 프레임워크인 ProHiFlo를 소개합니다: (1) 전원자(all-atom) 좌표로 정제하기 전에 백본(backbone) 기하학을 모델링하여 정확도를 유지하면서 계산 비용을 절감하는 Coarse-to-fine 생성, (2) 재학습 없이 사전학습된 예측기를 활용하여 생성 과정을 원하는 속성으로 유도하는 기능적 가이던스, (3) 효율적인 다중 스케일 처리를 위한 적응형 SE(3)-등변(equivariant) 아키텍처입니다. 무조건 생성, 모티프 스캐폴딩(motif scaffolding), 기능적 설계에 대한 실험 결과, 4단계 더 적은 샘플링 단계만으로도 최첨단(state-of-the-art) 성능을 달성함을 입증했습니다. 효소 활성 부위 스캐폴딩 작업에서 ProHiFlo는 RFDiffusion의 41.2% 대비 58.9%의 성공률을 기록했습니다.
지역 Flow Matching 생성 모델
Local Flow Matching Generative Models
Flow Matching(FM)은 두 분포를 보간하는 연속적·가역적 flow를 학습하는 시뮬레이션 없는 방법이며, 특히 노이즈에서 데이터를 생성한다. 확산 과정이 그래디언트 flow로서 갖는 변분적 성질에 영감을 받아, 우리는 단계적 FM 모델인 지역 Flow Matching(LFM)을 제안한다. LFM은 FM 서브모델들의 시퀀스를 순차적으로 학습하고, 각 서브모델은 데이터에서 노이즈 방향으로의 time-step 크기에 해당하는 범위까지 확산 과정과 일치시킨다. 각 단계에서 서브-flow 모델이 보간하는 두 분포는 데이터와 노이즈 분포를 보간하는 전체 flow matching 모델의 경우보다 더 가깝다. 이를 통해 더 작은 모델과 더 효율적인 학습이 가능하다. 이러한 변분적 관점은 또한 확산 과정의 수축(contraction) 성질을 활용하여, 생성된 분포와 실제 데이터 분포 사이의 $χ^2$-발산에 대한 관점에서 제안 flow 모델의 이론적 생성 보장을 증명할 수 있게 한다. 실제로 LFM의 단계적 구조는 모델 지식 증류에 자연스럽게 적합하며, 다양한 지식 증류 기법을 적용하여 생성을 가속할 수 있다. 우리는 실험적으로 LFM이 표 형식 및 이미지 데이터셋의 비조건부 생성과 로봇 조작 정책의 조건부 생성에서 FM과 비교해 경쟁력 있는 생성 성능을 달성함을 보인다.
Improving large language models with concept-aware fine-tuning
Diffusion Sequence Models for Enhanced Protein Representation and Generation
CFP-Gen: Combinatorial Functional Protein Generation via Diffusion Language Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.