3D pride without 2D prejudice: Bias-controlled multi-level generative models for structure-based ligand design
원문 초록
Generative models for structure-based molecular design hold significant promise for drug discovery, with the potential to speed up the hit-to-lead development cycle, while improving the quality of drug candidates and reducing costs. Data sparsity and bias are, however, two main roadblocks to the development of 3D-aware models. Here we propose a first-in-kind training protocol based on multi-level contrastive learning for improved bias control and data efficiency. The framework leverages the large data resources available for 2D generative modelling with datasets of ligand-protein complexes. The result are hierarchical generative models that are topologically unbiased, explainable and customizable. We show how, by deconvolving the generative posterior into chemical, topological and structural context factors, we not only avoid common pitfalls in the design and evaluation of generative models, but furthermore gain detailed insight into the generative process itself. This improved transparency significantly aids method development, besides allowing fine-grained control over novelty vs familiarity.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
환자별 지식 그래프와 유전자 수준 섭동 표현 정렬을 통한 치료 결과 예측
Predicting Therapeutic Outcome via Aligning Patient-Specific Knowledge Graph and Gene-Level Perturbation Representations
치료 전 전사체로부터 환자별 치료 반응을 정확하게 예측하는 것은 매칭된 임상 반응 레이블과 치료 후 분자 프로파일의 희소성으로 인해 어렵다. 전임상 전이학습 모델은 약물 유도 발현 변화를 시뮬레이션할 수 있으나 해석이 어렵고 불안정한 경우가 많으며, 지식 그래프 기법은 기계론적 맥락을 제공하지만 정적인 형태에 머물러 약물 유도 전사체 섭동 역학을 포착하지 못한다. 우리는 임상 약물 반응 예측을 위해 개인화된 네트워크 관점과 전이 가능한 전사체 섭동 관점을 정렬하는 환자 중심 멀티뷰 프레임워크인 PREDIKTOR를 제안한다. 각 환자에 대해 DysRegNet을 사용하여 종양 발현으로부터 개인화된 유전자 조절 네트워크를 구성하고 DrugBank의 약물-표적 링크로 이를 보강하며, 그래프 신경망 인코더를 통해 약물 중심의 기계론적으로 근거 있는 임베딩을 생성한다. 이와 병렬로, LINCS L1000에서 사전학습된 고정된 조건별 유전자-유전자 어텐션 모델이 동일한 환자-약물 쌍에 대한 시뮬레이션된 섭동 후 전사체 프로파일을 생성한다. 우리는 약물-컨텍스트 하드 네거티브를 활용한 CLIP 방식의 대조 목적함수를 통해 두 관점을 공유 잠재 공간에서 정렬한 후, 표현을 연결하여 엔드-투-엔드 반응 분류를 수행한다. TCGA에서 PREDIKTOR는 환자, 약물, 조직 분할 평가 전반에 걸쳐 최신 기준 방법들을 지속적으로 능가하며, I-SPY2 임상시험에 제로샷으로 전이하여 경쟁 방법 대비 AUROC를 5.6% 향상시킨다. 정렬된 임베딩은 알려진 기전을 복원하는 안정적인 유전자 및 경로 기여도를 산출하여 실행 가능하고 해석 가능한 정밀 종양학을 지원한다.
Aura: VLM 기반 의미 정렬을 통한 일관된 다중 주체 비디오 생성
Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment
주체 중심 및 다중 요소 비디오 생성은 제어 가능한 비디오 합성의 핵심이지만, 기존 방법들은 아이덴티티 일관성을 유지하고 여러 주체 간의 복잡한 관계를 모델링하는 데 여전히 어려움을 겪고 있다. 본 논문에서는 고충실도(high-fidelity) 및 아이덴티티 일관성 비디오 생성을 위한 통합 프레임워크인 Aura를 제안한다. 장면 역학(scene dynamics)과 주체 간 상호작용을 더 잘 포착하기 위해, 비디오 콘텐츠에 대한 밀도 있고 구조화된 설명을 제공하는 AI 디렉터 수준의 캡션을 도입한다. 또한 학습 가능한 쿼리를 갖춘 비전-언어 모델(VLM)을 활용하여 텍스트 및 시각적 참조에서 전역 의미론과 세밀한 시각적 단서를 모두 포함하는 멀티모달 의미론적 특징을 추출한다. VLM과 디퓨전 트랜스포머(DiT) 간의 표현 격차를 해소하기 위해, VLM 특징을 DiT 특징 공간으로 점진적으로 매핑하는 2단계 정렬 전략을 설계한다. 시각적 컨디셔닝을 위해 토큰 연결(token concatenation)을 채택하여 참조 정보를 생성 과정에 직접 주입한다. 이종 주체 유형을 구별하고 일반적인 복사-붙여넣기 아티팩트를 줄이기 위해 주체 인식 RoPE-Shift 메커니즘을 개발한다. 서로 다른 카테고리의 참조 이미지를 추가로 구별하기 위해 주체 인식 학습 가능 토큰을 도입한다. 또한 다양한 수의 참조 주체를 가진 예시들 간의 학습 신호를 균형 있게 조정하기 위해 Memory 토큰을 도입한다. 추론 시, Progressive-APG(적응형 프롬프트 가이던스)가 과포화를 추가로 완화하고 사용자 프롬프트와의 의미론적 정렬을 향상시킨다. 마지막으로 전용 데이터 구축 파이프라인을 통해 고품질 비디오-주체 이미지 데이터셋을 구축한다. 광범위한 실험을 통해 본 방법이 단일 주체 생성과 더 어려운 다중 요소 시나리오 모두에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.
URSA: 실용적 역합성 평가를 위한 화학 인식 벤치마크
URSA: Chemistry-Aware Benchmark for Utilitarian Retrosynthesis Assessment
표적 분자에 대한 반응 경로를 찾는 합성 계획은 신약 개발에서 가장 중요하고도 어려운 과제 중 하나이다. 최근 전문화된 딥러닝 역합성 시스템과 범용 대규모 언어 모델이 모두 발전하였으나, 유연하고 화학적으로 해석 가능한 벤치마킹 프로토콜이 없어 객관적인 비교는 여전히 어렵다. 본 연구에서는 URSA(Utilitarian RetroSynthesis Assessment) 평가 프레임워크를 도입한다. 이 프레임워크는 상업적으로 구입 가능한 출발 물질로의 수렴과 같은 형식적 관점뿐 아니라, 전문 화학자가 반응과 경로를 평가하는 방식을 모방한 화학적 타당성 관점에서도 합성 경로를 벤치마킹할 수 있게 한다. 본 연구는 일상적인 약물 설계 업무의 현실적인 과제를 대표하며 합성 경로가 공개되지 않은 새롭고 다양한 표적 분자 집합에서, 합성 계획 과제에 대한 기존의 종단간 역합성 솔루션과 LLM을 포괄적으로 평가한다. LLM은 고수준의 전략적 계획을 지원할 수 있고 OOD 집합에서는 SOTA 성능까지 달성하지만, 추정 실행 비용과 화학적으로 타당한 경로 해결 가능성에 대한 파레토 프런티어는 전적으로 전문화된 역합성 계획기로 구성된다.
기하 구조가 실제로 작동하는가? 쌍곡 비전-언어 모델의 위계에 대한 작동점 감사
Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models
쌍곡 비전-언어 모델은 추상성을 기하학적으로 인코딩하도록 설계되어 있다. 일반적인 개념은 원점 근처에, 구체적인 개념은 더 먼 곳에 놓이며, 함의 원뿔(entailment cone)은 방향성 있는 순서를 나타낸다. 본 연구는 학습된 MERU, HyCoCLIP, PHyCLIP 모델이 이러한 메커니즘을 실제로 사용하는지 묻는다. 공개된 일곱 개의 체크포인트와 이에 대응하는 처음부터 학습한 개입 모델을 감사한다. 감사한 수렴 체크포인트는 모두 무차원 반경 $u=\sqrt{c}\rho$에서 거의 유클리드적인 상태에 머문다. 이미지 측에서 관측된 최댓값은 $0.37$로, 국소 계량 왜곡이 $10\%$에 이르는 $u\approx0.84$에 크게 못 미친다. 곡률 하한을 해제하면 곡률과 노름은 변하지만 이 영역은 바뀌지 않으며, 하위 과제 성능 변화는 일관되지 않고 대체로 미미하다. 학습된 함의 원뿔은 포화되었거나 거의 포화되어 있어, 낮은 위반율은 학습된 순서가 아니라 지나치게 넓은 원뿔에서 비롯될 수 있다. 사전 등록된 의미 순회는 가지 내부의 약한 순서는 검출하지만 전체 위계를 읽어 내는 작동 가능한 판독은 검출하지 못한다. 셔플 대조 검정은 공개된 체크포인트에서 쌍별 고유의 반경 순서를 검출하지 못하며, 대응하는 세 개의 ViT-B 시드 전체에서 일관된 양성 결과도 없다. 이 비검출은 민감도에 의해 제한된다. 이 진단은 셔플 대조 초과분이 약 13.5 pp일 때에야 검정력 $80\%$에 도달하는 반면, 공개 모델 중 가장 큰 격차는 약 5 pp이다. 우리는 이를 낮은 곡률 지름길로 추적한다. 곡률을 낮추면 순서를 학습하지 않고도 함의 원뿔이 넓어져 위반이 억제된다. 조사한 궤적에서 그래디언트 분해는 붕괴 중 곡률을 낮추는 지배적 압력이 함의 항임을 보여 준다. 그러나 함의를 제거해도 곡률은 수축하므로 이 지름길이 유일한 원인은 아니다. 우리의 진단 아래에서 감사한 정식화들은 작동하는 반경 기반 또는 원뿔 기반 위계를 입증하지 못한다. 우리는 이 감사를 향후 위계 주장을 평가하기 위한 다섯 개 수치의 기하 보고서로 정리한다.
Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다
Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation
본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/
SinAE: 교차 도메인 원자계를 위한 단일 아키텍처 플로우 매칭 오토인코더
SinAE: A Single-Architecture Flow-Matching Autoencoder for Cross-Domain Atomic Systems
소분자, 결정체, 단백질은 모두 3차원 공간의 원자로 환원되지만, 생성 파이프라인은 여전히 도메인별로 분절되어 있으며 각각 고유한 그래프, 등변(equivariant), 또는 프레임 기반 아키텍처를 사용한다. 교차 도메인 학습은 도메인별 데이터 부족을 완화할 수 있지만, 3차원 좌표 공간에서의 직접 생성은 세 도메인 모두의 이질적인 구조적 사전지식을 쉽게 다루기 어렵고, 기존 잠재 오토인코더 중 무손실이면서 세 도메인 모두에 걸쳐 아키텍처적으로 일반적인 것은 없다. 우리는 분자, 결정체, 단백질을 위한 단일 아키텍처 플로우 매칭 오토인코더인 SinAE를 제안하며, 이는 바닐라 트랜스포머 인코더와 디코더를 사용하고 등변, 그래프, 또는 도메인 특화 연산자를 포함하지 않는다. 인코더가 세밀한 기하를 포착하도록 요구하는 대신, SinAE는 재구성 부담을 반복적 플로우 매칭 디코더로 옮겨 도메인 전반에 걸쳐 거의 무손실 재구성을 달성하고, 기존 잠재 베이스라인 대비 재구성 오차를 여러 차수에 걸쳐 감소시킨다. 동일한 토큰별 잠재는 표준 Diffusion Transformer 사전 모델을 지원하며, 이는 분자, 결정체, 단백질 생성 벤치마크에서 강력한 성능을 달성한다. 분자-결정체 공동 학습은 두 도메인 모두를 뚜렷이 개선하여, 공유 원자 잠재를 통한 교차 도메인 전이의 직접적 증거를 제공한다. 코드는 https://github.com/BlueWhaleLab/SinAE 에서 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.