arXiv:2606.27752v2 cs.LG

PerturbCellRL: 사후 학습 섭동 생성기를 통한 분포 정렬 및 생물학적 그라운딩

PerturbCellRL: Aligning Distributions and Grounding Biology via Post-Training Perturbation Generators

Dongxia Wu, Mingyu Li, Yuhui Zhang, Anurendra Kumar, Emma Lundberg, Serena Yeung-Levy, Emily B. Fox

제출 2026-06-26

한국어 초록

단일 세포 섭동(single-cell perturbation) 모델은 세포가 개입에 전사체 수준에서 어떻게 반응하는지 예측함으로써 비용이 많이 드는 습식 실험 스크리닝을 줄일 수 있습니다. 최근 플로우 매칭(flow-matching)의 발전으로 세포 반응의 집단 수준 예측이 가능해졌습니다. 그러나 플로우 매칭 학습(training)은 동일한 모델(model) 패밀리 내에서도 특정 타깃 분포를 복원하지 못할 수 있어 세포 이질성을 포착하는 능력이 제한됩니다. 본 연구에서는 먼저 사후 학습(post-training)이 이러한 분포를 복원할 수 있음을 증명한 후, 세포별 보상(reward)을 사용하여 단일 세포 섭동 생성기를 사후 학습하는 강화학습(reinforcement learning) 프레임워크인 PerturbCellRL을 소개합니다. 핵심 구성 요소는 집단 수준의 불일치를 세포별 피드백으로 변환하는 유전자 발현 에너지 위트니스(energy witness)입니다. 나아가 이 보상의 정책 그래디언트(policy gradient)가 더 나은 분포 정렬(distributional alignment)을 향한다는 점을 증명합니다. 실제 세포를 기반으로 보정된 두 가지 상호 보완적 보상은 비전형적인 발현 프로필과 섭동에 대한 불충분한 경로 수준 반응에 페널티를 부여합니다. 유전적 및 화학적 섭동 벤치마크 전반에서 PerturbCellRL은 분포 정렬을 크게 개선하고 경로 농축 패턴을 더욱 충실하게 복원합니다. 이러한 결과는 보상 기반 사후 학습이 섭동 예측에서 분포 정확도와 생물학적 충실도를 모두 향상시키는 효과적인 전략임을 입증합니다.

원문 초록

Single-cell perturbation models can reduce costly wet-lab screening by predicting how cells respond transcriptionally to interventions. Recent advances in flow-matching have enabled population-level prediction of cellular responses. However, flow-matching training can fail to recover certain target distributions even within the model family, limiting its ability to capture cellular heterogeneity. We first prove that post-training can recover these distributions, then introduce PerturbCellRL, a reinforcement learning framework that post-trains single-cell perturbation generators using per-cell rewards. The central component is a gene-expression energy witness that translates population-level discrepancies into per-cell feedback. We further prove that this reward's policy gradient points toward better distributional alignment. Two complementary rewards, calibrated on real cells, penalize atypical expression profiles and insufficient pathway-level responses to perturbations. Across genetic and chemical perturbation benchmarks, PerturbCellRL substantially improves distributional alignment and recovers pathway enrichment patterns more faithfully. These results establish reward-guided post-training as an effective strategy for improving both distributional accuracy and biological fidelity in perturbation prediction.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.27752v2
  2. arXiv:2606.27752v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02232v1q-bio.GN공통 태그 flow matching, single-cell perturbation

에너지 기반 플로우 매칭을 활용한 일반화 가능한 단일 세포 섭동 반응 예측

Generalizable single-cell perturbation response prediction using energy-guided flow matching

단일 세포(single-cell) 해상도에서 섭동에 대한 표현형 및 전사체 반응을 예측하는 것은 생물학적 시스템을 탐구하는 강력한 도구를 제공합니다. 그러나 기존 방법들은 일반적으로 학습(training) 중에 학습된 고정된 매핑에 의존하므로, 추론(inference) 중에 분포 변화를 보정하거나 새로운 섭동 조건에 적응하기 어렵습니다. 본 논문에서는 대조군 세포 상태와 섭동된 세포 상태를 동적으로 연결하는 에너지 기반 플로우 매칭(energy-guided flow matching) 프레임워크인 scEGFlow를 제안합니다. scEGFlow는 조건부 플로우 매칭(conditional flow matching)을 사용하여 대조군 세포 집단에서 섭동된 상태로의 연속적인 전이를 모델링합니다. 그런 다음 조건별 에너지 그래디언트를 적용하여 이러한 예측을 수정하고 유도함으로써, 플로우 모델(model)을 재학습하지 않고도 유연한 조정을 가능하게 합니다. 이미징 표현형과 전사체 프로파일을 아우르는 벤치마크 평가 결과, scEGFlow는 관찰된 섭동 조건과 미관찰 섭동 조건 모두에서 반응 분포를 재구성하는 데 기존 방법들보다 우수한 성능을 보이며, 세포 매니폴드 기하학과 집단 이질성을 충실하게 보존함을 보여줍니다. 이러한 이점은 소수의 측정된 세포만으로 새로운 조건에 적응할 때 두드러지며, 예측 정확도를 일관되게 향상시킵니다. 또한, scEGFlow는 합의된 유전자 발현 시그니처 전반에서 섭동으로 유도된 상향 및 하향 조절 패턴을 정확하게 재현하며, 여기서 에너지 유도는 예측된 조절 방향과 관찰된 조절 방향 간의 일치도를 향상시킵니다. 궁극적으로 이러한 발견은 scEGFlow가 단일 세포 섭동 모델링을 위한 모듈식의 일반화 가능하고 제어 가능한 솔루션을 제공함을 입증합니다. 학습된 생물학적 랜드스케이프에 생성 플로우를 그라운딩(grounding)함으로써, 이 아키텍처는 인실리코(in silico)에서 세포 행동을 탐색하고 조작하기 위한 새로운 계산 패러다임을 확립합니다.

arXiv:2609.40030v2cs.LG공통 태그 Drug Discovery, flow matching

펜첼 틸팅: 생성 모델의 효율적인 미세조정을 위한 가중 보정

Fenchel Tilting: Weighted Correction for Efficient Finetuning of Generative Models

사전학습된 생성 모델을 효용 함수로 표현되는 임의의 선호도에 적응시키는 것은 보상 정렬(reward alignment), 유도 설계(guided design), 제약 조건 충족의 기초가 되며 다양한 응용을 가능하게 합니다. 기존의 미세조정(fine-tuning) 방법들은 범용성과 계산 비용 간의 트레이드오프를 겪습니다. 즉, 최적화를 단순하게 유지하기 위해 지원되는 선호도 군을 제한하거나, 효율성을 희생하면서 범용성을 유지합니다. 본 논문에서는 효용 최적화와 생성 모델 피팅을 분리하는 펜첼 틸트 흐름 제어(Fenchel Tilt Flow Control, FTFC)를 제안합니다. FTFC는 먼저 사전학습된 샘플에 대해 유효 보상과 밀도비 가중치를 공동으로 피팅하여 목표 분포에 대해 최적화합니다. 이 방법은 효용의 변분 구조와 펜첼 쌍대성(Fenchel duality)을 결합하여, 보상이 분포 보정 가중치로 변환되는 방식을 결정하는 일반적인 $f$-다이버전스 페널티를 지원합니다. 그런 다음 이러한 가중치를 고정하고, 샘플링 궤적을 통한 미분 없이 단일 단계의 중요도 가중치 디노이징 또는 플로우 매칭에서 확산 또는 플로우 모델을 수정하는 데 사용합니다. 우리는 적절한 조건에서 오목 효용에 대한 정확한 쌍대성을 규명하고, 가중 피팅이 주어진 효용에 대한 최적의 목표 분포를 재현함을 보입니다. 이미지 및 분자 생성 벤치마크 전반에 걸쳐 FTFC는 다양한 선호도 함수에서 베이스라인 대비 성능을 향상시키는 동시에 최대 20배 더 효율적입니다. 제안된 방법은 복잡한 최적화 없이 기대 보상 극대화를 넘어선 적응을 가능하게 하며, 베이스라인과 비교하여 더 일반적인 효용 함수 군에 대한 견고성을 유지합니다.

arXiv:2607.22143v1cs.LG공통 태그 Drug Discovery, flow matching

TriGlue: 분자 글루 유도 삼원 복합체 생성을 위한 생물학 영감 생성 모델

TriGlue: a Biology-Inspired Generative Model for Generating Molecular Glue-Induced Ternary Complex

분자 글루 분해제(molecular glue degrader)는 E3 유비퀴틴 리가제와 표적 단백질 간의 삼원 복합체 형성을 유도함으로써 표적 단백질 분해(targeted protein degradation)를 위한 유망한 전략으로 부상했다. 치료적 잠재력에도 불구하고, 분자 글루의 계산적 설계는 여전히 거의 탐구되지 않았다. 기존의 구조 기반 약물 설계(structure-based drug design)와 달리, 분자 글루 설계는 알려지지 않은 단백질-단백질 계면에 의해 좌우되며, 리간드(ligand) 생성, 단백질-단백질 도킹(protein-protein docking), 삼원 복합체 조립을 동시에 모델링해야 한다. 본 연구에서는 분자 글루 설계를 삼원 복합체 생성 문제로 공식화하고, 생물학에서 영감을 받은 생성 프레임워크인 TriGlue를 제안한다. 분자 글루 작용 메커니즘에서 영감을 받아, 삼원 복합체 생성을 두 개의 결합된 단계—계면 추정(interface estimation)과 계면 조건부 복합체 생성(interface-conditioned complex generation)—으로 분해한다. 먼저, 비결합 단량체(unbound monomer) 구조로부터 기하학적으로 제약된 단백질-단백질 계면을 예측하는 SE(3)-등변(equivariant) 계면 추정 모듈을 개발한다. 둘째, 분자 글루를 공동 생성하고 삼원 복합체 조립에 필요한 강체 변환(rigid-body transformation)을 예측하는 계면 조건부 삼원 플로우 매칭(flow matching) 네트워크를 도입한다. 광범위한 실험을 통해 TriGlue가 화학적으로 유효한 분자를 생성하고 그럴듯한 삼원 복합체를 산출함을 보여주며, 이는 분자 글루 발견 가속을 위한 생물학 영감 생성 모델링의 잠재력을 부각한다. 코드는 https://anonymous.4open.science/r/molecular-glue-design-806B 에서 이용할 수 있다.

arXiv:2607.22468v1quant-ph공통 태그 Reinforcement Learning, Drug Discovery

트랜스포머 모델을 이용한 분자 기저 상태 준비 학습

Learning to Prepare Molecular Ground States with Transformer Models

양자 상태 준비는 많은 양자 알고리즘의 핵심 구성 요소이다. 이 단계를 효율적으로 수행하는 것은 양자 화학 응용에서 실용적인 양자 이점(quantum advantage)을 실현하는 데 필수적이다. ADAPT-VQE와 같은 반복 알고리즘은 얕은 기저 상태 준비 회로를 생성할 수 있지만, 재료 과학 및 의약품 개발과 관련된 더 큰 분자에 대해서는 계산적으로 비현실적이 된다. 여기서 우리는 전자 구조 계산을 위한 기저 상태 준비 회로를 합성하는 방법을 학습하는 생성형 AI 프레임워크인 ADAPT-GQE를 소개한다. 먼저 ADAPT-VQE를 사용하여 고품질 참조 회로를 생성하고, 이를 회로 생성 모델 학습의 목표로 사용한다. 학습이 완료되면 모델은 회로를 효율적으로 제안하고 점수를 매길 수 있으며, 이를 통해 강화학습(RL)이 ADAPT-VQE 학습 데이터의 정확도를 넘어서는 회로 생성 정확도를 달성하도록 할 수 있다. 이 파이프라인은 상태 준비 정확도를 유지하거나 개선하면서 ADAPT-VQE 대비 회로 생성 시간을 자릿수(order of magnitude) 수준으로 단축한다. 우리는 이미프라민(imipramine)에 ADAPT-GQE를 시연하는데, 이미프라민은 약물 안정성 프로토콜에서 계산 모델링을 위한 대표적이고 도전적인 표적 역할을 하는 잘 알려진 삼환계 항우울제이다. 생성된 회로를 Quantinuum Helios-1에서 실행하였으며, 이는 최첨단 양자 하드웨어에서 AI가 생성한 양자 화학 회로의 이정표를 나타낸다. 이러한 결과는 실용 규모(utility-scale) 양자 계산 화학을 위한 자동화된 양자 회로 합성으로 나아가는 경로를 확립한다.

arXiv:2610.03391v2cs.CV공통 태그 flow matching

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2609.14743v3cs.CL공통 태그 flow matching

음성-텍스트 언어 모델에서 생성 모달리티 간극 정량화

Quantifying the Generation Modality Gap in Speech-Text Language Models

순수 음성 언어 모델(speech language model)은 일관성 있는 콘텐츠를 생성하는 데 있어 텍스트 및 음성-텍스트 언어 모델에 비해 뒤처지는 경우가 많지만, 음성과 텍스트 시스템이 일반적으로 서로 다른 지표로 평가되고 서로 다른 데이터로 학습(training)되기 때문에 이러한 간극을 정량화하기는 어렵습니다. 본 연구에서는 연속적인 음향 특징(feature) 생성을 위한 플로우 매칭(flow matching)을 기반으로 하는 일련의 음성 언어 모델 계열에서 음성-텍스트 모달리티 간극(modality gap)을 연구합니다. 일치된 데이터 분포에서 학습되고 일치된 생성 환경에서 평가되는 음성 전용, 텍스트 전용, 음성-텍스트 언어 모델을 비교하는 통합 생성 기반 평가 스위트를 구축합니다. 생성된 음성을 전사하고 참조 언어 모델로 점수를 매겨 측정한 의미론적 일관성(semantic coherence), 음소 n-그램 분포 통계로 측정한 국소적 음소 구조, 화자 일관성 및 음향 품질, 감정 기반 분포 지표 등 여러 차원에 걸쳐 생성된 연속 발화를 평가합니다. 데이터셋 전반에 걸쳐 음성-텍스트 결합 모델링이 의미론적 일관성을 크게 향상시킨다는 점을 확인했습니다. 그러나 이러한 개선이 모든 지표에서 균일하지는 않습니다. 음소 수준 지표는 미미하게만 변화하고, 음성-텍스트 연속 생성물에서 화자 유사도와 예측 품질은 더 낮은 반면 감정 기반 분포 지표는 향상됩니다. 더 큰 규모의 음성 전용 모델과 비교할 때, 제안하는 음성-텍스트 모델은 전사 기반 의미론적 일관성에서 스케일링(scaling) 격차의 상당 부분을 좁히며, 이는 텍스트가 음성 언어 모델링에 효율적인 의미론적 학습 신호를 제공함을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.