OCOO-T: 전사적 섭동 반응 예측을 위한 간단하고 확장 가능한 가상 세포 모델
OCOO-T : A Simple and Scalable Virtual Cell Model for Transcriptional Perturbation Response Prediction
한국어 초록
유전적, 화학적, 사이토카인 섭동에 대한 단일 세포 전사 반응을 예측하는 것은 계산 생물학과 AI 가상 세포(AIVC) 모델링의 근본적인 과제이며, 약물 발견과 유전자 조절 네트워크 규명에 직접적인 함의를 갖는다. 기존 접근법은 고차원 발현 프로필을 잠재 표현으로 압축하기 위해 보조 세포 상태 인코더, 계층적 변분 오토인코더(VAE), 전용 Transformer 인코더-디코더 모듈, 또는 유전자 상호작용 prior에 의존하는 경우가 많다. 이러한 설계는 효과적이지만 아키텍처 복잡성을 높이고 확장성과 일반화 가능성을 제한할 수 있다. 본 논문은 전사적 섭동 반응 예측을 위한 미니멀리스트 flow-matching 기반 AIVC 모델 OCOO-T를 제안한다. OCOO-T는 연속적인 유전자 발현 프로필에 직접 작동하는 바닐라 Transformer 스택을 사용하며, 섭동 반응 예측을 연속 시간 노이즈 제거 과정으로 공식화한다. 섭동 임베딩, dosage 정보, 세포주/세포 유형 특이성은 adaptive layer normalization과 in-context token을 통해 통합된다. Tahoe100M, Replogle, PBMC 벤치마크에 대한 포괄적 평가에서 OCOO-T는 다양한 섭동과 세포 유형 전반에 걸쳐 최첨단 성능을 달성하며, 세포 컨텍스트의 patching과 depatching을 통해 긴 전사 프로필에도 효과적으로 확장된다. 단일 세포 omics에 대한 Transformer 기반 노이즈 제거의 단순성을 활용하여, OCOO-T는 in-silico 세포 시뮬레이션을 위한 효과적이고 확장 가능한 프레임워크를 제공한다.
원문 초록
Predicting single-cell transcriptional responses to genetic, chemical and cytokine perturbations is a fundamental challenge in computational biology and AI Virtual Cell (AIVC) modeling, with direct implications for drug discovery and the elucidation of gene regulatory networks. Existing approaches often rely on auxiliary cell-state encoders, hierarchical variational autoencoders, dedicated Transformer encoder-decoder modules, or gene-interaction priors to compress high-dimensional expression profiles into latent representations. While effective, these designs increase architectural complexity and may limit scalability and generalizability. This paper introduces OCOO-T, a minimalist flow-matching-based AIVC model for transcriptional perturbation response prediction. OCOO-T utilizes a vanilla Transformer stack that operates directly on continuous gene expression profiles and formulates perturbation response prediction as a continuous-time denoising process. Perturbation embeddings, dosage information, and cell-line/cell-type specificity are integrated through adaptive layer normalization and in-context tokens. Comprehensive evaluations on Tahoe100M, Replogle, and PBMC benchmarks demonstrate that OCOO-T achieves state-of-the-art performance across diverse perturbations and cell types while effectively scaling to long transcriptional profiles through patching and depatching of cellular contexts. By leveraging the simplicity of Transformer-based denoising for single-cell omics, OCOO-T provides an effective and scalable framework for in-silico cellular simulation.
요약
기존 접근 방식의 복잡성과 확장성 문제를 해결하기 위해 OCOO-T는 순수 Transformer 스택과 flow-matching을 활용하여 섭동 반응 예측을 연속 시간 노이즈 제거 과정으로 공식화하는 간단한 AI 가상 세포(AIVC) 모델을 제안합니다. 이 모델은 Tahoe100M, Replogle, PBMC 벤치마크에서 최첨단 성능을 달성하며 긴 전사 프로필로도 효과적으로 확장됩니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12838v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
펜첼 틸팅: 생성 모델의 효율적인 미세조정을 위한 가중 보정
Fenchel Tilting: Weighted Correction for Efficient Finetuning of Generative Models
사전학습된 생성 모델을 효용 함수로 표현되는 임의의 선호도에 적응시키는 것은 보상 정렬(reward alignment), 유도 설계(guided design), 제약 조건 충족의 기초가 되며 다양한 응용을 가능하게 합니다. 기존의 미세조정(fine-tuning) 방법들은 범용성과 계산 비용 간의 트레이드오프를 겪습니다. 즉, 최적화를 단순하게 유지하기 위해 지원되는 선호도 군을 제한하거나, 효율성을 희생하면서 범용성을 유지합니다. 본 논문에서는 효용 최적화와 생성 모델 피팅을 분리하는 펜첼 틸트 흐름 제어(Fenchel Tilt Flow Control, FTFC)를 제안합니다. FTFC는 먼저 사전학습된 샘플에 대해 유효 보상과 밀도비 가중치를 공동으로 피팅하여 목표 분포에 대해 최적화합니다. 이 방법은 효용의 변분 구조와 펜첼 쌍대성(Fenchel duality)을 결합하여, 보상이 분포 보정 가중치로 변환되는 방식을 결정하는 일반적인 $f$-다이버전스 페널티를 지원합니다. 그런 다음 이러한 가중치를 고정하고, 샘플링 궤적을 통한 미분 없이 단일 단계의 중요도 가중치 디노이징 또는 플로우 매칭에서 확산 또는 플로우 모델을 수정하는 데 사용합니다. 우리는 적절한 조건에서 오목 효용에 대한 정확한 쌍대성을 규명하고, 가중 피팅이 주어진 효용에 대한 최적의 목표 분포를 재현함을 보입니다. 이미지 및 분자 생성 벤치마크 전반에 걸쳐 FTFC는 다양한 선호도 함수에서 베이스라인 대비 성능을 향상시키는 동시에 최대 20배 더 효율적입니다. 제안된 방법은 복잡한 최적화 없이 기대 보상 극대화를 넘어선 적응을 가능하게 하며, 베이스라인과 비교하여 더 일반적인 효용 함수 군에 대한 견고성을 유지합니다.
MotifRole-Diff: 마스킹 분자 그래프 확산을 위한 위험 최적 역할 인식 손상
MotifRole-Diff: Risk-Optimal Role-Aware Corruption for Masked Molecular Graph Diffusion
분자 그래프 생성을 위한 마스킹 이산 확산(masked discrete diffusion)은 일반적으로 무손실 그래프-투-시퀀스(graph-to-sequence) 표현의 모든 토큰에 균일한 손상(corruption) 스케줄을 적용하며, 구조적으로 이질적인 분자 구성 요소를 재구성 난이도와 중요도가 동일한 것처럼 암묵적으로 취급한다. 그러나 서로 다른 분자 그래프 토큰 역할은 디노이징(denoising) 난이도와 디코딩된 분자에 미치는 영향에서 상당한 차이를 보이므로, 역할별 손상 전략이 필요하다. 본 논문은 MotifRole-Diff를 제안한다. 이는 경험적으로 측정된 디노이징 난이도와 그래프 수준 교란(perturbation) 영향에 따라 마스킹 비율을 할당하는 역할 인식 손상 과정으로, 모델 아키텍처, 깨끗한 시퀀스 공간, 무손실 분자 그래프 디코더는 그대로 유지한다. 우리는 스케줄 선택을 고정된 마스킹 예산을 토큰 역할 간에 위험 최적으로 할당하는 문제로 공식화한다. 우리의 정리는 모델링된 역할 가중 잔여 위험(role-weighted residual risk)에 대한 최적성을 특성화하며, 하류 생성 성능은 경험적으로 평가한다. 동일한 아키텍처, 학습 예산, 샘플링 연산량 하에서 MotifRole-Diff는 QM9에서 validity를 0.905에서 0.944로 향상시키고 FCD를 1.701에서 1.609로 감소시켰으며, MOSES에서는 validity를 0.920에서 0.938로 향상시키고 FCD를 2.125에서 1.850으로 감소시켰다. 역할별 진단은 분자 그래프 토큰 범주 전반에 걸친 재구성 개선을 추가로 보여준다. 종합하면, 이러한 동일 연산량 결과는 구조적으로 정보를 반영한 손상이 직렬화된 분자 그래프 확산에 있어 균일 스케줄보다 더 효과적인 마스킹 전략임을 시사한다.
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크
RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction
확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.
SinAE: 교차 도메인 원자계를 위한 단일 아키텍처 플로우 매칭 오토인코더
SinAE: A Single-Architecture Flow-Matching Autoencoder for Cross-Domain Atomic Systems
소분자, 결정체, 단백질은 모두 3차원 공간의 원자로 환원되지만, 생성 파이프라인은 여전히 도메인별로 분절되어 있으며 각각 고유한 그래프, 등변(equivariant), 또는 프레임 기반 아키텍처를 사용한다. 교차 도메인 학습은 도메인별 데이터 부족을 완화할 수 있지만, 3차원 좌표 공간에서의 직접 생성은 세 도메인 모두의 이질적인 구조적 사전지식을 쉽게 다루기 어렵고, 기존 잠재 오토인코더 중 무손실이면서 세 도메인 모두에 걸쳐 아키텍처적으로 일반적인 것은 없다. 우리는 분자, 결정체, 단백질을 위한 단일 아키텍처 플로우 매칭 오토인코더인 SinAE를 제안하며, 이는 바닐라 트랜스포머 인코더와 디코더를 사용하고 등변, 그래프, 또는 도메인 특화 연산자를 포함하지 않는다. 인코더가 세밀한 기하를 포착하도록 요구하는 대신, SinAE는 재구성 부담을 반복적 플로우 매칭 디코더로 옮겨 도메인 전반에 걸쳐 거의 무손실 재구성을 달성하고, 기존 잠재 베이스라인 대비 재구성 오차를 여러 차수에 걸쳐 감소시킨다. 동일한 토큰별 잠재는 표준 Diffusion Transformer 사전 모델을 지원하며, 이는 분자, 결정체, 단백질 생성 벤치마크에서 강력한 성능을 달성한다. 분자-결정체 공동 학습은 두 도메인 모두를 뚜렷이 개선하여, 공유 원자 잠재를 통한 교차 도메인 전이의 직접적 증거를 제공한다. 코드는 https://github.com/BlueWhaleLab/SinAE 에서 이용할 수 있다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.