AI 가상 세포는 지정된 개입에 대한 세포 반응 예측을 목표로 하지만, 홀드아웃(held-out) 예측 성능만으로는 제공된 섭동(perturbation) 정보의 활용 여부를 입증하지 못합니다. 이러한 예측-주장 간의 격차는 언어 모델 에이전트(agent)가 점수 기반 피드백을 사용하여 예측 모델을 생성하고 수정하는 에이전트 기반 모델(model) 발견에서 중요합니다. 본 논문에서는 입력이 언급된 계산에 들어갈 수 있는지, 적합된 예측이 해당 입력에 의존하는지, 그리고 그 의존성이 관찰된 반응의 예측을 개선하는지를 검증하여 입력 사용 주장을 감사하는 CELLAUDIT을 소개합니다. 쌍을 이룬 형태학-전사체학 섭동 벤치마크(BBBC047)에서, 에이전트가 선택한 예측 모델은 평균 홀드아웃 전체 피어슨 상관계수(Global Pearson correlation coefficient, PCC) 0.3153을 달성하지만 화합물 치환에 불변(invariant)인 상태를 유지하며, 대조군 프로파일 전용 예측 모델은 0.3142에 도달합니다. 소스 검사를 통해 싱글톤(singleton) 키-값 어텐션(attention)에 의해 차단된 화합물-쿼리 경로가 확인되며, 분리된 대조군 웰을 사용해 재적합한 후에도 불변성이 지속됩니다. 연결된 두 작업에 걸친 48개 후보에 대한 계층화 감사에서 47개는 두 홀드아웃 폴드 모두에서 화합물 치환 시 예측을 변경하지만, 두 폴드 모두에서 0을 상회하는 구간을 가지며 목표 손실(loss) 이득을 보이는 것은 20개에 불과합니다. BBBC047에서 반증 기반 수정은 대조군 프로파일 전용 기준선(baseline) 대비 이득을 유지하면서 양의 평균 화합물 기여도를 회복합니다. 매칭된 sci-Plex 탐색에서, 감사로 강화된 피드백은 쌍을 이룬 신뢰 구간이 0을 포함함에도 불구하고 5개 궤적에 걸쳐 더 높은 홀드아웃 성능과 더 큰 평균 화합물 및 투여량 기여도를 가져옵니다. 독립적으로 획득된 코호트에서 고정된 설계를 재적합한 결과, 예측 일반화가 입력 사용 주장의 일반화를 의미할 필요는 없음을 보여줍니다. 즉, 투여량 기여도는 유지되는 반면 화합물 동일성에 대한 근거는 유지되지 않습니다. CELLAUDIT은 에이전트 기반 모델 발견에 반증 층(layer)을 추가하여, 생성-점수화-수정에서 발견-반증-수정으로 나아갑니다.
This work examines perturbation generalization in spatial foundation-model embeddings derived from fluorescence microscopy images. Although these models can discriminate drug conditions accurately, it remains unclear whether the learned representations reflect patterns consistent with expected perturbation axes that transfer across drugs. We introduce SVC-Probe, a perturbation-aware framework that combines Subcellular Embedding Atlas Stability, Mondrian Neighborhood Graphs, and a Foundation Model Perturbation Probe to assess embedding stability, neighborhood rewiring, and centroid prediction under drug treatment. Applied to the CM4AI MDA-MB-468 chemical-perturbation atlas comprising 462 antibody labels and SubCell 1536-dimensional embeddings, SVC-Probe demonstrates that 98.6% three-way condition accuracy does not correlate with reliable cross-drug prediction, with cosine similarity diminishing from 0.944 in-domain to 0.30 under leave-one-drug-out evaluation, constituting a two-drug stress test rather than a general benchmark. Null calibration indicates that raw residual-turnover coupling is largely influenced by generic embedding structure, whereas a drug-specific signal emerges under vorinostat and is consistent with chromatin-related reorganization. In contrast, the paclitaxel axis is not robustly reconstructed, likely due to sparse coverage of microtubule-associated proteins. Together, these results introduce and demonstrate a reusable diagnostic framework for stress-testing spatial virtual-cell representations and indicate that perturbation generalization may serve as a stricter and more informative benchmark than baseline condition discrimination.
가상 세포 및 섭동 모델(perturbation model)은 생의학 발견을 위한 세포 반응 예측에 점점 더 많이 활용되고 있으나, 화학적 섭동과 유전적 섭동은 자동으로 상호 교환 가능하지 않다. 기존 평가들은 화학 반응 예측 또는 유전적 섭동 예측을 개별적으로 연구하는 경우가 많아, 표적 매칭된 화학-유전자 번역은 충분히 검증되지 않은 상태로 남아 있다. 우리는 Chem2Gen-Bench를 소개한다. 이는 세포-표적 컨텍스트로 구성된 260,084개의 화학적 섭동 프로파일과 1,099,045개의 유전적 섭동 프로파일로 이루어진 벤치마크로, 쌍별 정렬, 검색, 프로토콜 공변량 연관성, 특징(feature) 공간, 및 파운데이션 모델(foundation-model) 임베딩을 평가한다. 매칭된 컨텍스트 전반에 걸쳐 번역 충실도는 측정 가능하지만 이질적이며, 배경 조정은 쌍별 유사도와 검색 성공률 간의 연관성을 높이는 반면, 쌍별 검정 결과 평가된 설정에서 조정 후 평균 검색 성공률이 낮아지는 것으로 나타났다. 표적 매칭된 K562 감사에서 평가된 파운데이션 모델 임베딩은 유전자 델타 기준선(gene-delta baseline) 대비 일관된 성능 향상을 보이지 않았다. Chem2Gen-Bench는 화학적 섭동과 유전적 섭동이 공유 표적을 중심으로 정렬되는 경우와 표현(representation) 향상이 매칭된 섭동 증거에 의해 뒷받침되는 경우를 검증하기 위한 감사 가능한 프레임워크를 제공한다.
기존 접근 방식의 복잡성과 확장성 문제를 해결하기 위해 OCOO-T는 순수 Transformer 스택과 flow-matching을 활용하여 섭동 반응 예측을 연속 시간 노이즈 제거 과정으로 공식화하는 간단한 AI 가상 세포(AIVC) 모델을 제안합니다. 이 모델은 Tahoe100M, Replogle, PBMC 벤치마크에서 최첨단 성능을 달성하며 긴 전사 프로필로도 효과적으로 확장됩니다.