발견, 반증, 수정: 에이전트가 발견한 세포 모델에서 소스 코드부터 예측 기여도까지의 입력 사용 주장에 대한 감사
Discover, Falsify, Revise: Auditing Input-Use Claims from Source Code to Predictive Contribution in Agent-Discovered Cell Models
AI 가상 세포는 지정된 개입에 대한 세포 반응 예측을 목표로 하지만, 홀드아웃(held-out) 예측 성능만으로는 제공된 섭동(perturbation) 정보의 활용 여부를 입증하지 못합니다. 이러한 예측-주장 간의 격차는 언어 모델 에이전트(agent)가 점수 기반 피드백을 사용하여 예측 모델을 생성하고 수정하는 에이전트 기반 모델(model) 발견에서 중요합니다. 본 논문에서는 입력이 언급된 계산에 들어갈 수 있는지, 적합된 예측이 해당 입력에 의존하는지, 그리고 그 의존성이 관찰된 반응의 예측을 개선하는지를 검증하여 입력 사용 주장을 감사하는 CELLAUDIT을 소개합니다. 쌍을 이룬 형태학-전사체학 섭동 벤치마크(BBBC047)에서, 에이전트가 선택한 예측 모델은 평균 홀드아웃 전체 피어슨 상관계수(Global Pearson correlation coefficient, PCC) 0.3153을 달성하지만 화합물 치환에 불변(invariant)인 상태를 유지하며, 대조군 프로파일 전용 예측 모델은 0.3142에 도달합니다. 소스 검사를 통해 싱글톤(singleton) 키-값 어텐션(attention)에 의해 차단된 화합물-쿼리 경로가 확인되며, 분리된 대조군 웰을 사용해 재적합한 후에도 불변성이 지속됩니다. 연결된 두 작업에 걸친 48개 후보에 대한 계층화 감사에서 47개는 두 홀드아웃 폴드 모두에서 화합물 치환 시 예측을 변경하지만, 두 폴드 모두에서 0을 상회하는 구간을 가지며 목표 손실(loss) 이득을 보이는 것은 20개에 불과합니다. BBBC047에서 반증 기반 수정은 대조군 프로파일 전용 기준선(baseline) 대비 이득을 유지하면서 양의 평균 화합물 기여도를 회복합니다. 매칭된 sci-Plex 탐색에서, 감사로 강화된 피드백은 쌍을 이룬 신뢰 구간이 0을 포함함에도 불구하고 5개 궤적에 걸쳐 더 높은 홀드아웃 성능과 더 큰 평균 화합물 및 투여량 기여도를 가져옵니다. 독립적으로 획득된 코호트에서 고정된 설계를 재적합한 결과, 예측 일반화가 입력 사용 주장의 일반화를 의미할 필요는 없음을 보여줍니다. 즉, 투여량 기여도는 유지되는 반면 화합물 동일성에 대한 근거는 유지되지 않습니다. CELLAUDIT은 에이전트 기반 모델 발견에 반증 층(layer)을 추가하여, 생성-점수화-수정에서 발견-반증-수정으로 나아갑니다.