PhenoBench: 심층 표현형 분석 코호트가 밝혀낼 수 있는 정보의 지도화
PhenoBench: Mapping What a Deeply Phenotyped Human Cohort Can Tell Us
심층 표현형 분석(deeply phenotyped) 코호트는 수초에서 수년에 이르는 시간 척도 전반에 걸쳐 임상, 영상, 분자 및 웨어러블 관측 데이터를 통합하지만, 이질적인 분석 결과들을 직접 비교하기는 어렵습니다. 본 논문에서는 심층 표현형 측정값을 명시적인 질문으로 변환하고 정보 출처 및 예측 모델 간의 제어된 비교를 수행하는 실행 가능한 벤치마크인 PhenoBench를 제시합니다. 이는 초기 방문 시점 기준 13,000명 이상의 참가자를 보유한 Human Phenotype Project를 기반으로 구축되었습니다. 각 질문은 목표, 대상 집단, 시점, 허용된 정보를 고정하며, 평가 계약(evaluation contract)은 분할(split), 지표(metric), 기준선(baseline), 주장 경계를 명시합니다. PhenoBench는 15개 도메인과 26개 입력 모달리티에 걸쳐 임상에 기반한 90개 태스크를 정의합니다. 52개 태스크에 걸친 160건의 매칭된 회귀 비교 전반에서, 제한된 튜닝을 적용한 고정 단일 추정기 프로토콜 하에 6개의 사전학습(pre-training)된 정형(tabular) 모델이 XGBoost 및 CatBoost를 포함하여 평가된 태스크별 기준선을 상회하는 순위를 기록했습니다. 각 태스크에 동일한 가중치(weight)를 부여했을 때, 릿지(ridge) 대비 이들의 평균 이점은 0.0103 $R^2$(95% 태스크 부트스트랩 구간, 0.0071-0.0136)였습니다. 또한 표현형 복구, 분류(classification), 후속 예측, 참가자 순위 지정을 아우르는 40개 태스크를 종합적으로 포괄하는 14개의 언어 모델을 평가했습니다. 코호트별 적합(fitting) 없이 언어 모델은 일부 태스크에서 유의미한 예측을 산출했으나 태스크별 역량 격차와 스케일(scale)에 따른 공통된 실패를 보였으며, 동일한 입력 필드에 적합된 태스크별 릿지 또는 로지스틱 회귀 모델을 능가하는 경우는 드물었습니다. PhenoBench는 기존 비교를 재정의하지 않고도 새로운 질문, 측정값, 모델을 추가할 수 있는 버전 관리 및 감사 가능한 평가 시스템을 제공합니다.