PhenoBench: 심층 표현형 분석 코호트가 밝혀낼 수 있는 정보의 지도화
PhenoBench: Mapping What a Deeply Phenotyped Human Cohort Can Tell Us
한국어 초록
심층 표현형 분석(deeply phenotyped) 코호트는 수초에서 수년에 이르는 시간 척도 전반에 걸쳐 임상, 영상, 분자 및 웨어러블 관측 데이터를 통합하지만, 이질적인 분석 결과들을 직접 비교하기는 어렵습니다. 본 논문에서는 심층 표현형 측정값을 명시적인 질문으로 변환하고 정보 출처 및 예측 모델 간의 제어된 비교를 수행하는 실행 가능한 벤치마크인 PhenoBench를 제시합니다. 이는 초기 방문 시점 기준 13,000명 이상의 참가자를 보유한 Human Phenotype Project를 기반으로 구축되었습니다. 각 질문은 목표, 대상 집단, 시점, 허용된 정보를 고정하며, 평가 계약(evaluation contract)은 분할(split), 지표(metric), 기준선(baseline), 주장 경계를 명시합니다. PhenoBench는 15개 도메인과 26개 입력 모달리티에 걸쳐 임상에 기반한 90개 태스크를 정의합니다. 52개 태스크에 걸친 160건의 매칭된 회귀 비교 전반에서, 제한된 튜닝을 적용한 고정 단일 추정기 프로토콜 하에 6개의 사전학습(pre-training)된 정형(tabular) 모델이 XGBoost 및 CatBoost를 포함하여 평가된 태스크별 기준선을 상회하는 순위를 기록했습니다. 각 태스크에 동일한 가중치(weight)를 부여했을 때, 릿지(ridge) 대비 이들의 평균 이점은 0.0103 $R^2$(95% 태스크 부트스트랩 구간, 0.0071-0.0136)였습니다. 또한 표현형 복구, 분류(classification), 후속 예측, 참가자 순위 지정을 아우르는 40개 태스크를 종합적으로 포괄하는 14개의 언어 모델을 평가했습니다. 코호트별 적합(fitting) 없이 언어 모델은 일부 태스크에서 유의미한 예측을 산출했으나 태스크별 역량 격차와 스케일(scale)에 따른 공통된 실패를 보였으며, 동일한 입력 필드에 적합된 태스크별 릿지 또는 로지스틱 회귀 모델을 능가하는 경우는 드물었습니다. PhenoBench는 기존 비교를 재정의하지 않고도 새로운 질문, 측정값, 모델을 추가할 수 있는 버전 관리 및 감사 가능한 평가 시스템을 제공합니다.
원문 초록
Deeply phenotyped cohorts combine clinical, imaging, molecular, and wearable observations across timescales from seconds to years, but heterogeneous analyses are not directly comparable. We present PhenoBench, an executable benchmark that turns deep-phenotyping measurements into explicit questions and controlled comparisons of information sources and predictive models. It is built around the Human Phenotype Project, with more than 13,000 participants at the initial visit. Each question fixes the target, population, timing, and allowed information; its evaluation contract specifies the split, metric, baseline, and claim boundary. PhenoBench defines 90 clinically grounded tasks across 15 domains and 26 input modalities. Across 160 matched regression comparisons spanning 52 tasks, six pretrained tabular models ranked above the evaluated task-specific baselines, including XGBoost and CatBoost, under a fixed single-estimator protocol with bounded tuning. Giving each task equal weight, their mean advantage over ridge was 0.0103 $R^2$ (95% task-bootstrap interval, 0.0071-0.0136). We also evaluated 14 language models, collectively covering 40 tasks spanning phenotype recovery, classification, follow-up forecasting, and participant ordering. Without cohort-specific fitting, language models made informative predictions on some tasks but showed task-specific capability gaps, shared failures of scale, and rarely surpassed task-specific ridge or logistic regression models fitted on the same input fields. PhenoBench provides a versioned, auditable evaluation system where new questions, measurements, and models can be added without redefining existing comparisons.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.06080v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
검토는 더 강력한 모델을 거의 능가하지 못한다: LLM 파이프라인에서 검증과 능력 전이의 분리
Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines
제안된 것은 대체된 것이 아니다: 메모리 폐기(memory-retirement) 게이트로서의 시스템원(System One) 모델에 대한 사전등록 평가
Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate
어시스턴트의 장기 기억(long-term memory)에는 새로운 발화(utterance)가 기존에 저장된 주장(claim)을 언제 폐기(retire)할지 결정하는 게이트(gate)가 필요하다. 이 단계에 대한 벤치마크 레이블은 쌍(pair)을 변경되었는지 아닌지로만 표시하므로, 확정된 변경(established change)에 따라 작동하는 게이트와 단서(hint)에 따라 작동하는 게이트를 구별하지 못한다. 우리는 이 둘을 구분하는 태스크 계약(task contract)을 작성하여(SUPERSEDED 대 NEEDS-CONFIRMATION 대 COMPATIBLE), STALE(변경 쌍과 동일 사용자 대조군으로 구성)로부터 만들어진 500개의 테스트 쌍에 대해 세 명의 LLM 주석자(annotator)와 두 명의 인간 심판자(저자 1명과 추가 주석자 1명; 출처(provenance)를 명시함)로 레이블을 부여하고, 사전등록된 가설(pre-registered hypotheses) 하에서 타입이 지정된(typed) "시스템원(System One)" 결정 모델인 Jev를 평가한다. STALE이 변경되었다고 표시한 179개의 테스트 쌍 중 72개가 계약에서 정한 확정된 변경의 기준을 충족한다. Jev는 동일 대화 내 변경되지 않은 141개의 사례에서 단 한 번도 주장을 폐기하지 않았다. Jev의 실패는 조기 폐기(premature retirement)이다: 이진 게이트(binary gate)는 변경이 단지 제안(suggested)된 것에 불과한 주장의 39.2%를 폐기한다. 삼항 결정(three-way decision)은 이를 15.3포인트(point)의 탐지 비용(detection cost)으로 15.5%까지 낮추는데, 이는 우리가 사전등록한 10포인트 예산(budget)을 초과하며, 이진 게이트 자체의 임계값 프런티어(threshold frontier) 위에 위치한다; 이러한 판정(verdict)은 골드 레이블(gold label)에 대한 세 가지 해석(readings) 모두에서 유지된다. 두 번째 주석자의 레이블을 기준으로 채점한 보류된(held-out) 볼트(vault)에서, 불확실한 사례를 추론 모델(reasoning model)로 에스컬레이션(escalate)하고 개발(development) 데이터에서 가장 우수했던 캐스케이드(cascade)는 단순히 임계값을 높이는 것과 구별되지 않았다(조기 폐기 비율 26.8% 대 개발 데이터에서의 6.5%). 이 격차(gap)의 일부는 골드 레이블에서 비롯된다: 해당 주석자의 해석에 비추어 볼 때, LLM 다수결(majority) 골드는 동일 계열(same-family)의 에스컬레이션 모델과 오류 대부분을 공유하며, 이진 레이블에 대한 한 아이덴티티(identity)는 이러한 공유된 오류가 얼마나 가려지는지를 보여준다. 나머지는 개발 데이터에서의 소규모 샘플 선택(small-sample selection)에 기인한다. 빌더(builder)들에게 이는 이진 점수(binary score)를 삭제(delete) 동작에 바로 연결해서는 안 된다는 것을 의미한다: 제안된 변경은 보류 중인 증거(pending evidence)로 라우팅(route)하고, 이 정도 규모의 개발 데이터에서 선택된 캐스케이드를 신뢰하지 말아야 한다.
핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃
Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing
본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.
역학 모델링을 위한 대규모 언어 모델 생성 패턴: 다중 벤치마크 평가 프레임워크
Large language model-generated patterns for epidemiological modeling: a multi-benchmark evaluation framework
개인 수준의 행동 이질성(behavioral heterogeneity)을 표현하는 것은 역학 모델링(epidemiological modeling)에서 어려운 과제이며, 특히 실증적 행동 데이터가 부족한 경우 더욱 그렇다. 본 연구는 주사 약물 사용자(people who inject drugs) 사이의 C형 간염 바이러스(hepatitis C virus) 관련 행동을 사례 연구로 사용하여, 이러한 과제를 해결하는 데 있어 대규모 언어 모델(LLM)이 생성한 행동 출력의 가능성을 평가한다. 역학적 패턴과의 일치성은 세 가지 외부 벤치마크, 즉 문헌에 기반한 연관성 방향, 에이전트 기반 모델(agent-based model, ABM)에서 도출된 상관관계, 그리고 설문조사 연관성을 사용하여 평가되었다. 세 가지 LLM에 걸쳐, 유지된 28개의 문헌 기반 연관성에 대한 무조건적 방향 회복률(unconditional directional recovery)은 46~68%였으며, 이는 동일한 연관성을 직접 분류하도록 요청했을 때의 82~93% 일치율과 대비된다. ABM 및 설문조사 상관 패턴과의 평균 절대 차이는 각각 0.11~0.13 및 0.15~0.18이었다. 이러한 결과는 지식 탐색(knowledge-probe) 일치율이 더 높음에도 불구하고, LLM이 생성한 행동 관계와 역학적 증거 사이에 부분적인 일치만 존재함을 보여준다. 전파 동역학(transmission dynamics)을 시뮬레이션하는 역학 모델에 LLM이 생성한 행동 출력을 통합하기 전에 더 체계적인 평가가 필요하다.
구조에서 타당성까지: 메커니즘 기반 대규모 언어 모델(LLM) 루브릭 생성 및 개선
From Structure to Validity: Mechanism-Guided Generation and Refinement of LLM Rubrics
루브릭은 개방형 작업에서 언어 모델을 평가(evaluation)하고 최적화(optimization)하는 데 널리 사용되어 왔습니다. 그러나 기존 연구는 루브릭 디자인을 효과적으로 만드는 요인에 대한 이해가 제한적인 채, 더 나은 루브릭을 생성하는 데 주로 초점을 맞추고 있습니다. 본 연구에서는 기준 조직화, 기준 조작화, 점수 집계 전반에 걸쳐 루브릭 디자인에 대한 체계적인 메커니즘 분석을 수행합니다. 분석 결과, 구조적 조직화는 보다 포괄적인 기준 구축을 가능하게 하지만, 의미론적 구체화만으로는 효과적인 기준 수준 판단을 보장하지 못하며, 정교한 점수 집계는 제한적인 추가 이득만을 제공함을 보여줍니다. 이러한 발견에 기반하여, 적응형 트리 구축과 의미 우선 반응 보정 개선을 결합한 ARTS-Hybrid(Adaptive Rubric Tree Search with Hybrid refinement)를 제안합니다. 여러 벤치마크(benchmark)에 걸친 실험을 통해 ARTS-Hybrid가 엔드투엔드 평가 성능과 내재적 루브릭 품질을 모두 향상함을 입증합니다. 추가 실험에서는 ARTS-Hybrid로 생성된 루브릭이 평가를 넘어 모델 최적화에도 유효한 신호를 제공함을 시사합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.