돌연변이에서 약물 선택까지: 임상 LLM이 유전체 근거의 약제 내성을 반영하지 못하는 양상
From Mutation to Medication: Characterizing Failures of Clinical LLMs to Respect Genomic Resistance
한국어 초록
언어 모델은 분자 종양 위원회의 의사결정을 지원하는 도구로 주목받고 있다. 그러나 유전체 근거가 약제 내성을 가리켜도 암 치료를 권할 수 있다. 선별한 종양학 지식 베이스 다섯 개에서 얻은 내성 사례 1,464건에서 모델 열 종을 평가해 판단 58,910건을 수집했다. 모델은 내성이 확인된 치료를 사례의 21.8~81.4%에서 지지했다. 다만 이 비율에는 내성과 약물 감수성을 구분하는 능력 외에도 주어진 의견에 동의하는 경향이 반영될 수 있다. 한 가중치 공개 모델은 내성 사례의 81.4%와 감수성 대조 사례의 82.3%를 지지했다. 이에 유전자와 근거 수준을 맞춘 집단 안에서 치료 지지율을 비교했다. 이는 사전 등록 분석에서 효과가 없거나 약한 결과를 얻은 뒤 정한 탐색적 분석이다. 측정된 실패는 참조 지식 베이스와 근거의 강도에 크게 의존했다. 두 번째 출처가 내성을 독립적으로 확인한 경우, 세 공급업체의 모델 네 종은 해당 치료를 최대 2.4%의 사례에서만 지지했다. 근거 수준이 낮을 때는 구별 능력을 측정할 수 없었다. 모델은 때로 내성을 인정하면서도 해당 치료를 권했다. 모델이 스스로 내성이 있다고 판단한 사례에서 그 결론을 다시 제시하면 치료 지지율이 0.0~3.5%로 줄었다. 반대 결론을 모델 자신의 판단인 것처럼 잘못 제시하면 호스팅 모델 일곱 종 모두에서 지지율이 기준선보다 높아졌으며, GPT-4o에서는 95.2%에 달했다. 특정 결론을 누구의 판단이라고 제시하지 않은 지시는 지지율을 0.9%포인트만 바꿨다. 선별한 정확한 근거를 제공하자 별다른 단서 없이 치료를 강하게 권하는 비율은 0.3~3.5%로 낮아졌다. 이 시험은 근거를 직접 제공하는 오라클 조건에서의 활용 능력을 평가했으며, 검색 능력은 평가하지 않았다.
원문 초록
Language models are increasingly proposed to support molecular tumour boards, but may recommend cancer therapies despite genomic evidence of resistance. We evaluated ten models on 1,464 resistance cases from five curated oncology knowledge bases, collecting 58,910 judgments. Models endorsed resisted therapies in 21.8-81.4% of cases. However, raw rates can reflect a tendency to agree rather than an ability to distinguish resistance from drug sensitivity: one open-weight model endorsed 81.4% of resistance cases and 82.3% of sensitivity controls. We therefore compared endorsement within matched gene and evidence-level groups. This analysis is exploratory because it was specified after the pre-registered analysis, which yielded null-to-weak results. Measured failures depended strongly on the reference knowledge base and evidence strength. When a second source independently confirmed resistance, four models across three vendors endorsed at most 2.4% of cases; at weaker evidence tiers, discrimination was not measurable. Models sometimes acknowledged resistance yet recommended the therapy. Repeating a model's own resistance conclusion reduced endorsement to 0.0-3.5% on cases where it had stated resistance. Falsely attributing the opposite conclusion increased endorsement above baseline for all seven hosted models, reaching 95.2% for GPT-4o; an instruction without an attributed conclusion changed endorsement by only 0.9 percentage points. Providing the correct curated evidence reduced unqualified strong recommendations to 0.3-3.5%, testing evidence use under an oracle condition rather than retrieval.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19339v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.