arXiv:2611.22362v2 cs.AI

HealthCLBench: 통제된 증례 묶음으로 건강 상담의 문맥 학습 평가하기

HealthCLBench:Evaluating Context Learning in Health Conversations through Controlled Case Clusters

Ting Yang, Zijing Hong, Chengjie Wang, Peng Wei, Chunxiao Guo, Yun Yue, Xurui Li, Jinqun Guan, Zixiao Chen, Ant Group

제출 2026-11-18

한국어 초록

복잡한 건강 대화에는 개인 정보와 현재 유효한 근거에 기반한 답변이 필요하다. 본 연구는 건강 맥락 학습, 즉 모델 파라미터를 고정한 채 추론 중에 관련 맥락을 획득·통합·적용하여 건강 질문에 답하고 사실, 근거 또는 과제 목표의 변화에 적절히 대응하는 능력을 평가한다. 우리가 아는 한, 중국어 의료 벤치마크는 명시적인 맥락적 난점, 통제된 사례 변형, 개방형 답변에 대한 구성원별 의료 기준을 아직 체계적으로 결합하지 못했다. 본 연구는 의료 상담과 일상 건강 관리에 걸쳐 328개의 통제된 클러스터, 1,103개의 사례, 4,931개의 루브릭 기준으로 구성된 HealthCLBench를 소개한다. 구성원들은 배경을 공유하되 근거, 환자 상태 또는 과제 목표가 달라지며, 각각 고유한 의료 채점 요건을 가진다. 70명 규모의 의료 팀이 모의 사례와 그 루브릭을 주석하고 검토한다. 원래 평가에서 얻은 전체 맥락 응답 700건에 대한 인간 검토는 루브릭 항목 수준에서 원래의 자동 판정과 90.5%의 통합 일치도를 보인다. 일곱 가지 범용 모델과 Ant Afu에 대해 전체 맥락 결과와 질문만 제시한 결과를 보고한다. 여덟 시스템 전반에서 전체 맥락을 사용한 점수는 현재 질문만 사용한 점수보다 사례 점수가 11.83~31.76점, 기하 클러스터 점수가 10.87~38.97점 높다. GPT-6 Astra가 두 전체 맥락 지표에서 각각 75.03과 60.42로 선두이며, Claude Opus 5.5와 Ant Afu가 그 뒤를 잇는다. 조건 간 차이는 보고된 평가 설정에서의 점수 변화를 기술한다. 응답 비교는 과거 정보 확인, 필요한 경우의 불확실성 표현, 권고가 요구 조건을 준수하도록 보장하는 데서의 실패를 드러낸다. 이 자원은 모델 비교와 표적 후속 평가를 지원한다.

원문 초록

Complex health conversations require answers grounded in individual information and currently valid evidence. We evaluate health context learning: acquiring, integrating, and applying relevant context during inference with fixed model parameters to answer health questions and respond appropriately to changes in facts, evidence, or task goals. To our knowledge, Chinese-language medical benchmarks have yet to systematically combine explicit contextual difficulties, controlled case variations, and member-specific medical criteria for open-ended answers. We introduce HealthCLBench, comprising 328 controlled clusters, 1,103 cases, and 4,931 rubric criteria across medical consultation and everyday health management. Members share backgrounds while evidence, patient states, or task goals change; each has its own medical scoring requirements. A 70-person medical team annotates and reviews the simulated cases and their rubrics. Human review of 700 full-context responses from the original evaluation yields 90.5% pooled agreement with the original automated judgments at the rubric-item level. We report full-context and query-only results for seven general-purpose models and Ant Afu. Across the eight systems, scores with full context are 11.83 to 31.76 case points and 10.87 to 38.97 geometric cluster points higher than those with the current question alone. GPT-6 Astra leads both full-context metrics at 75.03 and 60.42, followed by Claude Opus 5.5 and Ant Afu. Cross-condition differences describe score changes under the reported evaluation settings. Response comparisons reveal failures in checking historical information, expressing uncertainty when warranted, and ensuring recommendations respect required conditions. The resource supports model comparison and targeted follow-up evaluation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22362v2제출 시각 미확인
  2. arXiv:2611.22362v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.