PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.14673v1cs.AI

Project Kaleidoscope: 실세계 AI 애플리케이션을 위한 문맥 기반 인간 정렬 평가

Project Kaleidoscope: Contextual, Human-Aligned Evaluation for Real-World AI Applications

평가(Evals)는 실세계 AI 애플리케이션의 배포 병목이다. 공개 벤치마크는 팀의 사용자, 맥락, 정책과 거의 일치하지 않으며, 인간 검토는 대규모로 확장하기 어렵다. 공공 부문 AI 애플리케이션 작업에서 얻은 동기에 기반하여, 본 프로젝트는 애플리케이션이 지역 정책 및 거버넌스 요구사항을 충족해야 할 때 반복적으로 마주치는 평가 과제를 다룬다. 우리는 페르소나 기반 테스트 생성, 맥락화된 루브릭, 신뢰성 게이트가 적용된 자동 채점을 위한 인간 검토를 연결하는 문맥적 기능 평가를 위한 통합 워크플로우인 Kaleidoscope를 제시한다. 생성된 테스트 케이스는 애플리케이션별 루브릭에 따라 채점되며, 인간 주석은 검토 가능한 레이블을 제공하고, 대규모 언어 모델(LLM) 심판(judge)은 해당 레이블과의 일치도가 설정된 임계값을 충족할 때만 채점을 자동화한다. 따라서 Kaleidoscope는 제품 팀을 위한 실용적이고 검토 가능하며 반복적인 워크플로우이다. 우리는 4가지 조직 사용 사례에 걸친 3주 파일럿, 그리고 4개 도메인과 14개 평가 차원에 걸친 108개의 주석 Q&A 쌍에 대한 맞춤형 루브릭 심판 실험에서 얻은 초기 증거를 보고한다. 결과는 end-to-end로 신뢰할 수 있는 자동 채점에 유용한 특징들을 보여준다.

arXiv:2607.02175v1cs.AI

A rubric-based controlled comparison of frontier language models on expert-authored clinical reasoning tasks

GPT 5.4, Claude Opus 4.7, Gemini 3.1 Pro을 대상으로 전문 임상의가 작성한 5가지 임상 추론 시나리오와 가중치 기반 루브릭(총 184개 기준)을 활용해 평가한 결과, Claude가 평균 0.47로 가장 높은 통과율을 기록했으나 세 모델 모두 임상적 우선순위 역전 현상을 보였다. 중요도가 낮은 weight-1 기준은 80~90%를 통과한 반면, 환자 안전에 직결되는 weight-5 핵심 기준은 32.4~41.7%에 불과했으며, 108개 핵심 기준 중 56개(52%)는 어떤 모델도 충족하지 못했다.

arXiv:2606.18203v1cs.CL

RubricsTree: 건강 메모리와 의료 기술에 걸친 개인 건강 에이전트의 확장 가능하고 진화하는 개방형 평가

RubricsTree: Scalable and Evolving Open-Ended Evaluation of Personal Health Agents across Health Memory and Medical Skills

사용자 건강(센서) 지표를 활용하는 대규모 언어 모델(LLM) 기반 개인 건강 에이전트는 의료 서비스 접근성의 전 세계적 격차를 완화하는 유망한 경로를 제공합니다. 그러나 대규모 임상 배포는 개방형 평가(open-ended evaluation)의 병목 현상으로 인해 제한됩니다. 의사 주석은 신뢰할 수 있지만 비용이 많이 들고 확장성이 없는 반면, LLM-as-a-judge 평가자는 확장 가능하지만 주관적이고 일관성이 없으며 때로는 임상적으로 정렬되지 않은 경우가 있습니다. 우리는 RubricsTree를 소개합니다. 이는 100개 이상의 원자적이고 임상적으로 검증 가능한 불리언 루브릭으로 구성된 전문가와 정렬된 계층적 분류 체계를 갖춘 확장 가능한 평가 프레임워크로, 경험 많은 의사가 이끄는 전문가 패널과의 반복적 인간 루프(human-in-the-loop) 큐레이션 프로토콜을 통해 4,000개의 실제 사용자 쿼리에서 얻은 통찰력으로 발전했습니다. 문맥 인지 적응형 라우터는 쿼리당 관련된 자동 가중치가 부여된 루브릭 부분 집합만 활성화하여, 전문가 수준의 품질을 유지하면서 확장 가능한 평가에 필요한 처리량을 제공합니다. 체계적인 메타 평가를 통해 우리는 RubricsTree가 (i) 까다로운 개방형 쿼리에 대한 전문가 정렬 측면에서 강력한 대규모 평가 기준선(baseline)을 상당히 초과하고, (ii) 문맥적으로 저하된 응답을 신뢰할 수 있게 패널티를 부여하며, (iii) 성능 최적화를 위한 구조화된 지시, 텍스트 피드백 또는 학습(training) 보상으로 사용될 경우 HealthBench에서 Gemini, GPT 및 Qwen 모델 계열에 대해 최대 약 66%의 상대적 성능 향상을 가져온다는 것을 보여줍니다. 따라서 RubricsTree는 제품 수준의 개인 의료 AI를 지속적으로 최적화하는 데 필요한 확장 가능하고 감사 가능하며 진화하는 평가 인프라를 제공합니다.