PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27383v1cs.DL

CalBrief: 대규모 언어 모델을 활용한 증거 보정 과학 브리핑을 위한 파일럿 진단 벤치마크

CalBrief: A Pilot Diagnostic Benchmark for Evidence-Calibrated Scientific Briefing with Large Language Models

LLM이 관련 논문 패키지로부터 증거 강도와 범위를 보정하여 핵심 결론을 생성하는 '증거 보정 과학 브리핑' 과제를 정의하고, 16개 패키지와 96개 검증된 결론으로 구성된 CalBrief 벤치마크를 제시한다. GPT-4o, Claude Sonnet, Gemini Flash 세 모델에 대한 통제 실험 결과, 구조화된 증거 조직은 역할·공백 추론을 향상시키지만 명시적 강도 보정 정책은 체계적으로 과보수적이며, 보수성의 약 63%는 이진에서 4-way 레이블 공간 확장에 기인함을 밝혔다.