PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27607v1cs.CL

Jev는 방사선학 보고서를 판정할 수 있는가? 임상 사실성 평가를 위한 System One 모델

Can Jev Judge Radiology Reports? Evaluating a System One Model for Clinical Factuality

AI가 생성한 방사선학 보고서는 이상 소견을 누락하거나, 근거 없는 소견을 추가하거나, 그 존재 여부를 뒤집는 등의 문제가 있으면서도 의사가 작성한 보고서와 유사해 보일 수 있다. 이러한 사실적 차이를 측정하는 것은 보고서 생성기를 평가하는 데 필수적이다. 우리는 의사가 작성한 참조 보고서와의 일치를 판정하는 단순하고 저비용의 judge로서 System One 의사결정 모델 Jev를 연구한다. 우리의 평가기는 각 진술이 다른 보고서에 의해 뒷받침되는지 검사하고, 근거 없는 주장과 누락을 포착하기 위해 양방향으로 이러한 판정을 결합한다. 단일 질문 구성은 전문가 오류 수를 기준으로 RadEvalX에서 Kendall 상관 0.573, RadEvalExpert에서 0.398에 이르며, 동일한 분해 및 집계 조건에서 공개 자연어 추론(NLI) judge를 능가한다. 진술당 support 질문 하나는 판정 입력 토큰을 43–45% 적게 사용하면서도 일곱 개 질문과 유사한 전문가 일치를 유지한다. 문서화된 API 가격 기준으로, 로컬 분해를 제외하면 판정 비용은 보고서 쌍 100개당 3센트 미만이다. 별도의 통제 오류 테스트에서 Jev는 AUROC 0.977로 false negation을 탐지한다. 로컬 RadMatch는 두 전문가 데이터셋 모두에서 임상적으로 중요한 오류에 대해, 공유 RadEvalExpert 부분집합에서는 전체 오류에 대해 더 강한 일치를 달성한다. 소견 수 및 오류 범위 분석은 벤치마크 일치가 의료 오류 탐지뿐 아니라 보고서 크기와 오류 정의에도 반영됨을 보여 준다. 이러한 결과는 생성된 방사선학 보고서의 사실적 차이를 측정하는 실용적인 판정 구성요소로서 Jev를 뒷받침하며, 더 정교한 평가가 여전히 가치 있는 지점을 밝힌다.

arXiv:2512.17776v5cs.CL

DEER: 전문가 보고서 생성을 위한 심층 연구 에이전트 평가 벤치마크

DEER: A Benchmark for Evaluating Deep Research Agents on Expert Report Generation

대규모 언어 모델(LLM)의 최근 발전으로, 다단계 추론과 증거 기반 합성을 통해 전문가 수준의 보고서를 생성하는 심층 연구 시스템이 가능해졌다. 그러나 이러한 보고서를 평가하는 것은 여전히 어렵다. 보고서 품질은 다면적이어서 무엇을 평가할지, 어떤 기준을 사용할지 결정하기 어렵고, LLM 기반 판정 모델은 도메인 전문 지식이 필요한 오류를 놓칠 수 있으며, 심층 연구가 검색된 증거에 의존하기 때문에 보고서 전반에 걸친 주장 검증도 필요하다. 이러한 문제를 해결하기 위해 우리는 전문가 수준의 심층 연구 보고서를 평가하는 벤치마크인 DEER를 제안한다. DEER는 전문가가 개발한 분류 체계(7개 차원, 25개 하위 차원)를 101개의 세분화된 루브릭 항목으로 운용하여 평가 기준을 체계화한다. 또한 LLM 기반 판정을 지원하기 위한 과제별 전문가 평가 가이던스를 제공한다. 루브릭 기반 평가 외에도, 인용된 주장과 인용되지 않은 주장을 모두 검증하고 증거 품질을 정량화하는 주장 검증 아키텍처를 제안한다. 실험 결과, 현재 시스템들은 구조적으로 그럴듯하고 증거를 인용한 보고서를 생성하지만, 전문가 수준의 사용자 요청을 완전히 충족시키고 논리적 완결성을 달성하는 데는 여전히 어려움을 겪고 있음을 보여준다. 성능 비교를 넘어, DEER는 시스템의 강점과 한계를 해석 가능하게 하고 개선을 위한 진단 신호를 제공한다.

arXiv:2602.18446v2cs.CL

ReportLogic: Deep Research 보고서의 논리적 품질 평가

ReportLogic: Evaluating Logical Quality in Deep Research Reports

LLM 딥 리서치(Deep Research) 보고서의 실질적 신뢰성은 주장과 논증이 명시적으로 뒷받침되는 논리적 품질에 달려 있으나 기존 평가는 이를 거의 다루지 않는다. ReportLogic은 감사 가능성(auditability) 관점의 매크로·설명·구조 논리(Macro-Logic, Expositional-Logic, Structural-Logic) 분류로 이를 정량화하는 벤치마크이며, 사람 주석 루브릭 데이터셋과 오픈소스 LogicJudge로 확장 평가를 제공하고, 적대적 공격 실험에서 기성 LLM 판정기가 장황함 같은 표면적 단서와 추론 모드에 취약함을 보였다.

arXiv:2606.17062v1q-bio.QM

RadSEM: 영상의학 보고서의 임상적 일관성을 위한 소견별 지표

RadSEM: A Finding-by-Finding Metric for Clinical Consistency in Radiology Reports

영상의학 보고서 평가는 부정, 측성(laterality), 또는 정상-비정상 극성이 소견을 반전시킬 수 있으므로, 표면적 유사성과 임상적 호환성을 구별해야 합니다. 우리는 영상의학 소견(Findings)의 참조 기반 평가를 위한 제약된 LLM(대규모 언어 모델) 보조 지표인 RadSEM(Radiology Sentence-Level Evaluation Metric)을 제안합니다. RadSEM은 참조 보고서와 생성된 보고서를 각각 하나의 부위-소견 명제를 표현하는 순서가 지정된 원자적 소견 문장으로 재작성합니다. 그런 다음 모순 제약 다대다 매칭을 수행합니다: "삼출(effusion)"과 "삼출 없음(no effusion)"과 같은 호환되지 않는 쌍은 점수를 받지 못하지만, 호환되는 세분성 차이는 부분 점수를 받을 수 있습니다. 결정론적 단계는 부분-전체 및 비정상-세부 관계에 따라 쌍에 가중치를 부여하고, 일치하지 않는 소견을 계산하며, 비정상 초점 가중치 F1 점수를 산출합니다. 따라서 LLM은 불투명한 판사 역할을 하는 대신 구조화된 재작성과 국소적 정렬을 지원합니다. 우리는 2,448개의 익명화된 보고서를 5단계 등급화된 오염 수준으로 확장하여 구축된 제어된 단조성 스트레스 테스트인 SSREE를 사용하여 RadSEM을 평가합니다. RadSEM은 켄달 타우_b(Kendall tau_b) 0.957, 모든 쌍 일치율 97.8%, 인접 일치율 95.0%, 그리고 81.9%의 보고서에 대한 엄격한 5단계 순서를 달성하여, 극성이 반전된 보고서가 어휘 중복을 회복하는 실패를 피하면서 영상의학 특화 및 일반 텍스트 지표를 능가합니다. 동일한 SSREE 세트에서 RadSEM은 Ref-anchored RadSEM-Alt 정책을 능가하여, 인접 일치율을 90.7%에서 95.0%로, 엄격한 순서를 67.2%에서 81.9%로 개선했습니다. 599개 삼중쌍 동의어/반의어 부분 집합에서 RadSEM은 597개의 경우(99.67%)에서 동의어를 선호했습니다. 이러한 결과는 명시적 소견 단위, 모순 인식 매칭, 비정상 초점 결정론적 점수 매기기가 보고서 점수 측정을 더 해석 가능하게 만들고 임상적으로 의미 있는 오류에 민감하게 만듦을 시사합니다. 코드는 https://github.com/jdh-algo/RadSEM에서 확인할 수 있습니다.