DEE: Dual-stage Explainable Evaluation Method for Text Generation
원문 초록
Automatic methods for evaluating machine-generated texts hold significant importance due to the expanding applications of generative systems. Conventional methods tend to grapple with a lack of explainability, issuing a solitary numerical score to signify the assessment outcome. Recent advancements have sought to mitigate this limitation by incorporating large language models (LLMs) to offer more detailed error analyses, yet their applicability remains constrained, particularly in industrial contexts where comprehensive error coverage and swift detection are paramount. To alleviate these challenges, we introduce DEE, a Dual-stage Explainable Evaluation method for estimating the quality of text generation. Built upon Llama 2, DEE follows a dual-stage principle guided by stage-specific instructions to perform efficient identification of errors in generated texts in the initial stage and subsequently delves into providing comprehensive diagnostic reports in the second stage. DEE is fine-tuned on our elaborately assembled dataset AntEval, which encompasses 15K examples from 4 real-world applications of Alipay that employ generative systems. The dataset concerns newly emerged issues like hallucination and toxicity, thereby broadening the scope of DEE's evaluation criteria. Experimental results affirm that DEE's superiority over existing evaluation methods, achieving significant improvements in both human correlation as well as efficiency.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Jev는 방사선학 보고서를 판정할 수 있는가? 임상 사실성 평가를 위한 System One 모델
Can Jev Judge Radiology Reports? Evaluating a System One Model for Clinical Factuality
AI가 생성한 방사선학 보고서는 이상 소견을 누락하거나, 근거 없는 소견을 추가하거나, 그 존재 여부를 뒤집는 등의 문제가 있으면서도 의사가 작성한 보고서와 유사해 보일 수 있다. 이러한 사실적 차이를 측정하는 것은 보고서 생성기를 평가하는 데 필수적이다. 우리는 의사가 작성한 참조 보고서와의 일치를 판정하는 단순하고 저비용의 judge로서 System One 의사결정 모델 Jev를 연구한다. 우리의 평가기는 각 진술이 다른 보고서에 의해 뒷받침되는지 검사하고, 근거 없는 주장과 누락을 포착하기 위해 양방향으로 이러한 판정을 결합한다. 단일 질문 구성은 전문가 오류 수를 기준으로 RadEvalX에서 Kendall 상관 0.573, RadEvalExpert에서 0.398에 이르며, 동일한 분해 및 집계 조건에서 공개 자연어 추론(NLI) judge를 능가한다. 진술당 support 질문 하나는 판정 입력 토큰을 43–45% 적게 사용하면서도 일곱 개 질문과 유사한 전문가 일치를 유지한다. 문서화된 API 가격 기준으로, 로컬 분해를 제외하면 판정 비용은 보고서 쌍 100개당 3센트 미만이다. 별도의 통제 오류 테스트에서 Jev는 AUROC 0.977로 false negation을 탐지한다. 로컬 RadMatch는 두 전문가 데이터셋 모두에서 임상적으로 중요한 오류에 대해, 공유 RadEvalExpert 부분집합에서는 전체 오류에 대해 더 강한 일치를 달성한다. 소견 수 및 오류 범위 분석은 벤치마크 일치가 의료 오류 탐지뿐 아니라 보고서 크기와 오류 정의에도 반영됨을 보여 준다. 이러한 결과는 생성된 방사선학 보고서의 사실적 차이를 측정하는 실용적인 판정 구성요소로서 Jev를 뒷받침하며, 더 정교한 평가가 여전히 가치 있는 지점을 밝힌다.
ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
VectraYX-Vision-1B: 구조화된 시각적 추론과 네이티브 도구 사용을 갖춘 2B 미만 스페인어/LATAM 사이버보안 비전-언어 모델
VectraYX-Vision-1B: A Sub-2B Spanish/LATAM Cybersecurity Vision-Language Model with Structured Visual Reasoning and Native Tool Use
우리는 동결된 SigLIP-so400m 인코더를 2층 MLP 프로젝터로 10.4억 매개변수 디코더에 결합한 2B 미만 스페인어/LATAM 사이버보안 비전-언어 모델 VectraYX-Vision-1B를 구축하고, 진단적 부정 결과를 보고한다. 시각적 그라운딩이 실패했다는 것이 아니라, 왜 그랬는지를 밝힌다. 다섯 가지 조용한 미세조정 결함을 수정한 뒤, 셔플된 이미지 대조를 포함한 9개 필드 추출 게이트에서의 그라운딩은 인코더를 그대로 두는 모든 구성에서 불변인 2/9이며, 이를 바꾸는 유일한 2×2 타일링은 필드 하나를 잃고 새로 얻는 것은 없다. 해상도는 작동 변수가 아니다. 거의 완벽하게 읽히는 필드가 코퍼스에서 가장 높은 엔트로피를 갖는다. 동결 SigLIP 특징에 대한 선형 프로브는 글리프별 복구 가능성 p~0.61을 주며, 관측 0.00 대비 1.9%를 예측한다. 타일링은 두 필드에서 복구 가능성을 거의 두 배로 늘리지만, end-to-end 모델은 더 나빠진다. 네이티브로 학습된 시각 타워를 동일한 동결 디코더와 레시피에 이식하면, 아무것도 복구하지 못한 타일링 조건보다 더 거친 토큰 예산에서 주소 필드를 0.00에서 0.81 exact로 끌어올린다. 해상도가 아니라 사전학습 체제가 손실이 얼마나 멀리 미치는지를 정한다. 이후 별도로 학습된 체크포인트는 하나의 긍정 결과를 추가한다. B8(34개 필드, 16개 템플릿, 2,040개 항목, 이중 셔플-이미지/최적 상수 대조)에서 9개 필드가 통과하여, 학습된 템플릿-필드 조합 내에서만 진정한 그라운딩이 있음을 확인한다. 가장 날카로운 새 발견은, 잘 학습된 템플릿 안에서 학습되지 않은 필드는 이미지와 무관하게 거의 일정한 오답을 반환한다는 것이다. 즉 자유 텍스트 읽기가 아니라 랜드마크 키 조회이다. B6/B7 도구 식별은 이 체크포인트를 포함한 모든 체크포인트에서 0.0을 유지한다. 더 강한 모델이 숨길 수 있는 세 가지 하네스 결함을 발견한 뒤 이전 0.08 tool-id 점수를 철회한다. 코드, 세 벤치마크 전부, 설정, B8 코퍼스를 포함한 모든 학습 체크포인트를 공개한다.
베트남 노동법 교차 언어 법률 QA: 검색, 번역, 검증기 기반 교정
Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction
교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.
수술 전 다중 모달 데이터를 이용한 정밀·포괄적 뇌종양 진단을 위한 비전-언어 파운데이션 모델
A Vision-Language Foundation Model for Precise and Comprehensive Brain Tumor Diagnosis from Preoperative Multimodal Data
BrainVLM을 개발하여 세계보건기구(WHO) 2021 분류의 12가지 뇌종양 유형을 모두 분류한다. BrainVLM은 예측 신뢰도를 나타내기 위한 불확실성 정량화(uncertainty quantification) 전략과 임상적 근거를 설명하기 위한 방사선학 보고서 생성 모듈을 통합한다. BrainVLM은 40,043명으로부터 수집한 다중 모달 데이터(MRI 스캔, 인구통계학적 정보, 방사선학 보고서)로 학습되었다. 병리학적으로 확인된 뇌종양 환자 5,211명에서 검증하였으며, 여기에는 주요 병원의 hold-out 환자 3,877명과 11개 독립 병원의 환자 1,334명이 포함된다. 또한 AI-임상의 워크플로에서의 임상적 유용성을 검증하기 위해 두 가지 개념 증명(proof-of-concept) 연구를 수행하였다. 1) 경험 수준이 다양한 12명의 신경방사선과 의사가 248건의 후향적 사례를 AI 지원 유무에 따라 해석한 맹검 다독자(multireader) 연구, 2) 수술 전 1,009명의 환자를 BrainVLM과 방사선과 의사가 각각 독립적이고 맹검적으로 평가한 실세계 전향적 연구이다. 추가로 632명의 다기관 코호트를 이용하여 성인형 diffuse glioma의 수술 전 분자 아형(subgroup) 예측에서 BrainVLM의 유용성을 입증하였다. 주요 평가에서 BrainVLM은 macro-AUC 0.85(95% CI: 0.84-0.86)와 F1 점수 0.82(95% CI: 0.81-0.83)를 달성하여 신경방사선과 의사(F1 = 0.80(95% CI: 0.79-0.81))를 능가하였다. 11개 센터에 걸친 외부 검증에서 BrainVLM은 AUC = 0.80(95% CI: 0.79-0.82) 및 F1 = 0.75(95% CI: 0.73-0.78)를 달성하였고, 신경방사선과 의사는 F1 = 0.71(95% CI: 0.69-0.73)이었다. 전향적 실세계 평가에서 BrainVLM은 신경방사선과 의사와 유사한 수준의 성능을 유지하였다.
정책 제약 LLM 의료 이의 생성을 위한 에이전트 거버넌스 및 적대적 검증
Agentic Governance and Adversarial Verification for Policy-Constrained LLM Healthcare Appeal Generation
청구 거절 관리는 미국 의료에서 연간 약 2,600억 달러의 행정 부담 비용을 발생시킨다. 대규모 언어 모델(LLM)과 검색-증강 생성(RAG)은 유창한 임상 텍스트를 생성할 수 있지만, 단일 에이전트 아키텍처는 고위험 의료 환경에서 실패한다: 근거 없는 임상 세부사항을 도입하고 계층적 지불자(payer) 정책의 논리 구조를 잃는다. 우리는 명시적 정책 및 증거 제약 하에서 의료 필요성(medical-necessity) 이의 생성을 위한 다중 에이전트 아키텍처인 AGVF(Agentic Governance and Adversarial Verification Framework)를 제안한다. AGVF는 이의 합성을 다섯 에이전트—정책 형식화, 증거 검색, 격차 분석, 적대적 비평, 게이트된 합성—에 걸친 제약 마르코프 결정 과정(CMDP)으로 모델링한다. 고정된 정책 제약 그래프에 대한 정제(refinement)가 증거 결핍을 단조적으로 감소시키며, 완전한 만족 프론티어 또는 국소화된 증거 격차 중 하나로 종료됨을 증명한다. 결정론적 인용 그라운딩(citation-grounding) 게이트는 허용 가능한 증거 없이 단정이 공유 상태에 들어가는 것을 방지한다. 우리는 참조 구현을 제공하고, 비식별화된 공개 병원 퇴원 데이터에서 매개변수화한 1,000건의 합성 이의 사례에서 이를 검증한다. 검증 결과 모든 AGVF 사례에서 인용 그라운딩 위반이 0건임을 확인했고, 모든 에피소드에서 결핍의 단조 감소가 관찰되었다; 게이트를 제거(ablation)하면 위반이 100%로 증가하여 게이트가 핵심(load-bearing) 구성요소임을 확인했다. 본 연구는 실제 환자 기록을 사용하지 않으며 임상 효능을 측정하지 않는다. 따라서 AGVF는 의료 분야 정책 제약 LLM 생성을 위한 이론 기반 에이전트 아키텍처와 검증된 참조 구현을 기여한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.