IITP at MEDIQA 2019: Systems Report for Natural Language Inference, Question Entailment and Question Answering
원문 초록
This paper presents the experiments accomplished as a part of our participation in the MEDIQA challenge, an (Abacha et al., 2019) shared task. We participated in all the three tasks defined in this particular shared task. The tasks are viz. i. Natural Language Inference (NLI) ii. Recognizing Question Entailment(RQE) and their application in medical Question Answering (QA). We submitted runs using multiple deep learning based systems (runs) for each of these three tasks. We submitted five system results in each of the NLI and RQE tasks, and four system results for the QA task. The systems yield encouraging results in all three tasks. The highest performance obtained in NLI, RQE and QA tasks are 81.8%, 53.2%, and 71.7%, respectively.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
전자의무기록(EHR) 정보 검색을 위한 지속 갱신형 벤치마크
A Living Benchmark for Information Retrieval from Electronic Health Records
대규모 언어 모델(LLM) 기반의 임상 어시스턴트가 전자의무기록(EHR) 시스템에 점차 통합되면서, 임상의가 환자 기록에서 정보를 검색하고 종합하는 방식을 변화시키고 있습니다. 이러한 시스템의 안전성과 유용성은 엄격한 평가에 달려 있지만, 기존 벤치마크는 수작업으로 큐레이션되어 업데이트 비용이 많이 들고 기술 발전에 따라 빠르게 구식화됩니다. 본 논문에서는 종단적 EHR 임상 기록으로부터 질의응답 쌍을 자동으로 생성하는 확장 가능한 프레임워크를 제시합니다. 19명의 임상의가 벤치마크 생성기를 검증하여 지속적으로 유지 관리할 수 있는 평가 데이터셋인 BRIE(Benchmark for Retrieving Information in EHRs)를 구축했습니다. 9개의 LLM과 5개의 추론(inference) 전략에 걸친 평가 결과, 최신 시스템들은 특히 여러 문서와 진료 기록 전반에 걸친 종합이 필요한 질문에서 임상적으로 중요한 정보를 빈번하게 누락하는 것으로 나타났습니다. 생성기 자체가 검증되었기 때문에, BRIE는 정적 벤치마크가 지원할 수 없는 평가를 가능하게 합니다. 여기에는 강건한 성능 평가를 위해 임상의의 추론 변동성을 반영하는 다중 답변 생성과, 데이터 유출(leakage)을 방지하기 위한 벤치마크 콘텐츠의 지속적인 갱신이 포함됩니다. 본 연구 결과는 확장 가능한 벤치마크 생성을 통해 빠르게 진화하는 의료 환경에 배포되는 임상 LLM에 대한 엄격하고 최신화된 평가가 가능함을 입증합니다.
의학 분야에서의 Jev: 벤치마크 평가
Jev in Medicine: A Benchmark Evaluation
Jev는 미리 정의된 답변 선택지에 확률을 부여하며 해당 선택지 외에는 답변할 수 없는 비생성형(non-generative) '시스템 1(System One)' 모델입니다. 의학 질의응답 및 사례 기반 진단 추론 과제에서 이 모델의 정확도와 캘리브레이션(calibration)은 아직 알려지지 않았습니다. 본 연구에서는 MetaMedQA, PubMedQA, DiagnosisArena-MCQ, 그리고 NEJM Case Challenges 등 네 가지 의학 벤치마크에서 Jev 1.13을 평가했습니다. (중간 수준의) 추론 기능이 적용된 경우와 적용되지 않은 GPT-6 Sol을 기준 모델로 삼았습니다. 1차 평가 지표는 Top-1 정확도였으며, 주요 2차 평가 지표는 캘리브레이션, 선택적 예측(selective prediction), 답변 불가능한 질문의 인식이었습니다. 총 8,469건의 모든 요청에서 유효한 답변이 반환되었습니다. Jev의 정확도는 PubMedQA에서는 중간 수준 추론을 사용한 GPT-6 Sol과 유사했으나(78.4% 대 78.2%), MetaMedQA에서는 더 낮았고(74.8% 대 82.7%), DiagnosisArena-MCQ(59.8% 대 82.4%)와 NEJM 사례(61.8% 대 82.4%)에서는 훨씬 낮았습니다. MetaMedQA에서 Jev의 확률값은 가장 잘 캘리브레이션되었으며(기대 캘리브레이션 오차 0.063 대 0.146), 확률이 0.9 이상인 답변(전체 질문의 52.9%)의 정확도는 93.4%였으나, GPT-6 Sol 역시 비슷한 비율의 질문을 수용했을 때 동등한 수준의 정확도를 보였습니다. DiagnosisArena-MCQ에서 Jev의 확률값은 판별 능력이 떨어졌습니다(AUROC 0.645 대 0.768). 정답이 '모르거나 답변할 수 없음'인 162개 질문 중 Jev는 10.5%에서 해당 선택지를 선택했습니다(GPT-6 Sol은 8.6%). 중앙값 지연 시간은 0.27~0.31초였으며, 2,823개 전체 항목의 비용은 0.08달러였습니다. Jev는 빠르고 저렴하며, 연구 논문 초록에 대해서는 프론티어 대규모 언어 모델(LLM)과 유사한 정확도를 보였으나 시험 문제에서는 더 낮았고 복잡한 진단 사례에서는 훨씬 낮았습니다. 임상에 적용하기 전에는 과제별 검증이 필수적입니다.
베트남 노동법 교차 언어 법률 QA: 검색, 번역, 검증기 기반 교정
Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction
교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.
Jev는 방사선학 보고서를 판정할 수 있는가? 임상 사실성 평가를 위한 System One 모델
Can Jev Judge Radiology Reports? Evaluating a System One Model for Clinical Factuality
AI가 생성한 방사선학 보고서는 이상 소견을 누락하거나, 근거 없는 소견을 추가하거나, 그 존재 여부를 뒤집는 등의 문제가 있으면서도 의사가 작성한 보고서와 유사해 보일 수 있다. 이러한 사실적 차이를 측정하는 것은 보고서 생성기를 평가하는 데 필수적이다. 우리는 의사가 작성한 참조 보고서와의 일치를 판정하는 단순하고 저비용의 judge로서 System One 의사결정 모델 Jev를 연구한다. 우리의 평가기는 각 진술이 다른 보고서에 의해 뒷받침되는지 검사하고, 근거 없는 주장과 누락을 포착하기 위해 양방향으로 이러한 판정을 결합한다. 단일 질문 구성은 전문가 오류 수를 기준으로 RadEvalX에서 Kendall 상관 0.573, RadEvalExpert에서 0.398에 이르며, 동일한 분해 및 집계 조건에서 공개 자연어 추론(NLI) judge를 능가한다. 진술당 support 질문 하나는 판정 입력 토큰을 43–45% 적게 사용하면서도 일곱 개 질문과 유사한 전문가 일치를 유지한다. 문서화된 API 가격 기준으로, 로컬 분해를 제외하면 판정 비용은 보고서 쌍 100개당 3센트 미만이다. 별도의 통제 오류 테스트에서 Jev는 AUROC 0.977로 false negation을 탐지한다. 로컬 RadMatch는 두 전문가 데이터셋 모두에서 임상적으로 중요한 오류에 대해, 공유 RadEvalExpert 부분집합에서는 전체 오류에 대해 더 강한 일치를 달성한다. 소견 수 및 오류 범위 분석은 벤치마크 일치가 의료 오류 탐지뿐 아니라 보고서 크기와 오류 정의에도 반영됨을 보여 준다. 이러한 결과는 생성된 방사선학 보고서의 사실적 차이를 측정하는 실용적인 판정 구성요소로서 Jev를 뒷받침하며, 더 정교한 평가가 여전히 가치 있는 지점을 밝힌다.
대규모 언어 모델의 논리적 일관성을 위한 통제된 재표현 테스트
Controlled Reformulation Testing for Logical Consistency in Large Language Models
대규모 언어 모델(LLM)은 논리적으로 동등한 질문의 표면 형태가 바뀔 때 자주 스스로 모순된다. 우리는 논리적 불변성(logical invariance)을 평가하기 위해 Controlled Reformulation Testing(CRTBench)용 350개 질문 패밀리(총 1,750개 질문) 벤치마크를 제시한다. 이 벤치마크에서 우리는 역명제 재작성(contrapositive rewriting), 이중 부정(double negation), 부정 전환(negation flipping), 수동태(passive voice) 등 통제된 재표현에 걸쳐 일관된 답변을 유지하는 LLM의 능력을 조사한다. 여러 최신 LLM을 평가한 결과 정확도-일관성 격차를 관찰했는데, GPT-5.4-mini는 기본 정확도 $98.9\%$를 달성하지만 패밀리 수준 일관성은 $60.3\%$에 그친 반면, 추론 최적화 o4-mini는 $96.9\%$ 일관성을 달성한다. 실험 결과, GPT-5.4-mini의 경우 역명제 재작성($72.4\%$) 및 이중 부정($84.6\%$)과 같이 논리적으로 비자명한 변환 주변에 실패가 집중되는 반면, 표면 수준의 재구문화는 견고하게 유지된다($94-100\%$). 추론 노력(reasoning effort)을 늘리면 GPT-5.4-mini의 일관성이 $85.4\%$로 향상되지만, 중첩 부정에서의 이득이 양화사(quantifier) 패밀리에서의 실패로 상쇄되어 GPT-5.4는 전반적으로 변하지 않는다. 이러한 결과는 LLM의 논리적 추론을 평가할 때 정확도만으로는 충분하지 않음을 보여준다.
생의학 챌린지 문제에서 Claude Fable 5의 능력
Capabilities of Claude Fable 5 on Biomedical Challenge Problems
프론티어 언어 모델은 생의학 벤치마크에서 점점 더 많이 평가되고 있지만, 두 가지 문제가 대부분의 공개 평가를 약화시킨다: 기존 벤치마크가 포화 상태에 근접해 있고, 개방형 응답이 다른 언어 모델에 의해 채점된다는 점이다. 우리는 Anthropic의 가장 강력한 공개 모델인 Claude Fable 5를 텍스트 4개, 멀티모달 4개로 구성된 8개의 생의학 벤치마크에서 평가하며, 전 과정에서 고정된 정답 키에 대한 결정론적 채점 방식을 사용한다. Claude 전작 모델 두 개와 GPT-5를 기준선으로 포함한다. 거부(Refusal)는 모든 결과 표에서 별개의 결과 유형으로 추적된다. 이 결정이 본 논문의 핵심 발견을 이끌어낸다. Fable 5는 벤치마크에 따라 질문의 8.0%에서 99.4%를 거부하는데, 이 패턴은 전작 모델과 GPT-5 모두에서는 나타나지 않는다. 거부된 항목을 분모에서 제외하면, Fable 5의 정확도는 이 연구의 모든 벤치마크에서 다른 모든 모델을 능가하거나 동등한 수준을 보인다. 우리는 두 가지 구별 가능한 거부 패턴을 식별한다: 하나는 MedQA와 MedXpertQA MM 전반에 걸쳐 기초과학 및 메커니즘 관련 내용에 집중되며, 각 벤치마크 자체의 카테고리 레이블을 활용한 두 벤치마크에서 독립적으로 확인된다; 다른 하나는 RareBench에서 나타나는 별개의 질환 영역 패턴으로, 선천성 대사 질환 사례는 거의 전면적으로 거부되는 반면 성인 발병 자가면역 사례는 거부되지 않는다. Fable 5의 생의학적 유용성을 제한하는 주된 요인은 실제로 참여했을 때의 능력이 아니라 참여하려는 의지이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.