BioDivergence: 생물의학 초록의 숨겨진 문맥적 모순을 위한 벤치마크 및 평가 프레임워크
BioDivergence: A Benchmark and Evaluation Framework for Hidden Contextual Contradictions in Biomedical Abstracts
생물의학적 연구 결과는 연구 간에 충돌하는 것처럼 보이는 경우가 많지만, 많은 차이점은 진정한 모순이라기보다는 문맥 의존적입니다. 코호트, 지리적 위치, 어세이 프로토콜, 질병 아형, 임상 환경의 차이는 두 주장 모두 각 문맥에서 타당하게 만들 수 있습니다. 기존 자연어 추론(NLI) 및 과학적 주장 검증 벤치마크는 이러한 사례를 함의(entailment), 모순(contradiction), 또는 중립(neutral)으로 단순화하여, 차이 이면의 문맥적 구조를 포착하지 못합니다. 이를 해결하기 위해 우리는 6개 클래스 갈등 분류 체계(taxonomy), 13개 축 차이 온톨로지(ontology), 그리고 주장 쌍당 4가지 구조화된 출력(갈등 유형, 차이 축, 주요 교란 변수(confounder), 조정 설명)을 갖춘 평가 프레임워크인 BioDivergence를 소개합니다. 우리는 5개 생물의학 도메인에 걸친 11,865개 주장 쌍으로 구성된 논문 분리(article-disjoint) 실버 벤치마크인 BioDivergence-Silver-v1.0을 비교를 위한 기존 중복 제거 변형(variant)과 함께 공개합니다. 결과는 두 변형 간에 현저한 순위 차이를 보여주며, 파인튜닝된 참조 모델은 논문 분리(article-disjoint) 설정에서 약 12포인트 하락한 반면, Mistral-7B-Instruct-v0.3은 842개 예제의 기본 테스트 세트에서 0.5523 정확도와 0.3894 문맥-F1(contextual-F1)을 달성했습니다. BioDivergence는 문맥적 차이와 직접 모순을 구별하고, 논문 수준의 암기와 진정한 과제 학습을 분리하는 더 충실한 방법을 제공합니다.