같은 점수, 다른 결정: 법률 문서 이해를 위한 JEV와 언어 모델 평가
Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding
계약 추론은 하나의 공유 문서에 대한 여러 판단을 필요로 하지만, 집계 정확도는 개별 결정의 변화를 가릴 수 있다. 반복된 일치만으로도 충분하지 않으며, 모델이 지속적으로 잘못된 답을 반환할 수 있다. 본 논문에서는 ContractNLI에서 Jev와 아홉 개의 언어 모델을 비교하며, 추론 비용, 응답 시간, 평균 정확도, 반복 요청 조건에서의 정확도를 평가한다. 통제된 비교에서는 계약과 목표 판단을 고정한 채 가설 가시성, 요청된 출력, 출력 순서를 달리한다. 평가된 구성 중 Jev는 최저 비용과 중간값 응답 시간을 보이는 반면, 호스팅된 언어 모델은 더 높은 기준선 정확도를 달성한다. 기준선 정확도에 따른 순위는 모든 조건과 반복에서 정확도에 따른 순위와 다르며, 후자에서의 작은 차이가 일반적인 안정성 우위를 입증하지는 않는다. 개발 진단은 상쇄하는 수정과 퇴행뿐 아니라 지속적인 오류도 추가로 드러낸다. 이러한 결과는 요청 구성이 바뀔 때 개별 판단이 여전히 올바른지와 함께 비용과 응답 시간을 평가할 필요를 제기한다. Code: https://github.com/ZF-Utokyo/Jev-Benchmark