문장 수준에서의 법해석 기준 분류: 독일 연방헌법재판소 판결 기반 벤치마크
Classifying Interpretive Canons at the Sentence Level: A Benchmark from the German Federal Constitutional Court
사법적 추론은 대규모 언어 모델(LLM)이 분석하기에 여전히 까다로운 영역입니다. 본 논문은 사비니(Savigny)의 전통에 입각해 라렌츠(Larenz)가 체계화한 법해석 기준(interpretive canons)을 분류하는 LLM의 능력을 평가하기 위한 문장 수준의 벤치마크를 제시합니다. 본 연구의 기여는 세 가지입니다. 첫째, 이러한 법해석 개념을 분류(classification) 기준으로 구체화하여 작동 가능하게 만들었습니다. 둘째, 문장 수준에서 주석이 달린 독일 연방헌법재판소 결정 데이터셋(dataset)을 제공합니다. 셋째, 유전-파레토(Genetic-Pareto, GEPA)로 최적화된 프롬프트와 비교하여, 전문가가 직접 작성한 프롬프트 환경에서 3개 모델 계열의 4개 LLM에 대한 기준선(baseline) 평가를 보고합니다. 7개의 이진 하위 과제에 대한 평균 F1 점수는 모델(model) 전반에서 70.4에서 79.2 사이에 분포하며, 문법적 해석이 대체로 식별하기 가장 쉬운 기준인 반면 체계적 해석은 일반적으로 가장 어려웠습니다. 테스트된 구성에서는 GEPA로 최적화된 프롬프트가 직접 작성된 프롬프트를 일관되게 능가하지 못했으며, 이는 전문가 프롬프트가 유의미한 기준선을 제공함을 시사합니다.