Legal Research Bench: 장기 법률 리서치 에이전트의 엔드투엔드 신뢰성 측정
Legal Research Bench: Measuring End-to-End Reliability in Long-Horizon Legal Research Agents
법률 리서치는 법률 업무에서 핵심적이면서도 많은 시간이 소요되는 워크플로입니다. 변호사는 구속력 있는 판례 및 법령(controlling authority)을 식별하고, 해당 법률이 여전히 유효한지 검증하며, 법령과 판례를 조화롭게 해석하고, 근거 기반(grounded)의 답변을 종합해야 합니다. 언어 모델(language model) 에이전트(agent)는 이러한 검색 집약적 워크플로에 자연스럽게 부합하며, 일부라도 자동화할 수 있다면 큰 가치를 지닙니다. 그러나 이러한 가치는 신뢰성에 좌우됩니다. 권위 있는 법적 근거가 하나라도 누락되거나, 오래되어 효력이 다한 인용(stale citation), 혹은 잘못된 법적 결론이 포함되면 그 외에는 그럴듯해 보이는 답변이라도 사용할 수 없게 됩니다. 본 연구에서는 전문가가 작성한 413개의 주관식 미국 법률 리서치 질문과 각각에 대한 모범 답안(gold answer), 뒷받침하는 법적 근거, 이진 채점 루브릭으로 구성된 벤치마크인 \textbf{Legal Research Bench}(LRB)를 소개합니다. 웹 검색, 판례 검색, 페이지 파싱 및 검색 도구를 갖춘 하네스 환경에서 13개의 프론티어 모델을 평가합니다. 모든 필수 기준이 충족되고 인용된 법적 근거가 검증된 경우에만 정답으로 처리하는 출처 검증 기반의 올패스(all-pass) 채점을 통해 에이전트의 응답을 평가합니다. 또한 LLM 판사를 전문 변호사와 대조 검증하여 벤치마크 점수가 변호사의 판단과 일치하도록 보장합니다. 평가 결과, 에이전트는 여전히 신뢰성과 거리가 멀었습니다. 테스트한 모델 중 가장 성능이 뛰어난 Claude Opus 4.8조차 질문의 42.9\%에서만 완전한 정답을 기록했습니다. 또한 성능은 과제 환경에 따라 크게 달라집니다. 올패스 비율은 법률 분야마다 상이하며, 상충하는 법적 근거의 조정을 요구하는 질문에서 더 낮았습니다. 모든 모델에 걸쳐 턴 수, 도구 호출 수, 추론(inference) 비용의 증가가 더 높은 정확도를 담보하지는 않았습니다.