LLM-as-a-Judge는 에이전틱 시나리오에서 루브릭을 신뢰성 있게 검증할 수 있는가?
Can LLM-as-a-Judge Reliably Verify Rubrics in Agentic Scenarios?
루브릭 기반 점수 평가는 모델 평가에서 널리 사용되는 패러다임으로 자리잡았으며, 일반적으로 루브릭 점수 산정에 LLM-as-a-judge(LaaJ)를 활용한다. 그러나 루브릭 점수 산정에서 LaaJ의 신뢰성은 아직 충분히 연구되지 않았다. 이 문제는 특히 에이전틱(agentic) 시나리오에서 두드러지는데, 길고 복잡한 출력이 신뢰성 있는 점수 산정을 더욱 어렵게 만들기 때문이다. 이를 해결하기 위해, 우리는 루브릭 검증에서 LaaJ 신뢰성에 대한 체계적인 메타 평가를 수행한다. 우리는 에이전틱 시나리오에서 루브릭 검증에 관한 LaaJ 신뢰성을 평가하는 최초의 벤치마크인 RuVerBench를 소개한다. RuVerBench는 심층 리서치(deep research)와 에이전틱 코딩(agentic coding)이라는 두 가지 주요 에이전틱 도메인을 포함하며, 모델이 생성한 출력물, 루브릭, 그리고 해당 출력물이 루브릭을 충족하는지를 나타내는 사람이 주석을 단 레이블로 구성된 2,458개의 인스턴스를 담고 있다. RuVerBench를 활용하여 다수의 최신 대규모 언어 모델(LLM)을 평가한 결과, 가장 발전된 모델들도 높은 성능을 달성하지만 여전히 상당한 노이즈를 보임을 확인하였다. 또한 프롬프트 설계, 일괄 처리(batching), 다수결 투표(majority voting)를 포함한 주요 LaaJ 전략이 루브릭 검증에 미치는 영향을 분석한다. 분석 결과, 성능이 낮은 모델일수록 프롬프트 변형에 더 민감하고, 일괄 검증은 정확도와 효율성 사이의 상충 관계를 보이며, 다수결 투표는 효과적이지만 수익 체감(diminishing returns) 현상을 나타냄을 발견하였다. 향후 연구를 촉진하기 위해 데이터셋과 코드를 공개하였다: https://github.com/THU-KEG/RuVerBench.