일치가 증거를 과장한다: LLM 판사 합의에서의 오류 의존성
Agreement Overstates Evidence: Error Dependence in LLM Judge Consensus
대규모 언어 모델(LLM) 판사 간의 합의는 종종 결정이 올바르다는 강력한 증거로 받아들여집니다. 이는 판사들이 독립적으로 오류를 범한다고 가정합니다. 실제로 LLM 판사들은 종종 유사한 방식으로 학습(training)되고 평가(evaluation)되므로 동일한 실수를 저지를 수 있습니다. 본 연구에서는 이러한 의존성이 합의의 신뢰성에 어떤 영향을 미치는지 살펴봅니다. 연구 결과, 오픈 가중치(open-weight) 판사와 프론티어(frontier) LLM 판사 모두에서 상당한 오류 상관관계가 있음을 발견했습니다. 10명의 판사로 구성된 주요 그룹에서 판사 오류 간의 평균 쌍별 상관관계는 0.21이었습니다. 그 결과, 10명의 판사는 약 3.5명의 독립적인 판사에 해당하는 통계적 정보만을 제공합니다. 이러한 의존성은 서로 다른 제공업체의 판사를 포함하여 본 연구에서 평가한 높은 정확도의 프론티어 판사들 사이에서 훨씬 더 강하게 나타납니다. 비교의 최대 28%에서 공유된 오류를 무시하면 한 시스템이 유의미하게 더 낫다는 결론에 이르는 반면, 이를 고려하면 그렇지 않았습니다. 또한 오류의 패턴이 중요하다는 점도 확인했습니다. 대부분의 판사가 공유하는 오류와 더 작은 집단에 집중된 오류는 합의에 서로 다른 영향을 미치며 서로 다른 투표 방식을 선호하게 만듭니다. 따라서 전반적인 상관관계의 양만 측정하는 것으로는 불충분합니다. 본 연구 결과는 간단한 접근법을 제안합니다. 신뢰할 수 있는 소규모 예제 집합을 사용하여 판사의 정확도를 추정하고 공유된 실수를 식별하는 것입니다. 그런 다음 결과를 분석할 때 이러한 공유된 오류를 고려해야 하며, 투표 방식은 새로운 데이터에 적용하기 전에 신뢰할 수 있는 예제를 사용하여 선택되어야 합니다.