언어적 다양성과 음성 인지의 다차원성으로 TTS(텍스트 음성 변환) 평가 분산이 커지는 문제에 대응하기 위해, 언어적 제어와 지각 기반 주석을 결합한 다차원 쌍대 비교 평가 프레임워크를 제안한다. 인도 10개 언어 5천 문장 이상과 1,900명 이상의 원어민 평가자로 7개 TTS 시스템에 12만 건 이상의 비교를 수집하고 Bradley-Terry 모델링으로 다국어 리더보드를 구성한 결과, Gemini 2.5 Pro TTS가 1위, Indic F5가 최하위로 평가되었다.
대규모 언어 모델(LLM)은 대규모 인간 평가가 비용이 많이 들고 확장하기 어렵기 때문에 개방형 생성(open-ended generation)의 판사로 점점 더 많이 사용되고 있으나, 이들의 선호도는 여전히 인간의 판단을 대리하기에는 불완전합니다. 기존 감사 파이프라인은 종종 인간 주석, 휴리스틱 필터링, 또는 강력한 판사의 출력에서 얻은 것과 같이 신뢰할 수 있는 예제의 부분 집합이나 깨끗한 지도 신호가 미리 사용 가능하다고 가정합니다. LLM 평가에서 이 가정은 취약합니다. 초기 분할은 판사의 바이어스(bias)를 상속받을 수 있으며, 인간 검증은 일반적으로 대규모로 안정적인 그룹을 정의하기에 너무 희소합니다. 우리는 선택된 인간 검증 하에서 쌍대 LLM-as-a-judge 결정을 감사하기 위한 적응형 불확실성 인식 정제 프레임워크인 AURA를 제안합니다. AURA는 인간 일치 신호를 반복적으로 학습하고, 신뢰할 수 있는 증거를 전파하며, 인간 검토를 위해 불확실한 비교를 우선시합니다. 핵심 아이디어는 판사에 대한 신뢰를 증거가 축적됨에 따라 점진적으로 정제되는 잠재 양으로 처리하는 것입니다. 우리는 간결한 공식화, 안정적인 정제 절차, 그리고 합성 및 실제 쌍대 LLM 답변 데이터 모두에 대한 포괄적인 평가를 제공합니다.
대규모 언어 모델(LLM) 평가는 모델의 능력을 이해하고, 경쟁하는 시스템을 비교하며, 실제 환경에서 신뢰할 수 있는 모델의 배포를 지원하는 데 중요하다. 개방형(open-ended) 작업에서는, 동일한 프롬프트에 대한 두 응답을 비교하고 그 결과적 판정을 전체 순위로 집계하는 쌍별(pairwise) 평가가 인기 있는 패러다임이 되었다. 이 패러다임의 핵심 과제는 비가환성(intransitivity)이다. 유도된 비교 결과가 어떠한 일관된 전역 순위(global ranking)를 뒷받침하지 못할 수 있다. 예를 들어, $A \succ B \succ C \succ A$와 같은 순환적 선호, 또는 $A \equiv B\equiv C\neq A$와 같이 동률(tie)이 포함된 불일치가 관찰될 수 있다. 이러한 모순은 결과적인 리더보드의 불안정성과 해석의 어려움을 초래한다. 본 논문에서는 쌍별 LLM 평가의 일관성을 향상시키기 위한 프롬프트 섭동(prompt perturbation) 프레임워크를 제안한다. 우리의 접근법은 각 프롬프트의 섭동 변형을 생성하고, 이로부터 얻은 비교 그래프를 이용해 구조적으로 일관되지 않은 비교 패턴을 식별·필터링한 뒤, 필터링된 비교에 표준 순위 산출(ranking) 방법을 적용한다. 제안 프레임워크의 주요 특징은, 순위 집계 전에 그래프 수준의 구조적 일관성(structural consistency)이 평가 파이프라인에 명시적으로 통합된다는 점이다. 이는 순환적 불일치를 줄이고 LLM 순위의 신뢰성을 향상시키는 간단하고 원칙적인 방법을 제공한다.