우리는 자연스러운 대화 맥락에서 실제 또는 합성된 음성 응답의 음성 미학(voice aesthetics)을 설명하는 음성 대규모 언어 모델(speech LLM)인 Conversational Voice Aesthetic Model(CVAM)을 소개한다. 맥락(context)과 응답 음성이 주어지면, CVAM은 해당 음성을 특징짓는 주요 순간들을 설명하고 성별, 음높이(pitch), 속도(pacing), 감정, 전달 방식(delivery)에 걸친 9개의 범주형 속성을 예측한다. 핵심 과제는 감정 및 전달 방식과 같은 지각적 영역에 있는데, 이러한 영역은 본질적으로 주관적이며 명확한 정답(ground truth)이 존재하지 않는다. 이를 위해 우리는 CANDOR 코퍼스에서 파생된 3,000개의 실제 및 합성 응답 각각에 대해 약 10개의 인간 어노테이션을 수집한다. CVAM은 합성된 미학적 설명과 레이블에 대해 지도 파인튜닝(supervised finetuning)된 후, 인간 판단을 바탕으로 Group Relative Policy Optimization을 통해 최적화된다. 실험 결과, CVAM은 Gemini 3.1 Pro 및 오픈소스 음성 LLM보다 인간 청취자와 더 높은 일치도를 보였으며, 단일 인간과 나머지 인간들 간의 일치도(single-human-vs.-rest agreement)보다도 우수한 성능을 나타냈다. 종합적으로, 우리는 음성 미학을 인간의 지각에 그라운딩하는 것의 중요성을 입증하고, 인간 정렬(human alignment)을 위한 체계적인 프레임워크를 제안한다.
사용자 만족도의 정확한 평가는 대화형 AI의 반복적 개발에 있어 매우 중요하다. 그러나 개방형 어시스턴트의 경우, 전통적인 A/B 테스팅은 신뢰할 수 있는 지표가 부족하다: 명시적 피드백은 희소하고, 암묵적 지표는 모호하다. 이러한 간극을 해소하기 위해, 우리는 고충실도 만족도 평가를 위한 확장 가능한 프레임워크인 BoRP(Bootstrapped Regression Probing)를 소개한다. 생성적 접근 방식과 달리, BoRP는 대규모 언어 모델(LLM) 잠재 공간의 기하학적 특성을 활용한다. 이는 루브릭 생성을 자동화하기 위한 편극 지수(polarization-index) 기반 부트스트래핑 메커니즘을 채택하고, 은닉 상태를 연속적 점수로 매핑하기 위해 편최소제곱법(Partial Least Squares, PLS)을 활용한다. 산업용 데이터셋에 대한 실험 결과, BoRP(Qwen3-8B/14B)는 인간 판단과의 정렬 측면에서 생성적 기준선(Qwen3-Max 포함)을 크게 능가하는 것으로 나타났다. 나아가, BoRP는 추론 비용을 수십 배에서 수백 배까지 절감하여, CUPED를 통한 전규모 모니터링과 고민감도 A/B 테스팅을 가능하게 한다.
HAL은 대화형 인간다움(human-likeness)을 정렬 목표로 삼기 어려운 문제를 해결하기 위해, 튜링 테스트 대화 데이터에서 추출한 16가지 대화 특성(HL16Q)을 로지스틱 회귀로 결합한 해석 가능한 스칼라 보상 신호를 설계하고, 이를 DPO 기반 정렬에 활용하는 프레임워크다. Chatbot Arena 방식의 대규모 인간 평가에서 HAL로 정렬된 모델은 다른 벤치마크 성능을 유지하면서도 더 인간답게 인식되는 것으로 나타났다.
대규모 언어 모델(LLM)은 대규모 인간 평가가 비용이 많이 들고 확장하기 어렵기 때문에 개방형 생성(open-ended generation)의 판사로 점점 더 많이 사용되고 있으나, 이들의 선호도는 여전히 인간의 판단을 대리하기에는 불완전합니다. 기존 감사 파이프라인은 종종 인간 주석, 휴리스틱 필터링, 또는 강력한 판사의 출력에서 얻은 것과 같이 신뢰할 수 있는 예제의 부분 집합이나 깨끗한 지도 신호가 미리 사용 가능하다고 가정합니다. LLM 평가에서 이 가정은 취약합니다. 초기 분할은 판사의 바이어스(bias)를 상속받을 수 있으며, 인간 검증은 일반적으로 대규모로 안정적인 그룹을 정의하기에 너무 희소합니다. 우리는 선택된 인간 검증 하에서 쌍대 LLM-as-a-judge 결정을 감사하기 위한 적응형 불확실성 인식 정제 프레임워크인 AURA를 제안합니다. AURA는 인간 일치 신호를 반복적으로 학습하고, 신뢰할 수 있는 증거를 전파하며, 인간 검토를 위해 불확실한 비교를 우선시합니다. 핵심 아이디어는 판사에 대한 신뢰를 증거가 축적됨에 따라 점진적으로 정제되는 잠재 양으로 처리하는 것입니다. 우리는 간결한 공식화, 안정적인 정제 절차, 그리고 합성 및 실제 쌍대 LLM 답변 데이터 모두에 대한 포괄적인 평가를 제공합니다.