정보 이득을 통한 다회차 대화에서의 의미적 진전 측정
Measuring Semantic Progress in Multi-turn Dialogue via Information Gain
다회차 대화(multi-turn dialogue)의 평가는 품질이 개별 응답 내가 아닌 턴(turn) 전반에 걸쳐 드러나기 때문에 어려운 과제입니다. 본 연구는 정보 탐색 대화의 핵심 차원인 의미적 진전(semantic progress)에 초점을 맞춥니다. 의미적 진전은 대화 과정에서 새롭고, 질문 관련성이 있으며, 중복되지 않는 정보의 축적으로 정의됩니다. 우리는 의미적 진전을 질문 조건부 불확실성 감소(question-conditioned uncertainty reduction)로 형식화하고, 임베딩(embedding) 공간에서 이를 근사하는 정보 이론적 지표를 소개합니다. 우리의 주요 추정기는 폐쇄형 업데이트(closed-form updates)를 갖는 다루기 용이한 가우시안 공식화를 사용하며, 보완적인 최대 엔트로피(maximum-entropy) 논증은 2차 임베딩 정보만 유지될 때 로그-행렬식(log-determinant) 구조가 더 광범위하게 발생하는 이유를 보여줍니다. 이 공식화는 단조성(monotonicity), 턴 전반의 총 정보 이득의 가법적 분해(additive decomposition), 그리고 중복 증거에 대한 수확 체감(diminishing returns)을 포함한 바람직한 이론적 성질을 가집니다. LLM-as-a-judge 접근 방식과 달리, 본 지표는 평가 시점에 자기회귀 추론(autoregressive inference)을 필요로 하지 않으며, 고정된 임베딩 모델에 대해 완전히 재현 가능합니다. MT-Bench, Chatbot Arena, UltraFeedback에 대한 실험 결과, 제안된 지표는 의미적 진전만을 목표로 함에도 불구하고 인간 판단과 경쟁력 있는 일치도를 달성함을 보여주며, MT-Bench와 UltraFeedback에서 여러 LLM 기반 판사들과 비교하여 개선된 정렬(alignment)을 보였습니다. 특히, 이 방법은 CPU만으로 실행되는 환경에서 경량 임베딩 모델을 사용해서도 효과적이며, 이는 거대 모델의 용량에 의존하지 않고도 의미적 진전을 포착할 수 있음을 나타냅니다.