자연어 생성에서 충실도와 커버리지를 평가하기 위한 기호학 기반 프레임워크
A Semiotics-Aware Framework for Evaluating Fidelity and Coverage in Natural Language Generation
두 텍스트가 동일한 표현을 기술하더라도, 어휘 중복이나 텍스트 전체 유사도에 기반한 표준 지표로는 해당 표현이 어떻게 프레이밍되는지에 관한 의미 있는 차이를 감지하지 못할 수 있다. 본 논문은 텍스트 간의 기호학적 정렬(semiotic alignment)을 평가하는 프레임워크를 제안한다. 여기서 기호학적 프로필(semiotic profile)은 텍스트의 맥락적 의미와 해당 텍스트에서 두드러지게 나타나는 담화적 참조를 모두 포괄한다. 제안하는 접근법은 기호학적 충실도(Semiotic Fidelity)와 기호학적 커버리지(Semiotic Coverage)라는 두 가지 점수를 산출하며, 각각 한 텍스트의 프로필 중 다른 텍스트가 뒷받침하는 비율과, 다른 텍스트의 프로필 중 해당 텍스트가 복원하는 비율을 추정한다. 실험 결과, 커버리지는 일반적으로 충실도보다 낮았으며, LLM과 사람이 큐레이션한 데이터 간의 정렬은 낮은 샘플링 온도에서 가장 높고 온도가 높아질수록 이 정렬이 감소하는 것으로 나타났다.