순서 속의 의미, 의미 속의 순서: 핵심 구문 평가를 위한 의미론적 R-정밀도
Meaning in Order, Order in Meaning: Semantic R-precision for Keyphrase Evaluation
자동 생성된 핵심 구문(keyphrase)의 품질을 평가하는 것은 여전히 복잡한 과제입니다. 기존 지표는 정확한 어휘 일치에 의존하거나 예측 순위를 무시한 채 의미론적 유사도만을 고려하는데, 이 두 가지 모두 인간이 정보성과 관련성을 판단하는 방식과 정렬되지 않습니다. 우리는 의미론적 유사도를 순위 인식 R-정밀도 프레임워크에 통합한 새로운 평가 지표인 의미론적 R-정밀도(SemR-p)를 소개합니다. 인간 중심적 관점에서 설계되었으며 정보 검색(Information Retrieval) 지표에서 영감을 받은 SemR-p는 출력 목록의 상위에 위치하는 의미론적으로 관련 있는 핵심 구문에 더 높은 점수를 부여합니다. 우리는 다양한 모델과 데이터셋(dataset)에 걸쳐 SemR-p의 의미론적 민감도, 순위 인식 능력, 식별력을 평가하기 위해 광범위한 분석을 수행했습니다. 결과에 따르면 SemR-p는 핵심 구문 예측을 평가하는 데 있어 보완적인 관점을 제공하며, 기존의 어휘 및 의미론적 일치 지표와 함께 사용자 중심의 관련성 개념을 더 잘 반영할 수 있음을 시사합니다.