PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21559v1cs.CL

Rubric-as-Experts: 번역 품질 평가를 위한 사례 특화 MQM 루브릭

Rubric-as-Experts: Case-Specific MQM Rubrics for Translation Quality Evaluation

대규모 언어 모델(LLM)은 세밀한 번역 품질 평가(QE)에서 강한 잠재력을 보여 주었지만, 기존 MQM 기반 접근법은 일반적으로 모든 번역 샘플에 공통으로 적용되는 고정 루브릭 구성에 의존한다. 그러나 번역 사례는 오류 복잡성, 모호성, 필요한 평가 세분성에서 종종 크게 달라지므로, 정적 루브릭 할당은 span 수준 오류 탐지에 최적이 아니다. MQM 하위 유형 공간이 클수록 오류 커버리지는 향상되지만 거짓 양성도 더 많이 발생하고, 서로 다른 번역 사례는 서로 다른 루브릭 세분성을 선호한다는 것을 발견했으며, 이는 평가 공간을 각 사례에 대해 동적으로 할당해야 함을 시사한다. 이러한 관찰에 기반하여, 우리는 개별 번역 사례에 대해 MQM 평가 공간을 적응적으로 구성하는 사례 특화 동적 루브릭 프레임워크를 제안한다. 완전 자유 형식 루브릭 생성 방법과 달리, 우리 프레임워크는 사전 정의된 MQM 분류체계에 그라운딩을 유지하면서 사례에 따라 적합한 하위 유형 공간과 평가 세분성을 동적으로 선택한다. 여러 모델 규모에 걸친 WMT span 수준 QE 벤치마크 실험은 제안 프레임워크가 MCC를 일관되게 향상하고 정적 루브릭 설정에 비해 더 깨끗한 span 수준 오류 지역화를 생성함을 보여준다. 결과는 구조화된 MQM 루브릭과 사례 특화 적응형 할당을 결합하는 것이 세밀한 LLM 기반 번역 평가에 효과적인 전략임을 시사한다.