PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10918v1cs.CL

기계 번역 품질 어노테이션을 위한 대규모 언어 모델: 인간과 모델 모두가 겪는 어려움

Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged

대규모 언어 모델(LLM)은 기계 번역(MT) 평가에서 인간의 판단을 대체할 수 있는 더 효율적이고 비용 효과적인 대안으로 여겨진다. 기계 번역 평가는 매우 많은 언어 쌍, 도메인, 어노테이션 세분화 수준에 걸쳐 이루어지므로, LLM이 인간 평가의 신뢰할 수 있는 대안으로 사용되기 전에 이러한 차원들에 대해 철저히 평가되어야 한다. 본 논문에서는 두 가지 주요 기계 번역 품질 평가 체계인 다차원 품질 지표(Multidimensional Quality Metrics, MQM)와 오류 구간 어노테이션(Error Span Annotation, ESA)에 대해 LLM의 성능을 인간 어노테이터와의 일치도를 비교하여 평가한다. 우리는 70개 언어 쌍으로 구성된 롱 컨텍스트(long-context) 테스트 셋과 공개적으로 이용 가능한 WMT23 및 WMT25 데이터에 대한 결과를 제시하며, 다양한 언어 쌍과 도메인에 걸쳐 점수 및 오류 구간 어노테이션 일치도를 모두 조사한다. 우리의 결과는 일부 평가 과제에서 LLM과 인간 어노테이터 간의 일치도가 인간 어노테이터 간의 일치도를 초과하지만, 두 일치도 모두 어노테이션 체계, 언어 쌍, 도메인에 따라 크게 달라지며 대부분의 설정에서 여전히 신뢰할 수 없음을 보여준다. 더 나아가 우리는 인간과 LLM 어노테이터가 모두 직면하는 과제를 확인하였다: 인간은 특히 세분화된 MQM 어노테이션과 저자원(low-resource) 언어 쌍에서 어려움을 겪는 반면, LLM은 미세한 오류, 잘못된 언어 변이형, 오류 구간 어노테이션에서 어려움을 겪는다. 우리의 결과는 인간과 LLM 어노테이션 성능 모두에 개선의 가능성이 있음을 강조하며, 이는 본 연구에서 확인된 신뢰성 문제를 해결하는 인간-LLM 협업 어노테이션 파이프라인을 통해 가능할 수 있다.

arXiv:2606.21559v1cs.CL

Rubric-as-Experts: 번역 품질 평가를 위한 사례 특화 MQM 루브릭

Rubric-as-Experts: Case-Specific MQM Rubrics for Translation Quality Evaluation

대규모 언어 모델(LLM)은 세밀한 번역 품질 평가(QE)에서 강한 잠재력을 보여 주었지만, 기존 MQM 기반 접근법은 일반적으로 모든 번역 샘플에 공통으로 적용되는 고정 루브릭 구성에 의존한다. 그러나 번역 사례는 오류 복잡성, 모호성, 필요한 평가 세분성에서 종종 크게 달라지므로, 정적 루브릭 할당은 span 수준 오류 탐지에 최적이 아니다. MQM 하위 유형 공간이 클수록 오류 커버리지는 향상되지만 거짓 양성도 더 많이 발생하고, 서로 다른 번역 사례는 서로 다른 루브릭 세분성을 선호한다는 것을 발견했으며, 이는 평가 공간을 각 사례에 대해 동적으로 할당해야 함을 시사한다. 이러한 관찰에 기반하여, 우리는 개별 번역 사례에 대해 MQM 평가 공간을 적응적으로 구성하는 사례 특화 동적 루브릭 프레임워크를 제안한다. 완전 자유 형식 루브릭 생성 방법과 달리, 우리 프레임워크는 사전 정의된 MQM 분류체계에 그라운딩을 유지하면서 사례에 따라 적합한 하위 유형 공간과 평가 세분성을 동적으로 선택한다. 여러 모델 규모에 걸친 WMT span 수준 QE 벤치마크 실험은 제안 프레임워크가 MCC를 일관되게 향상하고 정적 루브릭 설정에 비해 더 깨끗한 span 수준 오류 지역화를 생성함을 보여준다. 결과는 구조화된 MQM 루브릭과 사례 특화 적응형 할당을 결합하는 것이 세밀한 LLM 기반 번역 평가에 효과적인 전략임을 시사한다.