ChLogic: 중국어 표현에서의 논리적 추론 강건성 평가
ChLogic: Evaluating Robustness of Logical Reasoning in Chinese Expressions
대규모 언어 모델(LLM)은 표준화된 논리적 추론 벤치마크에서 점차 더 좋은 성능을 보이지만, 영어 이외의 언어에서도 이 능력이 강건하게 유지되는지는 불분명합니다. 우리는 동일한 잠재적 논리 구조가 영어와 다양한 중국어 표면 실현(surface realizations)으로 표현될 때 모델이 논리적 추론 성능을 유지하는지 테스트하는 영어-중국어 정렬 벤치마크인 ChLogic을 소개합니다. 형식적 논리 템플릿으로 구축된 이 벤치마크는 세 가지 데이터셋을 포함합니다: (i) 9개의 템플릿 패밀리에 걸친 60개의 일반 명제(General Propositions)에서 파생된 General aligned set, (ii) 40개의 난제(Difficult Problems)에서 파생된 Difficult aligned set, (iii) 15개의 언어 특정 현상 유형을 다루는 Chinese-only set. 각 정렬된 항목은 하나의 영어 참조 표현과 다섯 개의 중국어 실현을 쌍으로 구성합니다. Qwen3, Ministral, GLM 모델에 대한 실험 결과, 지속적인 영어-중국어 성능 격차가 드러났습니다. 표준 중국어에서 영어로의 역번역(back-translation)은 General aligned set에서 성능을 향상시키는 경우가 많지만, Difficult aligned set에서는 혼재된 결과를 보이며, 여기서 Qwen3-32B와 GLM-5.1은 번역 후 성능이 저하되었습니다. 이러한 결과는 중국어 표면 실현, 번역 아티팩트(artifacts), 그리고 모델 특정 행동이 다국어 논리적 추론에 공동으로 영향을 미침을 시사합니다. 전반적으로, ChLogic은 다국어 추론의 강건성에 대한 유용한 스트레스 테스트를 제공합니다.