인식되나 생성되지 않음: 문화적으로 특수한 친족 호칭에 대한 생성 벤치마크
Recognized but Not Produced: A Generation Benchmark for Culturally Specific Kinship Terms
기존 문헌은 다지선다 벤치마크를 사용해 대규모 언어 모델(LLM)의 다언어 친족 이해를 평가하며, 이를 인식 문제로 다룬다. 우리는 대신 두 가지 의사소통 과제에 걸쳐 세 가지 비서구 언어(힌디어, 타밀어, 한국어)에서 친족 호칭을 생성하도록 다섯 개의 오픈 가중치 LLM에 프롬프트를 주고, 이를 일치하는 선택지 지원 선택 기준선과 짝지었다. 동일한 관계-언어 셀에서 GPT OSS120B는 75개의 유효 셀 중 90.67%에서 올바른 용어를 선택하지만, 해당 시도의 36.00%에서만 수용 가능한 용어를 생성한다; Llama 3.370B도 같은 패턴을 보인다(77.92% 대 24.24%). 4지선다 조건은 후보 용어를 제시하며 문자 생성을 요구하지 않으므로, 이 차이는 어휘 지식이 온전함을 직접 증명하기보다는 평가 형식 간극으로 해석된다. 명시적으로 지정된 L3 프롬프트에서 정확도는 GLM-5.1의 72.29%부터 Llama-3.370B의 24.24%까지 크게 달라진다. 부계 혈통 우위는 언어별로 다르며, 힌디어에서는 크지만 한국어에서는 약하거나 역전되고, 타밀어의 공유 용어 쌍은 측정 변동에 대한 통제를 제공한다. 이 결과는 관계가 명시적으로 진술된 경우에도 문화적으로 특수한 친족 호칭 생성이 여전히 어렵다는 것을 보여 주며, 다지선다 검사와 병행한 생성 기반 평가의 필요성을 제기한다.