MADE: 세밀한 평가 통찰을 위한 다국어 에이전트 진단 엔진을 통한 점수 산출을 넘어서
MADE: Beyond Scoring via a Multilingual Agentic Diagnosing Engine for Fine-Grained Evaluation Insights
다국어 및 다문화 벤치마크는 이제 수십 개의 언어와 모델 패밀리를 포괄하지만, 결과적인 점수 지형은 여전히 지표는 풍부하고 통찰은 부족하여 세밀한 다국어 사후 평가 진단이 필요합니다. 그러나 단일 대규모 언어 모델(LLM)과 개방형 에이전트는 길고 노이즈가 많은 진단 입력에 쉽게 압도되며, 이를 위한 재사용 가능한 분류 체계(taxonomy)가 존재하지 않습니다. 이를 해결하기 위해 우리는 사후 평가 분석을 기획, 집계 분석, 인스턴스 수준 사례 검사, 다국어 및 문화적 성찰, 근거 기반 보고서 종합으로 분해하는 다국어 에이전트 진단 엔진인 MADE를 제안합니다. MADE는 전문가 주도의 54개 질의 및 15개 언어 진단 세트와 함께 제공되며, 대규모 다국어 평가 기반(33개 모델 패밀리, 11개 벤치마크, 26개 언어, 34개 문화, 866만 개 평가 기록) 위에서 평가되었습니다. 실험 결과, MADE는 진단 보고서 품질 면에서 가장 강력한 공유 기준선(baseline)보다 47% 더 우수하며, 쌍대 비교의 87.9%에서 인간 다국어 전문가가 선호하는 것으로 나타났습니다. 다국어 전문가와 함께 적용된 MADE는 배포, 반복(iteration), 문화 간 위험 요소에 대한 네 가지 실행 가능한 발견을 추가로 제시하여, 벤치마크 점수표를 모델(model) 선택 및 개선 지침으로 전환합니다.