"anymore"나 "ever"와 같은 부정극어(NPI)는 부정 표현의 맥락 등 주로 제한된 특정 환경에서만 문법적입니다. 이러한 문법성은 구문론(syntax)과 의미론(semantics) 모두에 의존하므로 이론 언어학에서는 풍부한 다국어 연구가 이루어져 왔으나, 언어 모델에서의 NPI 관련 연구는 거의 전적으로 영어에만 국한되어 있습니다. 본 논문에서는 Universal Dependencies(UD) 트리뱅크에서 NPI를 발견하고, 인가 환경(licensing environment)에 레이블을 지정하며, 이를 변형하여 최소 대립쌍(minimal pair)으로 생성하는 파이프라인을 구축하여 33개 언어, 12,000개 이상의 NPI 최소 대립쌍으로 구성된 다국어 평가 스위트인 BLiMPPI를 소개합니다. n-gram 베이스라인과 함께 12개의 다국어 모델 및 2개의 단일어 모델을 평가한 결과, 다국어 모델은 저자원 언어와 n-gram으로 해결할 수 없는 대립쌍에서 가장 큰 어려움을 겪는 것으로 나타났습니다. 아울러 NPI 유형론, 어족, 인가 다양성, 그리고 NPI와 인가어(licenser) 간 거리의 영향을 추가로 분석합니다. 데이터: https://github.com/arzuburcuguven/blimppi-data
현재 비전-언어 모델(VLM)의 다국어 평가는 언어와 표기법 사이의 일대일 매핑을 가정하여, 수십억 명의 다중 문자 언어 사용자를 간과하고 있습니다. 우리는 펀자브어의 세 가지 활성 문자인 구르무키(Gurmukhi), 샤무키(Shahmukhi), 로마자(Roman)에 걸쳐 1,000개의 엄격하게 병렬된 이미지-텍스트 인스턴스로 구성된 벤치마크인 PuMVR(Punjabi Multimodal Visual Reasoning)를 소개합니다. 최첨단 VLM 10개를 평가한 결과, 상당하고 체계적인 문자 격차(Script Gap)가 드러났습니다. 모델은 한 문자 체계에서는 시각적 작업을 자주 해결하면서도 동일한 작업을 다른 문자 체계에서는 실패하며, 정확도 차이는 16%에 달합니다. 중요한 점은 시각적 입력이 절대 성능을 균일하게 향상시키지만 표기법 격차를 해소하지는 못한다는 것입니다. 또한, 문자 간 문맥 내 학습(in-context) 전이는 매우 취약하여, 문자에 종속된 지식 표현을 드러냅니다. 모든 문자 쌍에 대한 맥네마 검정(McNemar test)으로 뒷받침되는 우리의 연구 결과는 현재의 "다국어" VLM이 진정한 다중 문자 모델이 아님을 보여줍니다. 우리는 벤치마크에서 최대 24.8%까지 떨어지는 문자 일관성율(SCR)을 제안하며, 이를 공정한 AI 접근을 보장하기 위한 문자 독립적 평가의 필수 지표로 삼아야 한다고 제안합니다. 데이터와 코드는 다음에서 확인할 수 있습니다: https://github.com/prabhjotschugh/Not-Truly-Multilingual-PuMVR.
다국어 추론 평가는 압도적으로 영어 벤치마크를 번역하는 방식에 의존하며, 이 관행은 언어적 인공물을 도입하고 문화적으로 근거 있는(culturally-grounded) 추론을 검증하지 못한다. 본 연구는 ADAGE(Analogical Difficulty-by-design Assessment for Grounded Evaluation)를 제안하는데, 이는 원어민 큐레이션과 LLM 보조 생성을 결합하여 추상적 유추적 추론을 위한 어려운 번역 없는 벤치마크를 구축하는 언어 무관 파이프라인이다. ADAGE를 아랍어, 암하라어, 일본어 벤치마크 구축으로 검증했으며, 14개 오픈 가중치(open-weight) 모델을 평가한 결과 일관된 문화적 추론 격차가 나타났다. 영어 속담 추론에서 우수한 성능을 보인 모델들도 세 가지 원어 벤치마크에서는 모두 크게 어려움을 겪었으며, 영어 대비 정확도가 12–52 percentage points 하락했다. 파이프라인, 세 벤치마크, 전체 평가 스위트를 공개한다.
포르투갈어 텍스트 임베딩에는 전용 벤치마크가 존재하지 않는다. 현재 평가는 영어 MS MARCO를 번역한 코퍼스나 단편적인 다국어 커버리지에 의존하며, 자국어 태스크는 분산되어 있고 통합되지 않은 상태다. 우리는 MTEB-PT를 소개한다. 이는 7개 카테고리(분류, 다중 레이블 분류, 쌍 분류, 의미적 텍스트 유사도, 클러스터링, 검색, 리랭킹)에 걸쳐 22개의 브라질 포르투갈어 네이티브 태스크로 구성된 벤치마크로, 포르투갈어로 작성되거나 수집된 데이터만을 허용하며 번역 데이터는 설계상 제외된다. 우리는 2,300만에서 270억 파라미터 규모의 93개 모델을 평가했다: 오픈 가중치 모델 73개와 상용 폐쇄형 API 20개. 리더보드와 함께 모든 주요 비교에 대한 통계적 분석 층을 제공한다: 태스크별 부트스트랩 신뢰구간, 쌍별 부트스트랩 유의성 검정, 문항반응이론(Item Response Theory)을 응용한 태스크·인스턴스 수준의 판별력 분석(각 태스크가 모델을 얼마나 명확하게 구분하는지), 그리고 리더보드 간 상관관계 분석. 세 가지 주요 발견이 눈에 띈다. 벤치마크는 약 12개 수준의 모델 티어를 명확히 구분하지만, 상위 6개 모델은 통계적으로 순위를 정하기 어려울 만큼 근접해 있다. 공개 라이선스를 가진 자체 호스팅 가능한 모델이 최상위 티어에 도달함으로써, 우수한 포르투갈어 임베딩 품질을 위해 상용 API가 필수적이지 않음을 보여준다. 또한 전 세계 다국어 리더보드에서의 모델 순위는 포르투갈어 순위를 중간 수준으로만 예측한다(공유 모델 55개에 대한 스피어만 상관계수 rho = 0.75; 한 모델은 다국어 리더보드에서 3위이지만 본 벤치마크에서는 49위), 따라서 네이티브 벤치마크는 다국어 리더보드가 측정하지 못하는 것을 측정한다. 우리는 모든 태스크, 코드, 그리고 공개 리더보드를 공개하여 실무자들이 네이티브 근거를 바탕으로 포르투갈어 임베딩 모델을 선택할 수 있도록 한다.
Agent-as-a-Judge(AAAJ) 프레임워크의 평가 언어를 영어, 아랍어, 터키어, 중국어, 힌디어 5개 언어로 다국어 로컬라이징하여 6개 판정 모델(judge backbone)과 3개 개발자-에이전트 프레임워크 조합으로 총 4,950회 실험한 결과, GPT-4o는 영어(44.72%)에서 최고 성능을 보이는 반면 Gemini는 아랍어(51.72%)와 힌디어(53.22%)에서 우위를 보이는 등 언어에 따라 모델 순위가 역전됨을 발견했다. 또한 벤치마크 내용뿐 아니라 판정 측 지시문의 언어 로컬라이징이 평가 안정성에 결정적 영향을 미침을 ablation 실험으로 확인하여, 에이전트 벤치마크에서 평가 언어를 명시적 변수로 다뤄야 함을 시사한다.
21개 논란 발명·발견에 대해 11개 LLM과 12개 언어, 75,896개 응답을 분석한 결과, 질의 언어가 어떤 주장자가 제시되는지 체계적으로 바꾸며 해당 언어와 연관된 저위 claimants가 더 자주 등장하고 지배적 영어권 인물은 언어와 무관하게 유지된다. 저자들은 이를 언어가 국가적 역사 버전을 활성화하는 스위치처럼 작용하는 분산 문화 기억으로 해석하고, 계산적 형태의 일상적 민족주의(banal nationalism)의 증거로 본다.
LLM-as-a-judge의 위치·장황함·순서 불일치·다국어 성능 저하 같은 체계적 바이어스를 인간 선호 라벨 없이 측정하는 오픈소스 벤치마크 BabelJudge를 제안하며, 고품질 참조 응답에 통제된 교란을 적용하는 저하 기반 골드 라벨링으로 정답 쌍을 구성한다. Qwen2.5-7B-Instruct-4bit 평가에서 복합 바이어스 페널티 신뢰성 점수는 힌디어 0.714에서 스와힐리어 0.550으로 급락하고, 스와힐리어의 순서 일관성은 0.480까지 무너져 원시 정확도만으로는 드러나지 않는 심사 실패가 확인되었다.
비전-언어-행동 모델(Vision-Language-Action models, VLA)은 언어 조건 로봇 조작(language-conditioned robotic manipulation)에서 강력한 성능을 보여주었으나, 언어적 변화에 대한 강건성(robustness)은 아직 잘 이해되지 않았습니다. 본 연구에서는 LIBERO 벤치마크를 10개 언어로 번역하여 VLA 모델에 대한 최초의 체계적인 다국어 평가를 수행하였으며, 이를 통해 비영어 지시(non-English instructions) 하에서 성공률이 30-50% 감소하는 등 심각한 성능 저하가 발생함을 확인했습니다. 작업 수행에 대한 정밀한 분석을 통해 언어 영향력이 단계별로 매우 불균형하다는 사실을 발견했습니다. 즉, 특정 단계는 강한 언어 의존성을 보이며 전체 작업 실패의 주원인이 되는 반면, 다른 단계들은 대부분 언어 무관(language-agnostic)한 특성을 보입니다. 이러한 통찰을 바탕으로, 단계별 언어 민감도에 따라 표현(representations)을 정렬하는 단계별 추론 시점 개입(step-wise inference-time intervention) 방법을 제안하여, 언어적 변화 하에서의 성능을 크게 향상시켰습니다. 우리의 결과는 VLA 모델의 언어 강건성이 근본적으로 단계별 제어 문제임을 시사하며, 신뢰할 수 있는 임베디드 에이전트(embodied agents)를 위해서는 시간적으로 구조화된 분석의 중요성을 강조합니다.
대규모 언어 모델(LLM)은 여러 언어에서 문화 기반 질문에 답하는 데 점점 더 많이 사용되고 있지만, 현지 문화 지식에 더 잘 접근하기 위해서는 영어가 좋은지 현지 언어가 좋은지는 여전히 불분명합니다. 기존 평가는 두 가지 주요 한계에 직면해 있습니다. 많은 평가가 문화적 지식이 자연스럽게 나타나는 방식을 반영하지 못할 수 있는 병렬 템플릿 기반 질문에 의존하며, 원시 정확도는 일반적인 언어 능력과 언어 조건 지식 접근을 혼동합니다. 우리는 지역 벤치마크와 현지 소스에서 수집한 실제 문화 질문을 기반으로 구축된 통제된 프레임워크를 통해 이러한 문제를 해결합니다. 질문 유형(문화 중립적 vs 문화 특정적)과 질의 언어(영어 vs 현지 언어)를 교차 배치하고, 공유된 1PL 문항 반응 이론 모델로 능력을 추정하여 언어 능력과 현지화된 지식 접근을 분리합니다. 13개 지역과 약 80개 모델에 걸쳐, 우리는 문화 중립적 질문에서 일관된 영어 우위를 발견했으며, 이는 더 강력한 영어 능력을 나타냅니다. 그러나 이 능력 격차를 보정한 후, 현지 언어는 거의 모든 지역-모델 설정에서 긍정적인 지식 접근 이점을 보여줍니다. 이 이점은 원시 정확도에서는 종종 가려지지만, 최첨단 모델, 지역 정렬 모델 또는 언어 적응 모델에서는 더 명확하게 드러납니다. 우리의 결과는 낮은 현지 언어 성능이 반드시 낮은 문화적 지식을 의미하는 것은 아니라는 점을 시사합니다. 오히려 현지 문화 지식은 현지 언어를 통해 더 잘 접근할 수 있지만 제한된 언어 능력에 의해 가려져 있을 수 있습니다.
다국어 및 다문화 벤치마크는 이제 수십 개의 언어와 모델 패밀리를 포괄하지만, 결과적인 점수 지형은 여전히 지표는 풍부하고 통찰은 부족하여 세밀한 다국어 사후 평가 진단이 필요합니다. 그러나 단일 대규모 언어 모델(LLM)과 개방형 에이전트는 길고 노이즈가 많은 진단 입력에 쉽게 압도되며, 이를 위한 재사용 가능한 분류 체계(taxonomy)가 존재하지 않습니다. 이를 해결하기 위해 우리는 사후 평가 분석을 기획, 집계 분석, 인스턴스 수준 사례 검사, 다국어 및 문화적 성찰, 근거 기반 보고서 종합으로 분해하는 다국어 에이전트 진단 엔진인 MADE를 제안합니다. MADE는 전문가 주도의 54개 질의 및 15개 언어 진단 세트와 함께 제공되며, 대규모 다국어 평가 기반(33개 모델 패밀리, 11개 벤치마크, 26개 언어, 34개 문화, 866만 개 평가 기록) 위에서 평가되었습니다. 실험 결과, MADE는 진단 보고서 품질 면에서 가장 강력한 공유 기준선(baseline)보다 47% 더 우수하며, 쌍대 비교의 87.9%에서 인간 다국어 전문가가 선호하는 것으로 나타났습니다. 다국어 전문가와 함께 적용된 MADE는 배포, 반복(iteration), 문화 간 위험 요소에 대한 네 가지 실행 가능한 발견을 추가로 제시하여, 벤치마크 점수표를 모델(model) 선택 및 개선 지침으로 전환합니다.