PyTorchKR Papers

최신 논문

총 19편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27758v1cs.CL

Hard Negatives Reveal What Easy Negatives Hide: Cross-Lingual Harmfulness Representations Degrade with Resource Tier Under Hard Negatives

대규모 언어 모델(LLM)의 안전성 정렬(alignment)은 주로 영어로 학습되며, 최근 연구는 번역 후에도 기저의 유해성 표현이 유지된다고 보고한다. 영어로 학습된 프로브(probe)는 저자원 언어에서도 영어와 거의 동일하게 유해한 프롬프트와 무해한 프롬프트를 구분한다. 이는 다국어 거부(refusal) 실패가 표현 품질보다는 보정(calibration) 문제를 주로 반영한다는 증거로 해석되어 왔다. 우리는 이 결론이 부정 예(negative) 선택에 의존함을 보인다. 세 자원 등급에 걸친 아홉 개 언어에서, 무해한 프롬프트가 무관한 분포에서 온 경우(쉬운 부정 샘플, easy negatives)에는 전이가 거의 완벽함(AUROC > 0.98)을 재현한다. 유해 요청과 표면적으로 유사하지만 실제로는 무해한 XSTest 대조 프롬프트(어려운 부정 샘플, hard negatives)를 사용하면, 저자원 언어에서는 전이가 붕괴하는 반면 고자원 언어에서는 대체로 안정적이다. Qwen2.5-7B-Instruct에서 평균 AUROC 하락은 영어 0.003, 고자원 0.017, 중간 자원 0.042, 저자원 0.276까지 증가한다. 이 패턴은 Aya Expanse에서도 재현된다. 역번역 chrF 통제와 세 언어에 걸친 chrF 매칭 비교는 번역 품질이 효과를 설명할 가능성을 낮춘다. chrF를 통제한 뒤에도 붕괴는 남으며(partial r = 0.70, p = 0.03). 토크나이저 fertility는 붕괴와 상관하며 자원 등급 효과의 일부를 설명하지만 전부는 아니다. 결과는 쉬운 부정 샘플에서의 전이와 어려운 부정 샘플 하의 상당한 퇴화가 공존할 수 있음을 보여준다. 따라서 쉬운 부정 샘플만으로 평가하는 것만으로는 유해성 표현이 번역을 견디는지 확립할 수 없다.

arXiv:2609.27376v1cs.CL

베트남 노동법 교차 언어 법률 QA: 검색, 번역, 검증기 기반 교정

Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction

교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.

arXiv:2609.26097v1cs.CL

하나의 도메인, 다양한 언어: 쌍을 이루는 데이터 없이 도메인 및 언어 LoRA를 결합한 교차 언어 원격 탐사 MLLM

One Domain, Many Tongues: Composing Domain and Language LoRAs for Cross-Lingual Remote-Sensing MLLMs without Paired Data

원격 탐사(RS) 멀티모달 대규모 언어 모델(MLLM)은 영어로만 학습(training) 및 평가(evaluation)되는 반면, 텍스트 전용 인스트럭션 데이터는 100개 이상의 언어를 포괄합니다. 본 논문에서는 다국어 RS 예시가 단 하나도 없이도 영어 RS MLLM에 새로운 언어를 추가하는 방법론인 MODL(Mutually Orthogonal Domain-Language composition)을 제안합니다. 이는 영어 RS 영상으로 학습된 도메인 LoRA와 텍스트만으로 학습된 언어 LoRA를 함께 학습하되, 학습 전반에 걸쳐 모든 층(layer)에서 두 업데이트가 상호 직교하도록 유지하는 단일 손실(loss) 항 하에서 공동 학습됩니다. 이 제약 조건이 해당 방법론의 핵심 요소입니다. 이 제약이 없으면 동일한 학습을 진행하더라도 RS 질문에 정답을 맞히지만 영어로 답하게 되며, 베이스 모델(model)의 다국어 텍스트 능력을 크게 훼손하고 세 번의 시드 중 한 번은 발산합니다. 학습이 필요 없는 병합부터 기존의 직교성 변형 기법에 이르는 16가지 대안들 역시 동일한 방식으로 실패합니다. MODL은 모든 시드에서 이러한 실패를 모두 해결합니다. 최상의 대안이 27%에 도달하고 대부분 8% 미만에 머무는 반면, MODL은 56-71%의 확률로 대상 언어로 올바른 답변을 생성하며, 텍스트 능력은 학습되지 않은 베이스 모델 수준을 유지하고, 스페인어의 경우 다국어-멀티모달 데이터 없이도 Qwen2.5-VL-7B를 능가합니다. 단일 5개 언어 어댑터는 세 가지 시드 전반에서 영어, 스페인어, 베트남어의 성능을 온전히 유지하지만, 비라틴 문자는 여전히 미해결 과제로 남아 있습니다.

arXiv:2607.24276v1cs.CL

토크나이저 세금: 인도 언어를 위한 서브워드 토큰화의 다국어 비용 정량화 및 설명

The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages

대규모 언어 모델(LLM)은 문자나나 단어를 직접 읽기보다 서브워드 토크나이저를 통해 텍스트를 처리한다. 이러한 토크나이저는 주로 영어 중심 코퍼스로 학습되기 때문에, 많은 비영어권 언어에 체계적이면서도 종종 간과되는 불리함을 초래한다. 본 연구에서는 FLORES-200 병렬 코퍼스를 사용하여 인도 언어에 대한 이러한 토크나이저 세금을 정량화하고, 6개의 널리 사용되는 토크나이저와 14개 언어에 걸쳐 토큰화(tokenization) 생성률(fertility)을 측정한다. cl100k_base(GPT-3.5 및 GPT-4에서 사용) 하에서 인도 언어는 영어 대비 평균 8.0배의 토큰화 세금을 겪으며, 말라얄람어에서는 13.0배에 달한다. 이는 동등한 의미 콘텐츠에 대해 영어 사용자에게 제공되는 것의 12%에 불과할 정도로 유효 컨텍스트 윈도우(context window)를 축소시킨다. 이러한 격차의 주요 메커니즘은 바이트-페어 병합(byte-pair merge) 실패로, 텍스트가 단일 바이트 토큰으로 분절되는 현상이며, 병합 실패는 토크나이저 세금과 강한 상관관계를 보인다(Pearson r = 0.89). 또한 이 현상이 인드 스크립트의 고유한 특성이 아니라 토크나이저 설계의 결과임을 보인다. XLM-R 및 OpenAI의 o200k_base와 같은 다국어 토크나이저는 평균 인도 언어 토크나이저 세금을 73% 줄여, 이러한 격차가 대부분 해소 가능함을 입증한다. 토큰 통계를 넘어, 고정된 컨텍스트 예산 하에서 인도 언어 문서가 동등한 영어 문서보다 원본 콘텐츠를 상당히 적게 보존함을 보여 실질적 결과를 정량화한다. 마지막으로 Belebele 벤치마크에서 토큰화 생성률과 독해 성능 간의 관계를 검토한 결과, 겉으로 보이는 상관관계는 토크나이저 동작만이 아니라 언어 자원 가용성에 의해 대부분 설명됨을 발견한다.

arXiv:2607.22923v1cs.CL

단순한 언어 정규화의 승리: TidyVoice 2026 챌린지를 위한 교차 언어 화자 검증

Simple Language Normalization Wins: Cross-Lingual Speaker Verification for the TidyVoice 2026 Challenge

교차 언어 불일치는 현대 화자 검증에서 전체 성능 저하의 주요 원인으로 남아 있다. TidyVoice2026 챌린지는 텍스트 독립적 검증으로 이 설정을 대상으로 하며, 40개 언어에서 3,666명의 학습 및 808명의 개발 화자, 그리고 테스트 시점에 언어 레이블 없이 38개의 미공개 언어에서 2,200명의 평가 화자로 구성된다. VoxBlink2와 VoxCeleb2에서 사전학습(pre-training)되고 TidyVoice에서 파인튜닝(fine-tuning)된 공식 SimAM-ResNet34 기준선에서 출발하여, 우리는 임베딩 공간에서 단순한 언어 정규화 단계로서 Nuisance Attribute Projection(NAP)을 재검토한다. 우리는 교차 언어 동일 화자 차이로부터 compact한 언어 부분공간을 추정하고, Adaptive Symmetric score 정규화(AS-Norm)를 적용한 코사인 점수 산출 전에 임베딩을 그 직교 보공간에 투영한다. 이는 코사인 점수로 2.97%, AS-Norm으로 2.70%였던 개발 EER을 2.18%로 낮추고 Codabench 평가 점수 8.40을 달성하여, 단순한 백엔드 언어 정규화가 더 복잡한 시스템과 견줄 수 있음을 보여준다.

arXiv:2510.07074v2cs.CL

LuxInstruct: 룩sembourgish를 위한 교차 언어 지시 미세조정 데이터셋

LuxInstruct: A Cross-Lingual Instruction Tuning Dataset For Luxembourgish

지시 미세조정은 대규모 언어 모델(LLM)의 성능을 향상시키는 핵심 기법이 되었으며, 모델이 인간의 프롬프트를 더 잘 따르도록 한다. 그러나 룩sembourgish와 같은 저자원 언어는 고품질 지시 데이터셋의 부족으로 인해 심각한 제약에 직면한다. 기계 번역에 전통적으로 의존하는 방식은 종종 의미적 불일치와 문화적 부정확성을 초래한다. 본 연구에서는 룩sembourgish로의 기계 생성 번역에 의존하지 않고, 교차 언어 지시 미세조정 데이터셋을 구축함으로써 이러한 과제를 해결한다. 대신 영어, 프랑스어, 독일어의 정렬된 데이터를 활용하여 언어적·문화적 뉘앙스를 보존하는 고품질 데이터셋을 구축한다. 우리는 교차 언어 지시 미세조정이 언어 간 표현 정렬을 개선할 뿐만 아니라 룩sembourgish에서의 모델 생성 능력도 향상시킨다는 증거를 제시한다. 이는 교차 언어 데이터 큐레이션이 기계 번역 데이터의 흔한 함정을 피하고 저자원 언어 개발에 직접적인 이익을 줄 수 있음을 보여준다.

arXiv:2507.17636v2cs.CL

대규모 언어 모델을 활용한 다국어 부정적 선거 캠페인 측정: 19개국 1,800만 트윗 연구

Measuring Negative Campaigning across Languages with Large Language Models: A Study of 18 Million Tweets in 19 Countries

부정적 선거 캠페인은 선거 경쟁의 본질적 특징이지만, 기존 분류 방법의 높은 비용과 제한된 확장성으로 인해 그 동인에 대한 비교 연구는 여전히 제한적이었다. 본 연구는 두 가지 핵심 기여를 한다. 첫째, 부정적 선거 캠페인의 다국어 분류를 위한 확장 가능한 방법으로서 제로샷 대규모 언어 모델(LLM)을 평가한다. 10개 언어의 벤치마크 데이터셋을 사용하여, LLM 분류가 원어민 인간 주석과 밀접하게 일치하면서 기존의 지도학습 모델보다 우수한 성능을 보임을 보인다. 둘째, 우리가 아는 한 지금까지 최대 규모의 부정적 선거 캠페인에 대한 국가 간 비교 연구를 수행하기 위해 이 접근법을 활용하여, 2017년부터 2022년 사이 19개 유럽 국가의 의원들이 게시한 1,800만 개의 트윗을 분석한다. 전략적 유인 프레임워크에 기반하여, 집권당과 연정 지향 정당은 부정적 선거 캠페인에 대해 더 강한 평판 제약을 받는 반면, 야당과 외곽 정당은 더 약한 제약을 받는다고 주장한다. 또한 이념적 중심에서 멀리 떨어진 정당, 특히 급진 우파 정당이 대립적 수사에 더 크게 의존할 것으로 기대한다. 결과는 이러한 기대를 뒷받침한다: 내각 정당은 덜 부정적이며, 이념적으로 비중심 정당—특히 급진 우파 정당—은 상당히 더 부정적이다. 따라서 본 연구는 캠페인 부정성의 정당 수준 기반에 대한 새로운 비교 증거를 제공하는 동시에, LLM이 언어와 제도적 맥락을 아우르는 정치 담화 연구의 규모, 일관성, 재현 가능성을 어떻게 변혁할 수 있는지를 보여준다.

arXiv:2607.09576v2cs.CL

언어 간 관용 표현을 위한 개념 네트워크: 특징 기반 그래프 접근법

Conceptual Networks for Cross-Linguistic Idiomatic Expressions: A Feature-Based Graph Approach

우리는 유형론적으로 다양한 8개 언어에 걸쳐 관용적·비유적 의미를 표현하기 위한 해석 가능한 네트워크 기반 프레임워크를 제시한다. 총 160개의 관습적 표현을 다루며, 그 대다수는 관용어(idiom)이다. 각 표현은 인지언어학 이론에서 도출된 이진 개념 특징(containment, concealment, emotional, social 등)으로 주석 처리되며, 쌍별 Jaccard 유사도가 가중 그래프를 정의한다. 커뮤니티 탐지 결과, 관용어는 언어가 아닌 개념적 스키마(schema)에 따라 클러스터를 형성하며, 이는 인지언어학적 예측과 일치하는 구조를 산출한다. 개념 네트워크는 분포적 임베딩에 존재하지 않는 고유한 의미 정보를 포착하고, 대규모 언어 모델(LLM)을 활용한 자동 주석으로 확장 가능하며, 하류(downstream) 관용어 탐지 성능을 향상시키고, 말뭉치 빈도로 보강해도 견고성을 유지한다. 언어 간 전이 실험에서는 개념적 근접성만으로도 5개 어족(language family)에 걸쳐 허용 가능한 번역 등가어를 식별할 수 있었으며, 임베딩 기반 기준선 대비 상당한 성능 향상을 달성하였다. 절제 연구(ablation study)를 통해 스키마, 역할, 원자가(valence)라는 세 가지 특징 차원 모두가 네트워크의 구조적 특성과 관용어 탐지 성능에 비중복적으로 기여함을 확인하였으며, 특정 그래프 파생 신호(커뮤니티 소속, 이웃 유사도)가 특히 유용한 정보를 제공함을 밝혔다. 본 프레임워크는 이론적 근거와 실용적 효용을 결합하여 관용적 의미에 대한 해석 가능하고 언어 간 안정적인 표현을 제공한다.

arXiv:2607.02049v1cs.CL

SPLIT: Cross-Lingual Empathy and Cultural Grounding in English and Ukrainian LLM Responses

위기 상황(스트레스, 공황, 고독, 내부 피난, 긴장)에서 대규모 언어 모델(LLM)의 영어-우크라이나어 간 공감 능력과 문화적 그라운딩을 평가하기 위해 500개 프롬프트로 구성된 SPLIT 벤치마크를 제안한다. 평가 결과 Gemini-2.5-Flash와 LLaMA-3.3-70B-Instruct는 우크라이나어 응답 시 성능이 저하된 반면 DeepSeek-V3는 비교적 안정적이었으며, 우크라이나어 텍스트 생성이 우크라이나어 정서 지원과 동일하지 않음을 실증적으로 보였다.

arXiv:2607.00171v1cs.CL

ALEE: Any-Language Evaluation of Embeddings via English-Centric Minimal Pairs

Text embeddings are standard for semantic similarity tasks, yet their evaluation remains an open challenge. Current benchmarks are static, cover only a limited set of languages, are often domain-specific, susceptible to overfitting, and poorly representative of low-resource languages. To address these limitations, we introduce ALEE, a framework that extends Sentence Smith (Li et al., 2025) to the cross-lingual and paragraph level. ALEE uses Abstract Meaning Representations (AMR) to generate English minimal pairs with controlled, fine-grained semantic shifts, which are paired with translations in target languages. This approach enables targeted diagnostics for models in any language with English parallel data. We conduct a large-scale empirical study across a diverse set of embedding models and 275+ languages spanning three parallel datasets. On ALEE, performance varies substantially across languages, text lengths, and linguistic phenomena, exposing persistent gaps in cross-lingual semantic representation that track language prevalence in training resources and subword tokenization. We release ALEE at https://github.com/Andrian0s/any-lang-embed-eval

arXiv:2606.24610v1cs.CL

Same Lesson, Different Story: Cross-Lingual Reconstruction of Cultural Narratives in Large Language Models

15개 언어 414개 속담을 프롬프트로 네 가지 대규모 언어 모델(LLM)이 생성한 약 1.3만 편 내러티브를 분석하는 다국어 평가 프레임워크를 제안한다. 교차언어 프롬프트는 속담 수준의 의미를 대체로 보존하지만 행위자·사회적 위치·서사 구조를 체계적으로 재배치하며, 단일언어·교차언어 모두에서 모델 간 강한 해석 수렴이 관찰되어 의미 유사도만으로는 문화적 보존을 과대평가할 수 있음을 보인다.

arXiv:2606.24579v1cs.CL

Cross-Lingual Exploration for Parametric Knowledge

Parametric knowledge in Large Language Models is not equally accessible across languages. As a result, standard inference techniques often struggle to surface localized facts, leading to failures in cross-lingual knowledge transfer and consistency. In this work, we investigate techniques for accessing hidden factual knowledge by exploring cross-lingual prompting strategies. We identify four inherent dimensions of cross-lingual exploration that directly govern parametric knowledge retrieval and evaluate them on multilingual factual benchmarks covering 17 typologically diverse languages. Our results demonstrate that cross-lingual exploration significantly improves knowledge transfer and factual recall, representing a more efficient compute Pareto frontier than native-language scaling. Furthermore, we observe corresponding improvements in cross-lingual consistency, exceeding what can be explained by accuracy gains alone. Overall, our work establishes multilingual prompt exploration as a highly effective inference-time strategy for unlocking latent parametric knowledge.

arXiv:2606.21718v1cs.CL

LaBSE와 점진적 커리큘럼 학습을 활용한 다문화 극화

Leveraging LaBSE with Progressive Curriculum Learning for Multicultural Polarization

온라인 극화 탐지는 여전히 중요한 과제이며, 특히 집단 간 적대가 만연한 다언어·다문화 맥락에서 더욱 그렇다. 이 문제는 저자원 언어에서 해당 과제를 위한 데이터 부족으로 인해 특히 어렵다. 이러한 현상을 식별하는 것은 활발한 연구 분야가 되었으며, SemEval-2026 Task 9: Multilingual, Multicultural Online Polarization Detection에서 다루어진다. 이 문제를 해결하기 위해 우리는 LaBSE 임베딩을 활용하는 아키텍처를 제안한다. 이는 일반적으로 검색(retrieval) 작업에 쓰이는 비전통적 선택이지만, 강력한 교차 언어 학습을 달성하여 저자원 언어에서 macro F1 점수를 최대 0.2까지 향상시킨다. 또한 검색 기반 프롬프팅(prompting) 프레임워크 내에서 Qwen 모델(model) 패밀리의 다양한 인코더 모델 성능을 평가하는 포괄적인 ablation study를 제공한다. 코드는 https://github.com/carrycurious/PolarMind 에서 곧 공개될 예정이다.

arXiv:2606.21237v1cs.CL

OpenWER: 다국어 ASR 평가 개선 및 토큰 기반 정확도 지표 지원

OpenWER: Improving Cross-Lingual ASR Evaluation and Enabling Token-Based Accuracy Metrics

심층 학습과 end-to-end 자동 음성 인식(ASR)의 발전으로 견고한 다국어 모델이 가능해졌지만, 평가 지표는 정확도를 평가하는 데 여전히 한계가 있다. 공통 지표인 단어 오류율(Word Error Rate, WER)을 개선하거나 대체하려는 노력은 종종 영어에 집중되어, 저자원 언어에 대한 평가는 충분히 탐구되지 않아 공정한 다국어 비교를 방해한다. 우리는 OpenWER을 제안한다. 이는 언어별 정규화(normalisation)와 복합어 탐지를 통해 WER의 견고성을 개선하는 오픈소스 구현이다. 토큰 기반 Levenshtein 정렬은 상보적 지표를 보존하고, 세분화된 정확도 점수를 위한 메타데이터 임베딩을 가능하게 한다. 52개 언어에 대한 분석 결과, 일반적인 라이브러리와 비교해 WER이 최대 25%p 절대 감소했다. OpenWER은 다양한 언어에서 WER의 신뢰성을 높이고 보다 포괄적인 정확도 평가를 가능하게 함으로써 ASR 연구의 공정성에 기여한다.

arXiv:2603.16606v3cs.CL

Omnilingual SONAR: 대규모 다국어 텍스트와 음성을 잇는 교차 언어 및 교차 모달 문장 임베딩

Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech

교차 언어 문장 인코더는 일반적으로 수백 개의 언어만 다루며, 더 강력한 정렬(alignment)을 위해 다운스트림 품질을 희생하는 경우가 많아 그 채택이 제한됩니다. 본 논문에서는 텍스트, 음성, 코드, 수학 표현식을 단일 의미 공간에 기본적으로 임베딩(embedding)하면서, 고자원(high-resource)에서 극저자원(extremely low-resource) 언어에 이르기까지 수천 개 언어 규모에서 최첨단(SOTA) 다운스트림 성능을 제공하는 새로운 전언어(omnilingual), 교차 언어 및 교차 모달 문장 임베딩 모델 계열인 OmniSONAR를 소개합니다. 표현 붕괴(representation collapse) 없이 이 규모에 도달하기 위해 우리는 점진적 학습(progressive training)을 사용합니다. 먼저 대규모 언어 모델(LLM)로 초기화된 인코더-디코더를 사용하여 200개 언어에 대한 강력한 기초 공간을 학습하며, 여기에 토큰 수준 디코딩을 새로운 분할 소프트맥스(split-softmax) 대비 손실(contrastive loss) 및 합성 하드 네거티브(synthetic hard negatives)와 결합했습니다. 이 기초를 바탕으로 2단계 교사-학생 인코더 증류(distillation) 프레임워크를 통해 수천 개의 언어 변종으로 확장했습니다. 마지막으로, 177개의 구어(spoken) 언어를 이 공간에 매끄럽게 매핑함으로써 해당 공간의 교차 모달 확장성을 입증했습니다. OmniSONAR는 200개 언어 FLORES 데이터셋(dataset)에서 교차 언어 유사도 검색 오류를 절반으로 줄였으며, 1,560개 언어 BIBLE 벤치마크(benchmark)에서는 오류를 15분의 1 수준으로 감소시켰습니다. 또한 강력한 번역 성능을 발휘하여 다국어 벤치마크에서 NLLB-3B를 능가했고, 1,560개 언어에서 영어로의 BIBLE 번역에서는 이전 모델(훨씬 더 큰 LLM 포함)보다 15 chrF++ 포인트 더 높은 성과를 보였습니다. OmniSONAR는 MTEB 및 XLCoST에서도 우수한 성능을 보였습니다. 음성(speech) 분야에서 OmniSONAR는 유사도 검색 오류를 43% 감소시켰으며, 번역에 대해 제로샷(zero-shot)임에도 불구하고(ASR 데이터로만 학습됨) SeamlessM4T의 음성-텍스트 품질의 97%에 도달했습니다. 마지막으로, OmniSONAR 임베딩 시퀀스를 처리하는 영어 텍스트에 대해서만 인코더-디코더 LM인 Spectrum을 학습시킴으로써, 복잡한 다운스트림 작업에 대해 수천 개 언어와 음성으로의 고성능 전이(transfer)를 가능하게 했습니다.

arXiv:2606.18453v1cs.CL

언어 간 수학을 위한 대규모 언어 모델(LLM) 매개변수: 공유인가 분리인가?

LLM Parameters for Math Across Languages: Shared or Separate?

다국어 LLM의 언어 간 수학적 추론 성능 차이가 공유 매개변수인지 언어 특정 메커니즘인지 밝히기 위해, 언어별 수학 관련 매개변수를 특정·비교하는 언어 간 메커니즘 분석을 제시한다. 추출된 매개변수는 중간 레이어에서 가장 강한 부분적 언어 간 중첩을 보이고, 영어는 가장 큰 관련 매개변수 집합을, 저자원 언어는 더 작은 집합을 드러내 수학 관련 동작이 완전 공유도 완전 분리도 아님을 시사한다.

arXiv:2606.15345v2cs.CL

단일 언어 딥 리서치를 넘어서: 교차 언어 BrowseComp-Plus를 통한 에이전트 및 리트리버 평가

Beyond Monolingual Deep Research: Evaluating Agents and Retrievers with Cross-Lingual BrowseComp-Plus

기존 브라우징 벤치마크가 쿼리와 증거의 동일 언어를 가정하는 한계를 보완하기 위해, BrowseComp-Plus의 영어 질문-답변 공간을 유지하면서 보조 문서 언어만 바꾼 교차 언어 벤치마크 XBCP(Cross-lingual BrowseComp-Plus)를 제안합니다. 희소·밀집 다국어 리트리버와 4개 딥 리서치 에이전트 평가 결과, 증거가 번역되면 정확도와 증거 재현율이 크게 떨어지고 보정·인용 신뢰도도 약화되며, 정답 증거를 직접 제공해도 정확도가 낮게 유지되어 검색 실패와 언어 불일치 증거 통합의 에이전트 측 어려움이 함께 드러납니다.

arXiv:2510.15551v2cs.CL

통계적 관점에서 언어 간 격차 재고하기

Rethinking Cross-lingual Gaps from a Statistical Viewpoint

LLM의 언어 간 격차(cross-lingual gap)를 편향(biased) 오류와 비편향(unbiased) 오류로 공식화하고, 타겟 언어 응답 분산(variance)이 격차의 주요 원인임을 ECLeKTic·MMLU 등에서 검증합니다. 추론(inference) 시점에 분산을 줄이는 테스트 시점 앙상블(ensemble) 개입으로 소스-타겟 전이 점수를 최대 12포인트까지 끌어올려, 여러 LLM에서 8%에서 50% 이상의 상대적 개선을 보였습니다.

arXiv:2603.06910v2cs.CL

언어가 대규모 언어 모델의 정신 건강 평가에 미치는 영향

Language Shapes Mental Health Evaluations in Large Language Models

GPT-4o와 Qwen3-32B를 사용하여 영어와 중국어 환경에서 대규모 언어 모델(LLM)의 정신 건강 평가를 분석한 결과, 프롬프트 언어에 따라 평가 기준이 체계적으로 달라짐을 확인했다. 중국어 프롬프트는 영어보다 낙인(stigma) 관련 점수가 높게 나타나며 우울증 심각도를 더 보수적으로 판단하여 과소평가 오류를 유발했다.