PyTorchKR Papers

최신 논문

총 5,206편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.02956v1cs.CV

MORE: 다국어 문서 파싱 벤치마크 및 평가

MORE: A Multilingual Document Parsing Benchmark and Evaluation

다국어 문서에는 풍부한 지역 문화, 과학적 발견, 역사적 기록이 담겨 있다. 이러한 내용을 구조화된 기계 가독 형식으로 파싱하는 것은 전 세계 지식을 활용하는 데 필수적이다. 그러나 기존 벤치마크는 주로 영어와 중국어 같은 고자원(high-resource) 언어에 집중되어 있어, 다른 언어에서의 모델 성능에 관한 평가 사각지대가 존재한다. 최근 비전-언어 모델(VLM)들이 수백 개의 언어 지원을 표방하고 있지만, 정답 데이터(ground truth)의 부재로 인해 이러한 능력을 실증적으로 검증하는 것이 불가능하다. 이러한 간극을 해소하기 위해, 우리는 다국어 문서 파싱 평가를 위해 설계된 대규모 벤치마크인 MORE를 소개한다. MORE는 세 가지 핵심 차원에서 차별화된다: (1) 전례 없는 규모: 149개 언어를 포괄하여 현재까지 가장 언어적으로 다양한 벤치마크이며, (2) 구조적 복잡성: 기존 연구와 달리 평문(plain text)을 넘어 코드 블록, 표, 목차와 같은 구조적 요소까지 평가 범위를 확장하고, (3) 데이터 진정성: 모든 샘플은 모델 보조 후 인간 검수 방식의 어노테이션 파이프라인을 통해 실제 문서에서 수집된다. 우리는 MORE를 사용하여 최신 모델들을 평가하고, 저빈도(long-tail) 언어에 대한 새로운 성능 기준선을 수립하며, 현실적이고 다양한 시나리오에서 모델 능력을 진단하는 벤치마크의 유효성을 검증한다. MORE 데이터셋은 https://github.com/zimoqingfeng/MORE 에서 공개될 예정이다.

arXiv:2607.02381v1cs.CL

HULAT2 at MER-TRANS 2026: Governed Multi-Agent Simplification for Spanish Easy-to-Read Generation

MER-TRANS 2026 공유 과제의 스페인어 트랙에서 HULAT2-UC3M 팀은 LangGraph 기반 다중 에이전트(multi-agent) 워크플로우를 활용해 Gemini 2.5 Flash와 RigoChat-7B-v2를 결합한 Easy-to-Read 텍스트 자동 생성 시스템을 제출했다. Event-Condition-Action 라우팅과 내부 품질 신호 기반의 신호 유도 다중 에이전트 방식(RUN1, SARI 44.05)이 선형 재생성 베이스라인(RUN3, SARI 38.51)을 능가했으며, 어휘 지원 레이어 추가(RUN2)가 참조 기반 점수를 자동으로 개선하지는 않는다는 점도 확인되었다.

arXiv:2607.02369v1cs.CL

World Wide Models: Literary Tools for Cultural AI

대규모 언어 모델(LLM)이 전례 없는 규모로 단일언어 중심의 문화적 매개체 역할을 수행하는 현실을 진단하며, 비교문학·서사론·세계문학·번역 이론 등 문학 연구의 방법론을 AI 문화 리터러시 구축에 적용하는 계층적 프레임워크를 제안한다. 특히 구조적 단일언어주의(structural monolingualism), 텍스트 유통, 번역 불가능성을 축으로 글로벌 AI 텍스트성을 분석하는 세계문학적 접근의 새로운 적용 가능성을 탐색한다.

arXiv:2607.02235v1cs.CL

Challenges and Recommendations for LLMs-as-a-Judge in Multilingual Settings and Low-Resource Languages

LLM-as-a-Judge 패러다임이 다국어 및 저자원 언어 환경으로 확장되는 현황을 파악하기 위해, ACL Anthology의 650편 중 해당 설정에 초점을 맞춘 33편을 심층 분석한 결과, 평가 결과의 불일치, LLM 판단에 대한 과신, 단일 판사 모델 의존이라는 문제가 반복적으로 나타났다. 저자들은 이러한 분석을 바탕으로 자연어 처리(NLP) 커뮤니티가 다국어·저자원 환경에서 LLM-as-a-Judge를 보다 신뢰성 있게 활용하기 위한 구체적인 권고 사항을 제시한다.

arXiv:2607.02049v1cs.CL

SPLIT: Cross-Lingual Empathy and Cultural Grounding in English and Ukrainian LLM Responses

위기 상황(스트레스, 공황, 고독, 내부 피난, 긴장)에서 대규모 언어 모델(LLM)의 영어-우크라이나어 간 공감 능력과 문화적 그라운딩을 평가하기 위해 500개 프롬프트로 구성된 SPLIT 벤치마크를 제안한다. 평가 결과 Gemini-2.5-Flash와 LLaMA-3.3-70B-Instruct는 우크라이나어 응답 시 성능이 저하된 반면 DeepSeek-V3는 비교적 안정적이었으며, 우크라이나어 텍스트 생성이 우크라이나어 정서 지원과 동일하지 않음을 실증적으로 보였다.

arXiv:2607.01960v1cs.CL

NAVER LABS Europe Submission to the Instruction-following 2026 Short Track

IWSLT 2026 인스트럭션 기반 음성 처리 단축 트랙에 대한 NAVER LABS Europe의 제출 시스템으로, ASR 데이터만으로 음성-LLM 임베딩 프로젝터를 학습하는 SpeechMapper와 합성 과학 발표 데이터셋 fakACL을 도입해 다국어 ASR·ST·SQA를 수행한다. 개선된 음성 프로젝션 메커니즘과 도메인 특화 합성 데이터의 결합으로 전년도 최우수 시스템을 능가하면서도 더 경량화된 모델로 올해 단축 트랙 공동 1위를 달성했다.

arXiv:2607.01927v1cs.CL

TUDUM: A Turkish-Thinking Reasoning Pipeline for Qwen3.5-27B

Qwen3.5-27B를 튀르키예어 추론에 특화시키기 위해 최종 답변뿐 아니라 `<think>` 블록 내부의 추론 과정 자체를 튀르키예어로 생성하도록 SFT(15,991개 예시)와 GRPO 계열 강화학습을 순차적으로 적용하는 TÜDÜM 파이프라인을 제안한다. SFT는 추론 언어 일관성을 높였으나 벤치마크 정확도를 저하시켰고, RL이 일부를 회복했지만 Macro-6 평균(78.1)은 베이스 모델(81.7)을 넘지 못해 기술적으로 정직한 평가 결과를 보고한다.

arXiv:2607.01899v1cs.CL

The Grammar Does the Work: Functional vs. Lexical Dependency Length Minimization Across Universal Dependencies

Dependency length minimization (DLM) is a well-documented processing universal, but previous studies report a single mean dependency distance (MDD) per language, obscuring variation across syntactic relation types. We analyze 122 languages in UD and SUD (version 2.17), showing that DLM operates on two distinct levels. Grammar-driven optimization targets functional dependencies (det, case, aux), which are universally short (mean 1.71, $σ$ = 0.33) and invariant across typologically diverse languages. Processing-driven optimization operates on lexical dependencies (nsubj, obj, obl), which are longer (mean 2.87), highly variable ($σ$ = 0.63), and constrained by word-order typology. This asymmetry holds in SUD despite reversed head direction (r = 0.92). We conclude that ''the grammar does the work'' of minimization by scaffolding sentences with local functional attachments, leaving processing pressures to determine the ordering of lexical heads.

arXiv:2607.01581v1cs.CL

Beyond Skepticism: Evaluating LLMs Pedagogical Intent Reasoning with the Adaptive Pedagogical Vigilance Framework

대규모 언어 모델(LLM)이 교육적 소통에서 교수 의도를 추론하는 능력을 평가하기 위해, 베이지안 기반의 교수 의도 추론 엔진(PIIE)을 핵심으로 하는 적응형 교수 경계 프레임워크(Adaptive Pedagogical Vigilance, APV)를 제안한다. GPT-4o, Claude 3.5 등 주요 LLM 실험에서 APV는 교수 콘텐츠와 단순 노출 콘텐츠의 판별력을 크게 향상시키고 인간 판단과 높은 상관관계(r=0.958)를 달성하며 자연적 교육 담화로의 일반화에서도 강건한 성능을 유지했다.

arXiv:2606.15510v2cs.CL

AthDGC: An Open Diachronic Greek Treebank with Indo-European Parallels

AthDGC(Athens-PROIEL)는 고대 아르카익 그리스어부터 현대 그리스어까지 8개 시대를 아우르는 최초의 공개 라이선스 의존 구문 트리뱅크(treebank)로, Stanford Stanza와 LaBSE, multilingual-BERT 기반 AwesomeAlign을 활용해 신약성서를 라틴어·고트어·고대 교회 슬라브어·고전 아르메니아어와 구절 수준으로 교차 정렬한 오픈소스 말뭉치 구축 워크플로우를 제공한다.

arXiv:2311.17633v2cs.CL공식 코드 · Papers with Code

Introduction to Transformers: an NLP Perspective

Transformers have dominated empirical machine learning models of natural language processing. In this paper, we introduce basic concepts of Transformers and present key techniques that form the recent advances of these models. This includes a description of the standard Transformer architecture, a series of model refinements, and common applications. Given that Transformers and related deep learning techniques might be evolving in ways we have never seen, we cannot dive into all the model details or cover all the technical areas. Instead, we focus on just those concepts that are helpful for gaining a good understanding of Transformers and their variants. We also summarize the key ideas that impact this field, thereby yielding some insights into the strengths and limitations of these models.

arXiv:2607.00171v1cs.CL

ALEE: Any-Language Evaluation of Embeddings via English-Centric Minimal Pairs

Text embeddings are standard for semantic similarity tasks, yet their evaluation remains an open challenge. Current benchmarks are static, cover only a limited set of languages, are often domain-specific, susceptible to overfitting, and poorly representative of low-resource languages. To address these limitations, we introduce ALEE, a framework that extends Sentence Smith (Li et al., 2025) to the cross-lingual and paragraph level. ALEE uses Abstract Meaning Representations (AMR) to generate English minimal pairs with controlled, fine-grained semantic shifts, which are paired with translations in target languages. This approach enables targeted diagnostics for models in any language with English parallel data. We conduct a large-scale empirical study across a diverse set of embedding models and 275+ languages spanning three parallel datasets. On ALEE, performance varies substantially across languages, text lengths, and linguistic phenomena, exposing persistent gaps in cross-lingual semantic representation that track language prevalence in training resources and subword tokenization. We release ALEE at https://github.com/Andrian0s/any-lang-embed-eval

arXiv:2606.31087v2cs.CL

리랭킹이 성능을 저하시킬 때: 퓨샷 리랭킹을 위한 불확실성 기반 게이팅

When Reranking Hurts: Uncertainty-Based Gating for Few-Shot Reranking

퓨샷 예시 선택 시 리랭킹이 항상 성능을 향상시킨다는 통념에 반해, 리랭킹이 오히려 성능을 저하시킬 수 있음을 밝히고 모델의 불확실성에 따라 리랭킹 적용 여부를 동적으로 결정하는 Training-Free Gated Reranking을 제안한다. 8개의 LLM과 16개의 NLU/MT 태스크 실험에서 계산 비용을 15%~80% 절감하면서 평균 성능을 최대 2% 향상시켰다.

arXiv:2607.00019v1cs.CY

LLMs in the Real World: Evaluating "AI" in Emergency Contexts

This paper offers a call to action. We urge our colleagues in the research community to play a greater role in the articulation of our findings to the public. To illustrate the stakes we present a case study on the initial stages of an LLM-based machine translation application's deployment in a real-world context: a text-2-911 system advertising capabilities in 55 languages for use in emergencies in which it may be difficult to call operators directly. We identify a number of common misconceptions about technologies such as these, concluding with a set of concrete recommendations and best practices for stakeholders at every stage of the development and deployment pipeline. While the advancement of scientific research often lies in solving the "hard" problems, we argue it is often the "easy" ones -- problems for which the latest technology is often unnecessary -- that are most overlooked.

arXiv:2606.31718v1cs.CL

대규모 언어 모델을 활용한 교차 언어 관계 추출: 루마니아어에 대한 제로샷, 퓨샷 및 미세조정 평가

Cross-lingual Relation Extraction with Large Language Models: Zero-Shot, Few-Shot, and Fine-Tuned Evaluation on Romanian

LLM 기반 번역 파이프라인으로 SemEval-2010 Task 8 벤치마크를 루마니아어로 번역하고, Gemma 4 31B를 제로샷·퓨샷·QLoRA 미세조정 설정으로 평가한 교차 언어 관계 추출(RE) 연구다. QLoRA 미세조정이 매크로 F1-Score를 22pp 이상 향상시키는 반면, 50~250배 작은 인코더 기준 모델들이 QLoRA Gemma에 1~4pp 이내로 근접해, 컴퓨팅 자원이 제한된 환경에서 31B 모델 사용의 실익이 크지 않음을 보인다.

arXiv:2606.30943v1cs.CL

과학적 유산의 가교: 지속 가능한 지식 전달을 위한 아랍어-러시아어 병렬 코퍼스 및 LLM 벤치마크

Bridging Scientific Heritage: An Arabic--Russian Parallel Corpus and LLM Benchmark for Sustainable Knowledge Transfer

아랍어-러시아어 과학 번역의 데이터 부족 문제를 해결하기 위해 약 27,000개의 문장 쌍으로 구성된 병렬 코퍼스와 벤치마크를 구축하고, mT5-base, NLLB-200-distilled-1.3B, Qwen2.5-7B-Instruct 세 모델을 LoRA/QLoRA로 파인튜닝하여 평가하였다. QLoRA(랭크 8)를 적용한 Qwen2.5-7B 모델이 BLEU 23.15, COMET 0.758로 제로샷 대비 최고 성능을 달성하였으며, 퓨샷 프롬프팅은 성능 향상에 기여하지 못해 도메인 특화 파인튜닝의 필요성을 확인하였다.

arXiv:2606.23375v2cs.CL

다국어 형사법 법원에서 대규모 언어 모델의 과도한 정렬 측정 및 완화

Measuring & Mitigating Over-Alignment for LLMs in Multilingual Criminal Law Courts

형사법 재판문 번역·요약에서 가드레일로 인한 거부와 면책 고지(과도한 정렬)가 정당한 법원 업무를 방해하는 문제를, 스위스 대법원 판결 기반 다국어 벤치마크 TF-RefusalBench(5,200개 프롬프트)로 측정하고 모델·언어 조합에 따라 다면적으로 나타남을 보였다. 완화 실험에서는 프롬프트 튜닝이 일부 효과적이었고, abliteration(거부 방향 제거)은 태스크 성능 손실을 거의 없이 거부를 제거하는 것으로 나타났다.

arXiv:2606.29489v1cs.CL

어떤 토큰이 문맥을 필요로 하는가? 다산도와 엔트로피를 활용한 번역 책임의 참조 기반 분석

Which Tokens Need Context? A Reference-Based Analysis of Translation Responsibility Using Fertility and Entropy

인간이 번역할 때, 모든 단어가 주변 문맥에 동일하게 의존하지는 않는다. 대명사나 조동사와 같은 기능어는 앞뒤 문장에 크게 의존하는 반면, 고유명사와 같은 토큰은 그렇지 않다. 이러한 내재적 문맥 민감도를 이해하는 것은 기계 번역 시스템이 인간과 유사한 방식으로 문맥을 활용하는지 평가하는 데 필수적이다. 그러나 기존의 문맥 사용 분석 방법은 담화 특화 테스트셋이나 모델 내부 정보에 의존하여 적용 범위가 좁거나 모델 종속적이다. 본 연구는 단어 정렬에서 도출된 두 가지 측도인 다산도(fertility, 소스 토큰당 생성되는 타깃 토큰 수)와 엔트로피(문맥에 걸친 다산도 패턴의 안정성)를 사용하여 어휘 및 통사 수준에서 문맥 민감도를 정량화하는 사후적(post-hoc), 모델 비의존적(model-agnostic) 프레임워크를 제안한다. 네 가지 문맥 조건 하에서 세 가지 언어 쌍(독일어 $\leftrightarrow$ 영어, 영어 $\rightarrow$ 힌디어)에 대한 참조 번역을 활용하여, 문맥이 전체적인 다산도를 변화시키지 않으면서 소스 토큰에서 문맥 토큰으로 생성 책임을 선택적으로 재분배한다는 것을 보인다. 기능어는 다산도 감소가 가장 크게 나타나는 반면, 내용어는 안정적으로 유지되며, 이는 문맥이 새로운 정보를 추가하기보다는 모호성을 해소함을 시사한다. 본 프레임워크는 인간 번역에서의 선택적 문맥 사용에 대한 실증적 특성화를 제공하여 기계 번역 모델 평가를 위한 진단 기준선을 확립한다.

arXiv:2606.29130v1cs.CL

DistilledGemma: 다국어 역사적 기사에서의 인물-장소 관계 추출을 위한 균형 잡힌 효율성-정확도

DistilledGemma: Balanced Efficiency-Accuracy for Person-Place Relation Extraction from Multilingual Historical Articles

우리는 영어, 독일어, 프랑스어로 된 다국어 역사 신문 기사에서 인물-장소 관계 추출을 다루는 HIPE-2026 공유 태스크를 위한 효율적이고 정확한 시스템인 DistilledGemma를 제안한다. 우리의 접근법은 분류 정확도와 계산 효율성의 균형을 맞추도록 설계된 3단계 지식 증류 파이프라인을 채택한다. 1단계에서는 이 어려운 태스크에 가장 효과적인 추론 아키텍처를 파악하기 위해 여덟 개의 대규모 언어 모델에 걸쳐 프롬프트 엔지니어링 전략을 체계적으로 탐색하였다. 2단계에서는 QLoRA를 통한 지도 미세조정(SFT)을 Gemma 4 26B A4B 교사 모델에 적용하여, 강력한 다국어 능력을 활용해 학습 코퍼스 전반에 걸쳐 실버 스탠더드 사고의 연쇄 추적 데이터를 생성하였다. 최종 단계에서는 학습된 추론 패턴을 소형 Gemma 4 E2B 학생 모델로 전이하기 위해 응답 수준 증류를 수행하였다. 공식 평가에서 우리 팀 WHEREAMI는 표준 테스트 세트에서 정확도 프로파일 평균 점수 0.688로 3위, 이진 테스트 세트에서 평균 점수 0.8156으로 2위를 기록하였다. 특히, 26B 교사 모델에서 2.3B 학생 모델로 지식을 증류함으로써 강력한 추론 능력을 유지하면서 배포된 모델 크기를 약 2.3B 유효 파라미터로 줄였으며, 학습 중에 사용된 LoRA 어댑터는 추론을 위해 학생 모델에 병합되었다. 이 구성은 표준 및 이진 테스트 세트 모두에서 균형 잡힌 효율성-정확도 프로파일 부문에서 2위를 기록하였다. 이 결과들은 지식 증류가 과도한 계산 비용 없이 경쟁력 있는 성능을 달성하면서 역사적 문서 처리를 위한 실용적이고 확장 가능한 솔루션을 제공함을 보여준다.

arXiv:2606.29024v1cs.CL

경험 재생과 모델 수핑을 통한 21개 인도 언어 전반의 IndicTrans2 대화체 도메인 적응

Conversational Domain Adaptation of IndicTrans2 across 21 Indic Languages via Experience Replay and Model Soups

IndicTrans2는 가장 강력한 오픈 소스 영어-인도어 번역 시스템이지만, 대부분의 시스템과 마찬가지로 일반 텍스트로 학습(training)되어 일상적인 대화체 입력에 딱딱하게 들리는 경향이 있다. 우리는 공개 데이터(OpenSubtitles, BPCC-H-Daily, Tatoeba)만을 사용하여 21개 인도 언어 전반에 걸쳐 IndicTrans2-1B를 대화체 레지스터에 적응시킨다. 단순 미세조정(fine-tuning)은 대화체 chrF를 향상시키지만 일반 도메인을 망각한다(힌디어의 경우 FLORES에서 3.9 chrF 하락). 일반 데이터를 학습에 다시 혼합하는 경험 재생(experience replay)과 이후 미세조정된 가중치를 기본 모델(model)과 평균하는 모델 수핑(model souping)은 이 트레이드오프를 제거한다: 결과 모델은 21개 언어 모두에서 대화체 chrF 기준으로 IndicTrans2-1B를 능가하며(평균 +6.2), FLORES에서는 동등한 성능을 유지한다(평균 변화 -0.17, 모두 0.7 chrF 이내). 대응 부트스트랩 검정은 대화체 향상이 유의미하며(p <= 0.004) FLORES가 유의미하게 저하되지 않음을 확인한다. 우리는 범위에 대해 신중하다: 이것은 chrF 향상이며, 맹검 인간 평가와 다중 모델 LLM 검증은 이를 지각된 품질 향상으로 확인하지 않는다. 따라서 우리는 대화체 향상을 더 나은 번역의 증거라기보다는 참조문에 대한 레지스터 일치로 대부분 간주한다. 기법 자체는 새롭지 않으며, 기여는 인도어 대화 환경에서의 정직한 종단 간(end-to-end) 연구이다.