PyTorchKR Papers

최신 논문

총 1,841편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17688v1cs.CL

LLM은 문화적 맥락을 추론하지만 응답 시 이를 적용하지 못한다

LLMs Infer Cultural Context but Fail to Apply It When Responding

최근 연구는 LLM이 지배적인 문화, 특히 서구 문화를 과대표현하는 동시에 다른 문화는 소외한다는 것을 보여주었다. 우리는 사용자의 인지된 문화적 배경에 기반한 지역 측정 단위 사용을 평가함으로써, 이러한 현상이 모델이 문화에 적응한 응답을 생성하는 능력에 영향을 미치는지 조사한다. 우리는 다양한 수준의 문화적 단서를 포함한 대화 데이터셋인 Cultural and Pragmatic Response Inference(CAPRI)를 제안한다. 최신 LLM에 대한 실험 결과, 모델은 문화적 배경을 추론하고 관련 관습을 회상할 수 있지만, 명시적으로 작업을 순차적으로 수행하도록 프롬프트하지 않는 한 해당 정보를 활용해 응답을 관련 문화적 관습에 맞게 조정하는 데는 종종 실패한다는 것을 보여준다. 또한 문화의 영향을 받는 두 가지 주관적 언어 그라운딩 차원인 시간 표현과 수량 표현의 해석에 대한 적응을 평가한다. 문화적 단서가 누적될수록 모델이 응답을 점점 더 조정하지만, 사전분포(prior)는 문화 중립적이지 않으며 때로는 모델의 개발 국가와 일치한다는 것을 발견한다. 전반적으로 CAPRI는 문화적 지식과 문화적으로 적응적인 언어 생성 사이의 격차를 좁히는 것을 목표로 하는 향후 연구를 위한 리소스를 제공한다.

arXiv:2604.22128v2cs.CL

괄호 시퀀스 트랜스포머에서 디코딩 가능성과 인과적 사용의 분리

Dissociating Decodability and Causal Use in Bracket-Sequence Transformers

계층적 구조에 대한 이해가 필요한 작업으로 학습될 때, 트랜스포머는 잔차 스트림(residual stream)의 기하학적 구조와 후입선출(LIFO) 순서를 유지하는 스택 형태의 어텐션(attention) 패턴이라는 뚜렷한 방식으로 이 계층 구조를 표현하는 것으로 밝혀졌습니다. 그러나 이러한 표현들이 실제로 인과적으로 사용되는지 아니면 단순히 해독 가능한 것인지는 여전히 불분명합니다. 우리는 계층적 실제 값(ground truth)이 명시적인 균형 잡힌 괄호 시퀀스의 형식 언어인 Dyck 언어로 학습된 트랜스포머에서 이러한 격차를 조사합니다. 잔차 스트림과 어텐션 패턴에 대해 프로빙(probing) 및 개입(intervention)을 수행한 결과, 깊이(depth), 거리(distance), 스택 최상단(top-of-stack) 신호는 모두 해독 가능하지만, 그 인과적 역할은 서로 다름을 발견했습니다. 구체적으로, 실제 스택 최상단 위치에 대한 어텐션을 마스킹하면 장거리 정확도가 급격히 떨어지는 반면, 저차원 잔차 스트림 부분 공간을 제거(ablation)하는 것은 비교적 적은 영향을 미칩니다. 템플릿화된 자연어 설정으로 확장되는 이러한 결과들은, 관련 계층적 변수가 알려진 통제된 설정에서조차도, 해독 가능성만으로는 인과적 사용을 의미하지 않음을 시사합니다.

arXiv:2603.05171v2cs.CL

중국 사법 판결 내 법적 논증 구조의 어노테이션 및 시각화 가이드라인

Guidelines for the Annotation and Visualization of Legal Argumentation Structures in Chinese Judicial Decisions

이 가이드라인은 사법 판결에서 법적 논증 구조를 표현하기 위한 체계적이고 실현 가능한 어노테이션 프레임워크를 제시합니다. 법적 추론 및 논증 이론에 기반하여, 이 프레임워크는 사법적 추론의 논리적 구조를 드러내고 계산적 분석을 위한 신뢰할 수 있는 기반을 제공하는 것을 목표로 합니다. 요소 수준에서, 이 가이드라인은 비명제 층(non-propositional layer)과 명제 층(propositional layer)을 구별합니다. 비명제 층은 쟁점(Issue)과 비논증적 구성 요소(Non-argumentative Component)라는 두 가지 요소로 구성됩니다. 명제 수준에서, 이 가이드라인은 일반 규범적 판단(General Normative Judgment), 개별 규범적 판단(Particular Normative Judgment), 일반 사실적 판단(General Factual Judgment), 개별 사실적 판단(Particular Factual Judgment)의 네 가지 명제 유형을 정의합니다. 관계 수준에서, 논증 구조를 나타내기 위해 지지(Support), 공격(Attack), 결합(Joint), 일치(Match), 동일성(Identity)의 다섯 가지 관계 유형이 정의됩니다. 이러한 관계는 긍정적 및 부정적 논증 연결, 결합적 추론 구조, 법적 규범과 사건 사실 간의 대응 관계, 그리고 명제 간의 동일성 또는 의미적 동등성을 포착합니다. 이 가이드라인은 기본 구조와 중첩 구조 모두에 대한 형식적 표현 규칙과 시각화 규칙을 추가로 명시하여, 복잡한 논증 패턴의 일관된 시각화를 가능하게 합니다. 또한, 어노테이션된 데이터의 재현성과 신뢰성을 보장하기 위해 표준화된 어노테이션 워크플로우와 일관성 제어 메커니즘을 수립합니다. 명확한 개념적 모델, 형식적 표현 규칙, 실용적인 어노테이션 절차를 제공함으로써, 이 가이드라인은 사법적 추론의 대규모 분석과 법적 논증 마이닝(legal argument mining), 법적 추론의 계산적 모델링, AI 보조 법적 분석 분야의 향후 연구를 지원합니다.

arXiv:2606.13218v1cs.CL

유사함이 다름을 의미할 때: 아랍어-히브리어 동족어에 대한 LLM 평가

When Similar Means Different: Evaluating LLMs on Arabic--Hebrew Cognates

아랍어와 히브리어는 밀접한 관계에 있는 셈어족 언어로서, 실제 동족어(true cognates), 오해를 불러일으키는 거짓 친구(false friends), 그리고 현대 외래어의 방대한 어휘를 공유합니다. 이러한 중첩은 대규모 언어 모델(LLM)의 언어 간 의미 이해에 도전 과제를 제기합니다. 이 능력을 평가하기 위해 우리는 동족어 식별 및 의미 중의성 해소를 위한 문장 수준 주석이 포함된 1,858개의 아랍어-히브리어 단어 쌍으로 구성된 정제된 벤치마크인 SemCog Bench를 소개합니다. 우리는 다양한 입력 표현(원문, 모음 부호 포함, 로마자 표기, 음운적 표현)에 걸쳐 오픈 소스 및 상용 LLM을 평가하여 언어 간 추론의 중요한 격차를 밝혀냈습니다. 모델은 실제 동족어에서는 높은 정확도를 보이지만, 거짓 친구와 외래어에서는 성능이 급격히 하락하여 표면 형태 유사성에 강하게 의존하고 있음을 보여줍니다. 또한, 문장 수준의 문맥은 제한적인 개선만을 가져오며, 이는 문맥적 단서만으로는 오해를 일으키는 형태 기반 신호를 극복하기에 부족함을 시사합니다. 이러한 발견은 언어 간 형태-의미 충돌을 해결하는 데 있어 현재 LLM의 근본적인 한계를 드러내며, SemCog Bench를 다국어 의미 추론을 위한 엄격한 벤치마크로 확립합니다. 우리의 코드와 데이터는 공개되어 있습니다.

arXiv:2606.12708v1cs.CL

AfriSUD: 아프리카 언어 모델 평가를 위한 의존 구문 트리뱅크 컬렉션

AfriSUD: A Dependency Treebank Collection for Evaluating Models on African Languages

아프리카 언어의 자연어 처리(NLP) 자원 부족을 해소하기 위해 9개 언어를 아우르는 대규모 의존 구문 트리뱅크 컬렉션인 AfriSUD를 제안한다. 다양한 모델을 통해 품사 태깅과 의존 구문 분석을 수행한 결과, 기존 모델들이 아프리카 언어의 구조적 다양성을 충분히 학습하지 못하는 구문 격차가 확인되었다.

arXiv:2510.16928v3cs.CL

ChiKhaPo: 대규모 언어 모델의 어휘 이해 및 생성 평가를 위한 대규모 다국어 벤치마크

ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models

기존 벤치마크가 고자원 언어에 편중된 문제를 해결하기 위해 2700개 이상의 언어를 포괄하는 대규모 다국어 벤치마크인 ChiKhaPo를 제안하여 대규모 언어 모델(LLM)의 어휘 이해 및 생성 능력을 평가합니다. 6개의 최신 모델이 해당 벤치마크에서 어려움을 겪는 것으로 나타나, 언어 계통과 자원의 풍부함이 성능에 주요한 영향을 미침을 확인했습니다.

arXiv:2510.16380v2cs.CL

MoReBench: 언어 모델의 절차적 및 다원적 도덕적 추론 평가, 결과를 넘어선

MoReBench: Evaluating Procedural and Pluralistic Moral Reasoning in Language Models, More than Outcomes

언어 모델의 도덕적 추론 과정을 평가하기 위해 전문가 기준을 포함한 1,000개의 시나리오로 구성된 MoReBench를 제안한다. 기존 벤치마크의 스케일링 법칙은 도덕적 추론 능력을 예측하지 못하며, 모델들이 특정 도덕적 프레임워크에 편향되어 있음을 확인했다.

arXiv:2606.12392v1cs.CL

CCL25-Eval Task 5를 위한 시스템 보고서: 새로운 데이터셋과 LoRA 파인튜닝된 Qwen2.5

System Report for CCL25-Eval Task 5: New Dataset and LoRA-Fine-Tuned Qwen2.5

최근 대규모 언어 모델(LLM)은 한문 번역 및 한시 생성 분야에서 유망한 진전을 이루었습니다. 그러나 한시의 정밀한 번역과 정서-의미적 이해에 관한 도메인 특화 연구는 여전히 제한적입니다. 주요 과제는 대부분의 연구가 시 감상의 독특한 특징을 간과한 채 시 감상 작업을 일반 도메인 문제로 다룬다는 점이며, 고품질의 도메인 특화 데이터셋이 극히 부족하다는 것입니다. 이러한 제한을 해결하기 위해 우리는 작업을 용어 해석, 의미 해석, 정서적 추론의 세 가지 하위 작업으로 분해했습니다. 여러 오픈소스 데이터셋을 기반으로 데이터 정제 및 정렬을 수행하여 이 도메인에 명시적으로 최적화된 49,404개의 고품질 명령어-응답 쌍으로 구성된 Classical Chinese Poetry Instruction Pair Dataset (CCPoetry-49K)를 구축했습니다. 그 후 Qwen2.5-14B 모델에 Low-Rank Adaptation (LoRA)를 적용하여 파인튜닝함으로써 PoetryQwen이라는 도메인 특화 LLM을 제안했습니다. CCL25-Eval Task 5 벤치마크에 대한 실험 결과, PoetryQwen은 0.757의 점수를 달성하여 Qwen2.5-14B-Instruct 기준선(0.690) 대비 9.7%의 향상을 나타냈습니다. 이러한 결과는 PoetryQwen이 한시의 정밀한 번역과 정서적 이해에서 성능을 크게 향상시킴을 명확히 시사합니다. 우리는 LLM의 도메인 특화 최적화를 지원하기 위한 새로운 데이터셋과 방법론적 고려사항을 제시합니다.

arXiv:2606.12332v1cs.CL

정보 이득을 통한 다회차 대화에서의 의미적 진전 측정

Measuring Semantic Progress in Multi-turn Dialogue via Information Gain

다회차 대화(multi-turn dialogue)의 평가는 품질이 개별 응답 내가 아닌 턴(turn) 전반에 걸쳐 드러나기 때문에 어려운 과제입니다. 본 연구는 정보 탐색 대화의 핵심 차원인 의미적 진전(semantic progress)에 초점을 맞춥니다. 의미적 진전은 대화 과정에서 새롭고, 질문 관련성이 있으며, 중복되지 않는 정보의 축적으로 정의됩니다. 우리는 의미적 진전을 질문 조건부 불확실성 감소(question-conditioned uncertainty reduction)로 형식화하고, 임베딩(embedding) 공간에서 이를 근사하는 정보 이론적 지표를 소개합니다. 우리의 주요 추정기는 폐쇄형 업데이트(closed-form updates)를 갖는 다루기 용이한 가우시안 공식화를 사용하며, 보완적인 최대 엔트로피(maximum-entropy) 논증은 2차 임베딩 정보만 유지될 때 로그-행렬식(log-determinant) 구조가 더 광범위하게 발생하는 이유를 보여줍니다. 이 공식화는 단조성(monotonicity), 턴 전반의 총 정보 이득의 가법적 분해(additive decomposition), 그리고 중복 증거에 대한 수확 체감(diminishing returns)을 포함한 바람직한 이론적 성질을 가집니다. LLM-as-a-judge 접근 방식과 달리, 본 지표는 평가 시점에 자기회귀 추론(autoregressive inference)을 필요로 하지 않으며, 고정된 임베딩 모델에 대해 완전히 재현 가능합니다. MT-Bench, Chatbot Arena, UltraFeedback에 대한 실험 결과, 제안된 지표는 의미적 진전만을 목표로 함에도 불구하고 인간 판단과 경쟁력 있는 일치도를 달성함을 보여주며, MT-Bench와 UltraFeedback에서 여러 LLM 기반 판사들과 비교하여 개선된 정렬(alignment)을 보였습니다. 특히, 이 방법은 CPU만으로 실행되는 환경에서 경량 임베딩 모델을 사용해서도 효과적이며, 이는 거대 모델의 용량에 의존하지 않고도 의미적 진전을 포착할 수 있음을 나타냅니다.

arXiv:2606.11875v1cs.CL

당신의 기분을 이해합니다: 대화 시스템에서 다국어 정서적 확인(Emotional Validation)을 통한 더 깊은 정서적 지원 강화

I Understand How You Feel: Enhancing Deeper Emotional Support Through Multilingual Emotional Validation in Dialogue System

정서적 확인(Emotional Validation) - 사용자의 감정이 타당함을 명시적으로 인정하는 것 -은 치료적 가치가 입증되었으나 계산적 측면에서는 큰 주목을 받지 못했습니다. 대화 시스템에서의 정서적 확인은 (i) 확인 반응 식별, (ii) 확인 타이밍 감지, (iii) 확인 반응 생성으로 분해될 수 있습니다. 이 세 가지 하위 작업에 대한 연구를 지원하기 위해, 우리는 수동 및 자동 주석의 하이브리드 방식으로 생성된 12만 개의 영어-일본어 다국어 말뭉치인 M-EDESConv와 다국어 구어 대화 테스트 세트인 M-TESC를 공개합니다. 타이밍 감지를 위해, 우리는 크로스 모달 어텐션(attention)과 게이티드(gated) 융합을 통해 동결된 XLM-RoBERTa의 의미를 언어별 감정 인코더와 융합하는 MEGUMI(Multilingual Emotion-aware Gated Unit for Mutual Integration)를 제안합니다. MEGUMI는 M-EDESConv와 M-TESC 데이터셋(dataset) 모두에서 객관적 및 주관적으로 우수한 성능을 보여줍니다. 마지막으로, GPT-4.1 Nano와 Llama-3.1 8B에 대한 우리의 EmoValidBench 벤치마크(benchmark) 결과는 현재의 대규모 언어 모델(LLM)이 문맥적으로 유사하고 다양한 확인 반응을 생성할 수 있지만, 정서적 이해는 여전히 개선이 필요한 주요 영역임을 나타냅니다. 프로젝트 페이지: https://github.com/zihaurpang/Multilingual-Emotional-Validation

arXiv:2604.18543v4cs.AI

ClawEnvKit: 발톱 모양 에이전트를 위한 자동 환경 생성

ClawEnvKit: Automatic Environment Generation for Claw-Like Agents

발톱 모양 에이전트(claw-like agents)를 위한 환경 구축의 수동적이고 확장이 어려운 문제를 해결하기 위해, 자연어 설명으로부터 다양하고 검증된 환경을 자동 생성하는 파이프라인인 ClawEnvKit을 제안합니다. 이를 통해 1,040개의 환경을 포함하는 대규모 벤치마크인 Auto-ClawEval을 구축하여 인간이 큐레이션한 환경과 유사한 품질을 훨씬 낮은 비용으로 달성하고, 실시간 평가 및 온디맨드 학습 환경 생성을 가능하게 했습니다.

arXiv:2601.00181v3cs.CL

대화 내 인과적 감정 인식: 맥락 포화 및 담화 표지 증거

Causal Emotion Recognition in Conversation: Context Saturation and Discourse-Marker Evidence

대화 내 감정 인식(ERC)에 대한 체계적인 조사를 통해 대화 맥락이 성능에 지배적이지만 최근 10-30개의 턴 내에서 포화됨을 밝히고, 외부 감성 어휘집 통합은 효과가 없음을 확인했습니다. 또한 미래 턴 없이도 경쟁력 있는 정확도를 달성할 수 있으며, 슬픔 감정은 맥락에 더 의존적인 담화 표지 패턴을 보인다는 언어학적 분석 결과를 제시합니다.

arXiv:2510.18289v3cs.CL

Food4All: 적응형 사용자 이해를 통한 식품 자원 탐색을 위한 에이전트 프레임워크 및 벤치마크

Food4All: An Agentic Framework and Benchmark for Food Resource Navigation with Adaptive User Understanding

식품 지원 연결은 대화형 에이전트가 불완전하고 종종 노이즈가 섞인 도움 요청 대화를 지역적으로 유효한 자원 추천으로 변환해야 하는 작업입니다. 우리는 686개의 구조화된 인디애나 식품 자원에 기반한 에이전트 식품 자원 연결 프레임워크이자 벤치마크인 Food4All을 제시합니다. Food4All은 식품 특화 검색 도구와 300개의 멀티턴 평가 작업을 결합하며, 이는 단일 식품 요구 사항, 접근 또는 문서 제약 조건이 있는 복합 사례, 그리고 비합리적인 요구, 장황한 응답, 성급함, 불완전한 답변, 모순된 정보라는 다섯 가지 비이상적인 사용자 상호작용 특성을 아우릅니다. 우리는 요구사항 그라운딩, 자원 검색, 최종 연결 정확도, 상호작용 효율성 측면에서 6개의 대규모 언어 모델(LLM)을 평가했습니다. 가장 강력한 모델이 96.33%의 연결 정확도를 달성했지만, 우리의 진단 결과 일정, 자격 요건, 접수, 문서 제약 조건에 대한 그라운딩의 지속적인 실패와 최종 추천에서 유효하게 검색된 자원을 보존하지 못하는 실패가 드러났습니다. 특성 수준 분석은 서로 다른 비이상적인 행동이 연결 파이프라인의 서로 다른 부분에 부담을 준다는 것을 추가로 보여줍니다. Food4All은 현실적인 사용자 상호작용 문제 하에서 제약 조건에 민감한 식품 지원 연결 분야의 툴 호출 에이전트를 연구하기 위한 통제된 테스트베드를 제공합니다.

arXiv:2606.07422v1cs.CL

가려진 이점: 대규모 언어 모델에서 현지 언어를 통한 문화적 지식 접근 규명

The Masked Advantage: Uncovering Local-Language Access to Cultural Knowledge in LLMs

대규모 언어 모델(LLM)은 여러 언어에서 문화 기반 질문에 답하는 데 점점 더 많이 사용되고 있지만, 현지 문화 지식에 더 잘 접근하기 위해서는 영어가 좋은지 현지 언어가 좋은지는 여전히 불분명합니다. 기존 평가는 두 가지 주요 한계에 직면해 있습니다. 많은 평가가 문화적 지식이 자연스럽게 나타나는 방식을 반영하지 못할 수 있는 병렬 템플릿 기반 질문에 의존하며, 원시 정확도는 일반적인 언어 능력과 언어 조건 지식 접근을 혼동합니다. 우리는 지역 벤치마크와 현지 소스에서 수집한 실제 문화 질문을 기반으로 구축된 통제된 프레임워크를 통해 이러한 문제를 해결합니다. 질문 유형(문화 중립적 vs 문화 특정적)과 질의 언어(영어 vs 현지 언어)를 교차 배치하고, 공유된 1PL 문항 반응 이론 모델로 능력을 추정하여 언어 능력과 현지화된 지식 접근을 분리합니다. 13개 지역과 약 80개 모델에 걸쳐, 우리는 문화 중립적 질문에서 일관된 영어 우위를 발견했으며, 이는 더 강력한 영어 능력을 나타냅니다. 그러나 이 능력 격차를 보정한 후, 현지 언어는 거의 모든 지역-모델 설정에서 긍정적인 지식 접근 이점을 보여줍니다. 이 이점은 원시 정확도에서는 종종 가려지지만, 최첨단 모델, 지역 정렬 모델 또는 언어 적응 모델에서는 더 명확하게 드러납니다. 우리의 결과는 낮은 현지 언어 성능이 반드시 낮은 문화적 지식을 의미하는 것은 아니라는 점을 시사합니다. 오히려 현지 문화 지식은 현지 언어를 통해 더 잘 접근할 수 있지만 제한된 언어 능력에 의해 가려져 있을 수 있습니다.

arXiv:2606.07300v1cs.CL

Phun-Bench: 중국어 음운 이해에 대한 대규모 언어 모델(LLM) 평가

Phun-Bench: Evaluating LLMs on Phonological Understanding in Chinese

언어는 사고의 도구이며, 소리, 기호, 의미와 복잡하게 얽혀 있습니다. 그러나 대부분의 대규모 언어 모델(LLM) 연구는 의미(의미론)와 기호(철자)에 집중하면서 소리는 대부분 간과해 왔습니다. LLM의 음운 능력에 대한 기존 벤치마크는 단순 암기를 통해 해결 가능하거나 다른 능력과 얽혀 있어, LLM의 진정한 음운 이해 능력을 측정하기에 부적절합니다. 이에 우리는 Phun-Bench를 소개합니다. 이는 세 가지 차원(동음이의, 운, 음성적 유사성)에 걸친 다양한 작업과 설정을 갖춘 목적에 맞게 구축된 중국어 벤치마크로, LLM의 음운 이해를 체계적으로 평가하도록 설계되었습니다. 결과에 따르면 LLM은 정확한 발음을 회상하는 데에는 탁월하지만, 인간 화자가 사용하는 유연하고 직관적인 방식으로 음운 지식을 활용하는 데는 일반적으로 어려움을 겪습니다. 또한, 상세한 분석을 통해 LLM의 음운 이해 및 "지각(perception)"의 근본적인 메커니즘에 대한 가설을 제시하며, 향후 연구를 위한 미탐색 영역을 강조합니다.

arXiv:2606.07167v1cs.CL

UrduMMLU: 우르두어 이해를 위한 대규모 멀티태스크 벤치마크

UrduMMLU: A Massive Multitask Benchmark for Urdu Language Understanding

의미 있는 다국어 평가는 목표 언어와 교육적 맥락에서 모델을 테스트해야 합니다. 2억 3천만 명 이상이 사용하는 우르두어는 원어민 교육 자료를 기반으로 구축된 포괄적인 MMLU 스타일 벤치마크가 부족합니다. 우리는 원어민 우르두어 MCQ 은행과 공개 시험 PDF에서 수집한 26개 과목과 5개 도메인에 걸친 26,431개의 우르두어 객관식 문제(MCQ)로 구성된 벤치마크인 UrduMMLU를 소개합니다. 번역 기반 리소스와 달리 UrduMMLU는 표준 학문 과목뿐만 아니라 우르두어 및 지역 특화 콘텐츠를 모두 포괄합니다. 우리는 엄격한 합의 필터링을 통한 이중 인간 주석을 통해 시험에서 파생된 부분에 라벨을 지정했습니다. 우리는 영어와 우르두어 프롬프트에서 30개의 대규모 언어 모델(LLM)을 평가하여 60개의 제로샷(zero-shot) 평가를 수행했고, 두 프롬프트 언어 모두에서 다양한 퓨샷(few-shot) 설정 하에 4개의 오픈 소스 LLM을 추가로 평가했습니다. Gemini-3.5-Flash가 가장 좋은 성능을 보여 90.20%와 90.34%의 정확도를 달성했으며, 다른 모델은 85%를 넘지 못했습니다. 가장 강력한 오픈 소스 모델은 각각 7.79점과 8.92점 뒤처졌으며, 많은 모델들은 STEM에 비해 우르두어 중심 인문학 과목에서 25점에서 40점까지 손실을 보았습니다. 퓨샷 프롬프팅은 미미한 향상만을 보였습니다. UrduMMLU는 현재 LLM에서 우르두어 지식이 여전히 고르지 않음을 보여주며, 특히 지역에 기반을 둔 콘텐츠에서 그렇습니다.

arXiv:2606.07123v1cs.CL

인구통계학적 조건 융합 임베딩을 통한 관점주의적 사회적 의미 학습

Learning Perspectivist Social Meaning via Demographic-Conditioned Fusion Embeddings

언어 속 사회적 의미는 본질적으로 관점에 따르며, 주석자의 배경, 인구통계학적 특성, 이념적 입장에 따라 달라집니다. 그러나 대부분의 자연어 처리(NLP) 시스템은 해석의 다양성을 무시하고 이러한 변이를 단일 정답 레이블로 축소합니다. 본 연구에서는 2만 8천 개의 인간 주석으로 구성된 데이터셋에서 인구통계학적 집단 간 해석의 차이를 포착하며, 관점주의적 스펙트럼에 따라 사회적 차원을 모델링합니다. 제로샷(zero-shot), 퓨샷(few-shot), 파인튜닝(fine-tuning) 접근 방식을 포함한 다양한 모델링 패러다임을 벤치마킹하고, 텍스트와 인구통계학적 표현을 통합하는 융합 임베딩(fusion embeddings)을 제안합니다. 우리의 융합 모델은 모든 융합 전략에서 텍스트 전용 기준 모델(baselines) 대비 일관되고 통계적으로 유의미한 성능 향상을 보였으며(+5.9-6.5% 상대적 매크로 PR-AUC), 셔플 제거 실험(ablations)을 통해 인구통계학적 프로필이 허위 상관관계가 아닌 실질적인 예측 신호를 담고 있음을 확인했습니다.

arXiv:2606.06994v1cs.CL

문장 인코더에서의 개념 표현 원리

Principles of Concept Representation in Sentence Encoders

문장 인코더가 양질의 개념 표현을 생성하게 만드는 요인은 무엇일까요? 우리는 표현의 조합성(compositionality) 관점에서 이 문제에 접근합니다. 인코더는 해당 의미 연산자(semantic operator)에 대한 왜곡이 적은 실현(realization)을 잠재 공간이 허용할 때만 개념 패밀리를 지원합니다. 이러한 관점은 현재 인코더가 성공하는 영역과 학습 신호(supervision)와 구조적으로 불일치하는 영역을 모두 예측합니다. WordNet과 Wiktionary의 330만 개 동의어 및 정의 쌍으로 학습된 인코더 조건에 대한 제어된 소거(ablation) 실험을 통해, 세 가지 오염 제거 데이터 분할과 수식어 레이블이 포함된 명사구 벤치마크에서 평가한 결과, 네 가지 원리를 식별했습니다. 미세조정(fine-tuning)은 잠재 기하학을 확장하는 것이 아니라 재보정합니다 (P1). 개념 특화 학습(concept-specific training)이 시작되기 전에 의미 신호는 최종 트랜스포머 층에 집중되므로, 교차 층 풀링(cross-layer pooling)은 불필요합니다 (P2). 하드 네거티브(hard negatives)는 검색 순위(retrieval ranking)를 향상시키지 않으면서도 식별력을 개선하고 강건성(robustness)을 검증하며, 이는 보정(calibration)과 순위 매기기가 독립적으로 해결 가능함을 보여줍니다 (P3). 마지막으로, 학습 신호(supervision)의 효과는 목표 개념의 조합 유형에 따라 달라집니다. 외연적 학습(extensional training)은 교차적(intersective) 및 하위 집합적(subsective) 패밀리에는 도움이 되지만 관계형(relational) 및 내포적(intensional) 패밀리의 성능은 저하시키며, 이는 현재 학습 패러다임의 구조적 한계를 보여줍니다 (P4). 우리는 DBpedia 의미적 격차(semantic-gap) 벤치마크와 수식어 레이블이 포함된 명사구(NP) 패러프레이즈 모음이라는 두 가지 새로운 평가 데이터셋을 공개합니다.

arXiv:2606.06738v1cs.CL

사전학습된 언어 모델을 이용한 모듈식 단일 언어 적응

Modular Monolingual Adaptation using Pretrained Language Models

저자원 언어를 위한 단일 언어 모델(LMs) 구축은 일반적으로 목표 언어로 전체 모델을 파인튜닝(fine-tuning)하여 사전학습된 언어 모델(PLMs)을 적응시키는 방식에 의존합니다. 이 접근 방식은 효과적인 지식 전이를 가능하게 하기 때문에 처음부터 학습(training from scratch)하는 것보다 널리 선호됩니다. 또한, 이전 연구에서는 언어 특화 토크나이저(tokenizer)를 사용하면 적응력을 향상시킬 수 있음을 보여주었습니다. 본 연구에서는 전체 모델 튜닝(tuning)이 종종 불필요하다고 가정하고, 더 모듈식인 접근 방식을 제안합니다. 구체적으로, 토큰을 교체하고 해당 임베딩(embeddings)을 동결(freeze)한 뒤 모델의 나머지 부분을 튜닝합니다. 우리는 실험을 위해 스코틀랜드 게일어, 아일랜드어, 케추아어를 사용했으며, 케추아어는 매우 저자원 언어(8.5k 학습 인스턴스)입니다. 자연어 이해(NLU) 작업인 마스크 채우기(mask filling), 개체명 인식(NER), 품사 태깅(POS)에 대한 평가 결과, 제안하는 접근 방식이 저자원 언어로 모델을 적응시킬 때 성능을 향상시킴을 보여줍니다. 또한, 학습 전략의 효과, 사전학습된 임베딩의 선택, 그리고 모델에 대한 포괄적인 분석을 제공합니다.

arXiv:2606.06646v1cs.CL

CAF-Gen: 논증 구조 보강을 위한 다중 에이전트 시스템

CAF-Gen: A Multi-Agent System for Enriching Argumentation Structures

자연어 텍스트에서 복잡한 추론을 형식화하는 것은 계산 언어학의 중심 과제 중 하나입니다. 이는 시스템이 단순한 키워드뿐만 아니라 텍스트에 내재된 맥락과 복잡한 추론을 이해해야 함을 요구합니다. 현재의 논증 마이닝(Argument Mining, AM) 기법은 기본적인 주장과 전제를 식별하지만, 전제 유형, 증명 기준, 논증 스킴과 같은 특징을 포함하는 고급 스키마인 Carneades Argumentation Framework(CAF)에서 요구하는 더 풍부한 구조적 정보를 포착하는 데 어려움을 겪는 경우가 많습니다. 우리는 얕은 논증 구조를 CAF를 준수하는 논증 모델로 보강하도록 설계된 자동화된 다중 에이전트 프레임워크인 CAF-Gen을 도입하여 이러한 한계를 해결합니다. 반복적인 Creator-Reviewer 파이프라인을 사용하여, 생성자 에이전트(creator agent)의 출력은 구조적 무결성을 보장하기 위해 비평자 에이전트(critical agent)에 의해 검증됩니다. 이러한 다중 에이전트 협업은 단일 패스 생성 모델(single-pass generative models)에서 전형적인 구조적 불안정성을 완화하는 데 중요합니다. 우리의 실험은 반복적인 피드백 루프가 결과 데이터의 품질을 향상시키고 구조적으로 더 풍부한 모델을 생성하는 동시에 원본 주석(original annotations)과 강력한 정렬을 달성함을 보여줍니다. 우리의 연구 결과는 다중 에이전트 시스템이 단일 패스 생성의 한계를 극복할 수 있으며, 형식적 논증의 자동화된 모델링을 위한 강건한 방법론을 제공함을 보여줍니다.