PyTorchKR Papers

최신 논문

총 1,841편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.23065v4cs.CL

TabiBERT: 터키어를 위한 대규모 ModernBERT 기반 모델 및 통합 벤치마크

TabiBERT: A Large-Scale ModernBERT Foundation Model and A Unified Benchmark for Turkish

BERT의 도입으로 인코더 전용 트랜스포머(transformer) 모델은 자연어 처리(NLP) 분야의 기반 패러다임으로 자리 잡았습니다. 인코더 전용 모델은 텍스트 생성보다 문맥 표현과 낮은 추론(inference) 비용이 더 중요한 분류(classification), 태깅, 검색 작업에서 여전히 표준 도구로 활용되고 있으나, 터키어에는 ModernBERT에 집약된 최신 기술(회전 위치 임베딩(RoPE), FlashAttention, 개선된 정규화(normalization))을 적용하여 처음부터(from scratch) 학습(training)된 단일 언어 인코더가 부재했습니다. 이에 본 논문에서는 ModernBERT 아키텍처를 기반으로 웹 텍스트(72%), 학술 논문(19%), 소스 코드(6%), 수학 콘텐츠(0.3%)로 구성된 865억 8천만 토큰 규모의 다중 도메인 코퍼스에서 샘플링한 1조 개의 토큰을 처음부터 사전학습한 단일 언어 터키어 인코더인 TabiBERT를 소개합니다. 이 모델은 기존 터키어 BERT 모델의 16배에 달하는 8,192개 토큰의 컨텍스트 길이를 지원하며, 긴 컨텍스트에서 ModernBERT 아키텍처가 지닌 효율성을 그대로 계승합니다. 엄격하고 재현 가능한 평가를 위해, 표준화된 데이터 분할과 평가 프로토콜을 갖춘 8개 작업 범주에 걸친 27개 데이터셋으로 구성되고 0-100 척도의 GLUE 스타일 매크로 평균으로 요약되는 벤치마크인 TabiBench를 제시합니다. TabiBERT는 8개 범주 중 5개에서 터키어 모델들을 앞서며, 기존 최고 성능 모델인 BERTurk를 8개 중 6개 범주에서 능가합니다. 이러한 성능 향상은 질의응답(+9.55 F1)과 코드 검색(+2.41 NDCG@10)에 집중된 반면, 4개의 단문 텍스트 범주는 포화 상태에 가깝습니다. TabiBERT의 평균 점수는 77.28점으로 BERTurk의 75.66점을 상회하며, 다국어 모델인 mmBERT는 파라미터 수가 2배, 학습 토큰 수가 3배이고 터키어 입력당 토큰 수가 41% 더 많은 조건에서 78.98점을 기록했습니다. 향후 터키어 인코더 연구를 위한 투명하고 재현 가능한 기반으로서 모델 가중치, 학습 설정 및 평가 코드를 공개합니다.

arXiv:2606.00230v2cs.LG

언어 모델의 사전학습에서 나타나는 그로킹 유사 현상: 지연된 문법적 일반화 추적

A Pre-Training Analogue of Grokking in Language Models: Tracing Delayed Grammatical Generalization

신경망이 학습(training) 데이터를 피팅한 후 한참 뒤에 일반화되는 현상인 그로킹(grokking)은 많은 에포크(epoch)를 거치는 지도학습 환경에서 주로 연구되어 왔습니다. 반면 대규모 언어 모델(LLM)의 사전학습(pre-training)은 라벨이 없는 코퍼스에 대한 다음 토큰 예측(next-token prediction)으로 이루어지며, 데이터 반복이 제한적이고 명시적인 학습/검증(validation) 분할이 없습니다. 이를 해결하기 위해, 본 연구에서는 LLM 사전학습 도중 그로킹과 유사한 역동성을 연구할 수 있도록 하는 노출 기반 프레임워크를 제안합니다. 통제된 문법적 대조를 제공하는 BLiMP 최소 대립쌍(minimal pairs)을 기반으로 평가를 수행합니다. 모든 BLiMP 최소 대립쌍에 대해 문법적 대조와 현상 관련 문맥을 포착하는 가장 작은 연속 구간인 핵심 구(critical phrase)를 식별합니다. 핵심 구가 사전학습 윈도우에 나타나는 예제는 대리 학습(proxy-train) 분할에 할당되고, 나머지 예제는 대리 검증(proxy-validation) 분할에 할당됩니다. 5가지 문법 현상 전반에 걸쳐 지연된 일반화가 관찰됩니다. 일반화 전후의 사전학습 체크포인트를 분석한 결과, 문법 개념 벡터는 문법적 수용성을 더 잘 예측하게 되며 일반화 이후 더 고차원의 부분공간(subspace)을 차지함을 보여줍니다. 또한 핵심 토큰(token)에서 관련 문맥 토큰으로 향하는 어텐션(attention)이 소수의 헤드에 집중되어 있음을 발견했습니다.

arXiv:2609.27678v1cs.CL

같은 점수, 다른 결정: 법률 문서 이해를 위한 JEV와 언어 모델 평가

Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding

계약 추론은 하나의 공유 문서에 대한 여러 판단을 필요로 하지만, 집계 정확도는 개별 결정의 변화를 가릴 수 있다. 반복된 일치만으로도 충분하지 않으며, 모델이 지속적으로 잘못된 답을 반환할 수 있다. 본 논문에서는 ContractNLI에서 Jev와 아홉 개의 언어 모델을 비교하며, 추론 비용, 응답 시간, 평균 정확도, 반복 요청 조건에서의 정확도를 평가한다. 통제된 비교에서는 계약과 목표 판단을 고정한 채 가설 가시성, 요청된 출력, 출력 순서를 달리한다. 평가된 구성 중 Jev는 최저 비용과 중간값 응답 시간을 보이는 반면, 호스팅된 언어 모델은 더 높은 기준선 정확도를 달성한다. 기준선 정확도에 따른 순위는 모든 조건과 반복에서 정확도에 따른 순위와 다르며, 후자에서의 작은 차이가 일반적인 안정성 우위를 입증하지는 않는다. 개발 진단은 상쇄하는 수정과 퇴행뿐 아니라 지속적인 오류도 추가로 드러낸다. 이러한 결과는 요청 구성이 바뀔 때 개별 판단이 여전히 올바른지와 함께 비용과 응답 시간을 평가할 필요를 제기한다. Code: https://github.com/ZF-Utokyo/Jev-Benchmark

arXiv:2609.27590v1cs.CL

MWE-ECL: 복원 가능한 장거리 문맥이 국소적 어휘 사전확률을 항상 무시하지는 않는다

MWE-ECL: Recoverable Long-Range Context Does Not Always Override Local Lexical Priors

장문맥(long-context) 평가는 흔히 모델이 원거리 증거를 복원할 수 있는지를 테스트하지만, 복원 가능성이 행동적 영향을 보장하지는 않습니다. 본 연구에서는 원거리 담화 앵커가 명시적으로 복원 가능하더라도 익숙한 다의어 표현(multiword expression)의 국소적으로 선호되는 해석을 변경하는 데 실패할 수 있다는 예측을 검증합니다. 이러한 실패는 모델의 앵커 없는 기본값(no-anchor default)이 앵커와 충돌할 때 집중적으로 나타나는 반면, 사전확률에 부합하는 올바른(prior-correct) 결정은 대체로 유지되어야 합니다. 우리는 짝지어진 앵커 검색, 앵커 없는 사전확률, 해석 프롬프트가 각각 명시적 복원 가능성, 모델 관측 기본값, 앵커 조건부 결정을 측정하는 이중언어 진단 도구인 MWE-ECL(Multiword Expression Effective Context Length)을 제안합니다. 공유된 0-128K 그리드 상의 8개 영어 배포 패널 전반에서, 사전확률 충돌 항목에 대한 검색 통제 정확도는 0.989-1.000, 사전확률 충돌 재정의(override)는 0.806-1.000(올바른 검색을 조건부로 한 경우 0.809-1.000), 사전확률 부합 결정의 보존율은 0.977-1.000으로 유지됩니다. 단일 프롬프트에서 검색과 해석을 질의하는 단일 호출(same-call) 대조군은 DeepSeek V4 Pro에 대해 격차(1.000 검색 대비 0.900-0.920 해석)를 재현하여, 개별 호출이 이러한 격차의 유일한 설명이 아님을 보여주며, 다른 두 모델에서 나타난 더 작거나 없는 격차는 그 일반성의 범위를 한정합니다. DeepSeek V4 Flash의 경우, 개별 프롬프트 적합도 테스트에서 512K 및 1M에서 완벽한 검색 능력을 유지하면서도 낮은 해석 능력을 보인 반면, 오답 유도 단서(foil-consistent cues)는 검색보다 앵커 없는 사전확률을 훨씬 더 크게 변화시켰으며, 모델 간 단서 효과는 이질적이었습니다. 별도로 보고된 10개 계열의 중국어 하위 집합도 유사한 기술적 격차를 보이지만, 일부 모델의 불완전한 검색 능력으로 인해 이를 오로지 통합(integration) 문제만으로 귀인하는 것은 어렵습니다. 따라서 MWE-ECL은 명시적으로 복원 가능한 원거리 문맥이 경쟁적인 국소 의미 결정을 변화시키는지 여부를 평가합니다.

arXiv:2609.27086v1cs.CL

NADI 2026: 두 번째 다중 방언 아랍어 음성 처리 공유 과제

NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task

NADI 2026은 Nuanced Arabic Dialect Identification(NADI) 공유 과제 시리즈의 일곱 번째 개최이며, 다중 방언 아랍어 음성 처리에 초점을 맞춘 두 번째 회차이다. 이번 회차는 자동 음성 인식(ASR), 구어 방언 식별(SDID), 텍스트 음성 변환(TTS), 구어 언어 번역(SLT), 구어 언어 이해(SLU)에 걸친 다섯 가지 과제와 여덟 개의 하위 과제로 구성된다. NADI 2026은 저대역폭, 혼합 방언, 코드 스위칭, 도메인 외(out-of-domain), 제로샷(zero-shot) 설정을 통한 현실적인 평가를 강조하며, 시리즈에 TTS, SLT, SLU를 처음으로 도입한다. 공유 과제에는 최소 13개국에서 온 21개 참가 팀이 참여했고, 테스트 단계 제출 48건과 시스템 설명 논문 14편이 제출되었다. 결과는 도메인 외 일반화가 여전히 주요 병목임을 보여 주며, 최근 아랍어 특화 음성 모델, 멀티모달 방언 식별 접근, 앙상블 방법의 효과를 부각한다. 전반적으로 NADI 2026은 견고한 아랍어 방언 음성 처리를 위한 더 넓고 도전적인 벤치마크를 제공한다.

arXiv:2609.27014v1cs.HC

ContraVis: 법률 계약서 내 모순 검토를 위한 증거 기반 시각적 분석

ContraVis: Evidence-Grounded Visual Analytics for Contradiction Review in Legal Contracts

법률 계약서는 멀리 떨어져 있고 서로 연결된 조항들 간에 모순이 발생할 수 있는 구조적으로 복잡한 문서입니다. 대규모 언어 모델(LLM)이 법률 언어 이해를 향상시켰음에도 불구하고, 모순 분석은 여전히 인간 중심적이며 증거에 기반한(evidence-grounded) 검토 작업으로 남아 있습니다. 본 연구에서는 법률 계약서 내 인간 참여형(human-in-the-loop) 모순 분석을 위한 시각적 분석 시스템인 ContraVis를 소개합니다. 이 시스템은 명시적인 계약 참조와 문단 간의 의미론적 관계를 결합하여 계약서를 타입화된 문단 그래프(typed paragraph graph)로 모델링합니다. 이 그래프는 이중 역할을 수행합니다. 즉, LLM의 추론을 조건화(conditioning)하는 동시에 분석가가 탐색하는 대화형 표현 역할을 하여, 조율된 뷰 전반에서 모델 컨텍스트와 인간의 검토가 일치되도록 유지합니다. 통제된 비교 실험에서 그래프 조건부 추론은 계약서 길이가 길어짐에 따라 독립형 LLM 분석보다 더 많은 주입된 모순을 복구해 낸 동시에, 분석가의 검증을 위한 추가 후보를 드러냈습니다. 계약 분야 변호사들을 대상으로 한 형성 평가 연구(formative study)는 문맥 내 증거 비교가 모순 검증을 뒷받침함을 보여주었으며, 본 연구에서는 증거 기반의 LLM 보조 문서 검토를 위한 설계 시사점을 도출합니다.

arXiv:2609.26942v1cs.CL

인식되나 생성되지 않음: 문화적으로 특수한 친족 호칭에 대한 생성 벤치마크

Recognized but Not Produced: A Generation Benchmark for Culturally Specific Kinship Terms

기존 문헌은 다지선다 벤치마크를 사용해 대규모 언어 모델(LLM)의 다언어 친족 이해를 평가하며, 이를 인식 문제로 다룬다. 우리는 대신 두 가지 의사소통 과제에 걸쳐 세 가지 비서구 언어(힌디어, 타밀어, 한국어)에서 친족 호칭을 생성하도록 다섯 개의 오픈 가중치 LLM에 프롬프트를 주고, 이를 일치하는 선택지 지원 선택 기준선과 짝지었다. 동일한 관계-언어 셀에서 GPT OSS120B는 75개의 유효 셀 중 90.67%에서 올바른 용어를 선택하지만, 해당 시도의 36.00%에서만 수용 가능한 용어를 생성한다; Llama 3.370B도 같은 패턴을 보인다(77.92% 대 24.24%). 4지선다 조건은 후보 용어를 제시하며 문자 생성을 요구하지 않으므로, 이 차이는 어휘 지식이 온전함을 직접 증명하기보다는 평가 형식 간극으로 해석된다. 명시적으로 지정된 L3 프롬프트에서 정확도는 GLM-5.1의 72.29%부터 Llama-3.370B의 24.24%까지 크게 달라진다. 부계 혈통 우위는 언어별로 다르며, 힌디어에서는 크지만 한국어에서는 약하거나 역전되고, 타밀어의 공유 용어 쌍은 측정 변동에 대한 통제를 제공한다. 이 결과는 관계가 명시적으로 진술된 경우에도 문화적으로 특수한 친족 호칭 생성이 여전히 어렵다는 것을 보여 주며, 다지선다 검사와 병행한 생성 기반 평가의 필요성을 제기한다.

arXiv:2609.26780v2cs.CL

SpeakerMem-R1: 다자간 대화를 위한 화자 중심 이중 트랙 메모리

SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue

다자간 환경에서의 장기 대화 메모리는 긴 대화에서 관련 내용을 검색하는 것 이상을 요구한다. 즉, 누가 무엇을 말했는지, 각 발화가 누구에 관한 것인지, 개인들이 서로를 어떻게 인식하는지, 그룹이 공유하는 정보가 무엇인지, 그리고 상태가 시간에 따라 어떻게 변하는지를 구분해야 한다. 다자간 대화 벤치마크에 대한 최근 연구들은 기존의 범용 LLM 메모리 시스템이 개인 및 그룹 관계를 잃어버리거나, 구성원·그룹·시간에 걸쳐 분산된 단서를 통합하는 데 어려움을 겪는 경향이 있음을 보여준다. 이러한 문제들은 두 가지 핵심 병목, 즉 다자간 대화에서의 메시지 귀속(attribution) 및 관계 이해와, 뒤섞인 이력으로부터의 상태 재구성을 드러낸다. 이 둘을 해결하기 위해 우리는 $\textbf{SpeakerMem-R1}$을 제안한다. 이 시스템의 이중 트랙 메모리는 화자가 표시된 원문(verbatim) 메시지와, 개인 수준 및 그룹 수준 뷰로 구성된 파생 상태를 저장하며, 질의 시점에 엔티티, 이벤트, 시간을 기준으로 두 트랙의 증거를 결합한다. 구조화된 메모리를 구축하는 동안 발생하는 귀속 및 갱신 오류를 줄이고 로컬 배포를 가능하게 하기 위해, 우리는 SpeakerLevenshtein과 화자 조건부 GRPO로 Writer-R1을 학습한다. GroupMemBench, SocialMemBench, EverMemBench에서 SpeakerMem-R1은 이진 정확도(binary accuracy) 각각 47.9%, 69.2%, 61.9%를 달성한다. EverMind-AI가 공개 보고한 EverMemBench 리더보드에서는 62.33%를 달성하였으며, 이는 최신 최첨단 프레임워크 중 보고된 최고 결과이다. 또한 두 사람 간 장기 대화 경계 테스트로 사용한 LoCoMo의 전체 1,986개 질문에서 70.85%를 달성한다. 305개 질문에 대한 통제된 평가에서, RL은 SFT Writer의 평균 정확도를 57.38%에서 68.20%로 끌어올린다. 우리는 이진 정확도와 토큰(token) F1을 모두 보고하며, 절제 실험(ablation)을 통해 표준화된 평가 인터페이스 하에서 원문 트랙과 구조화 트랙, 그리고 개인 수준 뷰와 그룹 수준 뷰가 서로 상호 보완적임을 보인다.

arXiv:2608.08090v2cs.CL

통합 속의 지혜: 속담 내 비유적 언어 식별에서 다국어 학습의 역할

Wisdom in Unity: The Role of Multilingual Training in Figurative Language Identification in Proverbs

비유적 언어 식별에 대한 다국어 접근법은 새롭지 않지만, 단일 언어로 구성된 학습 데이터를 넘어서려면 번역된 다국어 지도(supervision)의 기여에 대한 더 명확한 이해가 필요하다. 본 연구는 7개 언어에 걸쳐 번역된 6,787개 인스턴스를 아우르는 742개의 속담 개념을 사용하여 이 질문을 조사한다. 저자들은 다국어 인코더와 인스트럭션 튜닝(instruction tuning)된 대규모 언어 모델(LLM)을 포함한 5개 모델을 대상으로, 다국어 지도의 수준을 점진적으로 높여 가며 평가한다. 또한 속담을 은유적(Metaphorical), 도덕/조언적(Moral/Advisory), 인과적(Cause-Effect), 문화 특수적(Culture-Specific)이라는 상호 보완적인 네 가지 비유 형태로 특징짓는 속담용 다차원 주석 프레임워크를 제안한다. 연구 결과, 전반적으로 다국어 학습(training) 데이터를 50% 이상 추가할 때 추가적인 성능 향상은 제한적이었으나, 최적의 지도 수준은 모델(model)과 언어에 따라 상이했다. 또한 다양한 비유 형태를 결합할 때 전반적인 성능이 가장 높게 나타남을 보인다. 주목할 만한 발견은 발생 빈도가 가장 낮은 비유 형태인 문화 특수적 형태가 다국어 지도 하에서 가장 큰 성능 향상을 보였다는 점이다. 나아가 속담의 도덕/조언적 형태와 문화 특수적 형태는 인스트럭션 튜닝된 LLM의 전반적인 비유 식별 성능에 더 크게 기여한다. 이러한 결과는 다국어 비유 식별 연구가 은유 중심의 분류 체계를 넘어, 문맥을 대표하는 상호 보완적인 비유적 의미 형태를 명시적으로 모델링하는 개념 수준의 다차원 프레임워크로 나아가도록 동기를 부여한다.

arXiv:2607.00848v4cs.CL

MetaHOPE: MT 및 LLM 번역 오류 분석을 위한 은유 지향 평가 프레임워크

MetaHOPE: A Metaphor-Oriented Evaluation Framework for Analysing MT and LLM Translation Errors

본 의견 논문에서 우리는 은유 번역 평가를 위한 오류 심각도 인식 주석(annotation) 프레임워크인 MetaHOPE를 제안한다. 은유는 의미적 복잡성, 문맥 의존성, 문화적 임베딩(cultural embeddings) 등의 특성으로 인해 기계 번역(MT)과 자연어 이해 및 처리(NLU, NLP)에 어려움을 제기하며, NLP 모델에서 모호성 문제를 야기할 수 있다. 최신(state-of-the-art) NLP 모델이 은유 번역에서 어떻게 수행되는지 조사하기 위해 GoogleMT, GPT5.4, Hunyuan-7b의 세 가지 대표 시스템을 신경망 기계 번역(NMT) 모델 및 LLM으로 선정하였다. 영어-중국어 및 중국어-영어 번역 목적으로 VUAMC와 PSUCMC를 포함한 두 개의 사람 주석 은유 코퍼스를 사용하였다. 사용한 원본 코퍼스는 단일언어(monolingual)이며, MetaHOPE 프레임워크를 이용해 오류 주석을 수행하고, 이중언어 활용을 위한 사람 후편집(post-edited) 골드 레퍼런스도 새 자료로 제작하였다. 은유 번역 주석을 위한 MetaHOPE 평가 프레임워크, 병렬 코퍼스 자료, 최신 자동 번역 모델에 대한 오류 분석이 은유 번역 연구 분야에 유용하고 일부 통찰을 제공할 수 있을 것으로 본다. 자료는 github.com/Jiahui84/MetaHOPE에서 공개한다.

arXiv:2507.21112v4cs.CL

자연어 처리를 활용한 인슈어테크 혁신

InsurTech innovation using natural language processing

인슈어테크(InsurTech)의 급속한 부상과 함께, 전통적인 보험사들은 경쟁력을 유지하기 위해 대체 데이터 소스와 첨단 기술을 점점 더 적극적으로 탐색하고 있다. 본 논문은 자연어 처리(NLP)와 보험 업무 내에서의 새로운 응용에 대해 개념적 개요와 실무 사례 연구를 모두 제공하며, 가공되지 않은 비정형 텍스트를 계리 분석과 의사결정에 적합한 정형 데이터로 변환하는 데 초점을 맞춘다. 전통적인 보험 데이터 소스를 보강하는 인슈어테크 업계 파트너가 제공한 실제 대체 데이터를 활용하여, 상업 보험 맥락에서 특징(feature) 편향 제거, 특징 압축, 산업 분류(classification)를 보여 주기 위해 다양한 NLP 기법을 적용한다. 이렇게 텍스트에서 도출된 보강된 인사이트는 상업 보험 요율 산정을 위한 전통적인 요율 요소를 보완하고 정교화할 뿐만 아니라, 새로운 산업 분류 기법을 도입함으로써 내재된 위험을 평가하는 새로운 관점도 제시한다. 이러한 시연을 통해, NLP가 단순한 보조 도구가 아니라 현대적이고 데이터 기반의 보험 분석을 이루는 근간 요소임을 보인다.

arXiv:2609.26610v1cs.CL

자연어 추론을 위한 의미적 추상화: 대규모 언어 모델의 의미 지식 및 추론 격차 발견과 보완을 위한 방법론적 프레임워크

Semantic Abstraction for Natural Language Inference: a Methodological Framework for Discovering and Compensating Semantic Knowledge and Reasoning Gaps in Large Language Models

많은 NLP 과제에서 뛰어난 성능을 보임에도 불구하고, LLM은 의미적 추상화와 관련해 심각한 어려움에 직면한다. 본 연구에서는 LLM이 자연어 추론(NLI)에서 추상적 의미 지식을 어떻게 활용하는지 이해하는 데 관심을 둔다. NLI는 암시적 의미, 맥락적 개념 관계, 단어 및 구 간의 의미적 연결을 해석하기 위해 정교한 언어 능력을 요구한다. 이를 위해 더 높은 수준의 추상화에서 새로운 의미 지식을 구성하는 방법론적 프레임워크를 제안하며, 이를 NLI를 위한 의미적 호환성(semantic compatibility)과 비호환성(semantic incompatibility) 개념 하에 정의한다. 이 프레임워크에서 전제(premise)와 가설(hypothesis) 간의 어휘-의미 관계의 의미를 재구성하여, LLM에서 서로 다른 추론 경로를 유도하는 보다 유연한 의미 네트워크를 달성한다. 이러한 새로운 경로들은 단일 응답에 대한 합의를 가능하게 하는 일관된 응답 패턴을 보인다. 결과는 제안이 NLI에서 LLM의 의미 지식 격차를 발견하고 보완할 수 있음을 보여주며, 정확도에서 유의미한 향상을 달성하고, 일부 모델에서는 10%를 넘는 개선을 이루었으며, 특히 non-entailment 클래스에서 두드러진다. 추론 격차를 메우기 위해서는 LLM이 단순히 더 많은 데이터가 아니라 구조화된 지식을 필요로 한다는 점이 핵심이다. 하이브리드 접근법은 간과된 단어 관계에 어텐션을 두어 모델이 누락된 정보를 합성할 수 있게 한다. 미래는 모델 크기를 키우는 것이 아니라 인간 사고의 유연성을 모방하는 의미적 스캐폴딩(semantic scaffolding)을 만드는 데 있다고 본다. 바라건대, 제안이 더 견고한 에이전트와 해석 가능한 추론의 개발을 가능하게 하고, AI를 신뢰할 수 있는 언어 이해로 이끌 것이다.

arXiv:2609.26338v1cs.CL

논증 마이닝 파이프라인 설계 및 분석: 종합적 평가를 향하여

Designing and Analysing Argument Mining Pipelines: Towards a Comprehensive Assessment

논증 마이닝(Argument Mining, AM)은 자연어를 그 이면의 논증 구조로 변환한다. 이러한 변환은 일반적으로 end-to-end AM 파이프라인을 구성하는 일련의 AM 태스크를 통해 실현된다. 그러나 AM 접근법들은 이러한 태스크를 개념화하는 방식에서 종종 달라, 서로를 직접 비교하기 어렵고 불투명하게 만든다. 이는 더 명확한 비교와 평가를 가능하게 하기 위해 AM 접근법에 대한 보다 미세한, 태스크 수준의 분석을 요구한다. 본 연구는 최신 end-to-end AM 연구들을 체계적으로 검토하는 예비 메타 연구를 제시하며, 언어학적·계산적·도메인적 관점의 삼중 프레임워크를 통해 각 파이프라인이 논증을 구조로 어떻게 모델링하고, 이를 어떻게 계산하며, 도메인 지식을 어떻게 통합하는지 분석한다. 또한 언어학적·계산적 관점에 대한 일반적 설계를 제안하여, 핵심 AM 태스크가 논증 구조의 모델링과 계산을 위해 어떻게 설계되는지 보여준다. 제안한 프레임워크는 AM 접근법 전반에 걸친 방법론 중심 서술의 토대를 마련하여, 향후 연구에서 더 깊은 이해와 더 체계적인 비교를 촉진한다.

arXiv:2609.26113v1cs.CL

미분 가능한 퍼지 추론 층: 대규모 언어 모델을 위한 단조·구성적 서열 추론 헤드

Differentiable Fuzzy Inference Layer: A Monotone, Compositional Ordinal Reasoning Head for Large Language Models

최신 언어 모델에게 "most of most students passed"를 해석하라고 하면 대개 "most"라고 답하지만, "most"를 두 번 구성하면 비율은 "some"에 더 가깝다. 우리는 이 실패를 데이터 부족이 아니라 아키텍처 선택에서 비롯된 것으로 본다. 표준 분류기 헤드는 서열 범주를 서로 독립적인 레이블로 취급하며, 자연스러운 순서를 지키거나 대수적으로 구성할 메커니즘이 없다. 우리는 미분 가능한 퍼지 추론 층(Differentiable Fuzzy Inference Layer, DFIL)을 제안한다. 이는 표준 분류기와, 순서가 있는 소속 함수(membership function) 뱅크에 기반한 스칼라 병목 분기를 짝지은 이중 경로 예측 헤드이다. DFIL은 레이블만 쓰는 헤드가 갖출 수 없는 두 가지 구조적 원시를 제공한다. 하나는 기저 양에 대한 단조성(monotonicity)이고, 다른 하나는 구성적 학습 데이터 없이 t-norm 연산으로 이루는 구성적 추론이다. 스칼라 분기는 또한 잔차 오류를 분석하기 위한 해석 가능한 인터페이스를 제공한다. 우리는 다양한 LLM 계열에 걸친 서열 자연어 과제에서 DFIL을 구현한다.

arXiv:2609.25853v1cs.CL

MemoryAthena: 잠재 및 생성 메모리에 대한 적응형 라우팅

MemoryAthena: Adaptive Routing over Latent and Generated Memories

학습된 메모리(learned-memory) 방법은 정보를 명시적 테이블에 저장하고 별도의 리더(reader)를 통해 소비하여 addressing, storage, reading을 서로 독립적으로 수정할 수 있게 한다. 우리는 유용한 메모리가 검색만이 아니라 생성될 수 있는지도 연구한다. MemoryAthena는 세 경로를 사용한다: 직접 Engram 검색(E), 검색된 Engram 단서로부터의 생성(GE), 메모리 테이블을 참조하지 않고 인과적 백본(backbone) 상태로부터의 생성(GH). 생성된 메모리는 조건부로 유용하다: 한 맥락에서는 E를 보완할 수 있지만 다른 맥락에서는 방해할 수 있다. 따라서 MemoryAthena는 E를 앵커(anchor)로 두고 생성 표현이 언제 개입해야 하는지 학습한다. 백본, 메모리, 생성기, 리더를 고정(frozen)한 상태에서, 경량 인과적 라우팅 헤드(routing head)는 E 대비 GE와 GH의 반사실적(counterfactual) 미래 토큰 가능도 이점(advantage)으로부터 학습된다. 추론 시 허용된(admitted) 후보는 유계(bounded) 보간(interpolation)을 통해 E 잔차(residual)를 수정하고, 거부(rejection) 시 직접 경로를 정확히 복구한다. 질의응답(question answering)에서 MemoryAthena는 동일 체크포인트의 직접 경로 대비 5개 과제 평균을 37.65에서 39.28로 높이며, 6개 과제 general-NLP 평균은 76.73에서 79.13으로 증가한다. 완전한 메모리 측 시스템은 고정된 백본을 제외하고 약 201M 파라미터를 포함한다. 추가 분석은 과제와 입력에 걸쳐 E, GE, GH 간의 상보적 강점을 보여 준다. 이러한 결과는 생성 메모리가 직접 검색에 대한 선택적 교정(selective correction)임을 뒷받침하고, 언제·어떤 것을·얼마나 강하게 개입할지에 대한 라우팅을 핵심 과제로 부각한다.

arXiv:2609.25669v1cs.CL

발화에서 네트워크로: 서브레딧 간 슬랭 채택 및 확산 모델링

From Utterances to Networks: Modelling Slang Adoption and Diffusion Across Subreddits

온라인 커뮤니티에서 신조어의 채택과 확산은 최근 몇 년간 다시 주목받고 있다. K-pop 노래를 가리키는 APT와 같은 인터넷 슬랭 용어나, 난처하지만 중추적인 사건을 뜻하는 Canon Event와 같은 표현이 온라인에서 유행함에 따라, 이들의 성공에 기여하는 메커니즘을 이해하는 일이 점점 더 중요해지고 있다. 선행 연구는 슬랭 확산을 사회적 상호작용의 관점 또는 슬랭 자체의 언어적 속성의 관점에서 설명해 왔으나, 두 관점을 함께 다루는 경우는 드물었다. 주요 장애물 중 하나는 대규모 온라인 커뮤니케이션에서 슬랭 사용을 주석(annotation)하는 데 드는 높은 비용이었다. 그러나 최근 대규모 언어 모델(LLM)의 발전으로 이를 이러한 작업을 위한 확장 가능한 주석 도구로 활용할 수 있게 되었다. 본 연구에서는 먼저 실제 Reddit 커뮤니케이션에서 슬랭 사용을 탐지하는 LLM의 성능을 평가하기 위해 사람이 주석한 벤치마크를 구축한다. 이어서 LLM 기반 주석을 활용하여 슬랭의 채택과 확산을 모델링한다. 분석 결과, 브리징 자본(bridging capital)이 높은 슬랭 확산자는 이후의 채택 증가와 연관되는 반면, 본딩 자본(bonding capital)이 높은 확산자는 채택 감소와 연관되는 것으로 나타났다. 또한 슬랭 용어가 사용되는 맥락이 더 넓을수록 신규 사용자가 이를 공식적으로 채택하기까지의 시간이 더 길어진다는 것도 확인했다. 종합하면, 이러한 결과는 소셜 네트워크 구조와 언어적 맥락이 모두 온라인 커뮤니티에서 신조어의 확산을 좌우함을 시사한다.

arXiv:2609.25298v1cs.CL

FineWeb-CLaR: 벤치마크 정렬 코퍼스 감사를 위한 문화·언어·지역 어노테이션

FineWeb-CLaR: Culture, Language, and Region Annotations for Benchmark-Aligned Corpus Auditing

언어 모델의 문화적 평가 커버리지와 견고성(robustness)은 사전학습 코퍼스와 문화 벤치마크가 비교 가능한 메타데이터로 거의 색인되지 않아 진단하기 어렵다. 벤치마크는 점점 언어, 지역, 로케일별 관행 수준의 문화적으로 맥락화된 현상을 대상으로 하는 반면, 웹 규모 코퍼스는 보통 언어로만 구성된다. 공유 문화-언어-지역 층은 이러한 자원을 비교 가능하게 하여, 대상 문화적 현상이 사전학습 데이터에 반영되는지, 벤치마크로 평가되는지, 또는 둘 다인지에 대한 감사(auditing)를 가능하게 한다. 이를 위해 FineWeb과 FineWeb-2에서 파생된 대규모 주석 데이터셋인 FineWeb-CLaR을 제안한다. FineWeb-CLaR은 코퍼스 감사 및 벤치마크 정렬을 위해 웹 문서를 공유 문화-언어-지역 축에 배치한다. FineWeb-CLaR은 URL에서 유도한 지역 레이블과 문화 주제 출처(provenance)로 FineWeb 및 FineWeb-2의 전체 30.9B개 문서 컬렉션에 어노테이션한다. 우리의 지역 해석기(region resolver)는 문서의 25.61%(7.92B)에 비어 있지 않은 지역을 할당한다. 문화 주제 분석을 위해 로케일별 주제를 유도하고 Liu et al. (2025)의 Cultural Taxonomy 14개 리프에 투영하여 코퍼스 측 비교를 위한 Locale Topic Distributions(LTD)를 생성한다. 또한 277개의 문화 NLP 벤치마크에 동일한 분류 체계, 언어 커버리지, 지역 커버리지로 어노테이션한다. 이 자원들을 함께하면 코퍼스 측 사전학습 근거와 벤치마크 측 평가 커버리지 간의 직접 비교가 가능하다.

arXiv:2609.25186v1cs.CY

패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이

From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health

전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.

arXiv:2607.14109v2cs.CL

ReasonLab: A Controlled and Auditable Evaluation of Prompting Techniques for Multiple-Choice QA

대규모 언어 모델(LLM)의 능력을 탐색하고 다지선다형 질의응답(MCQA)에 대한 견고한 해법을 구축하는 일은 자연어 이해에서 여전히 핵심 과제이다. 또한 LLM의 급속한 확산은 더 정교한 프롬프팅 기법이 더 나은 성능을 낸다는 암묵적 가정을 만들어 왔다. 여러 연구가 그러한 이득을 주장하지만 서로 다른 모델, 프롬프트 문구, 답 추출 규칙 아래에서 보고하므로, 이득을 기법만으로 귀속할 수 없다. 우리는 ReasonLab으로 이 공백을 메운다. ReasonLab은 프롬프팅 기법을 모델·데이터셋과 함께 일급 실험 변수로 두고 모든 생성 결과를 검사용으로 보존하는 평가 프레임워크이다. ReasonLab으로 temperature 0에서 10개 MCQA 데이터셋, 27개 모델 구성, 480,927회 평가에 걸쳐 8가지 프롬프팅 기법에 대한 통제 연구를 수행했다. 프롬프팅 기법은 정확도의 사소한 결정 요인임을 발견했다. 추론 예산이 없는 구성에서는 추론 트리거가 직접 프롬프팅 대비 3.92~4.69%p만 개선하며 서로 구별되지 않고, 추론이 켜진 구성에서는 어떤 기법도 0.51%p 이상 차이 나지 않는다. Self-Generate만 일관된 효과를 보이며 2.95%p 감소이다. 세 가지 현상을 추가로 조사한다. (1) 공통 데이터셋 집합에서의 모델 비교—모델 크기는 정확도를 예측하지 않는다. (2) 사고(thinking) 예산 간 트레이드오프—추론 활성화는 최대 12.74%p 가치가 있으나 예산을 8배 늘려도 0.48~2.10%p만 추가된다. (3) 데이터셋 난이도 변동—벤치마크의 60%가 70% 미만 정확도이며 최easy~최hard 간 43.9%p 격차가 있다. 이 결과는 MCQA에서 프롬프팅 기법은 모델 추론 활성화에 비해 사소한 레버이며 상당한 여지가 남아 있음을 시사한다.

arXiv:2604.25031v3cs.CL

라운드트립 검증과 수정을 통한 충실한 자동 형식화

Faithful Autoformalization via Roundtrip Verification and Repair

LLM이 자연어를 형식화(formalize)할 때, 그 출력이 원문에 충실한지 어떻게 알 수 있을까? 본 논문은 정답 주석(ground-truth annotation)을 필요로 하지 않는 라운드트립 검증(roundtrip verification) 방식을 제안한다. 이 방식은 문장을 형식화하고, 그 결과를 다시 자연어로 번역한 뒤, 이를 재형식화하여 형식 도구(formal tool)로 논리적 동치성을 검사한다. 두 형식화 결과가 일치하면 이는 충실한 형식화임을 뒷받침하는 증거가 된다. 두 결과가 일치하지 않으면 단계 수준(stage-level) 진단을 통해 오류가 발생한 특정 번역 단계를 국소화하고, 범위 한정 수정 연산자(scoped repair operator)가 해당 단계를 바로잡으려 시도한다. 우리는 두 가지 법령 도메인(텍사스 교통법(Texas Transportation Code)과 텍사스 공원·야생동물법(Texas Parks and Wildlife Code))에서 두 가지 LLM(Claude Opus~4.6과 GPT-5.2)과 세 가지 수정 베이스라인을 사용하여 이 프레임워크를 평가한다. 진단 기반 범위 한정 수정이 가장 효과적인 방법이었으며, 그 효과는 진단 함수의 신뢰성에 좌우된다. 두 도메인과 두 모델 전반에서, 우리의 전체 수정 시스템 하에서 동치성 검사를 통과하지 못한 규칙은 통과한 규칙보다 자연어 추론(NLI) 드리프트(drift)가 1.4배에서 2.5배 더 크게 나타난다.