PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.20425v1cs.CL

무엇이 좋은가? LLM 추론 trace에서 문학적 품질의 암묵적 이론 추출 및 검증

What is Good? Extracting and Testing Implicit Theories of Literary Quality from LLM Reasoning Traces

"좋은" 글쓰기를 무엇이 만드는지는 문학 연구와 계산언어학에서 지속적인 질문으로 남아 있다. 우리는 추론 기능이 활성화된 LLM이 문학적 품질을 어떻게 평가하는지에 대한 2개 연구 조사를 제시한다. 연구 1에서, 우리는 정典 문학부터 익명 포럼 게시글까지 6개 품질 등급에 걸친 30개의 실제 텍스트로 구성된 벤치마크를 만들고, 모델의 추론 trace에서 품질에 대한 모델의 암묵적 이론을 추출한다. 5회의 DeepSeek 반복 실험에서, 모델은 평균 등급 분류 정확도 79.3%를 달성한다. trace는 일관된 진술된 이론을 드러낸다: 모델은 정확성보다 의도성을 더 중시하며, 기교, 깊이, 독특한 voice를 우선시한다. 스타일이 일치하지만 알아볼 수 없는 passage를 사용한 친숙도 실험은 출처 인식이 점수를 부풀릴 수 있음을 시사하지만, 정典 원본과 연구자가 작성한 pastiche 간의 실질적 품질 차이에 의해 교란된다. 연구 2에서, 우리는 5개의 정典 산문 passage에 대한 체계적 품질 저하를 통해 이 이론을 탐색한다. 우리는 6가지 조작—어휘 단순화, 리듬 평탄화, imagery 제거, voice 일반화, 구조 단순화, 복합 저하—을 적용하고 각 버전을 재평가한다. 어휘 단순화는 가장 작은 품질 손실(0.41 +/- 0.46점)을 유발하며, 구조(2.78) 또는 voice(2.34) 손실보다 훨씬 낮다. 복합 저하는 치명적(-5.64)이지만 부가적(subadditive)이 아니다. Qwen QwQ와의 탐색적 비교는 동일한 광범위한 정성적 패턴을 보여준다. 종합하면, 이 연구들은 LLM의 글쓰기 품질 판단이 전체론적(holistic)이고 작가 특이적(author-specific)이며, 어휘적 특성보다 구조적 특성에 더 민감함을 시사하며, 자동화된 글쓰기 피드백과 계산 미학(computational aesthetics)에 함의를 갖는다.

arXiv:2607.09999v2cs.CL

양자화된 LLM 추론에서의 조용한 실패: 공허한 수렴과 실패 모드 변화에 대한 분류 체계 기반 분석

Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts

우리는 사후 학습 양자화(post-training quantization)가 작업 정확도가 유지되는 경우에도 대규모 언어 모델(LLM)의 추론 방식을 조용히 변화시킬 수 있음을 보인다. 두 명의 독립적인 인간 주석자(Cohen's κ = 0.906)에 의해 검증된 6가지 범주의 실패 분류 체계를 사용하여, 세 가지 양자화 정밀도(FP32, FP16, NF4)와 네 가지 추론 벤치마크에 걸쳐 다섯 가지 인스트럭션 튜닝된 LLM(3B~14B 파라미터)에서 생성된 30,000개의 사고의 연쇄(chain-of-thought) 출력을 분류한다. 정확도는 정밀도 전반에 걸쳐 견고하지만(최대 3.1 pp 하락), 공허한 수렴(Hollow Convergence, 불완전하거나 검증 불가능한 추론을 통해 정답에 도달하는 경우)은 NF4에서 크기 의존적인 유의미한 변화를 보이며, 테스트된 가장 작은 두 모델에서는 급격히 감소하는 반면 12B 이상의 모델에서는 변화가 없다. 이 효과는 벤치마크에 따라서도 상이하게 나타난다: GSM8K는 전혀 영향을 받지 않는 반면, LogiQA와 ARC-Challenge에서 가장 큰 변화가 관찰된다. 나아가 NF4에서 LLaMA 3.2-3B의 오답 실패 중 Shortcut Collapse(지름길 붕괴)는 44%에서 78%로 증가하는 반면, Confidence Snowballing(신뢰도 눈덩이 효과)은 15.8%에서 거의 0으로 붕괴하며, 이는 정확도 지표로는 포착되지 않는 질적 변화이다. 마지막으로, 공허한 수렴은 표면적인 텍스트 특징만으로는 신뢰성 있게 탐지될 수 없으며(최고 F1 = 0.53), 이는 표준 평가 파이프라인이 포착하지 못하는 배포 관련 실패 모드임을 확립한다.

arXiv:2607.09424v3cs.CL

독일어 및 영어를 위한 주권적 오픈소스 파운데이션 모델

A Sovereign, Open-Source Foundation Model for German and English

본 논문에서는 독일어와 영어를 위한 주권적 오픈소스 전문가 혼합(MoE) 하이브리드 Mamba 트랜스포머 파운데이션 모델인 Soofi S 30B-A3B를 소개한다. 이 하이브리드 설계는 토큰당 30B 파라미터 중 3B만 활성화하며, 컨텍스트가 증가해도 추론 캐시를 거의 일정하게 유지함으로써, 장문 컨텍스트 및 고동시성 배포 환경에서 밀집 모델 대비 결정적인 처리량 우위를 제공한다. 약 27조 토큰으로 사전학습하되 독일어 비중을 의도적으로 높인 Soofi S는, 영어 및 독일어 집계 벤치마크에서 밀집 14B~27B 모델과 대등한 성능을 보이며, 17개 오픈 베이스 모델 중 양 언어 코드 집계 점수에서 최고를 달성하고, 활성 파라미터 수가 훨씬 큰 모델을 포함한 비교 대상의 모든 유럽 주권 기준선을 능가한다. 완전 공개 모델 중에서는 Olmo 3 32B 및 Apertus 70B를 앞서며 영어 및 독일어 평가 점수 모두 최고를 기록한다. Soofi S는 뮌헨 소재 Deutsche Telekom이 운영하는 주권적 HPC 규모 AI 인프라인 German Industrial AI Cloud에서 처음부터 끝까지 구축되었다. Soofi S는 가중치, 선별된 중간 체크포인트, 전체 소스별 데이터 집계, 하이퍼파라미터, 학습 및 평가 코드를 포함하여 매우 허용적인 오픈 액세스 조건으로 공개될 예정이다. 소스 라이선스가 허용하는 경우 데이터 구성 산출물은 허용적 라이선스 하에 배포되며, 상업적 라이선스 소스는 집계 통계 및 정확한 혼합 비율과 함께 문서화된다.

arXiv:2607.09328v2cs.CL

WILDTRACE: 장문 컨텍스트 추론에서 자연적 증거 흔적 벤치마킹

WildTrace: Benchmarking Natural Evidence Trails in Long-Context Reasoning

긴 문서에서 복잡한 질문에 답하려면, 원문 자체가 멀리 떨어진 구절들에 걸쳐 자연스럽게 분산시킨 증거를 통합해야 하는 경우가 많다. 사고 보고서에서는 재난을 공동으로 설명하는 운영 조건, 설계 결함, 누락된 안전 점검이 수십 개의 섹션에 걸쳐 분산되어 나타날 수 있으며, 소설에서는 등장인물의 진짜 동기가 그것이 연관성을 갖는 순간과는 거리가 먼 장면들을 통해서만 드러날 수 있다. 이러한 원문 내부 증거 통합은 실제 장문서 분석의 핵심이지만, 기존 벤치마크들은 대체로 이를 회피해왔다. 니들 프로브(needle probe), 삽입된 사실(planted facts), 역설계된 다중 홉 체인(multi-hop chain)은 분포, 배치, 또는 어조 면에서 호스트 텍스트와 다를 수 있는 증거를 내장하므로, 높은 성능이 진정한 원문 추론을 반영하는지 아니면 분포적 아티팩트를 반영하는지 불분명하다. 우리는 기술적 사고 보고서 및 잘 알려지지 않은 문학적 서사와 같은 214개의 자연 발생 장문 원문에 걸쳐 481개의 태스크로 구성된 벤치마크인 WILDTRACE를 소개한다. 이 벤치마크에서 모든 증거 흔적은 문서 자체의 인과적·시간적·서사적 논리에서 비롯된다. 펄(Pearl)의 인과 계층 구조와 기존의 다중 홉 추론 유형론을 바탕으로, 장문서에서 분석적 독해의 고유한 관계적 요구를 특징짓는 일곱 가지 원문 내부 증거 기하학(source-internal evidence geometry)을 정의한다. 원문 우선 구성 파이프라인은 질문을 작성하기 전에 문서 구조에서 후보 흔적을 채굴하며, 각 항목은 단서 필요성, 답변 근거성, 루브릭 충실도, 오염 저항성 및 답변 가능성을 다루는 다단계 검증(validation)을 거친다. 모델이 실제 고위험 분석 태스크에 점점 더 많이 활용됨에 따라, 정보 접근과 자연스럽게 분산된 증거에 대한 추론 사이의 이러한 격차가 장문 컨텍스트 연구의 다음 단계를 정의하는 핵심 과제로 부상하고 있다.

arXiv:2606.31796v2cs.CL

CHERRY: 순환 표현 수율을 갖춘 압축 계층적 전문가

CHERRY: Compressed Hierarchical Experts with Recurrent Representational Yield

최전선 언어 능력은 보통 최전선 연산량으로 얻는다. CHERRY는 다른 트레이드오프를 보여준다. 이것은 하나의 원칙 위에 구축된 주권적 한국어 모델 계열이다: 답을 결정하는 토큰을 감독하고, 나머지는 공유 가중치가 담당하게 한다. 동일 연산량 조건에서 이는 날카롭고 재현 가능한 분리를 드러낸다---선택 토큰 감독은 홀드아웃 판별력은 보존하지만 자유 생성은 붕괴시키며, 전체 시퀀스 앵커는 격차의 일부만 회복한다. 동일 신호가 병합 후 치유(heal-after-merge) 순환-표현-수율 루프를 구동하여 48개 레이어를 6개의 고유 블록으로 압축하며, 거의 dense 동등성을 달성한다(손실 2.934의 227M vs 손실 2.926의 566M dense 모델). MoEE 융합(2.789)으로 이를 구성한다---동시기 최전선 looped-MoE 연구가 독립적으로 추구하는 순환 압축 방향이며, 우리는 이를(아직 측정하지는 않았지만) 최전선 규모로 투사한다. 또한 2-토큰 감독으로 메타인지를 설치한다(유형별 200개 홀드아웃 KO 프롬프트, kappa>0.82, +/-6.9pp): 1.2B에서 97.6% 손실 유지율로 자기 교정 12->47%, jailbreak 23->4%이며, 사전 등록된 1B->13.7B ablation이 피연산자 결합(operand-binding) 한계를 용량으로 국한한다(1B lookup vs 13.7B H-PRESERVE). CyberMetric에서 1.8B 모델을 보고된 인간 전문가 수준으로 특화한다(75.0% vs 30명 전문가 평균 72.24%). 공개된 1.8B 토크나이저는 Gemma-4보다 한국어 효율이 9.2% 높다. 처음부터 학습한 12B는 주권적 한국어 토크나이저(어휘 131,037)를 추가한다. 정부 운영 K-AI Korean-LLM 리더보드에서 공개 1.8B가 HLE(Ko) 열을 선도한다(0.123 vs 0.077; 전체 51/78). 최전선에서는 하나의 120GB 가속기에서 적응된 122B 모델을 파인튜닝하고 서빙한다(측정 최대 83GB). 출처(provenance)는 구성원마다 다르며 이를 정확히 명시한다. 아키텍처와 레시피는 전 구간에서 우리 것이며, 모든 주장은 공개된 큐레이션된 측정에 귀속된다.

arXiv:2606.21262v2cs.AI

ARCO: 다단계 LLM 기반 에이전트를 위한 공진화 적응형 루브릭

ARCO: Adaptive Rubrics with Co-Evolution for Multi-Step LLM-Based Agents

다단계 LLM 에이전트를 위한 강화학습은 종종 성공 여부는 나타내지만 궤적이 좋은지 나쁜지 그 이유를 설명할 수 없는 스칼라 보상에 의존한다. 루브릭 기반 보상은 자연어 기준을 통해 해석 가능성을 높이지만, 기존 방법들은 두 가지 한계를 공유한다: 궤적 수준에서 점수를 매겨 개별 단계에 대한 안내를 제공하지 않으며, 채점기가 폐쇄형이고 정적이어서 학습 중 에이전트가 진화함에 따라 적응할 수 없다. 우리는 ARCO(Adaptive Rubric CO-evolution)를 제안한다. ARCO는 단계별 루브릭을 생성하고 각 행동에 대해 루브릭 조건부 단계 수준 보상을 예측하며, 온-정책 롤아웃에서 이 루브릭 모델을 지속적으로 업데이트하여 기준과 점수가 에이전트의 개선되는 행동과 공진화하도록 한다. HotpotQA, 2WikiMultiHopQA, MuSiQue에서 두 개의 오픈소스 백본을 사용한 실험에서 ARCO는 결과-, 루브릭-, 프로세스 보상 기준선들보다 모든 설정에서 최고의 EM을 달성했으며, 분석 결과 루브릭이 단계별로 구체적이고 설계 선택에 강건하며 에이전트 행동 진단에 유용함을 보여준다. 코드와 데이터는 https://github.com/zihangtian/ARCO 에서 제공된다.

arXiv:2606.00048v2cs.CY

원칙적으로는 진보적, 실천에서는 중도적: LLM 정치적 바이어스는 측정 도구에 따라 달라진다

Progressive in Principle, Centrist in Practice: LLM Political Bias Is Instrument-Dependent

이전 연구는 인스트럭션 튜닝(instruction-tuned) LLM이 중도 좌파(left-of-center) 정치적 바이어스를 보인다고 밝혔지만, 이를 전적으로 추상적 설문을 통해서만 측정했다. 우리는 이러한 결과가 구체적 정책 결정으로 일반화되지 않음을 보인다. 스위스 직접민주주의에 기반한 이중 측정 도구(dual-instrument) 방법론을 제안한다: Smartvote 설문(75개 정책 질문)을 66개 LLM에 실시하고 스위스 연방의회(Swiss National Council) 선출 의원 184명과 비교했으며, 4개 국어와 3가지 정보 조건 하에서 9개 주요 LLM에 48건의 실제 연방 국민투표(Volksabstimmungen)를 제시하고 실제 결과 및 정당 권고(Parolen)와 비교했다. 두 측정 도구는 일치하지 않는다. (1) Smartvote를 지배하는 좌-우 합의 그래디언트(기존 연구 재현; Cohen's d = 3.64)는 국민투표에서는 중앙 집중형으로 이동하며, 모델은 좌파 SP 및 Gruene보다 중도 Die Mitte 및 FDP와 가장 많이 일치한다(Wilcoxon p = 0.008). (2) 일부 모델에서는 질문의 내용보다 언어가 답변을 더 많이 바꾼다: 언어 간 일관성은 50%(Mistral)에서 98%(GPT-5.4)까지 다양하다. (3) 두 모델은 진보적·보수적 제안 모두에서 유사한 비율로 국민투표의 83-94%에 Nein(반대) 표를 했다(binomial p < 0.0001). 이는 좌-우 바이어스가 아니라 현상 유지(status-quo) 회피이다. 기존 연구가 측정한 "좌향 바이어스"는 추상적 측정 도구를 넘어 확장되지 않을 수 있다: 실제 결정에 직면했을 때 LLM은 좌파의 연정 파트너라기보다 신중한 공무원처럼 행동하며, 중도적이고 언어에 따라 일관성이 없다.

arXiv:2605.27390v3cs.CL

EvoSpec: 실시간 어휘 및 매개변수 적응을 통한 투기적 디코딩(speculative decoding) 진화

EvoSpec: Evolving Speculative Decoding via Real-Time Vocabulary and Parameter Adaptation

투기적 디코딩(speculative decoding)은 초안-검증(draft-then-verify) 생성을 통해 대규모 언어 모델(LLM) 추론을 가속하지만, 경량 초안(draft) 모델은 효율성과 품질이 결합된 한계에 직면한다. 대규모 어휘 출력 투영(projection)은 비용이 크고, 제한된 초안 용량과 정적 매개변수는 전문화되거나 변화하는 입력에서 수용률(acceptance)을 낮춘다. 어휘 가지치기(pruning)는 투영 비용을 낮추지만, 정적 변형은 국소적으로 중요한 롱테일(long-tail) 토큰을 놓치고, 동적 변형은 사전 설정된 선택 정책과 예산에 민감하다. 또한 제한된 초안 용량은 대상 토큰이 포함되어 있더라도 초안 분포를 정렬(alignment)되지 않은 상태로 둘 수 있다. 온라인 정렬(alignment)은 초안 품질을 개선하지만, 전체 매개변수 업데이트는 상당한 메모리와 지연(latency) 오버헤드를 유발한다. 우리는 검증 피드백으로부터 활성 어휘와 경량 초안 매개변수를 공동으로 적응시키는 EvoSpec을 제안한다. EvoSpec은 의미적·통계적 토큰 이웃을 비동기적으로 검색하고, 정확한 대상 모델 검증을 유지하면서 커리큘럼 가중 온라인 LoRA 정렬을 수행한다. Qwen3-8B/EAGLE-2에서 EvoSpec은 기본 디코딩 대비 $2.18\times$ 속도 향상, EAGLE-2 대비 $1.20\times$ 이득을 달성하며, 전문 도메인 커버리지를 개선하고 전체 매개변수 온라인 적응보다 $27\%$ 적은 보조 GPU 적응 메모리를 사용한다.

arXiv:2605.25572v2cs.CL

PennySynth: 자동 양자 코드 생성을 위한 RAG 기반 데이터 합성

PennySynth: RAG-Driven Data Synthesis for Automated Quantum Code Generation

양자 프로그래밍 프레임워크의 복잡성 증가는 기존 대규모 언어 모델(LLM) 기반 코드 어시스턴트의 중요한 한계를 드러냈다. 범용 모델은 전문적인 양자 코딩 과제에 직면하면 PennyLane 전용 게이트 이름을 환각하고, 디바이스 설정을 잘못 배치하며, 구조적으로 유효하지 않은 회로를 생성한다. 본 논문은 PennySynth를 제안한다. 이는 13,389개의 PennyLane 지시-코드 쌍으로 구성된 큐레이션된 지식 베이스에 LLM 추론을 조건화하여 이러한 공백을 해소하는 검색-증강 생성(RAG) 프레임워크이다. 이 지식 베이스는 공식 PennyLane 저장소, 커뮤니티 GitHub 소스, QHack 대회 아카이브에 대해 추출, 검증, 중복 제거의 3단계 파이프라인을 통해 구축되었다. PennySynth는 자연어-코드 검색을 위해 학습된 st-codesearch-distilroberta-base를 사용하는 코드 인식 임베딩 전략을 도입하여, 범용 기준선과 비교해 평균 검색 코사인 유사도를 0.45에서 0.726으로 높였다. 2022, 2023, 2024년 QHack 대회 3년간에 걸친 74개 과제에서 평가한 결과, PennySynth는 QHack 2022, 2023, 2024에서 각각 64%, 68%, 52%의 pass@5를 달성했으며, 검색 없이 사용한 Claude Sonnet 4.6 대비 각각 +28, +25, +28 퍼센트포인트 향상을 보였다. 또한 qml.* 토큰 패턴의 가중치를 높이는 양자 적응형 CodeBLEU 지표를 도입하고, 구조적 코드 유사도와 기능적 정확성이 양자 코드 품질의 서로 다른 측면을 포착함을 보였다. 통제된 ablation 연구 결과, 코드 인식 임베딩이 검색 성능의 주요 동인이며, 데이터셋 확장과 소스 구성은 검색 품질이 충분히 정밀할 때 추가적인 이득을 제공함을 밝혔다.

arXiv:2605.22660v2cs.CL

기계 번역을 거쳐도 도덕적 의미는 보존된다: 도덕 기반 코퍼스의 다국어 증거

Moral Semantics Survive Machine Translation: Cross-Lingual Evidence from Moral Foundations Corpora

도덕적 언어는 미묘하고 문화적으로 가변적이어서 언어 간에 충실하게 번역하기 어렵다. 관용 표현, 속어, 문화적 어투는 피하기 어려운 번역 아티팩트를 유발한다. 그럼에도 자동화된 도덕 분류는 거의 전적으로 영어로만 존재하는 언어별 주석 코퍼스에 의존한다. 우리는 대규모 언어 모델(LLM) 기반 번역이 이 격차를 메울 수 있는지를 폴란드어를 테스트 사례로 삼아 조사한다. 다양한 주제의 도덕적으로 주석 처리된 소셜 미디어 게시물 약 5만 건($\sim$50k)을 사용하여, 원칙에 기반한 4가지 방법 검증 파이프라인을 적용한다: LaBSE 다국어 임베딩 유사도, Centred Kernel Alignment(CKA), LLM-as-judge 평가, 심층 학습 분류기 동등성 테스트. 속어, 비속어, 문화적 함의가 담긴 표현 처리의 한계에도 불구하고, 직접 번역이 미묘한 도덕적 단서를 다국어 머신러닝으로 충분히 추출할 수 있을 만큼 잘 보존함을 보인다 — 기반(foundation) 전반에 걸친 평균 코사인 유사도 0.89, 분류 정확도 격차 0.01–0.02 AUROC. 이러한 결과는 기계 번역이 현재 이 영역에서 자원이 부족한 언어에서의 도덕적 가치 연구를 위한 실용적이고 비용 효율적인 경로임을 보여준다. 우리는 이를 대표적인 슬라브어인 폴란드어에 대해 입증하며, 관련 언어로의 일반화가 기대됨을 밝힌다.

arXiv:2604.14180v3cs.CL

외부 표현 없는 내부 지식: 고전 중국어 언어 모델의 일반화 경계 탐색

Internal Knowledge Without External Expression: Probing the Generalization Boundary of a Classical Chinese Language Model

순수 고전 중국어 15.6억 토큰으로 구성된 큐레이션 코퍼스에서 318M 매개변수 트랜스포머 언어 모델을 처음부터 학습했으며, 영어 문자나 아라비아 숫자는 전혀 포함하지 않았다. 체계적인 분포 외(OOD) 테스트를 통해, 모델이 알려진 입력과 알려지지 않은 입력을 구별하는지, 그리고 그 구별을 생성 텍스트에서 표현하는지를 조사했다. 내부적 불확실성과 외부적 불확실성 사이에 뚜렷한 분리가 있음을 발견했다. 내부적으로 모델은 실제 역사적 사건과 조작된 사건 사이에서 perplexity 점프 비율 2.39배를 보였으며(p = 8.9e-11, 그룹당 n = 92), 반조작 사건(실존 인물 + 허구적 행동)에서 가장 높은 perplexity(4.24배, p = 1.1e-16)를 나타내어, 구문 패턴 매칭을 넘어선 진정한 사실적 인코딩을 입증했다. 외부적으로는 모델이 불확실성을 표현하는 법을 전혀 학습하지 못했다. 고전 중국어의 인식론적 표지(epistemic marker)는 OOD 질문(3.5%)에서 분포 내 질문(8.3%)보다 더 낮은 비율로 나타났으며(p = 0.023), 이는 진정한 메타인지가 아니라 학습 데이터의 수사적 관습을 반영한다. 이 두 발견을 세 언어(고전 중국어, 영어, 일본어), 세 문자 체계, 110M부터 1.56B까지 8개 모델에 걸쳐 검증했다. 내부적 사실 인코딩 효과는 8개 모델 중 6개에서 재현되며 스케일링에 따라 나타난다(가장 작은 일본어 모델 2개는 아직 실제 역사와 조작된 역사를 구분하지 못함). 반면 불확실성 표현의 외부적 부재는 8개 모델 모두에서 일관된다. 또한 불확실성 표현 빈도는 인식 상태가 아니라 전적으로 학습 데이터 관습에 의해 결정됨을 보였다. 고전 중국어 모델은 "겸손 역설"(humility paradox, 알려진 주제에서 더 많은 완곡 표현)을 보이는 반면, 일본어 모델은 거의 완곡 표현을 하지 않는다. 메타인지적 표현—"모르겠다"고 말하는 능력—은 언어 모델링만으로는 창발하지 않으며, 인간 피드백 강화학습(RLHF)과 같은 명시적 학습 신호가 필요하다고 주장한다.

arXiv:2604.11666v2cs.CL

맞춰 연기하기: 마음 이론을 통한 믿음 유도를 위한 이중 에이전트 방어자 학습

Playing Along: Learning a Double-Agent Defender for Belief Steering via Theory of Mind

대규모 언어 모델(LLM)이 대화형 시스템의 엔진이 되면서, 대화 상대의 의도와 상태를 추론하는 능력(즉, 마음 이론(theory-of-mind, ToM)을 형성하고 활용하는 능력)은 잠재적으로 적대적인 상대와의 안전한 상호작용에 점점 더 중요해지고 있다. 우리는 새로운 프라이버시 주제의 ToM 과제인 ToM for Steering Beliefs(ToM-SB)를 제안한다. 이 과제에서 방어자는 이중 에이전트(Double Agent)로서 공유된 세계관 안에서 부분적 사전 지식을 가진 공격자의 믿음을 유도해야 한다. ToM-SB에서 성공하려면 방어자는 공격자와 상호작용하며 공격자에 대한 ToM을 형성해야 하며, 목표는 공격자가 민감한 정보 추출에 성공했다고 믿도록 속이는 것이다. Gemini3-Pro, GPT-5.4와 같은 강력한 프론티어 모델도 ToM-SB에서 어려움을 겪으며, 공격자의 믿음에 대해 추론하도록 유도하는 ToM 프롬프팅(ToM prompting)을 사용하더라도 공격자가 부분적 사전 지식을 가진 어려운 시나리오에서 공격자를 속이지 못하는 경우가 많다. 이 격차를 줄이기 위해, 우리는 강화학습으로 ToM-SB에서 AI 이중 에이전트로 행동하도록 모델을 학습시키며, 속이기 성공 보상과 ToM 보상을 모두 검증한다. 주목할 점은, ToM과 공격자 속이기 사이에 양방향적으로 창발적(emergent) 관계가 있다는 것이다. 속이기 성공만 보상하면 ToM이 향상되고, ToM만 보상하면 속이기가 향상된다. 서로 다른 강도의 네 가지 공격자, 여섯 가지 방어자 방법, 그리고 분포 내 및 분포 외(OOD) 평가 모두에서 ToM과 공격자 속이기의 향상이 잘 상관관계를 보이며, 믿음 모델링이 ToM-SB에서의 성공의 핵심 동인임을 보여준다. ToM과 속이기 보상을 결합한 AI 이중 에이전트가 가장 강한 속이기 및 ToM 성능을 달성하며, 어려운 시나리오에서 ToM 프롬프팅을 적용한 Gemini3-Pro와 GPT-5.4를 능가한다. 또한 ToM-SB와 AI 이중 에이전트를 더 강한 공격자로 확장할 수 있음을 보여, OOD 설정으로의 일반화와 우리 과제의 확장 가능성을 입증한다.

arXiv:2604.00004v2cs.CL

LinearARD: RoPE 복원을 위한 선형 메모리 어텐션 증류

LinearARD: Linear-Memory Attention Distillation for RoPE Restoration

대규모 언어 모델(LLM)의 컨텍스트 윈도우 확장은 일반적으로 위치 인코딩(positional encoding)을 스케일링한 뒤 경량 연속 사전학습(CPT, Continual Pre-Training)을 수행하는 방식으로 이루어진다. 긴 시퀀스 처리에는 효과적이지만, 이 패러다임은 종종 원래 모델의 능력을 훼손하여 표준 단문 벤치마크에서 성능 저하를 초래한다. 우리는 LinearARD를 제안한다. 이는 동결된 기본 RoPE(native-RoPE) 교사와의 어텐션 구조 일관성을 통해 RoPE 스케일링된 학생(student) 모델을 복원하는 자기 증류(self-distillation) 방법이다. 불투명한 은닉 상태(hidden state)를 맞추는 대신, LinearARD는 밀집 $Q/Q$, $K/K$, $V/V$ 자기 관계(self-relation) 행렬의 행별(row-wise) 분포를 정렬하여 어텐션 역학을 직접 감독한다. $n \times n$ 관계 맵(relation map)의 이차 메모리 병목을 극복하기 위해, 우리는 선형 메모리 커널을 도입한다. 이 커널은 토큰별 log-sum-exp 통계를 활용하고, 역전파(backward pass)에 로짓 재계산을 융합하여 정확한 Kullback-Leibler(KL) 발산과 그래디언트를 계산한다. 4K에서 32K로 확장한 LLaMA2-7B에서 LinearARD는 최첨단 기준선(baseline)의 단문 성능의 98.3%를 회복하면서 장문 컨텍스트 벤치마크에서는 이를 능가한다. 특히, 우리 방법은 LongReD와 CPT가 필요로 하는 256M 토큰에 비해 단 4.25M 학습 토큰만으로 이러한 결과를 달성한다. 코드는 https://github.com/gracefulning/LinearARD 에서 제공된다.

arXiv:2603.11838v2cs.CL

DatedGPT: 시간 인식 사전학습으로 대규모 언어 모델의 Lookahead Bias 방지

DatedGPT: Preventing Lookahead Bias in Large Language Models with Time-Aware Pretraining

인터넷 규모 데이터로 사전학습된 대규모 언어 모델(LLM)은 예측 작업에서 lookahead bias 위험이 있으며, 이는 학습 중 이미 실제 결과를 본 적이 있을 수 있기 때문이다. 이를 해결하기 위해, 우리는 2013년부터 2024년까지 엄격한 연간 데이터 컷오프를 적용하여 각각 약 1,000억 토큰으로 처음부터 학습한 13억 매개변수 언어 모델 12개로 구성된 DatedGPT를 제시하며, 사후 학습 중 유출을 방지하기 위해 각 연도 문서에 기반한 지시(instruction) 데이터셋 DatedInstruct도 함께 제공한다. 이 모델들은 유사 규모의 오픈 모델과 경쟁력이 있으며, perplexity 기반 프로빙(probing)을 통해 각 모델의 지식이 해당 컷오프 연도에 의해 제한됨을 확인했다. 61,000개 기업-일(firm-day) 뉴스 헤드라인에 대한 주식 수익률 예측에서, DatedGPT-instruct는 lookahead bias가 없는 설정에서 연율화 Sharpe ratio 3.20을 달성한다. 학습 데이터가 결과 기간을 포함하는 lookahead bias가 있는 모델은 표준편차당 26.4bp(basis points)의 lookahead premium을 추가하며, 이는 1% 수준에서 유의하다. 따라서 이 시리즈는 금융 예측에서 lookahead bias를 직접 분석할 수 있게 한다. 우리는 서로 다른 컷오프 연도의 모델 응답을 조회하고 비교할 수 있는 대화형 웹 데모를 제공하며, 이는 www.datedgpt.com에서 이용할 수 있다.

arXiv:2601.01885v3cs.CL

Agentic Memory: 대규모 언어 모델 에이전트를 위한 통합 장·단기 메모리 관리 학습

Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents

대규모 언어 모델(LLM) 에이전트는 유한한 컨텍스트 윈도우로 인해 장기간 추론에서 근본적인 한계에 직면하며, 이로 인해 효과적인 메모리 관리가 중요하다. 기존 방법들은 일반적으로 장기 메모리(LTM)와 단기 메모리(STM)를 별도의 구성 요소로 처리하며, 휴리스틱이나 보조 컨트롤러에 의존하여 적응성과 end-to-end 최적화를 제한한다. 본 논문에서는 LTM과 STM 관리를 에이전트의 정책(policy)에 직접 통합하는 통합 프레임워크인 Agentic Memory(AgeMem)를 제안한다. AgeMem은 메모리 연산을 도구 기반 행동(tool-based actions)으로 노출하여, LLM 에이전트가 무엇을 언제 저장, 검색, 갱신, 요약 또는 폐기할지 자율적으로 결정할 수 있게 한다. 이러한 통합 행동을 학습하기 위해 3단계 점진적 강화학습 전략을 제안하고, 메모리 연산이 유발하는 희소하고 불연속적인 보상을 해결하기 위해 단계별 GRPO를 설계한다. 5개의 장기간 벤치마크에서의 실험은 AgeMem이 여러 LLM 백본에 걸쳐 강력한 메모리 증강(memory-augmented) 베이스라인을 일관되게 능가하며, 향상된 과제 성능, 더 높은 품질의 장기 메모리, 더 효율적인 컨텍스트 사용을 달성함을 보여준다.

arXiv:2511.12997v2cs.AI

WebCoach: 세션 간 메모리 가이던스를 갖춘 자기 진화형 웹 에이전트

WebCoach: Self-Evolving Web Agents with Cross-Session Memory Guidance

최근 멀티모달 LLM 기반 에이전트는 웹 내비게이션에서 인상적인 능력을 보여주었으며, 다양한 도메인에서 복잡한 브라우징 작업을 완수할 수 있게 했다. 그러나 현재 에이전트는 반복적인 오류에 취약하며 세션에 걸친 과거 경험으로부터 학습하는 능력이 부족해, 장기적 견고성과 샘플 효율성이 제한된다. 우리는 WebCoach를 제안한다. WebCoach는 모델에 구애받지 않는 자기 진화형 프레임워크로, 웹 브라우징 에이전트에 지속적인 세션 간 메모리를 제공하여 재학습 없이 장기 계획, 성찰(reflection), 지속 학습(continual learning)을 향상시킨다. WebCoach는 세 가지 핵심 구성 요소로 이루어진다: (1) 원시 내비게이션 로그를 간결한 요약으로 표준화하는 WebCondenser, (2) 완전한 궤적(trajectory)을 에피소드 경험으로 구조화하는 External Memory Store, (3) 유사성과 최근성에 기반해 관련 경험을 검색하고 런타임 훅(runtime hooks)을 통해 에이전트에 작업별 조언을 주입할지 결정하는 Coach. 이 설계는 웹 에이전트가 고유 컨텍스트 윈도우를 넘어 장기 메모리에 접근할 수 있게 하여, 복잡한 브라우징 작업에서의 견고성을 개선한다. 또한 WebCoach는 새로운 내비게이션 궤적에서 에피소드 메모리를 지속적으로 큐레이션함으로써 자기 진화를 달성하며, 재학습 없이 시간에 따라 에이전트가 개선되도록 한다. WebVoyager 벤치마크에서의 평가는 WebCoach가 세 가지 서로 다른 LLM 백본에 걸쳐 브라우저 사용 에이전트의 성능을 일관되게 향상시킴을 보여준다. 38B 모델을 사용할 때, 평균 단계 수를 줄이거나 유지하면서 작업 성공률을 47%에서 61%로 높인다. 특히 WebCoach를 적용한 더 작은 기본 모델은 GPT-4o를 사용하는 동일한 웹 에이전트와 비슷한 성능을 달성한다.

arXiv:2509.14257v3cs.CL

학생 중심 지식 증류가 소형·대규모 LLM 간 에이전트 격차를 좁힌다

Student-Centered Distillation Narrows the Agentic Gap Between Small and Large LLMs

대규모 언어 모델(LLM) 에이전트는 다단계 추론 및 도구 사용 작업에서 강한 성능을 달성하지만, 그 인상적인 능력은 일반적으로 극도로 큰 백본에 의존한다. 기존 지식 증류 접근법은 더 작은 학생 모델이 교사의 전체 궤적을 모방하도록 학습시키지만, 교사와 학생 사이의 추론 및 지식 격차가 누적 오류를 유발할 수 있다. 우리는 SCoRe를 제안한다. 학생이 학습 궤적을 생성하고 교사는 최초 오류만 수정하는 학생 중심 프레임워크로, 학생의 능력에 맞춘 학습 데이터를 생성하고 특정 약점을 드러낸다. 학생은 먼저 수정된 궤적에 대해 파인튜닝된다. 이후, 단기 강화학습이 최초 오류 이전의 검증된 접두 문맥에서 시작되며, 해당 단계에 목표 보상이 할당된다. 이 설계는 학생이 교사 모방이 아닌 제약 없는 RL 탐험을 통해 문제를 해결할 수 있게 하며, 단기 설정은 학습 안정성을 향상시킨다. 12개의 도전적인 벤치마크에서, SCoRe로 증류된 7B 매개변수 학생 모델은 72B 매개변수 교사 모델과의 에이전트 성능 격차를 좁힌다.

arXiv:2501.19337v5cs.CL

토큰 수준 엔트로피가 드러내는 대규모 언어 모델의 인구통계적 격차

Token-Level Entropy Reveals Demographic Disparities in Large Language Models

이름만으로도 단 하나의 토큰이 샘플링되기 전에 언어 모델의 다음 토큰 분포를 측정 가능한 수준으로 재형성한다. 우리는 인종과 성별이 이름으로만 표시되는 5,760개의 문장 완성 프롬프트에서 6개 오픈 가중치(open-weight) 모델 패밀리에 걸쳐 다음 토큰 분포의 전체 어휘 샤논 엔트로피(Shannon entropy)를 측정한다. 흑인 연관 이름은 백인 연관 이름보다 더 높은 첫 토큰 엔트로피와 더 다양한 후속 생성과 함께 나타나며, 공유된 원문(raw-text) 입력 하의 6개 인스트럭션 튜닝 모델 모두, 6개 베이스 체크포인트 모두, 그리고 출력 다양성의 경우 네이티브 채팅 형식 하의 6개 모델 중 5개에서 방향적으로 일관된다. 이는 명시적 집단 레이블 하에서 문서화된 동질성(homogeneity) 바이어스와는 반대 방향이다(Lee et al., 2024). 이 격차는 토큰화 및 빈도 통제와 빈도가 일치하는 이름 부분집합에서도 지속되며, 프롬프트당 효과는 작지만(d = 0.06-0.16) 부호는 일관적이다(템플릿 수준 paired d = 0.66-1.08). 성별은 반대 방향을 가리키며, 인종과 가산적으로 작용한다. 첫 토큰 엔트로피는 채팅 형식 입력 하에서 급격히 감소하며, 명시적 집단 레이블 프로빙(probing)은 대부분 null이거나 역전된다. 분산 일치(variance-matched) 비교는 출력 다양성 격차를 이름 조건부 후속 생성 간 이질성(heterogeneity)에 위치시킨다. 이는 고정된 집단 레이블로는 표현할 수 없는 차원이다. 프로빙 방법론은 격차가 탐지되는지 여부뿐 아니라 그 방향까지 형성한다.

arXiv:2607.21550v1cs.LG

X$^3$-OPD: 온-정책 정렬을 통한 대규모 오디오-언어 모델로의 추론 증류

X$^3$-OPD: Distilling Reasoning into Large Audio-Language Models via On-Policy Alignment

대규모 오디오-언어 모델은 청각 인지에서 놀라운 진전을 이루었지만, 고품질 오디오 추론 데이터의 부족으로 인해 텍스트 기반 대규모 언어 모델(LLM)에 비해 깊은 논리적 추론에서는 여전히 뒤처진다. 이 격차를 메우기 위해, 우리는 강력한 텍스트 교사 모델로부터 오디오-언어 학생 모델로 추론 능력을 전달하는 교차 모달(cross-modal) 온-정책 지식 증류 프레임워크인 X$^3$-OPD를 제안한다. 학습 중 학생 모델은 자체 음향 인지에 조건화된 추론 궤적을 생성하고, 교사는 매칭된 텍스트 입력과 검증된 답변을 사용하여 토큰 수준의 지도를 제공한다. 또한 우리는 음성으로 변환된 텍스트 추론, 복잡한 음향 장면에 기반한 오디오 이벤트 추론, 그리고 초언어적(paralinguistic) 단서를 포함하는 구어 대화 추론을 포괯하는 3단계 대칭 코퍼스를 구축한다. 이 설계는 교차 모달 증류를 텍스트로 복원 가능한 콘텐츠를 넘어 비언어적 이벤트, 운율(prosody), 대화 맥락에 기반한 추론까지 확장한다. MMSU, MMAU, BIG Bench Audio, MMAR에서의 실험은 X$^3$-OPD가 도메인 이동(domain shift) 하에서 모델의 기존 능력을 대체로 유지하면서 오디오 기반 추론과 사고의 연쇄(Chain-of-Thought) 품질을 크게 향상시킴을 보여준다.

arXiv:2607.21496v1eess.SP

음성 기반 멀티모달 대규모 언어 모델을 활용한 일반화 가능한 인지 장애 탐지

Toward Generalizable Cognitive Impairment Detection with Speech-Based Multimodal Large Language Models

인지 장애(CI)는 점점 증가하는 공중 보건 문제이다. 조기에 정확하게 진단하는 것은 적시 개입을 가능하게 하고 환자 결과를 개선하는 데 매우 중요하다. 음성 기반 CI 탐지는 인지 저하와 관련된 언어적·음향적 표지를 모두 음성 신호가 담고 있기 때문에 유망한 비침습적 접근법으로 떠오르고 있다. 대규모 언어 모델(LLM)의 최근 발전은 더 표현력 있는 표현 학습(representation learning)과 다양한 화자, 녹음 장치, 임상 환경에 걸친 일반화(generalization) 개선을 가능하게 함으로써 음성 기반 평가의 잠재력을 더욱 강화한다. 또한 언어적 특징과 음향적 특징을 공동으로 모델링하는 멀티모달 학습은 CI와 관련된 인지 및 행동 변화를 더 포괄적으로 특성화할 수 있게 하여 더 신뢰할 수 있는 탐지로 이어진다. 본 연구에서는 환자 프라이버시를 보존하면서 음성 오디오와 해당 전사문을 통합하는 오픈소스 LLM 기반 멀티모달 CI 탐지 프레임워크를 제안한다. 음향 임베딩(embedding)은 음성 신호에서 직접 추출되고, 텍스트 임베딩은 자동 전사된 음성으로부터 생성된다. 이러한 모달리티별 임베딩은 이어 결합되어 결합 특징 벡터를 만들고, 원시 또는 민감한 환자 데이터에 접근할 필요 없이 하류 분류에 사용된다. 제안 접근법은 ADReSS20 및 ADReSSo21 벤치마크 데이터셋에서 평가된다. 실험 결과, 제안된 멀티모달 프레임워크는 CI 분류 정확도 92.4%를 달성하며 단일 모달리티 베이스라인을 일관되게 능가한다. 본 연구는 CI 식별에 대한 새로운 최첨단(state-of-the-art) 수준을 확립하며, 제안 방법은 우수한 교차 데이터셋 일반화를 보여준다. 이 발전은 언어적·음향적 데이터를 융합하여 견고하고 확장 가능하며 비침습적인 선별검사를 가능하게 하는 LLM 기반 멀티모달 프레임워크의 힘을 부각한다.