PyTorchKR Papers

최신 논문

총 4,696편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.20435v1cs.CL

모델 병합에 강인한 오픈소스 텍스트 LLM 워터마크 만들기

Making Open-Source Text LLM Watermarks Durable Against Merging

오픈소스 LLM(OSM)은 최첨단에 근접한 성능에 도달하고 있어, 선행 연구들은 가중치에 텍스트 워터마킹 알고리즘을 직접 내장하여 생성 텍스트를 추적해 왔다. 그러나 OSM은 사후 학습 수정의 영향을 받으며, 이는 워터마크를 제거하는 것으로 나타났다. 특히 전문가 지식을 결합하고 파국적 망각(catastrophic forgetting)을 방지하는 데 널리 쓰이는 모델 병합(model merging)은 이러한 OSM 워터마크를 강하게 제거한다. 핵심 질문은 이후 병합을 견디는 OSM 워터마크를 어떻게 가능하게 할 것인가이다. 본 연구에서는 모델 병합에 견디는 OSM 워터마크를 설계하는 방법을 최초로 제시한다. 우리는 Merge-Adversarial Training을 제안한다. 이는 이후 모델 병합에 강건하면서 텍스트 워터마크를 모델 가중치로 지식 증류(distillation)하는 적대적 학습(adversarial training) 알고리즘이다. 우리 접근법은 하류(downstream) 성능을 유지하면서 모든 베이스라인을 일관되게 능가한다(예: SLERP에서 TPR@1%FPR 기준 최대 +51 퍼센트 포인트(pp), 평균 +25 pp). 또한 전문가 역량 결합이나 파국적 망각 방지 같은 일반적 사용 사례를 반영한 현실적 병합 시나리오와 3가지 주요 병합 알고리즘에 대해 OSM 워터마크를 최초로 평가한다. 더 넓게 보면, 우리 결과는 적대적 학습이 사후 학습 수정에 대한 OSM 워터마크 내구성을 높이는 신뢰할 수 있는 접근법임을 시사한다.

arXiv:2607.20433v1cs.CL

Moir: 모델이 자신의 이야기를 스스로 이끌게 하는 강건한 교차 도메인 지식 편집

Moir: Let the Model Direct Its Own Story for Robust Cross-Domain Knowledge Editing

언어 모델은 학습 시점의 상태로 동결된 채 유지되는 반면, 세상은 끊임없이 변화한다. 지식 편집은 전체 재학습의 핵심 대안으로 부상했지만, 배포는 핵심 역량의 침식에 병목을 받는다: 수학적·프로그래밍적 추론은 붕괴하는 반면 백과사전적 재현은 온전히 남아 있다. 우리는 이러한 비대칭적 성능 저하를 분포 불일치에 기인한다고 추적한다. 공분산 기반 편집기는 참조 코퍼스가 생성하는 부분공간만 보존하지만, SFT와 DPO 같은 사후 학습이 형성한 실효 분포는 포착하지 못한다. Wikipedia를 포함한 정적 외부 코퍼스, 심지어 원래 사전학습 혼합물조차도 이 이동된 매니폴드를 복원할 수 없다. 우리는 Moir를 제안한다. Moir는 모델의 디코딩 분포에서 직접 샘플링하여 보존 공분산 $C$를 모델 자체로부터 추정한다. 단일 무작위 어휘 토큰으로 생성을 시드하면, 그렇지 않으면 샘플링된 출력을 지배하는 지시 따르기 템플릿을 우회하여, 모델이 내재화한 더 넓은 부분공간을 드러낸다. Moir는 외부 데이터가 필요 없으며, 대부분의 최신 LLM의 사전학습 및 사후 학습 코퍼스에 공개 접근이 불가능하다는 점을 고려할 때 실용적 이점인, 모든 공분산 기반 편집기에 즉시 적용 가능한 구성 요소로 사용할 수 있다. OLMo-2, Llama-3.1, Qwen-3(7-8B) 전반에 걸쳐 MEMIT과 AlphaEdit 모두에서, 배치 및 순차 체제 모두에서 Moir는 가장 취약한 도메인에서 보존을 일관되게 확장한다. 가장 두드러진 사례는 Qwen3-8B에서 20,000회 AlphaEdit 배치 편집 후 Wikipedia 기준선의 10.9%에 비해 GSM8K 정확도 79.9%를 유지한 경우이다. 이러한 결과는 보존 분포를 모델의 실효 분포에 정렬하는 것이 비파괴적 편집의 핵심 요인이며, 배포된 시스템에서 그 분포에 대한 가장 접근 가능한 원천이 모델 자체일 수 있음을 시사한다.

arXiv:2607.20431v1cs.CL

증거 인식 재료 문헌 분석을 위한 스킬 계약 에이전트

Skill-Contracted Agents for Evidence-Aware Materials Literature Analysis

재료 과학 문헌 분석은 조성, 가공, 특성화, 특성 관계에 동시에 주의를 기울여야 하지만, 기존의 검색-증강 생성(RAG) 파이프라인은 단일 검색-후-생성 아키텍처 내에서 이질적인 작업들을 조화시키는 데 어려움을 겪는다. 본 연구에서는 AlphaAgent를 제시한다. AlphaAgent는 명시적 스킬 계약을 통해 검색 기반 질의응답과 논문 수준 보고서 생성을 분리하는 스킬 기반 에이전트 프레임워크이다. 전용 검색 스킬은 사용자 요청을 재료 특화 검색 의도로 재작성하고, Journal Citation Reports의 Metallurgy and Metallurgical Engineering 카테고리에서 30만 편 이상의 논문으로 구성된 큐레이션 인덱스를 조회하며, 초기 증거가 불충분할 때 쿼리를 재구성한다. 별도의 보고서 생성 스킬은 전문 PDF를 파싱하여 논문별 구조화된 분석 보고서와 논문 간 요약을 생성한다. 재료 과학 질문 40개에 대한 블라인드 평가에서, 그 중 절반은 심층 분석적 추론을 요구했으며, AlphaAgent는 기반 모델, 문서 인덱스, 검색 규모가 동일하게 맞춰진 기준선 시스템을 크게 능가했고, 특히 메커니즘 설명과 신뢰성 경계 인식에서 가장 큰 향상을 보였다. 이 결과는 명시적 작업 분리, 정교화된 검색 의도, 증거 인식 생성이 재료 연구를 위한 대규모 언어 모델(LLM) 기반 문헌 분석을 개선함을 시사한다.

arXiv:2607.20430v1cs.CL

LLM-INSTRUCT at UZH Shared Task 2026: 단락 수준 논증 마이닝을 위한 제약 인식 검색 및 선택적 토론

LLM-INSTRUCT at UZH Shared Task 2026: Constraint-Aware Retrieval and Selective Debate for Paragraph-Level Argument Mining

우리는 UN 및 UNESCO 결의문에서의 단락 수준 논증 마이닝을 다루는 ArgMining 2026 UZH Shared Task의 우승 시스템인 LLM-INSTRUCT를 제안한다. 이 과제는 최대 8B 파라미터의 오픈 가중치 모델만을 사용하여, 엄격한 JSON 스키마 설정 하에서 단락 유형 분류, 141개 공식 태그 중 일부의 예측, 그리고 방향성 관계 예측을 요구한다. 우리는 이 과제를 제약 기반 구조화 예측으로 프레이밍한다. 시스템은 먼저 메타데이터 인식 밀집 검색(dense retrieval)으로 후보 태그 공간을 축소한 다음, 차원별 상한이 있는 제약 디코딩(constrained decoding)을 적용하고, 불확실한 경우에만 3-에이전트 토론 분기로 에스컬레이션하며, 마지막으로 출력 스키마를 검증한다. 공식 리더보드에서 LLM-INSTRUCT는 전체 1위, F1 1위, LLM-as-a-Judge 5위를 기록했다. 개발 과정에서 구성 탐색을 통해 Task 1b Micro-F1을 35.83%에서 40.08%로 추가로 개선했으며, 내부 Task 2 점수는 4.421을 유지했다. 핵심 교훈은 간단하다: 생성 전에 결정 공간을 축소하면 정확도와 제출 견고성 모두가 향상된다. 코드와 지원 스크립트는 다음에서 공개되어 있다: https://github.com/LLM-Instruct-at-UZH-Shared-Task-2026/Method

arXiv:2607.20429v1cs.CL

더 많을수록 더 나은 것은 아니다: LLM 의견 다양성에 중요한 것은 무엇인가?

More Is Not More: What Matters for Diversity in LLM Opinions?

대규모 언어 모델(LLM)은 합성 설문, 포커스 그룹 모델링, 여론 예측과 같은 개방형(open-ended) 과제에서 다양한 인간 의견을 시뮬레이션하는 데 점점 더 많이 사용되고 있다. 그러나 LLM 출력은 체계적인 의견 동질화를 보인다. 실무자들은 다양성을 높이기 위한 다양한 개입 방법을 탐구해 왔지만, 연구 환경은 여전히 파편화되어 있다: 서로 다른 방법들이 비교 불가능한 지표로 개별적으로 평가되며, 실무에서는 보통 동시에 배포·업그레이드되어 특정 구성 요소에 대한 효과를 분리하기 어렵다. LLM 출력 다양성에 대한 보다 과학적인 이해를 위해, 우리는 두 가지 주요 개입 차원—입력 조건화(페르소나 깊이로 구현)와 상호작용 아키텍처—을 분리하는 요인 실험을 설계한다. 7개 모델에 걸쳐 실제 사용자의 개방형 질문 100개에 대해 모든 조건을 평가하고, 여러 상보적 지표로 다양성을 측정한다. 우리의 결과는 여러 일반적인 가정에 도전한다. 첫째, 페르소나 세부 정보가 많을수록 다양성이 단조적으로 증가하지는 않는다. 페르소나 조건화의 초기 단계만으로도 이득의 대부분을 이미 포착하며, 인구통계학적 세부 정보를 추가로 상세화하는 것은 일관되게 개선하지 않고 일부 모델에서는 다양성을 줄이기도 한다. 둘째, 단 하나의 최적 상호작용 아키텍처를 찾기보다, 서로 다른 아키텍처가 대체로 겹치지 않는 의견 영역을 탐색한다는 것을 발견한다. 여러 아키텍처를 결합하면 어느 하나를 최적화하는 것보다 더 넓은 커버리지를 얻을 수 있다. 셋째, 샘플링 temperature를 높이거나 다양성 지시를 추가하는 것과 같이 흔히 시도되는 저비용 대안은 구조화된 개입에 비해 미미한 효과만 낸다. 전반적으로, 우리의 연구는 다양성이 단일 차원을 따라 스케일링(scaling)한 결과가 아니라, 개입의 구조적 형태와 조합에 매우 민감함을 보여준다.

arXiv:2605.27390v3cs.CL

EvoSpec: 실시간 어휘 및 매개변수 적응을 통한 투기적 디코딩(speculative decoding) 진화

EvoSpec: Evolving Speculative Decoding via Real-Time Vocabulary and Parameter Adaptation

투기적 디코딩(speculative decoding)은 초안-검증(draft-then-verify) 생성을 통해 대규모 언어 모델(LLM) 추론을 가속하지만, 경량 초안(draft) 모델은 효율성과 품질이 결합된 한계에 직면한다. 대규모 어휘 출력 투영(projection)은 비용이 크고, 제한된 초안 용량과 정적 매개변수는 전문화되거나 변화하는 입력에서 수용률(acceptance)을 낮춘다. 어휘 가지치기(pruning)는 투영 비용을 낮추지만, 정적 변형은 국소적으로 중요한 롱테일(long-tail) 토큰을 놓치고, 동적 변형은 사전 설정된 선택 정책과 예산에 민감하다. 또한 제한된 초안 용량은 대상 토큰이 포함되어 있더라도 초안 분포를 정렬(alignment)되지 않은 상태로 둘 수 있다. 온라인 정렬(alignment)은 초안 품질을 개선하지만, 전체 매개변수 업데이트는 상당한 메모리와 지연(latency) 오버헤드를 유발한다. 우리는 검증 피드백으로부터 활성 어휘와 경량 초안 매개변수를 공동으로 적응시키는 EvoSpec을 제안한다. EvoSpec은 의미적·통계적 토큰 이웃을 비동기적으로 검색하고, 정확한 대상 모델 검증을 유지하면서 커리큘럼 가중 온라인 LoRA 정렬을 수행한다. Qwen3-8B/EAGLE-2에서 EvoSpec은 기본 디코딩 대비 $2.18\times$ 속도 향상, EAGLE-2 대비 $1.20\times$ 이득을 달성하며, 전문 도메인 커버리지를 개선하고 전체 매개변수 온라인 적응보다 $27\%$ 적은 보조 GPU 적응 메모리를 사용한다.

arXiv:2604.14180v3cs.CL

외부 표현 없는 내부 지식: 고전 중국어 언어 모델의 일반화 경계 탐색

Internal Knowledge Without External Expression: Probing the Generalization Boundary of a Classical Chinese Language Model

순수 고전 중국어 15.6억 토큰으로 구성된 큐레이션 코퍼스에서 318M 매개변수 트랜스포머 언어 모델을 처음부터 학습했으며, 영어 문자나 아라비아 숫자는 전혀 포함하지 않았다. 체계적인 분포 외(OOD) 테스트를 통해, 모델이 알려진 입력과 알려지지 않은 입력을 구별하는지, 그리고 그 구별을 생성 텍스트에서 표현하는지를 조사했다. 내부적 불확실성과 외부적 불확실성 사이에 뚜렷한 분리가 있음을 발견했다. 내부적으로 모델은 실제 역사적 사건과 조작된 사건 사이에서 perplexity 점프 비율 2.39배를 보였으며(p = 8.9e-11, 그룹당 n = 92), 반조작 사건(실존 인물 + 허구적 행동)에서 가장 높은 perplexity(4.24배, p = 1.1e-16)를 나타내어, 구문 패턴 매칭을 넘어선 진정한 사실적 인코딩을 입증했다. 외부적으로는 모델이 불확실성을 표현하는 법을 전혀 학습하지 못했다. 고전 중국어의 인식론적 표지(epistemic marker)는 OOD 질문(3.5%)에서 분포 내 질문(8.3%)보다 더 낮은 비율로 나타났으며(p = 0.023), 이는 진정한 메타인지가 아니라 학습 데이터의 수사적 관습을 반영한다. 이 두 발견을 세 언어(고전 중국어, 영어, 일본어), 세 문자 체계, 110M부터 1.56B까지 8개 모델에 걸쳐 검증했다. 내부적 사실 인코딩 효과는 8개 모델 중 6개에서 재현되며 스케일링에 따라 나타난다(가장 작은 일본어 모델 2개는 아직 실제 역사와 조작된 역사를 구분하지 못함). 반면 불확실성 표현의 외부적 부재는 8개 모델 모두에서 일관된다. 또한 불확실성 표현 빈도는 인식 상태가 아니라 전적으로 학습 데이터 관습에 의해 결정됨을 보였다. 고전 중국어 모델은 "겸손 역설"(humility paradox, 알려진 주제에서 더 많은 완곡 표현)을 보이는 반면, 일본어 모델은 거의 완곡 표현을 하지 않는다. 메타인지적 표현—"모르겠다"고 말하는 능력—은 언어 모델링만으로는 창발하지 않으며, 인간 피드백 강화학습(RLHF)과 같은 명시적 학습 신호가 필요하다고 주장한다.

arXiv:2603.22216v2cs.CL

병렬 텍스트 생성을 위한 Gumbel Distillation

Gumbel Distillation for Parallel Text Generation

자기회귀(AR) 언어 모델의 느리고 순차적인 특성으로 인해 병렬 디코딩 방법이 채택되고 있다. 그러나 이러한 비-AR 모델은 토큰 시퀀스의 복잡한 결합 분포를 모델링하는 데 어려움을 겪어 생성 품질을 희생하는 경우가 많다. 이 성능 격차를 줄이기 위해, 병렬 디코더가 이 분포를 효과적으로 학습할 수 있도록 하는 새로운 증류 기법인 Gumbel Distillation을 제안한다. 우리 방법은 Gumbel-Max 트릭을 활용하여 잠재 Gumbel 노이즈 공간에서 고성능 AR 교사의 출력 토큰으로의 결정론적 매핑을 만든다. 모델에 구애받지 않는 기법으로서, Gumbel Distillation은 MDLM 및 BD3-LM을 포함한 다양한 병렬 디코딩 아키텍처와 원활하게 통합된다. LM1B 및 OpenWebText에서의 실험 결과, Gumbel Distillation은 병렬 언어 모델의 생성 품질을 크게 향상시키며, OpenWebText 데이터셋으로 학습된 MDLM 대비 MAUVE 점수에서 30.0%, 생성 perplexity에서 10.5%의 개선을 달성한다. 코드는 https://github.com/hxixixh/gumbel-distill 에서 이용할 수 있다.

arXiv:2501.19337v5cs.CL

토큰 수준 엔트로피가 드러내는 대규모 언어 모델의 인구통계적 격차

Token-Level Entropy Reveals Demographic Disparities in Large Language Models

이름만으로도 단 하나의 토큰이 샘플링되기 전에 언어 모델의 다음 토큰 분포를 측정 가능한 수준으로 재형성한다. 우리는 인종과 성별이 이름으로만 표시되는 5,760개의 문장 완성 프롬프트에서 6개 오픈 가중치(open-weight) 모델 패밀리에 걸쳐 다음 토큰 분포의 전체 어휘 샤논 엔트로피(Shannon entropy)를 측정한다. 흑인 연관 이름은 백인 연관 이름보다 더 높은 첫 토큰 엔트로피와 더 다양한 후속 생성과 함께 나타나며, 공유된 원문(raw-text) 입력 하의 6개 인스트럭션 튜닝 모델 모두, 6개 베이스 체크포인트 모두, 그리고 출력 다양성의 경우 네이티브 채팅 형식 하의 6개 모델 중 5개에서 방향적으로 일관된다. 이는 명시적 집단 레이블 하에서 문서화된 동질성(homogeneity) 바이어스와는 반대 방향이다(Lee et al., 2024). 이 격차는 토큰화 및 빈도 통제와 빈도가 일치하는 이름 부분집합에서도 지속되며, 프롬프트당 효과는 작지만(d = 0.06-0.16) 부호는 일관적이다(템플릿 수준 paired d = 0.66-1.08). 성별은 반대 방향을 가리키며, 인종과 가산적으로 작용한다. 첫 토큰 엔트로피는 채팅 형식 입력 하에서 급격히 감소하며, 명시적 집단 레이블 프로빙(probing)은 대부분 null이거나 역전된다. 분산 일치(variance-matched) 비교는 출력 다양성 격차를 이름 조건부 후속 생성 간 이질성(heterogeneity)에 위치시킨다. 이는 고정된 집단 레이블로는 표현할 수 없는 차원이다. 프로빙 방법론은 격차가 탐지되는지 여부뿐 아니라 그 방향까지 형성한다.

arXiv:2607.21585v1cs.LG

확장 Flow Map

Expanding Flow Maps

Flow 기반 생성 모델은 연속 및 이산 상태 공간 전반에서 빠르고 제어 가능한 생성의 놀라운 진전을 가능하게 해 왔지만, 기존 매개변수화는 고정 차원 또는 고정 시퀀스 길이로 제한된다. 본 연구에서는 조건부 노이즈로 상태를 보강하여 상태를 확장하는 확장 보간(expanding interpolant)을 따라 차원이 증가하는 분포들 사이의 flow를 정의하는 Expanding Generative Flows(EFlows)를 소개한다. 이 구성을 바탕으로, 확장 보간을 효율적인 소수 단계(few-step) 생성 모델로 증류(distillation)하는 flow map의 새로운 클래스인 Expanding Flow Maps(EFMs)를 제안한다. 각 EFM은 임의의 두 시간 단계 사이의 map을 두 가지 학습 가능한 연산으로 분해한다: 현재 상태를 조건으로 상태 공간에 새로운 좌표 또는 토큰(token)을 보강하는 확장 연산자(expand operator), 그리고 확장된 상태를 보간(interpolant)을 따라 앞으로 밀어주는 수송 map(transport map). 이 연산자들을 조합하면 상태를 동시에 확장하고 디노이징(denoise)하는 단일 map이 되며, 확장 연산자가 항등(identity)인 특수한 경우로 기존의 고정 캔버스(fixed-canvas) flow 및 flow map을 복원한다. 또한 프레임워크를 이산 심플렉스(discrete simplex)로 확장하여 가변 크기 그래프 생성과 가변 길이 시퀀스 생성을 가능하게 한다. 연속 및 이산 양식(modality) 모두에서, 출력 크기 자체가 학습 가능하고 제어 가능한 자유도인 설정을 위한 원칙적인 프레임워크로 EFlows와 EFMs를 확립한다.

arXiv:2607.21475v1cs.LG

무작위화 설계를 통한 KV-Cache 축출의 오류 인증서

Error Certificates for KV-Cache Eviction via Randomized Design

결정론적 KV-cache 축출은 중요도 점수 하에서 상위 $k$개 토큰을 유지하고 나머지를 삭제한다. 우리는 이 설계가 무엇을 파괴했는지 알 수 없음을 증명한다: 축출된 값을 변경하여 서빙 시스템이 유지하는 모든 것은 변하지 않은 채로 실제 어텐션 출력 오류가 임의로 커질 수 있으므로, 해당 오류에 대한 서빙 시점 추정량은 일관되지 않다. 무작위화된 축출은 식별 가능성을 회복한다. 알려진 포함 확률로 포아송 샘플링된 꼬리(tail)를 사용하면, 하나의 로짓 오프셋이 소프트맥스 내부에서 Hájek 보정을 수행하고, 유지된 집합에 대한 표본조사(survey-sampling) 분산 추정량이 정확도 비용 없이 0.97의 경험적 커버리지를 갖는 단계별 오류 인증서가 된다. 실제 워크로드에서 우리는 7개의 주장을 사전 등록했고 그중 3개는 기각했다: 25--50% 예산에서 질문 인식(question-aware) 축출은 거의 무상(nearly free)이다; 출력 로그 확률이 인증서보다 실패를 더 잘 예측한다; 인증서 기반 예산 확장은 아무 것도 추가하지 않는다. 살아남는 것은 귀속(attribution)이다: 인증서는 캐시 유발 실패와 고유(inherent) 실패를 분리한다(AUC 0.73--0.75, 출력 신뢰도의 0.47--0.54 대비) 그리고 무작위 또는 신뢰도 게이팅보다 재계산을 더 잘 스케줄링한다. 무작위화는 예측이 아니라 귀속을 얻는다.

arXiv:2607.21427v1cs.LG

컨텍스트 가중 이산 흐름 매칭

Context-weighted Discrete Flow Matching

이산 흐름 매칭(discrete flow matching)은 이산 구조에서의 생성 모델링을 위한 유연한 프레임워크를 제공한다. 그러나 표준 분해형 학습 목표는 모델을 난이도가 다른 목표에 노출시켜, 조건이 양호하고 예측 가능한 토큰과 모호하고 높은 엔트로피를 가진 토큰을 혼합한다. 우리는 각 토큰 값에 대한 불확실성이 그 이웃에서 이용 가능한 컨텍스트의 밀도와 밀접하게 관련되어 있음을 실증적으로 보여준다. 이 관찰에 동기를 받아, 우리는 지역 컨텍스트 정보를 통합하는 기본 연속 시간 마르코프 체인(continuous-time Markov chain, CTMC)에 대한 간단한 수정을 제안한다. 우리의 컨텍스트 가중 샘플러는 무시할 수 있는 계산 오버헤드로 생성 품질을 향상시키며, 스케일링된 교차 엔트로피 손실 함수는 서로 다른 토큰으로부터의 학습 신호를 재가중하고 OpenWebText에서 생성 perplexity를 최대 63%까지 감소시킨다. 또한 우리의 접근법은 임의의 순서로 생성을 수행할 수 있는 능력을 유지하면서 품질 면에서 강력한 반자기회귀(semi-autoregressive) 블록 확산 기준선과 동등한 성능을 달성한다. 이러한 결과는 지역 컨텍스트가 이산 생성 모델링에서 중요한 요인임을 강조하고, 간단한 컨텍스트 인식 수정이 샘플링과 학습 효율성 모두를 크게 개선할 수 있음을 보여준다.

arXiv:2607.21372v1cs.LG

평균-점수 이산 확산: Score Entropy를 위한 사후 평균 디노이저

Mean-to-Score Discrete Diffusion: Posterior-Mean Denoisers for Score Entropy

Score Entropy Discrete Diffusion(SEDD)는 비제약 양의 score ratio로 이산 역과정을 매개변수화한다. 양수성은 비음수 역 점프율을 보장하지만, 베이즈 실현가능성(Bayes realizability)을 보장하지는 않는다. 노이즈가 있는 상태에서의 ratio는 전방 커널 하에서 어떤 깨끗한 토큰 사후분포에 의해서도 공동적으로 유도될 필요가 없다. score-entropy 손실은 올바른 모집단 최적값을 갖지만, 그로부터 벗어난 경우에는 이 제약을 강제하지 않는다. 학습된 pure-uniform SEDD 체크포인트에서, 완전한 score vector의 대략 4분의 1이 좌표 box를 위반하고, 절반 이상은 그 안에 있으면서도 유효한 사후분포와 실질적으로 양립할 수 없다. 이러한 위반은 유한 단계 샘플링에서 정규화 이전 가중치가 음수가 되게 할 수 있다. 원시 score를 bridge polytope에 투영하면 관측된 모든 음수 가중치가 제거되고, 샘플러를 변경하지 않고도 외부 생성 PPL이 $203.6$에서 $175.1$로 개선된다. 우리는 깨끗한 토큰 사후 평균을 예측하고 이를 정확한 커널 의존 선형 사상을 통해 score로 변환하는 mean-to-score(M2S)를 제안한다. 이 구성은 완만한 support 조건을 만족하는 임의의 알려진 좌표별 연속시간 마르코프 체인(CTMC)에 적용된다. 균일 corruption의 경우, 확률 simplex를 bridge polytope로 사상하고; 흡수 마스크 corruption의 경우, 결과 목적함수가 MD4를 정확히 복원한다. 통제된 28.4M-매개변수 CIFAR-10 비교에서, M2S는 테스트 BPD를 $3.173$에서 $3.129$로, FID-50k를 $\CifarSEDDFID$에서 $\CifarMtwoSFID$로 낮춘다. 약 262B OpenWebText 토큰 슬롯으로 학습된 170M-매개변수 M2S 모델은 테스트된 모든 샘플링 예산에서 평가된 pure-uniform SEDD, GIDD, Neural CTMC 체크포인트를 능가하며, 128단계에서 생성 PPL $143.3$에 도달한다(가장 강한 pure-uniform 기준선의 $183.6$ 대비).

arXiv:2607.20723v1cs.CR

Leaky Language Models: 토큰별 타이밍을 통한 아키텍처 및 추론 최적화 탈취

Leaky Language Models: Stealing Architecture and Inference Optimizations via Per-Token Timing

본 연구는 LeakyLMs를 제시한다. 이는 프로덕션 언어 모델로부터 독점 모델, 아키텍처, 배포 정보를 유출하는 일련의 공격이다. LeakyLMs는 원격 API를 통한 상호작용만으로도 토큰 생성 타이밍만으로 핵심 모델 및 배포 세부 정보를 추론할 수 있음을 최초로 입증한다. LeakyLMs는 두 가지 핵심 공격을 도입한다. 첫 번째 공격은 추론 최적화와 배포 전략을 겨냥한다. 예를 들어, 본 공격은 널리 배포된 추론 시점 최적화인 speculative decoding 사용 여부를 탐지하고, 파이프라인에서 사용되는 draft 모델의 컨텍스트 길이까지 식별한다. 측정 결과 Google Gemini Flash 2.5는 약 128K 토큰의 draft 컨텍스트 윈도우를 갖는 speculative decoding을 사용하는 것으로 나타났다. 두 번째 공격은 트랜스포머 레이어 수, hidden dimension 크기, 어텐션 헤드 수를 포함한 핵심 아키텍처 속성을 복원한다. 이를 위해 LeakyLMs는 최신 NVIDIA GPU에서 토큰 생성 타이밍에 대한 상세하고 정확한 모델을 구축하여, 지연 시간이 모델 구성 및 하드웨어 매개변수에 따라 어떻게 스케일링되는지 특성화한다. 공격은 이 타이밍 모델을 사용하여 아키텍처 공간을 탐색한다. Llama 모델 실험에서 거의 정확한 아키텍처 구성이 상위 10개 추측 중 90% 이상의 경우에 나타난다.

arXiv:2605.17232v4cs.LG

이산 확산 모델의 차원 무관 수렴: 수반 방정식이 적절한 공간을 유도한다

Dimension-Free Convergence of Discrete Diffusion Models: Adjoint Equations Induce the Right Space

이산 확산은 언어, 비전, 생물학 등 다양한 응용에서 생성 모델링을 위한 주요 프레임워크가 되었다. 그러나 기존 수렴 이론은 근본적인 한계를 보인다. KL 기반 분석은 마스크 분포와 같은 특이 사전분포(singular prior) 하에서 발산하며, 전체 변동(total variation, TV)에서의 상계는 상태 공간 크기 $S$에 의존하여, 어휘에 수십만 개의 토큰이 포함된 현대 언어 태스크에서는 무의미해진다. 우리는 임의의 적분 확률 거리(integral probability metric, IPM)에서 차원 무관 수렴 보장을 확립하는 통합된 수반 방정식 기반 프레임워크를 개발한다. 우리가 아는 한, 우리의 상계는 $S$로부터 완전히 자유로운 최초의 결과이며, 마스크 및 균등 사전분포 모두에 적용 가능하다. 중요하게도, 우리의 결과는 기존의 스텝 복잡도(step complexity) 보장을 임의의 IPM으로 확장할 수 있다. 또한 우리의 이론은 단 하나의 표준 속도 행렬(rate-matrix) 정칙성(regularity) 가정에만 의존하며 일반적인 사전분포에 적용된다. 다섯 가지 새로운 기법이 우리의 개선을 이끈다: 1. 확률 측도를 직접 다루기보다 수반 방정식을 통해 관측 가능량(observable)의 공간에서 작업하는 것; 2. 임의의 IPM에 대한 상계를 제공하는 정칙성 분석; 3. 균등 전이(uniform transition) 하에서 $S$ 의존성을 제거하는 커플링(coupling) 논증; 그리고 4. 스코어-주변(score-marginal) 상쇄 및 5. 마스크 전이(masked transition) 하에서 $S$ 의존성을 제거하는 exit-routing 기법. 따라서 우리의 프레임워크는 기존 분석과 뚜렷이 달라지며, 경로 공간 KL(pathspace-KL) 및 기존 TV 기반 접근법의 단점을 피한다. 수렴 상계를 넘어, 우리의 프레임워크는 손실 함수의 원칙적 선택과 차원 무관 스텝 복잡도를 포함하여 이산 확산 모델의 추가 이론 연구를 위한 다재다능한 도구 모음을 제공한다.

arXiv:2602.05774v5cs.LG

변분 추측 디코딩(Variational Speculative Decoding): 토큰 가능도에서 시퀀스 수용으로 드래프트 학습 재고

Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance

추측 디코딩(speculative decoding)은 (M)LLM의 추론을 가속하지만, 학습-디코딩 불일치가 지속된다. 기존 방법은 단일 탐욕적(greedy) 궤적을 최적화하는 반면, 디코딩은 여러 샘플링된 드래프트 경로를 검증하고 순위를 매기는 과정을 포함한다. 우리는 변분 추측 디코딩(VSD)을 제안하며, 드래프트 학습을 잠재 제안(드래프트 경로)에 대한 변분 추론(variational inference)으로 공식화한다. VSD는 타깃 모델 수용의 주변 확률을 최대화하여, 고품질 잠재 제안을 촉진하면서 타깃 분포로부터의 발산(divergence)을 최소화하는 ELBO를 도출한다. 품질을 향상하고 분산을 줄이기 위해 경로 수준(path-level) 유틸리티를 통합하고 기대-최대화(Expectation-Maximization) 절차를 통해 최적화한다. E-단계는 오라클 필터링된 사후분포(posterior)에서 몬테카를로(Monte Carlo) 샘플을 추출하고, M-단계는 적응형 거부 가중(Adaptive Rejection Weighting, ARW)과 신뢰도 인식 정규화(Confidence-Aware Regularization, CAR)를 사용하여 가중 가능도를 최대화한다. 이론적 분석은 VSD가 기대 수용 길이와 가속(speedup)을 증가시킴을 확인한다. LLM과 MLLM 전반에 걸친 광범위한 실험은 VSD가 EAGLE-3 대비 최대 9.6%, ViSpec 대비 7.9%의 가속을 달성하여 디코딩 효율을 크게 향상시킴을 보여준다.

arXiv:2505.18672v2cs.LG

충실한 표현 개입을 위한 개념 집중

Concept Concentration for Faithful Representation Intervention

표현 개입(representation intervention)은 대규모 언어 모델(LLM)에서 기저 개념을 인코딩하는 표현을 국소화하고 수정하여 정렬된 기대 행동을 유도하는 것을 목표로 한다. 경험적 성공에도 불구하고, 개입을 위해 충실한 개념을 국소화할 수 있는지는 아직 검토된 적이 없다. 본 연구에서는 안전성 정렬(safety alignment) 맥락에서 이 질문을 탐구한다. 개입이 충실하다면, 개입된 LLM은 유해 개념을 제거하고 분포 내(in-distribution) 적대적 프롬프트와 분포 외(out-of-distribution, OOD) 탈옥(jailbreak) 모두에 강건해야 한다. 선형 설정에서는 LLM의 무해한 유틸리티를 저하시키지 않고 유해 개념을 제거하는 것이 가능하지만, 일반적인 비선형 설정에서는 불가능함을 보인다. 이 문제를 해결하기 위해 COncept ConcentrAtion(COCA)을 제안한다. COCA는 잠재적 불안전 개념을 먼저 식별한 다음 응답을 결정하는 명시적 추론 과정으로 학습 데이터를 재구성한다. 본질적으로 COCA는 유해 표현과 무해 표현 사이의 결정 경계를 단순화하여 더 효과적인 선형 제거(linear erasure)를 가능하게 한다. 다양한 표현 개입 방법과 모델 아키텍처에 대한 광범위한 실험 결과, COCA는 분포 내 및 OOD 탈옥 성공률을 모두 크게 낮추면서 수학 및 코드 생성과 같은 일반 작업에서 강력한 성능을 유지함을 보여준다. 코드는 https://github.com/tmlr-group/COCA 에서 공개적으로 이용할 수 있다.

arXiv:2607.21101v1cs.AI

생성형 추천은 콜드 아이템에 도달할 수 있는가? Semantic-ID 생성의 시간적 관점

Can Generative Recommendation Reach Cold Items? A Temporal Perspective on Semantic-ID Generation

Semantic-ID 기반 생성형 추천은 아이템을 공유 semantic 토큰의 시퀀스로 표현하여, 고립된 item ID를 넘어서는 토큰 재조합을 가능하게 한다. 그러나 폐쇄 세계(closed-world) 재조합이 반드시 시간적 개방-토큰 콜드스타트 유도(temporal open-token cold-start induction)를 의미하는 것은 아니다. 여기서 새로운 아이템은 보지 못한 원자적 토큰(unseen atomic tokens)이나 약하게 지원되는 SID 경로와 함께 item 카탈로그에 진입한다. 본 연구에서는 절대 시간 기반 시간 프로토콜 하에서 SID 기반 생성형 추천을 재검토한다. 이 프로토콜은 seen/unseen 타깃을 분리하고 토큰 수준에서 콜드 아이템 도달 가능성(cold item reachability)을 진단한다. seen/unseen 적중 분석, coldness 분류체계(coldness taxonomy), oracle-접두 문맥 탐색(oracle-prefix probing)을 통해, 현재 SID 기반 모델이 관측된 토큰과 접두 문맥으로 지원되는 미래 아이템에 때로는 도달할 수 있지만, 보지 못한 원자적 토큰과 지원되지 않는 SID 경로에서는 어려움을 겪는다는 것을 보인다. 우리는 SID 생성을 계층적 semantic bucketing으로 해석함으로써 이러한 경계를 추가로 설명한다. 초기 토큰은 coarse semantic 영역을 선택하고, 이후 토큰은 item-specific 경로를 정교화한다. 이러한 발견은 SID 생성이 조합적(compositional)이지만 완전히 개방적(open-ended)이지는 않음을 보여주며, 보다 독립적인 SID 공간, 점수 기반 인터페이스(scoring-based interfaces), 동적 텍스트 문맥(dynamic textual context)에서의 향후 방향을 제시한다.

arXiv:2607.21010v1cs.AI

제로샷 요약 재검토: LLM 요약기의 신뢰성에 대한 실증적 조사

Reexamining zero-shot summarization: Empirical investigation of trustworthiness of LLM-summarizers

제로샷 요약(zero-shot summarization)에서 대규모 언어 모델(LLM)을 사용하면 일관되고 유창한 요약을 생성함으로써 추상적 요약(abstractive summarization) 과제를 크게 발전시켰다. 그러나 대규모 언어 모델의 내재적 확률성(stochasticity)은 LLM이 생성한 요약의 안정성(stability)과 신뢰성(trustworthiness)에 대한 우려를 제기한다. 학생과 연구자가 복잡한 학술 자료를 제로샷 방식으로 요약하는 교육 환경에서 LLM 생성 요약이 확산되면서 이 문제는 점점 더 중요해지고 있다. 우리는 생성된 요약의 안정성을 기반으로 LLM 요약기를 벤치마킹하기 위한 새로운 2단계 진단 프로토콜을 제안한다. 하위 수준에서는 통제된 환경에서 생성된 여러 LLM 요약에 대해 문서 수준(document-level) 안정성 분석을 수행하고 안정성 계수(stability coefficient)를 계산한다. 각 생성 요약은 원본 문서와의 의미적·사실적 정렬(alignment)에 대해 점수화되며, 이를 통해 둘 이상의 차원에서 안정성을 추정할 수 있다. 상위 수준에서는 코퍼스(corpus)에서 추출한 계층화 표본(stratified sample) 문서들의 관측값을 통합하여 LLM 요약기의 안정성 지수(stability index)를 추정하는데, 이는 해당 요약기의 신뢰성에 대한 대리 지표(proxy)이다. 세 가지 LLM 요약기에 대해 세 가지 문서 장르(genre)에서 수행한 실증 조사 결과, 요약 평가 지표(summary evaluation metrics) 전반에 걸쳐 LLM 간 생성 수준(generation-level) 변동성(variability)에 통계적으로 유의미한 차이가 있음을 밝혔다. 본 연구는 LLM 요약에서 안정성 문제를 증거 기반으로 인식함으로써 LLM 요약 연구를 발전시키고, 견고하고(robust) 신뢰할 수 있으며(reliable) 신뢰할 만한(trustworthy) LLM 요약기 개발을 향한 추가 연구를 촉진한다.

arXiv:2607.20916v1cs.AI

추적 가능한 학술: 생성형 AI 시대 인문학적 탐구를 위한 페이지 앵커와 아리아드네의 실

Traceable Scholarship: Page Anchors and Ariadne's Thread for Humanistic Inquiry in the Age of Generative AI

생성형 AI는 대규모 언어 모델(LLM)이 수초 만에 학술적으로 보이는 텍스트를 생성하게 해 주지만, 유창성이 곧 유효한 설명을 의미하지는 않는다. 가장 깊은 위험은 사실 오류만이 아니라, 명확한 출처, 페이지 번호, 판본, 또는 증거 없이도 설명이 이미 확립된 것처럼 보이는 외양이다. 우리는 페이지 앵커를 아리아드네의 실에 비유한다: 생성적 유창성의 미로 속에서, 그것은 학자를 원전으로 되돌려 이끄는 실이다. 본 논문은 AI 보조 인문학 연구를 위한 최소 규범적 조건으로 추적 가능한 학술(Traceable Scholarship)을 제안하고, 이를 지식 인프라의 세 번의 혁명—인쇄, 디지털, 생성형 AI—의 맥락에서 위치시킨다. 우리는 페이지 앵커, 이중 페이지 번호, 인용 우선 생성, NO_EVIDENCE, 인간 검증, 4단계 준수, Scope Contract를 소개하고, AIH-Infra를 3층 참조 구현으로 제시한다: Contexture(문서 구조화), Open WebUI AIH-Infra(추적 가능한 지식 베이스), AIH-Infra MCP Server(에이전트 게이트웨이). 29권짜리 Kant Akademie-Ausgabe 지식 베이스에 대한 사례 연구는 추적 가능성이 검색 교정, 증거 등급 부여, 판단 하향 조정을 어떻게 지원하는지 보여준다. 추적 가능성은 소프트웨어 특징이 아니다; 그것은 생성형 AI 시대에 인문학 연구가 공적이고 반박 가능한 상태로 남을 수 있는 조건이다.