PyTorchKR Papers

최신 논문

총 45편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05722v1cs.CL

Nemotron-Labs-Diffusion: 자기회귀, 디퓨전, 셀프-스페큘레이션 디코딩을 통합한 삼중 모드 언어 모델

Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding

Nemotron-Labs-Diffusion은 자기회귀(AR), 디퓨전, 셀프-스페큘레이션 디코딩을 단일 아키텍처에서 통합한 삼중 모드 언어 모델로, 결합 AR-디퓨전 목적함수로 학습하여 두 패러다임의 장점을 상호 보완적으로 활용한다. 3B·8B·14B 규모로 스케일링된 모델 패밀리는 최신 오픈소스 AR 및 디퓨전 언어 모델 대비 정확도와 속도 모두에서 앞서며, 특히 Nemotron-Labs-Diffusion-8B는 Qwen3-8B 대비 순전파당 6배 더 많은 토큰을 디코딩해 SPEED-Bench에서 4배 높은 처리량을 달성한다.

arXiv:2606.08048v1cs.CL

전문가 곱 브리지를 통한 확산 언어 모델 병렬 디코딩

Diffusion Language Model Parallel Decoding via Product-of-Experts Bridge

확산 언어 모델(DLM)과 자기회귀(AR) 모델 간의 분포 격차를 좁히기 위해, DLM 제안 분포와 AR 목표 분포의 전문가 곱(Product-of-Experts)으로 구성된 중간 브리지 분포를 활용하는 새로운 디코딩 프레임워크 PoE-Bridge를 제안한다. PoE-Bridge는 거부 샘플링과 중요도 샘플링을 두 단계로 분리 적용하여 표준 DLM 디코딩 대비 5배 속도 향상과 함께 AR 모델 성능의 95% 이상을 회복하며, 수학적 추론 및 코딩 벤치마크에서 품질-효율 격차를 효과적으로 해소한다.

arXiv:2602.14147v2cs.CV

LaViDa-R1: 통합 멀티모달 확산 언어 모델의 추론 능력 향상

LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models

확산 언어 모델(dLLM)은 최근 자기회귀(auto-regressive) 대규모 언어 모델(LLM)의 유망한 대안으로 부상하였다. 최신 연구들은 이를 멀티모달 이해 및 생성 태스크로 더욱 확장하였다. 본 연구에서는 범용 멀티모달 추론 dLLM인 LaViDa-R1을 제안한다. 기존 연구들이 태스크별 강화학습을 통해 추론 dLLM을 구축하는 것과 달리, LaViDa-R1은 다양한 멀티모달 이해 및 생성 태스크를 통합된 방식으로 포괄한다. 특히, LaViDa-R1은 지도 파인튜닝(SFT)과 멀티태스크 강화학습(RL)을 원활하게 결합하는 새로운 통합 사후 학습 프레임워크를 기반으로 구축되었다. 또한 효과성과 확장성을 높이기 위해 답변 강제(answer-forcing), 트리 탐색(tree search), 상보적 가능도 추정(complementary likelihood estimation) 등 여러 새로운 학습 기법을 적용하였다. 광범위한 실험을 통해 LaViDa-R1이 시각적 수학 추론, 추론 집약적 그라운딩(reason-intensive grounding), 이미지 편집 등 다양한 멀티모달 태스크에서 우수한 성능을 발휘함을 입증한다.

arXiv:2607.02805v1cs.LG

부분 양방향성을 가진 하이브리드 블록 확산 언어 모델 학습

Training Hybrid Block Diffusion Language Models with Partial Bidirectionality

고처리량 장문맥 생성은 대규모 언어 모델(LLM)의 핵심 과제 중 하나이다. 생성은 일반적으로 연산 병목이 아닌 메모리 대역폭 병목 형태로 나타난다. 각 디코딩 단계에서 누적된 키/값(KV) 캐시를 메모리에서 스트리밍해야 하므로, 대역폭 수요는 문맥 길이에 따라 증가하는 반면 한 번에 단 하나의 토큰만 생성된다. 이에 따라 두 가지 병렬적 접근법이 등장했다. 하나는 효율적인 어텐션 변형과 Mamba 같은 선형 시간 믹서를 활용해 메모리 접근을 줄이는 방식이고, 다른 하나는 한 번에 토큰 블록을 생성하여 병렬 연산을 늘리는 방식이다. 그러나 이 두 아이디어를 결합할 때 기술적 어려움이 발생한다. DiffuMamba와 같은 기존 하이브리드 확산 모델은 인과적 생성 방향에 대한 역방향 스캔을 포함하는 양방향 Mamba 믹싱을 사용한다. 이 역방향 스캔은 전체 시퀀스를 스캔해야 하므로, 해당 상태는 접두 문맥만으로 구성되지 않아 블록 단위로 확산을 수행할 때에도 캐시로 정확히 재사용할 수 없다. 본 논문에서는 역방향 Mamba 스캔을 현재 활성화된 디노이징 블록으로 제한함으로써 이 문제를 해결하는 BDLM Mamba–어텐션 하이브리드를 제안한다. 이를 통해 블록 간 정확한 캐싱이 가능해진다. 8,700만 매개변수 규모의 DCLM 스윕 실험에서 BDLM Mamba-H는 BDLM 어텐션 및 전체 시퀀스 기준선과 비교하여 C4-en 검증 퍼플렉서티 기준 최고 성능을 달성하였다. 3억 5,000만 매개변수 규모에서도 BDLM 어텐션과 경쟁력 있는 성능을 유지한다. 장문맥 추론에서 BDLM Mamba-H는 65K 토큰 기준으로 전체 시퀀스 DiffuMamba-H 대비 19.7배, 262K 토큰 기준으로 BDLM 어텐션 대비 3.7배의 처리량을 달성하였으며, 이는 Mamba 하이브리드가 잠재적인 장문맥 확산 아키텍처임을 보여준다.

arXiv:2607.04428v1cs.CL

dOPSD: 확산 언어 모델을 위한 온-정책 자기 증류

dOPSD: On-Policy Self-Distillation for Diffusion Language Models

확산 대규모 언어 모델(dLLM)은 마스킹된 시퀀스를 반복적으로 디노이징하여 텍스트를 생성하며, 자기회귀 모델에 대한 병렬 대안을 제공한다. 그러나 사후 학습을 통해 강력한 추론 능력을 이끌어내는 것은 여전히 어렵다. 지도 미세조정은 오프-정책 방식이라 노출 바이어스를 겪으며, 강화학습은 시퀀스 수준의 희소한 보상만을 제공하고 다루기 쉬운 시퀀스 우도 없이는 적용하기 어렵다. 온-정책 자기 증류(OPSD)는 하나의 모델을 학생과 교사로 동시에 활용하여 밀도 높고 토큰 수준의 온-정책 지도 신호를 제공하는 유망한 대안이지만, 그 효과는 교사에게 특권 정보(PI)—일반적으로 추론 시에는 사용할 수 없는 인스턴스별 정답 레퍼런스—를 부여하는 것에 달려 있다. 이로 인해 학생은 개선 효과가 거의 없는 약한 PI-프리 합의 정책을 증류하게 되어 dLLM 추론에 별다른 향상을 가져오지 못한다. 우리는 dOPSD를 제안한다. 이 방법은 교사의 특권을 외부 레이블이 아닌 학생 자신의 디노이징 경로에서 직접 도출하며, 마스킹된 위치를 동일한 경로의 이후 더 많이 디코딩된 단계를 활용하여 평가함으로써 교사의 이점이 모델 자체의 디코딩 과정에서 창출되도록 한다. Dream과 LLaDA에서 dOPSD는 도메인 내 수학 추론과 도메인 외 코드 생성 모두를 개선하며, 지도 기반 및 온-정책 베이스라인을 능가한다.

arXiv:2607.00208v1cs.CL

SLIM-RL: Risk-Budgeted Random-Masking RL for Diffusion LLMs Without Trajectory Slicing

SLIM-RL은 확산 대규모 언어 모델(dLLM)의 강화학습에서 궤적 재구성 없이 τ-budget 디코더로 롤아웃의 커밋 리스크를 제한하고, 분산 감소 랜덤 마스킹 목적함수로 학습하는 방법이다. SDAR-4B 기준으로 TraceRL 대비 0.46배의 학습 샘플만으로 동등한 MATH500 정확도를 달성하며, GSM8K에서 11.05%, 코드 벤치마크 MBPP에서 4.20% 향상을 보인다.

arXiv:2606.29228v2cs.CL

확산 대규모 언어 모델의 평가 착시 현상 이해

Understanding Evaluation Illusion in Diffusion Large Language Models

확산 대규모 언어 모델(dLLM)의 디코딩 방법 평가에서 프롬프트 템플릿 선택에 따라 방법 간 순위가 크게 달라지는 '평가 착시(evaluation illusion)' 현상을 규명하고, 현재 병렬 디코딩 방법들이 단일 토큰 디코딩 기준선을 지속적으로 하회하며 속도-품질 트레이드오프를 극복하지 못함을 포괄적인 실험으로 입증한다. 이를 바탕으로 신뢰할 수 있는 dLLM 디코딩 평가를 위한 실용적인 가이드라인을 제안한다.

arXiv:2607.01170v1cs.IR

Diffusion-GR2: Diffusion Generative Reasoning Re-ranker

자동회귀(AR) 리랭커의 추론 속도를 높이기 위해, GR2를 블록 디퓨전(block-diffusion) 모델로 변환하는 Diffusion-GR2를 제안하며, 변환 파인튜닝(CFT)·온폴리시 증류(OPD)·강화학습(RL)의 3단계로 구조적 갭과 분포 갭을 해소한다. Amazon Beauty 실험에서 AR 리랭커와 거의 동등한 정확도를 유지하면서 디코딩 처리량을 2.4–3.5× 향상시켰다.

arXiv:2606.31315v1cs.CL

BlockPilot: 디퓨전 기반 추측적 디코딩을 위한 인스턴스 적응형 정책 학습

BlockPilot: Instance-Adaptive Policy Learning for Diffusion-based Speculative Decoding

디퓨전 기반 추측적 디코딩(speculative decoding)에서 기존의 고정 블록 크기 전략이 샘플마다 최적 블록 크기가 다르기 때문에 차선임을 분석하고, 최적 블록 크기가 학습 시 블록 크기 근방의 좁은 구간에 집중되는 지역적 구조를 활용해 경량 정책 학습기인 BlockPilot을 제안한다. BlockPilot은 프리필링(prefilling) 단계의 표현으로부터 블록 크기를 한 번만 예측하는 인스턴스 적응형 방식으로, Qwen3-4B에서 허용 길이 5.92, 4.20× 속도 향상을 달성했다.

arXiv:2606.31166v1cs.CL

TAG-DLM: 텍스트 속성 그래프 학습을 위한 확산 언어 모델

TAG-DLM: Diffusion Language Models for Text-Attributed Graph Learning

TAG-DLM은 마스크 확산 언어 모델(MDLM) 내에서 텍스트 추론과 그래프 메시지 패싱을 통합하는 프레임워크로, 별도의 GNN 모듈 없이 토폴로지 어텐션 마스크만으로 그래프 구조를 주입한다. 세 가지 TAG 벤치마크에서 노드 분류 및 링크 예측 태스크 모두 기존 GNN, 그래프 트랜스포머, LLM 기반 기준선을 최대 3.9포인트 차이로 능가하며, 타깃별 파인튜닝 없이 교차 데이터셋 전이도 지원한다.

arXiv:2606.29215v2cs.LG

멀티 블록 확산 언어 모델

Multi-Block Diffusion Language Models

블록 확산 언어 모델(BD-LM)을 멀티 블록 확산(MultiBD) 추론으로 확장할 때 발생하는 학습-추론 불일치를 해소하기 위해, 유한 크기의 노이즈 그룹과 무작위화된 노이즈 스케줄러를 활용하는 멀티 블록 교사 강제(MultiTF) 사후학습 기법과 Block Buffer 기반 최적화 디코딩 엔진을 제안한다. MBD-LLaDA2-Mini는 순전파당 평균 토큰 수(TPF)를 3.47에서 6.19로 높이고 정확도도 향상시켰으며, DMax와 결합 시 수학·코드 벤치마크에서 1.02%p의 정확도 하락만으로 TPF 9.34를 달성했다.

arXiv:2606.26493v2cs.CL

Nemotron-Labs-TwoTower: 사전학습된 자기회귀 컨텍스트를 활용한 확산 언어 모델링

Nemotron-Labs-TwoTower: Diffusion Language Modeling with Pretrained Autoregressive Context

확산 언어 모델(diffusion language model)의 컨텍스트 표현과 노이즈 제거 역할을 분리하기 위해, 고정된 자기회귀(AR) 컨텍스트 타워와 학습 가능한 확산 디노이저 타워로 구성된 블록 단위 아키텍처 TwoTower를 제안한다. Nemotron-3-Nano-30B-A3B 기반으로 약 2.1T 토큰 학습한 Nemotron-Labs-TwoTower는 자기회귀 기준선 대비 품질 98.7%를 유지하면서 2.42배 높은 생성 처리량(throughput)을 달성했다.

arXiv:2606.26120v1cs.CL

Dynamic-dLLM: 동적 캐시 예산 및 적응형 병렬 디코딩을 통한 학습 없는 Diffusion LLM 가속

Dynamic-dLLM: Dynamic Cache-Budget and Adaptive Parallel Decoding for Training-Free Acceleration of Diffusion LLM

확산 대규모 언어 모델(dLLM)은 시퀀스 길이에 따라 계산 복잡도가 L³로 증가하고 KV 캐싱이 어려워 긴 시퀀스·실시간 추론에 병목이 된다. Dynamic-dLLM은 학습 없이 층별 토큰 동역학에 맞춰 캐시 업데이트 예산을 적응 할당하는 DCU와 디코딩 임계값을 동적으로 보정하는 APD로 추론을 가속하며, LLaDA·Dream 등과 MMLU, GSM8K, HumanEval에서 성능을 유지한 채 평균 3배 이상의 속도 향상을 달성한다.

arXiv:2606.18195v2cs.CL

자기 미래로부터의 학습: dLLM을 위한 온-정책 자기 증류

Learning from the Self-future: On-policy Self-distillation for dLLMs

온-정책 자기 증류(OPSD)는 대규모 언어 모델(LLM)의 사후 학습(post-training)에 효과적인 것으로 입증되었으나, 디퓨전 LLM(dLLM)에 대한 적용은 아직 탐구되지 않았습니다. 기존 OPSD 방법들은 본질적으로 자기회귀(autoregressive) 중심적입니다. 이들은 토큰 수준 발산(token-level divergence) 감독 하에 왼쪽에서 오른쪽으로의 접두 문맥(prefix) 조건부 주입을 통해 특권 정보를 주입하는데, 이는 dLLM의 임의 순서 생성(arbitrary-order generation)과 근본적으로 충돌하는 설계입니다. 우리는 dLLM에 맞춰진 최초의 OPSD 프레임워크인 d-OPSD를 소개합니다. 우리의 접근법은 두 가지 핵심 기여를 합니다. 첫째, 우리는 스스로 생성한 답변을 접미사 조건부(suffix conditioning)로 사용하여 자기 교사(self-teacher) 구성을 재정립함으로써, 학생 모델(student model)이 특권 접두 문맥(privileged prefixes)이 아닌 "자기 미래 경험(self future-experience)"으로부터 학습하도록 합니다. 둘째, 우리는 감독(supervision)을 토큰 수준에서 단계 수준(step-level)으로 전환하여, 학습을 dLLM의 반복적 노이즈 제거(iterative denoising) 과정에 정렬합니다. 네 가지 추론 벤치마크(reasoning benchmarks)에 걸친 실험 결과, d-OPSD는 우수한 샘플 효율성(sample efficiency)으로 RLVR 및 SFT 기준선(baselines)을 일관되게 능가하며, RLVR의 최적화 단계(optimization steps) 중 약 10%만을 요구하여 dLLM 사후 학습(posttraining)을 위한 유망한 경로를 열고 있습니다. 코드는 https://github.com/xingzhejun/d-OPSD에서 확인할 수 있습니다.

arXiv:2606.24773v1cs.CL

Posterior Refinement: Fast Language Generation via Any-Order Flow Maps

Non-autoregressive generation offers a powerful paradigm for iterative refinement, allowing models to recursively critique, erase and regenerate arbitrary subsets of tokens. However, existing non-autoregressive models fail to realize this potential. Masked Diffusion Models (MDMs) suffer from factorization error, causing sample quality to collapse when generating multiple tokens simultaneously. Flow Map Language Models (FMLMs) circumvent this bottleneck via joint sequence transport for excellent few-step generation, but sacrifice the inference-time flexibility of MDMs. We introduce FMLM+, a framework that bridges this gap by equipping FMLM with masking-style noise schedules. While generating the full sequence in a single step, FMLM+ simultaneously scores the global consistency of each token a posteriori. We leverage this to introduce Posterior Refinement, a novel inference-time refinement strategy that enables the model to adaptively self-correct its outputs, matching the performance of discrete baselines with 32x fewer NFEs. Across diverse benchmarks, we demonstrate that FMLM+ with Posterior Refinement improves the speed--quality tradeoff over both MDM and FMLM families, providing a scalable foundation for high-fidelity language modeling.

arXiv:2606.21802v1cs.CL

언제 계획하고 언제 다듬을 것인가: 디퓨전 언어 모델에서 노이즈 수준을 세분성 축으로

When to Plan, When to Polish: Noise Level as a Granularity Axis for Diffusion Language Models

표준 토큰 단위 디퓨전 언어 모델은 높은 노이즈 구간에서 흩어진 국소 단편만 남겨 초기 거친 구조 형성을 어렵게 만든다. 노이즈 수준을 세분성 단서로 쓰는 NDGC(Noise Dependent Granularity Control)는 고노이즈에서 일관된 토큰 그룹으로 의미를 먼저 확정하고 저노이즈에서 토큰 수준으로 정교화해, 별도 플래너 없이 거친-세밀(coarse-to-fine) 디노이징을 구현하며 더 이른 골격 형성과 순서 회복, 더 건전한 출력을 보였다.

arXiv:2603.25702v2cs.CL

S2D2: 학습 없는 자기 추측을 통한 확산 LLM의 빠른 디코딩

S2D2: Fast Decoding for Diffusion LLMs via Training-Free Self-Speculation

블록 확산 언어 모델은 블록 단위 자기회귀(autoregressive) 디코딩과 블록 내 병렬 노이즈 제거를 결합하여 자기회귀보다 빠른 생성을 위한 유망한 경로를 제공합니다. 그러나 실제 가속에 필요한 적은 단계에서 표준 신뢰도 임계값 기반 디코딩은 종종 불안정합니다. 공격적인 임계값은 품질을 저하시키고, 보수적인 임계값은 불필요한 노이즈 제거 단계를 요구합니다. 이 문제를 해결하는 기존 접근 방식은 추가 학습이 필요하거나 추가 테스트 시간 연산을 초래합니다. 우리는 블록 확산 언어 모델을 위한 학습 없는 자기 추측 디코딩 프레임워크인 S2D2를 제안합니다. 우리의 핵심 관찰은 블록 크기를 1로 줄이면 블록 확산 모델이 자기회귀가 된다는 점으로, 이를 통해 동일한 사전학습 모델이 드래프터(drafter)와 검증자(verifier) 역할을 모두 수행할 수 있습니다. S2D2는 표준 블록 확산 디코딩에 추측 검증 단계를 삽입하고, 검증이 그 비용을 감수할 만한 가치가 있는지 결정하기 위해 가벼운 라우팅 정책을 사용합니다. 이는 확산이 토큰을 병렬로 제안하고 자기회귀 모드가 로컬 시퀀스 수준 비평자(critic)로 작용하는 하이브리드 디코딩 궤적을 생성합니다. 3개의 주요 블록 확산 계열에 걸쳐, S2D2는 강력한 신뢰도 임계값 기준선(baseline)보다 정확도-속도 트레이드오프를 일관되게 개선합니다. SDAR에서 우리는 자기회귀 디코딩보다 최대 $4.7\times$ 속도 향상을, 정확도를 최대 $4.5$ 포인트 개선하면서 튜닝된 동적 디코딩 기준선보다 최대 $1.57\times$ 속도 향상을 관찰했습니다. LLaDA2.1-Mini에서 S2D2는 내장된 자기 수정(self-correction)과 상호 보완적이며, 정확도가 약간 더 높으면서 정적 기준선보다 $4.4\times$ 더 빠른 보수적인 설정을 포함합니다.

arXiv:2606.19534v1cs.CV

PerceptionDLM: 멀티모달 디퓨전 언어 모델을 통한 병렬 영역 인지

PerceptionDLM: Parallel Region Perception with Multimodal Diffusion Language Models

멀티모달 대규모 언어 모델(MLLM)은 시각 이해 작업에서 괄목할 만한 진전을 이루었습니다. 그러나 대부분의 기존 MLLM은 자기회귀 생성에 의존하기 때문에, 여러 영역에 대한 캡션 생성이 필요한 인지 작업에서 효율성이 제한됩니다. 본 연구에서는 효율적인 병렬 영역 인지에 최적화된 멀티모달 디퓨전 언어 모델인 PerceptionDLM을 제안합니다. 오픈 소스 디퓨전 MLLM 중 최첨단 성능을 달성한 강력한 기초 기준선인 PerceptionDLM-Base를 기반으로 구축된 본 아키텍처는 DLM의 병렬 디코딩 특성을 완전히 활용합니다. 구체적으로, 효율적인 프롬프팅과 구조화된 어텐션 마스킹을 도입하여 여러 마스크된 영역을 동시에 인지할 수 있도록 하며, 이를 통해 모델이 시퀀스 및 토큰 수준에서 영역 설명을 병렬로 생성할 수 있게 합니다. 이러한 설계는 영역을 순차적으로 처리하는 기존 접근 방식에 비해 추론 효율성을 크게 향상시킵니다. DLM의 시각 인지 능력에 대한 병렬성 속성을 체계적으로 평가하기 위해, DLC-Bench를 확장하여 이미지당 여러 영역 마스크를 포함하도록 한 새로운 병렬 상세 지역화 캡션 벤치마크(ParaDLC-Bench)를 구축하여 캡션 품질과 추론 효율성을 공동으로 평가할 수 있게 했습니다. 실험 결과 PerceptionDLM은 영역 캡션 생성에서 경쟁력 있는 성능을 유지하면서 다중 영역 인지 작업에서 상당한 속도 향상을 달성함을 보여줍니다. 본 연구 결과는 효율적이고 병렬적인 시각 인지를 위한 멀티모달 디퓨전 언어 모델의 잠재력을 강조합니다. 본 연구진의 지식 범위 내에서, 디퓨전 언어 모델의 장점을 활용하여 병렬 영역 캡션 및 인지를 달성한 것은 이번이 처음입니다. 코드, 모델, 데이터셋은 공개되었습니다.

arXiv:2606.19257v1cs.CL

DreamReasoner-8B: 디퓨전 추론 모델을 위한 블록 크기 커리큘럼 러닝

DreamReasoner-8B: Block-Size Curriculum Learning for Diffusion Reasoning Models

블록 디퓨전 언어 모델에서 큰 블록 크기로 학습하면 긴 사고의 연쇄(CoT) 추론 성능이 크게 떨어지는 반면, 작은 블록은 추론을 유지한다는 점을 확인하고 DreamReasoner-8B를 제안했다. 정밀한 블록에서 거친 블록으로 점진 전환하는 블록 크기 커리큘럼 러닝으로 다양한 추론 블록 크기에도 강한 추론을 가능하게 했으며, 수학·코드 벤치마크에서 Qwen3-8B 수준의 경쟁력을 보였다.

arXiv:2606.19005v1cs.CL

Sumi: 스크래치부터 학습한 공개 균일 확산 언어 모델

Sumi: Open Uniform Diffusion Language Model from Scratch

1.5조 토큰으로 스크래치부터 사전학습한 완전 공개 7B 균일 확산 언어 모델(UDLM) Sumi를 제안하며, 지식·추론·코딩 벤치마크에서는 유사 토큰 예산의 자기회귀 모델과 경쟁력 있는 성능을 보이지만 상식 벤치마크에서는 교육 데이터 비중이 큰 혼합의 영향으로 성능이 낮다. 모델 가중치·체크포인트와 공개 말뭉치 기반 데이터 혼합 사양을 포함한 전체 학습 레시피를 공개해 대규모 균일 확산 연구의 기준점을 제공한다.