PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.24306v1cs.CL

블록 확산 언어 모델의 생성 순서 재고

Rethinking the Generation Order of Block Diffusion Language Models

확산 언어 모델은 유연한 임의 순서 생성을 가능하게 하지만, 기존 샘플링 방법은 대부분 초기 마스크드 확산 모델(MDM)을 위해 설계되었다. 본 연구에서는 최근 블록 확산 언어 모델(BDLM)의 샘플링을 연구한다. 우리는 경험적·분석적으로 이 모델들이 MDM보다 자연스럽게 좌→우 디코딩에 더 정렬(alignment)되어 있음을 보인다. 이 관찰에 기반하여, 좌→우 언마스킹 구조를 유지하면서 병렬 토큰 확정을 허용하는 단순한 학습 없는(training-free) 샘플링 방법인 Parallel Autoregressive Decoding(PARD)를 제안한다. 광범위한 실험 결과, PARD는 생성 품질에서 기존 병렬 샘플러를 일관되게 능가하며, 순수 AR 디코딩 대비 상당한 속도 향상을 달성하면서 품질 격차는 작다.

arXiv:2607.02805v1cs.LG

부분 양방향성을 가진 하이브리드 블록 확산 언어 모델 학습

Training Hybrid Block Diffusion Language Models with Partial Bidirectionality

고처리량 장문맥 생성은 대규모 언어 모델(LLM)의 핵심 과제 중 하나이다. 생성은 일반적으로 연산 병목이 아닌 메모리 대역폭 병목 형태로 나타난다. 각 디코딩 단계에서 누적된 키/값(KV) 캐시를 메모리에서 스트리밍해야 하므로, 대역폭 수요는 문맥 길이에 따라 증가하는 반면 한 번에 단 하나의 토큰만 생성된다. 이에 따라 두 가지 병렬적 접근법이 등장했다. 하나는 효율적인 어텐션 변형과 Mamba 같은 선형 시간 믹서를 활용해 메모리 접근을 줄이는 방식이고, 다른 하나는 한 번에 토큰 블록을 생성하여 병렬 연산을 늘리는 방식이다. 그러나 이 두 아이디어를 결합할 때 기술적 어려움이 발생한다. DiffuMamba와 같은 기존 하이브리드 확산 모델은 인과적 생성 방향에 대한 역방향 스캔을 포함하는 양방향 Mamba 믹싱을 사용한다. 이 역방향 스캔은 전체 시퀀스를 스캔해야 하므로, 해당 상태는 접두 문맥만으로 구성되지 않아 블록 단위로 확산을 수행할 때에도 캐시로 정확히 재사용할 수 없다. 본 논문에서는 역방향 Mamba 스캔을 현재 활성화된 디노이징 블록으로 제한함으로써 이 문제를 해결하는 BDLM Mamba–어텐션 하이브리드를 제안한다. 이를 통해 블록 간 정확한 캐싱이 가능해진다. 8,700만 매개변수 규모의 DCLM 스윕 실험에서 BDLM Mamba-H는 BDLM 어텐션 및 전체 시퀀스 기준선과 비교하여 C4-en 검증 퍼플렉서티 기준 최고 성능을 달성하였다. 3억 5,000만 매개변수 규모에서도 BDLM 어텐션과 경쟁력 있는 성능을 유지한다. 장문맥 추론에서 BDLM Mamba-H는 65K 토큰 기준으로 전체 시퀀스 DiffuMamba-H 대비 19.7배, 262K 토큰 기준으로 BDLM 어텐션 대비 3.7배의 처리량을 달성하였으며, 이는 Mamba 하이브리드가 잠재적인 장문맥 확산 아키텍처임을 보여준다.

arXiv:2606.29215v2cs.LG

멀티 블록 확산 언어 모델

Multi-Block Diffusion Language Models

블록 확산 언어 모델(BD-LM)을 멀티 블록 확산(MultiBD) 추론으로 확장할 때 발생하는 학습-추론 불일치를 해소하기 위해, 유한 크기의 노이즈 그룹과 무작위화된 노이즈 스케줄러를 활용하는 멀티 블록 교사 강제(MultiTF) 사후학습 기법과 Block Buffer 기반 최적화 디코딩 엔진을 제안한다. MBD-LLaDA2-Mini는 순전파당 평균 토큰 수(TPF)를 3.47에서 6.19로 높이고 정확도도 향상시켰으며, DMax와 결합 시 수학·코드 벤치마크에서 1.02%p의 정확도 하락만으로 TPF 9.34를 달성했다.

arXiv:2606.29275v1cs.LG

적응형 블록 확산: 확산 언어 모델의 학습-추론 불일치 해소

Adaptive Block Diffusion: Resolving Training-Inference Mismatch in Diffusion Language Models

확산 언어 모델(DLM)의 고정 블록 학습과 추론 시 임의 구성 간의 불일치를 해결하기 위해, 접두 문맥 윈도우 구성을 확률 변수로 취급하여 전체 구성 공간에 걸쳐 노이즈 제거 리스크를 최적화하는 Adaptive Block Diffusion(ABD)을 제안한다. ABD는 아키텍처 변경 없이 단일 모델을 학습시켜 그리드 이탈 붕괴를 방지하고, 블록 크기와 perplexity 간 단조 관계를 회복하며 고정 블록 전문 모델과 동등하거나 우수한 성능을 달성한다.

arXiv:2602.14209v2cs.LG

MAGE: 블록 확산 LLM에서 All-Block은 이미 주시할 위치를 알고 있다

MAGE: All-[MASK] Block Already Knows Where to Look in Block Diffusion LLM

블록 확산 LLM(Block Diffusion LLM)은 병렬 언어 생성을 위한 신흥 패러다임이지만, KV 캐싱(KV caching)으로 인해 메모리 액세스가 긴 컨텍스트 추론(long-context inference)에서 지배적인 병목 현상이 됩니다. 쿼리당 작은 KV 부분집합에만 어텐션을 수행하는 희소 어텐션(sparse attention)은 최소한의 정확도 손실로 이 지연 시간을 줄일 수 있습니다. 그러나 블록 확산에서 각 블록의 B 토큰은 단일 KV 부분집합을 공유해야 하며, 우리는 이 블록 단위 제약조건이 기존 희소 KV 추정기의 재현율을 최대 25%까지 저하시킴을 보여줍니다. 우리는 블록 확산 학습 목적함수(training objective)에서 발생하는 속성을 활용하여 이 문제를 해결합니다. 즉, 노이즈 제거 단계(denoising steps)에 걸쳐 블록 평균 쿼리를 정렬하므로, 첫 번째 단계의 All-Block이 이미 전체 궤적에 대한 블록 단위 KV 부분집합을 드러냅니다. 우리는 MAGE(All-Block-Guided Sparse Attention, All-Block 유도 희소 어텐션)에서 이를 활용합니다. 이는 학습이 필요 없는(training-free) 방법으로, 첫 번째 단계에서 정확한 어텐션 패스를 한 번 실행하고 그 top-k 인덱스 집합을 블록 내 나머지 모든 단계에 대해 재사용합니다. LongBench의 세 가지 블록 확산 계열에 걸쳐, MAGE는 k=512일 때 거의 손실 없는 정확도로 정확한 어텐션(Exact Attention)과 성능이 일치하며, 128K 컨텍스트에서 최대 6.82배의 엔드투엔드 속도 향상을 달성했습니다. 또한, 각각 자기회귀 LLM(AR LLM)과 완전 양방향 확산 LLM용으로 설계된 Quest 및 SparseD보다 최대 3.35배 및 2.28배 더 빠르게 실행됩니다.