PyTorchKR Papers

최신 논문

총 14편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02800v2cs.AI

BitNest: 메모리 효율적인 대규모 언어 모델(LLM) 추론 가속을 위한 비트 중첩 추측 디코딩

BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration

추측 디코딩(speculative decoding)은 경량 드래프트를 사용하여 여러 토큰을 제안하고 이를 병렬로 검증함으로써 자기회귀적 생성을 가속합니다. 그러나 기존 방식들은 추가적인 드래프트 모델이나 가중치 표현을 필요로 하는 경우가 많아, 자원이 제한된 기기에서 무시할 수 없는 메모리 오버헤드를 유발합니다. 자체 추측(self-speculative) 방식은 이러한 오버헤드를 줄이지만, 드래프트 품질, 타깃 품질, 저장 공간 효율성 사이의 트레이드오프 문제에 여전히 직면합니다. 본 논문에서는 저정밀도 드래프트를 더 높은 정밀도의 타깃 표현 내에 직접 내장하는 비트 중첩 추측 디코딩 프레임워크인 BitNest를 제안합니다. 사전에 정의된 타깃에서 드래프트를 파생시키는 대신, BitNest는 먼저 강력한 저정밀도 베이스를 구축한 뒤 잔차 정제(residual refinement)를 통해 더 높은 정밀도의 타깃을 복원함으로써 두 모델이 단일한 물리적 가중치 표현을 공유할 수 있도록 합니다. 나아가 BitNest는 이러한 점진적 정밀도 설계를 긴 문맥 추론을 위한 KV 캐시로 확장합니다. 다양한 7B--8B 엣지 친화적 LLM과 다채로운 워크로드에 걸쳐, BitNest는 더 높은 정밀도의 모델 품질을 밀접하게 보존하면서 평균 95.2%의 추측 수락률을 달성하고 FP16 자기회귀 디코딩 대비 1.48--1.61배의 엔드투엔드 속도 향상을 제공합니다. 모든 대표적인 자체 추측 베이스라인이 지원하는 LLaMA 모델에서도 BitNest는 일관되게 경쟁력 있거나 더 높은 디코딩 가속을 달성합니다.

arXiv:2605.29986v2cs.AI

토큰 공간 압축을 통한 제약 조건 디코딩 가속화

Accelerating Constrained Decoding with Token Space Compression

대규모 언어 모델(LLM)의 출력이 지정된 구조를 따르도록 보장하기 위해, 문맥 자유 문법(CFG) 디코딩 엔진은 다음 토큰(token) 선택을 강제하여 주어진 CFG를 준수하는 문자열을 생성합니다. 현재의 CFG 기반 제약 조건 디코딩 엔진은 고도로 최적화되어 있지만, 단계별 탐색 공간이 방대하다는 점(즉, 전체 토큰 어휘 집합)에서 비롯되는 본질적인 비용으로 인해 여전히 어려움을 겪고 있습니다. 이는 CFG 엔진이 가장 유용한 상황인 더 복잡한 CFG에서 감당하기 힘들 정도로 높은 오버헤드를 발생시킵니다. 본 논문에서는 토큰 탐색 공간을 압축하여 CFG 엔진 오버헤드를 대폭 줄이는 오프라인 기법인 CFGzip을 소개합니다. 실험을 통해 배치 추론(inference) 중 최대 75배의 지연 시간 단축을 보고하며, 가장 까다로운 문법에서도 오버헤드를 약 1.2~2배 수준으로 줄입니다. CFGzip을 통해 이제 복잡한 CFG에 대해서도 대규모 제약 조건 디코딩이 가능해졌습니다.

arXiv:2610.01434v1cs.CV

MWOP: 효율적인 MLLM을 위한 모달리티 인지 너비 단위 연산 가지치기

MWOP: Modality-aware Width-wise Operation Pruning for Efficient MLLMs

멀티모달 대규모 언어 모델(MLLM)은 긴 시각-텍스트 시퀀스를 처리할 때 상당한 추론 비용을 초래합니다. 기존의 연산 압축 방식들은 모달리티 수준의 중복성을 활용하지만, 어텐션 헤드 내 연산과 공유 순전파 신경망(FFN) 채널을 대체로 단일 단위로 취급하여 더 미세한 단위의 중복성은 충분히 탐색하지 못하고 있습니다. 본 연구에서는 동일한 어텐션 헤드 내의 모달리티 간 상호작용 경로와 동일한 FFN 채널의 시각 및 텍스트 실행 전반에서 중복성이 서로 다르게 나타남을 발견했습니다. 이러한 발견을 바탕으로, 각 층 내에서 시각-시각(V2V), 텍스트-시각(T2V), 텍스트-텍스트(T2T) 어텐션 경로를 독립적으로 가지치기하고, 시각 및 텍스트 입력에 대해 FFN 채널을 개별적으로 선택하는 모달리티 인지 너비 단위 연산 가지치기(MWOP)를 제안합니다. 1차 테일러 기준(first-order Taylor criterion)이 가지치기 과정을 유도하며, 어텐션 가지치기와 LoRA 기반 복구 학습을 거친 후 FFN 중요도를 재평가합니다. 그 결과로 얻어지는 미세한 희소성을 실제 가속으로 전환하기 위해, 경로 희소(path-sparse) Triton 어텐션 커널과 컴팩트한 시각 측 FFN 실행 방식을 추가로 개발했습니다. MWOP는 어텐션 및 FFN 연산을 줄이면서도 토큰 시퀀스를 보존하므로 토큰 압축 기법과 상호 보완적이며, 시퀀스 길이와 토큰당 연산량을 동시에 줄일 수 있도록 합니다. LLaVA-OneVision-7B에서 MWOP 단독으로 12개 벤치마크에 걸쳐 99.7%의 평균 성능 유지율과 함께 1.6배의 프리필(prefill) 속도 향상을 달성했습니다. 대표적인 두 가지 토큰 압축 방법과 결합했을 때는 프리필 속도 향상을 각각 2.0배 및 1.9배에서 2.9배 및 2.7배로 더욱 증가시켰습니다. Qwen2.5-VL-7B에서의 결과는 다양한 아키텍처 전반에 걸친 적용 가능성을 추가로 입증합니다. 코드는 https://github.com/EIT-NLP/MWOP 에서 이용할 수 있습니다.

arXiv:2610.00623v1cs.CV

HAWK: 추측 디코딩을 위한 멀티모달 드래프팅의 재고

HAWK: Rethinking Multimodal Drafting for Speculative Decoding

추측 디코딩(Speculative decoding)은 대규모 언어 모델(LLM)에서 상당한 무손실 속도 향상을 달성했으나, 경량 드래프터(drafter)가 풍부한 멀티모달 정보를 활용하는 데 어려움을 겪는 대형 비전-언어 모델(LVLM)에서는 여전히 효과가 떨어집니다. 또 다른 한계점은 표준적인 지식 증류(distillation)가 드래프터 자체의 제안 이후 타깃 예측이 어떻게 변화하는지 모델링하지 않고, 오직 원래의 학습(training) 궤적을 따라서만 드래프터를 지도한다는 점입니다. 드래프팅이 이 궤적에서 벗어남에 따라 드래프터와 타깃 간의 불일치가 점차 커져 이후 단계에서의 수락률이 감소할 수 있습니다. 본 논문에서는 이 두 가지 한계를 모두 해결하기 위해 HAWK를 제안합니다. HAWK는 표현 유사도를 활용하여 정보량이 많은 타깃 레이어를 선택하고 이들의 은닉 상태(hidden state)를 결합하는 방법을 학습합니다. 시각 정보의 경우, 원시 시각 토큰(raw visual token) 대신 타깃 모델에서 압축된 시각 은닉 상태를 드래프터에 직접 제공함으로써 얕은 드래프터가 시각 정보를 더 쉽게 활용할 수 있도록 합니다. 또한 HAWK는 드래프터가 자체 제안 이후 타깃 예측이 어떻게 변하는지 포착하도록 학습시켜, 다단계 드래프팅 과정에서 타깃 모델과의 일치도를 향상시킵니다. 10개의 멀티모달 벤치마크에 걸쳐 SmolVLM-256M을 평가한 결과, HAWK는 그리디 디코딩(greedy decoding) 환경에서 EAGLE-3 대비 평균 수락 길이를 3.32에서 4.08로, 속도 향상을 2.19배에서 2.60배로 끌어올렸으며, 샘플링 환경에서는 2.89에서 3.41로, 1.92배에서 2.19배로 향상시켰습니다.

arXiv:2602.01345v2cs.CV

Adaptive Visual Autoregressive Acceleration via Dual-Linkage Entropy Analysis

Visual AutoRegressive modeling (VAR) suffers from substantial computational cost due to the massive token count involved. Failing to account for the continuous evolution of modeling dynamics, existing VAR token reduction methods face three key limitations: heuristic stage partition, non-adaptive schedules, and limited acceleration scope, thereby leaving significant acceleration potential untapped. Since entropy variation intrinsically reflects the transition of predictive uncertainty, it offers a principled measure to capture modeling dynamics evolution. Therefore, we propose NOVA, a training-free token reduction acceleration framework for VAR models via entropy analysis. NOVA adaptively determines the acceleration activation scale during inference by online identifying the inflection point of scale entropy growth. Through scale-linkage and layer-linkage ratio adjustment, NOVA dynamically computes distinct token reduction ratios for each scale and layer, pruning low-entropy tokens while reusing the cache derived from the residuals at the prior scale to accelerate inference and maintain generation quality. Extensive experiments and analyses validate NOVA as a simple yet effective training-free acceleration framework.

arXiv:2407.21082v3cs.CL

자기지도 조기 종료를 활용한 대규모 언어 모델 추론 가속화

Accelerating Large Language Model Inference with Self-Supervised Early Exits

본 논문은 중간 트랜스포머 레이어에 조기 종료 헤드를 추가하여 대규모 언어 모델(LLM)의 추론을 가속화하는 모듈형 접근법을 제시한다. 각 헤드는 메인 모델의 예측을 모방하도록 자기지도(self-supervised) 방식으로 학습되며, 보정된 신뢰도 임계값에 도달하면 연산을 조기에 중단할 수 있다. 여러 신뢰도 지표를 평가한 결과, 엔트로피(entropy)가 정확한 예측과 부정확한 예측 간의 가장 신뢰할 수 있는 분리 기준을 제공함을 보인다. Pythia 모델 스위트(70M~2.8B 파라미터)에 대한 실험을 통해, 본 방법이 다수의 벤치마크에서 정확도를 유지하면서 추론 비용을 크게 절감함을 입증한다. 나아가 이 접근법을 투기적 디코딩(speculative decoding)에 적용하여 Dynamic Self-Speculative Decoding(DSSD)을 제안하며, 이는 최소한의 하이퍼파라미터 튜닝으로 수동 조정된 LayerSkip 기준선 대비 1.66배 높은 토큰 수용률을 달성한다.

arXiv:2607.08786v1cs.LG

적당한 수준의 비정형 희소 가중치 행렬을 활용한 대규모 언어 모델의 GPU 추론 가속화

Accelerating GPU Inference of Large Language Models with Moderately Unstructured Sparse Weight Matrices

대규모 언어 모델(LLM)의 배포가 증가함에 따라 LLM 추론 비용이 핵심 과제로 부상하고 있다. 가중치 행렬에 희소성을 도입하는 가지치기 기법은 추론을 가속화할 수 있다. 그러나 모델 품질을 유지하기 위해 가지치기는 일반적으로 적당한 수준의 비정형 희소성(약 50%)으로 제한된다. 이 희소성 수준에서는 희소 행렬 곱(SpMM)을 위한 기존 GPU 커널 중 어느 것도 밀집 행렬 곱 대비 우수한 성능을 보이지 못한다. 본 논문은 적당한 희소성을 가진 LLM을 위한 효율적인 GPU 추론 방법을 제안한다. 세 층으로 구성된 행렬 저장 형식을 제안하며, 이는 (i) 희소 텐서 코어가 SpMM을 가속화하도록 하는 Sparse-TC 층, (ii) 병렬 차분 거리를 사용하여 행렬을 압축하면서 저비용 온칩 디코딩을 지원하는 Slot-Filling 층, (iii) 올바른 SpMM 연산을 보장하는 경량 Residual 층으로 구성된다. 이 형식을 기반으로, 희소 텐서 코어와 CUDA 코어를 함께 활용하는 SpMM 커널을 설계한다. 이 설계는 효율적인 실행 파이프라인을 가능하게 하고 온칩 연산과 메모리 접근을 중첩시킨다. 평가 결과, 본 연구는 고대역폭 메모리(HBM)를 장착한 최신 GPU에서 밀집 행렬 곱을 능가하는 최초의 사례임을 보여준다. SpInfer(EuroSys'25, 최우수 논문) 대비 최대 1.64배의 커널 수준 속도 향상, FlashLLM(VLDB'24) 대비 최대 1.41배의 엔드-투-엔드 속도 향상을 달성한다. 소스 코드: https://github.com/moui0/cudac.

arXiv:2607.06114v1cs.LG

x-Prediction Is All You Need:Training-Free Accelerated Generation via Endpoint Decodability

diffusion 모델과 flow matching 모델의 affine 확률 경로에서 중간 상태와 속도만으로 최종 샘플 $x_0$를 복원할 수 있는 "endpoint decodability" 성질을 이론적으로 형식화하고, 이를 활용해 ODE를 조기 종료한 뒤 복원된 $x_0$를 직접 출력하는 Truncated Jump Sampling(TJS)을 제안한다. TJS는 재학습·지식 증류·아키텍처 변경 없이 SDXL, SD3.5M 등 6종 모델에서 NFE를 20~70% 감소시키면서 품질을 거의 유지했다.

arXiv:2606.31315v1cs.CL

BlockPilot: 디퓨전 기반 추측적 디코딩을 위한 인스턴스 적응형 정책 학습

BlockPilot: Instance-Adaptive Policy Learning for Diffusion-based Speculative Decoding

디퓨전 기반 추측적 디코딩(speculative decoding)에서 기존의 고정 블록 크기 전략이 샘플마다 최적 블록 크기가 다르기 때문에 차선임을 분석하고, 최적 블록 크기가 학습 시 블록 크기 근방의 좁은 구간에 집중되는 지역적 구조를 활용해 경량 정책 학습기인 BlockPilot을 제안한다. BlockPilot은 프리필링(prefilling) 단계의 표현으로부터 블록 크기를 한 번만 예측하는 인스턴스 적응형 방식으로, Qwen3-4B에서 허용 길이 5.92, 4.20× 속도 향상을 달성했다.

arXiv:2606.26120v1cs.CL

Dynamic-dLLM: 동적 캐시 예산 및 적응형 병렬 디코딩을 통한 학습 없는 Diffusion LLM 가속

Dynamic-dLLM: Dynamic Cache-Budget and Adaptive Parallel Decoding for Training-Free Acceleration of Diffusion LLM

확산 대규모 언어 모델(dLLM)은 시퀀스 길이에 따라 계산 복잡도가 L³로 증가하고 KV 캐싱이 어려워 긴 시퀀스·실시간 추론에 병목이 된다. Dynamic-dLLM은 학습 없이 층별 토큰 동역학에 맞춰 캐시 업데이트 예산을 적응 할당하는 DCU와 디코딩 임계값을 동적으로 보정하는 APD로 추론을 가속하며, LLaDA·Dream 등과 MMLU, GSM8K, HumanEval에서 성능을 유지한 채 평균 3배 이상의 속도 향상을 달성한다.

arXiv:2606.26769v1cs.AI

ResilPhase: 확산 가속을 위한 플러그 앤 플레이 위상 매핑 및 노이즈 내성 거시 궤적 외삽

ResilPhase: Plug-and-Play Phase Mapping and Noise-Resilient Macro-Trajectory Extrapolation for Diffusion Acceleration

확산 모델(DiT)의 높은 가속 비율에서 기존 cache-then-forecast 방식이 품질을 크게 떨어뜨리는 원인을 연속 궤적과 불일치한 외삽·도함수 불안정성으로 분석하고, ODE 공간에서 Global Drift를 도함수 없는 무심점 Lagrange 외삽과 유계 Phase Mapping으로 예측하는 ResilPhase를 제안한다. FLUX.1-dev와 HunyuanVideo에서 공격적 가속 조건에서도 최첨단 수준의 충실도를 유지하며, FLUX.1-dev와 HunyuanVideo에서 약 5배 속도 향상을 달성한다.

arXiv:2606.26778v1cs.CV

LearniBridge: 확산 모델 가속을 위한 특징 캐싱의 학습 가능한 보정

LearniBridge: Learnable Calibration of Feature Caching for Diffusion Models Acceleration

확산 Transformer(DiT)의 특징 캐싱은 고가속 구간에서 오차 누적이 심해지는데, LearniBridge는 다양한 프롬프트에 공통인 저랭크 보정 구조를 활용해 경량 LoRA로 여러 타임스텝을 연결하는 학습 가능한 보정 메커니즘을 제안한다. 3–5개 샘플만으로 학습해도 FLUX·HunyuanVideo·WAN2.1에서 최대 5.87×·5.75×·4.10× 추론 가속을 달성하고, WAN2.1에서는 4.10× 가속에서 VBench가 이전 SOTA 대비 1.28% 향상된다.

arXiv:2606.23743v2cs.CV

Sol Video Inference Engine: 효율적인 비디오 생성을 위한 에이전트 네이티브 풀스택 가속 프레임워크

Sol Video Inference Engine: Agent-Native Full-Stack Acceleration Framework for Efficient Video Generation

현대의 비디오 확산 모델은 스케일링을 통해 더 높은 생성 품질을 달성하지만, 이는 추론 비용도 함께 증가시킨다. 많은 가속 방법이 제안되었음에도 불구하고, 핵심 과제는 가장 효과적인 가속 전략이 인스턴스마다 고도로 특이적이라는 점이다. 특정 모델, 하드웨어, 추론 구성의 조합에서 잘 작동하는 방법이 다른 조합에서는 효과적이지 않은 경우가 많다. 모델마다 아키텍처, 수치적 민감도, 어텐션 집중 패턴이 다르며, 추론 설정은 공간적·시간적 해상도와 비디오 길이에 따라 다르고, 하드웨어 플랫폼은 메모리 계층 구조, 지원하는 수치 형식, 커널 처리량이 서로 다르다. 이러한 요소들이 방대한 튜닝 공간을 형성하여 수동 성능 엔지니어링을 비용이 높게 만든다. 우리는 비디오 확산 모델을 위한 에이전트 기반, 네이티브, 학습 불필요(training-free) 가속 프레임워크인 Sol Video Inference Engine을 제안한다. 이 프레임워크는 캐시, 희소 어텐션(sparse attention), 토큰 가지치기, 양자화, 커널 융합이라는 다섯 가지 광범위하게 적용 가능한 기법을 인스턴스별 최적화를 위한 에이전트 기반 가속 스택으로 구성한다. 모델, 하드웨어 플랫폼, 서빙 구성으로 정의된 구체적인 배포 대상에 대해, 병렬 스킬 에이전트들이 각 기법의 구현을 최적화하고, 에이전트 통합기(agent integrator)가 이를 글로벌 가속 스택으로 합성하며, 사람 검증자가 생성 품질에 대한 피드백을 제공한다. 우리는 이 워크플로를 크기와 아키텍처가 서로 다른 세 가지 비디오 모델, 즉 64B Cosmos3-Super, 22B LTX-2.3, 2B SANA-Video에 적용하였다. 최소한의 인력으로 풀스택이 종단 간(end-to-end) 2배 이상의 가속을 달성하면서 VBench 품질을 거의 손실 없이 유지함으로써, 비디오 확산 가속을 위한 에이전트 프레임워크의 효과를 입증하였다.

arXiv:2606.10820v2cs.LG

K-Forcing: 푸시-포워드 언어 모델링을 통한 다음 K 토큰 공동 디코딩

K-Forcing: Joint Next-K-Token Decoding via Push-Forward Language Modeling

자기회귀(AR) 언어 모델의 순차적 디코딩 비효율을 해결하기 위해 단일 순전파로 다음 K개 토큰을 공동 생성하는 K-Forcing 방법론을 제안한다. 이 방법은 기존 AR 모델을 지식 증류하여 배치 서빙 환경에서 최대 3.5배의 속도 향상을 달성하면서도 품질 저하를 최소화했다.