BitNest: 메모리 효율적인 대규모 언어 모델(LLM) 추론 가속을 위한 비트 중첩 추측 디코딩
BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration
한국어 초록
추측 디코딩(speculative decoding)은 경량 드래프트를 사용하여 여러 토큰을 제안하고 이를 병렬로 검증함으로써 자기회귀적 생성을 가속합니다. 그러나 기존 방식들은 추가적인 드래프트 모델이나 가중치 표현을 필요로 하는 경우가 많아, 자원이 제한된 기기에서 무시할 수 없는 메모리 오버헤드를 유발합니다. 자체 추측(self-speculative) 방식은 이러한 오버헤드를 줄이지만, 드래프트 품질, 타깃 품질, 저장 공간 효율성 사이의 트레이드오프 문제에 여전히 직면합니다. 본 논문에서는 저정밀도 드래프트를 더 높은 정밀도의 타깃 표현 내에 직접 내장하는 비트 중첩 추측 디코딩 프레임워크인 BitNest를 제안합니다. 사전에 정의된 타깃에서 드래프트를 파생시키는 대신, BitNest는 먼저 강력한 저정밀도 베이스를 구축한 뒤 잔차 정제(residual refinement)를 통해 더 높은 정밀도의 타깃을 복원함으로써 두 모델이 단일한 물리적 가중치 표현을 공유할 수 있도록 합니다. 나아가 BitNest는 이러한 점진적 정밀도 설계를 긴 문맥 추론을 위한 KV 캐시로 확장합니다. 다양한 7B--8B 엣지 친화적 LLM과 다채로운 워크로드에 걸쳐, BitNest는 더 높은 정밀도의 모델 품질을 밀접하게 보존하면서 평균 95.2%의 추측 수락률을 달성하고 FP16 자기회귀 디코딩 대비 1.48--1.61배의 엔드투엔드 속도 향상을 제공합니다. 모든 대표적인 자체 추측 베이스라인이 지원하는 LLaMA 모델에서도 BitNest는 일관되게 경쟁력 있거나 더 높은 디코딩 가속을 달성합니다.
원문 초록
Speculative decoding accelerates autoregressive generation by using a lightweight draft to propose multiple tokens for parallel verification. However, existing methods often require an additional draft model or weight representation, introducing non-negligible memory overhead on resource-constrained devices. Self-speculative approaches reduce this overhead, yet still face trade-offs between draft quality, target quality, and storage efficiency. We propose BitNest, a bit-nested speculative decoding framework that embeds a low-precision draft directly into the higher-precision target representation. Instead of deriving a draft from a predefined target, BitNest first constructs a strong low-precision base and then recovers the higher-precision target through residual refinement, enabling both models to share a single physical weight representation. BitNest further extends this progressive-precision design to the KV cache for long-context inference. Across multiple 7B--8B edge-friendly LLMs and diverse workloads, BitNest achieves an average speculative acceptance rate of 95.2% while closely preserving higher-precision model quality, and delivers 1.48--1.61x end-to-end speedup over FP16 autoregressive decoding. On the LLaMA models supported by all representative self-speculative baselines, BitNest also achieves consistently competitive or higher decoding speedup.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MWOP: 효율적인 MLLM을 위한 모달리티 인지 너비 단위 연산 가지치기
MWOP: Modality-aware Width-wise Operation Pruning for Efficient MLLMs
멀티모달 대규모 언어 모델(MLLM)은 긴 시각-텍스트 시퀀스를 처리할 때 상당한 추론 비용을 초래합니다. 기존의 연산 압축 방식들은 모달리티 수준의 중복성을 활용하지만, 어텐션 헤드 내 연산과 공유 순전파 신경망(FFN) 채널을 대체로 단일 단위로 취급하여 더 미세한 단위의 중복성은 충분히 탐색하지 못하고 있습니다. 본 연구에서는 동일한 어텐션 헤드 내의 모달리티 간 상호작용 경로와 동일한 FFN 채널의 시각 및 텍스트 실행 전반에서 중복성이 서로 다르게 나타남을 발견했습니다. 이러한 발견을 바탕으로, 각 층 내에서 시각-시각(V2V), 텍스트-시각(T2V), 텍스트-텍스트(T2T) 어텐션 경로를 독립적으로 가지치기하고, 시각 및 텍스트 입력에 대해 FFN 채널을 개별적으로 선택하는 모달리티 인지 너비 단위 연산 가지치기(MWOP)를 제안합니다. 1차 테일러 기준(first-order Taylor criterion)이 가지치기 과정을 유도하며, 어텐션 가지치기와 LoRA 기반 복구 학습을 거친 후 FFN 중요도를 재평가합니다. 그 결과로 얻어지는 미세한 희소성을 실제 가속으로 전환하기 위해, 경로 희소(path-sparse) Triton 어텐션 커널과 컴팩트한 시각 측 FFN 실행 방식을 추가로 개발했습니다. MWOP는 어텐션 및 FFN 연산을 줄이면서도 토큰 시퀀스를 보존하므로 토큰 압축 기법과 상호 보완적이며, 시퀀스 길이와 토큰당 연산량을 동시에 줄일 수 있도록 합니다. LLaVA-OneVision-7B에서 MWOP 단독으로 12개 벤치마크에 걸쳐 99.7%의 평균 성능 유지율과 함께 1.6배의 프리필(prefill) 속도 향상을 달성했습니다. 대표적인 두 가지 토큰 압축 방법과 결합했을 때는 프리필 속도 향상을 각각 2.0배 및 1.9배에서 2.9배 및 2.7배로 더욱 증가시켰습니다. Qwen2.5-VL-7B에서의 결과는 다양한 아키텍처 전반에 걸친 적용 가능성을 추가로 입증합니다. 코드는 https://github.com/EIT-NLP/MWOP 에서 이용할 수 있습니다.
트랜스포머 Key-Value 캐시의 텐서 분해: 스펙트럼 구조와 포맷 비교
Tensor Decomposition of Transformer Key-Value Caches: Spectral Structure and Format Comparison
자기회귀 트랜스포머의 키-값(KV) 캐시는 어텐션 헤드, 토큰, 특징, 그룹화된 층에 걸친 4차 텐서로 볼 수 있다. 본 연구에서는 Mistral-7B-v0.3과 LLaMA-2-13B에서 네 가지 모드 전개(mode unfolding) 모두의 특이값 스펙트럼을 측정하고, 동일한 저장 용량 조건에서 Tucker, CP, 텐서 트레인(tensor train), t-SVD의 네 가지 표준 텐서 분해를 비교한다. 스펙트럼은 네 축을 두 부류로 나눈다. 토큰 모드와 특징 모드는 특히 키(key)에서 저순위(low-rank) 구조를 보인다. 반면 헤드 모드와 층 모드는 거의 전순위(full-rank)이며, 실용적인 어떤 오차 수준에서도 압축에 저항한다. 네 가지 분해 중 Tucker는 전순위 모드를 그대로 둘 수 있기 때문에 $2\times$에서 $5\times$까지 모든 압축률에서 가장 낮은 복원 오차를 달성한다. 2차원 전개(unfolding) 기준선과의 비교에서는 키와 값(value)에 따라 선호되는 표현이 다르다는 점이 나타난다. 동일한 저장 용량에서 2D 방법은 더 낮은 키 오차를 달성하는 반면, 4방향 Tucker는 더 낮은 값 오차를 달성한다. 모드 고정(mode-pinning) 정리는 측정된 스펙트럼만으로 전순위 모드가 보존됨을 보증한다. 전순위 모드에는 영향을 주지 않으면서 압축 가능한 모드에 영향을 미치는 두 가지 스펙트럼 특성이 더 있다. 값은 모든 압축률에서 키보다 더 높은 오차 하한(error floor)에 도달하며, RoPE 이후의 키는 두 모델 모두에서 RoPE 이전 압축 가능성의 $41\%$ - $64\%$를 잃는다.
LLM 추론을 위한 긴 컨텍스트의 답변 정렬 메모리 임베딩 압축
Compressing Long Context into Answer-Aligned Memory Embeddings for LLM Inference
대규모 언어 모델(LLM) 추론은 셀프 어텐션(self-attention)의 이차 스케일링과 KV 캐시의 선형 스케일링에 의해 제약되어, 컨텍스트 길이가 늘어날수록 지연 시간, 에너지 소비, GPU 메모리 요구가 증가한다. 기존 소프트 압축(soft-compression) 방법은 추론 시점에 쿼리 기반 메모리 선택이 없거나, 답변 대상 지도(answer-targeted supervision) 없이 학습하거나, 압축을 특정 디코더 아키텍처에 강하게 결합하는 한계가 있다. 본 연구는 Context-to-Answer-Aligned Memory Compression(CMC) 프레임워크를 제안한다. 이는 긴 입력 컨텍스트를 동결된(frozen) 디코더의 임베딩 공간에 정렬된 컴팩트한 Context Memory Embeddings(CMEs)로 압축하여 디코더 가중치를 수정하지 않고 추론 비용을 줄인다. CMC는 질문 기반 CME 선택과 지역 컨텍스트 윈도우(local context window)를 결합한 2단 KV 캐시를 도입하고, 동결된 LLM으로부터 답변 대상 지식 증류(distillation)로 압축기를 학습한다. 9가지 인코더-디코더 조합과 4개 QA 벤치마크에 걸친 실험에서 CMC는 기준선을 일관되게 능가하며, SQuAD에서 최대 7.3 EM 및 4.0 F1 포인트 향상을 달성하는 동시에, 생성 토큰 3,000개 기준 추론 시간과 에너지 소비를 최대 20% 줄이고 피크 예약 GPU 메모리를 최대 50% 줄였다. ablation 연구는 각 아키텍처 구성 요소와 학습 목표가 성능에 기여함을 확인했다.
JustFit: 로컬 LLM 서빙을 위한 적시 상태 관리
JustFit: Just-in-Time State Management for Local LLM Serving
로컬 에이전트는 모델 실행과 작업 이력을 위해 메모리가 필요하다. 우리는 겹치는 할당을 조율하는 MLX 런타임 JustFit을 제시한다. KVExec는 제한된 워크스페이스에서 4비트 KV를 실행하고 체크포인트하며, PhaseSwap은 단계 의존적 구성 요소를 로드하고, StateTrans는 실행 모드 간 이력을 보존한다. 24 GiB M4 Pro MacBook에서 Qwen3.8-27B MXFP4로 JustFit은 두 요청에 걸쳐 327,680개의 유지 위치에 도달하며, 이는 평가된 기준선의 단일 요청 기록 30,720 위치의 10.67배이다. 한 요청은 중앙값 5.986 tokens/s로 전체 262,144 위치의 네이티브 윈도우를 완료한다. 각 shape는 세 개의 새 프로세스에서 요청당 16,384 출력을 완료한다. B1은 cold build 1회와 접두 문맥 확장 2회를 사용하고, B2는 순서대로 된 접두 문맥 확장 3회를 사용한다(Section 4). 이미지 인코딩은 활성 196,608 입력 텍스트 요청을 유지한 채 진행할 수 있다. 통제된 반복 32K+6K 워크로드는 15,626 MiB에서 중앙값 18.284 tokens/s에 도달한다. 별도의 AIME 2026 평가에서는 29/30점을 기록한다. 실행과 상태 수명을 조율하면 개인 하드웨어에서 더 긴 이력을 다루는 것이 가능해진다.
이진 양자화 신경망 학습은 입력 및 출력 차원으로 매개변수화할 때 W[1]-난해하다
Binary Quantized Neural Network Training Is W[1]-Hard Parameterized by Input and Output Dimensions
O\'ido: Real-Time Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator
토론
이 논문과 연결된 포럼 글이 아직 없습니다.