arXiv:2609.23900v2 cs.LG

LumoTree: 하이브리드 언어 모델을 위한 경로 병렬 투기적 검증

LumoTree: Path-Parallel Speculative Verification for Hybrid Language Models

Zhiyuan Ma

제출 2026-09-22

저자 비고

arXiv Comments

11 pages, 3 figures

한국어 초록

하이브리드 언어 모델(hybrid language model)을 위한 트리 투기적 디코딩(tree speculative decoding)은 순환(recurrent), 합성곱(convolution), 어텐션(attention) 상태 전반에서 하나의 일관된 연속성을 유지해야 합니다. 본 논문에서는 순환 경로를 병렬로 실행하고 각 경로 내에서 상태 타일을 재사용하며, 공유된 논리적 트리를 통해 네이티브 순환 재생(recurrent replay), 합성곱 기록 수집(convolution-history gathering), 어텐션 캐시 재매핑을 조율하는 검증기인 LumoTree를 제시합니다. 융합된 후보 선택(fused candidate selection), GPU 상주 수락(GPU-resident acceptance), 그룹화된 split-K 어텐션이 검증 주기를 지원합니다. 컴포넌트 실험 결과, 정확한 후보 선택 동등성과 쌍을 이룬 오차 범위 내에서의 순환 일치성을 확인했습니다. 단일 NVIDIA DGX Spark(GB10)에서의 탐색적 Qwen3.8-27B NVFP4 배포는 10개의 SWE-bench Verified Astropy 태스크에서 초당 25.63 풀링 토큰(pooled tokens/s)을 기록했습니다. 이러한 결과는 컴포넌트 수준의 수치적 일치성과 코딩 에이전트(agent) 배포 특성을 보여주며, 완전한 모델 연속성 및 통제된 애플리케이션 속도 향상은 향후 과제로 남아 있습니다.

원문 초록

Tree speculative decoding for hybrid language models must preserve one coherent continuation across recurrent, convolution, and attention state. We present LumoTree, a verifier that executes recurrent paths in parallel, reuses state tiles within each path, and coordinates native recurrent replay, convolution-history gathering, and attention-cache remapping through a shared logical tree. Fused candidate selection, GPU-resident acceptance, and grouped split-K attention support the verification cycle. Component experiments show exact candidate-selection parity and recurrent agreement within paired error bounds. An exploratory Qwen3.8-27B NVFP4 deployment on a single NVIDIA DGX Spark (GB10) records 25.63 pooled tokens/s on ten SWE-bench Verified Astropy tasks. The results characterize component-level numerical agreement and coding-agent deployment; complete-model continuation and controlled application speedups remain open.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23900v2
  2. arXiv:2609.23900v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27657v1cs.LG공통 태그 Language Modeling, Decoder, Code Generation

FLEET: 텍스트 생성에서 로짓 엔트로피로부터 향상된 궤적으로

FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation

대규모 언어 모델(LLM) 기반의 솔루션은 완성 분포(completion distribution)에서 여러 샘플을 추출해 종합함으로써 정확도와 안정성을 향상하기 위해 온도 샘플링(temperature sampling)에 자주 의존합니다. 그러나 이러한 무기억(memoryless) 접근법은 본질적으로 차선책입니다. 이전 생성 결과 및 해당 평가에 대한 인식이 부족하기 때문에, 더 많은 샘플을 추출할수록 의미론적으로 중복된 답변의 비율이 증가하여 수확 체감으로 이어집니다. 이러한 한계를 해결하기 위해 생성 과정에 메모리 메커니즘을 통합하는 새로운 방법인 FLEET을 도입합니다. FLEET은 엔트로피가 사전 정의된 임계값을 초과하는 상태를 통과하는 희소 궤적(sparse trajectory)으로 각 생성을 표현하며, 이러한 궤적을 사용하여 로짓을 조정하는 토큰(token)별 효용 점수를 추론합니다. 벤치마크(benchmark) 평가는 FLEET이 반복 샘플링 기준선(baseline)과 동일한 정확도를 3배 빠른 속도로 달성하며, 동일한 예산 내에서 복잡한 코딩 태스크의 정확도를 크게 향상함(LiveCodeBench Pass@32가 59.9%에서 66.2%로 증가)을 입증합니다. 나아가 본 논문에서 평가된 탐욕적 디코딩(greedy-decoding) 구성에서 이 접근법은 결정론적이며 단일 캘리브레이션 패스를 사용하여 주요 하이퍼파라미터를 도출하므로 기존 LLM 파이프라인에 대한 수정이 최소한으로만 필요합니다.

arXiv:2609.29102v3cs.CL공통 태그 Language Modeling, Code Generation

ELF-REG: 연속형 디퓨전 언어 모델을 추론 작업으로 확장하기

ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks

완전 연속형 디퓨전 언어 모델(dLMs)은 중간 이산화 과정 없이 연속적인 표현의 노이즈를 제거한 뒤, 최종 단계에서 모든 응답 토큰을 병렬로 디코딩합니다. 그러나 고난도 추론 작업에서 이들의 성능은 자기회귀(AR) 대규모 언어 모델(LLM) 및 마스크 기반 dLM에 비해 아직 덜 입증되었습니다. 본 연구에서는 GSM8K, MATH-500, HumanEval, MBPP를 대상으로 임베디드 언어 흐름(ELF)을 수학적 추론 및 코드 생성 작업으로 확장합니다. 이를 위해 표현 정렬(alignment) 및 얽힘(entanglement)(REPA+REG)을 통해 학습(training)을 개선하는 ELF-REG를 제안합니다. 여기서 동결된 AR 교사 모델은 디노이저의 중간 특징을 감독하고, 응답과 함께 공동으로 노이즈가 제거되는 전역 표현을 제공합니다. ELF-REG-L은 64회의 네트워크 함수 평가(NFE)에서 GSM8K pass@1 55.96%를 달성하고, 128 NFE에서 MATH-500 13.39%, HumanEval 22.56%를 기록했습니다. 이는 GSM8K 및 코드 작업의 pass@1에서 평가된 유사 규모의 dLM들을 능가하며, MATH-500 pass@1을 ELF-L 기준선(baseline)의 10.55%에서 ELF-REG-L을 통해 13.39%로 향상시킵니다. 적은 단계의 학습 없이도 동일한 작업별 체크포인트는 디노이징 궤적을 완료하지 않고 중간의 정제된 예측을 디코딩하는 조기 중단(early-stop)을 통해 강력한 저(low)-NFE 성능을 지원합니다. 16 NFE에서 ELF-REG-L은 41.21%의 HumanEval pass@10에 도달하여 유사한 규모의 최근 연속형 dLM들을 능가합니다.

arXiv:2610.10933v1cs.LG공통 태그 Language Modeling, Quantization

스파이킹 언어 모델에서 시간적 인코딩과 비선형 연산 간의 트레이드오프 재고

Rethinking the Tradeoff Between Temporal Encoding and Nonlinear Computation in Spiking Language Models

스파이킹 언어 모델(Spiking language models)은 짧은 시간 윈도우에서 연속적인 의미적 특징을 표현하는 것과 비용이 많이 드는 비선형 어텐션(attention) 연산을 유지하는 것 사이의 트레이드오프에 직면합니다. 본 논문에서는 스파이크 인코딩과 어텐션 연산자를 공동 설계하는 Spora를 제안합니다. 이진 시간 가중치(binary temporal weights)를 통해 $T$개의 스파이크가 최대 $T$ 비트의 용량으로 구성적 값(compositional values)을 표현할 수 있도록 하며, 이는 스파이크 수 판독(spike-count readout)의 $O(\log_2 T)$ 비트와 대비됩니다. 단극성 이진 스파이킹(Unipolar Binary Spiking, UBS)은 임계값과 스파이크 트리거 잔차 감쇠를 사용하여 음이 아닌 정수 코드를 생성하고, 양극성 이진 스파이킹(Bipolar Binary Spiking, BBS)은 부호와 크기를 분리하며 부호화된 활성화에 대한 스케일을 학습합니다. 이러한 표현은 어텐션에서 누적 및 시프트(accumulation-and-shift) 내적과 정수 지수 매핑을 지원합니다. 4개 타임스텝에서 Spora는 평균 GLUE 점수 76.6점과 CoLA MCC 44.1점을 달성하여 SpikeLM 대비 각각 1.2점 및 6.2점 향상되었습니다. BBS를 6개 스텝으로 확장하면 이 점수는 각각 78.2점과 47.4점으로 상승합니다. 조건부 감쇠 분석, 예산 일치 활성화 양자화(quantization) 비교, 이벤트 워크로드 통계, 고정소수점 평가를 통해 인코딩 충실도와 계산 비용 간의 관계를 추가로 규명합니다.

arXiv:2610.02800v2cs.AI공통 태그 Quantization, Decoder

BitNest: 메모리 효율적인 대규모 언어 모델(LLM) 추론 가속을 위한 비트 중첩 추측 디코딩

BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration

추측 디코딩(speculative decoding)은 경량 드래프트를 사용하여 여러 토큰을 제안하고 이를 병렬로 검증함으로써 자기회귀적 생성을 가속합니다. 그러나 기존 방식들은 추가적인 드래프트 모델이나 가중치 표현을 필요로 하는 경우가 많아, 자원이 제한된 기기에서 무시할 수 없는 메모리 오버헤드를 유발합니다. 자체 추측(self-speculative) 방식은 이러한 오버헤드를 줄이지만, 드래프트 품질, 타깃 품질, 저장 공간 효율성 사이의 트레이드오프 문제에 여전히 직면합니다. 본 논문에서는 저정밀도 드래프트를 더 높은 정밀도의 타깃 표현 내에 직접 내장하는 비트 중첩 추측 디코딩 프레임워크인 BitNest를 제안합니다. 사전에 정의된 타깃에서 드래프트를 파생시키는 대신, BitNest는 먼저 강력한 저정밀도 베이스를 구축한 뒤 잔차 정제(residual refinement)를 통해 더 높은 정밀도의 타깃을 복원함으로써 두 모델이 단일한 물리적 가중치 표현을 공유할 수 있도록 합니다. 나아가 BitNest는 이러한 점진적 정밀도 설계를 긴 문맥 추론을 위한 KV 캐시로 확장합니다. 다양한 7B--8B 엣지 친화적 LLM과 다채로운 워크로드에 걸쳐, BitNest는 더 높은 정밀도의 모델 품질을 밀접하게 보존하면서 평균 95.2%의 추측 수락률을 달성하고 FP16 자기회귀 디코딩 대비 1.48--1.61배의 엔드투엔드 속도 향상을 제공합니다. 모든 대표적인 자체 추측 베이스라인이 지원하는 LLaMA 모델에서도 BitNest는 일관되게 경쟁력 있거나 더 높은 디코딩 가속을 달성합니다.

arXiv:2610.02462v1cs.LG공통 태그 Language Modeling, Quantization

LLM 압축을 위한 능력 축소 스케일링 법칙

Capability Scaling-Down Laws for LLM Compression

LLM 압축은 추론 비용과 메모리 요구량을 줄여주지만, 비슷한 자원 절감으로도 서로 다른 능력 손실이 발생할 수 있기 때문에 압축 방법과 설정을 선택하는 일은 대부분 경험적으로 이루어진다. 본 연구는 가지치기(pruning), 양자화(quantization), 지식 증류(distillation) 전반에 걸쳐 LLM 압축에 대한 능력 축소 스케일링 법칙을 체계적으로 조사한다. 우리의 프레임워크는 수학, 코드 생성, 질의응답에서의 능력 손실을 측정하고, 이 측정값을 모델 크기, 학습 단계, 압축 설정, 데이터 가용성, 학습 노출(training exposure)과 연관시킨다. 우리는 단순한 예측 관계식을 개발하고, 그 정확도, 측정 효율성, 그리고 보지 못한 설정 및 모델 상태로의 일반화 성능을 평가한다. 가지치기 수준 전반에서 밀도 반응(density response)을 공유하면 가지치기 예측기를 적합시키는 데 필요한 설정 측정 횟수가 절반으로 줄어든다: 새로운 Pythia 상태, 사전 등록된(pre-registered) OLMo-2 테스트 상태, 그리고 Wanda 가지치기 하에서, 이 간결한 관계식은 수학과 코드에 대한 모든 측정값으로 적합시킨 회귀 모델과 토큰당 0.020 나트(nats) 이내로 일치하며, 계수는 각 설정마다 다시 적합된다. 통제된 지식 증류 실험은 과도한 데이터 재사용(heavy data reuse)의 비용이 질의응답 분포 전반에서 반복적으로 나타나는 반면, 순이익(net benefit)은 평가 분포에 따라 달라짐을 보여준다. 우리는 또한 수치적 선택(numerical selection)을 설정 중앙값(configuration median) 및 고정된 방법 우선순위(fixed method priority)와 비교함으로써 이러한 예측의 의사결정 가치를 평가한다. 두 모델 패밀리에 대한 독립적인 평가 결과, 테스트된 후보 집합 내에서 선택 방식이 질의응답에 대해 얻을 수 있는 방법 간 이점(cross-method benefit)의 대부분을 포착하며, 이때 고정된 방법 우선순위도 동일한 리그렛(regret)을 달성하는 반면, 수학과 코드에서는 그 기회가 더 작음을 보여준다. 이러한 결과는 능력 축소 스케일링 법칙의 예측 범위와 압축 방법 선택에서의 활용 방안을 명확히 한다. 코드는 다음 주소에서 공개되어 있다: https://github.com/LabRAI/scaling_down_law.

arXiv:2609.27205v1cs.CL공통 태그 Language Modeling, Decoder

사용자 생성 텍스트의 음소화: 벤치마크, 분류 체계 및 조합적 접근

Phonemizing User-Generated Text: A Benchmark, Taxonomy, and Compositional Approach

텍스트 음성 변환 시스템은 ppl, imo와 같은 사용자 생성 텍스트(UGT)를 점점 더 많이 처리하며, 이러한 텍스트의 발음은 표면 형태가 아니라 정규(canonical) 형태로부터 추론해야 한다. 우리는 영어, 베트남어, 한국어 UGT를 위한 최초의 grapheme-to-phoneme(G2P) 벤치마크 UGTPhon과, 세밀한 진단을 위한 추론 기반 분류 체계를 제안한다. 기존 G2P 모델과 최신 프론티어 LLM은 체계적인 정규-비정규 성능 격차를 보이며, 최대 66.8 PER points에 이른다. 벤치마크 기준선으로, exact-match lookup과 단계적 디코딩(staged decoding)을 통해 정규 형태 증거를 통합하는 단순한 조합적 G2P 접근법을 제안한다. 매칭된 ByT5 및 Qwen2.5-0.5B 백본 전반에서 명시적 정규 형태 모델링은 비정규 G2P 오류를 일관되게 줄인다. 0.5B 변형은 훨씬 더 큰 퓨샷(few-shot) 프론티어 LLM과도 경쟁력 있는 성능을 보이며, UGT 음소화를 위해 정규 형태 추론을 명시적으로 모델링하는 이점을 부각한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.