arXiv:2607.12780v1 quant-ph

가까워도 충분하지 않을 때: 양자 회로 합성의 자기회귀형 드리프트

When Close Enough Is Not Enough: Autoregressive Drift in Quantum Circuit Synthesis

Mehdi Saeedi, Eddie Richter, Paul Hartke

제출 2026-07-14

한국어 초록

오류 허용(fault-tolerant) 컴퓨팅을 위한 양자 회로 최적화는 T 게이트와 같은 비용이 큰 비-Clifford 자원을 최소화하면서 정확한 기능적 동등성(functional equivalence)을 요구한다. 우리는 구조화된 회로 토큰화(structured circuit tokenization)를 갖춘 4480만 매개변수 규모의 컴팩트한 인코더-디코더 트랜스포머를 사용해 이 문제를 연구하며, 매개변수화(parameterized) 회로(2–6큐비트)와 Clifford+T 회로(3–6큐비트)에서 평가한다. 매개변수화 회로에서는 트랜스포머로부터 구조, 고전 최적화로부터 각도를 얻는 하이브리드 접근법이 3–6큐비트 회로에서 중앙값 충실도(median fidelity) 1.000을 달성한다. Clifford+T 회로에서는 모든 게이트가 이산적이고 사후 처리(post-processing)가 불가능한데, 모델은 유효한 구문(syntax)과 정확한 T-Count 통계를 학습하지만, 목표 길이가 길어질수록 정확한 동등성(exact equivalence)이 급격히 저하된다—9개 이하 게이트 회로에서는 88%에서 26개를 넘는 회로에서는 거의 0에 이른다. 우리는 이 실패를 자기회귀형 드리프트(autoregressive drift)에 기인한다고 추적한다: 초기 토큰의 이탈이 왼쪽에서 오른쪽으로의 디코딩 과정에서 회복 불가능하게 연쇄적으로 확산된다. 드리프트를 부분적으로 완화하는 두 가지 레버가 있다: 다수 후보를 생성하고 동등성 검증(equivalence verification)을 통해 선택하는 추론(inference) 시점 전략은 정확 일치(exact-match)율을 7%에서 22.5%로 끌어올리고, 학습 데이터를 2.5배 확장하면 39.5%까지 올라간다. 그러나 목표 길이에 따른 저하는 지속된다—더 많은 데이터가 있더라도, 정확한 동등성은 짧은 회로에서 94%에서 26개를 넘는 게이트에서는 4% 미만으로 떨어진다. 설정 간 대비가 우리의 핵심 발견이다: 근사 출력(approximate outputs)이 사후 처리로 구제될 수 있을 때 트랜스포머는 성공한다; 정확한 이산적 정확성(discrete correctness)이 요구될 때는 자기회귀형 드리프트가 신뢰성을 제한하며, 추론 시점 탐색과 데이터 스케일링은 효과적인 레버인 반면 학습 측면의 미세조정(fine-tuning)과 모델 수준의 다양화(diversification)는 그렇지 않다.

원문 초록

Quantum circuit optimization for fault-tolerant computing requires exact functional equivalence while minimizing expensive non-Clifford resources such as T gates. We study this problem using a compact 44.8M-parameter encoder-decoder transformer with structured circuit tokenization, evaluating on parameterized circuits (2-6 qubits) and Clifford+T circuits (3-6 qubits). On parameterized circuits, a hybrid approach -- structure from the transformer, angles from classical optimization -- achieves median fidelity 1.000 on 3-6 qubit circuits. On Clifford+T circuits, where all gates are discrete and no post-processing is possible, the model learns valid syntax and accurate T-Count statistics, yet exact equivalence degrades sharply with target length -- from 88% on circuits with <=9 gates to near zero beyond 26 gates. We trace this failure to autoregressive drift: early-token divergence cascading irrecoverably through left-to-right decoding. Two levers partially mitigate the drift: inference-time strategies that generate multiple candidates and select via equivalence verification raise exact-match rates from 7% to 22.5%, while scaling training data by 2.5x pushes them to 39.5%. Yet the degradation with target length persists -- even with more data, exact equivalence drops from 94% on short circuits to under 4% beyond 26 gates. The contrast between settings is our central finding: when approximate outputs can be rescued by post-processing, the transformer succeeds; when exact discrete correctness is required, autoregressive drift limits reliability, with both inference-time search and data scaling as effective levers while training-side fine-tuning and model-level diversification are not.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.12780v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27396v1cs.CL공통 태그 Decoder, Text Generation, Code Generation

병렬 Drafter가 병렬 추측 디코딩을 만날 때

When Parallel Drafter Meets Parallel Speculative Decoding

DSpark 스타일의 병렬 drafter는 추측 디코딩(speculative decoding)을 매우 효과적으로 만들었지만, draft 단계는 여전히 매 라운드 임계 경로(critical path)에서 직렬로 실행된다. 병렬 추측 디코딩(PSD)은 drafting과 검증(verification)을 겹치게 하지만, 기존 방법은 수용된 접두 문맥(prefix)과 보너스 토큰(bonus token)을 미리 추측해야 하며, 잘못된 추측은 전체 배치를 직렬 drafting으로 되돌린다. 우리는 효과적인 병렬 drafter를 재사용하면서도 매 라운드마다 백본–검증 겹침을 보장해 이러한 확률적 fallback을 완전히 없애는 PSD 프레임워크인 DPara를 제안한다. target이 검증하는 동안 DPara의 diffusion 백본은 보너스를 정하지 않은 채 모든 acceptance boundary에 대한 draft representation을 미리 계산하고, 경량 자기회귀(autoregressive) head가 드러난 검증 결과와 대응하는 사전 계산 representation을 결합해 다음 라운드의 draft 토큰을 거의 즉시 내보낸다—지배적인 백본 forward를 검증과 완전히 병렬화하고 무시할 수 있는 head 비용만 직렬로 남긴다. Qwen3-8B와 Qwen3-14B에 대해 수학·코딩·채팅 벤치마크 7개에서의 실험은 DPara가 자기회귀 디코딩 대비 평균 $3.21\times$ 및 $3.52\times$ 속도 향상을 달성하며, 가장 강한 직렬·병렬 추측 디코딩 baseline을 모두 능가함을 보여준다.

arXiv:2609.27657v1cs.LG공통 태그 Decoder, Text Generation, Code Generation

FLEET: 텍스트 생성에서 로짓 엔트로피로부터 향상된 궤적으로

FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation

대규모 언어 모델(LLM) 기반의 솔루션은 완성 분포(completion distribution)에서 여러 샘플을 추출해 종합함으로써 정확도와 안정성을 향상하기 위해 온도 샘플링(temperature sampling)에 자주 의존합니다. 그러나 이러한 무기억(memoryless) 접근법은 본질적으로 차선책입니다. 이전 생성 결과 및 해당 평가에 대한 인식이 부족하기 때문에, 더 많은 샘플을 추출할수록 의미론적으로 중복된 답변의 비율이 증가하여 수확 체감으로 이어집니다. 이러한 한계를 해결하기 위해 생성 과정에 메모리 메커니즘을 통합하는 새로운 방법인 FLEET을 도입합니다. FLEET은 엔트로피가 사전 정의된 임계값을 초과하는 상태를 통과하는 희소 궤적(sparse trajectory)으로 각 생성을 표현하며, 이러한 궤적을 사용하여 로짓을 조정하는 토큰(token)별 효용 점수를 추론합니다. 벤치마크(benchmark) 평가는 FLEET이 반복 샘플링 기준선(baseline)과 동일한 정확도를 3배 빠른 속도로 달성하며, 동일한 예산 내에서 복잡한 코딩 태스크의 정확도를 크게 향상함(LiveCodeBench Pass@32가 59.9%에서 66.2%로 증가)을 입증합니다. 나아가 본 논문에서 평가된 탐욕적 디코딩(greedy-decoding) 구성에서 이 접근법은 결정론적이며 단일 캘리브레이션 패스를 사용하여 주요 하이퍼파라미터를 도출하므로 기존 LLM 파이프라인에 대한 수정이 최소한으로만 필요합니다.

arXiv:2609.26796v1cs.CL공통 태그 Decoder, Text Generation, Code Generation

Flash-dLLM: 빠르고 메모리 효율적인 확산 대규모 언어 모델을 위한 I/O 인식 KV 캐싱 및 병렬 디코딩

Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs

확산 대규모 언어 모델(dLLM)은 비자기회귀(non-autoregressive) 텍스트 생성을 가능하게 함으로써 자기회귀 LLM의 유망한 대안으로 최근 부상했습니다. 그러나 효과적인 Key-Value(KV) 캐싱 및 확장 가능한 병렬 디코딩 메커니즘의 부재로 인해 비효율적인 추론(inference)이 발생하여 실제 배포에는 여전히 한계가 있습니다. 기존 가속 방법들은 대개 KV 캐싱과 병렬 디코딩을 개별적으로 연구하여, 캐시 재사용과 병렬 토큰(token) 검증을 결합하여 적용할 때 발생하는 I/O 병목 현상을 간과합니다. 본 연구에서는 빠르고 메모리 효율적인 dLLM을 위한 학습(training) 불필요 추론 가속 프레임워크인 $\textbf{Flash-dLLM}$을 소개합니다. Flash-dLLM은 먼저 GPU 메모리 I/O가 KV 캐시 기반 dLLM 추론에서 주된 병목임을 확인하고, 중복 메모리 이동을 줄이는 I/O 인식 융합 KV 캐시 커널(kernel)을 통해 이를 해결합니다. 이러한 최적화된 캐시 메커니즘을 기반으로, Flash-dLLM은 dLLM 자체가 보조 모델(model) 없이 초안 작성기(drafter)이자 검증기(verifier) 역할을 하는 효율적인 KV 캐시 기반 초안 작성 및 검증(draft-and-verify) 디코딩 전략을 추가로 제안합니다. 이 통합 설계는 생성 품질을 유지하면서 더 빠른 디코딩을 가능하게 하고, 더 긴 시퀀스와 더 큰 배치(batch) 크기에 대한 확장성을 개선합니다. 수학적 추론 및 코드 생성 벤치마크에 대한 광범위한 실험을 통해 Flash-dLLM이 추론 속도와 메모리 효율성 모두에서 기존 최고 수준의 dLLM 가속 방법들을 일관되게 능가함을 입증합니다. 특히 이전의 가장 강력한 기준선(baseline)인 Elastic-Cache 대비 GSM8K 및 HumanEval에서 각각 $5.1\times$ 및 $11.0\times$의 속도 향상을 달성합니다.

arXiv:2610.09145v2cs.LG공통 태그 Text Generation, Combinatorial Optimization

프롬프트에 노이즈 추가하기: 연속 확산 언어 모델에서 조건부 토큰 노이즈화

Noise Your Prompt: Noising Conditioning Tokens in Continuous Diffusion Language Models

본 연구에서는 연속 확산 언어 모델(continuous diffusion language model) 문헌에서 표준적으로 통용되던, 학습(training) 중 조건부 프롬프트(prompt) 토큰을 깨끗한 상태(clean)로 고정하는 관행을 재검토합니다. 우리는 매우 간단한 수정 사항을 적용하여, 학습 중 조건부 프롬프트 토큰에도 노이즈를 추가합니다. 이러한 수정된 학습 목적 함수 하에서 스도쿠(Sudoku) 및 N-퀸(N-Queens)과 같은 조합 추론(combinatorial reasoning) 태스크에서 더 우수한 일반화 성능을 달성함을 입증하였으며, 특히 더 어려운 변형에서 가장 큰 폭의 향상(Sudoku Hard 해결률 $3.73\% \to 24.65\%$)과 생성된 해의 다양성 증가(10x10 N-Queens 커버리지 $50.60\% \to 73.79\%$)를 확인했습니다. 또한 Gigaword 요약을 통한 적당한 데이터셋(dataset) 환경에서 자연어 생성 품질의 측정 가능한 개선을 보여주었으나, 이러한 이점이 모든 자연어 태스크(예: 개방형 대화 생성)로 전이되지는 않음을 명확히 보여줍니다. 본 논문의 방법론은 학습 목적 함수에 단 한 줄만을 변경하는 방식이며, 기본적으로 추가적인 추론(inference) 비용이 발생하지 않고, 분류기 없는 유도(classifier-free guidance)에서 영감을 얻은 유도 샘플링(guided sampling)의 유연성을 제공합니다. 공개된 \href{https://github.com/LateralIntelligence/noise-your-prompt}{코드}를 이용할 수 있습니다.

arXiv:2609.23900v2cs.LG공통 태그 Decoder, Code Generation

LumoTree: 하이브리드 언어 모델을 위한 경로 병렬 투기적 검증

LumoTree: Path-Parallel Speculative Verification for Hybrid Language Models

하이브리드 언어 모델(hybrid language model)을 위한 트리 투기적 디코딩(tree speculative decoding)은 순환(recurrent), 합성곱(convolution), 어텐션(attention) 상태 전반에서 하나의 일관된 연속성을 유지해야 합니다. 본 논문에서는 순환 경로를 병렬로 실행하고 각 경로 내에서 상태 타일을 재사용하며, 공유된 논리적 트리를 통해 네이티브 순환 재생(recurrent replay), 합성곱 기록 수집(convolution-history gathering), 어텐션 캐시 재매핑을 조율하는 검증기인 LumoTree를 제시합니다. 융합된 후보 선택(fused candidate selection), GPU 상주 수락(GPU-resident acceptance), 그룹화된 split-K 어텐션이 검증 주기를 지원합니다. 컴포넌트 실험 결과, 정확한 후보 선택 동등성과 쌍을 이룬 오차 범위 내에서의 순환 일치성을 확인했습니다. 단일 NVIDIA DGX Spark(GB10)에서의 탐색적 Qwen3.8-27B NVFP4 배포는 10개의 SWE-bench Verified Astropy 태스크에서 초당 25.63 풀링 토큰(pooled tokens/s)을 기록했습니다. 이러한 결과는 컴포넌트 수준의 수치적 일치성과 코딩 에이전트(agent) 배포 특성을 보여주며, 완전한 모델 연속성 및 통제된 애플리케이션 속도 향상은 향후 과제로 남아 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.