arXiv:2602.22871v2 cs.CL

보상 유도 스티칭을 통한 디퓨전 언어 모델 기반 테스트 시간 스케일링

Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching

Roy Miles, Aysim Toker, Andreea-Maria Oncescu, Jiankang Deng, Ismail Elezi

제출 2026-02-26

저자 비고

arXiv Comments

NeurIPS 2026. Code available at https://github.com/roymiles/diffusion-stitching

한국어 초록

대규모 언어 모델(LLM)을 활용한 추론은 여러 사고의 연쇄(Chain-of-Thought)를 생성할 때 효과를 보는 경우가 많지만, 기존의 통합 전략은 대개 궤적 수준(예: 최적의 경로 선택 또는 최종 답변에 대한 투표)에 머물러 있어 부분적이거나 '거의 정답에 가까운' 시도에서 나온 유용한 중간 과정을 버리게 됩니다. 본 논문에서는 저비용 디퓨전 샘플링 기반 추론을 재사용 가능한 단계별 후보 풀로 변환하는 자기 일관성(self-consistency) 프레임워크인 '노이즈가 있는 디퓨전 사고 스티칭(Stitching Noisy Diffusion Thoughts)'을 제안합니다. 문제가 주어지면, (i) 마스크드 디퓨전 언어 모델을 사용하여 다양하고 비용이 적게 드는 추론 궤적을 다수 샘플링하고, (ii) 상용 프로세스 보상 모델(PRM)로 모든 중간 단계를 점수화하며, (iii) 궤적 전반에서 가장 품질이 높은 단계들을 결합(stitch)하여 복합적인 논리적 근거(rationale)를 만듭니다. 이렇게 생성된 논리적 근거는 최종 답변만을 재계산하는 데 사용됩니다. 이 모듈형 파이프라인은 탐험(디퓨전)을 평가 및 솔루션 종합과 분리하여, 광범위한 탐색을 유지하면서도 단일 통합형 하이브리드 구조를 피합니다. 수학 추론 벤치마크 전반에서 단계별 재조합은 더 어려운 문제에서 가장 큰 이점을 보였으며, 절제 연구(ablation)를 통해 결합되었지만 불완전한 근거를 정확한 답변으로 변환하는 최종 솔버의 중요성을 확인했습니다. 병렬적이고 독립적인 롤아웃을 갖춘 저신뢰도 디퓨전 샘플링을 활용한 당사의 학습 불필요(training-free) 프레임워크는 6개의 수학 및 코딩 태스크 전반에서 평균 정확도를 최대 23.8% 향상시킵니다. 동시에 기존 디퓨전 모델(예: Dream, LLaDA) 및 통합형 아키텍처(예: TiDAR) 대비 최대 1.8배의 지연 시간(latency) 감소를 달성합니다. 코드는 https://github.com/roymiles/diffusion-stitching 에서 확인할 수 있습니다.

원문 초록

Reasoning with large language models often benefits from generating multiple chains-of-thought, but existing aggregation strategies are typically trajectory-level (e.g., selecting the best trace or voting on the final answer), discarding useful intermediate work from partial or "nearly correct" attempts. We propose Stitching Noisy Diffusion Thoughts, a self-consistency framework that turns cheap diffusion-sampled reasoning into a reusable pool of step-level candidates. Given a problem, we (i) sample many diverse, low-cost reasoning trajectories using a masked diffusion language model, (ii) score every intermediate step with an off-the-shelf process reward model (PRM), and (iii) stitch these highest-quality steps across trajectories into a composite rationale. This rationale is then used to recompute only the final answer. This modular pipeline separates exploration (diffusion) from evaluation and solution synthesis, avoiding monolithic unified hybrids while preserving broad search. Across math reasoning benchmarks, we find that step-level recombination is most beneficial on harder problems, and ablations highlight the importance of the final solver in converting stitched but imperfect rationales into accurate answers. Using low-confidence diffusion sampling with parallel, independent rollouts, our training-free framework improves average accuracy by up to 23.8% across six math and coding tasks. At the same time, it achieves up to a 1.8x latency reduction relative to both traditional diffusion models (e.g., Dream, LLaDA) and unified architectures (e.g., TiDAR). The code is available https://github.com/roymiles/diffusion-stitching

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.22871v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.29102v3cs.CL공통 태그 Language Modeling, Math, Code Generation, diffusion language model

ELF-REG: 연속형 디퓨전 언어 모델을 추론 작업으로 확장하기

ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks

완전 연속형 디퓨전 언어 모델(dLMs)은 중간 이산화 과정 없이 연속적인 표현의 노이즈를 제거한 뒤, 최종 단계에서 모든 응답 토큰을 병렬로 디코딩합니다. 그러나 고난도 추론 작업에서 이들의 성능은 자기회귀(AR) 대규모 언어 모델(LLM) 및 마스크 기반 dLM에 비해 아직 덜 입증되었습니다. 본 연구에서는 GSM8K, MATH-500, HumanEval, MBPP를 대상으로 임베디드 언어 흐름(ELF)을 수학적 추론 및 코드 생성 작업으로 확장합니다. 이를 위해 표현 정렬(alignment) 및 얽힘(entanglement)(REPA+REG)을 통해 학습(training)을 개선하는 ELF-REG를 제안합니다. 여기서 동결된 AR 교사 모델은 디노이저의 중간 특징을 감독하고, 응답과 함께 공동으로 노이즈가 제거되는 전역 표현을 제공합니다. ELF-REG-L은 64회의 네트워크 함수 평가(NFE)에서 GSM8K pass@1 55.96%를 달성하고, 128 NFE에서 MATH-500 13.39%, HumanEval 22.56%를 기록했습니다. 이는 GSM8K 및 코드 작업의 pass@1에서 평가된 유사 규모의 dLM들을 능가하며, MATH-500 pass@1을 ELF-L 기준선(baseline)의 10.55%에서 ELF-REG-L을 통해 13.39%로 향상시킵니다. 적은 단계의 학습 없이도 동일한 작업별 체크포인트는 디노이징 궤적을 완료하지 않고 중간의 정제된 예측을 디코딩하는 조기 중단(early-stop)을 통해 강력한 저(low)-NFE 성능을 지원합니다. 16 NFE에서 ELF-REG-L은 41.21%의 HumanEval pass@10에 도달하여 유사한 규모의 최근 연속형 dLM들을 능가합니다.

arXiv:2609.27220v1cs.CL공통 태그 Language Modeling, Math, diffusion language model

LOCKR: 확산 언어 모델에서 안정적이지만 잘못된 락인을 감지하고 수정하기 위한 은닉 상태 궤적 유도 플래너

LOCKR: A Hidden-State Trajectory-Guided Planner for Detecting and Repairing Stable-but-Wrong Lock-In in Diffusion Language Models

확산 언어 모델(diffusion language models)은 반복적인 노이즈 제거(denoising)를 통해 텍스트를 생성하며, 최종 답변이 생성되기 전에 중간 궤적을 드러냅니다. 본 논문에서는 상당한 노이즈 제거 과정이 남아있음에도 답변이 조기에 잘못된 값으로 안정화되는 반복적인 추론 실패 현상인 '안정적이지만 잘못된 락인(stable-but-wrong lock-in)'을 규명합니다. 신뢰도(confidence), 엔트로피(entropy), 마진(margin), 답변 안정성과 같은 표면 수준 디코딩 신호는 올바른 락인과 잘못된 락인을 안정적으로 구분하기에 불충분합니다. 이에 본 연구는 선택적 추론 수정을 경량 테스트-타임 계획(test-time planning) 문제로 정식화하고, 은닉 상태(hidden-state) 궤적 유도 플래너인 LOCKR을 제안합니다. LOCKR은 추가 계산을 할당할 시점을 결정하고, 구조화된 타깃 수정 브랜치 세트를 확장하며, 궤적 인식 검증을 사용하여 가장 유망한 연속 생성을 선택합니다. 두 가지 확산 언어 모델과 세 가지 수학적 추론 벤치마크 전반에서, 은닉 상태 궤적은 잘못된 락인 감지 및 수정 선택 모두에서 표면 신호와 단일 은닉 스냅샷을 일관되게 능가했습니다. 자연스러운 평가 분포에서 LOCKR은 평가된 5개 설정 모두에서 2.21~5.37%p의 절대적 정확도 향상을 달성했으며, 수정률은 22%에서 41%에 달했습니다. 이러한 결과는 확산 모델의 은닉 궤적이 선택적 테스트-타임 추론 수정을 위한 실행 가능한 신호임을 입증합니다.

arXiv:2609.26637v1cs.CL공통 태그 Language Modeling, Math, Code Generation

유능하면서도 간결한: 최전선 모델에서 숨겨진 사고의 연쇄 추출 및 특성화

Capable yet Parsimonious: Extracting and Characterizing Hidden Chain-of-Thought in Frontier Models

최전선 언어 모델의 급격한 능력 향상은 널리 개선된 추론 능력 덕분으로 여겨지지만, 폐쇄형 시스템에서는 원시 사고의 연쇄(CoT) 추적이 숨겨져 있어 이를 검증할 수 없다. 표준 API 기능을 통해 간단한 사용자 정의 도구를 등록함으로써, 우리는 최전선 모델이 중간 추론을 외부화하도록 유도한다. 이러한 추적이 진정한 추론이 아니라 사후 합리화를 반영할 수 있기 때문에, 먼저 오픈소스 모델에서 네이티브 CoT와 대조 평가하고 GPT-6 Astra를 포함한 폐쇄형 최전선 모델로 확장한다. 추출된 추론은 네이티브 추론 성능과 일치하며, 경쟁 수학·과학·코드 생성 전반에서 추론 없음 기준선을 크게 능가함을 확인한다. 이어 최전선 모델이 중간 추론을 어떻게 구조화하는지 특성화한다. 토큰 효율, 추론 단계 유형, 유도된 추론 트리에 걸쳐, 모델이 추론을 외부화·압축·조직하는 방식에서 체계적 차이를 확인한다. Astra는 토큰 효율적인 지향적 추론을 보이며, 더 일찍 올바른 궤적을 선택하는 한편 기초 단계는 내부에서 처리하고 핵심 추론만 외부화한다. 이러한 결과는 벤치마크 점수를 넘어 최전선 모델 추론에 대한 행동적 관점을 제공한다.

arXiv:2610.13594v1cs.AI공통 태그 Math, Code Generation

MENTOR: 온-정책 교육적 개입을 통한 실패로부터의 학습

MENTOR: Learning from Failure with On-Policy Pedagogical Intervention

검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.

arXiv:2609.06324v5cs.CL공통 태그 Language Modeling, diffusion language model

주변분포에서 결합분포로 가는 티켓: 확산 언어 모델의 1단계 블록 생성을 위한 결합 노이즈 증류

A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models

확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.