arXiv:2610.10786v1 cs.AI

Plan-and-Patch: 에이전틱 계획을 위한 확산 언어 모델

Plan-and-Patch: Diffusion Language Models for Agentic Planning

Syamantak Kumar, Jiang Guo, Hassan Hamad, Hideo Kobayashi, Yi Xiang, Yezhou Yang, Yanjun Qi, Daniele Bonadiman, Jiarong Jiang

제출 2026-10-07

한국어 초록

계획(planning)은 여러 단계에 걸쳐 하위 목표, 도구 사용, 중간 결과를 조율하여 성공적으로 실행해야 하는 장기적(long-horizon) 에이전트(agent)에게 점점 더 중요해지고 있습니다. 그러나 계획 수립 중에 세운 가정이 환경(environment)에 의해 무효화되거나, 도구가 예상치 못한 결과를 반환하거나, 행동이 실패할 수 있습니다. 따라서 효과적인 에이전트는 계획을 생성할 뿐만 아니라 수정할 수도 있어야 합니다. 이러한 수정은 흔히 계획의 일부에만 영향을 미치며, 앞선 구조와 후속 구조는 그대로 유지합니다. 계획 전체를 다시 생성하여 불필요한 변경을 초래할 위험을 감수하기보다는, 보존된 접두 문맥(prefix)과 접미 문맥을 조건으로 하여 영향을 받은 영역만 복구(repair)를 통해 재생성할 수 있습니다. 본 논문에서는 확산 언어 모델(dLLM)이 병렬 언마스킹(parallel unmasking)을 통해 구조화된 프로그램 형태의 계획을 생성하고, 주변 단계를 고정한 채 선택된 영역을 채워 넣어 계획을 복구하는 계획-실행(plan-and-act) 프레임워크인 Plan-and-Patch를 소개합니다. 저자들은 확산 플래너와 자기회귀(AR) 플래너로서 DreamReasoner-8B와 Qwen3-8B를 비교합니다. 태스크 맞춤형 학습(training)이 없는 Natural Plan에서 확산 모델(53.7%)은 AR(27.0%) 대비 두 배에 가까운 계획 복구 성공률을 달성합니다. 에이전틱 벤치마크(benchmark)인 ALFWorld 및 TextCraft에서 태스크 맞춤형 학습을 거친 후, 두 플래너는 계획 생성에서 유사한 관측 성공률을 보인 반면, 확산 모델은 AR 대비 평균 계획 생성 지연 시간을 39-46% 단축합니다. 본 연구 결과는 Plan-and-Patch가 장기적 에이전트에서 더 빠른 계획 생성과 효과적인 계획 복구를 지원하는 프레임워크를 제공함을 보여줍니다.

원문 초록

Planning is increasingly important for long-horizon agents, where successful execution requires coordinating subgoals, tool use, and intermediate outcomes over many steps. Yet assumptions made during planning may be invalidated by the environment, tools may return unexpected results, or actions may fail. Effective agents must therefore not only generate plans, but also revise them. Such revisions often affect only part of a plan, leaving the preceding and subsequent structure intact. Rather than regenerate the entire plan and risk unnecessary changes, repair can regenerate the affected region conditioned on the preserved prefix and suffix. We introduce Plan-and-Patch, a plan-and-act framework in which a diffusion language model (dLLM) generates a structured, program-like plan through parallel unmasking and repairs it by filling in selected regions while keeping the surrounding steps fixed. We compare DreamReasoner-8B and Qwen3-8B as diffusion and autoregressive (AR) planners. On Natural Plan without task-specific training, diffusion (53.7%) achieves nearly twice the plan repair success rate of AR (27.0%). After task-specific training on agentic benchmarks, ALFWorld and TextCraft, the planners achieve similar observed success in plan generation, while diffusion reduces mean plan-generation latency by 39-46% relative to AR. Our results show that Plan-and-Patch provides a framework for faster plan generation and effective plan repair in long-horizon agents.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10786v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.10938v3cs.CL공통 태그 diffusion language model

ELF: 임베딩 언어 흐름(Embedded Language Flows)

ELF: Embedded Language Flows

확산(diffusion) 및 흐름 기반(flow-based) 모델은 이미지와 동영상 등의 도메인에서 연속 데이터를 생성하는 사실상의 접근법이 되었다. 그 성공은 언어 모델링(language modeling)에 이를 적용하려는 관심을 점점 더 끌어들이고 있다. 이미지 도메인의 대응 모델과 달리, 오늘날 선도적인 확산 언어 모델(diffusion language models, DLMs)은 주로 이산 토큰(discrete tokens) 위에서 동작한다. 본 논문에서는 이산 도메인에 대한 최소한의 적응만으로 연속 DLM을 효과적으로 만들 수 있음을 보인다. 우리는 연속 시간 Flow Matching에 기반한 연속 임베딩 공간에서의 확산 모델 클래스인 Embedded Language Flows(ELF)를 제안한다. 기존 DLM과 달리 ELF는 마지막 시간 단계까지 주로 연속 임베딩 공간 내에 머무르며, 이 단계에서 공유 가중치(shared-weight) 네트워크를 사용하여 이산 토큰으로 매핑한다. 이 구성은 이미지 도메인 확산 모델에서 확립된 기법, 예를 들어 classifier-free guidance(CFG)를 적응시키기 쉽게 만든다. 실험 결과 ELF는 선도적인 이산 및 연속 DLM을 크게 능가하며, 더 적은 샘플링 단계로 더 나은 생성 품질을 달성한다. 이 결과는 ELF가 효과적인 연속 DLM을 향한 유망한 경로를 제공함을 시사한다.

arXiv:2602.22871v2cs.CL공통 태그 diffusion language model

보상 유도 스티칭을 통한 디퓨전 언어 모델 기반 테스트 시간 스케일링

Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching

대규모 언어 모델(LLM)을 활용한 추론은 여러 사고의 연쇄(Chain-of-Thought)를 생성할 때 효과를 보는 경우가 많지만, 기존의 통합 전략은 대개 궤적 수준(예: 최적의 경로 선택 또는 최종 답변에 대한 투표)에 머물러 있어 부분적이거나 '거의 정답에 가까운' 시도에서 나온 유용한 중간 과정을 버리게 됩니다. 본 논문에서는 저비용 디퓨전 샘플링 기반 추론을 재사용 가능한 단계별 후보 풀로 변환하는 자기 일관성(self-consistency) 프레임워크인 '노이즈가 있는 디퓨전 사고 스티칭(Stitching Noisy Diffusion Thoughts)'을 제안합니다. 문제가 주어지면, (i) 마스크드 디퓨전 언어 모델을 사용하여 다양하고 비용이 적게 드는 추론 궤적을 다수 샘플링하고, (ii) 상용 프로세스 보상 모델(PRM)로 모든 중간 단계를 점수화하며, (iii) 궤적 전반에서 가장 품질이 높은 단계들을 결합(stitch)하여 복합적인 논리적 근거(rationale)를 만듭니다. 이렇게 생성된 논리적 근거는 최종 답변만을 재계산하는 데 사용됩니다. 이 모듈형 파이프라인은 탐험(디퓨전)을 평가 및 솔루션 종합과 분리하여, 광범위한 탐색을 유지하면서도 단일 통합형 하이브리드 구조를 피합니다. 수학 추론 벤치마크 전반에서 단계별 재조합은 더 어려운 문제에서 가장 큰 이점을 보였으며, 절제 연구(ablation)를 통해 결합되었지만 불완전한 근거를 정확한 답변으로 변환하는 최종 솔버의 중요성을 확인했습니다. 병렬적이고 독립적인 롤아웃을 갖춘 저신뢰도 디퓨전 샘플링을 활용한 당사의 학습 불필요(training-free) 프레임워크는 6개의 수학 및 코딩 태스크 전반에서 평균 정확도를 최대 23.8% 향상시킵니다. 동시에 기존 디퓨전 모델(예: Dream, LLaDA) 및 통합형 아키텍처(예: TiDAR) 대비 최대 1.8배의 지연 시간(latency) 감소를 달성합니다. 코드는 https://github.com/roymiles/diffusion-stitching 에서 확인할 수 있습니다.

arXiv:2609.06324v5cs.CL공통 태그 diffusion language model

주변분포에서 결합분포로 가는 티켓: 확산 언어 모델의 1단계 블록 생성을 위한 결합 노이즈 증류

A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models

확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.

arXiv:2609.29102v3cs.CL공통 태그 diffusion language model

ELF-REG: 연속형 디퓨전 언어 모델을 추론 작업으로 확장하기

ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks

완전 연속형 디퓨전 언어 모델(dLMs)은 중간 이산화 과정 없이 연속적인 표현의 노이즈를 제거한 뒤, 최종 단계에서 모든 응답 토큰을 병렬로 디코딩합니다. 그러나 고난도 추론 작업에서 이들의 성능은 자기회귀(AR) 대규모 언어 모델(LLM) 및 마스크 기반 dLM에 비해 아직 덜 입증되었습니다. 본 연구에서는 GSM8K, MATH-500, HumanEval, MBPP를 대상으로 임베디드 언어 흐름(ELF)을 수학적 추론 및 코드 생성 작업으로 확장합니다. 이를 위해 표현 정렬(alignment) 및 얽힘(entanglement)(REPA+REG)을 통해 학습(training)을 개선하는 ELF-REG를 제안합니다. 여기서 동결된 AR 교사 모델은 디노이저의 중간 특징을 감독하고, 응답과 함께 공동으로 노이즈가 제거되는 전역 표현을 제공합니다. ELF-REG-L은 64회의 네트워크 함수 평가(NFE)에서 GSM8K pass@1 55.96%를 달성하고, 128 NFE에서 MATH-500 13.39%, HumanEval 22.56%를 기록했습니다. 이는 GSM8K 및 코드 작업의 pass@1에서 평가된 유사 규모의 dLM들을 능가하며, MATH-500 pass@1을 ELF-L 기준선(baseline)의 10.55%에서 ELF-REG-L을 통해 13.39%로 향상시킵니다. 적은 단계의 학습 없이도 동일한 작업별 체크포인트는 디노이징 궤적을 완료하지 않고 중간의 정제된 예측을 디코딩하는 조기 중단(early-stop)을 통해 강력한 저(low)-NFE 성능을 지원합니다. 16 NFE에서 ELF-REG-L은 41.21%의 HumanEval pass@10에 도달하여 유사한 규모의 최근 연속형 dLM들을 능가합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.