원문 초록
Non-autoregressive generation offers a powerful paradigm for iterative refinement, allowing models to recursively critique, erase and regenerate arbitrary subsets of tokens. However, existing non-autoregressive models fail to realize this potential. Masked Diffusion Models (MDMs) suffer from factorization error, causing sample quality to collapse when generating multiple tokens simultaneously. Flow Map Language Models (FMLMs) circumvent this bottleneck via joint sequence transport for excellent few-step generation, but sacrifice the inference-time flexibility of MDMs. We introduce FMLM+, a framework that bridges this gap by equipping FMLM with masking-style noise schedules. While generating the full sequence in a single step, FMLM+ simultaneously scores the global consistency of each token a posteriori. We leverage this to introduce Posterior Refinement, a novel inference-time refinement strategy that enables the model to adaptively self-correct its outputs, matching the performance of discrete baselines with 32x fewer NFEs. Across diverse benchmarks, we demonstrate that FMLM+ with Posterior Refinement improves the speed--quality tradeoff over both MDM and FMLM families, providing a scalable foundation for high-fidelity language modeling.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.24773v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
프롬프트에 노이즈 추가하기: 연속 확산 언어 모델에서 조건부 토큰 노이즈화
Noise Your Prompt: Noising Conditioning Tokens in Continuous Diffusion Language Models
본 연구에서는 연속 확산 언어 모델(continuous diffusion language model) 문헌에서 표준적으로 통용되던, 학습(training) 중 조건부 프롬프트(prompt) 토큰을 깨끗한 상태(clean)로 고정하는 관행을 재검토합니다. 우리는 매우 간단한 수정 사항을 적용하여, 학습 중 조건부 프롬프트 토큰에도 노이즈를 추가합니다. 이러한 수정된 학습 목적 함수 하에서 스도쿠(Sudoku) 및 N-퀸(N-Queens)과 같은 조합 추론(combinatorial reasoning) 태스크에서 더 우수한 일반화 성능을 달성함을 입증하였으며, 특히 더 어려운 변형에서 가장 큰 폭의 향상(Sudoku Hard 해결률 $3.73\% \to 24.65\%$)과 생성된 해의 다양성 증가(10x10 N-Queens 커버리지 $50.60\% \to 73.79\%$)를 확인했습니다. 또한 Gigaword 요약을 통한 적당한 데이터셋(dataset) 환경에서 자연어 생성 품질의 측정 가능한 개선을 보여주었으나, 이러한 이점이 모든 자연어 태스크(예: 개방형 대화 생성)로 전이되지는 않음을 명확히 보여줍니다. 본 논문의 방법론은 학습 목적 함수에 단 한 줄만을 변경하는 방식이며, 기본적으로 추가적인 추론(inference) 비용이 발생하지 않고, 분류기 없는 유도(classifier-free guidance)에서 영감을 얻은 유도 샘플링(guided sampling)의 유연성을 제공합니다. 공개된 \href{https://github.com/LateralIntelligence/noise-your-prompt}{코드}를 이용할 수 있습니다.
연속 확산 언어 모델의 설계 공간에 관한 연구
On the Design Space of Continuous Diffusion Language Models
연속 확산 언어 모델(CDLM)은 빠른 샘플링 및 제어 가능한 생성을 포함하여 연속 흐름 모델링의 이점을 언어 영역에 가져올 것으로 기대를 모으고 있습니다. 이 분야는 빠르게 발전해 왔으며, CDLM의 성능은 이산 확산 모델과 견줄 만한 수준에 이르기 시작했습니다. 그러나 이미지나 비디오와 같은 연속 양식(modality)과 달리, CDLM을 학습(training)할 때 중요한 핵심 요인(lever)에 대한 우리의 이해는 여전히 제한적입니다. 본 연구에서는 이러한 요인 중 두 가지, 즉 자기 조건화(self-conditioning)와 임베딩(embedding) 기하학에 주목하고 그 이면의 메커니즘을 밝혀내어, 비용 효율적이고 더욱 효과적인 설계를 제안합니다. 먼저, 자기 조건화가 학습 과정에서는 드물게 나타나는 추론(inference) 유사 상태에 모델을 노출시킴으로써 학습과 추론 간의 불일치를 바로잡는다는 점을 보입니다. 이러한 성능 향상은 추가적인 순전파(forward pass) 없이 2단계 보간기(interpolant)인 $\mathrm{DoubleCat}$을 통해 회복될 수 있으며, 이는 TinyGSM 정확도를 세 배 이상 향상시킵니다. 또한 자기 조건화는 큰 노름(norm)의 가우시안에 지배되는 토큰을 인식하는 데도 도움을 주는데, 이는 토큰 식별 가능성(token identifiability)으로 알려진 문제입니다. 이를 직접 해결하기 위해 $\mathrm{DoubleCat}$에 이산적 공개(discrete reveals)를 도입한 $\mathrm{SemiCat}$을 제안하며, 이는 표준 학습 하이퍼파라미터와 튜닝된 샘플러를 사용하여 TinyGSM에서 $49.94\%$를 달성해 이산 확산 수준의 성능을 달성합니다. $1.7$B 규모에서 $\mathrm{SemiCat}$은 6개의 가능도(likelihood) 기반 평가 중 4개에서 이산 확산을 능가하며, 무조건부 생성에서는 원-핫 흐름(one-hot flows)을 능가합니다. 임베딩 공간에서 교차 엔트로피(cross-entropy)는 디코딩 오류율이 원-핫 방식과 밀접하게 일치하는 기하학적 구조로 임베딩을 유도한다는 사실을 발견했습니다. 나아가 비동기 노이즈 스케줄을 포함한 하이브리드 손상 과정 및 노이즈 스케줄 등 다양한 추가 옵션을 간략히 탐험합니다. 본 연구의 탐험이 연구 커뮤니티가 CDLM의 설계 공간을 더 잘 이해하고 발전시키는 데 기여할 것으로 기대합니다.
대규모 언어 모델(LLM)을 활용한 교통 관리 계획서 작성 지원: WisDOT WisTMP 시스템 사례 연구
Large Language Model-Assisted Preparation of Transportation Management Plans: A Case Study with WisDOT WisTMP System
공사 구간은 교통 인프라에서 매우 중요하면서도 위험한 요소로, 안전성과 이동성을 보장하기 위해 세심하게 설계된 교통 관리 계획서(TMP)가 필수적입니다. 그러나 TMP 작성은 여전히 많은 노동력이 소요되며 실무자의 전문성에 크게 의존하고 있습니다. 본 논문에서는 WisDOT WisTMP 시스템을 적용 환경으로 삼아 TMP 내용 생성을 자동화하는 대규모 언어 모델(LLM) 기반 프레임워크를 제안합니다. 이 프레임워크는 다양한 모델 규모에 걸쳐 여러 오픈소스 LLM을 미세조정(fine-tuning)하고, 데이터 보안을 보장하기 위해 이를 로컬 환경에 배포합니다. 모델 학습을 지원하기 위해, 과거 WisTMP 문서의 PDF 파일을 JSON 형식의 구조화된 질문-답변 쌍으로 변환하여 도메인 특화 데이터셋을 구축합니다. 실험 결과에 따르면 미세조정은 표준 텍스트 생성 지표 전반에서 성능을 크게 향상시키는 것으로 나타났습니다. 추가적인 섹션별 및 전략 수준 분석 결과, LLM이 전반적으로 우수한 성능을 달성함에도 불구하고 전략을 과도하게 생성하는 경향이 있으며, 프로젝트별 타당성 근거 및 정확한 비용 추정치를 생성하는 데 어려움을 겪는 것으로 드러났습니다. 또한, 모델 규모를 7B/8B에서 14B로 확장해도 성능 향상은 제한적이었습니다. 이러한 결과는 TMP 작성 효율성을 개선할 수 있는 LLM의 잠재력을 보여주는 동시에, LLM 지원 기반 TMP 개발에 남아 있는 과제들을 강조합니다. 소스 코드와 데모 영상은 https://zihaosheng.github.io/TMP-LLM/ 에서 공개될 예정입니다.
Omni-Diffusion-Distill: 통합 멀티모달 확산 대규모 언어 모델의 소수 스텝 증류
Omni-Diffusion-Distill: Few-Step Distillation of Unified Multimodal Diffusion Large Language Models
통합 멀티모달 확산 대규모 언어 모델(diffusion large language models, dLLM)은 이미지 생성과 멀티모달 이해 모두를 위한 단일 아키텍처를 제공하지만, 이들의 반복적 디코딩은 수십에서 수백 번의 순전파(forward pass)를 필요로 한다. 기존의 소수 스텝(few-step) 증류(distillation) 기법들은 주로 이미지 생성이나 텍스트 생성 중 한쪽에만 초점을 맞추고 있어, 생성과 이해 성능을 모두 보존하면서 완전 이산형 멀티모달 dLLM을 단일한 효율적 학생(student) 모델로 압축하는 방법은 명확하지 않았다. 본 연구에서는 통합 멀티모달 dLLM의 추론 비용을 대폭 줄이면서도 강력한 생성 및 이해 능력을 유지하는 통합 2단계 증류 프레임워크인 Omni-Diffusion-Distill을 제안한다. Omni-Diffusion-Distill은 이산 토큰 공간에서 이미지와 텍스트 모두에 대해 생성과 이해의 증류를 정렬한다. 첫 번째 단계에서 학생 모델은 캐시된 교사(teacher) 궤적을 재생함으로써 디코딩 스텝을 건너뛰도록 학습되며, 두 번째 단계에서는 자체 롤아웃을 따른 중간 상태에서 학생 모델을 미세조정한다. 나아가 병렬 텍스트 디코딩 시 반복을 줄이는 쌍별 충돌 페널티(pairwise collision penalty)와, 이미지 생성에서 날카로워진 교사 분포에 피팅됨으로써 발생하는 엔트로피 붕괴를 방지하는 엔트로피 일치 가이던스(entropy-matched guidance)를 통해 통합 증류에서의 두 가지 성능 저하 원인을 개선한다. Omni-Diffusion-Distill은 멀티모달 dLLM에서 디코딩 효율성과 생성 및 이해 성능 간의 최고 수준(state-of-the-art) 트레이드오프를 달성하여, 이미지 생성을 128 디코딩 스텝에서 8스텝으로, 멀티모달 이해를 512스텝에서 64스텝으로 줄이고 18.2배 및 21.2배의 실제 경과 시간(wall-clock) 속도 향상을 이끌어낸다. 이러한 예산 내에서 텍스트-투-이미지 생성의 경우 GenEval 0.828점과 DPG-Bench 83.0점을 기록하며, 멀티모달 이해의 경우 MM-Vet에서 20.0점, COCO 캡셔닝에서 57.2점의 GPT 판정 점수를 달성한다(동일 스텝 기준 교사 모델의 28.4점 대비 2배).
컨텍스트 타워 변환은 생성 성능을 보존하고 동결은 지식을 유지한다: MoE LLM의 저예산 AR-투-디퓨전 변환
Context-Tower Conversion Preserves Generation While Freezing Retains Knowledge: Low-Budget AR-to-Diffusion Conversion of MoE LLMs
사전학습된 자기회귀(AR) 모델을 디퓨전 언어 모델(dLLM)로 변환하면 새로운 모델을 사전학습하지 않고도 병렬 생성이 가능해진다. 기존에 발표된 변환 방법들은 학습 데이터 양에서 약 세 자릿수(1000배) 차이를 보이며, 공통된 프로토콜 하에서 비교된 적이 없다. 우리는 동일한 300억(30B) 매개변수 규모의 전문가 혼합(MoE) 부모 모델로부터 얻은 두 가지 변환 방식을 비교하며, 코퍼스, 지도 학습 토큰 예산, 학습 가능한 매개변수 집합, 평가 하니스(harness)는 고정한 채 각 방법은 고유한 학습 레시피를 따르도록 했다. 제자리(in-place) 모델은 디노이징(denoising) 및 표현 정렬(representation-alignment) 손실을 사용하여 부모 모델의 가중치 중 일부를 업데이트하는 반면, 동결 타워(frozen-tower) 모델은 부모 모델의 동결된 코잘(causal) 복사본에 대한 크로스 어텐션을 통해 조건화된다. 10억(1B)개의 학습 토큰을 사용했을 때, 동결 타워 모델은 HumanEval pass@10에서 71.60점을 기록한 반면 제자리 모델은 6.19점에 그쳤으며, 이는 11.6배의 성능 향상이다. 같은 예산에서 동결 타워 모델은 부모 모델의 GSM8K 점수의 95%와 MMLU-Pro 점수의 99%를 유지한다. 덴스(dense) 부모 모델을 사용한 실험에서도 HumanEval 점수 격차가 동일하게 재현되었다. 약 5억(500M) 토큰 규모에서 투 타워(two-tower) 구조 내에서는, 컨텍스트 타워를 동결했을 때가 학습시켰을 때보다 MMLU-Pro 성능을 상당히 더 많이 유지하는 반면, HumanEval 점수는 두 경우 모두 비슷하게 관찰되었다. 우리의 이론적 분석에 따르면, 두 변환 방식 모두 하드 어텐션 마스크(hard attention mask)와 라운드당 한 위치씩 왼쪽에서 오른쪽으로 확정하는 방식 하에서 AR 부모 모델에 대한 정확한 샘플러(exact sampler)를 포함한다. 동일한 손실 함수 하에서, 동결은 컨텍스트 상태(context states)를 통한 그래디언트 기여를 제거한다. 또한, 평가 프로토콜은 이미 발표된 5000억(500B) 토큰 규모의 변환 모델의 점수에 과제별로 양방향 모두 상당한 영향을 미치는 반면, 그 AR 부모 모델의 점수는 3점 미만의 차이만 보이므로, dLLM들을 비교하려면 공통된 프로토콜이 필요하다. 이러한 결과는 테스트된 저예산(low-budget) 환경에서 동결 타워 구성이 제자리 변환보다 부모 모델의 생성 성능을 상당히 더 많이 유지함을 보여준다.
SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭
SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models
플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.