Amortized variational inference (AVI) replaces instance-specific local inference with a global inference network. While AVI has enabled efficient training of deep generative models such as variational autoencoders (VAE), recent empirical work suggests that inference networks can produce suboptimal variational parameters. We propose a hybrid approach, to use AVI to initialize the variational parameters and run stochastic variational inference (SVI) to refine them. Crucially, the local SVI procedure is itself differentiable, so the inference network and generative model can be trained end-to-end with gradient-based optimization. This semi-amortized approach enables the use of rich generative models without experiencing the posterior-collapse phenomenon common in training VAEs for problems like text generation. Experiments show this approach outperforms strong autoregressive and variational baselines on standard text and image datasets.
Generative adversarial nets (GANs) have been widely studied during the recent development of deep learning and unsupervised learning. With an adversarial training mechanism, GAN manages to train a generative model to fit the underlying unknown real data distribution under the guidance of the discriminative model estimating whether a data instance is real or generated. Such a framework is originally proposed for fitting continuous data distribution such as images, thus it is not straightforward to be directly applied to information retrieval scenarios where the data is mostly discrete, such as IDs, text and graphs. In this tutorial, we focus on discussing the GAN techniques and the variants on discrete data fitting in various information retrieval scenarios. (i) We introduce the fundamentals of GAN framework and its theoretic properties; (ii) we carefully study the promising solutions to extend GAN onto discrete data generation; (iii) we introduce IRGAN, the fundamental GAN framework of fitting single ID data distribution and the direct application on information retrieval; (iv) we further discuss the task of sequential discrete data generation tasks, e.g., text generation, and the corresponding GAN solutions; (v) we present the most recent work on graph/network data fitting with node embedding techniques by GANs. Meanwhile, we also introduce the relevant open-source platforms such as IRGAN and Texygen to help audience conduct research experiments on GANs in information retrieval. Finally, we conclude this tutorial with a comprehensive summarization and a prospect of further research directions for GANs in information retrieval.
We introduce the task of predicting adverbial presupposition triggers such as also and again. Solving such a task requires detecting recurring or similar events in the discourse context, and has applications in natural language generation tasks such as summarization and dialogue systems. We create two new datasets for the task, derived from the Penn Treebank and the Annotated English Gigaword corpora, as well as a novel attention mechanism tailored to this task. Our attention mechanism augments a baseline recurrent neural network without the need for additional trainable parameters, minimizing the added computational cost of our mechanism. We demonstrate that our model statistically outperforms a number of baselines, including an LSTM-based language model.
Autoregressive feedback is considered a necessity for successful unconditional text generation using stochastic sequence models. However, such feedback is known to introduce systematic biases into the training process and it obscures a principle of generation: committing to global information and forgetting local nuances. We show that a non-autoregressive deep state space model with a clear separation of global and local uncertainty can be built from only two ingredients: An independent noise source and a deterministic transition function. Recent advances on flow-based variational inference can be used to train an evidence lower-bound without resorting to annealing, auxiliary losses or similar measures. The result is a highly interpretable generative model on par with comparable auto-regressive models on the task of word generation.
Generative Adversarial Networks (GANs) are a promising approach to language generation. The latest works introducing novel GAN models for language generation use n-gram based metrics for evaluation and only report single scores of the best run. In this paper, we argue that this often misrepresents the true picture and does not tell the full story, as GAN models can be extremely sensitive to the random initialization and small deviations from the best hyperparameter choice. In particular, we demonstrate that the previously used BLEU score is not sensitive to semantic deterioration of generated texts and propose alternative metrics that better capture the quality and diversity of the generated samples. We also conduct a set of experiments comparing a number of GAN models for text with a conventional Language Model (LM) and find that neither of the considered models performs convincingly better than the LM.
We present a model which predicts how individual users of a dialog system understand and produce utterances based on user groups. In contrast to previous work, these user groups are not specified beforehand, but learned in training. We evaluate on two referring expression (RE) generation tasks; our experiments show that our model can identify user groups and learn how to most effectively talk to them, and can dynamically assign unseen users to the correct groups as they interact with the system.
연속 확산 언어 모델(CDLM)은 빠른 샘플링 및 제어 가능한 생성을 포함하여 연속 흐름 모델링의 이점을 언어 영역에 가져올 것으로 기대를 모으고 있습니다. 이 분야는 빠르게 발전해 왔으며, CDLM의 성능은 이산 확산 모델과 견줄 만한 수준에 이르기 시작했습니다. 그러나 이미지나 비디오와 같은 연속 양식(modality)과 달리, CDLM을 학습(training)할 때 중요한 핵심 요인(lever)에 대한 우리의 이해는 여전히 제한적입니다. 본 연구에서는 이러한 요인 중 두 가지, 즉 자기 조건화(self-conditioning)와 임베딩(embedding) 기하학에 주목하고 그 이면의 메커니즘을 밝혀내어, 비용 효율적이고 더욱 효과적인 설계를 제안합니다. 먼저, 자기 조건화가 학습 과정에서는 드물게 나타나는 추론(inference) 유사 상태에 모델을 노출시킴으로써 학습과 추론 간의 불일치를 바로잡는다는 점을 보입니다. 이러한 성능 향상은 추가적인 순전파(forward pass) 없이 2단계 보간기(interpolant)인 $\mathrm{DoubleCat}$을 통해 회복될 수 있으며, 이는 TinyGSM 정확도를 세 배 이상 향상시킵니다. 또한 자기 조건화는 큰 노름(norm)의 가우시안에 지배되는 토큰을 인식하는 데도 도움을 주는데, 이는 토큰 식별 가능성(token identifiability)으로 알려진 문제입니다. 이를 직접 해결하기 위해 $\mathrm{DoubleCat}$에 이산적 공개(discrete reveals)를 도입한 $\mathrm{SemiCat}$을 제안하며, 이는 표준 학습 하이퍼파라미터와 튜닝된 샘플러를 사용하여 TinyGSM에서 $49.94\%$를 달성해 이산 확산 수준의 성능을 달성합니다. $1.7$B 규모에서 $\mathrm{SemiCat}$은 6개의 가능도(likelihood) 기반 평가 중 4개에서 이산 확산을 능가하며, 무조건부 생성에서는 원-핫 흐름(one-hot flows)을 능가합니다. 임베딩 공간에서 교차 엔트로피(cross-entropy)는 디코딩 오류율이 원-핫 방식과 밀접하게 일치하는 기하학적 구조로 임베딩을 유도한다는 사실을 발견했습니다. 나아가 비동기 노이즈 스케줄을 포함한 하이브리드 손상 과정 및 노이즈 스케줄 등 다양한 추가 옵션을 간략히 탐험합니다. 본 연구의 탐험이 연구 커뮤니티가 CDLM의 설계 공간을 더 잘 이해하고 발전시키는 데 기여할 것으로 기대합니다.
본 연구는 데이터 압축과 표현 학습(representation learning)의 접점에서 텍스트의 압축된 잠재 표현(latent representation)을 학습하는 방법을 탐구합니다. 우리는 잔여 저차원 이산 병목(residual low-dimension discrete bottleneck)과 함께 시간 축을 따라 은닉 표현의 잔여 다운스케일링 및 업스케일링을 수행하는 오토인코더 아키텍처를 제안합니다. 다양한 양자화(quantization) 방법, 학습(training) 목표 및 데이터셋에 대해 제안하는 접근 방식을 분석합니다. 다양한 압축 수준에 대해 표면적 수준(BLEU)과 의미론적 수준(대규모 언어 모델(LLM) 기반 판정기) 모두에서 원본 텍스트와 재구성된 텍스트 간의 유사도를 평가합니다. 또한 질의응답 및 의미론적 텍스트 유사도 다운스트림 벤치마크에서 모델을 평가합니다. 제안된 접근 방식은 웹 텍스트 데이터에서 바이트당 2.24비트로 무손실 텍스트 압축 알고리즘과 동등한 수준의 압축 표현을 산출하는 동시에, 우수한 재구성 및 다운스트림 태스크 성능을 달성합니다.
공사 구간은 교통 인프라에서 매우 중요하면서도 위험한 요소로, 안전성과 이동성을 보장하기 위해 세심하게 설계된 교통 관리 계획서(TMP)가 필수적입니다. 그러나 TMP 작성은 여전히 많은 노동력이 소요되며 실무자의 전문성에 크게 의존하고 있습니다. 본 논문에서는 WisDOT WisTMP 시스템을 적용 환경으로 삼아 TMP 내용 생성을 자동화하는 대규모 언어 모델(LLM) 기반 프레임워크를 제안합니다. 이 프레임워크는 다양한 모델 규모에 걸쳐 여러 오픈소스 LLM을 미세조정(fine-tuning)하고, 데이터 보안을 보장하기 위해 이를 로컬 환경에 배포합니다. 모델 학습을 지원하기 위해, 과거 WisTMP 문서의 PDF 파일을 JSON 형식의 구조화된 질문-답변 쌍으로 변환하여 도메인 특화 데이터셋을 구축합니다. 실험 결과에 따르면 미세조정은 표준 텍스트 생성 지표 전반에서 성능을 크게 향상시키는 것으로 나타났습니다. 추가적인 섹션별 및 전략 수준 분석 결과, LLM이 전반적으로 우수한 성능을 달성함에도 불구하고 전략을 과도하게 생성하는 경향이 있으며, 프로젝트별 타당성 근거 및 정확한 비용 추정치를 생성하는 데 어려움을 겪는 것으로 드러났습니다. 또한, 모델 규모를 7B/8B에서 14B로 확장해도 성능 향상은 제한적이었습니다. 이러한 결과는 TMP 작성 효율성을 개선할 수 있는 LLM의 잠재력을 보여주는 동시에, LLM 지원 기반 TMP 개발에 남아 있는 과제들을 강조합니다. 소스 코드와 데모 영상은 https://zihaosheng.github.io/TMP-LLM/ 에서 공개될 예정입니다.
본 연구에서는 연속 확산 언어 모델(continuous diffusion language model) 문헌에서 표준적으로 통용되던, 학습(training) 중 조건부 프롬프트(prompt) 토큰을 깨끗한 상태(clean)로 고정하는 관행을 재검토합니다. 우리는 매우 간단한 수정 사항을 적용하여, 학습 중 조건부 프롬프트 토큰에도 노이즈를 추가합니다. 이러한 수정된 학습 목적 함수 하에서 스도쿠(Sudoku) 및 N-퀸(N-Queens)과 같은 조합 추론(combinatorial reasoning) 태스크에서 더 우수한 일반화 성능을 달성함을 입증하였으며, 특히 더 어려운 변형에서 가장 큰 폭의 향상(Sudoku Hard 해결률 $3.73\% \to 24.65\%$)과 생성된 해의 다양성 증가(10x10 N-Queens 커버리지 $50.60\% \to 73.79\%$)를 확인했습니다. 또한 Gigaword 요약을 통한 적당한 데이터셋(dataset) 환경에서 자연어 생성 품질의 측정 가능한 개선을 보여주었으나, 이러한 이점이 모든 자연어 태스크(예: 개방형 대화 생성)로 전이되지는 않음을 명확히 보여줍니다. 본 논문의 방법론은 학습 목적 함수에 단 한 줄만을 변경하는 방식이며, 기본적으로 추가적인 추론(inference) 비용이 발생하지 않고, 분류기 없는 유도(classifier-free guidance)에서 영감을 얻은 유도 샘플링(guided sampling)의 유연성을 제공합니다. 공개된 \href{https://github.com/LateralIntelligence/noise-your-prompt}{코드}를 이용할 수 있습니다.
텍스트 생성을 평가하려면 생성된 분포가 데이터 분포와 얼마나 잘 일치하는지 측정해야 합니다. 자기회귀 모델의 경우 이는 퍼플렉서티(perplexity)를 통해 이루어집니다. 확산(diffusion) 및 플로우 기반 언어 모델은 가능도(likelihood)의 한계만을 제공할 수 있으며, 이 한계의 엄밀함은 모델 군(model family)마다 다릅니다. 엔트로피를 활용한 생성적 퍼플렉서티와 같은 샘플 기반 대체 지표는 분포의 적합도를 고려하지 않습니다. 본 논문에서는 텍스트 분포 간의 거리 척도인 SOL을 제안합니다. 각 시퀀스는 고정된 트랜스포머(transformer) 아래에서 은닉 상태들의 경험적 측도로 표현되며, 이러한 측도들의 분포는 이중 슬라이스드 바서슈타인 거리(double sliced Wasserstein distance)를 통해 비교됩니다. 저자들은 트랜스포머가 단사(injective) 함수일 경우 SOL이 거리 함수(metric)임을 증명합니다. 실험을 통해 SOL이 분포적 실패를 감지하고, 예상되는 모델 경향성을 복원하며, 안정적인 샘플 기반 추정치를 제공함을 보여줍니다. 저자들은 비자기회귀 모델에 사용되는 현재 평가 프로토콜의 공백을 메우기 위해 SOL을 제시합니다. 첫 번째 단계로, 저자들은 SOL을 사용하여 OpenWebText에서 학습된 다양한 모델들을 재평가합니다.
기업 데이터 에이전트(agent)는 단순히 질문을 쿼리로 변환하는 것을 넘어 조직 고유의 의미 체계(semantics)를 보존해야 합니다. 본 논문에서는 의미 체계 획득과 온라인 실행을 분리하여 재사용 가능한 질문-보고서 분석을 수행하는 온톨로지 그라운딩(ontology-grounded) 시스템인 ChinaUnicom DataAgent(UniDataAgent)를 소개합니다. 온톨로지 획득 및 검증(OAV) 단계에서는 전문가가 작성한 비즈니스 스킬, 제약된 생성, 질문 검증, 선별된 전문가 검토를 통해 메타데이터, 비즈니스 지식, 지원 자료로부터 버전 관리되는 기업 온톨로지를 구축합니다. 질문-보고서 실행(QRE) 단계에서는 각 질문에 대한 의미적 계약(semantic contracts)을 검색하고, 스킬과 데이터 툴을 조율하며, 결과를 검증하고 근거가 연결된 보고서를 생성합니다. 27개 기업 테이블과 대략 수천 가지 지표 유형에 걸쳐, 온톨로지 구축에는 수작업으로 약 1주일이 걸리던 작업이 불과 몇 시간밖에 걸리지 않았습니다. 보고서 생성에는 며칠의 근무일 대신 단 몇 분밖에 걸리지 않았습니다. 온톨로지 그라운딩은 실제 비즈니스 질문에 대해 95.0%의 엄격한 정확도(strict accuracy)를 달성하여 문서 기반 검색-증강 생성(RAG)의 72.5%와 대조를 보였으며, 특히 정형 및 조합형(compositional) 태스크에서 두드러졌습니다. 이 시스템은 이미 배포되어 비용 절감 효과를 창출하고 있으며 다른 기업으로 복제될 수 있는 잠재력을 지니고 있습니다.
확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.
강화학습(RL)은 검증 가능한 도메인에서 대규모 언어 모델(LLM)을 발전시켰으나, 개방형 생성(open-ended generation)은 확정적인 보상이 부재하여 여전히 도전 과제로 남아 있습니다. 루브릭 기반 강화학습은 명시적인 평가 기준을 제공하지만, 최종 답변의 정답 여부를 검증할 수 없는 상황에서는 이러한 기준을 구성하는 방법을 학습하기가 여전히 어렵습니다. 본 논문에서는 기준 유효성 피드백, 응답 변별력, 동료 간 일치도를 결합하여 개방형 생성을 위한 루브릭을 학습하는 공진화 강화학습 프레임워크인 EvoRubric을 제안합니다. 공유 정책(shared policy)은 추론기(Reasoner)이자 루브릭 생성기(Rubric Generator) 역할을 동시에 수행하며, 현재 응답과 과거 루브릭을 활용하여 새로운 평가 차원을 발견합니다. 적응형 루브릭 발견과 안정적인 유효성 검증을 결합하기 위해 초기 정책의 고정된 복사본이 메타 검증기(Meta-Verifier) 역할을 수행하고, 고정된 채점기(Grader)는 유지된 기준에 따라 응답을 점수화합니다. 변별적 피드백, LOO(Leave-One-Out) 동료 합의, 영구 메모리 풀은 이러한 피드백을 상호 보완적인 보상으로 변환하여 두 정책 역할을 공동으로 최적화함으로써, 응답 개선과 루브릭 발견 사이의 루프를 완성합니다. EvoRubric은 의학, 작문, 과학 분야의 5개 벤치마크 전반에서 일치된 정적 및 외부 진화형 루브릭 베이스라인 대비 성능을 향상시켰습니다. 3개의 학습 시드에 걸쳐 8B에서 56.28점, 14B에서 61.13점의 5개 벤치마크 평균을 달성하여, 가장 강력한 매칭 베이스라인을 각각 3.09점과 2.06점 능가했습니다. 사람의 감사를 통해 기준 유효성과 응답 품질을 평가하였으며, 전문가가 초기화한 루브릭을 사용한 실험은 인간 사전 지식(human priors)과의 호환성을 입증합니다.
생성형 언어 모델의 높은 메모리 요구량으로 인해 양자화(quantization)가 주목받고 있으며, 양자화는 모델 가중치를 더 낮은 정밀도의 정수로 매핑하여 메모리 사용량을 줄인다. 그러나 최근 실증 연구에 따르면 양자화는 효율적이지만 바이어스된 출력을 생성할 가능도를 높이고 공정성 벤치마크에서의 성능을 저하시킬 수 있다. 본 연구에서는 양자화 목적 함수에 명시적인 그룹 공정성 제약 조건을 추가하여 양자화와 모델 공정성 간의 새로운 연결고리를 제시하며, 대규모 언어 모델(LLM)의 불공정성을 줄이기 위해 명시적으로 설계된 최초의 양자화 기법인 Fair-GPTQ를 제안한다. 추가된 제약 조건은 보호 대상 집단에 대해 덜 바이어스된 텍스트를 생성하도록 반올림(rounding) 연산의 학습을 유도한다. 구체적으로, 우리는 직업적 바이어스를 포함하는 고정관념 생성과 성별, 인종, 종교에 걸친 차별적 언어에 초점을 맞춘다. Fair-GPTQ는 성능 저하를 최소화하여 제로샷(zero-shot) 벤치마크에서 기준선 정확도의 최소 90%를 보존하고, 반정밀도(half-precision) 모델에 비해 불공정성을 줄이며, 4비트 양자화의 메모리 및 속도 이점을 그대로 유지한다.
본 연구에서는 논문 초안을 개선할 수 있는 답변을 이끌어내는 '수정 유도 질문(edit-inducing questions)'을 생성하는 대규모 언어 모델(LLM)의 능력을 연구합니다. ICLR 및 NeurIPS의 투고 논문과 최종 승인(camera-ready) 논문 쌍으로 구성된 데이터셋을 바탕으로, 전체 논문 문맥(context)의 제공 여부에 따른 GPT 모델의 질문 유용성을 인간 리뷰어의 질문과 비교합니다. GPT는 리뷰어의 질문에 비해 더 많은 수정 유도 질문을 생성하며, 해당 질문들은 더 광범위한 수정과 연관되어 있고 수정된 내용의 범위도 더 넓게 다룹니다. 그러나 GPT 질문 중 실제로 수정을 유도하는 질문의 비율은 훨씬 낮습니다. 본 분석은 자동화된 질문이 저자에게 유익할 수 있음을 확인하는 한편, 긴 문맥에 적절히 주의를 기울이는(attending) 과정이 유용한 출력을 생성하는 추론 모델의 능력을 저하시키는 작업 사례를 강조합니다.
절차적 캐릭터 생성(procedural character generation)은 게임, 시뮬레이션 및 기타 가상 세계를 다양한 캐릭터로 채우는 것을 목표로 합니다. 대규모 언어 모델(LLM)은 이 작업을 확장(scaling)하기 위한 유망한 기반을 제공합니다. 그러나 LLM 기반 절차적 캐릭터 생성은 아직 초기 단계에 머물러 있습니다. 기존 방식은 캐릭터를 직접 생성하거나 페르소나 뱅크에서 검색한 프로필을 조정하는 방식입니다. 본 연구에서 보여주듯이 두 접근법 모두 행동적으로 동질화된 집단을 형성합니다. 캐릭터들은 긍정적인 도덕적 규범에 압도적으로 동의하며, 질문에 대해 도움이 되는 어시스턴트 같은 반응을 보입니다. 이러한 동질화를 완화하기 위해, 본 논문에서는 세계관 구축과 행동 명세를 분리하고 수작업으로 큐레이션된 다양하고 보편적인 도덕적 입장 및 대화 반응 뱅크를 통해 행동을 모델링하는 PersonaWeaver를 소개합니다. 이러한 설계를 통해 여러 배경 설정 전반에서 LLM이 기본 행동 패턴을 넘어 얼마나 확장될 수 있는지 테스트할 수 있습니다. 10개의 현실적 및 판타지적 배경 설정과 3개의 LLM을 대상으로 한 실험에서, PersonaWeaver는 이전 연구보다 더 넓은 도덕적 및 상호작용적 반응 분포를 생성합니다. 또한 PersonaWeaver의 유도는 대인 언어, 응답 길이, 감정을 다양화하며, 덜 전형적인 세계관 속성 조합을 생성합니다. 코드는 https://github.com/mqraitem/PersonaWeaver 에서 확인할 수 있습니다.
본 논문에서는 단편적인 고대 그리스어 텍스트의 결손(lacunae, 물리적 공백)을 복원하기 위한 240억 개 매개변수(parameter) 대규모 언어 모델(LLM)인 Apollo Restore를 소개합니다. Fill-in-the-middle 목표로 Mistral Small을 파인튜닝(fine-tuning)한 Apollo Restore는 결손 길이에 대한 오라클(oracle) 지식 없이도 누락된 구간을 재구성합니다. 우리가 아는 한, 이는 역사적 그리스어를 위한 최초의 대규모 디코더 모델이자 고대 지중해 언어를 통틀어 최초의 모델입니다. 선행 연구와 동일하게 최대 10자의 짧은 결손에 대해 평가했을 때, Apollo Restore는 문서 파피루스, 문학 파피루스, 석문 비문 결손의 80.6%/54.6%/61.0%에서 올바른 복원 결과를 상위 20개 후보 안에 올렸으며, 발표된 가장 강력한 모델들을 $1.6\times$/$2.6\times$/$1.4\times$ 능가했습니다. 그러나 기존 평가 프로토콜은 사소하게 짧은 결손 쪽으로 쏠린 바이어스(bias)로 인해 점수를 부풀립니다. 길이 균형 메트릭에서 발표된 가장 강력한 모델 대비 Apollo Restore의 우위는 $2.3\times$/$3.5\times$/$1.6\times$로 증가하며, 부정확한 길이 힌트가 주어지더라도 성능이 완만하게 저하됩니다. 블라인드 연구에서 파피루스학, 비문학, 문헌학 전문가 20명은 가장 강력한 기준선(baseline)보다 Apollo Restore를 강하게 선호했으며, 77%의 사례에서 그 성능이 인간의 복원만큼 우수하다고 판단했습니다. 또한 Apollo Restore는 서기 79년 베수비오 화산 폭발로 탄화되어 Apollo Restore의 학습(training) 데이터가 구축된 이후 디지털 방식으로 펼쳐지고 편집된 파피루스 두루마리인 PHerc. 1667의 발표된 판독 결과를 개선합니다. Apollo Restore는 오스트리아 과학 아카데미가 주도하는 역사적 언어 및 필사본 특화 LLM 구축을 위한 Decoding Antiquity 이니셔티브의 결과물입니다.
본 논문에서는 마스크 확산 모델(MDM, masked diffusion model)의 병렬 샘플링 전략을 연구하기 위한 검증 가능한 샌드박스로 그래프 상의 무작위 보행(random walk)을 활용한다. 고정된 그래프에서 생성된 무작위 보행 표본을 바탕으로 MDM을 학습(training)시킨다. 모델(model)에는 그래프와 전이 커널(kernel)이 전혀 주어지지 않으며, 이는 제어 가능하면서도 평가를 가능하게 하는 잠재 구조 역할을 한다. 본 프레임워크는 생성된 보행의 유효성 검증과 추정된 전이 커널을 통한 분포 충실도 측정 방식을 제공한다. 단순한 그래프를 통해, 최저 엔트로피와 같이 널리 쓰이는 점수를 기반으로 한 병렬 언마스킹(unmasking)이 무작위 병렬 샘플링보다 일관되게 우수한 것은 아님을 이론적으로 증명한다. 즉, 정확한 조건부 확률이 주어지더라도 성능은 그래프가 유도하는 조건부 의존성 구조에 결정적으로 좌우되며, 이는 스도쿠와 같은 벤치마크에서는 분리하여 파악하기 어려운 현상이다. 또한 시퀀스 길이에 대해 로그 수준의 스텝만을 소요하며, 학습된 주변 분포가 정확할 경우 무작위 보행에 대해 정확성이 증명되는 MDM용 훈련 불필요(training-free) 이분(bisection) 샘플러를 개발한다. 그래프 보행 태스크에 대한 실험을 통해 그래프 구조에 따라 서로 다른 병렬 샘플러의 성능이 더 우수함을 확인한다. 사전학습된 MDM에 대한 실험 결과, 이분 형태의 샘플러가 OpenWebText 생성 및 GSM8K, MBPP, HumanEval을 포함한 추론 벤치마크에서 뛰어난 속도-품질 트레이드오프를 제공함을 보여준다. 종합하면, 이러한 결과들은 그래프 보행을 통해 조건부 의존성이 병렬 MDM 샘플링의 핵심 원리임을 밝혀내고, 이 통찰을 언어 생성 및 추론으로 전이 가능한 효율적인 샘플러로 전환한다.
이산 확산 언어 모델(Discrete diffusion language model, DLM)은 모든 위치를 병렬로 반복해서 노이즈를 제거(denoising)하며 텍스트를 생성하여 자기회귀 모델(autoregressive model)의 대안을 제공합니다. 자기회귀 모델에서 도입된 기존 DLM 제어 생성 방식들은 모든 노이즈 제거 단계에서 균일한 개입을 적용합니다. 본 연구는 이러한 균일한 스케줄이 비효율적이고 품질을 저하시키며, 여러 속성을 공동으로 제어(steering)할 때 손상이 가중됨을 보여줍니다. 이러한 실패 원인을 진단하기 위해 4개의 DLM(124M~8B 파라미터)에서 희소 오토인코더(sparse autoencoder)를 학습시켰으며, 서로 다른 속성들이 타이밍, 선명도, 크기 면에서 상이하고 뚜렷한 스케줄에 따라 결정된다는 점을 발견했습니다. 예를 들어, MDLM에서 주제(topic)는 노이즈 제거의 초기 2% 이내에 결정되는 반면, 감성(sentiment)은 전체 과정의 20%에 걸쳐 점진적으로 나타납니다. 이러한 프로파일에 착안하여, 각 속성이 활발하게 형성되는 구간에 개입을 집중하는 적응형 스케줄링 메커니즘을 제안합니다. 이상화된 할당 분석에 따르면 형성 과정이 더 급격히 집중되는 속성일수록 적응형 스케줄링의 이점을 더 크게 얻는 것으로 예측되며, 이를 실험적으로 확인했습니다. 4개의 DLM에 대한 7가지 단일 및 다중 속성 제어 작업 전반에서, 적응형 제어는 균일 개입 및 구간 제한 베이스라인 대비 제어와 품질 간의 균형을 일관되게 개선합니다.