PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22976v2cs.LG

빠르게 걷되 주의하라: 마스크 확산 모델에서의 병렬 샘플링 이해

Walk fast but be careful: Understanding Parallel Sampling in Masked Diffusion

본 논문에서는 마스크 확산 모델(MDM, masked diffusion model)의 병렬 샘플링 전략을 연구하기 위한 검증 가능한 샌드박스로 그래프 상의 무작위 보행(random walk)을 활용한다. 고정된 그래프에서 생성된 무작위 보행 표본을 바탕으로 MDM을 학습(training)시킨다. 모델(model)에는 그래프와 전이 커널(kernel)이 전혀 주어지지 않으며, 이는 제어 가능하면서도 평가를 가능하게 하는 잠재 구조 역할을 한다. 본 프레임워크는 생성된 보행의 유효성 검증과 추정된 전이 커널을 통한 분포 충실도 측정 방식을 제공한다. 단순한 그래프를 통해, 최저 엔트로피와 같이 널리 쓰이는 점수를 기반으로 한 병렬 언마스킹(unmasking)이 무작위 병렬 샘플링보다 일관되게 우수한 것은 아님을 이론적으로 증명한다. 즉, 정확한 조건부 확률이 주어지더라도 성능은 그래프가 유도하는 조건부 의존성 구조에 결정적으로 좌우되며, 이는 스도쿠와 같은 벤치마크에서는 분리하여 파악하기 어려운 현상이다. 또한 시퀀스 길이에 대해 로그 수준의 스텝만을 소요하며, 학습된 주변 분포가 정확할 경우 무작위 보행에 대해 정확성이 증명되는 MDM용 훈련 불필요(training-free) 이분(bisection) 샘플러를 개발한다. 그래프 보행 태스크에 대한 실험을 통해 그래프 구조에 따라 서로 다른 병렬 샘플러의 성능이 더 우수함을 확인한다. 사전학습된 MDM에 대한 실험 결과, 이분 형태의 샘플러가 OpenWebText 생성 및 GSM8K, MBPP, HumanEval을 포함한 추론 벤치마크에서 뛰어난 속도-품질 트레이드오프를 제공함을 보여준다. 종합하면, 이러한 결과들은 그래프 보행을 통해 조건부 의존성이 병렬 MDM 샘플링의 핵심 원리임을 밝혀내고, 이 통찰을 언어 생성 및 추론으로 전이 가능한 효율적인 샘플러로 전환한다.