추측 샘플링(speculative sampling)은 목표 분포(target law)를 보존하면서 저비용 초안(draft) 상태들을 병렬로 검증함으로써 디퓨전 생성을 가속합니다. 최근의 트리 기반 방식들은 Diffusion Greedy Rejection Sampling(D-GRS)에서 볼 수 있듯이 단일 체인 초안보다 병렬 연산 예산을 더 효과적으로 할당합니다. D-GRS는 노드(node)당 조건부 독립인 $K$개의 후보를 생성하고, 생성된 순서대로 순차 검증합니다. 그러나 샘플링된 후보들은 추가적인 목표 모델(model) 평가 없이도 유의미한 순위화가 가능합니다. 이를 활용하기 위해, 순위 인식 리스트 결합(coupling)에 기반한 추측 초안 트리의 검증 규칙인 Rank-Aware Speculative Sampling(RASS)을 제안합니다. RASS는 제안-목표 간 평균 변위에 따라 초안 후보들을 정렬하고, 선택된 제안 분포와 목표 분포 간의 전변동(total variation)을 최소화하도록 최적화된 가중치로 순위를 샘플링합니다. 마지막으로 선택된 후보는 목표와 최대로 결합되며, 잔차 보정을 통해 어떠한 순위 가중치 선택에서도 정확한 샘플링이 보장됩니다. 본 연구는 가우시안 혼합 목표, FFHQ에서의 무조건부 픽셀 공간 생성, CIFAR-10에서의 조건부 생성, COCO2014 프롬프트를 사용한 Stable Diffusion 3.5 기반 잠재 디퓨전에서 RASS를 평가합니다. 표준 샘플링 대비 추측 샘플링의 목표 모델 평가 횟수 비율로 측정했을 때, RASS는 평가된 모든 설정에서 D-GRS보다 향상되었으며 동일한 연산 예산 기준 CIFAR-10에서 약 20%의 성능 향상을 달성했습니다.
학습된 판별자(judge)를 기준으로 코드 생성기를 사후 학습(post-training)하면, 실제 결과물을 개선하지 않고도 점수를 높이는 프록시 특성이 최적화될 수 있다. 본 논문은 이와 반대되는 신호, 즉 결정론적이고 판별자 없이 조작이 불가능한 필터—생성된 프로젝트가 헤드리스 엔진에서 정상적으로 실행되는지 여부(strict-launch)—를 연구한다. 이 게이트 하에서 거절 샘플링(rejection-sampling) 자기 증류(self-distillation)는 패밀리 외(out-of-family) 일반화를 복합적으로 향상시킨다. 자연어 지시문을 완전한 Godot 프로젝트로 변환하는 GameCraft-Bench에서, strict-launch 하에 증류된 14B 모델(Qwen3-14B+LoRA)은 세 라운드에 걸쳐 미관측 네 가지 게임 패밀리에서의 정상 생성률을 후보당 8.8%에서 42.2%로, best-of-K 커버리지를 18/25에서 25/25(골드 상한)로 끌어올렸으며, 각 라운드에서 유의미한 향상을 달성했다(p=0.0019, p<1e-4, p<1e-4). 이 향상은 단순히 데이터를 추가한 결과가 아니다: 정확히 일치하는 골드 복제 제어 실험은 기본 모델보다 낮은 성능(5.6% vs. 8.8%, p=0.019)으로 회귀한 반면, 수량을 맞춘 분해 실험은 라운드 1에서 2로의 도약을 품질(+8.8pp)과 수량(+8.5pp)의 비슷한 두 채널로 분리했다. 가장 직접적인 증거로, 필터만 교체하여—실행 게이트 대신 생성물의 99.9%를 통과시키는 관대한 BUILD 검사로—루프를 재실행하면 향상이 완전히 사라지고(기본 모델 수준으로 회귀, p=1e-3 vs. 실행-게이팅 라운드), 옵티마이저가 아닌 검증기의 정밀도(precision)가 결정 요인임이 분리된다. 두 번째 조작 불가능한 신호인 헤드리스 실행 그라운딩(headless execution grounding)은 라운드 전반에 걸쳐 단조롭게 증가하며, 동일한 예산에서 골드 복제보다 훨씬 많은 그라운딩된 후보를 생성해(16 vs. 5), 향상이 기능적임을 확인한다—단순히 실행만 되고 내용이 없는 것이 아니라. 게임 생성은 하나의 교훈을 위한 검증 가능한 테스트베드다: 검증기가 커리큘럼이다—검증기가 인증하는 것이 모델이 학습하는 것이다.
Synthetic data can be scaled along two routes: Source Expansion (SE), which enlarges the source by adding seed materials or generators, and Fixed-Source Synthesis (FSS), which holds the source fixed and scales the generation budget. Existing scaling studies typically expand the source as the data grows, conflating SE with FSS and leaving FSS underexplored. We isolate FSS by holding the seed-question pool and teacher model fixed, varying only the per-question response budget under Rejection Sampling (RS). We adapt the rectified scaling law to FSS, deriving it from how repeated sampling covers a fixed source. Empirically, the derived form, fit on low budgets, predicts performance at the held-out highest budget for every evaluated teacher--student pair. At matched total-sample budgets, SE and FSS are comparable at small budgets; at large budgets, adding seed questions outperforms spending the same budget on more responses. Within FSS, however, neither synthesizing additional questions from the existing seeds nor varying the synthesis protocol outperforms plain RS at matched budgets. FSS is thus a bounded scaling axis and a controlled setting for comparing synthesis protocols. We will release our code and data to facilitate further research.
강화학습(RL)은 현대 대규모 언어 모델의 핵심 구성 요소가 되었지만, 롤아웃 단계는 여전히 RL 학습 파이프라인의 주요 병목 현상입니다. 다중 토큰 예측(MTP)은 추측적 디코딩을 통해 롤아웃을 가속화할 수 있는 자연스러운 해결책을 제공하지만, 많은 연구에서 RL 학습 중 MTP 수락률이 현저히 저하되어 가속 효과가 제한적임을 관찰했습니다. 이러한 병목 현상을 해결하기 위해, 우리는 LLM 사후 학습에서의 MTP에 대한 체계적인 연구인 Bebop을 제시하고, 대규모 RL 파이프라인에 MTP를 통합하기 위한 실용적인 방법론을 제공합니다. 첫째, 우리는 MTP 수락률이 근본적으로 모델 엔트로피의 변동에 의해 제한됨을 밝혔으며, 이는 RL 단계에서 엔트로피가 증가함에 따라 명확한 음의 선형 관계를 보여줍니다. 둘째, 우리는 확률적 거부 샘플링이 탐욕적 드래프트 샘플링에 비해 RL에서 엔트로피가 유발하는 교란을 크게 완화함을 보여줍니다. 우리는 또한 기존의 MTP 학습 목적 함수(교차 엔트로피 또는 KL)가 이러한 설정에서 최적이 아님을 확인했으며, 따라서 다단계 거부 샘플링 수락률을 직접 최적화하는 새로운 종단 간 TV 손실을 제안합니다. 이는 약 10%의 수락률 향상을 이끌어내며, 수학적 추론, 코드 생성, 에이전트 작업 전반에서 최대 95%의 수락률과 최대 25%의 추가 추론 처리량 이득을 달성했습니다. 셋째, 우리는 RL 중 다양한 온라인 MTP 학습 전략을 테스트했으며, e2e TV 손실과 거부 샘플링을 사용한 RL 이전 MTP 학습이 전체 RL에 걸쳐 일관된 수락률과 가속을 달성하여 비용이 많이 드는 온라인 MTP 업데이트의 필요성을 제거함을 보여줍니다. 우리는 우리의 발견을 검증하는 광범위한 실험과 분석을 제공합니다. 실험 결과는 우리의 방법이 Qwen3.5, Qwen3.6, Qwen3.7 모델의 비동기 RL 학습에서 최대 1.8배의 종단 간 가속을 달성함을 보여줍니다.