플로우 매칭 이미지 생성기를 위한 학습 불필요 은닉 상태 정제
Training-Free Hidden-State Refinement for Flow-Matching Image Generators
한국어 초록
본 연구는 모델 가중치나 외부 샘플러를 변경하지 않고, 디노이저(denoiser) 내부에 추론(inference) 연산을 추가하여 동결된(frozen) 플로우 매칭(flow-matching) 이미지 생성기를 개선하는 것을 목표로 한다. 기존 생성기는 대개 샘플링 스텝 수를 늘려 추가적인 테스트 시점 연산(test-time computation)을 소모하는데, 이는 전체 디노이저를 반복 평가하여 품질 향상을 샘플러 비용과 결부시킨다. 핵심 과제는 동결된 트랜스포머(transformer) 디노이저 내부에서 추가 연산을 어떻게 활용할 것인가이다. 즉, 원래의 생성 파이프라인을 보존하면서 어떤 토큰(token), 층(layer), 샘플링 시점이 반복 업데이트를 받을지 결정해야 한다. 본 논문에서는 각 디노이징 호출 내에서 선택된 트랜스포머 층을 반복 적용하는 학습 불필요(training-free) 루핑 프레임워크를 제안한다. Dense 및 Sparse Token Loop는 토큰 범위를 변화시키며, Sampling-Progress Gating과 루프 층 범위는 루핑이 활성화되는 시점과 위치를 지정한다. 또한 루프 횟수와 강도는 반복 업데이트를 제어하고, Loop Guidance는 일반 및 루프된 벡터장 예측을 결합한다. 두 가지 Scale-RAE 모델 규모에 걸쳐, 루프 변형들은 경쟁력 있는 품질-효율성 트레이드오프와 함께 주 및 보조 품질 지표를 향상시킨다. Loop Guidance는 테스트된 세 모델 모두에서 두 주 지표를 더욱 향상시키며, Scale-RAE DiT2.4B에서 GenEval을 0.4471에서 0.5691로, DPG-Bench를 0.7656에서 0.8053으로 끌어올린다. 코드는 공개될 예정이다.
원문 초록
We aim to improve frozen flow-matching image generators by adding inference computation inside the denoiser, without changing model weights or the outer sampler. Existing generators usually spend extra test-time computation by increasing the number of sampling steps, which repeatedly evaluates the entire denoiser and couples quality gains to sampler cost. A key challenge is how to use extra computation inside a frozen transformer denoiser: the method must decide which tokens, layers, and sampling times receive repeated updates while preserving the original generation pipeline. We introduce a training-free looping framework that repeatedly applies selected transformer layers inside each denoising call. Dense and Sparse Token Loop vary the token scope; Sampling-Progress Gating and the loop layer range specify when and where looping is active; loop count and strength control the repeated updates; and Loop Guidance combines ordinary and looped vector-field predictions. Across two Scale-RAE model scales, loop variants improve primary and auxiliary quality metrics with competitive quality--efficiency trade-offs. Loop Guidance further improves both primary metrics across all three tested models; on Scale-RAE DiT2.4B, it raises GenEval from 0.4471 to 0.5691 and DPG-Bench from 0.7656 to 0.8053. Code will be released.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.29160v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.