가이던스 스케일을 높여 텍스트-비디오 생성 실패를 고칠 수 있는 조건
When a Larger Guidance Scale Repairs Text-to-Video Failures and When It Does Not
한국어 초록
텍스트-비디오 확산 모델이 프롬프트의 일부를 무시하면 보통 분류기 없는 가이던스 스케일을 먼저 높인다. 이 논문은 그 조치가 언제 효과적인지 측정한다. Mochi에서 가이던스 스케일을 같은 폭으로 높였을 때, ‘눈 덮인 해변(a snowy beach)’ 같은 드문 조합에서는 단순 재생성보다 더 많은 실패가 교정됐다. ‘차량이 없는 고속도로(a highway with no vehicles)’ 같은 부정 표현에서는 재생성보다 교정한 실패가 적었다. ‘파도가 평평하게 무너뜨리는 모래성(a sandcastle that a wave washes flat)’처럼 영상 후반에 일어나야 하는 사건은 결과가 달라지지 않았다. 어느 경우에 해당하는지는 프롬프트와 적은 비용으로 구할 수 있는 점수 하나로 미리 판단할 수 있다. ‘요구도’라 부르는 이 점수는 실패한 영상이 누락한 프롬프트 부분에 잡음 제거기가 얼마나 강하게 반응하는지 측정한다. 영상이 생성되기 전 잡음 제거 과정의 첫 4분의 1에서 얻는다. 핵심 결과는 스케일을 높이는 조치가 프롬프트에 부정 표현과 특정 시점에 묶인 사건이 없으며 요구도가 충분히 높을 때만 효과적이라는 것이다. 데이터에 맞춰 정한 임계값보다 요구도가 높으면 복구율이 임계값 미만보다 뚜렷하게 높았다. 세 실패 유형에 대해 발표된 교정법을 조건을 고정한 탐침으로 사용하자 이 설명이 예측한 대로 작동했다. 따라서 짧은 판단 규칙을 얻을 수 있다. 다시 생성하기 전에 가장 흔한 조치를 시도할 가치가 있는지, 효과가 없다면 무엇을 써야 할지 판단할 수 있다.
원문 초록
When a text-to-video diffusion model ignores part of a prompt, the usual first fix is to raise the classifier-free guidance scale. This paper is a measurement study of when that fix works. On Mochi, the same increase repairs failures on rare compositions ("a snowy beach") beyond what generating again does, does not repair negations ("a highway with no vehicles"), where it fixes fewer failures than generating again does, and changes nothing for events that must happen late in a clip ("a sandcastle that a wave washes flat"). Which of these happens can be known in advance, from the prompt and one inexpensive score. The score, which we call demand, measures how strongly the denoiser reacts to the part of the prompt that the failed video leaves out, and it is read from the first quarter of denoising, before any video exists. Our main finding is a condition: raising the scale is effective only when the prompt contains no negation and no event tied to a specific time, and when demand is sufficiently high, with recovery clearly higher above a fitted threshold than below it. Published corrections for the three failure types, used as fixed probes, behave as this account predicts. A short decision rule follows: before generating again, a user can tell whether the most common fix is worth trying, and what to use when it is not.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23025v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.