다운스케일된 이미지로 학습할 때 언제 동일한 그래디언트가 생성되는가?
When does training on downscaled images yield the same gradients?
한국어 초록
디퓨전 트랜스포머(Diffusion Transformer)는 뛰어난 이미지 생성 성능을 제공하지만, 학습 비용이 해상도에 따라 초선형적으로 증가합니다. 최근 연구들은 고노이즈 상태에서 다운스케일된 잠재(latent) 변수가 잔존하는 신호의 대부분을 보존한다는 스펙트럼 전제(spectral premise)를 기반으로, 해상도를 줄여 학습하거나 샘플링하는 방식을 정당화합니다. 그러나 다운스케일된 스텝이 본래 해상도(native)의 학습 그래디언트 신호 역시 보존하는지는 아직 명확히 규명되지 않았습니다. 본 연구에서는 다운스케일링 하에서 해당 신호가 어떻게 변화하는지를 두 가지 항으로 단순화하여 설명합니다. 첫째는 스펙트럼 전제가 예측하듯 고노이즈에서 감쇠하며 다운스케일 비율에 의해 결정되는 노이즈 의존적 항이고, 둘째는 연산 그래프 자체에 내재되어 어떤 노이즈 수준에서도 사라지지 않으며 목표 그리드의 절대적 토큰 수에 의해 결정되는 σ-독립적 하한선(floor)입니다. 실제로 측정된 (경로, σ) 맵은 이러한 설명을 입증하며, 스펙트럼 관점에서는 나타낼 수 없는 구조를 밝혀냅니다. 즉, 1024->768 경로에서 어떤 허용 오차의 스펙트럼 기준으로도 예측되지 않았던 구간(0.65 < σ < 0.95)이 존재하며, 이 구간에서는 다운스케일된 그래디언트가 본래 그래디언트와 매우 작은 마진 이내를 유지합니다. 이 맵을 통해 검증된 경로와 노이즈 구간으로 다운스케일 스텝을 제한하여 LoRA 어댑터를 학습한 결과, 고정된 스텝 예산에서 가중치 공간상 본래 성능에 준하는 수준을 유지하면서도 학습 시간을 14.6% 단축했습니다. 코드는 https://github.com/sorryhyun/anima_lora 에서 확인할 수 있습니다.
원문 초록
Diffusion transformers deliver strong image generation, but their training cost grows superlinearly with resolution. Recent work justifies training or sampling at reduced resolution on a spectral premise: at high noise, a downscaled latent preserves almost the full surviving signal. Whether a downscaled step also preserves the native training gradient signal, however, has remained unresolved. We reduce how that signal changes under downscaling to two terms: a noise-dependent term governed by the downscale ratio, which decays at high noise as the spectral premise predicts, and a σ-independent floor governed by the target grid's absolute token count, carried by the compute graph itself and removed by no noise level. The measured (route, σ) map corroborates the account and uncovers structure the spectral picture cannot express: on the 1024->768 route, a window (0.65 < σ< 0.95), predicted by no spectral criterion at any tolerance, where the downscaled gradient stays within a small margin of the native one. Training LoRA adapters with downscaled steps restricted to the routes and noise windows the map validates reduces training time by 14.6% at a fixed step budget while remaining near-native in weight space. Code is available at https://github.com/sorryhyun/anima_lora.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.04448v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.