디퓨전(diffusion) 기반 생성에서 신경망(neural network)은 노이즈가 섞인 입력으로부터 깨끗한 데이터, 노이즈, 또는 속도(velocity)를 예측하도록 학습될 수 있습니다. 이러한 예측 타깃들은 상호 변환이 가능하며 동일한 생성 과정을 기술하지만, 큰 픽셀 패치에서 동작하는 기본 디퓨전 트랜스포머(Diffusion Transformer)는 깨끗한 데이터 예측에서는 성공하는 반면 노이즈 또는 속도 예측에서는 실패합니다. 본 연구에서는 이러한 비대칭성이 최종 판독(readout)을 위해 노이즈 의존적 입력 변동을 깊이 방향 전체에 걸쳐 잔차 스트림(residual stream)에 보존해야 하므로, 이후 계층들이 노이즈가 섞인 표현을 바탕으로 연산하도록 강제되기 때문에 발생한다고 주장합니다. 스펙트럼상으로 집중된 깨끗한 타깃은 더 적은 부담을 주어 이후 연산을 위한 은닉 표현을 구성하는 데 더 큰 자유도를 제공합니다. 본 논문에서는 이러한 보존 요구 조건을 *잔차 스트림 부담(residual-stream burden)*이라 정의하고, 이것이 디퓨전 트랜스포머의 표현 학습을 어떻게 형성하는지 보여줍니다. 통제된 실험을 통해 활용 가능한 구조가 패치 공간에서의 스펙트럼 집중임을 확인하였으며, 지속되는 잔차 상태의 대역폭이 노이즈 예측을 위한 핵심 자원임을 밝혔습니다. 나아가 본 설명이 주 경로(main pathway)의 잔차 스트림 부담을 줄이도록 다양하게 설계된 최근의 분리형(decoupled) 픽셀 공간 아키텍처들과도 일치함을 보여줍니다. 이러한 이해를 상호 보완적인 방향에서 검증하기 위해 잔차 스트림 대역폭을 직접 확장하고 재구성하는 공간 인덱싱 하이퍼 커넥션(Spatially Indexed Hyper-Connections, SiHC)을 도입하였으며, ImageNet $256^2$에서 FID 1.71을 달성했습니다. 종합적으로 이러한 결과들은 잔차 스트림 부담이 예측 타깃과 아키텍처가 결합하여 디퓨전 트랜스포머의 표현 학습을 형성하는 핵심 메커니즘임을 규명합니다.
확산 트랜스포머(Diffusion Transformer, DiT)는 고품질 이미지와 비디오를 생성할 수 있지만, 각 샘플을 생성하려면 비용이 많이 드는 DiT 순전파(forward pass)를 여러 번 수행해야 합니다. DiT 샘플링을 가속화하는 두 가지 일반적인 방법은 샘플링 스텝 수를 줄이는 스텝 증류(step distillation)와, 이전 스텝에서 계산된 텐서(tensor)를 재사용하여 일부 DiT 연산을 건너뛰는 캐싱(caching)입니다. 대부분의 캐싱 방법은 재사용할 텐서를 사전에 결정합니다. 증류 후에는 인접한 샘플링 스텝 간의 간격이 더 넓어집니다. 이렇게 더 넓어진 간격에 걸쳐 텐서를 재사용하면 더 많은 오차가 발생하므로, 무엇을 캐싱할지 선택하는 것이 특히 중요해집니다. 따라서 본 연구에서는 주어진 모델(model), 솔버(solver), 재사용 스케줄에 맞춰 캐싱할 텐서를 선택하는 방법인 AutoTarget을 소개합니다. AutoTarget은 캐시 재사용이 없는 소수의 실행을 사용하여 각 후보 텐서를 재사용할 때 발생하는 오차를 측정한 다음, 가장 낮은 오차를 보이는 후보를 선택합니다. 또한 단일 재사용 스텝의 오차가 최종 샘플에 어떤 영향을 미치는지 분석합니다. 오일러(Euler) 샘플링의 경우 동일한 궤적을 생성하는 캐시 대상을 식별하고, 저장된 솔버 업데이트가 그렇지 못할 수 있는 이유를 보여줍니다. 증류된 이미지 및 비디오 DiT에 대한 실험을 통해 최적의 캐시 대상이 모델, 이미지 해상도, 솔버에 따라 달라짐을 확인했습니다. AutoTarget은 DiT 연산 횟수와 유지되는 캐시 저장 공간을 줄입니다. 생성 품질은 캐싱을 사용하지 않은 해당 실행과 가깝게 유지됩니다. 테스트된 PixArt-LCM 및 FLUX.1-schnell 설정에서 AutoTarget의 캘리브레이션 순위는 별도로 분리된 캐시 실행의 순위와 일치합니다. 재현을 돕기 위해 핵심 구현체를 GitHub(https://github.com/wali1024-offical/AutoTarget)에 제공합니다.
비전-언어 모델(Vision-Language Model, VLM)은 범용 비전 백본(backbone)의 강력한 후보로 부상했으며, 대표적인 아키텍처로는 자기회귀(autoregressive, AR) 모델과 디퓨전 트랜스포머(diffusion transformer, DiT)가 있다. 그러나 이들을 올인원(all-in-one) 저수준 이미지 복원(low-level image restoration)에 효율적으로 적용하는 것은 여전히 과제로 남아 있다. 특히, VLM이 은닉층(hidden-layer) 표현을 어떻게 조직하는지, 그리고 이처럼 구조적으로 서로 다른 패러다임들이 픽셀 수준 지각(pixel-level perception)에 대해 공통된 기하학적 조직을 공유하는지에 대한 이해가 이 분야에 부족하다. 이러한 공유된 조직은 높은 전이 가능성(transferability)을 지닌 통합 복원 VLM 및 어댑터(adapter)를 구축하기 위한 전제 조건이다. 본 논문에서는 5개 범주에 걸친 24개의 저수준 과제(task)에 대해 표현 유사성(representational similarity)을 체계적으로 조사한다. 우리는 전역 유사성(global similarity), 지역 기하(local geometry), 희소 특징(feature) 분해, 위상학적 검증(topological verification)의 관점에서 과제 조건화(task-conditioned)된 표현을 분석하는 통합 4단계 프레임워크인 GeoSim을 제안한다. 본 formulation은 동일 과제/모델(model) 및 교차 과제/모델 설정 모두에서 AR 모델의 은닉 상태(hidden state)와 DiT의 특징(feature) 맵 분석에 적용된다. 연구 결과는 저수준 시각 표현의 조직화 원리를 밝히는 동시에, 교차 과제 및 교차 모델 일치성(agreement)의 한계를 드러낸다. 궁극적으로 GeoSim은 저수준 비전에서의 잠재적 전이 가능성을 탐구하고, 과제별 또는 모델별 시나리오에서 모델의 한계를 진단하기 위한 해석 가능성(interpretability) 관점을 제공한다.
비디오 확산 트랜스포머(vDiT)는 고품질 비디오를 생성하지만, 긴 확산 타임스텝과 셀프 어텐션(self-attention) 연산으로 인해 매우 높은 연산 비용을 초래한다. 확산 타임스텝이 줄어들수록 셀프 어텐션의 연산 비용이 지배적인 병목이 된다. 기존 가속화 접근법은 대규모 언어 모델(LLM)의 희소 어텐션(sparse attention) 기법을 대부분 그대로 차용하여, 비디오 데이터의 고유한 시공간(spatiotemporal) 상관관계를 고려하지 못한다. 본 논문은 잠재 공간(latent space)의 채널별(channel-wise) 시공간 상관관계를 활용하여 vDiT의 모든 연산을 가속하는 알고리즘-하드웨어 공동 설계 Kaleido를 제안한다. 이 통찰에 기반하여, 부분 결과를 재사용함으로써 중복 연산을 건너뛰는 경량 채널별 재사용 알고리즘을 제안하며, 기존 방법보다 더 높은 생성 품질(>17 dB)을 유지한다. 이 알고리즘을 효율적으로 지원하기 위해, 재구성 가능한 처리 요소(processing element)와 경량 데이터 디스패처(data dispatcher)를 갖춘 systolic array 유형의 가속기를 설계하여, 재사용 알고리즘이 도입하는 불규칙한 희소성(sparsity)과 데이터 접근 패턴을 완화한다. 세 가지 주류 vDiT 모델에 대한 평가 결과, Kaleido는 최신(state-of-the-art) 가속기 대비 최대 5.9배 속도 향상과 16.0배 에너지 절감을 달성한다.
어텐션 싱크(attention sinks) -- 불균형한 어텐션 질량을 받는 토큰들 -- 은 자기회귀 언어 모델에서 기능적으로 중요하다고 가정되지만, 디퓨전 트랜스포머에서의 역할은 여전히 불분명합니다. 본 연구는 텍스트-이미지 디퓨전(text-to-image diffusion)에서 인과 분석을 제시하며, 각 타임스텝(timestep)마다 지배적인 어텐션 수신자를 동적으로 식별하고 스코어(score) 및 값(value) 경로에 대한 짝을 이룬 학습 없는 개입을 통해 이를 억제합니다. Stable Diffusion 3(SDXL 검증 포함)의 553개 GenEval 프롬프트에 대한 실험 결과, 이러한 싱크를 제거하더라도 $k{=}1$에서는 텍스트-이미지 정렬(CLIP-T)이나 선호도 대리 지표(ImageReward, HPS-v2)가 저하되지 않았습니다. 더 강한 개입($k\!\geq\!10$) 하에서만 HPS-v2가 메트릭 의존적 경계를 보였으며, CLIP-T는 전반적으로 견고함을 유지했습니다. 그럼에도 불구하고 억제에 의해 유발된 지각적 변화는 \emph{싱크 특이적}(sink-specific)인데, 이는 동일 예산의 랜덤 마스킹보다 약 $6\times$ 더 크며 디퓨전 트랜스포머에서 궤적(trajectory) 수준 섭동과 \emph{의미적 정렬}(semantic alignment) 사이의 경험적 분리를 보여줍니다. 코드는 https://github.com/wfz666/ICML26-attention-sink 에서 확인할 수 있습니다.