arXiv:2606.06497v1 cs.GR

실시간 AttentionBender: 비디오 확산 트랜스포머의 세분화된 인터랙티브 네트워크 벤딩

Real-Time AttentionBender: Granular Interactive Network Bending of Video Diffusion Transformers

Adam Cole, Mick Grierson

제출 2026-04-24

한국어 초록

생성형 비디오 모델은 뛰어난 시각적 충실도를 달성했지만, 프롬프트 전용 인터페이스는 창의적 주도권이 제한적이며 모델과 함께 작업하는 아티스트들로부터 모델의 물질적 프로세스를 숨깁니다. 우리는 Real-Time AttentionBender를 제시합니다. 이 도구는 비디오 확산 트랜스포머(DiT)의 전체 깊이에 걸쳐 네트워크 벤딩(network bending) 실천을 확장하고 이를 라이브 인터랙티브 생성에 구현합니다. DayDream Scope 에코시스템 내의 플러그인으로 구축되고 오픈소스 실시간 Wan 파이프라인을 래핑하는 이 도구는 셀프 어텐션, 크로스 어텐션, 순전파 신경망을 독립적으로 조작 가능한 표면으로 노출하며, 개별 확산 스텝, DiT 레이어, 프롬프트 토큰, 히든 뉴런 수준까지 세밀한 타겟팅을 지원합니다. 라이브 조작의 즉각성은 우리가 모델과의 '물질적 친밀감(material intimacy)'이라 부르는 것을 가능하게 합니다. 이는 특정 레이어와 뉴런이 생성 비디오를 어떻게 형성하는지에 대한 반응적이고 거의 기계적인 감각입니다. 우리는 이 도구를 트랜스포머 내부에 대한 XAIxArts 탐침인 동시에 모델의 기본 표현 공간 외부의 미학을 발견하기 위한 표현적 도구로 제시합니다.

원문 초록

Generative video models have achieved remarkable visual fidelity, yet their prompt-only interface offers thin creative agency and obscures the model's material process from the artists working with it. We present Real-Time AttentionBender, a tool that extends the practice of network bending across the full depth of the video diffusion transformer (DiT) and brings it into live, interactive generation. Built as a plugin within the DayDream Scope ecosystem and wrapping open-source real-time Wan pipelines, the tool exposes self-attention, cross-attention, and the feed-forward network as independently manipulable surfaces, with targeting down to individual diffusion steps, DiT layers, prompt tokens, and hidden neurons. The immediacy of live manipulation affords what we call "material intimacy" with the model: a responsive, near-mechanistic feel for how specific layers and neurons shape generated video. We position the tool as simultaneously an XAIxArts probe into transformer internals and an expressive instrument for discovering aesthetics outside the model's default representational space.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06497v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.03012v2cs.CV공통 태그 Video Generation, diffusion transformer

HyperVAttention: 비디오 디퓨전을 위한 시공간 클러스터링 기반 효율적인 희소 어텐션

HyperVAttention: Efficient Sparse Attention with Spatio-Temporal Clustering for Video Diffusion

비디오 확산 트랜스포머(VDiT)는 고충실도 비디오 생성에서 상당한 능력을 보여 왔다. 그러나 장시간 비디오를 생성하는 능력은 셀프 어텐션 메커니즘의 이차 복잡도에 의해 근본적으로 제약된다. 최근의 클러스터링 기반 희소 어텐션 방법은 의미적으로 유사한 토큰을 묶어 품질과 속도 간 절충을 개선하지만, 실제 효율은 상당한 클러스터링 오버헤드와 불규칙한 클러스터 유도 블록으로 인한 낮은 CTA 활용률이라는 두 가지 병목으로 인해 제한된다. 우리는 이 두 병목을 함께 해결하는 학습 불필요 희소 어텐션 프레임워크인 HyperVAttention(HVA)을 제안한다. 클러스터링 오버헤드를 줄이기 위해, 비디오 토큰의 시공간 지역성을 활용하여 중심점 탐색을 고정된 국소 이웃으로 제한하는 3D 국소 윈도우 클러스터링을 도입하고, 효율적인 실행을 위해 맞춤형 Triton 커널로 구현한다. 또한 노이즈 제거 단계 전반에서 클러스터 할당의 시간적 안정성을 활용하여 앵커 단계에서만 전체 클러스터링을 수행하고 중간 단계에서는 일부 토큰만 갱신하는 하이브리드 클러스터링 전략을 제안한다. CTA 활용률을 높이기 위해, 병렬 병합형 군집화를 통해 CTA 정렬 실행 비용을 최소화하는 하드웨어 인식 클러스터 병합을 제시하며, 유휴 타일 용량을 활용하여 블록 밀도와 근사 충실도를 개선한다. 이러한 구성 요소는 함께 클러스터링 오버헤드를 줄이고 중복 갱신을 피하며 희소 어텐션을 최신 GPU 커널의 고정 타일 구조에 더 잘 맞춘다. 비디오 생성 실험에서 HVA는 학습 불필요 희소 어텐션의 파레토 프런티어를 개선하여, 비슷한 지연 시간에서 SVG2보다 높은 충실도를 달성하고 HunyuanVideo에서 전체 어텐션 대비 $2.13\times$ 속도 향상을, 더 빠른 변형인 HVA-Flash로는 $2.23\times$ 속도 향상을 달성한다.

arXiv:2610.15922v1cs.CV공통 태그 Video Generation, diffusion transformer

Frequency-Step Cache: 효율적인 자기회귀 비디오 확산을 위한 동기화와 복원의 분리

Frequency-Step Cache: Separating Synchronization and Repair for Efficient Autoregressive Video Diffusion

자기회귀(AR) 비디오 생성은 장기 합성(long-horizon synthesis)을 가능하게 하지만, 대규모 확산 트랜스포머를 통한 반복적인 순전파 연산을 필요로 합니다. 학습(training)이 필요 없는 캐싱 기법은 중간 계산을 재사용하여 이러한 비용을 줄이지만, 기존 제어기들은 캐시를 정확히 언제 동기화할지와 동기화 사이에 얼마만큼의 계산을 복원할 것인지라는 두 결정을 결합하는 경우가 많습니다. 본 논문에서는 이러한 역할을 분리하는 Frequency-Step Cache(FSC)를 제안합니다. FSC는 조밀한 단계에서 희소한 단계로 이어지는 궤적에 따라 정확한 전체 연산 앵커(anchor)를 스케줄링하며, 주파수 분해 드리프트와 토큰(token) 수명에 기반한 경량 잠재 공간 리스크를 통해 전체 스텝 재생, 선택적 토큰 재계산, 또는 완전 복원 방식으로 앵커 간 복원을 제어합니다. SkyReels-V2에서 전체 스텝 재사용은 대부분의 속도 향상을 제공하는 반면, 선택적 토큰 계산은 충실도 복원에 가장 효과적입니다. 통제된 어블레이션 실험에 따르면 단일 반응형 신호를 동기화와 복원 모두에 사용하는 것은 동일한 지연 시간에서 충실도를 감소시키며, 동일한 분리 이점이 FramePack 및 Matrix-Game에서도 관찰됩니다. 여러 자기회귀 비디오 백본 전반에서 FSC는 속도-품질 트레이드오프를 개선합니다. SkyReels-V2에서 FSC-Speed는 MotionCache의 2.275배 대비 2.36배의 속도 향상을 달성하면서도 SSIM을 0.019, PSNR을 0.5 dB 개선합니다. MotionCache와 동일한 속도에서 FSC-Quality는 SSIM을 0.031, PSNR을 1.0 dB 향상시키고 LPIPS를 0.024 낮춥니다. 재조정 없이도 FSC-Quality는 SkyReels-V2 14B에 전이되어 MotionCache의 1.79배 대비 2.12배의 속도 향상을 기록합니다.

arXiv:2610.10343v2cs.CV공통 태그 Video Generation, diffusion transformer

병렬 어댑터 결합을 통한 실시간 오디오-비디오 공동 생성

Real-Time Joint Audio-Video Generation by Parallel Adapter Composition

실시간 대화형 생성을 위해 결합 오디오-비디오 디퓨전 트랜스포머(diffusion transformer)를 배포하려면 일반적으로 두 가지 필수적인 수정이 필요합니다. 전체 클립이 완료되기 전에 프레임을 출력할 수 있도록 하는 블록 자기회귀 어텐션(block-autoregressive attention)과 각 블록의 연산 비용을 낮추기 위한 퓨샷 샘플링(few-step sampling)입니다. 기존 스트리밍 비디오 연구에서는 연쇄형 파이프라인(chained pipeline)을 통해 이 두 가지 기능을 모두 확보해 왔습니다. 즉, 양방향 교사 모델을 인과적(causal) 학생 모델로 증류한 후 이를 다시 퓨샷 학생 모델로 증류하거나, 그 반대 순서로 진행합니다. 이러한 연쇄 과정의 각 단계는 이전 단계가 생성한 가중치를 파인튜닝(fine-tuning)하므로, 이후의 목표가 이전의 기능을 훼손할 수 있습니다. 본 연구에서는 모델 병합(model merging) 개념에 착안하여 패킹된 오디오-비디오 백본에서 이 두 가지 기능을 병렬로 획득할 수 있음을 보여줍니다. 고정된 백본에 대해 인과적 어댑터를 학습하고, 기존 퓨샷 어댑터가 퓨샷 기능을 제공합니다. 두 어댑터가 서로 다른 기능적 축을 수정하기 때문에, 학습 과정에서 명시적인 직교성 제약 없이도 이들의 가중치 업데이트 방향이 거의 직교한다는 점을 예측하고 검증했습니다. 직교하는 업데이트는 상호 간섭 없이 결합될 수 있으므로 병렬 구성은 직합(direct sum) 형태가 됩니다. 두 어댑터는 공동 학습 없이 추론(inference) 시점에 단순히 더해지며, 양방향 교사 모델의 화질을 유지하는 퓨샷 스트리밍 오디오-비디오를 생성합니다. 연쇄형 베이스라인과 비교했을 때 결합된 모델은 대부분의 지표에서 이들과 대등하거나 능가하여 병렬 결합이 실용적인 접근법임을 입증합니다. 최종 스트리밍 시스템은 양자화(quantization) 없이 480×832 해상도에서 약 26 fps로 실시간 오디오-비디오를 공동 생성하며, 안정적인 화질로 30초 동안 연속 생성을 유지합니다. 데모 페이지: https://pac-demo-2027.github.io/demo/

arXiv:2610.02567v1cs.CV공통 태그 Video Generation, diffusion transformer

DAGS: 시간적으로 안정화된 생성형 렌더링을 위한 동결된 이미지 DiT의 외형 및 기하학 분리 조향

DAGS: Disentangled Appearance-and-Geometry Steering of a Frozen Image DiT for Temporally Stabilized Generative Rendering

확산 트랜스포머(DiT)는 텍스트 및 이미지 조건으로부터 고충실도 이미지를 생성하지만, 출력의 분산이 크고 원하는 목표에 대한 충실도는 조건이 제공되는 방식에 크게 의존합니다. 본 논문에서는 동결된(frozen) 이미지 DiT를 조향하여 고충실도, 높은 충실성 및 독립적으로 제어 가능한 렌더링을 생성하는 가볍고 어텐션(attention)이 필요 없는 외형 및 기하학 분리 조건화 기법인 DAGS를 제시합니다. 두 개의 소형 합성곱 인코더가 프레임당 한 번씩 조건화 특징을 계산하고, 이를 학습(training)된 층(layer)별 요소별(element-wise) 잔차로서 이미지 토큰에 주입함으로써 어텐션을 통해 조건을 쌓는 데 드는 이차 비용을 방지합니다. 제어 및 시간적 처리가 동결된 백본 외부에 존재하기 때문에, 백본의 방대한 사전학습 사전을 유지하고 백본 과적합(overfitting) 위험을 제거합니다. 나아가 소형 순환 조명 안정화기와 학습 불필요(training-free) 시간적 가이던스 항을 추가하여, 조건화 기법과 결합함으로써 프레임별 이미지 모델(model)을 스트리밍 렌더러로 향상시킵니다. DAGS는 경로 추적(path tracing) 연산량의 극히 일부만으로 제어 가능하고 고품질인 렌더링을 생성하며, 실시간은 아니지만 연산량을 제어 가능성 및 품질과 맞바꿉니다. 일치된 1-spp + G-buffer 입력 조건에서 프레임별 DAGS는 실시간 디노이저인 Intel OIDN 및 확산 렌더러 RGB<->X 대비 각각 +8.6 dB 및 +10.1 dB 향상된 PSNR로 재구성하는 동시에 지각적으로 2.5~8배 더 시간적으로 안정적(temporal-LPIPS 깜빡임 기준)입니다.

arXiv:2610.02660v1cs.CV공통 태그 Video Generation, diffusion transformer

SpectralCache: 스펙트럼 특징 캐싱을 통한 확산 기반 월드 모델 가속화

SpectralCache: Accelerating Diffusion-Based World Models via Spectral Feature Caching

확산(diffusion) 기반 월드 모델은 고품질의 대화형 환경 생성을 가능하게 하지만, 노이즈 제거(denoising) 과정에서 반복적인 트랜스포머(Transformer) 평가로 인해 상당한 추론(inference) 오버헤드가 발생합니다. 기존 캐싱 기법들은 주로 특징(feature)이나 토큰(token) 수준의 시간적 중복성을 활용할 뿐, 확산 특징의 기저에 있는 수학적 구조는 거의 탐색하지 않았습니다. 본 연구에서는 월드 모델의 특징이 인접한 노이즈 제거 단계 전반에 걸쳐 매우 안정적인 특이 부분공간(singular subspace)을 보이며, 이들의 특잇값(singular value)은 예측 가능한 진화 패턴을 따른다는 점을 밝혀냅니다. 이러한 관찰을 바탕으로, 안정적인 특이 부분공간을 재사용하고 선형 외삽법(linear extrapolation)을 통해 저차원 특잇값만을 추정하는 학습(training)이 필요 없는 스펙트럼 캐싱 프레임워크인 SpectralCache를 제안합니다. 나아가 인접한 전체 계산 특징 간의 스펙트럼 일관성을 활용하여, 특잇값 스케일링을 통해 계산 비용이 큰 특정 백본 평가를 건너뜁니다. 대표적인 월드 모델을 대상으로 한 광범위한 실험을 통해 SpectralCache가 생성 품질을 유지하면서 추론 효율성을 일관되게 향상시킴을 입증합니다. HunyuanWorld-Voyager-13B에서 SpectralCache는 정적 장면에 대해 65.90의 WorldScore를 유지하면서 5.22배 가속을 달성하여, 기존의 학습 불필요 캐싱 기법보다 추론 효율성 면에서 크게 우수한 성능을 보였습니다.

arXiv:2607.22696v1cs.CV공통 태그 Video Generation, diffusion transformer

MegaSlide-DiT: 효율적인 비디오 확산을 위한 메모리 중심 적응 및 변형 가능한 로컬 어텐션

MegaSlide-DiT: Memory-Centric Adaptation and Deformable Local Attention for Efficient Video Diffusion

확산 트랜스포머(DiT) 기반 고해상도 비디오 확산 모델은 뛰어난 충실도를 제공하지만, 단일 워크스테이션의 메모리 예산을 빠르게 소진한다. 1,000억 개 이상의 매개변수를 가진 DiT는 지속 상태만으로도 쉽게 1TB 이상을 필요로 하며, 단순한 시공간 자기 어텐션은 시퀀스 길이에 대해 이차적으로 증가한다. 이 두 가지 장벽—매개변수 메모리와 활성화 메모리—은 대규모 GPU 클러스터 없이 거대 생성 모델을 적응하는 것을 연구자들로부터 막는다. 우리는 시스템 관점에서 이 문제를 재검토하고, 1.5TB 호스트 RAM을 갖춘 단일 H200 GPU에서 사전학습된 105B DiT를 적응할 수 있음을 보여주는 프로토타입인 MegaSlide-DiT를 제안한다. 핵심 통찰은 GPU가 모델 상태를 소유할 필요가 없다는 것이다. 모든 지속 가중치, 마스터 가중치 및 옵티마이저 모멘트는 호스트 메모리에 유지되고, 일시적 샤드만 필요에 따라 GPU로 스트리밍된다. 동시에, 이차적 전역 어텐션을 3D 변형 가능 슬라이드 어텐션(3D-DSA)으로 대체한다. 이는 움직임 적응형 로컬 어텐션 연산자로, 메모리와 계산 복잡도를 모두 시퀀스 길이에 대해 선형으로 줄인다. 설계를 뒷받침하기 위해 상세한 메모리 회계, 실행 추적 및 평가 결과를 보고한다. MegaSlide-DiT는 단일 GPU에서 105B 모델을 처음부터 학습할 수 있다고 주장하지 않으며, 대역폭 한계를 마법처럼 해결하지도 않는다. 오히려 고사양 워크스테이션에서 거대 비디오 확산 모델의 전체 매개변수 적응을 위한 실용적인 경로를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.