arXiv:2610.10343v2 cs.CV

병렬 어댑터 결합을 통한 실시간 오디오-비디오 공동 생성

Real-Time Joint Audio-Video Generation by Parallel Adapter Composition

Jingyu Li, Xiaoxiao Xiang, Yiwen Guo

제출 2026-10-07

한국어 초록

실시간 대화형 생성을 위해 결합 오디오-비디오 디퓨전 트랜스포머(diffusion transformer)를 배포하려면 일반적으로 두 가지 필수적인 수정이 필요합니다. 전체 클립이 완료되기 전에 프레임을 출력할 수 있도록 하는 블록 자기회귀 어텐션(block-autoregressive attention)과 각 블록의 연산 비용을 낮추기 위한 퓨샷 샘플링(few-step sampling)입니다. 기존 스트리밍 비디오 연구에서는 연쇄형 파이프라인(chained pipeline)을 통해 이 두 가지 기능을 모두 확보해 왔습니다. 즉, 양방향 교사 모델을 인과적(causal) 학생 모델로 증류한 후 이를 다시 퓨샷 학생 모델로 증류하거나, 그 반대 순서로 진행합니다. 이러한 연쇄 과정의 각 단계는 이전 단계가 생성한 가중치를 파인튜닝(fine-tuning)하므로, 이후의 목표가 이전의 기능을 훼손할 수 있습니다. 본 연구에서는 모델 병합(model merging) 개념에 착안하여 패킹된 오디오-비디오 백본에서 이 두 가지 기능을 병렬로 획득할 수 있음을 보여줍니다. 고정된 백본에 대해 인과적 어댑터를 학습하고, 기존 퓨샷 어댑터가 퓨샷 기능을 제공합니다. 두 어댑터가 서로 다른 기능적 축을 수정하기 때문에, 학습 과정에서 명시적인 직교성 제약 없이도 이들의 가중치 업데이트 방향이 거의 직교한다는 점을 예측하고 검증했습니다. 직교하는 업데이트는 상호 간섭 없이 결합될 수 있으므로 병렬 구성은 직합(direct sum) 형태가 됩니다. 두 어댑터는 공동 학습 없이 추론(inference) 시점에 단순히 더해지며, 양방향 교사 모델의 화질을 유지하는 퓨샷 스트리밍 오디오-비디오를 생성합니다. 연쇄형 베이스라인과 비교했을 때 결합된 모델은 대부분의 지표에서 이들과 대등하거나 능가하여 병렬 결합이 실용적인 접근법임을 입증합니다. 최종 스트리밍 시스템은 양자화(quantization) 없이 480×832 해상도에서 약 26 fps로 실시간 오디오-비디오를 공동 생성하며, 안정적인 화질로 30초 동안 연속 생성을 유지합니다. 데모 페이지: https://pac-demo-2027.github.io/demo/

원문 초록

Deploying a joint audio-video diffusion transformer for real-time, interactive generation normally requires two essential modifications: block-autoregressive attention, so frames can be emitted before the whole clip is finished, and few-step sampling, so each block is cheap. Conventionally, the streaming video literature obtains both capabilities from a chained pipeline. It first distills a bidirectional teacher into a causal student, then into a few-step one, or proceeds in reverse order. Each stage of such a chain fine-tunes the weights the previous one produced, so a later objective can undo an earlier capability. Following the idea of model merging, we show that on a packed audio-video backbone the two capabilities can be acquired in parallel. A causal adapter is trained against the frozen backbone, and an off-the-shelf few-step adapter provides the few-step capability. As the two edit different functional axes, we predict, and then verify, that their weight-update directions are near-orthogonal, without any explicit orthogonality constraint during training. Orthogonal updates should combine without interfering, so parallel composition is a direct sum. The two adapters are simply added at inference, with no joint training, yielding few-step, streaming audio-video whose image quality tracks the bidirectional teacher. Compared to the chained baselines, the composed model matches or beats them on most metrics, making parallel composition a practical approach. The resulting streaming system generates joint audio-video in real time, $\approx$26 fps at $480\times832$ without quantization, and sustains 30 s of continuous generation with stable image quality. Demo Page: https://pac-demo-2027.github.io/demo/

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10343v2
  2. arXiv:2610.10343v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15922v1cs.CV공통 태그 Video Generation, diffusion transformer

Frequency-Step Cache: 효율적인 자기회귀 비디오 확산을 위한 동기화와 복원의 분리

Frequency-Step Cache: Separating Synchronization and Repair for Efficient Autoregressive Video Diffusion

자기회귀(AR) 비디오 생성은 장기 합성(long-horizon synthesis)을 가능하게 하지만, 대규모 확산 트랜스포머를 통한 반복적인 순전파 연산을 필요로 합니다. 학습(training)이 필요 없는 캐싱 기법은 중간 계산을 재사용하여 이러한 비용을 줄이지만, 기존 제어기들은 캐시를 정확히 언제 동기화할지와 동기화 사이에 얼마만큼의 계산을 복원할 것인지라는 두 결정을 결합하는 경우가 많습니다. 본 논문에서는 이러한 역할을 분리하는 Frequency-Step Cache(FSC)를 제안합니다. FSC는 조밀한 단계에서 희소한 단계로 이어지는 궤적에 따라 정확한 전체 연산 앵커(anchor)를 스케줄링하며, 주파수 분해 드리프트와 토큰(token) 수명에 기반한 경량 잠재 공간 리스크를 통해 전체 스텝 재생, 선택적 토큰 재계산, 또는 완전 복원 방식으로 앵커 간 복원을 제어합니다. SkyReels-V2에서 전체 스텝 재사용은 대부분의 속도 향상을 제공하는 반면, 선택적 토큰 계산은 충실도 복원에 가장 효과적입니다. 통제된 어블레이션 실험에 따르면 단일 반응형 신호를 동기화와 복원 모두에 사용하는 것은 동일한 지연 시간에서 충실도를 감소시키며, 동일한 분리 이점이 FramePack 및 Matrix-Game에서도 관찰됩니다. 여러 자기회귀 비디오 백본 전반에서 FSC는 속도-품질 트레이드오프를 개선합니다. SkyReels-V2에서 FSC-Speed는 MotionCache의 2.275배 대비 2.36배의 속도 향상을 달성하면서도 SSIM을 0.019, PSNR을 0.5 dB 개선합니다. MotionCache와 동일한 속도에서 FSC-Quality는 SSIM을 0.031, PSNR을 1.0 dB 향상시키고 LPIPS를 0.024 낮춥니다. 재조정 없이도 FSC-Quality는 SkyReels-V2 14B에 전이되어 MotionCache의 1.79배 대비 2.12배의 속도 향상을 기록합니다.

arXiv:2608.26535v2cs.AI공통 태그 Video Generation, audio-video generation

Multi2AV-Safety: 멀티모달-오디오-비디오 생성 모델의 안전성 벤치마킹

Multi2AV-Safety: Benchmarking Safety in Multimodal-to-Audio-Video Generation

최근 오디오-비디오 생성 모델은 텍스트, 이미지, 오디오, 비디오의 결합 조건화(joint conditioning)를 점진적으로 지원하고 있습니다. 이러한 기능은 교차 모달(cross-modal) 상호작용을 악용하거나 유해한 의도를 은폐하여 안전장치를 우회하고 유해한 오디오-비디오 출력을 유도하는 공격을 가능하게 하기도 합니다. 그러나 기존의 생성 안전성(generation-safety) 벤치마크는 이러한 발전을 따라가지 못하여, 멀티모달 입력 조합 및 은폐된 공격 의도에 대한 제한적인 커버리지만을 제공합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 11개의 비단일(non-singleton) T/I/A/V 조건화 구성 전반, 4가지 공격 의도 범주, 5가지 위해(harm) 범주에 걸친 11,024개의 공격 인스턴스로 구성된 멀티모달-오디오-비디오 생성을 위한 최초의 전면적 레드팀 벤치마크 Multi2AV-Safety를 소개합니다. 4개의 멀티모달 조건부 오디오-비디오 생성 모델과 8개의 안전 가드를 포함한 최신 SOTA 모델을 평가한 결과, 생성 및 안전 보호 전반에서 상당한 취약점이 드러났으며, 멀티모달 구성적 위험과 은폐된 공격 의도 위험이 상호 보완적인 두 가지 과제로 대두되었습니다. 이러한 결과를 바탕으로, 본 논문에서는 구조화된 위험 인식 학습을 통해 구성적 위험 및 공격 의도에 대한 감독을 통합하는 옴니모달(omni-modal) 가드 PerceptGuard를 제안합니다. 근거 생성과 안전성 분류(classification)를 공동으로 학습(training)함으로써, 안전 헤드가 필요 시 설명을 생성하는 능력을 유지하면서도 근거 디코딩 없이 추론(inference) 시 효율적인 예측을 수행할 수 있도록 공유된 위험 표현을 학습합니다. 34개의 안전 벤치마크 전반에서 PerceptGuard는 SOTA 멀티모달 안전 탐지와 매우 경쟁력 있는 단일모달(unimodal) 성능을 결합하여, 옴니 모델에 대한 멀티모달 공격에 맞서는 입력단 안전장치를 강화합니다. 특히 앞서 언급한 위험에 대한 안전 보호를 향상하여 Multi2AV-Safety에서 86.06%의 종합 재현율(recall)을 달성하고 GuardReasoner-Omni를 14.56% 상회합니다.

arXiv:2609.23153v2cs.CV공통 태그 Knowledge Distillation, Video Generation

SparkDiffusion: 고희소성 함정 완화 --- 시각 생성의 최대 265배 단일 GPU 가속을 위한 통합 프레임워크

SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation

비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.

arXiv:2609.32303v2cs.AI공통 태그 Knowledge Distillation, model merging

Train4Merge: OPD 기반 모델 병합을 위한 RL 대 SFT 교사 모델의 통제된 단일 교사 연구

Train4Merge: A Controlled Single-Teacher Study of RL vs. SFT Teachers for OPD-Based Model Merging

공유된 체크포인트로부터 학습된 도메인 전문가들은 온-정책 증류(OPD)를 통해 단일 학생 모델로 자신의 특화된 역량을 전이할 수 있습니다. 기존 연구는 주로 이러한 병합 과정을 개선하는 데 집중해 온 반면, 전문가들을 학습시키는 데 사용되는 알고리즘에 대한 체계적인 비교는 제한적이었습니다. 본 연구에서는 에이전트(Agentic), 추론(Reasoning), 인식(Perception) 영역에 걸쳐 지도 미세조정(SFT)과 강화학습(RL)에 대한 통제된 단일 교사 비교를 통해 어떤 학습 알고리즘이 OPD에 더 적합한 교사 모델을 생성하는지 조사합니다. 교사 모델과 학생 모델은 동일한 Qwen3.5-9B 초기화를 공유하며, 두 교사 유형은 유사한 작업 성능 수준에서 비교됩니다. 실험 결과에 따르면 RL 교사 모델은 세 가지 도메인 모두에서 더 뛰어난 학생 모델을 도출하고 교사 모델의 성능 향상분을 더 높게 회복합니다. 최고 체크포인트에서 RL 유도 학생 모델은 SFT 유도 학생 모델보다 각각 4.27, 1.50, 0.86%포인트 더 우수한 성능을 보였습니다. 에이전트 영역에서 최고 성능의 SFT 유도 학생 모델은 베이스 모델 대비 교사의 성능 향상분 중 44.44%만을 회복한 반면, 최고 성능의 RL 유도 학생 모델은 115.00%를 회복하여 교사를 능가했습니다. 추가 분석에 따르면 RL 교사 모델은 SFT 교사 모델보다 공유된 초기화로부터의 매개변수 변위가 더 작게 나타납니다. 이러한 발견은 RL 교사 모델이 학생의 시작점으로부터 더 적게 벗어남으로써 OPD를 통한 학습을 촉진하고 더 우수한 학생 모델로 이어진다는 가설을 뒷받침합니다.

arXiv:2609.20744v3cs.LG공통 태그 Knowledge Distillation, Video Generation

Video DeltaNet: 라이브스트림 비디오 생성을 위한 비디오 네이티브 하이브리드 어텐션

Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation

비디오 확산 모델(video diffusion model)은 노이즈 제거(denoising) 과정에서 긴 시공간 토큰 시퀀스를 반복적으로 처리하므로, 어텐션이 주요한 계산 병목점이 됩니다. 선형 어텐션(linear attention)은 매력적인 대안을 제공하며 최근 대규모 언어 모델(LLM)에 널리 도입되었으나, 비디오 모델에 직접 적용할 경우 고품질 생성에 필요한 세밀한 상호작용을 보존하지 못하는 경우가 많습니다. 본 논문에서는 장거리 비디오 문맥을 위해 로컬 소프트맥스 어텐션과 양방향 선형 메모리를 결합한 Video DeltaNet(VDN)을 제시합니다. VDN의 선형 브랜치는 공간 토큰들을 함께 통합하여 프레임당 한 번 메모리를 업데이트하는 Video Delta Attention(VDA)을 도입합니다. 별도의 출력 투영(output projection)과 학습 가능한 게이트가 두 브랜치를 보정하며, 단계별 교사 정렬(teacher-alignment) 레시피를 통해 사전학습된 모델에 새로운 경로를 점진적으로 도입합니다. 저자들은 MiniMax H3에 VDN을 구현하여 텍스트나 오디오와 관련된 상호작용에는 소프트맥스를 유지하면서 비디오 간 상호작용에 하이브리드 방식을 적용했습니다. 8단계 지식 증류와 최적화된 SGLang 서빙 스택을 갖춘 VDN-H3은 8개의 NVIDIA B200 GPU에서 14.3초 길이의 768p 비디오에 대한 DiT 노이즈 제거를 6.70초 만에 완료하며, 이는 동일한 GPU 수에서 50단계 밀집 H3 기준선 대비 14.5배 속도 향상에 해당합니다. GitHub 코드는 https://github.com/OpenVDN/vdn-minimax-h3 에서 제공되며, 가중치는 https://huggingface.co/OpenVDN/vdn-minimax-h3 에서 제공됩니다.

arXiv:2608.22364v2cs.AI공통 태그 Knowledge Distillation, Video Generation

WAM-OPD: 온-정책 증류를 통한 월드 액션 모델 사후 학습을 위한 비디오-액션 공동 지도

WAM-OPD: Joint Video-Action Supervision for World Action Model Post-Training with On-Policy Distillation

월드 액션 모델(World Action Model, WAM)은 미래 비디오와 로봇 액션을 모두 생성하여 사후 학습(post-training) 지도를 위한 두 가지 연결된 출력을 제공합니다. 사전 학습된 WAM은 실행 중에 마주치는 이력에 대해 더 강력한 교사(Teacher) 모델로부터 어떻게 학습할 수 있을까요? 본 논문에서는 학생(Student) 모델의 롤아웃(rollout) 이력을 수집하고 교사 모델에 쌍을 이루는 비디오 및 액션 타깃을 질의하는 WAM-OPD를 제시합니다. 학생 모델은 배포 시 1단계 비디오 및 액션 생성을 유지하면서 두 타깃 모두로부터 학습합니다. 12개의 RoboTwin 2.0 태스크 전반에서 WAM-OPD는 평균 성공률을 33.8%에서 65.7%로 향상시켰으며, 4개의 실제 로봇 태스크에서는 평균 성공률을 51.4%에서 64.6%로 끌어올렸습니다. 수집된 학생 모델의 이력을 고정한 상태에서, 비디오-액션 공동 지도는 세 가지 절제 연구 태스크 모두에서 가장 높은 관찰 성공률을 달성한 반면, 두 모달리티 중 어느 하나만 단독으로 사용해도 성능이 향상되었습니다. 교사 모델이 생성한 이력과의 별도 비교에서는 두 이력 출처 간에 태스크에 따른 차이가 있음을 확인했습니다. 이러한 결과는 배포 시의 샘플링 예산을 늘리지 않고도 WAM 정책을 개선하는 데 있어 쌍을 이루는 비디오-액션 지도의 유용성을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.