PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10343v2cs.CV

병렬 어댑터 결합을 통한 실시간 오디오-비디오 공동 생성

Real-Time Joint Audio-Video Generation by Parallel Adapter Composition

실시간 대화형 생성을 위해 결합 오디오-비디오 디퓨전 트랜스포머(diffusion transformer)를 배포하려면 일반적으로 두 가지 필수적인 수정이 필요합니다. 전체 클립이 완료되기 전에 프레임을 출력할 수 있도록 하는 블록 자기회귀 어텐션(block-autoregressive attention)과 각 블록의 연산 비용을 낮추기 위한 퓨샷 샘플링(few-step sampling)입니다. 기존 스트리밍 비디오 연구에서는 연쇄형 파이프라인(chained pipeline)을 통해 이 두 가지 기능을 모두 확보해 왔습니다. 즉, 양방향 교사 모델을 인과적(causal) 학생 모델로 증류한 후 이를 다시 퓨샷 학생 모델로 증류하거나, 그 반대 순서로 진행합니다. 이러한 연쇄 과정의 각 단계는 이전 단계가 생성한 가중치를 파인튜닝(fine-tuning)하므로, 이후의 목표가 이전의 기능을 훼손할 수 있습니다. 본 연구에서는 모델 병합(model merging) 개념에 착안하여 패킹된 오디오-비디오 백본에서 이 두 가지 기능을 병렬로 획득할 수 있음을 보여줍니다. 고정된 백본에 대해 인과적 어댑터를 학습하고, 기존 퓨샷 어댑터가 퓨샷 기능을 제공합니다. 두 어댑터가 서로 다른 기능적 축을 수정하기 때문에, 학습 과정에서 명시적인 직교성 제약 없이도 이들의 가중치 업데이트 방향이 거의 직교한다는 점을 예측하고 검증했습니다. 직교하는 업데이트는 상호 간섭 없이 결합될 수 있으므로 병렬 구성은 직합(direct sum) 형태가 됩니다. 두 어댑터는 공동 학습 없이 추론(inference) 시점에 단순히 더해지며, 양방향 교사 모델의 화질을 유지하는 퓨샷 스트리밍 오디오-비디오를 생성합니다. 연쇄형 베이스라인과 비교했을 때 결합된 모델은 대부분의 지표에서 이들과 대등하거나 능가하여 병렬 결합이 실용적인 접근법임을 입증합니다. 최종 스트리밍 시스템은 양자화(quantization) 없이 480×832 해상도에서 약 26 fps로 실시간 오디오-비디오를 공동 생성하며, 안정적인 화질로 30초 동안 연속 생성을 유지합니다. 데모 페이지: https://pac-demo-2027.github.io/demo/

arXiv:2608.26535v2cs.AI

Multi2AV-Safety: 멀티모달-오디오-비디오 생성 모델의 안전성 벤치마킹

Multi2AV-Safety: Benchmarking Safety in Multimodal-to-Audio-Video Generation

최근 오디오-비디오 생성 모델은 텍스트, 이미지, 오디오, 비디오의 결합 조건화(joint conditioning)를 점진적으로 지원하고 있습니다. 이러한 기능은 교차 모달(cross-modal) 상호작용을 악용하거나 유해한 의도를 은폐하여 안전장치를 우회하고 유해한 오디오-비디오 출력을 유도하는 공격을 가능하게 하기도 합니다. 그러나 기존의 생성 안전성(generation-safety) 벤치마크는 이러한 발전을 따라가지 못하여, 멀티모달 입력 조합 및 은폐된 공격 의도에 대한 제한적인 커버리지만을 제공합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 11개의 비단일(non-singleton) T/I/A/V 조건화 구성 전반, 4가지 공격 의도 범주, 5가지 위해(harm) 범주에 걸친 11,024개의 공격 인스턴스로 구성된 멀티모달-오디오-비디오 생성을 위한 최초의 전면적 레드팀 벤치마크 Multi2AV-Safety를 소개합니다. 4개의 멀티모달 조건부 오디오-비디오 생성 모델과 8개의 안전 가드를 포함한 최신 SOTA 모델을 평가한 결과, 생성 및 안전 보호 전반에서 상당한 취약점이 드러났으며, 멀티모달 구성적 위험과 은폐된 공격 의도 위험이 상호 보완적인 두 가지 과제로 대두되었습니다. 이러한 결과를 바탕으로, 본 논문에서는 구조화된 위험 인식 학습을 통해 구성적 위험 및 공격 의도에 대한 감독을 통합하는 옴니모달(omni-modal) 가드 PerceptGuard를 제안합니다. 근거 생성과 안전성 분류(classification)를 공동으로 학습(training)함으로써, 안전 헤드가 필요 시 설명을 생성하는 능력을 유지하면서도 근거 디코딩 없이 추론(inference) 시 효율적인 예측을 수행할 수 있도록 공유된 위험 표현을 학습합니다. 34개의 안전 벤치마크 전반에서 PerceptGuard는 SOTA 멀티모달 안전 탐지와 매우 경쟁력 있는 단일모달(unimodal) 성능을 결합하여, 옴니 모델에 대한 멀티모달 공격에 맞서는 입력단 안전장치를 강화합니다. 특히 앞서 언급한 위험에 대한 안전 보호를 향상하여 Multi2AV-Safety에서 86.06%의 종합 재현율(recall)을 달성하고 GuardReasoner-Omni를 14.56% 상회합니다.

arXiv:2610.00691v2cs.CV

Soundwich: 계층화 및 제어 가능한 오디오를 결합한 비디오 생성

Soundwich: Video Generation with Layered and Controllable Audio

최근 오디오-비디오 공동 생성 모델은 동기화된 사운드를 포함한 사실적인 비디오를 합성할 수 있지만, 일반적으로 단일 믹싱 트랙으로 오디오를 생성합니다. 이는 음원 수준의 제어를 제한하며, 음성, 음악, 음향 효과 및 주변음이 편집 가능한 별도의 트랙으로 표현되는 실제 시청각 워크플로와 차이가 있습니다. 본 연구에서는 고정된(frozen) 오디오-비디오 결합 플로우 매칭(flow-matching) 모델을 공유 비디오와 결합된 동기화되고 독립적으로 편집 가능한 다중 오디오 스템(stem) 생성기로 변환하는 무학습(training-free) 프레임워크인 Soundwich를 소개합니다. Soundwich는 시간적 활성화를 명시적으로 제어하면서 별도의 오디오 스템을 생성합니다. 개별적으로 생성된 사운드의 일관성을 유지하기 위해, 음원 수준의 분리를 보존하면서 스템 전반에 걸쳐 전역적 시청각 컨텍스트를 전달하는 공유 장면 표현을 도입합니다. 나아가 각 오디오 스템과 그에 대응하는 시각적 소스 간의 교차 모달 상호작용을 라우팅하여 시청각 일관성을 향상합니다. 그 결과 생성된 스템은 비디오와 동기화된 상태를 유지하며 독립적으로 타이밍을 재조정하거나, 음소거, 교체 또는 리믹스할 수 있습니다. 실험 및 정성적 평가를 통해 시간적 제어, 음원 분리 및 자연스러움이 향상됨과 동시에 일관된 시청각 생성 내에서 유연한 음원 수준 편집이 가능함을 보여줍니다. 코드는 https://github.com/CodyNing/Soundwich 에서 확인할 수 있습니다.

arXiv:2609.22361v3cs.LG

개입, 공유 잠재가 아님: 오디오-비디오 생성에서 시각적 지름길 차단

Intervention, Not Shared Latents: Blocking Visual Shortcuts in Audio-Video Generation

공동 오디오-비디오(AV) 생성기는 \emph{사건이 어떻게 보이는지}와 \emph{어떻게 들리는지}가 허위로 상관된 데이터로 학습된다. 우리는 그로 인한 실패 양상에 대한 \emph{통제된 인과 연구}를 제시한다. 오디오가 구조적으로 비디오의 방해(nuisance) 외관과 독립인 AV 구조 인과 모델에서, 크로스 어텐션이나 공유 잠재를 통해 오디오가 비디오를 직접 읽도록 허용하는 모델은 \emph{시각적 지름길}을 학습한다: 인과적 사건이 아니라 외관으로부터 소리를 예측하며, 테스트 시 외관-사건 상관이 깨지면 잘못된 사건의 소리를 합성한다. 중요하게도, 두 모달리티를 \emph{공유 공통-원인 잠재}로 라우팅하는 널리 쓰이는 처방은 이를 \emph{고치지 못한다}—병목, 비지도 공유/사적 분해, 충실한 공유 사전 모델 모두 외관 대리(proxy)를 붙잡아 직접 연결 모델처럼 실패한다. 지름길을 차단하려면 대신 방해 요인에 대한 \emph{개입}이 필요하다: 명시된 가정 하에서 반사실 불변성이 인과 예측자를 식별하기 위해 필요충분함을 증명하고, 특징 벡터 SCM에서 절차적 픽셀 비디오, 스펙트로그램 오디오가 붙은 실제 이미지, 움직이는 실제 숫자, 조건부 생성기에 이르기까지 메커니즘을 검증한다. \emph{실제 사전학습} V2A 생성기(MMAudio)에서 입력-개입 테스트는 모델이 소리와 무관한 편집에 대해 불변에 훨씬 못 미침을 보여 주지만, 일반 노이즈 대조는 색상 지름길에 특화되기보다 입력에 전반적으로 취약함을 드러낸다—지름길의 깨끗한 분리는 우리의 합성 연구가 제공하는 통제된 교란(confound)이 필요하다. 지름길이 \emph{언제} 발생하는지 특성화하고, 목적 함수를 지도 반사실 증강과 비교하며, 개입을 적용할 수 없는 \emph{미지의 방해 요인} 영역을 핵심 미해결 문제로 격리한다.

arXiv:2607.14189v1cs.CV

MultiRef-Compass: 다중 참조 오디오-비디오 생성의 포괄적 평가를 향하여

MultiRef-Compass: Towards Comprehensive Evaluation of Multi-Reference-to-Audio-Video Generation

다중 참조-오디오-비디오(MR2AV) 생성은 여러 참조와 텍스트 지시에 조건화하여 일관된 오디오-비디오 콘텐츠를 생성하는 것을 목표로 한다. 기존 벤치마크는 주로 텍스트 기반 생성, 단일 참조 주체 보존, 또는 분리된 오디오-비디오 정렬에 초점을 맞추어, 떠오르는 MR2AV 설정은 대체로 탐색되지 않은 상태로 남아 있다. 이러한 설정과 비교할 때, MR2AV는 모델이 동기화된 시각 및 오디오 콘텐츠를 생성하면서 여러 참조에 대해 공동으로 추론해야 한다. 모델은 각 참조를 충실히 보존할 뿐만 아니라, 여러 참조된 개체를 올바르게 바인딩하고 구성하여 일관된 시청각 이벤트로 만들어야 한다. 이 공백을 해소하기 위해, 우리는 MR2AV 생성을 위한 통합 벤치마크인 MultiRef-Compass를 소개한다. 이는 확장 가능하고 제어 가능한 자산 구성 파이프라인을 통해 구축된 350개의 신중하게 선별된 샘플로 구성되며, 다중 시점 주체 보존, 다중 개체 바인딩, 인간-객체-장면 구성을 다룬다. 해석 가능한 평가를 제공하기 위해, MultiRef-Compass는 기본 품질(Basic Quality), 참조 일관성(Reference Consistency), 오디오-비주얼 일관성(Audio-Visual Consistency), 지시 따르기(Instruction Following)의 네 가지 차원으로 14개 하위 지표를 사용하는 평가 프로토콜을 정의한다. MultiRef-Compass는 재판정 강화 MLLM-as-a-Judge 프레임워크와 자동 지표를 통합하여, 지각적 충실도와 참조 조건 구성 모두에 대한 확장 가능하고 감사 가능한 평가를 가능하게 한다. 8개의 대표적인 MR2AV 시스템에 대한 광범위한 실험은 여러 평가 차원에서 상당한 개선 여지가 있음을 밝혀, 포괄적 벤치마크의 필요성을 강조하고 MultiRef-Compass를 향후 MR2AV 연구의 기반으로 자리매김한다.

arXiv:2510.03117v2cs.CV

고급 모달리티 조건과 상호작용을 통한 텍스트-사운드 비디오 생성의 정교화

Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction

본 연구는 도전적이면서도 유망한 과제인 텍스트-사운드 비디오(Text-to-Sounding-Video, T2SV) 생성에 초점을 맞춘다. 이는 텍스트 조건으로부터 동기화된 오디오를 갖춘 비디오를 생성하면서, 두 모달리티 모두 텍스트와 정렬되도록 하는 것을 목표로 한다. 공동 오디오-비디오 학습의 진전에도 불구하고, 두 가지 핵심 과제는 여전히 해결되지 않은 채 남아 있다: (1) 비디오용 텍스트와 오디오용 텍스트가 동일한 단일 공유 텍스트 캡션은 종종 모달 간섭을 유발하여 사전학습된 백본을 혼란스럽게 만들고, (2) 교차 모달 특징 상호작용을 위한 최적 메커니즘은 여전히 불명확하다. 이러한 과제를 해결하기 위해, 먼저 분리된 캡션 쌍—비디오 캡션과 오디오 캡션—을 생성하여 조건화 단계에서 간섭을 제거하는 계층적 시각 기반 캡셔닝(Hierarchical Visual-Grounded Captioning, HVGC) 프레임워크를 제안한다. HVGC를 기반으로, 대칭적이고 양방향적인 정보 교환을 가능하게 하여 의미적 및 시간적 동기화를 모두 달성하는 견고한 ``bridge'' 역할을 하는 Dual CrossAttention(DCA) 메커니즘을 채택한 새로운 이중 타워 확산 트랜스포머(dual-tower diffusion transformer)인 BridgeDiT를 추가로 도입한다. 인간 평가를 포함한 세 개의 벤치마크 데이터셋에 대한 광범위한 실험은 우리 방법이 대부분의 지표에서 최첨단(state-of-the-art) 결과를 달성함을 보여준다. 포괄적인 ablation 연구는 우리 기여의 효과를 추가로 검증하며, 향후 T2SV 과제에 대한 핵심 통찰을 제공한다. 모든 코드와 체크포인트는 공개적으로 배포될 예정이다.

arXiv:2605.20183v4cs.CV

MSAVBench: 멀티샷 오디오-비디오 생성의 종합적이고 신뢰할 수 있는 평가를 향하여

MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation

비디오 생성은 실세계 요구를 충족하기 위해 단일 샷 합성에서 복잡한 멀티샷 오디오-비디오(MSAV) 내러티브로 빠르게 진화하고 있다. 그러나 이러한 최첨단 모델을 평가하는 것은 근본적인 과제로 남아 있다. 기존 벤치마크는 범위와 데이터 다양성이 제한적이고 경직된 평가 파이프라인에 의존하여, 현대 MSAV 모델의 체계적이고 신뢰할 수 있는 평가를 방해한다. 이러한 격차를 해소하기 위해, 우리는 멀티샷 오디오-비디오 생성을 위한 최초의 종합 벤치마크이자 적응형 하이브리드 평가 프레임워크인 MSAVBench를 소개한다. 본 벤치마크는 비디오, 오디오, 샷, 레퍼런스의 네 가지 핵심 차원에 걸쳐 다양한 태스크 설정, 최대 15개에 이르는 다양한 샷 수, 그리고 난이도 높은 비현실적 시나리오를 포함한다. 평가 프레임워크는 샷 분할을 위한 적응형 자기 교정 메커니즘, 주관적 지표에 대한 인스턴스별 루브릭, 복잡한 판단을 위한 도구 기반 증거 추출을 통해 견고성을 향상시킨다. 또한 MSAVBench는 스피어만 순위 상관계수 91.5%를 달성하며 인간 판단과 높은 일치도를 보인다. 19개의 최신 클로즈드 소스 및 오픈 소스 모델에 대한 체계적인 평가 결과, 현재 시스템은 감독 수준의 제어와 세밀한 오디오-비주얼 동기화에 여전히 어려움을 겪고 있으며, 모듈형 또는 에이전트 기반 생성 파이프라인이 오픈 소스와 클로즈드 소스 모델 간의 격차를 좁히는 유망한 방향임을 보여준다. 벤치마크 데이터와 평가 코드는 https://github.com/ali-vilab/MSAVBench 에서 공개적으로 이용 가능하다.

arXiv:2606.21661v1cs.CV

UnityShots: 경계 인식 게이팅 기반 메모리 주도 멀티샷 오디오-비디오 생성

UnityShots: Memory-Driven Multi-Shot Audio-Video Generation with Boundary-Aware Gating

일관된 멀티샷 비디오를 생성하려면 구조화된 샷 간 메모리가 필요하다. 피사체 외형, 장면 맥락, 화자 신원은 컷이 이어져도 유지되어야 한다. 기존 접근법은 고정 길이 시퀀스에 대해 end-to-end로 학습하여 확장할 수 없거나, 선형적으로 커지는 메모리 뱅크를 사용해 샷 단위로 생성하거나, 멀티샷 인식 백본 없이 LLM 플래너 하에서 사전학습된 생성기를 오케스트레이션한다. 우리는 어노테이션이 부여된 영화 및 뮤직비디오 샷으로 학습된 LTX-2.3 기반의 메모리 주도 멀티샷 오디오-비디오 생성 시스템 UnityShots를 제안한다. 비디오 스트림은 두 개의 고정 크기 슬롯을 유지한다. 하나는 오프닝 샷에 고정된 장기 메모리(LTM) 슬롯이고, 다른 하나는 직전 구간의 꼬리를 담는 단기 메모리(STM) 슬롯이다. 두 슬롯은 시각적 컷 확률과 비트 트래커 신호를 융합하는 경계 조건 게이트에 의해 매 컷마다 갱신된다. 오디오 스트림은 슬라이딩 오디오 뱅크 없이 음색을 보존하기 위해 매 샷마다 참조 화자 토큰을 주입한다. AdaLN을 통해 학습된 이산적 컷 유형 사전(prior)은 전환 강도를 조절하는 추론 시점 제어 노브가 된다. 우리는 6개 민족 지역과 10개 이상의 언어에 걸친 $200$개의 다문화 멀티샷 시퀀스로 구성된 벤치마크를 공개하며, 샷별 참조 신원, 참조 오디오, 경계별 전환 레이블을 포함한다. I2V, T2V, R2V 조건화 모드 전반에 걸쳐 평가한 결과, UnityShots는 모든 샷 간 일관성 지표에서 오픈소스 베이스라인을 앞서며, 멀티샷 축에서 가장 강력한 폐쇄형 시스템과 동등한 성능을 보인다.

arXiv:2606.09639v2cs.CV

CineDance: 차세대 멀티샷 장편 시네마틱 오디오-비디오 생성을 향하여

CineDance: Towards Next-Generation Multi-Shot Long-Form Cinematic Audio-Video Generation

학습 데이터셋의 충실도와 구조적 다양성은 비디오 생성 모델의 능력을 근본적으로 결정합니다. 상용 시스템은 영화적 내러티브를 생성하는 뛰어난 능력을 보여주지만, 오픈소스 모델의 발전은 고품질 학습 데이터의 부족으로 제한되어 있습니다. 이러한 격차를 해소하기 위해, 우리는 멀티샷(multi-shot) 롱폼(long-form) 결합 오디오-비디오 생성을 위해 특별히 설계된 대규모 오픈 연구용 텍스트-오디오-비디오(T2AV) 데이터셋인 CineDance-1M을 소개합니다. 비디오당 평균 92.8초와 24.2개의 연속 샷을 포함하며, 오디오 및 비디오 모달리티 모두에 대해 구성 가능한 구조적 어노테이션을 제공합니다. 이러한 뛰어난 품질은 엄격한 3단계 큐레이션 파이프라인을 통해 달성됩니다: i) 다양한 소싱과 포괄적 정제, ii) 영화 이론에 기반한 내러티브 파싱, iii) 계층적 이중 모달리티 캡셔닝. 포괄적 평가를 위해, 우리는 복잡한 내러티브 오디오-비디오 평가에 맞춘 다양한 프롬프트 세트와 6차원 인간 정렬(human-aligned) 메트릭 시스템을 특징으로 하는 CineBench를 제안합니다. 또한, 우리는 LTX-2.3을 CineDance에 적용하여, 뛰어난 단일 모달리티 품질과 정확한 오디오-비디오 정렬, 그리고 견고한 주제 및 환경 일관성을 함께 보여주며, 우리의 큐레이션 전략과 CineDance-1M의 고품질을 효과적으로 검증했습니다. 우리는 이 연구가 멀티샷 롱폼 결합 오디오-비디오 생성 분야의 향후 연구를 가속화하는 견고한 기반이 될 것으로 기대합니다. 프로젝트 페이지는 https://aliothchen.github.io/projects/CineDance/ 에서 확인할 수 있습니다.