PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.38748v2cs.CV

스테레오로 세상 듣기: 몰입형 비디오-오디오 동시 생성을 위한 동적 공간 대응 학습

Hear the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation

최근의 비디오-오디오 동시 생성 모델들은 강력한 의미론적 대응과 시간적 동기화를 달성했습니다. 그러나 AR/VR 및 인터랙티브 게이밍과 같은 응용 분야에서는 몰입감을 제공하기 위해 스테레오 오디오가 추가로 요구되며, 이는 여전히 대체로 간과되고 있습니다. 효과적인 스테레오 오디오는 인지되는 음향 위치가 그에 대응하는 시각적 음원의 움직임과 일관되게 변화해야 합니다. 저자들은 이러한 특성을 동적 공간 대응(Dynamic Spatial Correspondence)이라 칭하며, 시각적 음원 움직임을 스테레오 음향 생성에 결합하는 프레임워크인 StereoBind를 제안합니다. StereoBind는 세 가지 상호보완적 메커니즘을 통해 모션 트랙을 활용하여 시각적 움직임과 스테레오 오디오를 조율합니다. 시각적 모션 바인딩(Visual Motion Binding)은 음원 인식 시청각 대응을 확립하고, 공간 트랙 인코더(Spatial Track Encoder)는 절대적인 음원 위치를 포착하며, 잔차 트랙 RoPE(Residual Track RoPE)는 상대적 움직임을 모델링합니다. 지도 학습 및 평가를 위해 모션 트랙이 쌍으로 구성된 대규모 스테레오 오디오-비디오 데이터셋인 StereoWorld-29K와 시청각 공간 일관성을 측정하기 위한 StereoWorldBench를 구축합니다. 실험 결과, StereoBind는 전반적인 시청각 품질을 유지하면서 기존 모델 대비 스테레오 오디오 생성의 공간적 정렬(spatial alignment)을 대폭 개선함을 보여줍니다.

arXiv:2603.07090v2cs.CR

mAVE: 결합 오디오-비주얼 생성 모델을 위한 워터마크

mAVE: A Watermark for Joint Audio-Visual Generation Models

결합 오디오-비주얼(joint audio-visual) 생성에 워터마크를 적용하는 것은 제공업체의 저작권 보호 및 콘텐츠 출처(provenance) 증명을 지원합니다. 그러나 독립적으로 유효한 오디오 및 비디오 워터마크는 공유된 생성 세션을 입증하지 못합니다. 공격자는 서로 다른 세션의 워터마크된 모달리티를 이어 붙여(splice), 해당 쌍이 제공업체의 원래 결합 결과물인 것처럼 오인되게 만들 수 있습니다. 본 연구에서는 네이티브 결합 오디오-비주얼 디퓨전 트랜스포머(diffusion transformer)에서 세션 바인딩을 통해 제공업체 귀속성을 강화하는 학습(training) 불필요 워터마킹 프레임워크인 mAVE(Manifold Audio-Visual Entanglement)를 소개합니다. mAVE는 공개 기록 검색과 비밀 세션 인증을 분리합니다. 고정된 공개 인덱스는 서버 기록을 찾고, 무작위 페이로드는 암호화 다이제스트를 통해 오디오 비트를 세션 키 기반 비디오 그리드에 바인딩합니다. 프롬프트(prompt) 조건부 단일 결합 역변환(inversion)은 생성기 가중치를 수정하거나 보조 워터마크 네트워크를 학습하지 않고도, 세션 기록에 대해 두 모달리티를 검증하는 제공업체 지원 검증을 지원합니다. 본 연구의 분석은 적응형 세션 풀 보안 및 안정적인 국소 섭동(local-perturbation) 경계와 함께, 구현 일치 분포 보존 및 완전 초기화(initialization) 라우팅/클리핑 예산을 확립합니다. LTX-2 및 MOVA에 대한 실험은 유사한 생성 품질을 보여줍니다. mAVE는 평가된 교체(swap) 테스트에서 99.8%의 참 긍정률(true-positive rate)과 0%의 관찰된 거짓 긍정률(false-positive rate)을 달성하며, FrameAvg 시간 평균화에서도 99.2%의 참 긍정률을 유지합니다. 동일 프롬프트 및 유사도 기반 선택 교체 실험은 지각적 호환성을 넘어 세션 인증을 추가로 테스트합니다.

arXiv:2607.24359v1cs.CV

TaoMate: 앵커 가이드 메모리로 진화 상태와 참조 상태를 잇는 실시간 오디오-비디오 디지털 휴먼 생성

TaoMate: Anchor-Guided Memory Bridging Evolving and Reference States for Real-Time Audio-Video Digital Human Generation

실시간 장편 디지털 휴먼 생성은 연속된 구간에 걸쳐 대상 외형과 오디오-비디오 동기화를 유지하면서 시청각 콘텐츠를 확장하기 위해 인과적 모델에 의존한다. 제한된 캐시는 국소적 움직임과 음운 문맥을 보존하지만 오래된 증거는 폐기하며, 생성된 전체 이력에 어텐션을 적용하는 것은 계산 비용이 크고 누적 오류를 전파할 수 있다. 소수 스텝 공동 오디오-비디오 생성을 위한 앵커 가이드 영구 메모리 프레임워크인 TaoMate를 제안한다. 이 프레임워크는 불변의 시각적 앵커를 보존하고, 완료된 비디오 및 오디오 블록을 고정 용량의 동적 상태로 압축하며, 활성 캐시를 확장하지 않고 모달리티별 잔차 어텐션을 통해 해당 상태를 검색한다. 참조 인식 변조 방법은 추가로 동적 및 앵커 외형 통계에 비디오 특징을 조건화한다. 앵커 보존 인과 문맥 지식 증류는 불변의 시각적 앵커를 변화시키지 않은 채 롤아웃 지평, 접두 문맥 출처, 캐시 이력 신뢰도를 다양하게 변화시킨다. 영구 메모리를 단계 국소 디노이징 의존성과 분리함으로써 TaoMate는 블록 간 단계 병렬 실행을 추가로 허용하여 파이프라인 특화 재학습 없이 자기회귀 추론을 가속한다. 외형, 시간적, 동기화, 얼굴, 음성 진단 지표로 장편 비디오 연속 생성을 평가한다. 결과는 TaoMate가 프롬프트 조건화된 구간에 걸쳐 안정적인 외형과 자기회귀 생성 하에서 강한 시청각 동기화를 유지함을 보여준다. 프로젝트 페이지는 https://taoliveaigc.github.io/TaoMate 이다.

arXiv:2607.13471v1cs.CV

Bring Music The Horizon: 음악 기반 360° 비디오 생성

Bring Music The Horizon: Music-Driven 360$^\circ$ Video Generation

음악 시각화는 청각 신호를 시각적 형태로 변환함으로써 청취자의 음악 이해와 경험을 향상시키는 강력한 방법을 제공한다. 그러나 기존 방법의 대부분은 가사에 과도하게 의존하거나 일반적인 뮤직 비디오와 유사한 평면적이고 몰입형이 아닌 비디오를 생성하여, 음악의 감정적 역동성을 전달하고 몰입형 청취 경험을 제공하는 능력을 제한한다. 우리는 음악 기반 360° 비디오 생성을 위한 감정 인식 파이프라인인 Bring Music The Horizon을 제안한다. 입력 곡이 주어지면, 우리 방법은 먼저 매 4마디(bar) 단위로 valence-arousal 값을 예측하여 감정 궤적을 추정한다. 이 값들은 EmotiCrafter를 사용하여 감정 인식 시각적 가이던스로 변환되며, 키프레임 생성에 대한 세밀한 의미론적 제어를 제공하는 SEGA 프레임워크를 통해 이 가이던스 벡터를 조작할 수 있다. 마지막으로, 생성된 키프레임에 이미지-투-비디오(image-to-video) 모델을 적용하여 몰입형 음악 시각화를 위한 시간적으로 연속적인 360° 비디오를 합성한다. 우리 파이프라인은 입력 곡의 감정 진행과 시간적 구조를 반영하는 360° 음악 시각화 비디오를 생성한다. 다양한 장르의 곡을 사용하여 그 기능을 시연하고, 오디오-투-비디오 생성 기준선인 From-Sound-To-Sight와의 정성적 비교를 https://etoile-et-toi-mp3.github.io/BMTH_Project_Page/ 프로젝트 페이지에서 제공한다.

arXiv:2607.04443v2cs.CV

Wan-Streamer v0.2: 더 높은 해상도, 동일한 지연 시간

Wan-Streamer v0.2: Higher Resolution, Same Latency

Wan-Streamer v0.2는 기존 v0.1의 네이티브 스트리밍 엔드투엔드 오디오-비주얼 상호작용 모델을 업그레이드하여, 25 FPS에서 약 200 ms의 모델 측 지연을 유지하면서 출력 해상도를 192×336에서 640×368로 향상시켰다. 단일 GPU 씽커(thinker)가 지연 임계 경로를 담당하고, Ulysses 방식의 컨텍스트 병렬 멀티 GPU 퍼포머(performer)가 고해상도 잠재 비디오 생성을 처리하는 서빙 구조를 통해, 350 ms 양방향 네트워크 예산 포함 시 총 원격 상호작용 지연을 약 550 ms로 유지하면서 실시간 대화 중 자세·시선·손·장면 레이아웃이 식별 가능한 미드샷 에이전트를 지원한다.

arXiv:2606.17800v1cs.CV

MaineCoon: 실시간 오디오-비주얼 소셜 월드 모델 지향

MaineCoon: Pursuing A Real-Time Audio-Visual Social World Model

전 세계 비디오 콘텐츠의 대다수가 대화형 사회적 목적을 위해 소셜 플랫폼에서 소비됨에 따라, 소셜 월드를 위해 구축된 비디오 생성 모델은 중요하지만 이전 연구에서 대부분 간과되었습니다. 본 연구에서는 소셜 월드 모델의 위치를 정의하고, 이 목표를 향한 첫 단계로 프로토타입 모델을 구축합니다. 이전 월드 모델들은 물리적 환경이나 게임 월드 탐험을 성공적으로 시뮬레이션하지만, 인간 중심의 사회적 역학(dynamics)에서는 근본적으로 분리되어 있습니다. 소셜 월드 모델로 향하는 첫 단계로서 이 격차를 해소하기 위해, 우리는 22B 파라미터를 가진 최초의 실시간 오디오-비주얼 자기회귀 모델인 MaineCoon을 제시합니다. 이 모델은 단일 GPU에서 최대 47.5 FPS라는 경신적인 프레임 레이트로 실시간 스트리밍 생성 및 1초 미만의 상호작용이 가능합니다. 우리가 아는 한, MaineCoon은 소셜 대화형 애플리케이션을 위해 특별히 최적화된 최초의 실시간 오디오-비주얼 생성 모델이기도 합니다. 효율적이고 안정적인 학습을 가능하게 하기 위해, 우리는 MaineCoon에 자기 리샘플링(self-resampling), 교차 모드 표현 정렬(cross-modal representation alignment), 도메인 인식 선호 최적화(domain-aware preference optimization), 강화된 온라인 정책 증류(reinforced online-policy distillation, ROPD)를 포함한 여러 새로운 기법을 도입했습니다. 또한, 우리는 에이전트 캐시 관리 및 프롬프트 계획(prompt planning)을 통해 드리프트(drift)를 완화하면서 천 초(thousand-second) 규모 또는 그 이상의 생성을 지원하는 최초의 에이전트형 스트리밍 추론 프레임워크를 설계했습니다. 이러한 혁신은 실시간 추론 성능을 최적화하는 동시에 학습 속도를 크게 가속화합니다. 우리는 이 작업이 고품질, 저지연, 장기(long-horizon) 오디오-비주얼 자기회귀 모델에 대한 새로운 최신 기술(SOTA) 성능 벤치마크를 설정할 뿐만 아니라, 차세대 AI 네이티브 소셜 플랫폼에 필요한 패러다임 전환을 제시한다고 믿습니다.