arXiv:2603.07090v2 cs.CR

mAVE: 결합 오디오-비주얼 생성 모델을 위한 워터마크

mAVE: A Watermark for Joint Audio-Visual Generation Models

Luyang Si, Leyi Pan, Dongsheng Ma, Lijie Wen

제출 2026-03-07

한국어 초록

결합 오디오-비주얼(joint audio-visual) 생성에 워터마크를 적용하는 것은 제공업체의 저작권 보호 및 콘텐츠 출처(provenance) 증명을 지원합니다. 그러나 독립적으로 유효한 오디오 및 비디오 워터마크는 공유된 생성 세션을 입증하지 못합니다. 공격자는 서로 다른 세션의 워터마크된 모달리티를 이어 붙여(splice), 해당 쌍이 제공업체의 원래 결합 결과물인 것처럼 오인되게 만들 수 있습니다. 본 연구에서는 네이티브 결합 오디오-비주얼 디퓨전 트랜스포머(diffusion transformer)에서 세션 바인딩을 통해 제공업체 귀속성을 강화하는 학습(training) 불필요 워터마킹 프레임워크인 mAVE(Manifold Audio-Visual Entanglement)를 소개합니다. mAVE는 공개 기록 검색과 비밀 세션 인증을 분리합니다. 고정된 공개 인덱스는 서버 기록을 찾고, 무작위 페이로드는 암호화 다이제스트를 통해 오디오 비트를 세션 키 기반 비디오 그리드에 바인딩합니다. 프롬프트(prompt) 조건부 단일 결합 역변환(inversion)은 생성기 가중치를 수정하거나 보조 워터마크 네트워크를 학습하지 않고도, 세션 기록에 대해 두 모달리티를 검증하는 제공업체 지원 검증을 지원합니다. 본 연구의 분석은 적응형 세션 풀 보안 및 안정적인 국소 섭동(local-perturbation) 경계와 함께, 구현 일치 분포 보존 및 완전 초기화(initialization) 라우팅/클리핑 예산을 확립합니다. LTX-2 및 MOVA에 대한 실험은 유사한 생성 품질을 보여줍니다. mAVE는 평가된 교체(swap) 테스트에서 99.8%의 참 긍정률(true-positive rate)과 0%의 관찰된 거짓 긍정률(false-positive rate)을 달성하며, FrameAvg 시간 평균화에서도 99.2%의 참 긍정률을 유지합니다. 동일 프롬프트 및 유사도 기반 선택 교체 실험은 지각적 호환성을 넘어 세션 인증을 추가로 테스트합니다.

원문 초록

Watermarking joint audio-visual generation supports vendor copyright protection and content provenance. However, independently valid audio and video watermarks do not establish a shared generation session. An adversary can splice watermarked modalities from different sessions, causing the pair to be mistaken for the vendor's original joint output. We introduce mAVE (Manifold Audio-Visual Entanglement), a training-free watermarking framework that strengthens vendor attribution through session binding in native joint audio-visual diffusion transformers. mAVE separates public record retrieval from secret session authentication: a fixed public index locates the server record, while a randomized payload binds audio bits to a session-keyed video grid through a cryptographic digest. One prompt-conditioned joint inversion supports provider-assisted verification of both modalities against a session record, without modifying generator weights or training auxiliary watermark networks. Our analysis establishes implementation-matched distribution preservation and a full-initialization routing/clipping budget, alongside adaptive session-pool security and stable local-perturbation bounds. Experiments on LTX-2 and MOVA show comparable generation quality. mAVE achieves 99.8\% true-positive rate and 0\% observed false-positive rate in the evaluated swap test, and retains 99.2\% true-positive rate under FrameAvg temporal averaging. Same-prompt and similarity-selected swaps further test session authentication beyond perceptual compatibility.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.07090v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13099v1cs.CR공통 태그 watermarking, content provenance

WaterMoE: 고충실도 및 고효율을 위한 전문가 라우팅 기반 워터마킹

WaterMoE: Expert-Routing-based Watermarking for High Fidelity and Efficiency

대규모 언어 모델(LLM)은 놀라운 성공을 거두었지만, 콘텐츠 출처와 오남용에 대한 우려가 커지면서 신뢰할 수 있는 워터마킹 기법의 필요성을 촉발하고 있다. 그러나 이러한 기법은 주로 두 가지 이유로 실무에서 거의 채택되지 않았다: i) 모델 성능의 심각한 저하, ii) 추가 추론 오버헤드. 이 문제를 확인하기 위해, 우리는 서로 다른 생성 태스크를 아우르는 포괄적인 벤치마크를 구축하여 9개의 대표적인 워터마킹 방법을 체계적으로 평가했다. 우리는 거의 모든 기존 방법이 텍스트 유창성을 위해 설계되었지 제한적이고 복잡한 태스크를 위해 설계되지 않았으며, 그 오버헤드가 지연 시간에 민감한 시스템에서의 배포를 막는다는 것을 발견했다. i)와 ii)를 해결하기 위해, 우리는 점점 더 인기를 끄는 전문가 혼합(MoE) LLM을 위한 LLM 워터마킹 방안 \textit{WaterMoE}를 제안한다. WaterMoE는 각 라우터에서 전문가 선택에 제어된 섭동을 통해 워터마킹 신호를 내장하며, 이는 최종 출력에서 토큰 선택 변화로 누적된다. 후처리 토큰 샘플링 접근법으로서의 워터마킹과 달리, WaterMoE는 추론 루프 내에 워터마크를 내장하여 무시할 수 있는 품질 저하와 계산 오버헤드만을 발생시킨다. 광범위한 실험을 통해 우리 방법이 워터마크가 없는 경우에 근접한 충실도 성능을 달성하고, 벤치마크에서 최신(state-of-the-art) 워터마킹 방법들을 지속적으로 능가하며, 최대 $4\times$ 속도 향상을 달성하고 네이티브 생성 대비 추가 추론 지연 시간이 단 1%에 불과함을 보여준다. 결과는 WaterMoE가 실제 태스크에 배포될 수 있는 능력을 보여준다.

arXiv:2605.22342v2cs.CV공통 태그 watermarking

4D-GSW: 4D 가우시안 스플래팅을 위한 기구학적 인지 시공간 일관성 워터마킹

4D-GSW: Kinematic-Aware Spatio-Temporal Consistent Watermarking for 4D Gaussian Splatting

4D 가우시안 스플래팅(4DGS)은 고충실도 동적 재구성에 혁신을 가져왔으나, 이러한 자산의 지적 재산권을 보호하는 것은 여전히 미해결 과제로 남아 있습니다. 기존의 스테가노그래피 기법들은 기저에 있는 기구학적 다양체(kinematic manifold)를 간과하는 경우가 많아, 심각한 시간적 깜빡임(temporal flickering) 및 "FVD 붕괴(FVD collapse)"와 같은 비물리적 아티팩트를 유발합니다. 이를 해결하기 위해 본 논문에서는 높은 시공간 일관성을 유지하면서 강건한 저작권 정보를 삽입하도록 설계된 기구학적 인지 워터마킹 프레임워크인 4D-GSW를 제안합니다. 불투명도 기반 비가시성에 주로 집중했던 기존 4D 스테가노그래피와 달리, 제안하는 접근법은 모션 궤적의 물리적 일관성을 명시적으로 다룹니다. 또한 "동적 순간(Dynamic Instants)"을 식별하기 위한 시공간 곡률(Spatio-Temporal Curvature, STC) 지표를 도입하여, 워터마크 그래디언트(gradient) 주입을 적응적으로 제어함으로써 중요한 모션 다양체가 비물리적 섭동으로부터 보호되도록 합니다. 복잡한 변형 전반에서 전역적 일관성을 보장하기 위해, 시간적 궤적과 공간적 이웃 모두에서 워터마크 위상을 동기화하는 결합 HMM-MRF 에너지 최소화 모델을 정식화합니다. 나아가 비등방성 그래디언트 라우팅 메커니즘을 통해 워터마크 임베딩(embedding)이 광도 재구성 충실도와 엄격히 분리되도록 보장합니다. 광범위한 실험을 통해 제안하는 방법이 다양한 공격에 저항하고 높은 렌더링 품질과 시공간 일관성을 유지하면서 워터마크를 강건하게 은닉하는 우수한 성능을 입증했습니다.

arXiv:2609.38748v2cs.CV공통 태그 audio-visual generation

스테레오로 세상 듣기: 몰입형 비디오-오디오 동시 생성을 위한 동적 공간 대응 학습

Hear the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation

최근의 비디오-오디오 동시 생성 모델들은 강력한 의미론적 대응과 시간적 동기화를 달성했습니다. 그러나 AR/VR 및 인터랙티브 게이밍과 같은 응용 분야에서는 몰입감을 제공하기 위해 스테레오 오디오가 추가로 요구되며, 이는 여전히 대체로 간과되고 있습니다. 효과적인 스테레오 오디오는 인지되는 음향 위치가 그에 대응하는 시각적 음원의 움직임과 일관되게 변화해야 합니다. 저자들은 이러한 특성을 동적 공간 대응(Dynamic Spatial Correspondence)이라 칭하며, 시각적 음원 움직임을 스테레오 음향 생성에 결합하는 프레임워크인 StereoBind를 제안합니다. StereoBind는 세 가지 상호보완적 메커니즘을 통해 모션 트랙을 활용하여 시각적 움직임과 스테레오 오디오를 조율합니다. 시각적 모션 바인딩(Visual Motion Binding)은 음원 인식 시청각 대응을 확립하고, 공간 트랙 인코더(Spatial Track Encoder)는 절대적인 음원 위치를 포착하며, 잔차 트랙 RoPE(Residual Track RoPE)는 상대적 움직임을 모델링합니다. 지도 학습 및 평가를 위해 모션 트랙이 쌍으로 구성된 대규모 스테레오 오디오-비디오 데이터셋인 StereoWorld-29K와 시청각 공간 일관성을 측정하기 위한 StereoWorldBench를 구축합니다. 실험 결과, StereoBind는 전반적인 시청각 품질을 유지하면서 기존 모델 대비 스테레오 오디오 생성의 공간적 정렬(spatial alignment)을 대폭 개선함을 보여줍니다.

arXiv:2507.07871v5cs.CR공통 태그 watermarking

무작위 키 선택을 통한 생성 모델의 워터마크 위조 완화

Mitigating Watermark Forgery in Generative Models via Randomized Key Selection

워터마킹(watermarking)은 생성형 AI(GenAI) 제공자가 콘텐츠가 자신의 모델에 의해 생성되었는지 여부를 검증할 수 있게 합니다. 워터마크는 콘텐츠 내의 숨겨진 신호로, 비밀 워터마크 키를 사용하여 그 존재를 탐지할 수 있습니다. 핵심적인 보안 위협은 위조 공격(forgery attack)으로, 공격자가 제공자가 제작하지 않은 콘텐츠에 해당 제공자의 워터마크를 삽입하여 잠재적으로 평판을 훼손하고 신뢰를 저해할 수 있습니다. 기존의 방어 기법은 동일한 콘텐츠에 여러 키를 사용하여 다수의 워터마크를 임베딩(embedding)함으로써 위조에 저항하지만, 이는 모델(model) 효용성을 저하시킬 수 있습니다. 더욱이 공격자가 충분히 많은 워터마크 샘플을 수집할 수 있는 경우 위조는 여전히 위협으로 남습니다. 본 연구에서는 키 대칭적이고 독립적인 탐지기 결과를 조건으로 하여, 블라인드 공격자(blind attacker)의 위조 성공률에 대해 샘플 수와 무관한 상한을 제공하는 방어 기법을 제안합니다. 제안하는 방식은 모델 효용성을 추가로 저하시키지 않습니다. 본 기법은 각 쿼리마다 워터마크 키 선택을 무작위화하고, 정확히 하나의 키에 의해서만 워터마크가 탐지될 때만 해당 콘텐츠를 진짜로 수용합니다. 계산 복잡도 가정에 의존하며 새로운 워터마킹 방식을 처음부터 설계해야 하는 암호학적 워터마크와 달리, 본 방법은 기존의 모든 워터마킹 방식에 적용되어 위조 저항성을 향상시킬 수 있습니다. 본 논문에서는 텍스트 워터마킹에 초점을 맞추지만, 기반이 되는 워터마킹 방식을 블랙박스로 취급하므로 본 방어 기법은 모달리티에 구애받지 않습니다(modality-agnostic). 이를 입증하기 위해 Tree-Ring을 활용한 이미지 워터마킹에 대한 예비 연구도 포함합니다. 이러한 조건부 보장과 별개로, 본 연구에서 평가한 적응형 블라인드 공격자에 대해 키 수 $r=4$일 때 유해 텍스트 위조 성공률이 단일 키 사용 시 최대 $87\%$에서 무시할 수 있는 수준의 계산 오버헤드로 최저 $1\%$까지 떨어짐을 실증적으로 관찰하였으며, 예비 이미지 연구에서는 $100\%$에서 $2\%$로 감소함을 보였습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.