FARI: 확산 모델의 워터마킹을 위한 강건한 단일 단계 역변환
FARI: Robust One-Step Inversion for Watermarking in Diffusion Models
한국어 초록
역변환(inversion) 기반 워터마킹은 확산(diffusion) 모델이 생성한 이미지를 인증하는 유망한 접근법이지만, 역변환 과정이 느리고 오류가 발생하기 쉽다는 점이 실용적 활용의 병목으로 작용합니다. 워터마킹 환경의 주된 과제는 외부 왜곡에 대한 강건성(robustness)이지만, 기존 방식들은 내부 절단 오차(truncation error)를 과도하게 최적화하며, 이 오차가 샘플러 스텝 크기에 비례하기 때문에 속도와 강건성이라는 두 가지 요구를 충족할 수 없는 고 NFE(함수 평가 횟수, number of function evaluations) 체제에 본질적으로 갇혀 있습니다. 본 연구에서는 두 가지 핵심 관찰을 도출했습니다. (i) 역변환 궤적은 순방향 생성 경로에 비해 곡률이 현저히 낮아 압축성이 높고 저 NFE 근사에 적합하며, (ii) 워터마크 검증을 위한 역변환에서는 외부 왜곡이 오차를 지배하므로 속도와 절단 오차 간의 트레이드오프가 덜 중요하다는 점입니다. 더 빠른 역변환기는 두 가지 이점을 제공합니다. 효율성이 높아질 뿐만 아니라, 기존의 긴 역변환 궤적에서는 계산 비용 문제로 불가능했던, 강건성을 직접 목표로 하는 엔드투엔드 적대적 학습(adversarial training)을 가능하게 합니다. 이를 바탕으로, 본 논문에서는 워터마크 추출을 위한 디노이저(denoiser)의 경량 적대적 LoRA 미세조정과 결합된 단일 단계 역변환 프레임워크인 FARI(Fast Asymmetric Robust Inversion)를 제안합니다. 통합 과정에서 내부 오차가 소폭 증가하지만, FARI는 속도와 강건성 모두에서 큰 향상을 이끌어냅니다. 단일 NVIDIA RTX A6000 GPU에서 약 20분의 미세조정만으로 추론 시간을 획기적으로 줄이는 동시에, 워터마크 검증 강건성 측면에서 50단계 DDIM 역변환을 능가합니다. 코드와 사전학습된 모델은 https://github.com/0xD009/FARI 에서 이용할 수 있습니다.
원문 초록
Inversion-based watermarking is a promising approach to authenticate diffusion-generated images, yet practical use is bottlenecked by inversion that is both slow and error-prone. While the primary challenge in the watermarking setting is robustness against external distortions, existing approaches over-optimize internal truncation error, and because that error scales with the sampler step size, they are inherently confined to high-NFE (number of function evaluations) regimes that cannot meet the dual demands of speed and robustness. In this work, we have two key observations: (i) the inversion trajectory has markedly lower curvature than the forward generation path does, making it highly compressible and amenable to low-NFE approximation; and (ii) in inversion for watermark verification, the trade-off between speed and truncation error is less critical, since external distortions dominate the error. A faster inverter provides a dual benefit: it is not only more efficient, but it also enables end-to-end adversarial training to directly target robustness, a task that is computationally prohibitive for the original, lengthy inversion trajectories. Building on this, we propose \textbf{FARI} (\textbf{F}ast \textbf{A}symmetric \textbf{R}obust \textbf{I}nversion), a one-step inversion framework paired with lightweight adversarial LoRA fine-tuning of the denoiser for watermark extraction. While consolidation slightly increases internal error, FARI delivers large gains in both speed and robustness: with approximately 20 minutes of fine-tuning on a single NVIDIA RTX A6000 GPU, it surpasses 50-step DDIM inversion on watermark-verification robustness while dramatically reducing inference time. Code and pretrained models are available at https://github.com/0xD009/FARI.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.26723v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.