디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.
디지털 워터마킹은 AI 생성 이미지의 출처 식별을 지원하지만, 그 신뢰성은 제거 공격에 대한 저항력에 달려 있습니다. 일부 공격은 디코딩된 워터마크가 원본과 달라지도록 강제하여 워터마크를 제거하려 시도합니다. 그러나 이는 여전히 탐지 가능한 반전된 워터마크를 생성하여 제거에 실패할 수 있으며, 워터마크를 변경하려는 추가 시도는 불필요하게 이미지 품질을 저하시킬 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 이미지 품질을 보존하면서 워터마크를 탐지할 수 없도록 만드는 것을 목표로 하는 LiBRA(Latent In-band Bidirectional Removal Attack)를 제안합니다. LiBRA는 워터마크를 지속적으로 반전 방향으로 밀어내는 대신, 이미지 품질을 저하시킬 수 있는 추가 변경을 유도하지 않고 워터마크를 숨기도록 이미지를 조정합니다. 일부 공격은 추가 변경이 탐지 가능성을 유지하고 이미지 품질을 손상시키는 경우에도 디코딩된 비트를 원본 워터마크로부터 계속 멀어지게 만듭니다. 워터마크 키 및 디코더에 대한 접근 권한을 바탕으로, LiBRA는 공개 오토인코더의 잠재 공간(latent space)에서 범위가 제한된 변경을 수행합니다. 과도한 반전을 수정할 수 없는 반전 주도형 목적 함수와 달리, LiBRA는 어느 방향에서든 평균 디코딩 신뢰도(confidence)가 무작위 추측(random guessing) 수준으로 수렴하도록 유도합니다. 이는 반전되었지만 여전히 탐지 가능한 워터마크가 생성되는 것을 방지하는 데 도움이 됩니다. 개별 비트를 유연하게 유지함으로써 이미지 품질 제약 조건이 손상이 적은 변경을 선호하도록 하며, 선택적 주파수 유도 마스크를 통해 변경 위치를 제한합니다. 마지막으로 신뢰도 목표가 성공을 보장한다고 가정하는 대신, 정확한 양측 이항 검정(two-sided binomial test)을 사용하여 제거 여부를 검증합니다.