VerifyPrompt: 블랙박스 API 뒤의 텍스트-이미지 모델 검증을 향하여
VerifyPrompt: Towards Text-to-Image Models Verification Behind Black-Box APIs
한국어 초록
DALL-E 3와 같은 다양한 텍스트-이미지(T2I) 모델이 등장함에 따라, 제3자 플랫폼은 비용 효율적인 서비스를 제공하기 위해 여러 블랙박스 API를 점점 더 많이 통합하고 있다. 이는 제3자 플랫폼이 주장하는 모델을 실제로 제공하고 있는가 하는 새롭고 현실적인 보안 문제도 제기한다. 악의적인 제3자 플랫폼 운영자가 공격자로 행동하는 이러한 모델 대체 사기는 플랫폼이 부당한 이익을 얻게 하면서 사용자의 이익을 해치고 정당한 모델 제공자의 상업적 평판을 훼손한다. 이러한 현실적 우려를 해결하기 위해, 본 논문은 먼저 블랙박스 대상 모델이 블랙박스 오라클 참조 모델과 일치하는지를 판단하는 T2I 모델 검증 과제를 정의한다. 이후 특별히 설계된 검증 프롬프트를 통해 T2I 모델 검증을 수행하는 VerifyPrompt를 제안한다. 직관적으로 검증 프롬프트는 대상 모델에 대한 적대적 프롬프트이며 다른 모델로의 전이성이 없다. 이 프롬프트는 대상 모델이 특정 이미지를 생성하게 하면서 다른 모델은 완전히 다른 이미지를 생성하게 한다. 검증 프롬프트 생성의 핵심 아이디어는 적대적 섭동과 대상 모델 사이의 강한 상호작용을 강제하여 대상 모델에 과적합시킴으로써 모델 특이적 섭동을 만들어내는 것이다. 검증 프롬프트에 대한 효율적인 블랙박스 탐색을 가능하게 하기 위해, 다중 샘플 탐색과 그룹 상대 오차 추정을 활용하여 탐색 과정을 안정화하고 가속하는 강화학습 기반 전략인 VerifyPrompt-RL도 추가로 도입한다. 실험 결과 VerifyPrompt는 다양한 T2I 플랫폼에서 90% 이상의 정확도를 달성하여 실제 제3자 서비스에서의 효과를 확인하였다.
원문 초록
With the rise of diverse Text-to-Image (T2I) models such as DALL-E 3, third-party platforms increasingly integrate multiple black-box APIs to deliver cost-effective services. This also raises a new and practical security question: are these third-party platforms truly offering the models they claim? Such model substitution fraud, in which a malicious third-party platform operator acts as the adversary, enables the platform to profit illicitly while undermining user interests and damaging the commercial reputation of legitimate model providers. To address this practical concern, we first define the task of T2I model verification, which determines whether a black-box target model matches a black-box oracle reference model. After that, we propose VerifyPrompt, which performs T2I model verification through a specially designed verify prompt. Intuitively, the verify prompt is an adversarial prompt for the target model, without transferability to other models. It makes the target model generate a specific image while making other models produce entirely different images. Our key idea for generating verify prompts is to enforce strong interactions between adversarial perturbations and the target model, thereby overfitting the target and producing model-specific perturbations. To enable efficient black-box search for verify prompts, we further introduce VerifyPrompt-RL, a reinforcement learning-based strategy that leverages multi-sample exploration and group relative error estimation to stabilize and accelerate the search process. Experiments show that VerifyPrompt achieves over 90\% accuracy across various T2I platforms, confirming its effectiveness in real-world third-party services.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2410.22725v5제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ActAlign: Zero-Shot Fine-Grained Video Classification via Language-Guided Sequence Alignment
Adding simple structure at inference improves Vision-Language Compositionality
GIE-Bench: Towards Grounded Evaluation for Text-Guided Image Editing
JTCSE: Joint Tensor-Modulus Constraints and Cross-Attention for Unsupervised Contrastive Learning of Sentence Embeddings
Can LLMs Generate Tabular Summaries of Science Papers? Rethinking the Evaluation Protocol
CoMAC: Conversational Agent for Multi-Source Auxiliary Context with Sparse and Symmetric Latent Interactions
토론
이 논문과 연결된 포럼 글이 아직 없습니다.