임베딩 공간 탐색: 멀티모달 RAG로부터의 데이터스토어 추출
Walking the Embedding Space: Datastore Extraction from Multimodal RAG
멀티모달 검색-증강 생성(MRAG)은 멀티모달 대규모 언어 모델(MLLM)의 생성 능력을 관련성 높고 최신의 외부 지식에 그라운딩(grounding)하는 신뢰성 있고 비용 효율적인 기법으로 부상했습니다. 환각(hallucination) 동작 완화와 같은 여러 이점을 제공함에도 불구하고, 개인정보 유출 및 데이터 추출 공격에 대한 취약성을 포함한 새로운 공격 표면 또한 초래합니다. 본 논문에서는 검색된 시각적 아티팩트 자체가 응답이 되는 구성인 \emph{image-returning} MRAG를 대상으로 블랙박스 환경에서 동작하는 적응형 자동 데이터 추출 공격 절차인 $\immrag$를 소개합니다. 각 쿼리는 공격자가 보유한 섀도우(shadow) 이미지와 시스템으로부터 이미 복구된 이미지를 혼합하며, 관련성 가중 재샘플링을 통해 후속 쿼리를 여전히 새로운 검색 결과를 산출하는 임베딩 공간 영역으로 유도합니다. 텍스트 프롬프트 형태로 악의적인 쿼리를 배치하여 모델이 데이터를 유출하도록 유도하는 기존 추출 공격과 달리, $\immrag$는 사용자가 제공하는 입력 이미지 내에 악의적인 지침을 임베딩합니다. 우리는 의료 보조, 문서 중심 도우미, 범용 도구라는 타당하고 뚜렷이 구별되는 세 가지 실제 시나리오에서 $\immrag$를 평가합니다. 실험에는 다양한 CLIP 계열 검색기(retriever)에 대한 공격 효과 분석과 여러 생성기(generator)의 영향 연구가 포함됩니다. 단 2500회 쿼리 실행만으로 로컬 특징(local-feature) 대응 하에 최대 611개의 고유한 방사선 이미지, 566개의 문서 스캔, 416개의 범용 이미지를 재구성하며, 비적응형 기준선(baseline) 대비 최대 $5.6\times$ 더 많은 고유 데이터스토어 항목을 확보합니다. 우리의 결과는 멀티모달 데이터에 맞게 특별히 설계된 안전장치의 시급한 필요성을 보여줍니다.