고스트 벡터: HNSW 벡터 데이터베이스에서 소프트 삭제된 임베딩은 여전히 복원 가능하다
Ghost Vectors: Soft-Deleted Embeddings Remain Reconstructible in HNSW Vector Databases
검색-증강 생성(RAG)은 대규모 언어 모델(LLM)이 사실에 기반한 도메인 특화 응답을 위해 외부 및 비공개 코퍼스에 접근할 수 있게 한다. 최신 RAG 파이프라인은 효율적인 유사도 검색을 위해 계층적 탐색 가능 소규모 세계(HNSW) 벡터 데이터베이스를 사용한다. 사용자가 데이터 삭제를 요청하면, 시스템은 일반적으로 레코드를 삭제된 것으로만 표시하고 디스크상의 임베딩은 물리적으로 변경하지 않은 채 둔다. 이 소프트 삭제 연산은 GDPR 제17조 및 HIPAA와 같은 데이터 삭제 및 보존 요구사항 하에서 규정 준수 우려를 제기한다. 세 가지 HNSW 구현에 대한 분석은 API 접근을 우회하여 저장소 층에서 원시 인덱스 파일에 접근함으로써 삭제된 벡터가 물리적으로 여전히 복구 가능함을 확인한다. 도메인 특화 미세조정 없이 Vec2Text 역변환 모델을 사용하여, 우리는 여러 실제 데이터셋과 데이터 모달리티에서 이 취약점을 보여준다. 위키피디아 생존 인물(BLP) 데이터셋에서, 우리는 정확한 인물 이름의 25.5%와 지리적 위치의 46.4%를 성공적으로 복구했다(ROUGE-L 0.185). 고도로 구조화된 민감 데이터(NIH Synthea 데이터셋)에서는 환자 연령 및 성별 표식 모두에 대해 복구율이 100%에 달했다(ROUGE-L 0.290). 소프트 삭제된 이미지 임베딩에 대해, 우리는 조직병리학 패치에서 100%의 조직 분류(p=1.02e-07)를 보였으며, 얼굴 임베딩에서 top-1 신원 복구는 99%에 달했다(p<0.01). 본 연구는 벡터를 암호화하고 삭제 시 키를 폐기하는 Epoch Key Rotation을 제안한다. Epoch key rotation은 관측된 PII 복구를 0%로 줄이며, 500개의 삭제된 벡터에 대해 2.5 ms(약 0.005 ms/레코드)에 완료된다. 또한 삭제 이벤트에 대한 감사 가능한 기록으로 ECDSA 서명 암호학적 증명을 생성한다.