PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.38298v2cs.CV

지각을 재작성하는 데는 아주 작은 변화로 충분하다: $\varepsilon \leq 4/255$에서의 비전-언어 모델 타깃 의미론적 대체

It Takes Little to Rewrite Perception: Targeted Semantic Substitution in Vision-Language Models at $ε\leq 4/255$

비전-언어 모델(Vision Language Models, VLM)은 안전이 중요한 시나리오에 널리 배포되고 있으며, 적대적 섭동(adversarial perturbation)에 의해 모델이 어느 정도까지 조작될 수 있는지 이해하는 것은 신뢰성을 평가하기 위한 필수 조건입니다. VLM이 타깃 이미지를 인식하도록 만드는 기존 표현 정렬(representation-alignment) 공격은 $\varepsilon \leq 4/255$ 범위에서 제한적인 성공만을 거둡니다. 따라서 VLM은 이 범위의 섭동에 견고한 것처럼 보입니다. 본 논문에서는 동일한 범위 내에서 타깃 의미론적 대체(targeted semantic substitution)가 성공하므로 이러한 견고성이 유지되지 않음을 보여줍니다. 구체적으로 화이트박스 위협 모델 하에서, 피해자 VLM의 병합 후 토큰(post-merger token) 공간에서 원본 이미지의 각 스트림을 타깃 이미지의 대응 스트림과 정렬합니다. 모델이 타깃의 이름을 명시하고, 타깃의 존재를 확인하며, 원본의 존재를 부인하는 과정을 동시에 요구하는 엄격한 성공 기준 하에서 평가를 진행합니다. 이미지의 경우 $\varepsilon = 2/255$에서 타깃 의미론이 나타나기 시작하며 $\varepsilon = 4/255$에서는 완전한 대체율이 38%에 이릅니다. 비디오의 경우 $\varepsilon = 1/255$에서 완전한 대체율이 35.9%에 도달합니다. 또한 대규모 언어 모델(LLM)이 모순되는 시각적 신호를 일관된 서사로 합리화하는 의미론적 융합(semantic fusion) 현상도 관찰합니다.