지각을 재작성하는 데는 아주 작은 변화로 충분하다: $\varepsilon \leq 4/255$에서의 비전-언어 모델 타깃 의미론적 대체
It Takes Little to Rewrite Perception: Targeted Semantic Substitution in Vision-Language Models at $ε\leq 4/255$
한국어 초록
비전-언어 모델(Vision Language Models, VLM)은 안전이 중요한 시나리오에 널리 배포되고 있으며, 적대적 섭동(adversarial perturbation)에 의해 모델이 어느 정도까지 조작될 수 있는지 이해하는 것은 신뢰성을 평가하기 위한 필수 조건입니다. VLM이 타깃 이미지를 인식하도록 만드는 기존 표현 정렬(representation-alignment) 공격은 $\varepsilon \leq 4/255$ 범위에서 제한적인 성공만을 거둡니다. 따라서 VLM은 이 범위의 섭동에 견고한 것처럼 보입니다. 본 논문에서는 동일한 범위 내에서 타깃 의미론적 대체(targeted semantic substitution)가 성공하므로 이러한 견고성이 유지되지 않음을 보여줍니다. 구체적으로 화이트박스 위협 모델 하에서, 피해자 VLM의 병합 후 토큰(post-merger token) 공간에서 원본 이미지의 각 스트림을 타깃 이미지의 대응 스트림과 정렬합니다. 모델이 타깃의 이름을 명시하고, 타깃의 존재를 확인하며, 원본의 존재를 부인하는 과정을 동시에 요구하는 엄격한 성공 기준 하에서 평가를 진행합니다. 이미지의 경우 $\varepsilon = 2/255$에서 타깃 의미론이 나타나기 시작하며 $\varepsilon = 4/255$에서는 완전한 대체율이 38%에 이릅니다. 비디오의 경우 $\varepsilon = 1/255$에서 완전한 대체율이 35.9%에 도달합니다. 또한 대규모 언어 모델(LLM)이 모순되는 시각적 신호를 일관된 서사로 합리화하는 의미론적 융합(semantic fusion) 현상도 관찰합니다.
원문 초록
Vision Language Models (VLMs) are widely deployed in safety-critical scenarios, and understanding to which extent they can be controlled by adversarial perturbation is a prerequisite for evaluating their trustworthiness. Existing representation-alignment attacks, which make a VLM perceive a target image, achieve limited success at $\varepsilon \leq 4/255$. Therefore, VLMs seems robust to perturbations in this range. We show that this robustness does not hold, as targeted semantic substitution succeeds within the same range. Specifically, we align each stream of the source image with its counterpart in the target image in the victim VLM's post-merger token space, operating under a white-box threat model. We evaluate under a strict success criterion, requiring the model to simultaneously name the target, confirm its presence, and deny the source. In images, target semantics appear at $\varepsilon = 2/255$ and complete replacement reaches 38% at $\varepsilon = 4/255$. On video, complete replacement reaches 35.9% at $\varepsilon = 1/255$. We also observe a phenomenon of semantic fusion, where Large Language Model (LLM) rationalizes contradictory visual signals into a coherent narrative.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
오염되었으나 정확함: 비전-언어 모델이 내부적으로 스스로를 속이는 이유
Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally
표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.
GeoThreat: 원격 탐사 영상 해석을 위한 대규모 비전-언어 모델(LVLM)에 대한 전이 가능한 표적 적대적 공격
GeoThreat: Transferable Targeted Adversarial Attacks on Large Vision-Language Models for Remote Sensing Image Interpretation
대규모 비전-언어 모델(LVLM)에 대한 적대적 공격은 교차 모달 의미 이해에서 모델의 견고성(robustness)을 평가하는 효과적인 수단이다. 기존 연구는 주로 시각 입력을 손상시켜 일반적인 비전-언어 과제에서 사전 정의된 오류 응답을 유도하는 데 초점을 맞추고 있으나, 원격 탐사 분야에 대한 해당 연구는 대부분 미탐색 상태로 남아 있다. 자연 영상 이해와 비교할 때, 원격 탐사 영상 해석은 국소적 판별 단서와 전역 장면 문맥에 대한 결합 추론을 요구한다. 이는 블랙박스(black-box) 설정에서 지정된 응답을 향한 전이 가능한 의미 조작을 달성하는 데 추가적인 과제를 제기한다. 이러한 과제를 해결하기 위해, 우리는 원격 탐사 영상 해석을 위한 LVLM에 대한 전이 가능한 표적 적대적 공격 방법인 GeoThreat를 제안한다. 구체적으로, GeoThreat는 개념적 수준과 지각적(perceptual) 수준 모두에서 목표 콘텐츠에 따라 적대적 표현을 조절한다. 대리(surrogate) 이미지 인코더의 클래스 토큰은 개념적 표현으로 사용되며, 지각적 표현은 협력적 중요도 추정을 통해 적대적 예제의 패치 토큰으로부터 증류(distilled)된다. 단순히 여러 레이어에 걸쳐 어텐션 점수를 전개(rolling out)하는 것을 넘어, 우리는 적대적 목표 유사도 그래디언트를 통합하여 의도된 의미 조작과 관련된 국소 시각 단서의 관련성을 더 충실하게 특성화한다. 그런 다음 지각적 표현을 교차-어텐션(cross-attentive) 방식으로 목표 패치 토큰과 동적으로 정렬하여, 국소 단서가 지정된 의미적 세부사항을 향해 적응되도록 한다. 마지막으로, 적대적 교란은 개념적 보정과 지각적 적응의 앙상블 기반 공동 최적화를 통해 반복적으로 갱신된다. 다양한 LVLM에 걸친 광범위한 실험은 전이성(transferability)과 제어 가능성(controllability) 모두에서 GeoThreat의 우수성을 입증한다.
프라이버시 보호를 위한 비전-언어 모델 대상 지각 불가능하고 가역적인 적대적 예제
Imperceptible and Reversible Adversarial Examples against Vision-Language Models for Privacy Protection
비전-언어 모델(VLM)은 강력한 멀티모달 능력을 제공하지만, 적대자가 온라인 사진을 크롤링하고 VLM에 쿼리하여 민감한 속성을 추출하는 텍스트 기반 프라이버시 공격에 사용자를 노출시키기도 한다. 기존의 가역적 적대적 예제(RAE) 방법은 순수 시각적 작업에서 이미지를 보호하지만 멀티모달 환경에서는 실패하며, VLM에 대한 현재의 적대적 예제는 시각적 품질을 심각하게 저하시키는 고주파 노이즈에 의존한다. 우리는 VLM에서 텍스트 기반 쿼리 공격에 대한 가역적이고 고충실도 프라이버시 보호를 위한 최초의 프레임워크인 CloakDiff를 제안한다. CloakDiff는 확산 기반 적대적 편집과 무손실 복원을 위해 원본 이미지를 임베딩하는 가역 네트워크를 결합하여 지각 불가능한 적대적 예제를 생성한다. 이 방법은 픽셀 공간 임베딩을 교란하고 잠재 크로스 어텐션 맵을 조작하여 전역 시각 구조를 보존하면서 강력한 크로스 모델 및 크로스 프롬프트 전이 가능성을 보장한다. 충실도를 더욱 향상시키기 위해, 우리는 적대적 가이던스를 위한 원칙적인 확산 스케줄인 EDM 휴리스틱 샘플링을 설계한다. 여러 데이터셋과 VLM에 대한 실험을 통해 CloakDiff가 높은 시각적 품질과 가역성을 갖춘 멀티모달 프라이버시 보존을 제공함을 입증한다.
CVPR 2026@AdvML 워크숍 챌린지 기술 보고서
Technical Report on the CVPR 2026@AdvML Workshop Challenge
비전-언어 에이전트(VLA)는 복잡한 주행 장면을 해석하고 안전 중요 추론을 지원하는 데 점점 더 많이 활용되고 있다. 본 보고서는 자율주행 VLA에 대한 적대적 멀티모달 공격을 다루는 CVPR 2026@AdvML 워크숍 챌린지를 소개한다. DriveLM 방식의 다중 뷰 시각적 질의응답(VQA)을 기반으로 구성된 이 챌린지는 6개의 동기화된 카메라 이미지와 주행 관련 질의응답 쌍의 구조화된 컬렉션으로 각 장면을 표현한다. 참가자는 이미지 충실도를 유지하고 텍스트 비용을 제한하면서 모델 응답이 참조 답변에서 벗어나도록 유도하는 적대적 이미지와 접미사 전용 텍스트 교란을 생성한다. 대회는 두 단계로 구성되며, 2단계에서는 전이성(transferability) 평가를 위해 숨겨진 블랙박스 모델이 추가된다. 본 보고서에서는 태스크 설계, 제출 규칙, 평가 프로토콜, 리더보드 결과를 기술하고, 기술 보고서가 제공된 상위 5개 제출물을 분석한다. 이들 보고서에서 몇 가지 반복적인 패턴이 나타난다: 이미지 측 공격은 접미사 패널티로 인해 선호되며; 장면 수준의 다중 뷰 최적화가 뷰를 개별적으로 처리하는 것보다 효과적이며; QA 유형과 그래프 구조는 공격 예산 배분을 위한 유용한 사전 정보를 제공하며; 특징(feature) 공간 목적 함수는 블랙박스 전이성을 향상시킬 수 있으며; 카메라 이미지에 삽입된 타이포그래픽 콘텐츠는 주행 VLA의 지속적인 취약점을 노출시킨다. 이러한 발견들은 멀티모달 자율주행 시스템의 향후 견고성 평가 및 방어 설계를 위한 실용적인 참고 자료를 제공한다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
When Watermarks Turn Adversarial: Exposing Vulnerabilities in Document Understanding
토론
이 논문과 연결된 포럼 글이 아직 없습니다.