arXiv:2609.27022v1 cs.CV

비식별화 시스템에서의 적대적 공격과 신원 유출: 실증 연구

Adversarial Attacks and Identity Leakage in De-Identification Systems: An Empirical Study

Felix Rosberg, Cristofer Englund, Eren Erdal Aksoy, Fernando Alonso-Fernandez

제출 2026-09-24

한국어 초록

본 논문에서는 현실적인 비식별화 프레임워크 내 신원 인코더에 대한 적대적 공격의 영향을 조사한다. 실험 결과, 외부 대리 모델에서 시스템 모델(예: CosFace에서 ArcFace)로 공격의 전이(transferability)가 이루어질 때, 공격자가 충분히 민감한 얼굴 인식 시스템에서 신원 정보가 유출되도록 할 수 있음을 보여준다. 우리는 실험적 근거를 제시하고 이 취약성을 완화하기 위한 전략을 제안한다. 구체적으로, 적대적 예제에 대한 미세조정이 왜곡 기반 공격(즉, snow, fog 등)에 대한 이 효과를 완화하는 데 도움이 되는 방법을 보이며, 단순 저역 통과 필터는 비식별화된 이미지에 영향을 주지 않으면서 적대적 노이즈의 효과를 줄일 수 있음을 보인다. 이러한 완화 방법은 기능을 유지하면서 적대적 노이즈에 대해 훨씬 더 견고한 비식별화 시스템을 만든다.

원문 초록

In this paper, we investigate the impact of adversarial attacks on identity encoders within a realistic de-identification framework. Our experiments show that the transferability of attacks transfers from an external surrogate model to the system model (e.g., CosFace to ArcFace) allows the adversary to cause identity information to leak in a sufficiently sensitive face recognition system. We present experimental evidence and propose strategies to mitigate this vulnerability. Specifically, we show how fine-tuning on adversarial examples helps to mitigate this effect for distortion-based attacks (i.e., snow, fog, etc.), while a simple low-pass filter can attenuate the effect of adversarial noise without affecting the de-identified images. Our mitigation results in a de-identification system that preserves its functionality while being significantly more robust to adversarial noise.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27022v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23596v1cs.CV공통 태그 Face Recognition, Adversarial Attack, Adversarial Robustness

StyleAT: 의미론적 공격에 대한 얼굴 인식 방어

StyleAT: Defending Face Recognition Against Semantic Attacks

얼굴 인식 모델이 일상적인 인증 및 감시에 널리 쓰이면서, 최근 연구들은 이러한 모델의 한 가지 중요한 약점을 지적했다: 이 모델들은 적대적 의미론적 편집(adversarial semantic edits)에 여전히 매우 취약하다는 것이다. 즉, 입력에 대한 적대적으로 생성된 의미론적 변화(예: 약간의 노화나 자세 변화)가 오분류를 유발할 수 있다. 기존의 일부 공격은 강력하지만 계산 비용이 커서 방어(예: 적대적 학습을 통한) 개발에는 부적합하다. 이 공백을 메우기 위해, 우리는 StyleGAN의 풍부한 잠재 공간(latent space)에서 동작하여 오분류율을 극대화하는 강력한 의미론적 공격 BoundStyle을 제안한다. 특히 BoundStyle은 기존 최첨단 공격 대비 ${\sim}{\times}9.5$배 빠르면서도 높은 공격 성공률을 달성하여, 적대적 학습에 적합하다. BoundStyle을 기반으로, 저비용 공격 변형을 포함하면서도 더 강하고 보지 못한(unseen) 의미론적 공격에 대비하는 효율적인 적대적 학습 방식 StyleAT를 개발한다. 학습 과정에서 보지 못한 두 데이터셋과 일곱 개 모델에서 평가한 결과, StyleAT는 최첨단 공격에 대한 견고 정확도(robust accuracy)를 높이며 다양한 설정에서 일반적인 방어 기법을 능가한다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack, Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

arXiv:2610.02418v2cs.CR공통 태그 Privacy Preserving, Adversarial Attack

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

arXiv:2610.03498v2cs.RO공통 태그 Adversarial Attack, Adversarial Robustness

탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어

Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models

적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.

arXiv:2610.13733v1cs.CV공통 태그 Privacy Preserving, Adversarial Attack

KVeil: 학습 불가능한 비디오에 관한 ECCV 2026 LifeGenIP 챌린지 1위 솔루션

KVeil: First-Place Solution to ECCV 2026 LifeGenIP Challenge on Unlearnable Videos

개인화된 비디오 생성 기술의 급격한 발전으로 몇 개의 인물 얼굴 비디오만으로도 합성 비디오에서 해당 신원을 재현할 수 있게 되면서, 신원 프라이버시에 대한 심각한 우려가 제기되고 있습니다. 본 보고서에서는 제한적이고 감지할 수 없는 섭동(perturbation) 예산 내에서 무단 맞춤 제작(customization)으로부터 얼굴 비디오를 보호하는 것을 목표로 하는 학습 불가능한 비디오(Unlearnable Videos) 대상 ECCV 2026 LifeGenIP 챌린지의 두 단계 모두에서 1위를 차지한 솔루션을 제시합니다. 1단계(Phase 1)에서는 후속 비디오 표현이 참조 조건에 계속 의존하도록 유지하면서도 참조 조건이 전달하는 정보를 저하시키는 한 쌍의 상호보완적 손실인 참조 용량 붕괴(Reference Capacity Collapse)와 함께, 미지의 추론(inference) 조건 전반에서 강건성을 향상시키는 모션 유도 EOT(Motion-Guided EOT) 메커니즘을 도입합니다. 2단계(Phase 2)에서는 튜닝 기반 맞춤 제작과 미확인 생성 모델까지 추가로 고려합니다. 단일 섭동 내에서 두 가지 위협을 모두 해결하기 위해, 얼굴과 배경 영역을 분리하여 보호하는 2층(two-layer) 프레임워크를 설계하였으며, 전자에서는 합성 타깃 신원으로부터 구조 정렬 섭동을 구성하고 후자에서는 1단계의 화이트박스 교란을 강화합니다. 제안하는 방법은 화이트박스 참조 기반 맞춤 제작 환경에서 거의 완벽한 보호를 달성하며, 다른 맞춤 제작 패러다임, 다양한 모델 및 시간적 공격(temporal attack) 하에서도 여전히 효과적입니다. 두 솔루션 모두 최근 연구인 LETHE를 기반으로 구축되었습니다. 본 솔루션이 무단 맞춤 제작으로부터 얼굴 비디오를 보호하는 미래 연구에 영감을 주기를 기대합니다. 코드는 https://github.com/AntigoneRandy/KVeil 에서 이용할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.