Adv-Attribute: Inconspicuous and Transferable Adversarial Attack on Face Recognition
원문 초록
Deep learning models have shown their vulnerability when dealing with adversarial attacks. Existing attacks almost perform on low-level instances, such as pixels and super-pixels, and rarely exploit semantic clues. For face recognition attacks, existing methods typically generate the l_p-norm perturbations on pixels, however, resulting in low attack transferability and high vulnerability to denoising defense models. In this work, instead of performing perturbations on the low-level pixels, we propose to generate attacks through perturbing on the high-level semantics to improve attack transferability. Specifically, a unified flexible framework, Adversarial Attributes (Adv-Attribute), is designed to generate inconspicuous and transferable attacks on face recognition, which crafts the adversarial noise and adds it into different attributes based on the guidance of the difference in face recognition features from the target. Moreover, the importance-aware attribute selection and the multi-objective optimization strategy are introduced to further ensure the balance of stealthiness and attacking strength. Extensive experiments on the FFHQ and CelebA-HQ datasets show that the proposed Adv-Attribute method achieves the state-of-the-art attacking success rates while maintaining better visual effects against recent attack methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
전이중 음성-음성 대화 모델의 적대적 강건성을 위한 심리음향 정렬 잠재 스무딩
Psychoacoustically Aligned Latent Smoothing for Adversarial Robustness of Full-Duplex Speech-to-Speech Dialogue Models
엔드투엔드(End-to-end) 음성-음성 대화 모델은 동시에 듣고 말하기 때문에, 지속적으로 열려 있는 음향 채널이 적대적 조작에 노출됩니다. 본 연구에서는 전이중(full-duplex) 에이전트에 대한 감지 불가능한 공격을 타깃 시맨틱 하이재킹(targeted semantic hijacking), 응답 억제(response suppression), 정책 탈옥(policy jailbreaking)이라는 세 가지 목표 하에 캐리어 음성의 심리음향 마스킹 임계값 이하로 제한된 부가적 섭동에 대한 최적화 문제로 정형화합니다. 방어가 없는 Moshi 스타일의 에이전트를 상대로 화이트박스 공격은 최대 91.7%의 시도에서 성공합니다. 이어 저자들은 심리음향 정렬 잠재 스무딩(PALS)을 제안합니다. PALS는 잔차 벡터 양자화(RVQ) 잠재 인터페이스에서 국소 코드북 공분산에 의해 형성된 비등방성 가우시안 노이즈를 주입하고, 공격자를 제한하는 마스킹 임계값에 의해 형성된 입력 노이즈를 적용하며 쿨백-라이블러(KL) 일관성 목적 함수로 학습됩니다. 추론(inference) 시간 비용 없이 배포 가능한 PALS는 깨끗한 음질(clean quality) 저하를 2.3% 이내로 유지하면서 하이재킹을 8.3%, 음소거를 11.2%, 탈옥을 9.1%로 감소시킵니다. 몬테카를로 스무딩 변형은 최대 0.616의 타원체 잠재 반경을 인증하여, 경험적 강건성이 훨씬 상회하는 보장된 하한선을 제공합니다.
HYDRO: 고충실도 하이브리드 확산 및 타깃 지향 접근을 통한 비가역적 얼굴 식별 해제
HYDRO: Towards Non-Reversible Face De-Identification Using a High-Fidelity Hybrid Diffusion and Target-Oriented Approach
타깃 지향(target-oriented) 얼굴 식별 해제 모델은 서로 다른 이미지나 동영상 프레임 전반에서 특정 대상 개인의 신원을 익명화하여, 대상을 더 이상 신뢰할 수 있게 식별할 수 없게 하면서도 시각 데이터의 핵심 특성은 유지하는 것을 목표로 한다. 이러한 모델은 일반적으로 생성형 인코더-디코더(encoder-decoder) 구조를 활용해 얼굴 외형을 조작하며, 현실적이고 고충실도의 식별 해제 결과를 만들면서 상당한 속성 보존(attribute-retention) 능력을 확보한다. 그러나 타깃 지향 모델은 미세한 신원 단서를 부 inadvertent하게 보존할 위험이 있어 (잠재적으로) 가역적이며 재구성(reconstruction) 공격에 취약해질 수 있다. 이 문제를 해결하기 위해 본 논문에서는 타깃 지향 모델과, 식별 해제 절차를 되돌리는 학습을 가능하게 할 수 있는 지각하기 어려운 정보를 파괴하도록 특별히 설계된 전용 확산(diffusion) 과정을 결합한 새로운 (견고한) 얼굴 식별 해제 접근법 HYDRO를 제안한다. HYDRO는 먼저 주어진 얼굴 이미지를 식별 해제한 뒤, 재구성을 방해하기 위해 식별 해제 결과에 노이즈를 주입하고, 이어서 확산 기반 복원 단계를 적용해 충실도를 높이고 노이즈 과정이 데이터 특성에 미치는 영향을 최소화한다. 이미지 충실도를 더 높이고 시선 방향(gaze direction)을 더 잘 보존하기 위해, 새로운 Eye Similarity Discriminator(ESD)도 도입하여 HYDRO 학습에 통합한다. 세 가지 다양한 데이터셋(dataset)에 대한 광범위한 정량·정성 실험은 HYDRO가 최신(SOTA) 수준의 충실도와 속성 보존 능력을 보이며, 재구성 공격에 견디는 유일한 타깃 지향 방법임을 보여준다. 여러 SOTA 경쟁 방법과 비교했을 때 HYDRO는 재구성 공격 성공률을 평균 85.7% 감소시킨다.
비식별화 시스템에서의 적대적 공격과 신원 유출: 실증 연구
Adversarial Attacks and Identity Leakage in De-Identification Systems: An Empirical Study
본 논문에서는 현실적인 비식별화 프레임워크 내 신원 인코더에 대한 적대적 공격의 영향을 조사한다. 실험 결과, 외부 대리 모델에서 시스템 모델(예: CosFace에서 ArcFace)로 공격의 전이(transferability)가 이루어질 때, 공격자가 충분히 민감한 얼굴 인식 시스템에서 신원 정보가 유출되도록 할 수 있음을 보여준다. 우리는 실험적 근거를 제시하고 이 취약성을 완화하기 위한 전략을 제안한다. 구체적으로, 적대적 예제에 대한 미세조정이 왜곡 기반 공격(즉, snow, fog 등)에 대한 이 효과를 완화하는 데 도움이 되는 방법을 보이며, 단순 저역 통과 필터는 비식별화된 이미지에 영향을 주지 않으면서 적대적 노이즈의 효과를 줄일 수 있음을 보인다. 이러한 완화 방법은 기능을 유지하면서 적대적 노이즈에 대해 훨씬 더 견고한 비식별화 시스템을 만든다.
StyleAT: 의미론적 공격에 대한 얼굴 인식 방어
StyleAT: Defending Face Recognition Against Semantic Attacks
얼굴 인식 모델이 일상적인 인증 및 감시에 널리 쓰이면서, 최근 연구들은 이러한 모델의 한 가지 중요한 약점을 지적했다: 이 모델들은 적대적 의미론적 편집(adversarial semantic edits)에 여전히 매우 취약하다는 것이다. 즉, 입력에 대한 적대적으로 생성된 의미론적 변화(예: 약간의 노화나 자세 변화)가 오분류를 유발할 수 있다. 기존의 일부 공격은 강력하지만 계산 비용이 커서 방어(예: 적대적 학습을 통한) 개발에는 부적합하다. 이 공백을 메우기 위해, 우리는 StyleGAN의 풍부한 잠재 공간(latent space)에서 동작하여 오분류율을 극대화하는 강력한 의미론적 공격 BoundStyle을 제안한다. 특히 BoundStyle은 기존 최첨단 공격 대비 ${\sim}{\times}9.5$배 빠르면서도 높은 공격 성공률을 달성하여, 적대적 학습에 적합하다. BoundStyle을 기반으로, 저비용 공격 변형을 포함하면서도 더 강하고 보지 못한(unseen) 의미론적 공격에 대비하는 효율적인 적대적 학습 방식 StyleAT를 개발한다. 학습 과정에서 보지 못한 두 데이터셋과 일곱 개 모델에서 평가한 결과, StyleAT는 최첨단 공격에 대한 견고 정확도(robust accuracy)를 높이며 다양한 설정에서 일반적인 방어 기법을 능가한다.
eDifFIQA: Towards Efficient Face Image Quality Assessment Based On Denoising Diffusion Probabilistic Models
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
토론
이 논문과 연결된 포럼 글이 아직 없습니다.