Local Features Meet Stochastic Anonymization: Revolutionizing Privacy-Preserving Face Recognition for Black-Box Models
원문 초록
The task of privacy-preserving face recognition (PPFR) currently faces two major unsolved challenges: (1) existing methods are typically effective only on specific face recognition models and struggle to generalize to black-box face recognition models; (2) current methods employ data-driven reversible representation encoding for privacy protection, making them susceptible to adversarial learning and reconstruction of the original image. We observe that face recognition models primarily rely on local features ({e.g., face contour, skin texture, and so on) for identification. Thus, by disrupting global features while enhancing local features, we achieve effective recognition even in black-box environments. Additionally, to prevent adversarial models from learning and reversing the anonymization process, we adopt an adversarial learning-based approach with irreversible stochastic injection to ensure the stochastic nature of the anonymization. Experimental results demonstrate that our method achieves an average recognition accuracy of 94.21\% on black-box models, outperforming existing methods in both privacy protection and anti-reconstruction capabilities.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
프라이버시 보존 협력 학습을 위한 노이즈 앵커 정렬 기반 기하학적 데이터 섭동
Geometric Data Perturbation with Noisy-Anchor Alignment for Privacy-Preserving Collaborative Learning
기하학적 데이터 섭동(Geometric data perturbation)은 프라이버시 보존 협력 학습(collaborative learning)을 위한 원샷 표현(representation) 공유를 가능하게 합니다. 즉, 각 참여자는 자신의 비공개 데이터에 거리를 보존하는 비밀 변환을 적용한 뒤 결과 표현을 중앙 분석가에게 업로드합니다. 본 논문에서는 공모한 참여자가 분석가가 다른 참여자의 데이터를 재구성할 수 있도록 자신의 데이터와 변환을 공개하는 분석가-참여자 공모(collusion)를 연구합니다. 참여자별 독립적인 변환은 공개된 공통 변환을 통한 직접적인 역변환을 차단하지만, 업로드된 데이터를 호환되지 않는 좌표계에 남겨두어 통합 학습의 성능을 저하시킵니다. 데이터 협력(Data Collaboration) 분석은 분석가에게 숨겨둔 공통 앵커 행렬(anchor matrix)의 변환된 복사본들을 정렬하여 호환성을 복원합니다. 본 연구는 중심화된(centered) 앵커 행렬이 풀 칼럼 랭크(full column rank)를 가질 때, 이를 공개하는 공모자가 모든 참여자의 변환을 정확히 복구하고 노이즈 없는 비공개 표현의 역변환을 가능하게 함을 보여줍니다. 비공개 데이터 표현에 노이즈를 추가하는 것은 이러한 변환 복구 채널을 그대로 유지하며 상당한 효용(utility) 저하를 대가로 정보 유출을 줄입니다. 대신, 본 연구는 앵커 표현을 섭동시킵니다. 즉, 각 참여자는 변환된 앵커 표현만을 섭동시켜 비공개 데이터 업로드의 기하학적 구조를 보존하는 동시에, 알려진 앵커 기반 변환 복구를 노이즈 추정 문제로 전환합니다. 분석가는 일반화된 직교 프로크루스테스 문제(generalized orthogonal Procrustes problem)에 대한 스펙트럼 추정기(spectral estimator)를 사용하여 정렬을 추정합니다. 본 프로토콜에 대한 복구 공격을 분석하고 CelebA 및 VGGFace2 얼굴 이미지 데이터셋에서 두 노이즈 배치 방식을 비교합니다. 평가된 공모 공격 하에서, 노이즈 앵커 정렬(noisy-anchor alignment)은 낮은 신원 연결(identity-linkage) 수준에서도 더 높은 다운스트림 정확도를 유지합니다. 또한 참여자 수 실험을 통해 유사하게 측정된 연결 수준에서 더 큰 규모의 협력에 따른 효용 향상과 한계를 조사합니다.
시스템 고유 키를 사용하여 얼굴 임베딩으로부터 비가역적 PolyProtected 템플릿을 생성할 수 있는가?
Is it Possible to Generate Irreversible PolyProtected Templates from Face Embeddings using System-Specific Keys?
본 연구는 기존의 피험자 고유 키(subject-specific key, 즉 각 피험자마다 고유한 C 및 E 파라미터를 보유) 대신 시스템 고유 키(system-specific key, 즉 변환을 정의하는 동일한 C 및 E 파라미터를 모든 피험자의 얼굴 임베딩에 적용)를 사용하여 생체인식 템플릿 보호 기법인 PolyProtect를 얼굴 임베딩(face embedding)에 적용할 때, 비가역적인 보호 템플릿 생성이 가능한지에 대한 질문에 답하는 것을 목표로 한다. 이는 PolyProtected 도메인에서 얼굴 신원 중복 제거(de-duplication)를 수행할 수 있는지 판단하는 데 중요하다. 피험자 고유 키 시나리오에서는 서로 다른 C 및 E 파라미터를 사용하여 동일 신원에 대해 상호 연결할 수 없는 여러 보호 템플릿을 생성할 수 있다는 PolyProtect의 비연결성(unlinkability) 특성과 상충되어 이러한 중복 제거가 불가능하다. 본 논문에서는 비가역적 PolyProtected 템플릿을 생성하는 시스템 고유 키를 체계적으로 선택하는 방법이 적어도 세 가지 존재함을 증명하는 실험(공개된 오픈소스 코드를 통해 재현 가능)을 제시한다. 세 가지 방법은 (i) 사전 선택된 피험자 고유 키로부터 선택, (ii) 이전에 제안된 키 선택 알고리즘을 무작위 벡터에 적용, (iii) 시스템 고유 키를 구성할 수 있는 "적합한(good)" C/E 쌍 분포를 근사하는 것이다. 따라서 본 연구 결과는 템플릿 보호 성능을 저하시키지 않으면서 시스템 고유 키 시나리오에서 PolyProtect를 안전하게 운용하는 것이 실제로 가능하다는 결론을 제시한다. 이는 PolyProtected 도메인에서 신원 중복 제거의 가능성을 열어준다.
비식별화 시스템에서의 적대적 공격과 신원 유출: 실증 연구
Adversarial Attacks and Identity Leakage in De-Identification Systems: An Empirical Study
본 논문에서는 현실적인 비식별화 프레임워크 내 신원 인코더에 대한 적대적 공격의 영향을 조사한다. 실험 결과, 외부 대리 모델에서 시스템 모델(예: CosFace에서 ArcFace)로 공격의 전이(transferability)가 이루어질 때, 공격자가 충분히 민감한 얼굴 인식 시스템에서 신원 정보가 유출되도록 할 수 있음을 보여준다. 우리는 실험적 근거를 제시하고 이 취약성을 완화하기 위한 전략을 제안한다. 구체적으로, 적대적 예제에 대한 미세조정이 왜곡 기반 공격(즉, snow, fog 등)에 대한 이 효과를 완화하는 데 도움이 되는 방법을 보이며, 단순 저역 통과 필터는 비식별화된 이미지에 영향을 주지 않으면서 적대적 노이즈의 효과를 줄일 수 있음을 보인다. 이러한 완화 방법은 기능을 유지하면서 적대적 노이즈에 대해 훨씬 더 견고한 비식별화 시스템을 만든다.
실제 얼굴 없이 얼굴 인식 벤치마킹
Benchmarking Face Recognition without Real Faces
합성 얼굴 데이터셋은 실제 사진으로 학습한 모델과 대등한 수준의 정확도로 얼굴 인식 모델을 학습시킬 만큼 효과적이 되었다. 이러한 진전은 실제 생체인식 데이터를 수집할 때 따르는 윤리적·법적 부담을 회피하지만, 평가는 그 속도를 따라가지 못했다. 합성 이미지만으로 완전히 학습하는 연구조차도 성능 측정을 위해 실제 얼굴 벤치마크에 의존하며, 이로 인해 프라이버시 문제는 절반만 해결된 상태로 남는다. 우리는 얼굴 인식 평가를 위해 합성 데이터셋이 실제 벤치마크를 대체할 수 있는지 묻는다. 우리는 합성골(convolutional) 및 트랜스포머 아키텍처를 아우르는 24개의 사전학습 모델을 사용하여 12개의 합성 데이터셋을 7개의 확립된 실제 벤치마크와 대조하여 테스트한다. 우리의 평가는 생체인식 검증 지표, 유사도 점수 분포, 교차 모델 순위 일관성, 그리고 각 데이터셋의 근본적인 분포 특성을 포괄한다. 벤치마킹 충실도는 합성 후보들 간에 크게 달랐지만, 가장 강력한 두 데이터셋인 MorphFace와 Vec2Face는 실제 벤치마크의 상대적 거동을 재현하며, 실제 벤치마크들 사이에서 이미 관찰되는 자연스러운 불일치 범위 내에 해당하는 수준의 일치를 달성했다. 이러한 결과는 잘 구성된 합성 데이터셋이 얼굴 인식에 대한 신뢰할 수 있는 비교 평가를 지원할 수 있음을 보여주며, 학습과 벤치마킹 모두를 위한 완전히 합성적이고 프라이버시를 보존하는 파이프라인에 해당 분야를 더 가까이 이끈다.
LFD: 대규모 데이터셋을 활용한 실세계 렌즈리스 얼굴 인식 구현
LFD: Enabling Real-World Lensless Face Recognition with a Large-Scale Dataset
얼굴 인식은 일상적인 스마트폰 생체 인증부터 고위험 보안 시스템에 이르기까지 광범위한 응용 분야를 가진 컴퓨터 비전(CV) 작업이다. 대부분의 얼굴 인식 시스템은 전통적인 카메라에 의존하는데, 이러한 카메라는 부피가 큰 폼 팩터, 높은 비용, 제한적인 프라이버시 보호 등의 한계를 가지는 경우가 많다. 이러한 한계를 해결하기 위해 렌즈리스 카메라가 대안으로 등장하였다. 렌즈리스 카메라는 얇은 광학 인코더를 사용하여 더 작은 크기, 낮은 비용, 높은 설계 유연성을 가능하게 한다. 이러한 카메라는 일반적으로 원시 캡처를 인식 가능한 이미지로 변환하는 복원 알고리즘과 함께 사용된다. 그러나 복원된 이미지에는 아티팩트가 포함되는 경우가 많으며, 복원 방법은 실세계 조건에 대한 일반화에 어려움을 겪는다. 또한 기존의 얼굴 데이터셋은 렌즈리스 이미지에 존재하는 아티팩트를 고려하지 않는다. 이 문제를 해결하기 위해 우리는 렌즈리스 얼굴 데이터셋(LFD, Lensless Face Dataset)을 소개한다. LFD는 다양한 조명, 각도, 거리 조건에서 촬영된 얼굴의 21,080개 렌즈리스 원시 측정값, 복원 이미지, 표준 이미지로 구성된다. 주요 기여는 다음과 같다: (1) 실세계 렌즈리스 얼굴 데이터: LFD는 서로 다른 환경에서 발생하는 다양한 수준의 아티팩트를 포함하는 다양한 얼굴 데이터셋 구축에 초점을 맞춘다; (2) 야외 환경 촬영: 4,976장의 이미지가 자연광 강도와 배경 패턴이 다양한 야외 환경에서 촬영되었다; (3) 다수의 렌즈리스 장치: LFD는 각각 고유한 광학 인코더를 가진 세 가지 서로 다른 유형의 렌즈리스 카메라에서 수집된 얼굴 이미지를 포함한다. 우리는 이러한 하드웨어 다양성을 활용하여 서로 다른 렌즈리스 카메라 간의 일반화를 입증한다. 종합적인 평가와 분석을 통해, LFD가 서로 다른 렌즈리스 이미징 장치 간의 공유 특징과 아티팩트를 효과적으로 포착함으로써 렌즈리스 얼굴 인식 발전에 유용한 데이터셋임을 보여준다.
얼굴 교체로 프라이버시 보호, 특징 보존으로 활용성 유지: ITS 보행자 프라이버시를 위한 이중 목적 파이프라인
Swapping Faces, Saving Features: A Dual-Purpose Pipeline for Pedestrian Privacy in ITS
자율주행차(AV)가 실시간 의사결정을 수행하도록 AI 모델을 학습시키려면 대규모의 다양한 데이터셋이 필요하며, 이는 지능형 교통 시스템(ITS)의 핵심 응용 분야다. 보행자 의도 및 궤적 예측은 자율주행차에서 중요하게 사용되는 모델로, 다양한 보행자 이미지를 포함하는 데이터셋을 필요로 한다. 이러한 데이터셋에 대한 무제한 접근은 신원 도용 및 보행자 추적과 같은 심각한 보안 위험을 초래한다. 문제는 모델 학습에 필요한 이미지 속성을 유지하면서 프라이버시 보호 절차를 적용하는 것이다. 기존 프라이버시 기법들은 보행자의 프라이버시를 보호할 수 있으나 이미지 활용성을 저하시켜 모델의 효과를 저해한다. 본 연구는 얼굴 교체(face swapping)를 통해 보행자의 프라이버시를 보호하면서 필수적인 얼굴 속성을 온전히 유지하는 5단계 파이프라인을 구현하는 데 초점을 맞춘다. 이 파이프라인은 Egy-DRiVeS 데이터셋의 프라이버시 요구 사항을 충족하도록 설계되었다. 또한 Roop와 Ghost-v2 얼굴 교체 모델을 평가하였으며, 실험 결과 Roop가 여러 측면에서 Ghost-v2보다 우수한 성능을 보임을 확인하였다. 이에 따라 신원 은폐를 통한 보행자 프라이버시 보호와 얼굴 속성 보존을 통한 데이터 활용성 간의 균형을 달성하기 위해 Roop를 파이프라인의 얼굴 교체 모델로 채택하였다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.