Adaptive Hybrid Masking Strategy for Privacy-Preserving Face Recognition Against Model Inversion Attack
원문 초록
The utilization of personal sensitive data in training face recognition (FR) models poses significant privacy concerns, as adversaries can employ model inversion attacks (MIA) to infer the original training data. Existing defense methods, such as data augmentation and differential privacy, have been employed to mitigate this issue. However, these methods often fail to strike an optimal balance between privacy and accuracy. To address this limitation, this paper introduces an adaptive hybrid masking algorithm against MIA. Specifically, face images are masked in the frequency domain using an adaptive MixUp strategy. Unlike the traditional MixUp algorithm, which is predominantly used for data augmentation, our modified approach incorporates frequency domain mixing. Previous studies have shown that increasing the number of images mixed in MixUp can enhance privacy preservation but at the expense of reduced face recognition accuracy. To overcome this trade-off, we develop an enhanced adaptive MixUp strategy based on reinforcement learning, which enables us to mix a larger number of images while maintaining satisfactory recognition accuracy. To optimize privacy protection, we propose maximizing the reward function (i.e., the loss function of the FR system) during the training of the strategy network. While the loss function of the FR network is minimized in the phase of training the FR network. The strategy network and the face recognition network can be viewed as antagonistic entities in the training process, ultimately reaching a more balanced trade-off. Experimental results demonstrate that our proposed hybrid masking scheme outperforms existing defense algorithms in terms of privacy preservation and recognition accuracy against MIA.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
가상현실을 위한 안구 검증
Ocular Verification for Virtual Reality
가상현실(VR) 헤드셋(예: Meta Quest, Apple Vision Pro)은 시뮬레이션 환경에서 물리 세계와 빠르고 마찰 없는 상호작용을 제공하여 매끄러운 사용자 경험을 제공한다. 이러한 헤드셋에서 사용자 인증은 홍채와 같은 생체 단서에 의존한다. 그러나 기존의 홍채 인식 프로토콜은 VR 기반 데이터의 전형적 특성인 비제약 환경 획득의 경우에는 충분하지 않을 수 있다. 본 연구에서는 세 가지 핵심 측면을 검토한다. (1) VRBiom 데이터셋에서 ISO/IEC 29794-6 홍채 품질 지표를 평가하고 그 한계를 분석하며, (2) 생성 모델을 사용하여 축 이탈 시선, 불균일 조명, 정반사와 같은 데이터 특유의 문제를 해결하고, (3) 단일 모달(홍채, 눈 주위) 인식과 다중 모달 점수 수준 융합(홍채 + 눈 주위)을 수행한다. 일부 지표(예: 마진 적절성)는 VR로 획득한 데이터에서 실패하는 반면, 이미지 보정은 주로 눈 주위 인식에 도움이 되며, 다중 모달 융합은 단일 모달 홍채 인식 성능 대비 EER을 약 11% 낮춘다는 것을 관찰하였다. 재현성을 위해 논문 채택 시 평가 스크립트를 공개할 예정이다.
Meddies-PII: 임상 비식별화를 위한 개인식별정보 추출 다국어 프레임워크
Meddies-PII: A Multilingual Framework for Personally Identifiable Information Extraction in Clinical De-identification
임상 비식별화는 개인식별정보(PII)를 정확하게 식별하는 것에 의존합니다. 그러나 수작업으로 주석을 추가한 데이터셋은 구축 비용이 많이 들며, 기존의 합성 대안들은 생성 프로세스에 대한 세부 정보를 제한적으로 제공하거나 비교적 단순한 합성 전략에 의존하는 경우가 많습니다. 본 논문에서는 17개 언어와 9개의 PII 레이블에 걸친 100만 건의 합성 임상 문서 말뭉치인 Meddies-PII-Dataset을 소개합니다. 이러한 문서는 속성 조건부 프롬프트를 사용하여 생성되며, 구조적 및 주석 일관성을 강제하는 13개의 결정론적 게이트를 통해 검증됩니다. 데이터셋의 유용성을 평가하기 위해 BIOES 토큰 분류기인 Meddies-PII-Model을 학습하고, 완전 일치 엔티티 수준 F1을 사용하여 기존 PII 추출 시스템과 비교합니다. Meddies-PII-Model은 평가된 시스템 중 모든 보고된 벤치마크에서 가장 높은 성능을 달성하였으며, 15개의 외부 벤치마크에 걸쳐 평균 F1 0.827을 기록하여 가장 강력한 기준선의 0.658과 대비됩니다. 논문 채택 시 다국어 임상 비식별화 연구를 지원하기 위해 데이터셋, 벤치마크 스위트, 모델, 생성 프레임워크 및 평가 코드를 공개적으로 릴리스할 예정입니다.
프라이버시 보존 협력 학습을 위한 노이즈 앵커 정렬 기반 기하학적 데이터 섭동
Geometric Data Perturbation with Noisy-Anchor Alignment for Privacy-Preserving Collaborative Learning
기하학적 데이터 섭동(Geometric data perturbation)은 프라이버시 보존 협력 학습(collaborative learning)을 위한 원샷 표현(representation) 공유를 가능하게 합니다. 즉, 각 참여자는 자신의 비공개 데이터에 거리를 보존하는 비밀 변환을 적용한 뒤 결과 표현을 중앙 분석가에게 업로드합니다. 본 논문에서는 공모한 참여자가 분석가가 다른 참여자의 데이터를 재구성할 수 있도록 자신의 데이터와 변환을 공개하는 분석가-참여자 공모(collusion)를 연구합니다. 참여자별 독립적인 변환은 공개된 공통 변환을 통한 직접적인 역변환을 차단하지만, 업로드된 데이터를 호환되지 않는 좌표계에 남겨두어 통합 학습의 성능을 저하시킵니다. 데이터 협력(Data Collaboration) 분석은 분석가에게 숨겨둔 공통 앵커 행렬(anchor matrix)의 변환된 복사본들을 정렬하여 호환성을 복원합니다. 본 연구는 중심화된(centered) 앵커 행렬이 풀 칼럼 랭크(full column rank)를 가질 때, 이를 공개하는 공모자가 모든 참여자의 변환을 정확히 복구하고 노이즈 없는 비공개 표현의 역변환을 가능하게 함을 보여줍니다. 비공개 데이터 표현에 노이즈를 추가하는 것은 이러한 변환 복구 채널을 그대로 유지하며 상당한 효용(utility) 저하를 대가로 정보 유출을 줄입니다. 대신, 본 연구는 앵커 표현을 섭동시킵니다. 즉, 각 참여자는 변환된 앵커 표현만을 섭동시켜 비공개 데이터 업로드의 기하학적 구조를 보존하는 동시에, 알려진 앵커 기반 변환 복구를 노이즈 추정 문제로 전환합니다. 분석가는 일반화된 직교 프로크루스테스 문제(generalized orthogonal Procrustes problem)에 대한 스펙트럼 추정기(spectral estimator)를 사용하여 정렬을 추정합니다. 본 프로토콜에 대한 복구 공격을 분석하고 CelebA 및 VGGFace2 얼굴 이미지 데이터셋에서 두 노이즈 배치 방식을 비교합니다. 평가된 공모 공격 하에서, 노이즈 앵커 정렬(noisy-anchor alignment)은 낮은 신원 연결(identity-linkage) 수준에서도 더 높은 다운스트림 정확도를 유지합니다. 또한 참여자 수 실험을 통해 유사하게 측정된 연결 수준에서 더 큰 규모의 협력에 따른 효용 향상과 한계를 조사합니다.
시스템 고유 키를 사용하여 얼굴 임베딩으로부터 비가역적 PolyProtected 템플릿을 생성할 수 있는가?
Is it Possible to Generate Irreversible PolyProtected Templates from Face Embeddings using System-Specific Keys?
본 연구는 기존의 피험자 고유 키(subject-specific key, 즉 각 피험자마다 고유한 C 및 E 파라미터를 보유) 대신 시스템 고유 키(system-specific key, 즉 변환을 정의하는 동일한 C 및 E 파라미터를 모든 피험자의 얼굴 임베딩에 적용)를 사용하여 생체인식 템플릿 보호 기법인 PolyProtect를 얼굴 임베딩(face embedding)에 적용할 때, 비가역적인 보호 템플릿 생성이 가능한지에 대한 질문에 답하는 것을 목표로 한다. 이는 PolyProtected 도메인에서 얼굴 신원 중복 제거(de-duplication)를 수행할 수 있는지 판단하는 데 중요하다. 피험자 고유 키 시나리오에서는 서로 다른 C 및 E 파라미터를 사용하여 동일 신원에 대해 상호 연결할 수 없는 여러 보호 템플릿을 생성할 수 있다는 PolyProtect의 비연결성(unlinkability) 특성과 상충되어 이러한 중복 제거가 불가능하다. 본 논문에서는 비가역적 PolyProtected 템플릿을 생성하는 시스템 고유 키를 체계적으로 선택하는 방법이 적어도 세 가지 존재함을 증명하는 실험(공개된 오픈소스 코드를 통해 재현 가능)을 제시한다. 세 가지 방법은 (i) 사전 선택된 피험자 고유 키로부터 선택, (ii) 이전에 제안된 키 선택 알고리즘을 무작위 벡터에 적용, (iii) 시스템 고유 키를 구성할 수 있는 "적합한(good)" C/E 쌍 분포를 근사하는 것이다. 따라서 본 연구 결과는 템플릿 보호 성능을 저하시키지 않으면서 시스템 고유 키 시나리오에서 PolyProtect를 안전하게 운용하는 것이 실제로 가능하다는 결론을 제시한다. 이는 PolyProtected 도메인에서 신원 중복 제거의 가능성을 열어준다.
비식별화 시스템에서의 적대적 공격과 신원 유출: 실증 연구
Adversarial Attacks and Identity Leakage in De-Identification Systems: An Empirical Study
본 논문에서는 현실적인 비식별화 프레임워크 내 신원 인코더에 대한 적대적 공격의 영향을 조사한다. 실험 결과, 외부 대리 모델에서 시스템 모델(예: CosFace에서 ArcFace)로 공격의 전이(transferability)가 이루어질 때, 공격자가 충분히 민감한 얼굴 인식 시스템에서 신원 정보가 유출되도록 할 수 있음을 보여준다. 우리는 실험적 근거를 제시하고 이 취약성을 완화하기 위한 전략을 제안한다. 구체적으로, 적대적 예제에 대한 미세조정이 왜곡 기반 공격(즉, snow, fog 등)에 대한 이 효과를 완화하는 데 도움이 되는 방법을 보이며, 단순 저역 통과 필터는 비식별화된 이미지에 영향을 주지 않으면서 적대적 노이즈의 효과를 줄일 수 있음을 보인다. 이러한 완화 방법은 기능을 유지하면서 적대적 노이즈에 대해 훨씬 더 견고한 비식별화 시스템을 만든다.
DFD-Lab: 모듈형 오디오-비주얼 딥페이크 탐지 파이프라인
DFD-Lab: A Modular Audio-Visual Deepfake Detection Pipeline
오디오-비주얼 딥페이크 탐지기(audio-visual deepfake detector)를 비교하려면 데이터셋 적응, 시간적 입력 표현(temporal input representation), 모델 인터페이스, 실험 조건을 함께 조율해야 한다. 본 논문은 이러한 책임들을 분리하면서도 공통된 학습 및 평가 워크플로를 지원하는 모듈형 파이프라인인 DFD-Lab을 제시한다. 우리는 Xception 기반 최대 로짓(maximum-logit) 융합, 시간적 LSTM 융합을 사용하는 ResNet, 그리고 우리가 재구현한 AVFF의 세 가지 구현을 통합한다. 실험은 외부 테스트, 열화(degradation) 기반 학습 증강(training augmentation), 그리고 평가 시점의 손상(corruption)을 다룬다. Deepfake-Eval-2024의 필터링된 하위 집합(subset)에서, FakeAVCeleb으로 학습된 모델들은 각각 0.504, 0.538, 0.458의 기준선 AUROC 값을 달성한다. JPEG50 학습 증강은 이 값을 각각 0.691, 0.605, 0.570으로 높이는 반면, 세 모델의 정확도는 모두 감소한다. 이러한 결과는 학습 개입, 평가 손상, 그리고 지표에 따라 달라지는 결과가 공통 파이프라인 내에서 왜 구분되어야 하는지를 보여준다. 본 연구의 기여는 오디오-비주얼 처리, 상호 교체 가능한 탐지기, 그리고 설정 가능한 실험 워크플로의 통합이며, 이는 실증적 사례 연구(case study)로 뒷받침된다. 이 연구 결과는 데이터셋 간(cross-dataset) 탐지의 어려움과 순위화(ranking) 지표 및 분류 지표가 제공하는 상호 보완적 정보를 강조한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.