arXiv:2407.05045

Robust Skin Color Driven Privacy Preserving Face Recognition via Function Secret Sharing

Dong Han, Yufan Jiang, Yong Li, Ricardo Mendes, Joachim Denzler

제출 2024-07-06

원문 초록

In this work, we leverage the pure skin color patch from the face image as the additional information to train an auxiliary skin color feature extractor and face recognition model in parallel to improve performance of state-of-the-art (SOTA) privacy-preserving face recognition (PPFR) systems. Our solution is robust against black-box attacking and well-established generative adversarial network (GAN) based image restoration. We analyze the potential risk in previous work, where the proposed cosine similarity computation might directly leak the protected precomputed embedding stored on the server side. We propose a Function Secret Sharing (FSS) based face embedding comparison protocol without any intermediate result leakage. In addition, we show in experiments that the proposed protocol is more efficient compared to the Secret Sharing (SS) based protocol.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.18749v3cs.LG공통 태그 Face Recognition, Privacy Preserving

프라이버시 보존 협력 학습을 위한 노이즈 앵커 정렬 기반 기하학적 데이터 섭동

Geometric Data Perturbation with Noisy-Anchor Alignment for Privacy-Preserving Collaborative Learning

기하학적 데이터 섭동(Geometric data perturbation)은 프라이버시 보존 협력 학습(collaborative learning)을 위한 원샷 표현(representation) 공유를 가능하게 합니다. 즉, 각 참여자는 자신의 비공개 데이터에 거리를 보존하는 비밀 변환을 적용한 뒤 결과 표현을 중앙 분석가에게 업로드합니다. 본 논문에서는 공모한 참여자가 분석가가 다른 참여자의 데이터를 재구성할 수 있도록 자신의 데이터와 변환을 공개하는 분석가-참여자 공모(collusion)를 연구합니다. 참여자별 독립적인 변환은 공개된 공통 변환을 통한 직접적인 역변환을 차단하지만, 업로드된 데이터를 호환되지 않는 좌표계에 남겨두어 통합 학습의 성능을 저하시킵니다. 데이터 협력(Data Collaboration) 분석은 분석가에게 숨겨둔 공통 앵커 행렬(anchor matrix)의 변환된 복사본들을 정렬하여 호환성을 복원합니다. 본 연구는 중심화된(centered) 앵커 행렬이 풀 칼럼 랭크(full column rank)를 가질 때, 이를 공개하는 공모자가 모든 참여자의 변환을 정확히 복구하고 노이즈 없는 비공개 표현의 역변환을 가능하게 함을 보여줍니다. 비공개 데이터 표현에 노이즈를 추가하는 것은 이러한 변환 복구 채널을 그대로 유지하며 상당한 효용(utility) 저하를 대가로 정보 유출을 줄입니다. 대신, 본 연구는 앵커 표현을 섭동시킵니다. 즉, 각 참여자는 변환된 앵커 표현만을 섭동시켜 비공개 데이터 업로드의 기하학적 구조를 보존하는 동시에, 알려진 앵커 기반 변환 복구를 노이즈 추정 문제로 전환합니다. 분석가는 일반화된 직교 프로크루스테스 문제(generalized orthogonal Procrustes problem)에 대한 스펙트럼 추정기(spectral estimator)를 사용하여 정렬을 추정합니다. 본 프로토콜에 대한 복구 공격을 분석하고 CelebA 및 VGGFace2 얼굴 이미지 데이터셋에서 두 노이즈 배치 방식을 비교합니다. 평가된 공모 공격 하에서, 노이즈 앵커 정렬(noisy-anchor alignment)은 낮은 신원 연결(identity-linkage) 수준에서도 더 높은 다운스트림 정확도를 유지합니다. 또한 참여자 수 실험을 통해 유사하게 측정된 연결 수준에서 더 큰 규모의 협력에 따른 효용 향상과 한계를 조사합니다.

arXiv:2610.01385v1cs.CR공통 태그 Face Recognition, Privacy Preserving

시스템 고유 키를 사용하여 얼굴 임베딩으로부터 비가역적 PolyProtected 템플릿을 생성할 수 있는가?

Is it Possible to Generate Irreversible PolyProtected Templates from Face Embeddings using System-Specific Keys?

본 연구는 기존의 피험자 고유 키(subject-specific key, 즉 각 피험자마다 고유한 C 및 E 파라미터를 보유) 대신 시스템 고유 키(system-specific key, 즉 변환을 정의하는 동일한 C 및 E 파라미터를 모든 피험자의 얼굴 임베딩에 적용)를 사용하여 생체인식 템플릿 보호 기법인 PolyProtect를 얼굴 임베딩(face embedding)에 적용할 때, 비가역적인 보호 템플릿 생성이 가능한지에 대한 질문에 답하는 것을 목표로 한다. 이는 PolyProtected 도메인에서 얼굴 신원 중복 제거(de-duplication)를 수행할 수 있는지 판단하는 데 중요하다. 피험자 고유 키 시나리오에서는 서로 다른 C 및 E 파라미터를 사용하여 동일 신원에 대해 상호 연결할 수 없는 여러 보호 템플릿을 생성할 수 있다는 PolyProtect의 비연결성(unlinkability) 특성과 상충되어 이러한 중복 제거가 불가능하다. 본 논문에서는 비가역적 PolyProtected 템플릿을 생성하는 시스템 고유 키를 체계적으로 선택하는 방법이 적어도 세 가지 존재함을 증명하는 실험(공개된 오픈소스 코드를 통해 재현 가능)을 제시한다. 세 가지 방법은 (i) 사전 선택된 피험자 고유 키로부터 선택, (ii) 이전에 제안된 키 선택 알고리즘을 무작위 벡터에 적용, (iii) 시스템 고유 키를 구성할 수 있는 "적합한(good)" C/E 쌍 분포를 근사하는 것이다. 따라서 본 연구 결과는 템플릿 보호 성능을 저하시키지 않으면서 시스템 고유 키 시나리오에서 PolyProtect를 안전하게 운용하는 것이 실제로 가능하다는 결론을 제시한다. 이는 PolyProtected 도메인에서 신원 중복 제거의 가능성을 열어준다.

arXiv:2609.27022v1cs.CV공통 태그 Face Recognition, Privacy Preserving

비식별화 시스템에서의 적대적 공격과 신원 유출: 실증 연구

Adversarial Attacks and Identity Leakage in De-Identification Systems: An Empirical Study

본 논문에서는 현실적인 비식별화 프레임워크 내 신원 인코더에 대한 적대적 공격의 영향을 조사한다. 실험 결과, 외부 대리 모델에서 시스템 모델(예: CosFace에서 ArcFace)로 공격의 전이(transferability)가 이루어질 때, 공격자가 충분히 민감한 얼굴 인식 시스템에서 신원 정보가 유출되도록 할 수 있음을 보여준다. 우리는 실험적 근거를 제시하고 이 취약성을 완화하기 위한 전략을 제안한다. 구체적으로, 적대적 예제에 대한 미세조정이 왜곡 기반 공격(즉, snow, fog 등)에 대한 이 효과를 완화하는 데 도움이 되는 방법을 보이며, 단순 저역 통과 필터는 비식별화된 이미지에 영향을 주지 않으면서 적대적 노이즈의 효과를 줄일 수 있음을 보인다. 이러한 완화 방법은 기능을 유지하면서 적대적 노이즈에 대해 훨씬 더 견고한 비식별화 시스템을 만든다.

arXiv:2609.23596v1cs.CV공통 태그 Generative Adversarial Network, Face Recognition

StyleAT: 의미론적 공격에 대한 얼굴 인식 방어

StyleAT: Defending Face Recognition Against Semantic Attacks

얼굴 인식 모델이 일상적인 인증 및 감시에 널리 쓰이면서, 최근 연구들은 이러한 모델의 한 가지 중요한 약점을 지적했다: 이 모델들은 적대적 의미론적 편집(adversarial semantic edits)에 여전히 매우 취약하다는 것이다. 즉, 입력에 대한 적대적으로 생성된 의미론적 변화(예: 약간의 노화나 자세 변화)가 오분류를 유발할 수 있다. 기존의 일부 공격은 강력하지만 계산 비용이 커서 방어(예: 적대적 학습을 통한) 개발에는 부적합하다. 이 공백을 메우기 위해, 우리는 StyleGAN의 풍부한 잠재 공간(latent space)에서 동작하여 오분류율을 극대화하는 강력한 의미론적 공격 BoundStyle을 제안한다. 특히 BoundStyle은 기존 최첨단 공격 대비 ${\sim}{\times}9.5$배 빠르면서도 높은 공격 성공률을 달성하여, 적대적 학습에 적합하다. BoundStyle을 기반으로, 저비용 공격 변형을 포함하면서도 더 강하고 보지 못한(unseen) 의미론적 공격에 대비하는 효율적인 적대적 학습 방식 StyleAT를 개발한다. 학습 과정에서 보지 못한 두 데이터셋과 일곱 개 모델에서 평가한 결과, StyleAT는 최첨단 공격에 대한 견고 정확도(robust accuracy)를 높이며 다양한 설정에서 일반적인 방어 기법을 능가한다.

arXiv:2607.20977v1cs.CV공통 태그 Generative Adversarial Network, Image Restoration

파인튜닝된 Cycle-Consistent Adversarial Network를 활용한 치과 CBCT 비지도 금속 아티팩트 감소

Unsupervised Metal Artifact Reduction in Dental CBCT using Fine-tuned Cycle-Consistent Adversarial Networks

치과 임플랜트로 인해 발생하는 금속 아티팩트는 원뿔 빔 컴퓨터 단층촬영(cone-beam computed tomography, CBCT) 볼륨의 품질을 크게 저하시켜, 중요한 해부학적 구조를 가리고 진단 정밀도를 훼손한다. 이를 해결하기 위해, 고충실도 복원에 최적화된 사이클 일관 적대적 네트워크(Cycle-Consistent Adversarial Network, CycleGAN)를 활용한 금속 아티팩트 감소(Metal Artifact Reduction, MAR)를 위한 비지도 심층 학습 프레임워크가 제안되었다. 달성 불가능한 복셀 정렬 페어 데이터셋에 의존하는 지도 학습 방법과 달리, 제안된 접근법은 공개 ToothFairy 데이터셋에서 큐레이션한 약 4,000장의 비페어 데이터셋을 활용한다. 해당 아키텍처는 U-Net 기반 생성기와 PatchGAN 판별기를 통합하며, 생성적 환각을 완화하고 형태학적 무결성을 보존하도록 특별히 튜닝되었다. 홀드아웃 테스트 세트에 대한 정량적 벤치마킹은 Blind/Referenceless Image Spatial Quality Evaluator(BRISQUE) 점수에서 34.6%의 개선, Fréchet Inception Distance(FID)의 207.03에서 157.04로의 상당한 감소, 그리고 0.9105의 우수한 Structural Similarity Index Measure(SSIM)을 보여준다. 해당 프레임워크는 슬라이스당 3.03 ms의 추론 시간으로 실시간 효율성을 달성하며, 해부학적 세부를 보존하면서 아티팩트를 효과적으로 억제한다. 전문가 검증은 높은 충실도를 확인했으나, 극단적인 경우의 신뢰성을 보장하기 위해 해당 아키텍처는 human-in-the-loop 감독 하의 임상 의사결정 지원 도구로 사용할 것을 권장한다. 확장 가능한 소프트웨어 파이프라인을 통해 진단 명확성을 향상시킴으로써, 본 연구는 고충실도 치과 임플랜트 영상화를 위한 견고한 해결책을 제공한다.

arXiv:2607.21434v1cs.CV공통 태그 Image Restoration, Face Recognition

적응형 정체성 앵커링: 비디오 얼굴 스와핑을 위한 합성 페어드 지도의 폐루프 키프레임 배치

Adaptive Identity Anchoring: Closed-Loop Keyframe Placement for Synthetic Paired Supervision in Video Face Swapping

비디오 얼굴 스와핑에는 자연스러운 페어드 지도(paired supervision)가 없다. 한 사람의 얼굴이 다른 사람의 비디오 동작을 수행하는 실제 영상은 존재하지 않는다. 현재 가장 강력한 해답인 DreamID-V의 SyncID-Pipe는 실제 클립의 정확히 두 프레임—첫 프레임과 마지막 프레임—에서 정체성(identity)을 교체하고, 나머지는 포즈(pose) 시퀀스만으로 재생성하여 페어를 생성한다. 포즈는 스와핑된 정체성의 외형 정보를 담지 않으므로, 긴 클립, 가림(occlusion), 극단적인 포즈 변화에서 합성된 정체성은 앵커링되지 않은 긴 구간을 거치며 표류(drift)할 수 있다. 공개된 ablation 연구 중 앵커 개수나 배치를 검토한 것은 없다. 우리는 적응형 정체성 앵커링(AIA)을 제안한다: (i) 합성기를 임의의 앵커 집합에 일반화하며, 이는 프레임에 대한 조건화가 해당 토큰의 노이즈를 0으로 고정(clamping)하는 diffusion-forcing 스타일 트랜스포머에 구조적으로 자연스럽다; (ii) 폐루프(closed-loop) 피드백 루프로 앵커를 배치하며, 생성된 모든 프레임을 실제 참조 정체성과 대조해 점수를 매기고, 페어가 임계값을 통과하거나 예산을 소진할 때까지 최저 점수 프레임에 이미지 얼굴 스와핑 앵커를 삽입한다; (iii) 루프의 판정을 자동 데이터 필터로 재사용한다. 두 번째 병리 현상인 과도하게 매끄러운 피부의 뷰티 필터(beauty-filter) 느낌도 같은 근본 원인을 갖는다. 미세 텍스처(micro-texture)는 정체성과 마찬가지로 파이프라인의 어떤 목적 함수에도 반영되지 않는다. 따라서 우리는 AIA를 현실 참조 텍스처 복원(Reality-Referenced Texture Restoration)과 결합한다. 각 실제 프레임의 비얼굴 영역에서의 매칭된 re-graining, 실제 영상으로부터의 정체성 이하(sub-identity) 미세 텍스처의 밴드 분할(band-split) 전이, 그리고 영상 자체의 스펙트럼이 심판하는 두 번째 스펙트럴 수용 채널을 포함한다. 정체성 앵커 밀도는 조절 가능한 품질 다이얼이라고 주장하며, 제안을 검증하거나 반박할 수 있는 반증 가능한 실험—표류 대 간격 곡선, 동일 예산에서의 균등 대 적응형 배치, AIA로 생성된 데이터에 대한 student 학습, 인간 뷰티 필터 연구를 포함한 텍스처 ablation—을 명시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.