arXiv:2009.02286

Vulnerability of Face Recognition Systems Against Composite Face Reconstruction Attack

Hadi Mansourifar, Weidong Shi

제출 2020-08-23

원문 초록

Rounding confidence score is considered trivial but a simple and effective countermeasure to stop gradient descent based image reconstruction attacks. However, its capability in the face of more sophisticated reconstruction attacks is an uninvestigated research area. In this paper, we prove that, the face reconstruction attacks based on composite faces can reveal the inefficiency of rounding policy as countermeasure. We assume that, the attacker takes advantage of face composite parts which helps the attacker to get access to the most important features of the face or decompose it to the independent segments. Afterwards, decomposed segments are exploited as search parameters to create a search path to reconstruct optimal face. Face composition parts enable the attacker to violate the privacy of face recognition models even with a blind search. However, we assume that, the attacker may take advantage of random search to reconstruct the target face faster. The algorithm is started with random composition of face parts as initial face and confidence score is considered as fitness value. Our experiments show that, since the rounding policy as countermeasure can't stop the random search process, current face recognition systems are extremely vulnerable against such sophisticated attacks. To address this problem, we successfully test Face Detection Score Filtering (FDSF) as a countermeasure to protect the privacy of training data against proposed attack.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13768v1stat.ML공통 태그 Image Reconstruction, Reconstruction Attack

픽셀에서 프라이버시에 민감한 특징까지: 재구성 경계를 위한 정보 이론적 프레임워크

From Pixels to Privacy-Sensitive Features: An Information-Theoretic Framework for Reconstruction Bounds

공격자(adversary)는 DP-SGD로 학습(training)된 모델(model)에서 무엇을 복원할 수 있는가? $(\varepsilon,δ)$ 보장은 이 질문에 직접적인 답을 주지 않는다. 우리는 학습 전에 계산할 수 있으며, 학습 중 매개변수(parameter) 궤적을 관찰하고 다른 모든 학습 레코드와 학습 레코드가 추출된 모집단 분포를 알고 있는 공격자에게도 적용되는 왜곡 경계를 도출한다. 분석자는 오차를 측정하는 표현(representation)을 선택할 수 있어, 경계가 주어진 응용에서 프라이버시에 민감한 재구성 측면을 목표로 하도록 할 수 있다. 우리의 정보 이론적 프레임워크는 두 가지 기여를 분리한다: 조건부 상호 정보량(conditional mutual information)을 통해 측정되는, 학습으로 드러나는 레코드에 대한 정보와, 소스 엔트로피(source entropy)를 통해 측정되는, 데이터 분포에 이미 존재하는 불확실성이다. 속도-왜곡 이론(rate-distortion theory)은 이 둘을 결합하여 모든 재구성 공격의 기대 오차에 대한 하한을 제공한다. DP-SGD의 경우, 유출 경계는 샘플링 비율과 노이즈 배수(noise multiplier)에만 의존하며, 소스 엔트로피는 유한 샘플 신뢰도를 갖는 샘플로부터 하한이 추정된다. 직교 블록 구성은 결과 경계가 고차원 이미지에 대해서도 유의미하도록 유지한다. 우리는 이 프레임워크를 픽셀 공간과 LPIPS 특징(feature) 공간에서 구체화하여, 우리가 아는 한 LPIPS로 직접 측정한 재구성 왜곡에 대한 최초의 하한을 얻는다. 다양한 이미지 데이터셋(dataset)에서 이 경계는 경험적으로 권장되는 프라이버시 예산 범위 내 및 그 이상에서 자명하지 않은 불가피한 기대 재구성 오차를 입증한다. 실험은 이 경계를 강력한 재구성 공격과 비교하고, 남아 있는 격차의 주요 원인을 규명한다.

arXiv:2610.02675v1eess.IV공통 태그 Image Reconstruction, Face Recognition

하나의 광자, 다양한 세계: 단일 광자 카메라를 통한 사후 확률 및 예측

One Photon, Many Worlds: Posteriors and Predictions with Single-Photon Cameras

단일 광자 눈사태 다이오드(SPAD) 카메라는 광자 계수(photon-counting) 특성으로 인해 기존 카메라와 근본적으로 다르게 작동합니다. 각 프레임은 이진 이미지를 생성합니다. 즉, 노출 시간 동안 광자가 도달하지 않은 픽셀은 0을, 하나 이상의 광자가 도달한 픽셀은 1을 기록합니다. 단일 이진 프레임으로부터 장면을 재구성하거나 그 특성을 추론(inference)하는 것은 여러 서로 다른 이미지가 동일한 측정값을 생성할 수 있기 때문에 어렵습니다. 따라서 이 역문제(inverse problem)는 근본적으로 일대다(one-to-many) 관계를 가집니다. 더 많은 이진 측정값을 수집할수록 역문제 및 관련 추론에 내재된 불확실성은 감소합니다. 광자 수가 충분해지면 신호 평균에 비해 광자 노이즈가 무시할 수 있는 수준이 되어 거의 결정론적인 장면 복원 및 추론이 가능해집니다. 본 연구는 광자 예산(photon budget)이 증가함에 따라 확률적 장면 이해에서 거의 결정론적인 장면 이해로 전환되는 과정을 규명하고, 광자 도달의 확률성이 하류(downstream) 추론 작업에 미치는 영향을 분석합니다. 기술적으로는 누적된 이진 SPAD 측정값을 위해 초기하 프레임 박형화(Hypergeometric frame-thinning) 과정을 기반으로 하는 조건부 생성 프레임워크를 개발합니다. 생성 모델은 광자가 극도로 부족한(photon-starved) 역문제의 일대다 특성을 포착하여, 측정값이 증가함에 따라 이러한 모호성이 어떻게 감소하는지와 문자 인식, QR 코드 디코딩, 얼굴 분석과 같은 하류 작업에 미치는 영향을 실증적으로 규명할 수 있도록 합니다.

arXiv:2607.10094v1cs.CV공통 태그 Image Reconstruction, Face Recognition

LFD: 대규모 데이터셋을 활용한 실세계 렌즈리스 얼굴 인식 구현

LFD: Enabling Real-World Lensless Face Recognition with a Large-Scale Dataset

얼굴 인식은 일상적인 스마트폰 생체 인증부터 고위험 보안 시스템에 이르기까지 광범위한 응용 분야를 가진 컴퓨터 비전(CV) 작업이다. 대부분의 얼굴 인식 시스템은 전통적인 카메라에 의존하는데, 이러한 카메라는 부피가 큰 폼 팩터, 높은 비용, 제한적인 프라이버시 보호 등의 한계를 가지는 경우가 많다. 이러한 한계를 해결하기 위해 렌즈리스 카메라가 대안으로 등장하였다. 렌즈리스 카메라는 얇은 광학 인코더를 사용하여 더 작은 크기, 낮은 비용, 높은 설계 유연성을 가능하게 한다. 이러한 카메라는 일반적으로 원시 캡처를 인식 가능한 이미지로 변환하는 복원 알고리즘과 함께 사용된다. 그러나 복원된 이미지에는 아티팩트가 포함되는 경우가 많으며, 복원 방법은 실세계 조건에 대한 일반화에 어려움을 겪는다. 또한 기존의 얼굴 데이터셋은 렌즈리스 이미지에 존재하는 아티팩트를 고려하지 않는다. 이 문제를 해결하기 위해 우리는 렌즈리스 얼굴 데이터셋(LFD, Lensless Face Dataset)을 소개한다. LFD는 다양한 조명, 각도, 거리 조건에서 촬영된 얼굴의 21,080개 렌즈리스 원시 측정값, 복원 이미지, 표준 이미지로 구성된다. 주요 기여는 다음과 같다: (1) 실세계 렌즈리스 얼굴 데이터: LFD는 서로 다른 환경에서 발생하는 다양한 수준의 아티팩트를 포함하는 다양한 얼굴 데이터셋 구축에 초점을 맞춘다; (2) 야외 환경 촬영: 4,976장의 이미지가 자연광 강도와 배경 패턴이 다양한 야외 환경에서 촬영되었다; (3) 다수의 렌즈리스 장치: LFD는 각각 고유한 광학 인코더를 가진 세 가지 서로 다른 유형의 렌즈리스 카메라에서 수집된 얼굴 이미지를 포함한다. 우리는 이러한 하드웨어 다양성을 활용하여 서로 다른 렌즈리스 카메라 간의 일반화를 입증한다. 종합적인 평가와 분석을 통해, LFD가 서로 다른 렌즈리스 이미징 장치 간의 공유 특징과 아티팩트를 효과적으로 포착함으로써 렌즈리스 얼굴 인식 발전에 유용한 데이터셋임을 보여준다.

arXiv:2607.00047v3cs.MM공통 태그 Image Reconstruction

Vertigo Vertigo: 예측 AI 분신을 통한 영화적 이상의 재구성

Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double

Vertigo Vertigo는 히치콕의 「현기증」(Vertigo, 1958)을 장면 단위로 AI가 재구성한 작품으로, 원본 영화 프레임의 2.78%만으로 생성되었다. 이처럼 희소한 키프레임 앵커를 사용하여 대규모 비디오 확산 모델로 첫 프레임과 마지막 프레임 사이를 보간함으로써 그 사이의 장면들을 예측한다. 「현기증」은 그 자체가 인위적 이상(理想)에 대한 집착적 재구성을 다룬 영화이며, Vertigo Vertigo는 이러한 논리를 영화의 질료로 확장하여, 정전(正典)이 된 텍스트를 생성 시스템 내부에 부호화된 고전 영화의 규범적 관습을 탐색하는 프로브로 취급한다. 미디어 이론가들(Lev Manovich, Shane Denson, Kevin L. Ferguson)의 비평적 피드백과 계산적 분석을 통해 평가한 결과, 이 결과물은 놀라운 구조적 충실도를 보인다. 프레임의 73.1%가 「현기증」의 그럴듯한 재현으로 인식되며, 치명적으로 실패한 프레임은 3.6%에 불과하다. 이러한 충실도는 영화적 규범이 모델의 잠재 사전분포 안에 깊이 압축되어 있음을 시사한다. 미학적으로 이 재구성물은 원본 영화와 그 예측된 그림자 사이의 불안정한 오버레이로 구현되며, 관객의 인식 속에서 진정성에 대한 지속적인 의심, 곧 21세기의 현기증을 불러일으킨다. 이 작업은 생성 미디어가 영화로부터의 패러다임 전환이 아니라, 고전 할리우드에서 오늘날 동시대 지각을 재편하고 있는 예측 미디어 환경에 이르기까지 이어지는 욕망과 거짓 진정성이라는 영화의 논리가 가속된 것이라고 주장한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.