arXiv:1811.08965

Low-Resolution Face Recognition

Zhiyi Cheng, Xiatian Zhu, Shaogang Gong

제출 2018-11-21

원문 초록

Whilst recent face-recognition (FR) techniques have made significant progress on recognising constrained high-resolution web images, the same cannot be said on natively unconstrained low-resolution images at large scales. In this work, we examine systematically this under-studied FR problem, and introduce a novel Complement Super-Resolution and Identity (CSRI) joint deep learning method with a unified end-to-end network architecture. We further construct a new large-scale dataset TinyFace of native unconstrained low-resolution face images from selected public datasets, because none benchmark of this nature exists in the literature. With extensive experiments we show there is a significant gap between the reported FR performances on popular benchmarks and the results on TinyFace, and the advantages of the proposed CSRI over a variety of state-of-the-art FR and super-resolution deep models on solving this largely ignored FR scenario. The TinyFace dataset is released publicly at: https://qmul-tinyface.github.io/.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11025v1cs.CV공통 태그 Super-Resolution, Face Recognition

공간 트랜스포머를 활용한 참조 기반 얼굴 초해상도

Reference-Based Face Super-Resolution Using the Spatial Transformer

얼굴 초해상도(face super-resolution)는 얼굴이 포함된 이미지의 해상도를 높여 더 세밀한 디테일을 추가하는 작업이다. 이는 다양한 컴퓨터 비전(CV) 응용 프로그램에서 널리 사용되며, 사용자가 수행되고 있음을 인식하지 못하는 경우도 많다. 그러나 이는 비적절 문제(ill-posed problem)이기 때문에 높은 충실도로 수행하기가 어렵다. 본 논문에서는 고해상도 참조 이미지를 활용하여 작업을 보조하는 참조 기반 얼굴 초해상도 솔루션을 제시한다. 우리는 널리 사용되는 변형 가능한 합성곱(deformable convolutions)보다 상당히 안정적인 공간 트랜스포머(spatial transformer) 기반의 정렬 모듈을 제안한다. 또한 참조 이미지에서 양질의 정보를 활용할 수 있을 때는 이를 취하고, 해당 정보가 없을 때는 기능을 억제하는 집계 함수(aggregation function)도 제시한다. 마지막으로, 상대적으로 더 작은 우리의 모델이 여러 데이터셋에서 최첨단(state-of-the-art) 결과를 달성할 수 있음을 보여준다. 소스 코드는 https://github.com/varun-jois/FSRST 에서 확인할 수 있다.

arXiv:2601.01406v2cs.CV공통 태그 Super-Resolution, Face Recognition

SwinIFS: 랜드마크 가이드 Swin 트랜스포머를 활용한 신원 보존 얼굴 초해상도

SwinIFS: Landmark Guided Swin Transformer For Identity Preserving Face Super Resolution

얼굴 초해상도(face super-resolution)는 심하게 열화된 저해상도 입력으로부터 고품질 얼굴 이미지를 복원하는 것을 목표로 하지만, 미세한 구조적 세부 정보와 신원 고유 특징의 손실로 인해 여전히 어려운 과제로 남아 있다. 본 연구에서는 SwinIFS를 소개한다. 이는 구조적 사전 정보(structural priors)와 계층적 어텐션 메커니즘을 통합하여 적당한 배율과 극단적인 배율 모두에서 신원을 보존하는 재구성을 달성하는 랜드마크 가이드 초해상도 프레임워크이다. 이 방법은 주요 얼굴 랜드마크의 밀집 가우시안 히트맵(dense Gaussian heatmaps)을 입력 표현에 통합하여, 처리 초기 단계부터 네트워크가 의미론적으로 중요한 얼굴 영역에 집중할 수 있도록 한다. 컴팩트한 Swin 트랜스포머 백본을 사용하여 장거리 문맥 정보를 포착하는 동시에 로컬 기하학 구조를 보존함으로써, 모델이 미묘한 얼굴 텍스처를 복원하고 전역적인 구조적 일관성을 유지할 수 있게 한다. CelebA 벤치마크에서의 광범위한 실험을 통해 SwinIFS가 우수한 지각적 품질, 더 선명한 재구성, 향상된 신원 보존을 달성함을 입증하였다. 특히 대부분의 방법이 의미 있는 구조를 복원하지 못하는 $8\times$ 배율에서도 일관되게 더 사실적인 결과를 생성하며 강력한 성능을 발휘한다. SwinIFS는 또한 재구성 정확도와 계산 효율성 사이의 유리한 균형을 제공하여, 얼굴 향상, 감시, 디지털 복원 등 실제 응용에 적합하다. 코드, 모델 가중치 및 결과물은 https://github.com/Habiba123-stack/SwinIFS에서 확인할 수 있다.

arXiv:2607.05702v1cs.CV공통 태그 Super-Resolution, Face Recognition

확산 모델에서 다중 특징 집계를 통한 강인한 얼굴 초해상도 및 인식

Robust Face Super-Resolution and Recognition Through Multi-Feature Aggregation in Diffusion Models

감시 환경에서 취득한 이미지는 흔히 저해상도, 자세 변화, 불규칙한 조명, 가림 현상 등의 문제를 겪는다. 이러한 이미지의 낮은 품질로 인해 얼굴 인식 알고리즘은 종종 어려움을 겪는다. 이 주요 한계는 이미지의 세부 정보를 향상시키는 초해상도(super-resolution) 기법을 활용함으로써 해결할 수 있다. 그러나 문제의 난이도가 높기 때문에, 대부분의 초해상도 알고리즘은 이미지와 개인의 정체성에 왜곡을 유발하는 경향이 있다. 따라서 인식 강인성을 개선하기 위해 처리 과정에 추가적인 정보를 통합해야 한다. 이와 관련하여, 감시 카메라는 저품질이더라도 여러 이미지를 캡처할 수 있으며, 연속 비디오 프레임 등 이러한 이미지에서 추출한 데이터는 초해상도와 얼굴 인식 모두를 크게 향상시킬 수 있다. 본 연구에서는 확산 모델 기반 초해상도 알고리즘인 FASR++를 소개한다. FASR++는 참조 저해상도 이미지와 다수의 보조 저품질 이미지에서 추출한 특징을 활용하여, 개인의 정체성 왜곡을 최소화하면서 초해상도 출력을 생성한다. 본 접근법은 소프트 속성을 명시적으로 제공하거나 재구성 과정을 안내하기 위한 함수 그래디언트를 계산하지 않고도 얼굴 특징을 복원한다. FASR++는 전처리 단계로 활용될 때 얼굴 인식 태스크의 성능을 크게 향상시킬 수 있는 고품질 이미지를 생성한다. 우리는 두 가지 표준 얼굴 인식 데이터셋에서 접근법을 검증하여, 검증(verification), 얼굴 인식, 그리고 PSNR, SSIM, LPIPS 등의 이미지 품질 지표에서 최첨단 결과를 달성하였다.

arXiv:2606.24336v1cs.CV공통 태그 Super-Resolution, Face Recognition

TIGER: 고품질 얼굴 영상 복원을 위한 정체성, 기하학, 생성 사전 정보의 통합 제어

TIGER: Taming Identity, Geometry, and Generative Priors for High-Quality Face Video Restoration

얼굴 영상 복원(FVR)은 열화된 입력으로부터 고충실도의 얼굴 영상을 복원하면서 프레임 간 정체성 및 의미적 일관성을 유지하는 것을 목표로 한다. 기존 방법들은 정체성 변화, 시점에 얽힌 가이던스, 지각적 사실성이라는 세 가지 핵심 과제를 동시에 해결하는 데 어려움을 겪는다. 이러한 문제를 해결하기 위해, 우리는 고품질 FVR을 위해 정체성(Identity), 기하학(Geometry), 생성 사전 정보(Generative Prior)를 통합 제어하는 구조화된 삼중 사전 정보 융합 프레임워크인 TIGER를 제안한다. 구체적으로, 먼저 피사체 식별 임베딩을 잠재 공간에 주입하여 정체성 사전 정보(Identity Prior)를 구축함으로써, 심각한 열화 상황에서도 피사체의 정체성을 효과적으로 고정한다. 다음으로, 동적 영상에 대한 시간적으로 일관된 구조적 가이던스를 제공하기 위해, TIGER는 2D 참조 단서를 분리된 3D 매개변수 공간으로 투영하여 기하학 사전 정보(Geometry Prior)를 구성하고, 교차 소스 매개변수 융합을 통해 기하학적 앵커를 생성한다. 또한, 사실성을 저해하지 않으면서 최대 효율을 달성하기 위해, 단일 단계 정류 흐름(one-step rectified flow)을 통해 영상 생성 모델의 생성 사전 정보(Generative Prior)를 활용한다. 아울러, 구조적 충실도, 텍스처 재구성, 분포 수준의 사실성을 단계적으로 정제하는 점진적 3단계 학습 최적화 전략을 설계하여 견고한 최적화를 보장한다. 강건한 학습과 표준화된 평가를 촉진하기 위해 대규모 FVR 데이터셋도 구축하였다. 광범위한 실험을 통해 TIGER가 정체성 충실도와 시간적 안정성 모두에서 최첨단 성능을 달성하며, 고품질의 효율적이고 정체성 일관된 FVR을 제공함을 입증한다. 프로젝트 페이지: https://yzhoulv.github.io/Tiger/.

arXiv:2505.19120v2cs.CV공통 태그 Super-Resolution공식 코드 · Papers with Code

Freqformer: 효과적인 주파수 분해를 통한 이미지 무아레 제거 트랜스포머

Freqformer: Image-Demoiréing Transformer via Effective Frequency Decomposition

이미지 무아레 제거(image demoiréing)는 무아레 패턴으로 인한 텍스처 손상과 색상 왜곡 간의 복잡한 상호작용 때문에 여전히 어려운 과제로 남아 있다. 기존 방법들, 특히 직접적인 이미지 대 이미지 복원에 의존하는 방법들은 이처럼 뒤엉킨 아티팩트를 효과적으로 분리하는 데 실패하는 경우가 많다. 주파수 인식(frequency-aware) 접근법이 유망한 방향을 제시하지만, 이산 변환(예: Haar 웨이블릿 또는 블록 기반 DCT)으로 인해 그 잠재력이 제한된다. 이러한 이산 변환은 공간적 불연속성, 채널 중복 문제를 야기할 수 있으며, 고정된 역변환 과정에서 오차 누적을 초래할 수 있다. 본 논문에서는 목표 지향적 주파수 분리를 통해 이미지 무아레 제거를 위해 특별히 설계된 트랜스포머 기반 프레임워크인 Freqformer를 제안한다. 제안된 방법은 무아레 패턴을 고주파 공간 국소화 텍스처와 저주파 스케일 강인 색상 왜곡으로 분리하는 효과적인 주파수 분해를 수행하며, 각각의 특성에 맞게 설계된 이중 분기 아키텍처와 비대칭 학습 방식을 통해 처리된다. 또한, 주파수별 출력을 적응적으로 융합하여 일관되고 고충실도의 복원을 가능하게 하는 학습 가능한 주파수 합성 변환(FCT, Frequency Composition Transform) 모듈을 제안한다. 공간적 의존성과 채널 간 보완 정보를 더욱 효과적으로 집약하기 위해, 높은 연산 비용 없이 무아레에 민감한 영역을 정제하는 공간 인식 채널 어텐션(SA-CA, Spatial-Aware Channel Attention) 모듈을 도입한다. 다양한 무아레 제거 벤치마크에 대한 광범위한 실험을 통해 Freqformer가 소형 모델 크기로 최첨단 성능을 달성함을 입증한다. 코드는 https://github.com/xyLiu339/Freqformer에서 공개될 예정이다.

arXiv:2506.11139v3eess.IV공통 태그 Super-Resolution공식 코드 · Papers with Code

그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다

Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals

암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.