Low Resolution Face Recognition Using a Two-Branch Deep Convolutional Neural Network Architecture
원문 초록
We propose a novel couple mappings method for low resolution face recognition using deep convolutional neural networks (DCNNs). The proposed architecture consists of two branches of DCNNs to map the high and low resolution face images into a common space with nonlinear transformations. The branch corresponding to transformation of high resolution images consists of 14 layers and the other branch which maps the low resolution face images to the common space includes a 5-layer super-resolution network connected to a 14-layer network. The distance between the features of corresponding high and low resolution images are backpropagated to train the networks. Our proposed method is evaluated on FERET data set and compared with state-of-the-art competing methods. Our extensive experimental results show that the proposed method significantly improves the recognition performance especially for very low resolution probe face images (11.4% improvement in recognition accuracy). Furthermore, it can reconstruct a high resolution image from its corresponding low resolution probe image which is comparable with state-of-the-art super-resolution methods in terms of visual quality.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공간 트랜스포머를 활용한 참조 기반 얼굴 초해상도
Reference-Based Face Super-Resolution Using the Spatial Transformer
얼굴 초해상도(face super-resolution)는 얼굴이 포함된 이미지의 해상도를 높여 더 세밀한 디테일을 추가하는 작업이다. 이는 다양한 컴퓨터 비전(CV) 응용 프로그램에서 널리 사용되며, 사용자가 수행되고 있음을 인식하지 못하는 경우도 많다. 그러나 이는 비적절 문제(ill-posed problem)이기 때문에 높은 충실도로 수행하기가 어렵다. 본 논문에서는 고해상도 참조 이미지를 활용하여 작업을 보조하는 참조 기반 얼굴 초해상도 솔루션을 제시한다. 우리는 널리 사용되는 변형 가능한 합성곱(deformable convolutions)보다 상당히 안정적인 공간 트랜스포머(spatial transformer) 기반의 정렬 모듈을 제안한다. 또한 참조 이미지에서 양질의 정보를 활용할 수 있을 때는 이를 취하고, 해당 정보가 없을 때는 기능을 억제하는 집계 함수(aggregation function)도 제시한다. 마지막으로, 상대적으로 더 작은 우리의 모델이 여러 데이터셋에서 최첨단(state-of-the-art) 결과를 달성할 수 있음을 보여준다. 소스 코드는 https://github.com/varun-jois/FSRST 에서 확인할 수 있다.
SwinIFS: 랜드마크 가이드 Swin 트랜스포머를 활용한 신원 보존 얼굴 초해상도
SwinIFS: Landmark Guided Swin Transformer For Identity Preserving Face Super Resolution
얼굴 초해상도(face super-resolution)는 심하게 열화된 저해상도 입력으로부터 고품질 얼굴 이미지를 복원하는 것을 목표로 하지만, 미세한 구조적 세부 정보와 신원 고유 특징의 손실로 인해 여전히 어려운 과제로 남아 있다. 본 연구에서는 SwinIFS를 소개한다. 이는 구조적 사전 정보(structural priors)와 계층적 어텐션 메커니즘을 통합하여 적당한 배율과 극단적인 배율 모두에서 신원을 보존하는 재구성을 달성하는 랜드마크 가이드 초해상도 프레임워크이다. 이 방법은 주요 얼굴 랜드마크의 밀집 가우시안 히트맵(dense Gaussian heatmaps)을 입력 표현에 통합하여, 처리 초기 단계부터 네트워크가 의미론적으로 중요한 얼굴 영역에 집중할 수 있도록 한다. 컴팩트한 Swin 트랜스포머 백본을 사용하여 장거리 문맥 정보를 포착하는 동시에 로컬 기하학 구조를 보존함으로써, 모델이 미묘한 얼굴 텍스처를 복원하고 전역적인 구조적 일관성을 유지할 수 있게 한다. CelebA 벤치마크에서의 광범위한 실험을 통해 SwinIFS가 우수한 지각적 품질, 더 선명한 재구성, 향상된 신원 보존을 달성함을 입증하였다. 특히 대부분의 방법이 의미 있는 구조를 복원하지 못하는 $8\times$ 배율에서도 일관되게 더 사실적인 결과를 생성하며 강력한 성능을 발휘한다. SwinIFS는 또한 재구성 정확도와 계산 효율성 사이의 유리한 균형을 제공하여, 얼굴 향상, 감시, 디지털 복원 등 실제 응용에 적합하다. 코드, 모델 가중치 및 결과물은 https://github.com/Habiba123-stack/SwinIFS에서 확인할 수 있다.
확산 모델에서 다중 특징 집계를 통한 강인한 얼굴 초해상도 및 인식
Robust Face Super-Resolution and Recognition Through Multi-Feature Aggregation in Diffusion Models
감시 환경에서 취득한 이미지는 흔히 저해상도, 자세 변화, 불규칙한 조명, 가림 현상 등의 문제를 겪는다. 이러한 이미지의 낮은 품질로 인해 얼굴 인식 알고리즘은 종종 어려움을 겪는다. 이 주요 한계는 이미지의 세부 정보를 향상시키는 초해상도(super-resolution) 기법을 활용함으로써 해결할 수 있다. 그러나 문제의 난이도가 높기 때문에, 대부분의 초해상도 알고리즘은 이미지와 개인의 정체성에 왜곡을 유발하는 경향이 있다. 따라서 인식 강인성을 개선하기 위해 처리 과정에 추가적인 정보를 통합해야 한다. 이와 관련하여, 감시 카메라는 저품질이더라도 여러 이미지를 캡처할 수 있으며, 연속 비디오 프레임 등 이러한 이미지에서 추출한 데이터는 초해상도와 얼굴 인식 모두를 크게 향상시킬 수 있다. 본 연구에서는 확산 모델 기반 초해상도 알고리즘인 FASR++를 소개한다. FASR++는 참조 저해상도 이미지와 다수의 보조 저품질 이미지에서 추출한 특징을 활용하여, 개인의 정체성 왜곡을 최소화하면서 초해상도 출력을 생성한다. 본 접근법은 소프트 속성을 명시적으로 제공하거나 재구성 과정을 안내하기 위한 함수 그래디언트를 계산하지 않고도 얼굴 특징을 복원한다. FASR++는 전처리 단계로 활용될 때 얼굴 인식 태스크의 성능을 크게 향상시킬 수 있는 고품질 이미지를 생성한다. 우리는 두 가지 표준 얼굴 인식 데이터셋에서 접근법을 검증하여, 검증(verification), 얼굴 인식, 그리고 PSNR, SSIM, LPIPS 등의 이미지 품질 지표에서 최첨단 결과를 달성하였다.
TIGER: 고품질 얼굴 영상 복원을 위한 정체성, 기하학, 생성 사전 정보의 통합 제어
TIGER: Taming Identity, Geometry, and Generative Priors for High-Quality Face Video Restoration
얼굴 영상 복원(FVR)은 열화된 입력으로부터 고충실도의 얼굴 영상을 복원하면서 프레임 간 정체성 및 의미적 일관성을 유지하는 것을 목표로 한다. 기존 방법들은 정체성 변화, 시점에 얽힌 가이던스, 지각적 사실성이라는 세 가지 핵심 과제를 동시에 해결하는 데 어려움을 겪는다. 이러한 문제를 해결하기 위해, 우리는 고품질 FVR을 위해 정체성(Identity), 기하학(Geometry), 생성 사전 정보(Generative Prior)를 통합 제어하는 구조화된 삼중 사전 정보 융합 프레임워크인 TIGER를 제안한다. 구체적으로, 먼저 피사체 식별 임베딩을 잠재 공간에 주입하여 정체성 사전 정보(Identity Prior)를 구축함으로써, 심각한 열화 상황에서도 피사체의 정체성을 효과적으로 고정한다. 다음으로, 동적 영상에 대한 시간적으로 일관된 구조적 가이던스를 제공하기 위해, TIGER는 2D 참조 단서를 분리된 3D 매개변수 공간으로 투영하여 기하학 사전 정보(Geometry Prior)를 구성하고, 교차 소스 매개변수 융합을 통해 기하학적 앵커를 생성한다. 또한, 사실성을 저해하지 않으면서 최대 효율을 달성하기 위해, 단일 단계 정류 흐름(one-step rectified flow)을 통해 영상 생성 모델의 생성 사전 정보(Generative Prior)를 활용한다. 아울러, 구조적 충실도, 텍스처 재구성, 분포 수준의 사실성을 단계적으로 정제하는 점진적 3단계 학습 최적화 전략을 설계하여 견고한 최적화를 보장한다. 강건한 학습과 표준화된 평가를 촉진하기 위해 대규모 FVR 데이터셋도 구축하였다. 광범위한 실험을 통해 TIGER가 정체성 충실도와 시간적 안정성 모두에서 최첨단 성능을 달성하며, 고품질의 효율적이고 정체성 일관된 FVR을 제공함을 입증한다. 프로젝트 페이지: https://yzhoulv.github.io/Tiger/.
Freqformer: 효과적인 주파수 분해를 통한 이미지 무아레 제거 트랜스포머
Freqformer: Image-Demoiréing Transformer via Effective Frequency Decomposition
이미지 무아레 제거(image demoiréing)는 무아레 패턴으로 인한 텍스처 손상과 색상 왜곡 간의 복잡한 상호작용 때문에 여전히 어려운 과제로 남아 있다. 기존 방법들, 특히 직접적인 이미지 대 이미지 복원에 의존하는 방법들은 이처럼 뒤엉킨 아티팩트를 효과적으로 분리하는 데 실패하는 경우가 많다. 주파수 인식(frequency-aware) 접근법이 유망한 방향을 제시하지만, 이산 변환(예: Haar 웨이블릿 또는 블록 기반 DCT)으로 인해 그 잠재력이 제한된다. 이러한 이산 변환은 공간적 불연속성, 채널 중복 문제를 야기할 수 있으며, 고정된 역변환 과정에서 오차 누적을 초래할 수 있다. 본 논문에서는 목표 지향적 주파수 분리를 통해 이미지 무아레 제거를 위해 특별히 설계된 트랜스포머 기반 프레임워크인 Freqformer를 제안한다. 제안된 방법은 무아레 패턴을 고주파 공간 국소화 텍스처와 저주파 스케일 강인 색상 왜곡으로 분리하는 효과적인 주파수 분해를 수행하며, 각각의 특성에 맞게 설계된 이중 분기 아키텍처와 비대칭 학습 방식을 통해 처리된다. 또한, 주파수별 출력을 적응적으로 융합하여 일관되고 고충실도의 복원을 가능하게 하는 학습 가능한 주파수 합성 변환(FCT, Frequency Composition Transform) 모듈을 제안한다. 공간적 의존성과 채널 간 보완 정보를 더욱 효과적으로 집약하기 위해, 높은 연산 비용 없이 무아레에 민감한 영역을 정제하는 공간 인식 채널 어텐션(SA-CA, Spatial-Aware Channel Attention) 모듈을 도입한다. 다양한 무아레 제거 벤치마크에 대한 광범위한 실험을 통해 Freqformer가 소형 모델 크기로 최첨단 성능을 달성함을 입증한다. 코드는 https://github.com/xyLiu339/Freqformer에서 공개될 예정이다.
그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다
Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals
암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.