arXiv:2103.08863

Super-Resolving Cross-Domain Face Miniatures by Peeking at One-Shot Exemplar

Peike Li, Xin Yu, Yi Yang

제출 2021-03-16

원문 초록

Conventional face super-resolution methods usually assume testing low-resolution (LR) images lie in the same domain as the training ones. Due to different lighting conditions and imaging hardware, domain gaps between training and testing images inevitably occur in many real-world scenarios. Neglecting those domain gaps would lead to inferior face super-resolution (FSR) performance. However, how to transfer a trained FSR model to a target domain efficiently and effectively has not been investigated. To tackle this problem, we develop a Domain-Aware Pyramid-based Face Super-Resolution network, named DAP-FSR network. Our DAP-FSR is the first attempt to super-resolve LR faces from a target domain by exploiting only a pair of high-resolution (HR) and LR exemplar in the target domain. To be specific, our DAP-FSR firstly employs its encoder to extract the multi-scale latent representations of the input LR face. Considering only one target domain example is available, we propose to augment the target domain data by mixing the latent representations of the target domain face and source domain ones, and then feed the mixed representations to the decoder of our DAP-FSR. The decoder will generate new face images resembling the target domain image style. The generated HR faces in turn are used to optimize our decoder to reduce the domain gap. By iteratively updating the latent representations and our decoder, our DAP-FSR will be adapted to the target domain, thus achieving authentic and high-quality upsampled HR faces. Extensive experiments on three newly constructed benchmarks validate the effectiveness and superior performance of our DAP-FSR compared to the state-of-the-art.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11034v1cs.CV공통 태그 Decoder, Super-Resolution

RTFVE: 실시간 얼굴 비디오 향상

RTFVE: Realtime Face Video Enhancement

화상 회의 애플리케이션은 개인 및 업무 용도 모두에서 채택이 급증하고 있다. 그러나 전 세계 많은 사용자들이 직면한 대역폭 제한으로 인해 이러한 애플리케이션의 최적 활용이 저해될 수 있다. 심층 학습(deep learning)은 저비트레이트 비디오를 향상시키는 솔루션을 제공하지만, 오늘날 대부분의 모델은 최신 압축 표준과 통합하기 어렵거나 고성능 GPU와 같은 특수 하드웨어를 필요로 하여 실용성이 낮다. 이러한 문제를 해결하기 위해, 임의의 비디오 디코더와 손쉽게 통합할 수 있고 일반 CPU에서 실시간으로 실행 가능한 실시간 얼굴 비디오 향상(RTFVE) 모델을 제안한다. 실험 결과, 본 모델은 여러 저비트레이트 설정에서 압축 비디오 기준선 대비 지각적 품질을 향상시키는 것으로 나타났다. 소스 코드는 https://github.com/varun-jois/RTFVE에서 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.