arXiv:2012.04111

SuperFront: From Low-resolution to High-resolution Frontal Face Synthesis

Yu Yin, Joseph P. Robinson, Songyao Jiang, Yue Bai, Can Qin, Yun Fu

제출 2020-12-07

원문 초록

Advances in face rotation, along with other face-based generative tasks, are more frequent as we advance further in topics of deep learning. Even as impressive milestones are achieved in synthesizing faces, the importance of preserving identity is needed in practice and should not be overlooked. Also, the difficulty should not be more for data with obscured faces, heavier poses, and lower quality. Existing methods tend to focus on samples with variation in pose, but with the assumption data is high in quality. We propose a generative adversarial network (GAN) -based model to generate high-quality, identity preserving frontal faces from one or multiple low-resolution (LR) faces with extreme poses. Specifically, we propose SuperFront-GAN (SF-GAN) to synthesize a high-resolution (HR), frontal face from one-to-many LR faces with various poses and with the identity-preserved. We integrate a super-resolution (SR) side-view module into SF-GAN to preserve identity information and fine details of the side-views in HR space, which helps model reconstruct high-frequency information of faces (i.e., periocular, nose, and mouth regions). Moreover, SF-GAN accepts multiple LR faces as input, and improves each added sample. We squeeze additional gain in performance with an orthogonal constraint in the generator to penalize redundant latent representations and, hence, diversify the learned features space. Quantitative and qualitative results demonstrate the superiority of SF-GAN over others.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13608v1eess.AS공통 태그 Generative Adversarial Network, Vocal Bursts Intensity Prediction

적대적 학습을 통한 연속 SPL 제어 기반 음성 강도 변환

Vocal Intensity Conversion with Continuous SPL Control via Adversarial Training

음성 강도 변환(vocal intensity conversion)은 녹음된 발화의 내용과 화자 정체성(speaker identity)을 보존하면서, 단순히 진폭을 스케일링하는 것이 아니라 해당 발화를 다른 음성 강도로 렌더링한다. 기존 시스템은 참조 발화(reference utterance) 또는 몇 가지 불연속적인 범주를 통해 강도를 제어한다. 대신, 우리는 연속적인 dB 스케일 상의 임의의 목표 음압 레벨(sound pressure level, SPL)로 변환을 제어한다. 병렬 데이터 없이 조건부 순환 일관성 생성적 적대 신경망(conditional cycle-consistent GAN)으로 학습된 경량 변환기(converter)는 고정된(frozen) 음성 인코더의 특징(feature)을 변환하며, 이로부터 사전학습된 보코더(vocoder)가 음성을 재합성한다. 우리는 로그-멜 스펙트로그램(log-mel spectrogram), WavLM, SpeechTokenizer 세 가지 표현(representation)을 비교하고, 보정된(calibrated) 코퍼스 상에서 달성된 강도 변화를 목표 강도 변화와 비교하여 측정하는 객관적 프로토콜을 도입한다. WavLM을 사용할 경우, 변환기는 목표 강도 변화의 83%를 달성하는 것으로 측정되었으며, 기본 주파수(fundamental frequency) 또한 이동시킨다. 지각 평가(perceptual evaluation)는 진폭이 정규화된(amplitude-normalized) 자극(stimuli)에서 지각된 음성 강도가 목표 레벨에 따라 증가함을 확인한다.

arXiv:2609.27131v1cs.CV공통 태그 Generative Adversarial Network, Super-Resolution

불확실성 추정을 갖춘 적응형 계층화 앙상블 학습을 통한 태양 자기력선도 초해상도

Super-Resolution of Solar Magnetograms via Adaptive Stratified Ensemble Learning with Uncertainty Estimation

태양 광구 자기력선도의 단일 영상 초해상도(super-resolution)는 이질적인 우주 기반 관측 장비 간 일관된 분석을 가능하게 하며 태양 자기장 진화에 대한 장기 연구를 지원한다. 저해상도 SOHO/MDI에서 고해상도 SDO/HMI 시선 방향(line-of-sight, LOS) 자기력선도로의 초해상도 과제를, ESRGAN 사전학습 가중치로 초기화한 수정 RRDBNet 아키텍처를 사용하여 다룬다. 체계적인 영상별 진단 분석을 통해 재구성 오류의 지배적 예측 변수로서 영상 복잡도를 확인한다. 이 결과를 활용하기 위해 불확실성 추정을 포함한 세 개의 전문 네트워크로 구성된 적응형 계층화 전문가 앙상블(adaptive stratified specialist ensemble, SSE)을 제안한다. 각 전문 네트워크는 가중 무작위 샘플링 전략을 사용하여 세 가지 서로 다른 복잡도 계층의 영상으로 학습된다. 추론 시 입력 영상 통계에 기반한 경량 라우터가 각 테스트 영상을 적절한 전문 네트워크에 할당한다. 실험 결과는 제안한 앙상블의 우수한 성능과 밀접히 관련된 방법들 대비 우월성을 보여준다.

arXiv:2607.01642v1cs.CV공통 태그 Generative Adversarial Network, Super-Resolution

다중 해상도 플로우 매칭: 단계적 샘플링을 통한 학습 없는 디퓨전 가속

Multi-Resolution Flow Matching: Training-Free Diffusion Acceleration via Staged Sampling

타임스텝 증류(timestep distillation)와 특징(feature) 캐싱과 같이 텍스트-이미지 디퓨전을 가속하기 위한 하드웨어에 구애받지 않는(hardware-agnostic) 전략들은 커스텀 커널이나 시스템 수준의 최적화 없이 추론(inference) 시간을 줄일 수 있다. 그 중에서도 다중 해상도 생성 전략은 최근 광범위한 주목을 받고 있으며, 어떠한 학습(training) 없이도 5배 이상의 속도 향상을 달성한다. 그러나 잠재 공간에서 업샘플링을 수행하는 설계와 부분 영역의 선택적 수정이 결합되어, 이러한 방법들은 눈에 띄는 블러링이나 아티팩트를 나타낸다. 이를 위해, 우리는 단계적 저해상도-고해상도 파이프라인을 기반으로 구축된 사전학습된 플로우 매칭(flow-matching) 모델(model)을 위한 학습 없는 다중 해상도 가속 전략인 MrFlow를 제안한다. MrFlow는 먼저 저해상도에서 주요 구조를 빠르게 생성한 후, 경량의 사전학습된 생성적 적대 신경망(GAN) 기반 모델을 사용하여 픽셀 공간에서 초해상도를 수행하고, 이어서 고주파 리샘플링을 가능하게 하기 위해 낮은 강도의 노이즈를 주입한 뒤, 최종적으로 고해상도에서 세부 사항을 정제한다. FLUX.1-dev와 Qwen-Image에 대한 정량적 및 정성적 결과는 MrFlow가 저해상도 샘플링의 이차적 토큰(token) 감소와 감소된 스텝 요구량을 활용하여, 가속 이전 대비 OneIG를 1% 이내 차이로 유지하면서 10배의 엔드-투-엔드 가속을 달성하고, 다른 학습 없는 가속 전략들을 크게 능가하며, 어떠한 학습이나 런타임 동적 식별도 필요하지 않음을 보여준다. MrFlow는 또한 사전학습된 타임스텝 증류 전략과 직교적으로 직접 결합하여, 최대 25배의 더 높은 생성 가속을 달성할 수 있다.

arXiv:2605.23264v2cs.CV공통 태그 Generative Adversarial Network, Super-Resolution

노이즈에 색 입히기: 충실한 이미지 초해상도를 위한 적대적 Sobolev 정렬

Coloring the Noise: Adversarial Sobolev Alignment for Faithful Image Super Resolution

이미지 초해상도(SR)에서 생성적 사전지식은 종종 충실한 복원을 희생시킨다. 우리는 이 한계를 등방성 목적함수와 고유한 자연 이미지 매니폴드 사이의 근본적인 스펙트럴 정렬 불일치에 기인한다고 본다. 직접 선호 최적화는 정렬의 한 경로를 제공하지만, 스펙트럴적으로 평탄한 가우시안 노이즈에 의존하기 때문에 진정한 고주파 세부사항과 환각을 구분하지 못한다. 이 기하학적 간극을 메우기 위해, 우리는 이론적으로 뒷받침된 프레임워크 ASASR을 제안한다. ASASR은 노이즈 전이 커널에 명시적으로 색을 입혀 자연스러운 스펙트럴 감쇠를 반영함으로써 생성 흐름을 Sobolev-유도 리만 기하학으로 재구성한다. 이 기하학적 정렬을 추진하기 위해, Riesz 표현 정리에 기반한 매개변수화 적대자를 통합한다. 이는 최악의 경우 Sobolev 기울기에 상응하는 표적화된 부정 샘플을 합성하여, 그럴듯한 구조적 실패의 접공간을 따라 최적화를 유도한다. 광범위한 평가 결과 ASASR은 선도적인 생성형 베이스라인을 능가하며, 특히 스펙트럴 일관성과 구조적 충실도를 보존하는 데 탁월하다. 아티팩트를 효과적으로 완화하는 견고한 솔루션을 제공한다.

arXiv:2606.27305v1cs.CV공통 태그 Generative Adversarial Network, Face Generation

NeRF 기하 조형: 3D 인식 얼굴 GAN의 인간 선호 미세조정

Sculpting NeRF Geometry: Human-Preference Fine-Tuning of a 3D-Aware Face GAN

3D 생성을 위한 인간 피드백 강화학습(RLHF)은 여러 연구에서 이미 정착되었지만, 기존 파이프라인 대부분은 명시적 표면 표현을 최적화하며, 흔히 radiance field를 메시로 변환하고 표면 감독 데이터 위주로 학습한다. 우리는 대신 외부에서 제공되는 메시나 형상 prior 없이, radiance field 밀도($\sigma$) 값에 대한 학습된 보상으로 사전학습된 3D 인식 생성 모델을 직접 미세조정한다. 보상 모델은 사전학습이 필요 없고, 소량의 선호 샘플로 쉽게 학습되며, 3D 기하에서 견고한 개선을 이끈다. 무조건부 3D 인식 얼굴 GAN(EG3D)을 대상으로, 우리의 보상은 신경 radiance field(NeRF)의 연속 3D 밀도 필드를 직접 읽어 기하 전용 학습 신호를 제공하며, 텍스트 조건화, 메시 추출, 다중 시점 렌더링이 모두 필요하지 않다. 밀도 일관성 제약은 기하가 재형성되는 동안 2D 외관을 질적으로 유사하게 유지하며, 측정 가능하나 제한된 분포 비용(FID-50k가 4.09에서 6.66으로 증가)을 수반한다: 개념 증명으로 단일 어노테이터의 선호만으로 미세조정된 생성기를 학습했을 때, pairwise 비교의 74.4%에서 사용자가 선호하는 얼굴 기하를 생성한다.

arXiv:2603.21510v3eess.IV공통 태그 Generative Adversarial Network, Super-Resolution

비정합 스펙트럼 영상 융합: 분해, 적대적 학습 및 복원 가능성

Unregistered Spectral Image Fusion: Unmixing, Adversarial Learning, and Recoverability

본 논문은 대략적으로 겹치는 영역을 포함하는, 공간적으로 정합되지 않은 초분광 영상(HSI)과 다분광 영상(MSI) 한 쌍의 융합을 다룬다. HSI는 높은 스펙트럼 해상도와 낮은 공간 해상도를 제공하고, MSI는 그 반대를 제공한다. 목표는 상호 보완적인 정보를 통합하여 HSI의 공간 해상도와 MSI의 스펙트럼 해상도를 모두 향상시키는 것이다. 초분광-다분광 융합(HMF)은 널리 연구되어 왔지만, 비정합 설정은 여전히 어려운 과제로 남아 있다. 기존 방법 중 많은 것은 MSI 초해상화(super-resolution)에만 집중하여 HSI는 변경하지 않은 채로 둔다. HSI 초해상화를 위해 지도 심층 학습 접근법이 제안되었지만, 정확한 학습 데이터에 의존하며 이는 종종 이용할 수 없다. 더욱이 이론적 분석은 대체로 공동 정합(co-registered) 경우에 초점을 맞추어, 비정합 HMF에 대한 이해는 부족하다. 본 연구에서는 MSI와 HSI를 동시에 초해상화하는 비지도 프레임워크를 제안한다. 이 방법은 MSI 초해상화를 위한 결합 스펙트럼 분해(coupled spectral unmixing)와 HSI 초해상화를 위한 잠재 공간(latent-space) 적대적 학습을 통합한다. 합리적인 생성 모델(generative models) 하에서 초해상화된 MSI와 HSI의 복원 가능성(recoverability)에 대한 이론적 보장을 수립하였으며, 이는 우리가 아는 한 비정합 HMF에 대한 최초의 통찰이다. 이 접근법은 다양한 조건에서 준실(semi-real) 및 실(real) HSI-MSI 쌍에 대해 검증되었다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.