Face Generation from Textual Features using Conditionally Trained Inputs to Generative Adversarial Networks
원문 초록
Generative Networks have proved to be extremely effective in image restoration and reconstruction in the past few years. Generating faces from textual descriptions is one such application where the power of generative algorithms can be used. The task of generating faces can be useful for a number of applications such as finding missing persons, identifying criminals, etc. This paper discusses a novel approach to generating human faces given a textual description regarding the facial features. We use the power of state of the art natural language processing models to convert face descriptions into learnable latent vectors which are then fed to a generative adversarial network which generates faces corresponding to those features. While this paper focuses on high level descriptions of faces only, the same approach can be tailored to generate any image based on fine grained textual features.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
파인튜닝된 Cycle-Consistent Adversarial Network를 활용한 치과 CBCT 비지도 금속 아티팩트 감소
Unsupervised Metal Artifact Reduction in Dental CBCT using Fine-tuned Cycle-Consistent Adversarial Networks
치과 임플랜트로 인해 발생하는 금속 아티팩트는 원뿔 빔 컴퓨터 단층촬영(cone-beam computed tomography, CBCT) 볼륨의 품질을 크게 저하시켜, 중요한 해부학적 구조를 가리고 진단 정밀도를 훼손한다. 이를 해결하기 위해, 고충실도 복원에 최적화된 사이클 일관 적대적 네트워크(Cycle-Consistent Adversarial Network, CycleGAN)를 활용한 금속 아티팩트 감소(Metal Artifact Reduction, MAR)를 위한 비지도 심층 학습 프레임워크가 제안되었다. 달성 불가능한 복셀 정렬 페어 데이터셋에 의존하는 지도 학습 방법과 달리, 제안된 접근법은 공개 ToothFairy 데이터셋에서 큐레이션한 약 4,000장의 비페어 데이터셋을 활용한다. 해당 아키텍처는 U-Net 기반 생성기와 PatchGAN 판별기를 통합하며, 생성적 환각을 완화하고 형태학적 무결성을 보존하도록 특별히 튜닝되었다. 홀드아웃 테스트 세트에 대한 정량적 벤치마킹은 Blind/Referenceless Image Spatial Quality Evaluator(BRISQUE) 점수에서 34.6%의 개선, Fréchet Inception Distance(FID)의 207.03에서 157.04로의 상당한 감소, 그리고 0.9105의 우수한 Structural Similarity Index Measure(SSIM)을 보여준다. 해당 프레임워크는 슬라이스당 3.03 ms의 추론 시간으로 실시간 효율성을 달성하며, 해부학적 세부를 보존하면서 아티팩트를 효과적으로 억제한다. 전문가 검증은 높은 충실도를 확인했으나, 극단적인 경우의 신뢰성을 보장하기 위해 해당 아키텍처는 human-in-the-loop 감독 하의 임상 의사결정 지원 도구로 사용할 것을 권장한다. 확장 가능한 소프트웨어 파이프라인을 통해 진단 명확성을 향상시킴으로써, 본 연구는 고충실도 치과 임플랜트 영상화를 위한 견고한 해결책을 제공한다.
PASDiff: 실세계 저조도 얼굴 향상 및 복원을 위한 물리 인식 의미론적 가이던스
PASDiff: Physics-Aware Semantic Guidance for Joint Real-World Low-Light Face Enhancement and Restoration
실세계 저조도 환경에서 촬영된 얼굴 이미지는 낮은 조도, 블러, 노이즈, 낮은 가시성 등 다양한 열화를 동시에 겪는다. 기존의 캐스케이드 방식은 심각한 오류 누적 문제를 겪는 반면, 범용 통합 모델은 명시적인 얼굴 사전 정보가 부족하여 선명한 얼굴 구조를 복원하는 데 어려움을 겪는다. 본 논문에서는 학습 없이(training-free) 동작하는 물리 인식 의미론적 확산 모델인 PASDiff를 제안한다. 그럴듯한 조도 및 색상 분포를 달성하기 위해 역강도 가중치(inverse intensity weighting)와 Retinex 이론을 활용하여 광도 제약 조건을 도입함으로써 가시성과 자연스러운 색도를 신뢰성 있게 복원한다. 얼굴 세부 사항을 충실히 재구성하기 위해, 제안하는 스타일 비의존적 구조 주입(SASI, Style-Agnostic Structural Injection)은 기성 얼굴 사전 모델로부터 구조를 추출하되 내재된 광도 편향을 필터링하여, 신원 특징과 물리적 제약 조건을 자연스럽게 조화시킨다. 나아가, 복잡한 열화를 포함하는 700장의 실세계 저조도 얼굴 이미지로 구성된 실세계 벤치마크 WildDark-Face를 구축하였다. 광범위한 실험을 통해 PASDiff가 기존 방법들을 크게 능가하며, 자연스러운 조도, 색상 복원, 신원 일관성 사이에서 우수한 균형을 달성함을 입증한다. 코드와 데이터셋은 https://github.com/IVIPLab/PASDiff 에서 공개될 예정이다.
노이즈에 색 입히기: 충실한 이미지 초해상도를 위한 적대적 Sobolev 정렬
Coloring the Noise: Adversarial Sobolev Alignment for Faithful Image Super Resolution
이미지 초해상도(SR)에서 생성적 사전지식은 종종 충실한 복원을 희생시킨다. 우리는 이 한계를 등방성 목적함수와 고유한 자연 이미지 매니폴드 사이의 근본적인 스펙트럴 정렬 불일치에 기인한다고 본다. 직접 선호 최적화는 정렬의 한 경로를 제공하지만, 스펙트럴적으로 평탄한 가우시안 노이즈에 의존하기 때문에 진정한 고주파 세부사항과 환각을 구분하지 못한다. 이 기하학적 간극을 메우기 위해, 우리는 이론적으로 뒷받침된 프레임워크 ASASR을 제안한다. ASASR은 노이즈 전이 커널에 명시적으로 색을 입혀 자연스러운 스펙트럴 감쇠를 반영함으로써 생성 흐름을 Sobolev-유도 리만 기하학으로 재구성한다. 이 기하학적 정렬을 추진하기 위해, Riesz 표현 정리에 기반한 매개변수화 적대자를 통합한다. 이는 최악의 경우 Sobolev 기울기에 상응하는 표적화된 부정 샘플을 합성하여, 그럴듯한 구조적 실패의 접공간을 따라 최적화를 유도한다. 광범위한 평가 결과 ASASR은 선도적인 생성형 베이스라인을 능가하며, 특히 스펙트럴 일관성과 구조적 충실도를 보존하는 데 탁월하다. 아티팩트를 효과적으로 완화하는 견고한 솔루션을 제공한다.
NeRF 기하 조형: 3D 인식 얼굴 GAN의 인간 선호 미세조정
Sculpting NeRF Geometry: Human-Preference Fine-Tuning of a 3D-Aware Face GAN
3D 생성을 위한 인간 피드백 강화학습(RLHF)은 여러 연구에서 이미 정착되었지만, 기존 파이프라인 대부분은 명시적 표면 표현을 최적화하며, 흔히 radiance field를 메시로 변환하고 표면 감독 데이터 위주로 학습한다. 우리는 대신 외부에서 제공되는 메시나 형상 prior 없이, radiance field 밀도($\sigma$) 값에 대한 학습된 보상으로 사전학습된 3D 인식 생성 모델을 직접 미세조정한다. 보상 모델은 사전학습이 필요 없고, 소량의 선호 샘플로 쉽게 학습되며, 3D 기하에서 견고한 개선을 이끈다. 무조건부 3D 인식 얼굴 GAN(EG3D)을 대상으로, 우리의 보상은 신경 radiance field(NeRF)의 연속 3D 밀도 필드를 직접 읽어 기하 전용 학습 신호를 제공하며, 텍스트 조건화, 메시 추출, 다중 시점 렌더링이 모두 필요하지 않다. 밀도 일관성 제약은 기하가 재형성되는 동안 2D 외관을 질적으로 유사하게 유지하며, 측정 가능하나 제한된 분포 비용(FID-50k가 4.09에서 6.66으로 증가)을 수반한다: 개념 증명으로 단일 어노테이터의 선호만으로 미세조정된 생성기를 학습했을 때, pairwise 비교의 74.4%에서 사용자가 선호하는 얼굴 기하를 생성한다.
전립선 DWI 보정을 위한 왜곡 학습: 약한 지도 이미지 품질 전이
Learning to Distort: Weakly-Supervised Image Quality Transfer for Prostate DWI Correction
단일 샷 에코 플래너 전립선 확산 강조 이미징(DWI)은 기하학적 왜곡으로 인해 자주 복잡해지며, 이는 해당 이미지에서 신뢰할 수 있는 진단을 도출하는 능력에 영향을 미칩니다. 왜곡된 스캔과 비왜곡 스캔이 쌍으로 존재하는 임상 데이터가 부족하기 때문에 자동화된 보정 방법을 개발하는 것은 어려운 과제입니다. 본 논문에서 우리는 먼저 전이 과정을 지도하기 위해 이미지 품질 평가(IQA) 신호를 활용하는, 비왜곡 이미지에서 왜곡 이미지로의 새로운 약한 지도 이미지 품질 전이(IQT) 프레임워크를 제안합니다. 비용이 많이 드는 복셀 단위 쌍 데이터를 요구하거나 비쌍(unpaired) 알고리즘 개발에 의존하는 기존 방법과 달리, 우리의 접근 방식은 이미지 수준의 품질 라벨(여기서는 왜곡 대 비왜곡)을 활용하여 사전학습된 특징 공간 내에 잠재적 품질 프로토타입을 설정합니다. 현실적인 왜곡을 시뮬레이션하는 것이 직접적인 비쌍 보정보다 더 신뢰할 수 있다는 점을 인식하여, 우리는 생성 궤적을 왜곡된 프로토타입 쪽으로 명시적으로 정규화하여 임상적 열화를 모방하는 현실적인 자기 감도 아티팩트를 생성하는 약한 지도 프로토타입 플로우 매칭 알고리즘을 설명합니다. 이러한 현실적인 쌍을 합성함으로써, 우리는 왜곡 보정을 위해 순방향으로 두 번째 IQT 모델을 학습시킬 수 있게 합니다. 실험 결과, 우리가 생성한 이미지가 실제 아티팩트의 진단 방해를 성공적으로 모방함으로써, 더욱 유능한 왜곡 보정 IQT 모델로 이어진다는 것을 보여줍니다. 정성적 비교 외에도, 우리는 인분포(in-distribution) 및 외부 데이터셋을 사용하여 PI-RADS 및 글리슨 점수 분류에서의 임상 하류 작업 성능을 평가함으로써, 기존 비쌍 접근법(예: CycleGAN, UNIT-DDPM 및 OT-FM)과 우리의 접근법을 순방향 또는 역방향 대안으로서 비교하는 철저한 정량적 평가를 수행합니다.
미세 저Resistance률 이미징 로깅 복원을 위한 개선된 생성적 적대 신경망
An Improved Generative Adversarial Network for Micro-Resistivity Imaging Logging Restoration
본 논문에서는 미세 저항률 이미징 로깅 이미지의 부분 결측 문제를 해결하기 위해 개선된 생성적 적대 신경망(GAN) 기반 이미징 로깅 이미지 복원 방법을 제안한다. 이 방법은 생성자 네트워크 기반 구조로 FCN을 사용하며, 더 효과적인 픽셀 및 의미 정보를 학습하고 유지하기 위해 깊이 분리 가능 컨볼루션(depth-separable convolution) 잔차 블록을 추가한다. 또한 네트워크의 멀티스케일 수용 영역을 확대하고 파라미터 수를 줄이기 위해 Inception 모듈을 추가하며, 채널 어텐션과 결합하기 위해 멀티스케일 특징 추출 모듈과 공간 어텐션 잔차 블록을 추가한다. 멀티스케일 모듈은 채널 어텐션 메커니즘과 잔차 블록을 결합하여 멀티스케일 특징 추출을 수행하는 멀티스케일 특징 추출 모듈과 공간 어텐션 잔차 블록으로 구성된다. 전역 판별자 네트워크와 국소 판별자 네트워크는 서로 및 생성자 네트워크와 상호 연동하여 복원된 부분과 전체 이미지 간의 내용 및 의미 구조 일관성을 점진적으로 향상하도록 설계되었다. 실험 결과, 테스트 세트에서 서로 다른 크기의 결측 영역을 가진 5세트의 이미징 로깅 이미지에 대한 평균 구조적 유사도(structural similarity) 지표는 0.903으로, 다른 유사 방법 대비 약 0.3 향상되었다. 본 연구의 방법은 의미 구조 일관성과 텍스처 세부 정보가 크게 개선된 미세 저항률 이미징 로깅 이미지 복원에 활용할 수 있음을 보여 주며, 미세 저항률 이미징 로깅 이미지의 후속 해석이 원활히 진행되도록 보장하는 새로운 심층 학습 방법을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.