Realistic Hair Synthesis with Generative Adversarial Networks
원문 초록
Recent successes in generative modeling have accelerated studies on this subject and attracted the attention of researchers. One of the most important methods used to achieve this success is Generative Adversarial Networks (GANs). It has many application areas such as; virtual reality (VR), augmented reality (AR), super resolution, image enhancement. Despite the recent advances in hair synthesis and style transfer using deep learning and generative modelling, due to the complex nature of hair still contains unsolved challenges. The methods proposed in the literature to solve this problem generally focus on making high-quality hair edits on images. In this thesis, a generative adversarial network method is proposed to solve the hair synthesis problem. While developing this method, it is aimed to achieve real-time hair synthesis while achieving visual outputs that compete with the best methods in the literature. The proposed method was trained with the FFHQ dataset and then its results in hair style transfer and hair reconstruction tasks were evaluated. The results obtained in these tasks and the operating time of the method were compared with MichiGAN, one of the best methods in the literature. The comparison was made at a resolution of 128x128. As a result of the comparison, it has been shown that the proposed method achieves competitive results with MichiGAN in terms of realistic hair synthesis, and performs better in terms of operating time.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
적대적 학습을 통한 연속 SPL 제어 기반 음성 강도 변환
Vocal Intensity Conversion with Continuous SPL Control via Adversarial Training
음성 강도 변환(vocal intensity conversion)은 녹음된 발화의 내용과 화자 정체성(speaker identity)을 보존하면서, 단순히 진폭을 스케일링하는 것이 아니라 해당 발화를 다른 음성 강도로 렌더링한다. 기존 시스템은 참조 발화(reference utterance) 또는 몇 가지 불연속적인 범주를 통해 강도를 제어한다. 대신, 우리는 연속적인 dB 스케일 상의 임의의 목표 음압 레벨(sound pressure level, SPL)로 변환을 제어한다. 병렬 데이터 없이 조건부 순환 일관성 생성적 적대 신경망(conditional cycle-consistent GAN)으로 학습된 경량 변환기(converter)는 고정된(frozen) 음성 인코더의 특징(feature)을 변환하며, 이로부터 사전학습된 보코더(vocoder)가 음성을 재합성한다. 우리는 로그-멜 스펙트로그램(log-mel spectrogram), WavLM, SpeechTokenizer 세 가지 표현(representation)을 비교하고, 보정된(calibrated) 코퍼스 상에서 달성된 강도 변화를 목표 강도 변화와 비교하여 측정하는 객관적 프로토콜을 도입한다. WavLM을 사용할 경우, 변환기는 목표 강도 변화의 83%를 달성하는 것으로 측정되었으며, 기본 주파수(fundamental frequency) 또한 이동시킨다. 지각 평가(perceptual evaluation)는 진폭이 정규화된(amplitude-normalized) 자극(stimuli)에서 지각된 음성 강도가 목표 레벨에 따라 증가함을 확인한다.
EndoLive: 내시경 경비강 두개저 수술 비디오를 위한 실시간 스타일 전이
EndoLive: Real-Time Style Transfer for Endoscopic Endonasal Skull Base Surgical Video
내시경 경비강 두개저 수술(endoscopic endonasal skull base surgery)과 같이 주요 해부학적 구조 주변에서 이루어지는 복잡한 수술 절차는 외과의가 실제 환자를 대상으로 수술을 집도하기 전에 상당한 연습과 훈련(training)을 거쳐야 합니다. 카다버(사체) 표본은 살아있는 사람과 동일한 중요 구조를 포함하고 있어 통상적으로 이러한 훈련에 활용됩니다. 그러나 카다버는 살아있는 환자를 완벽히 1대1로 대체하지는 못합니다. 카다버의 사후 보존된 조직은 살아있는 인간의 조직과 색상이 완전히 다르며, 복잡하고 값비싼 펌프 시스템이 없다면 동일한 방식으로 출혈이 발생하지도 않습니다. 그 결과, 이 수술을 매우 복잡하게 만드는 핵심 해부학적 구조를 식별하는 일은 실제 수술 사례와 외과의의 카다버 실습 간에 상당한 차이가 있을 수 있습니다. 본 논문에서는 카다버 내시경 비디오와 살아있는 사람의 내시경 비디오 간 실시간 스타일 전이(style transfer)를 위한 프레임워크인 EndoLive를 제시합니다. 본 연구의 방법은 수술 분야에 사실적인 스타일 전이를 제공하는 ConStructS 생성적 적대 신경망(GAN) 모델과, 복잡한 변환을 학습하여 실시간으로 수행할 수 있는 HyPER-GAN 모델을 결합합니다. 내시경으로 촬영한 비쌍(unpaired) 카다버 및 생체 이미지를 기반으로 EndoLive를 학습(training)하고, 학습된 모델을 다양한 장치에서 카다버 비디오로 테스트합니다. 실험 결과는 EndoLive가 주요 해부학적 구조의 의미적 일관성을 유지하면서도 실시간 처리에 필요한 최소 속도를 훨씬 웃도는 속도로 카다버-생체 변환을 수행할 수 있음을 입증합니다. 소스 코드는 https://github.com/griffhurt/endolive 에서 확인할 수 있습니다.
불확실성 추정을 갖춘 적응형 계층화 앙상블 학습을 통한 태양 자기력선도 초해상도
Super-Resolution of Solar Magnetograms via Adaptive Stratified Ensemble Learning with Uncertainty Estimation
태양 광구 자기력선도의 단일 영상 초해상도(super-resolution)는 이질적인 우주 기반 관측 장비 간 일관된 분석을 가능하게 하며 태양 자기장 진화에 대한 장기 연구를 지원한다. 저해상도 SOHO/MDI에서 고해상도 SDO/HMI 시선 방향(line-of-sight, LOS) 자기력선도로의 초해상도 과제를, ESRGAN 사전학습 가중치로 초기화한 수정 RRDBNet 아키텍처를 사용하여 다룬다. 체계적인 영상별 진단 분석을 통해 재구성 오류의 지배적 예측 변수로서 영상 복잡도를 확인한다. 이 결과를 활용하기 위해 불확실성 추정을 포함한 세 개의 전문 네트워크로 구성된 적응형 계층화 전문가 앙상블(adaptive stratified specialist ensemble, SSE)을 제안한다. 각 전문 네트워크는 가중 무작위 샘플링 전략을 사용하여 세 가지 서로 다른 복잡도 계층의 영상으로 학습된다. 추론 시 입력 영상 통계에 기반한 경량 라우터가 각 테스트 영상을 적절한 전문 네트워크에 할당한다. 실험 결과는 제안한 앙상블의 우수한 성능과 밀접히 관련된 방법들 대비 우월성을 보여준다.
악마는 누출에 있다: 고충실도 헤어스타일 전환을 위한 분리된 이중 정제 프레임워크
The Devil Is in the Leakage: A Disentangled Dual-Purification Framework for High-Fidelity Hairstyle Transfer
헤어스타일 전환은 참조 이미지의 헤어스타일을 소스 피사체에 이식하면서 소스 아이덴티티를 보존하여 사실적인 초상화를 합성하는 것을 목표로 한다. 최근 기반 모델들은 강력한 생성 능력을 보여주지만, 정밀한 로컬 편집에 필요한 제로샷 분리에 어려움을 겪으며, 참조 헤어스타일이 원래의 아이덴티티 및 포즈와 얽히는 문제가 자주 발생한다. 기존의 확산 기반 파이프라인은 일반적으로 소스에서 "민머리" 이미지를 먼저 생성한 후 참조에서 헤어스타일 특징을 주입하는 방식으로 작업을 분해한다. 그러나 이 패러다임이 근본적인 누출 문제를 겪고 있음을 보인다. 헤어스타일에서의 아이덴티티 누출(Identity Leakage in Hairstyle)은 헤어스타일 특징이 참조 아이덴티티 또는 포즈 정보를 보유할 때 발생하며, 민머리에서의 결함 누출(Flaw Leakage in Bald)은 민머리 이미지의 잔류 아티팩트가 최종 합성에 전파될 때 발생한다. 두 문제를 모두 해결하기 위해, 두 가지 상보적인 학습 시간 정규화기를 도입하는 이중 정제 프레임워크(DPF, Dual-Purification Framework)를 제안한다. 적대적 헤어스타일 정제(AHP, Adversarial Hairstyle Purification)는 상호 정보 기반 적대적 목적 함수 하에서 아이덴티티 예측 가능성을 억제함으로써 헤어스타일 특징을 정제한다. 대조적 기하학적 정제(CGP, Contrastive Geometric Purification)는 대조적 목적 함수로 ControlNet 경로를 정규화하여 민머리 조건의 기하학적 아티팩트에 대한 모델의 의존성을 줄인다. 헤어스타일 표현과 기하학적 경로를 공동으로 정제함으로써, DPF는 고충실도의 아이덴티티 보존 헤어스타일 전환을 달성하고 다양한 벤치마크에서 최첨단 성능을 기록한다.
색상 명명을 활용한 이미지 향상
Leveraging Color Naming for Image Enhancement
이미지를 시각적으로 매력적으로 만들기 위한 향상은 컴퓨터 비전에서 지속적인 과제입니다. 많은 딥러닝 방법들은 전문가의 편집 스타일을 재현하기 위해 쌍으로 구성된 데이터셋으로 모델을 학습합니다. 그러나 이러한 접근법은 두 가지 핵심 문제, 즉 (1) 해석 가능성과 (2) 사용자 조정에 적합한 파라미터화 방식에서 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 우리는 소프트웨어 도구에서 직관적인 편집을 위해 널리 사용되는 친숙한 색상들의 보편적 집합인 Color Naming 개념에서 영감을 받은 NamedCurves+를 제안합니다. 본 방법은 색상 이름을 학습 기반 프레임워크에 통합하여, 톤 커브(tone curve)를 통해 각 명명된 색상에 대한 전역적 조정을 가능하게 합니다. 지역적 이미지 변화에 대응하기 위해, 공간적 의존성을 포착하는 트랜스포머 블록을 도입하여 이미지 전반에 걸쳐 문맥 인식 편집을 수행합니다. NamedCurves+는 리터칭 과정의 해석 가능성을 높이고 사용자 상호작용을 지원하며, 개인 취향에 맞게 리터칭된 이미지를 정제하기 위한 개별 톤 커브의 유연한 수정을 허용합니다. 이미지 리터칭, 톤 매핑, 노출 보정 등의 작업에 대한 광범위한 실험에서 NamedCurves+는 최신 방법들을 능가하는 성능을 보입니다. 특히, 본 접근법은 톤 커브가 각 색상 이름이 향상에 어떻게 기여하는지를 명시적으로 나타내어 설명 가능하며, 사용자가 리터칭 과정을 커스터마이징하여 원하는 결과를 얻을 수 있도록 하는 인터랙티브한 특성을 갖습니다.
다중 기관 데이터셋에 걸친 유방촬영술 석회화 분류를 위한 비지도 도메인 적응
Unsupervised Domain Adaptation for Calcification Classification in Mammography Across Multi-Site Datasets
심층 학습(deep learning) 기반 컴퓨터 보조 진단(CAD) 시스템은 유방암 진단, 특히 유방촬영술의 분류 작업에서 높은 성능을 보여왔다. 그러나 다중 기관 데이터셋 간의 도메인 이동(domain shift)은 여전히 과제로 남아 있으며, 특히 모델이 미지의 도메인에 적용될 때 두드러진다. 본 연구에서는 다중 기관 유방촬영술 데이터셋에 걸쳐 악성 대 양성 유방 질환 분류를 개선하기 위한 석회화 분류 프레임워크를 제안하였다. 이 프레임워크는 두 가지 구성 요소로 이루어진다: (1) 추가 어노테이션 없이 제조사별 및 촬영 기법별 학습 샘플을 생성하기 위해 스타일 전이 모델(AdaIN 및 CycleGAN)을 기반으로 한 비지도 도메인 적응 모듈, 그리고 (2) Swin Transformer V2를 백본으로 사용하는 지도 분류 모듈. 제안한 방법을 세 가지 데이터셋에서 평가하였다: OPTIMAM(영국 국민보건서비스; n=2994)에 대한 교차 검증, 이후 EMBED(에모리 대학교; n=125) 및 Duke Calcification Dataset v1(n=788)에 대한 외부 검증. 이 데이터셋들은 여러 제조사를 포함하며, 전장 디지털 유방촬영술(full-field digital mammography)과 디지털 유방 단층합성술(digital breast tomosynthesis)에서 파생된 합성 2D 이미지를 모두 포함한다. 제안된 프레임워크는 EMBED(AUC 0.68에서 0.72)와 Duke Calcification Dataset(AUC 0.68에서 0.73) 모두에서 교차 기관 성능을 향상시켰다. 이러한 결과는 도메인 적응이 도메인 이동을 줄이고 다중 기관 데이터셋에 걸친 석회화 분류의 일반화를 개선할 수 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.