Review Neural Networks about Image Transformation Based on IGC Learning Framework with Annotated Information
원문 초록
Image transformation, a class of vision and graphics problems whose goal is to learn the mapping between an input image and an output image, develops rapidly in the context of deep neural networks. In Computer Vision (CV), many problems can be regarded as the image transformation task, e.g., semantic segmentation and style transfer. These works have different topics and motivations, making the image transformation task flourishing. Some surveys only review the research on style transfer or image-to-image translation, all of which are just a branch of image transformation. However, none of the surveys summarize those works together in a unified framework to our best knowledge. This paper proposes a novel learning framework including Independent learning, Guided learning, and Cooperative learning, called the IGC learning framework. The image transformation we discuss mainly involves the general image-to-image translation and style transfer about deep neural networks. From the perspective of this framework, we review those subtasks and give a unified interpretation of various scenarios. We categorize related subtasks about the image transformation according to similar development trends. Furthermore, experiments have been performed to verify the effectiveness of IGC learning. Finally, new research directions and open problems are discussed for future research.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EndoLive: 내시경 경비강 두개저 수술 비디오를 위한 실시간 스타일 전이
EndoLive: Real-Time Style Transfer for Endoscopic Endonasal Skull Base Surgical Video
내시경 경비강 두개저 수술(endoscopic endonasal skull base surgery)과 같이 주요 해부학적 구조 주변에서 이루어지는 복잡한 수술 절차는 외과의가 실제 환자를 대상으로 수술을 집도하기 전에 상당한 연습과 훈련(training)을 거쳐야 합니다. 카다버(사체) 표본은 살아있는 사람과 동일한 중요 구조를 포함하고 있어 통상적으로 이러한 훈련에 활용됩니다. 그러나 카다버는 살아있는 환자를 완벽히 1대1로 대체하지는 못합니다. 카다버의 사후 보존된 조직은 살아있는 인간의 조직과 색상이 완전히 다르며, 복잡하고 값비싼 펌프 시스템이 없다면 동일한 방식으로 출혈이 발생하지도 않습니다. 그 결과, 이 수술을 매우 복잡하게 만드는 핵심 해부학적 구조를 식별하는 일은 실제 수술 사례와 외과의의 카다버 실습 간에 상당한 차이가 있을 수 있습니다. 본 논문에서는 카다버 내시경 비디오와 살아있는 사람의 내시경 비디오 간 실시간 스타일 전이(style transfer)를 위한 프레임워크인 EndoLive를 제시합니다. 본 연구의 방법은 수술 분야에 사실적인 스타일 전이를 제공하는 ConStructS 생성적 적대 신경망(GAN) 모델과, 복잡한 변환을 학습하여 실시간으로 수행할 수 있는 HyPER-GAN 모델을 결합합니다. 내시경으로 촬영한 비쌍(unpaired) 카다버 및 생체 이미지를 기반으로 EndoLive를 학습(training)하고, 학습된 모델을 다양한 장치에서 카다버 비디오로 테스트합니다. 실험 결과는 EndoLive가 주요 해부학적 구조의 의미적 일관성을 유지하면서도 실시간 처리에 필요한 최소 속도를 훨씬 웃도는 속도로 카다버-생체 변환을 수행할 수 있음을 입증합니다. 소스 코드는 https://github.com/griffhurt/endolive 에서 확인할 수 있습니다.
PrismGPT: 자체 합성 추론을 활용한 영역 인식 사진 편집을 위한 대리 유도 학습
PrismGPT: Proxy-Guided Learning for Region-Aware Photo Editing with Self-Synthesized Reasoning
전문적인 사진 보정은 의미론적 마스크(semantic mask)에 의해 유도되는 영역별 국소 편집과 전역적 조절 모두에 의존하지만, 현재의 자동화된 방식들은 이러한 워크플로를 부분적으로만 처리합니다. 본 논문에서는 상용 블랙박스 도구에 의존하지 않고 단일 입력 이미지로부터 구조화된 영역 인식 편집 계획을 생성하는 비전-언어 모델(VLM) 프레임워크인 PrismGPT를 제시합니다. 전역 및 국소 수준 모두에서 미적 결함을 동시에 진단하는 동시에 정밀한 편집 파라미터를 예측하도록 VLM을 학습시키는 것은 방대한 조합적 결정 공간으로 인해 어렵습니다. 우리는 대리 유도 학습(proxy-guided learning)을 통해 이를 해결합니다. 연산 분해 및 영역 인식 미적 순위 지정이라는 두 가지 더 단순한 대리 태스크가 모델에 필요한 기초 기술을 가르치며, 역량 기반 동적 스케줄러가 멀티태스크 학습 비율의 균형을 자동으로 재조정하여 각 기술을 습득함에 따라 대리 태스크에서 주 편집 태스크로 점진적으로 비중을 전환합니다. 결정적으로, 지도 미세조정에 사용되는 모든 추론 궤적은 동일한 기본 모델에 의해 자체 합성되어 더 강력한 외부 교사 모델의 필요성을 배제합니다. MIT-Adobe FiveK와 우리가 새로 도입한 전문적으로 리터칭된 벤치마크인 SPIRE에 대한 실험은 PrismGPT가 이전 최고 방식 대비 약 6%의 학습 데이터만을 사용하면서도 최고 수준(state-of-the-art)의 결과를 달성함을 보여줍니다.
ID-V2V: 정체성 보존 비디오 재스타일화
ID-V2V: Identity-Preserving Video Restylization
시각적 스토리텔링에서 인간의 퍼포먼스는 창의적 의도와 서사적 의미의 핵심이다. 그러나 생성형 비디오 모델은 유연한 시각적 편집을 가능하게 하면서도 인간의 정체성과 퍼포먼스를 보존하는 것이 여전히 어렵다. 우리는 이 과제를 정체성 보존 비디오 재스타일화로 공식화한다. 이는 편집된 키프레임으로 지정된 장면, 조명, 스타일 변화를 소스 비디오 전체에 전파하면서, 표정, 시선, 입술 동기화를 포함한 얼굴 유사성과 퍼포먼스를 보존하는 작업이다. 핵심 장애물은 paired 학습 데이터의 부재인데, 실제 환경에서는 정체성을 보존한 재스타일화 비디오 쌍이 드물기 때문이다. 이를 해결하기 위해 우리는 소스 기반 정체성 보존과 편집 주도 비디오 합성의 분리를 제안한다. 핵심 통찰은 얼굴 외형과 표정은 불변으로 유지되어야 하며, 조명이 주요하게 허용되는 변화라는 점이다. 따라서 정체성 보존을 비디오 재조명 문제로, 시각적 편집 전파는 편집된 키프레임이 안내하는 제어된 비디오 합성으로 모델링한다. 이 공식화를 바탕으로 우리는 ID-V2V를 제안한다. 이는 상호 보완적인 제어 신호를 통합한 비디오-투-비디오 생성 프레임워크로, 재조명된 얼굴 영역과 얼굴 노멀 맵이 얼굴 유사성과 퍼포먼스를 엄격히 제약하고, 편집된 키프레임과 깊이 시퀀스가 유연하고 시간적으로 일관된 생성을 가능하게 한다. 이 설계는 단일 비디오로부터 학습 쌍을 구성할 수 있어 희소한 paired 데이터가 필요 없게 한다. 광범위한 실험 결과 ID-V2V는 얼굴 유사성과 세밀한 얼굴 퍼포먼스 보존에서 기존 방법을 크게 능가하며, 단일 및 다중 피사체 시나리오를 모두 지원하고 높은 시각적 품질을 제공하여, 실제 콘텐츠 제작을 위한 인간 중심 도구로서의 잠재력을 보여준다. 코드는 https://github.com/Eyeline-Labs/ID-V2V 에서 제공된다.
레이어링 가상 착용
Layering Virtual Try-On
실세계에서 패션은 레이어링에 관한 것이다. 셔츠 위에 재킷을 더하거나, 단일 층 교체가 아니라 층을 순차적으로 추가하고 제거하는 일이다. 이러한 근본적인 실세계 과제는 단일 층 교체에는 뛰어나지만, 기존 의상에 층을 더하거나 벗기도록 설계되지 않은 기존 가상 착용(VTON) 방법에서는 여전히 과제로 남아 있다. 본 논문은 기존 의상을 보존하면서 순차적 레이어링을 가능하게 하는 레이어링 벤치마크 및 방법인 Layering Virtual Try-On(LVTON)을 제안한다. 현재 VTON 패러다임은 cloth-agnostic 표현과 단일 아이템 데이터셋에 의존하여 필수적인 레이어링 맥락을 버리기 때문에 LVTON에 근본적으로 부적합함을 발견했다. 핵심 통찰은 LVTON 과제를 두 가지 별개의 역량으로 분리해야 한다는 것이다: (1) 일반 VTON 사전지식(예: 변형, 정체성 보존)과 (2) 특화 레이어링 지식(예: 레이어링 순서 및 가림(occlusion) 추론). 먼저, 우리 모델은 세그멘테이션(segmentation)과 인페인팅(inpainting)을 통해 패션 비디오로부터 샘플을 합성하는 자동 데이터 생성 파이프라인이 생산한 데이터로 학습하여 일반 VTON 사전지식을 얻는다. 둘째, 모델은 레이어링 논리를 학습하기 위해 소규모 전용 LVTON 데이터셋에서 파인튜닝(fine-tuning)된다. 우리 방법은 LVTON 벤치마크에서 최신(state-of-the-art) 결과를 달성하고, 전통적인 VTON 벤치마크에서 우수한 일반화 성능을 보여주며, 파인튜닝 시 새로운 최신 결과를 설정하고 제로샷(zero-shot) 능력을 나타낸다.
MagicMakeup: 고충실도 메이크업 전이를 위한 영역 제어형 확산 트랜스포머
MagicMakeup: A Region-Controllable Diffusion Transformer for High-Fidelity Makeup-Transfer
메이크업 전이는 소스 얼굴의 정체성을 보존하면서 참조 메이크업을 소스 얼굴에 적용하는 작업이다. 확산 기반 방법을 통한 전체 얼굴 편집의 발전에도 불구하고, 강한 영역 제어성, 메이크업 충실도, 정체성 보존은 여전히 어려운 과제로 남아 있다. 그 이유는 (i) 픽셀-어텐션 불일치로 인해 비대상 영역으로의 번짐이 발생하고 영역 제어가 약화되는 것, (ii) 두 이미지 조건부 설정 하에서 전이/보존 개념 분리가 불명확하여 메이크업 속성과 정체성 간 결합이 발생하는 것, (iii) 정체성 일관성과 영역 라벨이 있는 고해상도 데이터셋이 부족하여 세밀한 감독이 어려운 것이다. 본 논문에서는 공간적 제약과 개념 분리에 기반하여, 영역 제어 가능하고 고충실도 메이크업 전이를 위한 확산 트랜스포머 기반 프레임워크인 MagicMakeup을 제안한다. 정체성을 보존하면서 정밀한 영역별 편집을 가능하게 하기 위해, 픽셀 마스크를 어텐션과 정렬하고 영역별 로짓 게이팅을 적용하는 Token-Aligned Region Gating을 제안한다. 전이와 보존 개념을 명확히 하기 위해, 텍스트와 이미지 특징을 정렬하여 교차 모달 개념 인식을 강화하는 Cross-Modal Perception Guidance를 추가로 도입한다. 또한 영역별 메이크업 제거를 통해 1024 x 1024 데이터 쌍을 생성하는 파이프라인을 설계하고, 합성 및 실제 설정에서 통합 벤치마크를 구축한다. 광범위한 정량적 및 정성적 실험 결과, MagicMakeup은 스타일, 인종, 포즈에 걸쳐 강한 견고성을 보이며 영역 제어성, 메이크업 충실도, 정체성 보존을 개선함을 보여준다.
A Novel Unsupervised Domain Adaption Method for Depth-Guided Semantic Segmentation Using Coarse-to-Fine Alignment
토론
이 논문과 연결된 포럼 글이 아직 없습니다.