StyleDEM: a Versatile Model for Authoring Terrains
원문 초록
Many terrain modelling methods have been proposed for the past decades, providing efficient and often interactive authoring tools. However, they generally do not include any notion of style, which is a critical aspect for designers in the entertainment industry. We introduce StyleDEM, a new generative adversarial network method for terrain synthesis and authoring, with a versatile toolbox of authoring methods with style. This method starts from an input sketch or an existing terrain. It outputs a terrain with features that can be authored using interactive brushes and enhanced with additional tools such as style manipulation or super-resolution. The strength of our approach resides in the versatility and interoperability of the toolbox.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
불확실성 추정을 갖춘 적응형 계층화 앙상블 학습을 통한 태양 자기력선도 초해상도
Super-Resolution of Solar Magnetograms via Adaptive Stratified Ensemble Learning with Uncertainty Estimation
태양 광구 자기력선도의 단일 영상 초해상도(super-resolution)는 이질적인 우주 기반 관측 장비 간 일관된 분석을 가능하게 하며 태양 자기장 진화에 대한 장기 연구를 지원한다. 저해상도 SOHO/MDI에서 고해상도 SDO/HMI 시선 방향(line-of-sight, LOS) 자기력선도로의 초해상도 과제를, ESRGAN 사전학습 가중치로 초기화한 수정 RRDBNet 아키텍처를 사용하여 다룬다. 체계적인 영상별 진단 분석을 통해 재구성 오류의 지배적 예측 변수로서 영상 복잡도를 확인한다. 이 결과를 활용하기 위해 불확실성 추정을 포함한 세 개의 전문 네트워크로 구성된 적응형 계층화 전문가 앙상블(adaptive stratified specialist ensemble, SSE)을 제안한다. 각 전문 네트워크는 가중 무작위 샘플링 전략을 사용하여 세 가지 서로 다른 복잡도 계층의 영상으로 학습된다. 추론 시 입력 영상 통계에 기반한 경량 라우터가 각 테스트 영상을 적절한 전문 네트워크에 할당한다. 실험 결과는 제안한 앙상블의 우수한 성능과 밀접히 관련된 방법들 대비 우월성을 보여준다.
다중 해상도 플로우 매칭: 단계적 샘플링을 통한 학습 없는 디퓨전 가속
Multi-Resolution Flow Matching: Training-Free Diffusion Acceleration via Staged Sampling
타임스텝 증류(timestep distillation)와 특징(feature) 캐싱과 같이 텍스트-이미지 디퓨전을 가속하기 위한 하드웨어에 구애받지 않는(hardware-agnostic) 전략들은 커스텀 커널이나 시스템 수준의 최적화 없이 추론(inference) 시간을 줄일 수 있다. 그 중에서도 다중 해상도 생성 전략은 최근 광범위한 주목을 받고 있으며, 어떠한 학습(training) 없이도 5배 이상의 속도 향상을 달성한다. 그러나 잠재 공간에서 업샘플링을 수행하는 설계와 부분 영역의 선택적 수정이 결합되어, 이러한 방법들은 눈에 띄는 블러링이나 아티팩트를 나타낸다. 이를 위해, 우리는 단계적 저해상도-고해상도 파이프라인을 기반으로 구축된 사전학습된 플로우 매칭(flow-matching) 모델(model)을 위한 학습 없는 다중 해상도 가속 전략인 MrFlow를 제안한다. MrFlow는 먼저 저해상도에서 주요 구조를 빠르게 생성한 후, 경량의 사전학습된 생성적 적대 신경망(GAN) 기반 모델을 사용하여 픽셀 공간에서 초해상도를 수행하고, 이어서 고주파 리샘플링을 가능하게 하기 위해 낮은 강도의 노이즈를 주입한 뒤, 최종적으로 고해상도에서 세부 사항을 정제한다. FLUX.1-dev와 Qwen-Image에 대한 정량적 및 정성적 결과는 MrFlow가 저해상도 샘플링의 이차적 토큰(token) 감소와 감소된 스텝 요구량을 활용하여, 가속 이전 대비 OneIG를 1% 이내 차이로 유지하면서 10배의 엔드-투-엔드 가속을 달성하고, 다른 학습 없는 가속 전략들을 크게 능가하며, 어떠한 학습이나 런타임 동적 식별도 필요하지 않음을 보여준다. MrFlow는 또한 사전학습된 타임스텝 증류 전략과 직교적으로 직접 결합하여, 최대 25배의 더 높은 생성 가속을 달성할 수 있다.
노이즈에 색 입히기: 충실한 이미지 초해상도를 위한 적대적 Sobolev 정렬
Coloring the Noise: Adversarial Sobolev Alignment for Faithful Image Super Resolution
이미지 초해상도(SR)에서 생성적 사전지식은 종종 충실한 복원을 희생시킨다. 우리는 이 한계를 등방성 목적함수와 고유한 자연 이미지 매니폴드 사이의 근본적인 스펙트럴 정렬 불일치에 기인한다고 본다. 직접 선호 최적화는 정렬의 한 경로를 제공하지만, 스펙트럴적으로 평탄한 가우시안 노이즈에 의존하기 때문에 진정한 고주파 세부사항과 환각을 구분하지 못한다. 이 기하학적 간극을 메우기 위해, 우리는 이론적으로 뒷받침된 프레임워크 ASASR을 제안한다. ASASR은 노이즈 전이 커널에 명시적으로 색을 입혀 자연스러운 스펙트럴 감쇠를 반영함으로써 생성 흐름을 Sobolev-유도 리만 기하학으로 재구성한다. 이 기하학적 정렬을 추진하기 위해, Riesz 표현 정리에 기반한 매개변수화 적대자를 통합한다. 이는 최악의 경우 Sobolev 기울기에 상응하는 표적화된 부정 샘플을 합성하여, 그럴듯한 구조적 실패의 접공간을 따라 최적화를 유도한다. 광범위한 평가 결과 ASASR은 선도적인 생성형 베이스라인을 능가하며, 특히 스펙트럴 일관성과 구조적 충실도를 보존하는 데 탁월하다. 아티팩트를 효과적으로 완화하는 견고한 솔루션을 제공한다.
비정합 스펙트럼 영상 융합: 분해, 적대적 학습 및 복원 가능성
Unregistered Spectral Image Fusion: Unmixing, Adversarial Learning, and Recoverability
본 논문은 대략적으로 겹치는 영역을 포함하는, 공간적으로 정합되지 않은 초분광 영상(HSI)과 다분광 영상(MSI) 한 쌍의 융합을 다룬다. HSI는 높은 스펙트럼 해상도와 낮은 공간 해상도를 제공하고, MSI는 그 반대를 제공한다. 목표는 상호 보완적인 정보를 통합하여 HSI의 공간 해상도와 MSI의 스펙트럼 해상도를 모두 향상시키는 것이다. 초분광-다분광 융합(HMF)은 널리 연구되어 왔지만, 비정합 설정은 여전히 어려운 과제로 남아 있다. 기존 방법 중 많은 것은 MSI 초해상화(super-resolution)에만 집중하여 HSI는 변경하지 않은 채로 둔다. HSI 초해상화를 위해 지도 심층 학습 접근법이 제안되었지만, 정확한 학습 데이터에 의존하며 이는 종종 이용할 수 없다. 더욱이 이론적 분석은 대체로 공동 정합(co-registered) 경우에 초점을 맞추어, 비정합 HMF에 대한 이해는 부족하다. 본 연구에서는 MSI와 HSI를 동시에 초해상화하는 비지도 프레임워크를 제안한다. 이 방법은 MSI 초해상화를 위한 결합 스펙트럼 분해(coupled spectral unmixing)와 HSI 초해상화를 위한 잠재 공간(latent-space) 적대적 학습을 통합한다. 합리적인 생성 모델(generative models) 하에서 초해상화된 MSI와 HSI의 복원 가능성(recoverability)에 대한 이론적 보장을 수립하였으며, 이는 우리가 아는 한 비정합 HMF에 대한 최초의 통찰이다. 이 접근법은 다양한 조건에서 준실(semi-real) 및 실(real) HSI-MSI 쌍에 대해 검증되었다.
CoReGAN: Contrastive Regularized Generative Adversarial Network for Guided Depth Map Super Resolution
Infrared Image Super-Resolution via Transfer Learning and PSRGAN
토론
이 논문과 연결된 포럼 글이 아직 없습니다.