Denoising Weak Lensing Mass Maps with Deep Learning
원문 초록
Weak gravitational lensing is a powerful probe of the large-scale cosmic matter distribution. Wide-field galaxy surveys allow us to generate the so-called weak lensing maps, but actual observations suffer from noise due to imperfect measurement of galaxy shape distortions and to the limited number density of the source galaxies. In this paper, we explore a deep-learning approach to reduce the noise. We develop an image-to-image translation method with conditional adversarial networks (CANs), which learn efficient mapping from an input noisy weak lensing map to the underlying noise field. We train the CANs using $30000$ image pairs obtained from $1000$ ray-tracing simulations of weak gravitational lensing. We show that the trained CANs reproduce the true one-point probability distribution function (PDF) of the noiseless lensing map with a bias less than $1\sigma$ on average, where $\sigma$ is the statistical error. We perform a Fisher analysis to make forecast for cosmological parameter inference with the one-point lensing PDF. By our denoising method using CANs, the first derivative of the PDF with respect to the cosmic mean matter density and the amplitude of the primordial curvature perturbations becomes larger by $\sim50\%$. This allows us to improve the cosmological constraints by $\sim30-40\%$ with using observational data from ongoing and upcoming galaxy imaging surveys.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ZoomDiff: 듀얼 카메라의 부드러운 줌을 위한 고충실도 확산 모델
ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming
듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.
확산 모델과 개념 형성
Diffusion Models and Concept Formation
인간은 중첩된 추상화 수준과 사람들이 최소한의 인지적 노력으로 사물을 인식하고 이름을 붙이는 \emph{기본 수준}(basic level)을 가진 개념 분류 체계로 지식을 구조화합니다. Cobweb은 범주 효용(category utility)을 극대화하여 확률적 개념 계층을 구축하는 점진적 학습자로서 이러한 능력에 대한 고전적인 인지적 설명을 제공합니다. 본 논문에서는 확산 모델(diffusion model)이 이미지 합성을 위해 설계되었음에도 불구하고 암묵적으로 동일한 계산을 수행한다고 주장합니다. 확산 모델의 노이즈 주변 확률 분포(noisy marginals)는 데이터 분포의 가우시안 평활화(Gaussian smoothing)이며, 이러한 주변 확률 분포의 모드(mode)들은 네 가지 측면에서 확률적 프로토타입의 Cobweb 트리와 일치하는 계층을 형성합니다. 두 모델 모두 계층적 밀도 모델이고, 가우시안 프로토타입을 갖는 계층적 베이지안(hierarchical-Bayesian) 모델이며, 범주화를 불확실성을 줄이는 점수 추적(score-following)으로 취급하고, 두 모델 모두에서 기본 수준이 창발적(emergent)으로 나타납니다. 우리는 확산 모델의 이러한 기본 수준을 중간 노이즈 수준에 위치시키며, 최근 분석에 따르면 역과정(reverse process)이 샘플의 클래스 정체성을 확정하는 지점임을 보여줍니다. 두 모델은 주로 분류 체계를 표현하고 학습(training)하는 방식에서 차이를 보입니다. Cobweb은 이산 트리를 점진적으로 학습하는 반면, 확산 모델은 데이터 분포에 적합화된 단일 학습 스코어 필드(score field) 내에 연속적이고 보간 가능한 계층을 인코딩합니다. 우리는 모드 탐색(mode-finding)을 통해 확산 계층을 복원하고 두 모델의 기본 수준을 비교함으로써 MNIST와 Fashion-MNIST에서 이러한 대응 관계를 검증합니다. 이는 확산 모델을 개념 형성의 인지 모델로 재구성하고 Cobweb에 연속적이고 확장 가능한(scalable) 구현체를 제공합니다.
PixelART: 잠재 표현 또는 텍스트-이미지 사전학습 없이 이미지-층 분해
PixelART: Image-to-Layer Decomposition without Latents or Text-to-Image Pretraining
이미지-층 분해는 평탄화된 이미지를 편집 가능한 RGBA 층으로 변환하여 디자인 워크플로에서 요소 단위 편집을 가능하게 한다. 기존 확산(diffusion) 기반 시스템은 일반적으로 대규모 사전학습된 텍스트-이미지(T2I) 모델을 적응시키고 RGBA 오토인코더 또는 가변 층 아키텍처 모듈을 도입한다. 우리는 이 설계 선택을 재검토하며, 층 분해가 정말로 이러한 고중량 구성 요소를 필요로 하는지 묻는다. 우리는 이미지-층(I2L) 분해를 위해 처음부터 학습된 픽셀 공간 rectified-flow 트랜스포머인 PixelART를 제안한다. PixelART는 단일 스트림 멀티모달 확산 트랜스포머로 영역 RGBA 픽셀 패치를 직접 디노이징하며, RGBA-VAE, 사전학습 T2I 백본, 층별 디코더를 사용하지 않는다. 우리는 이 과제의 핵심 특성을 밝힌다. 고노이즈 타임스텝은 층 할당과 거친 층 구조를 결정하고, 저노이즈 타임스텝은 주로 색상, 알파, 텍스처, 경계를 정제한다. 이 관찰에 기반하여 고노이즈 층 할당 구간에서 학습 커버리지를 높이기 위해 terminal-boosted 타임스텝 샘플링 전략을 제안한다. 400만 개의 다층 디자인 템플릿으로 학습된 PixelART는 Design-Multi-Layer-Bench와 LICA에서 최근 Qwen-Image-Layered 모델 대비 파라미터 80% 이상 감소, 지연 시간 98% 감소, 메모리 85% 감소로 최첨단 층 분해 및 합성 재구성 성능을 달성한다. Ablation 실험은 픽셀 공간 $\mathbf{x}$-prediction, terminal-boosted 타임스텝 샘플링, 데이터/모델 스케일링이 핵심적임을 보여 주며, T2I 사전학습은 I2L 과제에 미미한 이득만 가져온다.
AlignMorph: 명시적 의미 수송을 통한 튜닝 없는 디퓨전 이미지 모핑
AlignMorph: Tuning-Free Diffusion Image Morphing via Explicit Semantic Transport
이미지 모핑(image morphing)은 두 입력 이미지 간에 매끄럽고 의미론적으로 일관된 전환을 생성하는 것을 목표로 합니다. 기존의 디퓨전(diffusion) 기반 모핑 방식은 쌍별(per-pair)로 비용이 많이 드는 최적화(optimization)를 요구하거나 암시적 공간 정렬에 의존하므로, 레이아웃 차이가 클 때 쉽게 실패합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 수송 후 노이즈 제거(transport-then-denoise) 원칙을 따르는 새로운 튜닝 없는 디퓨전 프레임워크인 AlignMorph를 제안합니다. 구조적 얽힘(structural entanglement)을 방지하기 위해 기하학적 정렬을 생성적 노이즈 제거(generative denoising)로부터 명시적으로 분리합니다. 제안하는 프레임워크는 두 가지 핵심 구성 요소로 이루어집니다. (1) 엔트로피 최적 수송(entropic optimal transport)과 신뢰도 인식 잠재 워핑(latent warping)을 통해 디퓨전과 호환 가능한 시맨틱 정렬을 달성하는 글로벌 시맨틱 수송(Global Semantic Transport), 그리고 (2) 노이즈 제거 전반에 걸쳐 일관된 공간 좌표를 유지하기 위해 대칭적 2단계 어텐션(attention) 핸드오프를 사용하는 좌표 정렬 생성(Coordinate-Aligned Generation)입니다. AlignMorph는 일체의 튜닝 없이도 고스팅(ghosting) 현상을 효과적으로 제거하며, 모핑 벤치마크(benchmark)에서 우수한 구조적 일관성과 시간적 매끄러움을 달성합니다. 코드는 https://github.com/51xOne/Alignmorph 에서 이용할 수 있습니다.
확산 모델을 이용한 개념 기반 시각적 반사실적 설명
Concept-based Visual Counterfactual Explanations with Diffusion Models
시각적 반사실적 설명(counterfactual explanation)은 "이 이미지에 어떤 최소한의 변화를 가하면 모델의 예측이 뒤집힐까?"라는 질문에 답하려 하며, 비전 모델이 안전이 중요한(safety-critical) 영역(예: 의학)에 배포됨에 따라 점점 더 중요해지고 있다. 기존 확산 기반 방법들은 사실적인 편집을 생성할 수 있지만, 노이즈가 있는 이미지에서도 안정적으로 동작해야 하는 외부 분류기(classifier)에 의존하므로 취약하고, 견고한(robust) 설명을 위해 배포하기 어렵다. 우리는 C-VCE를 제안한다. 이는 개념 병목(concept bottleneck) 층을 통해 분류기를 생성 모델(generative model)에 직접 통합하는 새로운 확산 프레임워크로, 반사실적 결과가 픽셀 수준 편집과 함께 동작하는 별도의 노이즈 견고 분류기 대신 사람이 해석 가능한 특징(concepts)에 의해 유도된다. 우리 모델(model)은 사용자가 샘플링 중 의미적 개념(concept)을 켜고 끌 수 있게 하며, 특징(feature) 상관관계를 존중하면서 이미지의 나머지 부분은 보존한 채 관련 이미지 영역만 최소한으로 조정한다. 편집을 작고 통제 가능하게 유지하기 위해, "예측을 바꾸기"와 "원본에 가깝게 유지하기"를 균형 맞추는 단순한 확률적 정규화(regularizer)와, 수정을 가장 관련 있는 영역으로 제한하는 그래디언트(gradient) 기반 마스크를 추가한다. CelebA와 같은 벤치마크(benchmark)에서 C-VCE는 별도의 노이즈 이미지 분류기에 의존하는 베이스라인보다 입력에 시각적으로 더 가깝고 왜곡이 적은 반사실적 결과를 생성하면서 뒤집기(flip) 비율을 맞추거나 개선한다. 이러한 특성은 사용자가 추가의 노이즈 견고 분류기를 신뢰할 필요 없이 구체적인 "what-if" 이미지가 필요한 비전 시스템에서 C-VCE를 실용적인 도구로 만든다. 더 넓게 보면, 우리 결과는 내부 개념 층(layer)을 노출하고 제어하는 것이 강력한 생성 모델(generative model)을 더 이해하기 쉽고 더 안전하게 사용할 수 있게 만드는 유망한 방법임을 시사한다.
InnoText: 시각 텍스트 생성 및 편집을 위한 통합 모델
InnoText: A Unified Model for Visual Text Generation and Editing
확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.