arXiv:1908.01481

CameraNet: A Two-Stage Framework for Effective Camera ISP Learning

Zhetong Liang, Jianrui Cai, Zisheng Cao, Lei Zhang

제출 2019-08-05

원문 초록

Traditional image signal processing (ISP) pipeline consists of a set of individual image processing components onboard a camera to reconstruct a high-quality sRGB image from the sensor raw data. Due to the hand-crafted nature of the ISP components, traditional ISP pipeline has limited reconstruction quality under challenging scenes. Recently, the convolutional neural networks (CNNs) have demonstrated their competitiveness in solving many individual image processing problems, such as image denoising, demosaicking, white balance and contrast enhancement. However, it remains a question whether a CNN model can address the multiple tasks inside an ISP pipeline simultaneously. We make a good attempt along this line and propose a novel framework, which we call CameraNet, for effective and general ISP pipeline learning. The CameraNet is composed of two CNN modules to account for two sets of relatively uncorrelated subtasks in an ISP pipeline: restoration and enhancement. To train the two-stage CameraNet model, we specify two groundtruths that can be easily created in the common workflow of photography. CameraNet is trained to progressively address the restoration and the enhancement subtasks with its two modules. Experiments show that the proposed CameraNet achieves consistently compelling reconstruction quality on three benchmark datasets and outperforms traditional ISP pipelines.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27893v1eess.IV공통 태그 Denoising, Image Denoising

하위 반프레임(lower semi-frames)을 이용한 이미지 디노이징

Image Denoising Using Lower Semi-Frames

가법적 백색 가우시안 노이즈(additive white Gaussian noise)에 대해, 무한 방향성 하위 반프레임(infinite directional lower semi-frame, DLSF)에 기반한 블라인드 이미지 디노이징 프레임워크를 제안한다. 제안 모델은 무계(unbounded) 반프레임(semi-frame) 연산자에 대한 resolvent 정규화(regularization)와 함께 스케일 의존적(scale-dependent) 방향 분석을 사용한다. 네 개의 방향 차분 채널(directional difference channel)의 결합 공분산(joint covariance)을 모델링하고 공분산 백화(covariance whitening)를 적용해 카이제곱(chi-square) 통계량을 얻음으로써, DLSF 영역에서 노이즈 분산(noise variance)을 직접 추정한다. 하위 꼬리 모멘트 추정량(lower-tail moment estimator)은 중位 절대 편차(median absolute deviation) 없이 블라인드 노이즈 추정을 제공한다. 추정된 노이즈 수준은 채널별 Wiener형 수축(channel-wise Wiener-type shrinkage)과 canonical-dual 합성(synthesis)에 반영되며, 이어 자동 중단(automatic stopping)을 갖는 데이터 일관(data-consistent) 반복 재구성(iterative reconstruction)이 수행된다. 노이즈 수준 15–30에서 세 장의 표준 그레이스케일 이미지에 대한 실험 결과, 평균 상대 노이즈 추정 오차는 3.28%이며 PSNR은 평균 7.45 dB, SSIM은 평균 0.367만큼 개선되었다. 30/255 노이즈에서는 추정 오차가 1.73%로 감소하고 평균 PSNR 이득은 8.31 dB였다. 결과는 효과적인 노이즈 억제와 구조 보존을 보여 주며, 매끄럽거나 에지가 지배적인 이미지에서 가장 강한 성능을 나타낸다.

arXiv:2609.22789v1cs.CV공통 태그 Denoising, Image Denoising

PixelART: 잠재 표현 또는 텍스트-이미지 사전학습 없이 이미지-층 분해

PixelART: Image-to-Layer Decomposition without Latents or Text-to-Image Pretraining

이미지-층 분해는 평탄화된 이미지를 편집 가능한 RGBA 층으로 변환하여 디자인 워크플로에서 요소 단위 편집을 가능하게 한다. 기존 확산(diffusion) 기반 시스템은 일반적으로 대규모 사전학습된 텍스트-이미지(T2I) 모델을 적응시키고 RGBA 오토인코더 또는 가변 층 아키텍처 모듈을 도입한다. 우리는 이 설계 선택을 재검토하며, 층 분해가 정말로 이러한 고중량 구성 요소를 필요로 하는지 묻는다. 우리는 이미지-층(I2L) 분해를 위해 처음부터 학습된 픽셀 공간 rectified-flow 트랜스포머인 PixelART를 제안한다. PixelART는 단일 스트림 멀티모달 확산 트랜스포머로 영역 RGBA 픽셀 패치를 직접 디노이징하며, RGBA-VAE, 사전학습 T2I 백본, 층별 디코더를 사용하지 않는다. 우리는 이 과제의 핵심 특성을 밝힌다. 고노이즈 타임스텝은 층 할당과 거친 층 구조를 결정하고, 저노이즈 타임스텝은 주로 색상, 알파, 텍스처, 경계를 정제한다. 이 관찰에 기반하여 고노이즈 층 할당 구간에서 학습 커버리지를 높이기 위해 terminal-boosted 타임스텝 샘플링 전략을 제안한다. 400만 개의 다층 디자인 템플릿으로 학습된 PixelART는 Design-Multi-Layer-Bench와 LICA에서 최근 Qwen-Image-Layered 모델 대비 파라미터 80% 이상 감소, 지연 시간 98% 감소, 메모리 85% 감소로 최첨단 층 분해 및 합성 재구성 성능을 달성한다. Ablation 실험은 픽셀 공간 $\mathbf{x}$-prediction, terminal-boosted 타임스텝 샘플링, 데이터/모델 스케일링이 핵심적임을 보여 주며, T2I 사전학습은 I2L 과제에 미미한 이득만 가져온다.

arXiv:2607.11090v1cs.CV공통 태그 Denoising, Image Denoising

저조도 카메라가 색맹이 되는 이유: Raw 노이즈 제거에서의 색상 바이어스 제거

Why Low-Light Cameras Go Color Blind: Removing Color Bias in Raw Denoising

Raw 이미지는 빛의 확률적 특성과 센서 하드웨어의 불완전성으로 인해 본질적으로 노이즈에 취약하다. 실제 광자 수가 감소함에 따라 신호 대비 노이즈 비율이 저하되며, 따라서 저조도 환경에서 강건한 노이즈 제거는 고품질 결과물을 위해 특히 중요하다. 최근 데이터 기반 방법들은 높은 성능을 달성하지만, 일반적으로 수집 비용이 높고 어려운 대규모 노이즈-클린 이미지 쌍에 의존한다. 대안으로 파라메트릭 노이즈 모델이 합성 학습 데이터를 생성할 수 있지만, 이는 정밀한 카메라 캘리브레이션을 필요로 하며 미지의 장치에 대해서는 종종 비실용적이다. 본 연구에서는 저조도 Raw 노이즈 제거를 위한 카메라 무관(camera-agnostic), 캘리브레이션 불필요 패러다임을 제안한다. 블랙 레벨 오류로 인한 색상 바이어스가 성능 저하의 주요 원인이며 심각한 색상 왜곡을 유발함을 규명한다. 이를 완화하기 위해, 노이즈 입력의 전역 특징으로서 블랙 레벨 오류를 예측하는 바이어스 추정기 네트워크를 도입한다. ELD, SID, LRID 데이터셋에서 접근 방식을 평가하여 블라인드 노이즈 제거기 중 우수한 성능을, 특히 색상 보정 측면에서 입증한다. 많은 경우에서 더 강한 지도 학습(supervision)을 활용하는 방법들과 동등하거나 이를 능가하기도 한다. 또한, 널리 사용되는 SIDD 데이터셋의 정답(ground-truth) 이미지에 상당한 색상 바이어스가 존재함을 밝히며, 이는 학습된 모델에서 비현실적인 색상 재현을 초래한다. 이 문제를 해결하기 위한 새로운 정답 추출 프레임워크를 제안하고, 수정된 데이터셋에서 기존 방법들의 벤치마크를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.