arXiv:1807.04813

Optimal Physical Preprocessing for Example-Based Super-Resolution

제출 2018-07-12

원문 초록

In example-based super-resolution, the function relating low-resolution images to their high-resolution counterparts is learned from a given dataset. This data-driven approach to solving the inverse problem of increasing image resolution has been implemented with deep learning algorithms. In this work, we explore modifying the imaging hardware in order to collect more informative low-resolution images for better ultimate high-resolution image reconstruction. We show that this "physical preprocessing" allows for improved image reconstruction with deep learning in Fourier ptychographic microscopy. Fourier ptychographic microscopy is a technique allowing for both high resolution and high field-of-view at the cost of temporal resolution. In Fourier ptychographic microscopy, variable illumination patterns are used to collect multiple low-resolution images. These low-resolution images are then computationally combined to create an image with resolution exceeding that of any single image from the microscope. We use deep learning to jointly optimize the illumination pattern with the post-processing reconstruction algorithm for a given sample type, allowing for single-shot imaging with both high resolution and high field-of-view. We demonstrate, with simulated data, that the joint optimization yields improved image reconstruction as compared with sole optimization of the post-processing reconstruction algorithm.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.11506v3cs.CV공통 태그 Image Reconstruction, Super-Resolution

역문제를 위한 확산 기반 최적화기의 원칙적 설계

Principled Design of Diffusion-based Optimizers for Inverse Problems

스코어 기반 확산 모델은 역문제에서 최첨단 성능을 달성하지만, 긴 추론 시간과 번거로운 하이퍼파라미터 튜닝으로 인해 실제 배포가 저해된다. 사전학습된 확산 모델은 재학습 없이 여러 태스크에 재사용할 수 있지만, 노이즈 스케줄과 사후 샘플링 가중치와 같은 추론 시점 하이퍼파라미터는 일반적으로 각 문제 설정마다 임시방편적인 조정이 필요하다. 우리는 불변성을 유도하는 원칙적 재매개화를 제안하여, 동일한 하이퍼파라미터를 재튜닝 없이 여러 문제에 걸쳐 재사용할 수 있게 한다. 또한 사후 샘플링을 최적화 문제로 재구성하는 RED-diff 프레임워크를 바탕으로, OptDiff 파이프라인을 추가로 개발한다. OptDiff는 추론을 가속하기 위한 볼록 최적화 도구의 통합을 용이하게 하는 간소화된 튜닝 프레임워크를 제공한다. 이미지 재구성, 디블러링, 초해상도에 대한 실험은 상당한 속도 향상과 향상된 이미지 품질을 보여준다.

arXiv:2610.04781v2cs.CV공통 태그 Image Reconstruction, Super-Resolution

적절한 잠재 공간에서의 초해상도: 동결된 비전 파운데이션 기저

Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate

이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.

arXiv:2602.08538v2eess.IV공통 태그 Image Reconstruction, Super-Resolution

흐름 기반 모델을 활용한 역문제 해결을 위한 궤적 스티칭

Trajectory Stitching for Solving Inverse Problems with Flow-Based Models

흐름 기반 생성 모델(flow-based generative model)은 역문제(inverse problem) 해결을 위한 강력한 사전확률(prior)로 부상했습니다. 한 가지 방법은 흐름 출력물이 역문제를 해결하도록 초기 잠재 코드(노이즈)를 직접 최적화하는 것입니다. 그러나 이 방식은 전체 생성 궤적을 통해 역전파해야 하므로 높은 메모리 비용과 수치적 불안정성을 초래합니다. 본 논문에서는 궤적을 단일 초기 코드가 아닌 중간 잠재 상태들의 시퀀스로 표현하는 MS-Flow를 제안합니다. 국소적으로 흐름 역학을 강제하고 궤적 일치 페널티를 통해 세그먼트들을 결합함으로써, MS-Flow는 중간 잠재 상태를 업데이트하는 것과 관측 데이터와의 일관성을 강제하는 것을 번갈아 수행합니다. 이를 통해 재구성 품질을 향상시키면서 메모리 소비를 줄입니다. 인페인팅, 초해상도(super-resolution), 컴퓨터 단층촬영(CT)을 포함한 이미지 복원 및 역문제에서 기존 방법 대비 MS-Flow의 효과를 입증합니다.

arXiv:2609.22807v1cs.CV공통 태그 Image Reconstruction, Super-Resolution

C$^{2}$-INR: 맞춤형 합성곱 암시적 신경 표현

C$^{2}$-INR: Customized Convolutional Implicit Neural Representation

암시적 신경 표현(INR)은 신경망을 활용하여 이미지와 같은 이산 신호를 연속적인 신호로 표현하며, 이때 신경망 가중치는 신호 자체의 압축된 형태 역할을 합니다. 기존의 대부분의 INR 방법은 백본으로 다층 퍼셉트론(MLP)을 채택합니다. 이러한 모델들은 각 픽셀을 독립적으로 렌더링하기 때문에, 이웃한 픽셀 사이에 존재하는 공간적 상관관계를 본질적으로 활용하지 못합니다. 반면, 합성곱(convolutional) INR은 픽셀 간의 의존성을 본질적으로 고려하면서 픽셀을 병렬로 처리할 수 있어 이미지를 표현하는 데 더욱 자연스럽게 부합합니다. 그럼에도 불구하고 합성곱 INR은 상대적으로 덜 연구되었으며, 대부분은 고정된 구조적 설정에 의존하여 이미지 맞춤형 적응을 위한 여지를 거의 남겨두지 않습니다. 본 논문에서는 합성곱 INR을 위한 신경망 맞춤화(network customization)를 연구합니다. 우리는 기존 필터를 비정형 방향성 커널로 대체하며, 이들의 할당은 이미지 스펙트럼의 방향성 에너지에 의해 안내됩니다. 즉, 더 강한 에너지를 나타내는 방향에 더 많은 수의 커널이 할당되어 콘텐츠에 맞춤화된 합성곱 설정을 가능하게 합니다. 이러한 커널들은 우수한 희소 표현을 달성하기 위해 직교 기저(orthogonal basis)를 통해 추가로 재구성됩니다. 나아가, 우리는 각 합성곱 커널에 가장 적합한 활성화 함수를 부여하는 어닐링된 검벨-소프트맥스(Gumbel-Softmax) 기반의 커널 단위 활성화 함수 선택 메커니즘을 도입합니다. 광범위한 실험을 통해 우리의 방법인 C$^{2}$-INR이 표현, 인페인팅, 초해상도를 포함한 광범위한 이미지 처리 작업 전반에서 유사한 매개변수 예산 하에 최첨단 접근법 대비 우수한 성능을 달성함을 입증합니다.

arXiv:2607.24110v1cs.CV공통 태그 Image Reconstruction, Super-Resolution

BeyondFusion: 보정 불필요 적외선 초해상도 및 적외선-가시광 융합을 위한 자기 정렬 잠재 확산

BeyondFusion: Self-Aligned Latent Diffusion for Calibration-Free Infrared Super-Resolution and Infrared-Visible Fusion

모바일 적외선-가시광 영상은 일반적으로 상호 보완적 인식을 위해 소형 적외선 센서와 고해상도 가시광 카메라를 함께 사용한다. 서로 다른 광학계, 시점, 시야(field of view), 노출 시점으로 인한 교차 센서 misalignment는 실용적 배포를 저해한다. 본 논문에서는 보정 불필요한 가시광 유도 적외선 초해상도 및 적외선-가시광 융합 작업을 위한 통합 잠재 확산(latent diffusion) 프레임워크인 BeyondFusion을 제안한다. 제안 프레임워크는 작업별 학습과, 두 작업이 동일한 생성 과정의 두 가지 readout으로 최적화·실행되는 공동 학습(joint training)을 모두 지원한다. 명시적 registration이나 기하학적 warping에 의존하는 대신, BeyondFusion은 디노이징 U-Net에 교차 모달 자기 정렬(cross-modal self-aligning, CMSA) 모듈을 도입한다. CMSA는 디노이징 과정 동안 콘텐츠 적응형 교차 모달 대응 관계를 학습하기 위해 적외선 및 가시광 잠재 토큰을 공유 어텐션 공간으로 재구성한다. misalignment augmentation 모듈과 함께, 모델은 열 일관성을 유지하면서 가시광의 구조적·의미적 단서를 활용하도록 돕고, 보정되지 않은(uncalibrated) 조건에서 고주파 적외선 재구성과 정보가 풍부한 융합 영상 생성을 가능하게 한다. 공개 벤치마크와 모바일 적외선-가시광 영상 시스템에 대한 광범위한 실험은 정렬된 입력, 저해상도 적외선 관측, 합성 misalignment, 비동기 센서를 갖춘 실제 모바일 촬영 등 다양한 조건에서 강력한 성능을 보여준다. Ablation 연구, 통합 학습 분석, 하류 보행자 검출은 보정 불필요 다중 모달 영상을 위한 BeyondFusion의 효과를 추가로 검증한다.

arXiv:2607.21485v1cs.CV공통 태그 Image Reconstruction, Super-Resolution

효율적 고충실도 표현을 위한 순환 사인파 암시적 신경 표현(INR)

Recurrent Sinusoidal INRs for Efficient High-Fidelity Representation

암시적 신경 표현(INR)에서 조화 스펙트럼 풍부화를 위한 반복적 메커니즘으로서 사인파 순환을 연구한다. 우리의 분석은 사인파 활성화가 조화 선 스펙트럼을 유도하며, 순환 전개가 유효 스펙트럼 지원을 어떻게 풍부하게 하는지에 대한 스펙트럼적 설명을 제공함을 보여준다. 우리는 잠재 표현을 반복적으로 정제하는 공유 사인파 블록으로 이 원리를 구현한다. 피드포워드 INR, 비사인파 순환 변형, 평형 스타일 사인파 모델과 대비하여 결과적인 스펙트럼 거동을 실증적으로 검증한다. 이 분석을 보완하여, 이미지 및 3D 표현 작업 전반에 걸쳐 제안된 아키텍처를 평가한다. RGB 이미지 벤치마크에서 우리 방법은 더 적은 파라미터와 더 적은 최적화 단계로 피드포워드 기준선보다 더 높은 충실도를 달성하며, 초해상도, NeRF, SDF 작업으로도 유리하게 전이된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.