Tree-based iterated local search for Markov random fields with applications in image analysis
원문 초록
The \emph{maximum a posteriori} (MAP) assignment for general structure Markov random fields (MRFs) is computationally intractable. In this paper, we exploit tree-based methods to efficiently address this problem. Our novel method, named Tree-based Iterated Local Search (T-ILS) takes advantage of the tractability of tree-structures embedded within MRFs to derive strong local search in an ILS framework. The method efficiently explores exponentially large neighborhood and does so with limited memory without any requirement on the cost functions. We evaluate the T-ILS in a simulation of Ising model and two real-world problems in computer vision: stereo matching, image denoising. Experimental results demonstrate that our methods are competitive against state-of-the-art rivals with a significant computational gain.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
하위 반프레임(lower semi-frames)을 이용한 이미지 디노이징
Image Denoising Using Lower Semi-Frames
가법적 백색 가우시안 노이즈(additive white Gaussian noise)에 대해, 무한 방향성 하위 반프레임(infinite directional lower semi-frame, DLSF)에 기반한 블라인드 이미지 디노이징 프레임워크를 제안한다. 제안 모델은 무계(unbounded) 반프레임(semi-frame) 연산자에 대한 resolvent 정규화(regularization)와 함께 스케일 의존적(scale-dependent) 방향 분석을 사용한다. 네 개의 방향 차분 채널(directional difference channel)의 결합 공분산(joint covariance)을 모델링하고 공분산 백화(covariance whitening)를 적용해 카이제곱(chi-square) 통계량을 얻음으로써, DLSF 영역에서 노이즈 분산(noise variance)을 직접 추정한다. 하위 꼬리 모멘트 추정량(lower-tail moment estimator)은 중位 절대 편차(median absolute deviation) 없이 블라인드 노이즈 추정을 제공한다. 추정된 노이즈 수준은 채널별 Wiener형 수축(channel-wise Wiener-type shrinkage)과 canonical-dual 합성(synthesis)에 반영되며, 이어 자동 중단(automatic stopping)을 갖는 데이터 일관(data-consistent) 반복 재구성(iterative reconstruction)이 수행된다. 노이즈 수준 15–30에서 세 장의 표준 그레이스케일 이미지에 대한 실험 결과, 평균 상대 노이즈 추정 오차는 3.28%이며 PSNR은 평균 7.45 dB, SSIM은 평균 0.367만큼 개선되었다. 30/255 노이즈에서는 추정 오차가 1.73%로 감소하고 평균 PSNR 이득은 8.31 dB였다. 결과는 효과적인 노이즈 억제와 구조 보존을 보여 주며, 매끄럽거나 에지가 지배적인 이미지에서 가장 강한 성능을 나타낸다.
PixelART: 잠재 표현 또는 텍스트-이미지 사전학습 없이 이미지-층 분해
PixelART: Image-to-Layer Decomposition without Latents or Text-to-Image Pretraining
이미지-층 분해는 평탄화된 이미지를 편집 가능한 RGBA 층으로 변환하여 디자인 워크플로에서 요소 단위 편집을 가능하게 한다. 기존 확산(diffusion) 기반 시스템은 일반적으로 대규모 사전학습된 텍스트-이미지(T2I) 모델을 적응시키고 RGBA 오토인코더 또는 가변 층 아키텍처 모듈을 도입한다. 우리는 이 설계 선택을 재검토하며, 층 분해가 정말로 이러한 고중량 구성 요소를 필요로 하는지 묻는다. 우리는 이미지-층(I2L) 분해를 위해 처음부터 학습된 픽셀 공간 rectified-flow 트랜스포머인 PixelART를 제안한다. PixelART는 단일 스트림 멀티모달 확산 트랜스포머로 영역 RGBA 픽셀 패치를 직접 디노이징하며, RGBA-VAE, 사전학습 T2I 백본, 층별 디코더를 사용하지 않는다. 우리는 이 과제의 핵심 특성을 밝힌다. 고노이즈 타임스텝은 층 할당과 거친 층 구조를 결정하고, 저노이즈 타임스텝은 주로 색상, 알파, 텍스처, 경계를 정제한다. 이 관찰에 기반하여 고노이즈 층 할당 구간에서 학습 커버리지를 높이기 위해 terminal-boosted 타임스텝 샘플링 전략을 제안한다. 400만 개의 다층 디자인 템플릿으로 학습된 PixelART는 Design-Multi-Layer-Bench와 LICA에서 최근 Qwen-Image-Layered 모델 대비 파라미터 80% 이상 감소, 지연 시간 98% 감소, 메모리 85% 감소로 최첨단 층 분해 및 합성 재구성 성능을 달성한다. Ablation 실험은 픽셀 공간 $\mathbf{x}$-prediction, terminal-boosted 타임스텝 샘플링, 데이터/모델 스케일링이 핵심적임을 보여 주며, T2I 사전학습은 I2L 과제에 미미한 이득만 가져온다.
시차 및 표면 법선을 위한 통합 스테레오 기하 추정 프레임워크
A Unified Stereo Geometry Estimation Framework for Disparity and Surface Normal
스테레오 매칭과 표면 법선 추정은 3D 비전에서 기본적인 과제이다. 그러나 기존 피드포워드(feed-forward) 스테레오 방법은 강력한 기하 사전(prior)의 부족으로 인해 어려운 영역에서 신뢰할 수 있는 예측을 생성하는 데 여전히 어려움을 겪는다. 본 논문에서는 강력한 diffusion 사전을 활용하여 시차와 표면 법선을 공동으로 예측하는 통합 스테레오 기하 추정 프레임워크인 GeoStereo를 제안한다. 구체적으로, GeoStereo는 피드포워드 스테레오 매칭 파이프라인과 diffusion 기반 법선 추정 분기(branch)를 결합한다. 두 과제 간 효과적인 상호작용을 가능하게 하기 위해, 시차에서 법선으로의 초기화 전략을 도입하고 diffusion 과정을 위한 왼쪽 뷰(left-view) 조건으로의 warp를 구성한다. 이 결합 설계는 diffusion 분기가 ill-posed 영역에서 시차 추정을 향상시키는 강력한 구조적 사전을 제공하는 동시에, 피드포워드 분기가 정확한 법선 예측을 위한 신뢰할 수 있는 기하적 안내를 제공하도록 한다. 광범위한 실험 결과, GeoStereo는 저조도 환경, 고반사 표면, 투명 물체 등 어려운 시나리오에서도 안정적으로 동작함을 보여준다. 제로샷(zero-shot) 설정에서 KITTI, NYUv2 등 여러 벤치마크에서 시차 추정 Rank-1을 달성하며, iBims-1, ScanNet 등 다수의 실내 벤치마크에서 최고의 법선 추정 정확도를 제공한다. Project page: https://qz-wei.github.io/GeoStereo.github.io/
STEREOFLOW: StereoDiT와 Transition Flow Matching 기반 점진적 스테레오 매칭
STEREOFLOW: Progressive Stereo Matching with StereoDiT and Transition Flow Matching
스테레오 매칭(stereo matching)은 3D 재구성에서 근본적인 과제이다. 비록 놀라운 발전이 있었지만, 지배적인 패러다임은 스테레오 매칭을 결정론적 회귀(regression) 문제로 공식화하여 다중모드(multimodal) 분포 모델링을 단일점 추정으로 축소한다. 이 공식화는 평균으로의 회귀(regression-to-mean) 바이어스에 시달리며, 모호한 영역에서 자주 어려움을 겪는다. 반면, 우리는 결정론적 매칭 회귀와 생성적 분포 모델링을 상호 보완적 공식화 내에서 통합하는 선행 정보 유도(prior-guided) 생성적 프레임워크를 제안한다. 이 공식화를 바탕으로, 세 가지 핵심 구성 요소를 통해 StereoFlow를 제안한다: (i) 보완적 매칭 단서를 갖춘 다중 해상도 스테레오 조건을 점진적으로 생성하는 2단계 점진적 캐스케이드 매칭 네트워크; (ii) 대응(correspondence) 모호성을 모델링하기 위한 주파수 분리(frequency-decoupled) 아키텍처를 갖춘, StereoDiT라 불리는 픽셀 확산(diffusion) 트랜스포머; (iii) 효율적 최적화(optimization)를 위한, Transition Flow Matching이라 불리는 소수 단계 플로우 매칭(flow matching) 목적 함수. 요약하면, StereoFlow는 강한 기하학적 일관성과 ill-posed한 불연속 영역 및 제로샷(zero-shot) 일반화에서 풍부한 세밀한 디테일을 달성한다. 광범위한 실험은 제안된 StereoFlow가 Scene Flow, KITTI, ETH3D, Middlebury를 포함한 여러 벤치마크(benchmark)에서 다수의 최신(state-of-the-art) 결과를 달성함을 보여준다.
저조도 카메라가 색맹이 되는 이유: Raw 노이즈 제거에서의 색상 바이어스 제거
Why Low-Light Cameras Go Color Blind: Removing Color Bias in Raw Denoising
Raw 이미지는 빛의 확률적 특성과 센서 하드웨어의 불완전성으로 인해 본질적으로 노이즈에 취약하다. 실제 광자 수가 감소함에 따라 신호 대비 노이즈 비율이 저하되며, 따라서 저조도 환경에서 강건한 노이즈 제거는 고품질 결과물을 위해 특히 중요하다. 최근 데이터 기반 방법들은 높은 성능을 달성하지만, 일반적으로 수집 비용이 높고 어려운 대규모 노이즈-클린 이미지 쌍에 의존한다. 대안으로 파라메트릭 노이즈 모델이 합성 학습 데이터를 생성할 수 있지만, 이는 정밀한 카메라 캘리브레이션을 필요로 하며 미지의 장치에 대해서는 종종 비실용적이다. 본 연구에서는 저조도 Raw 노이즈 제거를 위한 카메라 무관(camera-agnostic), 캘리브레이션 불필요 패러다임을 제안한다. 블랙 레벨 오류로 인한 색상 바이어스가 성능 저하의 주요 원인이며 심각한 색상 왜곡을 유발함을 규명한다. 이를 완화하기 위해, 노이즈 입력의 전역 특징으로서 블랙 레벨 오류를 예측하는 바이어스 추정기 네트워크를 도입한다. ELD, SID, LRID 데이터셋에서 접근 방식을 평가하여 블라인드 노이즈 제거기 중 우수한 성능을, 특히 색상 보정 측면에서 입증한다. 많은 경우에서 더 강한 지도 학습(supervision)을 활용하는 방법들과 동등하거나 이를 능가하기도 한다. 또한, 널리 사용되는 SIDD 데이터셋의 정답(ground-truth) 이미지에 상당한 색상 바이어스가 존재함을 밝히며, 이는 학습된 모델에서 비현실적인 색상 재현을 초래한다. 이 문제를 해결하기 위한 새로운 정답 추출 프레임워크를 제안하고, 수정된 데이터셋에서 기존 방법들의 벤치마크를 제공한다.
Pseudo-Siamese Blind-Spot Transformers for Self-Supervised Real-World Denoising
토론
이 논문과 연결된 포럼 글이 아직 없습니다.