Speeding-Up Convergence via Sequential Subspace Optimization: Current State and Future Directions
원문 초록
This is an overview paper written in style of research proposal. In recent years we introduced a general framework for large-scale unconstrained optimization -- Sequential Subspace Optimization (SESOP) and demonstrated its usefulness for sparsity-based signal/image denoising, deconvolution, compressive sensing, computed tomography, diffraction imaging, support vector machines. We explored its combination with Parallel Coordinate Descent and Separable Surrogate Function methods, obtaining state of the art results in above-mentioned areas. There are several methods, that are faster than plain SESOP under specific conditions: Trust region Newton method - for problems with easily invertible Hessian matrix; Truncated Newton method - when fast multiplication by Hessian is available; Stochastic optimization methods - for problems with large stochastic-type data; Multigrid methods - for problems with nested multilevel structure. Each of these methods can be further improved by merge with SESOP. One can also accelerate Augmented Lagrangian method for constrained optimization problems and Alternating Direction Method of Multipliers for problems with separable objective function and non-separable constraints.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
어닐링된 노이즈 레벨을 갖는 수렴형 Plug-and-Play 영상 복원
Convergent Plug-and-Play Image Restoration with Annealed Noise Levels
플러그 앤 플레이(Plug-and-Play, PnP) 방법은 반복 최적화(optimization) 알고리즘에 딥러닝 기반 디노이저를 통합하여 영상 역문제(inverse problem)를 해결합니다. 실제 구현에서는 반복에 따라 디노이저 노이즈 레벨 $σ$를 점차 감소시키는 경우가 많지만, 기존의 대부분의 수렴 분석은 고정된 디노이저를 가정합니다. 본 연구에서는 결정론적 방법(RED--GD 및 PnP--PGD)과 확률론적 방법(SNORE, 동변 RED, 그리고 PnP--Flow의 변형)을 아우르는, 어닐링된 노이즈 레벨을 갖는 광범위한 플러그 앤 플레이 알고리즘 계열에 대한 수렴 보장을 확립합니다. 각 방법에 대해 최종 디노이징 레벨과 연관된 명시적인 비볼록(nonconvex) 목적 함수를 식별하고, 해당 목적 함수에 대한 반복점들의 점근적 정상성(asymptotic stationarity)을 증명합니다. 우리의 분석은 노이즈 스케줄에 특정한 감쇠율을 강제하지 않으며, 학습된 그래디언트 단계 디노이저와 정확한 MMSE 디노이저를 모두 포함하는 가정을 채택합니다. 전반적으로, 본 연구의 이론적 결과는 기존 PnP 수렴 이론과 최신 영상 복원 기법에서 사용되는 감쇠 디노이징 실무 사이의 간극을 메웁니다. 우리는 이러한 스케줄의 이점을 실험적으로 입증하고, 인페인팅(inpainting), 초해상도(super-resolution), 디모자이킹(demosaicing), 단층촬영(tomography)을 포함한 여러 영상 역문제에서 예측된 수렴 거동을 보여줍니다.
하위 반프레임(lower semi-frames)을 이용한 이미지 디노이징
Image Denoising Using Lower Semi-Frames
가법적 백색 가우시안 노이즈(additive white Gaussian noise)에 대해, 무한 방향성 하위 반프레임(infinite directional lower semi-frame, DLSF)에 기반한 블라인드 이미지 디노이징 프레임워크를 제안한다. 제안 모델은 무계(unbounded) 반프레임(semi-frame) 연산자에 대한 resolvent 정규화(regularization)와 함께 스케일 의존적(scale-dependent) 방향 분석을 사용한다. 네 개의 방향 차분 채널(directional difference channel)의 결합 공분산(joint covariance)을 모델링하고 공분산 백화(covariance whitening)를 적용해 카이제곱(chi-square) 통계량을 얻음으로써, DLSF 영역에서 노이즈 분산(noise variance)을 직접 추정한다. 하위 꼬리 모멘트 추정량(lower-tail moment estimator)은 중位 절대 편차(median absolute deviation) 없이 블라인드 노이즈 추정을 제공한다. 추정된 노이즈 수준은 채널별 Wiener형 수축(channel-wise Wiener-type shrinkage)과 canonical-dual 합성(synthesis)에 반영되며, 이어 자동 중단(automatic stopping)을 갖는 데이터 일관(data-consistent) 반복 재구성(iterative reconstruction)이 수행된다. 노이즈 수준 15–30에서 세 장의 표준 그레이스케일 이미지에 대한 실험 결과, 평균 상대 노이즈 추정 오차는 3.28%이며 PSNR은 평균 7.45 dB, SSIM은 평균 0.367만큼 개선되었다. 30/255 노이즈에서는 추정 오차가 1.73%로 감소하고 평균 PSNR 이득은 8.31 dB였다. 결과는 효과적인 노이즈 억제와 구조 보존을 보여 주며, 매끄럽거나 에지가 지배적인 이미지에서 가장 강한 성능을 나타낸다.
PixelART: 잠재 표현 또는 텍스트-이미지 사전학습 없이 이미지-층 분해
PixelART: Image-to-Layer Decomposition without Latents or Text-to-Image Pretraining
이미지-층 분해는 평탄화된 이미지를 편집 가능한 RGBA 층으로 변환하여 디자인 워크플로에서 요소 단위 편집을 가능하게 한다. 기존 확산(diffusion) 기반 시스템은 일반적으로 대규모 사전학습된 텍스트-이미지(T2I) 모델을 적응시키고 RGBA 오토인코더 또는 가변 층 아키텍처 모듈을 도입한다. 우리는 이 설계 선택을 재검토하며, 층 분해가 정말로 이러한 고중량 구성 요소를 필요로 하는지 묻는다. 우리는 이미지-층(I2L) 분해를 위해 처음부터 학습된 픽셀 공간 rectified-flow 트랜스포머인 PixelART를 제안한다. PixelART는 단일 스트림 멀티모달 확산 트랜스포머로 영역 RGBA 픽셀 패치를 직접 디노이징하며, RGBA-VAE, 사전학습 T2I 백본, 층별 디코더를 사용하지 않는다. 우리는 이 과제의 핵심 특성을 밝힌다. 고노이즈 타임스텝은 층 할당과 거친 층 구조를 결정하고, 저노이즈 타임스텝은 주로 색상, 알파, 텍스처, 경계를 정제한다. 이 관찰에 기반하여 고노이즈 층 할당 구간에서 학습 커버리지를 높이기 위해 terminal-boosted 타임스텝 샘플링 전략을 제안한다. 400만 개의 다층 디자인 템플릿으로 학습된 PixelART는 Design-Multi-Layer-Bench와 LICA에서 최근 Qwen-Image-Layered 모델 대비 파라미터 80% 이상 감소, 지연 시간 98% 감소, 메모리 85% 감소로 최첨단 층 분해 및 합성 재구성 성능을 달성한다. Ablation 실험은 픽셀 공간 $\mathbf{x}$-prediction, terminal-boosted 타임스텝 샘플링, 데이터/모델 스케일링이 핵심적임을 보여 주며, T2I 사전학습은 I2L 과제에 미미한 이득만 가져온다.
Pseudo-Siamese Blind-Spot Transformers for Self-Supervised Real-World Denoising
Single Image Denoising via a New Lightweight Learning-Based Model
SNRGAN: The Semi Noise Reduction GAN for Image Denoising
토론
이 논문과 연결된 포럼 글이 아직 없습니다.