Memory-Efficient Hierarchical Neural Architecture Search for Image Denoising
원문 초록
Recently, neural architecture search (NAS) methods have attracted much attention and outperformed manually designed architectures on a few high-level vision tasks. In this paper, we propose HiNAS (Hierarchical NAS), an effort towards employing NAS to automatically design effective neural network architectures for image denoising. HiNAS adopts gradient based search strategies and employs operations with adaptive receptive field to build an flexible hierarchical search space. During the search stage, HiNAS shares cells across different feature levels to save memory and employ an early stopping strategy to avoid the collapse issue in NAS, and considerably accelerate the search speed. The proposed HiNAS is both memory and computation efficient, which takes only about 4.5 hours for searching using a single GPU. We evaluate the effectiveness of our proposed HiNAS on two different datasets, namely an additive white Gaussian noise dataset BSD500, and a realistic noise dataset SIM1800. Experimental results show that the architecture found by HiNAS has fewer parameters and enjoys a faster inference speed, while achieving highly competitive performance compared with state-of-the-art methods. We also present analysis on the architectures found by NAS. HiNAS also shows good performance on experiments for image de-raining.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Single Stage Adaptive Multi-Attention Network for Image Restoration
Image Restoration via Frequency Selection
SAR Image Despeckling Using Continuous Attention Module
Color Image Restoration Exploiting Inter-channel Correlation with a 3-stage CNN
어닐링된 노이즈 레벨을 갖는 수렴형 Plug-and-Play 영상 복원
Convergent Plug-and-Play Image Restoration with Annealed Noise Levels
플러그 앤 플레이(Plug-and-Play, PnP) 방법은 반복 최적화(optimization) 알고리즘에 딥러닝 기반 디노이저를 통합하여 영상 역문제(inverse problem)를 해결합니다. 실제 구현에서는 반복에 따라 디노이저 노이즈 레벨 $σ$를 점차 감소시키는 경우가 많지만, 기존의 대부분의 수렴 분석은 고정된 디노이저를 가정합니다. 본 연구에서는 결정론적 방법(RED--GD 및 PnP--PGD)과 확률론적 방법(SNORE, 동변 RED, 그리고 PnP--Flow의 변형)을 아우르는, 어닐링된 노이즈 레벨을 갖는 광범위한 플러그 앤 플레이 알고리즘 계열에 대한 수렴 보장을 확립합니다. 각 방법에 대해 최종 디노이징 레벨과 연관된 명시적인 비볼록(nonconvex) 목적 함수를 식별하고, 해당 목적 함수에 대한 반복점들의 점근적 정상성(asymptotic stationarity)을 증명합니다. 우리의 분석은 노이즈 스케줄에 특정한 감쇠율을 강제하지 않으며, 학습된 그래디언트 단계 디노이저와 정확한 MMSE 디노이저를 모두 포함하는 가정을 채택합니다. 전반적으로, 본 연구의 이론적 결과는 기존 PnP 수렴 이론과 최신 영상 복원 기법에서 사용되는 감쇠 디노이징 실무 사이의 간극을 메웁니다. 우리는 이러한 스케줄의 이점을 실험적으로 입증하고, 인페인팅(inpainting), 초해상도(super-resolution), 디모자이킹(demosaicing), 단층촬영(tomography)을 포함한 여러 영상 역문제에서 예측된 수렴 거동을 보여줍니다.
혼합 정밀도 양자화를 위한 태스크 인지 QUBO 할당
Task-Aware QUBO Allocation for Mixed-Precision Quantization
혼합 정밀도(mixed-precision) 양자화(quantization)는 가중치(weight) 및 활성화 비트 폭(bit-width)의 이산적 할당과 선택된 네트워크의 복구 과정을 필요로 합니다. 본 연구에서는 분리된 가중치 및 활성화 프로파일, 비트 연산(BOP) 비용, 그리고 선택된 구조적 사전 정보를 포함하는 태스크 인지 2차 무제약 이진 최적화(QUBO) 대리 모델(surrogate)을 개발합니다. QUBO는 직접적인 검증(validation) 기반 PROTES 탐색을 통해 미세 조정될 수 있는 네트워크 전반의 할당을 제공합니다. 소형 NAFBlock 기반 디노이저에서 정제된 경로는 HAWQ 스타일 기준선(baseline)의 4.101%에서 37.092 dB 대비, 4.035% 라우팅 층(layer) BOP에서 LSQ+ 적용 후 37.192 dB를 달성합니다. 반복 탐색 주요 실험에 따르면 LSQ+는 QUBO 할당과 비용이 많이 드는 직접 정제 간의 품질 격차를 대부분 좁히는 것으로 나타났습니다. 추가적인 복원 아키텍처에서는 더 큰 복구 이득을 유지하여, 정제의 효용이 아키텍처와 복구 방식에 따라 달라짐을 보여줍니다. 본 연구에서는 품질, 달성된 비용, 라우팅 안정성 및 최적화 비용을 종합적으로 평가합니다. 배포 측정은 가짜 양자화(fake-quantized) 부동소수점 구현을 특성화하며, BOP 감소는 해석적 할당 절감 효과를 나타냅니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.