이진화된 스펙트럼 압축 영상
Binarized Spectral Compressive Imaging
한국어 초록
초분광 영상(HSI) 복원을 위한 기존 딥러닝 모델은 우수한 성능을 달성하지만, 막대한 메모리와 연산 자원을 갖춘 고성능 하드웨어를 필요로 한다. 따라서 이러한 방법은 자원이 제한된 모바일 기기에 배포하기 어렵다. 본 논문에서는 스냅샷 압축 영상(SCI) 시스템에서 압축된 측정값으로부터 효율적이고 실용적으로 HSI를 복원하기 위한 새로운 방법인 이진화 스펙트럼 재분배 네트워크(BiSRNet)를 제안한다. 먼저 이진화에 적합하도록 간결하고 배포하기 쉬운 기본 모델을 재설계한다. 이어서 기본 단위인 이진화 스펙트럼 재분배 합성곱(BiSR-Conv)을 제시한다. BiSR-Conv는 활성화를 이진화하기 전에 HSI 표현을 적응적으로 재분배하며, 역전파에서 확장 가능한 쌍곡탄젠트 함수를 사용하여 Sign 함수를 더 가깝게 근사한다. BiSR-Conv를 바탕으로 차원 불일치를 해결하고 전체 네트워크에 걸쳐 완전 정밀도 정보를 전달하기 위한 네 가지 이진화 합성곱 모듈을 맞춤 설계한다. 마지막으로 제안한 기법들을 사용하여 기본 모델을 이진화함으로써 BiSRNet을 도출한다. 포괄적인 정량적·정성적 실험을 통해 제안한 BiSRNet이 최신 이진화 방법들을 능가하며 완전 정밀도 알고리즘과 대등한 성능을 달성함을 보인다. 코드와 모델은 https://github.com/caiyuanhao1998/BiSCI 및 https://github.com/caiyuanhao1998/MST 에서 공개되어 있다. 온라인 Gradio 데모는 Hugging Face의 https://huggingface.co/spaces/CaiYuanhao/MST 에서 이용할 수 있다.
원문 초록
Existing deep learning models for hyperspectral image (HSI) reconstruction achieve good performance but require powerful hardwares with enormous memory and computational resources. Consequently, these methods can hardly be deployed on resource-limited mobile devices. In this paper, we propose a novel method, Binarized Spectral-Redistribution Network (BiSRNet), for efficient and practical HSI restoration from compressed measurement in snapshot compressive imaging (SCI) systems. Firstly, we redesign a compact and easy-to-deploy base model to be binarized. Then we present the basic unit, Binarized Spectral-Redistribution Convolution (BiSR-Conv). BiSR-Conv can adaptively redistribute the HSI representations before binarizing activation and uses a scalable hyperbolic tangent function to closer approximate the Sign function in backpropagation. Based on our BiSR-Conv, we customize four binarized convolutional modules to address the dimension mismatch and propagate full-precision information throughout the whole network. Finally, our BiSRNet is derived by using the proposed techniques to binarize the base model. Comprehensive quantitative and qualitative experiments manifest that our proposed BiSRNet outperforms state-of-the-art binarization methods and achieves comparable performance with full-precision algorithms. Code and models are publicly available at https://github.com/caiyuanhao1998/BiSCI and https://github.com/caiyuanhao1998/MST . An online Gradio demo is available on Hugging Face at https://huggingface.co/spaces/CaiYuanhao/MST
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2305.10299v4제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Sample Efficient Conditional Independence Test in the Presence of Discretization
RoBiS: Robust Binary Segmentation for High-Resolution Industrial Images
Addition is almost all you need: Compressing neural networks with double binary factorization
Physics-guided and fabrication-aware inverse design of photonic devices using diffusion models
Expanding-and-Shrinking Binary Neural Networks
BHViT: Binarized Hybrid Vision Transformer
토론
이 논문과 연결된 포럼 글이 아직 없습니다.