LUM-ViT: Learnable Under-sampling Mask Vision Transformer for Bandwidth Limited Optical Signal Acquisition
원문 초록
Bandwidth constraints during signal acquisition frequently impede real-time detection applications. Hyperspectral data is a notable example, whose vast volume compromises real-time hyperspectral detection. To tackle this hurdle, we introduce a novel approach leveraging pre-acquisition modulation to reduce the acquisition volume. This modulation process is governed by a deep learning model, utilizing prior information. Central to our approach is LUM-ViT, a Vision Transformer variant. Uniquely, LUM-ViT incorporates a learnable under-sampling mask tailored for pre-acquisition modulation. To further optimize for optical calculations, we propose a kernel-level weight binarization technique and a three-stage fine-tuning strategy. Our evaluations reveal that, by sampling a mere 10% of the original image pixels, LUM-ViT maintains the accuracy loss within 1.8% on the ImageNet classification task. The method sustains near-original accuracy when implemented on real-world optical hardware, demonstrating its practicality. Code will be available at https://github.com/MaxLLF/LUM-ViT.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
이진화된 스펙트럼 압축 영상
Binarized Spectral Compressive Imaging
초분광 영상(HSI) 복원을 위한 기존 딥러닝 모델은 우수한 성능을 달성하지만, 막대한 메모리와 연산 자원을 갖춘 고성능 하드웨어를 필요로 한다. 따라서 이러한 방법은 자원이 제한된 모바일 기기에 배포하기 어렵다. 본 논문에서는 스냅샷 압축 영상(SCI) 시스템에서 압축된 측정값으로부터 효율적이고 실용적으로 HSI를 복원하기 위한 새로운 방법인 이진화 스펙트럼 재분배 네트워크(BiSRNet)를 제안한다. 먼저 이진화에 적합하도록 간결하고 배포하기 쉬운 기본 모델을 재설계한다. 이어서 기본 단위인 이진화 스펙트럼 재분배 합성곱(BiSR-Conv)을 제시한다. BiSR-Conv는 활성화를 이진화하기 전에 HSI 표현을 적응적으로 재분배하며, 역전파에서 확장 가능한 쌍곡탄젠트 함수를 사용하여 Sign 함수를 더 가깝게 근사한다. BiSR-Conv를 바탕으로 차원 불일치를 해결하고 전체 네트워크에 걸쳐 완전 정밀도 정보를 전달하기 위한 네 가지 이진화 합성곱 모듈을 맞춤 설계한다. 마지막으로 제안한 기법들을 사용하여 기본 모델을 이진화함으로써 BiSRNet을 도출한다. 포괄적인 정량적·정성적 실험을 통해 제안한 BiSRNet이 최신 이진화 방법들을 능가하며 완전 정밀도 알고리즘과 대등한 성능을 달성함을 보인다. 코드와 모델은 https://github.com/caiyuanhao1998/BiSCI 및 https://github.com/caiyuanhao1998/MST 에서 공개되어 있다. 온라인 Gradio 데모는 Hugging Face의 https://huggingface.co/spaces/CaiYuanhao/MST 에서 이용할 수 있다.
A Sample Efficient Conditional Independence Test in the Presence of Discretization
RoBiS: Robust Binary Segmentation for High-Resolution Industrial Images
Addition is almost all you need: Compressing neural networks with double binary factorization
Physics-guided and fabrication-aware inverse design of photonic devices using diffusion models
Expanding-and-Shrinking Binary Neural Networks
토론
이 논문과 연결된 포럼 글이 아직 없습니다.