Neural network-based on-chip spectroscopy using a scalable plasmonic encoder
원문 초록
Conventional spectrometers are limited by trade-offs set by size, cost, signal-to-noise ratio (SNR), and spectral resolution. Here, we demonstrate a deep learning-based spectral reconstruction framework, using a compact and low-cost on-chip sensing scheme that is not constrained by the design trade-offs inherent to grating-based spectroscopy. The system employs a plasmonic spectral encoder chip containing 252 different tiles of nanohole arrays fabricated using a scalable and low-cost imprint lithography method, where each tile has a unique geometry and, thus, a unique optical transmission spectrum. The illumination spectrum of interest directly impinges upon the plasmonic encoder, and a CMOS image sensor captures the transmitted light, without any lenses, gratings, or other optical components in between, making the entire hardware highly compact, light-weight and field-portable. A trained neural network then reconstructs the unknown spectrum using the transmitted intensity information from the spectral encoder in a feed-forward and non-iterative manner. Benefiting from the parallelization of neural networks, the average inference time per spectrum is ~28 microseconds, which is orders of magnitude faster compared to other computational spectroscopy approaches. When blindly tested on unseen new spectra (N = 14,648) with varying complexity, our deep-learning based system identified 96.86% of the spectral peaks with an average peak localization error, bandwidth error, and height error of 0.19 nm, 0.18 nm, and 7.60%, respectively. This system is also highly tolerant to fabrication defects that may arise during the imprint lithography process, which further makes it ideal for applications that demand cost-effective, field-portable and sensitive high-resolution spectroscopy tools.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
효율적인 초분광 영상 복원을 위한 마스크 유도 스펙트럼 단위 트랜스포머
Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction
초분광 영상(HSI) 복원은 부호화 개구 스냅샷 스펙트럼 영상(CASSI) 시스템에서 2D 측정값으로부터 3D 공간-스펙트럼 신호를 복원하는 것을 목표로 한다. HSI 표현은 스펙트럼 차원에 걸쳐 매우 유사하고 상관되어 있다. 스펙트럼 간 상호작용을 모델링하는 것은 HSI 복원에 유익하다. 그러나 기존 CNN 기반 방법은 스펙트럼 단위 유사성과 장거리 의존성을 포착하는 데 한계를 보인다. 또한 CASSI에서 HSI 정보는 부호화 개구(물리적 마스크)에 의해 변조된다. 그럼에도 현재의 알고리즘은 HSI 복원에 대한 마스크의 유도 효과를 충분히 탐구하지 않았다. 본 논문에서는 HSI 복원을 위한 새로운 프레임워크인 마스크 유도 스펙트럼 단위 트랜스포머(MST)를 제안한다. 구체적으로 각 스펙트럼 특징을 하나의 토큰으로 취급하고 스펙트럼 차원을 따라 자기 어텐션을 계산하는 스펙트럼 단위 멀티헤드 자기 어텐션(S-MSA)을 제시한다. 또한 S-MSA가 높은 충실도의 스펙트럼 표현을 가진 공간 영역에 주의를 기울이도록 유도하는 마스크 유도 메커니즘(MM)을 맞춤 설계한다. 폭넓은 실험을 통해 MST가 시뮬레이션 및 실제 HSI 데이터셋에서 최신(SOTA) 방법들을 크게 능가하면서도 연산 및 메모리 비용은 대폭 낮음을 보인다. 코드와 사전 학습된 모델은 https://github.com/caiyuanhao1998/MST/ 에서 이용할 수 있다. 온라인 Gradio 데모는 HuggingFace의 https://huggingface.co/spaces/CaiYuanhao/MST 에서 이용할 수 있다.
HDNet: 스펙트럼 압축 영상을 위한 고해상도 이중 도메인 학습
HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging
딥러닝의 급속한 발전은 초분광 영상(HSI)의 종단 간 복원에 더 나은 해법을 제공한다. 그러나 기존 학습 기반 방법에는 두 가지 주요 결함이 있다. 첫째, 자기 어텐션을 사용하는 네트워크는 대개 모델 성능과 복잡도의 균형을 맞추기 위해 내부 해상도를 희생하여 세밀한 고해상도(HR) 특징을 잃는다. 둘째, 공간-스펙트럼 도메인 학습(SDL)에 초점을 둔 최적화가 이상적인 해로 수렴하더라도 복원된 HSI와 정답 사이에는 여전히 상당한 시각적 차이가 존재한다. 따라서 본 논문에서는 HSI 복원을 위한 고해상도 이중 도메인 학습 네트워크(HDNet)를 제안한다. 한편으로, 제안한 HR 공간-스펙트럼 어텐션 모듈은 효율적인 특징 융합과 함께 연속적이고 세밀한 픽셀 수준 특징을 제공한다. 다른 한편으로, 주파수 도메인 차이를 줄이기 위해 HSI 복원에 주파수 도메인 학습(FDL)을 도입한다. 동적 FDL 감독은 모델이 세밀한 주파수를 복원하도록 하여 픽셀 수준 손실로 인한 과도한 평활화와 왜곡을 보상한다. HDNet의 HR 픽셀 수준 어텐션과 주파수 수준 정제는 HSI의 지각적 품질을 상호 향상시킨다. 폭넓은 정량적·정성적 평가 실험을 통해 본 방법이 시뮬레이션 및 실제 HSI 데이터셋에서 SOTA 성능을 달성함을 보인다. 코드와 모델은 https://github.com/caiyuanhao1998/MST 에 공개될 예정이다. 온라인 Gradio 데모는 HuggingFace의 https://huggingface.co/spaces/CaiYuanhao/MST 에서 이용할 수 있다.
초분광 영상 복원을 위한 조대-미세 희소 트랜스포머
Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction
부호화 개구 스냅샷 스펙트럼 영상(CASSI)의 역문제, 즉 2D 압축 측정값으로부터 3D 초분광 영상(HSI)을 복원하는 문제를 풀기 위해 많은 알고리즘이 개발되어 왔다. 최근 몇 년간 학습 기반 방법이 유망한 성능을 보이며 주류 연구 방향을 이루고 있다. 그러나 기존 CNN 기반 방법은 장거리 의존성과 비국소적 자기 유사성을 포착하는 데 한계를 보인다. 기존 트랜스포머 기반 방법은 토큰을 조밀하게 샘플링하는데, 그중 일부는 정보가 없으며, 내용상 무관한 일부 토큰 사이에서 멀티헤드 자기 어텐션(MSA)을 계산한다. 이는 HSI 신호의 공간적으로 희소한 특성에 부합하지 않으며 모델 확장성을 제한한다. 본 논문에서는 HSI 복원을 위한 딥러닝에 HSI의 희소성을 처음으로 내재화한 새로운 트랜스포머 기반 방법인 조대-미세 희소 트랜스포머(CST)를 제안한다. 특히 CST는 제안한 스펙트럼 인식 선별 메커니즘(SASM)을 사용하여 조대한 패치 선택을 수행한다. 이후 선택된 패치를 맞춤 설계한 스펙트럼 집약 해싱 멀티헤드 자기 어텐션(SAH-MSA)에 입력하여 미세한 픽셀 군집화와 자기 유사성 포착을 수행한다. 포괄적인 실험을 통해 CST가 더 적은 연산 비용을 요구하면서도 최신 방법들을 크게 능가함을 보인다. 코드와 모델은 https://github.com/caiyuanhao1998/MST 에 공개될 예정이다. 온라인 Gradio 데모는 https://huggingface.co/spaces/CaiYuanhao/MST 에서 이용할 수 있다.
MST++: 효율적인 분광 복원을 위한 다단계 분광 방향 트랜스포머
MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction
분광 복원(SR)을 위한 기존의 선도적 방법들은 RGB 영상에서 초분광 영상(HSI)으로의 종단간 매핑을 학습하기 위해 더 깊거나 더 넓은 합성곱 신경망(CNN)을 설계하는 데 집중한다. 이러한 CNN 기반 방법은 인상적인 복원 성능을 달성하지만 장거리 의존성과 자기 유사성 사전 지식을 포착하는 데 한계를 보인다. 이 문제에 대처하기 위해 효율적인 분광 복원을 위한 새로운 트랜스포머 기반 방법인 다단계 분광 방향 트랜스포머(MST++)를 제안한다. 특히 HSI가 공간적으로 희소하면서 분광적으로 자기 유사한 성질에 기반한 분광 방향 다중 헤드 자기 어텐션(S-MSA)을 사용하여 기본 단위인 분광 방향 어텐션 블록(SAB)을 구성한다. 이어서 SAB들이 U자형 구조를 활용하여 다중 해상도 컨텍스트 정보를 추출하는 단일 단계 분광 방향 트랜스포머(SST)를 구성한다. 마지막으로 여러 SST를 직렬로 연결한 MST++는 복원 품질을 거친 수준에서 세밀한 수준으로 점진적으로 향상시킨다. 포괄적인 실험을 통해 MST++가 다른 최신 방법들을 크게 능가함을 보인다. NTIRE 2022 분광 복원 챌린지에서 본 접근법은 1위를 차지하였다. 코드와 사전 학습된 모델은 https://github.com/caiyuanhao1998/MST-plus-plus 에서 공개되어 있다. 온라인 Gradio 데모는 HuggingFace의 https://huggingface.co/spaces/CaiYuanhao/MST-plus-plus 에서 이용할 수 있다.
스펙트럼 압축 영상을 위한 열화 인식 언폴딩 하프셔플 트랜스포머
Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging
부호화 개구 스냅샷 스펙트럼 압축 영상(CASSI) 시스템에서는 압축된 측정값으로부터 공간-스펙트럼 신호를 복원하기 위해 초분광 영상(HSI) 복원 방법을 사용한다. 이러한 알고리즘 중 딥 언폴딩 방법은 유망한 성능을 보이지만 두 가지 문제를 안고 있다. 첫째, 밀접하게 관련된 CASSI로부터 열화 패턴과 불량 조건성 정도를 추정하여 반복 학습을 안내하지 않는다. 둘째, 주로 CNN 기반이어서 장거리 의존성을 포착하는 데 한계를 보인다. 본 논문에서는 압축 영상과 물리적 마스크로부터 매개변수를 추정하고 이를 사용하여 각 반복을 제어하는 원리적인 열화 인식 언폴딩 프레임워크(DAUF)를 제안한다. 더 나아가 국소적 내용과 비국소적 의존성을 동시에 포착하는 새로운 하프셔플 트랜스포머(HST)를 맞춤 설계한다. HST를 DAUF에 결합하여 HSI 복원을 위한 최초의 트랜스포머 기반 딥 언폴딩 방법인 열화 인식 언폴딩 하프셔플 트랜스포머(DAUHST)를 확립한다. 실험 결과 DAUHST는 더 적은 연산 및 메모리 비용을 요구하면서도 최신 방법들을 크게 능가한다. 코드와 모델은 https://github.com/caiyuanhao1998/MST 에 공개될 예정이다. 온라인 Gradio 데모는 https://huggingface.co/spaces/CaiYuanhao/MST 에서 이용할 수 있다.
UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields
토론
이 논문과 연결된 포럼 글이 아직 없습니다.