PyTorchKR Papers

업데이트된 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2204.07908v2cs.CV공식 코드 · Papers with Code

MST++: 효율적인 분광 복원을 위한 다단계 분광 방향 트랜스포머

MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction

분광 복원(SR)을 위한 기존의 선도적 방법들은 RGB 영상에서 초분광 영상(HSI)으로의 종단간 매핑을 학습하기 위해 더 깊거나 더 넓은 합성곱 신경망(CNN)을 설계하는 데 집중한다. 이러한 CNN 기반 방법은 인상적인 복원 성능을 달성하지만 장거리 의존성과 자기 유사성 사전 지식을 포착하는 데 한계를 보인다. 이 문제에 대처하기 위해 효율적인 분광 복원을 위한 새로운 트랜스포머 기반 방법인 다단계 분광 방향 트랜스포머(MST++)를 제안한다. 특히 HSI가 공간적으로 희소하면서 분광적으로 자기 유사한 성질에 기반한 분광 방향 다중 헤드 자기 어텐션(S-MSA)을 사용하여 기본 단위인 분광 방향 어텐션 블록(SAB)을 구성한다. 이어서 SAB들이 U자형 구조를 활용하여 다중 해상도 컨텍스트 정보를 추출하는 단일 단계 분광 방향 트랜스포머(SST)를 구성한다. 마지막으로 여러 SST를 직렬로 연결한 MST++는 복원 품질을 거친 수준에서 세밀한 수준으로 점진적으로 향상시킨다. 포괄적인 실험을 통해 MST++가 다른 최신 방법들을 크게 능가함을 보인다. NTIRE 2022 분광 복원 챌린지에서 본 접근법은 1위를 차지하였다. 코드와 사전 학습된 모델은 https://github.com/caiyuanhao1998/MST-plus-plus 에서 공개되어 있다. 온라인 Gradio 데모는 HuggingFace의 https://huggingface.co/spaces/CaiYuanhao/MST-plus-plus 에서 이용할 수 있다.