arXiv:1705.08664

Towards Understanding the Invertibility of Convolutional Neural Networks

Anna C. Gilbert, Yi Zhang, Kibok Lee, Yuting Zhang, Honglak Lee

제출 2017-05-24

원문 초록

Several recent works have empirically observed that Convolutional Neural Nets (CNNs) are (approximately) invertible. To understand this approximate invertibility phenomenon and how to leverage it more effectively, we focus on a theoretical explanation and develop a mathematical model of sparse signal recovery that is consistent with CNNs with random weights. We give an exact connection to a particular model of model-based compressive sensing (and its recovery algorithms) and random-weight CNNs. We show empirically that several learned networks are consistent with our mathematical analysis and then demonstrate that with such a simple theoretical framework, we can obtain reasonable re- construction results on real images. We also discuss gaps between our model assumptions and the CNN trained for classification in practical scenarios.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2205.10102v4eess.IV공통 태그 Compressive Sensing공식 코드 · Papers with Code

스펙트럼 압축 영상을 위한 열화 인식 언폴딩 하프셔플 트랜스포머

Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging

부호화 개구 스냅샷 스펙트럼 압축 영상(CASSI) 시스템에서는 압축된 측정값으로부터 공간-스펙트럼 신호를 복원하기 위해 초분광 영상(HSI) 복원 방법을 사용한다. 이러한 알고리즘 중 딥 언폴딩 방법은 유망한 성능을 보이지만 두 가지 문제를 안고 있다. 첫째, 밀접하게 관련된 CASSI로부터 열화 패턴과 불량 조건성 정도를 추정하여 반복 학습을 안내하지 않는다. 둘째, 주로 CNN 기반이어서 장거리 의존성을 포착하는 데 한계를 보인다. 본 논문에서는 압축 영상과 물리적 마스크로부터 매개변수를 추정하고 이를 사용하여 각 반복을 제어하는 원리적인 열화 인식 언폴딩 프레임워크(DAUF)를 제안한다. 더 나아가 국소적 내용과 비국소적 의존성을 동시에 포착하는 새로운 하프셔플 트랜스포머(HST)를 맞춤 설계한다. HST를 DAUF에 결합하여 HSI 복원을 위한 최초의 트랜스포머 기반 딥 언폴딩 방법인 열화 인식 언폴딩 하프셔플 트랜스포머(DAUHST)를 확립한다. 실험 결과 DAUHST는 더 적은 연산 및 메모리 비용을 요구하면서도 최신 방법들을 크게 능가한다. 코드와 모델은 https://github.com/caiyuanhao1998/MST 에 공개될 예정이다. 온라인 Gradio 데모는 https://huggingface.co/spaces/CaiYuanhao/MST 에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.