A Design Space Study for LISTA and Beyond
원문 초록
In recent years, great success has been witnessed in building problem-specific deep networks from unrolling iterative algorithms, for solving inverse problems and beyond. Unrolling is believed to incorporate the model-based prior with the learning capacity of deep learning. This paper revisits the role of unrolling as a design approach for deep networks: to what extent its resulting special architecture is superior, and can we find better? Using LISTA for sparse recovery as a representative example, we conduct the first thorough design space study for the unrolled models. Among all possible variations, we focus on extensively varying the connectivity patterns and neuron types, leading to a gigantic design space arising from LISTA. To efficiently explore this space and identify top performers, we leverage the emerging tool of neural architecture search (NAS). We carefully examine the searched top architectures in a number of settings, and are able to discover networks that are consistently better than LISTA. We further present more visualization and analysis to "open the black box", and find that the searched top architectures demonstrate highly consistent and potentially transferable patterns. We hope our study to spark more reflections and explorations on how to better mingle model-based optimization prior and data-driven learning.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GC4NC: 노드 분류를 위한 그래프 압축 벤치마크 프레임워크와 새로운 통찰
GC4NC: A Benchmark Framework for Graph Condensation on Node Classification with New Insights
그래프 압축(GC)은 원본 그래프의 핵심 정보를 유지하면서 훨씬 작은 그래프를 학습하도록 설계된 신흥 기법이다. 이렇게 압축된 그래프는 더 큰 원본 그래프로 얻는 것과 비슷한 성능을 유지하면서 그래프 신경망을 가속하는 데 유망함을 보였다. 또한 이 기법은 신경망 구조 탐색과 같은 하위 응용을 촉진하고, 대규모 그래프의 중복성에 대한 이해를 심화한다. GC 방법, 특히 노드 분류를 위한 방법이 빠르게 발전했음에도 불구하고, 서로 다른 GC 방법을 체계적으로 비교하거나 그 효과를 높이기 위한 핵심 설계 선택을 명확히 할 통합 평가 프레임워크는 여전히 부족하다. 이러한 격차를 메우기 위해 우리는 성능, 효율성, 프라이버시 보존, 잡음 제거 능력, NAS 효과, 전이 가능성을 포함한 여러 차원에서 노드 분류에 대한 다양한 GC 방법을 평가하는 종합 프레임워크 \textbf{GC4NC}를 소개한다. 우리의 체계적인 평가는 압축된 그래프가 어떻게 동작하는지, 그리고 그 성공을 이끄는 핵심 설계 선택이 무엇인지에 대한 새로운 통찰을 제공한다. 이러한 발견은 GC 방법의 성능을 높이고 실제 응용을 확장하는 향후 발전의 길을 연다. 코드는 https://github.com/Emory-Melody/GraphSlim/tree/main/benchmark 에서 확인할 수 있다.
SelfDRSC++: Self-Supervised Dual Reversed Rolling Shutter Correction via Video Interpolation
UL-UNAS: 네트워크 아키텍처 탐색을 통한 실시간 음성 향상용 초경량 U-Net
UL-UNAS: Ultra-Lightweight U-Nets for Real-Time Speech Enhancement via Network Architecture Search
경량 모델은 실시간 음성 향상(speech enhancement) 응용 분야에서 필수적입니다. 최근 음성 향상을 위해 점점 더 컴팩트한 모델을 개발하는 추세가 이어지고 있습니다. 본 논문에서는 저용량(low-footprint) 기기 구현에 적합하며 네트워크 아키텍처 탐색(NAS)으로 최적화된 초경량 U-Net인 UL-UNAS를 제안합니다. 먼저, 가장 유망한 후보를 식별하기 위해 U-Net 프레임워크 내에서 다양한 효율적 합성곱 블록의 적용을 탐색합니다. 둘째로, 이러한 합성곱 블록의 용량을 향상시키기 위한 두 가지 부스팅 요소를 도입합니다. 바로 아핀 PReLU(affine PReLU)라는 새로운 활성화 함수와 인과적 시간-주파수 어텐션 모듈입니다. 나아가 정교하게 설계된 탐색 공간 내에서 최적의 아키텍처를 발견하기 위해 신경망 아키텍처 탐색을 활용합니다. 상기 전략들을 통합함으로써, UL-UNAS는 동일하거나 더 낮은 연산 복잡도에서 최신 초경량 모델들을 크게 능가할 뿐만 아니라, 실질적으로 훨씬 더 많은 연산 자원을 요구하는 최근 기준선(baseline) 모델들과 비교해도 경쟁력 있는 성능을 제공합니다. 소스 코드와 오디오 데모는 https://github.com/Xiaobin-Rong/ul-unas 에서 확인할 수 있습니다.
Gibbs 무작위성-압축 명제
Gibbs randomness-compression proposition
손실 압축 과정과 연관된 측정 벡터 집합에 대한 Gibbs 엔트로피를 통해 무작위성과 압축을 연결하는 명제를 제안한다. 이 연결을 구축하는 과정에서, 반복적인 압축-학습 주기에서 압축을 탐색하는 수단으로 학습 과제의 성능을 사용한다. 이는 열역학적 효율을 탐색 수단으로 사용하는 통계역학적 관점에서의 반복적 coarse-graining으로 볼 수 있다. 압축률의 매우 작은 감소와 성능 사이의 공단조(comonotonic) 관계를 통해 이 연결을 공식화한다. 기준선 모델로 세 가지 서로 다른 모델 압축 과정을 사용하여, 심층 학습의 정형적인 비전 과제에서 이 명제의 타당성을 입증한다. 다음의 단순한 것부터 복잡한 것까지의 모델 압축 접근법을 사용한다: (1) 무작위 가지치기, (2) 크기(magnitude) 가지치기, (3) 이중 방식의 압축 센싱(compressed sensing)을 활용하는 이중 tomographic 압축을 이용한 보다 복잡한 압축으로, 이는 새로운 방법으로 소개된다. 심층 학습 네트워크의 남은 가중치를 측정 벡터로 사용하여 Gibbs 엔트로피를 측정한다. 성능으로 탐색한 압축과 학습된 모델에 대한 엔트로피 측정으로부터 얻은 무작위성 사이에 본질적으로 계산 가능한 연결이 존재한다는 개념을 보여준다.
AnalogNAS-Bench: A NAS Benchmark for Analog In-Memory Computing
From Tiny Machine Learning to Tiny Deep Learning: A Survey
토론
이 논문과 연결된 포럼 글이 아직 없습니다.