Depth-wise Decomposition for Accelerating Separable Convolutions in Efficient Convolutional Neural Networks
원문 초록
Very deep convolutional neural networks (CNNs) have been firmly established as the primary methods for many computer vision tasks. However, most state-of-the-art CNNs are large, which results in high inference latency. Recently, depth-wise separable convolution has been proposed for image recognition tasks on computationally limited platforms such as robotics and self-driving cars. Though it is much faster than its counterpart, regular convolution, accuracy is sacrificed. In this paper, we propose a novel decomposition approach based on SVD, namely depth-wise decomposition, for expanding regular convolutions into depthwise separable convolutions while maintaining high accuracy. We show our approach can be further generalized to the multi-channel and multi-layer cases, based on Generalized Singular Value Decomposition (GSVD) [59]. We conduct thorough experiments with the latest ShuffleNet V2 model [47] on both random synthesized dataset and a large-scale image recognition dataset: ImageNet [10]. Our approach outperforms channel decomposition [73] on all datasets. More importantly, our approach improves the Top-1 accuracy of ShuffleNet V2 by ~2%.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어 병목을 활용한 정책 학습
Policy Learning with a Language Bottleneck
자율주행차 및 게임 플레이 에이전트와 같은 현대 AI 시스템은 초인적인 성능을 달성할 수 있지만, 인간 수준의 일반화 능력, 해석 가능성, 그리고 인간 사용자와의 상호 운용성이 부족한 경우가 많습니다. 인간의 언어와 의사결정 간의 풍부한 상호작용에서 영감을 받아, 우리는 보상 행동의 기저에 있는 고수준 전략을 포착하는 언어적 규칙을 AI 에이전트가 생성할 수 있도록 하는 프레임워크인 언어 병목을 활용한 정책 학습(Policy Learning with a Language Bottleneck, PLLB)을 제안합니다. PLLB는 언어 모델의 유도를 받는 *규칙 생성(rule generation)* 단계와, 규칙이 복잡한 정책 전체를 설명하기에 불충분한 경우에도 해당 규칙의 안내를 받아 새로운 정책을 학습하는 *업데이트(update)* 단계를 번갈아 수행합니다. 2인 신호 게임(two-player signaling game), 미로 내비게이션, 이미지 재구성, 로봇 파지 계획(grasp planning)을 포함한 5가지 다양한 태스크 전반에서, PLLB 에이전트가 더 해석 가능하고 일반화 가능한 행동을 학습할 수 있을 뿐만 아니라 학습된 규칙을 인간 사용자와 공유하여 더욱 효과적인 인간-AI 협업을 가능하게 함을 보입니다. 실험을 위한 소스 코드는 https://github.com/meghabyte/bottleneck 에서 제공됩니다.
Representation Improvement in Latent Space for Search-Based Testing of Autonomous Robotic Systems
On Learning Informative Trajectory Embeddings for Imitation, Classification and Regression
COOOL: Challenge Of Out-Of-Label A Novel Benchmark for Autonomous Driving
CARLA2Real: a tool for reducing the sim2real gap in CARLA simulator
Context-Aware Full Body Anonymization using Text-to-Image Diffusion Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.