arXiv:2008.10309

LC-NAS: Latency Constrained Neural Architecture Search for Point Cloud Networks

Guohao Li, Mengmeng Xu, Silvio Giancola, Ali Thabet, Bernard Ghanem

제출 2020-08-24

원문 초록

Point cloud architecture design has become a crucial problem for 3D deep learning. Several efforts exist to manually design architectures with high accuracy in point cloud tasks such as classification, segmentation, and detection. Recent progress in automatic Neural Architecture Search (NAS) minimizes the human effort in network design and optimizes high performing architectures. However, these efforts fail to consider important factors such as latency during inference. Latency is of high importance in time critical applications like self-driving cars, robot navigation, and mobile applications, that are generally bound by the available hardware. In this paper, we introduce a new NAS framework, dubbed LC-NAS, where we search for point cloud architectures that are constrained to a target latency. We implement a novel latency constraint formulation to trade-off between accuracy and latency in our architecture search. Contrary to previous works, our latency loss guarantees that the final network achieves latency under a specified target value. This is crucial when the end task is to be deployed in a limited hardware setting. Extensive experiments show that LC-NAS is able to find state-of-the-art architectures for point cloud classification in ModelNet40 with minimal computational cost. We also show how our searched architectures achieve any desired latency with a reasonably low drop in accuracy. Finally, we show how our searched architectures easily transfer to a different task, part segmentation on PartNet, where we achieve state-of-the-art results while lowering latency by a factor of 10.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2503.00340v2eess.AS공통 태그 Neural Architecture Search공식 코드 · Papers with Code

UL-UNAS: 네트워크 아키텍처 탐색을 통한 실시간 음성 향상용 초경량 U-Net

UL-UNAS: Ultra-Lightweight U-Nets for Real-Time Speech Enhancement via Network Architecture Search

경량 모델은 실시간 음성 향상(speech enhancement) 응용 분야에서 필수적입니다. 최근 음성 향상을 위해 점점 더 컴팩트한 모델을 개발하는 추세가 이어지고 있습니다. 본 논문에서는 저용량(low-footprint) 기기 구현에 적합하며 네트워크 아키텍처 탐색(NAS)으로 최적화된 초경량 U-Net인 UL-UNAS를 제안합니다. 먼저, 가장 유망한 후보를 식별하기 위해 U-Net 프레임워크 내에서 다양한 효율적 합성곱 블록의 적용을 탐색합니다. 둘째로, 이러한 합성곱 블록의 용량을 향상시키기 위한 두 가지 부스팅 요소를 도입합니다. 바로 아핀 PReLU(affine PReLU)라는 새로운 활성화 함수와 인과적 시간-주파수 어텐션 모듈입니다. 나아가 정교하게 설계된 탐색 공간 내에서 최적의 아키텍처를 발견하기 위해 신경망 아키텍처 탐색을 활용합니다. 상기 전략들을 통합함으로써, UL-UNAS는 동일하거나 더 낮은 연산 복잡도에서 최신 초경량 모델들을 크게 능가할 뿐만 아니라, 실질적으로 훨씬 더 많은 연산 자원을 요구하는 최근 기준선(baseline) 모델들과 비교해도 경쟁력 있는 성능을 제공합니다. 소스 코드와 오디오 데모는 https://github.com/Xiaobin-Rong/ul-unas 에서 확인할 수 있습니다.

arXiv:2505.23869v5stat.ML공통 태그 Neural Architecture Search공식 코드 · Papers with Code

Gibbs 무작위성-압축 명제

Gibbs randomness-compression proposition

손실 압축 과정과 연관된 측정 벡터 집합에 대한 Gibbs 엔트로피를 통해 무작위성과 압축을 연결하는 명제를 제안한다. 이 연결을 구축하는 과정에서, 반복적인 압축-학습 주기에서 압축을 탐색하는 수단으로 학습 과제의 성능을 사용한다. 이는 열역학적 효율을 탐색 수단으로 사용하는 통계역학적 관점에서의 반복적 coarse-graining으로 볼 수 있다. 압축률의 매우 작은 감소와 성능 사이의 공단조(comonotonic) 관계를 통해 이 연결을 공식화한다. 기준선 모델로 세 가지 서로 다른 모델 압축 과정을 사용하여, 심층 학습의 정형적인 비전 과제에서 이 명제의 타당성을 입증한다. 다음의 단순한 것부터 복잡한 것까지의 모델 압축 접근법을 사용한다: (1) 무작위 가지치기, (2) 크기(magnitude) 가지치기, (3) 이중 방식의 압축 센싱(compressed sensing)을 활용하는 이중 tomographic 압축을 이용한 보다 복잡한 압축으로, 이는 새로운 방법으로 소개된다. 심층 학습 네트워크의 남은 가중치를 측정 벡터로 사용하여 Gibbs 엔트로피를 측정한다. 성능으로 탐색한 압축과 학습된 모델에 대한 엔트로피 측정으로부터 얻은 무작위성 사이에 본질적으로 계산 가능한 연결이 존재한다는 개념을 보여준다.

arXiv:2505.06835v5cs.LG공통 태그 Point Cloud Classification공식 코드 · Papers with Code

스트리밍 슬라이스 최적 수송

Streaming Sliced Optimal Transport

슬라이스 최적 수송(SOT), 즉 슬라이스 Wasserstein(SW) 거리는 통계적·계산적 확장성(scalability)으로 널리 알려져 있다. 본 연구에서는 샘플 스트림으로부터 SW를 추정하는 최초의 방법인 스트리밍 슬라이스 Wasserstein(Stream-SW)을 제안하여 계산적 확장성을 더욱 향상시킨다. Stream-SW를 정의하기 위해, 먼저 일차원 Wasserstein 거리(1DW)의 스트리밍 추정량을 도입한다. 1DW는 비교하는 분포들의 분위 함수(quantile function) 간 절대 차이의 적분으로 주어지는 폐형(closed-form) 표현을 갖기 때문에, 샘플 스트림에 대한 분위 근사 기법을 활용하여 스트리밍 1DW 추정량을 정의한다. 모든 투영(projection)에 스트리밍 1DW를 적용함으로써 Stream-SW를 얻는다. Stream-SW의 핵심 장점은 근사 오차에 대한 이론적 보장을 제공하면서도 메모리 복잡도가 낮다는 점이다. 스트리밍 샘플로부터 가우시안 분포 및 가우시안 혼합분포를 비교할 때, Stream-SW가 무작위 부분 샘플링(random subsampling)보다 더 정확한 SW 근사를 더 낮은 메모리 소비로 달성함을 보인다. 또한 포인트 클라우드 분류, 포인트 클라우드 그래디언트 흐름, 스트리밍 변화점 탐지(change point detection) 실험을 수행하여 제안한 Stream-SW의 우수한 성능을 추가로 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.