Dynamic Vision Sensor integration on FPGA-based CNN accelerators for high-speed visual classification
원문 초록
Deep-learning is a cutting edge theory that is being applied to many fields. For vision applications the Convolutional Neural Networks (CNN) are demanding significant accuracy for classification tasks. Numerous hardware accelerators have populated during the last years to improve CPU or GPU based solutions. This technology is commonly prototyped and tested over FPGAs before being considered for ASIC fabrication for mass production. The use of commercial typical cameras (30fps) limits the capabilities of these systems for high speed applications. The use of dynamic vision sensors (DVS) that emulate the behavior of a biological retina is taking an incremental importance to improve this applications due to its nature, where the information is represented by a continuous stream of spikes and the frames to be processed by the CNN are constructed collecting a fixed number of these spikes (called events). The faster an object is, the more events are produced by DVS, so the higher is the equivalent frame rate. Therefore, these DVS utilization allows to compute a frame at the maximum speed a CNN accelerator can offer. In this paper we present a VHDL/HLS description of a pipelined design for FPGA able to collect events from an Address-Event-Representation (AER) DVS retina to obtain a normalized histogram to be used by a particular CNN accelerator, called NullHop. VHDL is used to describe the circuit, and HLS for computation blocks, which are used to perform the normalization of a frame needed for the CNN. Results outperform previous implementations of frames collection and normalization using ARM processors running at 800MHz on a Zynq7100 in both latency and power consumption. A measured 67% speedup factor is presented for a Roshambo CNN real-time experiment running at 160fps peak rate.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
HERALD: High-Throughput Block Diffusion LLM Inference via CPU-GPU Cooperative KV Cache Retrieval
오프로딩된 가중치에서 더 빠른 LLM 디코딩을 위한 가중치 근사 기반 활성화 희소성
Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights
가중치를 모두 담기에 메모리가 부족한 소비자용(consumer-grade) GPU에 LLM을 배포하면 추론 속도가 지나치게 느려질 수 있는데, 이는 디코딩 과정에서 오프로딩된 가중치를 시스템 RAM이나 플래시 스토리지에서 GPU로 반복적으로 전송해야 하며, 이 전송 대역폭이 로컬 GPU 메모리 접근보다 훨씬 낮기 때문이다. 활성화 희소성(activation sparsity)은 0이거나 0에 가까운 활성화(activation)와 연관된 가중치를 건너뜀으로써 이러한 전송을 줄인다. 그러나 더 많은 활성화 기여분을 생략할수록 모델 품질이 결국 급격히 저하되는데, 이는 작은 크기의 활성화와 연관된 가중치들이 전체적으로 모델 품질에 큰 영향을 미친다는 것을 보여준다. 본 연구에서는 활성화 희소성을 활용할 때 모델 품질과 디코딩 성능 간의 trade-off를 개선한다. 핵심 아이디어는 가중치를 읽을지 여부에 대한 이진 선택을, 완전히 유지하거나, 압축된 가중치 표현(compressed weight representation)을 사용해 근사하거나, 완전히 생략하는 세 가지 옵션으로 대체하는 것이다. SpAx는 0에 가장 가까운 활성화와 연관된 가중치를 건너뛰고, 더 작은 크기의 활성화에 대해서는 근사된 가중치를 읽으며, 가장 큰 크기의 활성화에 대해서는 원본 가중치를 읽는다. 더 작은 크기의 활성화는 근사 가중치로 인해 발생하는 오차를 완화시키며, 압축된 가중치 표현은 전송해야 할 바이트 수를 줄인다. 가중치를 CPU 메모리로 오프로딩한 경우, SpAx는 16비트 가중치에서 평균 3.86배(최대 5.57배), 4비트 가중치에서 평균 2.06배(최대 2.74배)의 디코딩 속도 향상을 달성하며, WikiText-2 퍼플렉시티(perplexity) 증가는 최대 10%에 그친다. 가중치를 플래시 스토리지로 오프로딩한 경우, 속도 향상은 평균 3.31배(최대 4.81배) 및 평균 1.54배(최대 2.03배)이다.
로봇 안내견을 위한 경량 및 자원 효율적 인지
Lightweight and Resource-Efficient Perception for Robotic Guide Dogs
다중 카메라 스트리밍 인지(streaming perception)는 함께 상주하는 워크로드와 공유되는 이기종 엣지 플랫폼에 점차 많이 배포되고 있으나, 가속기 배치는 격리된 단일 스트림 실험과 평균 스트리밍 평균 정밀도(sAP)를 사용하여 평가되는 경우가 많습니다. 단일 GPU-NPU 플랫폼에서 두 개의 엔드투엔드 파이프라인을 사용하여, 본 연구는 격리된 평가가 실제 배포 시점의 배치 순위를 잘못 매길 수 있음을 보여줍니다. 단독 환경에서는 GPU 파이프라인이 선호되지만, GPU에 국한된 자원 경합(contention)으로 인해 마감 시간 초과(deadline miss)가 발생하여 검출 결과가 진부화(stale)되고, GPU가 완전히 포화되기 전에도 선호되는 배치가 뒤바뀔 수 있습니다. NPU 파이프라인은 단독 환경에서 소형 및 중형 객체에 대해 GPU 파이프라인보다 정확도가 낮지만, 대형 객체에서는 거의 대등한 성능을 보입니다. 지연 시간 및 경합 실험에서 가장 큰 절대적 sAP 손실은 대형 객체에서 발생합니다. 4개 스트림 실험에서 선호되는 배치는 어느 경로가 진부화되는지에 따라 달라지며, GPU 측 경합이 증가함에 따라 최적의 배치는 All-GPU에서 All-NPU로 전환됩니다. GPU를 포화시키는 비전-언어(vision-language) 공동 상주 워크로드 환경에서 All-NPU는 All-GPU 대비 최악 스트림 sAP의 $5.2\times$를 달성합니다. 평균 sAP는 특정 단일 스트림의 심각한 성능 저하를 감출 수 있으므로, 평가는 평균 sAP와 함께 경합 스윕(contention sweep), 양쪽 경로의 마감 시간 초과 비율, 그리고 최악 스트림 sAP를 보고해야 합니다.
EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL
EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management
체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.
산업용 머신 비전의 심층 학습 모델을 위한 엣지 추론 전략 벤치마킹
Benchmarking Edge Inference Strategies for Deep Learning Models in Industrial Machine Vision
엣지 배포(edge deployment)는 낮은 지연 시간, 데이터 보안, 또는 제한된 연결성이 핵심 요구사항인 산업용 머신 비전 시스템에서 흔히 선호되는 솔루션이다. 엣지 디바이스에서의 추론을 최적화하기 위한 여러 프레임워크가 존재하지만, 산업 배포 조건에서의 추론 시간 성능을 체계적으로 비교한 연구는 상대적으로 드물다. 본 연구에서는 산업 환경의 머신 비전 추론에 널리 사용되는 네 가지 접근 방식, 즉 순수 PyTorch, ONNX Runtime, OpenVINO, TensorRT에 대한 비교 연구를 제시한다. 평가는 추론 시간에 초점을 맞추며, 여러 CPU 및 GPU 기반 하드웨어 플랫폼을 대상으로 하고, 기존 합성곱 신경망과 트랜스포머 기반 비전 모델을 모두 포함한다. 평가된 하드웨어 플랫폼과 모델에 대한 결과, OpenVINO는 CPU에서 가장 낮은 추론 시간을 달성한 반면, TensorRT는 GPU에서 가장 낮은 추론 시간을 달성하였다. 단, TensorRT는 본 연구에서 고려된 트랜스포머 기반 모델에 대해 순수 PyTorch를 능가하지 못하였다.
소비자 기기에서의 하이브리드 CPU-GPU 대규모 언어 모델 추론을 위한 자동화 텐서 스케줄링
Automated Tensor Scheduling for Hybrid CPU-GPU LLM Inference on Consumer Devices
노트북이나 데스크톱과 같은 소비자 기기에서 대규모 언어 모델(LLM)을 실행하는 것은 모델 가중치가 GPU 메모리 용량을 초과하는 경우가 많아 CPU 메모리로 유효 모델 용량을 확장하기 위한 오프로딩 추론이 필요하다는 점에서 어려움이 있다. 그러나 기존 오프로딩 시스템은 대개 거친 층 수준 또는 전문가 수준의 스케줄링에 의존하여, 같은 층 내 텐서 간의 상당한 이질성을 간과하고 해당 기기의 변화하는 하드웨어 부하 조건에 적응하지 못한다. 본 논문은 텐서 세분성 수준에서 오프로딩을 수행하는 소비자 기기용 하이브리드 CPU-GPU 추론 시스템인 ATSInfer를 제안한다. ATSInfer는 정적 텐서 배치와 부하 인식 동적 전송을 결합하고, 비동기 CPU-GPU 협조 방식을 도입하여 이기종 백엔드 전반에 걸쳐 하드웨어 스토리지, 데이터 이동, 연산을 효율적으로 스케줄링한다. 우리는 ATSInfer를 구현하고 밀집 모델과 전문가 혼합(MoE) 모델 모두를 사용하여 대표적인 소비자 플랫폼에서 평가하였다. 기존 시스템 대비 ATSInfer는 프리필(prefill) 처리량을 최대 1.94배, 디코드(decode) 처리량을 최대 3.29배 향상시키는 동시에 GPU 활용률을 높이고 PCIe 대역폭을 더욱 효과적으로 사용한다. 이러한 결과는 ATSInfer가 개인 소비자 기기에서의 로컬 LLM 배포 사용자 경험을 크게 개선할 수 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.