A Survey of FPGA-Based Robotic Computing
원문 초록
Recent researches on robotics have shown significant improvement, spanning from algorithms, mechanics to hardware architectures. Robotics, including manipulators, legged robots, drones, and autonomous vehicles, are now widely applied in diverse scenarios. However, the high computation and data complexity of robotic algorithms pose great challenges to its applications. On the one hand, CPU platform is flexible to handle multiple robotic tasks. GPU platform has higher computational capacities and easy-touse development frameworks, so they have been widely adopted in several applications. On the other hand, FPGA-based robotic accelerators are becoming increasingly competitive alternatives, especially in latency-critical and power-limited scenarios. With specialized designed hardware logic and algorithm kernels, FPGA-based accelerators can surpass CPU and GPU in performance and energy efficiency. In this paper, we give an overview of previous work on FPGA-based robotic accelerators covering different stages of the robotic system pipeline. An analysis of software and hardware optimization techniques and main technical issues is presented, along with some commercial and space applications, to serve as a guide for future work.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
오프로딩된 가중치에서 더 빠른 LLM 디코딩을 위한 가중치 근사 기반 활성화 희소성
Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights
가중치를 모두 담기에 메모리가 부족한 소비자용(consumer-grade) GPU에 LLM을 배포하면 추론 속도가 지나치게 느려질 수 있는데, 이는 디코딩 과정에서 오프로딩된 가중치를 시스템 RAM이나 플래시 스토리지에서 GPU로 반복적으로 전송해야 하며, 이 전송 대역폭이 로컬 GPU 메모리 접근보다 훨씬 낮기 때문이다. 활성화 희소성(activation sparsity)은 0이거나 0에 가까운 활성화(activation)와 연관된 가중치를 건너뜀으로써 이러한 전송을 줄인다. 그러나 더 많은 활성화 기여분을 생략할수록 모델 품질이 결국 급격히 저하되는데, 이는 작은 크기의 활성화와 연관된 가중치들이 전체적으로 모델 품질에 큰 영향을 미친다는 것을 보여준다. 본 연구에서는 활성화 희소성을 활용할 때 모델 품질과 디코딩 성능 간의 trade-off를 개선한다. 핵심 아이디어는 가중치를 읽을지 여부에 대한 이진 선택을, 완전히 유지하거나, 압축된 가중치 표현(compressed weight representation)을 사용해 근사하거나, 완전히 생략하는 세 가지 옵션으로 대체하는 것이다. SpAx는 0에 가장 가까운 활성화와 연관된 가중치를 건너뛰고, 더 작은 크기의 활성화에 대해서는 근사된 가중치를 읽으며, 가장 큰 크기의 활성화에 대해서는 원본 가중치를 읽는다. 더 작은 크기의 활성화는 근사 가중치로 인해 발생하는 오차를 완화시키며, 압축된 가중치 표현은 전송해야 할 바이트 수를 줄인다. 가중치를 CPU 메모리로 오프로딩한 경우, SpAx는 16비트 가중치에서 평균 3.86배(최대 5.57배), 4비트 가중치에서 평균 2.06배(최대 2.74배)의 디코딩 속도 향상을 달성하며, WikiText-2 퍼플렉시티(perplexity) 증가는 최대 10%에 그친다. 가중치를 플래시 스토리지로 오프로딩한 경우, 속도 향상은 평균 3.31배(최대 4.81배) 및 평균 1.54배(최대 2.03배)이다.
로봇 안내견을 위한 경량 및 자원 효율적 인지
Lightweight and Resource-Efficient Perception for Robotic Guide Dogs
다중 카메라 스트리밍 인지(streaming perception)는 함께 상주하는 워크로드와 공유되는 이기종 엣지 플랫폼에 점차 많이 배포되고 있으나, 가속기 배치는 격리된 단일 스트림 실험과 평균 스트리밍 평균 정밀도(sAP)를 사용하여 평가되는 경우가 많습니다. 단일 GPU-NPU 플랫폼에서 두 개의 엔드투엔드 파이프라인을 사용하여, 본 연구는 격리된 평가가 실제 배포 시점의 배치 순위를 잘못 매길 수 있음을 보여줍니다. 단독 환경에서는 GPU 파이프라인이 선호되지만, GPU에 국한된 자원 경합(contention)으로 인해 마감 시간 초과(deadline miss)가 발생하여 검출 결과가 진부화(stale)되고, GPU가 완전히 포화되기 전에도 선호되는 배치가 뒤바뀔 수 있습니다. NPU 파이프라인은 단독 환경에서 소형 및 중형 객체에 대해 GPU 파이프라인보다 정확도가 낮지만, 대형 객체에서는 거의 대등한 성능을 보입니다. 지연 시간 및 경합 실험에서 가장 큰 절대적 sAP 손실은 대형 객체에서 발생합니다. 4개 스트림 실험에서 선호되는 배치는 어느 경로가 진부화되는지에 따라 달라지며, GPU 측 경합이 증가함에 따라 최적의 배치는 All-GPU에서 All-NPU로 전환됩니다. GPU를 포화시키는 비전-언어(vision-language) 공동 상주 워크로드 환경에서 All-NPU는 All-GPU 대비 최악 스트림 sAP의 $5.2\times$를 달성합니다. 평균 sAP는 특정 단일 스트림의 심각한 성능 저하를 감출 수 있으므로, 평가는 평균 sAP와 함께 경합 스윕(contention sweep), 양쪽 경로의 마감 시간 초과 비율, 그리고 최악 스트림 sAP를 보고해야 합니다.
EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL
EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management
체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.
추론 엔진에서 추론 제어 평면으로: vLLM, llm-d, 그리고 효율적 분산 LLM 서빙의 진화
From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving
대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.
범용 협력 지능: 회복력 있는 다중 에이전트 생태계를 위한 인지 아키텍처
General Collaborative Intelligence: Architecting Cognition for Resilient Multi-Agent Ecosystems
다중 에이전트 무인 시스템은 고립된 자기 중심적 sensing에서 협력 지능으로 이동하고 있으며, 분산 에이전트들이 압축된 특징(feature)을 교환하여 어떤 단일 에이전트도 벗어날 수 없는 국소 관측의 함정—가림(occlusion), 유한한 센서 범위, 환경 열화—to overcome. 해당 분야는 아키텍처, 통신, embodied, 회복력(resilience), 신뢰 차원에서 성숙해 왔지만, 기존 서베이는 이러한 차원을 각각 따로 다루며 그 의존 관계를 거의 드러내지 않는다. 본 리뷰는 두 가지 상보적 렌즈를 통해 통합적 종합을 제시한다. 첫째는 협력 단계, 통신 패러다임, 융합 아키텍처, 학습 전략, 응용 도메인에 걸친 5차원 분류체계이다. 둘째는 인지적 시너지를 운영 기준으로 전환하는 세 가지 인지적 시너지 조건—의미적 모호성 해소(Semantic Disambiguation), 화용론적 정보 교환(Pragmatic Information Exchange), 선제적 정보 탐색(Proactive Informational Foraging)—이다. 이러한 렌즈를 통해 협력 아키텍처와 토폴로지, 채널을 미분 가능한 파이프라인 구성요소로 다루는 신경-통신 공동 설계(neural-communication co-design), 다중 에이전트 강화학습을 통한 embodied 행동-지각 루프, 동기화·불확실성 정량화·라벨 효율적 학습을 위한 회복력 메커니즘을 조망한다. 이어 이러한 진전을 V2X, 무인 항공, 산업 물류, 스마트 시티의 네 가지 운영 도메인과 안전-프라이버시-유용성(safety-privacy-utility) 삼각 관계에 대응시킨다. 벤치마크 포화와 평가 파편화에 대응하기 위해, 본문은 협력 방법의 트레이드오프를 연구 간 비교 가능하게 만드는 성숙도 모델을 갖춘 5기둥 scoring 프로토콜 GCI-Bench를 제안한다. 재현성, sim-to-real 격차, 협력이 성능을 저하시키는 조건에 대한 비판적 성찰을 통해 미해결 과제를 밝히고, 실세계 불확실성 하에서 범용 협력 지능을 향한 방향을 제시한다.
자율주행차 대중 수용의 전 세계적 동인과 장벽: 17개국의 실증
Global drivers and barriers to the public acceptance of autonomous vehicles: Evidence from 17 countries
본 연구는 특정 조건 하에서 자율 주행할 수 있지만, 요청 시 인간 운전자가 다시 제어할 준비를 유지해야 하는 자동차공학회(SAE) 3레벨 조건부 자동화 자동차에 대한 대중 수용을 조사했다. 기존 통합 기술 수용 및 사용 이론 2(UTAUT2) 기반 연구는 주로 유럽 표본에 초점을 맞춰 왔으며, 따라서 동일한 요인이 더 넓은 세계 지역 전반에서 수용을 형성하는지 여부는 여전히 불분명하다. 이 지식 공백은 L3Pilot 글로벌 사용자 수용 설문조사를 통해 해소되었다. 원본 데이터셋 18,631명의 응답자 중, 최종 분석 표본은 아프리카, 아시아, 유럽, 북미, 남미 17개국의 18,603명으로 구성되었다. 데이터는 UTAUT2 기반 구조방정식 모델을 사용하여 성능 기대, 노력 기대, 사회적 영향, 촉진 조건, 쾌락적 동기가 3레벨 자동차 사용 의도를 어떻게 형성하는지 검토하기 위해 분석되었다. 모델은 강한 설명력을 보였다. 분석 표본 전반에서 3레벨 자동차 사용 의도는 주로 성능 기대, 사회적 영향, 쾌락적 동기에 의해 촉진되었다. 노력 기대와 촉진 조건 역시 기여했지만, 직접적 역할은 더 작았다. 나이, 성별, 첨단 운전자 보조 시스템(ADAS) 사용 경험은 통계적으로 유의했지만, 비교적 약한 예측 변수였다. 전반적으로, 연구 결과는 3레벨 자동화 자동차 수용이 인구통계학적 특성이나 사용 편의성에 대한 우려보다는 사람들이 해당 기술을 유용하고, 사회적으로 지지받으며, 사용하기 즐겁다고 인식하는지에 더 크게 달려 있음을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.