엣지 분류기를 위한 RRAM 기반 방사 기저 함수 뉴런 하드웨어 구현
An RRAM-based Hardware Implementation of a Radial Basis Function Neuron for Edge Classifiers
한국어 초록
자원이 제한된 엣지 기기에 최신 머신러닝(ML) 솔루션을 배포하는 과정에서는 다양한 구현상의 과제가 부각됩니다. 이는 자율 주행 작업과 같이 안전이 중요한 요소를 포함하는 극한의 엣지 애플리케이션에서 특히 두드러집니다. 본 논문에서는 엣지 환경에서 거리(metric) 기반 분류 및 온라인 적응을 수행하기 위한 효율적인 하드웨어 기판으로서 금속 산화물 저항변화메모리(RRAM) 기반 아날로그 연관 메모리(ACAM)를 활용한 인공 신경망(ANN) 설계를 선보입니다. 제안된 설계는 ACAM 모듈을 구축하는 데 사용되는 커스텀 템플릿 픽셀(TXL) 셀을 기반으로 하며, 각 TXL 셀은 설정 가능한 수용야(receptive field) 뉴런 역할을 합니다. 이 셀들은 방사 기저 활성화 함수(RBF)를 사용하여 프로그래밍된 수용야와 입력 간의 거리를 계산합니다. TXL은 고차원 입력과 저장된 모든 프로토타입 간의 거리를 계산하기 위해 고집적 배열로 구성될 수 있어, 빠르고 에너지 효율적인 유사도 검색을 효과적으로 수행합니다. 이 하드웨어 엔진은 도메인 변화(domain shift)를 추적하도록 수용야 파라미터를 튜닝할 수 있는 실시간(on-the-fly) 학습을 가능하게 합니다. 제안된 TXL-RBF 분류기 시뮬레이션을 통해 10MHz에서 동작할 때 셀당 연산당 185fJ를 소비하면서 MNIST 데이터셋에서 89.1%의 정확도를 달성할 수 있음을 보입니다.
원문 초록
The deployment of modern machine learning (ML) solutions on resource-constrained edge devices highlights implementation challenges. This is especially true for extreme edge applications that include safety-critical components, such as autonomous navigation tasks. This paper demonstrates an artificial neural network (ANN) design leveraging Metal-Oxide Resistive RAM (RRAM) -based Analogue Content Addressable Memory (ACAM) as an efficient hardware substrate for performing metric-based classification and online adaptation on the edge. The proposed design is based on a custom Template piXeL (TXL) cell used for building the ACAM module, where each TXL cell acts as a configurable receptive field neuron. These cells employ a Radial Basis activation function to calculate the distance of an input from the programmed receptive field. The TXL can be organised into dense arrays for calculating the distance of a high-dimensional input against all stored prototypes, effectively performing fast and energy efficient similarity search. This hardware engine enables on-the-fly learning, where the receptive field parameters can be tuned to track domain shift. Through simulation of the proposed TXL-RBF classifier we can achieve 89.1\% accuracy on the MNIST dataset while consuming 185fJ per cell per operation when operating at 10MHz.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
O\'ido: Real-Time Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator
MiX: 엔드투엔드 저비트 비전-언어 모델 가속을 위한 마이크로 역스케일링
MiX: Micro-Inverted-Scaling for End-to-End Low-Bit Vision-Language Model Acceleration
엣지 기기에서 비전-언어 모델(VLM)의 배포는 메모리 대역폭으로 인한 심각한 병목 현상을 겪고 있어, 공격적인 8비트 미만 양자화(quantization)가 필수적입니다. 엣지 가속기는 면적과 전력에 엄격한 제약이 있으므로 엔드투엔드 양자화 모델을 필요로 합니다. 그러나 멀티모달 토큰 간의 극단적인 동적 범위 격차로 인해 표준 블록 포맷은 단 하나의 거대한 이상치(outlier)가 공유 지수를 독점하여 주변 요소를 언더플로우시키고 어텐션(attention) 맵을 파괴하는 '마이크로스케일링 붕괴(microscaling collapse)'를 겪게 됩니다. 이러한 병목 현상을 해결하기 위해, 우리는 마이크로스케일링 패러다임을 수학적으로 역전시킨 새로운 포맷인 마이크로 역스케일링(MiX, Micro-Inverted-Scaling)을 제안합니다. MiX는 하나의 공유 지수 아래에 여러 가수를 그룹화하는 대신, 단일 공유 가수 아래에 요소별 개별 지수를 그룹화합니다. 비대칭적인 VLM 이상치 토폴로지를 처리하기 위해 적응형 듀얼 포맷(MiX-MX) 추론(inference) 프레임워크를 도입합니다. 공유된 MiX 가수를 대수적으로 인수분해함으로써, 이 프레임워크는 커스텀 가속기에 매핑되어 곱셈기를 효율적인 시프터로 대체합니다. 여러 VLM에서 엔드투엔드로 평가한 결과, 4.5비트 MiX 구성은 멀티모달 벤치마크에서 NVFP4와 동등하거나 우수한 정확도를 보였습니다. 동시에 MiX 가속기는 NVFP4 기준선(baseline) 대비 25% 향상된 면적 효율성을 제공하고, 최첨단 가속기인 Focus와 비교하여 여러 모델에 걸쳐 2.3~4.5배의 속도 향상과 1.4~2.9배의 에너지 절감을 달성하여 역스케일링 데이터패스가 효율적인 VLM 배포에 물리적으로 우수함을 입증했습니다.
RAMP: 엣지 CPU 비전 모델을 위한 강건한 적응형 혼합 정밀도 양자화
RAMP: Robust Adaptive Mixed-Precision Quantization for Edge CPU Vision Models
엣지 CPU에 심층 학습 모델을 배포할 때는 계산 및 메모리 제약이 병목이 된다. 혼합 정밀도 양자화는 정확도를 유지하면서 추론 지연을 줄일 수 있다고 기대된다. 그러나 양자화는 층 유형마다 서로 다르게 영향을 미치므로, 정확도 손실이 최소화되고 지연 감소가 최대화되는 위치를 찾는 것이 중요하며, 그 효과는 전체 배포에 걸쳐 누적되어 상당한 이득 또는 허용 불가능한 과제 성능 저하로 이어진다. 이러한 식별은 민감도 지표, 즉 모든 후보 정책의 과제 정확도를 평가하지 않고 층별 열화를 추정하는 대리 지표에 의존한다. 그럼에도 널리 쓰이는 지표는 최신 아키텍처에서 체계적으로 실패한다. 우리는 서로 뚜렷이 다른 네 개의 신경망에 걸친 층별 INT8 양자화에 대한 13개 민감도 지표의 체계적 실증 연구를 제시하고, 그로부터 얻은 정책을 두 ARM64 플랫폼에서 검증한다. 그래디언트 기반 민감도 방법은 8개 모델-하드웨어 구성 중 4개에서 실패하고, 가중치 기반 통계는 2개에서 실패한다. 반면 Jensen-Shannon Divergence는 치명적 실패가 전혀 없으며, 안전하게 양자화할 수 없는 층을 안정적으로 분리한다. 민감도 지표만으로는 정책이 정의되지 않으며, 그 단계에 흔히 쓰이는 고정 임계값은 최신 아키텍처의 고도로 치우친 분포에서 취약하다. 우리는 K-Means 클러스터링으로 이를 해결하여 거의 무손실 정확도와 전체 정밀도 모델 대비 평균 $1.81\times$ 속도 향상을 달성한다. 마지막으로, 민감도와 관계없이 속도 향상이 미미한 층을 양자화에서 제외하는 것이 역효과를 낼 수 있음을 밝힌다. 이는 계산 그래프 단편화를 유발하고 연산자 융합(operator fusion)을 비활성화하기 때문이다. 우리 결과는 GPU 접근이나 그래디언트 계산 없이 이질적 엣지 CPU에 양자화된 비전 모델을 배포하는 실무자와 연구자에게 구체적인 할당 정책을 제공한다.
JustFit: 로컬 LLM 서빙을 위한 적시 상태 관리
JustFit: Just-in-Time State Management for Local LLM Serving
로컬 에이전트는 모델 실행과 작업 이력을 위해 메모리가 필요하다. 우리는 겹치는 할당을 조율하는 MLX 런타임 JustFit을 제시한다. KVExec는 제한된 워크스페이스에서 4비트 KV를 실행하고 체크포인트하며, PhaseSwap은 단계 의존적 구성 요소를 로드하고, StateTrans는 실행 모드 간 이력을 보존한다. 24 GiB M4 Pro MacBook에서 Qwen3.8-27B MXFP4로 JustFit은 두 요청에 걸쳐 327,680개의 유지 위치에 도달하며, 이는 평가된 기준선의 단일 요청 기록 30,720 위치의 10.67배이다. 한 요청은 중앙값 5.986 tokens/s로 전체 262,144 위치의 네이티브 윈도우를 완료한다. 각 shape는 세 개의 새 프로세스에서 요청당 16,384 출력을 완료한다. B1은 cold build 1회와 접두 문맥 확장 2회를 사용하고, B2는 순서대로 된 접두 문맥 확장 3회를 사용한다(Section 4). 이미지 인코딩은 활성 196,608 입력 텍스트 요청을 유지한 채 진행할 수 있다. 통제된 반복 32K+6K 워크로드는 15,626 MiB에서 중앙값 18.284 tokens/s에 도달한다. 별도의 AIME 2026 평가에서는 29/30점을 기록한다. 실행과 상태 수명을 조율하면 개인 하드웨어에서 더 긴 이력을 다루는 것이 가능해진다.
LEAP-NBV: 파운데이션 모델 기반 차기 최적 시점 계획을 위한 경량 엣지 능동 지각
LEAP-NBV: Lightweight Edge Active-Perception for Foundation-Model Next-Best-View Planning
파운데이션 모델(foundation model)은 자율 시스템에 더 뛰어난 지능을 부여하여 시각적 지각을 통한 환경(environment)에 대한 보다 포괄적인 이해를 가능하게 하고 있다. 대표적인 예로 인체 메시 복원(HMR, Human Mesh Recovery)이 있으며, 이는 전술적 임무에 유용하게 활용될 수 있는 타깃의 3D 포즈 및 형태 추정치를 제공한다. 그러나 이러한 모델(model)의 크기와 전력 소모량으로 인해 엣지 플랫폼에서 구동하기 어렵고 실시간 성능이 제한되어 전술적 엣지 배포(edge deployment)의 요구사항을 충족하기 어렵다. 특히 통신이 제한된 환경에서 모바일 로봇이 계산을 외부로 오프로드하지 못하고 온보드 상에서 차기 최적 시점(NBV, Next-Best-View)을 계획해야 하는 능동 지각(active perception)의 경우 더욱 그렇다. 본 논문에서는 엣지 디바이스 온보드에서 파운데이션 모델 기반 차기 최적 시점 계획을 실행하는 경량 능동 지각 프레임워크인 LEAP-NBV를 제안한다. 이를 위해 오프라인 메시 목표 함수를 사용하여 대규모 HMR 교사 모델 제품군을 각각 컴팩트한 32M 학생 모델로 지식 증류(distillation)한 후, 비전 인코더를 FP16으로 양자화(quantization)하고 온디바이스 정확도와 지연 시간을 특성화한다. 차폐 인식 능동 지각 루프 내에서 동일한 홀드아웃 벤치마크(benchmark)를 통해 모든 구성을 평가(evaluation)하고, 전체 엔드투엔드 파이프라인을 NVIDIA Jetson Xavier NX에 배포하여 실제 측정된 온디바이스 지연 시간과 에너지를 보고한다. 지식 증류를 통해 테스트 세트에서 증류되지 않은 학생 모델 대비 프로크루스테스 정렬 평균 정점당 위치 오차(PA-MPVPE)를 6-7 mm 개선한다. 엣지에 최적화된 압축 모델을 선택함으로써 약간의 정확도 손실만으로 HMR 엔진의 속도를 약 12 ms로 끌어올리고, 전체 폐루프를 3.6 FPS 및 프레임당 2.6 J로 구동하여 다운스트림 태스크 품질을 거의 유지하면서도 압축되지 않은 모델 대비 2.0배의 속도 향상과 3.0배 낮은 에너지를 달성한다.
FoldQuantVLA: 일관된 폴딩을 통한 비전-언어-행동 모델의 네이티브 저비트 양자화
FoldQuantVLA: Native Low-Bit Quantization of Vision-Language-Action Models via Consistent Folding
저비트 비전-언어-행동(VLA) 추론은 로봇의 동작을 보존하면서 관측-행동 간 지연 시간을 줄여야 합니다. 본 논문에서는 캘리브레이션, 가중치 반올림, 네이티브 정수 실행 전반에 걸쳐 일관된 활성화 표현을 유지하는 사후 학습 양자화 프레임워크인 FoldQuantVLA를 제시합니다. 이는 정책 재학습 없이 채널 스케일링 및 블록 아다마르 변환을 동적 토큰별 양자화와 결합합니다. 커스텀 TensorRT 플러그인은 Ada GPU 및 Jetson AGX Orin 환경에서 언어 백본과 반복적 행동 전문가 모두의 프로젝션을 4비트 가중치 및 활성화(W4A4)로 실행합니다. 평가는 LIBERO, SimplerEnv 및 두 개의 로봇 플랫폼에 걸쳐 수행됩니다. 세 개의 GR00T 체크포인트와 $\pi_{0.5}$ 전반에서, W4A4는 부동소수점 TensorRT 대비 Orin에서 $1.20$~$1.33\times$, 데스크톱에서 $1.25$~$1.52\times$의 속도 향상을 달성합니다. 언어 어텐션 출력 및 피드포워드 다운 프로젝션을 8비트(W8A8)로 유지하면 네 개의 모든 체크포인트에서 미확인(held-out) 행동 충실도가 향상됩니다. 4개의 실제 로봇 작업 전반에서, 이 구성은 구성당 80회의 시험 동안 GR00T N1.7의 관측 성공률을 균일 W4A4의 $80.0\%$에서 $92.5\%$로 높였으며, 이때 Orin에서 측정된 추가 지연 시간은 1 ms에 불과했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.