엣지(Edge)에서의 Tsetlin Machine 추론을 위한 저전력 축소형 RISC-V 명령어 부분집합 프로세서
Low-Energy Reduced RISC-V Instruction Subset Processor for Tsetlin Machine Inference at the Edge
한국어 초록
Tsetlin Machine(TM)은 간단한 비트 연산과 유한 상태 오토마타(finite-state automata)에 의존하는 논리 기반 머신러닝 접근 방식으로, 엣지 AI 배포에 매력적입니다. 최근 연구는 Tsetlin Machine(TM) 기반의 코프로세서 및 가속기 설계에 집중해 왔습니다. 이러한 설계들은 높은 성능을 달성하지만, 일반적으로 긴밀하게 결합된 인터페이스, 마이크로코드 스타일 프로그래밍, 외부 호스트 프로세서에 의존하여 유연성과 프로그래밍 용이성을 제한합니다. 본 연구에서는 TM 추론에 맞춤화된 도메인 특화 RISC-V 마이크로프로세서 아키텍처와 설계 플로우를 제안합니다. RISC-V의 모듈형 구조를 활용하여, TM 워크로드에 대해 성능 향상과 낮은 에너지 소비를 목표로 하면서 프로그래밍 가능성을 유지하는 축소형 명령어 부분집합 프로세서를 설계했습니다. 명령어 프로파일링(profiling)을 사용하여 명령어 축소를 안내하고, 이어 TM 추론에 맞춘 데이터 경로와 제어 경로 단순화가 수행됩니다. 기준선(baseline)인 RV32IM 코어와 제안된 축소형 코어는 여러 데이터셋에서 평가되며, 추론 중 비트 연산에 의존하기 때문에 하드웨어 효율적인 기준선(baseline) 역할을 하는 이진화 신경망(BNN)과 비교됩니다. 결과는 TM이 여러 데이터셋에서 실행 시간을 최대 98% 단축하면서도 비교 가능하거나 더 높은 정확도(예: CIFAR-2에서 BNN의 60.0%에 비해 최대 88.18%)를 달성함을 보여줍니다. 또한, 제안된 설계는 평균 $29.7\times$의 에너지 소비 감소를 달성하여, 프로그래밍 가능하고 효율적인 엣지 AI 시스템에 대한 효과를 입증합니다.
원문 초록
Tsetlin Machine (TM) is a logic-based machine learning approach that relies on simple bitwise operations and finite-state automata, which makes it attractive for edge AI deployments. Recent work has focused on co-processor and accelerator designs based on Tsetlin Machines (TMs). Although these designs achieve high performance, they typically depend on tightly coupled interfaces, microcode-style programming, and external host processors, limiting flexibility and ease of programming. In this work, we present a domain-specific RISC-V microprocessor architecture and design flow tailored for TM inference. Leveraging the modular structure of RISC-V, we design a reduced instruction subset processor that retains programmability while targeting improved performance and lower energy consumption for TM workloads. Instruction profiling is employed to guide instruction reduction, followed by datapath and control path simplifications tailored to TM inference. Both the baseline RV32IM core and the proposed reduced core are evaluated across multiple datasets and compared with Binarized Neural Networks (BNNs), which serve as a hardware-efficient baseline due to their reliance on bitwise operations during inference. Results show that TM achieves comparable or higher accuracy (e.g., up to 88.18% on CIFAR-2 compared to 60.0% for BNN) while reducing execution time by up to 98% across multiple datasets. Furthermore, the proposed design achieves an average $29.7\times$ reduction in energy consumption, demonstrating its effectiveness for programmable and efficient edge AI systems.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19964v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SPARX: 엣지 RISC-V SoC를 활용한 보안 및 프라이버시 인식 근사 CNN 가속
SPARX: Secure and Privacy-Aware Approximate CNN Acceleration with Edge RISC-V SoC
엣지 AI 시스템은 엄격한 에너지, 성능, 보안, 프라이버시 제약 조건 하에서 실시간 CNN 추론을 점점 더 요구하고 있습니다. 근사 컴퓨팅(approximate computing)은 신경망 워크로드의 오류 허용성(error resilience)을 활용하여 하드웨어 효율성을 향상시키지만, 대부분의 근사 CNN 가속기는 보안과 프라이버시 인식 엣지 배포를 동시에 고려하지 않습니다. 본 논문은 이종 RV32IMC RISC-V 시스템온칩(SoC)에 통합된 보안 및 프라이버시 인식 근사 CNN 가속 프레임워크인 SPARX를 제안합니다. SPARX는 사용자 정의 RISC-V 명령어 확장, 근사 로그 CNN 가속 유닛, 가벼운 차분 노이즈 기반 프라이버시 엔진, 그리고 챌린지-응답(challenge-response) 인증 메커니즘을 결합합니다. 산술 연산 선택을 안내하기 위해 근사 심각도 지수(Approximation Severity Index, ASI), 근사 효율성(Approximation Efficiency, AE), 근사 품질(Quality of Approximation, QoA), 근사 성능 지수(Approximation Figure-of-Merit, AFOM), 하드웨어 가속 효율성(Hardware Acceleration Efficiency, HAE)을 사용하는 근사 인식 결정 프레임워크를 도입했습니다. 11가지 최신 근사 MAC 아키텍처에 대한 평가 결과, 반복 로그 승수(Iterative Logarithmic Multiplier, ILM)가 가장 적합한 설계로 선정되었으며, 이는 정확한 radix-4 Booth MAC과 비교하여 면적을 51.7%, 전력을 81.5% 감소시키고 처리량을 2.13배 향상시키는 반면, ResNet-20/CIFAR-10 정확도는 2.82%p만 감소시켰습니다. Xilinx VC707 플랫폼에서의 FPGA 구현은 250 MHz에서 58.4 GOPS/W의 에너지 효율을 달성했으며, 28-nm CMOS 물리적 구현은 ASIC 실현 가능성을 검증했습니다.
SmolWAM: 엣지 디바이스 로봇 조작을 위한 잠재 월드-액션 모델
SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices
Beyond Benchmarks: Continuous Edge Inference for Traffic Sign Recognition on Embedded Vehicular Hardware
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
ActQuant: Sub-4-bit Action-Guided Backbone Weight-Only Quantization for Vision-Language-Action Models
ZeBROD: 재학습 없는 인식 및 객체 검출 프레임워크
ZeBROD: Zero-Retraining Based Recognition and Object Detection Framework
객체 검출(object detection)은 컴퓨터 비전(CV) 분야에서 핵심적인 과제이며 수많은 영역에서 활용되고 있다. 그럼에도 불구하고 객체 검출은 치명적 망각(catastrophic forgetting) 문제에 지속적으로 직면하고 있다. 새로운 상품이 도입될 때마다 모델은 신규 상품 데이터셋뿐만 아니라 기존 전체 데이터셋까지 활용하여 재학습되어야 한다. 그 결과 모델 학습 비용이 증가하고 상당한 시간이 소모되는 것은 명백하다. 특히 소매점 결제와 같은 여러 분야에서는 신규 상품의 잦은 출시가 큰 난제로 작용한다. 본 연구에서는 객체 위치 추정을 위한 YOLO11n과 특징 추출 및 거리 학습(metric learning)을 위한 DeiT 및 Proxy Anchor Loss를 결합하여 치명적 망각 문제를 해결하도록 설계된 방법론인 ZeBROD(Zero-Retraining Based Recognition and Object Detection)를 소개한다. 분류를 위해 대상 상품의 임베딩 특징과 Qdrant 벡터 데이터베이스 내 임베딩 특징 간의 코사인 유사도를 활용한다. 140개 상품을 취급하는 소매점에서 수행된 사례 연구에서, 실험 결과는 제안된 프레임워크가 신규 상품과 기존 상품의 검출 모두에서 고무적인 정확도를 달성함을 보여준다. 아울러 재학습을 수행하지 않으므로 학습 소요 시간 차이가 현저하다. 우리는 기존 객체 검출 접근 방식과 비교하여 거의 3배에 달하는 학습 시간 효율성을 달성했다. 이러한 효율성은 상품 데이터베이스에 새로운 상품이 추가될수록 더욱 증대된다. 엣지 기기에서 여러 상품이 포함된 이미지당 평균 추론 시간은 580ms로 나타나 제안된 프레임워크의 실용적 활용 타당성을 검증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.