Edge AI without Compromise: Efficient, Versatile and Accurate Neurocomputing in Resistive Random-Access Memory
원문 초록
Realizing today's cloud-level artificial intelligence functionalities directly on devices distributed at the edge of the internet calls for edge hardware capable of processing multiple modalities of sensory data (e.g. video, audio) at unprecedented energy-efficiency. AI hardware architectures today cannot meet the demand due to a fundamental "memory wall": data movement between separate compute and memory units consumes large energy and incurs long latency. Resistive random-access memory (RRAM) based compute-in-memory (CIM) architectures promise to bring orders of magnitude energy-efficiency improvement by performing computation directly within memory. However, conventional approaches to CIM hardware design limit its functional flexibility necessary for processing diverse AI workloads, and must overcome hardware imperfections that degrade inference accuracy. Such trade-offs between efficiency, versatility and accuracy cannot be addressed by isolated improvements on any single level of the design. By co-optimizing across all hierarchies of the design from algorithms and architecture to circuits and devices, we present NeuRRAM - the first multimodal edge AI chip using RRAM CIM to simultaneously deliver a high degree of versatility for diverse model architectures, record energy-efficiency $5\times$ - $8\times$ better than prior art across various computational bit-precisions, and inference accuracy comparable to software models with 4-bit weights on all measured standard AI benchmarks including accuracy of 99.0% on MNIST and 85.7% on CIFAR-10 image classification, 84.7% accuracy on Google speech command recognition, and a 70% reduction in image reconstruction error on a Bayesian image recovery task. This work paves a way towards building highly efficient and reconfigurable edge AI hardware platforms for the more demanding and heterogeneous AI applications of the future.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
수의 세포학에서 저비용 전산 꽃가루 분석을 위한 재구성 홀로그램과 설명 인식 평가
Reconstructed holograms and explanation-aware evaluation for low-cost computational pollen analysis in veterinary cytology
자동화된 꽃가루 분석은 수의 세포학(veterinary cytology)을 지원하지만, 명시야 현미경(brightfield microscopy)은 렌즈 없는 디지털 인라인 홀로그래픽 현미경(lens-less digital in-line holographic microscopy)보다 비용이 더 많이 들고 더 복잡하다. 본 연구는 재구성된 홀로그램이 이러한 격차를 줄일 수 있는지, 그리고 모달리티(modality) 변화 하에서도 모델 설명이 신뢰성을 유지하는지를 평가한다. 여섯 종의 꽃가루를 명시야 및 홀로그래픽 현미경으로 촬영하였다. 앵커 기반(anchor-based) 주석 전이(annotation transfer) 이후, 원본(raw), 단일 역전파(single back-propagation), 반복 위상 복원(iterative phase retrieval) 홀로그램을 YOLOv26s 검출과 MobileNetV4 분류로 평가하였다. 여섯 가지 어트리뷰션(attribution) 기법을 Attribution Health Inspection and Repair(AHIR) 프로토콜을 통해 공간적 그라운딩(spatial grounding)과 충실도(faithfulness) 측면에서 평가하였으며, 이 프로토콜은 약한 노이즈 하에서 모델의 취약성(brittleness)을 검사하고 필요시 어트리뷰션 맵의 세분성(granularity)을 보정한다. 명시야는 검출에서 0.6890 mAP50-95(0.8865 mAP50), 분류에서 0.9687 매크로(macro)-F1(0.9705 정확도)를 달성하였다. 재구성된 홀로그램은 과제에 따라 다른 양상으로 격차를 줄였다: p-type은 검출에서 0.5324 mAP50-95(0.8229 mAP50)로 가장 우수했고, r-type은 분류에서 0.7695 매크로-F1(0.7866 정확도)로 가장 우수했으며, 두 결과 모두 원본 홀로그램 베이스라인을 크게 상회하였다. 활성화 기반(activation-based) 설명은 꽃가루 입자에 강하게 국소화되었고, 영역 기반(region-based) 기법은 홀로그래피 하에서도 충실도의 약 60~80%를 유지하였다. 홀로그래픽 검출기는 약한 섭동(perturbation)에 매우 취약하여, 삭제 기반(deletion-based) 평가에서는 포화되었으나 삽입 기반(insertion-based) 평가에서는 여전히 유의미하였다. 픽셀 수준의 그래디언트 설명은 무작위 수준(random floor)에 근접했지만, 공간적 평활화(spatial smoothing)를 적용하자 p-type의 그래디언트 충실도가 0.05에서 0.51로 회복되었다. 홀로그래픽 분류의 경우, 섭동 기반 설명은 충실도를 유지한 반면 그래디언트 기반 기법은 무작위 수준 이하로 떨어졌다. 재구성은 저비용 홀로그래픽 꽃가루 분석을 개선하며, AHIR은 모델의 취약성과 맵 세분성으로 인한 인공물(artifact)과 진정한 어트리뷰션 실패를 구별해낸다.
좋은 의료 영상 토크나이저의 조건은 무엇인가? 의료 영상 토큰화에서 재구성과 생성 재고찰
What Makes a Good Medical Image Tokenizer? Rethinking Reconstruction and Generation in Medical Image Tokenization
현재 잠재 확산 모델(latent diffusion model)이 의료 영상 생성을 주도하고 있으며, 이러한 모든 파이프라인은 영상 생성이 작동할 잠재 코드(latent code)로 영상을 압축하는 토크나이저(tokenizer)에 기반한다. 따라서 토크나이저 선택은 재구성 충실도와 생성 품질부터 후속 분석에 사용 가능한 표현에 이르기까지 모든 후속 작업(downstream task)을 제약한다. 그러나 의료 영상 파이프라인은 자연 영상용 토크나이저의 동작이 그대로 이전될 것이라는 가정 하에 이를 일상적으로 사용하고 있다. 하지만 이는 데이터셋 규모가 수 자릿수 더 작고 영상 간 분산(inter-sample variance)이 훨씬 낮은 의료 영상 영역에서 한 번도 검증된 적 없는 가정이다. 본 논문은 10개의 모델 계열(model family)에 걸친 30가지 구성을 12개 데이터셋, 3가지 압축률(compression factor)에서 평가하여 재구성, 생성, 잠재 기하 구조(latent geometry), 후속 분류(downstream classification), 암기(memorization)를 아우르는 의료 영상 토크나이저의 체계적 평가를 제시한다. 그 결과 (1) 영상 재구성과 생성 성능은 자연 영상에 대한 기존 보고와 달리 강하게 상관관계를 보이고, (2) 최신 토크나이저는 코드북 항목(codebook entry)의 거의 전부를 사용하지만 여전히 잠재 공간(latent space)의 대부분은 사용되지 않은 채로 남아 있으며, (3) 학습 데이터셋에 대한 암기는 경미하고 잠재 공간 압축이 강해질수록 더욱 억제되고, (4) 이산 양자화(discrete quantization)는 룩업 프리(lookup-free) 방식을 주요 예외로 하여 후속 분류 성능을 대체로 보존할 수 있음을 확인하였다.
Evaluating the Performance of TAAF for image classification models
FewVS: A Vision-Semantics Integration Framework for Few-Shot Image Classification
Attention Feature Fusion Network via Knowledge Propagation for Automated Respiratory Sound Classification
Evolving Efficient CNN Based Model for Image Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.