arXiv:2005.01467

Spiking Neural Networks Hardware Implementations and Challenges: a Survey

Maxence Bouvier, Alexandre Valentian, Thomas Mesquida, François Rummens, Marina Reyboz, Elisa Vianello, Edith Beigné

제출 2020-05-04

원문 초록

Neuromorphic computing is henceforth a major research field for both academic and industrial actors. As opposed to Von Neumann machines, brain-inspired processors aim at bringing closer the memory and the computational elements to efficiently evaluate machine-learning algorithms. Recently, Spiking Neural Networks, a generation of cognitive algorithms employing computational primitives mimicking neuron and synapse operational principles, have become an important part of deep learning. They are expected to improve the computational performance and efficiency of neural networks, but are best suited for hardware able to support their temporal dynamics. In this survey, we present the state of the art of hardware implementations of spiking neural networks and the current trends in algorithm elaboration from model selection to training mechanisms. The scope of existing solutions is extensive; we thus present the general framework and study on a case-by-case basis the relevant particularities. We describe the strategies employed to leverage the characteristics of these event-driven algorithms at the hardware level and discuss their related advantages and challenges.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26445v1stat.ML공통 태그 Survey, Model Selection

그래프 기반 모델 검증 실무 가이드

A Practical Guide on Graphical Model Validation

이 논문은 손해보험 계리 모델링에서 가장 널리 사용되는 모델 검증(validation) 도구들을 체계적으로 정리한다. 여기에는 보정 도표(calibration plot), 실제 대 기대(actual-vs-expected) 도표, 리프트 차트(lift chart), 머피 다이어그램(Murphy diagram)과 같은 그래프 도구뿐 아니라, 브레그만 손실(Bregman loss), 편차 손실(deviance loss), 기초 손실(elementary loss), 머피 분해(Murphy's decomposition), 지니 점수(Gini score)와 같은 고전적인 통계 도구가 포함된다. 특히 보정(calibration)과 판별(discrimination)을 계약 건수 가중(policy-weighted) 모집단 측도 하에서 연구하는지, 아니면 노출 가중(exposure-weighted) 모집단 측도 하에서 연구하는지에 중점을 둔다. 이 구분은 보험료 체계가 올바른 척도에서 보정되도록 하는 데 매우 중요하다.

arXiv:2609.23201v1cs.AI공통 태그 Survey, Model Selection

벤치마크를 신뢰하지 말 것: 일반 LLM 순위의 한계와 과업별 평가의 필요성

Do Not Trust the Benchmark: Limitations of General LLM Rankings and a Case for Task-Specific Evaluation

벤치마크 점수는 대규모 언어 모델(LLM)의 개발, 마케팅, 선정에 점점 더 큰 영향을 미친다. 그러나 종합 점수는 평가 대상 시스템, 포함된 문항, 평가 조건과의 관계에서만 해석할 수 있다. 본 관점 논문은 일반 LLM 순위의 다섯 가지 연관된 한계를 검토한다: 평가 대상과 공개 가용 시스템 간의 차이, 외부 평가에서의 상업적 인센티브와 의존관계, 벤치마크 포화·결함 있는 테스트·데이터 오염(data contamination), 채점 절차를 악용하는 모델, 그리고 일반 점수가 사용자 업무와 관련 있는 정도의 제한. 문서화된 사례들은 이러한 문제들이 서로 다른 대응을 요구하는 이유를 보여 준다. 나는 평가 대상 구성을 공개하고, 문항과 과업의 성공적 완료를 검증하며, 성능을 비용·실행 시간과 함께 보고하고, 일반화 범위를 명시하는 평가 절차를 주장한다. 이어서 기여 문항과 반복 평가의 실용적 사례로 크라우드소싱 벤치마킹 플랫폼 \textbf{Isotanta}를 논의한다. 더 큰 문항 풀은 과업 커버리지를 개선할 수 있고, 반복 표본 추출은 그 풀에 대한 추정치의 안정성을 개선할 수 있다; 둘 다 타당성이나 개인 맞춤화를 보장하지는 않는다. 논문은 플랫폼의 현재 공유 순위와 제안된 과업별·사용자 제공 평가를 구분한다. 핵심 논지는 모델 선정이 일반 리더보드에서의 높은 순위가 아니라, 의도된 업무에서의 성능에 대한 근거를 요구한다는 것이다.

arXiv:2607.13735v2cs.LG공통 태그 Survey, Model Selection

제약 기반 모델 최적화: 현대 머신러닝 시스템에서 압축 및 가속 기법 선택을 위한 산업 프레임워크

Constraint-Driven Model Optimization: An Industry Framework for Selecting Compression and Acceleration Techniques in Modern Machine Learning Systems

클라우드, 엣지, 기업 환경 전반에 걸친 머신러닝 시스템의 급속한 배포는 모델 최적화를 시스템 엔지니어링의 핵심 과제로 부각시켰다. 양자화, 가지치기, 지식 증류, 매개변수 효율적 미세조정(PEFT), 추론 시간 최적화에 이르는 풍부한 문헌에도 불구하고, 실무자들은 원칙적인 방법론보다는 휴리스틱을 통해 이러한 기법들을 탐색하는 경우가 많다. 우리는 최적화를 제약 기반 다목적 엔지니어링 의사결정으로 공식화해야 한다고 주장하며, 데이터 가용성, 지연 시간 예산, 메모리 예산, 정확도 허용치, 재학습 예산의 다섯 가지 상호작용하는 제약 차원을 따라 모든 프로덕션 배포를 특성화하는 통합 프레임워크를 제안한다. 이 분류 체계를 바탕으로, 연구 문헌 전반에 보고된 실증적 이득을 종합하고 이를 알고리즘 범주가 아닌 운영상 제약에 매핑한다. 실용적 관련성을 확보하기 위해, 우리는 최근 문헌을 검토하여 핵심 배포 병목에 대한 측정 가능한 개선을 보고하는 방법들을 선별했다. 우리는 규범적 의사결정 프레임워크를 제안하고, 실무에서 이를 설명하기 위해 네 가지 대표적인 산업 시나리오에 대한 최적화 파이프라인을 제공한다. 우리가 아는 한, 본 연구는 연구 문헌의 정량적 증거를 종합하여 모델 최적화를 제약 인식 다목적 엔지니어링 프로세스로 공식화하려는 최초의 구조화된 시도 중 하나를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.