PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.05906v2cs.NE

ADSEQ: 스파이킹 신경망에서 스파이크 이벤트 전달을 위한 지연 인식 자동 미분 호환 프레임워크

ADSEQ: A delay-aware autograd-compatible framework for spike-event delivery in SNNs

스파이킹 신경망(SNN)의 그래디언트 기반 학습에서 시냅스 지연(synaptic delay)을 포함한 희소 스파이크 이벤트를 효율적으로 처리하기 위해, 임의의 큐 자료구조를 통한 지연-인식 정확 그래디언트 계산을 유도하고 이를 JAX 기반의 자동 미분 가능한 스파이크 이벤트 큐 프레임워크 ADSEQ로 구현하였다. CPU, GPU, TPU, LPU 플랫폼 벤치마크 결과, 하드웨어 아키텍처에 따라 최적 큐 구조가 상이함을 확인하였으며(CPU는 트리/FIFO, GPU는 링 버퍼, TPU는 정렬 기반), 선택적 스파이크 드롭을 통해 성능-정확도 트레이드오프를 조절할 수 있음을 보였다.

arXiv:2606.24780v1cs.AI

BluTrain: A C++/CUDA Framework for AI Systems

Progress in deep learning is, at scale, more a matter of systems engineering than of modelling: the behaviour of a model in training (its throughput, its memory footprint, and the numerical fidelity of the result) is determined less by the architecture itself than by how that architecture is expressed on the hardware. To achieve absolute control over this hardware expression while abstracting away systems complexity to make modelling seamless and eliminating the need for repetitive orchestration logic, BluTrain was architected from first principles as a robust, lightweight, and architecture-general training framework in standard C++ and the core CUDA programming model. Every layer is implemented natively: a typed tensor module with reverse-mode autograd, a linear-algebra library, a caching allocator, a multi-mode distributed-execution module, and an MLIR-based deep-learning compiler. In formal evaluations training a 124M-parameter GPT-2 baseline in FP32 on an 8-GPU 6000 Ada system, BluTrain outperforms industry-standard baselines in both throughput (sustaining an average of 407K tokens/s versus PyTorch's 395K tokens/s) and memory efficiency (achieving up to a 22% footprint reduction), while strictly preserving numerical fidelity and converging to a marginally lower final validation loss. With every layer explicitly open to native tuning, the performance ceiling is the framework's own to raise.