PyTorchKR Papers

최신 논문

총 13편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24847v1cs.AR

SPECTRA: 런타임 재구성 가능한 타일형 아키텍처 상에서의 추측 디코딩 적응형 실행

SPECTRA: Adaptive Execution of Speculative Decoding on a Runtime-Reconfigurable Tiled Architecture

엣지 디바이스에서의 LLM 추론은 연산 및 메모리 자원의 제약을 받아, 효율적인 자기회귀적(autoregressive) 디코딩을 어렵게 만든다. 추측 디코딩(speculative decoding)은 더 작은 드래프트 모델(draft model)로 토큰을 생성하고, 배치된 타겟 모델(target model) 패스로 여러 토큰을 병렬로 검증함으로써 이러한 병목을 완화한다. 그러나 검증(verification) 과정은 디코딩에서의 메모리 바운드(memory-bound) 범용 행렬-벡터 곱(GEMV) 연산과 프리필(prefill)에서의 연산 바운드(compute-bound) 범용 행렬-행렬 곱(GEMM) 연산 사이에 런타임에 의존적인 중간 영역(intermediate regime)을 만들어내는데, 이는 산술 강도(arithmetic intensity)가 추측 길이(speculation length)와 수락률(acceptance rate)에 따라 달라지기 때문이다. 우리는 전체 추측 디코딩 파이프라인에 걸쳐 높은 활용률을 유지하는 런타임 재구성 가능한 타일형 아키텍처인 SPECTRA를 제시한다. 각 타일 내에서 연산 엔진은 GEMM을 위한 시스톨릭(systolic) 실행과 GEMV를 위한 벡터 레인(vector-lane) 실행 사이를 전환한다. 타일 간에는 SPECTRA가 타일 개수, 커널 분할(kernel partitioning), 통신 패턴을 선택함으로써 연산 병렬성을 동적으로 적응시킨다. 타일 수준과 시스템 수준의 재구성 모두 커널 단위로 동작하여, 이러한 다양한 영역에서 효율적인 실행을 가능하게 한다. Pythia, SmolLM2, GPT-2 계열에 걸쳐 20개 타일 FPGA 프로토타입에서 평가한 결과, SPECTRA는 고정 설계 대비 타일 수준 재구성으로 최대 $2.09\times$의 속도 향상을, 시스템 수준 적응성으로부터 추가로 $1.25\times$의 향상을 달성한다.

arXiv:2609.24757v1cs.AR

NPU 가속기: FINN을 활용한 PYNQ-Z1 기반의 양자화된 실시간 차량 검출

NPU Accelerator: Quantized Real-Time Vehicle Detection on PYNQ-Z1 Using FINN

본 논문에서는 자원 제약이 있는 PYNQ-Z1 보드의 Xilinx Zynq XC7Z020 디바이스에서 실시간 차량 검출을 수행하기 위한 신경망 처리 장치(NPU) 가속기의 설계, 최적화, 구현 및 보드 상 검증(on-board validation)을 제시합니다. 본 연구는 양자화 인식 학습(QAT), 경량 YOLO 기반 검출기, Brevitas/QONNX 모델 익스포트, FINN 데이터플로우 컴파일, Vivado 구현, 그리고 대상 보드에서의 물리적 벤치마킹을 결합한 하드웨어/소프트웨어 통합 설계 방법론을 따릅니다. 성공적인 배포를 정의하는 네 가지 동시 엔지니어링 요구 조건은 30 FPS 이상의 처리량(throughput), 7 FPS/W 이상의 에너지 효율, 50 ms 미만의 프로그래머블 로직(PL) 하드웨어 지연 시간(latency), 0.55 [email omitted] 초과하는 Pascal VOC 검출 정확도입니다. 설계 공간에는 LP-YOLO 및 LP-YOLO Slim 변형, 커스텀 YOLOv3-tiny 레퍼런스, 4비트 및 혼합 저비트 양자화, 320$\times$320 및 256$\times$256 입력, 수동 및 자동 FIFO 사이징, 100~200 MHz 범위의 프로그래머블 로직 클럭이 포함됩니다. 최종 LP-YOLO Slim 구성은 256$\times$256 입력, w2a4 양자화, 142.86 MHz PL 클럭을 사용합니다. 배치 100에서 2.91 W 전력으로 35.66 FPS에 도달하여 12.25 FPS/W를 달성하였으며, 측정된 PL 지연 시간은 45.11 ms, VOC [email omitted] 0.594입니다. 이는 제공된 측정값 기준으로 네 가지 요구 조건을 동시에 만족하는 유일하게 평가된 구성입니다. 이러한 결과는 저비트 QAT, 아키텍처 슬리밍, FINN 폴딩 및 FIFO 최적화, 그리고 적절한 클럭 스케일링이 결합되어 소형 Zynq FPGA 상에서 실용적인 실시간 검출기를 제공할 수 있음을 보여줍니다.

arXiv:2607.22786v1cs.LG

FPGA에서 실시간 이상치 탐지를 위한 트랜스포머 신경망 최적화

Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs

본 연구에서는 트랜스포머 신경망의 추론 시간을 효율적으로 최적화하는 방법을 탐구하며, 이를 금융 시계열에서의 실시간 이상(anomaly) 탐지에 적용한다. 금융 시계열은 자산 가격과 같은 가격 시계열이다. 불행히도 데이터에는 종종 오류나 이상치가 포함되어 있어, 후속 데이터 처리 작업을 무용하게 만들거나 불안정하게 하거나 심지어 해롭게 만들 수 있다. 또한 금융 시계열 데이터의 양이 크게 증가하고 있다. 따라서 정확도와 처리 속도 측면에서 더 나은 데이터 정제 방법이 필요하다. 신경망 아키텍처로서 트랜스포머는 자연어 처리(NLP) 및 컴퓨터 비전(CV) 등 많은 작업에서 우수한 성능을 달성해 왔다. 시계열 모델링, 특히 이상 탐지 작업은 장기 의존성(long-range dependencies)과 상호작용을 포착하는 능력을 포함하여 트랜스포머 아키텍처의 특성을 여러 방식으로 활용할 수 있다. 현장 프로그래머블 게이트 어레이(FPGA)와 같이 점점 강력해지는 하드웨어는 재구성 가능성과 고성능 덕분에 최근 몇 년간 사용이 증가하고 있다. 이들은 트랜스포머 아키텍처의 연산을 가속하는 데 효율적으로 활용될 수 있다. 시계열 모델링을 위한 다양한 트랜스포머 아키텍처와 이를 FPGA 보드(PYNQ-Z2)에 효율적으로 구현하는 방법을 탐구한다. 특히 시계열에서 이상을 탐지하기 위한 트랜스포머 적용을 검토하고, 지연(latency)을 최소화하기 위해 FPGA 보드에 효율적으로 구현하는 방법을 보여준다. 코드는 https://github.com/thxi/icl_thesis 에서 이용할 수 있다.

arXiv:2607.22038v1cs.AR

명령 기반 희소화: 다중 작업 추론 가속기를 위한 작업 조건부 연산 건너뛰기

Sparse by Command: Task-Conditional Compute Skipping for Multi-Task Inference Accelerators

다중 작업 추론 모델은 다양한 작업에 걸쳐 단일 백본(backbone)을 공유하지만, 어떤 작업이 활성화되어 있든 동일한 연산을 수행하여 작업과 무관한 연산에 에너지와 사이클을 낭비한다. 우리는 추론이 시작되기 전에 일반적으로 이용 가능한 작업 명령(task command)이 하드웨어 수준에서 불필요한 연산을 건너뛰는 데 활용할 수 있는 무료 신호를 제공한다는 것을 관찰한다. 우리는 백본과 공동 학습되는 경량 게이팅 네트워크가 작업 입력에 조건부로 타일별 이진 실행 마스크를 예측하는 HW/SW 공동 설계 접근법을 제안한다. 각 타일은 고정된 출력 채널 그룹(가속기의 고유 스케줄링 단위)에 대응하므로, 마스크된 타일을 오버헤드 없이 건너뛸 수 있다. 이는 작업 의존적 연산 감소를 달성하며, 각 명령은 모델 아키텍처나 추론 파이프라인을 변경하지 않고도 네트워크에서 필요한 부분집합만 활성화한다. 우리는 전체 시스템 스택을 공동 설계한다: 희소성 목표 하에서 하드웨어 정렬 타일 마스크를 학습하는 명령 조건부 학습 절차; 명령어가 타일별 비트마스크 필드를 포함하여 소프트웨어 개입 없이 하드웨어가 마스크된 타일을 건너뛸 수 있게 하는 명령어 집합 아키텍처(ISA); 그리고 구성 가능한 병렬성, 이중 버퍼 메모리, 희소 타일 실행을 기본 지원하는 INT8 데이터 경로를 갖춘 타일 기반 추론 가속기. 우리는 AMD/Xilinx Alveo U50 FPGA에 프로토타입을 구현하고 CARLA 자율주행 시뮬레이터의 폐루프(closed-loop) 시각-운동(visuomotor) 주행 작업에서 평가한다. 작업 조건부 희소성은 주행 품질을 유지하면서 FLOPs를 66-76% 감소시킨다. 온디바이스 지연시간은 51-59% 감소하여 9.12 ms에서 3.74-4.44 ms로 줄어들며(2.1-2.4배 가속), 추론당 에너지는 263 mJ에서 108-128 mJ로 감소한다.

arXiv:2607.15123v1cs.AR

NIFA: 효율적인 ML 추론을 위한 비선형 IMC 강화 FPGA

NIFA: Nonlinear IMC enhanced FPGA for efficient ML inference

최근 FPGA는 전용 텐서 블록과 in-BRAM 연산을 통해 심층 학습(DL) 추론 효율을 개선해 왔다. ReRAM 기반 아날로그 인메모리 컴퓨팅(IMC)은 ReRAM 크로스바 내에서 벡터-행렬 곱(VMM)을 직접 수행함으로써 기존 디지털 논리 대비 연산 밀도와 에너지 효율에서 한 자릿수(order-of-magnitude) 수준의 개선을 제공하며 효율을 더욱 끌어올린다. 선행 연구는 이러한 IMC 블록을 DL 추론용 FPGA에 통합해 왔다. 그러나 기존 IMC 설계는 정적 가중치 VMM만 지원하여, 비선형 연산과 동적 행렬-행렬 곱(DIMM)은 FPGA 패브릭에 맡기게 된다. 그 결과 IMC의 이점은 대체로 정적 가중치 모델에 국한되고, 빈번한 비선형 연산과 DIMM 연산에 의존하는 트랜스포머 기반 모델은 제한적인 개선만 얻는다. 게다가 각 IMC 블록 내 ADC는 면적과 전력의 70% 이상을 차지하여 시스템 효율과 확장성을 더욱 제한한다. 이러한 한계를 해결하기 위해, 우리는 블록 내부에서 비선형 연산을 고유하게 수행하는 아날로그 콘텐츠 주소 가능 메모리(ACAM)로 기존 ADC를 대체한 ADC-free IMC 블록을 통합한 새로운 FPGA 아키텍처를 제안한다. 이 블록을 최대한 활용하기 위해 FPGA 면적, 유연성, DL 성능 간 균형을 맞추며 최적의 크로스바 차원을 결정하는 FPGA 인식 설계 공간 탐험을 수행하고, ACAM을 활용해 DIMM 연산을 수행하는 효율적 매핑을 개발하여 IMC의 적용 범위를 어텐션 연산으로 확장한다. CNN 및 트랜스포머 기반 벤치마크에서 제안 아키텍처는 각각 최대 40배 및 1.9배 높은 에너지 효율과 4.1배 및 2.5배 높은 면적 효율을 달성한다. 전체적으로 이는 FPGA DL 추론 효율을 크게 향상시키고, 긴 입력 시퀀스에 걸친 트랜스포머 기반 워크로드에서도 견고한 이득을 유지하며, 도메인 특화 FPGA 설계를 발전시킨다.

arXiv:2607.08427v1cs.AR

FPGN: 미분 가능한 LUT를 이용한 초고속 프로그래머블 게이트 기반 신경망 가속의 재정의

FPGN: Redefining Ultra-Fast Programmable Gate-based Neural Acceleration with Differentiable LUTs

LUT(룩업 테이블)을 학습 가능한 뉴런으로 활용하는 LUT 네이티브 신경망의 이론적 잠재력을 실제 FPGA 하드웨어에서 실현하기 위해, 하드웨어 정렬 미분 가능 학습, 물리 인식 토폴로지, 스트리밍 아키텍처, 지연 기반 컴파일러를 통합한 종단간 프레임워크 FPGN을 제안한다. FPGN은 기존 FPGA 기반 BNN 가속기 대비 최대 205배의 추론 지연 감소와 기존 미분 가능 LUT 네이티브 네트워크 대비 최대 30배 높은 LUT 효율을 달성하면서 경쟁력 있는 정확도를 유지한다.

arXiv:2602.07400v2cs.LG

BitLogic: 그래디언트 기반 FPGA 네이티브 신경망을 위한 학습 프레임워크

BitLogic: Training Framework for Gradient-Based FPGA-Native Neural Networks

LUTNet, LogicNets 등 기존 그래디언트 기반 LUT 신경망들이 각자의 학습 파이프라인과 평가 방식을 갖고 있어 직접 비교가 불가능한 문제를 해결하기 위해, BitLogic은 해당 분야를 인코더·연결성·팬인·노드 파라미터화·헤드의 5축 설계 공간으로 통합하고 모든 기존 방법을 단일 학습·평가 프로토콜 하에 구현한다. 축별 최적 설계를 조합한 새로운 최적 구성은 MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100 전반에서 모든 기존 방법을 능가하며, FPGA에서 약 126 MSamples/s의 처리량으로 GPU 대비 약 15배의 성능을 4~5자릿수 낮은 에너지 소비로 달성한다.

arXiv:2607.01602v1cs.CL

ProWAFT: A ROMA-LPD Instance for Workload-Aware and Dynamic Fault Tolerance in FPGA-Based CNN Accelerators

FPGA 기반 CNN 가속기에서 순간 결함(transient fault)이 발생할 때 정적 TMR(Triple Modular Redundancy)은 오버헤드가 크고 사후 복구는 지연 문제가 있는 한계를 해결하기 위해, 워크로드 중요도 점수(WCS)와 결함 전파 모델을 기반으로 부분 재구성(partial reconfiguration)을 통해 선택적으로 TMR을 적용하는 사전 예방적 프레임워크 ProWAFT를 제안한다. Xilinx Zynq UltraScale+ ZCU104 플랫폼에서 ResNet-18, MobileNetV2, EfficientNet-Lite 기반 500개 태스크 트레이스로 평가한 결과, ProWAFT는 정적 TMR 및 사후 재구성 방식 대비 지연·에너지·신뢰성을 종합한 복합 비용을 낮추면서 높은 태스크 성공률과 기준선에 근접한 처리량을 유지하였다.

arXiv:2607.02376v1cs.AI

Hardware-Enforced Semantic Coordination for Safety-Critical Real-Time Autonomous Systems

FPGA 기반 하드웨어 강제 시맨틱 조정 아키텍처를 제안하며, TB-CSPN(Topic-Based Communication Space Petri Net) 프레임워크의 조정 메커니즘을 FPGA 프리미티브에 매핑해 시간 동기화, 시맨틱 게이팅, 권한 제약을 소프트웨어가 아닌 하드웨어 수준에서 결정론적으로 강제한다. 안전 필수 실시간 자율 시스템에서 소프트웨어 기반 조정의 비결정성 문제를 해결하기 위해, 시맨틱 추론은 소프트웨어에 남기고 상호작용 규칙만 하드웨어에서 집행하는 3계층 아키텍처를 설계했다.

arXiv:2606.27772v1cs.CV

복잡한 교통 장면을 위한 임베디드 실시간 번호판 인식 시스템

An Embedded Real-Time License Plate Recognition System for Complex Traffic Scenes

차량 번호판 인식은 지능형 교통 시스템의 필수 구성 요소이다. 본 연구에서는 개발도상국에 맞춤화된 임베디드 실시간 번호판 인식 시스템을 제안한다. 다양한 차량 유형이 있는 복잡하고 비구조화된 교통 장면을 처리하는 난제를 해결하면서, 저비용 배포를 위해 임베디드 플랫폼에 시스템을 구현한다. 우리 방법은 다중 차량 이미지에서의 번호판 검출(detection)과, 검출된 번호판에 대한 문자 인식(character recognition)으로 구성된다. 두 단계 모두 정확도와 효율성의 균형을 위해 경량 합성곱 신경망(CNN)을 사용한다. 또한 개발도상국에서 흔히 볼 수 있는 다양한 차량 유형과 교통 조건을 포함하는 스리랑카 도로 이미지 데이터셋 SL-LPR을 소개한다. 이 데이터셋에서 번호판 검출 및 문자 인식 모델은 각각 93.6% mAP와 87.88% 정확도를 달성했으며, 여러 공개 데이터셋에서 더 큰 모델들과 경쟁력 있는 성능을 보였다. 자원 제약이 있는 임베디드 환경에서 실시간 성능을 달성하기 위해, Brevitas 라이브러리를 이용한 저비트폭 양자화(quantization)를 적용하고 FINN 프레임워크를 사용하여 모델에 대한 FPGA 가속을 구현했다. 엔드투엔드 시스템은 Xilinx Kria KV260 플랫폼에 구현했을 때 11.5 FPS로 동작할 수 있다. 이 결과는 복잡한 교통 시나리오에서도 임베디드 장치에서의 실시간 번호판 인식에 우리 시스템이 효과적임을 보여준다. SL-LPR 데이터셋은 https://github.com/sl-lpr-uom/SL-LPR.git 에서 연구용으로 이용할 수 있다.

arXiv:2606.20675v1cs.NE

VQ4SNN: 메모리 효율적인 FPGA 스파이킹 신경망을 위한 벡터 양자화

VQ4SNN: Vector Quantization for Memory-Efficient FPGA Spiking Neural Networks

FPGA에 밀집 스파이킹 신경망(SNN)을 올릴 때 온칩 메모리 부족으로 시냅스 가중치 저장이 병목이 되는 문제를, 벡터 양자화(VQ) 기반 가중치 공유와 2단계 메모리 구조를 쓰는 하드웨어 인식 아키텍처 VQ4SNN으로 완화한다. 파이프라인 공간 데이터흐름 FPGA SNN 가속기에 VQ를 적용한 최초 사례로, 추론 정확도를 유지한 채 최신 비압축 FPGA SNN 대비 총 BRAM 사용량을 52–61% 줄이고 전체 논리 자원 활용률은 늘리지 않았다.

arXiv:2606.13560v1cs.AR

ReSCom: 확률적 연산을 활용한 재구성 가능한 스파이킹 신경망 가속기

ReSCom: A Reconfigurable Spiking Neural Network Accelerator Using Stochastic Computing

스파이킹 신경망(SNN)의 하드웨어 구현 비용과 연산 불안정성 문제를 해결하기 위해 확률적 연산을 활용한 재구성 가능한 가속기 ReSCom을 제안한다. 해당 방법은 FPGA 기반 평가에서 높은 에너지 효율성을 입증하며 런타임에 정확도, 지연시간, 에너지 소비 간의 트레이드오프를 제어한다.

arXiv:2606.13354v1cs.AR

SupraSNN: 공동 최적화된 매핑 및 스케줄링을 통한 스파이킹 신경망(SNN) 가속기의 시냅스 수준 병렬성 활용

SupraSNN: Exploiting Synapse-Level Parallelism in Spiking Neural Network Accelerators through Co-Optimized Mapping and Scheduling

스파이킹 신경망(SNN)의 하드웨어 배치 시 병렬성 관리의 어려움을 해결하기 위해 시냅스와 뉴런 계산을 물리적으로 분리한 슈퍼스칼라 기반 아키텍처 SupraSNN과 공동 최적화된 매핑 및 스케줄링 방법을 제안한다. FPGA 기반 구현을 통해 기존 가속기 대비 47.6% 더 낮은 지연 시간과 5.6배 향상된 에너지 효율을 달성했다.