PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.15123v1cs.AR

NIFA: 효율적인 ML 추론을 위한 비선형 IMC 강화 FPGA

NIFA: Nonlinear IMC enhanced FPGA for efficient ML inference

최근 FPGA는 전용 텐서 블록과 in-BRAM 연산을 통해 심층 학습(DL) 추론 효율을 개선해 왔다. ReRAM 기반 아날로그 인메모리 컴퓨팅(IMC)은 ReRAM 크로스바 내에서 벡터-행렬 곱(VMM)을 직접 수행함으로써 기존 디지털 논리 대비 연산 밀도와 에너지 효율에서 한 자릿수(order-of-magnitude) 수준의 개선을 제공하며 효율을 더욱 끌어올린다. 선행 연구는 이러한 IMC 블록을 DL 추론용 FPGA에 통합해 왔다. 그러나 기존 IMC 설계는 정적 가중치 VMM만 지원하여, 비선형 연산과 동적 행렬-행렬 곱(DIMM)은 FPGA 패브릭에 맡기게 된다. 그 결과 IMC의 이점은 대체로 정적 가중치 모델에 국한되고, 빈번한 비선형 연산과 DIMM 연산에 의존하는 트랜스포머 기반 모델은 제한적인 개선만 얻는다. 게다가 각 IMC 블록 내 ADC는 면적과 전력의 70% 이상을 차지하여 시스템 효율과 확장성을 더욱 제한한다. 이러한 한계를 해결하기 위해, 우리는 블록 내부에서 비선형 연산을 고유하게 수행하는 아날로그 콘텐츠 주소 가능 메모리(ACAM)로 기존 ADC를 대체한 ADC-free IMC 블록을 통합한 새로운 FPGA 아키텍처를 제안한다. 이 블록을 최대한 활용하기 위해 FPGA 면적, 유연성, DL 성능 간 균형을 맞추며 최적의 크로스바 차원을 결정하는 FPGA 인식 설계 공간 탐험을 수행하고, ACAM을 활용해 DIMM 연산을 수행하는 효율적 매핑을 개발하여 IMC의 적용 범위를 어텐션 연산으로 확장한다. CNN 및 트랜스포머 기반 벤치마크에서 제안 아키텍처는 각각 최대 40배 및 1.9배 높은 에너지 효율과 4.1배 및 2.5배 높은 면적 효율을 달성한다. 전체적으로 이는 FPGA DL 추론 효율을 크게 향상시키고, 긴 입력 시퀀스에 걸친 트랜스포머 기반 워크로드에서도 견고한 이득을 유지하며, 도메인 특화 FPGA 설계를 발전시킨다.

arXiv:2606.22621v1cs.AR

온-칩 신경망을 위한 다중 레벨 저항성 시냅스: 준연속 전도도 상태를 갖는 멤리스티브 크로스바 패브릭의 물리 기반 설계

Multi-Level Resistive Synapses for On-Chip Neural Networks: A Physics-Based Design of a Memristive Crossbar Fabric with Quasi-Continuous Conductance States

저항성 통신을 기반으로, 이 논문은 밀집된 전도도 상태 스펙트럼을 지원하는 다중 레벨 멤리스티브 시냅스를 갖춘 온-칩 신경망의 물리 기반 설계를 제시한다. 이온 전송 물리학으로부터 도출하여 상태 변수 모델을 개발하고, 열 잡음·드리프트·양자화된 전도도 조건 하에서 저장 가능한 하위 레벨을 정량화한다. 이 소자들을 1T1R 크로스바 패브릭으로 조합하고, 배선 저항 하에서 아날로그 벡터-행렬 곱(VMM)의 선형대수를 도출하며, 부호 있는 가중치를 위한 차동 시냅스를 설계한다. 다층 파이프라인은 추론, 역전파, 가중치 업데이트를 아날로그 도메인에서 물리적으로 실행한다. 인-시츄 외적 학습 규칙, 전도도 격자 위에서의 이산화, 그리고 그에 따른 양자화 잡음을 도출한다. 에너지, 면적, 용량, 타일 간 모델을 제공하며, 이 기판이 대규모 언어 모델(LLM)에 이상적으로 적합함을 보인다. 본 설계는 가중치 이동을 제거함으로써 이진 ReRAM 및 기존 CMOS를 능가한다. 소재 스택(HfO_2 기반), FEOL/BEOL CMOS 파운드리 통합 플로우, 독립형 SPICE 모델, 완전한 멤리스티브-FPGA 뉴로모픽 시스템, 그리고 전류 모드 트랜스리니어 소프트맥스를 갖춘 인-메모리 셀프 어텐션 엔진을 상세히 기술한다. 마지막으로, 3진 BitNet 데이터패스는 고급 CPU 및 GPU 대비 수 자릿수 향상된 토큰당 효율을 예측한다. 그 결과는 고밀도 아날로그 인-메모리 신경망 프로세서를 위한 독립적인 하드웨어 네이티브 청사진이다.

arXiv:2606.17471v1cs.LG

I-V 비선형성 및 유지 오류를 해결하는 ReRAM 인식 모델 파인튜닝

ReRAM-aware Model Finetuning addressing I-V Non-linearity and Retention Errors

기존의 CPU, GPU 및 NPU 아키텍처는 폰 노이만 병목 현상(von Neumann bottleneck)으로 인해 점점 더 제한받고 있습니다. ReRAM 크로스바 어레이를 사용하는 인메모리 컴퓨팅(IMC)은 고밀도이고 에너지 효율적인 대안을 제공하지만, 비이상적인 특성(non-idealities)으로 인해 실제 배포가 제한됩니다. 기존의 하드웨어 인식 학습 프레임워크는 처음부터 학습(training from scratch)이 필요한 경우가 많아, 현대의 대규모 모델에서는 계산적으로 비용이 너무 많이 듭니다. 본 연구에서는 최소한의 학습 오버헤드로 ReRAM 상에서 견고한 DNN 배포를 가능하게 하는 파인튜닝 기반의 하드웨어 인식 학습 알고리즘을 제안합니다. 우리의 접근 방식은 범위 축소 sinh 변환(range-shrunk sinh transformation)을 적용하여 I-V 비선형성을 완화하고, 파인튜닝 과정에서 유지 오류를 정규화 손실(regularization loss)에 직접 통합합니다. 이미지 분류 및 질의응답(QA)과 같은 다양한 모델과 작업에 걸쳐 프레임워크를 평가했습니다. 실험 결과, 우리의 방법이 ResNet18 및 DeiT-Tiny와 같은 대규모 모델에서 기본 모델과 유사한 정확도를 달성함을 보여줍니다. MobileNetV3 계열에 대한 ImageNet의 경우, 이 기술은 2% 미만의 정확도 저하만을 보입니다. 또한, SQuAD v2 데이터셋에 이 기술을 적용했을 때 F-1 점수는 1점만 저하되었습니다.