PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17471v1cs.LG

I-V 비선형성 및 유지 오류를 해결하는 ReRAM 인식 모델 파인튜닝

ReRAM-aware Model Finetuning addressing I-V Non-linearity and Retention Errors

기존의 CPU, GPU 및 NPU 아키텍처는 폰 노이만 병목 현상(von Neumann bottleneck)으로 인해 점점 더 제한받고 있습니다. ReRAM 크로스바 어레이를 사용하는 인메모리 컴퓨팅(IMC)은 고밀도이고 에너지 효율적인 대안을 제공하지만, 비이상적인 특성(non-idealities)으로 인해 실제 배포가 제한됩니다. 기존의 하드웨어 인식 학습 프레임워크는 처음부터 학습(training from scratch)이 필요한 경우가 많아, 현대의 대규모 모델에서는 계산적으로 비용이 너무 많이 듭니다. 본 연구에서는 최소한의 학습 오버헤드로 ReRAM 상에서 견고한 DNN 배포를 가능하게 하는 파인튜닝 기반의 하드웨어 인식 학습 알고리즘을 제안합니다. 우리의 접근 방식은 범위 축소 sinh 변환(range-shrunk sinh transformation)을 적용하여 I-V 비선형성을 완화하고, 파인튜닝 과정에서 유지 오류를 정규화 손실(regularization loss)에 직접 통합합니다. 이미지 분류 및 질의응답(QA)과 같은 다양한 모델과 작업에 걸쳐 프레임워크를 평가했습니다. 실험 결과, 우리의 방법이 ResNet18 및 DeiT-Tiny와 같은 대규모 모델에서 기본 모델과 유사한 정확도를 달성함을 보여줍니다. MobileNetV3 계열에 대한 ImageNet의 경우, 이 기술은 2% 미만의 정확도 저하만을 보입니다. 또한, SQuAD v2 데이터셋에 이 기술을 적용했을 때 F-1 점수는 1점만 저하되었습니다.