PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04531v1cs.LG

고정소수점 연산 환경에서 하드웨어 안전 신경망을 위한 리아푸노프 기반 학습

Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic

하드웨어 고정소수점 연산에서 2의 보수 오버플로우 래핑으로 인한 활성화값 손상 문제를 해결하기 위해, 층별 리아푸노프 에너지를 모니터링하고 단조 사영(monotone projection)을 적용하여 은닉 상태 에너지를 안전 범위 내로 강제하는 리아푸노프 안정화 양자화(Lyapunov-stabilised quantisation) 프레임워크를 제안한다. 제약 없는 양자화 인식 학습(QAT)이 6~16비트 전 범위에서 정확도가 우연 수준으로 붕괴하고 활성화 오버플로우율이 11%를 초과하는 반면, 제안 방법은 오버플로우를 0.012% 미만으로 억제하여 12비트에서 86.55%의 안정적인 정확도를 달성한다.

arXiv:2606.17471v1cs.LG

I-V 비선형성 및 유지 오류를 해결하는 ReRAM 인식 모델 파인튜닝

ReRAM-aware Model Finetuning addressing I-V Non-linearity and Retention Errors

기존의 CPU, GPU 및 NPU 아키텍처는 폰 노이만 병목 현상(von Neumann bottleneck)으로 인해 점점 더 제한받고 있습니다. ReRAM 크로스바 어레이를 사용하는 인메모리 컴퓨팅(IMC)은 고밀도이고 에너지 효율적인 대안을 제공하지만, 비이상적인 특성(non-idealities)으로 인해 실제 배포가 제한됩니다. 기존의 하드웨어 인식 학습 프레임워크는 처음부터 학습(training from scratch)이 필요한 경우가 많아, 현대의 대규모 모델에서는 계산적으로 비용이 너무 많이 듭니다. 본 연구에서는 최소한의 학습 오버헤드로 ReRAM 상에서 견고한 DNN 배포를 가능하게 하는 파인튜닝 기반의 하드웨어 인식 학습 알고리즘을 제안합니다. 우리의 접근 방식은 범위 축소 sinh 변환(range-shrunk sinh transformation)을 적용하여 I-V 비선형성을 완화하고, 파인튜닝 과정에서 유지 오류를 정규화 손실(regularization loss)에 직접 통합합니다. 이미지 분류 및 질의응답(QA)과 같은 다양한 모델과 작업에 걸쳐 프레임워크를 평가했습니다. 실험 결과, 우리의 방법이 ResNet18 및 DeiT-Tiny와 같은 대규모 모델에서 기본 모델과 유사한 정확도를 달성함을 보여줍니다. MobileNetV3 계열에 대한 ImageNet의 경우, 이 기술은 2% 미만의 정확도 저하만을 보입니다. 또한, SQuAD v2 데이터셋에 이 기술을 적용했을 때 F-1 점수는 1점만 저하되었습니다.