PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.14303v3cs.ET공식 코드 · Papers with Code

CIM-Explorer를 이용한 RRAM 크로스바에서의 이진 및 삼진 신경망 추론 최적화

Optimizing Binary and Ternary Neural Network Inference on RRAM Crossbars using CIM-Explorer

메모리 내 연산(Computing-in-Memory, CIM) 아키텍처에서 저항형 랜덤 액세스 메모리(Resistive Random Access Memory, RRAM) 크로스바를 사용하는 것은 폰 노이만 병목을 극복하기 위한 유망한 해법을 제공한다. 셀 변동성과 같은 비이상적 특성으로 인해 RRAM 크로스바는 종종 저저항 상태(Low Resistive State, LRS)와 고저항 상태(High Resistive State, HRS)라는 두 가지 상태만을 활용하는 이진 모드로 동작한다. 이진 신경망(Binary Neural Networks, BNN)과 삼진 신경망(Ternary Neural Networks, TNN)은 효율적인 매핑 덕분에 이러한 하드웨어에 잘 적합하다. RRAM 기반 CIM을 위한 기존 소프트웨어 프로젝트는 일반적으로 컴파일, 시뮬레이션, 또는 설계 공간 탐색(Design Space Exploration, DSE) 중 한 측면만을 다룬다. 게다가 이들은 종종 기존의 8비트 양자화에 의존한다. 이러한 한계를 해결하기 위해, 우리는 RRAM 크로스바에서 BNN 및 TNN 추론을 최적화하기 위한 모듈형 툴킷인 CIM-Explorer를 제안한다. CIM-Explorer는 엔드투엔드 컴파일러 스택, 다양한 매핑 옵션, 시뮬레이터를 포함하여, 서로 다른 크로스바 파라미터와 매핑에 걸친 정확도 추정을 위한 DSE 흐름을 가능하게 한다. CIM-Explorer는 특정 크로스바 파라미터에 대한 초기 정확도 추정부터 적절한 매핑 선택, 최종화된 크로스바 칩을 위한 BNN 및 TNN 컴파일에 이르기까지 전체 설계 과정을 함께할 수 있다. DSE 사례 연구에서, 우리는 다양한 매핑과 크로스바 파라미터에 대한 기대 정확도를 보여준다. CIM-Explorer는 GitHub에서 확인할 수 있다.

arXiv:2606.27759v1cs.LG

층별 점진적 동결: 깊이 확장 가능한 이진 신경망을 위한 학습 스캐폴드

Layerwise Progressive Freezing: A Training Scaffold for Depth-Scalable Binary Networks

처음부터 이진 신경망(BNN)을 학습할 때는 주로 straight-through estimator(STE)가 사용되며, 순전파와 역전파의 불일치로 인해 네트워크가 깊어질수록 정확도가 크게 저하된다. 우리는 직교적인 축, �즉 학습 중 언제·어디에서 이진화를 적용할지를 연구한다. 우리는 StoMPP(Stochastic Masked Partial Progressive Binarization)를 제안한다. 이는 확률적 부분 마스크와 소프트 리프레시를 사용해, 입력에서 출력까지 층별로 클리핑된 가중치와 활성화를 점진적으로 하드 이진 대응값으로 대체한다. StoMPP는 두 가지 상보적 이점을 제공한다. 독립적인 학습 규칙으로서, 완전히 STE 없이 동작하는 절차를 제공하며 vanilla STE 대비 성능이 향상되고 그 이득은 깊이에 따라 커진다(ResNet-50 BNN: CIFAR-10/100/ImageNet에서 +18.0/+13.5/+3.8). 이 패턴은 ResNet-18/34/50, MobileNetV2, BERT 미세조정에서도 일관된다. 동결된 항목에만 STE를 적용하는 대리 그래디언트와 결합하면, 동일 설정에서 vanilla STE 대비 +27.1/+19.8/+17.7에 이른다. 두 방식 모두를 뒷받침하는 단일 기계론적 발견은 진행 순서가 결정적이라는 점이다. 입력→출력 방향의 층별 진행은 깊이 붕괴를 막지만, 역방향 진행은 거의 무작위 수준으로 붕괴하며, 이진 가중치 네트워크(이진 활성화 없음)는 순서에 둔감하다. 이 비대칭을 활성화 유발 그래디언트 차단으로 설명한다. 확정된 이진 활성화는 상류로의 그래디언트 흐름을 끊고, 순서가 이러한 차단이 형성되는 시점을 통제한다. 진행 방식의 기여를 STE가 주는 이점과 분리하기 위해, 모든 ablation을 STE 없는 체제에서 수행한다. 따라서 (일정, 리프레시, 순서, 역학)에 대한 결과적 특성화는 대리 그래디언트와의 상호작용이 아니라 진행 방식 자체를 반영한다.