PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04531v1cs.LG

고정소수점 연산 환경에서 하드웨어 안전 신경망을 위한 리아푸노프 기반 학습

Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic

하드웨어 고정소수점 연산에서 2의 보수 오버플로우 래핑으로 인한 활성화값 손상 문제를 해결하기 위해, 층별 리아푸노프 에너지를 모니터링하고 단조 사영(monotone projection)을 적용하여 은닉 상태 에너지를 안전 범위 내로 강제하는 리아푸노프 안정화 양자화(Lyapunov-stabilised quantisation) 프레임워크를 제안한다. 제약 없는 양자화 인식 학습(QAT)이 6~16비트 전 범위에서 정확도가 우연 수준으로 붕괴하고 활성화 오버플로우율이 11%를 초과하는 반면, 제안 방법은 오버플로우를 0.012% 미만으로 억제하여 12비트에서 86.55%의 안정적인 정확도를 달성한다.

arXiv:2606.06934v1cs.LG

고정 소수점 매개변수에 대한 경사하강법과 확률적 경사하강법의 균일 안정성과 일반화 오차

Uniform Stability and Generalization Error of GD and SGD on Fixed-Point Parameters

본 논문에서는 각 업데이트에 결정적 반올림(deterministic rounding) 또는 확률적 반올림(stochastic rounding)이 포함되는 이산 매개변수 공간(discrete parameter spaces)에서 경사하강법(GD)과 확률적 경사하강법(SGD)의 일반화 오차(generalization error), 균일 안정성(uniform stability), 균일 인자 안정성(uniform argument stability)을 분석합니다. 볼록(convex)하고 립시츠 연속이며 매끄러운(smooth) 손실 함수(loss functions)에 대해 결정적 반올림이 경사하강법의 일반화 오차를 악화시켜, 그 차수를 $O(T/n)$에서 $O(T/\sqrt{n})$으로 증가시킴을 보이고, 이에 부합하는 하한(lower bounds)을 확립합니다. 또한, 경사하강법의 균일 안정성이 $Ω(T)$가 됨을 증명하여, 이 설정에서 안정성 기반 일반화 바운드(stability-based generalization bounds)가 공허함(vacuous)을 보여줍니다. 대조적으로, 동일한 손실에 대해 결정적 반올림을 적용한 확률적 경사하강법은 자명하지 않은 균일 안정성 보장을 제공하는데, 이는 실수값(real-valued) 경우와 질적으로 다르며 반복 횟수와 차원(dimension)에 대해 뚜렷한 의존성을 나타냅니다: 1차원의 경우 $O(T/n)$, 고차원의 경우 $O(T^2/n)$이라는 타이트한 상한(tight bounds)을 증명합니다. 또한, 확률적 반올림(stochastic rounding)이 차원에 따라 증가하는 일반화 오차를 야기할 수 있음을 보여줍니다; 이러한 현상은 표준 실수값 최적화(standard real-valued optimization)와 결정적 반올림 경우에서는 나타나지 않습니다. 마지막으로, 확률적 반올림 방식(stochastic rounding schemes)에 대한 균일 인자 안정성(uniform argument stability)의 상한을 제공하고, 손실이 좌표별 함수(coordinate-wise functions)의 합으로 표현될 때 이 상한들이 타이트함(tight)을 보여줍니다.