yekoelite.com

이 이메일 도메인이 관측된 논문 1건

arXiv:2607.05903v1cs.LG

K-ABENA: K-Adaptive Backpropagation with Error-based N-exclusion Algorithm : (Compensated Loss-Based Sample Exclusion with Unbiased Gradient Estimation)

손실이 낮은 샘플을 역전파에서 제외하여 학습 비용을 줄이는 기존 선택적 역전파(selective backpropagation) 방법들이 그래디언트 편향을 유발하는 구조적 결함을 가짐을 증명하고, 이를 해결하기 위해 Horvitz-Thompson 역확률 가중치와 방어적 혼합 샘플링을 결합한 K-ABENA를 제안한다. 보정된 추정기(compensated estimator)는 전체 배치 SGD와 통계적으로 동등한 성능을 유지하면서 에폭당 그래디언트 연산을 28~54% 절감함을 이론적 수렴 보장과 실험을 통해 입증한다.