arXiv:2611.18511v1 cs.LG

거의 같은 분포 사이 발산의 수치적 문제에 관하여

On numerical issues of divergences between nearly equal distributions

Brandon Amos

제출 2026-11-16

한국어 초록

Barron et al. (2026)은 최근 softmax와 soft cross-entropy 손실에서 수치적 문제를 확인하였다. 본 논문은 범주형 분포 간의 표준 발산 연산에도 유사한 문제가 존재함을 보인다. 여기에는 순방향 및 역방향 쿨백-라이블러(KL) 발산, 일반화된 옌센-섀넌 발산(JSD), 몬테카를로 KL 추정치, 엔트로피가 포함된다. 분포가 거의 같을 때 반올림과 상쇄 문제가 순방향 계산과 기울기 계산에 영향을 미친다. 이러한 문제는 지식 증류, 강화학습, 근접 방법처럼 발산을 최적화 목적 함수에 사용하는 설정에 영향을 줄 수 있다. 본 논문은 수치적으로 안정한 재구성을 제안하고, 각 설정에 대한 구현 예시를 속성 기반 테스트로 검증하여 제공한다.

원문 초록

Barron et al. (2026) recently identified numerical issues in the softmax and soft cross-entropy loss. We show that similar issues are present in standard divergence operations between categorical distributions. This includes the forward and reverse Kullback-Leibler (KL) divergence and generalized Jensen-Shannon divergence (JSD), as well as Monte Carlo KL estimates and entropy. When the distributions are nearly equal, rounding and cancellation issues affect the forward and gradient computations. These issues can affect settings using divergences in optimization objectives, such as knowledge distillation, reinforcement learning, and proximal methods. We propose numerically stable reformulations and provide example implementations for each setting, validated by property-based tests.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18511v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.