PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.12118v3stat.ML

Keeping Score: 점수 증강 신경망 비율 추정을 위한 적응형, 튜닝이 필요 없는 손실 가중치 기법

Keeping Score: Adaptive, Tuning-Free Loss Weighting for Score-Augmented Neural Ratio Estimation

확률적 프로세스 모델을 위한 신경망 가능도 대체 모델(neural likelihood surrogate, 예: 신경망 비율 추정(Neural Ratio Estimation))은 일반적으로 시뮬레이션된 데이터에 대한 확률적 분류(probabilistic classification)를 통해 학습되며, 이는 대체 모델 품질과 학습 비용 간의 트레이드오프를 강제한다. 정확한 점수(score) $\nabla_θ\log p(x \mid θ)$를 구할 수 있는 구조화된 모델의 경우, 교차 엔트로피 손실에 점수 매칭(score-matching) 항을 추가하여 이 정보를 학습에 반영할 수 있다. 그러나 두 손실 간의 최적 가중치는 사전에 알 수 없으며, 이를 수동으로 선택하려면 비용이 많이 드는 튜닝이 필요해 계산 비용 절감 효과를 상쇄한다. 우리는 손실 기울기(loss gradient)를 기반으로 학습 중에 점수 손실 가중치를 설정하는 적응형, 튜닝이 필요 없는 알고리즘을 제안하며, 이는 표준 분류기 학습에 최소한의 오버헤드만을 추가한다. 우리는 네트워크 동역학과 공간적 프로세스를 다루는 사례 연구를 통해 이 접근법을 평가하였으며, 더 많은 학습 데이터를 생성하는 것보다 훨씬 낮은 계산 비용으로 대체 모델 품질을 향상시킨다는 것을 보였다. 특히, 일부 경우에는 본 접근법이 학습 시간을 1.1배 미만으로 증가시키면서도 학습 데이터를 10배 늘린 것과 동등한 다운스트림 추론(inference) 성능을 달성한다.