arXiv:2611.22658v1 cs.LG

AlignedHPO: 대리 목적함수를 활용한 효율적 손실 하이퍼파라미터 최적화

AlignedHPO: Efficient Surrogate-Guided Loss Hyperparameter Optimization

Ivan Karpukhin, Andrey Savchenko

제출 2026-11-18

한국어 초록

현대 심층 학습의 손실에는 가중치, 스케일, 마진 같은 하이퍼파라미터가 여러 개 포함된다. 미분할 수 있는데도 보통 사람이 직접 조정하거나 비용이 큰 블랙박스 최적화로 값을 찾는다. 그래디언트 정렬과 대리 검증 목적함수로 미분 가능한 손실 하이퍼파라미터를 효율적으로 조정하는 프레임워크 AlignedHPO를 제안한다. 야코비안–벡터 곱을 사용해 하이퍼그래디언트 계산 시간과 메모리를 줄이며, 미분 가능한 대리 평가지표로 과제별 평가 기준을 향해 최적화를 유도한다. 정규화된 정렬과 그래디언트 평활화로 그래디언트 크기의 모호성과 확률적 불안정성을 다룬다. 일반화한 포컬 손실과 ArcFace를 사용한 실험에서 긴 꼬리 분류와 개방 집합 얼굴 인식 모두에 효과적으로 적응했다. AlignedHPO는 암묵적 미분과 비슷하거나 더 나은 성능을 보이면서 하이퍼그래디언트를 약 12배 빠르게 계산했다. 이 결과는 대리 목적함수를 활용해 손실 하이퍼파라미터를 효율적으로 최적화할 수 있음을 보여 준다.

원문 초록

Modern deep learning losses involve multiple hyperparameters, such as weights, scales, and margins, typically tuned manually or through expensive black-box optimization despite their differentiability. We propose AlignedHPO, an efficient framework for tuning differentiable loss hyperparameters using gradient alignment and surrogate validation objectives. Our method employs Jacobian-vector products to reduce hypergradient computation time and memory, while differentiable metric surrogates guide optimization toward task-specific evaluation criteria. We address gradient magnitude ambiguity and stochastic instability through normalized alignment and gradient smoothing. Experiments with generalized Focal Loss and ArcFace demonstrate effective adaptation across long-tailed classification and open-set face recognition. AlignedHPO achieves competitive or improved performance compared to implicit differentiation, with nearly 12x faster hypergradient computation. These results highlight the potential of efficient surrogate-guided loss hyperparameter optimization.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22658v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.