A Novel Fast Exact Subproblem Solver for Stochastic Quasi-Newton Cubic Regularized Optimization
원문 초록
In this work we describe an Adaptive Regularization using Cubics (ARC) method for large-scale nonconvex unconstrained optimization using Limited-memory Quasi-Newton (LQN) matrices. ARC methods are a relatively new family of optimization strategies that utilize a cubic-regularization (CR) term in place of trust-regions and line-searches. LQN methods offer a large-scale alternative to using explicit second-order information by taking identical inputs to those used by popular first-order methods such as stochastic gradient descent (SGD). Solving the CR subproblem exactly requires Newton's method, yet using properties of the internal structure of LQN matrices, we are able to find exact solutions to the CR subproblem in a matrix-free manner, providing large speedups and scaling into modern size requirements. Additionally, we expand upon previous ARC work and explicitly incorporate first-order updates into our algorithm. We provide experimental results when the SR1 update is used, which show substantial speed-ups and competitive performance compared to Adam and other second order optimizers on deep neural networks (DNNs). We find that our new approach, ARCLQN, compares to modern optimizers with minimal tuning, a common pain-point for second order methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function
원형 데이터에 대한 투영 랜덤 포레스트와 준비 예측
Projected random forests and conformal prediction of circular data
우리는 원형 반응 변수를 갖는 회귀 문제에 준비 예측 기법을 적용하여, 데이터 교환 가능성 가정 하에 임의의 원형 예측 모델에 대해 적응형 호 길이와 유한 표본 커버리지 보장을 갖는 예측 집합을 생성합니다. 선형 반응 변수를 위해 설계된 기존 예측 모델의 높은 성능을 활용하여, 임의의 선형 반응 회귀 모델을 원형 반응 변수에 적합한 모델로 변환하는 일반적인 투영 절차를 분석합니다. 이 투영 절차에서 랜덤 포레스트를 기본 모델로 사용할 경우, 예측 집합 구성 시 별도의 보정 샘플이 필요 없도록 랜덤 포레스트의 OOB(Out-of-Bag) 메커니즘을 활용합니다. 합성 및 실제 데이터셋에서 결과적으로 도출된 투영 랜덤 포레스트 모델은, 기존의 두 가지 대안 모델이 생성한 분할 준비 예측 집합보다 더 짧은 중앙값 호 길이를 가지는 더 효율적인 OOB 준비 예측 집합을 생성합니다.
Tile-Based ViT Inference with Visual-Cluster Priors for Zero-Shot Multi-Species Plant Identification
DS@GT at CheckThat! 2025: Detecting Subjectivity via Transfer-Learning and Corrective Data Augmentation
DS@GT at CheckThat! 2025: Evaluating Context and Tokenization Strategies for Numerical Fact Verification
DS@GT at CheckThat! 2025: Ensemble Methods for Detection of Scientific Discourse on Social Media
토론
이 논문과 연결된 포럼 글이 아직 없습니다.