Simultaneous Model Selection and Optimization through Parameter-free Stochastic Learning
원문 초록
Stochastic gradient descent algorithms for training linear and kernel predictors are gaining more and more importance, thanks to their scalability. While various methods have been proposed to speed up their convergence, the model selection phase is often ignored. In fact, in theoretical works most of the time assumptions are made, for example, on the prior knowledge of the norm of the optimal solution, while in the practical world validation methods remain the only viable approach. In this paper, we propose a new kernel-based stochastic gradient descent algorithm that performs model selection while training, with no parameters to tune, nor any form of cross-validation. The algorithm builds on recent advancement in online learning theory for unconstrained settings, to estimate over time the right regularization in a data-dependent way. Optimal rates of convergence are proved under standard smoothness assumptions on the target function, using the range space of the fractional integral operator associated with the kernel.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
동치 쿼리로부터의 학습, 재고찰
Learning from Equivalence Queries, Revisited
생성 모델과 추천 시스템 같은 현대 기계학습 시스템은 배포, 사용자 상호작용, 주기적 모델 업데이트의 순환을 통해 발전하는 경우가 많다. 이는 고정된 예측 과제 시퀀스에 대한 손실 또는 후회 최소화에 초점을 맞추는 표준 지도학습 프레임워크와 다르다. 이러한 설정에 착안하여, 우리는 Angluin(1988)이 도입한 동치 쿼리로부터의 학습이라는 고전적 모델을 재고찰한다. 이 모델에서 학습자는 반복적으로 가설을 제안하고, 배포된 가설이 부적절할 경우 반례를 받는다. 그러나 완전 적대적 반례 생성 하에서는 모델이 지나치게 비관적일 수 있다. 또한 대부분의 선행 연구는 학습자가 반례의 올바른 레이블도 관찰하는 완전 정보(full-information) 설정을 가정하는데, 이는 항상 자연스러운 가정이 아니다. 우리는 환경을 덜 적대적인 반례 생성기의 광범위한 부류로 제한함으로써 이러한 문제를 해결하며, 이를 대칭적(symmetric) 생성기라 부른다. 비형식적으로, 이러한 생성기는 가설과 타깃 사이의 대칭 차집합만을 기반으로 반례를 선택한다. 이 부류는 무작위 반례(Angluin and Dohrn, 2017; Bhatia, 2021; Chase, Freitag, and Reyzin, 2024)와 같은 자연스러운 메커니즘뿐 아니라, 주어진 복잡도 척도에 따라 가장 단순한 반례를 반환하는 생성기도 포괄한다. 이 프레임워크 내에서 완전 정보 피드백과 밴딧(bandit) 피드백 양쪽 설정 하에 동치 쿼리로부터의 학습을 연구한다. 두 설정 모두에서 학습 라운드 수에 대한 타이트한 경계를 도출하고, 향후 연구 방향을 제시한다. 우리의 분석은 대칭적 적대자에 대한 게임 이론적 관점과 적응적 가중치 기법, 그리고 미니맥스(minimax) 논증을 결합한다.
완전 오프라인 강화학습
Fully Offline Reinforcement Learning
오프라인 강화학습(ORL)은 안전하고 샘플 효율적인 배포를 약속하지만, 기존 방법들은 하이퍼파라미터 튜닝을 위해 문서화되지 않은 온라인 상호작용에 의존하며 초기 온라인 성능에 대한 신뢰할 수 있는 완전 오프라인 추정치가 부족하다. 우리는 동역학에 대한 사후분포를 학습하고, 예측 불확실성을 통해 정책 가치를 추정하며, 완전한 오프라인 하이퍼파라미터 선택을 가능하게 하는 완전 오프라인 베이지안 모델 기반 강화학습 방법 SOReL을 제안한다. 또한 이 튜닝 프레임워크를 임의의 모델-프리 및 모델 기반 ORL 알고리즘으로 확장하는 TOReL을 제안한다. 표준 정규성 조건 하에서 베이지안 오프라인 강화학습이 minimax-최적 파라미터적 수렴률을 달성함을 보이는 후회(regret) 분석을 제공한다. 이를 통해 우리의 방법들은 완전 오프라인 강화학습을 위한 실용적이고 이론적으로 근거 있는 프레임워크를 확립한다.
mTSBench: Benchmarking Multivariate Time Series Anomaly Detection and Model Selection at Scale
Leveraging Predictive Equivalence in Decision Trees
The use of cross validation in the analysis of designed experiments
Router-R1: Teaching LLMs Multi-Round Routing and Aggregation via Reinforcement Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.