arXiv:2609.23995v1 cs.LG

L1 페널티 로지스틱 모델과 대규모 데이터셋에서는 더 단순한 방식이 더 효과적이다

Simpler Methods Work Better for L1 Penalized Logistic Models and Large Datasets

Edward Raff, James Holt

제출 2026-09-22

한국어 초록

$L_1$ 노름(norm) 페널티가 적용된 선형 모델은 고차원($d > 1,000,000$) 태스크에서 여전히 최고 수준(SOTA)의 성능을 유지하며, 실제 산업 문제를 해결하기 위한 직관적인 방법을 제공합니다. 산업계에서의 광범위한 사용과 유용성에도 불구하고, 다수의 $L_1$ 솔버는 일반적인 용도로 쓰기에 효과적이지 않고 극도로 느리며 병렬화에 비효율적입니다. 이로 인해 대규모 산업 수준의 말뭉치를 대상으로 MLOps 파이프라인에서 학습(training)하기가 어렵습니다. 본 연구에서는 문헌에서 제안된 여러 '최고 수준'의 솔루션을 테스트하였으며, 기존의 전통적인 방식들이 일반적인 사용 측면에서 현재 훨씬 더 우수하다는 점을 발견했습니다. 또한 학계가 상용화 단계로의 전환을 가로막을 수 있는 과도하게 자신하는 잘못된 결과를 피하도록 돕는 몇 가지 연구 권장 사항을 제시합니다. 그에 못지않게 놀라운 점으로, 서브그래디언트(sub-gradient)에 LBFGS를 사용하는 새롭고 단순한 기준선(baseline) 모델이 이론적인 비수렴(non-convergence)을 이유로 문헌에서 배제되었음에도 불구하고 약간의 수정만으로 매우 효과적임을 확인했습니다. 실제 환경에서 이 방식은 상용화에 있어 유지보수가 더 쉽고 확장하기에도 더 용이한 방법임을 확인했습니다.

원문 초록

Linear models with an $L_1$-norm penalty remain state-of-the-art for high-dimensional ($d > 1,000,000$) tasks, offering a straightforward method for solving real-world industry problems. Despite their widespread use in industry and utility, many $L_1$ solvers are not effective for general use, are prohibitively slow, and are ineffective in parallelization. This makes them difficult to train in an MLOps pipeline on large industry-scale corpora. In this work, we test several proposed ``state-of-the-art'' solutions from the literature and find that older methods are currently far superior for general use. We also identify several recommendations for academics to perform research that avoids erroneously overconfident results, which can prevent the transition to production use. Equally surprising, we find that a new and simple baseline, using LBFGS on a sub-gradient, is highly effective with minor tweaks, despite being dismissed in the literature for theoretical non-convergence. In practice, we find it is an easier-to-support and easier-to-scale method for production use.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23995v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.