PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13574v1cs.LG

고차원 금융 회귀에서 몬테카를로 트리 탐색을 통한 $L_0$ 특징 선택

$L_0$ Feature Selection via Monte Carlo Tree Search in High-Dimensional Financial Regression

특징(feature) 선택은 수많은 엔지니어링된 변수와 예측 변수 간의 강한 상관관계로 인해 모델(model)의 안정성과 해석 가능성이 저하되는 고차원 금융 회귀에서 핵심적인 문제입니다. 희소 회귀(sparse regression)에는 $L_1$ 정규화(regularization)(Lasso)가 널리 사용되지만, 정보성 신호가 상관관계를 갖는 변수들에 걸쳐 분산되어 있을 때는 수축(shrinkage) 특성이 제약으로 작용할 수 있습니다. 정확한 희소 회귀(exact sparse regression)는 이러한 수축을 피하지만 계산상 다루기 어려운 조합 최적화(combinatorial optimization) 문제를 해결해야 하며, 일반적으로 표본 외(out-of-sample) 오차가 아닌 표본 내(in-sample) 오차를 최소화하도록 적합됩니다. 본 논문에서는 일반화된 중첩 롤아웃 정책 적응(GNRPA)을 적용한 몬테카를로 트리 탐색(Monte Carlo Tree Search) 기반의 특징 선택 프레임워크를 제시합니다. 특징 선택을 순차적 의사결정 과정으로 정식화하며, 후보 부분집합은 학습(training) 오차 대신 표본 외 검증(validation) 성능을 기준으로 점수가 매겨집니다. 또한 본 방법은 부분집합 크기와 다중공선성을 고려하는 사전식 순서화 목적함수(lexicographic objective)를 지원합니다. 저자들은 시장, 거시경제 및 팩터 데이터를 포괄하는 1,072개의 엔지니어링된 특징으로부터 NASDAQ-100 지수의 주간 수익률을 설명하는 동시적 설명 회귀(contemporaneous explanatory regression) 과제에서 이 접근법을 연구합니다. 이는 다중공선성 환경에서의 부분집합 선택의 가치를 별개의 문제인 예측적 전망(forecasting)과 분리합니다. 이 과제에서 제안된 방법은 최적화된 Lasso 기준선(baseline)보다 더 높은 표본 외 설명력을 가진 희소 특징 부분집합을 식별하여, Lasso의 0.6313 대비 0.6961의 표본 외 $R^2$에 도달합니다. 이러한 결과는 몬테카를로 트리 탐색이 금융 회귀의 희소 설명적 특징 선택에서 볼록 정규화(convex regularization)의 실용적인 대안임을 시사하며, 표본 외 적합도만큼 투명성이 중요한 팩터 귀속(factor attribution) 및 위험 분해에 잠재적 가치가 있습니다.

arXiv:2606.28652v1stat.ML

온라인 고차원 분위수 회귀를 위한 적응형 반복 하드 임계처리

Adaptive Iterative Hard Thresholding for Online High-dimensional Quantile Regression

온라인 고차원 분위수 회귀에서 구조적 희소성을 유지하면서 순차 업데이트하는 문제를 다루기 위해, 확률적 서브그래디언트 업데이트와 적응적으로 스케줄링된 하드 임계처리를 교대 적용하는 AIHT(Adaptive Iterative Hard Thresholding) 프레임워크를 제안한다. 초기에는 임계처리를 지연해 약한 신호가 축적될 시간을 주고 이후 투영 빈도를 높여 희소 추정량을 안정화함으로써, 비매끄러운 손실 함수와 중꼬리 잡음 환경에서도 로그 리그렛을 달성함을 이론적으로 증명하고 시뮬레이션으로 검증한다.

arXiv:2606.12182v1cs.LG

얼마나 낮출 수 있습니까? 초저데이터 한계에서 희소 모델 발견을 위한 능동 학습

How Low Can You Go? Active Learning for Sparse Model Discovery in the Ultra-Low-Data Limit

복잡한 동적 시스템의 지배 방정식을 식별하는 것은 과학 및 공학 전반에 걸쳐 여전히 근본적인 과제입니다. 초기 접근 방식은 경험적 데이터와 휴리스틱에 의존했지만, 현대의 데이터 기반 방법은 더 큰 유연성과 더 적은 가정을 제공합니다. 그러나 실제 환경에서의 데이터 수집은 종종 비용이 많이 듭니다. 본 연구는 초저데이터 한계에서 역학(dynamics) 발견을 위한 능동 학습 전략을 도입하여 이러한 과제를 해결합니다. 무작위로 샘플링하는 대신, 우리의 방법은 모델 식별에 가장 유용한 정보를 제공하는 영역을 반복적으로 우선시합니다. 이 접근 방식은 비선형 역학의 희소 식별(SINDy)을 기반으로 하며, 상미분 방정식 및 편미분 방정식(ODEs/PDEs) 모두에 대해 인식론적 불확실성을 추정하고 샘플링을 안내하기 위해 앙상블 확장인 E-SINDy를 활용합니다. ODE의 경우, 다양한 데이터 예산과 노이즈 수준에 걸쳐 로렌츠 시스템에 대한 포괄적인 분석을 수행했습니다. PDE의 경우, 대조적인 동역학적 특성을 가진 두 시스템을 조사했습니다. 날카로운 충격 파면(shock front)이 정보가 풍부한 영역과 그렇지 않은 영역을 구분하는 버거스 방정식과, 공간적으로 더 복잡한 샘플링 지형을 제시하는 쿠라모토-시바시ński 방정식입니다. 모든 시나리오에서 제안된 방법은 무작위 샘플링보다 현저히 적은 데이터 샘플로 지배 역학을 정확하게 식별합니다.