PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.28007v2cs.LG

선형 회귀에서 가중치 기반 데이터 선택의 정확한 위험 비율

Exact Risk Ratios for Weighted Data Selection in Linear Regression

고정된 학습자(learner)는 얼마나 많은 데이터를 유지해야 하는가? Hanneke, Moran, Shlimovich, Yehudayoff(COLT 2025)는 최소 노름 경험적 위험 최소화기(minimum-norm empirical risk minimizer)를 사용하는 선형 회귀에 대해 이 질문을 제기했다. 선택기(selector)는 유한 데이터셋 $D\subseteq R^d\times R$를 확인하고 음이 아닌 가중치를 갖는 최대 $n$개의 예제를 유지하며, $F_w(d,n)$은 학습된 예측기의 전체 데이터 손실과 최적 손실 사이의 최악의 경우 비율이다. 이 값은 $n<d$일 때 $\infty$, $n=d$일 때 $d+1$, $n\ge2d$일 때 $1$이며, $d<n<2d$ 영역은 미해결 과제로 남아 있었다. 본 연구에서는 여러 사례를 해결한다. 모든 $d$에 대해 $F_w(d,2d-1)=1+1/d$임을 증명하여, 원 논문에서 증명 없이 언급되었던 주장을 확인한다. 또한 해당 공식으로 다루어지지 않는 가장 작은 세 셀인 $F_w(3,4)=5/3$, $F_w(4,5)=2$, $F_w(4,6)=3/2$를 증명한다. 모든 중간 예산 $n=d+k$에 대해 하한 $F_w(d,d+k)\ge1+Γ_{d,k}$를 증명하며, 여기서 $Γ_{d,k}$는 $d$의 균형 분할에 대한 명시적인 조화 수량이다. 이 하한은 백색화된 시스템(whitened systems)이 직교 회로 블록으로 분할되는 데이터셋 클래스에서의 정확한 미니맥스(minimax) 값이다. 증명된 모든 값은 $1+Γ_{d,k}$와 같으며, 본 연구는 미해결 영역 전체에서도 이것이 성립할 것이라고 추측한다. 본 연구의 상한은 손실 기울기(loss gradient)의 양의 생성 구성(positive spanning configurations)에 대한 강성 정리와 $R^3$ 및 $R^4$에서의 작은 양의 기저(positive bases)의 표준형을 결합한다. 이러한 형태는 Cornaz, Kerleau, Royer 분류의 특수한 경우이며, 기저 외부의 모든 기울기 또한 제어한다. 차원 독립적인 극대 기저 논증은 부호 원뿔(sign-cone) 기하학을 $d+1$개 점의 선택으로 변환한다. 명시적인 반례를 통해 몇 가지 더 짧은 경로를 배제한다. 모든 상한은 구성적(constructive)이며, 고정된 차원에 대해 점 수에 대한 다항식 선택 절차를 갖는다. 특정 인스턴스에 대한 모든 수치적 주장은 정확한 유리수 또는 대수적 항등식이며, 보충 자료에서 정확한 산술로 재계산된다.