PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.30254v2cs.LG

벡터 값 선형 회귀에서 가중치 부여 데이터 선택의 정확한 복원 임계값

Exact Recovery Thresholds for Weighted Data Selection in Vector-Valued Linear Regression

본 논문에서는 Hanneke, Moran, Shlimovich, Yehudayoff의 COLT 2025 미해결 문제인 "회귀 태스크를 위한 데이터 선택"의 질문 4 중 임계값 부분을 해결합니다. 우리는 $x\in\mathbb{R}^d$ 및 $y\in\mathbb{R}^m$에 대해 제곱 손실(loss) $\ell_{(x,y)}(W)=\lVert Wx-y\rVert_2^2$을 갖는 벡터 값 선형 회귀를 연구합니다. 학습기는 최소 프로베니우스 노름(Frobenius-norm) 경험적 위험 최소화기를 반환합니다. 우리는 모든 유한 데이터셋(dataset)에서 전체 데이터 손실을 복원하기 위한 가중치 부여 예제의 최소 예산이 정확히 $n^{\star}(d,m)=(m+1)d$임을 증명합니다. 또한 임계값에 근접한 예산에서의 가중치 부여 선택 프로파일 $F_{\mathrm{weighted}}(d,m,n)$을 규명하여 $F_{\mathrm{weighted}}(d,m,(m+1)d-1)=1+1/(dm^2)$임을 보입니다. 우리는 모든 $m$에 대해 이미 알려진 생성 예산(spanning-budget) 값인 $F_{\mathrm{weighted}}(d,m,d)=d+1$과 $n<d$일 때 $F_{\mathrm{weighted}}(d,m,n)=\infty$임을 재현합니다. 미해결된 가장 작은 중간 셀인 $(d,m)=(2,2)$에 대해 $F_{\mathrm{weighted}}(2,2,3)\in[13/8,15/8]$ 및 $F_{\mathrm{weighted}}(2,2,4)\in[5/4,3/2]$임을 증명합니다. 추측된 정확한 값인 $13/8$과 $5/4$를 최대 7개의 원자를 갖는 원 위의 유한 모멘트 문제로 귀결시키고 이에 대한 구조적 증거를 제시합니다. 상한은 고정 기저 원뿔 압축 보조정리(fixed-basis conic compression lemma), 극대 인증(maximal certificate)에 대한 행렬식-면 강성 정리(determinant--facet rigidity theorem), 그리고 평균이 0인 가중치 부여 점 시스템에 대한 샤프 희소화 보조정리(sharp sparsification lemma)를 사용합니다. 이러한 도구들은 그 자체로도 독립적인 관심을 가질 수 있습니다. 또한 우리는 $2d$개의 점으로 이루어진 어떤 가중치 부여 선택도 최적 손실을 복원하지 못하는 $d=m=2$인 명시적인 6개 점 정수 데이터셋을 제시합니다. 따라서 스칼라에서 충분했던 예산 $2d$는 벡터 값 출력으로 확장되지 않습니다. $m\ge2$에 대한 우리의 새로운 회귀 프로파일 결과는 $m=1$에 대한 스칼라 이론을 확장합니다.

arXiv:2604.13460v2cs.LG

순서에서 분포로: 지속 학습에서의 망각을 위한 정확한 연산자 프레임워크

From Order to Distribution: An Exact Operator Framework for Forgetting in Continual Learning

지속 학습(continual learning)의 핵심 과제는 망각(forgetting), 즉 새로운 태스크를 학습한 후 이전에 학습한 태스크의 성능이 손실되는 현상입니다. 기존 이론은 과매개변수화된 선형 회귀에서 고정된 태스크 집합의 무작위 순서 하에 망각을 분석했습니다. 본 연구에서는 초점을 태스크 순서에서 태스크 분포로 전환하여, 태스크 분포의 구조가 망각을 어떻게 결정하는지 질문을 던집니다. 공유 해(shared solution), i.i.d. 태스크 샘플링, 순차적 정확한 적합(exact fitting)을 가정한 선형 설정에서, 우리는 과거 망각(historical forgetting)을 태스크 분포의 관점에서 직접 표현하는 정확한 연산자 항등식을 유도합니다. 이 항등식을 기반으로 유한 차원의 모든 고정된 태스크 분포 하에서 기대 과거 망각에 대한 지수적 감쇠(exponential decay) 보장을 확립하고, 점근적 동작을 특성화하며, 감쇠를 관측 가능한 방향에 대한 분포의 커버리지와 연관 짓습니다. 개별 학습 태스크의 경우, 정확한 재방문 없이도 후속 태스크들이 집합적으로 복구를 지원할 수 있음을 보입니다. 또한 복구 시간에 대한 하한을 유도하고, 역커버리지 스케일링(inverse-coverage scaling)을 달성하는 태스크 분포를 구성합니다.

arXiv:2606.23601v1stat.ML

선형회귀로서의 신경망: 통계학자를 위한 소개

Neural Networks as Linear Regression: An Introduction for Statisticians

빈도주의 통계학 배경 독자를 위해 신경망을 선형회귀와 대응되는 단일 은닉층 구조로 설명하고, 가중치·편향·활성화 함수 등 용어를 통계학 관점으로 정리한다. 다층·다노드 확장, 경사하강법 기반 학습, k-겹 교차검증과 dropout·임베딩 같은 torch.nn 확장을 함께 소개해 신경망 학습의 기초를 제시한다.