PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09547v1math.ST

High-Dimensional Interpolators Can Be Fragile: Heavy Tails and High-Dimensional Large Deviations

고차원 보간(interpolation)은 현대 머신러닝에서 흔히 사용되지만, 그 테일 위험(tail risk)은 기대 예측 위험에 비해 덜 이해되어 있다. 기존 이론은 보간 모델이 기댓값 측면에서 좋은 성능을 보일 수 있음을 보여주지만, 그러한 보장은 희귀하고 심각한 오류의 확률을 결정하지는 못한다. 운영 연구 및 확률적 의사결정 응용 분야에서는 희귀한 추정 오류가 하류(downstream) 효과에 불균형적인 영향을 미칠 수 있으므로, 평균 성능과 함께 테일 동작도 중요하다. 우리는 대편차(large-deviation) 방법을 사용하여 고차원 선형 보간법의 취약성을 연구한다. 우리는 능선 없는 회귀(ridgeless regression)에 초점을 맞추고 이를 릿지 정규화(ridge-regularized) 추정량과 비교한다. 먼저 능선 없는 회귀의 위험이 헤비 테일(heavy-tailed) 동작을 나타낼 수 있음을 보인다: 기대 위험은 잘 제어될 수 있지만, 상위 테일은 정규화된 대안보다 훨씬 느리게 감소할 수 있다. 이어서 우리는 이 현상을 대편차율(large-deviation rates) 수준에서 정량화한다. 우리가 연구하는 체제에서, 릿지 정규화는 고정된 우측 테일 편차를 $n^2$ 스케일에서 억제하는 반면, 능선 없는 회귀는 $n\log n$ 스케일의 감소만을 가지며, 여기서 $n$은 표본 크기이다. 이 격차는 보간이 평균적으로 정확하더라도 통계적으로 취약할 수 있음을 보여준다. 따라서 정규화는 일반적인 바이어스-분산 트레이드오프 외에도 희귀하고 고영향의 위험 사건의 빈도에도 영향을 미친다.

arXiv:2508.01392v2cs.LG

쿨롬 기체 몬테카를로 적분의 quenched 대편차

Quenched large deviations for Monte Carlo integration with Coulomb gases

Gibbs 측도(Coulomb gas 포함)를 몬테카를로 수치 적분 알고리즘으로 활용할 때, 목표 분포 π의 커널 퍼텐셜 U_K^π를 직접 계산하는 대신 무작위 근사(quenched Gibbs measure)로 대체해도 빠른 대편차 원리(large deviation principle)가 보존됨을 증명하였다. 비특이 커널에서는 표준 몬테카를로 전처리만으로 충분하며, 쿨롬 커널에서는 또 다른 Gibbs 측도 기반 근사가 필요하고 퍼텐셜 균등 수렴에 대한 이론적 보장도 함께 제시하였다.