PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.06259v3cs.LG

랜덤 할당 기반 서브샘플링을 적용한 DP-SGD의 트레이드오프 함수: 빈틈없는 상한 및 하한

Trade-off Functions for DP-SGD with Subsampling based on Random Allocation: Tight Upper and Lower Bounds

$f$-DP 프레임워크 내에서, 각 샘플이 에포크(epoch)당 $M$개의 미니배치 중 정확히 하나에 독립적으로 할당되는 랜덤 할당(random allocation) 기반 서브샘플링을 적용한 차분 프라이버시 확률적 경사하강법(DP-SGD)의 트레이드오프 함수에 대한 빈틈없는(tight) 분석을 도출합니다. 여기서 각 미니배치는 단일 에포크 내 $M$번의 SGD 라운드 중 하나에 대응합니다. 우리의 분석은 명시적인 유효성 조건 하에서 성립하며, 이 조건의 가설들은 결합하여 $σ\geq \sqrt{3/\ln M}$을 강제합니다(여기서 $σ$는 DP 노이즈 승수). 기계 계산은 가능하지만 불투명한 닫히지 않은 암시적 공식(non-closed implicit formulas)을 생성하는 포아송 서브샘플링(Poisson subsampling)에 대한 $f$-DP 분석과 달리, 랜덤 할당은 투명하고 해석 가능한 닫힌 형태(closed-form)의 경계를 제공하는 빈틈없는 분석을 가능하게 합니다. 단일 에포크에 대해 베리-에센 정리(Berry-Esseen theorem)를 통해 도출된 구체적인 경계는 상수 계수 차이 내에서 빈틈없습니다(tight up to constant factors). 단일 에포크($E=1$)에 대해 해당 트레이드오프 함수가 $\geq 1-a-δ$, 즉 이상적인 무작위 추측 대각선 $1-a$보다 단지 $δ$만큼 아래에 있는 계산된 매개변수 설정을 시연합니다. $δ= 1/100$ 및 $σ= 1$의 경우 유의미한 차분 프라이버시를 달성하는 데 약 $M \approx 1.14\times 10^6$ 라운드와 $N \approx 1.14\times 10^7$ 학습 샘플로 충분합니다. 이는 유의미한 DP 보장이 존재할 수 없는 체제인 $σ\leq 1/\sqrt{2 \ln M}$에 대한 최근의 부정적인 결과와 대조됩니다.

arXiv:2509.16085v2stat.ML

An adaptive subsampling method for large-sample feature screening

초고차원 특징 스크리닝(feature screening) 표준법인 SIS(Sure Independence Screening)의 O(np) 계산 비용을, 다중 armed bandit(MAB)에서 영감을 받은 BanditSIS가 서브샘플 크기를 점진적으로 늘리며 작은 주변 Pearson 상관 변수를 조기 제거하는 적응형 서브샘플링으로 O(√np)까지 낮춘다. 완만한 정규성 조건에서 sure screening 성질을 유지함을 보이고, 합성·실데이터 실험에서 SIS와 대등한 스크리닝·예측 성능을 훨씬 짧은 계산 시간으로 달성한다.

arXiv:2606.21260v1stat.ML

재현 커널 힐베르트 공간에서 지도 학습을 위한 서브샘플링

Subsampling for supervised learning in reproducing kernel Hilbert spaces

빅데이터 시대에 서브샘플링은 통계적 학습에서 흔한 관행이 되었다. 학습자가 학습에 사용하는 관측치의 하위 집합을 선택하는 서브샘플링은 추정 단계의 계산 비용과 시간을 줄이는 것을 목표하고, 이상적으로는 에너지 소비와 탄소 발자국의 감소로 이어진다. 본 논문은 가설 집합이 재현 커널 힐베르트 공간에 속하는 비모수적 설정에 초점을 맞추며, 추정량은 Horvitz-Thompson 방식으로 재가중된 경험적 위험의 최소화자이다. 이 추정량의 점근적 특성을 연구하여, (공분산 연산자의 trace에 관하여) 최적의 서브샘플링 방안을 밝히고 plug-in 방식으로 사용할 수 있음을 보인다. 합성 및 실제 데이터셋에 대한 수치 연구를 통해 제안 방법의 실용성과 이점을 보여준다.