PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25778v1stat.ML

매개변수 예산 하에서 루프 추정의 통계적 이득

Statistical Gains from Looped Estimation under Parameter Budgets

인공지능에서 메모리 수요가 증가함에 따라 더 적은 학습 가능 매개변수로 학습하려는 동기가 커지고 있다. 본 연구는 반복(iteration)마다 매개변수를 공유하며 하나의 적합된 연산자를 반복 적용하는 루프 추정기(looped estimator)가 동일한 매개변수 예산 하에서 통계적 정확도를 향상시킬 수 있는지 묻는다. 이에 대응하는 기존의 비공유(untied) 추정기는 각 반복마다 별도의 매개변수를 사용한다. 일반적인 가능도(likelihood) 모델에 대해, 루프 시브(sieve) 최대 가능도 추정에 대한 제곱 Hellinger 위험의 상한과, 튜닝된 비공유 모델군에 대한 미니맥스 하한을 확립한다. 이 경계들은 매개변수-반복-정확도 간의 트레이드오프를 드러낸다. 즉, 반복 계산은 매개변수를 추가하지 않고도 근사를 개선할 수 있으나, 계산 비용과 적합된 함수 클래스의 복잡도를 증가시킨다. 알려진 Hölder 매끄러움을 갖는 목표 함수에 대해, 루프 잔차 순방향 신경망(residual feedforward network)과 특정한 post-layer-normalized 트랜스포머(Transformer)는 유계 실수 매개변수의 개수를 고정한 채로 로그 인자를 제외하고 미니맥스 다항 수렴률을 달성한다. 충분히 큰 고정 예산에서는 표본 크기가 증가함에 따라 루프 방식의 최악 사례 위험이 0으로 수렴하는 반면, 최적의 비공유 방식의 최악 사례 위험은 0으로부터 일정 수준 이상 떨어진 채로 유지된다. 명시된 예산 증가 조건 하에서는 루프 대 비공유 위험 비율 또한 0으로 수렴한다. 가우시안 및 라플라스 회귀, 이진 응답, 에너지 기반 밀도 추정을 통해 이론을 예시한다.

arXiv:2606.07124v1cs.IT

수직 분할 분산 모델에서 희소 공분산 추정을 위한 정보 이론적 경계

Information-Theoretic Bounds for Sparse Covariance Estimation in the Vertical-Split Distributed Model

우리는 두 에이전트가 각각 $m$개의 독립 동일 분포(i.i.d.) sub-Gaussian 샘플의 서로 다른 좌표를 관찰하고 중앙 서버에 제한된 수의 비트를 통신하는 수직 분할(특징 분할) 설정에서 분산 공분산 행렬 추정을 위한 미니맥스 추정 오차를 연구합니다. Rahmani et al. [2025]은 밀집(비구조적) 교차 공분산 행렬에 대해 거의 타이트한 경계를 확립했지만, 우리는 교차 공분산 $C_{21}$에 원소별 $s$-희소성을 부과하는 것이 필요한 통신 및 샘플 복잡도를 줄일 수 있는지 조사합니다. 수평 분할 설정에서 Braverman et al. [2016]이 희소성이 평균 추정을 위한 통신 비용을 줄이지 않는다는 것을 보여준 것과 대조적으로, 우리는 수직 분할에서 교차 공분산 추정에 희소성이 도움이 된다는 것을 증명합니다. 구체적으로, 우리는 에이전트당 통신 예산이 $B_k = Ω(σ^4 d_k\, s' \log(d_1 d_2/s')/\varepsilon^2)$의 스케일을 가지고 교차 공분산 추정을 위한 샘플 복잡도가 $m = Ω(σ^4\, s' \log(d_1 d_2/s')/\varepsilon^2)$임을 보여주는 미니맥스 하한을 확립합니다. 여기서 $s' = s \wedge d_{\min}$입니다. $1$-희소 경우의 경우, 이는 밀집 속도와 비교하여 $d_1 d_2$에서 $\log(d_1 d_2)$로의 지수적 개선을 가져옵니다. 우리의 하한은 부호화된 부분 치환 행렬에 대한 Varshamov--Gilbert 유형 논증을 사용한 명시적 희소 패킹과 Rahmani et al. [2025]의 조건부 강력한 데이터 처리 부등식을 결합하여 파노의 방법을 통해 확립됩니다. 우리는 커버링 넷 양자화 및 원소별 하드 임계화를 기반으로 하고 다중 로그 인자(polylogarithmic factors) 내에서 $s$-희소 하한에 도달하는 일치하는 달성 가능한 방식을 통해 경계가 타이트함을 보여줍니다.