arXiv:2609.25710v1 stat.ML

신경망 근사와 미니맥스 회귀에서 네트워크 크기와 매개변수 크기 간의 최적 트레이드오프

Optimal Tradeoffs Between Network Size and Parameter Magnitude in Neural Approximation and Minimax Regression

Baicheng Li, Zuowei Shen, Haizhao Yang, Shijun Zhang

제출 2026-09-23

한국어 초록

신경망의 통계적 정확도는 근사 능력과 데이터로부터 적합된 클래스의 복잡도 모두에 의존합니다. 네트워크 크기를 늘리는 것이 근사를 개선하는 자연스러운 방법이지만, 매개변수 크기(parameter magnitude)는 두 측면 모두에서 그 역할을 정량화해야 하는 또 다른 자원을 제공합니다. 본 논문에서는 하나의 기본 유계 1-립시츠(Lipschitz) 이진-삼각 활성화 함수(Dyadic–Triangular Activation)를 사용하여 고정된 깊이에서 정밀한 너비-크기 트레이드오프를 규명합니다. $0<\beta\leq1$인 $[0,1]^d$ 상의 단위 $\beta$-횔더(Hölder) 볼에 대해, 네트워크 너비가 $N\geq2d+3$을 만족하고 매개변수 크기가 $T\geq1$로 유계될 때 $0<p<\infty$에 대한 최적 $L^p$ 근사 오차는 $[N^2\log(eNT)]^{-\beta/d}$ 차수입니다. 이에 일치하는 하계는 모든 고정된 전역 횔더 활성화 함수에 대해 성립하며, 해당 횔더 지수는 상수에 영향을 줄 뿐 수렴 속도(rate)에는 영향을 주지 않습니다. 유계된 설계 밀도와 독립적이고 중심화된 서브-가우시안(sub-Gaussian) 잡음 하에서, $M$이 표본 크기일 때 $N^2\log(eNT)\asymp M^{\frac{d}{2\beta+d}}$를 만족하기만 하면 깊이 $23$의 전체 클리핑된 클래스에 대한 근사 최소제곱은 로그 손실 없이 고전적인 횔더 미니맥스 위험 $\mathcal{O}(M^{-\frac{2\beta}{2\beta+d}})$을 달성합니다. 이는 단위 매개변수 반경부터 고정된 네트워크 크기에 이르기까지 통계적으로 최적인 선택들의 연속체를 제공합니다. 고정된 크기에서 최대 $8d+7$개의 0이 아닌 매개변수를 갖는 4개의 은닉층은 준최적 반경을 제공하는 반면, 최대 $8d+27$개의 매개변수를 갖는 6개의 층은 근사 오차 $\eta$에서 최적 차수 $\log T=\mathcal{O}(\eta^{-d/\beta})$를 달성합니다. 동일한 디코딩 방식은 고정 크기 트랜스포머 근사 역시 산출합니다.

원문 초록

The statistical accuracy of neural networks depends on both their approximation power and the complexity of the class fitted from data. While increasing network size is a natural way to improve approximation, parameter magnitude provides another resource whose role must be quantified in both respects. We establish a sharp width--magnitude tradeoff at fixed depth using one elementary bounded $1$-Lipschitz Dyadic--Triangular Activation. For the unit $\beta$-H\"older ball on $[0,1]^d$ with $0<\beta\leq1$, the optimal $L^p$ approximation error for $0<p<\infty$ is of order $[N^2\log(eNT)]^{-\beta/d}$ when the network width satisfies $N\geq2d+3$ and the parameter magnitudes are bounded by $T\geq1$. Matching lower bounds hold for every fixed globally H\"older activation; its H\"older exponent affects the constants but not the rate. Under bounded design densities and independent centered sub-Gaussian noise, approximate least squares over the full clipped class at depth $23$ attains the classical H\"older minimax risk $\mathcal{O}(M^{-\frac{2\beta}{2\beta+d}})$ without logarithmic loss whenever $N^2\log(eNT)\asymp M^{\frac{d}{2\beta+d}}$, where $M$ is the sample size. This yields a continuum of statistically optimal choices, ranging from unit parameter radius to fixed network size. At fixed size, four hidden layers with at most $8d+7$ nonzero parameters give a near-optimal radius, while six layers with at most $8d+27$ attain the optimal order $\log T=\mathcal{O}(\eta^{-d/\beta})$ at approximation error $\eta$. The same decoding method also yields fixed-size Transformer approximation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.25710v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14064v1math.ST공통 태그 regression, parameter estimation, minimax estimation

스펙클 회귀를 위한 가능도 기반 심층 학습의 미니맥스 이론

Minimax Theory of Likelihood-Based Deep Learning for Speckle Regression

스펙클 노이즈(speckle noise)는 합성 개구레이더(synthetic aperture radar), 광학적 간섭단층촬영(optical coherence tomography), 디지털 홀로그래피(digital holography)와 같은 일관(coherent) 영상 방식에서 흔히 나타나는 승산(multiplicative) 노이즈이다. 실무에서 심층 학습 방법은 스펙클 제거(speckle denoising)에서 최첨단 성능을 달성했지만, 그 근본적인 통계적 한계는 아직 거의 탐구되지 않았다. 가법(additive) 노이즈 모델과 달리, 승산 스펙클 노이즈는 회귀 함수가 조건부 평균으로부터 식별 불가능(unidentifiable)하게 만들어, 기존의 최소제곱법(least-squares) 기반 심층 학습 접근법을 적용할 수 없게 한다. 우리는 승산 스펙클 노이즈와 가법 가우스 노이즈가 모두 포함된 모델 하에서, 가능도 기반 심층 신경망(DNN) 추정량(estimator)을 사용한 매끄러운 비모수(nonparametric) 회귀 함수의 미니맥스 추정(minimax estimation)을 연구한다. 우리의 프레임워크는 저차원 및 희소(sparse) 고차원 특징(feature)을 모두 수용한다. 우리는 제안한 DNN 추정량의 추정 오차에 대한 유한 표본(finite-sample) 상계(upper bounds)를 확립하고, 우리 모델 하에서 비모수 함수 복원(function recovery)에 대한 미니맥스 하계(lower bounds)를 유도하며, 표본 크기(sample size)에서 로그 인수(logarithmic factors)까지 일치함을 보인다. 게다가 이러한 미니맥스 비율(rate)은 가법 가우스 노이즈만 있는 비모수 회귀에서의 비율과 로그 인수까지 일치하며, 승산 스펙클 노이즈가 제기하는 난제에도 불구하고 추정의 본질적 난이도(intrinsic difficulty)는 근본적으로 변하지 않음을 보여준다. 수치 실험(numerical experiments)은 DNN 기반 디스펙클링(despeckling) 방법의 일치성(consistency)을 추가로 뒷받침하고 그 효과를 입증한다.

arXiv:2608.26877v3cs.LG공통 태그 regression, parameter estimation

부피 샘플링 최소제곱법에서의 접촉 기하학과 공분산 결핍

Contact Geometry and Covariance Deficits in Volume-Sampled Least Squares

우리는 고정된 설계(design)에서 일반적인 고정 크기 부피 샘플링(volume sampling) 후 비가중 최소제곱법(unweighted least squares)이 날카로운 계수-공분산 상한(ceiling)에 도달하는 경우를 분류한다. 코루프(coloop)가 없는 실수 백색화(whitened) 설계와 고정된 양의 손실 잔차(residual)에 대해, 접촉 공간(contact space)은 모든 strict-interior 샘플 크기에서 변하지 않는다. 그 가능한 0이 아닌 값들은 유한한 직교(orthogonal) 패밀리를 이룬다: 정규화된 네이마크 보완(Naimark-complement) 행들의 각 극대 평행 클래스(maximal parallel class)는 클래스 크기보다 1 작은 차원의 삭제 영공간(deletion nullspace)을 결정한다. 단일 잔차가 전체 쿼리(query)에 도달하는 것은 정확히 쿼리 범위(range)가 하나의 클래스 공간 안에 놓일 때이다. 증명은 지지된(supported) 생략 모멘트(omission moment)와 역삭제(reverse deletion)를 사용하여, 모든 정규화된 공분산 결핍을 명시적인 leave-one-out 연산자와 양방향 뢰브너(Loewner) 비교하는 것에서 시작한다. 잔차 증강(residual augmentation)은 리졸벤트(resolvent)와 2차 모멘트 상한을 제공하며, 보완 기하학(complement geometry)은 쿼리별 마진, 각도 집중(angular concentration), 지역 정렬(local alignment), 그리고 다중 출력 에너지 장애물(multi-output energy obstruction)을 산출한다. 정확한(exact) 패밀리들은 닫힌 형태(closed-form)의 마진과 공분산을 제공하고, 지지 경계 점프(support-boundary jump)를 보이며, 균일하게 양의 기하학적 마진에도 불구하고 상한에 근접한다. 마지막으로, 동일한 모멘트 항등식은 기대 고정 쿼리 제곱 손실 초과분에 대한 상한과 하한을 제공한다. 부분집합 추출(subset draw)만이 유일한 무작위성이며, 모든 지지(support) 및 끝점(endpoint) 제약은 명시적이다.

arXiv:2610.02610v1cs.LG공통 태그 regression, parameter estimation

Seer: 학습 속도 곡선을 위한 최대가능도 회귀

Seer: Maximum Likelihood Regression for Learning-Speed Curves

본 연구는 머신러닝 성능 모델링에 초점을 맞춥니다. 본 학위논문에서는 분류 학습 성능에 대한 실증적 관측값을 생성한 뒤, 이를 활용해 통계 모델을 구축하는 시스템인 Seer를 소개합니다. 구축된 모델은 목표 수준을 달성하는 데 필요한 학습 예제 수와 무제한의 학습 예제가 주어졌을 때 달성 가능한 최대 정확도를 예측하는 데 활용할 수 있습니다. Seer는 1) 분류 학습을 위한 최적의 제약 조건과 가장 유용한 파라미터를 구현한 모델, 2) 최대가능도(maximum-likelihood) 모델을 효율적으로 찾는 알고리즘, 3) 세 가지 실제 도메인 데이터를 통해 이러한 모델링의 실용적인 적용 가능성을 입증함으로써 기존 기술을 발전시킵니다. 논문의 전반부에서는 분류 학습 성능에 대한 우수한 최대가능도 모델이 갖추어야 할 요건을 개괄합니다. 이어서 이러한 모델에 적합한 설계 선택지를 탐색합니다. 이러한 모델 간의 선택은 비선형 프로그래밍(nonlinear programming) 문제이지만, 적절한 문제 제약 조건을 활용함으로써 효율적인 반복 알고리즘으로 해결할 수 있는 비선형 회귀(nonlinear regression) 문제로 단순화됩니다. 논문의 후반부에서는 대두 질병, 심장병, 청각 이상 도메인에서 수행된 약 100건의 실험을 설명합니다. 테스트 결과 Seer가 학습 성능을 규명하는 데 매우 뛰어나며, 학습 성능 예측에서도 가능한 최고 수준의 성능을 보이는 것으로 나타났습니다. 마지막으로 특정 상황에 적합한 회귀 모델 선택을 위한 권장 사항을 제시하고 향후 연구 방향을 명시합니다.

arXiv:2609.27280v1stat.ML공통 태그 regression, parameter estimation

쌍별 융합 멀티태스크 회귀

Multitask Regression with Pairwise Fusion

예측변수마다 계수 공유 방식이 달라질 수 있는 멀티태스크 회귀를 연구한다. 주어진 예측변수에 대해 많은 과제는 동일한 계수를 갖고 일부만 다를 수 있으며, 예외가 되는 과제는 다른 예측변수에서 반드시 같을 필요는 없다. 이 구조는 활성 예측변수의 수와, 각 예측변수에서 가장 흔한 값과 다른 과제 계수의 총 개수라는 두 양으로 기술한다. 계수 행렬은 과제 전반에 걸친 모든 쌍별 계수 차이에 페널티를 두어 추정하고, 예측변수 선택이 필요한 경우 추가 그룹 페널티를 부과한다. 도출된 상한과 하한은 이 두 양에 대해 동일한 의존성을 갖는다. 또한 많은 과제 집합이 하나의 전체 계수 벡터를 공유하는 더 강한 설정도 고려한다. 명시적인 표본 크기 조건 하에서, 동일한 쌍별 추정량은 해당 과제들을 정확히 풀링하면서 나머지 과제는 달라질 수 있게 한다. 시뮬레이션과 가구 에너지 데이터는 광범위한 공유와 과제별 계수 사이의 전환을 보여 준다.

arXiv:2609.26972v1cs.LG공통 태그 regression, parameter estimation

TinyUDE: 리-테일러 제트 매칭을 통한 마이크로컨트롤러 기반의 솔버 없는 범용 미분 방정식

TinyUDE: Solver-Free Universal Differential Equations on Microcontrollers via Lie-Taylor Jet Matching

범용 미분 방정식(UDE) 학습(training)은 전통적으로 수치적 ODE 솔버를 통한 역전파에 의존하므로, 엣지 마이크로컨트롤러의 성능을 크게 초과하는 메모리 사용량을 발생시킵니다. 본 논문에서는 관측된 시스템 상태의 1차 및 2차 시간 도함수(derivative)에 하이브리드 벡터장을 직접 피팅하는 솔버 없는(solver-free) 학습 프레임워크인 리-테일러 제트 매칭(Lie-Taylor jet matching)을 제시합니다. 절단된 리-테일러 제트(truncated Lie-Taylor jet)인 이러한 도함수는 사비츠키-골레이(Savitzky-Golay) 필터링을 통해 온디바이스에서 온라인으로 추정되며, 자동 미분 소프트웨어 없이도 완전한 해석적 그래디언트를 생성합니다. 본 연구는 동일한 동역학, 노이즈 모델, 네트워크 아키텍처 및 평가 지표를 공유하는 기존 기준선(baseline)(고정 스텝 RK4 적분, 다중 슈팅, 정확한 이산 수반 변수법, Adam)과 비교하여 솔버를 제거하는 것이 정확도를 저하시키는지 평가합니다. 단순한 도함수 매칭은 센서 노이즈 환경에서 성능이 저하되지만, 본 연구의 노이즈 적응형 메커니즘인 전비율 위상 천이 샘플링, 레저버 버퍼, 가중치(weight) 평균화를 적용한 코사인 어닐링 최적화(optimization), 온디바이스 노이즈 추정, 다항식 미스핏 품질 게이팅을 통해 이러한 격차를 해소하고 역전시킵니다. 감쇠 진자 및 혼돈 이중 진자 실험에서, 제안하는 방법은 동일한 데이터 윈도우에서 기준선 정확도와 일치하거나 이를 능가하며 모델링되지 않은 감쇠 계수를 복원합니다. 0%에서 5%까지의 노이즈 수준 전반에서, 수 메가바이트의 솔버 테이프와 비교해 108 kB의 정적 메모리 내에서 기준선의 0.65배에 해당하는 기하평균 상대 필드 오차를 달성합니다. ESP32 마이크로컨트롤러에서의 온디바이스 실행은 61.3 kB의 정적 메모리와 업데이트당 7.24 ms(25 Hz에서 18.1% 듀티 사이클) 내에서 0.0020의 필드 오차에 도달하고 감쇠 계수를 c = 0.400(실제값 0.400)으로 복원하여, 수치 솔버 없이도 실시간 온디바이스 학습이 실현 가능함을 입증합니다.

arXiv:2609.28286v1cs.CV공통 태그 regression, parameter estimation

이중 인코더 트랜스포머를 통한 위성 복사휘도 기반 행성경계층 고도 추정

PBLH Estimation from Satellite Radiances via a Dual-Encoder Transformer

위성 관측으로부터 행성경계층 고도(PBLH)를 추정하는 것은 대기 상단 복사휘도(top-of-atmosphere radiances)와 지표 부근 대기 구조 간의 간접적인 관계로 인해 까다로운 회귀 문제입니다. 위성 통과 데이터의 멀티모달 특성과 공간적 불완전성을 처리할 수 있는 아키텍처의 부재, 그리고 적절한 데이터셋의 부족으로 인해 그동안 발전이 제한적이었습니다. 본 논문에서는 이전 연구에서 소개한 MetOp 복사휘도와 ERA5 PBLH 레이블을 결합한 대규모 데이터셋을 기반으로 세 가지 기여를 제시합니다. 첫째, 픽셀 단위 회귀, 관측폭(swath) 단위 시퀀스 모델, 그리고 전체 궤도 통과 영역에서 작동하는 합성곱 및 트랜스포머 모델을 아우르는 8가지 접근법에 걸쳐 벤치마크를 구축합니다. 둘째, 입력 블록에 대한 그룹화된 샤플리 분해(grouped Shapley decomposition)를 사용하여 결과 모델이 실제로 무엇에 의존하는지 정량화합니다. 셋째, 마스킹된 입력 처리 방식을 통해 전천후 조건에서 작동할 수 있는 최적의 성능을 가진 아키텍처인 이중 인코더 트랜스포머를 제시합니다. 제안된 모델은 별도로 분리된 글로벌 테스트 세트에서 MAE = 155.8 m를 달성하여 모든 평가 하위 집합에서 모든 기준선(baseline)을 능가했습니다. TEAMx 관측 캠페인과 겹치는 이틀 동안 획득된 30개의 분포 외(out-of-distribution) 그래뉼(granule)에서도 MAE = 165.3 m를 달성하여 동일한 데이터로 학습된 픽셀 단위 기준선(MAE = 197 m)을 능가했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.