본 논문은 헤세 역행렬 근사의 학습에 모멘텀을 도입한 BFGS용 가속 기하 학습 프레임워크를 제안한다. 결과로 얻어지는 가속 갱신이 명시적인 안정성 조건을 만족하며, 허용 가능한 매개변수 영역 내에서 양의 정부호성을 보존함을 증명한다. 수치 실험을 통해 수치적 안정성을 유지하면서도 대응하는 비가속 기법보다 일관되게 성능이 향상됨을 보인다. 이러한 결과는 가속 준뉴턴 학습에 대한 최초의 엄밀한 이론적 토대를 제공하며, 가속 2차 최적화 기법에 대한 경험적 관찰과 수학적 보장 사이의 간극을 메운다.
본 논문에서는 제약 선형 회귀를 위한 능동 학습을 연구한다. 설계 행렬 $A\in\mathbb{R}^{n\times d}$, 제약 집합 $C\subseteq\mathbb{R}^d$, 그리고 $b\in\mathbb{R}^n$에 대한 질의 접근이 주어졌을 때, 가능한 한 적은 질의로 $\min_{x\in C}\|Ax-b\|_2^2$의 근사해를 구하고자 한다. 이 문제는 많은 과학 및 공학 응용에서 나타나며, 무작위 레버리지 점수 샘플링은 이를 푸는 강력한 방법을 제공한다. 그러나 기존 레버리지 점수 방법은 제약을 무시하거나 릿지 정규화를 통해 인코딩하므로, 비등방성 제약 집합에서 불리한 질의 복잡도를 겪는다. 우리는 제약 집합을 외부 타원체로 근사하고 그 형상 행렬을 사용하여 제약 기하 아래에서 중요한 방향으로 샘플링을 편향시키는 타원체 정규화 레버리지 점수를 제안한다. 질의 복잡도가 비등방성 유효 차원 $d_{\text{eff}}(C)\le d$에 의해 결정됨을 증명한다. 적절한 파라미터에서는 $O(d_{\text{eff}}(C)\log d/\varepsilon^2)$번의 질의로 목적 함수 값이 최적값의 $(1+\varepsilon)$배 이하인 $C$ 내의 점을 반환하기에 충분하다. 비등방성 제약은 $d_{\text{eff}}(C)$를 $d$보다 훨씬 작게 만들 수 있으므로, 이 한계는 표준 레버리지 점수 한계를 크게 개선할 수 있다. 볼록 제약의 경우 $\varepsilon$에 대한 의존성을 $1/\varepsilon^2$에서 $1/\varepsilon$로 개선한다. 또한 두 가지 하한을 증명한다. 첫째, $C$에 대한 볼록성 가정이 없으면 $d/\varepsilon^2$ 의존성은 피할 수 없다. 둘째, 일부 영역에서 타원체 제약에 대해서는 유효 차원 의존성 $d_{\mathrm{eff}}(C)/\varepsilon$이 필요하다. 합성 회귀 문제와 매개변수 열전도 문제에 대한 실험에서 유사한 질의 예산에서 표준 기준선보다 낮은 회귀 오차를 보였다.
우리는 속도가 재생 커널 힐베르트 공간(RKHS)에 속하는 단일 미분동형 흐름으로 지도 분류와 우도 기반 밀도 추정을 해결하는 통합 최적 제어 프레임워크를 개발한다. 두 과제는 목적함수를 제외한 모든 구조를 공유한다. 변수 사영은 종단 모델(분류기 또는 가우시안 혼합(GMM) 기준 분포)을 소거하여, 해석적 이산 수반(adjoint)으로부터 기울기가 얻어지는 축소된 제어 문제를 남긴다. RKHS 매개변수화는 커널 행렬-벡터 곱 한 번의 비용으로 흐름의 발산을 정확하고 결정론적으로 만들어, 기존 연속 정규화 흐름의 확률적 대각합 추정기와 포텐셜 흐름 제약을 피한다. 목적함수와 기울기가 결정론적이므로, 행렬 비의존 축소 가우스-뉴턴(GN) 및 관련 2차 해법이 두 과제 모두에서 실용적이며, 이를 다양한 1차 및 2차 최적화기와 비교 평가한다. 학습된 사상은 정칙성이 명시적으로 제어되는 미분동형사상이다. 2차원에서 256차원까지의 실험에서, 축소 GN 해법은 시험한 모든 최적화기 중 가장 적은 반복 횟수를 사용하고, 결합 L-BFGS와 함께 가장 적은 연산량을 사용한다. 다중 스케일 커널은 밀도 적합을 개선하며, 학습 가능한 GMM 기준 분포는 비슷한 우도에서 다봉 수송에 필요한 변형을 줄이지만 실제 데이터에서는 우도를 낮춘다. 전체 모델 풀이는 입자 수에 대해 이차이고 차원에 대해 준선형이며, 제어점 축소는 거의 무손실 정확도에서 입자 수에 대한 스케일링을 선형으로 만든다.
랜드마크 확산(Roseland)은 차수 정규화된 데이터-랜드마크 커널 행렬의 특이값 분해로부터 확산 맵 방식의 스펙트럼 임베딩을 계산하며, 그 비용은 전체 확산 맵보다 훨씬 낮다. 그러나 이 방법은 모든 데이터를 한꺼번에 사용할 수 있다고 가정한다. 본 논문에서는 랜드마크 친화도를 행이 증가하는 행렬로 간주하고, 그 특이값 분해를 커널화된 순차 Karhunen–Loève(SKL) 기법으로 갱신할 수 있게 하는 증분형 Roseland(iRoseland)를 제안한다. 차수 보정은 기준 평균 커널 행에 대한 1차 전개로 처리하며, 이에 따라 각 단계에서 랜드마크 대 랜드마크 고유값 분해 한 번만으로 랜드마크 측 고유기저를 복원할 수 있다. 제안한 방법은 데이터에 대해 단일 패스만을 요구하며, 처리한 점의 수와 무관한 상태로 제한된 메모리에서 동작한다. 망각 계수를 통해 이 방법은 변화하는 분포를 추적할 수 있고, 표본 크기에 불변인 임베딩은 시간에 걸쳐 출력을 서로 비교할 수 있게 한다. 실험 결과, 정상(stationary) 데이터에서는 Roseland와 반올림 오차 수준까지 일치하였고, 긴 스트림에서는 동일 메모리의 Roseland보다 정확도가 한 자릿수 배 높았다. 분포가 변화하는 데이터에서는 변화에 맞춘 윈도우로 망각을 적용했을 때 큰 이득을 관찰하였다.
이 리뷰는 오차 분해의 관점에서 딥러닝 이론을 검토하며, 근사 오차, 통계적 오차, 최적화 오차를 체계적으로 다룬다. 우리는 개별 오차 성분에 대한 경계로부터 세 가지를 모두 고려하는 프레임워크에 이르기까지 오차 분석의 발전을 추적한다. 비모수 회귀와 Deep Ritz 방법을 두 가지 병행 예시로 사용하여, 이러한 분석이 근본적으로 다른 손실 구조에 어떻게 적용되는지를 보인다. 이어서 과학적 기계학습, 생성 학습, 강화학습, 표현 학습, 대규모 언어 모델에서의 대표적인 분석을 검토하며, 학습 오차가 문제별 논증을 통해 해, 분포, 예측에 어떻게 영향을 미치는지를 보인다. 전반에 걸쳐 어떤 오차 성분이 통제되는지, 이들이 어떻게 결합되는지, 그리고 학습된 신경망에 대한 보장을 얻기 위해 어떤 가정이 필요한지를 명확히 한다.
볼록 집합으로 제한된 분포에서 표본을 생성하는 제약 샘플링은 계산 통계학에서 중요한 문제이다. 본 논문에서는 운동 랑주뱅 동역학의 대칭적 BAOAB 및 ABOBA 분할을 제약 목표 분포의 페널티 대리 분포에 적용하여 얻은 새로운 비조정(unadjusted) 샘플링 알고리즘을 제안한다. 여기에는 확률적 경사 버전도 포함된다. 페널티 대리 분포의 헤시안은 제약 집합의 경계에서 불연속이므로, 립시츠 헤시안에 의존하는 분석은 적용되지 않는다. 따라서 강볼록성과 매끄러움만을 기반으로 하는 분석을 개발하여, 1단계 바서슈타인 수축 기법, 두 기법 모두에 대한 비점근적 바서슈타인 상계, 그리고 복잡도 상계를 증명한다. 확률적 경사 버전의 복잡도는 전통적인 오일러형 이산화보다 크게 개선된다. 수치 실험은 장난감 문제와 베이지안 제약 회귀 문제에서 검증된 본 이론을 확인한다. 전반적으로 분할 기법은 오일러형 방법보다 몇 배 큰 스텝 크기에서도 안정성을 보이며, 주어진 정확도에 필요한 경사 계산 횟수가 5배에서 17배 적다.
확산 방정식은 진화하는 밀도의 스코어 함수에 의해 구동되는 수송 방정식으로 다시 쓸 수 있다. 이 스코어 기반 속도로 입자를 결정론적으로 이동시키는 기존의 확률 흐름 정식화는 일반적으로 전체 질량을 보존한다. 본 연구에서는 각 입자가 위치와 물리적 가중치를 갖는 반응-확산 방정식용 라그랑주 방법을 개발한다. 특성 상미분방정식은 로그 밀도와 그 기울기의 진화에 소스항을 반영하며, 입자 가중치는 질량의 변화를 추적한다. 이 표현을 학습된 속도장 및 가중 입자 학습과 결합하여 이러한 동역학을 근사한다. 반응률이 증가하지 않는 경우, 상대 엔트로피 부등식은 질량 정규화된 자기 일관성 잔차를 학습 목표로 삼는 것을 뒷받침한다. 이 목표는 성장률이 유계일 때 유도된 밀도의 오차를 제어할 수 있다. 알고리즘은 시간 구간을 짧은 창으로 나눈다. 각 창에서 고정된 속도가 신경망 속도의 회귀를 위한 입자 데이터를 생성한다. 입자는 기간에 맞게 조정된 초기 샘플링 분포에서 추출하고, 손실에서 예측된 미래 질량에 부분적으로 비례하여 가중한다. 이는 반응으로 인해 초기 질량이 적은 영역이 나중에 중요해질 수 있기 때문이다. 본 방법은 선형 소스항을 가진 Ornstein-Uhlenbeck(OU) 방정식, Fisher-KPP 방정식, Wasserstein-Fisher-Rao 기울기 흐름에 대해 수치적으로 검토한다.
본 논문은 ReLU 활성화를 사용하는 깊은 신경망의 암기 용량을 연구한다. 구체적으로, 단위 공 안에서 쌍별 분리 거리가 $\delta$이고 크기 $C$인 유한 집합에서 레이블을 갖는 임의의 $N$개 데이터 점을 암기하기 위한 이러한 신경망의 최소 크기를 조사한다. 대부분의 기존 연구는 암기 용량을 매개변수 또는 뉴런의 수로 특징짓는다. 본 논문은 $W^2L^2\log W=\mathcal{O}(N(\log(\delta^{-1})+\log C))$를 만족하며 조절 가능한 너비 $W$와 깊이 $L$을 갖는 ReLU 신경망을 구성하여, 그러한 임의의 데이터셋을 암기할 수 있음을 보임으로써 이러한 결과를 확장한다. 또한 그러한 모든 데이터셋을 암기할 수 있는 신경망에 대해 $\delta$와 $C$에 명시적으로 의존하는 너비-깊이 하한을 확립한다. $\log(\delta^{-1})\asymp\log N$일 때, 본 구성은 적절한 너비와 깊이 선택에 대해 $W^2L^2\asymp N$을 달성한다. 이 차수는 $\log C\asymp\log N$이면 최적이며, $\log C=o(\log N)$이면 로그 인자를 제외하고 최적이다.
본 논문에서는 비정상 시공간 동역학의 데이터 기반 모델링을 위한 단순화된 트랜스포머 아키텍처인 시간 지연 트랜스포머(TD-TF)를 제안한다. TD-TF는 단일 층, 단일 헤드 트랜스포머가 시간 지연 동적 모드 분해(TD-DMD)의 비선형 일반화로 해석될 수 있음을 보임으로써 선형 연산자 기반 방법과 심층 시퀀스 모델을 연결한다. 이 아키텍처는 예측당 단일 쿼리를 갖는 하나의 셀프 어텐션 층과 하나의 피드포워드 층으로 구성되어 의도적으로 최소화되었으며, 그 결과 시퀀스 길이에 대해 선형적인 계산 복잡도와 적은 수의 파라미터를 갖는다. 수치 실험 결과, TD-TF는 거의 선형인 시스템에서는 강력한 선형 기준 모델과 대등한 성능을 보이고, 비선형 및 혼돈 영역에서는 이를 크게 능가하며 장기 동역학을 정확하게 포착한다. 합성 신호, 비정상 공기역학, Lorenz '63 시스템, 반응-확산 모델에 대한 검증 연구는 TD-TF가 선형 모델의 해석 가능성과 효율성을 유지하면서도 복잡한 동역학에 대해 크게 향상된 표현력을 제공함을 보여 준다.
본 논문에서는 결정론적 제약이 있는 확률적 및 유한합 볼록 최적화 문제의 한 부류를 연구한다. 기존 방법은 일반적으로 기대 제약 위반과 기대 최적성 격차가 모두 주어진 허용 오차 $\epsilon$ 이내인 $\epsilon$-$expected\ feasible\ stochastic\ optimal$ 해를 찾는 것을 목표로 한다. 그러나 많은 실제 응용에서는 제약이 확실하게 거의 만족되어야 하므로, 이러한 해는 상당한 위반의 위험 때문에 적합하지 않을 수 있다. 이 문제를 해결하기 위해 본 논문은 제약 위반이 결정론적으로 $\epsilon$ 이내로 제한되고 기대 최적성 격차가 최대 $\epsilon$인 $\epsilon$-$surely\ feasible\ stochastic\ optimal$($\epsilon$-SFSO) 해를 찾는 확률적 1차 방법을 제안한다. 제안 방법은 적절히 선택된 벌점 매개변수를 갖는 이차 벌점 부분문제의 수열에 가속 확률적 경사(ASG) 기법 또는 수정된 분산 감소 ASG 기법을 $only\ once$ 적용한다. 제안 방법이 $\epsilon$-SFSO 해를 계산하는 데 필요한 1차 오라클 복잡도 한계를 증명한다. 제안 방법의 성능을 보이기 위한 예비 수치 결과를 제시한다.
트랜스포머는 매개변수를 갱신하지 않고도 소수의 예시에서 새로운 과제에 적응하는 문맥 내 학습 능력을 보였다. 기존 이론은 주로 볼록 통계 문제에서 그래디언트 기반 알고리즘을 모사하거나, 바탕에 있는 통계 구조를 활용하지 않고 일반적인 함수 근사 보장을 확립하는 데 집중했다. 본 연구는 추정 문제가 일반적으로 비볼록인 매개변수화 상미분방정식(ODE)에서 문맥 내 매개변수 추정과 궤적 예측을 연구한다. 적절한 식별 가능성과 정칙성 조건 아래에서, 잡음이 있는 궤적 관측으로부터 미지의 시스템 매개변수를 추정하는 트랜스포머를 구성한다. 두 단계의 근사 최대 가능도 절차를 사용한다. 먼저 개략적인 탐색으로 국소적으로 강볼록인 영역 안에서 초기값을 고른 뒤, 국소 선형 수축이 성립하는 경사하강법을 적용한다. 예측에서는 이 추정기를 ODE 해 매핑의 신경망 근사와 합성한다. 또한 매개변수를 공유하면 트랜스포머 하나가 매개변수 추정과 궤적 예측을 함께 수행할 수 있음을 보인다. 이 구성에 대해 비점근적 보장과 유한 사전학습 오라클 부등식을 확립한다. 이 부등식은 유한한 사전학습 데이터, 유한한 문맥 길이, 유한한 규모의 트랜스포머 근사에서 오는 오차를 각각 구분한다. 선형 및 비선형 ODE의 수치 실험에서도 사전학습 트랜스포머가 가중치를 갱신하지 않고, 추론 시 문맥을 길게 해 성능을 높일 수 있음을 보였다.
무작위 특징 기법(RFM)은 높은 정확도와 연산 효율로 편미분방정식(PDE)을 푸는 머신러닝 접근법 가운데 두각을 나타낸다. 그러나 RFM의 이론적 토대는 아직 충분히 밝혀지지 않았다. 본 논문은 커널 방법의 틀에서 RFM을 두 가지 측면으로 분석한다. 첫째는 유한 개 무작위 특징으로 근사하는 문제를 소볼레프 노름과 PDE 잔차 준노름에서 다루는 것이다. 둘째는 잡음이 없는 유한 개 배치점 관측값으로 유도된 재생 커널 힐베르트 공간(RKHS)에서 추정하는 것이다. 두 문제를 커널 릿지 회귀(KRR)와 연결하고, 각각의 가정 아래 대응하는 적분 연산자의 고윳값으로 상한과 하한을 구한다. 근사와 추정의 하한을 결합해 무작위 특징 수와 배치점 관측값 수가 동시에 제한될 때의 하한을 확립한다. 활성화 함수의 매끄러움이 고윳값에 미치는 영향도 정량화했다. 유한 차수에서 매끄러운 활성화 함수에는 대수적 상한을, 해석적 활성화 함수에는 늘어난 지수함수 형태의 상한을 얻었다.
평균장 이론은 신경망 폭이 무한대로 가는 극한에서 가중치 분포를 분석해 얕은 신경망의 최적화 결과를 제공한다. 유한한 크기의 신경망에 대한 대응 결과는 입자 근사로 얻을 수 있지만, 이 근사에 대한 정밀한 정량 경계를 밝히는 일은 아직 미해결 문제다. 본 논문은 유한한 크기의 신경망을 더 세밀하게 제어할 수 있는 변형 평균장 손실을 다룬다. 볼록성과 균등 분포 성질을 증명한다. 이를 통해 국소 손실 최소점에서 표본 추출한 신경망의 배런 유형 근사 결과를 직접 도출한다. 또한 새 손실 함수의 입자 근사가 드롭아웃 형태의 정규화를 적용한 경사하강법으로 자연스럽게 이어짐을 보인다.
본 연구는 점프 확산 모델(Merton, Kou)과 확률적 변동성 모델(Heston, SABR)에서 유럽형 옵션의 가격을 산정하고 모델을 보정하는 무작위 특징 방법을 연구한다. 신경망은 프로빗 활성화와 무작위로 정한 뒤 고정한 내부 가중치를 갖는 은닉층 하나로 구성된다. 따라서 가격 방정식, 만기 지급액, 경계 조건에 맞추는 과정은 정규화한 최소제곱 문제 하나로 끝나며 반복 학습이 필요 없다. Merton과 Kou 모델에서 각 특징의 점프 적분은 닫힌 형태로 주어지므로 수치 구적이 필요 없다. 최소제곱 행렬을 한 번 분해하면 모든 상태와 시점의 가격, 옵션 민감도 지표인 그릭스, 그래디언트 기반 보정에 필요한 모델 매개변수에 대한 가격의 정확한 미분값을 얻는다. 점프 모델에서 블랙-숄즈 가격을 빼면 만기 지급액 함수의 꺾인 부분이 사라지고 가격 오차가 약 100분의 1로 줄어든다. 그 결과 같은 실행 시간에서 표준 크랭크-니콜슨 유한 차분법과 비슷한 정확도를 보인다. 다만 블랙-숄즈 가격을 마찬가지로 빼는 유한 차분법의 오차는 여기서 다시 약 100분의 1로 작다. 최근 물리 정보 신경망 연구의 시험 문제에서는 약 30분 대신 수초 만에 해당 신경망과 같은 정확도를 달성했다. 보정 실험에서는 가격 모델의 오차가 매개변수 변화로 인한 가격 변화보다 충분히 작지 않으면, 시장 호가를 잘 맞추고도 매개변수를 잘못 추정할 수 있음을 확인했다. 블랙-숄즈 가격을 빼지 않으면 점프 매개변수 오차가 최대 50%였고, 빼면 3% 이내에서 복원했다. 참조 가격이 필요 없는 경계 조건을 사용해 적용 가능성을 살핀 Heston 및 SABR 모델에서는 가격 오차가 약 1%, 보정한 매개변수는 참값의 약 15% 이내였다.
표본에서 그 바탕이 되는 확률분포를 학습하는 일은 통계학과 응용수학의 핵심 문제다. 확산 및 플로 매칭에 기반한 생성 모델은 알려진 분포를 데이터 분포로 수송하는 흐름의 속도장을 학습한다. 이 모델은 새롭고 사실적인 표본을 생성하지만, 데이터 분포 근처에서는 경험적 학습 문제가 적정하지 않다. 경험적 목적 함수의 최소화 해는 표본을 학습 데이터 지점으로 옮긴다. 데이터에 작은 교란을 주어도 흐름의 끝에 가까워지면 속도장이 크게 바뀐다. 관측되는 일반화는 흔히 신경망의 매개변수화, 학습의 조기 종료, 표본 추출 과정의 시간 적분이 제공하는 암묵적 정규화에 기인한다고 설명한다. 명시적 정규화는 여러 역문제의 이론과 계산 기법을 발전시켰으며, 최근 생성 모델에서 암기를 막는 데에도 제안됐다. 그러나 속도의 크기에 정규화 항을 두면, 정규화 매개변수가 충분히 빠르게 무한대로 커지지 않는 한 속도장이 학습 지점을 그대로 암기하는 속도장으로 접근한다. 매개변수가 충분히 빠르게 커지면 속도장은 상수로 제한되지만, 그 상수가 작아지려면 매개변수 값이 커야 한다. 본 연구는 속도의 $k$차 미분에 페널티를 부과하면, $2k > D$이고 학습 지점이 일반 위치에 있을 때 $D$차원 경험적 문제가 시간 전 구간에서 균일하게 적정해짐을 보인다. 1차원과 2차원 실험에서는 속도를 스플라인으로 이산화하고 정규화 최소제곱 문제를 직접 풀어 최적화 오차를 배제했다. 공간과 시간의 이산화를 더 촘촘하게 해도 헤시안 정규화를 적용한 흐름의 오차는 거의 변하지 않았다. 정규화 항이 없으면 오차는 학습 데이터를 암기할 때의 오차에 가까워졌다. 이 흐름들은 일반화했으며, 오차는 잘 조정한 커널 밀도 추정의 오차와 비슷하거나 더 작았다.
비전과 언어 분야에서는 인코더를 한 번 사전학습한 뒤 여러 과제에 재사용하는 접근법이 널리 쓰인다. 그러나 신경망 기반 기호 수학은 여전히 과제마다 전용 시퀀스-투-시퀀스 모델을 학습하므로, 함수 표현이 과제 사이에 공유되지 않는다. 본 연구는 함수 공동 임베딩 예측 아키텍처인 Func-JEPA(약칭 f-JEPA)를 제안한다. 수학 함수를 기호 형태로 사전학습하는 인코더다. 잠재 공간은 소볼레프 공간 H^1을 모방하고, 미분은 잠재 공간의 학습된 연산자가 수행한다. 잠재 벡터의 노름은 함수에서 정확히 계산하며, 방향은 소볼레프 공간의 각도에 맞도록 학습한다. 가중치를 고정한 인코더를 디코딩, 함수 합성, 적분, 표본 기반 회귀의 경량 모듈에서 재사용한다. 사전학습 분포 안팎에서 표현과 네 후속 과제를 평가했다. f-JEPA는 비교한 기호 회귀 방법보다 잡음이 있는 표본에서 정확한 공식을 더 자주 복원했다. 표준 적분 및 미분방정식 벤치마크에서는 컴퓨터 대수와 과제 특화 모델이 여전히 더 강했다.
고정 마찰과 감소하는 잡음을 갖는 담금질 모사를 통해 비볼록 최적화를 위한 3차 랑주뱅 동역학의 전역 수렴 보장을 연구한다. 명시적인 3블록 왜곡 엔트로피는 잡음이 있는 보조 변수로부터 전체 상태로 소산을 전달한다. 소산성, 정칙성, 저온 함수 부등식 가정 하에서, 로그 냉각은 목적 함수 값을 장벽이 제어하는 운동학적 속도로 확률적으로 전역 최솟값에 수렴시킨다. 정확한 힘 적분 및 중점 3단계 이산화에 대해, 다항적으로 감소하는 스텝은 물리적 시간 척도에서 이 속도를 보존한다. 3차 국소 끝점 추정은 기존의 고정 힘 운동학적 결과보다 덜 제한적인 충분 스텝 크기 조건을 제공한다. 단일 기울기 UBU 적분기와의 비교는 동일한 강결합 분석 하에서 그 중심화된 확률적 국소 오차가 어떻게 더 작은 충분 반복 지수로 이어지는지를 보여 준다. 이론을 설명하기 위해 수치 실험을 수행한다. 이중 우물 목적 함수에서 3차 랑주뱅의 종단 성공 점추정값은 공통 지평과 동일 기울기 예산 모두에서 UBU보다 높다. 합성 데이터를 사용한 고차원 비볼록 신경망 목적 함수에서는 독립적으로 튜닝된 UBU와 3차 랑주뱅 방식 모두 과감쇠 랑주뱅 동역학보다 우수하며, 3차 랑주뱅의 점추정값이 더 높다. 실제 데이터에 대한 동일한 신경망 목적 함수에서도 최적 분지 확률과 급랭 후 테스트 정확도에 대해 같은 점추정값 순서를 보인다. 수치 코드와 관련 실험 결과는 https://github.com/gagawjbytw/simulated-annealing-third-order-langevin 에 공개되어 있다.
특이값 분해(SVD)는 다양한 분야의 행렬 분해 작업의 기반이 되며, 영상 응용에서는 비용 효율적인 처리가 요구된다. 그러나 SVD 알고리즘은 본질적으로 순차적이어서 GPU 처리량을 제약하고 영상 파이프라인에서의 온라인 배포를 제한한다. 본 연구는 리 대수 매개변수화를 통해 왼쪽 특이벡터에 행렬 직교성을 강제하고 나머지 성분은 소프트 제약으로 복원함으로써, GPU를 위한 완전 병렬화 행렬 분해 프레임워크를 제시한다. 이러한 비대칭 제약 설계는 직교 왼쪽 인자를 갖는 효율적인 병렬 분해를 가능하게 하고, 높은 복원 충실도를 달성하며, 정확한 SVD 대비 연산을 크게 가속하여 표준 비디오 프레임률을 넘는 높은 처리량을 보인다. 성능은 서로 보완적인 연산 영역에 걸친 여러 영상 작업에서 평가된다. (1) 정답이 알려진 중간 규모의 MNIST 잡음 제거 벤치마크, (2) 작은 행렬의 대규모 배치 처리가 필요한 신경외과 조직 특성화를 위한 뮬러 행렬 편광 측정, (3) 고차원 행렬 분리가 필요한 초음파 위치화 현미경을 위한 시공간 배경 제거이다. 여러 영역과 장비에 걸쳐 제안된 프레임워크는 다양한 행렬 규모에서 강건한 도메인 전이를 보이며 정확한 GPU SVD 대비 2.6--67$\times$ 속도 향상을 달성하고, 무작위화 SVD와 달리 작은 전계수 행렬의 대규모 배치를 가속한다. 정확한 스펙트럼 복원보다 하위 복원 충실도를 우선함으로써, 제안된 SVD 프레임워크는 GPU 친화적인 행렬 분해를 가능하게 한다.
은닉 가중치를 무작위로 생성하는 신경망(RaNN)은 독립적인 학습 방법으로서, 그리고 완전 학습 가능한 딥러닝 방법의 초기화로서 폭넓게 연구되어 왔다. 본 연구에서는 비선형 편미분방정식(PDE)의 해를 학습하기 위한 RaNN의 표현력을 연구한다. 실제 응용에서 널리 사용됨에도 불구하고, 이러한 맥락에서 RaNN의 근사 특성에 대한 엄밀한 이론적 이해는 아직 제한적이다. 본 논문에서는 시간 의존 소볼레프 함수에 대한 RaNN 근사의 오차 한계를 도출하고, 충분히 정칙인 함수에 대해 차원에 무관한 근사율 $\frac{1}{2}$을 얻는다. 이 결과를 두 가지 중요한 비선형 PDE 부류인 다공성 매질 방정식과 압축성 나비에-스토크스 방정식에 적용하여, RaNN이 이러한 복잡한 비선형 PDE의 해를 효율적으로 근사할 수 있음을 보인다. 우리의 이론적 분석은 수치 실험으로 뒷받침되며, 얻어진 수렴률이 고려한 설정을 넘어서도 확장됨을 보여 준다.
깊이는 심층 신경망의 성공에 핵심적으로 기여하는 요소로 널리 여겨지지만, 표준적인 근사 결과는 대개 네트워크의 최종 출력에 대한 오차 한계만을 제시한다. 우리는 고전적인 다중 스케일 전개와 다중 등급 딥러닝에서 착안하여, 중간 읽기 출력이 점차 더 미세한 스케일에서 목표 함수를 근사하는 단일 네트워크를 구성함으로써 깊이에 스케일 의존적 해석을 부여한다. $1\le p <\infty$인 임의의 $f\in L^p([0,1]^d)$와 임의의 정수 $N\ge2$에 대해, 첫 두 뉴런에는 사인 함수를, 나머지에는 $\mathtt{ReLU}$를 사용하여 모든 은닉층에서 활성화 패턴이 동일한 너비 $3dN+2d+4$의 단일 네트워크를 구성한다. 모든 $\ell\ge0$에 대해, 계층 $\ell+4$에서의 읽기 출력 $\Phi_\ell$의 $L^p$ 근사 오차는 $(2d+1)\omega_{f,p}(N^{-\ell})$로 유계이며, 여기서 $\omega_{f,p}$는 $f$의 $L^p$ 평행이동 연속률을 나타낸다. $C>0$, $0< \alpha \le 1$인 Hölder 조건 $\omega_{f,p}(t)\le Ct^\alpha$ 하에서 이 추정은 기하적 한계 $(2d+1)C N^{-\alpha\ell}$을 준다. 더 일반적으로, $\omega_{f,p}(t)$가 $t\downarrow0$일 때 0으로 수렴하는 알려진 상한을 가지면, 적응적 깊이 선택을 위한 정지 규칙을 얻는다. 오차 한계가 원하는 허용 오차를 처음 만족하는 깊이에서 멈출 수 있으며, 이후 더 엄격한 허용 오차를 맞추기 위해 이전의 모든 사상과 읽기 출력을 고정한 채 계층을 추가할 수 있다.