매개변수화 상미분방정식의 문맥 내 추정과 예측
In-Context Estimation and Prediction for Parametric ODEs
한국어 초록
트랜스포머는 매개변수를 갱신하지 않고도 소수의 예시에서 새로운 과제에 적응하는 문맥 내 학습 능력을 보였다. 기존 이론은 주로 볼록 통계 문제에서 그래디언트 기반 알고리즘을 모사하거나, 바탕에 있는 통계 구조를 활용하지 않고 일반적인 함수 근사 보장을 확립하는 데 집중했다. 본 연구는 추정 문제가 일반적으로 비볼록인 매개변수화 상미분방정식(ODE)에서 문맥 내 매개변수 추정과 궤적 예측을 연구한다. 적절한 식별 가능성과 정칙성 조건 아래에서, 잡음이 있는 궤적 관측으로부터 미지의 시스템 매개변수를 추정하는 트랜스포머를 구성한다. 두 단계의 근사 최대 가능도 절차를 사용한다. 먼저 개략적인 탐색으로 국소적으로 강볼록인 영역 안에서 초기값을 고른 뒤, 국소 선형 수축이 성립하는 경사하강법을 적용한다. 예측에서는 이 추정기를 ODE 해 매핑의 신경망 근사와 합성한다. 또한 매개변수를 공유하면 트랜스포머 하나가 매개변수 추정과 궤적 예측을 함께 수행할 수 있음을 보인다. 이 구성에 대해 비점근적 보장과 유한 사전학습 오라클 부등식을 확립한다. 이 부등식은 유한한 사전학습 데이터, 유한한 문맥 길이, 유한한 규모의 트랜스포머 근사에서 오는 오차를 각각 구분한다. 선형 및 비선형 ODE의 수치 실험에서도 사전학습 트랜스포머가 가중치를 갱신하지 않고, 추론 시 문맥을 길게 해 성능을 높일 수 있음을 보였다.
원문 초록
Transformers have demonstrated the ability to perform in-context learning, that is, to adapt to new tasks from a few examples without updating their parameters. Existing theory has largely focused on emulating gradient-based algorithms for convex statistical problems or establishing general function approximation guarantees without exploiting the underlying statistical structure. We study in-context parameter estimation and trajectory prediction for parametric ordinary differential equations (ODEs), where estimation is generally nonconvex. Under suitable identifiability and regularity conditions, we construct a transformer that estimates unknown system parameters from noisy trajectory observations through a two-stage approximate maximum likelihood procedure: a coarse search provides an initialization within a locally strongly convex region, followed by gradient descent with local linear contraction. For prediction, we compose this estimator with a neural approximation of the ODE solution map. We further show that, through parameter sharing, a single transformer can perform both parameter estimation and trajectory prediction simultaneously. For these constructions, we establish nonasymptotic guarantees and finite-pretraining oracle inequalities that separate errors due to finite pretraining data, finite context length, and finite-sized transformer approximation. Numerical experiments on linear and nonlinear ODEs further show that pretrained transformers can benefit from longer inference contexts without updating their weights.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.