arXiv:2611.24718v1 cs.LG

Meta-LSQ: 소수 샘플 메타러닝을 위한 닫힌 형태의 소볼레프 내부 솔버

Meta-LSQ: A Closed-Form Sobolev Inner Solver for Few-Shot Meta-Learning

Antonin Sulc

제출 2026-11-19

한국어 초록

모델 불가지론적 메타러닝(MAML)과 같은 경사 기반 메타러너는 미분을 통과시켜야 하는 경사 하강 내부 루프로 새로운 과제에 적응하며, 네트워크의 모든 가중치를 메타러닝한다. 반면 Meta-LSQ는 고정된 랜덤 푸리에 기저에 대한 한 번의 정규화 최소제곱 풀이로 각 과제를 적합하고, 대역폭, 릿지, 도함수 가중치라는 세 개의 스칼라만 메타러닝한다. 사인 함수의 도함수는 다시 사인 함수이므로 동일한 풀이가 도함수 관측도 받아들일 수 있으며, 적합된 모델은 임의 차수의 정확한 닫힌 형태 도함수를 갖는다. 10-샷 사인 함수 회귀에서 Meta-LSQ는 14초 만에 학습되며, 36배 더 오래 학습하는 1차 MAML 기준선보다 5.5배 낮은 오차로 끝난다. 가우시안 프로세스 대조 실험은 이 이득의 대부분이 과제 간에 하나의 커널을 공유하는 데서 나옴을 시사한다. DESY ARES 시설의 시뮬레이션된 빔 튜닝에서 모델 도함수를 사용한 Meta-LSQ는 ALPaCA 방식 모델보다 약간 더 정확하며 경사 하강보다 훨씬 앞선다. DESY의 전체 목표 빔 범위에서, 역시 시뮬레이션과 측정만으로, 최적 설정의 중앙값 오차는 7.3 $\mu$m이며, 이는 그들의 강화학습 에이전트가 발표한 최종 빔의 14.4에 대비된다. 다만 작은 목표에 대한 300회 시행에서는 강화학습 에이전트의 중앙값이 더 낮다. 실제 센서 보정 데이터에서는 학습된 사전 평균 덕분에 네 개 목표 중 두 개에서 MAML을 앞서지만, 동일한 변경을 적용한 정확한 가우시안 프로세스와 ALPaCA 방식 모델이 대부분의 목표에서 더 정확하며, 비매끄러운 목표에서는 성능이 무너진다. 기저의 span 밖에 있는 무잡음 목표에서는 일반화 교차 검증과 같은 표본 내 기준이 지나치게 작은 릿지를 선택한다.

원문 초록

Gradient-based meta-learners such as model-agnostic meta-learning (MAML) adapt to a new task with an inner loop of gradient descent that has to be differentiated through, and they meta-learn every network weight. Meta-LSQ instead fits each task with one regularised least-squares solve over a fixed random Fourier basis and meta-learns only three scalars, a bandwidth, a ridge and a derivative weight. Since the derivative of a sinusoid is again a sinusoid, the same solve can also take derivative observations, and the fitted model has exact closed-form derivatives of any order. On 10-shot sinusoid regression Meta-LSQ trains in 14 s and ends with a 5.5 times lower error than a first-order MAML baseline that trains 36 times longer, and a Gaussian-process control suggests that most of this gain comes from sharing one kernel across tasks. In simulated beam tuning at DESY's ARES facility with model derivatives it is slightly more accurate than an ALPaCA-style model and well ahead of gradient descent. Over DESY's full range of target beams, again in simulation and from measurements alone, its best setting has a median error of 7.3 $\mu$m, against 14.4 for the published final beams of their reinforcement-learning agent, which has the lower median on their 300 trials of small targets. On real sensor-calibration data a learned prior mean puts it ahead of MAML on two of four targets, but an exact Gaussian process with the same change and an ALPaCA-style model stay more accurate on most targets, and it breaks down on non-smooth targets. On noiseless targets outside the span of the basis, in-sample criteria such as generalised cross-validation choose too small a ridge.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24718v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.