그래디언트-프리 웜-스타트 라이브러리 복원: 상각 후회 분리
Gradient-Free Warm-Start Library Recovery: an Amortized-Regret Separation
그래디언트-프리, 로컬, 온라인, 그리고 append-only 방식의 지속 학습(continual learning)은 엣지 및 스트리밍 배포에 매력적이지만, 그 가치는 보통 비공식적으로만 주장된다. 우리는 반복 레짐(regime) 스트림에 대해 증명 가능한 설명을 제시한다. 분할(segmentation)이 주어지면, 웜-스타트(warm-start) 라이브러리 학습기는 무기억(memoryless) 재추정기의 $Θ(RD/\varepsilon^2)$에 대비하여 상각(amortized) 복원(recovery) 비용 $O\!\big(KD/\varepsilon^2+(R-K)\logK/Δ^2\big)$를 달성하며, 차원 $D$와 재발(recurrence) 밀도에 따라 증가하는 $(R-K)\,Θ(D/\varepsilon^2)$의 이점을 갖는다. 메커니즘은 분리(decoupling)이다: 관측된 $K$개 레짐 중 어느 것이 활성인지 인식(recognition)하는 비용은 $D$와 무관하게 $O(\log K/Δ^2)$이며, 한 레짐을 추정하는 비용은 $Θ(D/\varepsilon^2)$이다. 우리는 이것이 tight함을 증명한다: 일치하는 하한(matching lower bounds)은 인식 $Θ(\log K/Δ^2)$와 무기억 클래스 bound $Ω(RD/\varepsilon^2)$를 주므로, 각 항은 개별적으로 minimax-tight하다(결합 진술은 조건부이다). 분리(separation)는 born-immune(무기억 학습기의 이점은 항등적으로 0)이고 패러다임 수준이다: 공정한 spawn 가능 베이지안 기준선(baseline)과 일치하며 그를 능가하지 않는다; 기여는 end-to-end 역전파(backprop) 없이 그리고 구조적으로 제로 망각(zero forgetting)으로 이 비용 구조를 달성하는 것이다. count-calibrated 변형은 바운드된, 결코 음수가 아닌 per-recurrence overshoot까지 기준선(baseline)의 선행 상수(leading constant)와 일치시키며, 하이퍼파라미터(hyperparameter)-free이고 per-step 초월함수(transcendentals)가 없다. 우리는 범위를 제한한다: 인식 가능한 레짐은 심플렉스(simplex) packing에 의해 상한이 정해진다(벽(walls) $e^{Θ(D)}$); 자율 분할(autonomous segmentation)은 packing 벽에서 불가능하다(레짐이 겹칠 때 detector가 오경보/지연(false-alarm/delay) 프론티어(frontier)를 벗어날 수 없음); 이점은 겹침(overlap) 하에서 사라진다. 차원 의존 분리는 합성 스트림과 실제 $k$-mer 게놈 분포에서 확인된다(무기억 비용 $\propto D^{1.04}$, 인식은 $D$-independent); 하나의 실제 순차 스트림은 $D{=}1$ near-null 코너에 위치한다.