arXiv:2301.11892

Streaming LifeLong Learning With Any-Time Inference

Soumya Banerjee, Vinay Kumar Verma, Vinay P. Namboodiri

제출 2023-01-27

원문 초록

Despite rapid advancements in lifelong learning (LLL) research, a large body of research mainly focuses on improving the performance in the existing \textit{static} continual learning (CL) setups. These methods lack the ability to succeed in a rapidly changing \textit{dynamic} environment, where an AI agent needs to quickly learn new instances in a `single pass' from the non-i.i.d (also possibly temporally contiguous/coherent) data streams without suffering from catastrophic forgetting. For practical applicability, we propose a novel lifelong learning approach, which is streaming, i.e., a single input sample arrives in each time step, single pass, class-incremental, and subject to be evaluated at any moment. To address this challenging setup and various evaluation protocols, we propose a Bayesian framework, that enables fast parameter update, given a single training example, and enables any-time inference. We additionally propose an implicit regularizer in the form of snap-shot self-distillation, which effectively minimizes the forgetting further. We further propose an effective method that efficiently selects a subset of samples for online memory rehearsal and employs a new replay buffer management scheme that significantly boosts the overall performance. Our empirical evaluations and ablations demonstrate that the proposed method outperforms the prior works by large margins.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.05609v1stat.ML공통 태그 Lifelong learning, Continual Learning

보유할 것인가, 적응할 것인가? 지속 학습의 일반화

To Retain or to Adapt? Generalizing Continual Learning

지속 학습(CL) 문헌은 오랫동안 파국적 망각(catastrophic forgetting)을 완화하는 목표에 의해 주도되어 왔다. 이 목표는 평생 학습자가 결합 작업 학습(Joint-Task Learning, JTL) 해법을 근사하여 이전에 습득한 모든 지식을 보유해야 한다는, 만연하지만 종종 명시되지 않는 가정에 기반한다. 우리는 이 보유 중심 전제에 이의를 제기하며, 비정상(non-stationary) 환경에서 보유를 우선시하면 실시간 적응을 저해할 수 있다고 주장한다. 평균 평생 오차(Average Lifelong Error, ALE)에 초점을 맞춰, 우리는 CL을 환경 역학과 학습 역학 간의 상호작용에 의해 지배되는 온라인 최적화 문제로 형식화한다. 우리는 전이 효율성(Transfer Efficiency)을 불안정성(Instability), 즉 상충하는 과거 경험으로부터 상속된 바이어스와 과도 오차(Transient Error), 즉 새로운 작업을 처음부터 학습하는 최적화 비용 사이의 긴장을 정량적으로 측정하는 척도로 도입한다. 선형 모델과 신경망 모델 전반에 걸쳐 성립하는 온화한 수렴 조건 하에서, 이 분해는 임계 작업 지속 시간(Critical Task Duration)을 도출한다: 보유가 양의 정상 바이어스를 유발할 때마다 역사적 지식이 웜스타트(warm-start) 이점에서 최적화 부담으로 전환되는 경계를 명시적 형태로 제공하는 임계값이다. 우리는 지속적 이미지 분류와 강화학습 벤치마크에서 이러한 이론적 예측을 검증한다. 마지막으로, 지속 학습을 예측 가능한 시퀀스의 온라인 학습 프레임워크와 연결함으로써, JTL이 더 넓은 목표 패밀리의 한 사례에 불과함을 보이고, 예측적 지속 학습(Predictive Continual Learning)이라 부르는 새로운 일반적 지속 학습 알고리즘 클래스를 제안한다. 예측적 CL 알고리즘은 미래 작업에 대한 명시적이고 동적으로 갱신되는 모델 하에서 기대 미래 성능을 최적화한다. 개념 증명으로서, JTL과 독립 작업 학습(Independent-Task Learning, ITL) 사이를 보간하며 제어된 분포적 드리프트(distributional drift) 하에서 양자를 모두 능가하는 윈도우(Window) 알고리즘을 분석한다.

arXiv:2610.02283v2cs.LG공통 태그 Continual Learning

MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응

MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization

저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.

arXiv:2607.12455v4cs.AI공통 태그 Continual Learning

EVOQUANT: 견고한 정량 트레이딩을 위한 자기 진화형 검증기 유도 전략 최적화

EVOQUANT: Self-Evolving Verifier-Guided Strategy Optimization for Robust Quantitative Trading

정량 전략 최적화는 여전히 대부분 수동으로 이루어지며, 도메인 전문가가 약한 신호를 식별하고, 리스크 관리 규칙을 조정하며, 반복적인 수정을 지속적으로 검증해야 한다. 대규모 언어 모델(LLM)은 이 과정을 가속할 수 있지만, 이를 직접 의존하여 트레이딩 전략을 재작성하면 환각(hallucination)으로 인한 수정, 전략 표류(strategy drift), 백테스트 과적합이 발생하는 경우가 많다. 우리는 정량 트레이딩에서의 전략 최적화를 위한 자기 진화형 검증기 유도(self-Evolving Verifier-guided) 프레임워크인 EVOQUANT를 제안한다. 우리 방법은 LLM을 활용해 성능 병목을 심층 진단하고, 의미적으로 통제된 후보 수정안을 생성하며, 다단계 검증 파이프라인을 통해 최적 전략을 선택하고, 최적화 경험을 재사용 가능한 지식으로 증류(distillation)하여 지속적인 자기 개선을 가능하게 한다. 우리는 대표 전략 일곱 개—A주 시장 네 개와 암호화폐 시장 세 개—를 사용해 방법을 평가한다. 실험 결과, 검증된 모든 전략에서 Sharpe ratio가 크게 향상됨을 보여준다: 평균 테스트 Sharpe는 -0.298에서 0.538로 증가했으며, 최고 성능 전략은 상대적으로 199% 개선을 달성했다. 더 엄격한 조건에서의 ablation 연구와 스트레스 테스트는 프레임워크의 효과와 견고함을 추가로 검증한다. 전반적으로, 본 연구는 정량 전략 최적화를 비용이 큰 수동 시행착오에서 자동화되고 검증 가능한 반복적 패러다임으로 전환하며, 금융 전략 연구에 대규모 언어 모델을 적용하는 새로운 경로를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.