Continual Learning in Predictive Autoscaling
원문 초록
Predictive Autoscaling is used to forecast the workloads of servers and prepare the resources in advance to ensure service level objectives (SLOs) in dynamic cloud environments. However, in practice, its prediction task often suffers from performance degradation under abnormal traffics caused by external events (such as sales promotional activities and applications re-configurations), for which a common solution is to re-train the model with data of a long historical period, but at the expense of high computational and storage costs. To better address this problem, we propose a replay-based continual learning method, i.e., Density-based Memory Selection and Hint-based Network Learning Model (DMSHM), using only a small part of the historical log to achieve accurate predictions. First, we discover the phenomenon of sample overlap when applying replay-based continual learning in prediction tasks. In order to surmount this challenge and effectively integrate new sample distribution, we propose a density-based sample selection strategy that utilizes kernel density estimation to calculate sample density as a reference to compute sample weight, and employs weight sampling to construct a new memory set. Then we implement hint-based network learning based on hint representation to optimize the parameters. Finally, we conduct experiments on public and industrial datasets to demonstrate that our proposed method outperforms state-of-the-art continual learning methods in terms of memory capacity and prediction accuracy. Furthermore, we demonstrate remarkable practicability of DMSHM in real industrial applications.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DeCoFlow: 연속 이상 탐지를 위한 정규화 흐름의 구조적 분해
DeCoFlow: Structural Decomposition of Normalizing Flows for Continual Anomaly Detection
산업 환경에서는 새로운 제품 카테고리가 순차적으로 등장하며, 과거 데이터에 접근하지 않고 연속 이상 탐지가 필요하다. 정규화 흐름(NF)은 정확한 밀도 추정을 제공하지만, 과제 간 매개변수 업데이트가 밀도 매니폴드를 왜곡하면서 치명적 망각(catastrophic forgetting)에 시달린다. 매개변수 격리는 간섭을 방지할 수 있지만, NF의 엄격한 가역성(invertibility)과 야코비안 유효성을 보존해야 한다. 이러한 요구사항을 충족하기 위해, 아핀 결합(affine coupling) 레이어가 서브넷 매개변수화와 무관하게 변환 유효성을 유지한다는 고유 특성을 활용한다. 이를 바탕으로 서브넷을 고정된 범용 베이스와 과제별 저랭크(low-rank) 어댑터로 분해하여 업데이트를 격리하는 DeCoFlow를 제안한다. 또한 고정 베이스의 경직성을 보완하기 위해 Task-Specific Alignment, Auxiliary Coupling Layers, Tail-Aware Loss를 도입한다. DeCoFlow는 MVTec-AD에서 98.40%, VisA에서 93.00%의 최첨단(state-of-the-art) 이미지 수준 AUROC를 달성하며, 과제당 2.27M 매개변수만으로 매개변수 수준 제로 망각(올바른 라우팅 하에서 0.00% FM)을 유지한다.
가중치에서 특징으로: 거대 언어 모델의 지속 학습을 위한 희소 오토인코더 기반 활성화 정규화
From Weights to Features: Sparse-Autoencoder-Guided Activation Regularization for Continual Learning in Large Language Models
탄성 가중치 통합(EWC)과 같은 가중치 보호 정규화 기법은 파국적 망각에 대한 표준적인 방어책이다. 그러나 거대 언어 모델의 순차적 미세조정에서는 페널티 튜닝으로 해결할 수 없는 안정성-가소성 트레이드오프가 나타난다. 우리는 이러한 한계가 부분적으로 다의성(polysemanticity) 때문이라고 본다. 각 가중치가 서로 무관한 여러 개념에 관여하므로, 가중치별 중요도 점수로는 보호가 필요한 지식을 분리해 내기 어렵다. 대신 우리는 사전 학습된 희소 오토인코더(SAE)를 대략적으로 단의미적인 특징들의 고정된 사전으로 사용하여 활성화 공간에서 정규화한다. 지속 학습을 특징 드리프트에 대한 제약 최적화로 정식화하며, 보존할 특징에는 안정성 제약을, 현재 과제가 사용하는 특징에는 가소성 제약을 둔다. 그리고 그 결과로 얻어지는 제곱 힌지 손실이 이 문제의 정규화된 라그랑주 완화이며 EWC가 그 특수한 경우임을 보인다. 리플레이 변형은 이전 과제당 저장된 200개의 시퀀스에서 드리프트를 측정하는 반면, 데이터 비의존 변형은 과제당 197 KB의 특징 마스크만 저장하며, 이는 EWC의 6.5 GB와 대비된다. TRACE(Gemma-2 9B, Llama-3.1 8B)와 MedCL(Gemma-2 9B)에서 리플레이 변형은 SAE 기반 특징 증류와 동등하거나 그 이상의 성능을 단계당 약 3분의 1의 비용으로 달성하며, 데이터 비의존 변형은 이전 과제 데이터를 저장하지 않고 과제별 파라미터를 추가하지 않는 방법 중 가장 높은 평균 전체 성능을 기록한다. 과제 관련 유닛은 SAE 기저에서는 선형 분리가 가능하지만 뉴런 기저에서는 그렇지 않으며(ROC-AUC 0.87-0.88 대 0.50), 가중치 공간 보호는 보호 대상 과제의 특징만큼이나 강하게 다른 과제의 특징도 제약한다.
DriftGuard: 진화하는 유해성 모더레이션을 위한 안전성 인식 다중 모니터 탐지 및 선택적 적응
DriftGuard: Safety-Aware Multi-Monitor Detection and Selective Adaptation for Evolving Toxicity Moderation
자동화된 유해성 검열 시스템은 은어, 변화하는 표적, 단속에 대한 전략적 적응을 통해 유해 행위가 진화하는 동적인 온라인 환경에서 작동한다. 기존의 드리프트 탐지 방법은 흔히 전역적 분포 변화에 초점을 맞추지만, 이러한 신호는 국소적인 유해성 부분공간이나 위험도가 높은 모델 오류 영역에서 나타나는 안전 관련 변화를 놓칠 수 있다. 본 논문은 다중 모니터 드리프트 탐지와 선택적 모델 업데이트를 결합한 안전 인식 적응형 검열 프레임워크인 DriftGuard를 소개한다. 이 프레임워크는 전역 텍스트 드리프트, 정체성 관련 유해성 드리프트, 모델 불확실성, 유해 위험 드리프트, 위음성 위험 드리프트를 추적한다. 안전 관련 변화가 탐지되면, 위음성 가능성이 높은 사례, 정체성 관련 고위험 사례, 위양성 위험 사례, 불확실한 경계 사례를 우선하는 하드 믹스 적응 세트를 사용하여 모델을 업데이트한다. Civil Comments의 시간적 변화와 Jigsaw-to-DynaHate의 데이터셋 간 변화에 대한 실험 결과, 안전 인식 모니터는 전역 드리프트만으로는 놓치는 위험을 탐지한다. 하드 믹스 적응은 무업데이트 및 무작위 균형 베이스라인에 비해 유해 재현율과 정확도를 향상시킨다. 유해 재현율은 Civil Comments에서 0.8453에서 0.8777로, DynaHate에서 0.7107에서 0.8523으로 상승한다. 부트스트랩 분석은 DynaHate에서 안전성 향상이 안정적임을 추가로 보여 주며, 유해 재현율은 0.1418 증가하고 위음성 유병률은 0.0781 감소한다. 종합하면 DriftGuard는 안전 인식 드리프트 탐지를 표적화된 경량 모델 업데이트와 연결하여 더 강건한 적응형 유해성 검열을 가능하게 한다.
보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가?
When are bosonic Gaussian states classical to learn?
물리학의 근본적인 질문 중 하나는 양자계에서 고전적 거동이 언제 나타나는가이다. 보손 가우시안 상태(bosonic Gaussian state)는 빛의 고전적 장(field) 거동과 본질적인 양자적 성질을 모두 포착하므로, 이러한 양자-고전 경계를 탐구하기에 자연스러운 환경을 제공한다. 본 연구에서는 학습 이론의 관점에서 이 문제를 다루며 다음과 같이 묻는다. 보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가? 즉, n-모드 보손 가우시안 상태를 고전적인 2n변량 가우시안 분포를 학습할 때 필요한 만큼 적은 샘플과 그만큼 단순한 연산으로 학습할 수 있는 조건은 (있다면) 무엇인가? 우리는 상태의 열적 요동(thermal fluctuation)에 의해 결정되는 학습 가능성의 매끄러운 크로스오버를 규명한다. - 차가운 가우시안 상태는 학습 측면에서 비고전적이다. 공분산 행렬이 $\Sigma\le(\frac12+O(\frac1n))I$를 만족하여 진공 공분산에 가까운 경우, 단일 복사본(single-copy, 즉 얽힘이 없는) 측정 하의 토모그래피(tomography)는 근본적으로 $\Omega(n^3)$개의 복사본을 필요로 하며, 이는 고전적 가우시안 분포를 학습하는 샘플 복잡도 $\Theta(n^2)$를 엄밀하게 초과한다. 우리는 소수 복사본에 대한 얽힘 측정이 허용되더라도 이러한 어려움이 지속됨을 보인다. - 따뜻한 가우시안 상태는 학습 측면에서 고전적이다. 열적 요동이 진공 잡음을 초과하여 임의의 매개변수 $\nu>0$에 대해 $\Sigma\ge(\frac12+\nu)I$로 나타내지는 경우, 단일 복사본 토모그래피에는 $N=\Theta\left(n^2\min(n,1+\nu^{-1})\right)$개의 복사본이 필요함을 증명한다. 이 한계는 타이트(tight)하며, 단순하고 비적응적(non-adaptive)이며 얽힘이 없는 헤테로다인(heterodyne) 측정으로 달성된다. 특히 $\nu=\Omega(1)$인 경우 샘플 복잡도는 $\Theta(n^2)$로 줄어들어 고전적인 경우와 일치한다. 우리의 결과는 보손 가우시안 상태의 학습 가능성에서 나타나는 양자-고전 크로스오버를 엄밀하게 규명하고, 근본 물리학과 통계적 학습 이론 사이의 새로운 연결고리를 드러내며, 실제 센싱 실험에도 시사점을 가진다.
MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.
EVOQUANT: 견고한 정량 트레이딩을 위한 자기 진화형 검증기 유도 전략 최적화
EVOQUANT: Self-Evolving Verifier-Guided Strategy Optimization for Robust Quantitative Trading
정량 전략 최적화는 여전히 대부분 수동으로 이루어지며, 도메인 전문가가 약한 신호를 식별하고, 리스크 관리 규칙을 조정하며, 반복적인 수정을 지속적으로 검증해야 한다. 대규모 언어 모델(LLM)은 이 과정을 가속할 수 있지만, 이를 직접 의존하여 트레이딩 전략을 재작성하면 환각(hallucination)으로 인한 수정, 전략 표류(strategy drift), 백테스트 과적합이 발생하는 경우가 많다. 우리는 정량 트레이딩에서의 전략 최적화를 위한 자기 진화형 검증기 유도(self-Evolving Verifier-guided) 프레임워크인 EVOQUANT를 제안한다. 우리 방법은 LLM을 활용해 성능 병목을 심층 진단하고, 의미적으로 통제된 후보 수정안을 생성하며, 다단계 검증 파이프라인을 통해 최적 전략을 선택하고, 최적화 경험을 재사용 가능한 지식으로 증류(distillation)하여 지속적인 자기 개선을 가능하게 한다. 우리는 대표 전략 일곱 개—A주 시장 네 개와 암호화폐 시장 세 개—를 사용해 방법을 평가한다. 실험 결과, 검증된 모든 전략에서 Sharpe ratio가 크게 향상됨을 보여준다: 평균 테스트 Sharpe는 -0.298에서 0.538로 증가했으며, 최고 성능 전략은 상대적으로 199% 개선을 달성했다. 더 엄격한 조건에서의 ablation 연구와 스트레스 테스트는 프레임워크의 효과와 견고함을 추가로 검증한다. 전반적으로, 본 연구는 정량 전략 최적화를 비용이 큰 수동 시행착오에서 자동화되고 검증 가능한 반복적 패러다임으로 전환하며, 금융 전략 연구에 대규모 언어 모델을 적용하는 새로운 경로를 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.