arXiv:2406.06213

A Statistical Theory of Regularization-Based Continual Learning

Xuyang Zhao, Huiyuan Wang, Weiran Huang, Wei Lin

제출 2024-06-10

원문 초록

We provide a statistical analysis of regularization-based continual learning on a sequence of linear regression tasks, with emphasis on how different regularization terms affect the model performance. We first derive the convergence rate for the oracle estimator obtained as if all data were available simultaneously. Next, we consider a family of generalized $\ell_2$-regularization algorithms indexed by matrix-valued hyperparameters, which includes the minimum norm estimator and continual ridge regression as special cases. As more tasks are introduced, we derive an iterative update formula for the estimation error of generalized $\ell_2$-regularized estimators, from which we determine the hyperparameters resulting in the optimal algorithm. Interestingly, the choice of hyperparameters can effectively balance the trade-off between forward and backward knowledge transfer and adjust for data heterogeneity. Moreover, the estimation error of the optimal algorithm is derived explicitly, which is of the same order as that of the oracle estimator. In contrast, our lower bounds for the minimum norm estimator and continual ridge regression show their suboptimality. A byproduct of our theoretical analysis is the equivalence between early stopping and generalized $\ell_2$-regularization in continual learning, which may be of independent interest. Finally, we conduct experiments to complement our theory.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27262v2cs.CL공통 태그 Transfer Learning, Continual Learning

하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택

Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs

실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.

arXiv:2610.02494v1cs.CV공통 태그 regression, Transfer Learning

DeepStratNet: 희소한 레이블 환경에서 지진파 지층면 추적을 위한 문맥 인식 좌표 회귀 프레임워크

DeepStratNet: A Context-Aware Coordinate Regression Framework for Seismic Horizon Tracking under Sparse Labels

자동 지층면 추적(horizon tracking)은 3D 지진파 해석의 기초적인 작업입니다. 대부분의 기존 심층 학습(deep learning) 접근 방식은 주로 U-Net 기반 아키텍처를 사용하여 이를 조밀한 시맨틱 세그멘테이션(dense semantic segmentation) 문제로 공식화합니다. 이러한 모델은 정밀한 지층면 좌표를 추출하기 위해 후처리가 필요한 모든 픽셀에 대한 확률 맵을 생성하며, 시간/심도에서의 지층면 픽(horizon pick)은 학습(training)을 위해 조밀한 마스크로 변환되어야 합니다. 결과적으로 픽되지 않은 지진파 트레이스는 배경으로 처리되어 수렴(convergence)을 저해할 수 있으며, 전처리 및 후처리 과정 모두 최종 해석에 오차를 유발할 수 있습니다. 더욱이 2D 세그멘테이션 모델은 본질적으로 슬라이스 간 문맥을 포착하지 못하며, 3D 모델은 종종 연산 비용이 과도하게 듭니다. 대신 본 연구에서는 지층면 추적을 경계가 지정된 좌표 회귀(coordinate regression) 문제로 공식화하여, 모델이 각 횡방향 위치에서 목표 지층면의 시간/심도 좌표를 직접 예측하도록 합니다. 우리는 사전학습된 모든 비전 백본과 호환되는 경량 회귀 헤드를 제안하며, 슬라이스 간 문맥을 모델링하고 볼륨 전반에 걸쳐 연속적인 지층면 표면을 생성하기 위해 LSTM 모듈과 결합합니다. L1 및 L2 손실의 조합은 유효한 지층면 픽에서의 예측을 지도하며, 지질학적 정보를 반영한 정규화(regularization)는 연속적인 트레이스 간의 횡방향 연속성을 강화합니다. 통제된 실험 조건 하에서 뉴질랜드의 지진파 볼륨을 대상으로 세그멘테이션 및 회귀 구성 모두에서 네 가지 사전학습된 비전 백본을 평가합니다. 제안된 접근 방식은 RMSE 및 PCC를 포함한 지표를 사용한 정량적 평가와 정성적 평가 모두에서 세그멘테이션 기반 방식보다 지속적으로 우수한 성능을 보였으며, 학습 픽의 희소성(sparsity)이 증가함에도 더 높은 견고성을 입증했습니다. 마지막으로, 연속적인 트레이스 전반에 걸친 예측 편차가 지질학적 복잡성의 국소적 변화를 포착함으로써 후속 지진파 해석을 위한 자동화된 품질 관리 척도를 제공함을 보입니다.

arXiv:2609.26951v1math.ST공통 태그 regression, Continual Learning

순차적 모델 학습에서의 롤링 컨포멀 예측

Rolling Conformal Prediction in Sequential Model Training

우리는 순차적 모델 학습(sequential model training) 환경을 위한 분포 무관(distribution-free) 예측 추론 방법인 롤링 컨포멀 예측(Rolling Conformal Prediction, rolling-CP)을 소개한다. 구체적으로, 데이터 스트림 $(X_1,Y_1),(X_2,Y_2),\dots$가 주어졌을 때, 각 시점 $n$에서 학습된 모델은 관측된 이력 $\{(X_i,Y_i)\}_{i<n}$에 의존할 수 있다. 이러한 설정은 대규모 데이터셋에 대한 단일 패스(one-pass) 학습, 그리고 배포 중 언어 모델의 지속적 미세조정 또는 테스트 시점 적응(test-time adaptation)을 포함한 현대의 순차적 학습에서 자연스럽게 나타난다. Rolling-CP는 먼저 새로 들어오는 각 관측값을 현재 예측기에 대해 보정(calibration)한 다음, 이를 이후의 학습에 편입시킨다(roll into). 이를 통해 데이터 분할이 필요하지 않게 된다. 놀랍게도, 시점 $n=1,2,\dots$의 모델들이 서로 완전히 다른 특성과 정확도 수준을 가질 수 있음에도 불구하고, 교환 가능(exchangeable) 데이터에 대해서는 안정성에 대한 어떠한 가정이나 모델 학습 과정에 대한 어떠한 제약 없이도 주변 커버리지(marginal coverage) 보장을 확립할 수 있으며, 이는 익숙한 보편적인 2배 인자 보장(목표 수준 $1-\alpha$ 대비 최악의 경우 $1-2\alpha$ 커버리지를 보장)의 형태를 띤다. i.i.d. 데이터 스트림의 경우, 시간에 대해 균등하게(uniformly) 성립하는 고확률 학습 조건부(training-conditional) 유효성을 추가로 증명하며, 안정성 조건 하에서는 커버리지 보장이 $1-\alpha$에 가까워지도록 더욱 정교해진다. 순차 회귀, 다중 클래스 SGD, 단일 패스 신경망 학습에 대한 수치 실험은 rolling-CP의 실용적 효과를 추가로 보여준다.

arXiv:2609.28395v1cs.CL공통 태그 Transfer Learning, Continual Learning

번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다

Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following

병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.

arXiv:2609.28430v1cs.CL공통 태그 regression, Transfer Learning

우울증 중증도 예측을 위한 교차 척도 전이학습: 언어 및 임상 패러다임을 넘나드는 PHQ-8에서 HAMD-17로의 전이

Cross-Scale Transfer Learning for Depression Severity Prediction: From PHQ-8 to HAMD-17 Across Languages and Clinical Paradigms

본 연구는 데이터가 부족한 환경에서 임상 인터뷰 녹취록으로부터 연속적인 우울증 중증도 점수를 예측하는 문제를 다룹니다. 우리는 교차 척도 전이(cross-scale transfer)를 위한 순차적 저순위 적응(LoRA) 프로토콜을 제안합니다. 경계 회귀 헤드(bounded regression head)가 결합된 Qwen3 백본을 먼저 영어 DAIC-WOZ 데이터셋(아바타 중개 세션 189건, PHQ-8)에서 미세조정(fine-tuning)한 후, 해당 어댑터로 초기화하여 중국어 PDCH 데이터셋(실제 임상 상담 100건, HAMD-17)에서 미세조정을 진행하며, 이때 재초기화된 척도 전용 헤드가 임상의가 부여한 점수를 예측합니다. 모든 구성에는 환자 수준의 계층화된 5-겹 2-반복 교차 검증(5-fold, 2-repeat cross-validation)을 적용했습니다. 데이터가 희소한 HAMD-17 타깃에서 순차적 프로토콜은 0.6B 및 1.7B 백본 모두에서 가장 우수한 점추정치 MAE, RMSE 및 매크로-$F_1$을 달성하여 타깃 전용 학습(training) 및 비 LLM 베이스라인을 능가했습니다(Qwen3-0.6B에서 4.96/6.59/0.36, Qwen3-1.7B에서 4.38/5.62/0.46). 소거 연구(ablation) 결과, 올바르게 정렬된 소스 감독이 최상의 점추정치를 산출하고(비지도 노출 및 셔플된 레이블 대조군 또한 부분적인 이득을 보임), 원어 중국어 타깃 입력이 기계 번역된 영어 입력보다 우수한 성능을 보이며, 역순 전이는 실행 간 분산 범위 내에서 뚜렷한 이득을 보이지 않음을 시사합니다. 본 연구는 탐색적인 단일 기관 내부 평가로, 선별 또는 진단 유용성을 입증하지 않으며 척도, 언어 또는 패러다임 변화 각각의 기여도를 분리하여 규명하지는 않습니다. 우리가 아는 한, 이 특정한 DAIC-WOZ에서 PDCH로의 순차적 전이 설정을 평가한 선행 연구는 없습니다.

arXiv:2609.27036v1cs.LG공통 태그 regression, Transfer Learning

머신러닝 기반 고분자 물성 예측을 위한 공개 벤치마크

An open benchmark for machine learning-based polymer property prediction

고분자 물성 예측에는 머신러닝 방법론의 엄밀한 비교를 가능하게 하는 공개적이고 표준화된 벤치마크(benchmark)가 부족하며, 기존 리소스는 단일중합체(homopolymer)와 같이 좁은 범위의 고분자 구조만을 다룹니다. 본 연구에서는 실험적 측정, 밀도 범함수 이론(DFT), 분자 동역학(molecular dynamics) 데이터를 포함하여 8가지 물리적 특성에 걸친 약 250,000개의 고분자-물성 데이터포인트로 구성된 공개 데이터셋인 Polymer Benchmark 2026(PolyBench26)을 소개합니다. 이 벤치마크는 단일중합체 및 교대, 랜덤, 블록 공중합체에 걸쳐 분포 내(in-distribution) 물성 예측, 데이터셋 크기 스케일링(scaling), 반복 단위(repeat-unit) 복잡도, 미확인 고분자 구조로의 전이 등 4가지 평가(evaluation) 태스크를 지원합니다. 우리는 언어 모델(language model), 그래프 기반, 기술자(descriptor) 기반 접근법을 비교하였으며, 그래프 기반 모델이 물성 예측에서 가장 낮은 오차를 보이고 평가된 학습(training) 세트 크기 전반에서 우위를 유지하며 반복 단위 복잡도 증가에 대해서도 견고함을 유지한다는 것을 발견했습니다. PolyBench26은 점점 더 복잡해지는 고분자 설계 공간을 위한 모델을 개발하는 데 재현 가능한 기반을 제공합니다. PolyBench26 벤치마크는 https://github.com/rlearsch/PolymerBenchmark2026 에서 오픈소스로 이용할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.