arXiv:2610.11076v1 cs.LG

LLM 지속 학습에서 특이벡터 선택을 통한 안정성-가소성 균형 유지

Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning

Lingxiang Wang, Hainan Zhang, Liang Pang, Hongwei Zheng, Zhiming Zheng

제출 2026-10-08

한국어 초록

대규모 언어 모델(LLM)의 도메인 특화 지속 적응(continual adaptation)은 치명적 망각(catastrophic forgetting)을 유발할 위험이 있어, 새로운 능력을 습득하는 것과 사전학습(pretraining) 중에 학습된 능력을 보존하는 것 사이의 근본적인 긴장 관계를 형성합니다. 매개변수 효율적 미세조정(PEFT)은 학습 가능한 매개변수 수를 제한하여 이 문제를 완화하지만, 기존 방법들은 가소성(plasticity)을 어디에 할당하고 안정성(stability)을 어디에 보존해야 할지 결정하는 원칙적인 단위를 결여하고 있습니다. 본 연구에서는 이러한 절충(trade-off)을 관리하기 위한 자연스러운 단위로 특이벡터 채널(singular-vector channel)을 식별합니다. 각 채널은 입력-출력 변환을 나타내며, 이는 새로운 지식을 습득하기 위해 업데이트되거나 사전학습된 능력을 보존하기 위해 고정될 수 있습니다. 이러한 관점을 바탕으로, 특이벡터 채널을 선택적으로 업데이트하는 매개변수 효율적 지속 학습 방법인 SVC를 제안합니다. 미세조정 전에 SVC는 도메인 특화 데이터를 사용하여 각 채널의 적응 이점을 추정하고, 고정된 공개 일반 도메인 코퍼스를 망각 비용 추정을 위한 과거 활성화 프록시로만 사용합니다. 그런 다음 니(knee) 기반 비용 스크리닝, 파레토 프론트(Pareto-front) 필터링, 오츠 임계값 처리(Otsu thresholding)를 통해 이 점수들을 바탕으로 학습 가능한 채널을 적응적으로 선택합니다. 4개 LLM 제품군과 8개 다운스트림 태스크에 걸친 실험 결과는 SVC가 기존 PEFT 베이스라인 대비 강력한 다운스트림 성능을 달성하는 동시에 사전학습된 능력을 더 잘 보존함을 보여줍니다. 채널 스코어링 및 선택에 대한 추가 분석은 특이벡터 채널 수준에서의 선택적 가소성이 효과적인 지속적 LLM 적응을 가능하게 함을 입증합니다.

원문 초록

Domain-specific continual adaptation of LLMs risks catastrophic forgetting, creating a fundamental tension between acquiring new capabilities and preserving those learned during pretraining. PEFT mitigates this problem by restricting the number of trainable parameters, but existing methods lack a principled unit for deciding where plasticity should be allocated and stability should be preserved. We identify the singular-vector channel as a natural unit for managing this trade-off. Each channel represents an input-output transformation, which can be updated to acquire new knowledge or fixed to preserve pretrained capabilities. Based on this perspective, we introduce SVC, a parameter-efficient continual-learning method that selectively updates Singular-Vector Channels. Before fine-tuning, SVC uses domain-specific data to estimate each channel's adaptation benefit and a fixed public general-domain corpus only as a history activation proxy for estimating forgetting cost. It then adaptively selects trainable channels based on these scores via knee-based cost screening, Pareto-front filtering, and Otsu thresholding. Experimental results across four LLM families and eight downstream tasks show that SVC better preserves pretrained capabilities while achieving strong downstream performance relative to existing PEFT baselines. Further analysis of channel scoring and selection demonstrates that selective plasticity at the singular-vector-channel level enables effective continual LLM adaptation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11076v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02593v1cs.LG공통 태그 Continual Learning, Large Language Model, catastrophic forgetting

대규모 언어 모델의 지속적 사전학습을 위한 피셔 유도 서브모듈러 데이터 선택

Fisher-Guided Submodular Data Selection for Continual Pre-Training of Large Language Models

데이터 선택은 웹 규모 말뭉치에 노이즈가 많고 토큰 예산이 한정된 대규모 언어 모델(LLM) 학습에서 이미 핵심적인 병목 지점입니다. 지속적 사전학습(Continual Pre-Training, CPT)에서 이는 망각 제어 문제로 전환됩니다. 잘못 선택된 타깃 도메인 말뭉치는 사전학습된 체크포인트에 인코딩된 역량을 덮어써 버릴 수 있습니다. 기존의 CPT 관행은 펄플렉서티(perplexity)와 같은 매개변수 무관 스칼라값으로 후보를 점수화하거나, 다수의 일반 도메인 리플레이(replay) 토큰을 추가로 소모하여 망각을 완화합니다. 그러나 두 전략 모두 후보 데이터에 대한 학습이 모델 매개변수를 어떻게 변화시킬지 직접적으로 고려하지 않습니다. 본 연구에서는 손실 기반 선택을 사용할 경우 CPT 이후 피셔 대각 성분(Fisher diagonal)이, 사전학습 모델이 이미 확정해 둔 바로 그 고피셔(high-Fisher) 좌표에서 하향 표류(drift)하는 반면 저피셔 좌표는 대체로 건드리지 않은 채로 남겨둔다는 점을 보입니다. 이러한 비대칭성은 치명적 망각(catastrophic forgetting)의 매개변수 공간 메커니즘을 드러냅니다. 이러한 관찰에 착안하여, 각 후보 데이터의 그래디언트를 확정된 매개변수 방향에 대한 섭동을 측정하는 앵커(anchor) 성분과 제약 없는 저피셔 부분공간에서의 업데이트 역량을 측정하는 프론티어(frontier) 성분으로 분해하는 피셔 인식 CPT 선택기를 제안합니다. 우리는 로그 행렬식(log-determinant) 서브모듈러 목적함수로 이러한 신호들을 종합하며, 확장 가능한 스트리밍 데이터 선택 파이프라인을 사용해 단일 패스(single pass)로 이를 최적화합니다. 의료 데이터에 대한 TinyLlama-1.1B 및 Llama-3.1-8B CPT 실험에서, 제안한 선택기는 미보유(held-out) 사전학습 벤치마크에 대한 망각을 억제하면서 타깃 도메인 품질을 개선합니다. 가장 중요한 점은 망각 인식 리플레이 방식보다 토큰 효율성이 대폭 향상된다는 것입니다. 선택된 1B 토큰만으로도 적응과 망각 방지 모두에서 10B 토큰으로 학습된 리플레이 전략을 능가하여 10배의 토큰 효율성 이점을 달성합니다.

arXiv:2610.00949v1cs.AI공통 태그 Continual Learning, Large Language Model, catastrophic forgetting

PG-SFT: 오프라인 에이전트 미세조정에서 능력 획득과 유지 간의 균형 잡기

PG-SFT: Balancing Capability Acquisition and Retention in Offline Agent Fine-Tuning

오프라인 에이전트(agent) 궤적에 대한 지도 미세조정(SFT)은 특화된 도구 사용 에이전트를 학습(training)하기 위한 표준적인 접근법이지만, 모델이 추론과 행동을 토큰(token) 단위로 모방하도록 강제하는 것은 베이스 모델의 다른 능력(예: 일반 추론, 도구 호출, 코드 생성)을 손상시킬 수 있습니다. 본 연구에서는 에이전트 궤적 SFT 과정에서 새로운 능력을 획득하는 것과 기존 능력을 보존하는 것 사이의 트레이드오프(trade-off)를 어떻게 더 잘 균형 잡을 수 있는지에 대해 중점적으로 연구합니다. 본 실험 환경에서 여러 베이스라인을 비교한 결과, 표준 SFT는 목표 벤치마크 점수를 향상시키는 반면 목표 외 여러 벤치마크 점수를 낮추었습니다. 한편, KL 페널티를 사용해 분포 드리프트를 단순히 억제하거나 업데이트 크기를 제한하는 방식으로는 이러한 성능 저하 추세를 피할 수 없었습니다. 최근의 토큰별 적응형 학습 목표에서 영감을 받아, 본 연구에서는 에이전트 궤적의 턴(turn) 수준 정보 이득을 지표로 활용하여 지도(supervision) 강도를 조절하는 Privilege-Guided SFT(PG-SFT)를 제안합니다. PG-SFT는 평가된 벤치마크에서 목표 작업 성능의 미미한 저하를 대가로 분포 드리프트와 광범위한 능력 저하를 대폭 줄여, 관찰된 트레이드오프를 훨씬 더 유리하게 만듭니다. 본 연구의 결과는 획득-유지 간의 트레이드오프 균형이 모델이 기본 동작에 고정되어 있는지 여부뿐만 아니라, 지도가 해당 동작에서 어디서 얼마나 강하게 벗어나야 하는지에도 달려 있음을 시사합니다.

arXiv:2609.28395v1cs.CL공통 태그 Continual Learning, Large Language Model, catastrophic forgetting

번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다

Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following

병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.

arXiv:2610.15921v1cs.LG공통 태그 Large Language Model, parameter-efficient fine-tuning

빠르고 정확하게: RAG와 미세조정 간 의미적 집중 기반 워크로드 분할을 통한 개인화 LLM 성능 개선

Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning

개인화된 대규모 언어 모델(LLM) 서비스가 지속적으로 증가함에 따라, 다음으로 답해야 할 질문은 서비스/사용자 경험의 품질을 어떻게 개선할 것인가이며, 이는 개인화된 LLM 생성 정확도/품질과 추론 지연시간으로 나타난다. 매개변수 효율적 미세조정(PEFT), 검색-증강 생성(RAG) 또는 Full PEFT+RAG와 같은 최신 설계들이 도움이 될 수 있지만, 이들은 사용자 이력 데이터의 이질적인 의미적 집중도(semantic concentration)를 대체로 무시하며 개인화된 LLM 성능 향상을 위한 개인 데이터의 잠재력을 완전히 끌어내지 못한다. 본 논문에서는 사용자의 개인 이력 데이터의 의미적 집중을 활용하여 PEFT와 RAG 간에 워크로드를 분할함으로써, 더 나은 생성 정확도/품질과 더 낮은 추론 지연시간 측면에서 개인화된 LLM 성능을 개선하는 것을 목표로 하는 새로운 "빠르고 정확한" 접근법인 PEFT Union RAG(PUR)를 제안한다. 간단히 말해, PUR는 사용자의 개인 이력 데이터를 분할하여 의미적으로 집중된 "핵심(core)" 정보는 오프라인 매개변수 미세조정을 위해 PEFT에 할당하고, 분산된 정보는 RAG를 위해 유지한다. 온라인 LLM 추론 중에는, PUR는 PEFT 영역이 커버하는 "핵심" 질의에 대해서는 직접 응답을 생성하고, 산발적인 "주변부(peripheral)" 질의에 대해서만 RAG를 호출한다. 실험 결과, PEFT와 RAG 간 워크로드를 적절히 분할함으로써 PUR는 여러 작업에 걸쳐 다양한 사용자에 대해 일관되게 최상의 생성 정확도/품질을 달성하는 동시에, 최고 성능 방법 대비 추론 지연시간을 14.4%–46.6% 감소시킨다.

arXiv:2610.13432v1eess.AS공통 태그 Continual Learning, catastrophic forgetting

금융 분야 음성에 지속 학습 정규화가 필요한가? 실적 발표 컨퍼런스 콜 ASR에서의 EWC 및 mini-KFAC 연구

Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR

실적 발표 컨퍼런스 콜(Earnings call) 전사는 새로운 녹음 데이터를 통해 자동 음성 인식(ASR) 시스템을 업데이트하지만, 이전에 학습한 금융 음성 패턴에 대한 치명적 망각(catastrophic forgetting) 위험이 존재하는 현실적인 지속 학습(continual learning) 시나리오를 제시합니다. 일반 도메인 음성 코퍼스에서 학습된 Whisper-small을 Earnings22 벤치마크에 적응(adaptation)시킨 결과, 그 반대의 현상이 나타났습니다. 평가된 모든 방법론이 적응 과정에서 망각을 겪기보다는 동일한 도메인의 유보(held-out) 금융 음성 데이터에서 성능 향상을 보였습니다. 이러한 태스크 상호보완성(task complementarity)으로 인해 정규화(regularization)는 오히려 역효과를 낳게 됩니다. 그럼에도 불구하고 정규화가 필요한 상황에서는, 층(layer)별 mini-Kronecker-Factored Approximate Curvature(mini-KFAC) 근사가 표준 대각 탄성 가중치 통합(diagonal Elastic Weight Consolidation, EWC)보다 더 낮은 단어 오류율(WER)과 더 안정적인 최적화를 달성하는 것으로 나타났습니다. 본 연구 결과는 지속 학습 제약을 적용하기 전에 태스크 상호보완성을 먼저 평가해야 하며, 제약이 필요한 경우에는 대각 EWC보다 mini-KFAC EWC를 선호해야 함을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.