arXiv:2406.03216

Choice of PEFT Technique in Continual Learning: Prompt Tuning is Not All You Need

Martin Wistuba, Prabhu Teja Sivaprasad, Lukas Balles, Giovanni Zappella

제출 2024-06-05

원문 초록

Recent Continual Learning (CL) methods have combined pretrained Transformers with prompt tuning, a parameter-efficient fine-tuning (PEFT) technique. We argue that the choice of prompt tuning in prior works was an undefended and unablated decision, which has been uncritically adopted by subsequent research, but warrants further research to understand its implications. In this paper, we conduct this research and find that the choice of prompt tuning as a PEFT method hurts the overall performance of the CL system. To illustrate this, we replace prompt tuning with LoRA in two state-of-the-art continual learning methods: Learning to Prompt and S-Prompts. These variants consistently achieve higher accuracy across a wide range of domain-incremental and class-incremental benchmarks, while being competitive in inference speed. Our work highlights a crucial argument: unexamined choices can hinder progress in the field, and rigorous ablations, such as the PEFT method, are required to drive meaningful adoption of CL techniques in real-world applications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02283v2cs.LG공통 태그 Continual Learning, parameter-efficient fine-tuning

MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응

MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization

저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.

arXiv:2610.11076v1cs.LG공통 태그 Continual Learning, parameter-efficient fine-tuning

LLM 지속 학습에서 특이벡터 선택을 통한 안정성-가소성 균형 유지

Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning

대규모 언어 모델(LLM)의 도메인 특화 지속 적응(continual adaptation)은 치명적 망각(catastrophic forgetting)을 유발할 위험이 있어, 새로운 능력을 습득하는 것과 사전학습(pretraining) 중에 학습된 능력을 보존하는 것 사이의 근본적인 긴장 관계를 형성합니다. 매개변수 효율적 미세조정(PEFT)은 학습 가능한 매개변수 수를 제한하여 이 문제를 완화하지만, 기존 방법들은 가소성(plasticity)을 어디에 할당하고 안정성(stability)을 어디에 보존해야 할지 결정하는 원칙적인 단위를 결여하고 있습니다. 본 연구에서는 이러한 절충(trade-off)을 관리하기 위한 자연스러운 단위로 특이벡터 채널(singular-vector channel)을 식별합니다. 각 채널은 입력-출력 변환을 나타내며, 이는 새로운 지식을 습득하기 위해 업데이트되거나 사전학습된 능력을 보존하기 위해 고정될 수 있습니다. 이러한 관점을 바탕으로, 특이벡터 채널을 선택적으로 업데이트하는 매개변수 효율적 지속 학습 방법인 SVC를 제안합니다. 미세조정 전에 SVC는 도메인 특화 데이터를 사용하여 각 채널의 적응 이점을 추정하고, 고정된 공개 일반 도메인 코퍼스를 망각 비용 추정을 위한 과거 활성화 프록시로만 사용합니다. 그런 다음 니(knee) 기반 비용 스크리닝, 파레토 프론트(Pareto-front) 필터링, 오츠 임계값 처리(Otsu thresholding)를 통해 이 점수들을 바탕으로 학습 가능한 채널을 적응적으로 선택합니다. 4개 LLM 제품군과 8개 다운스트림 태스크에 걸친 실험 결과는 SVC가 기존 PEFT 베이스라인 대비 강력한 다운스트림 성능을 달성하는 동시에 사전학습된 능력을 더 잘 보존함을 보여줍니다. 채널 스코어링 및 선택에 대한 추가 분석은 특이벡터 채널 수준에서의 선택적 가소성이 효과적인 지속적 LLM 적응을 가능하게 함을 입증합니다.

arXiv:2607.09084v1cs.LG공통 태그 Continual Learning, parameter-efficient fine-tuning

대형 모델의 그린 개발에 관한 서베이: 자원 효율적 아키텍처부터 하드웨어-소프트웨어 공동 설계까지

A Survey on the Green Development of Large Models: From Resource-Efficient Architectures to Hardware-Software Co-Design

대규모 AI 모델의 급속한 확장은 다양한 분야에서 상당한 성능 돌파구를 이끌었으나, 동시에 계산 비용, 에너지 소비, 환경 지속 가능성에 관한 심각한 우려를 야기했다. 본 서베이는 자원 효율적 아키텍처와 풀스택 하드웨어-소프트웨어 공동 설계를 중심으로 대형 모델의 그린 개발에 대한 포괄적인 개요를 제공한다. 어텐션 연산자 최적화, 선형 복잡도 아키텍처, 모델 희소화 및 병합을 포함한 효율적 모델 구축의 최근 발전과 함께, 데이터 효율적 학습, 매개변수 효율적 미세조정, 계산 압축 등 학습 및 배포 전략을 체계적으로 검토한다. 알고리즘적 개선을 넘어, 주류 AI 칩, 메모리 최적화, 크로스 플랫폼 배포, 지속 가능한 인프라를 포함한 에너지 효율적 AI 하드웨어를 탐구한다. 나아가 DeepSeek, 원격 탐지 해석, 국가 규모 인프라, 글로벌 이니셔티브와 같이 지속 가능성이 중요한 분야에 대형 모델이 어떻게 적용되고 있는지 살펴본다. 마지막으로, 지속적 학습 패러다임, 메모리 중심 하드웨어, 표준화된 평가 프로토콜의 필요성을 강조하며 주요 과제와 미래 방향을 논의한다. 본 서베이는 대형 모델의 지속 가능하고 확장 가능하며 사회적으로 책임 있는 개발을 향한 총체적 로드맵을 제시하는 것을 목표로 한다.

arXiv:2607.07719v1cs.LG공통 태그 Continual Learning, parameter-efficient fine-tuning

ReCoLoRA: 지속적 LLM 미세조정을 위한 스펙트럼 인식 재귀적 통합

ReCoLoRA: Spectrum-Aware Recursive Consolidation for Continual LLM Fine-Tuning

매개변수 효율적 미세조정은 대규모 언어 모델을 하나의 태스크에 저렴하게 적응시키지만, 태스크 시퀀스 전반에 걸쳐 LoRA 방식의 방법들은 동일한 동결 가중치에 저랭크 업데이트를 계속 누적하므로 각 새로운 태스크는 이전 태스크를 덮어쓰는 경향이 있다. 우리는 ReCoLoRA(저랭크 어댑터의 재귀적 통합)를 제안한다. 이는 지속적 미세조정을 위한 스펙트럼 인식 프레임워크로, 어댑터는 사전학습 가중치의 무작위화된 SVD로부터 초기화되고, 층별 유효 랭크는 엘보 기준으로 선택되며, 주요 부분공간이 적응된 후 잔여 용량이 개방된다. 각 새로운 태스크 이전에 ReCoLoRA는 원래 가중치가 아닌 현재 유효 가중치를 동결 잔차, 천천히 업데이트되는 주성분, 새로운 어댑터로 재분해(재귀적 통합)하므로, 모든 태스크는 이미 이전 태스크를 흡수한 모델에서 시작된다. 네 개의 7-8B 백본에 걸친 6개 태스크 지속적 GLUE 시퀀스에서, ReCoLoRA는 더 적은 매개변수를 학습하면서도 랭크 탐색 LoRA, PiSSA, AdaLoRA, DoRA 기준선 대비 네 개의 백본 중 세 개에서 최고의 최종 평균 점수를 달성했으며, 오라클 라우팅 태스크 뱅크 변형은 완전한 태스크 격리 하에서 상한선 역할을 한다. 코드: https://github.com/bhqy666/ReCoLoRA.

arXiv:2607.02930v1cs.CV공통 태그 Continual Learning, parameter-efficient fine-tuning

CL-Anomaly: 이상 탐지의 지속 학습을 위한 다중모달 대규모 언어 모델 기반 층 적응형 전문가 혼합

CL-Anomaly: Layer-Adaptive Mixture-of-Experts with Multimodal Large Language Model for Continual Learning in Anomaly Detection

다중모달 대규모 언어 모델(MLLM)은 다양한 비전 태스크에서 뛰어난 성능을 발휘하지만, 실세계 지식이 진화함에 따라 전체 매개변수 재학습은 계산 비용이 매우 크다. 기존의 지속 학습(continual learning) 방법들은 태스크 간 매개변수 공간에서의 의미적 얽힘(semantic entanglement)으로 인해 모델의 지속적 배포에 어려움을 겪는 경우가 많다. 이 문제는 이상 탐지(Anomaly Detection, AD)에서 특히 두드러지는데, 이상 탐지는 모달리티, 도메인, 결함 스케일 변동성에 걸친 삼중 이질성을 보여 다중 태스크 지식 전이를 크게 복잡하게 만든다. 본 논문에서는 MLLM을 활용한 이상 탐지의 지속 학습을 가능하게 하는 격리-공유 협력 기반 매개변수 효율적 미세조정 프레임워크인 CL-Anomaly를 제안한다. 우리는 태스크 전용 전문가 PrivLoRA를 도입하여 매개변수 공간에서 태스크별 부분 공간을 물리적으로 격리함으로써 다양한 시나리오에서 이상 지식의 의미적 얽힘을 방지한다. 층 적응형 공유 전문가(Layer-Adaptive Shared Experts)는 통합된 특징 공간 내에서 태스크 간 표현을 유지하여 이전 태스크와 새로운 태스크 간의 지식 공유를 가능하게 한다. 나아가, 모멘텀 기반 메커니즘을 통해 각 태스크의 층별 핵심 공유 전문가를 자동으로 선택하고 동적으로 갱신하는 층 적응형 지식 전이(Layer-Adaptive Knowledge Transfer) 전략을 제안하여 연관된 이상 탐지 태스크 간의 효과적인 지식 전이를 촉진한다. 클래스 증분, 크로스 도메인, 크로스 모달을 포함한 세 가지 이상 탐지 지속 학습 시나리오에 걸친 광범위한 실험을 통해 CL-Anomaly가 최신 방법들을 능가함을 입증한다. 코드는 https://github.com/WenDongyp/CL-Anomaly 에서 확인할 수 있다.

arXiv:2606.30258v1cs.LG공통 태그 Continual Learning, parameter-efficient fine-tuning

KnowsTFM: 지식 기반 소규모 테이블형 파운데이션 모델 미세조정

KnowsTFM: Knowledge-Informed Fine-Tuning of Small Tabular Foundation Models

테이블형 파운데이션 모델은 다양한 소규모 및 중간 규모 태스크에서 강력한 기본 성능을 제공함으로써 테이블형 데이터에 대한 심층 학습을 발전시켜 왔다. 그러나 데이터가 희소하고 고차원이며 사전학습 분포에서 벗어난 특수 도메인에서는 신중하게 설계된 도메인별 방법론을 능가하지 못할 수 있다. 이러한 많은 도메인은 지식 그래프와 지식 뱅크 형태로 정제된 관계형 지식을 제공하지만, 이 지식을 활용하여 소규모 전문 테이블형 파운데이션 모델을 개선하고 방향을 조정하는 방법은 여전히 불분명하다. 우리는 이 문제를 소규모 테이블형 파운데이션 모델의 지식 기반 미세조정(KnowsTFM)을 통해 다룬다. 구체적으로, 통제된 합성 사전 패밀리 하에서 사전학습되고 두 가지 상호 보완적인 메커니즘, 즉 지식 그래프에서 도출된 구조적 어텐션 사전과 매개변수 효율적 저랭크 업데이트를 통해 적응된 나노스케일 TabPFN 및 TabICL 스타일 변형을 연구한다. 미세조정 시 도메인별 구조적 지식을 주입하면 전문 설정에서 기본 변형 대비 의미 있는 성능 향상을 가져오는 반면, 일반 도메인 태스크에서의 향상은 미미함을 보인다. 나아가 프론티어 모델의 지속적 미세조정이 사전학습된 지식과 메커니즘의 붕괴를 야기할 수 있음을 관찰한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.