Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis
원문 초록
Aspect-based sentiment analysis (ABSA) is an important subtask of sentiment analysis, which aims to extract the aspects and predict their sentiments. Most existing studies focus on improving the performance of the target domain by fine-tuning domain-specific models (trained on source domains) based on the target domain dataset. Few works propose continual learning tasks for ABSA, which aim to learn the target domain's ability while maintaining the history domains' abilities. In this paper, we propose a Large Language Model-based Continual Learning (\texttt{LLM-CL}) model for ABSA. First, we design a domain knowledge decoupling module to learn a domain-invariant adapter and separate domain-variant adapters dependently with an orthogonal constraint. Then, we introduce a domain knowledge warmup strategy to align the representation between domain-invariant and domain-variant knowledge. In the test phase, we index the corresponding domain-variant knowledge via domain positioning to not require each sample's domain ID. Extensive experiments over 19 datasets indicate that our \texttt{LLM-CL} model obtains new state-of-the-art performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
전문가가 더 빠르게 학습한다: 사전학습에서의 지식 구조화가 지식 업데이트 효율성을 결정한다
Specialists Learn Faster: Knowledge Organization in Pre-training Shapes Knowledge Update Efficiency
이상적인 (언어) 모델은 지식을 지속적으로 업데이트해야 한다. 기존 연구는 주로 학습 이후에 이러한 업데이트를 효율적으로 만드는 데 초점을 맞춰왔다. 본 연구에서는 사전학습 동안 시간에 따라 변화하는 지식의 구조화(organization)가 이후 업데이트의 효율성에 어떤 영향을 미치는지 조사한다. 시간순으로 정렬된 지식으로 학습된 모델은 가장 최근에 접한 지식에 특화되는데, 이러한 모델을 전문가(specialist) 모델이라 부른다. 반면, 동일한 지식을 무작위로 섞은 순서로 학습한 모델은 포함된 모든 시간대에 걸쳐 고르게 우수한 성능을 보이는데, 이러한 모델을 범용(generalist) 모델이라 부른다. 놀랍게도, 전문가 모델은 새로운 지식을 획득하는 데 범용 모델보다 훨씬 적은 업데이트 스텝을 필요로 한다. 이러한 이점을 설명하기 위해, 우리는 업데이트 비용을 모델의 최적화 동역학(optimization dynamics)과 연관시키는 법칙을 제1원리로부터 유도하였으며, 이는 실험 결과를 정확하게 예측한다. 이러한 발견을 바탕으로, 안정적인 과거 지식을 보존하면서도 현재 지식에 대한 효율적인 업데이트를 가능하게 하는 사전학습 데이터 구조화 전략을 설계한다. 또한 시간적 지식 구조화의 이점이 실제 사전학습된 모델과 기존의 지식 업데이트 도구에도 확장되며, 다른 지식 순서화 방식에도 일반화됨을 보인다. 프로젝트 페이지: https://horizon-lab.org/specialist/
대규모 언어 모델의 지속적 사전학습을 위한 피셔 유도 서브모듈러 데이터 선택
Fisher-Guided Submodular Data Selection for Continual Pre-Training of Large Language Models
데이터 선택은 웹 규모 말뭉치에 노이즈가 많고 토큰 예산이 한정된 대규모 언어 모델(LLM) 학습에서 이미 핵심적인 병목 지점입니다. 지속적 사전학습(Continual Pre-Training, CPT)에서 이는 망각 제어 문제로 전환됩니다. 잘못 선택된 타깃 도메인 말뭉치는 사전학습된 체크포인트에 인코딩된 역량을 덮어써 버릴 수 있습니다. 기존의 CPT 관행은 펄플렉서티(perplexity)와 같은 매개변수 무관 스칼라값으로 후보를 점수화하거나, 다수의 일반 도메인 리플레이(replay) 토큰을 추가로 소모하여 망각을 완화합니다. 그러나 두 전략 모두 후보 데이터에 대한 학습이 모델 매개변수를 어떻게 변화시킬지 직접적으로 고려하지 않습니다. 본 연구에서는 손실 기반 선택을 사용할 경우 CPT 이후 피셔 대각 성분(Fisher diagonal)이, 사전학습 모델이 이미 확정해 둔 바로 그 고피셔(high-Fisher) 좌표에서 하향 표류(drift)하는 반면 저피셔 좌표는 대체로 건드리지 않은 채로 남겨둔다는 점을 보입니다. 이러한 비대칭성은 치명적 망각(catastrophic forgetting)의 매개변수 공간 메커니즘을 드러냅니다. 이러한 관찰에 착안하여, 각 후보 데이터의 그래디언트를 확정된 매개변수 방향에 대한 섭동을 측정하는 앵커(anchor) 성분과 제약 없는 저피셔 부분공간에서의 업데이트 역량을 측정하는 프론티어(frontier) 성분으로 분해하는 피셔 인식 CPT 선택기를 제안합니다. 우리는 로그 행렬식(log-determinant) 서브모듈러 목적함수로 이러한 신호들을 종합하며, 확장 가능한 스트리밍 데이터 선택 파이프라인을 사용해 단일 패스(single pass)로 이를 최적화합니다. 의료 데이터에 대한 TinyLlama-1.1B 및 Llama-3.1-8B CPT 실험에서, 제안한 선택기는 미보유(held-out) 사전학습 벤치마크에 대한 망각을 억제하면서 타깃 도메인 품질을 개선합니다. 가장 중요한 점은 망각 인식 리플레이 방식보다 토큰 효율성이 대폭 향상된다는 것입니다. 선택된 1B 토큰만으로도 적응과 망각 방지 모두에서 10B 토큰으로 학습된 리플레이 전략을 능가하여 10배의 토큰 효율성 이점을 달성합니다.
듣지 말아야 할 때를 학습하기: 언어 모델을 위한 선택적 간섭 방지 사전학습
Learning When Not to Listen: Selective Anti-Interference Pretraining for Language Models
언어 모델은 관련 없는 앞선 텍스트에 과도하게 조건화될 수 있다. 로컬 컨텍스트만으로 이미 뒷받침되는 예측조차, 멀리 떨어진 무관한 접두 문맥(prefix) 토큰이 교란되면 달라질 수 있다. 이러한 간섭은 유용한 근거와 무관한 구간이 공존하는 길거나, 패킹되었거나, 방해 요소가 많은 컨텍스트에서 특히 심각한 결과를 낳는다. 우리는 선택적 간섭 방지를 위한 사전학습 목적 함수인 Selective Prefix Anti-Interference Regularization(SPAR)을 제안한다. SPAR는 원본 시퀀스와, 먼 접두 문맥만 변경한 손상된 접두 문맥(corrupt-prefix) 입력을 함께 실행한 뒤, 짧은 컨텍스트 충분성 게이트(short-context sufficiency gate)와 게이트 적용 KL 목적 함수(gated KL objective)를 사용하여 로컬 컨텍스트로 뒷받침되는 후행 구간(suffix) 예측을 안정화한다. 이 게이트는 먼 접두 문맥이 대상 토큰에 대해 추가 정보를 제공하는지에 대한 모델 기반 추정을 구현한 것이다. 메커니즘 분석 결과, 게이트는 로컬 컨텍스트만으로 충분한 토큰을 식별하며, 게이트가 선택한 후행 구간 토큰에서 접두 문맥 민감도를 크게 감소시킨다. 사전학습된 베이스 모델에 대한 지속 학습(continued training)에서, SPAR는 동일한 집계 학습 연산량 조건 하에 Qwen2.5-0.5B, Qwen2.5-3B, Llama-3.2-1B, Llama-3.1-8B, GPT2-XL 전반에서 RULER 성능을 향상시켰으며, 사전학습 실험에서는 RULER와 NoLiMa 모두에서 성능 향상을 추가로 확인했다. 이러한 결과는 선택적 간섭 방지가 견고한 컨텍스트 활용을 위한 효과적인 목적 함수 수준의 신호임을 보여준다.
에피소딕 AI를 넘어서: 생물학적으로 영감을 받은 지속적 인지를 위한 인지 필드 네트워크
Beyond Episodic AI: Cognitive Field Networks for Biologically Inspired Persistent Cognition
인지 장 이론(CFT)은 인지가 지속적인 거시적 인지 장(cognitive field)을 생성하는 기억 기반의 집합적 동역학에서 비롯된다고 제안합니다. 본 논문에서는 체계화된 은닉 장이 \[ \Phi_{n+1}=F_{\theta}(X_{n+1},\Phi_n) \] 을 통해 후속 추론(inference)에 다시 진입하는 순환 트랜스포머(recurrent Transformer)인 인지 필드 네트워크(CFN)를 개발합니다. 명시적인 기억 연산을 규정하기보다, CFN은 새로운 정보가 이미 과거 이력에 의존적인 집합적 상태에 작용하도록 합니다. 연구 결과, 학습을 통해 지속적이고 내용에 의존적인 순환 동역학이 체계화되며, 그 시간 척도는 훈련된 순환 지평(horizon)에 따라 체계적으로 증가함을 발견했습니다. 의미론적 연속성은 목표 정답을 재생하지 않고도 순환 상태를 이 지평을 훨씬 넘어 전파합니다. 내용에 특화된 지원이 없으면 장은 유한한 수동적 이완을 보이는 반면, 관련 입력에 주기적으로 재노출되면 잔존 상태가 반복적으로 갱신되어 거의 정적인 비영(nonzero) 영역으로 수렴합니다. 무관한 입력 및 순환 비활성화 대조군은 이러한 거동을 재현하지 못하며, 유사하게 바꾸어 표현한(near-paraphrased) 재노출은 더 약한 갱신을 보여 표현에 민감한 지속성을 입증합니다. 이러한 결과는 세 가지 동역학적 과정을 구분합니다. 집합적 기억 장식이 이력 의존적인 인지 장을 형성 및 유지하고, 구조화된 입력이 이 장을 재구성하며, 주기 간 재진입이 그 결과로 나타난 상태를 후속 추론에서 인과적으로 활용할 수 있게 만듭니다. 따라서 CFN은 별도로 규정된 기억 시스템 없이도 지속적이고 이력에 의존적인 인지 동역학을 연구할 수 있는 통제된 계산 플랫폼을 제공합니다.
MIITA: 소형 언어 모델의 지속 학습을 위한 메모리 유도 추론 시점 적응
MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models
지속 학습(CL)은 자원이 제한된 배포 환경에서 진화하는 실세계 요구에 적응하기 위해 소형 언어 모델(SLM)에 필수적이다. 그러나 제한된 매개변수 공간을 직접 업데이트하면 치명적 망각(catastrophic forgetting)이 발생한다. 메모리 기반 방법은 지식 보존을 매개변수와 분리함으로써 이를 자연스럽게 해결하지만, 대규모 언어 모델(LLM)용으로 설계된 기존 접근법은 SLM이 갖추지 못한 풍부한 저장 공간과 강력한 문맥 내 추론에 의존한다. 이러한 과제를 해결하기 위해, 우리는 제한된 저장 공간 하에서의 지도 CL을 위한 메모리 유도 추론 시점 적응(Memory-Induced Inference-Time Adaptation) 프레임워크 MIITA를 제안한다. MIITA는 지도 경험을 의미적 앵커를 갖춘 압축된 교정 방향 프로토타입으로 저장하고, 의미적 및 불��실성 기반 단서를 사용하여 추론 시점에 이를 검색한다. 검색된 방향은 게이트된 임시 은닉 상태 적응을 통해 적용되며, 백본 업데이트, 프롬프트 확장, 또는 테스트 시점 역전파 없이 과거 지도 정보를 비파괴적으로 재사용할 수 있게 한다. 국소 이론 분석은 이 설계를 1차 손실 감소, 불확실성 안내 검색, 그리고 이전 단계 지식 보존을 위한 방향적 커버리지와 연결한다. 다양한 지도 CL 설정에 걸친 광범위한 실험은 MIITA가 고정된 메모리 예산 하에서 최종 성능을 지속적으로 향상시키고 망각을 완화함을 보여준다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
토론
이 논문과 연결된 포럼 글이 아직 없습니다.