Towards Robustness and Diversity: Continual Learning in Dialog Generation with Text-Mixup and Batch Nuclear-Norm Maximization
원문 초록
In our dynamic world where data arrives in a continuous stream, continual learning enables us to incrementally add new tasks/domains without the need to retrain from scratch. A major challenge in continual learning of language model is catastrophic forgetting, the tendency of models to forget knowledge from previously trained tasks/domains when training on new ones. This paper studies dialog generation under the continual learning setting. We propose a novel method that 1) uses \textit{Text-Mixup} as data augmentation to avoid model overfitting on replay memory and 2) leverages Batch-Nuclear Norm Maximization (BNNM) to alleviate the problem of mode collapse. Experiments on a $37$-domain task-oriented dialog dataset and DailyDialog (a $10$-domain chitchat dataset) demonstrate that our proposed approach outperforms the state-of-the-art in continual learning.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
전문가가 더 빠르게 학습한다: 사전학습에서의 지식 구조화가 지식 업데이트 효율성을 결정한다
Specialists Learn Faster: Knowledge Organization in Pre-training Shapes Knowledge Update Efficiency
이상적인 (언어) 모델은 지식을 지속적으로 업데이트해야 한다. 기존 연구는 주로 학습 이후에 이러한 업데이트를 효율적으로 만드는 데 초점을 맞춰왔다. 본 연구에서는 사전학습 동안 시간에 따라 변화하는 지식의 구조화(organization)가 이후 업데이트의 효율성에 어떤 영향을 미치는지 조사한다. 시간순으로 정렬된 지식으로 학습된 모델은 가장 최근에 접한 지식에 특화되는데, 이러한 모델을 전문가(specialist) 모델이라 부른다. 반면, 동일한 지식을 무작위로 섞은 순서로 학습한 모델은 포함된 모든 시간대에 걸쳐 고르게 우수한 성능을 보이는데, 이러한 모델을 범용(generalist) 모델이라 부른다. 놀랍게도, 전문가 모델은 새로운 지식을 획득하는 데 범용 모델보다 훨씬 적은 업데이트 스텝을 필요로 한다. 이러한 이점을 설명하기 위해, 우리는 업데이트 비용을 모델의 최적화 동역학(optimization dynamics)과 연관시키는 법칙을 제1원리로부터 유도하였으며, 이는 실험 결과를 정확하게 예측한다. 이러한 발견을 바탕으로, 안정적인 과거 지식을 보존하면서도 현재 지식에 대한 효율적인 업데이트를 가능하게 하는 사전학습 데이터 구조화 전략을 설계한다. 또한 시간적 지식 구조화의 이점이 실제 사전학습된 모델과 기존의 지식 업데이트 도구에도 확장되며, 다른 지식 순서화 방식에도 일반화됨을 보인다. 프로젝트 페이지: https://horizon-lab.org/specialist/
RLVR에서 해법 모드 붕괴의 측정 및 완화
Measuring and Mitigating Solution Mode Collapse in RLVR
언어 모델(LM)은 대개 동일한 질문에 대해 여러 방식으로 답할 수 있지만, 검증 가능한 보상을 활용한 강화학습(RLVR)은 모델이 어떤 정답을 생성하든 개의치 않습니다. 익숙한 답의 1,000번째 복사본이든 모델이 이전에 한 번도 생성한 적 없는 답이든, 정답인 해법은 동일한 보상을 받게 됩니다. 그러나 모델이 학습(training)되면서 여러 올바른 해법을 유지하도록 하는 것에는 잠재적인 가치가 있습니다. 예를 들어, 다중 모드(mode)는 사용자에게 선택권을 제공하고 전반적인 모델 성능을 향상시키는 문제 해결 전략을 제공할 수 있습니다. 본 논문에서는 검증기(verifier)가 정확도와 발견된 모드를 모두 반환하는 다중 해법 작업 벤치마크인 ModeBench를 소개합니다. 그런 다음 ModeBench를 사용하여 RLVR 사후 학습(post-training) 과정에서 해법의 다양성이 어떻게 변화하는지 측정합니다. 그 결과, 정확도가 유지되거나 향상되더라도 RLVR 사후 학습은 더 적은 수의 정답 모드로 확률을 집중시키며, 나아가 최신 프론티어(frontier) 모델들은 이미 고도로 집중되어 있음을 발견했습니다. 이에 따라 발견된 모드당 검증된 예시 하나를 리플레이 버퍼(replay buffer)에 저장하고 저장된 모드들을 균등하게 학습하는 해법인 Re:Max를 제안합니다. 따라서 한 번 발견된 해법도 반복해서 발견된 해법만큼 자주 연습됩니다. 세 가지 모델 스케일, 두 가지 RL 목적 함수, 그리고 더 어려운 작업 구성 전반에 걸쳐, 리플레이는 정책(policy)의 성공 빈도뿐만 아니라 성공할 수 있는 서로 다른 방식의 다양성 또한 개선함을 확인했습니다.
대규모 언어 모델의 지속적 사전학습을 위한 피셔 유도 서브모듈러 데이터 선택
Fisher-Guided Submodular Data Selection for Continual Pre-Training of Large Language Models
데이터 선택은 웹 규모 말뭉치에 노이즈가 많고 토큰 예산이 한정된 대규모 언어 모델(LLM) 학습에서 이미 핵심적인 병목 지점입니다. 지속적 사전학습(Continual Pre-Training, CPT)에서 이는 망각 제어 문제로 전환됩니다. 잘못 선택된 타깃 도메인 말뭉치는 사전학습된 체크포인트에 인코딩된 역량을 덮어써 버릴 수 있습니다. 기존의 CPT 관행은 펄플렉서티(perplexity)와 같은 매개변수 무관 스칼라값으로 후보를 점수화하거나, 다수의 일반 도메인 리플레이(replay) 토큰을 추가로 소모하여 망각을 완화합니다. 그러나 두 전략 모두 후보 데이터에 대한 학습이 모델 매개변수를 어떻게 변화시킬지 직접적으로 고려하지 않습니다. 본 연구에서는 손실 기반 선택을 사용할 경우 CPT 이후 피셔 대각 성분(Fisher diagonal)이, 사전학습 모델이 이미 확정해 둔 바로 그 고피셔(high-Fisher) 좌표에서 하향 표류(drift)하는 반면 저피셔 좌표는 대체로 건드리지 않은 채로 남겨둔다는 점을 보입니다. 이러한 비대칭성은 치명적 망각(catastrophic forgetting)의 매개변수 공간 메커니즘을 드러냅니다. 이러한 관찰에 착안하여, 각 후보 데이터의 그래디언트를 확정된 매개변수 방향에 대한 섭동을 측정하는 앵커(anchor) 성분과 제약 없는 저피셔 부분공간에서의 업데이트 역량을 측정하는 프론티어(frontier) 성분으로 분해하는 피셔 인식 CPT 선택기를 제안합니다. 우리는 로그 행렬식(log-determinant) 서브모듈러 목적함수로 이러한 신호들을 종합하며, 확장 가능한 스트리밍 데이터 선택 파이프라인을 사용해 단일 패스(single pass)로 이를 최적화합니다. 의료 데이터에 대한 TinyLlama-1.1B 및 Llama-3.1-8B CPT 실험에서, 제안한 선택기는 미보유(held-out) 사전학습 벤치마크에 대한 망각을 억제하면서 타깃 도메인 품질을 개선합니다. 가장 중요한 점은 망각 인식 리플레이 방식보다 토큰 효율성이 대폭 향상된다는 것입니다. 선택된 1B 토큰만으로도 적응과 망각 방지 모두에서 10B 토큰으로 학습된 리플레이 전략을 능가하여 10배의 토큰 효율성 이점을 달성합니다.
듣지 말아야 할 때를 학습하기: 언어 모델을 위한 선택적 간섭 방지 사전학습
Learning When Not to Listen: Selective Anti-Interference Pretraining for Language Models
언어 모델은 관련 없는 앞선 텍스트에 과도하게 조건화될 수 있다. 로컬 컨텍스트만으로 이미 뒷받침되는 예측조차, 멀리 떨어진 무관한 접두 문맥(prefix) 토큰이 교란되면 달라질 수 있다. 이러한 간섭은 유용한 근거와 무관한 구간이 공존하는 길거나, 패킹되었거나, 방해 요소가 많은 컨텍스트에서 특히 심각한 결과를 낳는다. 우리는 선택적 간섭 방지를 위한 사전학습 목적 함수인 Selective Prefix Anti-Interference Regularization(SPAR)을 제안한다. SPAR는 원본 시퀀스와, 먼 접두 문맥만 변경한 손상된 접두 문맥(corrupt-prefix) 입력을 함께 실행한 뒤, 짧은 컨텍스트 충분성 게이트(short-context sufficiency gate)와 게이트 적용 KL 목적 함수(gated KL objective)를 사용하여 로컬 컨텍스트로 뒷받침되는 후행 구간(suffix) 예측을 안정화한다. 이 게이트는 먼 접두 문맥이 대상 토큰에 대해 추가 정보를 제공하는지에 대한 모델 기반 추정을 구현한 것이다. 메커니즘 분석 결과, 게이트는 로컬 컨텍스트만으로 충분한 토큰을 식별하며, 게이트가 선택한 후행 구간 토큰에서 접두 문맥 민감도를 크게 감소시킨다. 사전학습된 베이스 모델에 대한 지속 학습(continued training)에서, SPAR는 동일한 집계 학습 연산량 조건 하에 Qwen2.5-0.5B, Qwen2.5-3B, Llama-3.2-1B, Llama-3.1-8B, GPT2-XL 전반에서 RULER 성능을 향상시켰으며, 사전학습 실험에서는 RULER와 NoLiMa 모두에서 성능 향상을 추가로 확인했다. 이러한 결과는 선택적 간섭 방지가 견고한 컨텍스트 활용을 위한 효과적인 목적 함수 수준의 신호임을 보여준다.
개방형 텍스트 생성에서 일관성과 다양성의 참조 기반 분석
Reference-Based Analysis of Coherence and Diversity in Open-Ended Text Generation
개방형 텍스트 생성을 평가하려면 연속(continuation)의 여러 속성이 체감 품질과 어떻게 연관되는지 이해해야 한다. 본 연구는 일관성과 다양성을 세 가지 관점에서 살펴보는 참조 기반 프레임워크를 제시한다: 인간 궤적과의 변화 정렬, 동일 프롬프트에 대한 인간 연속과의 요약 비교, 인간 참조 분포 하에서의 가능도 추정. 인간 품질 평가 실험에 따르면 다양성 기반 정렬과 평균 기반 비교는 품질 관련 변동을 포착하는 것으로 보이나, 비교만으로는 시간적 정렬이 더 단순한 베이스라인보다 예측적으로 유리하다는 점은 입증되지 않는다. 참조 가능도 역시 평가와 양의 연관을 보이며, 결과는 참조 설정과 스코어링 구간에 따라 달라진다. 이 분석들은 측정된 일관성·다양성이 인간 판단과 어떻게 연관되는지 구조적으로 검토하는 방법을 제공하며, 인간 참조와의 유사성과 품질 그 자체를 구분한다. 코드 및 분석 자료는 https://github.com/EstebanGarces/likely_human 에서 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.