arXiv:2301.07316

Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning

Kanghao Chen, Sijia Liu, Ruixuan Wang, Wei-Shi Zheng

제출 2023-01-18

원문 초록

Current deep learning models often suffer from catastrophic forgetting of old knowledge when continually learning new knowledge. Existing strategies to alleviate this issue often fix the trade-off between keeping old knowledge (stability) and learning new knowledge (plasticity). However, the stability-plasticity trade-off during continual learning may need to be dynamically changed for better model performance. In this paper, we propose two novel ways to adaptively balance model stability and plasticity. The first one is to adaptively integrate multiple levels of old knowledge and transfer it to each block level in the new model. The second one uses prediction uncertainty of old knowledge to naturally tune the importance of learning new knowledge during model training. To our best knowledge, this is the first time to connect model prediction uncertainty and knowledge distillation for continual learning. In addition, this paper applies a modified CutMix particularly to augment the data for old knowledge, further alleviating the catastrophic forgetting issue. Extensive evaluations on the CIFAR100 and the ImageNet datasets confirmed the effectiveness of the proposed method for continual learning.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02597v1cs.CV공통 태그 Knowledge Distillation, Continual Learning

GRAFT: 지속적 교사 지식 증류를 통한 응집형 파운데이션 모델의 점진적 확장

GRAFT: Growing Agglomerative Foundation Models via Continual Teacher Distillation

DINOv2, SigLIP2, MASt3R와 같은 비전 파운데이션 모델들은 서로 다른 사전학습(pre-training) 목표를 통해 상호보완적인 능력을 발전시키지만, 이들의 지식은 개별적이고 특화된 모델 전반에 여전히 분산되어 있습니다. 다중 교사 지식 증류(multi-teacher knowledge distillation)는 이러한 능력들을 단일 응집형 백본(backbone)으로 통합하는 경로를 제공하지만, 기존 접근 방식들은 고정된 교사 집합을 가정하며, 새로운 교사를 통합하려면 전체 교사 집합에 대해 비용이 많이 드는 결합 증류를 반복해야 합니다. 본 논문에서는 통합 백본이 개방형 파운데이션 모델 시퀀스로부터 능력을 점진적으로 습득할 수 있도록 하는 지속적 다중 교사 증류 프레임워크인 GRAFT를 소개합니다. 새로운 교사가 추가되면 GRAFT는 이전에 증류된 모델을 교사로 취급하여 학습된 능력을 보존하는 동시에, 현재의 학생 모델은 이전 모델과 새로 들어온 교사 모두로부터 공동으로 학습합니다. 나아가 이종 교사들의 호환되지 않는 표현 기하구조를 조율하기 위해, 공유 인코더에 대한 독립적인 판독 권한을 각 교사에 부여하는 교사별 판독 토큰(Teacher Specific Readout Tokens)과 함께, 원시 특징(feature) 값 대신 이미지-텍스트 유사도 구조를 매칭하여 비전-언어 교사를 정렬하는 기하학 불가지론적 관계 손실(Geometry Agnostic Relational Loss)을 도입합니다. 본 연구는 이미지 이해, 2D 조밀 예측, 3D 인간 자세 추정, 3D 비전, 비전-언어 등 5개 도메인을 통합하는 단일의 지속적 확장 가능 백본인 GRAFT 모델을 제공하며, 전체 재증류 대신 단 한 번의 증류 비용만으로 각각의 새로운 능력을 습득하면서 이들 전반에 걸쳐 강력한 성능을 발휘합니다.

arXiv:2609.16639v2cs.AI공통 태그 Knowledge Distillation, Continual Learning

ReDraft, 단순 증류가 아닌 참조 기반 수정: 지속적 VLLM 사후 학습

ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training

대규모 멀티모달 모델의 지속적 사후 학습은 새로운 능력을 추가하면서 사전학습에서 얻은 능력을 보존해야 하며, 두 목표는 서로 반대 방향으로 당긴다. SFT는 거의 0에 가까운 정확도에서 과제를 학습하는 명시적 타깃 지도를 제공하지만, 오프-정책 타깃이 모델을 충분히 멀리 이동시켜 망각을 유발한다. RLVR 및 자기 증류(self-distillation) 같은 온-정책 방법은 정책 근접성을 유지하지만, 정책이 아직 과제를 풀 수 없을 때는 신호를 거의 제공하지 않는다. 우리는 ReDraft(Reference-Driven Revision and Fine-Tuning, 참조 기반 수정 및 미세조정)를 제안한다. 이 방법은 모델 자신의 실패로부터 두 목표를 모두 달성한다. 전문가 응답은 참조로만 사용하고, 모델이 자신의 잘못된 롤아웃을 수정하게 한 뒤, 검증기(verifier)가 수용한 수정만 유지하고, 남은 것에 대해 미세조정한다. 따라서 유지된 각 타깃은 명시적이면서도 현재 정책에 가깝다. Counting, Clock Reading, Jigsaw에서 Qwen2.5-VL-3B/7B로 평가했으며, 이 중 두 과제는 거의 0에 가까운 정확도였다. ReDraft는 타깃 과제에서 SFT의 52.9점 대비 56.9점을 얻었고, 이전 과제 손실을 16.6점에서 1.5점으로 줄였다(망각 11.3배 감소). OPSD 대비 두 축 모두에서 개선되었다(19.3점 향상, 6.2점 손실). 데이터 및 매개변수 공간 분석은 설계와 일치한다. 수정된 타깃은 베이스 모델 하에서 더 높은 확률을 갖고, 이들이 유도하는 업데이트는 compact하며 OPSD보다 SFT 방향을 더 가깝게 따른다. 전문가 출력으로 대체하는 대신 모델 자신의 출력을 수리하는 것이 하나의 목표로 두 가지를 모두 가능하게 한다.

arXiv:2609.23989v1cs.AI공통 태그 Knowledge Distillation, Continual Learning

ACLArena: 다단계 사후 학습에서의 에이전트 지속 학습

ACLArena: Agent Continue Learning in Multi-stage Post-training

산업 배포를 위한 범용 에이전트를 구축하려면 여러 역량을 통합해야 하며, 각 역량은 일반적으로 서로 다른 학습 단계에서 습득된다. 그러나 현재 에이전트 지속 학습(Agent Continual Learning, ACL)에 대해 잘 정립된 방법론은 없으며, 기존 통합 패러다임 간 트레이드오프에 대한 이해도 부족하다. 이 공백을 메우기 위해 ACL을 포괄적으로 연구·분석·평가하기 위한 프레임워크인 ACLArena를 제안한다. 우리는 먼저 순차적 학습 파이프라인을 구축하고, 모델 수준과 토큰 수준이라는 두 상보적 관점에서 망각과 일반화의 메커니즘을 설명하는 심층 분석을 수행한다. 이 분석을 바탕으로, 다중 교사 온-정책 지식 증류, 자기 증류 기반 미세조정, 모델 병합을 체계적으로 비교하여 이전에 학습한 역량을 회복하면서 새로 습득한 역량을 보존하는 능력을 평가한다. 광범위한 실험을 통해 단계 간 역량이 어떻게 전이되는지에 대한 상세한 이해를 얻는다. 마지막으로, 고품질 궤적에 대한 오프라인 리플레이와 강화학습(RL)을 통해 각각 특화된 다중 LoRA 전문가의 라우팅 네트워크를 결합한 새로운 ACL 방법론을 제안하여, 여러 도메인에 걸친 학습 능력을 크게 향상시킨다. 추론 및 에이전트적 과업 4가지에 대한 포괄적 실험을 도메인 내 및 도메인 외 설정 모두에서 평가한 결과, 우리 분석의 가치와 접근법의 효과가 입증된다.

arXiv:2607.24720v1cs.CL공통 태그 Knowledge Distillation, Continual Learning

다중 턴 장기 계획의 물리학: 단일 및 다중 교사 온-정책 에이전트 증류를 통한 사전학습에서 사후 학습까지

The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation

다중 턴 장기 계획은 파운데이션 모델 에이전트에게 중요하지만, 이를 근본적으로 개선하는 방법은 아직 불분명하다. 기존 모델은 통제 불가능하고 불투명한 인터넷 데이터로 학습되어, 계획 능력이 어떻게 습득·형성·통합되는지 파악하기 어렵다. 이 문제에 대응하기 위해 정밀한 통제를 가능하게 하는 통합된 통제형 다중 턴 환경을 제안한다. 이를 통해 세 단계에 걸친 장기 계획을 체계적으로 연구할 수 있다. (1) 사전학습 중 계획 능력 습득. 데이터 형식, 분포, 품질을 연구한다. 사고의 연쇄(CoT) 상태 전이 모델링을 통한 명시적 세계 모델(world model) 구축은 더 강한 장기 일반화를 제공한다. 원자적 스킬만으로는 조합적 일반화에 불충분하며, 소량의 장기 데이터가 효과적이다. 또한 차선의 궤적은 장기 구간에서 오류가 증폭되기 때문에 성능을 심각히 저해한다. (2) GRPO 및 OPD 사후 학습을 통한 계획 능력 형성. 상호 정보량(mutual information)을 통해 일반적 계획 패턴과 과제 특화 계획 지식을 구분한다. 계획 패턴에 대해 사후 학습의 세 가지 적용 영역—불필요, 유효, 미지원—을 식별한다. OPD는 더 일관된 갱신 방향을 제공하므로 저품질 및 장기 설정에서 GRPO보다 더 넓은 유효 영역을 갖는다. 계획 지식에 대해, 상이한 지식을 가진 교사로부터 보지 못한 절차를 증류하면 새로운 지식을 완전히 확립하지 못한 채 학생의 기존 세계 모델링을 손상시킬 수 있다. (3) MOPD 사후 학습을 통한 계획 능력 통합. 다중 교사 온-정책 증류(MOPD)가 환경 간 공유 계획 패턴으로 수렴함으로써 능력을 통합함을 보인다. 호환 가능한 패턴은 환경 간 일반화를 가능하게 하고, 부분적으로 공유된 패턴은 지속 학습(continual learning)을 지원하며, 완전히 상충하는 패턴은 심각한 간섭을 유발한다.

arXiv:2607.14661v1cs.AI공통 태그 Knowledge Distillation, Continual Learning

SmartRAG: 모바일 기기용 네이티브 그래프 기반 RAG

SmartRAG: Native Graph-Based RAG for Mobile Device

모바일 기기에서 대규모 언어 모델(LLM)을 개인 비서로 배포하려면 프라이버시, 낮은 지연 시간, 오프라인 사용 가능성이 요구되지만, 거대 모델의 계산 비용은 엄격한 엣지 하드웨어 예산과 충돌한다. 우리는 이러한 긴장을 모델 압축만으로는 해결할 수 없으며, 온디바이스 지능을 상호 보완적인 기능적 역할로 분해해야 한다고 주장한다. 우리는 Perception, Memory, Focus, Thinking이라는 네 개의 조율된 모듈을 중심으로 지능형 비서를 구성하는 완전 온디바이스 프레임워크인 SmartRAG를 제안한다. SmartRAG의 핵심은 EvoNER로, 교사 증류(teacher-distilled) 업데이트를 통해 레이블 인벤토리를 점진적으로 확장하는 지속적으로 학습 가능한 개체명 인식기(named-entity recognizer)이다. 이를 통해 시스템은 백본 LLM을 재학습하지 않고도 이전에 보지 못한 개체 유형을 흡수할 수 있다. 추출된 지식은 출처를 보존하는 3층 지식 그래프인 MRGraph에 저장되며, 쿼리 시 그래프 순회, 어휘 매칭, 밀집 의미 검색(dense semantic search)을 결합한 하이브리드 파이프라인을 통해 검색된다. 온디바이스 LLM은 라벨링, 계획, 답변 합성과 같은 고가치 의미 연산에만 호출되어 추론 비용을 제한된 범위 내에 유지한다. TriviaQA, Natural Questions, HotpotQA, MultiHopQA 네 가지 QA 벤치마크에서의 실험 결과, 양자화된 1.7B 매개변수 백본을 사용하는 SmartRAG가 최대 18배 더 큰 모델과 경쟁력 있는 다중 홉(multi-hop) 추론 성능을 달성하며, 상용 스마트폰에서 실용적인 메모리 및 지연 시간 범위 내에서 완전히 실행됨을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.