Online Continual Knowledge Learning for Language Models
원문 초록
Large Language Models (LLMs) serve as repositories of extensive world knowledge, enabling them to perform tasks such as question-answering and fact-checking. However, this knowledge can become obsolete as global contexts change. In this paper, we introduce a novel problem in the realm of continual learning: Online Continual Knowledge Learning (OCKL). This problem formulation aims to manage the dynamic nature of world knowledge in LMs under real-time constraints. We propose a new benchmark and evaluation metric designed to measure both the rate of new knowledge acquisition and the retention of previously learned knowledge. Our empirical evaluation, conducted using a variety of state-of-the-art methods, establishes robust base-lines for OCKL. Our results reveal that existing continual learning approaches are unfortunately insufficient for tackling the unique challenges posed by OCKL. We identify key factors that influence the trade-off between knowledge acquisition and retention, thereby advancing our understanding of how to train LMs in a continually evolving environment.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택
Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs
실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.
종단적 개인 건강 관리를 위한 자기 진화 에이전트
A Self-Evolving Agent for Longitudinal Personal Health Management
의료 대규모 언어 모델과 에이전트는 단일 진료 상황의 질의응답과 근거 해석에서는 강력한 성능을 보이지만, 여러 진료에 걸쳐 경험을 축적하고 관리하는 데에는 어려움을 겪는다. 본 논문은 공유되는 안전 규칙 및 의학 지식을 비공개 종단 메모리와 분리하고 완료된 사례로부터 교훈을 추출하는 오픈소스 에이전트 HealthJev를 제시한다. 잘못된 교훈이 이후 행동에 영향을 미치기 전에 걸러내기 위해, 어떤 교훈을 메모리에 넣을지 결정하는 경량 System-One 모델인 JevGate를 자기 학습시킨다. 각 결정은 중앙값 86밀리초와 약 1,000개의 입력 토큰이 소요되어, 무시할 만한 실행 시간 오버헤드로 경험 축적을 지속한다. 실제 MIMIC-IV 궤적으로 구축한 20명 사용자의 90일 모의 일상 상호작용 종단 벤치마크에서 HealthJev는 메모리가 없는 ReAct 에이전트와 메모리 증강 프레임워크 세 가지를 능가했으며, 모든 쌍별 비교가 유의했다. 임상 기록, 의료 영상, 유전체학, 임상 텍스트에 걸친 여섯 가지 과제에서 HealthJev는 모든 과제를 개선하여 기본 조건 대비 평균 13.3%p의 향상을 보였고 모든 기준선을 능가했다. 고정된 라이브러리는 여섯 개의 다른 백본으로 전이되어 매크로 평균 6.8~15.1%p의 향상을 보였으며, 한 과제의 라이브러리는 다른 과제에서도 향상을 가져왔다. 이러한 결과는 관리되는 자기 진화 메모리가 단일 진료를 넘어서는 종단적 개인 건강 관리를 뒷받침함을 시사한다. HealthJev는 https://github.com/HC-Guo/Self-Evolving_HealthJev 에 공개되어 있다.
트리비아가 결코 사소하지 않을 때: 다국어 LLM의 일상 지식 실패
When Trivia Is Not Trivial: Everyday Knowledge Failures in Multilingual LLMs
퀴즈 룸, 트리비아 나이트, 퀴즈 쇼는 정통 사실부터 일상 문화에 이르기까지 폭넓은 주제에 걸쳐 인간의 지식을 시험한다. 본 논문에서는 대규모 언어 모델(LLM)이 이러한 환경에서 경쟁력 있는 성능을 보일 수 있는지 살펴보고자, 퀴즈 형식의 질문을 활용하여 일반적인 주제와 틈새 주제 모두에서 모델을 테스트한다. 우리는 288개 주제에 걸쳐 일상적이고 문화적으로 그라운딩된 롱테일 지식을 평가하도록 설계된 다국어 벤치마크인 TriviaRoomQA를 소개한다. 이 벤치마크는 6개 유럽 언어로 된 3,300개의 병렬 객관식 질문과, 보다 세밀한 사례 연구를 위한 5,340개의 프랑스어 전용 추가 질문을 포함한다. 우리는 7B에서 70B 매개변수에 이르는 유럽, 아시아, 북미 제공업체의 30개 오픈 가중치 LLM을 평가한다. 그 결과, 모델들은 역사, 지리, 수학과 같은 지식 집약적 주제에서는 강세를 보이지만, 유명인, 음악, 영화, 뉴스와 같은 일상 대중문화 주제에서는 상당히 취약하다는 점을 발견했다. 나아가 동일한 근본 질문에 대해서도 언어에 따라 모델 성능이 달라지며, 이는 사실적 지식에 대한 접근이 항상 언어에 독립적이지는 않음을 시사한다. 요약하자면, 우리의 데이터셋과 실험은 기존의 학술 기반 포화 벤치마크에서는 포착되지 않는 중요한 지식 격차를 보여준다.
ORDER: 도메인 적응형 체화 AI(Embodied AI)를 위한 허구 세계 벤치마크
ORDER: A Fictitious-World Benchmark for Domain-Adaptive Embodied AI
연속 사전학습(continual pre-training)으로 언어 모델을 새 도메인에 적응시키면 근본적인 평가 문제가 생긴다. 학습 코퍼스가 모델이 이미 알고 있는 내용과 겹치면, 성능 향상을 새로운 학습이 아니라 기존 지식 탓으로 깔끔하게 구분할 수 없기 때문이다. 이는 지식 집약·과업 경량(knowledge-intensive, task-light, KHTL) 로봇 배치—의약품 조제, 유해 물질 취급, 시설별 규정 등—에서 특히 중요하다. 여기서 물리적 과업은 단순하지만 적용 규칙은 독점적이며 안전에 critical하고, 광범위한 현장 시험은 비용이 크거나 위험하다. 본 논문은 ORDER(Ontology-driven Decision-making for Embodied Reasoning)를 제안한다. ORDER는 허구 세계 위에 구축된 벤치마크로, 어떤 모델의 사전학습 데이터에도 등장할 수 없는 자기 일관적 물리를 정의하는 342,069토큰 규모의 합성 코퍼스를 바탕으로 한다. ORDER는 500문항 지식 시험(ORDER-BENCH)과 더 어려운 구성(compositional) 과업 ORDER-SPATIAL—익숙한 장면과 완전히 새로운 장면 모두에서 안전한 조작을 위한 객체 순서 정하기—to 짝지운다. 적응 없이 GPT-4.1은 ORDER-SPATIAL에서 우연 수준 이하(Kendall's tau = 0.441)를 기록하며, 선험(prior)이 발명된 물리와 적극적으로 충돌함을 보여준다. 연속 사전학습 이후 소형 모델은 익숙한 장면과 새로운 장면 모두에서 크게 향상되어, 암기가 아닌 진정한 세계 모델 유도(world-model induction)의 증거를 제공한다. 이어 로봇 파이프라인까지 확장한다. 지식 시험을 잘 통과하는 모델도 추가 스킬 적응(skill-adaptation) 단계 없이는 유효하고 실행 가능한 계획을 종종 만들지 못한다. 그 단계 이후 완전 오프라인 소형 모델은 GPT-4.1이 동일 규칙에 대한 검색(retrieval) 접근을 제공받는 경우에도 GPT-4.1을 능가한다(Kendall's tau = 0.848 대 0.606). 이는 human-in-the-loop 보정이 포함된 시뮬레이션 iiwa7 팔에서 지각부터 실행까지의 전체 루프로 시연된다. 전반적으로 실제 계획 품질을 예측하는 것은 지식 시험 정확도가 아니라 ORDER-SPATIAL 성능이다.
교훈으로부터의 진화: 연산별 표 질의응답을 위한 스킬 증강 표 그래프 추론
Evolving from Lessons: Skill-Augmented Table Graph Reasoning for Operation-wise Table Question Answering
표 질의응답(TableQA)은 표를 추론하여 사용자 질의에 답하는 것을 목표로 한다. 기존 연구는 모든 질문을 동일하게 취급하고 전체 정확도만으로 평가하여, LLM이 단순 조회에는 뛰어나지만 집계(aggregation) 및 산술(arithmetic)과 같은 복잡한 연산에는 어려움을 겪는다는 중요한 현실을 가린다. 이러한 격차를 드러내기 위해, 세분화된 질문 분류체계를 갖춘 새로운 연산별 표 질의응답(Operation-wise TableQA) 과제를 도입하고, 평가를 위해 WikiTQ-ow와 TabFact-ow라는 두 데이터셋을 공개한다. 모델링 병목 측면에서, 기존 방법은 표를 선형화된 텍스트로 평탄화하여 고유 구조를 훼손하고 ``lost-in-the-middle'' 문제를 유발하며, 이는 복잡한 행 간 추론의 주요 장벽이 된다. 또한 이들은 일반적으로 처음부터 추론하여, 유사한 연산 간에 공유되는 재사용 가능한 패턴을 간과한다. 이러한 한계를 해결하기 위해, 자기 진화(self-evolving) 구조화 추론을 위한 스킬 증강 표 그래프 추론(Skill-augmented Table Graph Reasoning, SkillTGR) 프레임워크를 제안한다. 구체적으로 SkillTGR는 명시적인 행-열-셀 구조를 갖춘 속성 그래프(attributed graph)로 표를 표현하며, LLM이 그래프 순회(graph traversal) 추론을 위해 증거 서브그래프(evidence subgraph)를 검색하기 위해 동적 체인을 계획하고 실행한다. 이를 바탕으로 SkillTGR는 인지적 휴리스틱(cognitive heuristics) 하에서 추론 궤적(reason trajectories)을 추상적 스킬로 증류하는 계층적 SkillBank를 구축한 뒤, 성공 및 실패 스킬을 모두 하이브리드 검색하여 대조적 증강 표 그래프 추론(contrastive augmented table graph reasoning)을 수행함으로써 지속적인 자기 진화를 가능하게 한다. 광범위한 실험 결과 SkillTGR는 전체적으로 평균 5.91%, 연산별로 6.03%의 성능 향상을 달성했으며, 토큰 소비를 19.76%, 추론 지연 시간을 27.64% 감소시킨다. 코드와 데이터는 논문 게재 후 공개될 예정이다.
그라운드 트루스 우선: 에이전트 메모리를 위한 종단 평가 도구와 메모리 아키텍처 순위의 기간 교차
Ground Truth First: A Longitudinal Evaluation Instrument for Agent Memory, and the Tenure Crossover in Memory-Architecture Rankings
LLM-에이전트 메모리 벤치마크는 일반적으로 대화를 먼저 생성한 뒤 답변 키를 추출하는데, 이 과정에서 기록된 라벨 오류와 오염(contamination) 문제가 있으며, 대부분 짧은 상호작용 이력만 측정한다. 우리는 파이프라인을 뒤집는다: 시드가 주어진 life-script 샘플러가 어떤 텍스트도 존재하기 전에 유효 기간, 변동성 클래스, 소스 채널을 갖춘 사실을 생성하고, LLM 렌더러가 이벤트별 사실 매니페스트로부터 채팅과 이메일을 작성하며, 충실도 검증기가 심어진 모든 사실을 확인하고, 질문은 스크립트로부터 기계적으로 생성되므로 정답(gold answer)은 구조상 스크립트-유효하며 답변 가능성에 대해 별도로 검증된다. 합성·가상화 코퍼스(~380개 질문, 15유형)는 우리가 조사한 벤치마크에 없는 특성을 포함한다: 사실별 유효 기간, 발신/수신 신뢰 구분, 무해한 하네스 내 주입(injection) 프로브, as-of-date 질문 세트. 메모리 없는 대조군(고정 답변기, 버전 관리된 LLM 심판, 3회 반복, 2개 시간 지평)에 대해 다섯 가지 메모리 아키텍처를 벤치마킹한 결과, 백엔드 순위가 이력 길이에 따라 역전된다: 3주에서 선두인 예산 제한 큐레이션 맵 메모리는 9주까지 가면 퇴출(evicted)된 내용의 재현율이 96%에서 72%로 떨어지는 반면, 출처(provenance) 유형 그래프는 90%까지 상승한다; 이 역전은 완전한 교차-패밀리 재심사 하에서 6명 사용자 모두에서 양의 방향으로 나타난다(exact p=0.031). 전체 렌더링 이력 기준선은 짧은 지평에서 최고 메모리 시스템과 동률이거나 이를 초과하지만, 9주에서는 심판 독립적 이점이 없으며, 읽기 비용은 약 2배이다. 작성 단계 품질은 하류 품질과 강하게 상관한다(약하게 작성된 사실은 24% vs 2% 실패), 주입 저항성은 출처 경계가 표현(representation)을 통해 유지되는지를 추적했다. 계층형 아키텍처는 두 체제 모두에서 메모리 시스템 중 최고 성능(단기 지평 96.8%)을 보이며, 코퍼스 생성기와 하네스와 함께 Veracium이라는 오픈소스 라이브러리로 공개된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.