PG-SFT: 오프라인 에이전트 미세조정에서 능력 획득과 유지 간의 균형 잡기
PG-SFT: Balancing Capability Acquisition and Retention in Offline Agent Fine-Tuning
한국어 초록
오프라인 에이전트(agent) 궤적에 대한 지도 미세조정(SFT)은 특화된 도구 사용 에이전트를 학습(training)하기 위한 표준적인 접근법이지만, 모델이 추론과 행동을 토큰(token) 단위로 모방하도록 강제하는 것은 베이스 모델의 다른 능력(예: 일반 추론, 도구 호출, 코드 생성)을 손상시킬 수 있습니다. 본 연구에서는 에이전트 궤적 SFT 과정에서 새로운 능력을 획득하는 것과 기존 능력을 보존하는 것 사이의 트레이드오프(trade-off)를 어떻게 더 잘 균형 잡을 수 있는지에 대해 중점적으로 연구합니다. 본 실험 환경에서 여러 베이스라인을 비교한 결과, 표준 SFT는 목표 벤치마크 점수를 향상시키는 반면 목표 외 여러 벤치마크 점수를 낮추었습니다. 한편, KL 페널티를 사용해 분포 드리프트를 단순히 억제하거나 업데이트 크기를 제한하는 방식으로는 이러한 성능 저하 추세를 피할 수 없었습니다. 최근의 토큰별 적응형 학습 목표에서 영감을 받아, 본 연구에서는 에이전트 궤적의 턴(turn) 수준 정보 이득을 지표로 활용하여 지도(supervision) 강도를 조절하는 Privilege-Guided SFT(PG-SFT)를 제안합니다. PG-SFT는 평가된 벤치마크에서 목표 작업 성능의 미미한 저하를 대가로 분포 드리프트와 광범위한 능력 저하를 대폭 줄여, 관찰된 트레이드오프를 훨씬 더 유리하게 만듭니다. 본 연구의 결과는 획득-유지 간의 트레이드오프 균형이 모델이 기본 동작에 고정되어 있는지 여부뿐만 아니라, 지도가 해당 동작에서 어디서 얼마나 강하게 벗어나야 하는지에도 달려 있음을 시사합니다.
원문 초록
Supervised fine-tuning (SFT) on offline agent trajectories is the standard approach for training specialized tool-using agents, but forcing models to imitate reasoning and actions token by token may harm other capabilities (e.g., general reasoning, tool calling, code generation) of the base model. In this work, we focus on studying \emph{how to better balance the trade-off between acquiring new capabilities and preserving existing ones during agent trace SFT}. By comparing several baselines in our setup, standard SFT improves the target benchmark while lowering several non-target benchmark scores; meanwhile, simply constraining distributional drift using KL penalty or limiting the update magnitude did not avoid this regression trend. Motivated by recent token-wise adaptive learning objectives, this work proposes \textbf{Privilege-Guided SFT (PG-SFT)} to leverage turn-level information gain of agent trajectories as an indicator to adjust supervision strength. PG-SFT yields a more favorable observed trade-off on the evaluated benchmarks, substantially reducing distributional drift and broad capability degradation at the cost of slight degradation in target-task performance. Our findings suggest that balancing the acquisition--retention trade-off depends not only on whether the model is anchored to its base behavior, but also on where and how strongly supervision should depart from that behavior.}
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLM 지속 학습에서 특이벡터 선택을 통한 안정성-가소성 균형 유지
Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning
대규모 언어 모델(LLM)의 도메인 특화 지속 적응(continual adaptation)은 치명적 망각(catastrophic forgetting)을 유발할 위험이 있어, 새로운 능력을 습득하는 것과 사전학습(pretraining) 중에 학습된 능력을 보존하는 것 사이의 근본적인 긴장 관계를 형성합니다. 매개변수 효율적 미세조정(PEFT)은 학습 가능한 매개변수 수를 제한하여 이 문제를 완화하지만, 기존 방법들은 가소성(plasticity)을 어디에 할당하고 안정성(stability)을 어디에 보존해야 할지 결정하는 원칙적인 단위를 결여하고 있습니다. 본 연구에서는 이러한 절충(trade-off)을 관리하기 위한 자연스러운 단위로 특이벡터 채널(singular-vector channel)을 식별합니다. 각 채널은 입력-출력 변환을 나타내며, 이는 새로운 지식을 습득하기 위해 업데이트되거나 사전학습된 능력을 보존하기 위해 고정될 수 있습니다. 이러한 관점을 바탕으로, 특이벡터 채널을 선택적으로 업데이트하는 매개변수 효율적 지속 학습 방법인 SVC를 제안합니다. 미세조정 전에 SVC는 도메인 특화 데이터를 사용하여 각 채널의 적응 이점을 추정하고, 고정된 공개 일반 도메인 코퍼스를 망각 비용 추정을 위한 과거 활성화 프록시로만 사용합니다. 그런 다음 니(knee) 기반 비용 스크리닝, 파레토 프론트(Pareto-front) 필터링, 오츠 임계값 처리(Otsu thresholding)를 통해 이 점수들을 바탕으로 학습 가능한 채널을 적응적으로 선택합니다. 4개 LLM 제품군과 8개 다운스트림 태스크에 걸친 실험 결과는 SVC가 기존 PEFT 베이스라인 대비 강력한 다운스트림 성능을 달성하는 동시에 사전학습된 능력을 더 잘 보존함을 보여줍니다. 채널 스코어링 및 선택에 대한 추가 분석은 특이벡터 채널 수준에서의 선택적 가소성이 효과적인 지속적 LLM 적응을 가능하게 함을 입증합니다.
대규모 언어 모델의 지속적 사전학습을 위한 피셔 유도 서브모듈러 데이터 선택
Fisher-Guided Submodular Data Selection for Continual Pre-Training of Large Language Models
데이터 선택은 웹 규모 말뭉치에 노이즈가 많고 토큰 예산이 한정된 대규모 언어 모델(LLM) 학습에서 이미 핵심적인 병목 지점입니다. 지속적 사전학습(Continual Pre-Training, CPT)에서 이는 망각 제어 문제로 전환됩니다. 잘못 선택된 타깃 도메인 말뭉치는 사전학습된 체크포인트에 인코딩된 역량을 덮어써 버릴 수 있습니다. 기존의 CPT 관행은 펄플렉서티(perplexity)와 같은 매개변수 무관 스칼라값으로 후보를 점수화하거나, 다수의 일반 도메인 리플레이(replay) 토큰을 추가로 소모하여 망각을 완화합니다. 그러나 두 전략 모두 후보 데이터에 대한 학습이 모델 매개변수를 어떻게 변화시킬지 직접적으로 고려하지 않습니다. 본 연구에서는 손실 기반 선택을 사용할 경우 CPT 이후 피셔 대각 성분(Fisher diagonal)이, 사전학습 모델이 이미 확정해 둔 바로 그 고피셔(high-Fisher) 좌표에서 하향 표류(drift)하는 반면 저피셔 좌표는 대체로 건드리지 않은 채로 남겨둔다는 점을 보입니다. 이러한 비대칭성은 치명적 망각(catastrophic forgetting)의 매개변수 공간 메커니즘을 드러냅니다. 이러한 관찰에 착안하여, 각 후보 데이터의 그래디언트를 확정된 매개변수 방향에 대한 섭동을 측정하는 앵커(anchor) 성분과 제약 없는 저피셔 부분공간에서의 업데이트 역량을 측정하는 프론티어(frontier) 성분으로 분해하는 피셔 인식 CPT 선택기를 제안합니다. 우리는 로그 행렬식(log-determinant) 서브모듈러 목적함수로 이러한 신호들을 종합하며, 확장 가능한 스트리밍 데이터 선택 파이프라인을 사용해 단일 패스(single pass)로 이를 최적화합니다. 의료 데이터에 대한 TinyLlama-1.1B 및 Llama-3.1-8B CPT 실험에서, 제안한 선택기는 미보유(held-out) 사전학습 벤치마크에 대한 망각을 억제하면서 타깃 도메인 품질을 개선합니다. 가장 중요한 점은 망각 인식 리플레이 방식보다 토큰 효율성이 대폭 향상된다는 것입니다. 선택된 1B 토큰만으로도 적응과 망각 방지 모두에서 10B 토큰으로 학습된 리플레이 전략을 능가하여 10배의 토큰 효율성 이점을 달성합니다.
금융 분야 음성에 지속 학습 정규화가 필요한가? 실적 발표 컨퍼런스 콜 ASR에서의 EWC 및 mini-KFAC 연구
Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR
실적 발표 컨퍼런스 콜(Earnings call) 전사는 새로운 녹음 데이터를 통해 자동 음성 인식(ASR) 시스템을 업데이트하지만, 이전에 학습한 금융 음성 패턴에 대한 치명적 망각(catastrophic forgetting) 위험이 존재하는 현실적인 지속 학습(continual learning) 시나리오를 제시합니다. 일반 도메인 음성 코퍼스에서 학습된 Whisper-small을 Earnings22 벤치마크에 적응(adaptation)시킨 결과, 그 반대의 현상이 나타났습니다. 평가된 모든 방법론이 적응 과정에서 망각을 겪기보다는 동일한 도메인의 유보(held-out) 금융 음성 데이터에서 성능 향상을 보였습니다. 이러한 태스크 상호보완성(task complementarity)으로 인해 정규화(regularization)는 오히려 역효과를 낳게 됩니다. 그럼에도 불구하고 정규화가 필요한 상황에서는, 층(layer)별 mini-Kronecker-Factored Approximate Curvature(mini-KFAC) 근사가 표준 대각 탄성 가중치 통합(diagonal Elastic Weight Consolidation, EWC)보다 더 낮은 단어 오류율(WER)과 더 안정적인 최적화를 달성하는 것으로 나타났습니다. 본 연구 결과는 지속 학습 제약을 적용하기 전에 태스크 상호보완성을 먼저 평가해야 하며, 제약이 필요한 경우에는 대각 EWC보다 mini-KFAC EWC를 선호해야 함을 시사합니다.
Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링
Dream to Remember: Continual Steering of Generalist Robot Policies with World Models
범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.
전문가가 더 빠르게 학습한다: 사전학습에서의 지식 구조화가 지식 업데이트 효율성을 결정한다
Specialists Learn Faster: Knowledge Organization in Pre-training Shapes Knowledge Update Efficiency
이상적인 (언어) 모델은 지식을 지속적으로 업데이트해야 한다. 기존 연구는 주로 학습 이후에 이러한 업데이트를 효율적으로 만드는 데 초점을 맞춰왔다. 본 연구에서는 사전학습 동안 시간에 따라 변화하는 지식의 구조화(organization)가 이후 업데이트의 효율성에 어떤 영향을 미치는지 조사한다. 시간순으로 정렬된 지식으로 학습된 모델은 가장 최근에 접한 지식에 특화되는데, 이러한 모델을 전문가(specialist) 모델이라 부른다. 반면, 동일한 지식을 무작위로 섞은 순서로 학습한 모델은 포함된 모든 시간대에 걸쳐 고르게 우수한 성능을 보이는데, 이러한 모델을 범용(generalist) 모델이라 부른다. 놀랍게도, 전문가 모델은 새로운 지식을 획득하는 데 범용 모델보다 훨씬 적은 업데이트 스텝을 필요로 한다. 이러한 이점을 설명하기 위해, 우리는 업데이트 비용을 모델의 최적화 동역학(optimization dynamics)과 연관시키는 법칙을 제1원리로부터 유도하였으며, 이는 실험 결과를 정확하게 예측한다. 이러한 발견을 바탕으로, 안정적인 과거 지식을 보존하면서도 현재 지식에 대한 효율적인 업데이트를 가능하게 하는 사전학습 데이터 구조화 전략을 설계한다. 또한 시간적 지식 구조화의 이점이 실제 사전학습된 모델과 기존의 지식 업데이트 도구에도 확장되며, 다른 지식 순서화 방식에도 일반화됨을 보인다. 프로젝트 페이지: https://horizon-lab.org/specialist/
컨텍스트와 메모리의 분리: 토큰 효율적인 테스트 시간 지속 학습을 위한 구조화된 메모리
Decoupling Memory from Context: Structured Memory for Token-Efficient Test-Time Continual Learning
대규모 언어 모델(LLM)은 에이전트가 도메인 특화 지식을 통합하고 경험을 통해 적응해야 하는 기업, 과학, 의료 분야의 애플리케이션에 점점 더 많이 배포되고 있습니다. 컨텍스트 엔지니어링은 추론(inference) 시점에 제공되는 지침, 전략, 근거를 통해 모델 동작을 개선함으로써 가중치(weight) 업데이트의 실용적인 대안을 제시합니다. 그러나 온라인에서 컨텍스트를 적응시키는 과정은 일반적으로 많은 비용이 드는 시행착오를 수반하며, 쿼리가 독립적으로 처리되는 경우가 많아 유용한 경험이 다음으로 이어지지 못합니다. 메모리 시스템은 상호작용 전반에 걸쳐 정보를 보존하여 이러한 한계를 해결하지만, 공유된 컨텍스트에 정보를 지속적으로 덧붙이는 방식은 컨텍스트가 확장됨에 따라 토큰(token) 비용 증가, 컨텍스트 윈도우(context window) 한계, 성능 저하 문제에 직면합니다. 본 논문에서는 컨텍스트 최적화(optimization)에 대한 통합된 정식화를 도입하고, 에이전트 메모리 시스템 업데이트가 모델의 컨텍스트에 대한 최적화 업데이트 절차로 해석될 수 있음을 보여줍니다. 이러한 관점은 메모리 설계와 그 효율성을 연구하기 위한 원칙적인 프레임워크를 제공하고자 합니다. 이어서 재사용 가능한 전략을 축적, 정제, 조직화하고 연결하는 경량 그래프 기반 메모리인 GraphMemory를 제안합니다. 각 쿼리에 대해 GraphMemory는 관련 서브그래프만을 검색하여, 모델에 전체 메모리를 노출하지 않고도 온라인 컨텍스트 적응을 가능하게 합니다. 제한된 검색 조건 하에서 검색되는 메모리의 양은 처리되는 예시 수가 증가하더라도 일정하게 유지됩니다. 실험 결과, GraphMemory는 베이스라인 대비 약 81~85% 적은 메모리 구축 토큰을 사용하면서도 경쟁력 있는 다운스트림 성능을 달성함을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.