작업 다양성은 체계적 전이를 유발하지만 지속적 강화학습을 저해한다
Task diversity produces systematic transfer but inhibits continual reinforcement learning
한국어 초록
지속적 강화학습(continual reinforcement learning, RL)은 새로운 작업에 대한 적응을 결코 멈추지 않는 에이전트(agent) 생성을 목표로 한다. 핵심 질문은 이러한 적응이 에이전트가 경험하는 작업의 다양성과 어떻게 상호작용하는가이다. 선행 연구는 다양하고 많은 작업에 대한 학습(training)이 강력한 제로샷(zero-shot) 및 문맥 내 적응 능력을 갖춘 에이전트로 이어진다는 점을 보여주었다. 그러나 이러한 연구들은 에이전트가 학습을 중단한 후, 즉 고정된 가중치 상태에서 평가를 진행했다. 일련의 분포 변화(distribution shift) 속에서 작업 다양성이 지속적인 학습 능력에 미치는 영향은 여전히 불분명하다. 본 연구에서는 작업을 정의하는 세 가지 독립적인 축, 즉 에이전트가 탐색해야 하는 맵 레이아웃, 상호작용해야 하는 객체, 그리고 하위 목표 의존성의 계층 구조를 매개변수 기반으로 제어할 수 있는 GPU 가속 지속적 RL 도메인인 Banyan을 소개한다. 연구진은 각 축을 따라 다양성을 높이면 체계적 전이(systematic transfer)가 유도된다는 점을 발견했다. 즉, 분포 변화로 인해 최적 정책의 구조가 바뀌더라도, 에이전트는 이전 작업 분포에서 달성한 성능에 근접한 상태로 새로운 작업 분포 학습을 시작한다. 다양성 증가는 체계적 전이를 향상시키지만, 지나치게 높은 다양성은 새로운 작업 분포에 지속적으로 적응하는 학습자의 능력을 저해함을 발견했다. 다양성이 증가함에 따라 학습자는 새로운 작업에서 달성하는 성공률이 정체 상태에 도달하지만, 추가적인 노출이 없음에도 이전 작업에 대한 성능은 지속적으로 향상된다. 이러한 현상은 여러 지속 학습 알고리즘, 메모리 아키텍처, 아키텍처 크기 전반에서 나타나며, 물리 기반 제어 도메인인 Kinetix에서도 확인된다. 연구진은 다중 작업 영역에서 지속적 RL을 연구하기 위한 통제 실험용 도메인으로 Banyan을 공개한다. 코드는 https://github.com/nhshah15/banyan 에서 확인할 수 있다.
원문 초록
Continual reinforcement learning (RL) aims to produce agents that never stop adapting to new tasks. A key question is how this interacts with the diversity of tasks an agent experiences. Prior work has shown that training on many diverse tasks leads to agents with strong zero-shot and in-context adaptation. However, this work evaluated agents after they'd stopped learning, i.e. with frozen weights. How task diversity affects an agent's ability to continue learning over a sequence of distribution shifts remains unclear. We introduce Banyan, a GPU-accelerated continual RL domain where one can parametrically control three independent axes that define a task: the map layouts an agent must navigate, the objects it must interact with, and the hierarchical structures of sub-goal dependencies. We find that increasing diversity along each axis induces systematic transfer -- that is, agents begin training on a new task distribution near the performance attained on the previous one, even when the shift changes the structure of the optimal policy. While increasing diversity improves systematic transfer, we find that too much diversity inhibits a learner's ability to continue adapting to new task distributions. As diversity increases, learners plateau in the success rate they achieve on new tasks, yet continue improving on old tasks -- even without further exposure to them. We find this phenomenon manifests across continual learning algorithms, memory architectures, architecture sizes, and in Kinetix -- a physics-based control domain. We release Banyan as a domain for running controlled experiments that study continual RL in the many-tasks regime. Code is available at https://github.com/nhshah15/banyan.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택
Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs
실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.
Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링
Dream to Remember: Continual Steering of Generalist Robot Policies with World Models
범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.
Train4Merge: OPD 기반 모델 병합을 위한 RL 대 SFT 교사 모델의 통제된 단일 교사 연구
Train4Merge: A Controlled Single-Teacher Study of RL vs. SFT Teachers for OPD-Based Model Merging
공유된 체크포인트로부터 학습된 도메인 전문가들은 온-정책 증류(OPD)를 통해 단일 학생 모델로 자신의 특화된 역량을 전이할 수 있습니다. 기존 연구는 주로 이러한 병합 과정을 개선하는 데 집중해 온 반면, 전문가들을 학습시키는 데 사용되는 알고리즘에 대한 체계적인 비교는 제한적이었습니다. 본 연구에서는 에이전트(Agentic), 추론(Reasoning), 인식(Perception) 영역에 걸쳐 지도 미세조정(SFT)과 강화학습(RL)에 대한 통제된 단일 교사 비교를 통해 어떤 학습 알고리즘이 OPD에 더 적합한 교사 모델을 생성하는지 조사합니다. 교사 모델과 학생 모델은 동일한 Qwen3.5-9B 초기화를 공유하며, 두 교사 유형은 유사한 작업 성능 수준에서 비교됩니다. 실험 결과에 따르면 RL 교사 모델은 세 가지 도메인 모두에서 더 뛰어난 학생 모델을 도출하고 교사 모델의 성능 향상분을 더 높게 회복합니다. 최고 체크포인트에서 RL 유도 학생 모델은 SFT 유도 학생 모델보다 각각 4.27, 1.50, 0.86%포인트 더 우수한 성능을 보였습니다. 에이전트 영역에서 최고 성능의 SFT 유도 학생 모델은 베이스 모델 대비 교사의 성능 향상분 중 44.44%만을 회복한 반면, 최고 성능의 RL 유도 학생 모델은 115.00%를 회복하여 교사를 능가했습니다. 추가 분석에 따르면 RL 교사 모델은 SFT 교사 모델보다 공유된 초기화로부터의 매개변수 변위가 더 작게 나타납니다. 이러한 발견은 RL 교사 모델이 학생의 시작점으로부터 더 적게 벗어남으로써 OPD를 통한 학습을 촉진하고 더 우수한 학생 모델로 이어진다는 가설을 뒷받침합니다.
드래곤체스를 위한 시간차 학습
Temporal-Difference Learning for Dragonchess
본 연구는 두 가지 적응형 AI 방법론인 진화적 전이학습(evolutionary transfer learning)과 TD(lambda)가 3차원 체스 환경인 드래곤체스(Dragonchess)에서 어떻게 작동하는지 조사합니다. 이 게임은 고유한 보드 구조와 계산 부하로 인해 플레이어에게 도전 과제를 제시하므로, 적응형 방법론이 새로운 환경에서 평가 휴리스틱을 어떻게 업데이트할 수 있는지 연구하기에 이상적인 환경을 제공합니다. 본 연구에서는 드래곤체스 엔진을 PyGame 엔진에서 C++로 다시 구현했습니다. 이를 통해 더 빠른 게임 플레이가 가능해져, 단일 소규모 토너먼트 대신 신뢰구간과 유의성 검정을 포함한 10,000회의 게임을 진행할 수 있었습니다. 라운드 로빈 토너먼트에서 두 적응형 방법론 모두 다른 모든 에이전트보다 뛰어난 성능을 보였습니다. 실험 결과, 진화된 평가 방식과 학습된 평가 방식 간에 통계적으로 유의미한 성능 차이는 없는 것으로 나타났습니다. 본 연구는 구조적으로 복잡하고 새로운 게임 도메인에서 적응형 방법론의 효용성을 입증합니다.
번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다
Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following
병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.
온라인 적응을 위한 베이지안 신경망의 전체 공분산 스무딩
Full-Covariance Smoothing of Bayesian Neural Networks for Online Adaptation
신경망의 층은 상태 공간 모델의 시간 단계로 취급할 수 있으며, 이는 베이지안 학습을 스무딩 문제로 바꾼다. 순전파는 네트워크를 통해 가우시안 모멘트를 전파하고, 역방향 Rauch–Tung–Striebel 패스는 가중치 사후분포를 닫힌 형으로 갱신한다. 이러한 방법은 불확실성을 고려하여 각 관측치로부터 단일 패스로 학습하며, 그래디언트 기반 반복이나 replay 없이 수행되므로 온라인 적응과 데이터 효율적 학습에 잘 맞는다. 그러나 기존 스무딩 기반 방법은 활성화에 걸친 공분산이 대각에만 제한되어 뉴런 간 상관을 버린다. 우리는 네트워크의 비선형 활성화를 통한 전체 공분산 전파를 가능하게 하는 교차 공분산 항등식으로 이 한계를 극복한다. 각 층의 아핀 출력만 가우시안으로 근사하는 층당 한 단계 스무더를 유도하며, 이는 잡음이 있는 관측을 갖는 결정론적 시스템과 출력 통계로 기술되는 확률적 시스템 모두에 적용된다. 비정상 분류, 온라인 역학 학습, 비전-언어-행동 모델의 정책 적응에서 이 방법을 시연하였고, 다른 스무딩 기반 방법보다 일반적으로 더 정확함을 확인하였다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
27 pages, 17 figures. v2 adds Kinetix, transformer, and continual-learning-method experiments. Code: https://github.com/nhshah15/banyan