Non-Stationary Learning of Neural Networks with Automatic Soft Parameter Reset
원문 초록
Neural networks are traditionally trained under the assumption that data come from a stationary distribution. However, settings which violate this assumption are becoming more popular; examples include supervised learning under distributional shifts, reinforcement learning, continual learning and non-stationary contextual bandits. In this work we introduce a novel learning approach that automatically models and adapts to non-stationarity, via an Ornstein-Uhlenbeck process with an adaptive drift parameter. The adaptive drift tends to draw the parameters towards the initialisation distribution, so the approach can be understood as a form of soft parameter reset. We show empirically that our approach performs well in non-stationary supervised and off-policy reinforcement learning settings.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링
Dream to Remember: Continual Steering of Generalist Robot Policies with World Models
범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.
온라인 적응을 위한 베이지안 신경망의 전체 공분산 스무딩
Full-Covariance Smoothing of Bayesian Neural Networks for Online Adaptation
신경망의 층은 상태 공간 모델의 시간 단계로 취급할 수 있으며, 이는 베이지안 학습을 스무딩 문제로 바꾼다. 순전파는 네트워크를 통해 가우시안 모멘트를 전파하고, 역방향 Rauch–Tung–Striebel 패스는 가중치 사후분포를 닫힌 형으로 갱신한다. 이러한 방법은 불확실성을 고려하여 각 관측치로부터 단일 패스로 학습하며, 그래디언트 기반 반복이나 replay 없이 수행되므로 온라인 적응과 데이터 효율적 학습에 잘 맞는다. 그러나 기존 스무딩 기반 방법은 활성화에 걸친 공분산이 대각에만 제한되어 뉴런 간 상관을 버린다. 우리는 네트워크의 비선형 활성화를 통한 전체 공분산 전파를 가능하게 하는 교차 공분산 항등식으로 이 한계를 극복한다. 각 층의 아핀 출력만 가우시안으로 근사하는 층당 한 단계 스무더를 유도하며, 이는 잡음이 있는 관측을 갖는 결정론적 시스템과 출력 통계로 기술되는 확률적 시스템 모두에 적용된다. 비정상 분류, 온라인 역학 학습, 비전-언어-행동 모델의 정책 적응에서 이 방법을 시연하였고, 다른 스무딩 기반 방법보다 일반적으로 더 정확함을 확인하였다.
ACLArena: 다단계 사후 학습에서의 에이전트 지속 학습
ACLArena: Agent Continue Learning in Multi-stage Post-training
산업 배포를 위한 범용 에이전트를 구축하려면 여러 역량을 통합해야 하며, 각 역량은 일반적으로 서로 다른 학습 단계에서 습득된다. 그러나 현재 에이전트 지속 학습(Agent Continual Learning, ACL)에 대해 잘 정립된 방법론은 없으며, 기존 통합 패러다임 간 트레이드오프에 대한 이해도 부족하다. 이 공백을 메우기 위해 ACL을 포괄적으로 연구·분석·평가하기 위한 프레임워크인 ACLArena를 제안한다. 우리는 먼저 순차적 학습 파이프라인을 구축하고, 모델 수준과 토큰 수준이라는 두 상보적 관점에서 망각과 일반화의 메커니즘을 설명하는 심층 분석을 수행한다. 이 분석을 바탕으로, 다중 교사 온-정책 지식 증류, 자기 증류 기반 미세조정, 모델 병합을 체계적으로 비교하여 이전에 학습한 역량을 회복하면서 새로 습득한 역량을 보존하는 능력을 평가한다. 광범위한 실험을 통해 단계 간 역량이 어떻게 전이되는지에 대한 상세한 이해를 얻는다. 마지막으로, 고품질 궤적에 대한 오프라인 리플레이와 강화학습(RL)을 통해 각각 특화된 다중 LoRA 전문가의 라우팅 네트워크를 결합한 새로운 ACL 방법론을 제안하여, 여러 도메인에 걸친 학습 능력을 크게 향상시킨다. 추론 및 에이전트적 과업 4가지에 대한 포괄적 실험을 도메인 내 및 도메인 외 설정 모두에서 평가한 결과, 우리 분석의 가치와 접근법의 효과가 입증된다.
다중 턴 장기 계획의 물리학: 단일 및 다중 교사 온-정책 에이전트 증류를 통한 사전학습에서 사후 학습까지
The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation
다중 턴 장기 계획은 파운데이션 모델 에이전트에게 중요하지만, 이를 근본적으로 개선하는 방법은 아직 불분명하다. 기존 모델은 통제 불가능하고 불투명한 인터넷 데이터로 학습되어, 계획 능력이 어떻게 습득·형성·통합되는지 파악하기 어렵다. 이 문제에 대응하기 위해 정밀한 통제를 가능하게 하는 통합된 통제형 다중 턴 환경을 제안한다. 이를 통해 세 단계에 걸친 장기 계획을 체계적으로 연구할 수 있다. (1) 사전학습 중 계획 능력 습득. 데이터 형식, 분포, 품질을 연구한다. 사고의 연쇄(CoT) 상태 전이 모델링을 통한 명시적 세계 모델(world model) 구축은 더 강한 장기 일반화를 제공한다. 원자적 스킬만으로는 조합적 일반화에 불충분하며, 소량의 장기 데이터가 효과적이다. 또한 차선의 궤적은 장기 구간에서 오류가 증폭되기 때문에 성능을 심각히 저해한다. (2) GRPO 및 OPD 사후 학습을 통한 계획 능력 형성. 상호 정보량(mutual information)을 통해 일반적 계획 패턴과 과제 특화 계획 지식을 구분한다. 계획 패턴에 대해 사후 학습의 세 가지 적용 영역—불필요, 유효, 미지원—을 식별한다. OPD는 더 일관된 갱신 방향을 제공하므로 저품질 및 장기 설정에서 GRPO보다 더 넓은 유효 영역을 갖는다. 계획 지식에 대해, 상이한 지식을 가진 교사로부터 보지 못한 절차를 증류하면 새로운 지식을 완전히 확립하지 못한 채 학생의 기존 세계 모델링을 손상시킬 수 있다. (3) MOPD 사후 학습을 통한 계획 능력 통합. 다중 교사 온-정책 증류(MOPD)가 환경 간 공유 계획 패턴으로 수렴함으로써 능력을 통합함을 보인다. 호환 가능한 패턴은 환경 간 일반화를 가능하게 하고, 부분적으로 공유된 패턴은 지속 학습(continual learning)을 지원하며, 완전히 상충하는 패턴은 심각한 간섭을 유발한다.
Reasoning on a Budget: Miniaturizing DeepSeek R1 with SFT-GRPO Alignment for Instruction-Tuned LLMs
Meta Reinforcement Learning for Multi-Task Offloading in Vehicular Edge Computing
토론
이 논문과 연결된 포럼 글이 아직 없습니다.