Doubly Perturbed Task Free Continual Learning
원문 초록
Task Free online continual learning (TF-CL) is a challenging problem where the model incrementally learns tasks without explicit task information. Although training with entire data from the past, present as well as future is considered as the gold standard, naive approaches in TF-CL with the current samples may be conflicted with learning with samples in the future, leading to catastrophic forgetting and poor plasticity. Thus, a proactive consideration of an unseen future sample in TF-CL becomes imperative. Motivated by this intuition, we propose a novel TF-CL framework considering future samples and show that injecting adversarial perturbations on both input data and decision-making is effective. Then, we propose a novel method named Doubly Perturbed Continual Learning (DPCL) to efficiently implement these input and decision-making perturbations. Specifically, for input perturbation, we propose an approximate perturbation method that injects noise into the input data as well as the feature vector and then interpolates the two perturbed samples. For decision-making process perturbation, we devise multiple stochastic classifiers. We also investigate a memory management scheme and learning rate scheduling reflecting our proposed double perturbations. We demonstrate that our proposed method outperforms the state-of-the-art baseline methods by large margins on various TF-CL benchmarks.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LazyAgent: 수요 기반 구체화 및 에이전트 프로그램의 물리적 최적화
LazyAgent: Demand-Driven Materialization and Physical Optimization of Agentic Programs
행동에 앞서 계획을 세우는 에이전트 런타임은 각 단계가 준비되는 즉시 실행한다. 이러한 런타임도 그 벤치마크도 준비된 단계와 요청이 필요로 하는 단계를 구별하지 않으며, 그 차이는 크다. 154개의 프로덕션 워크플로에 대한 303개 요청에서, 목표가 달성되면 멈추는 즉시 실행(eager) 런타임은 CPU의 62.2%를 요청이 전혀 필요로 하지 않은 작업에 소비한다. LazyAgent는 우리가 아는 한 에이전트 런타임을 위한 수요 기반 실행의 최초의 완전한 정식화이다. 그 규칙은 준비된 단계를 현재 요청이 필요로 할 때만 실행하고, 계획이 바뀌어도 그 답을 정확하게 유지하는 것이다. 프로그램에서 도출된 수요 집합이 모델 호출 없이 한 번의 순회로 이를 결정하므로, LazyAgent는 요청 밖에서는 아무것도 소비하지 않는다. 수요가 정확하게 정의되기 때문에 그 동작이 증명되며, 빌더는 어떤 실행 이전에도 수요가 어디에서 절감해야 하고 어디에서 동률이어야 하는지 알 수 있다. 계획이 실행되기 전에 비용이 알려지므로, LazyAgent는 쿼리 옵티마이저로서 후보 워크플로 중에서 선택할 수 있다. 해당 즉시 실행 런타임과 비교한 실측에서, LazyAgent는 최첨단 LLM이 패치를 작성하는 릴리스 게이트에서 컨테이너 시간을 51.7%와 52.1% 절감하고, 동일한 품질의 DataSciBench 계획에서 토큰을 12.8%, 실제 LangGraph 애플리케이션에서 비용을 24.0% 절감하며, 손실은 없다. LLM이 실제 코드 실패 후 재계획할 때는 해결 가능한 모든 목표를 목표당 토큰 11.7% 적게 사용하여 해결한다. 프로덕션 워크플로에서는 CPU를 42.0% 절감하고, 요청이 전체 그래프를 필요로 하는 경우에는 정확히 동률이며, 오버헤드는 최대 0.43%이다. 동일한 집합이 모든 물리적 연산을 조정하는데, 프로젝션은 공유 CI 단계의 80-89%를 절감하는 반면 동일한 즉시 실행 대조군은 0.0%를 절감한다. 공개 에이전트 벤치마크는 즉시 실행 런타임과 같은 방식으로 설계되어 있어 이 차이를 보여줄 수 없다. 우리는 이들의 과제로 테스트 프로그램을 구성하였으며, 업계에 에이전트 워크플로가 얼마나 효율적으로 실행되는지를 측정하는 벤치마크를 구축할 것을 촉구한다.
DENSE: 자기 정제를 위해 에이전트 궤적을 근거 기반 지름길 트리로 증류하기
DENSE: Distilling Agent Trajectories into Evidence-Grounded Shortcut Trees for Self-Refinement
온라인 에이전트(agent) 배포 환경에서는 대규모이자 행동적으로 다양한 실행 궤적(trajectory)이 축적되지만, 이에 대한 사전 정의된 주석 기준은 거의 존재하지 않습니다. 따라서 유용한 근거를 추출하려면 비용이 많이 드는 수동 주석이나 확장이 어려운 검증기(verifier) 신호가 필요하며, 이로 인해 귀중한 근거가 중복되거나 불완전하고 실패한 실행 속에 묻히게 됩니다. 이는 한 가지 질문을 제기합니다. 실행 후 보상이나 정답 레이블 없이, 궤적 자체에서 어떻게 재사용 가능한 경험을 증류(distillation)할 수 있을까요? 이러한 과제를 해결하기 위해, 저희는 궤적에서 파생된 근거를 중첩 지름길 트리(nested shortcut tree)로 구성하는 DENSE(Distilling Evidence from Nested Subtask Executions)를 소개합니다. DENSE는 중복된 시도를 통합하고, 해결된 하위 작업을 식별하며, 미해결된 요구사항과 함께 유용한 단계를 유지함으로써 노이즈가 많은 실행 흔적을 구조화되고 재사용 가능한 작업 해결 피드백으로 변환합니다. 이러한 피드백이 에이전트가 동일한 작업을 재시도하는 데 도움이 되는지 평가하기 위해, 초기 시도와 피드백 기반 재시도 간의 성공률 변화를 측정하는 REFIT을 설계했습니다. 외부 결과 감독이 없는 피드백 방법 중 DENSE는 Terminal-Bench 2.1에서 4개 에이전트 모델에 걸쳐 가장 높은 엄격 통과율(strict pass rate)을 달성했으며, 재시도 시 19.0-43.6% 더 적은 에이전트 토큰(token)을 사용하면서 초기 시도 대비 7.12-21.81%p 향상되었습니다. 또한 어려운 작업에서 DENSE는 4개 모델 모두에서 여러 차례의 피드백 반복에 걸쳐 누적 통과율 면에서 지속적으로 자기 반성(self-reflection)을 능가하여, 지속적인 에이전트 자기 개선에 대한 강력한 잠재력을 입증했습니다.
SafeCoEvo: 테스트 시점에서 LLM 에이전트를 위한 안전 하네스 및 가드의 공진화
SafeCoEvo: Co-Evolving Safety Harnesses and Guards for LLM Agents at Test-Time
실제 환경에 배포된 대규모 언어 모델(LLM) 에이전트(agent)는 새로운 태스크와 안전성(safety) 위험에 지속적으로 직면하지만, 실행 피드백은 대개 각 태스크가 완료된 후에야 얻을 수 있습니다. 그러나 기존의 자기 진화(self-evolving) 접근 방식은 고정되어 반복적으로 접근 가능한 태스크 분포에 대한 여러 차례의 최적화(optimization)에 주로 의존하므로, 과거 태스크에서 축적된 경험만을 활용해 미래의 미확인 태스크에 대한 안전 결정을 개선해야 하는 실제 배포 환경에서의 테스트 시점 적응(test-time adaptation)과는 근본적으로 다릅니다. 이러한 한계를 해결하기 위해, 우리는 런타임에 축적된 경험으로부터 외부 안전 시스템이 지속적으로 적응할 수 있도록 지원하는 LLM 에이전트 안전을 위한 테스트 시점 하네스-가드(Harness-Guard) 공진화 프레임워크인 SafeCoEvo를 제안합니다. SafeCoEvo는 서로 다른 시간 척도에서 두 가지 상호 보완적인 안전 역량을 공동으로 향상합니다. S-Harness는 최근의 런타임 경험을 후속 태스크에 신속하게 영향을 미칠 수 있는 갱신 가능한 명시적 안전 지식으로 빠르게 외재화하는 반면, GuardVPO는 더 긴 시간 척도에 걸쳐 축적된 런타임 안전 경험을 매개변수 기반 위험 판단 역량으로 내재화합니다. 단기적인 빠른 적응과 장기적인 역량 강화를 결합함으로써 SafeCoEvo는 에이전트의 안전 역량을 지속적으로 개선하여, 가장 강력한 기준선(baseline) 대비 안전하지 않은 결과 발생률을 10.05% 줄이는 동시에 태스크 성공률을 12.15% 향상해 안전성과 태스크 유용성 모두에서 동시 이득을 달성합니다.
ARGOS: 컴퓨팅 연속체에서의 서비스 오케스트레이션을 위한 강화학습 기반 다차원 탄력성
ARGOS: Reinforcement Learning-Driven Multidimensional Elasticity for Service Orchestration in the Computing Continuum
컴퓨팅 연속체(Computing Continuum)의 데이터 집약적 서비스는 용량이 제한적이고 불균등한 이기종 노드 전반에서 분석 품질, 자원 사용량, 비용 간의 균형을 유지해야 합니다. 자원 스케일링이 용량 한계에 도달하면 수요 변화와 클러스터 압박을 클라이언트가 정의한 품질 범위를 위반하지 않으면서 흡수해야 하므로 이러한 균형을 맞추기가 특히 어려워집니다. 기존 오케스트레이터는 주로 자원, 배치 또는 복제본을 조정하는 반면, 커버리지, 샘플, 최신성과 같은 분석 요구사항은 고정된 상태로 유지합니다. 본 논문에서는 용량 인식 승인 제어(capacity-aware admission)의 지원을 받아 분석 품질 및 클러스터 압박에 대한 요청별 마르코프 결정 과정(MDP)으로 다차원 탄력성을 정형화하는 엔드투엔드 컨트롤러인 ARGOS(Adaptive Reinforcement Learning-Driven Governance for Orchestrated Services)를 제시합니다. ARGOS는 이기종 클러스터에서 통제된 워크로드와 시간에 따라 변하는 다중 테넌트 유입 환경을 바탕으로 평가되었습니다. 통제된 시나리오 전반에서 심층 강화학습 정책은 비학습 기반 베이스라인을 일관되게 능가하며 독립적으로 튜닝된 최적 고정 참조 모델에 근접했습니다. 별도의 실제 환경 평가에서는 현실적이고 포화된 유입 조건에서 정적 중간값 대비 성능 향상을 보였으며, 기록된 CPU 또는 메모리 위반은 없었으나 커버리지 위반은 일부 남아 있었습니다. 이러한 결과는 자원 스케일링만으로는 불충분할 때 심층 강화학습이 다차원 탄력성을 위한 적응형 메커니즘으로 유효함을 뒷받침합니다.
MobiAgent: 장기 모바일 조작을 위한 이중 루프 재귀적 정책 자가 개선
MobiAgent: Dual-Loop Recursive Policy Self-Improvement for Long-Horizon Mobile Manipulation
장기(long-horizon) 모바일 조작은 복합적인 실행 오류와 이동(locomotion) 및 로봇 팔 제어 간의 용량 간섭(capacity interference)으로 인해 상당한 어려움을 야기합니다. 최근의 비전-언어-행동(VLA, Vision-Language-Action) 모델은 단기 태스크에는 뛰어나지만 다단계 목표에 필요한 계층적 추론 능력이 부족합니다. 게다가 기존의 계층적 에이전트는 경직된 하위 태스크 매핑, 유연하지 못한 재계획(replanning), 그리고 지속적인 학습의 부재로 어려움을 겪습니다. 이러한 한계를 해결하기 위해, 우리는 견고한 배포 실행과 재귀적 정책 자가 개선을 연결하는 이중 루프 에이전트 프레임워크인 MobiAgent를 소개합니다. 배포 중에 내부 루프(Inner Loop)는 구성 가능성이 높은 원자적 기술(atomic skills)을 통해 고차원 추론을 저수준 제어와 분리합니다. 이는 축소 지평 계획(receding-horizon planning)과 시각적 반추(visual reflection)를 위해 비전-언어 모델을 활용하며, 기술을 동적으로 구성하여 견고한 오류 복구를 보장합니다. 이러한 기술들은 통일된 VLM 백본을 공유하는 특화된 플로우 매칭(flow-matching) 전문가에 의해 실행되어 용량 간섭을 완화하는 동시에 재사용성을 극대화합니다. 동시에 외부 루프(Outer Loop)는 배포 롤아웃을 자율적으로 분할 및 검증하고, 이를 클러스터링하여 원자적 기술을 발견하며, 인간의 주석 없이 스킬 라이브러리를 지속적으로 미세조정함으로써 자동화된 평생 학습을 주도합니다. RoboCasa, BEHAVIOR-1K, 그리고 실제 환경 태스크에서의 평가는 MobiAgent의 효과를 입증합니다. 본 모델은 BEHAVIOR-1K에서 $\pi_{0.5}$-TA보다 22.5%p 높은 성능을 보이며 실행 실패로부터의 견고한 복구를 가능하게 합니다. 자율적인 데이터 재활용을 통해 RoboCasa에서는 성공률이 7.50%에서 27.50%로 향상되었고, Astribot S1에서는 32.5%에서 57.5%로 향상되었습니다.
ReLiveGym: 수 주간 재현된 현실 스트림 상에서 장기 생존 에이전트 평가
ReLiveGym: Evaluating Long-Lived Agents over Weeks of Replayed Reality
대규모 언어 모델(LLM) 에이전트가 널리 채택됨에 따라, 지속적인 모니터링이나 반복적인 행동이 필요한 작업(예: 시장 분석)에 점점 더 많이 배포되고 있습니다. 이러한 에이전트는 며칠 또는 몇 주 동안 사람의 개입 없이 운영되고, 적절한 타이밍에 행동하며, 시간에 따른 동적 환경에 적응할 것으로 기대됩니다. 그러나 기존의 장기(long-horizon) 에이전트 연구는 시간에 따라 변화하지 않는 정적인 환경을 고려하는 경우가 많아 이러한 문제를 완전히 포착하지 못합니다. 본 논문에서는 에이전트가 시간 순서대로 재현된 실제 뉴스, 시장 및 소셜 미디어 스트림의 시뮬레이션된 수 주에 걸쳐 드물게 행동하는 장기 생존(long-lived) 작업 진단 평가 환경인 ReLiveGym을 소개합니다. 이 작업들은 다양한 수준의 시간 민감도, 추론 강도 및 반복성을 아우릅니다. 본 연구에서는 8개의 베이스 언어 모델에 걸쳐 모델 선택과 하네스(harness) 설계가 이러한 장기 생존 작업에서 에이전트 성능에 어떤 영향을 미치는지 조사합니다. 실험 결과, 에이전트가 언제 행동할지 결정하는 방식이 장기 생존 작업을 위한 중요한 하네스 설계 축으로 나타났으며, 최적의 설계는 작업에 따라, 때로는 모델 선택에 따라서도 달라진다는 점을 보여줍니다. 또한 사후 피드백(hindsight feedback)을 통한 지속적 학습이 성능에 미치는 영향과 이러한 장기 생존 작업에서 관찰되는 실패 모드를 어떻게 해결하는지 평가합니다. 이러한 발견은 모델 선택, 행동 타이밍 메커니즘, 피드백 활용이 장기 생존 에이전트 설계에서 중요한 고려 사항임을 시사합니다. 코드: https://github.com/SaharaLabsAI/ReLiveGym
토론
이 논문과 연결된 포럼 글이 아직 없습니다.