Sparse Diffusion Policy: A Sparse, Reusable, and Flexible Policy for Robot Learning
원문 초록
The increasing complexity of tasks in robotics demands efficient strategies for multitask and continual learning. Traditional models typically rely on a universal policy for all tasks, facing challenges such as high computational costs and catastrophic forgetting when learning new tasks. To address these issues, we introduce a sparse, reusable, and flexible policy, Sparse Diffusion Policy (SDP). By adopting Mixture of Experts (MoE) within a transformer-based diffusion policy, SDP selectively activates experts and skills, enabling efficient and task-specific learning without retraining the entire model. SDP not only reduces the burden of active parameters but also facilitates the seamless integration and reuse of experts across various tasks. Extensive experiments on diverse tasks in both simulations and real world show that SDP 1) excels in multitask scenarios with negligible increases in active parameters, 2) prevents forgetting in continual learning of new tasks, and 3) enables efficient task transfer, offering a promising solution for advanced robotic applications. Demos and codes can be found in https://forrest-110.github.io/sparse_diffusion_policy/.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
원시 ECG 리플레이가 없는 지속적 ECG 배포에서 전문가 유지와 자율 소스 추론의 분리
Separating Expert Retention from Autonomous Source Inference in Raw-ECG-Replay-Free Continual ECG Deployment
다중 소스 심전도(ECG) 배포 환경에서는 이전의 원시 ECG 데이터를 보관하거나 재생(replay)할 수 없는 상황에서 새로운 소스가 유입될 수 있습니다. 고정된 백본(backbone) 상에서 소스별 분류기를 격리하면 매개변수(parameter) 간섭을 방지할 수 있지만, 소스를 알 수 없는 상태의 추론(inference)에서는 여전히 적절한 전문가를 선택해야 하는 문제가 남습니다. 본 연구에서는 고정된 1024차원 ECGFounder 특징(feature)을 기반으로 구축된 통제된 지속적 배포 프레임워크인 IRFE-ECG를 통해 이러한 차이를 연구합니다. 새로운 소스가 추가될 때마다 격리된 Balanced-Softmax 선형 전문가가 추가되며, 이전에 관찰된 소스들로부터 보존된 고정 학습(training) 특징과 소스 레이블을 사용하여 경량 라우터가 재적합(re-fit)됩니다. 본 논문의 주된 기여는 새로운 라우팅 아키텍처를 제안하기보다는 보존된 전문가 성능을 자율적 소스 추론과 분리하고, 그로 인해 발생하는 배포 격차(deployment gap)를 정량화하는 것입니다. CPSC, PTB-XL, Georgia, Chapman-Shaoxing 데이터셋 전반에서 소스 인식 전문가 선택은 $0.7915 \pm 0.0036$의 Macro-F1에 도달하여, 매칭된 오프라인 독립 헤드 기준치인 $0.7885 \pm 0.0009$에 근접합니다. 소스 ID가 없는 경우 MLP 라우터는 $0.7756 \pm 0.0027$을 달성하며, 상위 2개 마진(margin) 융합은 $0.7782 \pm 0.0022$에 도달합니다. 상위 2개 융합의 개선 폭은 작으며(+0.0026), 대응 부트스트랩(paired bootstrap) 검정에서 통계적으로 유의미하지 않았습니다. 세 가지 도메인 순서 전반에서 상위 2개 방식과 오라클 간의 격차는 0.0111-0.0133으로 유지되어, 이 프로토콜 내에서 지속적인 소스 추론 격차가 존재함을 보여줍니다. 신뢰할 수 있는 환자 식별자를 사용할 수 없었기 때문에 결과는 레코드 수준(record-level)으로 평가되었습니다. 이 방법은 원시 ECG를 재생하지 않지만 라우터 업데이트를 위해 고정된 특징 벡터를 보존하므로, 메모리가 전혀 필요 없는(memory-free) 방식이라기보다는 원시 ECG 리플레이가 없는(raw-ECG-replay-free) 방식입니다. 코드는 https://github.com/yufanlu221/IRFE-ECG 에서 공개되어 있습니다.
ACLArena: 다단계 사후 학습에서의 에이전트 지속 학습
ACLArena: Agent Continue Learning in Multi-stage Post-training
산업 배포를 위한 범용 에이전트를 구축하려면 여러 역량을 통합해야 하며, 각 역량은 일반적으로 서로 다른 학습 단계에서 습득된다. 그러나 현재 에이전트 지속 학습(Agent Continual Learning, ACL)에 대해 잘 정립된 방법론은 없으며, 기존 통합 패러다임 간 트레이드오프에 대한 이해도 부족하다. 이 공백을 메우기 위해 ACL을 포괄적으로 연구·분석·평가하기 위한 프레임워크인 ACLArena를 제안한다. 우리는 먼저 순차적 학습 파이프라인을 구축하고, 모델 수준과 토큰 수준이라는 두 상보적 관점에서 망각과 일반화의 메커니즘을 설명하는 심층 분석을 수행한다. 이 분석을 바탕으로, 다중 교사 온-정책 지식 증류, 자기 증류 기반 미세조정, 모델 병합을 체계적으로 비교하여 이전에 학습한 역량을 회복하면서 새로 습득한 역량을 보존하는 능력을 평가한다. 광범위한 실험을 통해 단계 간 역량이 어떻게 전이되는지에 대한 상세한 이해를 얻는다. 마지막으로, 고품질 궤적에 대한 오프라인 리플레이와 강화학습(RL)을 통해 각각 특화된 다중 LoRA 전문가의 라우팅 네트워크를 결합한 새로운 ACL 방법론을 제안하여, 여러 도메인에 걸친 학습 능력을 크게 향상시킨다. 추론 및 에이전트적 과업 4가지에 대한 포괄적 실험을 도메인 내 및 도메인 외 설정 모두에서 평가한 결과, 우리 분석의 가치와 접근법의 효과가 입증된다.
계산 접근 학습: 적응적 지능의 원리로서의 접근성 가소성
Learning to Access Computation: Accessibility Plasticity as a Principle of Adaptive Intelligence
현대 신경망은 주로 사전 정의된 계산 구조 내에서 매개변수 수정을 통해 적응한다. 최근 방법들은 모듈성(modularity), 조건부 계산(conditional computation), 매개변수 효율적 적응(parameter-efficient adaptation)을 도입하지만, 일반적으로 계산 능력(computational capability)과 계산 접근성(computational accessibility)을 별개의 적응 변수로 구분하지 않는다. 본 연구는 접근성 가소성(Accessibility Plasticity)을 제안한다. 이는 시스템이 존재하는 계산이 무엇인지를 변경하는 것뿐만 아니라, 기존 계산 중 어떤 것들이 상호작용하고 참여할 수 있는지를 재구성함으로써 적응하는 적응적 계산의 원리이다. 우리는 관계 기반의 운용적 실현을 통해 접근성 가소성을 형식화하고, 접근성 수정이 더 비용이 큰 능력 및 구조적 변경에 앞서는 재사용 우선(reuse-first) 적응 계층을 확립한다. 순차 학습 과제에 대한 개념 증명 평가는 접근성 적응이 유사한 과제 성능을 유지하면서 능력 수정을 줄일 수 있음을 보여준다. 이 결과는 접근성을 별개의 적응 차원으로 시사하며, 계산 관계가 변화하는 환경에 따라 진화하는 미래의 동적 신경망 시스템을 위한 기반을 제공한다.
FSE: Fast-Slow Experts 기반 개체명 인식 연속 학습
FSE: Continual Learning for Named Entity Recognition by Fast-Slow Experts
개체명 인식 연속 학습(CLNER)은 모델이 이전에 습득한 개체 유형을 잊지 않으면서 새로운 개체 유형을 점진적으로 학습할 수 있게 한다. 그러나 기존 방법들은 파국적 망각과 과제 간 공유 정보의 불충분한 활용 문제를 겪는다. 본 논문은 CLNER를 위한 Fast-Slow Experts 기반 span 기반 NER 모델인 FSE를 제안한다. 공유 fast expert는 토큰 수준의 연결을 학습하여 가능성이 낮은 span을 효율적으로 걸러내고, 과제별 slow expert는 남은 후보에 대해서만 span 분류를 수행한다. 이는 과제 간 지식 공유를 촉진하여 학습을 안정화하고, 각 과제에서의 학습 부담을 줄여 가소성을 유지한다. span 불균형을 완화하기 위한 길이 감쇠 negative sampling 전략도 도입한다. OntoNotes와 FewNERD synthetic 데이터셋에서의 광범위한 실험은 FSE가 CLNER 시나리오에서 최첨단 성능을 달성함을 보여주며, 각 구성 요소의 효과, 더 빠른 수렴에 대한 실증적 증거, 두 expert의 기대된 기능을 입증한다.
대형 모델의 그린 개발에 관한 서베이: 자원 효율적 아키텍처부터 하드웨어-소프트웨어 공동 설계까지
A Survey on the Green Development of Large Models: From Resource-Efficient Architectures to Hardware-Software Co-Design
대규모 AI 모델의 급속한 확장은 다양한 분야에서 상당한 성능 돌파구를 이끌었으나, 동시에 계산 비용, 에너지 소비, 환경 지속 가능성에 관한 심각한 우려를 야기했다. 본 서베이는 자원 효율적 아키텍처와 풀스택 하드웨어-소프트웨어 공동 설계를 중심으로 대형 모델의 그린 개발에 대한 포괄적인 개요를 제공한다. 어텐션 연산자 최적화, 선형 복잡도 아키텍처, 모델 희소화 및 병합을 포함한 효율적 모델 구축의 최근 발전과 함께, 데이터 효율적 학습, 매개변수 효율적 미세조정, 계산 압축 등 학습 및 배포 전략을 체계적으로 검토한다. 알고리즘적 개선을 넘어, 주류 AI 칩, 메모리 최적화, 크로스 플랫폼 배포, 지속 가능한 인프라를 포함한 에너지 효율적 AI 하드웨어를 탐구한다. 나아가 DeepSeek, 원격 탐지 해석, 국가 규모 인프라, 글로벌 이니셔티브와 같이 지속 가능성이 중요한 분야에 대형 모델이 어떻게 적용되고 있는지 살펴본다. 마지막으로, 지속적 학습 패러다임, 메모리 중심 하드웨어, 표준화된 평가 프로토콜의 필요성을 강조하며 주요 과제와 미래 방향을 논의한다. 본 서베이는 대형 모델의 지속 가능하고 확장 가능하며 사회적으로 책임 있는 개발을 향한 총체적 로드맵을 제시하는 것을 목표로 한다.
CL-Anomaly: 이상 탐지의 지속 학습을 위한 다중모달 대규모 언어 모델 기반 층 적응형 전문가 혼합
CL-Anomaly: Layer-Adaptive Mixture-of-Experts with Multimodal Large Language Model for Continual Learning in Anomaly Detection
다중모달 대규모 언어 모델(MLLM)은 다양한 비전 태스크에서 뛰어난 성능을 발휘하지만, 실세계 지식이 진화함에 따라 전체 매개변수 재학습은 계산 비용이 매우 크다. 기존의 지속 학습(continual learning) 방법들은 태스크 간 매개변수 공간에서의 의미적 얽힘(semantic entanglement)으로 인해 모델의 지속적 배포에 어려움을 겪는 경우가 많다. 이 문제는 이상 탐지(Anomaly Detection, AD)에서 특히 두드러지는데, 이상 탐지는 모달리티, 도메인, 결함 스케일 변동성에 걸친 삼중 이질성을 보여 다중 태스크 지식 전이를 크게 복잡하게 만든다. 본 논문에서는 MLLM을 활용한 이상 탐지의 지속 학습을 가능하게 하는 격리-공유 협력 기반 매개변수 효율적 미세조정 프레임워크인 CL-Anomaly를 제안한다. 우리는 태스크 전용 전문가 PrivLoRA를 도입하여 매개변수 공간에서 태스크별 부분 공간을 물리적으로 격리함으로써 다양한 시나리오에서 이상 지식의 의미적 얽힘을 방지한다. 층 적응형 공유 전문가(Layer-Adaptive Shared Experts)는 통합된 특징 공간 내에서 태스크 간 표현을 유지하여 이전 태스크와 새로운 태스크 간의 지식 공유를 가능하게 한다. 나아가, 모멘텀 기반 메커니즘을 통해 각 태스크의 층별 핵심 공유 전문가를 자동으로 선택하고 동적으로 갱신하는 층 적응형 지식 전이(Layer-Adaptive Knowledge Transfer) 전략을 제안하여 연관된 이상 탐지 태스크 간의 효과적인 지식 전이를 촉진한다. 클래스 증분, 크로스 도메인, 크로스 모달을 포함한 세 가지 이상 탐지 지속 학습 시나리오에 걸친 광범위한 실험을 통해 CL-Anomaly가 최신 방법들을 능가함을 입증한다. 코드는 https://github.com/WenDongyp/CL-Anomaly 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.