Continual Skill and Task Learning via Dialogue
원문 초록
Continual and interactive robot learning is a challenging problem as the robot is present with human users who expect the robot to learn novel skills to solve novel tasks perpetually with sample efficiency. In this work we present a framework for robots to query and learn visuo-motor robot skills and task relevant information via natural language dialog interactions with human users. Previous approaches either focus on improving the performance of instruction following agents, or passively learn novel skills or concepts. Instead, we used dialog combined with a language-skill grounding embedding to query or confirm skills and/or tasks requested by a user. To achieve this goal, we developed and integrated three different components for our agent. Firstly, we propose a novel visual-motor control policy ACT with Low Rank Adaptation (ACT-LoRA), which enables the existing SoTA ACT model to perform few-shot continual learning. Secondly, we develop an alignment model that projects demonstrations across skill embodiments into a shared embedding allowing us to know when to ask questions and/or demonstrations from users. Finally, we integrated an existing LLM to interact with a human user to perform grounded interactive continual skill learning to solve a task. Our ACT-LoRA model learns novel fine-tuned skills with a 100% accuracy when trained with only five demonstrations for a novel skill while still maintaining a 74.75% accuracy on pre-trained skills in the RLBench dataset where other models fall significantly short. We also performed a human-subjects study with 8 subjects to demonstrate the continual learning capabilities of our combined framework. We achieve a success rate of 75% in the task of sandwich making with the real robot learning from participant data demonstrating that robots can learn novel skills or task knowledge from dialogue with non-expert users using our approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다
Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following
병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.
RSIAgent: 새로운 환경에서 재귀적 자기 개선을 위한 자율 탐험
RSIAgent: Autonomous Exploration for Recursive Self-improvement in New Environments
디지털 에이전트는 종종 사전학습된 모델이 인터페이스, 도구, 실패 모드까지 완전히 반영하지 못하는 새로운 환경에 적응해야 한다. 본 논문은 자율적 메모리 구축을 통한 재귀적 자기 개선을 위한 무학습 다중-에이전트 프레임워크인 RSIAgent를 제안한다. RSIAgent는 커리큘럼, 액터(actor), 검증자(verifier) 에이전트를 조율하여 환경을 지속적으로 탐험하고 결과를 검증하며, 행동·조건·결과 사이의 재사용 가능한 인과 관계를 포함한 환경별 지식을 유지한다. 또한 broad-then-deep 탐험 전략을 채택하여, 다양한 환경 구조를 찾기 위한 병렬적 넓은 재귀적 자기 탐험과 어려운 사례, 숨겨진 제약, 경계 조건, 이전에 알려지지 않은 인과 의존성을 드러내기 위한 집중적인 깊은 자기 탐험을 결합한다. 이렇게 얻은 메모리는 고정(frozen)되며 모델 파라미터를 갱신하지 않고 하위(downstream) 과제에 바로 재사용할 수 있다. OSWorld-v2와 Agent's Last Exam 실험에서 RSIAgent는 강력한 오픈소스 모델을 크게 향상시켜 Kimi-K3와 GLM-5.3이 GPT-6을 포함한 최첨단 폐쇄형(closed-source) 모델을 능가하도록 한다.
ReDraft, 단순 증류가 아닌 참조 기반 수정: 지속적 VLLM 사후 학습
ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training
대규모 멀티모달 모델의 지속적 사후 학습은 새로운 능력을 추가하면서 사전학습에서 얻은 능력을 보존해야 하며, 두 목표는 서로 반대 방향으로 당긴다. SFT는 거의 0에 가까운 정확도에서 과제를 학습하는 명시적 타깃 지도를 제공하지만, 오프-정책 타깃이 모델을 충분히 멀리 이동시켜 망각을 유발한다. RLVR 및 자기 증류(self-distillation) 같은 온-정책 방법은 정책 근접성을 유지하지만, 정책이 아직 과제를 풀 수 없을 때는 신호를 거의 제공하지 않는다. 우리는 ReDraft(Reference-Driven Revision and Fine-Tuning, 참조 기반 수정 및 미세조정)를 제안한다. 이 방법은 모델 자신의 실패로부터 두 목표를 모두 달성한다. 전문가 응답은 참조로만 사용하고, 모델이 자신의 잘못된 롤아웃을 수정하게 한 뒤, 검증기(verifier)가 수용한 수정만 유지하고, 남은 것에 대해 미세조정한다. 따라서 유지된 각 타깃은 명시적이면서도 현재 정책에 가깝다. Counting, Clock Reading, Jigsaw에서 Qwen2.5-VL-3B/7B로 평가했으며, 이 중 두 과제는 거의 0에 가까운 정확도였다. ReDraft는 타깃 과제에서 SFT의 52.9점 대비 56.9점을 얻었고, 이전 과제 손실을 16.6점에서 1.5점으로 줄였다(망각 11.3배 감소). OPSD 대비 두 축 모두에서 개선되었다(19.3점 향상, 6.2점 손실). 데이터 및 매개변수 공간 분석은 설계와 일치한다. 수정된 타깃은 베이스 모델 하에서 더 높은 확률을 갖고, 이들이 유도하는 업데이트는 compact하며 OPSD보다 SFT 방향을 더 가깝게 따른다. 전문가 출력으로 대체하는 대신 모델 자신의 출력을 수리하는 것이 하나의 목표로 두 가지를 모두 가능하게 한다.
에이전트 자체 수정의 런타임 감독을 위한 자가 치유 하네스
Self-Healing Harness for Runtime Oversight of Agent Self-Modification
대규모 언어 모델(LLM) 에이전트는 자신의 미래 행동을 스스로 변경할 수 있으며, 이는 자체 생성된 변경 사항 중 어떤 것을 영구 유지하도록 허용해야 하는지에 대한 근본적인 제어 문제를 제기합니다. 본 연구는 이를 자체 수정에 대한 진입 제어(admission control) 문제로 정형화합니다. 에이전트는 자신의 운영 지침에 대한 변경 사항을 제안할 수 있으며, 외부 런타임 게이트가 영구 유지 여부를 제어합니다. 이러한 원리를 바탕으로, 본 연구는 수정되지 않은 기존 에이전트 주변에서 탐지(Detect), 인지(Notice), 치유(Heal), 검증(Validate) 루프를 실행하는 모델(model) 불가지론적 자가 치유 하네스(self-healing harness)를 구현합니다. 에이전트는 외부 작업 공간에서 후보 행동 규칙을 작성하며, 이 규칙은 평가 동안 임시 실행 권한을 부여받고, 유발된 실패에 대한 측정된 개선을 보이면서도 보호된 사례에서 고정된 마진(margin)을 초과하는 회귀(regression)가 발생하지 않을 때에만 영구적인 에피소드 간 권한을 획득합니다. 리플레이(replay)는 가능할 때 일치하는 증거를 제공하고, 전방 시도(forward trial)는 더 약한 대안을 제공하며, 말뭉치 수준 가드는 누적된 활성 규칙 세트를 재테스트합니다. AppWorld, Terminal-Bench, $\tau^2$-Bench에 걸친 16개의 매칭된 기준선(baseline) 및 하네스 실행 전반에서, 게이트는 리플레이로 판정된 383개의 제안을 거부했습니다. 이 중 211개(55%)는 원인이 된 실패 사례를 개선했으나 기존에 정상 작동하던 사례의 성능을 저하시켰습니다. 이는 국소적으로 유익한 자체 수정이 게이트 결정에 실질적인 영향을 미칠 만큼 부수적인 회귀를 빈번히 유발할 수 있음을 보여주며, 외부 진입 제어에 대한 직접적인 실증적 근거를 제시합니다. 작업 완료 점수는 16개 쌍 모두에서 하네스를 적용했을 때 더 높았으며(두 개의 대응 표본 부트스트랩 구간은 0을 제외함), 반복 시도 신뢰성은 12개 쌍에서 더 높았고 4개 쌍에서 동일했으며 더 낮은 경우는 없었습니다. 적응 과정은 모델 가중치(weight)를 고정한 채 정책 유도 컨텍스트만을 수정하므로, 승인된 변경 사항은 검사 가능하고, 되돌릴 수 있으며, 가중치가 비공개된 폐쇄형 모델과도 호환성을 유지합니다.
시각적 상태 전이를 통한 GUI 에이전트 스케일링
Scaling GUI Agents with Visual State Transitions
본 연구는 GUI 에이전트를 위한 새로운 스케일링 축으로 State Transition Pretraining(STP)을 제안한다. STP 단계에서는 역역학(inverse dynamics, 상태 변화로부터 행동 예측)과 순방향 역학(forward dynamics, 현재 상태와 행동으로부터 다음 상태 예측)을 공동 최적화하여 시각적 상태 전이에 대해 통합 멀티모달 모델을 지속적으로 사전학습한다. 이 최적화를 통해 모델은 더 나은 행동 그라운딩(action-grounded) 시각 표현과 GUI 역학에 대한 내부 세계 모델(internal world model)을 갖추게 된다. 이후 작업 지시가 포함된 궤적에 미세조정하면, STP로 학습된 모델은 데스크톱 및 모바일 GUI 시나리오(AgentNetBench, AndroidControl, GUIOdyssey)의 에이전트 벤치마크 전반에서 궤적 직접 미세조정만으로 학습된 베이스라인을 일관되게 능가한다. 추가 실험 연구는 공동 역학 최적화가 단일 목표 학습 대비 안정적인 개선을 제공하며, 하류 성능이 전이 데이터 양에 따라 꾸준히 스케일링됨을 보여준다.
SiGMA: 다중모달 지속적 지시 미세조정을 위한 부호 기반 병합 및 적응
SiGMA: Sign-Guided Merging and Adaptation for Multimodal Continual Instruction Tuning
다중모달 지속적 지시 미세조정(MCIT)은 다중모달 대규모 언어 모델(MLLM)을 연속적인 하류 태스크 시퀀스에 적응시키는 데 중요하다. 기존 방법들은 대부분 전문가 혼합(MoE)이나 확장 병합(expansion merge) 접근법을 활용하며, 주로 치명적 망각(catastrophic forgetting)에 초점을 맞추지만, 추론 과정에서 부정적 간섭(negative interference) 문제를 여전히 겪는다. 새로 학습된 업데이트가 유용한 기존 지식을 덮어쓰고 전체 성능을 저하시키는 현상이다. 이를 해결하기 위해, 우리는 SiGMA(Sign Guided Merging and Adaptation, 부호 기반 병합 및 적응)를 제안한다. 이는 간단하면서도 효과적인 프레임워크로, 학습 중 부호 기반 적응적 튜닝과 추론 시 부호 기반 병합이라는 두 구성 요소로 부정적 간섭을 완화한다. 부호 기반 적응적 튜닝은 과거 지식과의 충돌을 줄이고 최소한의 drift로 현재 태스크를 학습하여 심각한 망각을 완화한다. 부호 기반 병합은 두드러진 파라미터를 선택적으로 스케일링하여 유용한 태스크별 지식을 보존하고 증폭함으로써 통합(consolidation)을 더욱 개선한다. UCIT 및 DCL 벤치마크 실험에서 SiGMA는 부정적 간섭을 크게 줄이고 최신 MCIT 방법들을 능가함을 보여준다. 코드는 SiGMA에서 제공된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.