arXiv:2606.20636v1 cs.AI

SkillHarness: 컴퓨터 사용 에이전트를 위한 안전한 스킬 활용

SkillHarness: Harnessing Safe Skills for Computer-Use Agents

Yurun Chen, Biao Yi, Keting Yin, Shengyu Zhang

제출 2026-06-02

한국어 초록

컴퓨터 사용 에이전트(CUA)는 동적인 대화형 환경에 점점 더 배치되고 있으며, 상호작용 중 지속적인 스킬 학습에 대한 필요성이 커지고 있다. 최근 접근법들은 성공적인 궤적(trajectory)으로부터 재사용 가능한 스킬을 학습함으로써 이 과제를 해결한다. 그러나 이러한 스킬 학습 방법들은 대체로 정적이고 안전한 환경을 가정하여, 적대적 상호작용(예: 프롬프트 인젝션)과 환경 역학(예: 팝업)으로 인한 위험을 간과한다. 동적 환경에서는 이러한 가정이 위험한 스킬 학습과 취약한 실행으로 이어져 CUA의 신뢰성을 훼손할 수 있다. 이는 다음 질문을 제기한다: CUA가 동적 환경에서 스킬을 안전하게 학습하고 사용하려면 어떻게 해야 하는가? 이 문제를 해결하기 위해, 우리는 동적 환경에서 안전한 스킬 활용을 위한 프레임워크인 SkillHarness를 제안한다. SkillHarness는 스킬 학습과 활용을 안전성 제약 하의 상호작용 과정으로 모델링함으로써 정적 스킬 추상화를 넘어선다. 구체적으로, 우리는 다중 출처 감독 신호를 활용해 상호작용 궤적으로부터 안전한 스킬을 식별하는 스킬 경계(skill boundary)를 도입하고, 스킬 수명주기 전반에 걸쳐 자기 개선형 안전성 제약을 구성한다. 또한 SkillHarness는 선택적 스킬 재사용을 도입하는데, 여기서 과제는 맥락에 따라 분해되도록 유도되고 스킬 부분집합의 선택적 활성화를 통해 완료된다. 우리의 실험은 SkillHarness가 학습된 스킬의 불안전률을 57.1% 크게 낮추고, 동적 환경 변화 하에서 실행 안정성을 지속적으로 개선하여 기존 베이스라인을 능가함을 보여준다.

원문 초록

Computer-Use Agents (CUAs) are increasingly deployed in dynamic interactive environments, creating a growing need for continual skill learning during interaction. Recent approaches address this challenge by learning reusable skills from successful trajectories. However, these skill learning methods largely assume static and safe environments, overlooking risks from adversarial interactions (e.g., prompt injections) and environmental dynamics (e.g., pop-ups). In dynamic settings, such assumptions can lead to risky skill learning and brittle execution, undermining the reliability of CUAs. This raises the question: how can CUAs learn and use skills safely in dynamic environments? To address this problem, we propose SkillHarness, a framework for safe skill harnessing in dynamic environments. SkillHarness moves beyond static skill abstractions by modeling skill learning and utilization as a safety-constrained interaction process. Specifically, we introduce the skill boundary that leverages multi-source supervision signals to identify safe skills from interaction trajectories, and construct self-improving safety constraints throughout the skill lifecycle. In addition, SkillHarness introduces selective skill reuse, where tasks are guided to decompose according to context and completed through the selective activation of skill subsets. Our experiments demonstrate that SkillHarness significantly reduces the unsafe rate of learned skills by 57.1% and consistently improves execution stability under dynamic environmental changes, outperforming existing baselines.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20636v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03498v2cs.RO공통 태그 Imitation Learning, Adversarial Robustness

탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어

Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models

적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.

arXiv:2610.13816v1cs.RO공통 태그 Imitation Learning, Continual Learning

Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링

Dream to Remember: Continual Steering of Generalist Robot Policies with World Models

범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.

arXiv:2610.10810v1cs.RO공통 태그 Imitation Learning, Sequential Decision Making

장기 작업 스킬 접합부에서의 관측 공간 편차 진단 및 복구

Diagnosing and Recovering from Observation-Space Shift at Long-Horizon Skill Seams

장기(long-horizon) 로봇 조작은 독립적으로 학습(training)된 스킬들을 연쇄적으로 결합하여 구축되는 경우가 많습니다. 각 스킬은 개별적으로는 안정적일 수 있지만, 스킬들이 연결될 때 성능이 급격히 저하됩니다. 즉, 각 후속 스킬은 자체 학습 분포 대신 선행 스킬이 남겨둔 상태에서 시작해야 하기 때문입니다. 본 연구에서는 이러한 실패 모드인 관측 공간 편차(Observation-Space Shift, OSS)를 연구하고, 스킬 접합부(skill seam) 실패를 유발하는 원인을 파악합니다. 특권 시뮬레이터 리셋을 사용하여 분석한 결과, 지배적인 편차는 로봇의 관절 구성이나 후속 스킬이 조작하는 대상 물체가 아니라, 흐트러진 장면 상태(예: 열린 서랍이나 이전 스킬들이 남겨둔 부차적 물체)에서 비롯된다는 점을 발견했습니다. 이러한 진단을 검증하기 위해 완전 학습 기반의 탐지-복원-재개(detect-restore-resume) 시스템을 구축했습니다. 작업 진행 모니터가 정체 상태를 탐지하고, 학습된 정책이 흐트러진 장면 구성요소를 복원하며, 접합부 강건 미세조정(fine-tuning)을 통해 스킬을 재개합니다. 이 시스템은 테스트된 다른 모든 대안이 실패한 접합부를 복구하며, 저자들은 이를 범용적인 방법론이라기보다 해당 진단을 뒷받침하는 증거로 간주합니다. BOSS-44 벤치마크(benchmark)에서 이 시스템은 전체 체인 성공률을 7.6%에서 26.5%로 향상시켜 기본 정책 대비 3.5배의 개선 및 특권 복원 오라클 대비 51%의 성능을 달성한 반면, best-of-K 재샘플링, Diffusion Policy 및 월드 모델(world-model) 베이스라인은 평가된 접합부 상태에서 복구에 실패했습니다. 미세조정된 $π_{0.5}$ 정책으로 구동되는 실제 Franka 로봇 팔의 경우, 동일한 모니터가 외부 카메라의 관측 가능성에 의해 제약을 받지만 루프를 닫음으로써 복구 불가능했을 일부 실패를 복구할 수 있었으며, 이는 손목 및 그리퍼 센싱의 필요성을 시사합니다. 이러한 결과는 일부 장기 결합 실패의 경우, 지지 집합을 벗어난(off-support) 상태에서 재시도하는 것보다 정책을 재개하기 전에 장면을 먼저 복원함으로써 더 효과적으로 해결될 수 있음을 보여줍니다.

arXiv:2609.35698v3cs.LG공통 태그 Imitation Learning, Sequential Decision Making

정규화의 입증 가능한 이점: 적대적 모방 학습을 위한 빠른 수렴률

Provable Benefits of Regularization: Fast Rates for Adversarial Imitation Learning

우리는 적대적 모방 학습(adversarial imitation learning, AIL)을 연구한다. AIL에서 에이전트(agent)는 전문가(expert) 행동과 학습자(learner) 행동을 구별하는 적대적 보상(reward)에 대해 정책(policy)을 최적화함으로써 전문가의 시연(demonstration)을 모방하는 법을 학습한다. 역사적으로 보상 정규화(regularization)와 엔트로피 기반 정책 정규화는 GAIL, LS-IQ와 같이 경험적으로 성공을 거둔 방법들의 핵심 구성 요소였지만, 유한 샘플(finite-sample) 환경에서의 이점은 아직 충분히 탐구되지 않았다. 우리는 일반적인 함수 근사(function approximation)를 사용하는 유한 구간(finite-horizon) 마르코프 결정 과정(Markov decision process)에서 공동으로 정규화된 AIL에 대한 빠른 수렴률을 도출한다. 우리의 모델 프리(model-free) 알고리즘인 Dually Regularized AIL은 KL 정책 정규화와 전문가 및 학습자의 점유율(occupancy)로 가중된 2차(quadratic) 보상 페널티를 결합한다. K개의 온라인 에피소드와 N개의 전문가 경로(trajectory)가 주어졌을 때, 고정된 정규화 파라미터에 대해 정규화된 모방 격차(imitation gap)에 대한 $\widetilde{O}\left(\frac{1}{K}+\frac{1}{N}\right)$ 경계(bound)를 증명한다. 우리의 분석은 유한한 전문가 데이터와 확률적(stochastic) 학습자 피드백으로 인한 추정 오차를 제어하기 위해 일반적인 컨벡스(convex) 보상 클래스에 대한 온라인 미러 디센트(mirror descent) 구성과, 낙관적(optimistic) KL 정규화 정책 학습에 대한 정교한(sharp) 분석을 결합한다. 우리가 아는 한, Dually Regularized AIL은 확률적 전문가(stochastic expert)가 존재하는 경우에도 이러한 정규화된 AIL 목적함수에 대해 전문가 시연과 온라인 상호작용(interaction) 양쪽 모두에서 $\widetilde{O}\left(\frac{1}ε\right)$ 샘플 복잡도(sample complexity)를 동시에 달성한 최초의 알고리즘이다. 이러한 결과는 AIL에서 보상 정규화와 정책 정규화가 갖는 상호 보완적인 통계적 이점을 엄밀하게 규명한다.

arXiv:2610.03079v1cs.AI공통 태그 Imitation Learning, Continual Learning

RIFAR: 지속적인 로봇 학습을 위한 신뢰성 및 망각 인지형 리플레이

RIFAR: Reliability and Forgetting-Aware Replay for Continual Robot Learning

진정한 체화된 에이전트(embodied agency)가 되려면 로봇이 지속적인 현실 세계 경험을 영구적이고 전이 가능한 기술로 전환할 수 있어야 합니다. 이는 작업과 환경이 진화함에 따라 이전 지식을 훼손하지 않으면서 새로운 능력을 통합하는 지속 학습(continual learning)을 요구합니다. 경험 리플레이(experience replay)는 망각을 완화하지만, 작업이 누적됨에 따라 전체 시연(demonstration)을 저장하는 데 드는 비용이 커집니다. 월드-액션 모델(world-action model)은 행동과 미래 관측의 결합 예측을 통해 과거 경험을 재구성하는 생성적 대안을 제공합니다. 그러나 시각적으로 일관된 롤아웃(rollout)이라도 예측된 전이를 실현할 수 없는 행동이 포함될 수 있으며, 새로운 작업에 적응하는 과정에서 이전에 학습한 동작이 방해받을 수 있습니다. 이에 따라 RIFAR는 신뢰성 스크리닝과 드리프트 인지형(drift-aware) 리플레이 선택을 결합합니다. RIFAR는 압축된 시연 접두사(prefix)로부터 궤적을 재구성하고 고정된(frozen) 역역학 모델(inverse-dynamics model)을 사용하여 행동-시각적 일관성을 평가합니다. 학습은 먼저 현재 시연과 스크리닝을 통과한 최고 품질의 궤적을 결합합니다. 그런 다음 RIFAR는 동일한 과거 입력에 대해 이러한 적응 전후의 행동 예측을 비교하여, 동일한 스크리닝 풀에서 정규화된 드리프트가 더 큰 궤적을 다시 선택해 지속적인 학습을 수행합니다. 세 가지 LIBERO 제품군 및 실제 환경 실험 전반에서 RIFAR는 WAM 기반 생성형 리플레이 분야의 기존 최고 성능(SOTA)을 능가합니다. LIBERO-Goal에서 RIFAR는 작업당 320개의 과거 타임스텝(50개 시연 리플레이를 사용할 때 유지되는 스텝의 약 4.9%에 불과함)만을 유지하면서도 90.97 AUC를 달성합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.