컴퓨터 사용 에이전트(computer-use agent)는 복잡한 작업을 완료할 수 있으며, 이는 학습을 위해서든 인간의 개입 없는 평가를 위해서든 성공 여부를 판정하는 자동 심사자(judge)의 사용을 늘리고 있다. 이러한 유연성에도 불구하고, 여러 애플리케이션에 걸친 장기 작업(long task)에 대한 신뢰성은 아직 명확하지 않다. 스크린샷과 행동(action)의 긴 시퀀스로 구성된 궤적(trajectory)은 완료된 것처럼 보일 수 있지만, 실제로는 지시문(instruction)의 제약 조건을 위반하거나 의도치 않은 부작용을 일으킬 수 있다. 이러한 오류를 식별하기 위해서는 심사자가 사용자의 지시문을 기준으로 궤적을 검토해야 한다. 이를 위해 우리는 세 가지 운영체제에 걸친 166시간의 인간 기록 궤적에서 추출한 1,373개의 컴퓨터 사용 작업(지시문-궤적 쌍)으로 구성된 벤치마크인 AgentHorizon을 소개한다. 밀접하게 관련된 지시문에 대한 궤적을 기록함으로써, 우리는 지시문을 교체하여 네거티브(negative) 작업을 구성할 수 있다. 이 짝지어진(paired) 설계는 성공적인 궤적과 유사하지만 호환되지 않는 요청을 완료한 궤적을 구별하는 심사자의 능력을 평가한다. 우리는 이 벤치마크를 프런티어(frontier) 분할인 AgentHorizon(AH), 단순화된 분할인 AgentHorizon-Simple(AH-S), 개발용 분할인 AgentHorizon-Development(AH-D)의 세 가지 분할로 공개한다. 나아가 우리는 (1) 전체 궤적(최대 300개의 스크린샷과 행동 포함)을 직접 전달하는 방식과 (2) 다섯 가지 에이전트 하니스(agent harness)에 걸쳐 코딩 에이전트로 사용하는 방식으로 11개의 심사자를 평가한다. 우리의 최고 성능 에이전틱 심사자인 GPT-5.5는 AH 부분집합에서 80.9%의 균형 정확도(balanced accuracy)를 달성한다는 것을 발견했다. 또한 도구 사용(tool-use)이 특정 모델의 성능을 향상시키지만 오픈 가중치(open-weight) 모델에서는 오히려 성능을 저하시키며, 심사자들이 유효한 궤적을 수락하고 실패한 궤적을 거부하는 능력에서 큰 차이를 보인다는 것을 발견했다. 우리의 연구 결과는 긴 상호작용 기록(interaction history) 안에서 작업이 제대로 완료되었다는, 종종 숨겨져 있는 증거를 찾아내고 검증할 수 있는 심사자가 필요하다는 점을 강조한다.
컴퓨터 사용 에이전트(computer-use agent)는 악의가 없는 사용자 지시를 완수하는 과정에서 사용자의 환경(environment)이 갖는 중요한 제약 조건을 위반할 수 있습니다. 본 연구에서는 로컬 차원의 실행 전 가드레일 결정과 엔드투엔드(end-to-end) 작업 실행을 통해 안전성(safety)을 평가하는 이중 세분성(dual-granularity) 벤치마크 스위트인 OSGuard를 소개합니다. 액션 수준 벤치마크에는 원본 지시와 현재 인터페이스 상태가 주어졌을 때 가드레일이 후보 액션을 허용(allowed), 무관(unrelated), 불안전(unsafe)으로 분류하는 324개의 인간 주석 예제가 포함되어 있습니다. 위험 증강(risk-augmented) 실행 스위트는 40개의 OSWorld 작업에서 파생된 45개의 작업을 포함하며, 원본 지시는 유지하면서 환경을 수정하여 상태 의존적 안전성 제약 조건을 도입하고 안전한 완수 경로를 보존합니다. 증강된 평가자는 기존의 작업 성공 기준을 유지하면서 명시적인 상태 기반 안전성 검사를 추가하여, 안전한 완수와 이러한 제약 조건을 위반하는 명목상 성공을 구분합니다. 액션 수준 벤치마크에서 평가된 가장 강력한 가드레일은 79.9%의 정확도와 0.80의 매크로-F1에 도달하지만, 위험 증강 실행에서 파생된 액션에 대해서는 성능이 크게 하락합니다. 전체 작업 평가에서 가드레일이 없는 에이전트는 작업의 62.2%를 안전하게 완수하지만 37.8%는 불안전한 완수로 이어집니다. 가장 강력한 가드레일을 추가하면 안전한 성공률은 그대로 유지하면서 불안전한 완수 비율을 33.3%로 낮춥니다. 이러한 결과는 상태 의존적 안전성 제약 조건을 로컬에서 인식하는 것과 엔드투엔드 컴퓨터 사용 과정에서 유지하는 것 모두 여전히 도전적인 과제임을 보여줍니다.
현대의 컴퓨터 활용 에이전트(Computer Use Agent, CUA)는 그래픽 사용자 인터페이스와 직접 상호작용하고 서드파티 웹 도구를 실행하므로, 렌더링된 모든 페이지와 도구 응답에 걸쳐 간접 프롬프트(prompt) 주입 공격에 노출됩니다. 격리된 플래너 LLM(Planner LLM, P-LLM)을 사용하여 신뢰할 수 없는 입력을 격리된 LLM(Quarantined LLM, Q-LLM)으로 처리하기 전에 실행 경로를 고정하는 Dual-LLM 패턴은 정형적 안전성(safety) 보장을 제공하는 대표적인 시스템 수준 아키텍처이지만, 이러한 보장은 그래픽 환경에서 무너집니다. CUA 상호작용은 본질적으로 동적이므로 계획이 데이터에 독립적으로 유지될 수 없으며, 에이전트(agent)가 마주할 수 있는 모든 가능한 경우를 포괄하여 런타임에 예상되는 웹 콘텐츠를 기반으로 분기해야만 합니다. 이로 인해 에이전트는 공격자가 명시적인 명령을 주입하지 않고도 신뢰할 수 없는 데이터를 조작하여 CUA를 사전에 승인된 위험한 분기로 강제 진입시키는 분기 유도(branch steering) 공격에 노출됩니다. 본 연구에서는 분기 유도 공격을 체계적으로 연구하고 STEER-Bench(9개 도메인에 걸친 101개 작업)를 도입하여, 표준 CUA(94.4%)와 기본 Dual-LLM CUA(89.5%) 모두에 대해 높은 공격 성공률을 보임을 나타냅니다. 이어서 신뢰할 수 있는 분기 계획과 사전 기능 제약을 결합하여 각 분기가 실행할 수 있는 매개변수와 대상 경로를 엄격하게 제한하는 아키텍처인 COBRA를 제안합니다. STEER-Bench에서 COBRA는 공격 성공률을 0%로 낮추는 동시에 정상적인 유용성을 97% 수준으로 유지합니다.
에이전트(agent)가 반복적으로 실행하는 GUI 절차를 프로그램으로 컴파일하면 토큰(token) 비용을 절감할 수 있다. 그러나 투자 회수를 측정하고 컴파일 시점을 결정하는 데에는 두 가지 어려움이 존재한다. 첫째, 컴파일 시도가 수정을 필요로 할 수 있고 여전히 사용 가능한 프로그램을 생성하지 못할 수도 있어 컴파일 비용이 불확실하다. 둘째, 태스크 유입이 중단되거나 GUI 변경(GUI drift)으로 인해 프로그램 작동이 멈출 수 있어 향후 재사용 여부를 알 수 없다. 이러한 문제를 해결하기 위해, 본 논문에서는 측정 프로토콜과 온라인 컴파일 알고리즘을 갖춘 시스템인 PACE(Payback-Aware Compilation from Experience)를 제안한다. 측정 프로토콜은 성공 및 실패한 컴파일 비용을 기록하고, 매칭된 태스크 입력에 대해 에이전트와 프로그램의 실행 비용을 비교하여 1회 사용당 절감액과 투자 회수 횟수를 추정한다. 이러한 측정을 바탕으로 온라인 알고리즘은 과거 태스크 유입 및 컴파일 결과를 기반으로 실패한 시도를 포함한 컴파일 비용과 추정된 미래 절감액을 비교한다. 또한 관측된 태스크 유입에 따라 결정되는 누적 예산과 실행 및 컴파일 비용을 대조하여 두 작업 중 어느 것을 허용할지 검토한다. 명시된 작업 비용 가정 하에서, 각 유입 후 총비용은 모든 태스크를 에이전트로 실행하는 비용의 최대 1+ε배이다. 성공적인 컴파일 시도의 경우 소스 에이전트 실행을 제외한 추정 투자 회수 횟수는 2~16회 사용이다. 기록된 태스크 유입을 사용한 시뮬레이션에서 PACE는 ε=0.25일 때 평균적으로 ReAct 대비 17.3%, AutoRPA 적용 버전 대비 24.9%, ToolPro 적용 버전 대비 17.3%의 토큰 비용을 절감한다.
컴퓨터 사용 에이전트(CUA)는 도구를 통해 다단계 작업을 수행하며, 초기의 안전하지 않은 결정이 중대한 행동으로 이어질 수 있습니다. 최종 결과만을 평가하면 이러한 결정을 놓칠 수 있으며, 새로운 작업을 위한 실행 가능한 환경을 구축하는 것은 벤치마크 확장에 큰 비용을 초래할 수 있습니다. 본 논문에서는 양호한 요청 및 적대적 유도 상황의 MCP 스타일 도구 워크플로에서 장기 계획(long-horizon planning) 안전성을 평가하는 벤치마크인 LPS-Bench를 제시합니다. 템플릿 기반 다중 에이전트 파이프라인이 사용자 지시문, 시뮬레이션된 툴킷, 사례별 안전성 기준을 생성하고, 이후 인간 검토를 거칩니다. 이러한 설계는 모든 테스트 사례에 대해 별도의 애플리케이션 환경을 구축하지 않고도 확장 가능한 사례 확장을 지원합니다. LPS-Bench는 7개 작업 도메인과 9개 계획 위험 유형에 걸친 65개 시나리오에서 도출된 570개 사례로 구성되며, 대표 사례는 재사용 가능한 기술(skill)로 추가 적용되었습니다. LLM 기반 평가자는 전체 상호작용 기록에 사례별 기준을 적용하여 실행 전반에 걸친 도구 선택, 인자 및 환경 피드백에 대한 응답을 조사합니다. 13개 LLM 에이전트에 대한 평가는 양호한 설정과 적대적 설정 모두에서 지속적인 실패를 드러냅니다. 프롬프트 기반 개입은 모델에 따라 성과 향상을 보이지만, 여전히 상당한 안전성 실패가 남아 있습니다.
컴퓨터 사용 에이전트(computer-use agent)는 여러 애플리케이션, 겹쳐진 창, 시각적으로 유사한 컨트롤들이 어텐션을 두고 경쟁하는 복잡한 데스크톱 장면에서 행동 대상을 안정적으로 그라운딩(grounding)해야 합니다. 기존 학습 데이터는 이러한 장면에 조밀한 어노테이션을 결합하거나 통제된 방식으로 변화를 주는 경우가 드뭅니다. 본 논문에서는 실제 애플리케이션을 구성하고 탐색하여 컴퓨터 사용 에이전트를 위한 대규모 지도(supervision) 정보를 생성하는 제어 가능한 데스크톱 환경인 DeskForge를 소개합니다. DeskForge는 애플리케이션 상태, 콘텐츠, 창 레이아웃, 외관, 해상도를 다양하게 변경하며, 스크린샷, 접근성 트리(accessibility tree), 창 지오메트리를 조밀한 요소 어노테이션으로 융합하는 동시에 실행된 각 행동의 결과를 기록합니다. 이 환경을 사용하여 1억 5,970만 개의 요소 인스턴스를 포함하는 120만 개의 주석 달린 데스크톱 관측 코퍼스인 DeskForge-1M을 구축했습니다. 연구진은 DeskForge-1M에서 추출한 20만 개의 그라운딩 예제로 4개의 비전-언어 모델을 파인튜닝했습니다. 4개 모델 모두 미학습(held-out) 데스크톱 조건과 5개 외부 GUI 그라운딩 벤치마크 전반에서 성능이 향상되었으며, Qwen3.5-4B의 경우 ScreenSpot-Pro에서 정확도가 11.51%p, OSWorld-G에서 10.11%p 증가했습니다. 이러한 성능 향상은 장기적인(long-horizon) 작업 완료로도 이어졌습니다. 고정된 플래너 환경에서 파인튜닝된 행동 모델은 더 많은 WebArena-Infinity 및 OpenApps 작업을 해결하여, Qwen3.5-4B는 각각 119개 작업 중 31개에서 50개로, 100개 작업 중 3개에서 15개로 해결 수가 증가했습니다. 이러한 결과는 실제 데스크톱 환경의 제어 가능한 구성이 GUI 그라운딩과 장기적 컴퓨터 사용을 모두 개선하기 위한 확장 가능한 지도 원천을 제공함을 보여줍니다. 프레임워크 코드, 데이터셋, 파인튜닝된 모델은 프로젝트 페이지(https://saidgurbuz.github.io/deskforge/)에서 확인할 수 있습니다.
AI 에이전트가 실제 개인 및 기업 환경(이메일 계정, 개발 워크플로, 기업 데이터베이스 등)에 점점 더 많이 배포됨에 따라, 이러한 에이전트를 둘러싼 안전성(safety) 고려 사항이 무엇보다 중요해지고 있습니다. 적대자가 존재하는 상황에서의 에이전트 안전성에 많은 연구가 집중되어 온 반면, 본 연구에서는 수정가능성(corrigibility), 즉 에이전트가 무해한 작업을 수행하는 동안 인간의 수정, 개입 또는 종료 요청을 계속 수용하는지 여부를 연구합니다. 저희는 에이전트가 현실적인 컴퓨터 활용 작업을 완료하도록 요청받지만, 인간의 제어, 시스템 종료 또는 명시적인 리소스 제한과 통제된 충돌에 직면하게 되는 벤치마크인 ROGUE를 소개합니다. 그런 다음 에이전트가 작업 완료를 추구하는 과정에서 인간의 지시를 무시하거나, 제한된 비밀번호에 접근하거나, 시스템 종료 메커니즘을 변경하는 등 이러한 제약 조건을 위반하는지 평가합니다. 평가 결과, 테스트된 대부분의 프론티어 모델이 평가 조건 하에서 사용자의 개입이나 제한을 빈번하게 우회하는 것으로 나타났으며, 텍스트 전용 평가는 에이전트 실행 환경에서의 실패율을 과소평가할 수 있음을 확인했습니다. 나아가, 독립적인 작업 수행 능력이 그 자체로 더 높은 수정가능성을 의미하지는 않습니다. 마지막으로, 상위 에이전트가 수정가능하게 행동하더라도, 안전성 제약 조건이 해당 에이전트가 생성한 하위 에이전트에는 제대로 전파되지 않을 수 있습니다.
온라인 학습(online training)은 컴퓨터 사용 에이전트(computer-use agent, CUA)가 실행 가능한 환경과의 상호작용을 통해 성능을 개선할 수 있게 한다. 그러나 기존 방법들은 주로 희소한 결과 보상(sparse outcome reward)에 의존하여 중간 행동에 대한 감독(supervision)을 제공하지 못한다. 온-정책 자기 증류(on-policy self-distillation, OPSD)는 특권적 재점수화(privileged rescoring)를 통해 토큰 수준의 학습 신호를 제공하지만, 이를 CUA 온라인 학습에 직접 적용하면 두 가지 문제가 발생한다: 고정된 가이던스(guidance)가 학생(student) 모델의 현재 상태와 어긋날 수 있다는 점, 그리고 가이던스로 인해 유발된 확률 변화가 단계 수준의 정확성(step-level correctness)과 충돌할 수 있다는 점이다. 본 논문에서는 실행된 GUI 전환으로부터의 실시간 피드백을 정책 학습을 위한 가이던스로 변환하는 CUA용 온라인 자기 증류 방법인 ComputerSD를 소개한다. 미세조정된(fine-tuned) GUI 분석기는 각 행동 이후 가이던스와 단계 수준의 가치 점수(value score)를 생성한다; 가이던스는 특권적 맥락(privileged context)을 제공하고, 점수는 그 결과로 생성되는 OPSD 신호를 조절한다. ComputerSD는 완전히 비동기적인(asynchronous) 학습 프레임워크에서 토큰 수준의 OPSD와 궤적(trajectory) 수준의 GRPO를 공동으로 최적화한다. OSWorld-Verified에서 ComputerSD는 범용 Qwen3-VL-8B-Thinking과 특화된 EvoCUA-8B 백본에서 각각 결과 전용(outcome-only) GRPO보다 1.9%p 및 4.1%p 더 높은 성능을 보인다. 분포 외(out-of-distribution) 환경에서의 평가는 ComputerSD의 일반화 가능성(generalizability)을 추가로 뒷받침한다. 이러한 결과는 CUA를 위한 온라인 자기 증류를 통한 실시간 피드백 학습의 효과를 입증한다.
컴퓨터 사용 에이전트는 점점 더 현실적인 데스크톱 환경에서 평가되고 있지만, 기존 벤치마크는 출력이 지속 가능하고 구조화된 산출물인 전문 엔지니어링 워크플로를 충분히 다루지 못한다. 기계 컴퓨터 지원 설계(CAD)는 특히 까다로운 설정으로, 에이전트는 장기 상호작용 구간 동안 기하와 제약을 조작하면서 치수, 구성 구조, 하류 엔지니어링 상태가 유효하게 유지되는 네이티브 프로젝트를 만들어 내야 한다. 우리는 FreeCAD에서 장기 호라izon 컴퓨터 사용을 위한 벤치마크인 \textbf{CADWorld}를 제안한다. CADWorld는 스케치, 파트 모델링, 조립, CAM, FEM, 측정, 메시 처리, 기술 도면을 포함한 11개 기계-CAD 워크플로 카테고리에 걸친 200개 과제로 구성된다. 에이전트는 스크린샷과 GUI 동작을 통해 작동하며, 성공 여부는 저장된 FreeCAD 산출물과 보조 출력에 대한 과제별 실행 가능 검사로 판정되며, 기하적 속성, 파라메트릭 구조, 제약, 제조 상태, 시뮬레이션 결과를 포괄한다. 전체 벤치마크에 대해 현재 7개 에이전트를 평가한 결과, 최강 에이전트는 17.5% 성공률을 달성했고, 전문가 기준 통과율 87.0%와 대비된다. 약한 에이전트는 유효한 산출물을 만들기 전에 자주 실패하는 반면, 더 강한 에이전트는 구조적·기하적·구성 과정 요구사항에서 점점 더 실패한다. 따라서 CADWorld는 일반적인 GUI 역량과 지속 가능하고 검증 가능한 엔지니어링 워크플로의 신뢰할 수 있는 실행 사이의 격차를 드러낸다. 프로젝트는 https://cad-world.github.io 에서 접근할 수 있다.
컴퓨터 사용 에이전트는 유능한 소프트웨어 운영자가 되어가고 있지만, 데스크톱 애플리케이션과의 인터페이스는 여전히 취약한 동작 층인 경우가 많다. 스크린샷을 보고 좌표를 예측한 뒤 클릭하고, 보이는 상태가 의도한 대로 바뀌었기를 바란다. 이는 대상 그라운딩(grounding), 행동 실행, 결과 검증을 하나의 모호한 연산으로 축소한다. 우리는 Tactile을 제시한다. Tactile은 데스크톱 사용을 위해 에이전트에게 더 신뢰할 수 있는 "손과 발"을 제공하는 오픈소스 도구 층이다. Tactile은 이질적인 UI 증거—운영체제 접근성(accessibility) 의미론, OCR로 그라운딩된 텍스트, 시각적 폴백(fallback) 영역—를 행동 그라운딩된 인터페이스 상태로 변환한다. 여기에는 소스 레이블, 역할 또는 텍스트, 상태, 기하학, 실행 가능한 affordance, 검증 단서가 포함된 간결한 대상 후보가 있다. 에이전트는 관찰-그라운딩-행동-검증(observe-ground-act-verify) 루프를 통해 동작하며, 가능할 때는 네이티브 의미론적 행동을 선호하고, 보이는 텍스트가 최선의 증거일 때는 OCR로 그라운딩된 좌표로 폴백하며, 재생과 실패 귀속을 위해 전체 provenance를 유지한다. macOSWorld 스타일 태스크에서 Tactile을 추가하면 Codex Success@100이 전체적으로 41.1%에서 50.0%로, 접근성 적응(accessibility-adapted) 태스크에서는 45.2%에서 55.3%로 향상된다. 96개 태스크 교차-에이전트 부분집합은 Codex, Claude Code, OpenCode, Goose에서 일관된 향상을 보여준다. 이 결과는 신뢰할 수 있는 컴퓨터 사용이 더 강한 모델뿐 아니라, 익명의 화면 좌표가 아니라 소프트웨어 행동을 의미론적이고 검증 가능하며 감사 가능한 객체로 노출하는 재사용 가능한 실행 기질(substrate)도 필요함을 시사한다.
기존 컴퓨터 사용 에이전트가 전문 소프트웨어 조작에서 겪는 GUI 기반의 취약성과 API 기반의 제약을 해결하기 위해 COM-as-Action 패러다임을 제안하여 상호작용을 결정론적 프로그램 합성으로 재정의한다. ComCADBench 벤치마크와 ComActor 에이전트를 통해 제안된 방법이 장기 작업에서 강건한 최신 성능을 달성함을 입증했다.
컴퓨터 사용 에이전트(CUA)에서 사용자 의도를 벗어나는 비정렬 행동 탐지를 정의·연구하고, 행동 수준 정렬 레이블이 포함된 MisActBench 벤치마크와 실행 전 탐지·구조화된 피드백으로 반복 교정하는 DeAction 가드레일을 제안한다. DeAction은 MisActBench에서 F1 기준 베이스라인 대비 15%p 이상 향상하고, 온라인 평가에서는 적대적 환경에서 공격 성공률을 90% 이상 낮추면서 정상 환경의 작업 성공률은 유지하거나 개선한다.
Computer-use agents can execute software tasks through either graphical interfaces or programmatic command interfaces, but existing evaluations confound interaction modality with differences in tasks, initial states, verifiers, and permitted actions. We introduce a matched execution-layer benchmark of 440 desktop tasks across 18 applications and 12 workflow categories, where screen-only GUI agents and skill-mediated CLI agents receive identical goals, states, and final-state verifiers while being restricted to modality-native actions. In this controlled setting, the strongest GUI agent reaches a 59.1% full pass rate, outperforming the strongest original-skill CLI agent at 48.2%; however, verifier-guided skill augmentation raises CLI success to 69.3%, showing that much of the CLI deficit comes from incomplete skill coverage rather than model capability alone. These results suggest that GUI and CLI expose different execution bottlenecks: GUI agents are limited by reliable grounded interaction over long-horizon workflows, whereas CLI agents are limited by the coverage and scalability of their skill interfaces.
컴퓨터 사용 에이전트(CUA)는 이제 이메일, 캘린더, 할 일 목록 등 개인 애플리케이션 전반에 걸쳐 사용자를 대신해 행동한다. 이러한 교차 애플리케이션 접근은 유용하지만, 지금까지 크게 간과되어 온 프라이버시 위험을 초래한다. 에이전트가 하나의 맥락에서 작업할 때 해당 맥락에서는 부적절한 다른 맥락의 정보를 끌어올 수 있다는 점이다. 이에 우리는 이 위험을 실행 가능하고 결정론적으로 채점 가능한 시나리오로 변환하는 평가 프레임워크인 AgentCIBench를 소개한다. 우리는 CUA의 세 가지 주요 실패 유형을 대상으로 한다: UI에서 작업 대상 옆에 위치한 금지 항목을 에이전트가 끌어오는 시각적 공동 배치(visual co-location), 불충분하게 지정된 프롬프트에 응답하여 에이전트가 밀도 높은 개인 정보를 과도하게 공유하는 작업 모호성 과잉 공유(task-ambiguity overshare), 그리고 에이전트가 부적절한 수신자에게 콘텐츠를 전송하는 수신자 불일치(recipient misalignment)이다. 15개의 최전선 에이전트를 평가한 결과, 놀랍도록 높은 실패율이 나타났다: 15개 중 11개가 50% 이상의 시나리오에서 정보를 유출하였으며 평균 유출률은 67.9%였고, 에이전트가 환경 내에서 작업을 완수하기 위해 엔드투엔드로 행동할 때도 동일한 실패가 지속되었다. 우리는 더 안전한 컴퓨터 사용 에이전트 개발을 장려하고 맥락적 정보 공개 테스트를 배포 전 안전성 점검으로 자리매김하기 위해 AgentCIBench를 공개한다.
컴퓨터 사용 에이전트(CUA)는 동적인 대화형 환경에 점점 더 배치되고 있으며, 상호작용 중 지속적인 스킬 학습에 대한 필요성이 커지고 있다. 최근 접근법들은 성공적인 궤적(trajectory)으로부터 재사용 가능한 스킬을 학습함으로써 이 과제를 해결한다. 그러나 이러한 스킬 학습 방법들은 대체로 정적이고 안전한 환경을 가정하여, 적대적 상호작용(예: 프롬프트 인젝션)과 환경 역학(예: 팝업)으로 인한 위험을 간과한다. 동적 환경에서는 이러한 가정이 위험한 스킬 학습과 취약한 실행으로 이어져 CUA의 신뢰성을 훼손할 수 있다. 이는 다음 질문을 제기한다: CUA가 동적 환경에서 스킬을 안전하게 학습하고 사용하려면 어떻게 해야 하는가? 이 문제를 해결하기 위해, 우리는 동적 환경에서 안전한 스킬 활용을 위한 프레임워크인 SkillHarness를 제안한다. SkillHarness는 스킬 학습과 활용을 안전성 제약 하의 상호작용 과정으로 모델링함으로써 정적 스킬 추상화를 넘어선다. 구체적으로, 우리는 다중 출처 감독 신호를 활용해 상호작용 궤적으로부터 안전한 스킬을 식별하는 스킬 경계(skill boundary)를 도입하고, 스킬 수명주기 전반에 걸쳐 자기 개선형 안전성 제약을 구성한다. 또한 SkillHarness는 선택적 스킬 재사용을 도입하는데, 여기서 과제는 맥락에 따라 분해되도록 유도되고 스킬 부분집합의 선택적 활성화를 통해 완료된다. 우리의 실험은 SkillHarness가 학습된 스킬의 불안전률을 57.1% 크게 낮추고, 동적 환경 변화 하에서 실행 안정성을 지속적으로 개선하여 기존 베이스라인을 능가함을 보여준다.
컴퓨터 사용 에이전트(CUA)를 위한 VISUALSKILL은 GUI 상호작용에 맞춰 텍스트와 UI 도표를 함께 담은 계층적 멀티모달 스킬을 애플리케이션별로 구축하고, load_topic MCP 도구로 필요한 주제만 요청 시 불러오게 합니다. 작성 문서와 실제 애플리케이션 UI 탐색을 결합한 2단계 파이프라인으로 만든 VISUALSKILL은 CUA-World와 OSExpert-Eval에서 스킬 없는 기준선(0.303) 대비 평균 0.456으로 15.3포인트, 동일 소스의 텍스트 전용 스킬(0.373) 대비 8.3포인트 향상을 보였습니다.
컴퓨터 사용 에이전트(CUAs) -- 스크린샷과 키보드/마우스 동작을 통해 그래픽 데스크톱과 상호작용하는 모델 -- 를 학습하려면 전체 데스크톱 환경에서 수집된 대규모의 다양한 궤적 데이터가 필요합니다. 가장 큰 공개 자원인 AgentNet(22.5K개의 인간 궤적)은 지도 미세조정(SFT)에 사용될 때 네거티브 전이(negative transfer)를 유발합니다: AgentNet에서 UI-TARS 7B의 학습을 계속하면 OSWorld 성공률이 26.3%에서 8-10%로 떨어집니다. 우리는 2,484개의 애플리케이션 조합에서 93K개의 합성 궤적을 증류하여 얻은 3.1M개의 단계 수준 SFT 샘플 데이터셋인 ProCUA-SFT를 제안합니다. 이 데이터셋은 (i) 실제 콘텐츠로 시드된 실제 데스크톱(live desktops)에서 그라운딩된(grounded) 작업을 합성하고 -- SpreadsheetBench의 912개 스프레드시트, Zenodo10K의 약 10K개의 허용 라이선스 프레젠테이션, 다중 애플리케이션 OSWorld 설정 -- (ii) 롤아웃(rollout) 전에 이진 precondition 확인을 통해 각 작업의 수행 가능성을 검증하는 완전 자동화 파이프라인을 통해 생성됩니다. 단일 비전-언어 모델(VLM, Kimi-K2.5)이 목표 생성기(goal generator), precondition 판별자(precondition judge), 궤적 실행기(trajectory executor)로 작동하여 플래너-액터(planner-actor) 능력 격차를 제거합니다. 각 궤적은 추론 시간에 관찰된 컨텍스트 레이아웃(context layout)을 정확하게 재현하는 단계 접두 문맥(step-prefix) 샘플로 확장됩니다. ProCUA-SFT에서 UI-TARS 7B를 1 에포크(epoch) 동안 미세조정(fine-tuning)하면 OSWorld에서 45.0%를 달성하는데, 이는 기본 모델보다 18.7%p 향상된 것이며 AgentNet으로 학습된 모델보다 35% 이상 높은 수치입니다. ProCUA의 일부는 Nemotron 3 Nano Omni 모델의 학습 데이터에 통합되어 컴퓨터 사용 능력에 기여했습니다.