PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02932v1cs.AI

컴퓨터 활용 에이전트는 언제 컴파일해야 하는가? 토큰 효율성을 위한 투자 회수 측정 및 컴파일 결정

When to Compile a Computer-Use Agent? Measuring Payback and Making Compilation Decisions for Token Efficiency

에이전트(agent)가 반복적으로 실행하는 GUI 절차를 프로그램으로 컴파일하면 토큰(token) 비용을 절감할 수 있다. 그러나 투자 회수를 측정하고 컴파일 시점을 결정하는 데에는 두 가지 어려움이 존재한다. 첫째, 컴파일 시도가 수정을 필요로 할 수 있고 여전히 사용 가능한 프로그램을 생성하지 못할 수도 있어 컴파일 비용이 불확실하다. 둘째, 태스크 유입이 중단되거나 GUI 변경(GUI drift)으로 인해 프로그램 작동이 멈출 수 있어 향후 재사용 여부를 알 수 없다. 이러한 문제를 해결하기 위해, 본 논문에서는 측정 프로토콜과 온라인 컴파일 알고리즘을 갖춘 시스템인 PACE(Payback-Aware Compilation from Experience)를 제안한다. 측정 프로토콜은 성공 및 실패한 컴파일 비용을 기록하고, 매칭된 태스크 입력에 대해 에이전트와 프로그램의 실행 비용을 비교하여 1회 사용당 절감액과 투자 회수 횟수를 추정한다. 이러한 측정을 바탕으로 온라인 알고리즘은 과거 태스크 유입 및 컴파일 결과를 기반으로 실패한 시도를 포함한 컴파일 비용과 추정된 미래 절감액을 비교한다. 또한 관측된 태스크 유입에 따라 결정되는 누적 예산과 실행 및 컴파일 비용을 대조하여 두 작업 중 어느 것을 허용할지 검토한다. 명시된 작업 비용 가정 하에서, 각 유입 후 총비용은 모든 태스크를 에이전트로 실행하는 비용의 최대 1+ε배이다. 성공적인 컴파일 시도의 경우 소스 에이전트 실행을 제외한 추정 투자 회수 횟수는 2~16회 사용이다. 기록된 태스크 유입을 사용한 시뮬레이션에서 PACE는 ε=0.25일 때 평균적으로 ReAct 대비 17.3%, AutoRPA 적용 버전 대비 24.9%, ToolPro 적용 버전 대비 17.3%의 토큰 비용을 절감한다.

arXiv:2607.11185v1cs.AI

SCALECUA: 검증 가능한 태스크 합성과 효율적인 온라인 강화학습을 통한 컴퓨터 사용 에이전트 스케일링

SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL

컴퓨터 사용 에이전트(CUA)는 시각적 인식과 GUI 실행을 통해 복잡한 디지털 워크플로우를 자동화하는 강력한 인터페이스로 부상하고 있다. 검증 가능한 보상을 활용한 온라인 강화학습(RLVR)은 에이전트의 능력을 확장하는 핵심 방향으로 떠올랐다. 그러나 이 패러다임은 검증 가능한 데이터의 부족과 온라인 강화학습의 비효율성이라는 병목에 직면해 있다. 이러한 장벽을 극복하기 위해 우리는 ScaleCUA를 제안한다. ScaleCUA는 검증 가능한 태스크 합성과 효율적인 학습을 통해 CUA의 온라인 강화학습을 확장하는 통합 프레임워크다. 데이터 측면에서는 반복적인 도커(docker) 상호작용과 멀티 에이전트 피드백 루프를 통해 검증 가능한 강화학습 태스크를 생성하는 엔드-투-엔드 프레임워크인 VeriGen을 설계했다. 공유 도커 상호작용 프로브를 통해 100개 이상의 동시 에이전트 워커로 확장한 이 파이프라인은 24K개 이상의 검증 가능한 태스크와 약 3K개의 고품질 강화학습 태스크를 생성한다. 샘플 효율을 극대화하기 위해 태스크별 역량을 추적하고 현재 학습 프론티어에 롤아웃을 할당하는 Frontier Sampling을 제안한다. 학습 측면에서는 최근 시각적 컨텍스트에 슬라이딩 윈도우를 적용하는 Visual Context Segmentation을 추가로 설계하여 롤아웃과 학습 엔진의 부하를 균형 있게 조절하고, 단계별 분해 방식 대비 2.83배의 학습 속도 향상을 달성한다. 이를 통해 ScaleCUA는 OSWorld에서 68.7%, ScienceBoard에서 54.0%를 달성하여 오픈소스 컴퓨터 사용 에이전트 중 새로운 최고 성능을 확립한다. 코드, 모델, 데이터셋은 https://github.com/THUDM/SCALE-CUA 에서 공개된다.

arXiv:2511.20297v2cs.AI

BREW를 통한 언어 에이전트 개선: 경험 기반 환경 지식의 부트스트래핑

Improving Language Agents through BREW: Bootstrapping expeRientially-learned Environmental knoWledge

대규모 언어 모델(LLM) 기반 에이전트는 GUI 자동화, 도구 사용, 데이터 조작 등 복잡한 다단계 작업을 수행하는 능력이 점점 향상되고 있으나, 경험으로부터 학습할 수 없다는 한계가 있다: 새로운 세션마다 솔루션을 처음부터 다시 발견해야 한다. 우리는 BREW(Bootstrapping expeRientially-learned Environmental knoWledge)를 소개한다. 이는 에이전트의 과거 상호작용 궤적을 구조화된 검색 가능한 지식 베이스(KB)—무엇을 해야 하는지, 언제 적용되는지, 무엇을 주의해야 하는지를 담은 개념 수준의 절차적 문서인 자연어 레시피—로 증류하는 프레임워크이다. 프로그램 합성의 라이브러리 학습 원리에 기반하여, BREW는 에이전트 메모리를 모듈형의 개념 지역화 문서로 분해하고, KB 구성을 상태 공간 탐색 문제로 형식화한다. 이 공간을 탐색하기 위해, 우리는 병렬적 개념별 탐색 트리 전반에 걸쳐 레시피 정확도와 검색 가능성을 공동으로 최적화하는 보상 기반 알고리즘인 Expand-and-Gather 몬테카를로 트리 탐색(EG-MCTS)을 도입한다. 또한 사후 레이블링(hindsight relabeling)을 적용하여 근접 실패 궤적을 긍정적 시연으로 변환함으로써, 잠재적 에이전트 역량을 재사용 가능한 지식으로 표면화한다. OSWorld, tau^2-Bench, SpreadSheetBench의 세 가지 도메인 기반 벤치마크에서 BREW는 기본 에이전트 대비 작업 성공률 10~20% 향상과 실행 단계 10~15% 감소를 달성하였으며, 메모리 없는 성능 이하로 저하될 수 있는 기존 메모리 증강 기준 모델들을 지속적으로 능가하였다. 결과로 생성된 KB는 검사 가능하고 모듈형이며 확장 가능하여, 에이전트 최적화를 위한 투명하고 제어 가능한 기반을 제공한다.

arXiv:2606.18448v1cs.CL

VISUALSKILL: 컴퓨터 사용 에이전트를 위한 멀티모달 스킬

VISUALSKILL: Multimodal Skills for Computer-Use Agents

컴퓨터 사용 에이전트(CUA)를 위한 VISUALSKILL은 GUI 상호작용에 맞춰 텍스트와 UI 도표를 함께 담은 계층적 멀티모달 스킬을 애플리케이션별로 구축하고, load_topic MCP 도구로 필요한 주제만 요청 시 불러오게 합니다. 작성 문서와 실제 애플리케이션 UI 탐색을 결합한 2단계 파이프라인으로 만든 VISUALSKILL은 CUA-World와 OSExpert-Eval에서 스킬 없는 기준선(0.303) 대비 평균 0.456으로 15.3포인트, 동일 소스의 텍스트 전용 스킬(0.373) 대비 8.3포인트 향상을 보였습니다.