PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.15364v2cs.AI

RSIAgent: 새로운 환경에서 재귀적 자기 개선을 위한 자율 탐험

RSIAgent: Autonomous Exploration for Recursive Self-improvement in New Environments

디지털 에이전트는 종종 사전학습된 모델이 인터페이스, 도구, 실패 모드까지 완전히 반영하지 못하는 새로운 환경에 적응해야 한다. 본 논문은 자율적 메모리 구축을 통한 재귀적 자기 개선을 위한 무학습 다중-에이전트 프레임워크인 RSIAgent를 제안한다. RSIAgent는 커리큘럼, 액터(actor), 검증자(verifier) 에이전트를 조율하여 환경을 지속적으로 탐험하고 결과를 검증하며, 행동·조건·결과 사이의 재사용 가능한 인과 관계를 포함한 환경별 지식을 유지한다. 또한 broad-then-deep 탐험 전략을 채택하여, 다양한 환경 구조를 찾기 위한 병렬적 넓은 재귀적 자기 탐험과 어려운 사례, 숨겨진 제약, 경계 조건, 이전에 알려지지 않은 인과 의존성을 드러내기 위한 집중적인 깊은 자기 탐험을 결합한다. 이렇게 얻은 메모리는 고정(frozen)되며 모델 파라미터를 갱신하지 않고 하위(downstream) 과제에 바로 재사용할 수 있다. OSWorld-v2와 Agent's Last Exam 실험에서 RSIAgent는 강력한 오픈소스 모델을 크게 향상시켜 Kimi-K3와 GLM-5.3이 GPT-6을 포함한 최첨단 폐쇄형(closed-source) 모델을 능가하도록 한다.

arXiv:2607.21557v3cs.AI

OpenForgeRL: 어떤 환경에서든 하네스 네이티브 에이전트 학습

OpenForgeRL: Train Harness-native Agents in Any Environment

현대 AI 에이전트는 Claude Code, Codex, OpenClaw와 같은 정교한 추론 하네스에 의존하여 다중 턴 추론, 도구 사용, 외부 시스템 접근을 수행한다. 강력하지만 이러한 복잡한 하네스는 동시에 에이전트를 오픈 인프라로 end-to-end 학습하기 어렵게 만든다. 해당 인프라의 SFT/RL 스택은 상태를 유지하는(stateful) 다중 프로세스 하네스 추론을 네이티브로 표현할 수 없기 때문이다. 이를 해결하기 위해, 우리는 다양한 환경에서 하네스 기반 에이전트를 end-to-end로 학습하기 위한 오픈소스 프레임워크인 OpenForgeRL을 제시한다. OpenForgeRL은 하네스의 모델 호출을 제공하면서 이를 표준 RL 코드베이스(예: veRL)의 학습 데이터로 기록하는 경량 프록시, 그리고 각 롤아웃을 독립된 원격 컨테이너에서 실행하는 Kubernetes 오케스트레이터를 통해 이를 달성하며, 이를 함께 사용하면 어떤 하네스든 어떤 환경에서든 대규모 학습이 가능하다. 학습과 추론을 분리함으로써 OpenForgeRL은 연구자들이 실제 배포에 사용하는 하네스와 환경에서 에이전트를 직접 학습·연구·개선할 수 있게 한다. 우리는 도구/클로 기반 에이전트부터 멀티모달 GUI 브라우저 및 컴퓨터 사용 에이전트에 이르기까지, 다양하고 복잡한 하네스와 환경 전반에서 프레임워크를 검증했다. 수백에서 수천 개의 태스크만 사용하여 OpenForgeClaw는 ClawEval에서 31.7 pass^3 및 55.9 pass@3, QwenClawBench에서 33.7을 달성했다. OpenForgeGUI는 OSWorld-Verified에서 37.7, Online-Mind2Web에서 63.0, WebVoyager에서 72.3을 기록했다. 두 모델 모두 유사 규모의 오픈 베이스라인을 거의 모든 벤치마크에서 능가했으며, GUI 설정에서는 훨씬 더 큰 모델과 맞먹거나 그 이상의 성능을 보였다. 벤치마크를 넘어, 하네스 선택(예: ZeroClaw, OpenClaw, Codex)과 RL이 에이전트 행동을 어떻게 형성하는지 분석했다. 일부 하네스는 다른 것보다 훨씬 학습하기 어렵다는 것을 발견했으며, RL은 자기 검증(self-verification), 도구 커버리지, 다단계 계획 완료와 같은 에이전트적 신뢰성을 개선하지만, 오류 복구와 같은 핵심 능력은 여전히 약하다.

arXiv:2606.29537v2cs.AI

OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks

Existing computer-use benchmarks fail to capture the realism, complexity, and long-horizon demands of real-world computer use, limiting their ability to reveal the limitations of frontier agents. We introduce OSWorld 2.0, a benchmark of 108 long-horizon computer-use workflows across everyday and professional tasks, designed to capture complex and challenging real-world phenomena. Each task represents a realistic end-to-end workflow that takes human users a median of about 1.6 hours to complete and requires an average of 318 tool calls with Claude Opus 4.7 using maximum thinking, compared with about 30 in OSWorld 1.0. OSWorld 2.0 targets challenge phenomena that are common in real workflows yet underrepresented in prior benchmarks, spanning interaction-design challenges such as streaming interaction and dynamic environments, as well as agent-pattern challenges such as cross-source reasoning, implicit-state inference, and visual-spatial precision. Tasks are grounded in authentic input artifacts and cross-referenced against realistic stateful user profile data, and include separate safety reports auditing safety-sensitive execution. Under our primary binary-completion metric at 500 steps, Claude Opus 4.8 with maximum thinking and batched tool calls scores best but still completes only 20.6% of tasks at a 54.8% partial score; GPT-5.5 is far more token-efficient yet plateaus near 13%. These results show that current agents are still far from professional-level computer use: rather than stumbling on basic GUI control or coding, they lose track of constraints, miss information that arrives mid-task, guess rather than ask the user, and skip verification, struggling most when a task hinges on hidden state they must recover.

arXiv:2606.31980v1cs.CL

DigitalCoach: 인간과 에이전트 기반 컴퓨터 사용 코칭에서의 소통 및 그라운딩 격차

DigitalCoach: Communication and Grounding Gaps in Human and Agentic Computer Use Coaching

인간 전문가-초보자 간 컴퓨터 사용 코칭 세션 72개, 22,752개의 대화 턴, 28.1시간의 화면 녹화로 구성된 멀티모달 데이터셋 DigitalCoach를 소개하며, 이를 통해 최신 모델의 코칭 능력을 평가한다. 평가 결과 모델은 인간에 비해 직접 지시는 많지만 설명·오류 진단·시각적 그라운딩이 부족하여, 학습자가 수동적으로 지시를 따르게 하는 커뮤니케이션 및 그라운딩 격차가 확인되었다.

arXiv:2606.29472v1cs.AI

Agent-Computer Observation Interfaces Enable Dynamic Computer Use

SWE-agent established the action interface as an underexplored design axis for software-engineering agents; we make the analogous case for the observation interface in computer-use (CU) agents. Current CU agents, closed and open-source alike, tie observation to action--one screenshot every 3-5 s, no audio--leaving them blind and deaf between screenshots to video, animations, transient UI events, meetings, and spoken instructions. We introduce the Agent-Computer Observation Interface (AOI), a model-agnostic perception layer that decouples continuous, adaptive observation from discrete actions through three gated components: inter-step keyframe capture, volume-gated audio transcription, and CU-model-generated visual narration that persists as text. Each produces almost nothing on static, silent content, reducing to the standard loop without degrading it. On DynaCU-Bench (100 dynamic browser tasks plus a 50-task static control), CU models from 7B to frontier scale gain +17 to +48 pp over their screenshot baselines with zero retraining, turning tasks that are near-impossible from periodic screenshots into largely solved ones. The gap is starkest on audio: on a spoken-content subset AOI agents solve every task, whereas streaming voice models hear accurately but cannot act on what they hear without the scaffold. The decomposition is as informative as the headline gain: keyframe selection turns out not to matter--the value comes from narrating captured frames into persistent text--and the interface is not a fixed bundle, since on a newer model (Gemini 3 Flash) the keyframe stream actively regresses through image-token dilution, so its components must be selected per model rather than shipped as one configuration.