PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.15364v2cs.AI

RSIAgent: 새로운 환경에서 재귀적 자기 개선을 위한 자율 탐험

RSIAgent: Autonomous Exploration for Recursive Self-improvement in New Environments

디지털 에이전트는 종종 사전학습된 모델이 인터페이스, 도구, 실패 모드까지 완전히 반영하지 못하는 새로운 환경에 적응해야 한다. 본 논문은 자율적 메모리 구축을 통한 재귀적 자기 개선을 위한 무학습 다중-에이전트 프레임워크인 RSIAgent를 제안한다. RSIAgent는 커리큘럼, 액터(actor), 검증자(verifier) 에이전트를 조율하여 환경을 지속적으로 탐험하고 결과를 검증하며, 행동·조건·결과 사이의 재사용 가능한 인과 관계를 포함한 환경별 지식을 유지한다. 또한 broad-then-deep 탐험 전략을 채택하여, 다양한 환경 구조를 찾기 위한 병렬적 넓은 재귀적 자기 탐험과 어려운 사례, 숨겨진 제약, 경계 조건, 이전에 알려지지 않은 인과 의존성을 드러내기 위한 집중적인 깊은 자기 탐험을 결합한다. 이렇게 얻은 메모리는 고정(frozen)되며 모델 파라미터를 갱신하지 않고 하위(downstream) 과제에 바로 재사용할 수 있다. OSWorld-v2와 Agent's Last Exam 실험에서 RSIAgent는 강력한 오픈소스 모델을 크게 향상시켜 Kimi-K3와 GLM-5.3이 GPT-6을 포함한 최첨단 폐쇄형(closed-source) 모델을 능가하도록 한다.

arXiv:2607.21557v3cs.AI

OpenForgeRL: 어떤 환경에서든 하네스 네이티브 에이전트 학습

OpenForgeRL: Train Harness-native Agents in Any Environment

현대 AI 에이전트는 Claude Code, Codex, OpenClaw와 같은 정교한 추론 하네스에 의존하여 다중 턴 추론, 도구 사용, 외부 시스템 접근을 수행한다. 강력하지만 이러한 복잡한 하네스는 동시에 에이전트를 오픈 인프라로 end-to-end 학습하기 어렵게 만든다. 해당 인프라의 SFT/RL 스택은 상태를 유지하는(stateful) 다중 프로세스 하네스 추론을 네이티브로 표현할 수 없기 때문이다. 이를 해결하기 위해, 우리는 다양한 환경에서 하네스 기반 에이전트를 end-to-end로 학습하기 위한 오픈소스 프레임워크인 OpenForgeRL을 제시한다. OpenForgeRL은 하네스의 모델 호출을 제공하면서 이를 표준 RL 코드베이스(예: veRL)의 학습 데이터로 기록하는 경량 프록시, 그리고 각 롤아웃을 독립된 원격 컨테이너에서 실행하는 Kubernetes 오케스트레이터를 통해 이를 달성하며, 이를 함께 사용하면 어떤 하네스든 어떤 환경에서든 대규모 학습이 가능하다. 학습과 추론을 분리함으로써 OpenForgeRL은 연구자들이 실제 배포에 사용하는 하네스와 환경에서 에이전트를 직접 학습·연구·개선할 수 있게 한다. 우리는 도구/클로 기반 에이전트부터 멀티모달 GUI 브라우저 및 컴퓨터 사용 에이전트에 이르기까지, 다양하고 복잡한 하네스와 환경 전반에서 프레임워크를 검증했다. 수백에서 수천 개의 태스크만 사용하여 OpenForgeClaw는 ClawEval에서 31.7 pass^3 및 55.9 pass@3, QwenClawBench에서 33.7을 달성했다. OpenForgeGUI는 OSWorld-Verified에서 37.7, Online-Mind2Web에서 63.0, WebVoyager에서 72.3을 기록했다. 두 모델 모두 유사 규모의 오픈 베이스라인을 거의 모든 벤치마크에서 능가했으며, GUI 설정에서는 훨씬 더 큰 모델과 맞먹거나 그 이상의 성능을 보였다. 벤치마크를 넘어, 하네스 선택(예: ZeroClaw, OpenClaw, Codex)과 RL이 에이전트 행동을 어떻게 형성하는지 분석했다. 일부 하네스는 다른 것보다 훨씬 학습하기 어렵다는 것을 발견했으며, RL은 자기 검증(self-verification), 도구 커버리지, 다단계 계획 완료와 같은 에이전트적 신뢰성을 개선하지만, 오류 복구와 같은 핵심 능력은 여전히 약하다.

arXiv:2606.31980v1cs.CL

DigitalCoach: 인간과 에이전트 기반 컴퓨터 사용 코칭에서의 소통 및 그라운딩 격차

DigitalCoach: Communication and Grounding Gaps in Human and Agentic Computer Use Coaching

인간 전문가-초보자 간 컴퓨터 사용 코칭 세션 72개, 22,752개의 대화 턴, 28.1시간의 화면 녹화로 구성된 멀티모달 데이터셋 DigitalCoach를 소개하며, 이를 통해 최신 모델의 코칭 능력을 평가한다. 평가 결과 모델은 인간에 비해 직접 지시는 많지만 설명·오류 진단·시각적 그라운딩이 부족하여, 학습자가 수동적으로 지시를 따르게 하는 커뮤니케이션 및 그라운딩 격차가 확인되었다.