PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.29653v2cs.AI

PTCG-Bench: LLM 에이전트는 포켓몬 트레이딩 카드 게임을 마스터할 수 있는가?

PTCG-Bench: Can LLM Agents Master Pok\'emon Trading Card Game?

전략적으로 복잡한 보드 게임에서 인간 플레이어는 몇 판만 해도 빠르게 전략을 짜는 법을 배울 수 있다. 자율 에이전트도 현실적인 상호작용 환경에서 이와 비슷한 능력이 필요하지만, 기존 에이전트 벤치마크는 그런 전략적·진화적 의사결정 상황을 충분히 담아내지 못하는 경우가 많다. 본 논문은 포켓몬 트레이딩 카드 게임(PTCG) 기반 벤치마크 PTCG-Bench를 제안하며, LLM 에이전트를 두 상보적 층위에서 평가한다: (1) 단일 복잡 환경 안에서의 의사결정 성능, (2) 축적된 경험을 통한 자기 진화(self-evolving) 능력. 또한 모델 능력과 섞이지 않도록 에이전트 성능을 해석하기 위해 모듈형 하네스(harness) ablation을 포함한다. 실험 결과 LLM 에이전트는 사소하지 않은 게임플레이 성능을 낼 수 있으나, 지속적·안정적인 자기 진화는 여전히 어렵고 성능은 하네스 설계에 민감하다. PTCG-Bench가 현실적 상호작용 환경에서 하네스를 고려한(harness-aware) 자기 진화 에이전트 연구를 돕기를 기대한다.

arXiv:2607.12338v1cs.AI

에이전트 벤치마크 결정을 위해 태스크는 몇 개면 충분한가? 공개 LLM 에이전트 벤치마크의 리플레이 분석

How Many Tasks Are Enough for Agent Benchmark Decisions? A Replay Analysis of Public LLM Agent Benchmarks

에이전트 벤치마크는 종종 모든 태스크가 실행된 뒤 두 에이전트를 비교하지만, 비용이 큰 평가 때문에 부분 실행이 유혹적이다. 태스크 비율만으로는 부분 실행이 완료된 벤치마크와 동일한 쌍별 결론을 지지하는지 알 수 없다. 우리는 SWE-bench, AppWorld, tau-bench의 완료된 공개 태스크 수준 기록을 리플레이하여 이 질문을 연구한다. 부분 예산은 완료된 벤치마크의 결정을 지지하고, 필요한 태스크 그룹을 포함하며, 비교 중 목표 비율을 넘지 않는 미해결 비교만 남길 때에만 충분한 것으로 간주된다. 필요한 태스크 비율은 크게 달라진다. 5 퍼센트 포인트 예산 격자에서 엄격한 0 퍼센트 포인트 임계값을 적용하면, AppWorld는 15%에서 처음으로 모든 목표를 충족하고, tau-bench는 25%, SWE-bench Verified는 90%에서 충족한다. SWE-bench Lite는 주요 커버리지 규칙 하에서 95%까지도 모든 목표를 충족하지 못한다. 부분 평가 보고서는 한 에이전트가 다른 에이전트보다 얼마나 우수해야 하는지, 태스크가 어떻게 선택되는지, 어떤 커버리지 규칙이 필요한지, 어떤 결정 규칙이 사용되는지, 그리고 몇 개의 비교가 미해결 상태로 남을 수 있는지를 명시해야 한다.

arXiv:2607.09711v1cs.LG

EvoClawBench: 에이전트는 자신의 실행 이력에서 재사용 가능한 스킬을 학습할 수 있는가?

EvoClawBench: Can Agents Learn Reusable Skills from Their Own Runs?

기존 에이전트 벤치마크는 주로 태스크 완료, 도구 사용, 또는 스킬 유용성을 테스트하지만, 런타임이 자신의 실행 이력에서 얻은 증거를 재사용 가능한 스킬로 변환하여 작성 오버헤드 이후 새로운 실행을 개선할 수 있는지는 독립적으로 평가하지 않는다. 우리는 반복적이고 픽스처(fixture) 기반 태스크에서의 이 폐쇄 루프(closed-loop) 스킬 학습 문제를 위한 벤치마크인 EvoClawBench를 소개한다. EvoClawBench는 스킬 없이 직접 실행하는 방식, 실행 전 PreSkill을 작성하는 방식, 그리고 첫 번째 실행 증거로부터 PostSkill을 요약한 뒤 새로운 두 번째 실행을 수행하는 방식을 비교한다. 이 스위트는 코딩, 데이터, 오피스, 보안, 운영, 도메인 문서 워크플로우에 걸친 100개의 태스크와 502개의 하위 문제를 포함하며, 여러 에이전트 런타임을 지원한다. 로컬 실행 환경에서 OpenClaw와 nanobot을 이용한 실험 결과, 직접 실행의 기준선 성능은 런타임에 크게 의존하는 것으로 나타났다: OpenClaw는 모든 모델에서 20% 미만을 유지하는 반면, nanobot은 56.45%에서 96.13% 범위를 보인다. 자체 작성 스킬은 혼재된 효과를 나타낸다. nanobot GPT-5.4는 모든 모드에서 96% 이상을 유지하고 MiniMax-M2.7은 PostSkill에서 90.97%에서 94.50%로 향상되지만, nanobot DeepSeek-V4-Pro는 PreSkill에서 77.77%에서 4.80%로, PostSkill에서는 0.99%로 급락한다. OpenClaw도 유사한 비단조적(non-monotonic) 동작을 보이며, 일부 스킬 실행은 기준선에 근접하는 반면 다른 것들은 성능이 붕괴된다. 이러한 결과는 에이전트 자신의 실행 이력으로부터 재사용 가능한 스킬을 학습하는 것이 에이전트 루프에 스킬 작성을 추가함으로써 자동적으로 얻어지는 이점이 아니라, 선택적이고 비용에 민감한 과정임을 나타낸다.

arXiv:2607.08768v1cs.CL

UniClawBench: 실세계 태스크에서 능동적 에이전트를 위한 범용 벤치마크

UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks

UniClawBench는 샌드박스 환경과 단일 턴 평가에 의존하던 기존 벤치마크의 한계를 극복하기 위해, 스킬 활용·탐험·장문 맥락 추론·멀티모달 이해·크로스 플랫폼 조율의 5가지 능력 차원을 중심으로 400개의 이중 언어 실세계 태스크를 설계한 능력 중심 에이전트 벤치마크다. 실제 Docker 컨테이너 환경에서 단계별 체크포인트 기반 평가와 실행 에이전트·숨겨진 감독 에이전트·사용자 에이전트로 구성된 폐쇄 루프 전략을 도입해 채점 기준 누출 없이 멀티 턴 인간 피드백을 시뮬레이션하며, 실험 결과 에이전트 성능은 기반 모델 능력보다 프레임워크 설계의 영향을 더 크게 받는 것으로 나타났다.

arXiv:2607.02141v1cs.AI

A$^{2}$utoLPBench: An Auto-Generated, Agent-Friendly LP Benchmark via Inverse-KKT Construction

Inverse-KKT 구성 방식을 통해 실현 가능한 최적해와 쌍대 변수를 먼저 샘플링한 후 역방향으로 선형 프로그래밍(LP) 문제를 자동 생성하는 벤치마크 A²utoLPBench를 제안하며, 이 방식은 솔버 호출이나 인간 주석 없이 수학적으로 보증된 정답을 제공한다. 고정 데이터셋 대비 무한한 문제 공급, 난이도 파라미터 조정, 학습 데이터 오염 저항성을 갖추며, 번들된 solver-critic 에이전트 기준선이 MAMO complex에서 Claude Sonnet 4.6 기준 최대 +11.3pp 성능 향상을 달성했다.

arXiv:2606.13715v2cs.AI

WorkBench Revisited: Workplace Agents Two Years On

WorkBench 벤치마크 2년 재평가 결과, Claude Fable 5가 97.7%의 작업 완료율로 2024년 GPT-4의 43%에서 대폭 향상되었으며, 의도치 않은 유해 행동 발생률도 26%에서 1.9%로 급감해 능력과 안전성이 함께 향상됨을 입증했다. 아울러 중국 오픈웨이트 모델들이 비용 효율 면에서 서방 상용 모델을 압도하며, 2024년 최고 성능 대비 약 100분의 1 비용으로 동등한 성능을 달성했다.

arXiv:2606.28480v1cs.SE

TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents

As large language models and harness frameworks continue to advance, agents operating in terminals are increasingly capable of performing a broader range of general computer-use tasks beyond coding. However, existing benchmarks do not adequately evaluate general-purpose terminal computer-use agents (TUAs): general computer-use benchmarks primarily target graphical user interfaces (GUIs), whereas terminal-based benchmarks largely emphasize technical and programming-centric workflows historically native to the shell. We introduce TUA-Bench, a general-purpose benchmark for terminal-use agents. TUA-Bench includes 120 real-world tasks across five task families, covering routine digital activities-including document editing, email management, and live-web information seeking-as well as scientific and engineering workflows co-designed with PhD-level domain experts that require specialized software. This breadth distinguishes TUA-Bench from prior shell-focused or domain-specific benchmarks. Each task is manually designed, runs in a real terminal with a deterministic setup script, and is evaluated by an execution-based scoring protocol. We find that the strongest frontier agent, Claude Code with Claude Opus 4.8 max reasoning effort, achieves 65.8% overall performance, with substantial gaps across both tracks. By providing a broad and realistic evaluation of terminal-use capabilities, TUA-Bench aims to accelerate the transition from narrow, task-specific assistants to general-purpose agents capable of operating reliably across diverse digital environments.

arXiv:2606.27499v1cs.CV

DMV-Bench: 부수적 단서 주입을 통한 장기 멀티모달 에이전트 시각 기억 진단

DMV-Bench: Diagnosing Long-Horizon Multimodal Agents' Visual Memory with Incidental Cue Injection

에이전트 기억에 대한 연구는 빠르게 성숙해 왔지만, 거의 전적으로 텍스트 측면에 집중되어 있다. 기존 벤치마크 중 상호작용 환경에서 에이전트가 기록할 수 있는 내용이 아니라 실제로 본 것을 기억해야 하는 순간을 묻는 사례는 거의 없다. 우리는 멀티모달 에이전트 시각 기억을 위한 최초의 상호작용형 벤치마크인 DMV-Bench(Code: https://github.com/yyyujintang/DMV-Bench)를 제안한다. DMV-Bench는 1,000개 제품 변형으로 구성된 통제된 가구·인테리어 전자상거래 카탈로그 위에 구축되며, 텍스트 누출 계약(text-leakage contract)을 통해 각 과제의 판별 신호를 픽셀에만 남긴다. 자율 쇼핑 세션의 연쇄 과정에서 방문한 모든 제품 이미지에는 고유하게 사전 렌더링된 부수적 단서가 포함되며, 이후 에이전트는 특정 단서가 붙은 제품을 회상하고 해당 URL로 이동하도록 요청받는다. 이중 부호화 이론(dual-coding theory)에서 영감을 받아, 시각 코드와 언어 코드를 병렬로 유지하는 기억 아키텍처 DualMem을 제안한다. DMV-Bench에서 DualMem은 Gemini 2.5 Flash와 Qwen2.5-VL-7B 모두에서 체인 길이 J ∈ {5, 10, 15, 50}의 모든 구간에서 캡션 기준선과 최근의 멀티모달 에이전트 기억 시스템 3종을 능가하며, 이 우위는 메모리 뱅크 크기와 인코딩 위치 바이어스에 대한 통제를 거친 뒤에도 유지된다. 또한 시각 채널이 단서를 처음부터 끝까지 담당하고 언어 채널은 더 작은 쿼리 그라운딩(query-grounding) 역할을 하는 비대칭적 이중 부호화 체계가 관찰된다.

arXiv:2606.23654v1cs.CL

EnterpriseClawBench: 실제 업무 세션 기반 에이전트 벤치마킹

EnterpriseClawBench: Benchmarking Agents from Real Workplace Sessions

실제 기업 워크스페이스 에이전트 세션에서 852개의 재현 가능 태스크를 구축한 EnterpriseClawBench 벤치마크를 제안하며, 내부 콘텐츠로 벤치마크 데이터는 공개하지 않고 구축·평가 프로토콜을 재사용 가능한 기여로 제공한다. Lite 120개 태스크에서 Codex with GPT-5.5가 0.663으로 최고 성능을 기록했고, 기업 에이전트 평가는 단일 점수보다 하네스-모델 조합, 산출물 전달, 시각적 품질, 비용, 런타임, 스킬 전이 행동을 함께 보고해야 함을 보여준다.

arXiv:2606.22000v1cs.AI

CFAgentBench: 자율 건설·금융 에이전트를 위한 재현 가능한 환경 및 벤치마크

CFAgentBench: A Reproducible Environment and Benchmark for Autonomous Construction-Finance Agents

우리는 CFAgentBench를 소개한다. 이는 자율 건설·금융 에이전트를 위한 재현 가능하고 자체 호스팅 가능한(self-hostable) 환경 및 벤치마크로, 미국 건설 금융 팀이 실제로 사용하는 소프트웨어 스택—ERP, 프로젝트 관리, 이메일, 문서, 지급 신청(pay applications), 급여(payroll), 인증 급여(certified payroll), 유치권 포기(lien waivers), 은행/자금 포털—전반에서 운영되는 CFO/컨트롤러급 에이전트를 대상으로 한다. 8개 도메인과 77개 패밀리에 걸쳐 1,014개의 기계 채점 가능(machine-gradeable) 작업 명세를 포함하며, 모든 패밀리는 실제 출처에 기반한다. 자체 검증된 40개 작업(프로젝트 관리 확장 시 54개) 부분집합은 오라클 검증(oracle-validated) 실행 가능 평가기로 컴파일되어, 본 문서에서 보고하는 실행 가능한 스위트를 구성한다. WebArena를 따르듯, 이 벤치마크는 정적 추적(trace)이 아니라 실행 가능한 환경에서 동작한다. 9개 아키타입에 걸친 35개 모의 애플리케이션(31개는 하나의 회사 장부에 조정되었고, 4개는 PM 플랫폼)이 각각 균일한 자체 호스팅 가능 앱 계약을 구현하므로, 모든 작업은 기능적 정확성—상태 차(diff), 금지 부작용 검사, 필수 출력 정규식—으로 채점되며, 대규모 언어 모델(LLM) 심판(judge)은 보상으로는 결코 사용되지 않고 응답 품질에만 사용된다. 구별되는 원칙은 자금 이동(money-movement) 가드이다. 278개 인스턴스는 지급, 급여, 전자 서명, 또는 전자 제출 단계를 포함하며, 올바른 행동은 중단하고 인간 승인을 위해 대기(staging)하는 것인데, 올바른 거래를 실행조차도 작업을 실패시킨다. 공개 분할(n=711)은 95% Wilson 반폭(half-width) ±4.1%에 맞게 크기가 조정되었고, 비공개 오염 방지(contamination-protected) 분할(n=303)은 원격 채점을 위해 예약되어 있다. 최초의 3개 모델 오픈 가중치(open-weight) 스위프(k=5)에서, 가장 강한 에이전트는 pass^1 = 0.67에 도달하지만 pass^5 = 0.38에 그친다. 이는 temperature-0 디코딩 하에서 반복을 요구받을 때 성공의 43%를 잃는다. 모델 내 pass^1에서 pass^5로의 급락과 도메인별 급격한 이질성(heterogeneity)은 단일 시도 정확도가 배포 가능한 건설·금융 역량을 과대평가함을 분명히 보여준다.