PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.08964v1cs.AI

Long-Horizon-Terminal-Bench: 밀집 보상 기반 채점으로 장기 수평 터미널 태스크에서 에이전트의 한계를 검증하다

Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading

AI 에이전트는 짧고 명확하게 정의된 태스크를 자율적으로 완료할 수 있는 수준에 도달했다. 그러나 기존의 터미널 벤치마크는 대부분 몇 분 내에 종료되는 단순한 문제에 집중하며, 최종 결과만으로 평가한다. 이러한 방식은 중간 과정의 진척과 부분적 해결책을 간과하여 희소한 보상 신호를 생성하고 에이전트 능력에 대한 불완전한 그림을 제공한다. 우리는 Long-Horizon-Terminal-Bench를 소개한다. 이는 실험 재현, 소프트웨어 엔지니어링, 멀티모달 분석, 인터랙티브 게임, 과학적 컴퓨팅을 포함한 9개 카테고리에 걸쳐 46개의 장기 수평 태스크로 구성된 터미널 벤치마크이다. 각 태스크는 참조 솔루션 또는 시뮬레이션 엔진을 갖춘 Terminal-Bench 스타일의 설정을 따르되, 세밀하게 채점된 서브태스크로 추가 분해된다. 이 설계는 밀집한 중간 보상과 부분 점수를 가능하게 하여, 에이전트가 최종 목표에 도달하는지 여부뿐만 아니라 개방형 워크플로우에서 얼마나 진전을 이루는지도 평가할 수 있다. Long-Horizon-Terminal-Bench의 태스크는 일반적으로 수백 번의 에피소드와 수 분에서 수 시간의 실행 시간을 요구하며, 단발성 문제 해결보다는 장기 수평 계획, 긴 컨텍스트 관리, 반복적 디버깅을 요구한다. 우리는 15개의 최전선 모델을 평가한 결과, 에이전트가 태스크당 평균 990만 토큰을 소비하며, 실행당 약 231회의 에피소드와 85.3분의 실행 시간이 소요됨을 확인했다. 이는 Long-Horizon-Terminal-Bench가 기존 터미널 기반 벤치마크보다 더 까다로움을 보여준다. 가장 강력한 테스트 모델조차 부분 보상 임계값 0.95에서 pass@1 15.2%, 완전 보상 임계값 1.0에서 10.9%를 달성하는 데 그쳤으며, 두 임계값 기준 모델 전체의 평균 통과율은 각각 4.3%와 1.7%에 불과하다. 이러한 결과는 개선의 여지가 충분함을 드러낸다. 우리는 실패 유형과 오류 패턴을 추가로 분석하고, 장기 수평 터미널 에이전트의 미래 발전을 지원하기 위해 Long-Horizon-Terminal-Bench를 공개한다.

arXiv:2606.31179v1cs.AI

HealthAgentBench: A Unified Benchmark Suite of Realistic Agentic Healthcare Environments for Challenging Frontier AI Agents

실제 의료 임상 워크플로우를 재현하는 7개 범주 54개 에이전트 태스크로 구성된 HealthAgentBench 벤치마크를 소개하며, X-ray 보고서 교정, 병리 이미지 분석, EHR 데이터 처리 등 다양한 모달리티를 다중 단계 추론으로 평가한다. 최고 성능 에이전트인 Codex GPT-5.5조차 약 42% 성공률에 그쳐 의료 영상 처리와 복합 추론이 필요한 대규모 탐색 공간 태스크가 현재 프론티어 에이전트의 주요 난관임을 드러낸다.

arXiv:2604.13072v2cs.CL

LiveClawBench: 복잡한 실세계 어시스턴트 작업에 대한 LLM 에이전트 벤치마킹

LiveClawBench: Benchmarking LLM Agents on Complex, Real-World Assistant Tasks

OpenClaw 스타일의 개인 어시스턴트는 LLM 에이전트를 고립된 도구 사용에서 개방형(open-ended), 상태 유지(stateful), 개인화된 소프트웨어 환경으로 확장한다. 이러한 어시스턴트를 평가하는 것은 근본적으로 충실도(fidelity) 문제이다: 벤치마크는 실제 어시스턴트 작업의 분포와 해당 작업이 전개되는 환경의 실행 의미론(execution semantics) 모두에 충실해야 한다. 기존 벤치마크는 한 차원 또는 다른 차원에서 충실도를 잃는 경우가 많다. 이들의 작업 분포는 격리, 모킹(mock), 검증하기 쉬운 것에 의해 형성되어, 크로스 서비스 의존성, 오염된 상태, 암묵적 의도, 런타임 변화 등 실세계의 어려움을 과소 대표한다. 이들의 환경은 라이브(live)이지만 재현하기 어렵거나, 재현 가능하지만 세션, 아티팩트(artifact), 상태 전이, 하류 부수 효과를 제거하는 엔드포인트 수준 스텁(stub)으로 축소된다. 우리는 이러한 이중 충실도 요구사항을 중심으로 설계된 벤치마크인 LiveClawBench를 제안한다. LiveClawBench는 난이도 기반 작업 구성을 위한 Triple-Axis Complexity Framework와 상태 유지 실행 의미론을 보존하는 재현 가능한 풀스택(full-stack) 모킹 애플리케이션을 결합한다. 22개의 모킹 서비스를 갖춘 10개 도메인에 걸친 134개의 실행 가능한 케이스를 통해 LiveClawBench는 현실적인 에이전틱(agentic) 작업에 대한 통제 가능하고 확장 가능하며 요인 수준(factor-level)의 진단적 평가를 지원한다. 우리는 벤치마크 리소스를 공개한다: (1) Benchmark: https://github.com/Mosi-AI/LiveClawBench; (2) Leaderboard: https://mosi-ai.github.io/LiveClawBench/leaderboard/; (3) Trajectories: https://huggingface.co/datasets/Mosi-AI/LiveClawbench-trajectories