arXiv:2610.02089v1 cs.RO

HumanoidToolBench: 선택부터 이동 실행까지 휴머노이드 도구 사용 벤치마킹

HumanoidToolBench: Benchmarking Humanoid Tool Use from Selection to Mobile Execution

Kyochul Jang, Seohyeon Park, Ohchul Kwon, Sangjun Park, Junhyeok Choi, Seungyeop Yi, Chaeyun Kim, Sangkyu Lee, Idan Szpektor, Avi Caciularu, Jongmin Park, Youngjae Yu

제출 2026-10-01

저자 비고

arXiv Comments

9 pages, 7 figures

한국어 초록

로봇 하드웨어와 학습 방법이 발전함에 따라, 휴머노이드가 고유한 물리적 한계를 뛰어넘는 작업을 수행하기 위해서는 도구가 필요합니다. 성공적인 도구 사용을 위해서는 적절한 도구를 선택하고 조작(manipulation)과 필요 시 보행(locomotion)을 조율하여 작업을 완료해야 합니다. 기존 벤치마크는 휴머노이드에서 이러한 능력들을 종합적으로 평가하지 못합니다. 본 논문에서는 3가지 시나리오, 3가지 실행 수준, 2가지 도구 세트 모드를 아우르는 18개 작업 벤치마크인 HumanoidToolBench와 함께, 시뮬레이션 및 실제 Unitree G1 로봇에서 수집된 3,100개의 시연(demonstration) 데이터셋인 ToolBook을 소개합니다. 시뮬레이션에서 7개 정책, 실제 로봇에서 3개 정책을 평가한 결과 적절한 도구를 선택하는 것과 작업을 완수하는 것 사이에 상당한 격차가 있음을 확인했습니다. GR00T N1.7에 대한 심층 분석 결과, 보지 못한(unseen) 도구에 대한 선택 정확도가 감소하고 무관한 지시문이 주어져도 작업을 계속 실행하는 문제가 나타났습니다. 코드와 데이터는 https://snu-pi.github.io/HumanoidToolBench/ 에서 확인할 수 있습니다.

원문 초록

As robotic hardware and learning methods advance, humanoids need tools to perform tasks beyond their inherent physical limits. Successful tool use requires selecting a suitable tool and coordinating manipulation and, when needed, locomotion to complete the task. Existing benchmarks do not jointly evaluate these capabilities on a humanoid. We introduce HumanoidToolBench, an 18-task benchmark spanning three scenarios, three execution levels, and two tool-set modes, together with ToolBook, a dataset of 3.1k demonstrations collected in simulation and on a real Unitree G1. Evaluation of seven policies in simulation and three on the real robot reveals substantial gaps between selecting a suitable tool and completing the task. Focused GR00T N1.7 probes show reduced selection accuracy on unseen tools and continued task execution under unrelated instructions. Code and data are available at https://snu-pi.github.io/HumanoidToolBench/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02089v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15750v1cs.AI공통 태그 Benchmarking, tool use

Google Earth AI 지리공간 추론(Geospatial Reasoning) 에이전트: 역량과 체계적 평가

Google Earth AI Geospatial Reasoning Agent: Capabilities and a Systematic Evaluation

Google Earth AI는 지리공간(geospatial) AI 모델들의 패밀리와 이를 오케스트레이션하는 에이전트로 구성된다. 본 논문에서는 이 에이전트인 Google Earth AI의 Geospatial Reasoning 에이전트(GRA)를 소개한다. GRA는 Gemini 기반의 연구 시스템으로, 지리공간 데이터 소스, 파운데이션 모델, 그리고 도구들을 결합하여 우리 지구에 관한 질문에 답한다. GRA는 이러한 요소들을 모듈화된 도메인 스킬로 구성하고, 사전(upfront) 지리공간 계획과 결합하여 복잡한 질의를 다단계 워크플로우로 분해한다. 이러한 시스템을 평가하는 것은 어려운데, 실제 문제는 여러 타당한 워크플로우를 허용하고, 대규모 카탈로그 전반에 걸친 데이터 발견(data discovery)을 요구하며, 계속 변화하는 그라운드 트루스(ground truth)에 의존하기 때문이다. 우리는 두 가지 벤치마크를 도입하고 이들의 개발 분할(development split)을 공개한다. GeoExpertQueries는 실무자의 사용 사례(use case)에 기반하고 지리공간 전문가들에 의해 정제된 복잡한 분석 문제들을 제시한다. 각 문제는 세 명의 독립적인 전문가로부터 얻은 합의된 골든 워크플로우(golden workflow)와 짝을 이루며, 사람이 검증한 도구에 무관한(tool-agnostic) 오토레이터(autorater)에 의해 채점된다. GeoKTools는 필요한 도구 유형의 수를 체계적으로 변화시키는 결정론적(deterministic) 참조 솔버(reference solver)를 갖춘 템플릿화된 질의들로 구성된다. 우리는 또한 CBGB와 UnivEARTH라는 두 가지 외부 벤치마크를 사용하는데, 이 중 UnivEARTH는 포화(saturated) 상태임을 확인하였다. GRA의 도구와 에이전트적(agentic) 오케스트레이션의 기여를 분리하기 위해, 우리는 Gemini 3.1 Pro와 3.8 Flash 각각에 대해 네 가지 구성을 비교한다: 단독 LLM, 기본 도구를 갖춘 LLM, GRA의 스킬과 도구는 갖추었지만 사전 계획 및 실행 가이드는 없는 LLM, 그리고 GRA 자체이다. 기본 도구만 있는 경우, 고성능 모델은 템플릿화된 질의에서는 정답의 많은 부분을 복원하지만, 개방형(open-ended) 문제에서는 전문가 워크플로우의 작은 일부만을 충족시킨다. 반면 GRA는 두 경우 모두에서 우수한 성능을 보인다. 가장 큰 성능 향상은 GRA의 스킬과 도구로부터 나오며, 개방형 문제에서는 그 계획 및 실행 가이드가 Gemini 3.8 Flash와 결합될 때 추가적인 향상을 가져와, Flash가 더 낮은 비용으로 Pro와 동등하거나 이를 능가하는 성능을 내도록 한다.

arXiv:2610.13516v1cs.RO공통 태그 Imitation Learning, Benchmarking

RESCUE: 이 알람은 대응할 가치가 있는가? VLA 런타임 모니터의 반사실적 평가

RESCUE: Is This Alarm Worth Acting On? Counterfactual Evaluation of VLA Runtime Monitors

로봇 정책(policy)에 대한 런타임 실패 모니터는 일반적으로 실패한 실행과 성공한 실행을 얼마나 정확하게 구분하는지로 평가된다. 그러나 정확한 알람도 복구하기에는 너무 늦게 도착할 수 있으며, 불필요한 개입(intervention)은 그렇지 않았다면 성공했을 실행을 방해할 수 있다. 우리는 모니터의 알람이 유용한 개입을 가능하게 하는지 평가하기 위한 반사실적(counterfactual) 프레임워크인 RESCUE를 소개한다. 실행 체크포인트에서 시뮬레이터와 정책 상태를 복원함으로써, RESCUE는 대안적 행동을 비교하고 지정된 복구 기준을 만족하는 가장 마지막 체크포인트를 식별하며, 알람에 따라 행동하는 것이 예상 작업 완료 비용을 줄이는지를 평가한다. 우리는 LIBERO-Spatial과 LIBERO-Plus에서 OpenVLA-OFT와 $π_{0.5}$를 사용하여 128,340개의 반사실적 분기로 RESCUE를 평가한다. 복구 가능성은 로봇 상태만이 아니라 상태-개입 쌍에 의존한다: $τ=0.5$에서 OpenVLA-OFT/LIBERO-Plus 실패 66건 중 14건은 계속(continuation) 조건에서 복구 가능한 체크포인트를 포함하는 반면, 계속 또는 스크립트 기반 복구 조건에서는 66건 중 34건이 그러하며, 다른 조건에서는 복구가 오히려 복구 가능성을 감소시킨다. 주요 강한 정책 조건에서는 우수한 탐지 점수가 더 낮은 개입 비용을 보장하지 않는다. 평가된 정지 후 재설정 모델 하에서는, 이상적인 탐지기조차도 불필요한 재설정으로 인한 비용이 실패를 조기에 멈춤으로써 얻는 절감 효과를 상회하기 전까지 2.0~3.3%의 오탐 비율만을 감당할 수 있다. 이러한 결과는 모니터의 가치가 사용 가능한 개입과 그것이 배치되는 작업 부하에 공동으로 의존한다는 것을 보여준다.

arXiv:2610.13628v1cs.RO공통 태그 Imitation Learning, Benchmarking

JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크

JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation

비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.

arXiv:2610.01045v2cs.AI공통 태그 Benchmarking, tool use

공허한 약속: 에이전트가 이행할 수 없는 약속을 할 때

Empty Commitments: When Agents Promise What They Cannot Deliver

"내일 알려드리겠습니다"라고 말하는 챗봇은 사용자가 다시 메시지를 작성하기 전까지는 실행되지 않습니다. 우리는 이러한 약속을 공허한 약속(empty commitment)이라 부릅니다. 이는 현재 턴 이후의 행동에 대한 약속이지만, 에이전트의 도구나 런타임 환경에 이를 실행할 수 있는 수단이 전혀 없는 경우를 의미합니다. 깨진 약속과 달리 공허함은 발화 순간 에이전트의 구성(configuration)에 따라 결정되므로, 배포 전이나 런타임 시 단일 턴만으로도 감지할 수 있습니다. 본 연구에서는 약속 의미론(commitment semantics)을 기반으로 공허한 약속을 정의하고, 세 가지 실패 유형, 도구를 통해 실현될 수 있는 약속에 대한 앵커링 조건, 그리고 이러한 실패를 정직한 보류(honest deferral) 및 과도한 거부(over-refusal)와 구분하는 결과 분류 체계를 제시합니다. 우리는 400개의 인간 레이블로 검증된 체커(환경 미인지 감지기, 결정론적 실행 가능성 규칙, 응답 판정기)를 구축했습니다. 지속성 어포던스(persistence affordance)를 하나씩 추가하는 5가지 설정에 걸쳐 293개의 후속 요청으로 구성된 통제된 벤치마크에서, 8-14B 파라미터의 4개 오픈 가중치(open-weight) 모델은 도구가 존재하지 않고 아무것도 명시되지 않았을 때 응답의 45.9%에서 실패했습니다. 프론티어 모델은 4.4%의 실패율을 기록했으나, 이는 보유한 도구를 사용해서가 아니라 보류하고 되물음으로써 달성한 수치였습니다. 즉, 실행을 위한 도구 호출 없이 행해지는 약속은 모든 모델에 여전히 남아 있었습니다. 가장 저렴한 해결책인 모델에게 런타임 정보를 알려주는 방식은 아무것도 수행할 수 없는 환경에서 오픈 가중치 모델의 실패를 거의 절반으로 줄였으나, 스케줄러가 존재하는 환경에서는 아무런 변화를 주지 못했습니다. 지시적 역량 카드(directive capability card)는 과도한 거부라는 가장 큰 대가를 치르면서 대부분의 실패를 제거했으며, 루프 내에서 체커를 실행하고 플래그가 지정된 응답을 다시 작성하는 방식은 더 적은 비용으로 더 많은 실패를 제거했습니다. 코드, 프롬프트, 모델 출력 및 인간 레이블이 공개됩니다.

arXiv:2610.02826v1cs.AI공통 태그 Imitation Learning, Benchmarking

재귀적 자기 재작성을 통한 복합 작업을 위한 궤적 스케일링

Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite

어려운 작업에서의 성공적인 궤적(trajectory)은 모델 개선을 위한 귀중한 지도(supervision) 정보를 제공하지만, 특화된 하네스(harness)는 배포 환경에서는 사용할 수 없는 개입을 도입하기도 합니다. 본 연구에서는 단일 베이스 모델인 Qwen-3.8-27B를 사용하여 다양한 하네스 환경에서 성공적인 해결책을 탐색하고, 이를 일반 하네스 환경의 학습(training) 궤적으로 재구성하는 프레임워크인 재귀적 자기 재작성(Recursive Self-Rewrite, RSR)을 제안합니다. 플래너(planner)는 절차를 런북(runbook)으로 추출하고, 크리틱(critic)은 검증기(verifier) 및 솔루션 유출을 걸러내며 재귀적 수정을 유도하고, 실행기(executor)는 새로운 샌드박스 환경에서 적격한 런북을 따릅니다. 자체 선별한 약 3천 개의 터미널 작업 전반에서 세 가지 하네스가 공동으로 759개의 작업을 해결하여, 기록된 풀에서 가장 뛰어난 개별 하네스보다 34.3% 더 많은 작업을 해결했습니다. RSR은 지도 파인튜닝(supervised finetuning)을 위해 2,001개의 성공적인 소스 궤적을 11,094개의 재작성된 궤적으로 확장합니다. 이러한 궤적으로 학습을 진행하면 베이스 모델과 직접 궤적 SFT 모두보다 우수한 성능을 보입니다. 베이스 모델과 비교하여 pass@3은 Terminal-Bench 2에서 57.0%에서 74.2%로, Terminal-Bench 4에서 1.5%에서 9.1%로, 자체 선별한 Terminal-Bench Hard에서 39.0%에서 63.0%로, Software Terminal-Bench에서 3.0%에서 6.0%로 증가합니다. Long-Horizon Terminal-Bench에서의 과정 보상(process reward)은 0.21에서 0.29로 상승합니다. 이러한 결과는 하네스의 지원을 받은 다양한 경험이 일반 하네스 환경에서 작동하는 모델을 위한 재사용 가능한 역량으로 재구성될 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.