arXiv:2611.19274v1 cs.RO

HospitalBench: 체화 에이전트가 병원의 긴 연쇄 과제에서 어디서 왜 실패하는지 진단하기

HospitalBench: Diagnosing Where and Why Embodied Agents Fail on Long Hospital Task Chains

Gaytri Jena, Kapil Wanaskar, Aman Chadha, Vasu Sharma, Vinija Jain, Amitava Das

제출 2026-11-17

한국어 초록

장기 체화 과제는 최종 성공 여부만으로는 포착하기 어려운 방식으로 실패한다. HospitalBench는 NVIDIA Isaac Sim에서 병원 업무 열 가지를 수행하는 진단 벤치마크다. 각 과제는 점수를 매기지 않는 준비 단계 두 개와 평가하는 하위 과제 다섯 개가 인과적으로 이어진 하나의 연속 시뮬레이션이다. 하위 과제를 나란히 배치하는 기존 벤치마크와 달리, 한 단계에서 남긴 상태가 다음 단계에서 무엇을 해야 할지 결정한다. 물체의 자세, 선택한 항목, 한 번만 본 사실 등이 여기에 해당한다. 비전-언어 에이전트는 카메라 영상을 보고 스킬 수준의 도구를 호출한다. 모델에게도 허용된 호출만 수행하는 스크립트 로봇으로 각 업무를 해결할 수 있는지 확인한다. 각 궤적에서 연쇄가 끊긴 위치, 호출이 실패한 뒤의 에이전트 행동, 에이전트가 추정한 자기 위치가 실제 위치에서 얼마나 벗어나는지를 기록한다. 이 버전은 초기 결과만 보고한다. 계획한 60회 중 15회로, 높은 추론 노력 설정의 모델 세 종에서 T1과 T10을 두 시작 상태 각각에서 한 번씩, T3은 한 시작 상태에서 한 번씩 실행했다. 업무 열 가지 중 세 가지는 스크립트 로봇으로 해결 가능함을 입증했다. 15회 중 두 번만 하위 과제 다섯 개를 모두 통과했다. 하위 과제 1~5가 끝난 뒤에도 이어진 실행은 각각 15회, 8회, 4회, 2회, 2회였다. 실패한 호출 189건 중 168건 뒤에는 다른 호출이 이어졌으며 111건 뒤에는 실패하지 않은 호출이 이어졌다. 이는 벤치마크 전체의 결과가 아니라 초기 결과다. 장면, 과제 연쇄, 스크립트 로봇, 평가 도구, 궤적을 공개할 예정이다.

원문 초록

Long-horizon embodied tasks fail in ways that end-task success cannot see. HospitalBench is a diagnostic benchmark of ten hospital chores in NVIDIA Isaac Sim, each two unscored warm-up steps followed by a causal chain of five scored sub-tasks in one continuous simulation: the state one step leaves (an object pose, a choice, a fact seen once) determines what the next step must do, unlike benchmarks that place sub-tasks side by side. Vision-language agents act through skill-level tools from camera images. A scripted robot that makes only the calls a model gets is the solvability check of a chore. From each trajectory the benchmark reads where a chain breaks, what the agent did after a failed call, and how far its own position estimate drifts from the true one. This version reports first results only: 15 of 60 planned runs (three models at high effort, one run each on chores T1 and T10 from both start states and T3 from one), with scripted-robot proofs on three of the ten chores. Of the 15 runs, 2 passed all five sub-tasks. Runs still going after sub-tasks 1 to 5 were 15, 8, 4, 2, 2. Of 189 failed calls, 168 were followed by a different call and 111 by a call that did not fail. These are first results and not a full benchmark. We will release the scenes, task chains, scripted robot, evaluation harness and trajectories.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19274v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.