장기(long-horizon) 임바디드 에이전트(embodied agent)는 실행이 진행됨에 따라 태스크 관련 정보를 유지하고, 이종 로봇들을 조율하며, 의사결정을 적응적으로 변경할 수 있어야 합니다. 기존 벤치마크는 동적 태스크 실행 및 임바디드 멀티 에이전트 조율을 조사하지만, 둘의 교차점에 대한 평가는 제한적입니다. 본 연구에서는 동적 멀티 로봇 환경에서의 지속적 태스크 추론을 위한 아키텍처 비종속적 벤치마크인 MAGMA-Bench를 소개합니다. MAGMA-Bench는 이종 역량을 가진 로봇 간의 조율이 필요한 시나리오와 함께, 실행 실패, 태스크 중단, 미션 업데이트를 포함한 통제된 온라인 섭동(online perturbation) 및 늘어나는 태스크 범위에 걸쳐 에이전트를 평가합니다. 본 벤치마크는 구조화된 스킬 수준 인터페이스를 활용하여 태스크 수준 추론을 인지 및 저수준 제어로부터 분리합니다. 저자들은 로컬 배포가 가능한 오픈 가중치 플래너, 멀티 에이전트 상태 추적 전략, 그리고 프론티어 모델들을 평가합니다. 평가된 가장 강력한 모델조차도 섭동이 없는 에피소드의 상당 부분에서 실패하며, 온라인 섭동 하에서는 성공률이 더욱 감소합니다. 지도 적응(supervised adaptation)은 소형 모델의 성능을 크게 향상시키지만, 더 길고 다중 로봇이 관여하는 미션에서는 성능이 여전히 크게 낮게 유지됩니다. 저자들은 벤치마크, 261,646개의 태스크 수준 학습 예제, 그리고 아키텍처 비종속적 전문가 궤적 생성 파이프라인을 공개합니다.
대규모 언어 모델(LLM)의 일반화 능력을 기반으로 하는 에이전틱 AI(Agentic AI)는 체화된(embodied) 작업 계획을 포함하여 광범위한 잠재적 응용 분야를 제공합니다. 예를 들어, 파운데이션 모델(Foundation model) 기반의 체화된 에이전트는 자율 로봇 시나리오에서 그럴듯한 계획을 생성할 수 있습니다. 그러나 제한된 컨텍스트 윈도우(context window)나 다음 토큰(token) 예측 방식에서의 환각(hallucination) 현상으로 인해, 배포된 로봇과 관측된 환경(environment)이 요청된 작업을 실제로 지원하는지 확인하지 않은 채 행동이 생성될 수 있으며, 이를 우리는 "그라운딩 실패(grounding failure)"라고 부릅니다. 최근 파운데이션 모델의 추론 능력 향상 덕분에 자율 로봇 행동 생성 문제는 코드 생성 문제로 공식화될 수 있습니다. 본 논문에서는 배포 환경의 상호 보완적인 증거 형태에 이러한 과정을 고정(anchoring)할 수 있도록 지원하는 마크다운 표준 및 생성 프레임워크인 iAm.md를 제시합니다. 개방형 어휘(open-vocabulary) 시맨틱 매핑을 통해 로컬 비전-언어(vision-language) 검출 및 객체 분할을 결합하고, 이를 이러한 중간 표준화 표현 내의 영구 객체 레코드에 참조시킴으로써 에이전틱 자기성찰(agentic introspection)을 가능하게 합니다. 이어 시뮬레이션된 TIAGo 로봇의 내비게이션 및 매니퓰레이션 작업을 통해 이 새로운 기법을 연구하며, 이러한 표준화된 표현이 스킬 자가 평가와 실행 가능한 작업 일반화를 동시에 어떻게 지원하는지 보여줍니다.
가정 환경의 임바디드 에이전트(embodied agent)는 부분 관측(partial observation) 상태에서 계획을 수립해야 합니다. 즉, 물체를 기억하고 상태 변화를 추적하며 행동이 실패했을 때 복구할 수 있어야 합니다. 기존 벤치마크는 이러한 능력을 부분적으로만 테스트합니다. 1인칭 시점(egocentric) 비디오 데이터셋은 현실적인 인간 활동을 포착하지만 수동적인 상태로 남아 있는 반면, 대화형 시뮬레이터는 실행을 지원하지만 합성 장면과 수작업으로 제작된 역학에 의존하므로 시뮬레이션-현실 간 격차(sim-to-real gap)가 발생하고 완전 관측 가능한 상태를 가정하는 경우가 많습니다. 본 논문에서는 1인칭 시점 요리 영상을 그래프 전이 규칙으로 제어되는 실행 가능한 기호 세계로 변환하는 실행형 벤치마크인 Ego2World를 소개합니다. HD-EPIC을 기반으로 구축된 Ego2World는 비디오 주석에서 재사용 가능한 전이 규칙을 도출하고 이를 은닉 기호 세계 그래프에서 실행합니다. 평가 과정에서 시뮬레이터는 은닉 세계 그래프를 유지하는 반면, 에이전트는 국소적 관측과 실행 피드백만을 사용하여 자체적인 부분 신념 그래프 상에서 계획을 수립합니다. 이러한 분리는 에이전트가 실제 세계 상태를 관찰하지 않고 메모리를 업데이트하고 다시 계획을 세우도록 강제합니다. 실험 결과, 행동 중첩 점수가 물리적 상태 성공을 과대평가하며, 지속적인 신념 메모리가 반복적인 시각적 탐험을 줄이면서 작업 완료율을 향상시키는 것으로 나타났습니다. 이는 신념 유지가 임바디드 에이전트 평가의 주요 목표가 되어야 함을 시사합니다.
정확한 3D 검출은 이동형 체화 에이전트(embodied agent)에게 필수적이며, 비전 파운데이션 모델(VFM)은 전이 가능한 시각적 및 기하학적 사전 지식(prior)을 제공합니다. 그러나 기존의 VFM 기반 3D 검출기는 좁은 시야의 단안 영상이나 불연속적인 원근 뷰에 의존하므로 일관된 전방위 인식이 제한됩니다. 반면 정거원통도법(ERP)은 단일 이미지에 연속적인 360도 장면을 인코딩합니다. 하지만 ERP는 기하학 및 시각 정보를 다르게 구성하여 객체 관련 단서를 모델링, 위치 파악 및 보존하기 어렵게 만들기 때문에 직접적인 전이는 여전히 어렵습니다. 본 논문에서는 전이 가능한 VFM 사전 지식을 보존하면서 원근 뷰로 학습된 VFM 검출기를 ERP에 적응시키는 프레임워크인 OmniAct3D를 제안합니다. 기하학적 불일치를 해결하기 위해 ERP-Ray 기하 어댑터(ERGA-Ray)는 구면 시선(viewing ray)과 주기적 공간 구조를 모델링합니다. 전체 장면 맥락에서 증거를 국소화하기 위해 시각-행동 추론 체인(VARC)은 각 가설을 관련 파노라마 증거에 그라운딩(grounding)하고 이를 구조화된 기하학적 행동으로 변환합니다. 고정된 토큰(token) 예산 하에서 손실된 국소 단서를 복구하기 위해 외형 유도 방위 전문가(AGHE)는 방위각 추정을 위해 객체 영역을 더 높은 해상도로 재인코딩합니다. 실험 결과, OmniAct3D는 Spheriverse에서 이전 최고 3D 검출기 대비 2.96 NDS 포인트, PanoMMOcc에서 적응되지 않은 VFM 기준선(baseline) 대비 24.87 mAP 포인트 향상된 성능을 보였습니다. 타깃별 기하 적응을 통해 VARC는 동일 구성 mAP의 95~98%를 유지하여 센싱 구성 전반에서 재사용 가능한 객체 수준 3D 추론 능력을 보여줍니다. 소스 코드는 https://github.com/FeiT-FeiTeng/OmniAct3D 에서 공개될 예정입니다.
다양한 작업 전반에 걸쳐 신뢰할 수 있는 로봇 역량을 구축하려면 스킬 개발 및 유지 관리, 보상 설계, 인지와 제어의 통합 등에 상당한 인간의 노력이 필요합니다. 본 논문에서는 모델(model) 가중치를 업데이트하지 않고 로봇 실행 시스템을 자율적으로 개선하는 프레임워크인 RPG(Reconstruct, Practice, Go Real)를 제시합니다. RPG는 오프라인 데이터셋(dataset)에서 조작(manipulation) 역량을 식별하고 시뮬레이션 환경에서 관련된 연습 작업을 구성합니다. 연습 과정에서 RPG는 실행 피드백, 시뮬레이터의 특권 상태(privileged simulator state), 활용 가능한 데이터셋 비디오를 사용하여 실패 원인을 진단합니다. 이러한 진단을 바탕으로 재사용 가능한 새로운 기호적(symbolic) 스킬을 개발하고, 기존 스킬을 개선하며, 시스템 프롬프트(prompt)를 수정합니다. 작업 간(cross-task) 평가를 통해 개별 후보 변경 사항과 병합된 수정 사항이 재사용을 위해 보존되기 전에 이를 테스트합니다. 테스트 시점에는 멀티모달 대규모 언어 모델(multimodal LLM)이 도출된 시스템 프롬프트와 스킬 라이브러리를 활용하여 인지와 로봇 제어를 조율합니다. 22개 조작 작업의 미공개 초기 조건(held-out initializations)에서, RPG는 첫 번째 연습 라운드 후 28.6%였던 작업 성공률을 15 라운드 후 95.0%로 향상시켜, ASPIRE(75.5%) 및 GPT-6 Astra Pro 기반의 CaP-Agent0(60.0%)을 포함한 평가 대상 기준선(baseline)을 모두 능가했습니다. 일반적인 캘리브레이션 및 하드웨어 적응 절차를 거친 후, 고정된 시스템은 세 가지 작업에서 각 10회씩 진행된 총 30회의 실제 물리적 시험에서 모두 성공했습니다. 프로젝트 웹사이트: https://rpg-robot.github.io/
사람의 수정이 틀렸을 가능성이 있을 때 체화된 에이전트(embodied agent)는 어떻게 대응해야 하는가? 본 연구에서는 근거 기반 수정 중재(grounded correction arbitration)를 수락, 거부, 환경 조사, 그리고 화자에게 재질문하는 것 사이의 선택으로 공식화한다. GAVA는 관측 범위 제한 증거, 유효 탐침(legal probes), 1단계 기대 손실(one-step expected-loss) 규칙을 통해 이러한 인터페이스를 구현한다. 텍스트 전용 ALFWorld에서 162개 체크포인트를 통해 참과 거짓이 쌍을 이루는 972개의 개입이 생성된다. 완전한 국소 조사를 수행할 경우 GAVA와 상시 검증(always verify) 방식 모두 100%의 수정 정확도를 달성하여, 비교 우위보다는 증거 계약(evidence contract)을 확립함을 보여준다. 동일 에피소드 실행에서 GAVA는 상시 검증 방식 대비 상호작용 비용을 절감하지만, 완벽한 화자 조건에서는 비용 임계값과 대등한 수준을 보인다. 학습(training) 전용 탐색적 객체 위치 사전확률(prior)은 균등(uniform) GAVA 대비 340개의 미확인 시나리오에서 상호작용 및 선언된 결합 비용을 각각 0.490과 0.420 낮춘다. 정책, 비용, 베이스라인, 다중성 계획을 동결(freezing)한 후, 308개 시나리오를 다루는 중복되지 않는 77개의 기학습 체크포인트에서도 이득이 재현되어 각각 0.595와 0.517을 기록했으며, 두 95% 체크포인트-부트스트랩 신뢰구간 모두 0을 배제한다. 또한 결합 비용은 동일 사전확률 고정 정책 대비 향상되는 반면, 일치 보정된 무정보가치(calibrated no-VOI) 비교는 결론을 내리지 못한 채로 유지된다. 시맨틱 GAVA는 각 집단에서 4건의 사실적 오류를 범하여 98.8% 및 98.7%의 정확도에 해당하며, 모든 방법이 모든 과제를 완수한다. 결과는 선언된 비용 하에서 의미론적 사전확률을 활용한 선택적 정보 수집을 뒷받침하지만, 명확화 질의 대비 환경적 정보 가치(value of information)의 일반적인 우위를 입증하지는 않는다. 본 연구는 정규화된 주장, 완전한 기호적 관측, 통제된 화자를 사용하며, 인간 참가자, 시각적 입력, 물리적 로봇은 평가하지 않는다.
장기적(long-horizon) 관점에서 인간을 이해하기 위해 에이전트(agent)는 사람이 당장 필요한 것이 무엇인지뿐만 아니라 일과가 어떻게 형성되고, 왜 반복되며, 언제 변하는지까지 추론할 수 있어야 합니다. 본 연구에서는 풍부한 시각적 관찰, 정답(ground-truth) 행동 로그, 오디오가 포함된 합성 대화로 장기적인 가정 생활을 시뮬레이션할 수 있는 확장 가능한 플랫폼인 SimLife를 소개합니다. SimLife를 기반으로 구축된 SimLife-BP는 수주일 또는 수개월에 걸친 일상 관찰로부터 잠재적 행동 규칙을 추론하는 능력인 장기 문맥 패턴 이해(long-context pattern understanding)를 평가합니다. 이 벤치마크는 평균 15.49시간 및 게임 내 시간 기준 38.57일에 달하는 106개 에피소드와 1,439개의 질문-답변 쌍을 포함합니다. 각 작업은 다양한 수준의 규칙 힌트 아래에서 직접적, 반사실적, 노이즈 환경, 역추론 능력을 검증합니다. 최신 프론티어 모델과 아키텍처를 평가한 결과, 현재 모델들은 포괄적인 규칙 이해 없이 표면적인 예측만 수행하는 경우가 많고, 증거에 기반한 조건부(if-then) 추론보다는 빈도 기반 휴리스틱에 의존하며, 행동 패턴이 변할 때 적응하는 데 어려움을 겪는다는 점을 발견했습니다. 이러한 결과는 장기 문맥 패턴 이해가 향후 체화된 에이전트(embodied agent)의 주요 병목으로 남아 있음을 시사하는 한편, SimLife가 일상적인 인간-AI 상호작용에서 기억, 개인화, 적응, 장기 계획을 연구할 수 있는 더 넓은 가능성을 열어줌을 보여줍니다.
실제 정밀 하드웨어를 갖춘 체화된(embodied) 시스템을 평가하기 위해서는 단순한 개별 운동 기술 테스트 이상의 것이 필요합니다. 에이전트(agent)는 변화하는 환경(예: 테이블 위)을 인지하고, 맥락에 맞는 적절한 행동을 선택하며, 정교한 로봇 손으로 이를 실행하는 동시에 이후의 결정을 위해 환경을 활용 가능한 상태로 유지해야 합니다. 본 연구에서는 ShadowHand를 사용하여 텍사스 홀덤과 관련된 정교한 조작을 평가하는 포괄적인 실세계 벤치마크인 DexHoldem을 소개합니다. DexHoldem은 14가지 텍사스 홀덤 조작 프리미티브에 걸친 1,470개의 원격 조작 시연 데이터, 표준화된 물리적 정책 벤치마크, 그리고 에이전트가 체화된 의사결정에 필요한 구조화된 게임 상태를 복원할 수 있는지 테스트하는 에이전틱 인지 벤치마크를 제공합니다. 프리미티브 실행 측면에서 $\pi_{0.5}$가 가장 높은 태스크 완료율($61.2\%$)을 달성한 반면, 장면 보존 성공률에서는 $\pi_{0.5}$와 $\pi_0$가 동률($47.5\%$)을 기록했습니다. 에이전틱 인지에서는 Opus 5.5가 엄격한 문제 수준 정확도($49.1\%$)와 평균 필드별 정확도($80.6\%$) 모두에서 근소하게 앞섰으며, 두 지표 사이의 격차는 개별적인 시각적 하위 능력과 라우팅에 직결되는 완전한 상태 복원 간의 거리감을 드러냅니다. 마지막으로, 단일 에이전트-정책 쌍을 활용하여 33회의 폐루프 핸드 수준 롤아웃으로 전체 체화 에이전트 루프를 구현한 결과, 단 $12.1\%$의 핸드만이 완료되었습니다. 재시도는 34회의 디스패치 중 12회에서 실패한 프리미티브를 복구하고, 수동 중단이 불가피했을 완료된 4개 핸드 중 3개에서 장기화된 실행 지연을 해결했습니다. 재시도나 인간 지원 요청 없이 완료된 핸드는 단 1회에 불과했습니다. 따라서 DexHoldem은 공유된 물리적 환경에서 정교한 테이블탑 실행, 에이전틱 인지, 그리고 체화된 의사결정 라우팅을 평가합니다. 프로젝트 웹사이트: https://dexholdem.github.io/Dexholdem/
The user asked for a JSON-only translation response with no markdown fences. Here is the result:
{"title_ko": "DeliveryGym: 적응형 커리큘럼 기반 장기 체화 에이전트 계획을 위한 강화학습 환경", "abstract_ko": "실행 가능한 환경은 LLM 에이전트가 자신의 행동 결과로부터 학습할 수 있게 한다. 체화 에이전트의 경우, 그 결과는 현재 과제의 성공 여부를 넘어선다. 배달을 완료하는 것은 이후 작업에 필요한 시간, 에너지, 또는 돈을 소모할 수 있다. 따라서 계획 학습을 위해서는 이러한 의존성을 보존하고 완전한 궤적에 걸쳐 이를 피드백으로 전환하는 환경이 필요하다.\n\n우리는 연속적인 배달원 근무 교대를 대상으로 에이전트를 평가하고 학습하는 3D 환경인 DeliveryGym을 제안한다. 이는 다중 모달 도구 상호작용과 지속적인 세계 동역학을 결합하고, 시뮬레이터 이벤트로부터 궤적 보상을 계산하여 에이전트 결정의 비용을 강화학습(RL)에 사용할 수 있게 한다. 또한 평가는 고정한 채, 환경은 정책에서 관찰된 약점에 맞춰 향후 학습 교대를 적응시킨다.\n\n6개 모델과 13개 도시 맵에 걸쳐, 평가는 할당된 배달을 안정적으로 수행하는 것과 한 교대 동안 업무를 선택하고 순서를 정하는 것 사이의 격차를 드러낸다. 보지 못한 도시 테스트 세트에서 RL은 Qwen3-VL-4B의 순수익을 54.3% 향상시켜, 완전한 교대로부터 학습하면 이러한 결합된 제약 하에서 성능이 개선됨을 보여준다. 학습 환경을 적응시키면 100회 업데이트에서 균일 샘pling 대비 평가 수익이 18% 개선되어, 에이전트가 연습하는 상황이 무엇인지도 중요함을 시사한다. DeliveryGym은 에피소드 내에서 배달을 조율하고 이후 주문을 위해 자원을 보존하는 방법을 에이전트가 학습하는 과정을 연구할 수 있는 실행 가능한 설정을 제공한다."}
체화 에이전트가 VR에서 점점 더 사회적·관계적 역할을 맡게 됨에 따라, 시각적 사실성과 체화만으로는 부족할 수 있으며, 사용자는 이러한 에이전트를 정서적으로 공감하고 지지하며 인간 같다고 인식해야 한다. 선행 연구는 언어적 공감 조율(verbal attunement)과 비언어적 모방이 각각 체화 에이전트에 대한 사용자의 사회적 평가를 향상시킬 수 있음을 시사한다. 그러나 행동 모방(behavioral mimicry)은 대체로 실시간 대화형 AI 상호작용 밖에서 연구되어, 에이전트가 맥락에 반응하는 대화를 동시에 생성하고 몰입형 대화 중 비언어적 행동을 조정할 때 사용자가 어떻게 반응하는지에 대한 이해는 제한적이다. 이 공백을 메우기 위해, 우리는 대화형 AI와 실시간 얼굴 표정 및 자세 모방을 결합하고, 언어적으로 공감 조율된 응답 또는 중립적 응답을 생성하는 체화 AI 상담사를 개발했다. 언어적 공감 조율과 행동 모방을 조작한 2×2 피험자 내 연구에서 20명의 참가자를 대상으로 시스템을 평가했다. 결과는 언어적 공감 조율이 지각된 공감의 가장 신뢰할 만한 요인임을 보여주었다. 행동 모방은 지각된 인간다움과 한계적인(marginal) 관계를 보였으며, 더 많은 모방 노출은 공감, 긍정성, 인간다움과의 예비적·탐색적(exploratory) 양의 연관을 보였고, 특히 여성 참가자에서 두드러졌다. 이러한 발견은 VR에서 공감적 대화 에이전트를 설계할 때 다중 모달 동조(multimodal synchrony)가 단순 가산적 전략이 아님을 보여주며, 실시간 상호작용 중 언어적·비언어적 행동이 어떻게 결합되는지 고려할 필요를 강조한다.
인간은 음원의 방향을 손쉽게 위치 파악(localization)하고 이를 시각적 단서와 통합하여 추론할 수 있지만, 이는 체화된 에이전트(embodied agent)에게 여전히 어려운 과제입니다. 특히 체화된 환경에서 공간 오디오 이해를 효과적으로 평가하고 모델링하는 방법은 여전히 불분명합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 공간 시청각 인지 및 오디오-비전-언어 내비게이션을 위한 통합 벤치마크인 \textbf{OmniEchoBench}를 소개합니다. OmniEchoBench는 30개의 실제 환경에서 수집된 1차 앰비소닉스(FOA) 오디오를 포함하여 197개의 실제 공간 시청각 장면, 2,972개의 질의응답 쌍, 900개의 내비게이션 샘플에 걸친 6개 작업으로 구성됩니다. 확장 가능한 학습(training) 감독을 가능하게 하기 위해 음원, 시각적 관측, 에이전트 궤적 간의 기하학적 일관성을 보존하는 공간 오디오용 제어 가능한 렌더링 파이프라인을 개발합니다. 이를 기반으로 공간을 인지하는 옴니 모달 모델(omni-modal model)인 \textbf{OmniEcho}를 제안합니다. 이는 사전학습(pre-training)된 시맨틱 오디오 경로와 함께 FOA 공간 인코더를 도입합니다. 광범위한 실험을 통해 OmniEcho가 공간 시청각 인지에서 최고 수준의 성능(SOTA)을 달성함을 보여줍니다. 소리 유도 내비게이션의 경우 OmniEcho는 기존 비전-언어 내비게이션에 근접한 성능 수준에 도달합니다. 이러한 결과는 공간 오디오가 체화된 장면 추론 및 내비게이션에 귀중한 신호 역할을 할 수 있음을 입증하는 동시에, 세밀한 공간적 위치 파악 및 거리 추정이 중요한 미해결 과제임을 강조합니다.
인지 신경과학에서 오랫동안 정교하게 논의되어 온 이분법은 습관적(habitual) 행동과 목표 지향적(goal-directed) 행동으로 나뉘는 인간 행동 통제 메커니즘이다. 기존 인간 유사 에이전트 프레임워크는 주로 목표 지향적 행동 모델링에 초점을 맞추었으며, 인간 일상에서 핵심적인 역할을 하는 습관적 행동은 대체로 간과되어 왔다. 본 논문에서는 목표 지향적 행동과 습관적 행동을 공동으로 모델링하는 다중 행동 통제 시스템을 연구하여 이 공백을 해소한다. 우리는 인간 행동 통제 메커니즘에서 영감을 받은 프레임워크를 제안한다. Habitual Controller는 개인화된 습관 메모리에서 단서에 의해 촉발된 행동을 검색하고, Goal-directed Controller는 문맥 인식(context-aware) 월드 모델(world model)을 사용하여 행동 결과를 예측하고 그 가치를 추정한다. Arbiter는 개인차와 순간적인 내부 상태에 따라 두 시스템의 영향을 동적으로 균형 잡는다. 3D 환경에서 다양한 인간 수준 행동 지시를 재구성하기 위해 keyframe-guided 3D 모션 생성 모듈을 추가로 개발한다. 광범위한 평가 방법, 인간 연구, ablation 연구를 통해 실험 결과는 우리 접근법이 인간 유사성(human-likeness) 성능을 유의미하게 향상시킴을 보여준다. 우리 접근법의 효과는 믿을 만한(believable) 체화형 인간 유사 에이전트를 위해 습관적 행동과 다중 행동 통제 시스템의 조율을 활용하는 것의 이점을 시사한다.
월드 모델(world model)을 평가하기 위해서는 생성된 월드의 품질뿐만 아니라 탐험(exploration), 상호작용 및 수정 상황에서의 일관성과 반응성을 모두 평가해야 합니다. 본 논문에서는 에이전트(agent)가 상호작용할 때 생성된 월드가 신뢰성을 유지하는지 평가하는 종합 벤치마크인 HappyWorld-Bench를 소개합니다. 본 설계는 생성적 구축부터 통합 월드 모델링에 이르는 6가지 월드 역량(W1-W6)의 계층적 역량 프레임워크를 기반으로 구축되었으며, 비디오 월드 모델, 공간 월드 모델, 체화 월드 모델(embodied world model)의 세 가지 독립된 평가 트랙에 걸쳐 구체화됩니다. HappyWorld-Bench는 1,138개의 비디오 프롬프트, 300개의 공간 장면, 254개의 체화 테스트 케이스로 구성됩니다. 세 가지 트랙 전반에서 인간 A/B 비교를 구성하고 모델 수준의 Elo 점수를 도출하기 위해 HappyWorld-Arena를 구축 및 운영하며, 이는 행동 정확도를 포착하는 새로 설계된 자동화 지표를 보완합니다. 본 연구는 이 통합 프레임워크 하에서 14개의 비디오 월드 모델, 9개의 공간 시스템, 8개의 체화 후보 모델을 평가합니다. 실험 결과는 세 트랙 모두에서 여전히 신뢰성 격차가 존재함을 보여줍니다. 비디오 모델은 확장된 롤아웃(rollout) 및 재방문 시 일관성이 저하되고, 공간 모델은 기껏해야 70.14%의 배치 정확도와 73.33%의 편집 실행률만을 달성하며, 체화 모델은 다단계 행동 전반에 걸쳐 상태를 보존하고 변경된 행동 조건 및 물리 법칙에 정밀하게 반응하는 데 어려움을 겪습니다. 이러한 결과는 월드 모델을 시각적 품질뿐만 아니라 상태 일관성, 그리고 행동과 개입에 대한 반응의 정확성을 바탕으로 평가해야 할 필요성을 강조합니다.
Scientific embodied agents are increasingly capable of carrying out laboratory procedures, but executing these procedures safely in dynamic laboratory environments remains challenging. Current safety approaches often overlook the intermediate step of transforming laboratory natural language, including safety rules, manuals, protocols, and standard operating procedures, into machine-checkable runtime constraints. We introduce LabGuard (Laboratory Guard), a language-to-execution safety suite that grounds natural-language laboratory rules into executable specifications and deploys them as runtime guards. LabGuard includes three core components: LabGuard-IR, which defines a typed executable representation; LabGuard-Bench, which provides 812 supervised annotations expanded from 203 seed laboratory rules; and LabGuard-Grounder, which maps natural-language laboratory rules into LabGuard-IR. The resulting IR instances are handled by the LabGuard Pipeline, which compiles them into runtime monitors and applies them at the controller boundary. Experiments show that LabGuard generalizes to unseen laboratory-rule sources, achieves 79.4 task-scope F1, and reduces unsafe events from 39.5% to 23.8% after monitor compilation. In LabUtopia, its runtime monitors integrate with ACT, keeping interventions below 0.5% while preserving task success.
대규모 언어 모델(LLM)은 점점 더 유능한 대화형 에이전트를 가능하게 했지만, 실시간 상호작용 환경에서 그 행동을 안정적으로 제어하는 것은 여전히 중요한 과제로 남아 있다. 기존 접근법은 종종 모델 미세조정이나 정렬(alignment) 절차에 의존하는데, 이는 변화하는 상호작용 요구사항에 적응하기 어렵다. 이 논문은 계층적 시나리오 기반 LLM 제어를 소개하며, 이는 구조화된 프롬프팅을 통해 런타임 행동 제어를 가능하게 하는 프레임워크이다. 지속적 컨텍스트와 시나리오별 제약을 결합함으로써, 이 접근법은 기본 모델을 변경하지 않고도 상호작용 중에 에이전트 행동을 수정할 수 있게 한다. 이 프레임워크는 ARDena에 구현되었으며, ARDena는 음성 상호작용, 시각적 지각, 도구 사용, 아바타 기반 응답 생성을 통합한 실시간 멀티모달 체화 에이전트(embodied agent)이다. 제안된 접근법은 제어 효과, 응답 지연 시간, 운영 안정성 측면에서 평가되었다. 결과는 시나리오 정의만으로도 안정적인 실시간 운영을 유지하면서 상당히 다른 상호작용 행동을 만들어낼 수 있음을 보여주며, LLM 에이전트 제어를 위한 시나리오 기반 프롬프팅의 효과를 부각한다.
비전-언어 모델(VLM) 에이전트는 3D 장면을 단순히 설명하는 것을 넘어, 도구를 사용해 3D 장면에서 행동하는 경우가 점점 늘고 있다. 기존 3D 벤치마크는 텍스트 응답이나 단일 객체 조작을 평가하며, 완전한 다중 객체 3D 장면에서의 에이전트 행동은 충분히 평가되지 않은 채로 남아 있다. 본 연구에서는 통합된 에이전트-환경 루프 아래 5가지 3D 과제에 걸친 시각 조건부 행동을 위한 벤치마크인 SceneActBench를 제안한다. PNG 이미지 또는 샘플링된 비디오 프레임과, 해당되는 경우 제공된 3D 에셋이 주어지면, 에이전트는 3D 환경에서 행동한다. 각 최종 출력을 숨겨진 정답(ground truth)과 대조하여 과제별 기하학적 지표로 평가한다. SceneActBench는 210개의 소스 인스턴스로 구성된 5가지 과제를 포함하며, 쌍을 이룬 입력 조건을 포함해 총 520개의 과제 케이스를 생성한다. 모든 과제는 공정한 비교를 위해 하나의 고정된 에이전트 루프를 통해 실행된다. 11가지 독점 VLM 구성에 걸쳐 전체 점수는 38.6~50.2 범위이며, 어떤 모델도 모든 과제에서 일관되게 우수한 성능을 보이지 않는다. 또한 실패가 어디에서, 어떻게 나타나는지 추가로 분석한다.
다중모달 대규모 언어 모델(MLLM)은 체화 에이전트(embodied agent)의 핵심 추론 모듈로 부상하고 있지만, 범용 모델이 단일 고수준 지시만으로 장기(long-horizon) 체화 작업을 얼마나 잘 해결할 수 있는지는 여전히 불분명하다. 우리는 항공 3D 환경에서 MLLM의 미션 수준 평가를 위한 벤치마크인 MissionBench를 제안한다. 이는 5개의 시뮬레이션 3D 환경과 4개의 작업 계열에 걸친 120개의 미션으로 구성된다. 에이전트는 항공 특화 미세조정 없이 자기중심적(egocentric) 관측과 행동 이력만을 사용하여 자율적으로 계획하고, 항법하고, 결과를 보고해야 한다. 22개의 오픈소스 및 폐쇄형 MLLM에 걸쳐, 가장 강력한 모델은 84.4%의 인간 성능과 비교하여 35% 미만의 미션에서만 성공하며, 이는 다단계 체화 작업의 난이도를 부각한다. 모델 계열 간 큰 편차에도 불구하고 스케일링(scaling)으로 인한 성능 향상을 관찰하며, 이는 더 큰 범용 모델이 더 강한 제로샷 체화 역량을 보유함을 시사한다. 우리의 분석은 미션 수준 역량이 공간 인지를 넘어 다단계 계획 및 적응적 추론을 포함한 여러 역량의 조율을 필요로 함을 보여준다. 이는 폐루프(closed-loop) 평가의 필요성을 촉발하며, 체화 AI에 대한 스케일링 기반 개선의 가능성과 위험을 모두 부각한다.
비전-언어 모델(VLM)은 점점 더 체화 에이전트의 추론 백본으로 사용되어, 로봇이 시각적 장면을 해석하고, 언어 지시를 따르며, 다단계 행동을 계획할 수 있게 한다. 그러나 가정 환경에서 안전성은 객체 인식뿐만 아니라, 행동이 시간에 따라 물리적 장면을 어떻게 변화시키는지에도 달려 있다. 기존 체화 안전성 평가는 대체로 정적 위험 인식, 불안전한 지시 거부, 또는 최종 상태 작업 완료에 초점을 맞춘다. 그 결과, 지지(support), 포함(containment), 근접(proximity)과 같은 공간 관계에 의해 유발되는 프로세스 수준 안전성 실패는 충분히 연구되지 않은 채 남아 있다. 이 공백을 메우기 위해, 우리는 507개의 실행 가능한 평가 샘플(공간 관계 샘플 248개 및 비공간 대조 샘플 259개)을 포함하는 공간 관계 인식 안전성 벤치마크인 SAFERELBENCH를 제안한다. SAFERELBENCH를 사용하여 7개의 오픈소스 및 폐쇄형 VLM 기반 체화 에이전트를 평가한 결과, 작업 성공과 프로세스 수준 안전성 준수 사이에 상당한 격차가 있음을 발견했다: 모델들은 종종 요청된 작업을 완료하면서도 프로세스 수준 안전성 제약을 위반한다. 기존 벤치마크와 달리, SAFERELBENCH는 위험에 취약한 행동 이전에 에이전트가 안전성 조건을 충족하는지를 명시적으로 검사하여, 공간 관계를 체화 안전성 평가의 핵심 차원으로 만든다. 더 넓게 보면, 우리 결과는 안전한 체화 지능이 더 강한 지각과 계획뿐만 아니라, 상호작용 중 객체 관계가 위험을 어떻게 형성하는지에 대한 신뢰할 수 있는 추론 또한 필요함을 보여준다.
체화 에이전트의 실제 환경 배포에는 능동적 탐험, 시각적 그라운딩, 그리고 대화형 의도 모호성 해소가 필요하다. 그러나 기존 프레임워크는 종종 특권적인 시뮬레이터 상태에 의존하거나 완전한 지시를 가정하여 현실적인 배포 과제를 우회하는 경우가 많다. 이 간극을 메우기 위해, 우리는 오픈 월드 모바일 매니퓰레이션을 위한 에이전트형 프레임워크인 REAL을 제안한다. REAL은 오라클 인식 없이 sim-to-real 일관성 환경 API를 구축하고, human-in-the-loop 상호작용을 가능하게 하기 위해 시뮬레이션 사용자를 통합한다. 이 환경 내에서 우리는 데이터 수집, 지도 미세조정, 온라인 강화학습을 이끌기 위해 다양한 과제 구성을 설계하고, 에이전트 성능을 체계적으로 최적화한다. 이 접근법을 종합적으로 평가하기 위해, 능동적 탐험, 시각적 방해, 관절형 조작, 대화형 모호성 해소에 걸친 241개 과제를 아우르는 벤치마크 REAL-Bench를 도입한다. 실험 결과, 우리가 학습한 에이전트가 대화형 과제에서 56.9%의 성공률로 주요 상용 폐쇄형 VLM을 능가함을 보여준다. 추가 실증 분석은 우리의 계층적 학습 파이프라인이 확장된 탐험 지평 하에서 견고한 오픈-어휘 추론을 유지하면서 모델의 도구 사용 능력을 성공적으로 정렬함을 밝힌다. 마지막으로 우리는 물리적 양팔 이동 로봇에 프레임워크를 배포·평가했으며, 60회의 실세계 에피소드에서 78.3%의 end-to-end 성공률을 달성했다. 이 물리 실험은 보지 못한 가정 시나리오에 대한 견고한 제로샷 전이 가능성을 보여 주며, sim-to-real 일관 설계가 장기간 모바일 매니퓰레이션에서 현실 격차를 성공적으로 메웠음을 검증한다. 코드는 https://github.com/InternRobotics/REAL 에서 제공된다.
다중모달 대규모 언어 모델(MLLM)은 복잡한 물리적 환경에서 작동하는 체화 에이전트의 의사결정 엔진으로서 유망한 결과를 보여준다. 그러나 기존 벤치마크는 종종 고수준 계획이나 공간 추론을 우선시하여, 체화된 물리적 상호작용에 필요한 세밀한 동작 지능은 충분히 탐구되지 않았다. 이 공백을 메우기 위해, 우리는 이러한 핵심 역량을 체계적으로 평가하도록 설계된 새로운 벤치마크인 CFG-Bench를 제안한다. CFG-Bench는 1,368개의 큐레이션된 동영상과 19,562개의 질의응답 쌍으로 구성되며, 네 가지 인지 능력을 목표로 하는 세 가지 평가 패러다임을 포괄한다: 1) 물리적 상호작용(Physical Interaction), 2) 시간-인과 관계(Temporal-Causal Relation), 3) 의도 이해(Intentional Understanding), 4) 평가적 판단(Evaluative Judgment). 이러한 차원들은 함께 시각적 관찰을 실행 가능한 지식으로 변환하는 모델의 능력을 평가하는 체계적 프레임워크를 제공하며, 단순한 표면 수준의 인식을 넘어선다. CFG-Bench에 대한 우리의 포괄적 평가는 선두 MLLM이 물리적 상호작용에 대한 상세한 지시를 생성하는 데 어려움을 겪으며, 의도와 평가에 대한 고차 추론에서 심각한 한계를 보임을 밝힌다. 또한 우리 데이터에 대한 지도 미세조정(SFT)은 MLLM에게 세밀한 동작을 명확히 표현하도록 가르치는 것이 기존 체화 벤치마크에서 상당한 성능 향상으로 직접 이어짐을 보여준다. 우리의 분석은 이러한 한계를 강조하고, 더 유능하고 그라운딩된 체화 에이전트 개발을 위한 통찰을 제공한다. 프로젝트 페이지: https://cfg-bench.github.io/