Physical-world models (PhyModels) perform grounded perception, reasoning, or decision tasks; physical-world agents (PhyAgents) combine these models with planning or tool use. We introduce RedPhys, an extensible red-teaming platform, instantiated here with vision-language models and agents. Shared interfaces make tasks, test methods, defenses, and victim systems configurable and extensible, producing robustness reports and datasets for future alignment. The platform emphasizes adversarial testing that seeks physically grounded functional failures, while also supporting non-adversarial input perturbations without an attack objective. The benchmark integrates 12 red-teaming methods, 3 model-agnostic defenses, and 13 PhyModels across seven physical domains under a practical black-box threat model. An agentic target-generation pipeline derives a scene-specific, physically grounded target, so targeted methods pursue the same intended error. Our evaluation shows that when attackers control the text prompt or add auxiliary visual instructions, injection exposes substantial instruction-following vulnerabilities; among bounded visual-transfer attacks, multimodal co-optimization transfers best; single-pass generative attacks approach iterative methods without per-image optimization; and neither model scale nor physical-reasoning post-training confers robustness. Code is available at https://github.com/loopleap-lab/RedPhys.
임바디드(embodied) 재귀적 자기 개선에서 핵심 과제는 에이전트(agent)가 상호작용 기록(interaction history)을 하나의 월드를 넘어 지속되고 이후 과제로 전이되는 능력으로 전환할 수 있게 하는 것이다. 저장된 메모리나 성공적인 최종 행동 자체만으로는 재사용 가능한 능력이 획득되었음을 입증하지 못한다; 평가는 능력 변화를 이전된 자원(carried-over resources), 불균등한 소스 노출(source exposure), 초기 실행 실패와 구분해야 한다. 우리는 19개의 등록된 진화 체인(evolution chain)—12개의 주요 평가 체인과 7개의 보정(calibration) 또는 프로브(probe) 체인—으로 구성된 고정 카탈로그와, 전이(transfer)를 위한 그래프 정렬(graph-aligned) 짝지어진 프로브 패밀리 3개를 포함하는 통제된 마인크래프트 벤치마크인 MC-EvoBench를 구축한다. 이 벤치마크는 각 과제를 과제-상태 그래프(task-state graph)로 표현하고, 단계별(stage-level) 환경(environment) 검증기(verifier)를 정의하며, 일치하는 소스 및 타깃 역할을 배정하고, 타깃 월드를 리셋한 뒤, 선언된 에이전트 아티팩트(agent artifact)만이 소스-타깃 경계를 넘을 수 있도록 허용한다. 각 프로브에 대해 사전 경험 없음(no-prior), 관련(related), 무관(unrelated), 셔플된(shuffled) 소스 조건을 일치된 환경 스텝 예산과 5개의 시드(seed) 하에서 평가하며, TSR, WGP, VMP를 보고하고 출처 기록(provenance record)을 보존한다. 이 벤치마크는 컨트롤러(controller)와 플래너 기반(planner-backed) 변형 간에 일관된 직접 능력 격차(direct-capability gap)를 드러내는 반면, 관련 경험은 안정적인 전이를 제공하지 못한다: 두 도구 프로브 중 어느 것도 개선하지 못하고, 목재 종(wood-species)에서의 작은 향상은 단 하나의 시드에 의존하며, 모든 구간(interval)이 0을 포함한다. 단계별 감사(stage audit)는 또한 초기 목재 수집 및 제작(crafting) 병목이 종종 이후 능력을 관측되지 않게 만든다는 것을 추가로 보여준다. 따라서 MC-EvoBench는 지속적이고 전이 가능한 임바디드 능력을 위한 통제된 테스트베드를 제공한다. 코드와 데이터는 https://github.com/xzw-ustc/mc-bench-open-source 에서 확인할 수 있다.
장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.
체화된(embodied) 비디오 월드 모델은 일반적으로 장면의 변화와 로봇의 행동을 모두 포착하며, 본 논문에서는 이를 각각 '월드(world)'와 '에고(ego)'로 지칭합니다. 월드와 에고는 서로 다른 기저 역학(dynamics)을 나타냅니다. 월드 예측은 주로 시각적 이력에 의존하며 장면의 안정성을 강조하는 반면, 에고 예측은 현재 지시어에 더 강하게 의존하며 정확한 지시 이행을 강조합니다. 단일 생성 스트림 내에서 두 요소를 모두 모델링하면 이러한 서로 다른 의존성이 얽혀 어느 한 구성 요소의 예측을 특화하기 어려워질 수 있습니다. 결과적으로, 특히 긴 주기(long-horizon)의 내비게이션-조작 태스크에서 장면의 일관성과 정확한 지시 이행을 동시에 유지하기가 어려워집니다. 본 논문에서는 체화된 비디오를 월드와 에고로 분해하고 이들의 생성 과정을 분리(disentangle)할 것을 제안합니다. 구체적으로, 월드는 배경 및 현재 조작되지 않는 객체로 정의하고, 에고는 로봇 및 현재 조작 중인 객체로 정의합니다. 이러한 정의를 기반으로, 역할 조건부 어텐션(role-conditioned attention, RCA) 및 비대칭 쿼리 예산을 사용하는 비전-언어 상태 예측기와 시맨틱 라우팅 전문가 혼합(SR-MoE) 확산 생성기를 결합한 '월드-에고 모델(World-Ego Model, WEM)'을 개발합니다. 또한 엄밀한 평가를 위해, 복합 내비게이션-조작 태스크를 갖춘 장기 체화 비디오 생성을 위한 데이터셋이자 벤치마크인 HTEWorld를 구축하여 세분화된 지시어가 포함된 450만 개 이상의 프레임으로 구성된 12만 5천 개의 학습 비디오 클립과 2천 개 이상의 지시어를 포괄하는 300개의 다중 턴 평가 궤적을 제공합니다. 광범위한 실험을 통해 WEM이 기존 조작 중심 평가에서 경쟁력을 유지하면서 HTEWorld에서 최고 수준의 성능(SOTA)을 달성함을 보입니다.
체화된 월드 모델(embodied world model)은 로봇 학습을 위한 체화된 상호작용의 확장 가능한 시뮬레이션을 가능하게 합니다. 그러나 기존 모델들은 물리적 추론을 희생하면서 시각적 충실도에만 집중하고, 조작되는 물체의 시간적 역학에 대한 프로세스 수준의 지도가 부족하여 '모델 나태함(Model Laziness)' 현상이 발생하기 쉽습니다. 본 연구에서는 물리적으로 일관된 목표 진화를 위한 물리적 진화 지도 프레임워크인 EVEWorld를 제안합니다. EVEWorld는 인스턴스 유도 복원(Instance-Guided Restoration, IGR)과 시간적 인스턴스 정렬(Temporal Instance Alignment, TIA)의 두 가지 구성 요소로 이루어져 있습니다. 첫째, IGR은 복원 지도를 통해 인스턴스 일관성을 촉진합니다. 둘째, TIA는 인접 프레임 간의 대상 인스턴스를 정렬함으로써 프레임 간 일관성을 향상시킵니다. 나아가 생성된 궤적에서 인스턴스 일관성의 지속적인 위반을 측정하는 지표인 모델 나태율(Model Laziness Rate, MLR)을 도입합니다. DreamGenBench, EWMBench, PBench에 대한 광범위한 실험을 통해 EVEWorld의 효과를 입증하였으며, 특히 GigaWorld-0 대비 MLR을 87.5% 감소시켰습니다. 또한 WorldArena 2.0 Track 1 리더보드에서 본 모델은 JEPA 유사도 6위, 종합 17위를 기록하여 진화 지도 전략의 성능을 더욱 검증했습니다.
협력적 체화 인공지능(CEAI)은 다수의 물리적 에이전트(agent)가 동적 환경에서 협력적으로 인지하고 추론(inference)하며 행동할 수 있도록 한다. 효과적인 통신은 CEAI에 필수적이지만, CEAI 에이전트는 대규모 다중모달(multimodal) 관측값뿐만 아니라 장기적인 관점에서 태스크 관련 통찰, 의도 및 상호작용 정보를 교환해야 한다. 본 논문에서는 토큰(token)이 통신을 위한 컴팩트한 의미 전달체이자 생성형 파운데이션 모델(GFM)의 기본 추론 단위 역할을 동시에 수행하는 CEAI용 네이티브 지능 인터페이스로서 토큰 통신(TokCom)을 연구한다. 먼저 TokCom이 체화 에이전트 간의 통찰 공유, 의도 정렬(alignment), 상호작용 제어를 어떻게 지원하는지 논의한다. 이어서 태스크 적응형 통신 프로토콜로 구동되는 TokCom 지원 CEAI 프레임워크를 제안한다. 컴팩트한 코드북, 구문 규칙, 맥락별 예시로 구성된 이 프로토콜은 GFM 기반 트랜시버가 메시지를 컴팩트한 토큰으로 증류하고 무선 전송 후 이를 재구성하도록 안내한다. 협력적 객체 운반에 대한 사례 연구를 통해 제안된 TokCom 프레임워크가 태스크 효율성을 유지하고 잡음이 있는 채널 환경에서도 견고성을 보이면서 소스 페이로드 비트 소비를 크게 줄임을 입증한다. 마지막으로 향후 연구 방향을 제시한다.
대규모 언어 모델(LLM)은 로봇 시스템의 인지 구성 요소로 점점 더 많이 제안되고 있지만, 불투명한 의사결정 과정으로 인해 폐루프 체화(embodied) 작업에서의 성공이나 실패를 설명하기 어렵습니다. 실증적 AI 방법론에 따라, 우리는 이용 가능한 정보를 변화시키고 그에 따른 행동 변화를 측정하여 체화된 LLM 에이전트(agent)를 행동학적으로 연구합니다. 숨겨진 상호의존성을 지닌 순차적 기계 퍼즐인 Lockbox를 사용하여, 물리적 로봇 환경에서 RGB, RGB-D 및 실측값(ground-truth) 기호 관찰 전반에 걸쳐 LLM을 평가하고 시뮬레이션을 사용하여 그에 따른 행동을 탐색합니다. 직관과 달리 에이전트는 원시 RGB 입력에서 가장 우수한 성능을 보이고, 완벽한 실측값 관찰에서 최악의 성능을 보입니다. 시뮬레이션에서 우리는 인식된 행동 결과를 무작위로 뒤집어 이러한 효과를 탐색했으며, 적당한 노이즈가 성능을 향상시켜 노이즈가 없는 기준선(baseline) 대비 성공률이 2.85배 증가하면서 40% 뒤집기 확률에서 정점에 도달함을 발견했습니다. 추가 분석을 통해 이러한 이득이 반복적인 행동 루프의 감소와 관련이 있음을 확인했습니다. 이러한 결과는 측정된 성능이 강건한 문제 해결보다는 지각 오류와 추론 실패 간의 상호작용을 반영할 수 있으므로, 성공률만으로는 LLM을 평가하기에 불충분함을 시사합니다.
본 논문에서는 RGB-D 스캔으로부터 실제 실내 환경을 사실적이고 관절 구조를 갖추며(articulated) 시뮬레이션 가능한 3D 장면으로 복원하는 에이전틱(agentic) 시스템인 LiteReality-Agent를 제안한다. LiteReality-Agent는 근본적으로 3D 복원을 코딩 문제로 정식화하며, 여기서 코딩 에이전트(agent)는 특화된 도구를 사용해 근거를 수집하고 실행 시 방의 3D 디지털 트윈을 생성할 수 있는 파이썬(Python) 스크립트인 Room.py를 반복적으로 수정한다. 이러한 정식화를 바탕으로, 복원 과정 전반에 걸쳐 근거 수집, 측정, 검증, 레이아웃 최적화, 시뮬레이션 준비성 및 품질 제어를 지원하는 견고한 관찰-수정-검증(observe-edit-verify) 하네스를 개발한다. LiteReality-Agent는 시뮬레이션 및 다운스트림 체화된 AI(embodied AI) 작업에 적합한 고품질 복원 결과를 생성한다. 나아가 에이전트의 역량이 빠르게 지속적으로 향상됨에 따라, LiteReality-Agent가 도입한 시스템은 향후 에이전트를 위한 강력한 오케스트레이션 프레임워크로 기능한다. 즉, 복원 품질과 신뢰성을 크게 향상시키는 특화된 도구, 구조화된 워크플로, 견고한 검증 메커니즘을 에이전트에 제공한다. 우리는 LiteReality-Agent가 Astra 및 Fable과 같은 최근 프론티어 모델들이 생성한 결과보다 기하학적으로 더 정확하고, 시각적으로 더 사실적이며, 시뮬레이션과 더 잘 호환되는 복원 결과를 생성함을 입증한다. 따라서 우리는 LiteReality-Agent를 견고한 real-to-sim 시스템을 위한 실용적이고 중요한 기반 요소로 본다. 소스 코드와 데이터 캡처 애플리케이션은 모두 공개되어 있다. 코드: https://github.com/LiteReality/LiteReality-Agent/
사전학습(pre-training)된 3D 인코더는 일반적으로 일관된 월드 좌표계로 표현되는 전역적으로 재구성된 씬을 기반으로 개발되는 반면, 체화된(embodied) 시스템은 카메라 좌표계의 부분적이고 시점에 의존적인 관측으로부터 추론(inference)해야 합니다. 본 연구에서는 전역적으로 학습(training)된 3D 특징(feature) 공간에서 실제적인 부분 관측으로의 이러한 전환이 심각한 표현 불일치를 유발함을 보여주며, Sonata와 Concerto를 포함한 대표적인 최신(state-of-the-art) 인코더 전반에서 이러한 현상이 일관되게 나타남을 확인했습니다. 전역 선형 프로브를 장착하고 고정된(frozen) Sonata 인코더는 전체 ScanNet 씬에서 72.47 mIoU를 달성하지만, 단일 프레임 카메라 좌표 입력에서는 2.57 mIoU에 그칩니다. 학습이 필요 없는 중력 정렬(gravity alignment)을 적용하면 성능이 41.64 mIoU로 복구되어, 좌표계 불일치가 성능 저하의 주된 요인이지만 정규화(canonicalization)만으로는 완전히 해결될 수 없음을 보여줍니다. 이에 본 논문에서는 쌍을 이루는 부분/전역 기하 정보만을 사용하여 부분 시점 특징을 고정된 전역 3D 시맨틱 공간과 정렬하는 레이블 불필요 적응(adaptation) 방법인 PAGER를 제안합니다. PAGER는 사전학습된 인코더와 전역 세그멘테이션 프로브를 고정한 채 경량 적응 모듈을 학습합니다. 일치 지점 특징 정렬(matched-point feature alignment)은 부분 특징을 대응하는 전역 특징에 고정(anchor)하고, 관계적 감독(relational supervision)은 전역 표현에 대한 유사도 구조를 보존합니다. 전역 기하 정보는 오직 학습 중에만 감독을 제공하며, 추론은 부분 관측에서 직접 동작합니다. 부분 시점 레이블 없이도 PAGER는 Sonata와 Concerto 모두에서 레이블 기반 지도 학습 PEFT보다 뛰어난 성능을 보이며, ScanNet$\rightarrow$ScanNet++ 제로샷(zero-shot) 전이에서는 완전 파인튜닝(fine-tuning)된 Sonata를 능가하여($53.93$ 대 $48.09$ mIoU), 고정된 전역 표현을 보존하는 것이 데이터셋 간 전이 능력을 향상시킬 수 있음을 시사합니다.
확장 가능한 시뮬레이션은 로봇 데이터 생성, 정책 학습, 평가, 안전한 반복(iteration)에 필수적이지만, 실제 환경과의 상호작용은 비용이 많이 들고 기존 시뮬레이터는 노동집약적인 구축 과정을 요구한다. 우리는 관절 궤적 조건부 자기회귀 확산 모델(joint-trajectory-conditioned autoregressive diffusion model)을 중심으로 구축된 데이터 기반 로봇 시뮬레이터 Uranus를 소개한다. Uranus는 세 가지 핵심 기능을 제공한다: (1) 스트리밍 방식의 개방형 롤아웃(rollout)으로, 미래의 관절 위치 궤적을 온라인으로 수신하여 고정된 시간 범위(horizon) 없이 매 스텝마다 4개의 RGB 프레임에 해당하는 하나의 잠재 프레임(latent frame)을 자기회귀적으로 생성한다; (2) 낮은 지연 시간의 생성으로, 추론(inference) 최적화 이후 24 FPS를 달성한다; (3) 확장 가능하며 확장이 용이한(extensible) 로봇 제어로, 다양한 로봇 구현체(embodiment)와 카메라 구성 전반에 걸쳐 동기화된 다중 시점 생성을 위한 통합 인터페이스를 제공한다. 우리는 분포 내(in-distribution) 및 분포 외(out-of-distribution) 데이터 모두에 대해 포괄적인 정량적·정성적 평가를 수행하여 Uranus에 대한 객관적인 평가를 제시하고 현재의 한계를 명확히 규명한다. 우리는 코드와 모델 가중치를 공개하여 커뮤니티에 실용적인 도구와 통찰을 제공한다.
연속 사전학습(continual pre-training)으로 언어 모델을 새 도메인에 적응시키면 근본적인 평가 문제가 생긴다. 학습 코퍼스가 모델이 이미 알고 있는 내용과 겹치면, 성능 향상을 새로운 학습이 아니라 기존 지식 탓으로 깔끔하게 구분할 수 없기 때문이다. 이는 지식 집약·과업 경량(knowledge-intensive, task-light, KHTL) 로봇 배치—의약품 조제, 유해 물질 취급, 시설별 규정 등—에서 특히 중요하다. 여기서 물리적 과업은 단순하지만 적용 규칙은 독점적이며 안전에 critical하고, 광범위한 현장 시험은 비용이 크거나 위험하다. 본 논문은 ORDER(Ontology-driven Decision-making for Embodied Reasoning)를 제안한다. ORDER는 허구 세계 위에 구축된 벤치마크로, 어떤 모델의 사전학습 데이터에도 등장할 수 없는 자기 일관적 물리를 정의하는 342,069토큰 규모의 합성 코퍼스를 바탕으로 한다. ORDER는 500문항 지식 시험(ORDER-BENCH)과 더 어려운 구성(compositional) 과업 ORDER-SPATIAL—익숙한 장면과 완전히 새로운 장면 모두에서 안전한 조작을 위한 객체 순서 정하기—to 짝지운다. 적응 없이 GPT-4.1은 ORDER-SPATIAL에서 우연 수준 이하(Kendall's tau = 0.441)를 기록하며, 선험(prior)이 발명된 물리와 적극적으로 충돌함을 보여준다. 연속 사전학습 이후 소형 모델은 익숙한 장면과 새로운 장면 모두에서 크게 향상되어, 암기가 아닌 진정한 세계 모델 유도(world-model induction)의 증거를 제공한다. 이어 로봇 파이프라인까지 확장한다. 지식 시험을 잘 통과하는 모델도 추가 스킬 적응(skill-adaptation) 단계 없이는 유효하고 실행 가능한 계획을 종종 만들지 못한다. 그 단계 이후 완전 오프라인 소형 모델은 GPT-4.1이 동일 규칙에 대한 검색(retrieval) 접근을 제공받는 경우에도 GPT-4.1을 능가한다(Kendall's tau = 0.848 대 0.606). 이는 human-in-the-loop 보정이 포함된 시뮬레이션 iiwa7 팔에서 지각부터 실행까지의 전체 루프로 시연된다. 전반적으로 실제 계획 품질을 예측하는 것은 지식 시험 정확도가 아니라 ORDER-SPATIAL 성능이다.
체화 AI(Embodied AI) 시스템은 종종 System 1과 System 2로 구성된다. System 1은 일반적으로 높은 빈도로 동작을 생성하는 사전학습된 정책이며, System 2는 고수준 계획을 위해 시각 기능이 갖춰진 언어 모델로 구현되는 경우가 많다. 우리는 과제별 파인튜닝 없이 대규모 언어 모델(LLM)이 로봇 조작을 위한 정책으로 작동할 수 있는지 묻는다. 이 설정을 LLM as policy라고 부른다. 42개 RoboDojo 과제 전부에서 세 LLM을 평가하고 점수를 40개 공개 정책과 비교한다. Astra와 GPT-5.5는 공식 과제당 50 에피소드 프로토콜을 사용하고, DeepSeek-Flash는 과제당 10 에피소드를 사용한다. GPT-6 Astra는 2,100회 시행에서 평균 성공률 22.48%와 Score 28.97을 달성하여 모든 공개 항목보다 높은 순위를 기록한다. 그러나 동일한 후처리를 적용하면 GPT-5.5와 DeepSeek-Flash는 각각 평균 성공률 0.88%와 1.92%에 그친다. Astra는 뚜렷이 양극화된 역량 프로필을 보인다. 의미론적 이해는 필요하지만 고정밀 제어는 필요하지 않은 과제에는 잘 일반화한다. 반면 정밀도, 동적 제어, 복잡한 양손 협조가 필요한 과제에서는 성능이 낮다. 문맥 내 학습(ICL) 실험에서는 원샷(one-shot) 시연으로부터 집계 수준의 이득이 없었고, 선별된 상호작용 trace는 교란(perturbation) 하에서 에피소드 내 수정을 보여준다. 전반적으로 평가된 LLM들은 조작 성능에서 크게 다르다. Astra는 두드러지며 범용 조작 모델의 잠재력에 대한 초기 증거를 제공하지만, 평가된 설정에서는 신뢰할 수 있는 정밀도와 동적 제어가 여전히 한계로 남는다.
체화된 월드 모델(Embodied World Model)은 시각적 관측과 제어 신호로부터 미래의 물리적 동역학을 예측하도록 학습하며, 이때 물리적 지식은 잠재 표현(latent representation) 내에 암묵적으로 얽혀 있다. 본 논문에서는 미래 비디오 예측 이전에 명시적인 인과적 사고의 연쇄(Causal Chain-of-Thought) 추론을 수행하는 160억 파라미터(16B) 규모의 체화된 월드 모델인 CausalWM을 소개한다. CausalWM은 유용한 변수들을 하나의 추론 궤적(reasoning trajectory)으로 구성하여, 모델이 물리적 진화의 근저에 있는 인과적 의존성을 점진적으로 포착할 수 있도록 한다. CausalWM을 학습시키기 위해 3만 1천 시간(31K hours) 분량의 체화된 데이터를 수집하였으며, 대규모 비디오 사전학습, 인과적 CoT 중간 학습(mid-training), 다중 목적 강화학습(RL) 사후 학습으로 구성된 3단계 패러다임을 개발하였다. 제한된 수의 지도(supervised) CoT 변수만을 사용했음에도 불구하고, CausalWM은 창발적인 문맥 내 학습(in-context learning) 능력을 보여주며, 이를 통해 문맥적 시각 특징 유도와 효율적인 소수 스텝(few-step) 생성이 가능하다. CausalWM은 언어 조건화(language-conditioned), 행동 조건화(action-conditioned), 단일 시점(single-view) 및 다중 시점(multi-view) 벤치마크 전반에서 최첨단(state-of-the-art) 성능을 달성했으며, TriWorldBench 리더보드에서 1위(Top-1) 성능을 기록했다.
비전-언어-액션(VLA) 모델은 구현형 AI(embodied AI)에서 강한 잠재력을 보여왔지만, GPU에서의 높은 추론 지연이 실시간 배포를 제한한다. 기존 가속기(예: Dadu-Corki)는 효율을 개선하지만 VLA 모델을 전정밀(full-precision) 워크로드로 취급하여, 메모리와 연산 모두에서 상당한 중복성을 충분히 활용하지 못한다. 본 논문에서는 가중치 유사성과 실행 동역학(execution dynamics)을 활용하여 VLA 추론을 가속하는 알고리즘-하드웨어 공동 설계 프레임워크인 VQVLA를 제안한다. 먼저 로봇의 실행 상태에 따라 양자화 정밀도를 동적으로 조절하여 메모리 접근을 줄이면서 과제 성공률을 유지하는 모션 인식 벡터 양자화 방식인 MotionVQ를 도입한다. 다음으로 코드북 인덱스 표현(codebook-index representation)에서 동작하는 병합 중심점(merged-centroid) 벡터화 GEMM 패러다임을 제안하여, 공간적 집계(spatial aggregation)와 중심점의 시간적 재사용(temporal reuse)을 통해 중복 곱셈을 제거한다. 이러한 최적화를 구현하기 위해 동적 정밀도 선택과 중심점 재사용 연산을 효율적으로 지원하는 가속기를 설계한다. 실험 결과, VQVLA는 A100 GPU, Dadu-Corki, LUT-DLA, CodeGEMM, ShiftAddLLM 대비 각각 6.5배, 2.8배, 1.9배, 3.3배, 4.3배의 속도 향상을 달성하며 정확도 저하는 미미하다.
시각-언어 내비게이션(Visual Language Navigation) 파운데이션 모델은 근거 있는 공간적 의사결정을 위한 심층 추론과 다양한 구현(embodied) 태스크에 대한 폭넓은 범용성을 통합하는 것을 목표로 한다. 현재의 접근 방식들은 대개 관측(observation)을 직접 행동(action)으로 매핑하는 단일형(monolithic) 정책을 통해 이러한 통합을 달성하지만, 좌표 드리프트(coordinate drift)와 롱테일 시맨틱 처리 부족 문제를 종종 겪는다. 또한 이러한 블랙박스 매핑은 해석 가능성이 부족하여, 범용성·견고성·투명성을 동시에 달성하는 데 걸림돌이 된다. 우리는 이러한 과제를 해결하는 범용 시각-언어 내비게이션 파운데이션 모델을 향한 한 단계로서 ABot-N1을 제시한다. ABot-N1은 이중 시각-언어 신호에 의해 안내되는 슬로우-패스트(slow-fast) 아키텍처를 통해 인지(cognition)와 제어(control)를 분리하여 위 과제들을 해결한다. 구체적으로, 슬로우 비전-언어 추론기(slow vision-language reasoner)는 픽셀 목표(pixel goal)를 생성하는 동시에 명시적인 사고의 연쇄(Chain-of-Thought) 추론을 수행한다. 이 간결한 이미지 공간 앵커 포인트 집합은 포인트 목표(point-goal), 오브젝트 목표(object-goal), POI 목표(poi-goal), 인스트럭션 팔로잉(instruction-following), 사람 팔로잉(person-following)을 포함한 다양한 태스크를 위한 범용 인터페이스로 기능한다. 이후 패스트 액션 전문가(fast action expert)는 텍스트 단서와 픽셀 가이던스를 모두 활용하여 기본 제어 주파수에서 연속적인 웨이포인트(waypoint)를 생성한다. 픽셀 기반 앵커와 명시적 언어 흔적을 통해 고수준 의도와 저수준 제어를 연결함으로써, 우리의 접근 방식은 시뮬레이션과 실세계 벤치마크 전반에 걸쳐 견고하고 범용적이며 해석 가능한 내비게이션을 보장한다. ABot-N1은 새로운 최첨단(state-of-the-art) 기록을 수립하며, 특히 도시 규모 내비게이션에서 대규모 성능 향상을 달성한다: POI 도착률을 35.0% 향상(77.3%까지)시키고, 복잡한 실내 및 실외 장면에서 각각 95.4%/92.9%의 성공률(SR)을 달성한다. 또한 오브젝트 도달, 사람 팔로잉, 인스트럭션 팔로잉 태스크 전반에 걸쳐 우수한 견고성을 유지한다. 도시 규모 내비게이션 분야의 발전을 위해 새로운 Point-Goal/POI-Goal 벤치마크를 오픈소스로 공개한다.
LingBot-VA 2.0은 디지털 콘텐츠용 비디오 생성 모델을 로봇 제어에 전용하는 방식의 한계를 극복하기 위해, 시맨틱 시각-액션 토크나이저와 인과적 DiT(Diffusion Transformer)를 처음부터 사전학습하는 네이티브 비디오-액션 파운데이션 모델이다. 희소 전문가 혼합(MoE) 백본과 비동기 추론 기반의 Foresight Reasoning을 통해 실시간 폐루프 제어(최대 225 Hz)를 실현하며, 복잡한 조작 작업에서 10~15개의 데모만으로 퓨샷 일반화 성능을 입증했다.
최근 생성 AI 및 체화 AI의 발전은 멀티모달 데이터에 대한 대규모 예측 학습에 의해 이끌려 왔다. 그러나 그로 인해 만들어진 시스템들은 여전히 대체로 수동적 학습 체계에 기반하며, 여기서는 언어적 규칙성이 다른 모달리티의 정보가 부착되는 골격을 형성한다. 반면, 신경과학과 인지과학은 생물학적 지능이 반대 방식으로 조직되어 있다고 제시한다. 즉, 환경과의 상호작용을 통해 획득한 그라운딩된 세계 모델이 언어가 부착되는 의미론적 골격을 제공한다. 여기서 우리는 그라운딩된 세계 모델링을 지지하는 신경 회로의 다섯 가지 사례를 설명한다. 이는 물리적·개념적 공간에서의 내비게이션, affordance 기반 지각 및 객체와의 상호작용, 능동적 지각과 탐색적 학습, allostatic 통제와 정서, 자기와 세계에서 생성된 결과 간의 구분을 뒷받침한다. 이러한 사례들은 현재 체화 AI에서 대체로 부족한 여러 특성을 부각한다. 여기에는 학습의 토대로서의 내재적 동역학의 역할, 외부 세계와 이러한 동역학을 정렬하는 데 있어 행동의 중심성, 외부에서 제공되는 데이터의 수동적 흡수보다 자율적 경험과 개방형 학습의 두드러짐, 그리고 초기 예측·통제 메커니즘이 추론, 개념적 내비게이션, 계획, 상상, 타인의 마음 이해, 의사소통과 같은 고차 인지 능력의 골격을 형성한다는 점이 포함된다. 마지막으로, 생물학적 시스템에서 도출된 원칙이 미래 체화 AI에 어떻게 기여할 수 있는지, 특히 세계 모델이 그라운딩될 뿐 아니라 사회적으로 공유되고 인간의 규범과 가치에 정렬되도록 사회적 상호작용에 기반한 학습 체계를 포함하여 논의한다.
기반 모델(foundation model)은 로봇에 복잡한 의사결정을 위한 정교한 두뇌를 제공했지만, 그 지능을 물리 플랫폼에 배포하는 것은 여전히 번거롭고 전문가 주도의 보정(calibration)을 요구한다. 이 배포 간극, 즉 로봇의 척수(spinal cord)는 확장 가능한 체화 AI(Embodied AI)의 주요 병목으로 남아 있다. 따라서 우리는 SPINE(Scalable Physical Integration with ageNtic Expertise)을 제안한다: 최소한의 로봇공학 전문 지식으로 양팔(bimanual) 로봇을 체계적으로 디버깅하고 배포하기 위한 에이전트 프레임워크이다. SPINE의 하네스(harness)는 두 가지 오케스트레이션된 멀티에이전트 워크플로로 구성된다: 로봇별 컨텍스트를 생성하는 프로필 빌더(profile builder), 그리고 원격 조작(teleoperation)이 작동할 때까지 진단, 수리, 검증(validation)을 반복하는 디버거이다. 7가지 DOBOT X-Trainer 디버깅 시나리오에서 SPINE을 사용한 로봇공학 초보자는 동일한 참고 자료를 사용하되 SPINE의 구조화된 워크플로 없이 Claude Code를 사용한 숙련 운영자보다 더 나은 성과를 보였으며, 운용화(operationalization) 성공률을 75%에서 100%로 높이고 원격 조작까지의 평균 시간을 16분 45초에서 13분 47초로 단축했다. 서로 다른 ROS/CAN 양팔 로봇인 AgileX PiPER에서 SPINE은 심어 둔 10개의 버그를 모두 해결했으며, 전문가 기준선(baseline)은 거의 같은 시간에 10개 중 9개만 해결했다. 종합하면, 이러한 결과는 SPINE이 양팔 플랫폼 간 전이가 가능하고, 전문가 보정에 대한 의존을 줄이며, 체화 AI를 확장 가능한 실세계 배포에 더 가깝게 이끌 수 있음을 보여준다.
유능한 체화(embodied) 에이전트를 구축하려면 다중모달 지각과 이해 뿐 아니라, 행동에 대한 추론, 변화하는 상황에 대한 적응, 물리 세계와의 상호작용을 위한 agentic 역량도 필요합니다. 본 보고서에서는 물리 세계에서 동작하는 체화 에이전트를 위해 특별히 설계된 효율적이고 강력한 체화 기반 모델(foundation model) Hy-Embodied-VLM-1.0을 소개합니다. 이러한 역량을 사전학습 단계부터 함양하기 위해, 우리는 세 가지 점진적 차원으로 구성된 행동 중심 역량 분류체계를 정의합니다: Action-Relevant State Understanding(행동 관련 상태 이해), Action-Transition Reasoning(행동 전이 추론), Sequential and Adaptive Reasoning(순차 및 적응적 추론). 이 분류체계를 바탕으로 체계적인 데이터 파이프라인을 개발하고 사전학습과 사후 학습 모두를 아우르는 데이터 혼합을 구축합니다. 지연에 민감한 배포를 지원하면서도 강력한 물리 세계 이해 및 상호작용 역량을 제공하기 위해, 우리는 Hy3-A3B 언어 백본과 Hy-ViT2 비전 인코더 위에 모델을 구축합니다. 효율적인 전문가 혼합(MoE) 아키텍처는 강력한 모델 용량과 높은 추론 효율을 결합합니다. Hy-Embodied-VLM-1.0을 체화 지각, 물리 세계 이해, 체화 추론을 포괄하는 38개 벤치마크 종합 세트에서 평가했습니다. 해당 모델은 38개 벤치마크 중 19개에서 유사 규모 모델 중 최고 성능을 달성했으며, Qwen3.6-A3B 및 Cosmos 3을 포함한 강력한 경쟁 모델들을 크게 상회합니다. 이전 세대 Hy-Embodied-0.5 MoT-2B와 비교했을 때 Hy-Embodied-VLM-1.0은 평균 성능을 8.4% 향상시켰습니다. 단 3B개의 파라미터만 활성화함에도, 32B개의 활성화 파라미터를 가진 이전 세대 모델에 근접한 성능을 달성합니다. 정적 벤치마크 평가를 넘어 Hy-Embodied-VLM-1.0은 다중 턴 상호작용과 장기 추론이 필요한 체화 agentic 과업에서도 강력한 성능을 보여줍니다.
Embodied AI의 발전에도 불구하고, 비전-언어 내비게이션(Vision-and-Language Navigation) 시스템은 적대적 시각 교란에 취약한 상태로 남아 있다. 기존 방법의 대부분은 대상 모델의 그래디언트에 대한 화이트박스 접근에 의존하는데, 이는 실제 배포된 시스템에서 비현실적이며 최적화를 위한 재귀적 역전파로 인해 계산 비용이 높아 적용 가능성이 제한된다. 기존 블랙박스 방법들은 주로 단일 단계의 즉각적인 의사결정 태스크를 대상으로 하여, 태스크의 복잡성과 시간적 의존성을 처리하는 데 어려움을 겪는다. 이는 관측 가능한 입출력만을 활용하여 다단계 순차적 인식-행동 루프를 효과적으로 방해할 수 있는 그래디언트 없는 공격 방법의 필요성을 부각시킨다. 이에 우리는 내비게이션 중 에이전트의 1인칭 시점을 교란하는 행동 유도 블랙박스 적대적 공격 프레임워크인 AdvNav를 제안한다. 블랙박스 설정에서 그래디언트 없는 탐색을 위한 효과적인 최적화 지침을 제공하는 유익한 대리 목적 함수를 구성하기 위해, 우리는 이중 세분성 행동 기반 피드백을 설계하였다. 이는 전반적인 내비게이션 성능 저하를 나타내는 궤적 수준 성능 점수, 잠재적 의사결정 위험을 고려한 행동 수준 보상 점수, 그리고 편차 지표를 집계하며, 이 모두는 에이전트의 자가 출력 행동에서 추출된다. 이 피드백은 적응적 업데이트를 통해 섭동 강도를 휴리스틱하게 조정하고 유전적으로 노이즈 공간 구조를 진화시키는 하이브리드 최적화 전략을 안내하여, 가장 파괴적인 노이즈 구성을 반복적으로 탐색한다. R2R 데이터셋에서 두 가지 유형의 백본을 갖춘 트랜스포머 기반 HAMT 및 대규모 언어 모델(LLM) 기반 MapGPT에 대해 평가한 결과, AdvNav는 49.70/65.96/87.30%의 공격 성공률(Attack Success Rate)을 달성하였다. 이 결과는 AdvNav의 효과성과 범용성을 입증하고, 중요한 인식 취약점을 드러내며, 향후 강건한 VLN 모델 설계에 대한 통찰을 제공한다.