피지컬 AI(Physical AI)는 모델이 환경적 제약과 실행 피드백을 고려하면서 시각 및 언어적 이해를 실제 환경에 그라운딩(grounding)할 것을 요구합니다. 본 논문에서는 체화 인지(embodied cognition)와 멀티모달 에이전트 역량을 결합한 통합 비전-언어 모델(VLM)인 MachEmbodied-VLM(ME-VLM)을 소개하며, 4B 및 35B-A3B 두 가지 변형으로 제공됩니다. 본 연구는 디지털 및 물리적 환경 모두에서의 계획 수립, 상호작용 및 결과 평가와 함께 물리적 지각 및 시공간 추론을 강조합니다. 체화 및 멀티모달 에이전트 태스크를 포괄하는 학습(training) 데이터를 구축하였으며, 여기에는 결과 평가와 의사결정 개선을 지원하기 위한 실행 관측 및 피드백이 포함됩니다. 학습 파이프라인은 체화 역량 주입, 체화 및 멀티모달 에이전트 전문가에 대한 개별 강화학습(RL), 그리고 이들의 상호보완적 역량을 단일 모델로 통합하는 다중 교사(multi-teacher) 온-정책(on-policy) 지식 증류(distillation)로 구성됩니다. 실험 결과, 체화 및 에이전트 벤치마크뿐만 아니라 자율주행 및 체화 내비게이션 태스크에서도 경쟁력 있는 성능을 보였습니다. 엣지 배포(edge deployment)를 위해 시각 토큰(token) 압축, W4A8 양자화(quantization), 하드웨어-소프트웨어 공동 최적화를 적용하여 M100에서 4B 모델의 온디바이스 추론(inference)을 실현하고 프리필(prefill) 지연 시간을 400 ms에서 188 ms로 단축했습니다. 프로젝트 페이지: https://machembodied.com/ME-Brain/ME-VLM.html 코드 저장소: https://github.com/MachEmbodied/ME-VLM
구현 인지(embodied cognition)는 에이전트(agent)가 고수준 작업 추론을 달성해야 할 물리적 상태와 연결하는 것을 요구한다. 우리는 언어-시각 추론 및 상상을 결합한 구현 인지 기반 모델인 Hy-Embodied-RxBrain을 소개한다. 장면 이해와 텍스트 기반 의사결정을 강조하는 비전-언어(vision-language) 모델이나, 주로 미래 시각 상태를 예측하는 생성형 월드 모델과 달리, RxBrain은 언어와 시각적 상상이 상호 보완적 역할을 하는 단일 계획 시퀀스에서 구현 계획을 표현한다. 언어는 작업 분해, 계획 원시 요소, 제약, 시간적 순서, 의사결정 논리를 포함한 계획의 추상적 구조를 제공하고, 시각적 상상은 월드 상태 예측과 결합된 하위목표 계획을 통해 이 구조를 그라운딩(grounding)하며, 각 계획 단계를 중간 및 최종 물리적 상태와 연관 짓는다. RxBrain은 하나의 모델 내에서 언어, 이미지, 비디오 이해 및 생성을 지원하는 통합 멀티모달 Mixture-of-Transformers 아키텍처를 채택한다. 이 능력을 학습(training)하기 위해, 우리는 구현 비디오를 계획 단계로 분해하고 시각적 상태 전이와 정렬하여 결합된 텍스트-시각 계획 지도(supervision)로 변환하는 자동 파이프라인을 구축한다. 또한 RxBrain-Bench를 도입하여, 모델이 분리된 이해 또는 생성이 아니라 결합된 텍스트 및 시각 구성요소를 통해 구현 계획을 표현할 수 있는지 평가한다. 실험 결과, RxBrain은 구현 이해 및 생성 능력을 유지하고, 결합된 텍스트 추론, 월드 상태 예측, 결합된 하위목표 계획을 갖춘 계획을 생성하는 것으로 나타난다. 또한 RxBrain을 연속 로봇 동작 생성으로 확장했으며, 대규모 동작 데이터 사전학습(pre-training) 없이도 유망한 실제 로봇 성능을 보인다. 이러한 결과는 구현 인지를 위한 기반 모델(foundation models)로 나아가는 초기 단계를 제공한다.