체화된 비전-언어 계획 수립(embodied vision-language planning)을 위한 기존 벤치마크들은 물리적으로 그라운딩(grounding)된 다음 상태 추론보다 언어적 다음 토큰(token) 예측을 의도치 않게 선호합니다. 이는 진정한 인과적 의존성을 추적하기보다는 통계적 언어 사전 확률을 모방하는 모델에 보상을 주어, 복잡한 물리적 계획 수립을 피상적인 시퀀스 모델링으로 전락시킵니다. 따라서 진정한 물리적 자율성을 달성하려면 언어적으로 그라운딩된 토큰 예측에서 물리적으로 그라운딩된 인과 추론으로의 근본적인 전환이 필요합니다. 이를 위해 본 연구에서는 다단계 검증을 통해 큐레이션된 4가지 인과 차원을 아우르는 고충실도 진단 스위트인 Causal-Plan-Bench를 소개합니다. 모델에 이러한 역량을 부여하기 위해, 4단계 주석 파이프라인을 통해 1인칭 시점(egocentric) 비디오에서 정형화된 상호작용 기록을 추출하여 명시적 인과 추론 궤적을 담은 100만 규모의 조밀한 말뭉치인 Causal-Plan-1M을 구축합니다. 광범위한 평가 결과 주목할 만한 격차가 드러났습니다. 선도적인 모델들도 진정한 물리적 에이전시(physical agency)를 입증하는 데 어려움을 겪으며, GPT-6-astra조차 43.04점에 그쳤습니다. 대조적으로, 본 연구의 맞춤형 학습(training) 레시피는 Causal Planner가 정확한 다음 상태 추정에 필요한 복잡한 물리적 논리를 내재화할 수 있도록 합니다. Qwen3-VL-8B를 기반으로 구축된 Causal Planner는 백본의 점수를 33.23에서 45.28로 끌어올려 상대적으로 36.3%의 향상을 달성했으며, 벤치마크 맞춤형 적응 없이도 3개의 외부 벤치마크에서 성능을 개선했습니다. 나아가 본 연구는 경험적인 인과 감독 스케일링(Causal-Supervision Scaling) 트렌드를 관찰했습니다. 쌍을 이룬 무시각 대조군(no-vision controls)은 상당한 시각적 의존성을 드러내는 한편, 교차 평가자 비교 및 인간 평가를 통해 자동화된 평가의 신뢰성을 검증합니다. 무엇보다도, 본 연구는 에이전트를 피상적인 토큰 예측기에서 물리적으로 그라운딩된 인과 추론기로 전환하여 언어 모델링과 월드 모델링의 간극을 메우는 최초의 시도를 시작합니다.
생성 모델의 발전은 비디오 충실도를 높여 장기간 생성, 상호작용적 세계 모델링, 진화하는 시각 환경을 가능하게 했다. 자기회귀(AR) 비디오 생성은 인과적 롤아웃을 통해 시각 시퀀스를 확장한다. 그러나 근본적인 병목이 드러난다. 생성 시퀀스가 길어질수록 실용적 모델은 엄격히 제한된 컨텍스트 윈도우, 저장 공간, 계산 한계 아래에서 동작해야 한다. 그 결과 개체 정체성, 동적 상태, 개입에 의해 유발된 인과적 변화 등 중요한 과거 정보는 그 관련성이 사라지기 훨씬 전에 활성 컨텍스트를 벗어나는 경우가 많다. 이 한계를 극복하고 시간적 지속성을 유지하는 것은 근본적인 메모리 문제를 이룬다. 본 논문은 AR 비디오 생성에서의 메모리 메커니즘에 대한 체계적이고 포괄적인 리뷰를 제시한다. 메모리를 외부 AR 단계에 걸쳐 유지되는 지속적인 과거 정보로 연산적으로 정식화하며, 근원 증거가 더 이상 국소적으로 접근할 수 없게 된 뒤에도 미래 생성에 영향을 줄 수 있도록 한다. 이 통합 프레임워크를 바탕으로 문헌을 다섯 가지 상보적 관점으로 정리한다. (I) Forms, 역사의 표현적 담체; (II) Functions, 보존해야 할 구체적 의미·물리 정보; (III) Operations, 쓰기·읽기·갱신·관리·통합을 포함한 메모리 수명 주기; (IV) Learning, 폐루프 롤아웃 하에서 메모리 동작의 최적화; (V) Evaluation, 진정한 메모리 능력을 진단하는 패러다임. 마지막으로 구성 가능하고 자원 인식적인 메모리 아키텍처, 신뢰할 수 있는 상태 갱신, 자기 롤아웃(self-rollout) 학습, 표준화된 평가 등 미해결 과제를 종합한다. 표현, 메커니즘, 학습 패러다임을 연결함으로써 본 논문은 신뢰할 수 있는 메모리 조건부 비디오 생성 시스템 개발을 위한 구조화된 기반을 마련한다.
비전-언어-행동(VLA) 모델은 범용 로봇 조작을 위한 강력한 패러다임이 되었지만, 종종 반응적이다. 정책은 의사결정의 장기적 결과를 추론하지 않고 현재 관측을 행동 청크에 직접 매핑한다. 정책에 세계 모델을 부여하려는 기존 시도는 픽셀 공간에서 미래 프레임을 재구성하는 방식——비용이 크고 과업과 무관한 세부가 지배적——이거나, 세계 모델을 정책과 분리하여 제어를 약화시키는 방식이었다. 우리는 확산-트랜스포머 정책 내부에 정렬된 세계 모델링을 직접 내장하는 통합 프레임워크 AWM-VLA를 제안한다. Future Latent REpresentation Alignment(FLARE) 원칙에 따라, 학습 가능한 미래 토큰을 추가하고 그 중간 활성화를 미래 관측의 비전-언어 임베딩과 정렬하여, 정책이 행동을 생성하면서 장기적 결과를 예측할 수 있게 한다. 이 패러다임을 두 가지로 확장한다. 첫째, 전역 미래 임베딩과 함께 미래 객체 수준 의미를 예측하는 객체 중심 분리 정렬 목표를 도입하여 해석 가능성과 다중 지시 일반화를 모두 개선한다. 둘째, 원칙적인 가중치로 전역·객체 중심 정렬 항과 행동 flow-matching 손실의 균형을 맞춰, 제어 가능한 정확도–해석 가능성 트레이드오프를 얻는다. RoboCasa 및 휴머노이드 탁상 조작 벤치마크에서 AWM-VLA는 성공률 기준으로 기존 VLA 및 세계 모델 베이스라인을 최대 21% 능가하고, 새로운 객체와 지시에 대한 일반화를 개선하며, 인간 평가자가 83%의 경우에서 선호하는 객체 중심 근거를 생성한다. 본 접근은 정책에 학습 가능한 토큰 소수만 추가하며 임의의 확산이나 flow-matching 정책과 호환되어, 정렬된 세계 모델링을 범용 조작의 저비용·광범위 적용 가능한 구성요소로 만든다.
대규모 언어 모델(LLM)이 에이전트로 동작할 때, 문맥 내에서 관측된 데이터를 바탕으로 세계 기저의 잠재 상태 공간(latent state space)을 추론하고 이를 다운스트림 예측에 활용할 것으로 기대된다. 그러나 기존 연구에 따르면, 데이터 생성 과정을 관장하는 그래프 표현을 구축하고 이를 후속 예측에 활용해야 하는 그래프 추적 태스크에서 LLM이 문맥 내에서 학습된 표현을 사용하는 데 어려움을 겪는 것으로 나타났다. 본 논문에서는 동일하거나 서로 다른 그래프 위상(topology)을 지닌 서로 다른 세계에서 각 데모(demonstration)가 생성되는 퓨샷(few-shot) 설정으로 이를 확장할 경우, 4개 모델 계열의 6개 모델에서 예측 성능이 향상됨을 보인다. 이러한 개선을 이해하기 위해, 본 연구는 은닉 상태(hidden states)에서 그래프 정보를 인코딩하는 저차원 세계 표현을 선형 탐침(linear probe)한다. 주목할 점은, 퓨샷 예시가 세계 표현을 재배치하고 해당 표현의 예측적 활용을 증가시킨다는 것이다. 구체적으로 각 모델에서 이러한 세계 표현은 원래의 부분공간과 거의 직교하는 방향으로 이동하며, 이 표현에 대한 개입은 다른 부분공간에 대한 개입보다 성능을 선택적으로 더 저하시킨다. 이러한 통찰과 일치하게, 서로 다른 세계로부터 얻은 관측치를 포함하는 퓨샷 예시가 ARC-AGI-1&2, 웹 에이전트 태스크 및 Othello에서 성능을 향상시킴을 보인다. 본 연구 결과는 문맥 내 세계 모델링에서 퓨샷 예시의 역할과 내부 메커니즘을 규명한다. 더 나아가, 본 연구는 LLM 에이전트가 문맥 내 관측치로부터 어떻게 학습하는지에 대한 이해를 넓히고 추가적인 개선을 위한 시사점을 제공한다.
다중 턴 장기 계획은 파운데이션 모델 에이전트에게 중요하지만, 이를 근본적으로 개선하는 방법은 아직 불분명하다. 기존 모델은 통제 불가능하고 불투명한 인터넷 데이터로 학습되어, 계획 능력이 어떻게 습득·형성·통합되는지 파악하기 어렵다. 이 문제에 대응하기 위해 정밀한 통제를 가능하게 하는 통합된 통제형 다중 턴 환경을 제안한다. 이를 통해 세 단계에 걸친 장기 계획을 체계적으로 연구할 수 있다. (1) 사전학습 중 계획 능력 습득. 데이터 형식, 분포, 품질을 연구한다. 사고의 연쇄(CoT) 상태 전이 모델링을 통한 명시적 세계 모델(world model) 구축은 더 강한 장기 일반화를 제공한다. 원자적 스킬만으로는 조합적 일반화에 불충분하며, 소량의 장기 데이터가 효과적이다. 또한 차선의 궤적은 장기 구간에서 오류가 증폭되기 때문에 성능을 심각히 저해한다. (2) GRPO 및 OPD 사후 학습을 통한 계획 능력 형성. 상호 정보량(mutual information)을 통해 일반적 계획 패턴과 과제 특화 계획 지식을 구분한다. 계획 패턴에 대해 사후 학습의 세 가지 적용 영역—불필요, 유효, 미지원—을 식별한다. OPD는 더 일관된 갱신 방향을 제공하므로 저품질 및 장기 설정에서 GRPO보다 더 넓은 유효 영역을 갖는다. 계획 지식에 대해, 상이한 지식을 가진 교사로부터 보지 못한 절차를 증류하면 새로운 지식을 완전히 확립하지 못한 채 학생의 기존 세계 모델링을 손상시킬 수 있다. (3) MOPD 사후 학습을 통한 계획 능력 통합. 다중 교사 온-정책 증류(MOPD)가 환경 간 공유 계획 패턴으로 수렴함으로써 능력을 통합함을 보인다. 호환 가능한 패턴은 환경 간 일반화를 가능하게 하고, 부분적으로 공유된 패턴은 지속 학습(continual learning)을 지원하며, 완전히 상충하는 패턴은 심각한 간섭을 유발한다.
본 연구는 상반신 인터랙티브 생성을 위한 실시간 인간 중심 월드 모델을 제안한다. 이 모델은 사람을 중심으로 한 일관된 국소 세계 동역학을 합성하는 것을 목표로 하며, 조율된 신체·손·얼굴 움직임이 제어 가능한 인간-객체 이산 상호작용과 함께 공동적으로 진화한다. 이를 위해 연속적 인간 상태와 이산 상호작용 상태라는 두 보완적 구성 요소를 갖춘 연속-이산 공동 제어 방식을 채택한다. 연속적 인간 상태 제어를 위해 다중 스케일 모션 인코딩에 기반한 통합 암시적 표현을 도입한다. 상반신, 손, 얼굴의 모션 잠재 변수를 공유 잠재 공간에 융합하며, 이 다중 스케일 설계는 서로 다른 공간 스케일 전반의 표현력을 향상시키고, 세밀한 인간 동역학을 더 효과적으로 포착하며, 명시적 리타게팅(retargeting) 없이 직접 제어를 가능하게 한다. 이산 객체 상호작용 상태 제어를 위해 객체 접촉을 소수의 언어 인코딩 이산 상호작용 상태로 표현한다. 여기서 텍스트는 개방형 생성 프롬프트가 아니라 \emph{no contact} 또는 \emph{grasp}와 같은 명시적 상호작용 상태 명령으로 작용한다. 또한 이러한 이산 상호작용 상태를 감독하기 위해 인간-객체 상호작용 데이터용 전용 렌더링 파이프라인을 구축한다. 연속적 암시적 인간 상태 제어와 이산 상호작용 상태 제어를 결합함으로써, 모델은 인근 장면 상태의 제어 가능한 변화를 포함하여 사람이 국소 환경에서 어떻게 움직이고 상호작용하는지를 정밀하게 모델링할 수 있다. 마지막으로 효율적인 스트리밍 실시간 추론을 위해 모델을 증류(distillation)하여 두 대의 H100 GPU에서 25 FPS를 달성한다. 실험 결과, 세밀한 모션 충실도 향상, 더 현실적인 손-객체 조율, 효과적인 실시간 상호작용을 보여 주며, 모션 재현을 넘어 실시간 인간 중심 월드 모델링을 향한 실용적 진전을 이룬다.
월드 모델링으로 보강된 비전-언어-행동(VLA) 모델은 종단간(end-to-end) 자율주행을 위한 유망한 패러다임을 나타낸다. 픽셀 수준의 미래 예측은 세밀한 시공간 추론을 가능하게 하지만, 노이즈가 많은 주행 시나리오에서 견고성을 희생한다. 반대로, 잠재(latent) 기반 월드 모델은 이러한 민감도를 완화하지만, 픽셀 수준 그라운딩(grounding)이 부재하여 해석 가능성이 제한되고 표현이 저하되는 경우가 많다. 이 트레이드오프를 조화시키기 위해, 우리는 픽셀 수준 감독과 잠재 표현 학습을 통합하는 하이브리드 world-VLA 프레임워크인 HyWorldVLA를 제안한다. 사전학습 단계에서 HyWorldVLA는 사전학습된 video VAE로 인코딩된 비디오 잠재(latent)를 예측하면서, 동시에 비디오 프레임을 재구성하여 정밀한 픽셀 수준 그라운딩을 제공한다. 이후 공동 미세조정(co-fine-tuning) 단계에서는 모델이 잠재 특징만을 예측하고, 이를 action expert에 입력하여 궤적을 생성한다. NAVSIM v1 및 v2 벤치마크에 대한 광범위한 실험 결과, HyWorldVLA가 픽셀 기반 및 잠재 기반 월드 모델 베이스라인을 모두 크게 능가함을 보여준다. 특히, 우리는 자율주행에서 월드 모델의 노이즈 견고성에 대한 최초의 포괄적인 정성 및 정량 분석을 제시하며, 향후 아키텍처 평가를 위한 새로운 벤치마크를 마련한다.
인간은 몇 시간에서 수년에 이르는 연속적인 감각 스트림을 효율적으로 파싱하여, 공간적 추론과 예측을 그라운딩(grounding)하는 내부 세계 모델(world model)을 구축할 수 있다. 이 능력을 모방하기 위해 공간 초지각(spatial supersensing)은 멀티모달 모델에게 언어적 이해를 넘어 진정한 세계 모델링(world modeling)으로 나아가도록 도전 과제를 제시한다. 그러나 기존 벤치마크는 무작위 짧은 클립을 이어 붙여 만든 합성 장기 영상에 의존하며, 대체로 가정 실내 장면에 한정되어 있어 실세계의 연속성과 다양성은 충분히 탐구되지 않았다. 이 간극을 해소하기 위해, 다양한 실환경(in-the-wild) 장면에서 긴 시간적 범위(temporal horizon)에 걸친 공간 초지각을 평가하는 대규모 벤치마크인 $\textbf{VSI-Super-Wild}$를 제안한다. 특히 인간이 경험을 구조화하는 방식에 대한 인지 연구에서 영감을 받아, 세계 상태(world state)의 전체 삼중 주체를 체계적으로 탐색한다: 에이전트(관찰자), 객체(장면 항목), 환경(장소 및 전역 레이아웃). $\textbf{VSI-Super-Wild}$는 총 8개 장면 범주에 걸친 $\textbf{442}$개의 실세계 영상에서 파생된 $\textbf{6,980}$개의 사람이 검증한 질의-응답(question-answer) 쌍을 포함하며, 4시간을 넘는 장시간 녹화도 포함한다. $\textbf{VSI-Super-Wild}$에서의 결과는 근본적인 단절을 드러낸다: 정적 이미지 이해의 발전에도 불구하고, 모델은 시간에 걸친 일관된 세계 상태 추적을 요구하는 과제에서 지속적으로 실패한다. 우리는 세계 상태 복잡도와 시간적 범위에 따른 성능 저하 양상을 규명하고, 네 가지 실패 모드—공간 붕괴(spatial collapse), 의미적 지름길(semantic shortcuts), 불충분한 갱신(insufficient update), 인스턴스 혼동(instance confusion)—을 진단한다. 이 분류 체계는 모델이 객체, 에이전트, 환경을 통합된 공간적 세계 모델로 결합(bind)하는 메커니즘을 갖추지 못했음을 보여주며, 이는 공간 초지각을 위한 앞으로의 방향을 규정하는 근본적 격차이다.
월드 액션 모델(WAM)은 사전학습된 비디오 생성기를 월드 모델링과 액션 예측 모두에 활용할 수 있다. 그러나 이러한 비디오 생성기를 제어에 직접 활용하면 새로운 과제가 생긴다. 즉, 사전학습된 비디오 생성기와 정렬되면서도 정확한 제어에 필요한 충분한 모션 단서를 담을 수 있는 적절한 형태로 액션을 어떻게 표현할 것인가이다. 기존의 수치적 액션 표현은 전자를 만족시키지 못하고, 기존의 시각적 액션 표현은 프레임에 걸친 시간적 모션 구조를 간과한다. 우리는 광학 흐름(optical flow)을 통합적이고 비디오 네이티브한 액션 표현으로 채택하는 이중 스트림 diffusion 프레임워크인 FlowWAM으로 이 문제를 해결한다. 플로우 비디오는 RGB 비디오와 동일한 형식을 공유하며 픽셀 단위의 풍부한 변위를 인코딩한다. 공유 사전학습 비디오 생성기 내에서 이들을 공동 모델링함으로써 FlowWAM은 WAM의 두 가지 모드를 자연스럽게 구현할 수 있다. 정책 모드에서는 FlowWAM이 액션 예측을 위해 flow를 생성하고, 월드 모델 모드에서는 목표 flow 시퀀스를 사용해 미래 비디오 생성을 유도한다. 또한 flow는 액션 레이블 없이 원시 비디오에서 쉽게 추출할 수 있으므로 FlowWAM은 사전학습에 대규모 액션 미레이블 비디오 데이터셋을 활용할 수 있다. 실험 결과, flow 기반 액션 표현이 두 모드 모두에서 성능 향상을 가져온다. RoboTwin 조작 작업에서 FlowWAM은 Clean 설정에서 성공률 92.94%, Random 설정에서 92.14%를 달성하여 VLA 및 WAM 베이스라인을 모두 능가한다. WorldArena 월드 모델링에서는 종합 EWMScore 63.71로 최고 성능을 기록했으며 궤적 정확도에서 18.4%의 상대적 향상을 보였다. 추가 결과는 프로젝트 웹사이트에서 확인할 수 있다: https://flow-wam.github.io .
멀티모달 대규모 언어 모델(LLM)의 시각적 역학 이해 한계를 극복하기 위해, DynaVieW는 비디오 키프레임에서 추출한 시각적 상태와 계층적 JSON 스키마로 표현된 전이(transition) 설명을 인터리브하여 학습하는 동적 스키마 기반 세계 모델을 제안한다. 전문가 혼합(MoE) 아키텍처와 크로스 전문가 선택적 어텐션, 스키마 토큰 재가중 손실을 활용해 전이 예측과 상태 시뮬레이션을 공동 학습하며, 시각적 내러티브 생성 및 세계 시뮬레이션 과제에서 일관성·제어 가능성·인스트럭션 따르기(instruction-following) 측면의 성능 향상을 달성했다.
Large language models (LLMs) are powerful pattern-completion systems, but their default operating mode - predicting the next token from a static context - does not reliably produce persistent, manipulable representations of an external world. Many tasks that look like "reasoning" in text become substantially harder once the environment is partially observable, stateful, and requires memory and structured hypotheses about hidden state. AGI Maze is a lightweight framework for building such environments without requiring high-dimensional sensory inputs. It provides a family of grid-based maze tasks with a clean API and multiple difficulty regimes. The goal is to create benchmarks where agents must learn and use world state representations, not just infer a local rule over readily provided observations. We provide an initial evaluation of several vanilla LLMs on simple mazes showing that they fail to represent mazes internally at LLM inference time. We also introduce a baseline agent, which is allowed to use its message history as a working memory to construct descriptions of observations at agentic runtime. Although this can improve performance, it is still insufficient for an LLM agent to reliably solve even small mazes within a step budget that is more than enough for humans.
이미지로부터 원하는 3D 변환이 이루어진 뒤 장면이 어떻게 변화할지 예측하는 것은 컴퓨터 비전(CV), 그래픽스, 로봇 공학의 핵심 목표이다. 그러나 3D 기하학과 동역학에 완전히 접근할 수 있는 이상적 시뮬레이터와 달리, 실세계 시스템은 본질적으로 부분적이고 불완전한 지각 입력과 국소적 행동에 의존해야 한다. 본 연구에서는 부분 관측과 불완전한 3D 변환 신호 모두 하에서 미래 장면 상태를 시뮬레이션하는 물리 세계 모델링 시스템 P3Sim을 제안한다. P3Sim은 상호작용하는 세 가지 구성 요소로 이루어진다: 학습된 물리 세계 모델, 기하학적 조건화 모듈, 지속적 장면 메모리. 세계 모델은 지각을 다중 모달 장면 변수에 대한 확률적 추론으로 해석하여, 다른 변수들의 임의 조합에 조건화된 임의 장면 변수의 분포 예측을 제공한다. 기하학적 조건화 모듈은 추론 시점에 세계 모델을 조건화하기 위한 부분 3D 변환 신호를 제공한다. 지속적 장면 메모리는 시간에 걸쳐 예측을 통합하여, 불확실성 하에서 온라인 갱신과 일관성을 가능하게 한다. 학습된 추론과 명시적 기하학적 구조를 결합함으로써 P3Sim은 데이터 기반 유연성과 내재된 귀납적 바이어스를 균형 있게 맞춘다. 이 설계는 새로운 시점 합성(novel view synthesis), 객체 조작(object manipulation), 동적 장면 예측(dynamic scene prediction)과 같은 다양한 3D 변환 작업에 일반화되는 유연한 지각 시뮬레이터를 만들어, 범용 3D 장면 이해 및 변환을 향해 나아간다.
비디오 생성 모델은 동적 환경을 시뮬레이션하고자 하며, 여러 벤치마크가 프레임 간 메모리 일관성을 평가하고 있다. 그러나 대부분은 대상이 시야에 머무르는 동안에만 일관성을 평가하며, 시야에서 사라지도록 강제하는 소수의 벤치마크도 가림(occlusion) 동안 아무것도 변하지 않는 정적 장면을 평가한다. 이 간극을 메우기 위해, 우리는 동적으로 변화하는 환경에서 사라짐-재등장(disappear-and-reappear) 패러다임을 중심으로 구축된 진단 벤치마크인 MemoBench를 도입한다. 대상 객체가 물리적 과정을 거친 뒤 시야에서 사라지고, 재등장 시 갱신된 상태로 올바르게 복원되어야 한다. 우리는 합성 및 실세계 장면에 걸친 360개의 정답(ground-truth) 클립을 큐레이션하고, 자동화된 지표와 시각적 질의응답(VQA) 기반 평가를 네 가지 진단 축에 걸쳐 결합한 평가 스위트를 설계한다. 8개의 최신(state-of-the-art) 모델에 대한 평가는 사라짐-재등장 패러다임 하에서의 메모리 일관성에 관한 핵심 통찰과 미해결 과제를 밝힌다.
기존 무선 네트워크는 순간 채널 상태 정보(CSI)에 의존하며 물리적 환경을 명시적으로 모델링하지 않고 채널 변동에 반응하기 때문에, 동적 배치에서 차단(blockage), 이동성(mobility), 간섭(interference)을 처리하는 능력이 제한된다. 통합 감지 및 통신(Integrated Sensing and Communication, ISAC)과 같은 패러다임은 감지(sensing) 기능을 추가하지만 명시적인 환경 모델링과 의사결정이 부족하다. 본 논문에서는 Physical-AI를 제안한다. 이는 데이터 전송 외에도 무선 신호가 환경에 대한 감지, 모델링, 상호작용을 가능하게 하는 환경 인지 무선 네트워킹을 위한 새로운 아키텍처이다. 이 프레임워크는 분산 무선 관측을 공유 잠재 환경 표현으로 변환하기 위한 자기지도 학습(self-supervised) 시공간(spatiotemporal) 무선 파운데이션 모델을 제안한다. 다수의 추론 헤드(inference head)가 이 표현 위에서 동작하여 차단, 사용자 분포, 이동성 역학, 간섭 구조 등 핵심 환경 특성을 추정한다. 과제별(task-specific) 신경망 의사결정 층이 이 표현을 선제적이고 컨텍스트 인지(context-aware) 제어 동작으로 매핑한다. 지각(perception), 세계 모델링(world modeling), 의사결정을 폐루프(closed loop)로 통합함으로써, 제안 프레임워크는 ISAC을 넘어 Physical-AI를 지능형 6G 시스템을 위한 유망한 아키텍처로 자리매김한다. 시뮬레이션 결과는 제안된 예측 프레임워크가 특히 빔 전환(beam-switching) 지연이 증가할수록 서비스 중단(outage) 확률과 차단 대응 지연시간을 감소시킴을 보여준다.
비디오 생성 모델(VGMs)은 비디오 생성뿐만 아니라 월드 모델링(world modeling)을 포함한 다양한 다운스트림 태스크에 활용될 수 있는 새로운 영역이 되었습니다. 이러한 태스크를 발전시키려면 우수한 비디오 모델이 세상의 물리적 현실을 이해해야 합니다. 이러한 이해를 평가하는 것은 새로운 분야로 자리 잡았으며, 모델이 생성한 비디오와 물리적 실험의 실제 비디오를 비교하여 이를 명시적으로 정량화하는 Physics-IQ 벤치마크를 탄생시켰습니다. 본 연구에서는 Physics-IQ 벤치마크에 대한 체계적인 검토를 수행하고 그 한계점을 지적한 뒤, VGM의 물리적 이해도를 측정하는 방식을 개선하는 세 가지 해결책을 제안합니다. 구체적으로, 교란 요인(confounding factors)의 영향을 줄이기 위해 프롬프트와 정답(ground-truth)의 품질을 개선하고, 각 샘플과 지표(metric)에 동일한 가중치를 부여하는 샘플 수준 채점 시스템을 추가로 도입했습니다. 그 결과인 Physics-IQ Verified 벤치마크는 전체 샘플의 57.6%를 정제하고 34.8% 이상의 프롬프트를 개선했습니다. 6개의 이미지-투-비디오(image-to-video) 생성 모델을 사용한 비교 연구에서, 우리는 적당하지만 의미 있는 순위 변화(Kendall's $τ= 0.46$)를 관찰했습니다. 우리는 Physics-IQ Verified가 물리적으로 정확한 VGM을 향한 더 신뢰할 수 있는 신호를 제공하여 연구 커뮤니티의 발전에 기여하기를 바랍니다. 이 벤치마크의 코드는 https://github.com/google-deepmind/physics-iq-benchmark 에서 접근할 수 있습니다.
우리는 구현형 지능(embodied intelligence)을 위한 언어 조건부 비디오 월드 모델인 Qwen-RobotWorld를 소개합니다. 자연어를 통합된 행동 인터페이스로 활용하여, 로봇 조작, 자율 주행, 실내 내비게이션, 인간-로봇 전이(human-to-robot transfer) 영역에 걸쳐 현재 관찰로부터 물리적 기반의 미래 시각적 궤적을 예측합니다. 이러한 통합된 접근 방식은 정책 학습 증강을 위한 합성 데이터 생성, 정책 평가를 위한 확장 가능한 가상 환경, 하위 단계 로봇 제어를 위한 언어 기반 계획 신호라는 세 가지 유망한 응용 방향을 제공합니다. 이는 세 가지 설계 요소를 통해 달성됩니다: a) MLLM 행동 인코딩을 갖춘 이중 스트림 MMDiT(Double-Stream MMDiT)로, 60층 이중 스트림 디퓨전 트랜스포머가 층별 결합 어텐션을 통해 고정된 Qwen2.5-VL 의미론과 비디오-VAE 잠재를 결합합니다; b) 구현형 월드 지식(EWK), 20개 이상의 구현체와 500개 이상의 행동 카테고리에 걸친 행동-언어 매핑을 포함하는 860만 개의 비디오-텍스트 말뭉치(2억 프레임 이상); c) General+Expert 점진적 커리큘럼, 공유된 언어 인터페이스 하에서 먼저 일반적인 시각적 사전 지식을 학습한 후 구현형 특화를 주입하는 2단계 학습 전략입니다. 광범위한 실험 결과는 강력한 경쟁력을 보여줍니다: EWMBench와 DreamGen Bench에서 종합 1위를 차지했으며, WorldModelBench와 PBench에서는 모든 오픈 소스 모델을 능가했습니다. RoboTwin-IF 벤치마크에 대한 추가적인 제로샷 분석은 견고한 일반화와 다중 뷰 일관성을 추가로 뒷받침합니다.
본 논문에서는 이미지와 비디오 모두에 대해 밀집하고 고품질의 시각적 표현(visual representation)을 학습하면서 강력한 전역 장면 이해를 유지하는 자기지도 학습(self-supervised learning) 모델 계열인 V-JEPA 2.1을 제안합니다. 이 접근법은 네 가지 핵심 구성 요소를 결합합니다. 첫째, 밀집 예측 손실(dense predictive loss)은 가시 토큰과 마스킹된 토큰이 모두 학습 신호에 기여하는 마스킹 기반 목적함수(objective)를 사용하여 명시적인 공간적 및 시간적 그라운딩(grounding)을 장려합니다. 둘째, 심층 자기지도(deep self-supervision)는 표현 품질을 향상시키기 위해 여러 중간 인코더 레이어에 걸쳐 자기지도 목적함수를 계층적으로 적용합니다. 셋째, 멀티모달 토크나이저(multi-modal tokenizer)는 이미지와 비디오에 걸친 통합 학습을 가능하게 합니다. 마지막으로, 모델은 모델 용량과 학습 데이터 모두에서 효과적인 스케일링(scaling)의 이점을 누립니다. 이러한 설계 선택들은 공간적으로 구조화되고, 의미적으로 일관되며, 시간적으로 일관적인 표현을 생성합니다. 실증적으로, V-JEPA 2.1은 단기 객체 상호작용 예측을 위한 Ego4D에서 7.71 mAP, 고수준 행동 예측을 위한 EPIC-KITCHENS에서 40.8 Recall@5, 그리고 V-JEPA-2 AC 대비 실제 로봇 파지 성공률 20포인트 향상을 포함하여 여러 까다로운 벤치마크에서 최첨단(state-of-the-art) 성능을 달성했습니다. 또한 이 모델은 로봇 내비게이션(TartanDrive에서 5.687 ATE), 깊이 추정(NYUv2에서 선형 프로브(linear probe)를 사용한 0.307 RMSE), 및 전역 인식(Something-Something-V2에서 77.7)에서도 강력한 성능을 보여줍니다. 이러한 결과는 V-JEPA 2.1이 밀집 시각 이해와 월드 모델링(world modeling) 분야의 최첨단 기술을 크게 발전시켰음을 보여줍니다.