일반화 가능한 로봇 조작은 장면이 어떻게 변화할지 예측하고, 상호작용이 가능한 위치를 식별하며, 어떻게 행동할지 결정하는 것을 요구한다. 행동 라벨이 붙은 로봇 영상은 제어를 직접 감독하지만 비용이 크고 다양성이 제한적이며, 반면 1인칭(egocentric) 인간 영상은 다양한 상호작용을 포착하지만 로봇 행동이 없고 체형(embodiment)과 외형이 다르다. 본 논문은 AffordanceWAM을 제안한다. 이는 생성된 미래 World 내에서 Scalar Affordance와 Affordance Heatmap을 통해 객체 중심 시공간 어포던스를 표현하는 어포던스 인식 생성형 World Action Model이다. 이 표현은 시각 예측을 과제 관련 객체 및 상호작용 영역에 그라운딩(grounding)하여 행동 생성을 이끌고, 인간 영상과 로봇 영상 간 공유 상호작용 목표를 제공한다. 사전학습된 비디오 확산 트랜스포머 위에 구축된 AffordanceWAM은 Masked Joint Self-Attention으로 결합된 별도 파라미터화된 World Expert와 Action Expert를 사용하여, 통합 flow-matching 목적 하에서 미래 RGB 관측, Scalar Affordance 필드, Affordance Heatmap, 연속 로봇 행동을 공동으로 예측한다. 인간 영상은 세 가지 미래-World 스트림 모두를 감독하고, 로봇 궤적은 추가로 행동 감독을 제공하여, 인간 행동 라벨이나 리타게팅(retargeting) 없이 전이(transfer)를 가능하게 한다. RoboCasa, CALVIN ABC→D, 실세계 조작 실험에서 RGB만 사용하거나 로봇 데이터만 사용하는 기준선 대비 일관된 향상을 보인다. 고정된 로봇 감독 하에서 RoboCasa 성능은 어포던스 주석이 달린 인간 영상 규모가 커질수록 단조 증가한다. 이러한 결과는 어포던스가 비전-언어-행동(vision-language-action) 학습과 인간-로봇 전이 모두에 효과적인 인터페이스임을 뒷받침한다.
손의 상당 부분이 자기 자신이나 물체에 의해 심하게 가려졌을 때 3D 손 자세를 어떻게 재구성할 수 있을까? 인간은 종종 어포던스(affordance)와 같은 문맥적 지식을 활용하여 이러한 모호성을 해결한다. 어포던스에서는 물체의 형태와 기능이 해당 물체가 일반적으로 어떻게 잡히는지를 시사한다. 이러한 관찰에서 영감을 받아, 우리는 손-물체 상호작용(hand-object interaction, HOI)에 대한 어포던스 인식 텍스트 설명으로 유도되는 손 자세 정제용 생성 사전분포를 제안한다. 우리의 방법은 어포던스 설명에 조건부로 타당한 손 자세의 분포를 학습하는 확산 기반 생성 모델을 사용하며, 이 설명은 대규모 비전-언어 모델(vision-language model, VLM)로부터 추론된다. 이를 통해 가려진 영역을 더 정확하고 기능적으로 일관된 손 자세로 정제할 수 있다. 심각한 가림이 있는 3D 손-어포던스 데이터셋 HOGraspNet에서의 광범위한 실험은, 우리의 어포던스 유도 정제가 최근 회귀 방법과 문맥적 추론이 없는 확산 기반 정제 모두에 비해 손 자세 추정을 크게 개선함을 보여준다.
우리는 비전-언어 모델(VLM)에서의 문맥 의존적 어포던스(affordance) 계산 현상을 규명한다. 주요 연구에서는 Qwen3-VL-30B-A3B를 사용하며(COCO-2017에서 추출한 7개의 에이전트 페르소나 하에 479개 이미지로 구성된 $n = 3{,}213$개의 장면-문맥 쌍), LLaVA-1.5-13B를 통한 교차 모델 복제 실험을 수행한다. 우리는 상당한 어포던스 드리프트를 실증한다: 문맥 조건 간 평균 Jaccard 유사도는 $0.095$(95% 신뢰구간 $[0.092, 0.097]$, $N = 479$개 이미지, $9{,}244$개 프라임 쌍, $p < 0.0001$)로, 어휘적 장면 기술의 90% 이상이 문맥 의존적임을 나타내며, LLaVA 복제 실험에서도 동일한 효과가 재현된다(평균 $J = 0.160$, 84% 문맥 의존적). 문장 수준 코사인 유사도는 의미적 수준에서의 드리프트를 확인한다(평균 $= 0.415$, 58.5% 문맥 의존적). 확률적 기준선 실험(4개의 온도 및 5개의 시드에 걸친 $2{,}384$회 추론 실행)은 이것이 생성 노이즈가 아닌 실제 문맥 효과를 반영함을 확인한다: 모든 조건에서 프라임 내 분산이 프라임 간 분산보다 현저히 낮다. 부트스트랩 안정성 분석($n = 1{,}000$회 리샘플링)을 동반한 Tucker 분해는 안정적인 직교 잠재 요인을 드러낸다: 요리사 문맥에 격리된 "Culinary Manifold"와 아동-이동성 대조를 아우르는 "Access Axis". 어휘적 측정(90%)과 의미적 측정(58.5%) 간의 격차는 문맥 전환 시 표면적 어휘가 기저 의미보다 더 많이 변화함을 나타낸다. 이러한 발견들은 로보틱스를 위한 방향을 제시한다: 정적 세계 모델링이 아닌 동적이고 쿼리 의존적인 온톨로지 투영(JIT 온톨로지). 우리는 처리 순서나 아키텍처적 우선성을 확립하려 주장하지 않으며, 그러한 주장은 출력 동작을 넘어서는 내부 표현 분석을 필요로 한다.
물리적 상호작용은 롱테일 분포를 따른다. 흔하고 규칙적인 상호작용 집합이 인간의 경험과 시각 데이터를 지배하는 반면, 드물고 비정형적인 상호작용의 넓은 스펙트럼은 충분히 표현되지 않는다. 이미지 및 비디오 생성 모델을 포함한 최근의 시각적 세계 모델들이 기존 벤치마크에서 인상적인 사실성을 달성하고 있지만, 이들은 주로 일반적인 물리적 상호작용을 시뮬레이션하는 데 초점을 맞추고 있다. 이는 핵심적인 질문을 제기한다: 현재의 시각적 세계 모델은 물리적 원리를 내재화하고 일반화하는가? 본 연구에서는 세계 모델이 비정형적인 물리적 상호작용을 시뮬레이션하도록 도전하는 벤치마크인 Tailor-Bench를 소개한다. 체계적인 평가를 가능하게 하기 위해, 모델 추론을 점진적으로 도전하는 세 가지 시나리오 모드를 설계하였다: Regular 시나리오는 일반적인 도구-작업 쌍을 반영하고, Unconventional 시나리오는 어포던스(affordance) 일반화를 테스트하기 위해 속성 호환 대체물로 기존 도구를 교체하며, Impossible 시나리오는 제약 인식을 탐색하기 위해 속성 위반 도구를 도입한다. 또한 통일된 평가 프로토콜 하에 두 가지 상호 보완적인 설정을 설계하였다: 예측적 생성은 안내 없이 결과를 추론하도록 요구하고, 기술적 생성은 충실한 실현을 위해 목표 결과를 명시한다. 실험 결과는 물리적 세계 모델링에서 명확한 롱테일 격차를 드러낸다: Regular에서 Unconventional, Impossible 시나리오로 갈수록 성능이 저하되어, 일반적인 상호작용을 넘어선 일반화가 제한적임을 보여준다. 실패 분석은 모델들이 피상적인 시각 패턴에 의존함을 추가로 보여준다: 이미지 모델은 올바른 상태 변화를 실현하지 못하고, 비디오 모델은 추가적으로 시간적 비일관성 문제를 겪는다.