Segment Anything Model(SAM) 기반 기존 연구들은 통합 장면 텍스트 검출 및 레이아웃 분석에서 유망한 성능을 달성해 왔다. 그러나 수천 개의 전경 포인트를 프롬프트로 샘플링하기 위해 픽셀 수준 텍스트 분할(segmentation)에 일반적으로 의존하는 방식은 만족스럽지 못한 추론 지연과 제한된 데이터 활용을 초래한다. 이러한 문제를 해결하기 위해, 우리는 SAM 기반 통합 장면 텍스트 검출 및 레이아웃 분석을 위한 두 개의 디코더를 갖춘 효율적 프레임워크 ET-SAM을 제안한다. 기술적으로, 우리는 소수의 전경 포인트를 확보하기 위해 단어 히트맵(word heatmap)을 생성하는 경량 포인트 디코더를 맞춤 설계하여, 과도한 포인트 프롬프트를 제거하고 추론을 가속한다. 픽셀 수준 분할에 대한 의존 없이, 우리는 이질적인 텍스트 수준 주석을 가진 기존 데이터를 활용하기 위한 공동 학습 전략을 추가로 설계한다. 구체적으로, 다중 수준, 단어 수준만, 줄 수준만 주석을 가진 데이터셋들을 병렬로 결합하여 통합 학습 세트를 구성한다. 이러한 데이터셋에 대해, 데이터셋 간 불일치를 완화하기 위해 포인트 디코더와 계층적 마스크 디코더 모두에 세 가지 대응하는 학습 가능한 태스크 프롬프트 세트를 도입한다. 광범위한 실험 결과, 이전 SAM 기반 아키텍처와 비교하여 ET-SAM은 HierText에서 경쟁력 있는 성능을 유지하면서 약 3배의 추론 가속을 달성했으며, Total-Text, CTW1500, ICDAR15에서 평균 11.0% F-score를 향상시켰음을 보여준다.
3D 씬 그래프(3DSG)는 환경의 기하학적·의미적 구조를 인코딩하는 계층적 다중 해상도 추상화를 제공하지만, 역학에 대한 처리는 개별 에이전트 추적 수준에 머물러 있다. 역학 지도(MoD)는 집합적 운동 패턴을 모델링하여 이를 보완하지만, 의미적 그라운딩이 부족하고 확장성이 떨어지는 균일 격자 이산화에 의존한다. 본 논문은 연속 방향 운동 모델을 계층적 3DSG의 추가 역학 층에 명시적으로 내장하여 그래프의 내비게이션 특성을 향상시키는 프레임워크인 Rheos를 제안한다. 각 역학 노드는 다중 모달 방향 흐름을 명시적 불확실성을 갖는 원칙적 확률 분포로 포착하는 semi-wrapped 가우시안 혼합 모델을 유지하며, 선행 연구에서 사용된 이산 히스토그램을 대체한다. 온라인 동작을 위해 Rheos는 제한 메모리 관측 버퍼를 위한 reservoir sampling, 셀별 병렬 모델 업데이트, 혼합 성분의 최적 개수를 선택하는 원칙적 베이지안 정보 기준(BIC) 탐색을 사용하여, 업데이트당 초기화 비용을 샘플 수에 대해 이차에서 선형으로 줄인다. 시뮬레이션된 보행자 환경에서 네 가지 공간 해상도에 걸쳐 평가한 결과, Rheos는 연속 지표뿐 아니라 불리한 이산 지표에서도 이산 기준선을 일관되게 능가한다. 구현을 오픈 소스로 공개한다.
본 논문은 측정적으로 정확하고 전역적으로 일관되며 의미적으로 해석 가능한 실내 장면을 생성하는 text-to-3D 생성 프레임워크인 GuidedSceneGen을 제안한다. 기하학적 drift나 스케일 모호성 문제가 흔한 기존 텍스트 기반 방법들과 달리, 본 접근법은 전체 생성 과정 전반에 걸쳐 절대 세계 좌표계를 유지한다. 텍스트 장면 설명에서 출발하여, 의미 구조와 기하학적 구조를 모두 인코딩하는 전역 3D 레이아웃을 예측하고, 이를 후속 단계의 안내 프록시로 사용한다. 의미 및 깊이 조건 파노라마 확산 모델이 전역 레이아웃에 정렬된 360° 영상을 합성하여 공간적 일관성을 크게 향상시킨다. 관측되지 않은 영역을 탐색하기 위해, 커버리지와 충돌 회피의 균형을 맞춘 최적화된 카메라 궤적로 안내되는 비디오 확산 모델을 사용하며, 이는 전수적 경로 탐험 대비 최대 10배 빠른 샘플링을 달성한다. 생성된 뷰는 3D Gaussian Splatting으로 융합되어 절대 스케일에서 일관되고 완전히 탐색 가능한 3D 장면을 산출한다. GuidedSceneGen은 레이아웃에서 재구성으로 객체 포즈와 의미 레이블의 정확한 전달을 가능하게 하며, 재정렬 없이 점진적 장면 확장을 지원한다. 정량적 결과와 사용자 연구는 최근 파노라마 text-to-3D 베이스라인 대비 더 높은 3D 일관성과 레이아웃 타당성을 보여준다.
멀티모달 대규모 언어 모델(MLLM)은 체화 에이전트(embodied agent)의 기반으로 점점 더 많이 고려되고 있지만, 자기중심적 관점에서 행동의 장기적인 물리적 결과에 대해 신뢰할 수 있게 추론할 수 있는지는 여전히 불분명하다. 우리는 새로운 과제인 Egocentric Scene Prediction with LOng-horizon REasoning(EXPLORE)를 통해 이 공백을 연구한다. 초기 장면 이미지와 원자적 행동 설명의 시퀀스가 주어지면, 모델은 모든 행동이 실행된 후의 최종 장면을 예측해야 한다. 체계적인 평가를 위해, 다양한 시나리오에 걸친 실제 1인칭 영상에서 구성한 벤치마크인 EXPLORE-Bench를 제안한다. 각 인스턴스는 긴 행동 시퀀스를 객체 카테고리, 시각적 속성, 객체 간 관계를 포함한 구조화된 최종 장면 어노테이션과 짝지어, 세밀하고 정량적인 평가를 지원한다. 다양한 독점 및 오픈소스 MLLM에 대한 실험은 인간 대비 상당한 성능 격차를 보여주며, 장기 자기중심적 추론이 여전히 주요 과제임을 나타낸다. 또한 단계별 추론을 통한 테스트 시점 스케일링(test-time scaling)을 분석하고, 긴 행동 시퀀스를 분해하면 어느 정도 성능을 향상시킬 수 있지만 상당한 계산 오버헤드가 발생함을 보인다. 종합적으로, EXPLORE-Bench는 자기중심적 체화 인식을 위한 장기 추론을 측정하고 발전시키는 원칙적인 테스트베드(testbed)를 제공한다.
최근 비디오 생성 모델은 시각적 충실도 측면에서 큰 진전을 이루었지만, 명시적인 물리적 제어성과 타당성이 부족한 경우가 많다. 이를 해결하기 위해 일부 최근 연구는 물리 기반 렌더링으로 비디오 생성을 유도하려 시도했다. 그러나 이러한 방법들은 복잡한 물리적 특성을 정확히 모델링하고, 긴 시간 구간에 걸쳐 결과적인 물리적 행동을 효과적으로 제어하는 데 본질적인 어려움에 직면한다. 본 연구에서는 단일 이미지로부터 다양한 제어성과 물리적 현실감을 갖춘 비디오를 생성할 수 있는 새로운 프레임워크인 PhysChoreo를 제안한다. 제안 방법은 두 단계로 구성된다. 먼저 부분 인식 물리 특성 복원을 통해 이미지 내 모든 객체의 정적 초기 물리적 특성을 추정하고, 이어서 시간적 지시 기반 및 물리적으로 편집 가능한 시뮬레이션을 통해 풍부한 동적 행동과 물리적 현실감을 갖춘 고품질 비디오를 합성한다. 실험 결과 PhysChoreo는 풍부한 행동과 물리적 현실감을 갖춘 비디오를 생성할 수 있으며, 여러 평가 지표에서 최신(state-of-the-art) 방법들을 능가함을 보여준다.
텍스트-3D 생성은 빠르게 발전했지만, 최적화 기반과 피드포워드(feed-forward) 아키텍처를 아우르는 최신(state-of-the-art) 모델들도 여전히 두 가지 근본적 한계에 직면한다. 첫째, 거친(coarse) 의미론적 정렬(alignment)에 어려움을 겪어 세밀한 프롬프트 세부사항을 포착하지 못하는 경우가 많다. 둘째, 견고한 3D 공간 이해가 부족하여 기하학적 불일치와 부품 조립 및 공간 관계에서의 치명적 실패로 이어진다. 이를 해결하기 위해, 우리는 대규모 비전-언어 모델(VLM)을 강력하고 미분 가능한(differentiable) 의미론적·공간적 비평자(critic)로 재활용하는 일반적 프레임워크 VLM3D를 제안한다. 핵심 기여는 VLM의 Yes/No 로그오즈(log-odds)에서 도출된 이중 쿼리 비평자 신호로, 의미론적 충실도와 기하학적 일관성을 모두 평가한다. 우리는 이 안내 신호의 범용성을 두 가지 서로 다른 패러다임에서 입증한다: (1) 최적화 기반 파이프라인의 보상 목표로서 VLM3D는 표준 벤치마크(benchmark)에서 기존 방법들을 크게 능가한다. (2) 피드포워드 파이프라인의 테스트 시점 가이던스(test-time guidance) 모듈로서, SOTA 네이티브 3D 모델의 반복 샘플링 과정을 능동적으로 조향하여 심각한 공간 오류를 교정한다. VLM3D는 의미론과 공간 모두에 대한 VLM의 풍부하고 언어 그라운딩(grounding)된 이해를 다양한 3D 생성 파이프라인에 주입하는 원칙적이고 일반화 가능한 경로를 제시한다.
비전-언어 모델은 최근 자율주행의 유망한 플래너로 부상했으며, 성공은 멀티모달 입력으로부터의 공간 구조와 동적 상호작용에 대한 토폴로지 인식 추론에 달려 있다. 그러나 기존 모델은 일반적으로 이러한 관계적 의존성을 명시적으로 인코딩하는 지도 없이 학습되어, 원시 센서 데이터로부터 에이전트 및 기타 교통 개체가 서로 어떻게 영향을 미치는지 추론하는 능력이 제한된다. 본 연구에서는 교통 장면 그래프 형태의 구조화된 관계적 컨텍스트로 언어 기반 주행 모델을 조건화하는 새로운 모델 불가지 방법으로 이 격차를 해소한다. 우리는 다양한 추상화 수준과 형식으로 장면 그래프를 직렬화하고, 구조화된 프롬프트 템플릿을 통해 모델에 통합하여, 관계적 지도가 언제, 어떻게 가장 유익하고 계산적으로 효율적인지에 대한 체계적 분석을 가능하게 한다. LangAuto 및 Bench2Drive 벤치마크에 대한 광범위한 평가 결과, 장면 그래프 조건화는 크고 지속적인 성능 향상을 가져온다. 우리는 제안한 접근법이 경쟁적인 LMDrive, BEVDriver, SimLingo 베이스라인 대비 Driving Score에서 상당한 성능 향상을 보임을 확인했다. 이 결과는 다양한 아키텍처가 테스트 시점에 장면 그래프 입력을 필요로 하지 않더라도, 장면 그래프 조건화 학습을 통해 관계적 사전지식을 효과적으로 내재화하고 그라운딩할 수 있음을 시사한다. 코드, 파인튜닝된 모델, 그리고 우리의 장면 그래프 데이터셋은 https://github.com/iis-esslingen/GraphPilot 에서 공개적으로 이용 가능하다.
행성 규모에서 단일 이미지로 지리 위치를 추정하는 작업(본질적으로 납치된 로봇 문제(kidnapped robot problem)의 고급 또는 극한 버전)은 위치, 환경 조건, 장면 변화의 방대한 다양성으로 인해 내비게이션, 자율 주행, 재난 대응과 같은 응용에서 근본적이고 도전적인 과제이다. 전통적인 검색 기반 지오로컬라이제이션 방법은 확장성과 지각적 aliasing(perceptual aliasing)에 어려움을 겪는 반면, 분류 기반 접근법은 일반화가 부족하고 광범위한 학습 데이터가 필요하다. 비전-언어 모델(VLM)의 최근 발전은 문맥 이해와 추론을 활용하여 유망한 대안을 제공한다. 그러나 VLM은 높은 정확도를 달성하지만, 종종 환각(hallucination)에 취약하고 해석 가능성이 부족하여 독립적인 솔루션으로는 신뢰할 수 없다. 본 연구에서는 VLM과 검색 기반 시각적 장소 인식(VPR) 방법의 장점을 결합한 새로운 하이브리드 지오로컬라이제이션 프레임워크를 제안한다. 우리 접근법은 먼저 VLM을 활용하여 사전 정보(prior)를 생성하고, 이를 통해 검색 공간을 효과적으로 안내하고 제약한다. 그다음 검색 단계를 수행하고, 이어서 특징 유사도와 초기 추정 좌표와의 근접성을 기반으로 지리적으로 가장 그럴듯한 일치 항목을 선택하는 재순위(re-ranking) 메커니즘을 적용한다. 우리는 여러 지오로컬라이제이션 벤치마크에서 접근법을 평가하였으며, 특히 거리(street) 수준(최대 4.51%)과 도시(city) 수준(최대 13.52%)에서 기존 최첨단(state-of-the-art) 방법을 지속적으로 능가함을 보였다. 결과는 VLM이 생성한 지리적 사전 정보와 VPR의 결합이 확장 가능하고, 견고하며, 정확한 지오로컬라이제이션 시스템으로 이어짐을 보여준다.
궤적 예측은 자율주행 시스템의 핵심 구성 요소로서 많은 연구자들의 관심을 받아왔다. 기존 예측 알고리즘은 더 상세한 장면 특징을 추출하거나 더 합리적인 궤적 목적지를 선택하는 데 초점을 맞춘다. 그러나 목표 차량의 동적이고 변화하는 미래 움직임에 대해, 이러한 알고리즘은 미래 행동과 차선 제약에 대한 세밀하고 연속적인 기술을 제공하지 못하여 예측 정확도를 저하시킨다. 이 문제를 해결하기 위해, 우리는 병렬 어텐션 메커니즘을 통해 행동 의도 인식과 차선 제약 모델링을 시너지적으로 통합하는 새로운 이중 스트림(dual-stream) 아키텍처인 BLNet을 제안한다. 해당 프레임워크는 세밀한 행동 상태 쿼리(공간-시간 이동 패턴 포착)와 차선 쿼리(차선 토폴로지 제약 인코딩)를 생성하며, 각각 두 개의 보조 손실로 지도된다. 이후 두 단계 디코더는 먼저 궤적 제안을 생성한 다음, 통과한 차선의 연속성과 미래 운동 특징을 함께 통합하여 점 수준(point-level) 정제를 수행한다. nuScenes와 Argoverse라는 두 대규모 데이터셋에서의 광범위한 실험은, 본 네트워크가 기존 직접 회귀(direct regression) 및 목표 기반(goal-based) 알고리즘 대비 유의미한 성능 향상을 보인다는 것을 나타낸다.
다중모달 대규모 언어 모델(MLLM)은 자기중심(egocentric) 환경에서 체화 계획자로 점점 더 배포되고 있으며, 여기서 과제 성공은 지시된 목표 달성뿐만 아니라 사회적으로 적절한 방식으로 행동하는 것도 요구된다. 명시적 목표가 특정 행동을 최적으로 만들 수 있는 반면, 암묵적 사회적 규범은 종종 숨겨진 제약을 부과한다. 기존 평가는 일반적으로 명시적 목표 달성이나 직접적인 규범 지식에 초점을 맞추며, 계획자가 행동 시퀀스 내에서 이러한 숨겨진 제약을 추론하고 적용할 수 있는지는 거의 평가하지 않는다. 우리는 체화된 사회적 규범 상호작용을 위한 벤치마크인 NormAct를 제안하며, 이는 계획을 목표 달성(Goal Achievement), 규범 준수(Norm Compliance), 전체 과제 성공(Task Success) 측면에서 평가한다. NormAct는 일반적인 과제 안에 숨겨진 규범을 고유하게 내장하여, 모델이 명시적 지시 없이 이를 실현할 수 있는지 시험한다. 최신 MLLM(GPT-5.4, Claude Opus 4.7, Gemini 3 Pro)을 사용한 실험은 상당한 격차를 보여준다: 모델은 67.3%의 경우에서 명시적 목표를 달성하지만, 숨겨진 규범을 준수하는 경우는 26.4%에 불과하다. 단서 조건(cue-condition) 실험은 이 격차가 일반적 사회 지식의 부족에서 기인한 것이 아니라, 문맥에서 관련 규범을 활성화하고 그라운딩(grounding)하는 데 어려움이 있기 때문임을 나타낸다. 이를 해결하기 위해, 우리는 계획 전에 장면 관련 규범을 추론하는 문맥 조건 단서 생성기인 NormPerceptor를 제안하며, 이는 과제 성공률을 24.2%에서 46.7%로 높인다. 우리 결과는 체화 에이전트가 숨겨진 규범을 선제적으로 탐지하고, 시각적 증거에 그라운딩하며, 이를 행동 계획 제약으로 통합할 수 있게 하는 것의 중요성을 강조한다. 우리 벤치마크는 https://huggingface.co/datasets/Caleb196x/NormAct 에서 공개적으로 이용할 수 있다.
본 보고서는 사전학습된 범용 오디오 태깅(GP-AT) 모델을 공간적으로 그라운딩된 음원 이벤트 위치 추정 및 탐지(SELD)로 확장하는 방안을 조사한다. 제안된 AT2SELD 프레임워크는 사전학습된 AT 백본과 컴팩트한 1차 안비소닉(FOA) 공간 처리, 트랙별 SED 및 Cartesian DOA 추정, 순열 인식(permutation-aware) 감독, 그리고 보정(calibration)을 결합한다. 이는 데이터, 연산, 배포 제약 하에서 의미적 오디오 사전지식(priors)이 위치 인식 장면 분석을 어떻게 지원하는지 특성화한다. 이 프레임워크는 정보 기반 다단계 신경망 구조 탐색(NAS)을 통해 개발된다. 1단계에서는 크기(magnitude), 위상(phase), Intensity Vectors(IVs)에 기반한 스펙트럴 FOA 기술자(descriptor)가 의미-공간 전이를 위한 가장 신뢰할 수 있는 인터페이스를 제공함을 보인다. 2단계는 초기 잔차(residual) 공간 인코딩을 주요 용량(capacity) 민감 구성 요소로 식별하며, 후기 트랙별 추상화와 순환(recurrent) 스무딩은 주로 정제(refinement) 단계로 작용한다. 3단계는 후기 cross-stitch 결합이 의미-공간 상호작용을 개선하는 반면, 초기 융합은 비용이 더 크고 효과가 낮음을 보인다. 진단 평가는 클래스 균형화, focal loss, 활동 조건(activity-conditioned) DOA 감독, 임계값 보정, 그리고 STARSS23, TAU2019, TAU-NIGENS2020, TAU-NIGENS2021에 걸친 전이 하에서 선택된 아키텍처를 분석한다. Focal loss는 활동 점(activity point)을 개선하고, 활성(active-only) DOA 감독은 비활성 타깃 지배(inactive target dominance)를 완화하며, 검증으로 선택된 임계값은 공간 학습을 대체하지 않고 보정을 회복한다. 크로스 데이터셋 및 오라클 활동(oracle-activity) 분석은 TAU2019에서 강한 고정 음원 위치 추정, TAU NIGENS2021로부터의 전이 가능한 표현, STARSS23에서의 의미 있지만 불확실한 동작을 나타낸다. 전반적으로 GP-AT 사전지식은 공간 인식(spatial-aware) 아키텍처에 내재되고 통합 보정 및 배포 지향 전략을 통해 최적화될 때 SELD 설계에 유망해 보인다.
현재 휴머노이드 강화학습(RL) 정책은 자유 공간(free-space) 동작에는 뛰어나지만, 접촉이 많은(contact-rich) 과제에서는 어려움을 겪는다. 순수 운동학(kinematic) 추적만으로는 물체 및 고르지 않은 지형과의 상호작용에서 발생하는 물리적 모호성을 해결할 수 없기 때문이다. 이를 해결하기 위해, 자유 공간 보행, 지형 통과, 전신 조작을 처리할 수 있는 통합 동작 추적 프레임워크인 SceneBot을 제안한다. SceneBot은 단일 정책에 참조 동작과 링크별 접촉 레이블을 모두 조건으로 주어 기대되는 환경 상호작용을 명시적으로 정의한다. 주석이 달린 상호작용 데이터 부족을 극복하기 위해, 재타겟팅된 인간 동작으로부터 장면-상호작용 그래프를 추론하는 사후(hindsight) 장면 재구성 접근법을 제안한다. 이렇게 재구성된 접촉이 풍부한 데이터 7.5시간으로 학습한 SceneBot은 미경험 동작과 환경에 성공적으로 일반화한다. 결과는 SceneBot이 계단을 오르며 상자를 운반하는 것과 같은 복잡하고 장기적인(long-horizon) 과제를 수행하며 자유 공간 및 접촉이 풍부한 행동을 매끄럽게 통합하는 최초의 일반 프레임워크임을 보여주며, 접촉 조건화(contact conditioning)를 휴머노이드 제어를 위한 강력한 인터페이스로 확립한다. 모든 코드와 데이터는 오픈소스로 공개될 예정이다. 더 많은 데모와 정보는 https://ericcsr.github.io/scenebot/ 에서 확인할 수 있다.
동적 3D 스토리 월드에서 카메라가 이동 전에 어떤 시각 증거를 확보할지 결정해야 하는 내러티브 기반 월드 시각 어텐션(Narrative-Grounded World Visual Attention) 문제를 다루며, 관측 명세와 모션 실행을 분리하는 Look-Before-Move 프레임워크를 제안한다. StoryBlender 기반 동적 3D Story World Benchmark에서 주체 인식, 의도 일관성, 궤적 품질이 대표 베이스라인보다 향상되어, 카메라 모션 생성 전 시각적 어텐션을 구성하는 것이 중요함을 보인다.
MLLM의 통합 비전-언어 인식을 비전·언어 분절 관점이 아닌 하나의 역량으로 다루는 체계적 서베이가 부족하다는 문제의식 아래, 인식을 내재적·통합 역량으로 형식화하고 5단계 분류법으로 패러다임 진화와 각 단계의 대표 방법·이정표를 정리한다. 통합 멀티모달 지능을 향한 미해결 과제와 향후 연구 방향을 함께 제시한다.
관찰된 인간 행동 영상과 언어 지시를 실행 가능한 LIBERO 시뮬레이터 태스크와 짝지어 로봇 조작 추론을 평가하는 WatchAct 벤치마크를 제안하며, 14개 태스크 3,000개 장기 인스턴스로 이벤트 파싱·절차 추론·묵시적 의도·장면 변화 추적 네 역량을 다룬다. 비전-언어 모델의 영상-계획 추론, 오라클 계획 하 정책 실행, 통합 파이프라인을 분리 측정한 결과 최상의 Gemini-3.1-Pro와 π₀.₅ 조합도 시뮬레이션 16.3%, Franka Research 3 실로봇 14.0% 성공률에 그쳐 현재 시스템이 아직 한참 미치지 못함을 보인다.
단일 이미지에서 객체를 기하학적으로 일관되게 옮기는 문제에 대해, 디퓨전 트랜스포머의 회전 위치 임베딩(RoPE) 공간 표현을 직접 변형하는 RoPEMover를 제안한다. 2D RoPE를 깊이 인식 3D 형식으로 확장하고 합성 데이터와 소량의 실제 이미지로 파인튜닝(fine-tuning)해 가려짐·새로 드러난 영역·그림자와 조명까지 일관되게 갱신하며, 표준 객체 이동 벤치마크에서 모든 평가 지표에서 최첨단 성능을 보인다.
FlameVQA는 FLAME 3의 UAV RGB와 방사형 열화상 TIFF를 결합한 다지선다형 VQA 벤치마크로, 검출·위치 추정·범위 추정·교차 모달 추론·비행 계획 등 6가지 산불 운용 역량을 이미지당 34문항으로 평가한다. MLLM 베이스라인에서는 교차 모달 단서가 분명할 때 성능이 높았으나, 짙은 연기 속 존재 검출과 커버리지 추정에서 실패가 뚜렷해 현행 MLLM은 재난·산불 모니터링을 위한 도메인 특화 적응이 필요함을 보여준다.
게임 월드 모델의 물리 법칙 편집 가능성을 지원하기 위해, UE5 재생(replay) 파이프라인을 활용해 동일한 장면·행동·카메라 조건에서 중력 설정만 변경한 매칭 롤아웃을 구축한 대규모 멀티모달 데이터셋 PhysEditWorld를 제안한다. 12개의 시네마틱 UE5 장면과 6천만 개 이상의 렌더링 프레임, RGB·깊이·노멀·오디오·중력 레이블 등 동기화된 멀티모달 신호를 포함하며, 생성 비디오 모델 및 비전-언어(vision-language) 모델 실험에서 중력 충실 역학 모델링 개선 가능성을 확인했다.
수술 장면 다중 태스크 학습에서는 단계·스텝 인식 등 시간적 태스크는 프레임 단위 밀집 지도를 받지만, 기구 분할·액션 인식 같은 공간 태스크는 키프레임에만 희소 어노테이션이 있어 공유 표현 학습과 공동 최적화가 제한된다. FAROS는 제로샷 segmentation 마스크 전파와 optical flow 추정을 결합해 가림·연기·모션 블러 등 어려운 조건에서도 희소 키프레임으로부터 시간적으로 일관된 밀집 pseudo label을 만들고, 이를 통합 Transformer 다중 태스크 학습에 넣어 GraSP·MISAW·AutoLaparo 벤치마크에서 시공간 태스크 성능을 크게 높인다.
CRISP는 비전-언어 모델(VLM)의 공간 추론 평가에서 언어 사전(prior)과 실제 공간 인식을 혼동하는 문제를 해결하기 위해, metric 3D Scene Graph 구성 과제와 공간 QA를 결합한 구조적 진단 벤치마크를 제안한다. 실험 결과, 독점 모델은 잠재적 추론 능력은 갖추고 있으나 암시적 3D 구조 표현을 실제 지각에 연결하지 못하는 반면, 오픈소스 모델은 다중 홉(multi-hop) 구성적 추론 자체가 근본적인 병목임을 밝혔다.