FastWAM 방식의 월드 액션 모델(world action model)은 효율적인 액션 전용 추론(action-only inference)을 가능하게 하지만, 시각적 분포 변화(visual distribution shift) 하에서는 일반화 성능이 떨어진다. 이러한 모델의 재구성 지향적 표현은 외형에 특화된 세부 정보를 강조하여, 보지 못한 장면과 객체에 대한 일반화를 제한한다. 관찰 이력이 없는 경우, 모델은 낯선 시각적 조건에서 과제와 관련된 상태 변화와 움직임을 견고하게 식별하기 위한 시간적 증거도 갖추지 못한다.
이러한 한계를 해결하기 위해, 우리는 V-JEPA 2.1을 기반으로 한 인과적 의미 전문가(causal semantic expert)로 FastWAM을 보강한 인과적 의미 월드 액션 모델(Causal Semantic World Action Model, CSWAM)을 제안한다. V-JEPA는 외형에 특화된 세부 정보에 대한 의존도를 낮추면서, 의미적 상태 변화와 움직임에 대해 시간적으로 근거 있는(temporally grounded) 표현을 제공한다. 이 전문가 모듈은 현재 및 과거 관찰의 희소한(sparse) 이력으로부터 그 미래 변화를 학습하며, 이력에서 도출된 맥락(context)을 인과적 어텐션(causal attention)을 통해 비디오 스트림과 액션 스트림 모두와 공유한다. 추론 시, CSWAM은 현재 비디오 상태와 관찰된 의미적 이력을 조건으로 액션 디노이징(action denoising)을 수행하여, 효율적인 액션 전용 추론을 유지한다.
우리는 분포 변화 하에서의 일반화 성능을 평가하기 위해 시뮬레이션 및 실제 로봇 실험을 수행한다. 체화된(embodied) 사전학습(pretraining)을 적용했을 때, CSWAM은 RoboTwin 2.0의 Clean-to-Randomized 전이(transfer)에서 Randomized 성공률을 10.16%에서 45.18%로 끌어올려, FastWAM 대비 35.02퍼센트포인트의 향상을 보인다. 두 가지 실제 로봇 과제와 세 가지 OOD 난이도 수준에 걸쳐, CSWAM은 FastWAM 대비 평균 성공률을 27.5%에서 70.0%로, 42.5퍼센트포인트 향상시킨다.
프레임 수준의 외형을 위해 사전학습(pre-training)된 비전 모델들은 종종 움직임으로부터 숨겨진 물리적 특성을 추론하는 데 어려움을 겪습니다. 본 연구에서는 자기 가림(self-occlusion)으로 인해 표면 단서와 포인트 트래킹의 신뢰성이 떨어지는 짧은 단안(monocular) 비디오로부터 불투명하고 비대칭인 강체의 질량 중심(CoM) 위치를 파악하는 문제를 다룹니다. 우리는 대부분 동결된 가중치와 경량 시간 튜브릿 믹서(temporal tubelet mixer)를 갖춘 사전학습 비디오 백본(V-JEPA)을 활용하여 프레임별 CoM 히트맵과 궤적을 예측하는 STATERA를 제안합니다. 이 태스크를 지원하기 위해 5만 개의 MuJoCo 궤적과 물리적으로 보정된 실제 CoM 정답(ground truth)이 포함된 63개 시퀀스의 실제 환경 테스트 세트로 구성된 HiddenMass 벤치마크를 도입합니다. 시뮬레이션에서 STATERA-50K-Sigma는 정규화된 CoM 오차를 41.7%(DINOv2)에서 25.2%로 개선합니다. 제로샷(zero-shot) sim-to-real 전이에서 우리는 지도 방식의 근본적인 트레이드오프를 관찰했습니다. 위상 인식(phase-aware) 타깃은 양봉(bimodal) 예측을 유도할 수 있는 반면, 위상 무관(phase-agnostic) 타깃은 통계적으로 안전한 중심점(centroid)으로 붕괴될 수 있습니다. 그럼에도 불구하고, 위상 인식 기반의 STATERA-50K-Crescent는 평가된 방법 중 실제 숨겨진 오프셋을 향해 일관된 움직임을 보여준 유일한 방법입니다. 이는 정적 기하학적 중심점에 비해 절대 유클리드 오차를 미세하게 증가시키는 단안 벡터 오버슈트 아티팩트를 유발하지만, 물리적 포착률(physics capture)을 2.6%에서 41.0%로 향상시킵니다. 이러한 결과는 동결된 시간 표현이 숨겨진 매개변수 추정을 위해 시각적 기하 구조로부터 관성 역학을 더 잘 분리할 수 있음을 시사합니다.
파운데이션 모델이 수술 영상 분석을 크게 발전시켜 왔지만, 현재 접근법은 대부분 픽셀 수준 재구성 목표에 의존하여 연기, 반사 하이라이트, 유체 움직임 같은 저수준 시각적 세부에 모델 용량을 쓰고, 수술 이해에 필수적인 의미론적 구조는 상대적으로 소홀히 한다. 본 논문은 SurgMotion을 제안한다. 이는 학습 패러다임을 픽셀 수준 재구성에서 잠재(laten) 운동 예측으로 전환하는 비디오 네이티브 파운데이션 모델이다. Video Joint Embedding Predictive Architecture(V-JEPA) 위에 구축된 SurgMotion은 수술 영상에 맞춘 세 가지 핵심 기술 혁신을 도입한다: (1) 의미론적으로 중요한 영역을 우선하기 위한 motion-guided latent masked prediction, (2) 관계적 일관성을 강화하기 위한 시공간 affinity 자기 증류(self-distillation), (3) 텍스처가 sparse한 수술 장면에서 표현 붕괴(representation collapse)를 막기 위한 시공간 특징 다양성 정규화(SFDR). 대규모 사전학습을 위해, 우리는 13개 해부학적 영역·50개 출처에서 총 3,658시간의 영상으로 구성된, 현재까지 최대 규모의 수술 영상 데이터셋 SurgMotion-15M을 구축했다. 17개 벤치마크에 걸친 광범위한 실험에서 SurgMotion은 최신(state-of-the-art) 방법들을 크게 능가한다. 수술 workflow 인식에서는 EgoSurgery에서 F1 score 14.6% 향상, PitVis에서 10.3% 향상을 달성했고, CholecT50에서 action triplet 인식 mAP-IVT 39.54%를 기록했으며, 술기 평가(skill assessment), 용종(polyp) 분할, 깊이 추정(depth estimation)에서도 우수한 성능을 보였다. 이 결과는 SurgMotion을 범용적이고 운동(motion) 중심의 수술 영상 이해를 위한 새로운 기준으로 자리매김한다.
높은 배치 비용, 낮은 공간적 커버리지, 폭풍 조건에 대한 취약성은 전통적인 현장(in-situ) 측정 방식이 직면하는 과제들이다. 이 논문은 단안(monocular) 해안 비디오로부터 유의 파고(Hs), 최대 파고(Hmax), 첨두 주기(Tp), 제로 상향 교차 주기(Tz), 파도 방향(theta)의 5가지 해안 파도 매개변수를 센서 없이 공동 추정하는 비디오 기반 고성능 컴퓨팅(HPC) 심층 학습 프레임워크를 제시한다. 제안된 아키텍처는 시각적으로 어려운 시나리오에서 견고한 시공간 특징 추출을 위한 V-JEPA(자기지도) ViT Small 백본, 수력학적 파괴(hydrodynamic breaking) 및 너울(swell) 양식 모두에서 파도 운동의 넓은 대역폭 표현을 위한 이중 스트림 SlowFast 시간 인코더, 파도의 수력학적으로 활성 파장 대역에 초점을 두며 구조에 현저성(saliency) 정보를 더하기 위한 Farneback 광학 흐름 알고리즘 기반 광학 흐름 스트림, 그리고 분산 제약(Airy 파 분산 lambda_p = 0.1)을 갖는 다중 과제 회귀 층으로 구성된다. 모델은 NVIDIA DGX A100 클러스터에서 학습되었으며 에포크 31에서 조기 종료되었고, Hs, Hmax, Tp, Tz, 파도 방향에 대해 각각 0.451, 0.578, 0.643, 0.680, 0.832의 피어슨 상관계수를 달성했으며, 지리적으로 다양한 보류 테스트 데이터 사이트에 대한 일반화 능력을 보였다. 데이터가 제한된 환경(주석이 달린 학습 장면 6개)에서 동작하면서도, 본 프레임워크는 통계적으로 유의한 시간적 상관관계(PCC 0.451~0.832)를 보여 개념 증명의 실현 가능성을 확인했으며, R2 값(최대 0.246)은 주석 데이터셋이 커질수록 분산 포착이 개선될 것임을 나타낸다.
V-JEPA(비디오 결합 임베딩 예측 아키텍처)를 자율주행에 적용하여 대규모 주행 비디오로 ViT 인코더를 사전학습하고, 시뮬레이터 생성 멀티모달 궤적을 인간 궤적과 함께 증류하는 제안 중심 계획기를 결합한 Drive-JEPA 프레임워크를 제안한다. NAVSIM v1에서 93.7 PDMS, v2에서 87.8 EPDMS를 달성하며 새로운 최고 성능을 기록했고, 인지 없는 설정에서도 기존 방법 대비 PDMS 3점 향상을 보였다.
본 논문에서는 이미지와 비디오 모두에 대해 밀집하고 고품질의 시각적 표현(visual representation)을 학습하면서 강력한 전역 장면 이해를 유지하는 자기지도 학습(self-supervised learning) 모델 계열인 V-JEPA 2.1을 제안합니다. 이 접근법은 네 가지 핵심 구성 요소를 결합합니다. 첫째, 밀집 예측 손실(dense predictive loss)은 가시 토큰과 마스킹된 토큰이 모두 학습 신호에 기여하는 마스킹 기반 목적함수(objective)를 사용하여 명시적인 공간적 및 시간적 그라운딩(grounding)을 장려합니다. 둘째, 심층 자기지도(deep self-supervision)는 표현 품질을 향상시키기 위해 여러 중간 인코더 레이어에 걸쳐 자기지도 목적함수를 계층적으로 적용합니다. 셋째, 멀티모달 토크나이저(multi-modal tokenizer)는 이미지와 비디오에 걸친 통합 학습을 가능하게 합니다. 마지막으로, 모델은 모델 용량과 학습 데이터 모두에서 효과적인 스케일링(scaling)의 이점을 누립니다. 이러한 설계 선택들은 공간적으로 구조화되고, 의미적으로 일관되며, 시간적으로 일관적인 표현을 생성합니다. 실증적으로, V-JEPA 2.1은 단기 객체 상호작용 예측을 위한 Ego4D에서 7.71 mAP, 고수준 행동 예측을 위한 EPIC-KITCHENS에서 40.8 Recall@5, 그리고 V-JEPA-2 AC 대비 실제 로봇 파지 성공률 20포인트 향상을 포함하여 여러 까다로운 벤치마크에서 최첨단(state-of-the-art) 성능을 달성했습니다. 또한 이 모델은 로봇 내비게이션(TartanDrive에서 5.687 ATE), 깊이 추정(NYUv2에서 선형 프로브(linear probe)를 사용한 0.307 RMSE), 및 전역 인식(Something-Something-V2에서 77.7)에서도 강력한 성능을 보여줍니다. 이러한 결과는 V-JEPA 2.1이 밀집 시각 이해와 월드 모델링(world modeling) 분야의 최첨단 기술을 크게 발전시켰음을 보여줍니다.