전 세계 22억 명 이상이 시각장애를 겪고 있으나, 기존 흰 지팡이는 높이 있는 위험 요소를 감지하거나 의미론적 환경 맥락을 제공할 수 없다. 기존 AI 보조 내비게이션 시스템은 일반적으로 고가의 하드웨어 또는 클라우드 연결에 의존하여, 자원이 제한된 환경에서의 접근성을 제한한다. 본 논문은 초저전력 Raspberry Pi Zero 2W에서 다중모달 이동 보조를 위해 설계된 저렴한(88 USD) 완전 오프라인 AI 통합 스마트 지팡이를 제안한다. 시스템은 RGB 비전 감지와 Time-of-Flight(ToF) 거리 추정을 융합하고, INT8 양자화 SSD MobileNet V1 모델을 거리 인식 진동 촉각 피드백 및 실시간 오디오 알림과 결합한다. 제한된 하드웨어에서의 운영 견고성을 위해, 멀티프로세싱 아키텍처가 센서 획득, 신경망 추론, 햅틱 피드백을 장애 안전 센싱 지원과 함께 독립 프로세스로 분리한다. 실내 이동 시나리오에 걸친 실험 평가는 macro-averaged F1-score 0.82(정밀도: 0.85, 재현율: 0.81), 평균 end-to-end 지연 330 ms, 최대 전력 소모 2.8 W를 보여준다. 12명 참가자(SUS: 78.5, NASA-TLX)를 대상으로 한 예비 사용성 연구는 긍정적인 사용자 인식과 향상된 장애물 인식을 보여주었다. 제안된 프로토타입은 비용에 민감한 이동 보조를 위한 프라이버시 보존형 엣지 네이티브 보조 지능 배포의 타당성을 검증한다.
비전-언어-행동(VLA) 모델은 3D 공간 추론이 필요하지만, RGB 관측은 로봇-객체 기하를 암묵적으로만 인코딩한다. 카메라 내부 파라미터로 깊이를 리프팅하면 이 기하를 밀집하고 이미지에 정렬된 포인트맵(pointmap)으로 명시화할 수 있으나, 카메라 프레임 좌표는 카메라 배치에 따라 달라진다. 우리는 포인트맵을 엔드 이펙터(end-effector) 원점과 로봇 베이스에 정렬된 축을 갖는 로봇 중심 좌표계로 변환하는 SeeR-VLA를 제안한다. 사전학습된 RGB 가중치로 초기화한 인코더가 포인트맵 특징을 추출하고, 토큰 수를 늘리지 않은 채 대응하는 RGB 토큰에 더한다. 24개 RoboCasa 태스크와 4개의 실세계 태스크에서 SeeR-VLA는 RGB만 사용하는 $\pi_{0.5}$ 대비 평균 성공률을 각각 6.4 및 32.5퍼센트포인트 향상시킨다. 또한 평가한 3D 보강 기준선 중 최강인 PointVLA를 각각 3.5 및 23.7퍼센트포인트 능가한다. 이러한 향상 외에, ablation을 통해 좌표 선택이 VLA 성능에 미치는 영향을 밝혔으며, 엔드 이펙터 중심화는 로봇 베이스 정렬 축과 함께할 때 가장 효과적임을 보였다. 학습 시점(viewpoint)이 다양해질수록 이점이 커지며, 다양한 카메라 구성에서 학습할 때 로봇 프레임 포인트맵을 사용하는 것이 중요함을 강조한다.
비전-언어-행동(VLA, Vision-Language-Action) 모델은 범용 로봇 조작(manipulation)을 위한 유망한 패러다임으로 부상했습니다. 현재 아키텍처의 일반적인 설계는 언어 지시와 시각적 관측을 단일 순전파(forward pass)를 통해 행동으로 매핑합니다. 개념적으로는 단순하지만, 이러한 정식화는 단일 학습 목표 내에서 지시문 이해, 공간적 장면 이해, 모터 제어를 얽히게 만듭니다. 그 결과, 행동 전문가는 사전학습된 VLM에 이미 존재하는 인지 및 지각 능력을 암묵적으로 다시 학습해야 하므로, 학습 효율성과 일반화 모두를 제한할 수 있습니다. 본 연구에서는 이러한 시각적 프리미티브 중심의 인터페이스를 구현하는 엔드투엔드 아키텍처인 AVP(Action with Visual Primitives)를 소개합니다. AVP에서는 VLM이 다음 단계 목표를 추론하고 플로우 매칭(flow-matching) 행동 전문가의 조건이 되는 시각적 프리미티브 토큰을 방출하며, 말단 장치(end-effector) 기구학에서 파생된 감독을 받습니다. 일반적인 집기 및 놓기(pick-and-place) 작업에 대한 실제 로봇 실험에 따르면, AVP는 pi_0.5 대비 성공률을 37.04% 향상시키고 다른 최신 방법들을 능가하며, 데이터 효율성, 공간-구성적 일반화, 객체 수준 전이 전반에서 일관된 성능 향상을 보입니다.
이질적 로봇 팀은 일반적으로 의미론이 명확히 정의된 잘 명시된 임무를 위해 설계되어 왔지만, 생성형 지능, 즉 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)은 고수준 자연어 명세와 환경 맥락이 주어졌을 때 임무 관련 의미론과 하위 과업을 추론하는 팀의 가능성을 열어 준다. 그러나 현재 LLM 및 VLM 기반 팀 협업 방법은 대개 잘 구조화되고 알려진 환경을 가정하여 복잡한 실세계 환경에서의 성능을 제한한다. 본 연구는 SPINE-HT를 통해 이러한 한계를 해결한다. 이 프레임워크는 3단계 과정을 통해 LLM의 추론 능력을 이질적 로봇 팀의 변화하는 맥락에 그라운딩한다. 임무 명세와 팀 역량이 자연어로 주어지면 LLM이 필요한 하위 과업을 추론한다. 이 하위 과업은 실행 가능성에 대해 검증된 뒤 통행성이나 지각과 같은 역량에 따라 로봇에 할당된다. 마지막으로 프레임워크는 로봇이 획득한 피드백(의미 지도와 과업 결과)을 사용해 하위 과업을 온라인으로 갱신한다. 폐루프 지각 및 제어를 갖춘 시뮬레이션 실험에서 당사 프레임워크는 기존 LLM 기반 이질적 팀 협업 접근법 대비 거의 두 배의 성공률을 달성한다. Clearpath Jackal, Clearpath Husky, Boston Dynamics Spot, 고고도 UAV를 사용한 실세계 실험에서, 로봇 역량에 대한 추론과 온라인 피드백을 통한 하위 과업 정제가 필요한 임무에서 당사 방법은 87.5%의 성공률을 달성한다. 자세한 내용은 https://zacravichandran.github.io/SPINE-HT 에서 확인할 수 있다.
비디오 월드 모델(video world model)은 동적 환경의 인터랙티브한 탐험을 가능하게 하지만, 긴 지평(long horizon)과 다양한 시점에 걸쳐 이전 관측 결과를 온전히 반영하는 데 어려움을 겪습니다. 본 논문에서는 이를 위해 카메라로 쿼리 가능한 암시적 3D 인식 메모리를 학습하는 비디오 월드 모델인 WorldCrafter를 제시합니다. 핵심 통찰은 요청된 시점이 비디오 생성기의 제한된 토큰 예산 내에서 다중 뷰 단서가 압축되는 방식을 결정하도록 하는 것입니다. 비디오 생성기와 공동으로 학습되는 메모리 인코더 및 포즈 조건부 판독(readout) 모듈은 명시적인 깊이 기반 대응점 없이도 디노이징 전에 이전 관측값들을 고정된 수의 목표 시점 특화 토큰 세트로 통합합니다. 이 메모리를 최근 시간적 컨텍스트 및 소수 단계 지식 증류(few-step distillation)와 결합함으로써, WorldCrafter는 단일 입력 이미지 또는 텍스트 프롬프트로부터 스트리밍 장면 탐험을 가능하게 합니다. 정적 및 동적 장면에 걸친 실험 결과, 분 단위 탐험 중에도 시각적 품질을 유지하면서 긴 지평의 일관성과 카메라 제어 정확도 측면에서 상당한 성능 향상을 입증합니다.
지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.
비전-언어 모델(VLM)은 멀티모달 과제에서 뛰어난 성능을 보여 왔지만, 공간 추론 능력은 여전히 부족하다. 기존의 학습 의존적·학습 없는(training-free) 향상 방법은 각각 치명적 망각(catastrophic forgetting)을 동반한 높은 계산 비용, 또는 일반적 능력을 훼손하는 내부 메커니즘 간섭 문제를 겪는다. 본 연구에서는 먼저 두 가지 핵심 가설을 검증한다: 적절한 기하학적 이미지 변환과 질의 역전(query-reversal) 변환이 잘못된 공간 예측을 복구할 수 있으며, 올바른 예측은 잘못된 예측보다 relation-token 신뢰도가 더 높다는 것이다. 이를 바탕으로 VLM 내부 메커니즘을 수정하지 않고, 입력 변환으로 여러 추론(inference) 뷰를 구성하고 relation-token 신뢰도 라우팅으로 예측을 집계하는 학습 없는 공간 추론 향상 프레임워크 INTCORT를 제안한다. 여러 널리 쓰이는 벤치마크(benchmark)에서의 실험 결과, INTCORT는 다양한 VLM에서 공간 추론 정확도를 크게 향상시키며, 모든 모델과 벤치마크에 대해 평균 10.01%의 개선을 달성한다. 선행 연구와 비교하면 INTCORT는 최대 25.01%의 개선으로 더 우수한 성능을 달성한다.
공간-시간 벤치마크는 질문, 소스 어노테이션, 답 선택지가 동일한 물리량을 가리킬 때만 유효하다. 우리는 공식 ScanNet, Waymo, Omni6DPose 소스를 기준으로 STI-Bench를 감사한 결과, 체계적인 좌표계 및 타임스탬프 오류, 불충분하게 명시된 대상과 시각, 선택지와 답 세부 정보 간 불일치를 발견했다. 우리는 ReSTI를 제안한다. ReSTI는 소스에 뒷받침된 개정판으로, 명시적인 대상, 시각, 좌표계, 물리량, 단위 하에서 복구 가능한 모든 답을 재구성한다. 소스 재구성은 과제 수준의 기하학적 실패를 드러낸다. ScanNet Grounding은 어노테이션과 원시 카메라 좌표계 사이에 필요한 정렬을 누락하고, Orientation은 잘못된 평면에서 카메라 회전을 측정한다. ReSTI는 이러한 레이블을 명시적이고 소스와 일관된 기하학적 정의로 대체하고, 잘못된 타임스탬프에서 평가된 Waymo 포즈 등 소스로 검증 가능한 다른 결함도 수정한다. 기존 2,064개 질문 가운데 ReSTI는 1,782개를 유지하고 282개의 증거 기반 제외를 기록한다. 따라서 ReSTI는 정밀한 비디오 공간-시간 추론을 평가하기 위한 보수적이고 소스 추적 가능한 기반을 제공한다. 프로젝트 페이지: https://github.com/pengzhansun/ReSTI.
비전-언어-행동(VLA, Vision-Language-Action) 모델은 세상이 어떻게 반응하는지를 고려하는 목적 함수 없이 관측을 행동으로 매핑하므로, 이들의 견고성은 주로 데이터 커버리지에 의해 제한됩니다. 월드 모델은 바로 그 결여된 목적 함수를 지니고 있어 그 덕분에 더 우수한 그라운딩(grounding)을 갖추고 있지만, 미래를 시뮬레이션(rolling forward)하는 데 결정당 수 초가 걸려 제어 루프에서 배제됩니다. 우리는 이 둘을 분리할 수 있음을 보여줍니다. 물리적 장면에 대해 월드 모델이 알고 있는 것은 그것의 내부 특징(feature)에 존재하며, 미래를 생성하는 것은 단지 그 특징을 생성해 낸 목적 함수일 뿐이므로, 생성 메커니즘은 남겨둔 채 그라운딩만을 물려받을 수 있습니다. 우리는 일반적인 VLA 학습(training)에 특징 정렬(feature-alignment) 손실 항 하나를 추가합니다. 즉, 동결된 월드 모델을 학습 프레임에 대해 한 번 실행하여 캐시해 두고, 학생 모델은 해당 캐시와 일치하도록 학습합니다. 학습 중에는 교사 모델이 로드되지 않고, 프로젝터는 학습 후 폐기되며, 배포된 정책은 증류되지 않은 기준선(baseline)과 동일하여 소비자용 RTX 5090에서 32 ms 및 1.86 GB로 동작하므로, 모든 성능 향상은 추가된 용량이나 테스트 시점 연산(test-time compute)이 아닌 표현(representation) 덕분입니다. 0.8B 학생 모델은 LIBERO에서 97.9%를 달성하고, RoboCasa-GR1 휴머노이드 조작에서 48.2%에서 50.5%로 향상되었으며, 동일한 목적 함수가 단일 암 및 양팔 플랫폼 모두의 실제 하드웨어로 이어집니다. 이러한 성능 향상은 학생 모델 크기, 백본, 정렬 층(layer), 교사 모델의 변경에도 유지되어, 두 특정 네트워크 간의 취약한 정렬이 아닌 광범위한 표현 사전 확률(representational prior)임을 나타냅니다. 프로젝트 페이지: https://thaw-vla.trung-dt.com/.
잠재 세계 모델은 자율 주행을 위한 예측적 표현을 학습하지만, 이러한 상태가 보존하는 관계적 의미는 종종 암묵적으로 남아 있다. 우리는 교통 장면 그래프가 잠재 세계 표현에 대한 특권적 의미 감독으로 기능할 수 있는지 조사한다. LAW를 기반으로 nuScenes 3D 주석으로부터 액터 중심 장면 그래프를 구성하고, 동결된 텍스트 임베딩 모델로 직렬화된 관계 구조를 인코딩하며, 학습 중 시각적 잠재 표현을 이 의미적 목표와 정렬한다. 추론 시 감독 분기를 제거하므로 장면 그래프나 3D 주석이 필요하지 않으며 테스트 시간 계산도 추가하지 않는다. nuScenes에서 우리 방법은 재학습한 LAW 기준선 대비 평균 궤적 L2 오류를 0.661에서 0.622(5.9%)로, 충돌률을 0.456에서 0.217(52.4%)로 낮춘다. 또한 비구조화된 캡션 스타일 의미 목표보다 우수하여, 잠재 세계 모델 표현 학습에서 명시적 관계 구조의 이점을 뒷받침한다.
현대의 비전-언어 내비게이션(VLN) 모델은 내비게이션 행동을 예측하기 위해 대부분 사전학습된 대규모 비전-언어 모델(VLM)에 의존한다. 이러한 언어 지시와 시각적 관측의 융합은 멀티모달 추론을 가능하게 하지만, 정보가 모달리티 간에 어떻게 라우팅되는지 또는 어떤 메커니즘이 내비게이션 결정을 이끄는지를 불분명하게 만든다. 따라서 VLN 모델이 관련된 의미론적 단서에 예측의 근거를 두는지, 혹은 과업 진행 상황을 추적할 수 있는지는 여전히 명확하지 않다. 본 연구에서는 VLN 모델의 해석 가능성과 조종 가능성을 연구한다. 우리는 시각적 관측, 지시문, 그리고 시각적 기억이 내비게이션 결정에 어떻게 인과적으로 영향을 미치는지를 측정하는 개입 기반 지표를 사용한다. 우리의 결과는 이러한 내비게이션 정책이 모든 입력 모달리티에 민감하며 단일 모달리티에만 의존하지 않음을 보여준다. 나아가 우리는 이러한 에이전트(agent)가 내비게이션 진행 상황을 인코딩하고 VLM 백본으로부터 의미론적 구조를 유지함으로써, 내부 활성화(activation)를 통한 개념 수준의 조종을 가능하게 함을 보인다. 마지막으로, 우리는 추상적 행동에 대한 활성화 벡터를 추출하여 이를 분포 외(out-of-distribution) 실제 환경 시나리오에 제로샷(zero-shot)으로 전이함으로써, 추가적인 미세조정 없이 성능을 향상시킨다.
열화상(thermography)은 군사 및 보다 폭넓은 열 분석(thermal analysis) 응용 분야에서 중요한 역할을 한다. 최근 3D 열 재구성(3D thermal reconstruction) 분야의 발전으로 온도 분석이 2D에서 3D 공간으로 확장되었지만, 기존 연구 대부분은 정적인 온도 분포를 가정하여 실제 환경에서 발생하는 열 전달의 시간적 동역학을 간과하고 있다. 이러한 한계를 해결하기 위해, 우리는 복잡한 장면을 위한 최초의 동적 RGB-열화상(RGB-Thermal) 재구성 프레임워크를 제안한다. 우리의 방법은 RGB 외형(appearance), 열화상 관측값, 그리고 장면 기하 구조(geometry)가 시간에 따라 변화하는 양상을 공동으로 모델링한다. 구체적으로, 우리는 색상(color)과 열화상 모달리티(modality)를 공유된 기하학적 기반(shared geometric substrate)에 고정하여 시공간적 변형(spatiotemporal deformation) 하에서도 두 모달리티 간 일관성을 보장하는 멀티모달 동적 장면 표현(multimodal dynamic scene representation)을 도입한다. 또한 각 모달리티의 움직임 표현력(motion expressiveness)을 향상시키기 위해 멀티모달 임베딩(multimodal embedding)을 설계하고, 기하학적 백본(geometric backbone)으로서 통합된 공유 멀티모달 가우시안(multimodal Gaussian) 집합을 유지하면서도 각 개별 모달리티의 디테일이 풍부한 영역에서 표현 능력을 강화하기 위해 모달리티별 가우시안을 적응적으로 생성하는 멀티모달 라우팅 메커니즘(multimodal routing mechanism)을 제안한다. 이에 더해, 4D 재구성 평가를 용이하게 하기 위해 고빈도 온도 변화를 특징으로 하는 새로운 벤치마크 데이터셋을 제공한다. 광범위한 실험을 통해 우리의 방법이 외형과 온도 모두에 대해 높은 충실도의 시공간적 재구성을 달성함을 입증한다. 코드와 데이터셋은 https://github.com/LinLif1869/DTG 에서 확인할 수 있다.
피지컬 AI(Physical AI)는 모델이 환경적 제약과 실행 피드백을 고려하면서 시각 및 언어적 이해를 실제 환경에 그라운딩(grounding)할 것을 요구합니다. 본 논문에서는 체화 인지(embodied cognition)와 멀티모달 에이전트 역량을 결합한 통합 비전-언어 모델(VLM)인 MachEmbodied-VLM(ME-VLM)을 소개하며, 4B 및 35B-A3B 두 가지 변형으로 제공됩니다. 본 연구는 디지털 및 물리적 환경 모두에서의 계획 수립, 상호작용 및 결과 평가와 함께 물리적 지각 및 시공간 추론을 강조합니다. 체화 및 멀티모달 에이전트 태스크를 포괄하는 학습(training) 데이터를 구축하였으며, 여기에는 결과 평가와 의사결정 개선을 지원하기 위한 실행 관측 및 피드백이 포함됩니다. 학습 파이프라인은 체화 역량 주입, 체화 및 멀티모달 에이전트 전문가에 대한 개별 강화학습(RL), 그리고 이들의 상호보완적 역량을 단일 모델로 통합하는 다중 교사(multi-teacher) 온-정책(on-policy) 지식 증류(distillation)로 구성됩니다. 실험 결과, 체화 및 에이전트 벤치마크뿐만 아니라 자율주행 및 체화 내비게이션 태스크에서도 경쟁력 있는 성능을 보였습니다. 엣지 배포(edge deployment)를 위해 시각 토큰(token) 압축, W4A8 양자화(quantization), 하드웨어-소프트웨어 공동 최적화를 적용하여 M100에서 4B 모델의 온디바이스 추론(inference)을 실현하고 프리필(prefill) 지연 시간을 400 ms에서 188 ms로 단축했습니다. 프로젝트 페이지: https://machembodied.com/ME-Brain/ME-VLM.html 코드 저장소: https://github.com/MachEmbodied/ME-VLM
정확한 단안 깊이 추정(monocular depth estimation)은 단일 카메라 장면 이해를 위한 핵심적인 조력자 역할을 합니다. 그러나 기존의 자기지도 단안 깊이 추정 방법들은 일반적으로 비효율적인 교차 스케일 정보 상호작용과 국소(local) 및 전역(global) 공간 모델링의 균형을 맞추기 어렵다는 병목 현상을 겪고 있습니다. 본 논문에서는 채널별 선택적 상태 전파를 통해 효율적인 다중 스케일 특징(feature) 융합과 세밀한 문맥 모델링을 달성하는 자기지도 프레임워크인 CMambaDepth를 제안합니다. 구체적으로, 양방향 채널 맘바(Bidirectional Channel Mamba, Bi-CMamba)는 스케일에 걸쳐 인코더 특징을 정렬하고 순서화된 스케일 그룹 간의 양방향 정보 교환을 가능하게 합니다. 단방향 채널 맘바(Unidirectional Channel Mamba, Uni-CMamba)는 디코더 특징을 점진적으로 집약하고 후속 융합을 위한 그룹 선택 메커니즘을 통해 세밀한 스케일 그룹을 유지합니다. 나아가, 상호보완적인 공간 모델링을 위해 대형 커널(kernel) 국소 문맥과 맨해튼 자기 어텐션(Manhattan self-attention)을 결합하는 하이브리드 어텐션 모듈(Hybrid Attention Module, HAM)을 도입합니다. 실험 결과는 본 제안 방법이 매우 경쟁력 있는 성능을 달성함을 입증합니다. 구체적으로, 본 모델(model)은 KITTI에서 0.094의 AbsRel과 4.156의 RMSE를 기록하고, DDAD에서 0.140의 AbsRel을 달성합니다. NYUv2에서의 제로샷(zero-shot) 교차 데이터셋(dataset) 일반화 테스트에서는 0.232의 AbsRel을 달성하여 기준선(baseline)인 RA-Depth보다 7.2% 향상된 성능을 보입니다.
최근의 4D LiDAR 언어 모델들은 객체와 그 객체들 사이의 변화하는 공간적 관계를 추론하는 것을 목표로 한다. 그러나 본 연구의 평가에서, 항상 동일한 선택지를 고르는 것만으로도 두 가지 B4DL 기반 구성의 객관식 정확도에 거의 근접하는 것으로 나타났다. 우리는 150개의 nuScenes 장면에 걸친 10,000개의 질문으로 구성된, 기하학 정보를 참조하는 벤치마크이자 진단 프로토콜인 LiDAR-Hallu를 제안한다. 이 벤치마크는 객체 존재 여부, 자기 중심적(ego-relative) 위치, 거리 순서, 상대적 움직임, 시간적 위치 추정을 다루며, 객체 선택, 시간 비교, 참조 정답 결정에 대한 명시적인 규칙을 포함한다. 우리의 프로토콜은 고정 정답 및 후보 내용 통제, 동일한 프롬프트이지만 정반대의 참조 정답을 갖는 장면 간(cross-scene) 쌍, 그리고 관계별 재현율을 결합한다. 100,000개의 기록된 응답에 대한 분석은 종합 정확도에 가려져 있던 실패들을 드러낸다. 후보 지속 시간만으로도 LiDAR를 관찰하지 않고서 시간 관련 답을 예측할 수 있다. 쌍을 이룬 질문들에서, 모델들은 정반대의 답을 요구하는 장면들에 대해 동일한 답을 내놓는 경우가 빈번했다. 관계별 분석은 나아가 두 구성 모두 테스트된 모든 조건에서 긍정적인 측면 이동(lateral-motion) 사례를 전부 놓친다는 것을 보여준다. 시간 셔플(temporal-shuffle) 대조 디코딩은 실질적인 개선을 거의 제공하지 못하는데, 이는 수정된 부분이 새로운 오류에 의해 대부분 상쇄되고 주요 실패들이 그대로 유지되기 때문이다. 이러한 결과는 시공간적 추론을 평가하려면 개별 답변 정확도에만 의존하기보다는 모델이 질의된 물리적 관계를 실제로 구별하는지를 테스트해야 함을 보여준다. 소스 코드, 체크포인트, 데이터는 https://github.com/Awesome4D/4DMLLM_Hallucination_Bench 에서 공개된다.
로봇 파운데이션 모델은 표준 조작(manipulation) 벤치마크에서 인상적인 성능을 보이지만, 이러한 평가는 일반적으로 실행 전 과정에 걸쳐 깨끗하고 시의적절하며 일관된 시각 관측을 가정한다. 본 논문은 실행 중 이용 가능한 시각적 증거를 교란함으로써 로봇 파운데이션 모델의 폐루프(closed-loop) 시각적 견고성을 체계적으로 평가하기 위한 벤치마크 LIBERO-VPro를 제안한다. LIBERO-VPro는 시각적 증거 열화(Visual Evidence Degradation), 카메라 관측 지연(Camera Staleness), 시각 소스 일관성(Visual Source Consistency), 작업 관련 장면 변화(Task-Relevant Scene Variation)를 포함한 네 가지 상보적 차원을 다루며, 12개의 도전 카테고리, 96개의 실험 설정, 3,296개의 과제-조건 사례를 아우른다. 약 196,000개의 시뮬레이션 에피소드에 걸쳐 세 가지 비전-언어-행동(vision-language-action, VLA) 모델과 세 가지 월드-행동(world-action, WAM) 모델을 평가했으며, Franka Research 3에서 200회의 실제 롤아웃으로 이를 보완했다. 결과는 강한 명목상(nominal) 성능이 시각적 그라운딩(grounding)과 적응(adaptation)에서 상당한 약점을 가릴 수 있음을 보여준다. 모델은 종종 심각한 객체 수준 가림(occlusion)에도 불구하고 성공을 유지하지만, 국소 상호작용 단서가 방해되거나 친숙한 공간적 사전(prior)이 위반되면 급격히 성능이 저하된다. 또한 지연되거나 누락된 관측에 매우 민감하며, 변경된 과제 전제조건이 행동 적응을 요구할 때 어려움을 겪는다. 마지막으로 VLA와 WAM은 서로 다른 견고성 프로파일을 보이며, 시각적 견고성이 다차원적이며 아키텍처에 의존적임을 보여준다. LIBERO-VPro는 어려운 시각 조건 하에서 보다 신뢰성 있게 행동을 그라운딩하고 적응할 수 있는 로봇 파운데이션 모델 개발을 위한 체계적인 진단 프레임워크를 제공한다.
월드 모델(world model)을 평가하기 위해서는 생성된 월드의 품질뿐만 아니라 탐험(exploration), 상호작용 및 수정 상황에서의 일관성과 반응성을 모두 평가해야 합니다. 본 논문에서는 에이전트(agent)가 상호작용할 때 생성된 월드가 신뢰성을 유지하는지 평가하는 종합 벤치마크인 HappyWorld-Bench를 소개합니다. 본 설계는 생성적 구축부터 통합 월드 모델링에 이르는 6가지 월드 역량(W1-W6)의 계층적 역량 프레임워크를 기반으로 구축되었으며, 비디오 월드 모델, 공간 월드 모델, 체화 월드 모델(embodied world model)의 세 가지 독립된 평가 트랙에 걸쳐 구체화됩니다. HappyWorld-Bench는 1,138개의 비디오 프롬프트, 300개의 공간 장면, 254개의 체화 테스트 케이스로 구성됩니다. 세 가지 트랙 전반에서 인간 A/B 비교를 구성하고 모델 수준의 Elo 점수를 도출하기 위해 HappyWorld-Arena를 구축 및 운영하며, 이는 행동 정확도를 포착하는 새로 설계된 자동화 지표를 보완합니다. 본 연구는 이 통합 프레임워크 하에서 14개의 비디오 월드 모델, 9개의 공간 시스템, 8개의 체화 후보 모델을 평가합니다. 실험 결과는 세 트랙 모두에서 여전히 신뢰성 격차가 존재함을 보여줍니다. 비디오 모델은 확장된 롤아웃(rollout) 및 재방문 시 일관성이 저하되고, 공간 모델은 기껏해야 70.14%의 배치 정확도와 73.33%의 편집 실행률만을 달성하며, 체화 모델은 다단계 행동 전반에 걸쳐 상태를 보존하고 변경된 행동 조건 및 물리 법칙에 정밀하게 반응하는 데 어려움을 겪습니다. 이러한 결과는 월드 모델을 시각적 품질뿐만 아니라 상태 일관성, 그리고 행동과 개입에 대한 반응의 정확성을 바탕으로 평가해야 할 필요성을 강조합니다.
3D Gaussian Splatting(3DGS)은 대규모 체화(embodied) 시뮬레이션을 위한 고충실도 장면을 제공하지만, 대규모 도시 자산 구축은 고가 장비와 지연된 품질 피드백 때문에 여전히 제약을 받는다. 사전 설정된 촬영(survey)은 복잡한 표면을 충분히 관측하지 못하게 할 수 있으며, 결함은 재구성 이후에야 발견되어 재방문과 반복 처리가 필요하다. 우리는 GS 품질 모델, 재촬영(reacquisition) 계획기, 맞춤 설계 모바일 앱을 통합한 소비자용 드론용 품질 가이드 항공 재구성 시스템 OpenFlyScan을 제시한다. 해당 모델은 GS 렌더링 오류로부터 학습하여 지역별 재구성 품질을 예측한다. 이러한 예측을 바탕으로 계획기는 앱을 통해 실행할 보완적 재촬영 스트립(strip)을 생성하며, 앱은 추가 온보드 하드웨어 없이 자동화된 사시(oblique) 촬영과 데이터 전송도 지원한다. 실제 항공 장면에서 모델은 재구성이 잘 되지 않을 가능성이 큰 영역을 효과적으로 식별한다. Expo West 현장 실험에서 표적 재촬영은 추가 시점(additional views)에서 PSNR을 10.95 dB 향상시켰다. 소비자용 드론과 함께 OpenFlyScan은 촬영, 표적 재촬영, 재구성을 통합하여 신속하고 저비용의 도시 자산 생성을 지원한다. 코드와 모델은 https://openflyscan.github.io/ 에서 공개될 예정이다.
시각 분할 시스템은 실제 배포 시 학습 분포 밖의 객체를 만나며, 지각 단계에서 장면 파싱(scene parsing)에 의존하는 신뢰할 수 있는 자율 시스템을 저해한다. 최근 많은 방법은 자기지도(self-supervised) 파운데이션 모델로 이상 이미지 영역에서 낮은 가능도를 내는 밀도 추정기(density estimator)를 학습하는 방식으로 이를 다룬다. 유망하지만, 이러한 방법은 특징 의미론이 빈약하거나 공간적 일관성이 부족해, 둘 다 중요한 후속 의사결정을 훼손한다. 우리는 자기지도 표현 위의 클래스 조건부 밀도 추정에 기반한 생성적 방법인 SAFe로 이 문제를 해결한다. SAFe는 고정(frozen) DINOv3 특징 위에서 클래스 조건부 정규화 가능도 추정치를 산출하는 경량 정규화 흐름(normalizing flow)을 학습한다. 전역 의미론과 국소 디테일을 모두 포착하기 위해 트랜스포머 특징의 밀도 추정과 다중 스케일 합성곱 특징에 대한 밀도 점수를 결합한다. SAM3에 기반한 방법 독립적 후처리 단계를 도입하여, 위치별 가능도를 공간적으로 일관된 세그먼트로 연결하고 거짓 양성을 억제하며, 재학습 없이 인스턴스 수준 이상 탐지를 가능하게 한다. 후처리는 유사도 기반 응집적 클러스터링(agglomerative clustering)으로 이상 객체들 가운데 새로운 범주를 추가로 구분한다. SAFe는 PANIC, OoDIS, SMIYC ObstacleTrack에서 새로운 최고 성능(state of the art)을 달성하고 ISSU 벤치마크에서도 강한 성능을 보인다.
자율 내시경 내비게이션에서는 정책 모델이 질감 정보가 빈약한 단안(monocular) 관측으로부터 행동을 예측하고, 안전한 제어 결정을 내려야 하며, 병변이 시야(field of view)를 벗어난 뒤에도 병변에 대한 증거를 유지해야 한다. 기존 비전-언어-행동(VLA) 모델은 주로 시각적 외관과 단기 문맥에 의존하여 기하학적 그라운딩(grounding)과 에피소드 수준 보고가 제한된다. 본 연구는 협착(stenotic) 구간 통과 내비게이션을 위한 3D 인식 VLA 프레임워크인 StenoVLA-3D를 제안한다. 학습된 기하 게이트 융(geometry-gated fusion)을 통해 포인트 맵(point-maps)을 Cosmos-Reason 2 백본에 통합하고, 통과 진행(traversal progress)을 모델링하기 위한 시간적 상태 분기(temporal state branch)도 제안한다. 추론-행동 백본은 행동과 함께 그라운딩된 추론을 예측하며, 전용 헤드는 협착 형상을 추정하고 최종 병변 보고서를 생성한다. 또한 병변 주석, 행동, 시간적으로 그라운딩된 추론을 포함한 에피소드 수준 데이터셋 EndoCausal를 도입한다. 보류(hold-out)된 40개 녹화 테스트 에피소드에서 StenoVLA-3D는 95.2%의 의미 정확도와 83.4%의 행동 정확도를 달성한다. 물리적 3-DoF 내시경에서는 식도 및 결장 팬텀(각 36회 시험)에서 각각 88.9% 및 77.8%의 과제 성공률을 기록하여, 평가한 베이스라인을 크게 상회한다.