휴가 렌탈(VR) 플랫폼의 급격한 성장으로 구조화된 분류 없이 업로드되는 숙소 이미지의 양이 증가하고 있다. 이러한 구성의 부재는 특히 같은 유형의 방이 여러 개 존재하는 경우, 숙소의 공간적 배치를 파악하려는 여행자들에게 상당한 어려움을 초래한다. 이 문제를 해결하기 위해, 우리는 방 장면 탐색 및 그룹화 문제를 효과적으로 해결하고 각 침실 그룹 내의 침대 유형을 식별하는 접근 방식을 제안한다. 이러한 그룹화는 여행자들이 숙소의 공간 구성, 배치, 수면 구성을 이해하는 데 유용하다. 우리는 낮은 지연 시간과 샘플 효율적 학습(sample-efficient learning)을 특징으로 하는 계산 효율적인 머신러닝 파이프라인을 제안하며, 이는 실시간 및 데이터 부족 환경에 적합하다. 이 파이프라인은 지도 학습 기반 방 유형 탐지 모델, 두 이미지 간의 중복 유사도를 식별하는 지도 학습 기반 중복 탐지 모델, 그리고 유사도 점수를 활용해 동일 공간의 이미지를 함께 그룹화하는 클러스터링 알고리즘을 통합한다. 또한, 파이프라인은 멀티모달 대규모 언어 모델(MLLM)을 사용하여 그룹 이미지의 시각적 콘텐츠를 기반으로 각 침실 그룹을 숙소 메타데이터에 명시된 해당 침대 유형에 매핑한다. 우리는 앞서 언급한 모델들을 개별적으로 평가하고 파이프라인 전체를 종합적으로 평가하여, 대조 학습(contrastive learning) 및 사전학습된 임베딩 기반 클러스터링과 같은 기존 접근 방식을 크게 능가하는 강력한 성능을 확인하였다.
주행 보조를 위한 현대 비전-언어 모델(VLM)은 일반적으로 차량 동역학을 블랙박스로 처리하여, 차량의 실시간 전기-기계적 상태를 인식하지 못한 결정을 내린다. 이러한 격차를 해소하기 위해, 우리는 Electro-Visual-Language Assistant(EVLA)를 소개한다. EVLA는 멀티모달 장면 이해와 전동 파워트레인 상태(예: 모터 토크, 배터리 SOC)의 실시간 인식을 결합한 새로운 프레임워크이다. 우리의 접근법은 두 가지 핵심 혁신을 포함한다. 첫째, 시각·텍스트·차량 상태 입력을 공유 잠재 표현으로 융합하는 Unified Co-State Encoder(UCSE)로, 공간적 에너지 비용을 모델링하는 Energy-Efficiency Field로 보강된다. 둘째, 외부 사고의 연쇄(Chain-of-Thought) 프롬프팅을 물리적 제약 및 최적화 목표에 기반한 내부의 결정론적 추론 과정으로 대체하는 Electro-aware Structured Reasoning Chain(ESRC)이다. 물리 기반 결합 손실로 엔드-투-엔드 학습된 EVLA는 맥락 인식적이고 에너지 최적화된 주행 결정을 생성하도록 학습된다. 주행 QA 벤치마크에서의 광범위한 평가 결과, EVLA는 강력한 파인튜닝 VLM 기준 모델들을 크게 능가하여 최종 점수를 +0.0871, 정확도를 +5.6% 향상시켰다. 절제 연구(ablation study)를 통해 각 구성 요소의 필요성이 검증되었으며, 효율성 분석에서는 EVLA가 다단계 파이프라인 대비 추론 속도가 36% 빠름을 보였다. 본 연구는 차량 상태 인식과 구조화된 물리적 추론의 통합이 차세대 물리 기반 주행 보조 시스템 개발에 핵심적임을 강조한다.
Recent advances in robot world models enable synthetic video generation for embodied prediction and planning. However, evaluating these videos is challenging: visually realistic outputs often violate physical laws, temporal consistency, or task logic, while conventional metrics and monolithic Vision-Language Model (VLM) judges fail to generalize or provide precise diagnostic value. We present RoboGaze, a training-free, multi-agent VLM framework that provides structured, interpretable evaluation for generated robot-manipulation videos. Given a task instruction and video, RoboGaze operates via a three-stage pipeline: task-scene grounding, dimension-specific specialist routing, and critic-based verification. It outputs temporally localized glitch reports categorized under a novel 6-dimension, 30-type robotics-specific taxonomy. To benchmark RoboGaze, we introduce a human-validated dataset of 382 clips spanning simulated and real-world multi-view manipulation. Evaluating eight open-source and proprietary VLM backbones, RoboGaze dramatically outperforms zero-shot baselines, improving description-F1 by up to +43 points and temporal alignment (F1 x IoU) by up to +37 points, closing approximately 85% of the gap to the human ceiling. Furthermore, its critic verifier mitigates the "cry-wolf" false-positive flaw of standard VLMs, lifting clean-clip accuracy from under 25% to over 80%. RoboGaze offers a scalable, highly interpretable diagnostic tool for the rigorous evaluation of robot world models.
개념 병목 모델(concept bottleneck model, CBM)과 프로그램 합성(program synthesis) 방법과 같은 해석 가능한 모델은 모델의 결정을 검증할 수 있게 하지만, 평가는 일반적으로 단순한 과제에 국한되어 실제 이미지에 대한 복잡한 추론은 대부분 탐구되지 않은 채로 남아 있다. 우리는 일계 논리(first-order logic)의 넓은 부분집합을 다루는 실제 이미지에 대한 시각적 귀납 추론(visual inductive reasoning)을 위한 객체 중심(object-centric) 데이터셋인 COCOLogic-V2를 제안한다. 샘플을 긍정 변형(positive variants), 경계 근처(near-boundary, NB), 경계 원거리(far-from-boundary, FB) 음성 예시로 분류함으로써, COCOLogic-V2는 모델 책임성(model accountability)에 대한 세밀한 진단을 가능하게 한다. 우리의 평가 결과, 모델은 긍정 샘플과 FB 샘플을 잘 분리하는 경향이 있으나 NB 샘플에서는 실패하며, 지각적 노이즈(perceptual noise)와 규칙으로 유발된 큰 탐색 공간(rule-induced search spaces)은 퓨샷(few-shot) 설정에서 추가적인 도전 과제가 된다. 종합하면, 이러한 결과는 시각적 귀납 추론이 여전히 미해결 과제(open challenge)임을 강조하며, COCOLogic-V2가 이 방향의 방법 발전을 위한 구체적인 기반을 제공함을 보여준다.
본 논문은 프레임 단위 고속도로 위험 평가를 다중 에이전트(multi-agent) 장면 그래프(scene graph) 수준의 이진 분류 문제로 공식화하며, TTC(time to collision) 또는 PET(post encroachment time) 기반 충돌이 지정된 심각도 임계값을 위반하는 경우 각 비디오 또는 궤적(trajectory) 프레임을 위험으로 라벨링한다. 각 프레임마다 차량을 노드로, 동일 차선(종방향) 및 인접 차선(횡방향)의 두 가지 상호작용 유형을 간선으로 하는 관계 인식 그래프를 구성하고, 후행 충돌(rear-end) 및 차선 변경(lane-change) 충돌 메커니즘에 맞춘 물리 정보 기반 간선 특징으로 이를 보강한다. 비그래프 모델과 그래프 베이스라인으로 구성된 체계적인 벤치마크(benchmark) 스위트를 바탕으로, 종방향 및 횡방향 상호작용을 전용 어텐션 경로로 처리하고 SSM 충돌 기여도(conflict attribution)에서 도출한 이벤트 수준 게이트 감독을 갖춘 충돌 유형 인식 게이팅(gating) 메커니즘으로 이를 융합하는 이중 스트림 이종 그래프 어텐션 네트워크인 HIA-GAT를 제안한다. NGSIM I-80 및 US-101 고속도로 데이터셋(dataset)에서 아홉 가지 TTC 및 PET 임계값 구성에 걸친 실험 결과, HIA-GAT는 최고의 평균 위험 순위 성능(AUC I-80에서 0.835, US-101에서 0.867)을 달성했으며, 관계 구조가 필수적인 PET 전용(차선 변경) 설정에서 가장 큰 향상을 보였다. 정확도를 넘어, 학습된 게이트는 지배적인 충돌 유형에 대한 해석 가능한 차량별 기여도를 제공하여 실행 가능한 실시간 고속도로 안전 모니터링을 지원한다. 횡방향 충돌 위험 모델링에는 그래프 구조가 중요한 반면, 종방향 위험은 종종 비관계적 집계로 포착할 수 있음을 보인다.
SEN12-FLOOD 광학·SAR 위성 영상에서 위상 데이터 분석(TDA)으로 추출한 위상적 특징을 GRU 기반 신경망에 통합해 홍수 탐지를 평가했으며, 합성곱 특징과 결합하면 정확도 98.9%로 기준선 95.7%를 넘어서는 등 더 강건하고 해석 가능한 탐지가 가능함을 보였다.
대규모 실세계(in-the-wild) 단안 영상에서 동적 4D 객체 상호작용을 추출하는 것은 Embodied AI 확장과 VLA 학습을 위한 매우 효율적인 데이터 수집 경로를 제공한다. 그러나 기존 단안 4D 재구성 방법은 주로 고립된 객체에 초점을 맞추며, 다중 객체 상호작용에 내재된 심각한 가림과 복잡한 동역학에서 종종 실패한다. 이 격차를 메우기 위해, 우리는 단일 영상에서 여러 객체의 3D 기하, 시간적 동역학, 물리적 상호작용을 재구성하도록 설계된 최초의 에이전트형(agentic) 프레임워크인 HAT-4D를 제안한다. VLM과 다단계 human-in-the-loop 피드백 메커니즘을 통합함으로써, HAT-4D는 3D 생성 및 4D 전파 과정에서 깊이 모호성과 상호작용 유발 가림을 효율적으로 해결하여, 값비싼 다중 카메라 장비에 의존하지 않고 물리적으로 타당한 에셋을 생성한다. 확장 가능한 데이터 엔진으로서 HAT-4D는 단안 4D 상호작용 재구성을 위한 오픈 월드 벤치마크인 MVOIK-4D 생성을 촉진하며, 물리적 타당성과 시간적 일관성에 초점을 맞춘 새로운 다차원 평가 프로토콜을 함께 제공한다. 광범위한 실험을 통해 HAT-4D가 대부분의 평가 지표에서 SOTA 성능을 달성하면서 경쟁력 있는 의미적 정렬을 유지함을 보인다. 소거(ablation) 연구는 소량의 인간 피드백 도입이 상호작용 재구성을 개선함을 보여준다. 또한 HAT-4D가 생성한 데이터는 미세조정에 사용될 때 기준선 성능을 효과적으로 개선한다. 우리의 데이터와 코드는 https://lijiaxin0111.github.io/HAT4D/ 에서 이용할 수 있다.
다시점 캡처로부터 시뮬레이션 가능한 3D 장면을 구축하는 것은, 하위 작업이 객체 수준의 구조, 명시적인 객체 간 관계, 물리적 타당성을 요구하기 때문에 구현 인공지능(Embodied Artificial Intelligence)의 핵심 병목이다. 기존 접근법들은 전용 캡처 하드웨어에 의존하거나, 객체 재구성에서 단일 시점 바이어스에 취약하거나, 기하학적으로는 타당하지만 물리적으로는 일관성 없는 배치를 생성한다. 우리는 문제가 단일 객체 재구성이 아니라 교차-시점 관계 융합과 물리적으로 타당한 장면 조립에 있음을 확인한다. 이 도전에 대응하기 위해, 파이프라인 전반에 다시점 기하학을 통합적인 사전 지식(prior)으로 관통시키는 프레임워크인 ReScene을 제안한다. 우리 방법은 두 가지 주요 구성 요소로 이루어진다. HierView는 의미적 일관성과 3D 커버리지 완전성에 기반하여 재구성 시점을 우선순위화하며, 이미지 점유(image occupancy)와 객체 커버리지를 혼동하는 최대 마스크 휴리스틱을 대체한다. Relation-Aware Assembly는 비전-언어(vision-language) 모델의 다중 프레임 관계 예측을 기하학적 및 room-shell 사전 지식과 함께 신뢰도 가중 scene graph로 융합하여 물리적으로 일관된 장면 조립을 가능하게 한다. ReScene은 ScanNet 장면 집합에서 기하학, 렌더링, 지각 품질 전반에 걸쳐 새로운 최첨단(state of the art) 성능을 달성하며, 가장 강력한 기준선 대비 Chamfer Distance에서 17%, LPIPS에서 26% 감소를 이루고, 기존 다시점 방법보다 최대 10배 빠르게 실행된다. 재구성된 장면을 기반으로, 우리는 구현(embodied) 시각적 질의응답(VQA) 데이터셋도 생성하며, 이 데이터셋에서 파인튜닝된 Qwen-VL은 여러 공간 추론 작업에서 강력한 폐쇄형(closed-source) 모델의 성능에 근접한다.
최근 멀티모달 대규모 언어 모델(MLLM)은 체현 지능(embodied intelligence)에서 큰 잠재력을 보여 왔으나, 이종 시점에 걸쳐 기하학적으로 일관된 공간 이해를 유지하는 능력은 아직 충분히 평가되지 않았다. 기존 벤치마크는 대체로 단일 에이전트·단일 시점 인식에 초점을 맞춰, 다중 스케일 관측이 상호 보완적이면서도 스케일 불일치, 비대칭 가림, 기준 좌표계 불일치를 야기하는 협업적 공중-지상 환경의 체계적 평가에는 공백이 있다. 본 논문은 이종 UAV-UGV 협업에서 다중 시점 공간 지능을 평가하기 위한 진단 벤치마크인 AirGroundBench를 제안한다. AirGroundBench는 11개의 고충실도 시뮬레이션 환경과 1,021개의 동기화된 공중-지상 관측 쌍으로 구성되며, 약 62,000개의 이중 시점 4지선다 시각 질의응답(VQA) 인스턴스와 115개의 폐루프 비전-언어 내비게이션 에피소드를 제공한다. 10가지 작업 유형을 네 가지 점진적으로 요구 수준이 높아지는 역량 차원—공간 인식, 교차 시점 정렬, 공간 변환 및 추론, 체현 의사결정—으로 구성한다. 기하학 기반 평가와 분석을 위해 교차 시점 객체 동일성 및 측정 가능한 2D·3D 바운딩 박스를 포함한 구조화된 공간 주석을 제공한다. UAV 단독, UGV 단독, 이중 시점 입력 설정에서 13개 대표 MLLM을 평가한 결과 일관된 병목이 드러났다. 모델은 공간 인식에서는 상대적으로 양호하나 교차 시점 정렬과 변환 집약적 추론에서 어려움을 보이며, 이러한 결함은 비전-언어 내비게이션의 순차적 의사결정으로 전파된다. 이중 시점 입력이 단일 시점 변형 대비 측정 가능한 이득을 제공하나, 인간 성능과의 지속적인 격차가 남아 있으며, 이는 현재 체현 MLLM의 핵심 한계가 기하학적 일관성임을 부각한다.
공간 지능은 저고도 무인항공기(UAV)의 지각, 협업 및 항법에 필수적이다. 그러나 기존 UAV 벤치마크는 종종 이미지 수준 인식, 단일 뷰 이해, 혹은 제한적인 답변 형식에 초점을 맞추어, 3D 공간 추론, 다중 뷰 협업, 장면 동역학, 그리고 다양한 과제 공식화에 대한 평가가 불충분하게 남아 있다. 이러한 공백을 해소하기 위해, 우리는 의미 구별, 공간 관계, 공중-공중 협업, 공중-지상 협업, 그리고 동작 이해를 포괄하는 14개의 세분화된 과제 유형에 걸친 4,331개의 큐레이션된 인스턴스로 구성된 실제 저고도 UAV 벤치마크인 SpatialUAV를 제안한다. SpatialUAV는 모든 샘플을 통합된 visual-input-question-answer 스키마로 구성하며, 선택지 레이블, 영역 식별자, 기하학적 값, 교차 뷰 대응, 그리고 자유 형식 동작 설명 등을 포함하는 7가지 입력 설정과 9가지 답변 형식을 지원한다. 신뢰할 수 있고 그라운딩된 평가를 보장하기 위해, 우리의 데이터 구축 파이프라인은 검출기 보조 영역, 깊이 감독, 메타데이터 기반 규칙, 광범위한 수동 주석, 블라인드 필터링, 다회차 인간 검증을 통합하며, 이질적 출력에 대한 과제별 지표와 함께 제공된다. 세 가지 범주에 걸친 대표적인 비전-언어 모델을 평가한 결과, 현재 모델은 교차 뷰 연관, 구조화된 그라운딩, 기하학적 추론, 시간적 시점 이해에서 뚜렷한 병목을 보이며 인간 수준 성능과는 여전히 큰 거리가 있음을 보인다. 이러한 결과는 저고도 UAV 공간 지능 발전을 위한 실증적 가이드를 제공한다. 코드와 데이터는 https://github.com/Hyu-Zhang/SpatialUAV 에서 이용 가능하다.
움직이는 단안(monocular) 카메라로 동적 장면 속 인간을 재구성하는 것은 스케일 모호성, 인간-장면 정렬 불일치, 가림(occlusion) 간섭 때문에 여전히 어렵다. 인간 메시 복원(Human Mesh Recovery)과 장면 재구성을 별개의 작업으로 다루기보다, 정확한 인간-장면 재구성을 위해서는 두 작업이 서로 정보를 제공해야 한다고 본다. 파라미터화 인간 모델(parametric human models)은 의미적 구조와 metric-scale 사전 정보(priors)를 제공하고, 장면 기하학은 인간 위치 추정(localization)과 정렬(alignment)을 위한 공간적 맥락을 제공한다. 이 통찰에 기반하여, 순전파(feed-forward) 3D 장면 재구성과 Human Mesh Recovery를 통일된 metric 공간에서 결합하는 마스크-프롬프트 가능(mask-promptable) 인간 메시 복원 프레임워크인 SHOW를 제안한다. SHOW는 파라미터화 인간 모델의 인간 의미 정보(semantics)와 스케일 사전 정보를 정규화된 포인트 맵(point-map) 예측에 주입하여, 본질적으로 스케일이 모호한 단안 입력으로부터 metric-scale 장면 재구성을 가능하게 한다. 이에 따라 복원된 장면 기하학은 인간 메시 추정을 제약하여, 공간적으로 일관된 인간 배치와 향상된 인간-장면 정렬을 유도한다. 복잡한 다인물(multi-person) 및 어수선한 장면을 처리하기 위해, SHOW는 프롬프트 가능한 마스킹 메커니즘을 추가로 도입하여 배경 방해 요소와 가림 간섭을 억제하면서 유연한 대상 인간 선택을 가능하게 한다. 공동 학습(joint training)을 통해 모델은 인간 인식(human-aware) 기하 특징과 기하학적으로 제약된 인간 특징을 모두 학습하여, 단안 인간 중심(human-centric) 영상으로부터 정렬된 metric-scale 재구성 결과를 생성한다. 광범위한 실험을 통해 SHOW가 어려운 카메라 움직임, 가림, 어수선한 배경 하에서 metric-scale 일관성, 인간-장면 정렬, 재구성 정확도를 향상시킴을 보여준다.
본 논문은 자율주행을 위해 외재적 보조 모달리티보다 내재적 구조적 계층을 우선하는 새로운 occupancy 월드 모델인 CascadeOcc를 제안한다. Occupancy 월드 모델은—미래 주행 환경을 예측하고 주행 궤적을 계획하는—지각(perception)과 계획(planning)을 효과적으로 연결하지만, 현재 접근법들은 종종 외부 모달리티나 대규모 언어 모델(LLM)에 크게 의존하여 occupancy 표현 자체가 갖는 고유한 구조적 잠재력을 충분히 활용하지 못한다. 복잡한 3D 장면에 대한 표현 용량(representational capacity)을 높이기 위해, 우리는 계단식 벡터 양자화(Vector Quantized, VQ) 메커니즘을 자기회귀(autoregressive) 프레임워크에 통합한다. coarse-to-fine 원칙에 따라 CascadeOcc는 다중 스케일(multi-scale) 아키텍처를 통해 전역 구조로부터 세밀한 디테일을 점진적으로 정제한다. 또한 다중 스케일 시간적 의존성을 포착하기 위해 TimeMixer를 도입하여 공간과 시간 모두에서 이중 계층(dual-hierarchy) 메커니즘을 구축한다. 4D occupancy 예측(forecasting) 및 모션 계획(motion planning) 벤치마크에서의 실험 결과는 CascadeOcc가 비전 중심(vision-centric) 접근법들 중 우수한 성능을 달성함을 보여주며, 고유 표현(inherent representations)을 최적화하는 것이 외부 파운데이션 모델(foundation models)에 의존하는 강력한 대안임을 검증한다.
이미지로부터 원하는 3D 변환이 이루어진 뒤 장면이 어떻게 변화할지 예측하는 것은 컴퓨터 비전(CV), 그래픽스, 로봇 공학의 핵심 목표이다. 그러나 3D 기하학과 동역학에 완전히 접근할 수 있는 이상적 시뮬레이터와 달리, 실세계 시스템은 본질적으로 부분적이고 불완전한 지각 입력과 국소적 행동에 의존해야 한다. 본 연구에서는 부분 관측과 불완전한 3D 변환 신호 모두 하에서 미래 장면 상태를 시뮬레이션하는 물리 세계 모델링 시스템 P3Sim을 제안한다. P3Sim은 상호작용하는 세 가지 구성 요소로 이루어진다: 학습된 물리 세계 모델, 기하학적 조건화 모듈, 지속적 장면 메모리. 세계 모델은 지각을 다중 모달 장면 변수에 대한 확률적 추론으로 해석하여, 다른 변수들의 임의 조합에 조건화된 임의 장면 변수의 분포 예측을 제공한다. 기하학적 조건화 모듈은 추론 시점에 세계 모델을 조건화하기 위한 부분 3D 변환 신호를 제공한다. 지속적 장면 메모리는 시간에 걸쳐 예측을 통합하여, 불확실성 하에서 온라인 갱신과 일관성을 가능하게 한다. 학습된 추론과 명시적 기하학적 구조를 결합함으로써 P3Sim은 데이터 기반 유연성과 내재된 귀납적 바이어스를 균형 있게 맞춘다. 이 설계는 새로운 시점 합성(novel view synthesis), 객체 조작(object manipulation), 동적 장면 예측(dynamic scene prediction)과 같은 다양한 3D 변환 작업에 일반화되는 유연한 지각 시뮬레이터를 만들어, 범용 3D 장면 이해 및 변환을 향해 나아간다.
자율주행을 위한 카메라 기반 인식 시스템은 일반적으로 고정된 센서 리그(rig)로 개발·평가되지만, 실제 차량 플릿(fleet)은 카메라 배치, 방향, 시야(field of view), 카메라 수에서 상당한 차이를 보인다. 이 불일치는 기하학적 관측 과정만이 변하는 교차 리그(cross-rig) 도메인 격차(domain gap)를 야기한다. 통제된 조건에서 이 효과를 연구하기 위해, 체계적으로 설계된 14개의 카메라 리그 하에서 동일한 주행 장면을 렌더링하는 벤치마크인 Plentiful CARLA Camera Rigs를 제안한다. 이 설정은 장면 내용이나 외관의 혼란(confounding) 변화 없이 교차 리그 일반화를 직접 분석할 수 있게 한다. 벤치마크를 사용해 대표적인 다중 뷰(multi-view) 인식 아키텍처의 교차 리그 전이(transfer) 거동을 분석하고, 기하학적 리그 변동에 의해 유도되는 상당한 성능 변화를 관찰한다. 구조화된 분석을 위해 리그 메타데이터에서 유도된 두 가지 캘리브레이션 기반 서술자(descriptor)를 추가로 도입한다: 리그 내부 다양성을 포착하는 Rig Variance와 리그 간 기하학적 불일치를 측정하는 Rig Contrastive Distance. 실험 결과, 기하학적 리그 차이는 상대적 교차 리그 성능 변화와 강하게 상관하며, Rig Contrastive Distance는 센서 리그 간 전이 난이도를 순위화하는 신뢰할 만한 대리 지표(proxy)를 제공한다.
AI 생성 이미지가 인터넷 전반에 빠르게 퍼지고 있다. 일부는 오락용으로 쓰이지만, 다른 것들은 사기와 소셜 미디어 사용자를 겨냥한 소셜 엔지니어링 공격에 악용된다. 기존 탐지기는 학습 중 본 생성기에 과적합하거나, 탐지를 불투명한 이진 분류로 다루거나, 출력을 설명하기 위해 값비싼 대규모 언어 모델(LLM)에 의존한다. 본 논문에서는 AI로 조작되거나 AI 생성된 인물과 장면의 세분화된 탐지 및 위치 추정을 위한 새로운 모델 TruEye를 제안한다. 단일 진위 라벨을 부여하는 기존 탐지기와 달리, TruEye는 합성 콘텐츠의 5가지 구성적 범주를 구별하는 최초의 모델이며, 여기에는 실제 인물이 한 번도 물리적으로 존재하지 않았던 실제 장면에 합성(composited)된 가장 까다로운 경우도 포함된다. 핵심은 마스크 조건부(mask conditioned) 듀얼 스트림 트랜스포머로, 패치 수준의 공간 대응을 유지하면서 인물 토큰과 장면 토큰을 분리한다. 각 스트림 내 특화된 추론(reasoning)과 영역 게이트 교차 어텐션(region gated cross attention)은 피사체와 배경 간의 의미적 일관성을 강제하며, 토큰 수준 감독과 전역 구성적 분류는 LLM 없이도 견고하고 해석 가능한 예측을 제공한다. 의미적으로 일관된 토큰에만 스트림 내(intra stream) 어텐션을 제한함으로써, TruEye는 LLM 기반 경쟁 모델보다 $100\times$ 이상 빠르게 동작한다. 6개 데이터셋과 새로 구축한 FineSyn 데이터셋에 대한 실험 결과, TruEye는 더 높은 정확도, 더 빠른 추론, 그리고 보지 못한 AI 생성 또는 조작 이미지에 대한 더 강한 일반화 성능으로 최신(state of the art) 탐지기를 능가한다.
3D 씬 그래프 생성(3DSGG)은 3D 장면을 구조화된 객체-관계-객체 그래프로 표현하여 공간 이해를 위한 간결한 관계적 추상화를 제공한다. 체화 지능(embodied intelligence) 환경에서 동일한 3D 장면은 에이전트(agent)에 의해 요(yaw) 회전만큼 다른 시점(viewpoint)에서 관측될 수 있다. 그러나 현재 3DSGG 모델은 이러한 시점 변화 하에서 기대되는 변환(transformation) 동작을 따르는 관계 예측을 생성하는 데 자주 실패한다. 이는 술어(predicate) 수준의 변환 이질성과 관련된 실증적 불일치를 드러낸다. left, front, right, behind와 같은 방향성 술어는 관측 좌표계(observation frame)에 따라 변환되어야 하는 반면, standing on 및 attached to와 같은 대부분의 접촉·지지·의미적 술어는 안정적으로 유지되어야 한다. 이 불일치를 줄이기 위해, 우리는 변환 인식 분리(Transformation-Aware Decoupling, TAD)를 제안한다. TAD는 술어 변환 동작에 따라 관계 추론을 분리하고 시점 안정적 객체 표현(viewpoint-stable object representations)으로 뒷받침되는 시점 강건 3DSGG 프레임워크이다. TAD는 관계 추론을 두 부분으로 분해한다. 하나는 시점에 걸쳐 안정적으로 유지되어야 하는 단서(cue)를 학습하고, 다른 하나는 관측 좌표계에 따라 변해야 하는 방향성 단서를 학습한다. 두 부분은 표준 다중 레이블 술어 예측을 위해 병합된다. 변환 특화 서술자(descriptor)와 그룹 인식(group-aware) 보조 감독(auxiliary supervision)은 두 분기가 상보적인 관계 단서를 포착하도록 유도한다. 3DSSG에서의 광범위한 실험은 TAD가 학습 시점 회전 증강(rotation augmentation) 없이 요 시점 변화 하에서 최첨단(state-of-the-art) 강건성을 달성하면서 표준 벤치마크(benchmark)에서도 경쟁력 있는 성능을 유지함을 보여준다. 프로젝트 페이지는 https://tad-predicate.github.io/ 에서 확인할 수 있다.
미터법 스케일 단안 기하 추정은 대규모 데이터 집계를 통해 상당한 진전을 이루었지만, 현재의 파운데이션 모델은 지속적인 '스케일 붕괴(scale-collapse)' 현상에 시달리고 있다. 먼 랜드마크와 광활한 풍경이 미터법적으로 과소 추정되는 것이다. 우리는 이러한 성능 격차가 학습 데이터 병목에서 비롯된다고 가정한다. 기존 미터법 스케일 데이터셋은 동질적인 차량 촬영 LiDAR나 단거리 실내 스캔으로 하드웨어 제약을 받거나, 물리 세계의 의미적 복잡성을 결여한 합성 데이터로만 구성되어 있기 때문이다. 이 격차를 해소하기 위해, 인터넷 사진 컬렉션과 스테레오 영상 등 다양한 출처에서 수집한 MetricScenes라는 새로운 미터법 기반 in-the-wild 데이터셋을 구축한다. 각 장면에 대해 기성(off-the-shelf) 방법으로 카메라 포즈와 초기 깊이 맵을 추정하고, 지리 태깅(geo-tagged) 메타데이터와 알려진 스테레오 카메라 베이스라인으로부터 절대 스케일을 복원한다. 또한 새로운 2단계 Poisson completion 방법을 통해 MetricScenes에서 파생된 깊이 맵의 품질을 개선한다. 우리 데이터셋으로 MoGe-2를 미세조정하면 스케일 붕괴가 크게 완화되고, 표준 벤치마크에서 최첨단 성능을 유지하면서 제약 없는 개방형 장면에서 우수한 미터법 정확도를 달성한다.
다중 모달 대규모 언어 모델(MLLM)은 공간 지능에서 빠른 발전을 이루었으나, 기존 공간 추론 벤치마크는 대체로 선명한 시각 입력을 가정하고 모션 블러, 저조도, 악천후, 렌즈 왜곡, 압축 아티팩트 등 실제 배포 환경에서 흔히 발생하는 저하를 간과한다. 이는 근본적인 질문을 제기한다: 시각 관측이 불완전할 때 현재 MLLM의 공간 지능은 얼마나 견고한가? 이 질문에 답하기 위해, 우리는 저하 인식 공간 이해를 위한 최초의 대규모 데이터셋인 SpaceDG를 제안한다. 이는 저하 형성 과정을 3D 가우시안 스플래팅(3DGS) 렌더링에 내장하는 물리적으로 근거 있는 저하 합성 엔진으로 구축되어, 9가지 저하 유형의 사실적인 시뮬레이션을 가능하게 한다. 결과 데이터셋은 약 1,000개의 실내 장면에서 약 100만 개의 QA 쌍을 포함한다. 또한 11개의 추론 카테고리와 9가지 시각적 저하 유형을 아우르는 1,102개의 질문으로 구성된 사람 검증 벤치마크 SpaceDG-Bench를 도입하여 1만 개 이상의 VQA 인스턴스를 제공한다. 25개의 오픈소스 및 폐쇄형 MLLM을 평가한 결과, 시각적 저하는 일관되고 상당히 공간 추론을 저하시키며 심각한 견고성 격차를 드러낸다. 마지막으로, SpaceDG에서의 파인튜닝이 저하 견고성을 현저히 향상시키고, 깨끗한 이미지에서 성능 저하 없이 열화된 조건에서 인간 성능을 초과할 수 있음을 보여, 견고한 공간 지능을 위한 저하 인식 학습의 가능성을 강조한다.
인간의 시각 지각은 움직임 기반 장면 해석의 계산 원리를 이해하는 데 귀중한 통찰을 제공한다. 인간은 희박한 움직이는 점, 질감이 있는 표면, 자연주의적 장면을 관찰하는 경우에도, 독립적으로 움직일 수 있는 물질 덩어리를 구성하는 움직이는 개체를 견고하게 탐지하고 분할한다. 이와 대비하여, 기존 컴퓨터 비전(CV) 시스템은 이러한 다양한 설정에서 작동하는 통합적 접근법을 갖추지 못한다. 인간 지각의 원리에서 영감을 받아, 우리는 저수준 움직임 단서와 고수준 외관 특징을 파티클(국소 물질을 나타내는 작은 가우시안)로 계층적으로 묶고, 파티클을 일관되게 그리고 독립적으로 움직일 수 있는 물리적 개체를 포착하는 클러스터로 묶는 생성 모델을 제안한다. 우리는 안정적인 파티클 움직임과 그룹핑을 복원하기 위해 병렬화된 블록 Gibbs 샘플링(block Gibbs sampling)에 기반한 하드웨어 가속 추론 알고리즘을 개발한다. 우리 모델은 다양한 종류의 입력(랜덤 도트, 스타일화된 질감, 자연주의적 RGB 비디오)에서 동작하며, 생물학적 시각은 성공하지만 기존 컴퓨터 비전 접근법은 그렇지 못한 설정에서도 작동할 수 있게 한다. 우리는 이 통합 프레임워크를 세 영역에서 검증한다: 2D 랜덤 도트 키네마토그램(random dot kinematogram)에서는, 우리 접근법이 모호한 조건에서의 단계적 불확실성을 포함하여 인간의 객체 지각을 포착한다; 위장된 회전 객체로 구성된 게슈탈트(Gestalt) 영감 데이터셋에서는, 우리 접근법이 움직임으로부터 올바른 3D 구조를 복원하고 이를 통해 정확한 2D 객체 분할을 이룬다; 자연주의적 RGB 비디오에서는, 우리 모델이 변형되는 객체를 구성하는 움직이는 3D 물질을 추적하여 견고한 객체 수준 장면 이해를 가능하게 한다. 이 연구는 인간 시각의 원리에 기반한 움직임 기반 지각을 위한 일반적 프레임워크를 확립한다.
대비 언어-이미지 사전학습(CLIP)과 정렬하여 3D 인코더를 사전학습하는 방식은 3D 장면 이해를 위한 일반화 가능한 표현을 학습하는 유망한 방향으로 떠오르고 있다. 본 논문에서는 다중 뷰 컬러 포인트맵으로부터 통합 장면 표현을 학습하고, 이미지 외관과 기하를 공동으로 모델링하는 트랜스포머 기반 인코더 UniScene3D를 제안한다. 견고한 컬러 포인트맵 표현 학습을 위해, 뷰 간 기하 및 의미적 일관성을 강제하는 새로운 교차-뷰 기하 정렬(cross-view geometric alignment)과 그라운딩된 뷰 정렬(grounded view alignment)을 도입한다. 시점 그라운딩, 장면 검색, 장면 유형 분류, 3D VQA에 대한 광범위한 로우샷 및 과제별 미세조정 평가에서 최신 성능을 입증하였다. 이러한 결과는 통합 3D 장면 이해를 위한 우리 접근법의 효과를 보여준다. https://yebulabula.github.io/UniScene3D/