추론 세그멘테이션(reasoning segmentation)은 최근 지상 수준 장면에서 원격 탐사 영상으로 확장되었으나, UAV 데이터는 경사 시점, 초고해상도, 극단적인 스케일 변화 등 고유한 과제를 제기한다. 이러한 문제를 해결하기 위해 우리는 UAV Reasoning Segmentation 작업을 공식적으로 정의하고, 그 의미적 요구사항을 공간(Spatial), 속성(Attribute), 장면 수준(Scene-level) 추론의 세 가지 차원으로 구조화한다. 이 공식화를 바탕으로 UAV 추론 세그멘테이션을 위한 대규모 벤치마크인 DRSeg를 구축한다. DRSeg는 세 가지 추론 유형 전반에 걸친 사고의 연쇄(Chain-of-Thought) QA 지도와 짝을 이루는 1만 장의 고해상도 항공 영상을 포함한다. 벤치마크 동반 모델로서, 우리는 이 작업에 대한 통합 기준선 역할을 하는 단순하면서도 효과적인 픽셀 수준 멀티모달 언어 모델 PixDLM을 제안한다. DRSeg에서의 실험은 강력한 기준선 결과를 확립하고 UAV 추론 세그멘테이션의 고유한 과제를 부각하며, 향후 연구를 위한 견고한 기반을 제공한다.
비주얼 장소 인식(VPR)을 실험실에서 장기 배포로 옮기는 데 있어 핵심 과제는, 전역 평균이 아니라 환경의 서로 다른 부분 전반에 걸쳐 시스템이 사용자가 지정한 성능 요구사항을 사전에 충족할 수 있는지 보장하는 것이다. 이러한 지역 성능을 제어하는 핵심 메커니즘 중 하나는 참조 매핑 데이터베이스의 밀도이지만, 기존 연구에서는 센서, 저장소, 또는 GPS 주파수에 기반한 고정된 공학적 샘플링 밀도가 일반적으로 사용되어 이 요소가 대부분 간과되어 왔다. 본 논문에서는 운영 환경에서 얻은 두 번의 참조 주행(traversal)을 사용하여 다음 두 가지 사용자 정의 요구사항을 만족하는 적절한 맵 밀도를 자동으로 선택하는 VPR 매핑 접근법을 제안한다: (1) 목표 Local Recall@1 수준, (2) 이를 충족하거나 초과해야 하는 운영 환경의 비율로, 후자를 재현율 달성률(Recall Achievement Rate, RAR)이라 부른다. 본 접근법은 여러 맵 밀도에서 참조-참조 매칭의 공간적 일관성 및 정합(coherence) 특징을 사용하여, 보지 못한 배포 데이터에서 이러한 목표를 달성하는 데 필요한 밀도를 추정한다. Nordland 및 Oxford RobotCar 벤치마크와 두 가지 VPR 방법에 걸친 실험을 통해, 본 시스템이 환경의 사용자 지정 비율 이상에서 목표 Local Recall@1을 일관되게 충족하거나 초과함을 보인다. 대안 기준선과의 비교는 불필요하게 밀집된 맵을 피하면서 맵 밀도에서 적절한 운영 지점을 신뢰성 있게 선택함을 보여준다. 마지막으로, ablation은 참조 주행 선택 및 세그먼트 길이에 대한 민감도를 평가하며, 분석 결과 기존의 전역 Recall@1은 종종 운영상 더 의미 있는 RAR 지표의 나쁜 예측 변수임을 밝힌다.
확장 가능하고 유지보수가 용이한 맵은 대규모 내비게이션과 실제 환경에서의 로봇 장기 배치의 기본 요소이다. 그러나 밀집 기하학 또는 3D 랜드마크를 명시적으로 유지하는 기존 맵은 높은 저장 및 유지보수 비용이 발생하며, 다중 세션 매핑으로 확장할 때의 핵심 과제는 희박한 시점 중첩, 시간적 외관 변화, 기기 간 편차 하에서의 시각적 위치 추정(visual localization)이다. 이를 해결하기 위해, 우리는 이미지 노드를 공시성(covisibility), 오도메트리(odometry), 통행 가능성(traversability) 그래프로 구성하고 필요 시 3D 기하학적 파운데이션 모델(GFM)에 국소 기하 복원을 위임하는 경량의 랜드마크 없는 토포메트릭 매핑 시스템인 OpenNavMap을 제안한다. 위치 추정을 위해, 동적 프로그래밍 기반 시퀀스 매칭이 GFM의 후보 대응을 좁혀 전역 추정을 경량의 자세(pose)만 최적화하는 문제로 축소한다. 매핑을 위해, 평생(lifelong) 파이프라인이 기기 간 병합과 노드 정리(node culling)를 통해 다중 세션·다중 기기 데이터를 융합한다. 4개의 실제 환경에 걸친 19km 데이터셋에서, OpenNavMap은 Map-Free 벤치마크에서 최신(state-of-the-art) $0.62$m 변위 오차를 달성하고, 깊이 센서 없이 15.7km 구간에서 절대 궤적 오차를 $3$m 이하로 제한하며, 시뮬레이션 및 실제 로봇 모두에서 $12$개의 자율 이미지 목표(image-goal) 시각 내비게이션 과제를 완수한다. 코드와 데이터셋은 https://rpl-cs-ucl.github.io/OpenNavMap_page 에서 공개될 예정이다.
자율주행 시스템의 효과는 견고한 예측 및 계획(planning) 능력에 크게 좌우된다. 그러나 현재 벤치마크(benchmark)는 밀집 교통이 특징인 시나리오가 현저히 부족하여 이를 저해하고 있으며, 이는 도로 이용자 간 복잡한 상호작용을 이해하고 모델링하는 데 필수적이다. 이러한 공백을 해소하기 위해, 우리는 산업 파트너 DeepScenario와 협력하여 밀집된 도시 환경에 초점을 맞춘 궤적 예측 및 계획 벤치마크를 강화하기 위해 설계된 새로운 드론 데이터셋 DeepUrban을 개발했다. DeepUrban은 약 100m 고도에서 촬영한 도시 교차로의 고해상도 영상에서 추출한 3D 교통 객체의 풍부한 컬렉션을 제공한다. 이 데이터셋은 고급 모델링 및 시뮬레이션 작업을 지원하기 위해 포괄적인 지도 및 장면 정보로 더욱 풍부하게 구성되어 있다. 우리는 최신(SOTA) 예측 및 계획 방법을 평가하고, 일반화(generalization) 능력에 대한 실험을 수행했다. 우리의 결과는 DeepUrban을 nuScenes에 추가하면 차량 예측 및 계획의 정확도를 향상시킬 수 있음을 보여주며, ADE / FDE 지표에서 최대 44.1% / 44.3%의 개선을 달성했다. Website: https://iv.ee.hm.edu/deepurban
도로 토폴로지 추론은 자율주행의 기본이며, 도로 요소에 대한 정확한 인식과 차선 연결성(Lane-to-Lane, L2L) 및 교통 규제(Lane-to-Traffic signs, L2T)를 포함한 복잡한 연결성에 대한 이해가 모두 필요하다. 그러나 기존 방법들은 일반적으로 인식과 토폴로지 추론을 분절된 작업으로 취급하여, 상호 향상 가능성을 무시한다. 중요한 점은, 토폴로지가 본질적으로 관계적이지만, 선행 연구들은 특징 추출 과정에서 기하학적 관계를 종종 간과하고, 대신 추론 시점에만 적용되는 취약한 후처리나 좌표 기반 휴리스틱에 의존한다는 것이다. 이 격차를 메우기 위해, 우리는 세 수준에 걸쳐 기하학 유도 관계 모델링을 통합하는 통합 프레임워크인 CoPo(Coherent Perception and toPology)를 제안한다: 1) 인식 수준: 기하학 편향 자기-어텐션(geometry-biased self-attention)과 곡선 유도 교차-어텐션(curve-guided cross-attention)을 활용하여 구조적 사전 지식으로 차선 표현을 풍부하게 하는 관계 인식 차선 검출기를 도입한다; 2) 추론 수준: 특징을 효과적으로 정렬하여 연결성을 추론하는 기하학 강화 L2L 헤드와 교차-뷰(cross-view) L2T 헤드를 포함하는 관계 강화 토폴로지 헤드를 설계한다; 3) 지도 학습 수준: 관계 임베딩을 정규화하기 위해 대조 InfoNCE 전략을 구현하여, 잠재 공간에서 연결된 쌍을 더 가깝게 당긴다. 이러한 일관된 다중 수준 설계는 인식과 추론의 end-to-end 공동 최적화를 가능하게 한다. OpenLane-V2에 대한 광범위한 실험에서 CoPo는 기존 방법들을 크게 능가하며, DET$_l$에서 {\textbf{+3.1}}, TOP$_{ll}$에서 {\textbf{+5.3}}, TOP$_{lt}$에서 {\textbf{+4.9}}, OLS 전체에서 {\textbf{+4.4}}의 향상을 달성하여 새로운 최신 기술(state-of-the-art)을 수립한다.
대리 안전 지표(SSM, surrogate safety measures)는 사전적 교통 안전 평가를 가능하게 하지만, 기존 방법의 다수는 쌍방(pairwise) 상호작용을 독립적으로 평가하거나 다중 에이전트 장면을 고정된 특징 벡터로 평탄화하여, 이질적 상호작용 구조와 변화하는 장면 수준 위험을 표현하는 능력을 제한한다. 본 연구는 교통 충돌 평가를 시간적 이질적 장면 그래프(scene-graph) 분류로 공식화하고, SSM 기반 다중 헤드 어텐션을 갖춘 이질적 엣지-관계 그래프 신경망인 HERMES를 제안한다. 차량과 보행자는 이질적 노드로 표현되고, 차량-차량, 차량-보행자, 보행자-보행자 상호작용은 연속적인 운동학적 및 대리 안전 특징(descriptors)을 갖는 관계별 엣지로 인코딩된다. 관계별 어텐션, 동적 노드-엣지 업데이트, 안전 인식 그래프 풀링, 시간적 시퀀스 학습을 함께 사용하여 장면 수준 충돌 확률을 추정한다. HERMES는 신호가 있는 도시 교차로에서 궤적 기반으로 수집한 109,028개 시퀀스로 평가되었고, 독립적으로 수집한 유사 교차로 데이터셋에서 검증되었다. 강화된 HERMES는 AUC-ROC 0.9898 +/- 0.0013, AUC-PR 0.9412 +/- 0.0067, F1 점수 0.8449 +/- 0.0103을 달성했다. 5% 오경보율에서 충돌 시퀀스의 95.7%를 탐지하여, 가장 강력한 트랜스포머 기준선과 XGBoost를 능가했다. 제로샷(zero-shot) 외부 평가에서 HERMES는 AUC-ROC 0.9752, AUC-PR 0.7829를 달성했다. 공동 소스-타깃 학습은 제한된 타깃 현장 데이터에서도 타깃 현장 성능을 추가로 개선했다. 이러한 결과는 이질적 상호작용 위상, 안전 정보를 반영한 엣지 의미론, 단기 시간적 진화를 보존하는 것이 장면 수준 충돌 분류를 향상시키고 신호 교차로에서 전이 가능한 도로변 안전 모니터링을 지원함을 보여준다.
내비게이션 시스템을 대규모로 배포하려면 센서 가정을 최소화하고, 로봇 형태에 걸쳐 일반화하며, 효율적으로 학습할 수 있는 방법이 필요하다. 그러나 오늘날 최고 수준의 시스템은 깊이 센서, 다중 카메라 장치, 또는 사전 구축된 지도에 의존하여 지원하는 하드웨어를 제한하고 배포 비용을 증가시킨다. 우리는 이러한 확장성 목표를 중심으로 구축된 80억 파라미터 비전-언어 모델 Robostral Navigate를 제안한다. 이 모델은 로봇 플랫폼 전반에서 가장 보편적인 센서인 단안 RGB 이미지 스트림만 입력으로 받으며, 현재 카메라 시야에서 다음 목표 위치를 가리키는 방식으로 웨이포인트(waypoint)를 예측한다. 로봇별 좌표계가 아닌 순수하게 이미지 공간에서 동작하기 때문에, 정책은 카메라 내부 파라미터와 장면 스케일 변화에 자연스럽게 견고해지며, 재보정 없이 바퀴형, 다리형, 공중 로봇에 배포할 수 있다. 우리는 실제 세계 데이터 수집에 대한 의존을 줄이고 쉽게 확장하기 위해 35만 개의 시뮬레이션 장면에서 240만 개의 궤적을 생성한다. 또한 전체 에피소드를 단일 학습 시퀀스에 패킹하는 접두 문맥 캐싱(prefix-caching) 학습 방법을 도입하여, 학습 토큰을 22배 줄이고 학습 시간을 수개월에서 수일로 단축했다. 트리 기반 어텐션 마스크는 이전 정답 행동에 대한 조건화를 방지하여 시각적으로 그라운딩된 행동 예측을 촉진하며, 강화학습을 사용해 탐험 및 복구 능력을 더욱 향상시킨다. 연속 환경 Room-to-Room 및 Room-Across-Room(R2R-CE 및 RxR-CE) 벤치마크에서 Robostral Navigate는 새로운 최고 수준을 기록했다. R2R-CE에서 단일 RGB 카메라만 사용함에도 77.4% 성공률을 달성하여, 최고의 단안 방법보다 10.5 포인트, 가장 강력한 깊이 또는 다중 카메라 시스템보다 5.3 포인트 높다. RxR-CE에서는 75.1% 성공률에 도달하여 모든 단안 baseline을 능가한다.
비록 빠른 진전이 있었지만, 2D 시각 입력으로 구축된 대부분의 기존 비전-언어 모델(VLM)은 미세한 공간 이해와 추론을 요구하는 다양한 3D 작업을 처리할 때 종종 어려움을 겪는다. 이 격차를 해소하기 위해, 우리는 RGB 비디오로부터 학습된 암시적·명시적 3D 기하를 모두 갖추어 VLM의 3D 공간 인식을 향상시키는 통합 프레임워크인 VLM-IE3D를 제안한다. VLM-IE3D는 입력 비디오로부터 고수준 기하 사전지식(prior)을 포착하는 암시적 기하 토큰(Implicit Geometry Tokens, IGTs)과, 재구성된 3D 속성으로부터 상세한 기하 구조를 인코딩하는 보완적 명시적 기하 토큰(Explicit Geometry Tokens, EGTs)을 도입한다. 더 나아가 VLM-IE3D는 두 유형의 기하 표현을 2D 시각 단서와 효과적으로 융합하는 3D 인식 어댑터를 포함한다. 이 RGB 전용 설계는 추가 3D 입력 없이도 미세한 공간 이해와 추론을 위한 강한 3D 귀납 편향(inductive bias)을 주입한다. 광범위한 실험 결과, VLM-IE3D는 3D 비디오 검출, 3D 시각적 그라운딩, 3D 밀집 캡셔닝, 공간 추론 등 다양한 3D 작업에서 일관되게 우수한 성능을 달성함을 보여준다. 코드와 모델은 https://github.com/Vegetebird/VLM-IE3D에서 이용할 수 있다.
멀티-에이전트 상호작용 월드 모델은 일관된 관측을 생성할 뿐만 아니라, 에이전트 간에 지속되고 시점(view)에 따라 진화하는 월드 상태를 유지해야 한다. 기존 자기회귀 비디오 확산 파이프라인은 관측 이력을 조건화 컨텍스트(conditioning context)로 전달하며, 이는 멀티-에이전트 및 멀티-뷰 설정에서 공유 상태를 유지하기 어렵게 만든다. 우리는 WorldWeaver(W^2)를 제안한다. 이는 롤아웃을 크로스-에이전트 월드 상태 레지스터로 보강하는 스트리밍 멀티-에이전트 비디오 확산 모델이다. 이 레지스터는 공유 월드 정보를 저장하고, 개별 에이전트 상태를 추적하며, 각 생성 청크(chunk) 이후 동적으로 갱신되는 학습 가능한 토큰(token)이다. 우리는 개별 에이전트 상태, 조감도(bird's-eye view)를 포함한 전역 상태 뷰, 장면 텍스트에 걸친 감독 신호로 이러한 레지스터를 그라운딩(grounding)한다. 또한 월드 상태 모델링과 시각적 프레임 모델링에 별도의 가중치를 사용하는 Mixture-of-Transformers 설계로 아키텍처를 개선한다. Minecraft 두 에이전트 비디오 생성에서의 광범위한 실험 결과, 명시적 월드 상태 모델링이 논리적 일관성과 생성 품질을 향상시킴을 보여준다.
장면 이해는 기하학, 외관, 의미론에 대한 동시 예측을 요구한다. 그러나 기존 태스크별 주석은 호환되지 않는 도메인별 데이터셋에 걸쳐 파편화되어 있다. 현재의 통합 시스템은 완전 공동 주석 데이터로만 학습을 제한하거나, 의사 라벨링(pseudo-labeling)의 큰 계산 비용을 감수함으로써 이를 우회한다. 이를 완화하기 위해, 우리는 깊이, 표면 법선, 의미 분할, 경계, 인체 부위, 알베도, 셰이딩, 재질이라는 여덟 가지 밀집 장면 속성을 분리된 도메인별 데이터셋에서 공동으로 예측하는 통합 비디오 모델 UniD를 제안한다. 우리는 태스크별 전문가가 경량 태스크 프로젝터를 통해 통합 백본을 지도하는 간단하면서도 효과적인 지식 증류(distillation) 단계를 제안하며, 이를 통해 주석 중복이나 의사 라벨링이 필요 없게 한다. 우리의 핵심 통찰은 사전학습된 diffusion 모델의 강력한 시각적 사전 지식(prior)이 분리된 학습 소스로 인해 발생하는 도메인 간격을 메우기에 충분하여, 학습 중 한 번도 보지 못한 장면-태스크 조합에 대한 강건한 일반화를 가능하게 한다는 것이다. UniD는 태스크별 전문가 및 멀티태스크 기준선 대비 경쟁력 있는 성능을 달성하며, 분포 외(out-of-distribution) 시나리오에 대한 강한 일반화와 향상된 시간적 및 교차 태스크 일관성을 보인다. 코드와 비디오 결과는 https://unid-video.github.io/ 에서 확인할 수 있다.
비디오에서 움직임을 이해하는 것은 시각 학습의 근본적인 과제이며, 프레임 간 변화는 카메라 움직임과 객체 움직임이라는 두 가지 동역학 원천을 얽히게 한다. 이러한 분해는 자연 비디오에서 이러한 요인들이 밀접하게 결합되어 있고 각각을 따로 지도하기 어렵기 때문에, 표현 학습에서 충분히 탐구되지 않은 채 남아 왔다. 그럼에도 이를 복원하는 것은 의미 있는 객체 동역학을 카메라에 의한 변화와 분리하는 강건한 움직임 표현을 학습하는 데 중요하다. 우리는 사전학습된 이미지 비전 트랜스포머의 고정된 특징으로부터 이러한 구조화된 움직임 표현을 복원할 수 있는지 연구한다. 우리는 Structured Dynamics Model(SDM)을 제안하며, 이는 비디오 변화를 단일로 얽힌 잠재 변수나 비구조화된 공간적으로 밀집된 전이 토큰으로 표현하는 대신, 미래 특징 예측을 통해 시간적 변화의 지배적 원천을 잔여 동역학과 명시적으로 분리한다. 학습은 실제 비디오에 대한 자기지도 학습과 합성 Kubric 데이터에서의 장면 동역학에 대한 약지도를 결합한다. 우리는 카메라 움직임, 객체 움직임, 복합 동역학을 포함하는 합성 및 실제 비디오를 아우르는 새로운 평가 스위트인 ProbeMotion에서 SDM을 평가한다. SDM은 전역 CLS 또는 평균 풀링된 특징을 사용하는 백본 기준선들을 능가하며, 훨씬 더 약한 지도를 사용함에도 여러 프로브에서 VGGT와 같은 강한 지도 표현과 유리하게 비교된다. 이러한 결과는 사전학습된 이미지 모델이 구조화된 비디오 동역학 표현으로 손쉽게 재활용될 수 있음을 시사하며, 잠재 비디오 동역학을 학습하고 분석하는 데 유용한 귀납적 바이어스를 제공한다.
그래디언트 기반 현저성(saliency) 방법은 어떤 입력 특징이 신경망의 출력에 가장 큰 영향을 미치는지 밝혀내며, 모델 해석 가능성을 위한 표준 도구이다. 우리는 매개변수 최적화(optimization)에 통상적으로 사용되는 미분 가능 렌더러(differentiable renderer)가 유사한 형태의 현저성을 생성한다는 점을 관찰한다. 렌더링된 이미지에서 평가된 임의의 스칼라 metric에 대해, 단일 역방향 모드 미분(reverse-mode differentiation) 패스는 어떤 장면 요소가 해당 metric에 가장 큰 영향을 미치는지 식별하는 매개변수별 그래디언트를 산출한다. 우리는 이러한 그래디언트 필드를 metric saliency map(지표 현저성 맵)이라고 부른다. 학습된 가중치를 통해 attribution을 전파하는 신경망 현저성과 달리, metric saliency는 다중 반사(multi-bounce) 광 전송을 포함하여 이미지 형성(image formation) 과정 자체를 통해 전파되며, 수동 검사로는 반투명(semi-opaque)하게 파악하기 어려운 매개변수 의존성을 포착한다. 우리는 정성적으로 서로 다른 목표 함수에 대해 metric saliency map을 계산한다: 심리시각적(psychovisual) 눈부심(glare) 지수, 평균 장면 휘도(mean scene luminance), 신경망 지각 점수(neural perceptual scores). 동일한 장면에서도 metric에 따라 현저성 순위가 크게 달라지며, 한 목표를 지배하는 매개변수가 다른 목표에서는 무시할 수 있는 수준이 된다. 현저성 맵은 장면의 고유 속성(intrinsic property)이 아니라 특정 metric에 종속적이다. 우리의 결과는 미분 가능 렌더러가 생성하도록 설계된 원(primal) 이미지만큼이나 장면 이해(scene understanding)에 유익한 도함수(derivative) 이미지를 생성한다는 점을 시사한다.
위상 지도(topological map)는 자율주행 인지 시스템의 핵심 출력물로, 경로 계획(path planning)에 필요한 필수 도로 정보를 제공한다. 이는 중심선(centerline)과 교통 표지(traffic sign) 같은 인스턴스와 그들의 연결성 관계를 식별한다. 실제 환경에서는 중심선에 대한 명시적 표시가 부족하기 때문에, 중심선 인스턴스 탐지는 여전히 중요한 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 명시적 사전 지도(prior map)와 암묵적 공간 관계를 활용하여 위상 매핑을 계층적으로 향상시키는 HGeo-TopoMap을 제안한다. 먼저, 역원근 투영(inverse perspective mapping)을 통해 얻은 도로 구조 지도에 대해 기하학적 적응 학습(geometric adaptive learning) 모듈을 설계한다. 이 모듈은 지도로부터 의미적 및 공간적 특징을 이산적으로 인코딩한 뒤, 정보가 풍부한 영역에 선택적으로 집중하는 사전 마스크 어텐션(prior-mask attention) 메커니즘을 적용한다. 다음으로, 중심선의 기하학적 속성과 공간 관계를 활용하는 기하학적 일관성 학습(geometric consistency learning) 모듈을 고안한다. 기하학 인식(geometry-aware) 디코더 위에 구축되어, 동일한 기하학적 방향을 가진 중심선 인스턴스의 특징을 정렬함으로써 공간적 일관성을 강제한다. 제안 방법은 OpenLane-V2 데이터셋에서 중심선, 차선 세그먼트(lane segment), 견고성(robustness) 벤치마크에 걸쳐 평가된다. 위상 매핑 정확도의 상당한 개선 외에도, 제안 방법은 견고성 향상이라는 이점을 제공하며, 표준 및 어려운 조건 모두에서 베이스라인을 일관되게 능가한다. 소스 코드와 모델 가중치는 https://github.com/lynn-yu/HGeo-TopoMap 에서 공개될 예정이다.
위성 영상의 구조적 이해는 저수준 지각에서 고수준 인지까지 동적 지리공간 장면 분석을 발전시키는 데 필수적이다. 객체 중심 인지를 넘어서기 위해, 본 논문은 위성 영상에서의 시공간 팬옵틱 장면 그래프 생성(spatio-temporal panoptic scene graph generation, TPSG)을 새로운 벤치마크 과제로 제안한다. TPSG는 명시적 시간 구간을 갖는 <주체(subject), 관계(relationship), 객체(object)> 삼중항 집합으로 구성된 구조화된 그래프를 생성하는 것을 목표로 하며, 팬옵틱 장면 요소 간의 정체성 일관 인스턴스 마스크와 시공간 관계를 공동으로 모델링함으로써 동적 지리공간 장면을 기술한다. 그러나 위성 영상에서의 TPSG를 위한 전용 데이터셋은 아직 존재하지 않는다. 또한 위성 영상에서의 TPSG는 본질적으로 어려운데, 객체가 종종 작고 질감이 약하며, 프레임 간 연관이 가림(occlusion)과 배경 잡음(background clutter)에 의해 쉽게 방해받고, 관계 의미는 공간 구조 및 시간적 진화와 밀접하게 결합되어 있기 때문이다. 결과적으로 자연 영상(natural videos)용으로 개발된 TPSG 모델은 위성 영상에 직접 적용할 수 없다. 본 논문은 위성 영상에서의 TPSG를 위한 대규모 벤치마크 데이터셋인 T-STAR를 제시하며, 39개의 세분화된 객체 범주와 70개의 세분화된 관계 범주에 걸쳐 110만 개 이상의 인스턴스 마스크와 380만 개 이상의 시공간 삼중항을 포함한다. 위성 영상에서 TPSG를 가능하게 하기 위해, 프레임 간 인스턴스 일관성과 시공간 관계 예측을 향상시키는 통합 프레임워크를 제안한다. 광범위한 실험을 통해 T-STAR의 중요성과 제안 프레임워크의 효과를 입증하여, 구조화된 위성 영상 이해에 대한 향후 연구를 위한 강력한 벤치마크를 확립한다. 데이터셋과 코드는 https://github.com/linlin-dev/T-STAR 에서 이용할 수 있다.
독립적인 인도 이동은 시각장애 및 저시력 보행자(BVIP)에게 필수적이지만, 스마트폰 기반 보조 내비게이션은 보행 가능한 인도와 인접한 위험 구역을 구분하는 지각 모델이 필요하다. 본 연구는 미래 모바일 안내를 위한 안전 지향 의미 분할(semantic segmentation) 프레임워크를 제시한다. 우리는 2,752개의 이미지-마스크 쌍과 9개 클래스의 내비게이션 관련 분류 체계를 갖춘 가슴 높이 보행자 시점 데이터셋 SENSATION-DS를 소개한다. 외부 도시 및 인도 데이터셋을 이 레이블 공간에 맞게 조화했으며, 마스크 조건 합성 이미지와 Segment Anything Model 2(SAM2) 의사 레이블을 사용한 단계적 타깃 도메인 적응(staged target-domain adaptation)으로 5가지 분할 아키텍처를 평가했다. 모델은 평균 교차율(mIoU), 도로 및 인도 특화 지표, 대리 거짓 안전(proxy false-safe) 척도인 Road-as-Sidewalk Error Rate, Android Open Neural Network Exchange(ONNX) 벤치마킹으로 평가되었다. 합성 증강은 일반적으로 분할 정확도를 향상시켰으며, SAM2 의사 레이블은 Road-as-Sidewalk 오류를 더 일관되게 감소시켰다. UPerNet-MobileNetV3는 최고 오프라인 mIoU(0.715 ± 0.006)를 달성했으며, DeepLabV3Plus-MobileNetV3는 최저 Road-as-Sidewalk Error Rate(0.079)와 512×384 해상도에서 최고 Android 런타임(7.383 FPS)을 달성했다. 이 결과는 보조 인도 지각이 분할 정확도, 대리 거짓 안전 행동, 스마트폰 배포 가능성을 함께 평가해야 함을 보여주며, 실제 세계적 이득은 BVIP 사용자와의 검증이 필요하다. 이 평가는 정확한 지각, 보수적 오류 행동, 실용적 런타임의 균형을 맞추는 모델 선택을 뒷받침한다.
비주얼 이해에서 눈에 띄는 진전에도 불구하고, 다중모달 대규모 언어 모델(MLLM)은 공간 관계를 추론할 때 여전히 환각에 취약하며, 장면의 실제 3D 구조와 모순되는 판단을 내는 경우가 많다. 기존 여러 연구가 환각 완화를 제안했지만, 우리의 분석에 따르면 이들은 2D 시각 표현과 3D 공간적 현실 사이의 근본적 격차를 메우지 못해 공간 추론에서 제한적인 효과만을 보인다. 이 발견을 바탕으로, 우리는 공간 구조 모델링의 부족에서 기인하는 환각을 공간 추론 환각(spatial reasoning hallucination)으로 정의하며, 이는 기존 완화 방법이 다루지 못하는 관계 환각(relation hallucination)의 하위 범주이다. 또한 이러한 환각이 빈번히 발생하는 세 가지 전형적 시나리오를 밝혔다: 원근 효과(perspective effects), 객체 방향(object orientation), 시점 변화(viewpoint changes). 이에 우리는 기하학적 증거와 구조화된 3D 추론을 통합하여 공간 추론 환각을 완화하는 학습 없는(training-free) 플러그 앤 플레이(plug-and-play) 프레임워크인 Geo3R을 제안한다. 세 가지 시나리오를 모두 아우르는 18개 과제를 포함한 세 벤치마크에서의 실험 결과, Geo3R은 추가 학습 없이 다양한 MLLM에서 공간 추론 환각을 크게 줄였으며, 기존 모델과 방법들을 능가했다.
공간 지능(spatial intelligence)은 에이전트가 정적 의미 이해에서 물리 세계와 상호작용하는 단계로 나아가는 데 필수적이다. 많은 공간 과제는 연속적인 시각 장면에 그라운딩(grounding)되어 있으며, 위치·영역·경로는 정확한 좌표나 이산적인 텍스트 기호를 보고하는 것보다 가리키기, 표시, 그리기로 표현하는 것이 더 자연스럽다. 그러나 기존 공간 추론 벤치마크는 보통 좌표, 선택지, 또는 텍스트를 요구하여 이미지 생성 모델에 답변 인터페이스 불일치를 만든다. 이는 픽셀 공간에 공간 판단을 직접 외재화할 수 있는 능력에도 불구하고, 텍스트 출력 VLM과 동일한 과제 의미론 하에서 이미지 생성 모델을 평가하기 어렵게 만든다. 우리는 ProVisE(Protocolized Visual Evaluation)를 제안한다. 이는 벤치마크에 구애받지 않는 프레임워크로, 이미지 생성 모델로부터 프로토콜 제약 시각 답변을 유도하고 이를 원래 메트릭과 호환되는 구조화된 예측으로 파싱한다. ProVisE는 또한 새로운 벤치마크를 위한 과제별 프로토콜을 구성하고 검증하는 에이전틱(agentic) 빌더를 포함한다. 또한 SpatialGen-Bench를 도입한다. 이는 14개 공간 하위 과제, 4개 역량 수준, 다양한 답변 형식에 걸친 470개 샘플로 구성된 큐레이션된 진단 벤치마크이다. 대표적인 텍스트 출력 VLM과 이미지 생성 모델을 통합 설정에서 평가하고, 6개 외부 공간 벤치마크에서 에이전틱 프로토콜 구성을 검증한다. 결과는 공간 답변이 픽셀 공간에 직접 외재화될 수 있을 때 이미지 생성 모델이 경쟁력을 보인 반면, 텍스트 출력 VLM은 조합적 공간 추론에서 뚜렷한 우위를 유지함을 보여준다. 이러한 발견은 픽셀 공간 표현과 텍스트 기반 추론의 상보적 강점을 밝히고, 이미지 생성 모델의 공간 인지 연구를 위한 메트릭 호환 테스트베드(testbed)를 확립한다.
자율 생의학 실험실은 투명 플라스틱 기구를 인식하고, 위치를 특정하며, 조작하는 데 점점 더 시각적 지각에 의존하고 있지만, 이 환경을 위한 고품질 실세계 데이터셋은 여전히 제한적이다. 도메인 관련 데이터의 부족은 특히 혼잡한 다중 객체 장면에서 제약적이며, 여기서 상호 가림과 시점 의존적 외관 변화는 최신 시각 기반 모델(foundation model)에서도 여전히 어려운 과제로 남아 있다. 기존 투명 객체 데이터셋은 분할(segmentation), 깊이, 자세 추정을 발전시켜 왔지만, 일반적으로 실험실 조작 장면을 특징짓는 다중 객체 혼잡, 가림, 보정된 다중 시점 캡처의 결합된 설정을 평가하지는 않는다. 이 공백을 해소하기 위해, 우리는 보정된 다중 시점 시퀀스로 캡처된 혼잡한 투명 생의학 객체의 실세계 RGB-D 데이터셋인 TransBiolab을 제시한다. TransBiolab은 98개 장면에서 161,315프레임과 15가지 실험실 객체 유형에 걸친 103만 개의 인스턴스 주석을 포함하며, 6D 자세, 전체 및 가시 마스크, 깊이, 프레임별 카메라 보정을 제공한다. 데이터셋은 운영 난이도를 반영하는 세 가지 축을 따라 구성된다: 객체 범주, 프레임 내 객체 총수, 카메라 시점. 우리는 또한 분할, 깊이 추정 및 완성(completion), 6D 자세 추정을 위한 데이터셋 중심 벤치마크를 정의하고, 공개된 주석과 보정을 통해 가능해진 시스템 수준의 로봇 조작 평가를 보고한다. 반복되는 투명 인스턴스, 혼잡, 다중 시점 실험실 캡처에 초점을 맞춤으로써, TransBiolab은 자율 실험실 조작에서 분할, 깊이 추정, 6D 자세 추정, 다중 시점 추론을 위한 자원을 제공한다. 프로젝트 페이지: https://dualtransparency.github.io/TransBiolab/.
대규모 비전-언어 모델(LVLM)에 대한 적대적 공격은 교차 모달 의미 이해에서 모델의 견고성(robustness)을 평가하는 효과적인 수단이다. 기존 연구는 주로 시각 입력을 손상시켜 일반적인 비전-언어 과제에서 사전 정의된 오류 응답을 유도하는 데 초점을 맞추고 있으나, 원격 탐사 분야에 대한 해당 연구는 대부분 미탐색 상태로 남아 있다. 자연 영상 이해와 비교할 때, 원격 탐사 영상 해석은 국소적 판별 단서와 전역 장면 문맥에 대한 결합 추론을 요구한다. 이는 블랙박스(black-box) 설정에서 지정된 응답을 향한 전이 가능한 의미 조작을 달성하는 데 추가적인 과제를 제기한다. 이러한 과제를 해결하기 위해, 우리는 원격 탐사 영상 해석을 위한 LVLM에 대한 전이 가능한 표적 적대적 공격 방법인 GeoThreat를 제안한다. 구체적으로, GeoThreat는 개념적 수준과 지각적(perceptual) 수준 모두에서 목표 콘텐츠에 따라 적대적 표현을 조절한다. 대리(surrogate) 이미지 인코더의 클래스 토큰은 개념적 표현으로 사용되며, 지각적 표현은 협력적 중요도 추정을 통해 적대적 예제의 패치 토큰으로부터 증류(distilled)된다. 단순히 여러 레이어에 걸쳐 어텐션 점수를 전개(rolling out)하는 것을 넘어, 우리는 적대적 목표 유사도 그래디언트를 통합하여 의도된 의미 조작과 관련된 국소 시각 단서의 관련성을 더 충실하게 특성화한다. 그런 다음 지각적 표현을 교차-어텐션(cross-attentive) 방식으로 목표 패치 토큰과 동적으로 정렬하여, 국소 단서가 지정된 의미적 세부사항을 향해 적응되도록 한다. 마지막으로, 적대적 교란은 개념적 보정과 지각적 적응의 앙상블 기반 공동 최적화를 통해 반복적으로 갱신된다. 다양한 LVLM에 걸친 광범위한 실험은 전이성(transferability)과 제어 가능성(controllability) 모두에서 GeoThreat의 우수성을 입증한다.
우리는 더 풍부한 시각적 표현이 도시 몰입(urban engagement)에 대한 더 인간 정렬된 측정치를 산출하는지를 검토한다. 이를 위해 YouTube의 1인칭 도시 산책 영상 61개를 10초 클립 50,000개 이상으로 분할하고, 시공간(spatiotemporal) 영상 특징, 시간 평균 이미지(TAI, temporally averaged images), 오디오 임베딩(embedding), 텍스트 기반 의미론적 설명의 네 가지 모달리티로 표현한다. Spearman 상관 분석은 시간적 풍부성(temporal-richness) 연속체를 따른 기대되는 순서를 보여주며, 영상 특징이 가장 강한 연속적 정렬을 나타낸다. 그러나 이러한 순서는 고몰입 대 저몰입 순간의 이진 분류(classification) 하에서—지각 점수 모델(perceptual scoring models)을 학습하는 데 가장 흔히 사용되는 패러다임—무너지며, 이 경우 TAI는 대부분의 분류기(classifier)와 분위(quantile) 임계값에서 일관되게 영상과 동등하거나 더 나은 성능을 보인다.
Amazon Mechanical Turk에서 수행한 독립적인 2대안 강제 선택(two-alternative forced-choice) 연구는 이러한 동등성이 인간 판단을 반영함을 확인한다. 참가자들은 TAI와 전체 영상 클립으로부터 몰입적인 순간을 비슷한 정확도로 식별했으며, 텍스트는 상당히 낮은 성능을, 오디오는 거의 우연 수준에 머물렀다.
격차(gap) 분석은 기능적 분리(functional dissociation)를 드러낸다. 영상 특징은 동적 콘텐츠가 있는 활동 중심(activity-driven) 장면에서 유리하고, TAI는 안정적인 공간 구조가 지배하는 구도 중심(composition-driven) 장면에서 인간 판단과 더 잘 정렬된다. 이러한 결과는 더 풍부한 표현이 본질적으로 더 인간 정렬적이라는 가정에 도전하며, 지각적으로 근거 있는 시간적 압축(perceptually grounded temporal compression)이 전체 영상 인코딩(full video encoding)에 대한 원칙적인 대안이 될 수 있음을 시사한다.