지면 분할은 지상 이동 플랫폼에서 자율 주행, 환경 인식, 객체 검출을 위한 기본적인 전제 조건이다. 희소한 장거리 포인트 클라우드, 지면 요철, 복잡한 도로 시나리오에서 비지면 구조물의 간섭으로 인한 지면 점의 과소 분할(under-segmentation) 문제를 해결하기 위해, 본 논문은 적응형 동심 구역(Adaptive Concentric Zone) 모델 기반의 2단계 지면 분할 방법을 제안한다. 먼저, 각 링(ring)의 섹터(sector) 수를 동적으로 결정하여 보다 균형 잡힌 점 분포를 갖는 국소 구역을 형성하는 적응형 동심 구역 모델을 구축한다. 이 모델을 기반으로 2단계 지면 분할 방법을 개발한다. 1차(거친) 분할 단계에서는 최저 높이 시드(seed) 제약과 높이 감쇠(height-decay) 가중치를 도입하여 가중 주성분 분석(PCA) 평면 적합 모델을 구성하고, 이로부터 지면 후보 점들을 추출한다. 2차(정밀) 분할 단계에서는 반사 강도(reflectance intensity) 일관성 제약을 사용하여 고신뢰 지면 점과 불확실 점을 구별하고, 불확실 점은 고신뢰 이웃의 국소 높이 안정성에 기반하여 추가로 정제한다. 실험 결과, 제안 방법은 SemanticKITTI 데이터셋에서 정밀도(Precision), 재현율(Recall), F1-score가 각각 99.12%, 96.24%, 97.66%를 달성했으며, RUBY-PLUS로 수집한 자체 포인트 클라우드에서는 각각 98.72%, 100.00%, 99.36%를 기록했다. 결과는 제안 방법이 근거리에서는 밀집하고 원거리에서는 희소한 LiDAR 포인트 클라우드의 거리 의존적 분포 특성에 효과적으로 적응할 수 있음을 보여준다. 또한 지면 점 재현율을 유지하면서 비지면 점의 오분류를 줄여, 지면 분할의 안정성을 효과적으로 향상시킨다.
군중 환경에서의 정확한 보행자 궤적 예측은 인간 움직임의 멀티모달 불확실성과 서로 다른 장면 맥락에서 운동 역학의 가변적 복잡성으로 인해 여전히 어려운 과제이다. 기존 목표 조건부(goal-conditioned) 모델은 모든 과거 시간 단계에 동일한 가중치를 부여하는 정적 변위 구조, 표준 그래프 어텐션 메커니즘, 그리고 국소적 예측 복잡도에 적응할 수 없는 고정 용량 운동 디코더에 의존한다. 이러한 한계를 해결하기 위해, 세 가지 상보적 모듈을 기반으로 한 궤적 예측 프레임워크인 TSCA-Net을 제안한다. 시간-공간 클리크 어텐션(TSCA) 모듈은 클리크 기반 목표-이력 상호작용에 학습 가능한 시간 게이팅을 도입하여, 각 후보 목표에 대해 과거 관측치의 시간 인식 조절을 가능하게 한다. 교차 보행자 클리크 포텐셜(CPCP) 모듈은 시간에 따라 변하는 사회 그래프를 갖는 동적 클리크 포텐셜 프레임워크를 통해 비대칭적 쌍별 에이전트 관계를 모델링한다. 적응형 KAN 그리드 정제(AKGR) 메커니즘은 에이전트별 목표 분포 엔트로피에 따라 Kolmogorov-Arnold Network 보강 LSTM 디코더의 B-스플라인 그리드 해상도를 동적으로 조정하여, 다양한 운동 복잡도에 걸쳐 모델 표현력과 과적합 사이의 균형을 맞춘다. ETH/UCY 및 Stanford Drone Dataset 벤치마크에 대한 광범위한 실험은 TSCA-Net이 최첨단 성능을 달성함을 보여주며, ETH/UCY에서 평균 ADE/FDE는 0.13/0.20 m이고 SDD에서는 6.95/10.43 픽셀이다. 포괄적 ablation 연구는 제안된 세 모듈 모두의 상보적 기여를 확인한다.
게임 엔진은 비디오 모델이 학습하기 어려운 것, 즉 모든 프레임 뒤에 있는 완전하고 명시적인 월드 상태를 갖고 있다. 우리는 이를 데이터 도구로 전환한다. 프로덕션급 오픈소스 시스템인 GEST-Engine은 절차적으로 생성되었든 텍스트에서 유래했든 공간과 시간의 사건 그래프(Graphs of Events in Space and Time, GEST)를 결정론적으로 실행하여 동기화된 다중 행위자 시나리오의 비디오를 생성하고, 렌더링 과정에서 3D 엔티티·카메라 상태, 쌍별 공간 관계, 이벤트-프레임 매핑, 인스턴스 세그멘테이션, 긴 설명 등의 정답(ground truth)을 추가 주석 비용 없이 기록한다. 이를 통해 우리는 GTASA를 공개한다. GTASA는 해당 시스템이 임의 규모로 생성할 수 있는 것의 938개 비디오 샘플이며, 우리가 아는 한 어떤 비디오 데이터셋보다 가장 조밀한 공간 관계 커버리지를 제공한다. 모든 프레임에서 완전한 엔티티 쌍 관계 그래프를 담고 있으며, 최신 기술 대비 프레임 단위로 약 84배 더 조밀하다. 우리는 GTASA를 정성·정량적으로 검증한다. 정성적으로는 동일한 프롬프트를 준 최첨단 신경 생성기가 대체로 실패하는 물리적 타당성과 의미 정렬에 대한 인간 평가를 통해, 정량적으로는 GTASA 사전학습이 VLM 비디오 캡셔닝을 개선함을 통해 검증한다. GTASA의 정확한 3D 정답으로 가능해진 11개 시공간 과제에 걸쳐 여섯 개의 고정(frozen) 비디오 인코더를 탐색(probing)한 결과, 이전에는 검증할 수 없었던 고정 비디오 특징의 엔티티 간 관계 탐침이 누가 누구 근처에 있는지(who-is-near-whom)를 모든 인코더에서 거의 우연 수준 이상으로 맞추지 못함을 보여준다. 우리는 엔진, 코퍼스, 벤치마크를 공개하여 이 격차를 측정 가능하고 학습 가능한 목표로 삼을 수 있게 한다.
3D Gaussian Splatting(3DGS)의 최근 발전으로 동시 위치 추정 및 매핑(SLAM) 시스템이 포토리얼리스틱 지도를 구축할 수 있게 되었다. 그러나 이러한 지도는 로봇 상호작용에 필요한 개방 어휘(open-vocabulary) 의미 이해를 갖추지 못한다. SLAM에 언어 특징을 통합하는 것은 여전히 큰 과제로 남아 있다. 고차원 특징을 저장하면 과도한 메모리와 렌더링 오버헤드가 발생하고, 정적 모델을 사용하는 기존 방법은 새로운 환경에 대한 적응성이 부족하기 때문이다. 우리는 3DGS 기반 SLAM 시스템 내에서 실시간 개방 어휘 매핑을 달성하는 프레임워크인 LEGO-SLAM(Language-Embedded Gaussian Optimization SLAM)을 제안한다. 우리 방법의 핵심은 장면 적응형 오토인코더로, 고차원 언어 임베딩을 압축된 16차원 특징 공간으로 지식 증류(distillation)하여 가우시안당 메모리를 줄이고 렌더링을 가속한다. 정적 접근법과 달리, 우리의 인코더는 보이지 않았던 장면에 온라인으로 적응한다. 이러한 압축된 특징은 의미적 중복을 식별하는 언어 유도 가지치기 전략도 가능하게 하여, 렌더링 품질을 유지하면서 지도의 가우시안 수를 최대 58%까지 줄인다. 또한 매핑을 위해 이미 추출된 언어 특징을 재활용하는 언어 기반 루프 감지(loop detection) 접근법을 도입하여 별도의 감지 모델이 필요 없게 한다. 실험 결과 LEGO-SLAM은 15 FPS에서 개방 어휘 기능을 제공하면서도 경쟁력 있는 매핑 품질과 추적 정확도를 달성함을 보여준다. 프로젝트 페이지는 https://lab-of-ai-and-robotics.github.io/LEGO-SLAM/ 에서 확인할 수 있다.
위성 영상을 이용한 3D 도시 생성은 확장 가능한 디지털 트윈(digital twin)과 실세계 시뮬레이션 환경을 위한 중요한 과제이다. 기존 접근법은 주로 씬 수준(scene-level) 생성 패러다임에 의존하며, 이는 대규모 3D 도시 자산을 필요로 하는 경우가 많고 실세계 도시 환경에서의 제어 가능성, 지리적 정렬, 현실적인 외관 그라운딩(grounding)에 어려움을 겪는다. 이러한 한계를 해결하기 위해, 우리는 위성 영상으로부터 확장 가능한 도시 합성을 위해 객체 수준(object-level) 3D 생성 사전지식(generative priors)을 활용하는 그라운딩된 도시 생성 프레임워크인 Sat2RealCity를 제안한다. 우리 프레임워크는 도시를 지리적으로 그라운딩된 건물 개체로 분해하여, 실세계 공간 구조를 보존하면서 사전학습된 객체 수준 3D 생성 사전지식의 재사용을 가능하게 한다. 우리가 구축한 BuildVerse3D 데이터셋을 바탕으로, (1) 3D 생성 과정에 지리공간 제약을 주입하기 위한 OpenStreetMap(OSM) 기반 공간 그라운딩 전략을 도입하고, (2) 현실적인 건축 외관과 지역적 스타일 일관성을 위한 외관 기반 제어 가능 생성 메커니즘을 설계하며, (3) 지역 외관 이해와 의미 인식 기반 외관 합성을 위한 다중모달 대규모 언어 모델(MLLM) 기반 의미 파이프라인을 구축한다. 광범위한 실험을 통해 Sat2RealCity가 기존 도시 생성 및 3D 자산 생성 접근법과 비교하여 강한 지리적 정렬, 지역적 스타일 일관성, 그리고 그럴듯한 도시 자산 합성을 달성함을 보여준다.
위성 및 항공 영상 분석은 기반 모델(foundation models)의 등장으로 새로운 시대에 접어들었다. 본 논문은 다양한 방법론을 통해 대규모 지리공간 데이터셋에서 사전학습된 인공지능/머신러닝(AI/ML) 모델인 지리공간 기반 모델(Geospatial Foundation Models, GeoFMs)의 개념을 설명한다. 먼저 GeoFMs가 가능하게 하는 핵심 패러다임 전환, 즉 대규모 모델 제공자가 연산 집약적인 사전학습을 수행하고 도메인 전문가가 특정 임무 핵심 작업을 위해 이러한 모델을 신속하게 파인튜닝하거나 프롬프트할 수 있는 업무 분담을 설명한다. 이 접근법은 하류 작업의 보안과 기밀성을 유지하면서 최첨단 AI/ML에 대한 접근을 민주화한다. 다음으로, 마스킹 자동 인코딩과 같은 자기지도학습 기법으로 생성된 파인튜닝 가능한 비전 모델과, 개방 어휘 이미지 분석과 같은 제로샷 작업을 가능하게 하는 대조 학습으로 생성된 비전-언어 모델을 구분하면서, 다양한 유형의 GeoFMs가 열어주는 새로운 역량을 탐구한다. 이어서 성능-비용 분석부터 광범위한 MLOps 생태계에 이르기까지 GeoFMs를 운영화하기 위한 실무적 고려사항을 논의한다. 이를 위해 모델 적응 전략의 분류체계를 제시하고, 도메인 전문가가 특정 임무 집합에 대해 가장 비용 효율적인 적응 접근법을 선택할 수 있는 프레임워크를 제안한다. 마지막으로, 대규모 언어 모델(LLM)이 지능형 오케스트레이터로 작동하여 GeoFMs를 도구로 활용해 자연어로 고수준 사용자 질의에 답하고 복잡한 분석 워크플로를 자동화하는 에이전틱 지리공간 추론(Agentic Geospatial Reasoning)의 전향적 비전을 제시하며, 이 분야를 지각(perception)에서 인지(cognition)로 이동시킨다.
우리는 비전-언어 모델(VLM)에서의 문맥 의존적 어포던스(affordance) 계산 현상을 규명한다. 주요 연구에서는 Qwen3-VL-30B-A3B를 사용하며(COCO-2017에서 추출한 7개의 에이전트 페르소나 하에 479개 이미지로 구성된 $n = 3{,}213$개의 장면-문맥 쌍), LLaVA-1.5-13B를 통한 교차 모델 복제 실험을 수행한다. 우리는 상당한 어포던스 드리프트를 실증한다: 문맥 조건 간 평균 Jaccard 유사도는 $0.095$(95% 신뢰구간 $[0.092, 0.097]$, $N = 479$개 이미지, $9{,}244$개 프라임 쌍, $p < 0.0001$)로, 어휘적 장면 기술의 90% 이상이 문맥 의존적임을 나타내며, LLaVA 복제 실험에서도 동일한 효과가 재현된다(평균 $J = 0.160$, 84% 문맥 의존적). 문장 수준 코사인 유사도는 의미적 수준에서의 드리프트를 확인한다(평균 $= 0.415$, 58.5% 문맥 의존적). 확률적 기준선 실험(4개의 온도 및 5개의 시드에 걸친 $2{,}384$회 추론 실행)은 이것이 생성 노이즈가 아닌 실제 문맥 효과를 반영함을 확인한다: 모든 조건에서 프라임 내 분산이 프라임 간 분산보다 현저히 낮다. 부트스트랩 안정성 분석($n = 1{,}000$회 리샘플링)을 동반한 Tucker 분해는 안정적인 직교 잠재 요인을 드러낸다: 요리사 문맥에 격리된 "Culinary Manifold"와 아동-이동성 대조를 아우르는 "Access Axis". 어휘적 측정(90%)과 의미적 측정(58.5%) 간의 격차는 문맥 전환 시 표면적 어휘가 기저 의미보다 더 많이 변화함을 나타낸다. 이러한 발견들은 로보틱스를 위한 방향을 제시한다: 정적 세계 모델링이 아닌 동적이고 쿼리 의존적인 온톨로지 투영(JIT 온톨로지). 우리는 처리 순서나 아키텍처적 우선성을 확립하려 주장하지 않으며, 그러한 주장은 출력 동작을 넘어서는 내부 표현 분석을 필요로 한다.
본 논문에서는 자원 효율적인 고고도 UAV 내비게이션을 위해 학습이 불필요한(training-free) 설정에서 항공 비전-대화 내비게이션(AVDN) 과제를 다룬다. 다중모달 대규모 언어 모델(MLLM)을 단순 적용하면 방향 그라운딩의 취약성과 명시적 공간 메모리의 부재로 인해 불안정한 내비게이션이 발생한다. 이러한 문제를 해결하기 위해, 우리는 파싱-탐색-확인(Parsing-Search-Confirmation)의 3단계 추론 파이프라인과 구조화된 공간 메모리(SSM)를 긴밀하게 결합한 학습 불필요 프레임워크 PSC-AVDN을 제안한다. 파싱 단계에서는 LLM을 사용하여 모호한 대화 지시를 안정적인 기하학적 방향 및 목적지 단서로 변환한다. 이후 탐색 사고의 연쇄(S-CoT)가 고고도 관측 하에서 단계적 목표 탐험(exploration)을 수행하고, 확인 사고의 연쇄(C-CoT)가 후보 영역 주변에서 세밀한 검증을 수행하여 시각적 모호성을 해소한다. 한편, SSM은 다중 스케일 시각 관측, 공간 시각 메모리, 구조화된 기하학적 메모리를 포함하는 세 가지 상호 보완적 공간 단서 소스를 통합하여 전역 공간 컨텍스트와 장기적 일관성을 제공한다. ANDH 및 ANDH-Full에 대한 광범위한 실험을 통해 PSC-AVDN이 학습 불필요 설정에서 새로운 최고 성능을 달성하며, 여러 파인튜닝 기법과 동등하거나 이를 능가함을 입증한다. 코드는 https://github.com/QY6616/PSC-AVDN 에서 공개될 예정이다.
실세계 장면 이해를 위한 객체 중심 모델 배포는 일반적으로 강건한 장면 분해와 고품질 생성을 동시에 달성하기 위해 복잡한 파이프라인을 필요로 합니다. 최근 확산(diffusion) 기반 접근법들은 시각적 품질을 향상시켰지만, 이들은 거의 예외 없이 Stable Diffusion과 같은 무거운 사전학습 생성 사전(prior) 및 외부 VAE 잠재 공간에 의존합니다. 본 논문에서는 Slot-RAE를 제안합니다. 이는 시각적 기반 모델(VFM)(예: DINOv3)의 연속적인 의미 특징(feature) 공간 내에서 직접 동작하는 훨씬 단순하고 완전히 통합된 프레임워크입니다. Slot-RAE는 Diffusion 트랜스포머(DiT) 디코더와 표현 정렬(REPA, Representation Alignment) 헤드를 사용하는 특징 공간 확산 프로세스를 적용합니다. 텍스트-이미지 사전에 크게 의존하는 기존 확산 기반 객체 중심 방법들과 달리, Slot-RAE의 생성 핵심 구성요소(슬롯 어텐션과 DiT)는 고정된 VFM 특징 공간 내에서 처음부터 학습됩니다. 이를 통해 VAE 병목과 태스크 비특화 생성 사전학습의 필요성이 제거됩니다. COCO 데이터셋에 대한 실험 결과, Slot-RAE는 구조적 단순성에도 불구하고 최첨단 성능을 달성합니다. 기존 객체 중심 잠재 확산 모델보다 훨씬 빠르고 계산 효율적이면서도, 비슷한 수준의 비지도 객체 검출, 더 높은 품질의 이미지 재구성, 강건한 제로샷 합성성(compositionality)을 제공합니다.
비전 파운데이션 모델(VFM)에서 LiDAR 백본으로의 크로스 모달 증류는 최근 3D 장면 이해를 위한 밀집 포인트별 어노테이션 의존도를 줄이는 자기지도 사전학습 전략으로 부상하고 있다. 그러나 기존의 증류 파이프라인은 일반적으로 VFM을 동결된 특징 소스로 취급하고 고정된 이미지 임베딩에 매칭하도록 이질적인 3D 백본을 학습시키며, 이는 학생 모델로 하여금 밀집 ViT 토큰 표현과 희소 3D 인코더 사이의 모달리티 격차와 크로스 아키텍처 격차를 동시에 극복하도록 강요한다. 우리는 TOLiD를 제안한다. 이는 LiDAR 표현 학습을 위한 자기지도 사전학습 방법으로, LiDAR 백본을 동결된 VFM 교사로부터 초기화된 학생 비전 트랜스포머(ViT)와 결합하고 호환 가능한 패치 토큰 표현에 대한 감독을 적용함으로써 이 격차를 해소한다. TOLiD는 각 이미지 패치 프러스텀(frustum) 내의 포인트 특징 집합을 Frustum Pooling에 이어 Frustum Attention을 통해 토큰으로 변환하고, 가시성 마스킹을 통한 토큰 수준 증류를 수행한다. LiDAR 전용 배포를 위해서는 LiDAR 포인트가 부족한 패치를 피하기 위해 마스킹된 이중선형 샘플링(masked bilinear sampling)을 사용하여 토큰 특징을 포인트별 표현으로 다시 리프팅한다. 우리는 TOLiD를 다섯 개의 이질적인 LiDAR 데이터셋과 네 개의 크로스 센서 적응 쌍에서 광범위하게 평가하여, 동결된 백본과 경량 헤드를 통한 향상된 전이 성능을 입증한다.
점진적 장면 재구성(incremental scene reconstruction)은 실세계 응용에 필수적이다. 3D 가우시안 스플래팅(3D Gaussian Splatting)이 강력한 잠재력을 보이고 있음에도 불구하고, 대부분의 기존 접근법은 명시적 메시 추출을 위해 최적화된 가우시안을 중간 암시적 필드로 오프라인 변환해야 하며, 이는 다운스트림 태스크와의 원활한 통합을 저해한다. 이러한 한계를 해결하기 위해, 우리는 밀집 기하학적 가우시안 표현을 직접 삼각측량하여 고충실도 명시적 메시를 점진적으로 재구성하고 업데이트하는 새로운 온라인 프레임워크를 제안한다. 이 프레임워크는 고품질 렌더링과 점진적 표면 재구성을 모두 지원한다. 또한, 가우시안 집합으로부터 메시를 효율적으로 추출하고 업데이트하는 직접 메싱 알고리즘을 제시한다. 메시 정확도를 보장하기 위해, 3D 가우시안 프리미티브를 근사된 로컬 표면에 동적으로 정렬하는 평면 기반 풀링 제약(plane-based pulling constraint)을 적용한다. 나아가, 완전히 최적화된 과거 영역을 동적으로 동결(freezing)함으로써 장시간 시퀀스 처리 중 메모리 및 연산 오버헤드를 크게 줄인다. 공개 데이터셋에 대한 실험을 통해, 우리 방법이 렌더링 품질과 재구성 정확도 모두에서 기존 가우시안 기반 방법들을 능가함을 입증한다.
레이아웃 기반 3D 장면 합성기는 범주형 클래스 레이블과 정준 포즈 규약이라는 두 가지 인간 어노테이션 채널을 사용하여 각 객체를 배치한다. 본 연구에서는 객체 기하학에서 도출된 단일 자기지도(self-supervised) 토큰이 이 두 채널을 대체할 수 있는지를 탐구하며, 그러한 토큰을 합성기와 분리하여 표현(representation) 그 자체로서 직접 연구한다. 유한 스칼라 양자화(FSQ) 포인트 클라우드 오토인코더를 레이블이나 포즈 어노테이션 없이 배치된 3D-FUTURE 가구 데이터에 대해 챔퍼(chamfer) 손실로 학습한다. 진단용 프로브는 코드만으로 세부 범주(62.6 ± 0.5%), 상위 범주(85.6 ± 1.3%), 요(yaw)(52.7 ± 0.5도)를 복원한다. 챔퍼 목표를 회전된 포인트 클라우드에서 비회전 포인트 클라우드로 교체하면 요 신호가 소멸되는 반면 클래스 복원율은 향상되며, 이는 코드의 회전 정보가 학습 목표에 의해 제어될 수 있음을 보여준다. 에셋 라이브러리 전반으로의 확장에는 전이 가능한 코드가 필요하다. 미지 데이터셋(ShapeNet)에서의 정렬은 범주에 따라 달라지는데, 박스형 가구는 전이가 잘 되는 반면 유기적 형태의 가구는 그렇지 않으며, 목표 비의존적 증강(target-blind augmentation)이 이 격차를 부분적으로 좁혀준다.
개방형 어휘(open-vocabulary) 3D 장면 이해는 일반적으로 CLIP과 같은 2D 비전-언어 특징을 3D Gaussian Splatting 장면에 임베딩하여 텍스트 질의 가능한 의미 필드로 변환함으로써 달성된다. 그러나 수백만 개의 가우시안 각각에 고차원 특징을 부착하면 단일 장면이 수 기가바이트로 팽창하여, 저장 및 배포가 이러한 필드의 실질적인 병목이 된다. 기존의 경량화 방법들은 각각 장면별 코덱, 오토인코더, 양자화된 코드북, 또는 지식 증류된 특징 필드를 학습하여 함께 제공하며, 필드 구성과 저장을 얽히게 하고 비용의 대부분을 차지하는 가우시안별 할당은 전혀 압축하지 않는다. 우리는 구성과 저장이 분리되어야 하며, 저장은 소규모 앵커 테이블에 대한 가우시안별 바인딩 위에서의 율-왜곡 문제라고 주장한다. 이는 기존의 어떤 개방형 어휘 방법도 압축하지 않던 구조다. 우리는 CoSAG를 제시한다. CoSAG는 폐쇄형 투과율 가중 리프트(closed-form transmittance-weighted lift), 공간적으로 그라운딩된 의미론적 앵커, 다중 뷰 노이즈 제거를 통해 장면별 학습 없이 필드를 구성하고, 디코더를 포함하지 않는 공간 예측 엔트로피 코더로 저장한다. 앵커가 공간적으로 그라운딩되어 있기 때문에 바인딩은 예측 가능하며 따라서 높은 압축률을 달성할 수 있다. 투과율 가중 리프트와 다중 뷰 노이즈 제거는 깨끗하고 뷰 일관적인 할당을 생성하므로, 엔트로피 코더는 노이즈 보정에 거의 율을 소비하지 않고 공간 예측에 대한 잔차만을 코딩한다. CoSAG는 2D 렌더링, 3D 선택, dense-LSeg 프로토콜 전반에 걸쳐 최첨단 성능에 필적하거나 이를 초과하면서 메가바이트 이하의 저장 용량을 달성하며, LangSplatV2 대비 더 높은 정확도로 필드 크기를 37~76배 감소시킨다.
초고해상도(UHR) 원격 탐사 이미지 이해는 비전-언어 모델(VLM)이 제한된 연산 예산 하에서 전역적 장면 레이아웃과 희소하지만 태스크에 핵심적인 지역적 세부 정보를 동시에 포착할 것을 요구한다. 기존 방법들은 주로 두 가지 패러다임을 따른다. 하나는 수동적 인식(passive perception)으로, 해상도 확장이나 토큰 압축에 의존하여 미세한 세부 정보를 버릴 수 있다. 다른 하나는 능동적 인식(active perception)으로, 다중 라운드 줌 및 탐색에 의존하지만 높은 지연 시간, 맥락 단편화, 오류 누적 문제를 겪는다. 우리는 UHR 이해를 위한 더 효과적인 경로가 더 많이 접근하는 것이 아니라 더 잘 구성하는 데 있다고 주장한다. 이를 위해 우리는 UHR 이해를 전역적 맥락 제약 하에서의 구조화된 증거 구성 및 추론 문제로 재정식화하는 학습 불필요(training-free) 프레임워크 WeaveEarth를 제안한다. 구체적으로, WeaveEarth는 먼저 전역 인식 증거 구성(Global-Aware Evidence Construction)을 통해 간결하고 저중복적이며 공간적으로 상호보완적인 최소 지지 증거 집합(Minimal Support Evidence Set)을 선택한다. 이후 구조화된 증거 추론(Structured Evidence Reasoning)을 도입하여 지역적 증거, 공간적 메타데이터, 상대적 위상 정보를 통합된 추론 인터페이스로 엮음으로써 VLM의 전역-지역 결합 추론 능력을 향상시킨다. 광범위한 실험 결과, WeaveEarth는 다수의 UHR 원격 탐사 벤치마크와 여러 고정된 VLM 백본에 걸쳐 강력한 기준선 및 기존 UHR 방법들을 일관되게 능가함을 보인다. 코드는 https://github.com/XianZhi-Ma/WeaveEarth에서 공개되어 있다.
멀티씬 내비게이션(하나의 제한된 공간에서 목표를 달성한 후 포털을 통해 다음 공간으로 이동하는 것)은 현대 3D 게임의 핵심 특징이지만, 이를 제작하는 것은 매우 번거롭다: 모든 포털은 양쪽에 일관된 끝점을 가져야 하고, 각 내부 공간은 가구가 배치된 후에도 탐색 가능한 상태를 유지해야 하며, 이로 인해 생성되는 연결성은 여러 파일에 걸쳐 일관되게 유지되어야 한다. 최근의 대규모 언어 모델(LLM) 및 멀티모달 LLM(MLLM) 씬 생성기는 단일 내부 공간 합성 비용을 획기적으로 낮추었지만, 한 번에 하나의 씬만 생성하며 단순 반복으로는 연결된 멀티씬 월드를 생성할 수 없다. 우리는 단일 씬 방법이 해결하지 못한 세 가지 장애물을 파악하였다: 씬 간 일관성, 씬 내 탐색 가능성, 그리고 전환이 실제로 작동하는지에 대한 평가. 우리는 이 세 가지를 모두 해결하는 프롬프트-투-프로젝트 시스템인 MAGIC을 제안한다. MAGIC은 단일 자연어 프롬프트를 실행 가능한 멀티씬 게임 프로젝트로 변환하는 4단계 파이프라인이다: 공유 전환 인식 중간 표현을 계획하고, 플러드 필(flood-fill) 검증기를 통해 포털 도달 가능성을 강제하면서 각 씬을 명세하며, 씬들을 전환 스크립트와 함께 생성하고, 이들을 하나의 프로젝트로 결합한다. 기존의 단일 씬 충실도 지표는 전환을 실행하지 않기 때문에, 우리는 플레이 중 각 전환을 실행하는 전환 중심 평가 에이전트를 추가로 도입한다. 100개의 멀티씬 사례로 구성된 새로운 벤치마크에서, MAGIC은 모든 사례에서 실행 가능한 프로젝트를 생성하며 종단 간 전환 식별에서 정밀도 0.99, 재현율 0.95, F1 0.96을 달성한다; 단계별로, LLM 기준선 및 Holodeck보다 더 많은 실제 포털을 복원하고 현저히 더 탐색 가능한 레이아웃을 생성한다. 코드는 https://github.com/sereneee1201/MAGIC/ 에서 확인할 수 있다.
내비게이션은 자율 시스템의 기본적인 능력이지만, 기존 대부분의 접근법은 고도로 구조화된 모델과 강한 사전 가정에 의존하여 열린 불확실한 실세계 환경에서의 견고성을 제한한다. 비전-언어 내비게이션(VLN)은 로봇이 데이터 기반 방식으로 자연어 이해와 시각적 지각을 통합할 수 있게 함으로써 유망한 방향을 제시한다. VLN이 점점 더 많은 연구 관심을 받고 있음에도 불구하고, 체계적인 방법론적 분류와 실세계 검증은 여전히 제한적이다. 본 서베이는 VLN 연구에 대한 종합적인 리뷰를 제시한다. 구체적으로, 최신 방법들을 두 가지 직교 차원에 따라 정리한다: 계층적 및 단일체(monolithic) 프레임워크를 포함하는 행동 패러다임과, 판별적(discriminative) 및 생성적(generative) 접근법을 포함하는 모델 패러다임. 각각의 강점과 한계에 대한 비판적 분석이 제공된다. 또한, 물리적 로봇 플랫폼에서 대표적인 VLN 시스템 구성에 대한 체계적인 실세계 평가를 수행한다. 열 가지 다양한 실세계 장면에 걸친 실험은 테스트된 구성에서 시뮬레이션과 실세계 배포 간의 상당한 성능 격차를 보여준다: 대표적인 단일체 RGB 전용 방법은 시뮬레이션에서 61%의 성공률을 달성하지만 실세계 배포에서는 22%로 떨어지는 반면, 계층적 프레임워크는 51%의 더 높은 실세계 성공률을 달성하여 우리의 평가 환경에서 더 강한 견고성을 시사한다. 마지막으로, 향후 연구에서 반드시 해결해야 할 지각, 의사결정, 제어 분야의 핵심 과제들을 강조한다.
안전-위험 시나리오(SCS)의 합성과 폐루프 시뮬레이션을 통한 평가는 강건한 자율주행 시스템 개발에 있어 핵심적인 과정이다. 이 과정의 핵심 요소는 기존 장면 내에서 에이전트의 외관 및 궤적 수준 모두에 걸쳐 에이전트 상태를 편집하는 것이다. 그러나 현재 방법들은 장면 편집 후 데이터 충실도를 유지하는 데 어려움을 겪으며, 이러한 수정을 통해 고품질 SCS를 효율적으로 생성하는 데 실패한다. 이러한 한계를 극복하기 위해, 우리는 합성 환경에서의 폐루프 테스트를 가능하게 하면서 높은 물리적 충실도의 포토리얼리스틱 SCS를 생성하는 혁신적인 시스템인 OmniSCS를 제안한다. OmniSCS는 두 가지 핵심 모듈로 구성된다: 1) 이중 전략 에이전트 재구성 및 깊이 정제 배경 재구성 방법을 통해 장면 편집 시 높은 충실도의 에이전트 외관과 배경을 유지하는 완전 편집 가능한 드라이빙 월드 구성 모듈, 2) 데이터 충실도를 보존하면서 다양한 SCS를 합성하기 위해 객체 삽입 및 에이전트 궤적 편집을 지원하는 SCS 합성 모듈. nuScenes, Waymo, KITTI 데이터셋에 대한 실험 결과, OmniSCS는 편집된 장면 충실도에서 최신 방법들을 능가하는 성능을 보였다. 또한 자율주행 알고리즘 향상 능력과 실시간(13Hz) 폐루프 테스트 지원 능력을 검증하였다. 전반적으로 OmniSCS는 자율주행에서의 SCS 최적화 및 테스트를 위한 더 안전하고 효과적이며 비용 효율적인 솔루션을 제공한다.
첨단 운전자 보조 시스템과 자율주행 차량의 안전한 모션 플래닝은 주변 교통 장면이 어떻게 변화할지에 대한 정확한 이해를 필요로 한다. 그러나 기존의 많은 차선 변경 예측 방법은 단일 대상 차량에 중점을 두고 있으며, 다중 에이전트 예측 접근법은 흔히 미래 위치만으로 장면 변화를 기술하고 각 차량과 관련된 조작 기동에 대한 명시적 정보를 제한적으로 제공한다. 본 연구는 국지적 교통 장면 내 모든 관련 차량의 차선 변경 의도 및 미래 궤적을 예측하는 동적 장면 그래프 어텐션 프레임워크를 제안한다. 장면은 시변(time-varying) 상호작용 그래프로 표현되며, 차량은 노드로 모델링되고 공간적·운동학적 관계는 명시적 엣지 특징을 통해 인코딩된다. 시간적 그래프 어텐션 메시지 패싱은 변화하는 차량 간 의존성과 기동 전 단서를 포착하며, 의도 기반 디코더는 예측된 각 기동을 해당 미래 모션에 연결한다. 장면 수준 일관성 목적함수는 다중 차량의 호환 가능한 미래 상태를 추가로 장려한다. NGSIM I-80, NGSIM US-101, highD 데이터셋에 대한 실험은 경쟁 기준선 대비 일관된 성능 향상을 보인다. DSiGAT는 NGSIM I-80 및 US-101에서 각각 90.12% 및 90.97%의 의도 예측 정확도를 달성하고, 가장 강력한 기준선 대비 궤적 RMSE를 최대 52.94%까지 감소시킨다. 또한 에이전트 간 충돌률 및 결합 변위 오류가 낮아 보다 일관된 장면 수준 예측을 나타낸다. 제거 연구(ablation), 민감도, 강건성 및 정성적 분석은 제안된 구성요소의 기여도와 장면 중심 공식화의 효과성을 추가로 검증한다.
비전-언어 모델(VLM)은 지난 10년간 시각적 추론 분야에서 눈부신 발전을 이루었다. 기존의 대부분의 평가는 복잡한 인간 상호작용이나 행동을 담지 못하는 단순한 장면(MS-COCO)을 활용하고, 소수의 비정제 인간 설명문만을 벤치마크로 사용했으며, 모델의 오류 유형 파악에는 초점을 맞추지 않았다. 본 연구에서는 복잡한 사회적 상호작용/행동을 묘사한 이미지 100장으로 구성된 Complex Social Behavior(CSB) 데이터셋을 소개한다. 우리는 10년(2017~2025)에 걸친 VLM(멀티모달 대규모 언어 모델(MLLM) 이전 모델 4종 및 MLLM 5종)의 장면 설명 발전 양상을 분석한다. CSB 데이터셋과 MS-COCO 샘플에 대해 골드 스탠다드 대비 각 모델 및 인간 설명문 20개의 정확도를 평가하였다. 또한 객체 검출(object detection), 인식(recognition), 환각(hallucination), 장면 이해(scene understanding), 공간적 의존성(spatial dependence)의 다섯 가지 시각-인지 오류 유형을 분석하였다. CSB 데이터셋에서는 MS-COCO보다 장면 설명 정확도의 향상이 더욱 두드러졌으며, MLLM 이전 모델들은 최하위 인간 설명문보다도 훨씬 낮은 정확도를 보인 반면, MLLM은 최상위 인간 설명문과 유사한 수준의 정확도를 달성하였다. 또한 MLLM은 단순한 MS-COCO 장면과 복잡한 행동을 묘사한 장면(CSB) 간의 장면 설명 정확도 격차를 사실상 해소한 것으로 나타났다. MLLM은 인간과 다른 이미지 영역에 의존하여 장면을 설명하는 경우(공간적 의존성 오류)를 제외한 거의 모든 오류 유형을 제거하였다. 아울러 검출, 인식, 환각 오류가 장면 설명 정확도에 가장 큰 영향을 미치는 것으로 확인되었다. 이러한 결과를 종합하면, 본 연구는 비전-언어 모델이 지난 10년간 어떻게 발전해 왔는지를 보다 심층적으로 평가한다.
신뢰할 수 있는 자율주행은 전경 객체와 밀집 의미론적 레이아웃을 결합하는 전체 장면 인식을 필요로 한다. 최근 4D 밀리미터파 레이더가 강건하고 저비용의 센서로 부상했지만, 희박한 반환값으로 인해 포괄적인 장면 이해를 위한 레이더-카메라 융합이 필요하다. 기존 레이더-카메라 방법은 주로 검출 최적화에 집중하는 반면, 듀얼 태스크 시스템은 제한된 상호작용으로 박스와 점유를 디코딩한다. 이러한 격차를 해소하고 레이더 기반 멀티태스크 학습을 발전시키기 위해, 우리는 의미론적 점유를 최종 출력이 아닌 지속적인 장면 상태로 모델링하는 360° 전체 장면 인식을 위한 4D 레이더-카메라 프레임워크인 4DR360을 제안한다. 4DR360은 크로스-모달 상태 추론 패러다임을 따르며, 점유 상태가 거친-세밀 특징 집계를 위해 단계별로 모델링되고 전파된다. 구체적으로, 상태 가이드 BEV 향상(SBE, State-guided BEV Enhancement)은 프레임 내 BEV 표현을 강화하고, 도플러 가이드 시간적 융합(DTF, Doppler-guided Temporal Fusion)은 더 긴 시간적 범위에 걸쳐 상태 증거를 보존한다. 모델 외에도, 위성 지도 기반으로 생성된 점유 레이블로 ManTruckScenes를 확장하고, 통합된 크로스-데이터셋 검출 및 점유 프로토콜에서 OmniHD-Scenes와 결합한다. 이를 통한 실험은 하나의 레이더-카메라 멀티태스크 평가 프레임워크 아래 정확도, 강건성, 절제 연구, 그리고 효율성을 다룬다. 코드와 레이블은 논문 채택 시 공개될 예정이다.