PyTorchKR Papers

최신 논문

총 2,147편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00302v1cs.CV

재난 해석: 재난 매핑을 위한 비전-언어 모델과 크라우드소싱 이미지를 활용한 다중 작업 공간 추론

Decoding the Disaster: Multi-Task Geospatial Reasoning with Vision-Language Models and Crowdsourced Imagery for Disaster Mapping

크라우드소싱 이미지는 재난 매핑을 위해 적시성 있고 세밀한 거리 수준의 관측을 제공하여, 비상 대응 중 기존 원격 탐사 이미지(RSI)를 보완합니다. 그러나 이러한 이미지는 비정형적이고 공간적으로 모호하며 신뢰할 수 있는 지리적 메타데이터가 부족한 경우가 많아, 수작업 지리적 위치 파악(geolocalization) 및 해석에 많은 노동력이 들고 확장하기 어렵습니다. 본 연구에서는 크라우드소싱 재난 이미지를 이해하고, 지리적 위치를 파악하며, 추론하는 데 있어 비전-언어 모델(VLM)의 잠재력을 조사하기 위한 다중 작업 공간 추론 재난 매핑 프레임워크인 GRDisaster를 제안합니다. GRDisaster는 PhotoMappers에서 파생된 새로 구축된 벤치마크 데이터셋을 기반으로 구축되었으며, 2018년부터 2024년까지의 여러 재난 이벤트를 다루는 사람이 검증한 자발적 지리 정보(VGI), 스트리트 뷰 이미지(SVI), RSI 크로스 뷰 트리플릿으로 구성된 26,340개의 이미지를 포함합니다. 이 프레임워크는 결정론적 및 확률론적 크로스 뷰 지리적 위치 파악을 다중 뷰 융합과 결합하여 VGI 이미지를 지리 참조된 SVI 및 RSI와 연결합니다. 또한 크로스 뷰 지리적 위치 파악 검증과 재난 피해 평가를 위한 두 가지 공간 추론 지표 세트를 도입합니다. 이러한 지표는 구조적, 환경적, 전역 장면 단서를 활용하여 크로스 뷰 대응성을 검증하고, 전문가가 검증한 주석이 달린 시각적으로 관측 가능한 피해 증거를 바탕으로 재난 심각도를 평가함으로써 VLM 출력의 해석 가능성을 개선합니다. 우리가 아는 한, 본 연구는 크로스 뷰 지리적 위치 파악 검증, 해석 가능한 공간 추론, 피해 인지 심각도 평가를 통해 VLM 기반 공간 추론이 크라우드소싱 재난 이미지를 실행 가능한 지리공간 인공지능(GeoAI)으로 어떻게 변환할 수 있는지 조사하는 최초의 체계적인 조사이자 통합 평가 프레임워크를 제공합니다.

arXiv:2610.00031v1cs.CV

도시를 보는 것인가, 장소를 인식하는 것인가? VLM 도시 센싱에서 스트리트뷰 이미지가 기존 도시 데이터 대비 추가로 제공하는 것

Seeing the City or Recognizing the Place? What Street-View Imagery Adds Beyond Existing Urban Data in VLM Urban Sensing

스트리트뷰 이미지는 도시 속성(urban attribute)을 추론하는 데 점점 더 많이 사용되고 있지만, 예측 정확도만으로는 사진이 동일한 장소에 대해 이미 존재하는 데이터를 넘어서 얼마나 많은 정보를 제공하는지 알 수 없다. 우리는 다섯 개의 공개 자원과 세 개의 VLM에서 얻은 일곱 가지 속성에 대해 이미지 기반 예측과 기존 도시 데이터를 비교한다. 동일한 도시 단위(urban unit)를 이미지, 작업 맥락(task context), 인접 관측값, 공공 기록을 사용하여 평가하며, 이미지 교체와 상충되는 기록을 통해 소스 의존도(source reliance)를 검증한다. 기존 도시 데이터는 도로 손상, 연석 경사로(curb ramp), 주택 가격에서 이미지 전용 모델과 비슷하거나 이를 능가했으며, 인접 공식 통계는 인구(population)에서 최고 이미지 결과에 거의 근접했다. 건물 유형, 건물 용도, 저층 건물의 층수에서는 이미지가 더 많은 정보를 제공했다. 층수의 경우, 이미지의 우위는 가장 가까운 레이블링된 건물까지의 거리가 두 배가 될 때마다 5.7퍼센트포인트 증가했으며, 지붕선(roofline)이 프레임 밖으로 벗어나는 경우가 많은 고층 건물에서는 감소했다. 모델들은 상충되는 기록을 자주 따랐다. OpenFACADES의 층수 주석(annotation)은 OpenStreetMap의 층수 값을 사용하여 생성되었으며, 이미지 전용 재실행(rerun)과는 반대되는 높이 의존적 오류 패턴을 보였다. 따라서 스트리트뷰 이미지의 가치는 시각적 식별 가능성(visual legibility)과 로컬 데이터 커버리지에 따라 달라진다. 이미지를 기존 도시 데이터와 비교하는 것은 이미지 수집을 안내하고 파생된 도시 지도의 출처(provenance)를 명확히 하는 데 도움이 될 수 있다.

arXiv:2609.36906v2cs.CV

SafeVantage: 신뢰할 수 있는 임바디드 의사결정을 위한 시점 인지 메모리

SafeVantage: Vantage-Aware Memory for Reliable Embodied Decisions

부분 관측성(partial observability) 환경에서 신뢰할 수 있는 임바디드(embodied) 의사결정을 내리려면 유의미한 관측과 충분한 뒷받침 증거가 필요합니다. 그러나 의미론적(semantic) 점수만으로는 어떤 시점(viewpoint)이 특정 주장을 뒷받침하는지, 또는 추가적인 증거를 어디서 확보해야 하는지 파악할 수 없습니다. 본 연구에서는 각 주장을 뒷받침하는 뷰, 카메라 포즈, 추정된 목표 위치를 보존하여 긍정적 지지(support)와 탐색 범위를 명확히 구분하는 시점 인지(vantage-aware) 의미 메모리 및 능동적 정보 획득 프레임워크인 SafeVantage를 소개합니다. 학습된 후보 관측 가능성(candidate-observability) 모델(model)은 주장 기반 지오메트리를 활용하여 도달 가능한 시점에서의 목표 가시성을 예측합니다. 이러한 예측은 이동 비용과 기하학적으로 구별되는 확증을 고려하여, 최종 결정 손실(loss)의 기대 감소량을 바탕으로 시점 선택을 유도합니다. 이후 보정된 헤드가 지지 증거, 공간적 일관성, 커버리지를 결합하여 'Yes', 'No', 또는 'Abstain(기권)' 결정을 내립니다. 저자들은 232개의 미확인 ProcTHOR 주택과 방법 및 행동 예산당 7,424개의 쌍을 이룬 에피소드에 걸친 범주 존재성 벤치마크(benchmark)에서 SafeVantage를 평가(evaluation)합니다. 검증(validation)을 통해 선정된 동일 예산의 베이스라인과 비교했을 때, SafeVantage는 8회 및 12회 행동 조건에서 각각 24.7%와 12.0%의 매크로-F1 향상을 달성하며, 두 예산 모두에서 더 낮은 위험과 더 높은 응답률을 기록했고 8회 행동 시 이동 거리를 31.7% 단축했습니다. 동일 입력 HM3D 실험에서는 고정 관측 환경에서 더 낮은 선택적 위험을 보였으며, 통제된 ScanNet 개입 실험을 통해 뒷받침 뷰를 복원하는 것이 다운스트림 VLM 응답을 개선함을 입증했습니다. 소거 연구는 후보 관측 가능성이 결정 품질과 정보 획득 효율성에 기여함을 추가로 뒷받침합니다. 본 결과는 의미 메모리, 능동적 정보 획득, 신뢰할 수 있는 의사결정을 연결하는 데 있어 주장 수준의 시점 증거가 지닌 가치를 보여줍니다. 코드는 https://safevantage.github.io 에서 확인할 수 있습니다.

arXiv:2609.24031v2cs.CV

Video-STLayout 사전학습

Video-STLayout Pre-training

최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.

arXiv:2604.01921v3cs.CV

빔포밍 이전 안테나별 거리-도플러 레이더 측정값으로부터 공간 구조 학습에 관한 연구

On Learning Spatial Structure from Pre-Beamforming Per-Antenna Range-Doppler Radar Measurements

차량용 레이더 인지 파이프라인은 일반적으로 학습 기반 모델을 적용하기 전에 빔포밍(beamforming)을 통해 각도 영역 표현을 구성합니다. 본 연구는 이와 달리 표현에 관한 질문을 탐구합니다: 빔포밍 이전의 안테나별 거리-도플러(RD) 측정값으로부터 의미 있는 공간 구조를 직접 학습할 수 있는가? 실험은 처프(chirp) 간 유효 송신 개구면이 달라지는(단일 TX 대 다중 TX) A/B 처프-시퀀스 주파수 변조 연속파(CS-FMCW) 송신 방식을 채택한 6-TX x 8-RX(48개 가상 안테나) 상용 차량용 레이더에서 수행되며, 이를 통해 처프에 따른 송신 구성에 대한 통제된 분석이 가능합니다. 본 연구에서는 단대단(end-to-end)의 완전한 데이터 주도 방식으로 학습된 듀얼 처프 공유 가중치 인코더를 사용하여 빔포밍 이전의 안테나별 RD 텐서를 처리하고, 성능 중심의 목표 대신 기하학적 프로브로서 조감도(BEV) 점유도를 활용해 공간 복원 가능성을 평가합니다. 지도 신호(supervision)는 가시성을 고려한 크로스 모달 방식으로, 레이더 시야각(field-of-view)의 명시적 모델링 및 광선 기반 가시성을 통한 폐색 인식 LiDAR 관측성을 바탕으로 LiDAR에서 도출됩니다. 신호 특성, 송신 구성(A-전용, B-전용, A+B), 수신 개구면, 거리-도플러 구조에 대한 분석과 함께 물리 기반 기준선(baseline)을 활용하여 공간 복원 가능성에 영향을 미치는 요인들을 조사합니다. 연구 결과는 수작업으로 설계된 신호 처리 단계에 의존하지 않고도, 학습된 공간 혼합을 통해 연구 대상인 A/B CS-FMCW 레이더 구성 하의 빔포밍 이전 안테나별 RD 텐서로부터 의미 있는 공간 구조를 복원할 수 있음을 나타냅니다.

arXiv:2603.20169v2cs.CV

EgoForge: 목표 지향적 1인칭 시점 월드 시뮬레이터

EgoForge: Goal-Directed Egocentric World Simulator

생성형 월드 모델(generative world model)은 동적 환경을 시뮬레이션하는 데 가능성을 보여왔지만, 1인칭 시점(egocentric) 영상은 빠른 시점 변화, 빈번한 손-객체 상호작용, 그리고 잠재적인 인간의 의도에 따라 전개가 달라지는 목표 지향적 절차로 인해 여전히 어려운 과제로 남아 있다. 기존 접근법들은 장면 전개가 제한적인 손 중심의 지시적(instructional) 합성에 초점을 맞추거나, 행동 역학(action dynamics)을 모델링하지 않는 정적 시점 변환(static view translation)을 수행하거나, 카메라 궤적(camera trajectory), 긴 비디오 프리픽스(prefix), 동기화된 다중 카메라 촬영과 같은 조밀한 지도(supervision)에 의존한다. 본 연구에서는 단일 1인칭 시점 이미지, 상위 수준의 지시문(instruction), 그리고 선택적인 보조 3인칭 시점(exocentric view)이라는 최소한의 정적 입력으로부터 일관된 1인칭 시점 비디오 롤아웃(rollout)을 생성하는 목표 지향적 1인칭 시점 월드 시뮬레이터인 EgoForge를 제안한다. 의도 정렬(intent alignment)과 시간적 일관성을 향상시키기 위해, 목표(goal), 시간적(temporal), 장면 일관성(scene-consistency), 지각적(perceptual) 보상으로부터 도출된 긍정적 및 부정적 롤아웃 분포를 사용하여 확산 속도장(diffusion velocity field)을 일관되고 목표를 완수하는 1인칭 시점 시뮬레이션으로 유도하는 궤적 수준(trajectory-level)의 확산 정제(diffusion refinement) 기법인 GRAFT를 제안한다. 광범위한 실험을 통해 EgoForge가 강력한 베이스라인(baseline) 대비 의미적 정렬(semantic alignment), 기하학적 안정성(geometric stability), 모션 충실도(motion fidelity) 측면에서 일관된 성능 향상을 달성하며, 실제 스마트 글래스 실험에서도 견고하게 동작함을 보여준다.

arXiv:2609.28414v1cs.CV

동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원

Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model

동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.

arXiv:2609.28360v1cs.CV

고해상도 Depth와 초저해상도 RGB를 활용한 프라이버시 보존 시맨틱 세그멘테이션

Privacy-Preserving Semantic Segmentation from High-Resolution Depth and Ultra-Low-Resolution RGB

모바일 로봇이 일상 환경에 점차 융합됨에 따라, 탑재된 온보드 카메라로 인해 발생하는 프라이버시 위험이 커지는 우려로 부각되고 있습니다. 초저해상도(ULR) RGB는 원천적으로 시각적 프라이버시 노출을 완화할 수 있으나, ULR 외형 정보만으로는 의미론적 및 공간적 이해가 크게 제한됩니다. 이에 따라 본 논문에서는 고해상도(HR) depth와 ULR RGB를 결합하여 세밀한 시각 정보는 제한하면서도 조밀한 기하학적 구조는 보존하는 프라이버시 보존형 비대칭 센싱 설정을 도입합니다. HR depth와 ULR RGB 간의 극심한 정보 불균형을 해결하기 위해, HR 기하학 정보를 활용하여 시맨틱 지향적 RGB 재구성 및 RGB-D 세그멘테이션을 유도하는 결합형 2D 프레임워크를 제안합니다. 신뢰성 높은 프레임 단위 예측에도 불구하고, 비대칭 HR depth-ULR RGB 설정에서는 일관된 씬(scene) 수준의 이해가 여전히 어렵습니다. 이에 따라 3D 세그멘테이션을 위해 2D 시맨틱 특징을 통합하는 엔드투엔드(end-to-end) 2D-to-3D 파이프라인을 개발합니다. ScanNet 기반 실험 결과, 제안하는 방법은 프라이버시 보존 접근법 중 최고의 2D 및 3D 세그멘테이션 성능을 달성하며 SUN RGB-D 및 SceneNN에 대해 가장 강력한 제로샷(zero-shot) 전이 성능을 보여줍니다. 프라이버시 복구 가능성 분석을 통해 제안된 HR depth-ULR RGB 입력이 민감한 데이터의 복구 가능성을 낮춤을 확인하였으며, 실제 로봇 실험을 통해 생성된 3D 시맨틱이 객체 목표 내비게이션(object-goal navigation)에 유용함을 입증합니다.

arXiv:2609.28236v1cs.CV

EmbodiedMemory-Bench: 장기 체감 과업을 위한 체감 메모리 벤치마킹

EmbodiedMemory-Bench: Benchmarking Embodied Memory for Long-Horizon Embodied Tasks

장기 체감 상호작용에서는 에이전트가 관찰하고 행동하며 변화를 겪는 동안 환경에 대한 정보를 유지하고 지속적으로 갱신해야 한다. 그러나 현재 에이전트는 이러한 메모리를 안정적으로 유지하는 데 어려움을 겪는다. 우리 분석은 이 한계를 네 가지 핵심 결함으로 추적한다: 미세한 시각 메모리의 취약함, 신뢰할 수 없는 동적 세계 상태(world-state) 추적, 상호작용 결과로 드러난 세계 상태 기록 실패, 과거 경험으로부터의 제한된 일반화. 그러나 기존 벤치마크는 장기 체감 상호작용 과정에서 이러한 메모리 역량을 직접 평가하지 않는다. 이 공백을 메우기 위해 우리는 네 가지 과업군에 걸친 2,554개의 상호작용 에피소드로 구성된 EmbodiedMemory-Bench(EMem-Bench)를 제안한다. EMem-Bench는 에이전트가 상호작용 이력으로부터 메모리를 구축·갱신한 뒤, 이를 활용해 환경에서 행동함으로써 이후 과업을 완수하도록 요구한다. 또한 체감 경험을 공간, 사건, 장면 메모리로 구조화하는 외부 메모리 시스템 Embodied-Memorizer(EMem)를 제시한다. 또한 이러한 메모리를 관리하고 활용하는 8B 정책(policy) EMem-8B를 학습한다. 오픈소스 및 독점 MLLM과 대표적인 멀티모달 메모리 시스템을 폭넓게 평가한다. 결과는 현재 모델이 네 가지 과제 전반에 걸쳐 여전히 취약하고 불균형함을 보여준다. 동일 백본(backbone) 조건에서 EMem은 평가된 메모리 시스템 중 최고의 전체 성능을 달성하며 오픈소스와 독점 모델 모두를 개선하고, EMem-8B는 백본 대비 추가로 향상된다. 프로젝트 페이지: https://zju-omniai.github.io/EmbodiedMemoryBench/

arXiv:2609.28222v1cs.CV

3D 비전-언어에서 정렬에서 융합으로

From Alignment to Fusion in 3D Vision-Language

통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.

arXiv:2609.28184v1cs.RO

VLM은 묘사할 수 있지만 측정은 못한다: 로봇 조작을 위한 객체 중심 장면 이해

VLMs Can Describe, But Not Measure: Object-Centric Scene Understanding for Robotic Manipulation

이전에 보지 못한 환경에서의 로봇 작동에는 의미론적 이해와 신뢰할 수 있는 계량(metric) 정보가 모두 필요하다. 비전-언어 모델(VLM)은 강한 의미론적 능력을 제공하지만, 기하학적 추정은 여전히 덜 신뢰할 수 있다. 본 논문에서는 상용(off-the-shelf) 접근을 사용해 장면 이해를 위한 VLM 기반 모듈형 지각(perception) 프레임워크를 제안한다. 단일 RGB-D 관측에서 출발해 장면을 객체 수준 영역으로 분할하고, VLM으로 주석을 달며, 깊이 정보로 그라운딩(grounding)하여 과제에 독립적인 객체 중심 표현을 구성한다. 151개의 탁상 장면에 대한 실험에서, 제안한 분해는 VLM 직접 추론 대비 강한 의미론적 성능을 유지하면서 위치 추정과 깊이 추정을 크게 개선함을 보인다. 이렇게 얻은 표현은 로봇 실행을 위한 과제 계획(task-planning) 프레임워크와도 통합된다.

arXiv:2609.28159v1cs.CV

3D 공간 인식을 갖춘 2D 표현을 위한 깊이 유도 대조 학습

Depth-Guided Contrastive Learning for 2D Representations with 3D Spatial Awareness

표준 대조 학습(contrastive learning) 프레임워크는 주로 의미론적 관점에서 설계되지만, 3D 공간 구조를 보존하는 2D 시각 표현을 학습하는 것 역시 장면 이해(scene understanding)에 중요하다. 본 연구에서는 3D 공간 인식을 2D 대조 표현 학습에 주입하는 단순한 보조 목적 함수인 깊이 유도 대조 학습(DGCL, Depth-Guided Contrastive Learning)을 제안한다. 핵심 아이디어는 깊이(depth)를 이용해 국소 3D 근접성을 대조 유사도로 변환하는 것이다. 3D 공간에서 더 가까운 픽셀은 더 멀리 떨어진 픽셀보다 더 유사한 표현을 갖도록 유도한다. 절대 깊이 값에 의존하는 대신, DGCL은 무작위로 샘플링한 픽셀들 간의 상대 3D 거리 비교를 통해 지도 신호를 구성하여, 목적 함수가 깊이 스케일에 불변(invariant)하고 계산이 효율적이며 기존 대조 학습 프레임워크에 쉽게 통합되도록 한다. 다양한 데이터셋과 모델에 걸친 실험에서 DGCL은 2D 표현 학습을 일관되게 향상시키며, 더 강한 공간·기하학적 이해를 통해 의미론적 하류(downstream) 과제에도 도움이 됨을 보인다. 코드는 https://github.com/LeungTsang/DGCL 에서 제공된다.

arXiv:2609.28154v1cs.CV

지리 및 정착 맥락에 걸친 전역 건물·정착지 데이터셋 비교 평가

A comparative assessment of global building and settlement datasets across geographic and settlement contexts

전역 건물 및 정착지 데이터셋은 인구 매핑, 노출 평가, 도시 모니터링, 기타 건축 환경(built environment) 분석을 점점 더 지원하지만, 제품, 지리적 지역, 참조 데이터셋, 공간 스케일, 평가 방법에 걸쳐 비교 근거는 여전히 파편화되어 있다. 본 연구는 Overture Maps, Global Building Atlas, 3D-GloBFP, Google Open Buildings 2.5D Temporal(OBT), Microsoft TEMPO, GHSL, WSF Tracker를 포함한 7개의 전역 또는 준전역 제품을 135개 연구 구역에 걸친 조화된 참조 footprint에 대해 벤치마킹한다. 평가는 탐지(detection), 기하학적 일치, 집계량 정확도에 대한 상보적 척도와 함께 정착 특성에 대한 계층화 분석 및 오류 크기와 시간 정렬에 대한 진단 실험을 결합한다. Overture는 도시 수준 벡터 F1의 중앙값이 가장 높았다(0.786). 래스터 순위는 해상도에 따라 달라졌다. OBT는 10m에서 중앙값 F1이 최고(0.642)였고, WSF Tracker는 100m에서 최고(0.862)였다. 그러나 WSF Tracker는 건축 면적(built-up area)을 상당히 과대 추정했으며, 래스터 제품을 사용할 때 해당 래스터가 건물만 식별하는지 아니면 추가 불투수 표면(impervious surfaces)을 포함하는지 사용자가 이해하는 것이 중요함을 강조한다. 래스터 정확도는 건물 밀도와 일관되게 증가했고(Spearman ρ = 0.58–0.75), 소형 후보 건물은 벡터 제품에서 거짓 양성(false positives)과 불균형하게 연관되었다. WSF Tracker를 참조 영상과 시간적으로 정렬하면 평균 F1이 0.060(중앙값 +0.037) 증가했으며, 이는 보고된 정확도가 급속히 성장하는 지역에서 보수적임을 나타낸다. 본 연구는 지리 및 정착 맥락에 걸친 이질적인 전역 도시 및 정착지 층(layer) 데이터셋을 비교하기 위한 재현 가능한 벤치마크를 제시한다.

arXiv:2609.28061v1cs.CV

AstraLOD3: LOD3 건물 모델의 제로샷 다중 모달 에이전트 기반 재구성

AstraLOD3: Zero-shot multimodal agentic reconstruction of LOD3 building models

자동화된 LOD3 건물 모델링은 일반적으로 목적에 맞게 설계된 기하학적 또는 학습 기반 파이프라인에 의존하여, 이질적인 건물과 입력 증거 조건 전반에서의 유연성을 제한한다. 본 연구는 범용 다중 모달 파운데이션 모델 Astra가 제한된 자율성 하의 에이전트 프레임워크 안에서 LOD3 건물 모델을 제로샷으로 재구성함으로써 이러한 한계를 극복할 수 있는지 조사한다. AstraLOD3는 다중 시점 이미지, 보정된 카메라, 필터링된 희소 SfM 포인트 클라우드를 자연어 재구성 명세와 결합하며, Astra 에이전트는 Python과 Blender를 사용해 계산 절차를 동적으로 선택하고 실행한다. 24개 벤치마크 건물을 포함한 35회 실행에서 AstraLOD3는 평균 FRDS 0.9647을 달성했으며, 기하학적 일치도는 이전의 목적 특화 방법과 유사한 수준이었다. 통제된 ablation은 재구성 가이던스, 증거 모달리티, 모델 구성, 실행 간 변동성의 영향을 추가로 밝혔다. 결과는 구조화된 LOD3 재구성이 고정된 파이프라인이 아니라 제약된 에이전트 과정으로 공식화될 수 있음을 보여준다. 향후 연구에서는 적응적 정제, 사용자 주도 수정, 과제 특화 전문화, 손상 인식 재구성을 탐구할 예정이다.

arXiv:2609.27890v1cs.CV

RelCheck: VLM 환각 보정을 위한 이중 증거 공간 그라운딩

RelCheck: Dual-Evidence Spatial Grounding for VLM Hallucination Correction

멀티모달 대규모 언어 모델(MLLM)은 입력 이미지와 일치하지 않는 텍스트를 자주 생성한다. 객체 및 속성 수준의 환각은 상당한 관심을 받아 왔지만, 관계적 환각(객체 간 공간적 또는 상호작용적 관계에 대한 부정확한 기술)은 기존 사후(post-hoc) 보정 방법으로는 대부분 다루어지지 않았다. 우리는 RelCheck를 제안한다. 이는 학습 없이 동작하는 사후 보정 파이프라인으로, 객체 수준 시각적 그라운딩을 이중 관계 증거로 보강한다: RelTR에서 얻은 학습된 장면 그래프(scene-graph) 트리플과 바운딩 박스(bounding-box) 기하에서 도출한 결정적 공간 술어(spatial predicates)이다. 이들은 Woodpecker 스타일 객체 주장(claim) 층과 결합하여 3층 시각 지식 베이스를 형성하며, 언어 모델 보정기가 이를 사용해 환각 텍스트를 재작성한다. LLaVA v1 13B에서 평가한 결과, RelCheck는 MME 환각 점수 총합 630.0을 달성했으며, Woodpecker 스타일 기준선의 585.0 대비 우수하다. position 하위 과제에서 가장 큰 향상(+31.7점, accuracy+가 0.367에서 0.600으로 개선)을 보였다. 4가지 구성 ablation이 두 관계 층이 독립적으로 기여함을 확인한다(McNemar p = 0.025). 이러한 결과는 구조화된 관계 증거가 현재 MLLM이 가장 취약한 공간 추론 하위 과제에서 사후 환각 보정을 유의미하게 개선함을 보여준다.

arXiv:2609.27850v1cs.CV

GaussianDS: 장면 이해를 위한 깊이 지도 의미 Gaussian Splatting

GaussianDS: Depth-supervised Semantic Gaussian Splatting for Scene Understanding

3D Gaussian Splatting(3DGS)은 3D 재구성을 위한 효율적인 표현을 제공하며, 최근 확장은 개방 어휘(open-vocabulary) 장면 이해를 위해 가우시안에 의미 속성을 부착한다. 그러나 시점 의존적 2D foundation model 출력을 3D 공간으로 끌어올리면(lifting) 뷰 간 불일치와 약한 기하학적 그라운딩이 생겨 심각한 의미 표류(semantic drift)와 경계 누출(boundary leakage)이 발생한다. 본 논문은 의미 lifting을 지도 정렬(supervision-alignment) 문제로 다루고 RGB 외관, 렌더링 깊이, 압축된 의미를 처음부터 공동 최적화하는 깊이 지도 의미 3DGS 프레임워크 GaussianDS를 제안한다. 구체적으로 GaussianDS는 순서 없는 다중 뷰 이미지를 포즈 인식(pose-aware) 의사 비디오 궤적으로 구성하여 SAM2로 뷰 일관 마스크를 전파한다. 공동 최적화 동안 scale-shift 정렬 단안 깊이 지도와 깊이 전체 변분(total-variation) 정규화가 가우시안 기하를 안정화하고, 깊이 경계 인식 정제 손실이 의미 전이를 물리적 기하 불연속면에 명시적으로 고정한다. 광범위한 평가에서 본 end-to-end 프레임워크는 고충실도 3D 재구성과 실시간 렌더링을 유지할 뿐 아니라 우수한 의미 이해를 달성함을 보인다. GaussianDS는 의미 누출을 완화하면서 LERF에서 60.5% mIoU, 3D-OVS에서 97.79% mIoU 및 90.28% mBIoU로 새로운 최고(state-of-the-art) 성능을 기록하며, 하류 3D 객체 제거를 원활히 지원한다.

arXiv:2609.27753v1cs.CV

AWM-VLA: 효율적이고 설명 가능한 비전-언어-행동 정책을 위한 정렬 세계 모델링

AWM-VLA: AlignedWorld Modeling for Efficient and Explainable Vision-Language-Action Policies

비전-언어-행동(VLA) 모델은 범용 로봇 조작을 위한 강력한 패러다임이 되었지만, 종종 반응적이다. 정책은 의사결정의 장기적 결과를 추론하지 않고 현재 관측을 행동 청크에 직접 매핑한다. 정책에 세계 모델을 부여하려는 기존 시도는 픽셀 공간에서 미래 프레임을 재구성하는 방식——비용이 크고 과업과 무관한 세부가 지배적——이거나, 세계 모델을 정책과 분리하여 제어를 약화시키는 방식이었다. 우리는 확산-트랜스포머 정책 내부에 정렬된 세계 모델링을 직접 내장하는 통합 프레임워크 AWM-VLA를 제안한다. Future Latent REpresentation Alignment(FLARE) 원칙에 따라, 학습 가능한 미래 토큰을 추가하고 그 중간 활성화를 미래 관측의 비전-언어 임베딩과 정렬하여, 정책이 행동을 생성하면서 장기적 결과를 예측할 수 있게 한다. 이 패러다임을 두 가지로 확장한다. 첫째, 전역 미래 임베딩과 함께 미래 객체 수준 의미를 예측하는 객체 중심 분리 정렬 목표를 도입하여 해석 가능성과 다중 지시 일반화를 모두 개선한다. 둘째, 원칙적인 가중치로 전역·객체 중심 정렬 항과 행동 flow-matching 손실의 균형을 맞춰, 제어 가능한 정확도–해석 가능성 트레이드오프를 얻는다. RoboCasa 및 휴머노이드 탁상 조작 벤치마크에서 AWM-VLA는 성공률 기준으로 기존 VLA 및 세계 모델 베이스라인을 최대 21% 능가하고, 새로운 객체와 지시에 대한 일반화를 개선하며, 인간 평가자가 83%의 경우에서 선호하는 객체 중심 근거를 생성한다. 본 접근은 정책에 학습 가능한 토큰 소수만 추가하며 임의의 확산이나 flow-matching 정책과 호환되어, 정렬된 세계 모델링을 범용 조작의 저비용·광범위 적용 가능한 구성요소로 만든다.

arXiv:2609.27675v1cs.CV

Track2Art: 2D 점 추적기 기반 모션 중심 관절 구조 객체 모델 복원

Track2Art: Motion-Centric Articulated Object Model Recovery from 2D Point Trackers

관절 구조 객체를 이해하는 것은 로봇 상호작용의 기본이며, 정확한 강체 부품 발견과 이들의 운동학적 관계 복원이 필요하다. 기존 접근법은 종종 관절 구조를 재구성된 기하의 부산물로 다루거나, 인스턴스별 최적화를 통해 이를 복원한다. 우리는 대신 관절 구조가 지속적인 움직임에서 직접 관측 가능하다는 가설에 기반한다. 동일한 강체 부품 위의 점들은 일관되게 움직이고, 부품 간 상대 운동은 운동학적 제약을 드러낸다. 우리는 RGB-D 상호작용 영상에서 구조화된 관절 객체를 복원하기 위한 모션 중심 프레임워크인 Track2Art를 제시한다. Track2Art은 추적된 이미지 점을 지속적인 3D 궤적으로 승격(lift)하고, 사전학습된 추적 특징, 시각 디스크립터, 명시적 궤적 기하를 결합한다. 이 표현들은 가변 개수의 강체 부품 가설로 그룹화되며, 이후 회전 등변(rotation-equivariant) 학습-해석적 추론을 통해 방향성 있는 운동학적 관계, 관절 유형, 관절 기하를 복원하는 데 사용된다. 정렬된 20개 객체 PartNet-Mobility 벤치마크에서 Track2Art는 0.695 Point IoU와 0.410 end-to-end J@20를 달성하며, ground-truth 부품 수나 테스트 시점 최적화 모두 필요하지 않다.

arXiv:2609.27509v1cs.CV

Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률

Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM

지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.

arXiv:2609.27462v1cs.CV

다시점 객체 연관 및 경계 정제를 통한 강건한 개방 어휘 3D 분할을 위한 Hybrid Gaussians

Hybrid Gaussians for Robust Open-Vocabulary 3D Segmentation with Multi-View Object Association and Boundary Refinement

개방 어휘 3D 분할(open-vocabulary 3D segmentation)은 자유 형식 텍스트 질의로 객체를 위치시키지만, 실제 이미지 시퀀스에서는 여전히 어렵다. 불완전하거나 노이즈가 있는 2D 지도(supervision)는 다시점 정체성 할당을 불안정하게 하고, 전 장면 의미 학습은 객체 수준 판별력을 약화시킨다. 본 논문은 객체 연관과 언어 정렬 의미를 공동으로 모델링하는 통합 3D 표현인 Hybrid Gaussians를 제안한다. Multi-View Object Association 메커니즘은 Observation Fusion과 Semantic Contrastive Learning을 결합하여 정체성 일관성과 의미적 판별력을 높인다. Boundary Reconstruction Optimization은 지역 경계 구조를 추가로 정제하여 윤곽 품질을 개선한다. LERF와 3D-OVS에서의 실험은 강한 정량·정성 성능을 보여준다. 본 방법은 LERF에서 59.1% mIoU를 달성하여 기준선 대비 13.4% 상대 향상을 얻는다. 프로젝트 페이지: https://nora202.github.io/hybridgaussians.