PyTorchKR Papers

최신 논문

총 2,147편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22868v1cs.CV

종단 간 자율 주행을 위한 희소 행동 조건 타깃 기반 계획 정렬 BEV 표현 사전학습

Planning-Aligned Pretraining of BEV Representations with Sparse Action-Conditioned Targets for End-to-End Autonomous Driving

종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.

arXiv:2609.22857v1cs.CV

레이더-이미지 융합을 이용한 이미지 프레임 동적 객체 분할 및 자기 운동 추정

Image Frame Dynamic Object Segmentation and Ego Motion Estimation using Radar Image Fusion

동적 객체 분할(dynamic object segmentation)과 자기 운동 추정(ego-motion estimation)은 자율주행에서 긴밀하게 결합된 문제이다. 정확한 자기 운동 추정에는 일반적으로 정적 장면 관측이 필요한 반면, 정적 관측을 식별하기 위해서는 자기 운동에 대한 정보가 필요하기 때문이다. 우리는 이러한 결합 문제를 해결하기 위해 레이더 도플러(Doppler) 측정값을 활용하는 레이더-RGB 프레임워크인 Radar-Dot을 제시한다. 먼저 레이더 반사 신호를 선형 도플러 제약(linear Doppler constraint)을 통해 자기 속도(ego velocity) 추정에 사용하며, 잔차 기반 정적/동적 분할(residual-based static/dynamic segmentation)과 로버스트 추정(robust estimation)을 사용하여 이동 객체의 영향을 줄인다. 추정된 운동 정보는 이후 메트릭 깊이(metric depth) 및 밀집 광학 흐름(dense optical flow)과 결합되어, 관측된 움직임이 경직 장면 운동(rigid scene motion)과 일치하지 않는 이미지 영역을 식별하는 데 사용된다. nuScenes 장면 10개(nuscenes-mini의 일부)에 대한 실험 결과, 제안된 기하학적 파이프라인은 394개의 프레임 쌍에 대해 20.24%의 동적 IoU와 33.67%의 F1-score를 달성하였으며, 레이더 기반 정적 포인트 필터링(static-point filtering)은 모든 레이더 반사 신호를 사용하는 경우에 비해 자기 속도 추정을 향상시켰다. 이러한 결과는 레이더가 자기 운동 추정과 동적 객체 분할을 동시에 개선할 수 있는 모달리티(modality)로서의 잠재력을 보여준다.

arXiv:2609.22834v1cs.CV

SatOV: 원격 탐사 영상에서 학습이 필요 없는 개방형 어휘 분할을 위한 공간 사전 정보 복원

SatOV: Restoring Spatial Priors for Training-Free Open-Vocabulary Segmentation in Remote Sensing Imagery

원격 탐사 영상의 개방형 어휘 의미 분할(open-vocabulary semantic segmentation, OVS)은 원격 탐사 데이터의 공간적 특성에 대한 강한 일반화와 적응을 요구하는 어려운 픽셀 수준 과제이다. 기존의 비전-언어 파운데이션 모델은 일반 도메인에서는 우수한 성능을 보이지만, 이미지 수준 분류 설계로 인해 고해상도 원격 탐사 분할에 필요한 공간 사전 정보(spatial priors)가 약화된다. 즉, 구조적인 공간적 관계는 깊은 특징(feature) 변환 과정에서 저하되고, 미세한 공간적 세부 정보는 다운샘플링 과정에서 손실된다. 이러한 상호 보완적인 결함을 해결하기 위해, 우리는 표현(representation) 파이프라인의 두 단계에서 공간 사전 정보를 복원하는, 학습이 필요 없는(training-free) 원격 탐사 개방형 어휘 분할 프레임워크인 SatOV를 제안한다. 구체적으로, 잔차 QQ 어텐션(Residual QQ Attention, ResQQ)은 CLIP의 중간 층(layer)에서 Query-Key 셀프 어텐션을 추출하고, 이를 잔차 결합(residual combination)을 통해 마지막 층의 Query-Query 어텐션과 융합함으로써 마지막 층 표현에 의해 억제된 구조적 공간 사전 정보를 복원한다. 공간적으로 변조된 업샘플링(Spatially Modulated Upsampling, SatUp)은 원본 고해상도 RGB 이미지를 공간적 안내(spatial guidance)로 사용하며, 공간 특징 변조와 안내된 크로스 어텐션을 결합하여 픽셀 수준의 텍스처와 경계를 재구성한다. DOTA, UDD, LoveDA, Vaihingen에 대한 광범위한 실험을 통해 SatOV가 학습이 필요 없는 OVS를 일관되게 개선하며, 최신(state-of-the-art) 기법들과 비교해 경쟁력 있는 정량적 및 정성적 결과를 달성함을 보인다. 이러한 결과는 원격 탐사 개방형 어휘 분할에서 표현 단계와 공간 해상도 단계 모두에서 공간 사전 정보를 복원하는 것의 효과를 입증한다.

arXiv:2609.22762v1cs.CV

DriveReferee: 주행 월드-액션 모델에서 기하학적 안전 판정은 굳이 학습될 필요가 없다

DriveReferee: Geometric Safety Verdicts Need Not Be Learned for Driving World-Action Models

생성형 월드-액션 모델(world-action model, WAM)은 미래 비디오와 차량 액션을 공동으로 생성하지만, 액션 브랜치는 여전히 주로 전문가 모방(expert imitation)을 통해 최적화된다. 그러나 모방은 생성된 궤적에 대해 명시적인 폐루프(closed-loop) 기하학적 판정을 제공하지 않으므로, 학습(training)과 배포 모두에서 검증이 중요해진다. 폐루프 평가기(evaluator)는 충돌 및 주행 가능 영역 위반을 확인할 수 있지만, 배포 시에는 사용할 수 없는 특권적 씬 상태(privileged scene state)를 필요로 한다. 기존 접근 방식은 센서 특징으로부터 검증기(verifier)를 학습하여 이러한 간극을 좁히는 경우가 많다. 이러한 기하학적 검사의 경우 규칙 자체는 명시적이다. 예를 들어, 충돌은 전개된 자차 풋프린트(footprint)가 점유된 차량 공간과 겹치는지 여부로 결정된다. 배포 시 사용할 수 없는 것은 해당 규칙을 적용하는 데 필요한 씬 상태이다. 본 논문에서는 학습된 기하학 판독(geometry readout)을 사용하여 카메라 관측으로부터 씬 표현을 예측하고, 기하학적 안전 규칙을 학습하는 대신 직접 실행하는 DriveReferee를 소개한다. 이를 통해 생성된 해석적 심판(analytic referee)은 씬 상태와 후보 궤적으로부터 충돌 및 주행 가능 영역 안전성을 평가한다. 학습 중에는 참값(ground-truth) 상태에서 자체 샘플링된 궤적의 점수를 매기고 그 결과로 얻은 선호도를 WAM 정책에 증류(distill)한다. 배포 시에는 동일한 심판이 이 예측된 상태를 바탕으로 생성된 궤적을 평가하고 필요할 때 더 안전한 대안을 선택한다. 해석적 심판은 판정 관련 전용 학습을 필요로 하지 않으며, 그 결정은 명시적인 기하학적 규칙을 따른다. 동일한 후보군과 추론(inference) 예산 하에서, 본 방식은 모든 학습 기반 검증기 및 휴리스틱 베이스라인과 대등하거나 이를 능가한다. 동일한 예측 상태와 궤적이 주어졌을 때, 판정 자체를 학습하는 것은 평가기 라벨이 부착된 수만 개의 학습 예제가 필요함에도 불구하고 측정 가능한 다운스트림 이득을 제공하지 못한다. 전체 NAVSIM navtest에서 DriveReferee는 단일 카메라 시각 입력만으로 외부 학습 데이터 없이 92.02 PDMS를 달성한다.

arXiv:2609.22687v1cs.CV

PanoSeg3R: 자동 데이터 큐레이션 파이프라인을 갖춘 파노라마 이미지용 피드포워드 3D 시맨틱 세그멘테이션

PanoSeg3R: Feed-Forward 3D Semantic Segmentation for Panoramic Images with an Automatic Data Curation Pipeline

본 논문은 파노라마 3D 시맨틱 세그멘테이션을 위한 피드포워드(feed-forward) 프레임워크인 PanoSeg3R를 제안한다. 원근 투영(perspective) 입력을 위해 설계된 기존 방법들과 달리, PanoSeg3R는 단 한 번의 순전파(forward pass)만으로 3D 기하 구조와 다중 시점 시맨틱 세그멘테이션을 동시에 예측한다. 파노라마 이미지를 지원하는 사전학습된 재구성 백본(backbone) 위에 구축된 본 방법은 쿼리 기반 마스크 디코더를 통해 피드포워드 3D 재구성을 확장한다. 또한, 기성(off-the-shelf) 파운데이션 모델들의 상호 보완적인 강점을 활용하여 신뢰할 수 있는 의사(pseudo) 시맨틱 주석을 생성하는 자동 파노라마 데이터 큐레이션 파이프라인을 도입함으로써 학습 데이터를 대폭 확장하고 제로샷(zero-shot) 일반화 성능을 향상시킨다. PanoSeg3R는 파노라마 3D 시맨틱 세그멘테이션에서 최고 수준의 성능을 달성하며, ScanNet++에서 3D mIoU를 최대 16.02까지 향상시킨다. 또한 큐레이션된 학습 데이터는 Stanford2D3D와 ToF-360에서 각각 최대 4.26 및 43.28 mIoU만큼 제로샷 성능을 추가로 향상시킨다. 웹사이트: https://harryyoon777.github.io/PanoSeg3R/

arXiv:2609.22641v1cs.CV

ConsistWorld: 일관된 다중 에이전트 월드 모델을 위한 증거 라우팅

ConsistWorld: Evidence Routing for Consistent Multi-Agent World Models

자기회귀(autoregressive) 비디오 월드 모델은 단일 관측자에 대해 시간적으로 일관된 생성을 가능하게 한다. 다중 에이전트로 확장하려면 인과적 스트리밍(causal streaming) 하에서 독립적으로 제어되는 시점과 시간적 간극에 걸친 일관성이 필요하다. 우리는 하나의 공유 이미지로부터 정적 장면에 대한 카메라 제어 비디오 스트림을 생성하는 다중 에이전트 월드 모델 ConsistWorld를 제안한다. 일관성을 확정된 다중 에이전트 이력과 동시에 생성되는 동료(peer) 시점으로부터의 증거를 생성 중인 토큰으로 라우팅하는 것으로 공식화한다. Pose Conditioned Memory Retrieval은 모든 에이전트로부터 관련 역사적 관측을 선택하여 최근 컨텍스트 윈도(context window)를 넘는 증거를 복원한다. Visibility-Gated Peer Sharing은 추정된 역사적 커버리지와 현재 시점 중첩에 따라 현재 동료 정보를 조절한다. 두 메커니즘은 함께 어떤 역사적 관측이 컨텍스트에 들어가는지, 동시 동료 정보가 어디에 기여하는지를 결정하여 장기 회상과 조율된 탐험을 지원한다. 두 메커니즘 모두 카메라 기하학을 사용하며 고정된 에이전트 수와 검색 예산에 대해 유계의 활성 컨텍스트를 유지한다. 증거 공유 사례 및 비디오 길이·에이전트 수 일반화에 대한 실험은 ConsistWorld가 경쟁력 있는 생성 품질을 유지하면서 강한 시간 간·에이전트 간 일관성을 달성함을 보여준다.

arXiv:2609.22588v1cs.CV

보는 것만으로는 충분하지 않다: 비전-언어 모델은 증거를 지각하지만 행동으로 이어지지 못한다

Seeing is not Enough: Vision-Language Models Perceive Evidence but Fail to Act

비전-언어 모델(VLM)은 시각적 질의응답 벤치마크에서 강한 성능을 보이지만, 이미 올바르게 식별한 시각적 증거와 모순되는 결정을 내리는 경우가 종종 있다. 우리는 관련 증거가 인식되지 않는 지각 실패(perceptual failure)와, 인식된 증거가 최종 결정을 제약하지 못하는 과정 실패(process failure)를 구분한다. 우리는 VPAC-Bench를 제안한다. 이는 아홉 가지 실제 이미지 기반 과정(process) 계열을 아우르는 벤치마크로, 각 이미지에 현재 활동 단계(activity stage)와 인접한 단계 전환(stage transition)이 주석으로 달려 있다. 또한 State-Relevance-Target(SRT)를 제안한다. 이는 답변 전에 모델이 가시적 증거를 관련 과정 상태(process state)에 연결하도록 요구하는 구조화된 과정 사전(process-prior) 개입(intervention) 방법군이다. 여러 VLM에 걸쳐 과정 실패는 광범위하다. 시각적 후보를 올바르게 열거하는 모델조차 모호한 경우의 95% 이상에서 단일 답에 과도하게 고착(over-commit)한다. 명시적인 과정 구조화 개입은 모호하지 않은 경우의 성능을 저하시키지 않으면서 이 비율을 13% 미만으로 낮춘다. 그러나 과정 사전의 전이(transfer)는 모델에 따라 다르며, 일반적인 SRT는 강력한 사고의 연쇄(Chain-of-Thought) 베이스라인을 일관되게 능가하지 못한다. 관련 단계 전환이 알려져 있을 때, 경계 정렬(boundary-aligned) SRT는 조립(assembly), 물리적 상태 전환, 내비게이션 및 교통, 객체 사용 affordance 과제 전반에서 일반적인 과정 프롬프팅 및 검증된 모든 사고의 연쇄 베이스라인을 크게 능가한다. 이 결과는 과정 사전이 장면의 특정 의사결정 경계(decision boundary)와 정렬될 때 가장 유용함을 보여주며, 과정 기반(process-grounded) 시각 추론을 위한 경계 인식(boundary-aware) 사전 선택의 필요성을 뒷받침한다.

arXiv:2609.22385v1cs.RO

효과적이고 효율적인 체화 탐험을 위한 능동적 공간 검사

Active Spatial Inspection for Effective and Efficient Embodied Exploration

높은 작업 성공률과 효율성을 달성하는 것은 체화 탐험(Embodied Exploration)에서 핵심적인 목표로 남아 있다. 기존 프레임워크는 일반적으로 공간적으로 조악하고 간접적인 암시적 단서 및 방향 평가를 통해 에이전트(Agent) 행동을 유도하지만, 이러한 설계는 단서의 충분성과 추가 검사(inspection)의 필요성을 판단하는 데 어려움을 겪어 조기 종료나 과도한 지속으로 이어지고, 결과적으로 작업 성공률과 효율성을 저하시킬 수 있다. 본 연구는 공간적으로 명시적인 관점에서 체화 탐험을 재고하고, 근거 기반 지각(evidence-grounded perception)과 노출 정보 기반 이동(exposure-informed movement)을 결합하여 공간적으로 해상된 의사결정 패러다임을 확립하는 공간 검사 기반 능동 탐험(spatial-inspection-guided ACtive Exploration, ACE) 프레임워크를 제안한다. 근거 기반 지각은 세밀한 위치 추정(localization)과 집중적 검증(verification)을 통합하여 암시적 단서를 정확하고 결정적인 시각적 근거로 전환함으로써 추론적 타당성을 강화한다. 노출 정보 기반 이동은 전향적 우선순위화(prospective prioritization)와 후향적 억제(retrospective suppression)를 통해 방향 판단을 촉진하며, 효율적인 공간적 진행을 위해 유망한 방향을 선택한다. ACE는 조기 종료를 방지하는 것과 불필요한 지속을 피하는 것 사이의 긴장 관계를 완화한다. 광범위한 실험을 통해 ACE가 기존 최신(state-of-the-art) 베이스라인 대비 내비게이션(navigation) 작업 성공률을 18.0% 향상시키고, 질의응답(question answering)을 위한 탐험 효율성을 10.3% 향상시켜 효과적이고 효율적인 체화 탐험을 진전시킨다는 것을 입증한다.

arXiv:2609.22351v1cs.CV

3D 장면 그래프에서 의미적 불확실성의 계층적 집약

Hierarchical Aggregation of Semantic Uncertainty in 3D Scene Graphs

오픈 어휘(open-vocabulary) 3D 장면 그래프(3DSG)는 각 객체 노드를 비전-언어 임베딩에 그라운딩하지만, 모든 항목을 동등하게 확실한 것으로 기록하기 때문에, 지도를 조회하는 로봇은 어떤 항목이 신뢰할 수 없는지 구별할 수 없다. 의미적 불확실성 추정기가 그 구별을 제공할 수 있지만, 모델의 반복 샘pling, 학습, 또는 홀드아웃 레이블이 필요하며, 이는 모두 쿼리 시점에 배포된 시스템에서 사용할 수 없다. 우리는 검출기 신뢰도(detector confidence)와 3DSG가 이미 저장하고 있는 임베딩을 활용하여, 항목이 올바를 확률로 변환하고, 그 확률을 포함(containment) 계층을 통해 전파하여 어떤 방이 조회된 클래스를 포함한다는 믿음(belief)으로 만드는 프레임워크를 제시한다. 각각이 나타내는 객체 수준 오류와 짝을 이루는 네 가지 신호는 비전-언어 모델이 학습한 로짓 스케일에서 확률로 변환되며, 추가적인 지각(perception)이나 학습 없이 닫힌 형식(closed form)으로 결합된다. 동일한 검출기와 어휘를 공유하는 객체들은 함께 실패하므로, 프레임워크는 완전 상관(fully correlated) 극한에서 이들을 집약하며, 독립 가정 하의 집약은 하나의 반복된 오류를 반복된 증거로 취급할 것이다. HM3DSem에서 최신(state-of-the-art) 3DSG 시스템과 비교하여 평가한 결과, 프레임워크는 객체 검색을 개선하고 읽는 그래프의 방 수준 단언(room-level assertions)의 오류를 낮춘다.

arXiv:2609.20819v2cs.CV

4D 파운데이션 모델은 기억할 수 있는가?

Can 4D Foundation Models Remember?

시각적 세계를 지각하고 기억하는 것은 환경을 탐색하고 상호작용하는 데 필수적입니다. 카메라 제어가 가능한 비디오 모델이나 4D 재구성 모델과 같은 최신 4D 파운데이션 모델은 동적 환경을 지각하고 재구성할 수 있지만, 지각한 내용을 얼마나 잘 기억하는지는 여전히 미해결 과제로 남아 있습니다. 기존 벤치마크는 주로 픽셀 수준의 지표에 의존하며, 객체가 시야(field of view)를 벗어난 후에는 정답(ground truth)이 부족하여 참조 대비 객체 중심 방식으로 시각적 기억을 평가할 수 없습니다. 이러한 공백을 메우기 위해 본 논문에서는 전방위 정답(ground truth)으로 360{\deg} 비디오를 활용하고 객체 영속성(object permanence), 움직임 연속성(motion continuity), 외형 보존(appearance preservation)의 세 가지 평가 측면을 제안하는 데이터셋이자 메트릭 스위트인 PersistBench를 소개합니다. 다양한 범주에 걸쳐 여러 모델을 평가한 결과, 현재 모델들은 객체가 시야를 벗어나면 크게 저하되는 단기적 일관성만을 유지할 수 있음을 확인했습니다. 본 연구 결과는 현재 모델 역량과 견고한 시각적 기억 사이의 격차("보는 것이 기억하는 것은 아니다")를 강조하며, 향후 4D 파운데이션 모델 개발을 위한 지침을 제공합니다. 데이터셋과 코드는 프로젝트 페이지(https://guangzhaohe.com/persistbench)에서 확인할 수 있습니다.

arXiv:2609.02012v2cs.CV

POI-Loc: 세밀한 POI 로컬라이제이션 벤치마크 및 비대칭 전역-지역 매칭 기법

POI-Loc: A Fine-Grained POI Localization Benchmark and an Asymmetric Global-to-Local Matching Method

관심 지점(POI, Point-of-interest) 로컬라이제이션은 사용자가 제공한 매장 전면 근접 촬영 사진을 위치 태그(geo-tagged)가 지정된 차량 탑재 광각 스트리트 뷰 내 동일한 매장과 매칭한다. 주변 장면은 유사하게 유지되는 반면 POI는 변경될 수 있으므로, 장면 수준의 인식만으로는 POI의 동일성을 확립할 수 없다. 또한 대상 스케일 및 촬영 도메인의 차이는 매칭을 더욱 어렵게 만든다. 우리는 우리가 아는 한 이 비대칭적이고 세밀한(fine-grained) POI 로컬라이제이션 작업을 전담하는 최초의 벤치마크인 POI-Loc을 소개한다. 많은 시각적 장소 인식 방법들은 각 이미지를 단일 전역 벡터로 표현하는데, 이는 복잡한 배경 속에서 작은 매장 전면의 세밀한 특징을 희석시키는 경향이 있다. 우리는 전역 및 지역적 근거를 결합하기 위해 GLAM(Global-to-Local Asymmetric Matching)을 제안한다. 1단계에서는 학습 가능한 소프트 top-k 상호작용을 통해 단일 어텐션 풀링(attention-pooled) 쿼리 프로브를 압축된 참조 영역 토큰과 매칭하고, 그 결과로 도출된 지역 유사도를 검색을 위한 전역 유사도와 융합한다. 2단계에서는 어텐션 풀링 이전의 쿼리 영역 토큰과 저장된 참조 토큰을 재사용하여 상호 최근접 이웃 재순위화를 수행한다. GLAM은 Recall@1/5/10 및 mAP에서 전역 및 2단계 베이스라인을 모두 능가하며, FoL 대비 재순위화 특징은 약 $5\times$ 더 작고 쌍별 매칭 비용은 $280\times$ 더 낮다. 벤치마크와 코드는 https://github.com/roadhan/glam 에서 공개될 예정이다.

arXiv:2607.06782v2cs.RO

PROBE-X: 학습이 필요 없는 교차 FOV 장소 인식

PROBE-X: Learning-Free Cross-FOV Place Recognition

시야각(FOV, field-of-view) 불일치 상황에서는 서로 다른 각도 범위에 걸쳐 LiDAR 특징을 풀링(pooling)하면 압축 검색 키(compact retrieval key)가 왜곡되어 기하학적 검증(geometric verification) 이전에 올바른 매칭이 배제될 수 있습니다. 본 논문은 단일 스캔 기반 교차 FOV 장소 인식(cross-FOV place recognition)을 위한 학습이 필요 없는(learning-free) 방법인 PROBE-X를 제안합니다. 이동(translation) 불확실성을 모델링하는 PROBE의 확률적 점유 표현(probabilistic occupancy representation)을 기반으로, PROBE-X는 알 수 없는 상대 헤딩(relative heading)에 대한 최대 4개의 고정 가설에 조건화된 각도 마스크(angular mask)를 사용하여 링-평균(ring-mean) 검색 키를 구성합니다. 후보 목록은 최대 코사인 유사도(cosine similarity)를 기준으로 병합됩니다. 유지된 각 후보는 자신을 검색해낸 가설 하에서 정렬되며, 정제된 헤딩에서의 각도 중첩(angular overlap)에 대해 기하학적 점수가 부여됩니다. 통제된 FOV 및 이종(heterogeneous) LiDAR 실험 전반에서, PROBE-X는 제한된 FOV 쿼리와 파노라마 데이터베이스 스캔을 사용하는 대부분의 설정에서 평가된 단일 스캔 베이스라인(baseline)보다 높은 Recall@1과 PR-AUC를 달성합니다. 통제된 비대칭 FOV 스윕(sweep)에서는 단일 스캔 PROBE-X가 최대 10개의 누적 스캔으로 평가된 베이스라인보다도 두 지표 모두에서 우수한 성능을 보입니다. 두 가지 어블레이션(ablation) 설정에서, 검색 키 구성 시 각도 마스크를 제거하면 정렬 및 점수 산정이 여전히 각도 지원(support)을 고려하더라도 후보 커버리지와 Recall@1이 감소합니다. 프로젝트 페이지: https://sites.google.com/view/probex-pr

arXiv:2606.07338v2cs.CV

VeriDrive: 비용 효율적인 비전-언어 계획을 위한 검증 가능한 반사실적 감독

VeriDrive: Verifiable Counterfactual Supervision for Cost-Efficient Vision-Language Planning

비전-언어 주행 모델은 지각, 예측, 계획을 연결하기 위해 추론 감독(reasoning supervision)을 점점 더 많이 사용하지만, 기존 주행 근거(rationale)는 흔히 자유 형식(free-form)이며 프론티어(frontier) 모델로 생성하기에는 비용이 많이 든다. 우리는 계획 지향적(planning-oriented)이고 검증 가능한 반사실적(counterfactual) 감독을 구성하는 프레임워크인 VeriDrive를 제안한다. VeriDrive는 주행 추론을 구조화된 Perception-Evaluation-Revision(지각-평가-수정) 체인으로 변환하여, 핵심 객체를 미래 운동에 그라운딩(grounding)하고, 규칙으로 검증 가능한(rule-checkable) 근거로 대안적인 ego 궤적을 평가하며, 위험한 의도를 전문가(expert) 행동 방향으로 수정하고, 최종 계획 목표를 산출한다. 데이터 구축을 확장하기 위해 Ve리Drive는 로컬 생성과 검증기(validator) 안내 선택적 수정을 결합하여, 유효하지 않거나 어려운 샘플에 대해서만 에스컬레이션(escalation)을 수행한다. 우리는 nuScenes 기반으로 VeriDrive 데이터셋을 구축하고 Omni-Q 프로토콜 하에서 학습을 진행한다. 통제된 개방 루프(open-loop) 실험 결과, VeriDrive는 OmniDrive 대비 L2, Collision, Intersection 지표를 개선하는 동시에 기록된 토큰 사용량, 생성 시간, 실제 유료 LLM/VLM 비용을 절감했다. 이러한 결과는 감사 가능한(auditable) 중간 필드와 구조화된 수정 목표가 현실적인 어노테이션 예산 하에서 비전-언어 계획 감독을 개선할 수 있음을 보여준다. 코드, 프롬프트, 검증기 스크립트는 곧 공개될 예정이며 리뷰 절차 이후 배포될 것이다.

arXiv:2603.09632v5cs.CV

X-GS: 3D 가우시안 스플래팅을 통한 인지 및 사고를 위한 확장 가능한 프레임워크

X-GS: An Extensible Framework for Perceiving and Thinking with 3D Gaussian Splatting

3D 가우시안 스플래팅(3DGS)은 새로운 뷰 합성(novel view synthesis)을 위한 강력한 기법으로 부상하였으며, 이후 수많은 공간 AI(spatial AI) 애플리케이션으로 확장되고 있습니다. 그러나 기존의 대부분의 3DGS 방법들은 특정 도메인에만 집중하며 고립되어 작동합니다. 본 논문에서는 공간 작업을 위한 VLM의 인지 모듈에 이처럼 기존에 고립되어 있던 3DGS 방법들을 통합하는 확장 가능한 프레임워크인 X-GS를 소개하며, 이는 $\textit{Perceiver}$와 $\textit{Thinker}$라는 두 가지 주요 구성 요소를 갖추고 있습니다. $\textit{Perceiver}$는 시맨틱 지식 증류(semantic distillation)를 동반한 온라인 3DGS 기반 SLAM을 수행하고, 카메라 포즈가 없는(unposed) 비디오 스트림으로부터 시맨틱 가우시안을 출력합니다. 또한 더 강력한 기하학적 사전 정보를 얻기 위해 최신 비전 파운데이션 모델을 활용하며, 시맨틱 지식 증류 효율성을 향상시키기 위한 세 가지 새로운 최적화(optimization) 기법을 소개합니다. $\textit{Thinker}$는 다양한 VLM을 이러한 시맨틱 가우시안과 연동하여 3D 시각적 그라운딩(visual grounding) 및 씬 캡셔닝(scene captioning)과 같은 공간 멀티모달 역량을 발현시킵니다. 다양한 벤치마크(benchmark)에 대한 실험 결과는 X-GS 프레임워크의 효율성과 새롭게 발현된 멀티모달 능력을 입증합니다.

arXiv:2505.12254v3cs.CV

MMS-VPR: 밀집 보행자 환경을 위한 세분화된 멀티모달 거리 수준 시각적 장소 인식 데이터셋 및 평가 벤치마크

MMS-VPR: A Fine-Grained Multimodal Street-Level Visual Place Recognition Dataset and Evaluation Benchmark for Dense Pedestrian Environments

기존 시각적 장소 인식(VPR, Visual Place Recognition) 데이터셋은 대부분 차량 탑재 영상에 의존하며, 멀티모달 다양성이 제한적이고, 특히 비서구권 도시 맥락에서 밀집 보행자 거리 장면을 충분히 다루지 못한다. 본 논문에서는 밀집 도시 환경에서 보행자 수준의 장소 인식을 위한 도전적이고 세분화된 멀티모달 벤치마크인 MMS-VPR을 제시한다. MMS-VPR은 중국 청두(Chengdu)의 약 70,800 m² 규모 도심 지구 내 208개의 세분화된 위치 클래스에 걸쳐 110,529장의 이미지와 2,527개의 비디오 클립으로 구성되며, 인접한 클래스 간 거리는 최소 10-20 m에 불과하다. 대규모 지역을 다루는 기존 VPR 데이터셋과 달리, MMS-VPR은 반복적인 상점 전면부, 밀집된 가림(occlusion), 급격한 시점 변화 등 시각적 모호성을 통해 난이도를 높였다. 현장 데이터는 2024년에 체계적인 다방향·이중 시점(dual-perspective) 프로토콜에 따라 수집되었으며, 소셜 미디어 이미지는 7년(2019-2025)에 걸쳐 수집된 31,726장의 위치 태그(geolocated) 사진을 통해 장기간의 외관 변화를 제공한다. 각 위치는 주간·야간 촬영, 다양한 시야각, 그리고 GPS 좌표, 타임스탬프, 시맨틱 텍스트, 공간 구문(space syntax) 정보로 보강된 명시적 공간 그래프를 포함한 멀티모달 주석을 특징으로 한다. 우리는 표준화되고 재현 가능한 파이프라인 하에서 얕은 머신러닝(shallow ML), CNN, 트랜스포머(Transformer), 그래프 신경망(GNN), 멀티모달 아키텍처에 걸친 22개의 베이스라인을 통합한 통합 벤치마킹 플랫폼인 MMS-VPRlib을 공개한다. 통제된 모달리티 제거(ablation) 실험 결과, 비디오의 시간적 특징(temporal feature)이 단일 모달리티 중 가장 강력했으며(이미지 단독 대비 정확도 +15.8%), 시맨틱 텍스트는 단독으로도 우수한 대략적 검색 성능(R@5 = 0.988)을 보였고, 전체 멀티모달 융합은 0.981의 정확도로 이미지 단독 대비 +19.2%의 향상을 달성했으며, 그래프 구조 모델링은 세분화된 구조적 하위 집합에서 추가적인 신호를 제공하는 것으로 나타났다. 데이터셋은 https://huggingface.co/datasets/Yiwei-Ou/MMS-VPR 에서, 벤치마크는 https://github.com/yiasun/MMS-VPRlib 에서 이용할 수 있다.

arXiv:2607.10749v2cs.CV

대칭 어텐션을 활용한 수면 반사 검출

Water Reflection Detection Using Symmetric Attention

수면 반사는 컴퓨터 비전 시스템에 심각한 도전 과제를 제기한다. 표준 심층 학습 모델이 객체와 거울상을 혼동하는 경우가 빈번하여, 객체 검출 및 시맨틱 분할과 같은 태스크에서 허위 양성과 허위 음성을 유발하기 때문이다. 따라서 자연 수면 장면에서 반사축을 검출하는 것은 신뢰할 수 있는 객체 검출과 장면 이해에 핵심적이다. 이 문제를 완화하기 위해, 우리는 물의 내재적이고 불완전한 반사 대칭성을 활용하여 대칭 인식 수면 반사 검출 네트워크인 SAWRD-Net을 제안한다. 이 네트워크는 이면체군 등변 합성곱(dihedral group-equivariant convolution)과 행렬 분해 디코더(matrix-decomposition decoder)를 엔드-투-엔드 프레임워크로 결합한다. 먼저, 이면체군 합성곱 레이어가 회전 대칭과 거울 대칭을 모두 명시적으로 인코딩하는 기하학적으로 일관된 특징 맵을 추출한다. 이후 다중 스케일 반사 등변 블록(Multi-scale Reflection Equivariant block)이 다양한 스케일에 걸쳐 특징을 집계하고 대칭 어텐션 메커니즘을 활용하여 반사 관련 영역을 강조한다. 제안된 행렬 분해 디코더는 고차원 특징을 컴팩트한 저랭크 매개변수 공간과 신뢰도 공간으로 인수분해하며, 네트워크는 이를 통해 반사축 위의 키포인트를 직접 회귀한다. 이후 강건한 주성분 분석(robust principal component analysis)이 최종 축을 피팅한다. 현존하는 가장 큰 수면 반사 장면 데이터셋에서 평가한 결과, SAWRD-Net은 인간 주석 대비 0.890의 진양성률(true-positive rate)을 달성하여 기존의 모든 수면 반사 검출기를 능가한다.

arXiv:2505.01950v2cs.CV

SARTM: Segment Any RGB Thermal Model with Language aided Distillation

The recent Segment Anything Model (SAM) demonstrates strong instance segmentation performance across various downstream tasks. However, SAM is trained solely on RGB data, limiting its direct applicability to RGB-thermal (RGB-T) semantic segmentation. Given that RGB-T provides a robust solution for scene understanding in adverse weather and lighting conditions, such as low light and overexposure, we propose a novel framework, SARTM, which customizes the powerful SAM for RGB-T semantic segmentation. Our key idea is to unleash the potential of SAM while introduce semantic understanding modules for RGB-T data pairs. Specifically, our framework first involves fine-tuning the original SAM by adding extra LoRA layers, aiming at preserving SAM's strong generalization and segmentation capabilities for downstream tasks. Secondly, we introduce language information as guidance for training our SARTM. To address cross-modal inconsistencies, we introduce a Cross-Modal Knowledge Distillation(CMKD) module that effectively achieves modality adaptation while maintaining its generalization capabilities. This semantic module enables the minimization of modality gaps and alleviates semantic ambiguity, facilitating the combination of any modality under any visual conditions. Furthermore, we enhance the segmentation performance by adjusting the segmentation head of SAM and incorporating an auxiliary semantic segmentation head, which integrates multi-scale features for effective fusion. Extensive experiments are conducted across three multi-modal RGBT semantic segmentation benchmarks: MFNET, PST900, and FMB. Both quantitative and qualitative results consistently demonstrate that the proposed SARTM significantly outperforms state-of-the-art approaches across a variety of conditions. Code and pre-trained weights can be found at https://github.com/wahaha-debug/SARTM.

arXiv:2607.22494v2cs.MM

CARA: 해석 가능한 충돌 예측을 위한 개념 인식 위험 어텐션

CARA: Concept-Aware Risk Attention for Interpretable Collision Anticipation

자율주행에서 충돌 예측은 정확한 조기 경고뿐 아니라, 어떤 위험 요인을 추적하고 있는지, 그리고 위험이 시간에 따라 어떻게 변화하는지에 대한 해석 가능한 추론도 필요하다. 기존 방법은 이 점에서 부족하다. 특징 기반 모델은 불투명하고, 사후 설명은 종종 충실도가 부족하며, 개념 기반 방법은 대부분 동적 주행 장면이 아닌 정적 인식을 위해 설계되어 있다. 우리는 충돌 예측을 위한 본질적으로 해석 가능한 시공간 프레임워크인 CARA(Concept-Aware Risk Attention, 개념 인식 위험 어텐션)를 제안한다. CARA는 사고 서사로부터 도메인에 기반한 위험 개념을 도출하고, 비전-언어 유사도를 통해 이를 비디오 프레임과 정렬하며, 이를 진화하는 개념 궤적으로 구성한다. 이러한 궤적은 공간 어텐션, 시간 어텐션, 예측을 안내하는 명시적인 위험 증거를 제공하여, 의미적 개념이 모델이 어디에 어텐션하는지와 시간에 따라 위험을 어떻게 예측하는지 모두에 직접 영향을 미치게 한다. 의미적 위험 요인을 보조적인 사후 설명이 아닌 동적 중간 증거로 취급함으로써, CARA는 해석 가능성과 예측 과정을 긴밀히 결합한다. 세 벤치마크에 대한 광범위한 실험은 CARA가 강력한 기준선 대비 예측 정확도와 경고 조기성을 일관되게 개선하면서, 희소하고 의미적으로 기반된 개념 증거를 제공함을 보여준다.

arXiv:2607.20389v2cs.CV

PercepCap: 구조화된 시공간 인식 기반 비디오 캡셔너

PercepCap: Video Captioner with Structured Spatio-Temporal Perception

비디오 캡셔닝은 객체의 위치에 대한 공간적 인식과 사건이 발생하는 시점에 대한 시간적 인식을 포함하여, 비디오에 대한 세밀한 시공간 이해를 요구한다. 기존 MLLM(멀티모달 대규모 언어 모델)은 보통 설명 뒤에 숨겨진 지각적 근거를 드러내지 않은 채 비디오 입력으로부터 직접 캡션을 생성한다. 그 결과, 시공간 지각의 오류는 최종 캡션에서만 관찰되어, 근본적인 지각 오류를 직접 식별하기 어렵다. 이러한 문제를 해결하기 위해, 우리는 최종 캡션을 생성하기 전에 지각적 근거를 명시적으로 드러내는 지각 인식형 비디오 캡셔닝 프레임워크인 PercepCap을 제안한다. 구체적으로, PercepCap은 perceive-describe 생성 체인을 따르며, 모델이 먼저 객체 궤적과 시간적 사건으로 구성된 시공간 지각 추적(perception trace)을 생성한 다음, 지각된 근거를 조건으로 최종 캡션을 생성한다. 이를 지원하기 위해, 우리는 2단계 학습 전략을 설계한다. Perceive-then-Describe 지도 미세조정(SFT)은 모델을 캡션 전용 생성에서 제안된 perceive-describe 체인으로 적응시키며, Perception-Grounded 강화학습(RL)은 지각 체인과 최종 캡션에 대한 결합 보상으로 지각 추적과 캡션 품질을 최적화한다. 2단계 학습을 지원하기 위해, 우리는 Caption-Anchored Perception Data Construction을 도입한다. 이 파이프라인은 먼저 캡션 전용 설명을 생성하고, 그것이 언급하는 객체와 사건을 추출한 다음, 박스와 타임스탬프로 비디오에 다시 그라운딩하여 SFT 및 RL 학습 데이터를 구축한다. 이는 견고한 학습 정답(ground truth)을 제공하는 캡션 정렬 지각 데이터를 산출하며, 명시적 지각 추적과 최종 캡션이 동일한 객체와 사건을 가리키도록 보장한다. 직접 캡션 평가와 캡션-질의응답(QA) 평가 전반에 걸쳐, PercepCap은 Qwen3-VL 기준선을 일관되게 개선하며 선도적인 캡션 품질을 보여준다.

arXiv:2607.15048v2cs.CV

RoGS: 대규모 도로 표면 매핑을 위한 적응형 메시그리드 가우시안

RoGS: Adaptive Meshgrid Gaussian for Large-Scale Road Surface Mapping

도로 표면 매핑은 자율주행에서 고정밀 지도 생성, 차선 수준 인지, 자동 도로 주석을 지원하며 중요한 역할을 한다. 최근 메시 기반 도로 표면 재구성 방법들은 유망한 결과를 보여주었지만, 특히 대규모 주행 시나리오에서 재구성 품질의 한계와 높은 최적화(optimization) 비용 문제가 여전히 남아 있다. 이러한 한계를 해결하기 위해, 우리는 적응형 메시그리드 가우시안 표현에 기반한 견고하고 효율적인 대규모 도로 표면 매핑 프레임워크인 ROADGS-T를 제안한다. 구체적으로, 우리는 메시그리드 위에 2D 가우시안 서펠(surfel)을 배치하여 도로 표면을 모델링하며, 각 서펠은 색상, 의미(semantic), 기하 정보를 명시적으로 저장한다. 기존 메시 기반 표현 및 3D 가우시안 프리미티브와 비교할 때, 제안된 메시그리드 가우시안 표현은 도로의 얇은 표면 특성에 더 잘 부합하면서 최적화 과정에서 중복 프리미티브와 겹침을 크게 줄인다. 표현 효율성과 구조적 충실도를 더욱 향상시키기 위해, 도로 구조 인식 적응형 메시그리드 전략을 도입한다. 이 전략은 차선 표시, 도로 경계, 높이 불연속성 등 기하학적으로 또는 의미적으로 복잡한 영역에 더 조밀한 가우시안 서펠을 할당하고, 평탄한 도로 구역에서는 간결한 표현을 유지한다. 또한 단일 최근접 차량 자세(pose)에 의존하는 대신, 궤적 일관성 유도 자세 강건 정제 전략을 설계한다. 이 전략은 여러 인접 자세로부터 국소 표면 사전(prior)을 추정하고, 기하학적 일관성에 따라 자세 유도 높이 정규화의 가중치를 적응적으로 조절한다.