PyTorchKR Papers

최신 논문

총 2,147편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05568v1cs.CV

생성 이미지 모델을 활용한 학습 없는 기본 형태 추상화

Harnessing Generative Image Models for Training-Free Primitive Shape Abstraction

비전-언어 모델과 생성 이미지 모델을 활용해 3D 객체를 의미론적 부위로 분할하고, 각 부위에 수퍼쿼드릭(superquadric) 기본 요소를 피팅하는 학습 불필요(training-free) 3D 형태 추상화 파이프라인을 제안한다. 학습된 매개변수 없이 카테고리·방향에 무관하게 동작하며, HumanPrim과 Toys4K 벤치마크에서 객체당 평균 5~9개의 기본 요소만으로 모든 비교 방법 중 최저 Chamfer 거리를 달성했다.

arXiv:2607.05543v1cs.RO

GEM-Occ: 시각적 기하학 증거에서 구현된 에이전트의 의미론적 점유 메모리로

GEM-Occ: From Visual Geometry Evidence to Embodied Semantic Occupancy Memory

실내 에이전트의 장거리 의미론적 점유(semantic occupancy) 매핑을 위해 ScanNet, ScanNet++, Matterport3D를 통합한 계층적 벤치마크 HIOcc와, 로컬 시각적 기하학 예측을 일시적 증거로 변환해 가시성·불확실성 인식 인과 업데이트로 영속적 계층 메모리에 융합하는 GEM-Occ 프레임워크를 제안한다. HIOcc 실험에서 GEM-Occ는 기존 실내 점유 및 가우시안 기반 매핑 베이스라인 대비 로컬 점유 예측, 온라인 맵 안정성, 자유 공간 추론, 재방문 일관성, 건물 단위 확장성 전반에서 성능 향상을 달성하였다.

arXiv:2607.05493v1cs.CV

Ground3D-LMM: LMM을 활용한 세밀한 3D 포인트 그라운딩 및 공간 추론

Ground3D-LMM: Fine-Grained 3D Point Grounding and Spatial Reasoning with LMM

포인트 클라우드와 자연어 질의를 받아 명시적 3D 세그멘테이션 마스크와 실세계 단위의 계측값을 동시에 출력하는 통합 대규모 멀티모달 모델(LMM) Ground3D-LMM을 제안하며, 객체·파트 수준의 그라운딩과 계측 추론을 단일 대화형 인터페이스에서 지원한다. ScanNet 및 ScanNet++ 기반으로 약 250만 개의 질의응답 쌍을 포함하는 대규모 데이터셋과 3D Grounded Measurement 태스크를 새롭게 정의하고, 다양한 벤치마크 실험에서 강력한 기준선 성능을 보였다.

arXiv:2607.02707v2cs.CV

VLRC: 더 나은 피드포워드 3D 사전학습을 위한 확장 가능한 신호로서의 비전-언어 재투영 일관성

VLRC: Vision-Language Reprojection Consistency as a scalable signal for better feed-forward 3D pretraining

피드포워드 3D 모델 학습 시 기하학적 지도 학습의 비용과 광도측정 자기지도 학습의 모호성 문제를 해결하기 위해, 동결된 비전-언어(vision-language) 모델의 표현을 다시점 간 일관성 신호로 활용하는 보조 목적 함수 VLRC(Vision-Language Reprojection Consistency)를 제안한다. VLRC는 추가 3D 어노테이션 없이 예측된 3D 구조를 통해 조밀한 비전-언어 특징을 재투영하여 일관성을 강제하며, 실내외 벤치마크에서 깊이 및 카메라 추정 정확도와 제로샷 개방형 어휘 3D 의미론적 분할 성능을 향상시켰다.

arXiv:2606.03921v2cs.CV

GARDEN: 중력 정렬 기반 RGB 이미지로부터의 분리된 환경 재구성

GARDEN: Gravity-Aligned Reconstruction of Disentangled ENvironments from RGB images

RGB 이미지만을 입력으로 받아 중력 방향을 물리적 사전(prior)으로 활용하는 GARDEN 프레임워크를 제안하며, 씬을 Gravity-View 프레임에 정렬한 후 전경 강체 객체를 6-DoF 메시로 분리하고 배경에서 중복 형상을 제거하는 방식으로 시뮬레이션 즉시 활용 가능한 3D 환경을 재구성한다. CAD 검색 기반 기존 방법 대비 처리 시간을 대폭 단축(4330s → 560s)하면서 객체 배치 신뢰성, 분리 품질, 렌더링-시뮬레이션 효율성을 향상시킴을 실험으로 입증한다.

arXiv:2604.22851v2cs.CV

EgoDyn-Bench: 자율주행을 위한 비전 중심 파운데이션 모델의 자아 운동 이해 평가

EgoDyn-Bench: Evaluating Ego-Motion Understanding in Vision-Centric Foundation Models for Autonomous Driving

자율주행에서 비전-언어 모델(VLM)의 자아 운동(ego-motion) 이해를 평가하는 진단 벤치마크 EgoDyn-Bench를 제안하며, 결정론적 오라클로 연속적 차량 운동학을 이산적 의미 개념에 매핑해 20개 이상의 모델을 대규모로 감사한다. 평가 결과, 현재 모델들은 물리적 추론 능력 자체보다는 시각적 관찰과의 정렬에서 구조적 결함을 보이며, 학습되지 않은 고전적 기하학적 기준선보다도 낮은 성능을 보이는 인식 병목(Perception Bottleneck) 현상이 모델 규모와 도메인 특화 학습에 무관하게 지속됨을 밝혔다.

arXiv:2603.21046v2cs.CV

SpatialFly: 연속적 UAV 비전-언어 내비게이션을 위한 암묵적 3D 사전 정보 기반 시각적 재파라미터화

SpatialFly: Implicit 3D Prior-Guided Visual Reparameterization for Continuous UAV Vision-and-Language Navigation

RGB 관측만으로 명시적 3D 재구성 없이 작동하는 SpatialFly는 기하학적 사전 정보 주입(Geometric Prior Injection)과 기하학-인식 재파라미터화(Geometry-Aware Reparameterization) 모듈을 통해 2D 시각 토큰에 암묵적 3D 구조 정보를 주입함으로써 UAV 비전-언어 내비게이션(VLN)의 2D 인식과 3D 궤적 의사결정 간 표현 불일치 문제를 해결한다. 미관측 환경에서 기존 최강 기준선 대비 항법 오차(NE)를 4.03m 줄이고 성공률(SR)을 1.27% 향상시켜 더 안정적이고 경로 정렬이 우수한 궤적을 생성함을 실험으로 입증했다.

arXiv:2512.23020v3cs.CV

OpenGround: 오픈 월드 3D 비주얼 그라운딩을 위한 계획 기반 온라인 지각

OpenGround: Planning-based Online Perception for Open-World 3D Visual Grounding

OpenGround은 3D 장면에서 자연어 쿼리로 객체를 찾는 제로샷(zero-shot) 3D 비주얼 그라운딩(visual grounding) 프레임워크로, 사전 정의된 객체 조회 테이블(OLT)에 의존하는 기존 방법의 한계를 극복하기 위해 복잡한 쿼리를 단계별 서브목표로 분해하는 Task-Chain Planning과 문맥 기반으로 새로운 객체를 온라인에서 탐지하는 Context-Guided Perception을 통합한다. 오픈 월드 평가를 위해 구축한 OpenTarget 벤치마크에서 17.6% 향상을 달성하였으며, ScanRefer에서 최고 수준의 성능을 기록하였다.

arXiv:2511.17649v5cs.CV

SWITCH: 장기 수평 구현형 시나리오에서 유형 인터페이스의 모델링 및 처리 벤치마킹

SWITCH: Benchmarking Modeling and Handling of Tangible Interfaces in Long-horizon Embodied Scenarios

SWITCH는 가전제품 패널, 리모컨, 엘리베이터 등 유형 제어 인터페이스(TCI)와의 폐쇄형 루프(closed-loop) 상호작용 추론을 평가하기 위한 벤치마크로, 9개 도메인에 걸친 1,170개의 자아중심 영상과 지시·행동·상태 전이·결과·복구 행동에 대한 구조화된 어노테이션을 제공한다. 최신 멀티모달 모델 실험 결과, 세밀한 시각적-시간적 지각, 결과 검증, 오류 복구 전반에서 지속적인 취약점이 드러나 폐쇄형 루프 구현형 지능 연구의 테스트베드로 주목된다.

arXiv:2509.24966v2cs.CV

소셜 3D 장면 그래프: 인터랙티브 서비스 로봇을 위한 인간 행동 및 관계 모델링

Social 3D Scene Graphs: Modeling Human Actions and Relations for Interactive Service Robots

서비스 로봇이 인간 중심 환경에서 사회적으로 적절하게 행동할 수 있도록, 기존 3D Scene Graph에 인간의 속성·활동·근거리 및 원거리 관계를 오픈-어휘 방식으로 통합한 Social 3D Scene Graph와 이를 구축하는 ReaSoN 모듈을 제안한다. 합성 및 실제 환경으로 구성된 SocialGraph3D 벤치마크에서 인간 활동 예측과 인간-환경 관계 추론 모두에서 기존 방법 대비 향상된 성능을 보여주며, IROS 2026에 게재 승인되었다.

arXiv:2406.07089v4cs.CV공식 코드 · Papers with Code

RS-Agent: 지능형 에이전트를 통한 원격 탐사 작업 자동화

RS-Agent: Automating Remote Sensing Tasks through Intelligent Agent

RS-Agent는 구조화된 작업 계획과 도구 오케스트레이션을 통해 사용자 의도를 전문적인 원격 탐사 워크플로우와 연결하는 도메인 적응형 지능 에이전트로, 중앙 컨트롤러, 동적 툴킷, Solution Space, Knowledge Space의 네 가지 구성요소로 이루어진다. Task-Aware Retrieval과 가중 이중 경로 검색-증강 생성 방법인 DualRAG를 도입하여 9개 데이터셋, 18개 원격 탐사 작업 실험에서 95% 이상의 작업 계획 정확도와 함께 장면 분류, 객체 계수, 시각적 질의응답에서 최신 MLLM 대비 현저히 높은 성능을 달성하였다.

arXiv:2607.04149v1cs.CV

장면 사전 정보를 넘어서: 벤치마킹과 쿼리 기반 소형 객체 집중을 통한 세밀한 교통 장면 추론

Beyond Scene Priors: Fine-Grained Traffic Scene Reasoning with Benchmarking and Query-Guided Small-Object Focus

안전 중요 교통 시나리오에서 복잡한 질문에 답하려면 미세하고 국소적인 시각적 단서가 필요하다. 그러나 표준 멀티모달 대규모 언어 모델(MLLM)은 배경에 과도하게 주목하는 경향이 있어, 시각-언어 정렬 과정에서 중요한 소형 객체가 압도되는 문제가 발생한다. 우리는 이 실패 유형을 '핵심 증거 희석(critical evidence dilution)'이라 명명한다. 또한 기존의 시각적 질의응답(VQA) 데이터셋은 국소적 증거를 정확히 식별해야 하는 대규모의 방해 요소가 풍부한 평가를 포함하지 않아 이 결함을 거의 드러내지 못한다. 이러한 평가 및 아키텍처 격차를 해소하기 위해, 우리는 세밀한 교통 추론 벤치마크(FGTR-Bench)와 텍스트 기반 소형 객체 추론 MLLM(TSR-MLLM)을 소개한다. FGTR-Bench는 다중 에이전트 생성, 일관성 검사, 전문가 감수를 통해 제작된 40,236개의 단일 이미지 객관식 문제(MCQ)와 별도의 4,947개 샘플로 구성된 블라인드 테스트 분할로 이루어진다. 증거 희석 문제를 해결하기 위해, Qwen3-VL-4B 기반으로 구축된 TSR-MLLM은 쿼리 조건부 텍스트 기반 소형 객체 집중(TG-SOF) 맵을 활용한다. 디코더 경계에서 한 번 적용되는 이 맵은 질문과 가장 관련성 높은 비전 슬롯에 희소한 Top-K 게이팅 잔차를 추가하면서 텍스트 토큰은 변경하지 않는다. 경량 디코더 적응과 결합하여 TSR-MLLM은 외부 검출기나 이미지 재인코딩 없이 단일 패스 추론을 유지한다. 동일한 설정 하에서 TSR-MLLM은 FGTR-Bench에서 가장 강력한 4B 기준선보다 2.1점 높은 성능(전체 74.1%)을 달성하며, 증거 국소화 트랙에서 더 큰 향상을 보인다. 또한 태스크별 미세조정 없이 탐욕적 디코딩 방식으로 DriveQA-V(CARLA Signs)에서도 경쟁력 있는 성능을 유지한다.

arXiv:2607.04079v1cs.CV

한 번 보는 것으로 충분한가? 3D 질의응답을 위한 온라인 기하학 인식 토큰 가지치기

Seeing Once is Enough? Online Geometry-Aware Token Pruning for 3D Question Answering

최근 멀티모달 대규모 언어 모델(MLLM)은 2D 질의응답 태스크에서 뛰어난 성능을 보여왔다. 그러나 이러한 모델을 3D 질의응답으로 확장하는 것은 여전히 어려운 과제로, 일반적으로 장면의 다중 시점이 필요하여 추론 시 상당한 계산 비용이 발생한다. 이 문제를 완화하기 위해 기존 솔루션들은 전략적 프레임 선택 또는 토큰 병합 알고리즘에 의존하며, 이는 장면의 모든 프레임을 사전에 전처리하는 오프라인 방식을 필요로 한다. 이와 달리, 우리는 추가 학습 없이 더 낮은 메모리 사용량으로 현재 MLLM 모델에 원활하게 통합될 수 있는, 3D 질의응답 태스크를 위한 최초의 온라인 토큰 가지치기 방법을 제안한다. 핵심 아이디어는 깊이 정보와 카메라 포즈를 활용하여 각 입력 프레임을 공유 복셀(voxel) 공간에 투영함으로써 프레임 간 공간적으로 중복된 영역을 식별하고, 해당 중복 이미지 토큰이 언어 모델에 입력되기 전에 선택적으로 가지치기를 수행하는 것이다. 우리의 방법은 효율적인 온라인 처리를 가능하게 하면서 토큰 사용량을 최대 50%까지 줄인다. 이 접근법을 Qwen2.5-VL-7B와 Qwen3-VL-8B에 적용하여 ScanQA, SQA3D, OpenEQA-HM3D 벤치마크에서 향상된 성능을 입증하였다.

arXiv:2607.04057v1cs.CV

PreSIST: 오픈 월드 장면에서 비전-언어 정보를 활용한 객체 지속성 예측

PreSIST: Vision-Language-Informed Object Persistence Prediction in Open-World Scenes

장기간 운용되는 로봇은 시간이 지남에 따라 변화하는 환경에 대해 추론할 수 있어야 한다. 기존의 장기 인식 시스템은 대부분 객체 변화에 반응적으로 대응하여, 장면을 재방문하고 객체가 이동했음을 관찰한 후에야 맵을 갱신한다. 그 대신 로봇은 객체가 나타난 맥락을 활용하여 얼마나 오래 지속될지 사전에 추론해야 한다. 예를 들어, 신호등 앞의 자동차와 주차 공간의 자동차는 동일한 의미 범주에 속하지만, 각각의 맥락은 서로 다른 지속 시간을 암시한다. 우리는 관측된 객체가 임의의 미래 시점에 마지막으로 관측된 자세를 유지할지 예측하는 방법인 PreSIST(Predictive Scene-conditioned Instance Survival over Time)를 제안한다. PreSIST는 객체 속성과 장면 맥락으로부터 인스턴스 수준의 지속성 사전 확률을 추정한 뒤, 관측이 확보되는 시점에 이를 확률적 지속성 필터와 통합한다. 핵심 통찰은 비전-언어 모델(VLM)의 추론 능력이 장면 맥락을 객체의 예상 용도 및 인간 활동과 연결할 수 있어, 장기 관측 없이도 지속성 예측이 가능하다는 점이다. 우리는 두 가지 상호 교환 가능한 변형을 개발한다: VLM을 사용하여 지속성 사전 확률을 추정하는 PreSIST-Lang과, 효율적인 배포를 위해 PreSIST-Lang의 의사 레이블(pseudo-label)로 학습된 새로운 비전 전용 모델인 PreSIST-Vis이다. 실세계 객체 지속성 어노테이션으로 구성된 새 데이터셋에서 수행한 실험 결과, PreSIST-Lang과 PreSIST-Vis 모두 오픈 월드 지속성 예측에서 기존 베이스라인을 능가하는 성능을 보였다.

arXiv:2607.03990v1cs.CV

InSpace: 단일 360° 이미지로부터의 구조 인식 3D 실내 장면 생성

InSpace: Structure-Aware 3D Indoor Scene Generation from a Single 360° Image

단일 이미지-3D 생성 분야의 최근 발전으로 고품질 에셋 합성이 가능해졌지만, 이 능력을 실내 장면 생성으로 확장하는 것은 여전히 어려운 과제이다. 기존 방법들은 에셋 수준의 생성에 집중하면서 구조적 레이아웃을 간과하는데, 이 레이아웃은 다운스트림 응용에 필수적이며 에셋을 그라운딩하는 공간적 앵커 역할을 한다. 그러나 제한된 시야각을 가진 단일 이미지는 일관된 전역 레이아웃을 복원하기에 충분한 공간적 커버리지가 부족하다. 이를 위해, 우리는 등장방형 투영(ERP, Equirectangular Projection)으로 표현된 360° 이미지를 사용하고, 3D 실내 장면 생성을 위한 구조 인식 프레임워크인 InSpace를 제안한다. InSpace는 세 단계로 구성된다: (1) 공간적 사전(prior)으로서 부분 장면 기하를 추정하고, (2) 뷰 선택적 크로스 어텐션으로 거친 장면 구조를 생성하며, (3) 플로우 매칭을 활용한 글로벌-로컬 하이브리드 어텐션을 통해 텍스처가 포함된 상세한 레이아웃과 에셋 기하를 생성한다. 또한 우리는 3D-FRONT를 기반으로 한 쌍(paired) ERP-이미지-3D 실내 장면 데이터셋인 ERP-FRONT를 제안한다. 실험 결과, InSpace는 단일 ERP 이미지로부터 구조적 레이아웃과 함께 완전한 3D 실내 장면을 생성하고, 별도의 텍스처 에셋도 생성하며, 3D 및 2D 메트릭 전반에 걸쳐 우수한 성능을 달성한다. 프로젝트 페이지: https://kookie12.github.io/InSpace-Project-Page/

arXiv:2607.03945v1cs.CV

원격 탐지 교통 객체 분할을 위한 대규모 데이터셋 및 새로운 방법론

A Large-Scale Dataset and a New Method for RemoteSensing Traffic Object Segmentation

원격 탐지 이미지는 지역 교통 용량 평가에 중요한 역할을 한다. 그러나 기존의 분할 데이터셋은 객체 범주와 장면의 다양성이 부족한 경우가 많아, 실제 환경에서 교통 용량을 종합적으로 평가하는 모델의 능력을 제한한다. 이러한 격차를 해소하기 위해, 우리는 NWPU-Traffic이라는 교통 객체 분할을 위한 대규모 다양성 데이터셋을 구축하였다. 이 데이터셋은 네 가지 교통 객체 범주(자동차, 항공기, 선박, 기차)를 포함하며, 7개국 49개 도시에 걸친 광범위한 장면을 다루고, 개별 객체의 정밀한 분할을 보장하는 인스턴스 수준의 어노테이션을 제공함으로써 기존 데이터셋의 해상도 및 장면 다양성 부족이라는 핵심적인 한계를 극복한다. 이 데이터셋을 활용하여, 여러 인기 있는 분할 네트워크를 사용한 벤치마크를 수립한다. 또한, 공간-채널 보존 특징 상호작용과 적응형 특징 디코더를 활용하는 새로운 분할 방법을 제안하며, 이를 통해 다양한 스케일과 복잡한 환경에서 강건한 분할을 가능하게 한다. 광범위한 실험과 소거 연구(ablation study)를 통해 우리 접근법의 효과성을 검증한다. 데이터셋과 코드는 https://github.com/CVer-Yang/NWPU-Traffic에서 공개적으로 이용 가능하다.

arXiv:2607.03915v1cs.CV

NavEYE: 지능형 수상 차량을 위한 비전 중심 다중 센서 융합 기반 상황 인식 시스템

NavEYE: Vision-Centered Multi-Sensor Fusion-Based Situational Awareness System for Intelligent Surface Vehicles

센서 및 인공지능(AI) 기술의 급속한 발전과 함께, 지능형 수상 차량(ISV)은 학계와 산업계에서 점점 더 많은 주목을 받고 있다. ISV의 지능성, 신뢰성, 안전성은 복잡한 항법 환경에서의 상황 인식에 크게 의존한다. 고품질 인식을 달성하기 위해, 우리는 자동 선박 식별 시스템(AIS), 레이더, RGB 카메라를 포함한 상호 보완적 센서를 활용하여 NavEYE라는 비전 중심 다중 센서 융합 시스템을 개발한다. 구체적으로, 우리는 먼저 저시간해상도 AIS 데이터와 고시간해상도 레이더 데이터를 정확하게 매칭하기 위한 다중 제약 게이트 데이터 연관 방법(MCGA)을 제안한다. 이후 거리 인식 적응형 가중치 융합(DAWF)과 적시성 감쇠 기반 스티칭 융합(TDSF)을 선택적으로 적용하여 융합 결과를 얻으며, 이는 실세계 감지 시나리오에서 AIS 또는 레이더 데이터 손실로 인한 불확실성을 줄인다. 정확하고 강인한 시각적 객체 검출을 기반으로, 정규화된 방위각 및 거리 특징의 결합 제약을 통해 AIS, 레이더, 시각 데이터를 추가로 연관 및 융합한다. 융합 결과에 따라 관심 선박과 관련된 종합적인 정보를 자동으로 획득할 수 있으며, 이는 ISV의 상황 인식 향상과 충돌 위험 감소에 기여한다. 제안된 다중 센서 융합 방법 및 상황 인식 시스템의 실현 가능성, 강인성, 사용성, 효과성은 AIS, 레이더, 카메라에서 수집된 실세계 감지 데이터셋에 대한 광범위한 실험을 통해 입증된다. 실험 결과는 정량적 및 정성적 평가 모두에서 우리의 융합 방법의 우수한 성능을 보여준다. 또한, 선상 NavEYE 시스템은 복잡하고 동적인 환경에서 ISV의 항법 안전성을 향상시킬 수 있다.

arXiv:2607.03822v1cs.CV

FDR-Occ: 전 스펙트럼 3D 점유 예측을 위한 인수분해 밀집 라우팅

FDR-Occ: Factorized Dense Routing for Full-Spectrum 3D Occupancy Prediction

비전 기반 3D 점유 예측(3D occupancy prediction)은 근본적으로 2D-에서-3D 뷰 변환에 의존한다. 현재의 주류 패러다임은 명시적 물리 투영을 주로 활용하는데, 이는 라우팅 행렬을 엄격하고 희소한 카메라 광선으로 인위적으로 제한한다. 계산 효율은 높지만, 이는 심각한 지역성 병목(Locality Bottleneck)을 초래하여 네트워크가 전체적 문맥 이해를 형성하지 못하게 하고, 카메라 외부 파라미터(extrinsics)가 신뢰할 수 없거나 부재할 경우 성능이 급격히 저하된다. 이 병목을 극복하기 위해, 우리는 뷰 변환을 비제약 이분 라우팅으로 추상화하고 인수분해 밀집 라우팅(Factorized Dense Routing, FDR)을 제안한다. 계층적 텐서 수축을 통해 밀집 2D-에서-3D 혼합을 근사함으로써, FDR은 다루기 쉬운 준이차(sub-quadratic) 복잡도로 완전 전역 수용 필드를 보장한다. 핵심적으로, 밀집 라우팅에서의 필수적 공간 수축은 근본적인 해상도-문맥 트레이드오프(Resolution-Context Trade-off)를 드러낸다. 이를 해결하기 위해, 우리는 해상도-문맥 분리 아키텍처(Resolution-Context Decoupled Architecture)를 도입한다. 3D 공간을 전역 거시적 위상적 앵커(FDR을 통해)와 정밀한 지역 기하학적 평면(명시적 투영을 통해)으로 인수분해함으로써, 전역 의미 추론과 정확한 표면 위치 추정이 상호 타협 없이 서로를 보완할 수 있게 된다. 광범위한 실험을 통해, 우리의 프레임워크가 Occ3D-nuScenes 및 Occ3D-Waymo 벤치마크에서 최첨단 성능을 달성함을 입증한다. 더욱 주목할 점은, 물리적 외부 파라미터가 제공되지 않는 미보정(uncalibrated) 설정에서 우리의 전역 라우팅이 암묵적 다중 카메라 리그 위상을 내재화하고, 동일한 프로토콜 하에서 물리 투영 기준 모델들보다 실질적으로 강한 구조적 강건성을 보임을 확인하였다.

arXiv:2607.03818v1cs.CV

TRISTAR: 수색·구조 마이크로 무인항공기를 위한 삼중 신호 계단 인식 및 단안 비전 전용 실내 내비게이션

TRISTAR: Triple-Signal Stair Recognition and Vision-Only Indoor Navigation for Search-and-Rescue Micro-UAVs

실내 수색·구조(SAR) 작전은 GNSS 신호가 제공되지 않고 인간의 접근이 어렵거나 위험한 환경에서 신속한 상황 인식을 요구하는 경우가 많다. 대부분의 자율 항공 시스템은 LiDAR, 스테레오 비전, 또는 특수 깊이 카메라에 의존하지만, 이러한 솔루션은 하드웨어 복잡도와 배포 비용을 모두 증가시킨다. 본 논문은 단안 비전만을 기반으로 하는 저비용 무인항공기(UAV)를 위한 완전한 자율 실내 내비게이션 프레임워크를 제시한다. DJI Tello 플랫폼에 구현된 이 시스템은 Depth Anything V2를 이용한 단안 깊이 추정과 고전적 컴퓨터 비전 및 경량 심층 학습 모델을 결합하여 장면 이해, 피해자 탐지, 위험 요소 인식을 수행한다. 프레임워크는 두 가지 독립적 동작으로 구성된다: (i) 자동 문 탐지, 방 진입, OCR 기반 방 식별, 피해자 검사를 포함한 복도 탐험; (ii) TRISTAR(TRI-Signal STair Ascent Recognition)에 기반한 자율 계단 오르기로, 이는 구조적 단서(Sobel 필터링), 텍스처 분석(다중 스케일 Gabor 필터링), 단안 깊이 추정으로부터의 기하학적 깊이를 통합하는 새로운 삼중 센서 융합 방법이다. 평가는 대학 건물에서의 실제 실내 비행을 통해 수행되었다. 깊이 보정을 통해 상대 깊이 오차를 27.4%에서 10% 미만으로 감소시켰으며, 문 탐지 알고리즘은 정밀도 0.93, F1 점수 0.91을 달성하였다. 전용 절제 연구(ablation study)를 통해 다중 센서 융합이 개별 감지 모달리티에 비해 계단 인식 견고성을 크게 향상시킴을 확인하였으며, 실패 사례 분석은 도전적인 조명 및 반사 표면 환경에서 단안 인식의 한계를 명확히 제시한다. 결과는 자원이 제한된 플랫폼에서 전문 거리 측정 하드웨어 없이도 신뢰할 수 있는 실내 탐험과 계단 이동이 가능함을 입증하며, 신속한 SAR 배포를 위한 실용적이고 비용 효율적인 솔루션을 제공한다.

arXiv:2607.03789v1cs.CV

G²TAM: 기하학 기반 만능 추적 모델

G$^2$TAM: Geometry Grounded Track Anything Model

인간의 공간적 이해는 기하학과 의미론을 함께 인식함으로써 발생하며, 이를 통해 다양한 시점과 시간에 걸쳐 일관된 객체 식별 및 위치 추정이 가능하다. 현재의 비디오 분할 모델은 인스턴스 추적을 위해 명시적인 객체 외관 메모리 뱅크에 의존하지만, 대규모 시점 변화와 장기적인 가림(occlusion)에 취약하다. 현대의 피드포워드 3D 재구성 모델이 제공하는 공간적 일관성을 활용하여, 우리는 순서 없는 RGB 이미지 또는 비디오만을 사용해 3D에서 프롬프트 가능한 인스턴스 추적을 수행하는 통합 프레임워크인 기하학 기반 만능 추적 모델(G²TAM, Geometry Grounded Tracking Anything Model)을 제안한다. G²TAM은 공간적으로 정렬된 기하학적 표현을 암묵적 메모리로 활용하여 프레임과 시점에 걸쳐 안정적인 인스턴스 식별 및 위치 추정을 보장한다. 핵심 구성 요소는 시각 및 텍스트 프롬프트를 공유 기하학적 공간으로 통합하는 교차 모달 공간 인코더로, 이를 통해 엔드투엔드 공간 재구성과 인스턴스 일관적 마스크 예측이 가능하다. 학습 및 평가를 지원하기 위해, 벤치마킹 전용 검증 분할을 갖춘 대규모 데이터셋인 InsTrack을 구축하였다. 광범위한 실험을 통해 G²TAM이 강력한 교차 시점 일관성, 프롬프트 가능한 인스턴스 공간 추적, 비디오 객체 분할 및 공간 재구성을 달성함을 보여주며, 상호작용적이고 기하학 기반의 공간 추론을 위한 기반을 확립한다.