arXiv:2112.00821

FaSS-MVS -- Fast Multi-View Stereo with Surface-Aware Semi-Global Matching from UAV-borne Monocular Imagery

Boitumelo Ruf, Martin Weinmann, Stefan Hinz

제출 2021-12-01

원문 초록

With FaSS-MVS, we present an approach for fast multi-view stereo with surface-aware Semi-Global Matching that allows for rapid depth and normal map estimation from monocular aerial video data captured by UAVs. The data estimated by FaSS-MVS, in turn, facilitates online 3D mapping, meaning that a 3D map of the scene is immediately and incrementally generated while the image data is acquired or being received. FaSS-MVS is comprised of a hierarchical processing scheme in which depth and normal data, as well as corresponding confidence scores, are estimated in a coarse-to-fine manner, allowing to efficiently process large scene depths which are inherent to oblique imagery captured by low-flying UAVs. The actual depth estimation employs a plane-sweep algorithm for dense multi-image matching to produce depth hypotheses from which the actual depth map is extracted by means of a surface-aware semi-global optimization, reducing the fronto-parallel bias of SGM. Given the estimated depth map, the pixel-wise surface normal information is then computed by reprojecting the depth map into a point cloud and calculating the normal vectors within a confined local neighborhood. In a thorough quantitative and ablative study we show that the accuracies of the 3D information calculated by FaSS-MVS is close to that of state-of-the-art approaches for offline multi-view stereo, with the error not even being one magnitude higher than that of COLMAP. At the same time, however, the average run-time of FaSS-MVS to estimate a single depth and normal map is less than 14 % of that of COLMAP, allowing to perform an online and incremental processing of Full-HD imagery at 1-2 Hz.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.03875v2cs.CV공통 태그 Depth Estimation

MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션

MACRO: Training-free Multi-plane Attention for Closeup Render Optimization

학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO

arXiv:2606.18634v2cs.RO공통 태그 Depth Estimation

EffiNav: 효율적인 객체 목표 내비게이션을 위한 깊이와 비전-언어 융합

EffiNav: Fusing Depth and Vision-Language for Efficient Object Goal Navigation

미지의 환경을 탐험하며 대상 객체를 찾는 것은 자율 에이전트의 핵심 능력으로, 수색 및 구조부터 현장 로봇에 이르기까지 다양한 응용 분야가 있습니다. 이러한 작업의 단순화된 버전은 객체 목표 내비게이션(ObjNav)입니다. ObjNav에서 대상 객체에 성공적으로 도착하는 것은 성능의 기본 척도가 되지만, 내비게이션 궤적의 효율성 또한 에이전트가 얼마나 지능적으로 탐험하는지와 후속 작업에 얼마나 많은 시간이 남아있는지를 나타내므로 동등하게 중요합니다. 미지의 환경에서 효율적인 내비게이션의 핵심은 다음에 어디를 탐험할지 결정하는 데 있습니다. 많은 기존 연구가 이 핵심 과제를 해결하고 특정 설정에서 유망한 성능을 달성했으나, 최근의 학습 기반 모델과 비학습 프레임워크는 각각 일반화 및 효율성 문제로 인해 여전히 어려움을 겪고 있으며, 최악의 경우 이미 방문한 영역의 과도한 탐험이나 불필요한 왕복 움직임으로 이어질 수 있습니다. 우리는 널리 사용되는 두 시뮬레이션 벤치마크인 Habitat Matterport 3D(HM3D)와 Open-Vocabulary Object goal Navigation(OVON)에서 EffiNav를 평가하고, 실제 환경의 물리적 로봇에서 그 효과를 추가로 검증했습니다. 또한 대규모 시뮬레이션 에피소드에 대한 실패 분석을 수행했습니다. 최소한의 수정만으로 GOAT-BENCH 데이터셋의 메모리 증강 ObjNav 작업으로 EffiNav를 확장하여, 표준 ObjNav 설정을 넘어선 적응성을 입증했습니다. 성공률(SR)과 경로 길이 가중 성공(SPL)이라는 두 가지 표준 지표 전반에서 EffiNav는 최신 기준 모델과 대등하거나 이를 능가하는 성능을 보여, 효율성, 견고성 및 실용적 적용 가능성을 입증했습니다. 두 데이터셋의 서로 다른 강조점을 고려할 때, 이러한 성과는 해당 프레임워크가 효율적인 ObjNav에 있어 더 균형 잡혀 있고 일반화 가능함을 보여줍니다.

arXiv:2606.24450v2cs.RO공통 태그 Depth Estimation

NoContactNoWorries: 시각과 고유수용감각을 통한 손 안 정교 조작용 접촉 추정

NoContactNoWorries: Estimating Contact through Vision and Proprioception for In-Hand Dexterous Manipulation

물리적 접촉을 지각하는 것은 정교한 조작의 기본이다. 로봇은 흔히 전용 하드웨어 촉각 센서에 의존하지만, 인간은 시각 정보를 신체의 자세와 움직임에 대한 타고난 감각과 통합하여 접촉을 추론하는 뛰어난 능력을 보인다. 이러한 체화된 지각 능력에서 착안하여, 본 연구는 로봇이 시각으로부터 접촉을 추론하도록 학습할 수 있는지를 탐구한다. 이 접근은 비용, 취약성, 통합 측면의 현실적 어려움이 있는 촉각 하드웨어에 대해, 특히 이진 접촉 추정을 위한 확장 가능한 대안이 되기도 한다. 우리는 RGB-D 시각 정보와 로봇의 고유수용감각을 융합하여 손-물체 상호작용에 대한 의사 촉각 신호로서 이진 접촉 상태를 추론하는 트랜스포머 기반 멀티모달 프레임워크인 NoContactNoWorries를 제시한다. 여러 물체에 대해 단일 접촉 예측 모델을 학습하여 검증하였으며, 추론된 접촉 신호가 손 안 물체 재배향을 위한 하위 강화학습 에이전트를 뒷받침하고 새로운 물체로도 일반화됨을 보인다. 시뮬레이션과 실제 로봇 모두에서의 실험은 제안 방법을 검증하며, 시각과 고유수용감각으로부터 접촉을 추론하는 것이 실현 가능함을 보여준다. 프로젝트 페이지: https://soham2560.github.io/no-contact-no-worries/

arXiv:2606.21309v2cs.CV공통 태그 Depth Estimation

WildBox: 아프리카 사바나 야생동물의 항공 단안 3D 탐지를 위한 데이터셋 및 벤치마크

WildBox: A Dataset and Benchmark for Aerial Monocular 3D Detection of African Savanna Wildlife

드론 영상으로부터 야생동물의 단안 3D 검출을 위한 데이터셋 및 벤치마크인 WildBox를 소개한다. WildBox는 여섯 개의 벤치마크 클래스로 묶인 일곱 종의 아프리카 사바나 동물에 대한 237,505개의 3D 경계 상자 주석으로 구성된다. 주석은 구간별 스케일 정규화 카메라 좌표계에서 KITTI/Omni3D 호환 형식을 따르며, 각 구간에 걸쳐 인스턴스 식별자가 유지된다. 두 가지 개방 어휘 단안 3D 구조인 OVMono3D-LIFT와 DetAny3D를 제로샷, 정답 2D 상자 프롬프트, 지도 미세조정 프로토콜에서 평가한다. 개방 어휘 2D 파운데이션 모델은 사용 가능한 제로샷 야생동물 위치 추정(50.55 AP@50)을 제공하지만, 제로샷 3D 검출은 두 구조 모두와 정답 2D 상자 프롬프트를 포함해 시험한 모든 2D 입력 조건에서 0.00 AP로 붕괴하며, 이로써 실패가 3D 단계에 있음이 분리된다. WildBox에서의 미세조정은 성능을 8.68 +/- 0.47 AP-BEV@0.50 및 13.17 +/- 0.69 AP3D 매크로로 회복시킨다. 깊이는 미세조정 후 정규화 Hausdorff 거리의 84%, 제로샷에서는 99% 이상을 차지하여, 단안 항공 깊이가 이 영역의 지배적인 미해결 문제임을 보여준다. 병합된 얼룩말 클래스에서 사전학습한 뒤 Grevy/평원 분할에서 미세조정하는 조대-정밀 커리큘럼은 더 적은 총 연산으로 매크로 3D 성능을 향상시키며, 두 얼룩말 하위 클래스에서 가장 큰 향상을 보인다. WildBox는 드론 영상에서의 3D 야생동물 인식 발전을 위해 비디오 단위 분할과 기준선 체크포인트와 함께 공개된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.